Milestone XProtect : le cluster de haute disponibilité le plus simple avec réplication temps réel et tolérance aux pannes entre deux serveurs redondants

Démonstration d'un cluster Milestone XProtect avec Evidian SafeKit entre deux serveurs redondants

Cette vidéo montre la configuration d'un module miroir Milestone XProtect avec réplication temps réel synchrone d'une base de données SQL et reprise automatique sur panne de Milestone Management Server et SQL Server.
Après un basculement, la reconnexion d'un serveur d'enregistrement est également démontrée.

Continuez avec le tab Installation

Installation de SafeKit pour la haute disponibilité de Milestone XProtect et SQL avec réplication temps réel synchrone et tolérance aux pannes entre deux serveurs redondants

Prérequis

• vous avez besoin de Milestone XProtect et SQL installé sur 2 nœuds (machines virtuelles ou serveurs physiques)
• sur Windows, avec le gestionnaire de services Windows, mettez les services Milestone XProtect et SQL avec type de démarrage au boot = manuel sur les deux nœuds. SafeKit contrôle le démarrage des services Milestone XProtect et SQL dans start_prim . Editez start_prim lors de la configuration pour vérifier si vous avez mis tous les services en démarrage manuel, y compris les nouveaux que vous pouvez ajouter.
• sur Windows 10, activer l'exécution des scripts PowerShell sur les 2 nœuds

Installation du package sur Windows

Sur les deux nœuds Windows

• Installez la version gratuite de SafeKit sur 2 nœuds Windows avec les services Milestone XProtect et SQL installés sur les deux nœuds
  
  Essai gratuit de SafeKit sur Windows >
• Téléchargez le module Windows
  
  Module milestone.safe pour Windows >
  
  Le module contient les fichiers userconfig.xml, start_prim et stop_prim décrits dans le tab Internes
• Mettez milestone.safe sous C:\safekit\Application_Modules\demo\ (créez le répertoire demo s'il n'existe pas)
• Pour ouvrir le pare-feu Windows, sur les deux nœuds démarrez une ligne de commande en tant qu'administrateur, allez sous C:\safekit\private\bin et tapez .\firewallcfg.cmd add
• Pour synchroniser SafeKit au boot et au shutdown, sur les deux nœuds démarrez une ligne de commande en tant qu'administrateur, allez sous C:\safekit\private\bin et tapez .\addStartupShutdown.cmd une seule fois

   Guide de l'utilisateur disponible ici

Continuez avec le tab Configuration

  Important. Un nouveau module milestone.safe est livré depuis Milestone 2019 R2 avec son serveur d'identité : suivez les instructions de configuration spéciales dans l'onglet Configuration.

Configuration de SafeKit pour la haute disponibilité de Milestone XProtect et SQL avec réplication temps réel synchrone et tolérance aux pannes entre deux serveurs redondants

Instructions de configuration

  Important : toute la configuration est réalisée à partir d'un seul navigateur.

Lancez la console Web dans un navigateur sur un nœud en vous connectant à http://localhost:9010 (image suivante)

Entrez l'adresse IP du premier nœud et cliquez sur Confirm (image suivante)

Cliquez sur New node et entrez l'adresse IP du deuxième nœud (image suivante)
Puis, cliquez sur la disquette rouge pour sauvegarder la configuration (image suivante)

   Dans l'image précédente, l'opération de sauvegarde a placé les adresses IP dans le fichier c:\safekit\cluster\cluster.xml et a appliqué la commande distribuée c:\safekit\safekit –H "*" -G qui configure le nœud 1 et le nœud 2. Ne refaites donc pas cette opération sur l'autre nœud. Vérifiez la connectivité et le pare-feu entre les deux nœuds pour résoudre des problèmes.

Dans l'onglet Configuration, cliquez sur milestone.safe (xxx.safe dans l'image suivante) puis entrez milestone comme nom du module et cliquez sur Confirm (la console trouve milestone.safe dans le répertoire demo/ que vous avez précédemment rempli dans le tab Installation)

Cliquez sur Validate (image suivante)

Après le clic sur Validate, cette nouvelle fenêtre apparaît (image suivante)

Dans l'image précédente:

• Vérifiez que les répertoires répliqués sont installés sur les 2 nœuds et contiennent les données applicatives. La réplication des données et aussi des logs est requise pour une base de données. Vous pouvez ajouter des nouveaux répertoires répliqués si nécessaire.
• Enter une adresse IP virtuelle. Une adresse IP virtuelle est une adresse IP standard dans le même réseau IP (même subnet) que les adresses IP des 2 nœuds. Les clients de l'application doivent être configurés avec l'adresse IP virtuelle (ou le nom DNS associé à l'adresse IP virtuelle). L'adresse IP virtuelle est automatiquement basculée en cas de panne.
• start_prim et stop_prim contiennent le démarrage et l'arrêt des services Milestone XProtect et SQL.
• Arrêtez les services configurés dans start_prim sur les 2 nœuds.
• Sur Windows et sur les 2 nœuds, avec le gestionnaire de services Windows, mettez les services Milestone XProtect et SQL inscrits dans start_prim avec type de démarrage au boot = Manuel sur les 2 nœuds (SafeKit contrôle le démarrage des services Milestone XProtect et SQL dans start_prim).
• Notez que, si un nom de processus est affiché dans Process checker, il sera surveillé avec l'action restart en cas de panne. Les services seront arrêtés et redémarrés localement sur le serveur principal si ce processus disparaît de la liste des processus en cours d'exécution. Après 3 redémarrages locaux infructueux, le module est arrêté sur le serveur principal et les services sont redémarrés sur le serveur secondaire.

Cliquez sur Validate (image précédente)

Cliquez sur Configure (image précédente)

Vérifiez le message succès vert sur les deux serveurs et cliquez sur Next (image précédente).

  Dans l'image suivante, pour Milestone 2019 R2 et supérieur, ne démarrez rien et cliquez sur le bouton Close.

  Procédure spéciale sur le nœud 1 pour Milestone 2019 R2 et supérieur

Il faut exécuter un script spécial (UpdateAuthServerUri.ps1) pour configurer l'adresse IP virtuelle dans 2 fichiers Milestone locaux. Ce script modifie les fichiers suivants :

• C:\ProgramData\Milestone\XProtect Management Server\ServerConfig.xml:    <AuthorizationServerUri>http://Virtual-IP-Address/IDP</AuthorizationServerUri>
• C:\Program Files\Milestone\XProtect Management Server\IIS\IDP\appsettings.json:    "Authority": "http://Virtual-IP-Address/IDP"

Notez que la même procédure est requise lorsque Milestone s'exécute avec Microsoft Cluster : https://developer.milestonesys.com/s/article/RS-goes-offline-mode-after-switching-the-Management-Server-cluster-node.

Exécutez le point suivant. Nous supposons à cette étape que l'adresse IP virtuelle a été correctement configurée dans les étapes précédentes (le script ci-dessous utilise l'adresse IP virtuelle entrée dans la console SafeKit et stockée dans userconfig.xml).

• Dans une ligne de commande Powershell en tant qu'administrateur, exécutez le script c:/safekit/modules/milestone/bin/UpdateAuthServerUri.ps1 sur le nœud 1.
  Ce script positionne l'adresse IP virtuelle dans des fichiers Milestone locaux (voir les fichiers ci-dessus).

Pour toutes les versions de Milestone

On suppose que le nœud 1 contient les répertoires répliqués les plus récents (sinon faite l'opération suivante sur le nœud 2).
On suppose que les services démarrés automatiquement par SafeKit dans le script start_prim sont bien arrêtés sur le nœud 1.
Démarrez le modude milestone sur le nœud 1 en forçant son démarrage en primaire (Expert/Force start/as prim dans l'image suivante).

Lorsque le module atteint l'état ALONE vert, vérifiez que Milestone fonctionne normalement sur le nœud 1.

  Dans Milestone Management Client sur le nœud 1, définissez l'adresse IP virtuelle dans les URLs des Registered Services et du Network

1- Démarrez Milestone Management Client sur le nœud 1.

2- Dans le menu Tools, sélectionnez Registered Services.

• Dans la fenêtre Add/Remove Registered Services, sélectionnez le log service dans la liste, cliquez sur Edit.
• Dans la fenêtre Edit Registered Service, modifiez l'adresse URL du log service avec la même adresse URL mais contenant l'adresse IP virtuelle.
• Répétez ces étapes pour tous les services répertoriés dans la fenêtre Add/Remove Registered Services.

3- Dans la même fenêtre, cliquez sur Network.

• Dans la fenêtre Network Configuration, modifiez l'adresse URL du serveur avec la même adresse URL mais contenant l'adresse IP virtuelle.

  Dans Milestone Management Client sur le nœud 1, vérifiez les rôles administrateurs pour assurer un basculement correct

Quand vous démarrez le Milestone Management Client sur le nœud 1, le login suivant apparaît :

Vous avez le choix entre "Windows authentication" / "Basic authentication".

• Pour une Windows authentication et un utilisateur local, le mot de passe utilisateur sera retrouvé localement sur chaque serveur.
    Il est important que le groupe Windows BUILTIN\Administrators soit positionné dans Management Client / Security / Roles (voir image suivante). Ce groupe a le même SID sur les 2 nœuds et permet une authentification avec un utilisateur local sur le nœud secondaire après un basculement.
• Pour une Windows authentication et un utilisateur dans l'Active Directory, le mot de passe de l'utilisateur sera retrouvé dans l'AD externe après un basculement sur le nœud secondaire, donc pas de configuration spéciale.
• Pour une Basic authentication, l'utilisateur/mot de passe est stocké dans la base SQL et sera retrouvé sur le nœud secondaire en cas de basculement.
  Nous suggérons de créer un utilisateur avec une Basic authentication (Admin dans l'image suivante) pour être sûr de se ré-authentifier sur le nœud secondaire après un basculement.

  Procédure spéciale sur le nœud 2 pour Milestone 2019 R2 et supérieur

La procédure enregistre désormais le management server sur le nœud 2 dans la base de données SQL exécutée sur le nœud 1 via une connexion à l'adresse virtuelle. Nous supposons à cette étape que le module SafeKit milestone a été démarré sur le nœud 1 (base de données SQL disponible à l'adresse IP virtuelle).

Exécutez les points suivants

• Dans une ligne de commande Powershell en tant qu'administrateur, exécutez le script c:/safekit/modules/milestone/bin/UpdateAuthServerUri.ps1 sur le nœud 2.
  Ce script positionne l'adresse IP virtuelle dans des fichiers Milestone locaux (voir les fichiers ci-dessus).
• Enregistrez le management server sur le nœud 2 (cette étape est obligatoire pour un redémarrage correct après basculement).
  L'option ci dessous est disponible si le Management Server est arrêté sur le nœud 2.
• Pour l'enregistrement sur les versions [Milestone 2019 R2 - Milestone 2020 R1], cliquez avec le bouton droit sur l'icône du management server sur le nœud 2
  et choisissez "Change encryption settings..." (image suivante), puis cliquez sur "OK" .

  

• Pour l'enregistrement sur les versions Milestone 2020 R2 et au dessus, cliquez avec le bouton droit sur l'icône du management server sur le nœud 2
  et choisissez "Server Configurator" (image suivante), puis entrez l'adresse IP virtuelle .

  

• Dans une ligne de commande Powershell sur le nœud 2 en tant qu'administrateur, exécutez à nouveau le script c:/safekit/modules/milestone/bin/UpdateAuthServerUri.ps1.
  Le réenregistrement a supprimé la configuration de l'adresse IP virtuelle dans les fichiers Milestone locaux - ce script restaure l'adresse IP virtuelle.

Note: si pour une raison quelconque, vous enregistrez à nouveau le management server après cette procédure, vous devez exécuter UpdateAuthServerUri.ps1 avant de redémarrer le management server pour restaurer l'adresse IP virtuelle dans les fichiers Milestone locaux.

Pour toutes les versions de Milestone

Note : dans l'image précédente, si le cluster est dans l'état WAIT (rouge) - STOP (rouge), arrêtez le serveur WAIT et forcez son démarrage en primaire (cliquez ici pour voir l'opération).

On suppose que les services démarrés automatiquement par SafeKit dans le script start_prim sont bien arrêtés sur le nœud 2.
Démarrez le nœud 2 (image précédente) qui devient SECOND vert (image suivante) après la resynchronisation de tous les répertoires répliqués (copie binaire du nœud 1 vers le nœud 2).

Le cluster est opérationnel avec les services Milestone XProtect et SQL s'exécutant sur le nœud PRIM et ne s'exécutant pas sur le nœud SECOND (image précédente). Seules les modifications à l'intérieur des fichiers sont répliquées en temps réel dans cet état.

Attention, les composants qui sont clients des services Milestone XProtect et SQL doivent être configurés avec l'adresse IP virtuelle. La configuration peut être effectuée avec un nom DNS (si un nom DNS a été créé et associé à l'adresse IP virtuelle).

Soit installez les recording servers, en spécifiant l'adresse IP virtuelle dans l'URL d'installation.
Ou, sur les recording servers, postionnez l'adresse IP virtuelle dans C:\ProgramData\Milestone\XProtect Recording Server\RecorderConfig.xml pour <server><address> et <server><authorizationserveraddress>.

Pour que le Milestone Management Client se reconnecte après basculement, vous devez utiliser l'adresse IP virtuelle pour la connexion.

Tests

Vérifiez avec la console Microsoft Management Console (MMC) que les services Milestone XProtect et SQL ont été démarrés sur le serveur primaire par le script start_prim et arrêtés sur le serveur secondaire par le script stop_prim.

Arrêtez le nœud PRIM en faisant défiler le menu du nœud primaire et en cliquant sur Stop. Vérifiez qu'il y a un basculement sur le nœud SECOND. Et avec la console Microsoft Management Console (MMC), vérifiez le basculement des services Milestone XProtect et SQL (arrêtés et démarrés dans les scripts stop_prim et start_prim) .

Plus d'information sur les tests dans le guide de l'utilisateur

Démarrage automatique du module au boot

Configure boot start (image suivante sur le côté droit) configure le démarrage automatique du module au boot du serveur. Effectuez cette configuration sur les deux serveurs une fois que la solution de haute disponibilité fonctionne correctement.

Sur Windows, avec le gestionnaire de services Windows, on suppose que les services Milestone XProtect et SQL sont avec type de démarrage au boot = manuel sur les deux nœuds. SafeKit contrôle le démarrage des services Milestone XProtect et SQL au démarrage du module dans start_prim .

Notez que pour synchroniser SafeKit au boot et au shutdown, sur les deux nœuds, on suppose qu'une commande a été exécutée à l'installation en tant qu'administrateur .\addStartupShutdown.cmd dans C:\safekit\private\bin (sinon faites le maintenant une seule fois).

Pour lire les logs SafeKit, allez au tab Dépannage

Pour éditer userconfig.xml, start_prim et stop_prim, allez au tab Configuration avancée

Résolution de problèmes avec SafeKit pour la haute disponibilité de Milestone XProtect et SQL avec réplication temps réel synchrone et tolérance aux pannes entre deux serveurs redondants

Journal du module

Consultez le journal d'un module pour comprendre les raisons d'une reprise sur panne, d'un état d'attente sur la disponibilité d'une ressource etc...
Pour voir le journal du module sur le serveur primaire (image suivante):

• cliquez sur l'onglet Control
• cliquez sur node 1/PRIM (il devient bleu) à gauche pour sélectionner le serveur
• cliquez sur Module Log
• cliquez sur l'icône Refresh (flêches vertes) pour mettre à jour la console
• cliquez sur la disquette pour sauver le log du module dans un fichier .txt et pour l'analyser dans un éditeur de texte

Répétez la même opération pour voir le journal du module du serveur secondaire.

Journal applicatif

Consultez le journal applicatif pour voir les messages de sortie des scripts de redémarrage stat_prim et stop_prim.
Pour voir le journal applicatif du serveur primaire (image suivante) :

• cliquez sur l'onglet Control
• cliquez sur node 1/PRIM (il devient bleu) à gauche pour sélectionner le serveur
• cliquez sur Appication Log pour voir les messages de démarrage et d'arrêt des services Milestone XProtect et SQL
• cliquez sur l'icône Refresh (flêches vertes) pour mettre à jour la console
• cliquez sur la disquette pour sauver le log applicatif dans un fichier .txt et pour l'analyser dans un éditeur de texte

Répétez la même opération pour voir le journal applicatif du serveur secondaire.

Plus d'information sur la résolution de problèmes dans le guide de l'utilisateur

Pour un support, allez au tab Support

Configuration avancée de SafeKit pour la haute disponibilité de Milestone XProtect et SQL avec réplication temps réel synchrone et tolérance aux pannes entre deux serveurs redondants

Configuration avancée

Dans l'onglet Advanced Configuration (image suivante), vous pouvez modifier les fichiers internes au module : bin/start_prim et bin/stop_prim et conf/userconfig.xml (image suivante sur le côté gauche). Si vous faites des changements dans les fichiers internes ici, vous devez appliquer la nouvelle configuration par un clic droit sur l'icône/xxx sur le côté gauche (image suivante) : l'interface vous permettra de redéployer les fichiers modifiés sur les deux serveurs.

Plus d'information sur userconfig.xml dans le guide de l'utilisateur

Pour un exemple de userconfig.xml, start_prim et stop_prim, allez au tab Internes

Support de SafeKit pour la haute disponibilité de Milestone XProtect et SQL avec réplication temps réel synchrone et tolérance aux pannes entre deux serveurs redondants

Support

Pour obtenir de l'aide sur le centre d'appel de https://support.evidian.com, prenez 2 Snaphots (2 fichiers .zip), un pour chaque serveur et téléchargez-les dans l'outil du centre d'appel (image suivante).

Plus d'information sur le support dans le guide de l'utilisateur

Fichiers internes à SafeKit pour la haute disponibilité de Milestone XProtect avec réplication temps réel synchrone et tolérance aux pannes

Allez dans le tab Configuration avancée pour modifier les fichiers ci-dessous.

Internal files of the Windows milestone.safe module

userconfig.xml (description dans le guide de l'utilisateur)

<!DOCTYPE safe>
<safe>
   <service mode="mirror" failover="on" defaultprim="alone" loop_interval="24" maxloop="3">
      <!-- Heartbeat Configuration -->
      <!-- Names or IP addresses on the default network are set during initialization in the console -->
      <heart timeout="30000" pulse="700">
         <heartbeat name="default" ident="flow">
         </heartbeat>
      </heart>
      <!-- Virtual IP Configuration -->
      <!-- Define the name or IP address of your virtual server 
      -->
      <vip>
         <interface_list>
            <interface check="on" arpreroute="on"> 
               <real_interface>
                  <virtual_addr addr="VIRTUAL-IP-ADDRESS" where="one_side_alias" />
               </real_interface>
            </interface>
         </interface_list>
      </vip>
      <!-- Software Error Detection Configuration -->
      <errd polltimer="10">
         <!-- SQL Server process -->
         <proc name="sqlservr.exe" atleast="1" class="prim" action="restart" />
      </errd>
      <!-- File Replication Configuration -->
      <!-- Adapt with the directory of your SQL Server database and logs
      -->
      <rfs async="second" acl="off" nbrei="3">
         <replicated dir="C:\Program Files\Microsoft SQL Server\MSSQL14.MSSQLSERVER\MSSQL\DATA" mode="read_only" />
         <replicated dir="C:\Program Files\Microsoft SQL Server\MSSQL14.MSSQLSERVER\MSSQL\Log" mode="read_only" />
      </rfs>
      <!-- User scripts activation -->
      <user logging="userlog" forcestoptimeout="300" nicestoptimeout="300" />
   </service>
</safe>

start_prim.cmd

@echo off

rem Script called on the primary server for starting application services 

rem For logging into SafeKit log use:
rem "%SAFE%\safekit" printi | printe "message"

rem stdout goes into Application log
echo "Running start_prim %*" 

set res=0

rem TODO: set to manual the start of services when the system boots

net start "W3SVC"

net start "MSSQLServer"
if not %errorlevel% == 0 (
  %SAFE%\safekit printi "SQL Server (MSSQLServer) start failed"
) else (
  %SAFE%\safekit printi "SQL Server (MSSQLServer) started"
)

"%SAFEBIN%\sleep" 10

net start "Milestone XProtect Management Server"
if not %errorlevel% == 0 (
  %SAFE%\safekit printi "Milestone XProtect Management Server start failed"
) else (
  %SAFE%\safekit printi "Milestone XProtect Management Server started"
)

"%SAFEBIN%\sleep" 10

net start "Milestone XProtect Log Server"
if not %errorlevel% == 0 (
  %SAFE%\safekit printi "Milestone XProtect Log Server start failed"
) else (
  %SAFE%\safekit printi "Milestone XProtect Log Server started"
)

net start "MilestoneEventServerService"
if not %errorlevel% == 0 (
  %SAFE%\safekit printi "MilestoneEventServerService start failed"
) else (
  %SAFE%\safekit printi "MilestoneEventServerService started"
)

net start "Milestone XProtect Data Collector Server"
if not %errorlevel% == 0 (
  %SAFE%\safekit printi "Milestone XProtect Data Collector Server start failed"
) else (
  %SAFE%\safekit printi "Milestone XProtect Data Collector Server started"
)

set res=%errorlevel%

if %res% == 0 goto end

:stop
"%SAFE%\safekit" printe "start_prim failed"

rem uncomment to stop SafeKit when critical
rem "%SAFE%\safekit" stop -i "start_prim"

:end

stop_prim.cmd

@echo off

rem Script called on the primary server for stopping application services 

rem For logging into SafeKit log use:
rem "%SAFE%\safekit" printi | printe "message"

rem ----------------------------------------------------------
rem
rem 2 stop modes:
rem
rem - graceful stop
rem   call standard application stop with net stop
rem
rem - force stop (%1=force)
rem   kill application's processes
rem
rem ----------------------------------------------------------

rem stdout goes into Application log
echo "Running stop_prim %*" 

set res=0

rem default: check mssql stopped on forcestop
if "%1" == "force" goto check

%SAFE%\safekit printi "Stopping Milestone XProtect Corporate Data Collector Server"
net stop "Milestone XProtect Data Collector Server" /Y

%SAFE%\safekit printi "Stopping Milestone Event Server Service"
net stop "MilestoneEventServerService" /Y

%SAFE%\safekit printi "Stopping Milestone Log Server Service"
net stop "Milestone XProtect Log Server" /Y

%SAFE%\safekit printi "Stopping Milestone XProtect Corporate Management Server"
net stop "Milestone XProtect Management Server" /Y

%SAFE%\safekit printi "Stopping SQL Server (MSSQLSERVER)"
net stop "MSSQLSERVER" /Y

"%SAFEBIN%\sleep" 10

net stop "W3SVC" /Y

rem Wait a little for the real stop of services
"%SAFEBIN%\sleep" 10

if %res% == 0 goto end

"%SAFE%\safekit" printe "stop_prim failed"
goto end

:check
call :checksrv "MSSQLSERVER"
goto end

:checksrv
  set SERVICE=%1
  net stop %SERVICE% /Y
  if NOT ERRORLEVEL 1 goto end
  sc query %SERVICE% | findstr STATE | findstr 1
  if NOT ERRORLEVEL 1 goto end
  "%SAFE%\safekit" stop -i "stop_prim: service not stopped"
  exit

:end