MySQL : le cluster de haute disponibilité le plus simple avec réplication synchrone et tolérance aux pannes entre deux serveurs redondants

Installation de SafeKit pour la haute disponibilité de MySQL avec réplication temps réel synchrone et tolérance aux pannes entre deux serveurs redondants

Prérequis

• vous avez besoin de MySQL installé sur 2 nœuds (machines virtuelles ou serveurs physiques)
• sur Windows, avec le gestionnaire de services Windows, mettez les services MySQL avec type de démarrage au boot = manuel sur les deux nœuds. SafeKit contrôle le démarrage des services MySQL dans start_prim . Editez start_prim lors de la configuration pour vérifier si vous avez mis tous les services en démarrage manuel, y compris les nouveaux que vous pouvez ajouter.
• si ça n'est pas déjà fait, activer l'exécution des scripts PowerShell sur les 2 nœuds

Installation du package sur Windows

Sur les deux nœuds Windows

• Installez la version gratuite de SafeKit sur 2 nœuds Windows avec les services MySQL installés sur les deux nœuds
  
  Essai gratuit de SafeKit   >
• Téléchargez le module Windows
  
  Module mysql.safe pour Windows >
  
  Le module contient les fichiers userconfig.xml, start_prim et stop_prim décrits dans le tab Internes
• Mettez mysql.safe sous C:\safekit\Application_Modules\demo\ (créez le répertoire demo s'il n'existe pas)
• Pour ouvrir le pare-feu Windows, sur les deux nœuds démarrez une ligne de commande en tant qu'administrateur, allez sous C:\safekit\private\bin et tapez .\firewallcfg.cmd add
• Pour synchroniser SafeKit au boot et au shutdown, sur les deux nœuds démarrez une ligne de commande en tant qu'administrateur, allez sous C:\safekit\private\bin et tapez .\addStartupShutdown.cmd une seule fois

Installation du package sur Linux

Sur les deux serveurs Linux

• Installez la version gratuite de SafeKit sur 2 nœuds Linux avec les services MySQL installés sur les deux nœuds
  
  Essai gratuit de SafeKit   >
• Après le téléchargement du package safekit_xx.bin, exécutez-le pour extraire le rpm et le script safekitinstall, puis exécutez le script safekitinstall
• Répondez oui à la configuration automatique du pare-feu
• Téléchargez le module Linux
  
  Module mysql.safe pour Linux >
  
  Le module contient les fichiers userconfig.xml, start_prim et stop_prim décrits dans le tab Internes
• Mettez mysql.safe sous /opt/safekit/Application_Modules/demo/ (créez le répertoire de démonstration s'il n'existe pas)

   Guide de l'utilisateur disponible ici

Continuez avec l'onglet Configuration

Configuration de SafeKit pour la haute disponibilité de MySQL avec réplication temps réel synchrone et tolérance aux pannes entre deux serveurs redondants

Instructions de configuration

  Important : toute la configuration SafeKit est réalisée à partir d'un seul navigateur.

Lancez la console Web dans un navigateur sur un nœud en vous connectant à http://localhost:9010 (image suivante). Vous pouvez aussi exécuter la console dans un navigateur sur un poste de travail externe en vous connectant à l'adresse IP physique d'un nœud.

   Pour sécuriser la console web, voir 11. Sécurisation de la console web de SafeKit dans le guide de l'utilisateur.

Entrez l'adresse IP du premier nœud et cliquez sur Confirm (image suivante)

Cliquez sur New node et entrez l'adresse IP du deuxième nœud (image suivante)
Puis, cliquez sur la disquette rouge pour sauvegarder la configuration (image suivante)

   Dans l'image précédente, l'opération de sauvegarde a placé les adresses IP dans le fichier c:\safekit\cluster\cluster.xml ou /var/safekit/cluster/cluster.xml et a appliqué la commande distribuée c:\safekit\safekit –H "*" -G ou /opt/safekit/safekit –H "*" -G qui configure le nœud 1 et le nœud 2. Ne refaites donc pas cette opération sur l'autre nœud. Vérifiez la connectivité et le pare-feu entre les deux nœuds pour résoudre des problèmes.

Dans l'onglet Configuration (image suivante), cliquez sur mysql.safe (xxx.safe dans l'image suivante) puis entrez mysql comme nom du module et cliquez sur Confirm (la console trouve mysql.safe dans le répertoire 'demo/' que vous avez précédemment rempli lors de l'installation)

Cliquez sur Validate (image suivante)

Après le clic sur Validate, cette nouvelle fenêtre apparaît (image suivante)

Dans l'image précédente:

• Vérifiez que les répertoires répliqués sont installés sur les 2 nœuds et contiennent les données applicatives.
  La réplication des données et aussi des logs est requise pour une base de données.
  Vous pouvez ajouter des nouveaux répertoires répliqués si nécessaire.
• Enter une adresse IP virtuelle. Une adresse IP virtuelle est une adresse IP standard dans le même réseau IP (même subnet) que les adresses IP des 2 nœuds.
  Les clients de l'application doivent être configurés avec l'adresse IP virtuelle (ou le nom DNS associé à l'adresse IP virtuelle).
  L'adresse IP virtuelle est automatiquement basculée en cas de panne.
• start_prim et stop_prim doivent contenir le démarrage et l'arrêt de l'application MySQL.
  Modifiez les scripts et vérifiez que les noms des services dans ces scripts sont ceux installés sur vos deux machines (sinon modifiez-les dans les scripts).
  Vous pouvez ajouter de nouveaux services dans les scripts si nécessaire.
• Arrêtez les services configurés dans start_prim sur les 2 nœuds.
• Sur Windows et sur les 2 nœuds, avec le gestionnaire de services Windows, mettez les services MySQL inscrits dans start_prim avec type de démarrage au boot = Manuel sur les 2 nœuds (SafeKit contrôle le démarrage des services MySQL dans start_prim).
• Notez que, si un nom de processus est affiché dans Process checker, il sera surveillé avec l'action restart en cas de panne. Les services seront arrêtés et redémarrés localement sur le serveur principal si ce processus disparaît de la liste des processus en cours d'exécution. Après 3 redémarrages locaux infructueux, le module est arrêté sur le serveur principal et les services sont redémarrés sur le serveur secondaire.

Cliquez sur Validate (image précédente)

Cliquez sur Configure (image précédente)

Vérifiez le message succès vert sur les deux serveurs et cliquez sur Next (image précédente). Sous Linux, vous pouvez avoir une erreur à cette étape si les répertoires répliqués sont des points de montage. Voir cet article pour résoudre le problème.

On suppose que le nœud 1 contient les répertoires répliqués les plus récents (sinon faite l'opération suivante sur le nœud 2).
On suppose que les services démarrés automatiquement par SafeKit dans le script start_prim sont arrêtés sur le nœud 1.
Sélectionnez le nœud 1 et cliquez sur Start it (image suivante).
Lorsque vous démarrerez le nœud 2, la première resynchronisation se fera du nœud1 vers le nœud 2.
En cas de doute, avant cette opération, nous vous suggérons de faire une copie des répertoires répliqués avant de démarrer le cluster pour éviter toute erreur.

Le nœud 1 doit atteindre l'état ALONE (vert) (image suivante), ce qui signifie que le script start_prim a été exécuté sur le nœud 1.
Lorsque le nœud 1 atteint l'état ALONE (vert), vous pouvez vérifier que l'application MySQL est démarrée sur le nœud 1.
Si l'état est ALONE (vert) et si l'application n'est pas démarrée, vérifiez le script start_prim: vous pouvez trouver les messages de sortie du script dans l'Application Log disponible dans l'onglet Contrôle.
Si le nœud 1 n’atteint pas l’état ALONE (vert), analysez pourquoi avec le Module Log disponible dans l'onglet Contrôle.
Note : dans l'image suivante, si le cluster est dans l'état [WAIT (rouge) not uptodate - STOP (rouge) not uptodate], arrêtez le serveur WAIT et forcez son démarrage en primaire (cliquez ici pour voir l'opération).

On suppose que les services démarrés automatiquement par SafeKit dans le script start_prim sont bien arrêtés sur le nœud 2.
Démarrez le nœud 2 (image précédente) qui devient SECOND vert (image suivante) après la resynchronisation de tous les répertoires répliqués (copie binaire du nœud 1 vers le nœud 2).

Le cluster est opérationnel avec les services MySQL s'exécutant sur le nœud PRIM et ne s'exécutant pas sur le nœud SECOND (image précédente). Seules les modifications à l'intérieur des fichiers sont répliquées en temps réel dans cet état.

Attention, les composants qui sont clients des services MySQL doivent être configurés avec l'adresse IP virtuelle. La configuration peut être effectuée avec un nom DNS (si un nom DNS a été créé et associé à l'adresse IP virtuelle).

Tests

Vérifiez avec la console Microsoft Management Console (MMC) sous Windows ou avec des lignes de commande sous Linux que les services MySQL ont été démarrés sur le serveur primaire par le script start_prim et arrêtés sur le serveur secondaire par le script stop_prim.

Arrêtez le nœud PRIM en faisant défiler le menu du nœud primaire et en cliquant sur Stop. Vérifiez qu'il y a un basculement sur le nœud SECOND. Et avec la console Microsoft Management Console (MMC) sous Windows ou avec des lignes de commande sous Linux, vérifiez le basculement des services MySQL (arrêtés et démarrés dans les scripts stop_prim et start_prim) .

Plus d'information sur les tests dans le guide de l'utilisateur

Démarrage automatique du module au boot

Configure boot start (image suivante sur le côté droit) configure le démarrage automatique du module au boot du serveur. Effectuez cette configuration sur node1 and node2 une fois que la solution de haute disponibilité fonctionne correctement.

Sur Windows, avec le gestionnaire de services Windows, on suppose que les services MySQL sont avec type de démarrage au boot = manuel sur les deux nœuds. SafeKit contrôle le démarrage des services MySQL au démarrage du module dans start_prim .

Notez que pour synchroniser SafeKit au boot et au shutdown, sur les deux nœuds, on suppose qu'une commande a été exécutée à l'installation en tant qu'administrateur .\addStartupShutdown.cmd dans C:\safekit\private\bin (sinon faites le maintenant une seule fois).

Pour lire les logs SafeKit, allez au tab Dépannage

Pour éditer userconfig.xml, start_prim et stop_prim, allez au tab Configuration avancée

Résolution de problèmes avec SafeKit pour la haute disponibilité de MySQL avec réplication temps réel synchrone et tolérance aux pannes entre deux serveurs redondants

Journal du module

Consultez le journal d'un module pour comprendre les raisons d'une reprise sur panne, d'un état d'attente sur la disponibilité d'une ressource etc...
Pour voir le journal du module sur le serveur primaire (image suivante):

• cliquez sur l'onglet Control
• cliquez sur node 1/PRIM (il devient bleu) à gauche pour sélectionner le serveur
• cliquez sur Module Log
• cliquez sur l'icône Refresh (flêches vertes) pour mettre à jour la console
• cliquez sur la disquette pour sauver le log du module dans un fichier .txt et pour l'analyser dans un éditeur de texte

Répétez la même opération pour voir le journal du module du serveur secondaire.

Journal applicatif

Consultez le journal applicatif pour voir les messages de sortie des scripts de redémarrage stat_prim et stop_prim.
Pour voir le journal applicatif du serveur primaire (image suivante) :

• cliquez sur l'onglet Control
• cliquez sur node 1/PRIM (il devient bleu) à gauche pour sélectionner le serveur
• cliquez sur Appication Log pour voir les messages de démarrage et d'arrêt des services MySQL
• cliquez sur l'icône Refresh (flêches vertes) pour mettre à jour la console
• cliquez sur la disquette pour sauver le log applicatif dans un fichier .txt et pour l'analyser dans un éditeur de texte

Répétez la même opération pour voir le journal applicatif du serveur secondaire.

Plus d'information sur la résolution de problèmes dans le guide de l'utilisateur

Pour un support, allez au tab Support

Configuration avancée de SafeKit pour la haute disponibilité de MySQL avec réplication temps réel synchrone et tolérance aux pannes entre deux serveurs redondants

Configuration avancée

Dans l'onglet Advanced Configuration (image suivante), vous pouvez modifier les fichiers internes au module : bin/start_prim et bin/stop_prim et conf/userconfig.xml (image suivante sur le côté gauche). Si vous faites des changements dans les fichiers internes ici, vous devez appliquer la nouvelle configuration par un clic droit sur l'icône/xxx sur le côté gauche (image suivante) : l'interface vous permettra de redéployer les fichiers modifiés sur les deux serveurs.

Plus d'information sur userconfig.xml dans le guide de l'utilisateur

Pour un exemple de userconfig.xml, start_prim et stop_prim, allez au tab Internes

Support de SafeKit pour la haute disponibilité de MySQL avec réplication temps réel synchrone et tolérance aux pannes entre deux serveurs redondants

Support

Pour obtenir de l'aide sur le centre d'appel de https://support.evidian.com, prenez 2 Snaphots (2 fichiers .zip), un pour chaque serveur et téléchargez-les dans l'outil du centre d'appel (image suivante).

Plus d'information sur le support dans le guide de l'utilisateur

Fichiers internes à SafeKit pour la haute disponibilité de MySQL avec réplication temps réel synchrone et tolérance aux pannes

Fichiers internes au module Windows mysql.safe

<!DOCTYPE safe>
<safe>
<service mode="mirror" defaultprim="alone" maxloop="3" loop_interval="24" failover="on">
  <!-- Heartbeat Configuration -->
  <!-- Names or IP addresses on the default network are set during initialization in the console -->
  <heart pulse="700" timeout="30000">
    <heartbeat name="default" ident="flow">
    </heartbeat>
  </heart>
  <!-- Virtual IP Configuration -->
  <!-- Replace
     * VIRTUAL_TO_BE_DEFINED by the name of your virtual server 
  -->
  <vip>
    <interface_list>
        <interface check="on" arpreroute="on"> 
	  <real_interface>
               <virtual_addr addr="VIRTUAL_TO_BE_DEFINED" where="one_side_alias" />
          </real_interface>
        </interface>
    </interface_list>
  </vip>
  <!-- Software Error Detection Configuration -->
  <errd polltimer="10">
    <!-- MySQL Server -->
    <proc name="mysqld.exe" atleast="1" action="restart" class="prim" />
  </errd>
  <!-- File Replication Configuration -->
  <!-- 
     * C:\ProgramData\MySQL\MySQL Server 5.7: default directory containing MySQL database and logs
  -->
  <rfs async="second" acl="off" nbrei="3">
	<replicated dir="C:\ProgramData\MySQL\MySQL Server 5.7" mode="read_only" />
  </rfs>
  <!-- User scripts activation -->
  <user nicestoptimeout="300" forcestoptimeout="300" logging="userlog" />
</service>
</safe>

@echo off
rem Script called on the primary server for starting application services 

rem For logging into SafeKit log use:
rem "%SAFE%\safekit" printi | printe "message"

rem stdout goes into Application log
echo "Running start_prim %*" 

set res=0

net start mysql > nul
if not %errorlevel% == 0 (
  %SAFE%\safekit printi "MySQL start failed"
) else (
  %SAFE%\safekit printi "MySQL started"
)

if %res% == 0 goto end

:stop
set res=%errorlevel%
"%SAFE%\safekit" printe "start_prim failed"

rem uncomment to stop SafeKit when critical
rem "%SAFE%\safekit" stop -i "start_prim"

:end

@echo off
rem Script called on the primary server for stopping application services 

rem ----------------------------------------------------------
rem
rem 2 stop modes:
rem
rem - graceful stop
rem   call standard application stop with net stop
rem
rem - force stop (%1=force)
rem   kill application's processes
rem
rem ----------------------------------------------------------

rem For logging into SafeKit log use:
rem "%SAFE%\safekit" printi | printe "message"

rem stdout goes into Application log
echo "Running stop_prim %*" 

set res=0

rem default: no action on forcestop
if "%1" == "force" goto end

%SAFE%\safekit printi "Stopping MySQL..."
net stop mysql > nul

rem wait a little for a real stop of services
%SAFEBIN%\sleep 10

:end

Fichiers internes au module Linux mysql.safe

<!DOCTYPE safe>
<safe>
<service mode="mirror" defaultprim="alone" maxloop="3" loop_interval="24" failover="on">
  <!-- Heartbeat Configuration -->
  <!-- Names or IP addresses on the default network are set during initialization in the console -->
  <heart pulse="700" timeout="30000">
    <heartbeat name="default" ident="flow">
    </heartbeat>
  </heart>
  <!-- Virtual IP Configuration -->
  <!-- Replace
     * VIRTUAL_TO_BE_DEFINED by the name of your virtual server 
  -->
  <vip>
    <interface_list>
        <interface check="on" arpreroute="on"> 
	  <real_interface>
               <virtual_addr addr="VIRTUAL_TO_BE_DEFINED" where="one_side_alias"/>
          </real_interface>
        </interface>
    </interface_list>
  </vip>
  <!-- Software Error Detection Configuration -->
  <errd polltimer="10">
    <!-- MySQL Server -->
    <proc name="mysqld" atleast="1" action="restart" class="prim" />
  </errd>
  <!-- File Replication Configuration -->
  <!--
     * /var/lib/mysql: default directory of MySQL database and logs
  -->
  <rfs mountover="off" async="second" acl="off" nbrei="3">
	<replicated dir="/var/lib/mysql" mode="read_only" />
  </rfs>
  <!-- User scripts activation -->
  <user nicestoptimeout="300" forcestoptimeout="300" logging="userlog" />
</service>
</safe>

#!/bin/sh 
# Script called on the primary server for starting applications 

# For logging into SafeKit log use:
# $SAFE/safekit printi | printe "message" 

#---------- Clean MYSQL residual processes 
# Call this function before starting any MySQL databases 
# to clean eventual resual MySQL processes
clean_mysql()
{
  retval=0

  $SAFE/safekit printw "Cleaning MySQL processes"

  # kill started MySQL processes
  ps -e -o pid,comm | grep mysql | $AWK '{print "kill " $1}'| sh >/dev/null 2>&1

  return $retval
}

#---------- MySQL Databases
# Call this function for starting MySQL Server
start_MySQL()
{
  retval=0

  $SAFE/safekit printw "Starting MySQL Server"

  # MySQL - Database Starting 
  service mysqld start   
  if [ $? -ne 0 ] ; then 
    $SAFE/safekit printw "MySQL server start failed"
  else
    $SAFE/safekit printw "MySQL server started"
  fi

  return $retval
}

# stdout goes into Application log
echo "Running start_prim $*" 

res=0

[ -z "$OSNAME" ] && OSNAME=`uname -s`
OSNAME=`uname -s`
case "$OSNAME" in
    Linux)
	AWK=/bin/awk
	;;
    *)
	AWK=/usr/bin/awk
	;;
esac

# TODO
# remove MySQL boot start 

# Clean MySQL residual processes 
clean_mysql || res=$?

# Start MySQL databases
start_MySQL || res=$?

if [ $res -ne 0 ] ; then
  $SAFE/safekit printi "start_prim failed"

  # uncomment to stop SafeKit when critical
  # $SAFE/safekit stop -i "start_prim"
fi

exit 0

#!/bin/sh
# Script called on the primary server for stopping application services

# For logging into SafeKit log use:
# $SAFE/safekit printi | printe "message" 

#----------------------------------------------------------
#
# 2 stop modes:
#
# - graceful stop
#   call standard application stop
#
# - force stop ($1=force)
#   kill application's processes
#
#----------------------------------------------------------

#---------- Clean MySQL residual processes
# Call this function on force stop 
# to clean eventual resual MySQL processes 
clean_mysql()
{
  retval=0

  $SAFE/safekit printw "Cleaning MySQL processes "

  # kill started MySQL 
  ps -e -o pid,comm | grep mysql | $AWK '{print "kill -9 " $1}'| sh >/dev/null 2>&1

  return $retval
}

#---------- MySQL databases
# Call this function for stopping MySQL databases
stop_MySQL()
{
  retval=0

  if [ "$1" = "force" ] ; then
    # MySQL databases force stop
    clean_mysql
    return $retval
  fi

  # MySQL databases graceful stop
  $SAFE/safekit printw "Stopping MySQL server"  
  service mysqld stop
  if [ $? -ne 0 ] ; then 
    $SAFE/safekit printw "MySQL server stop failed"
  else
    $SAFE/safekit printw "MySQL server stopped"  
  fi

  return $retval
}

# stdout goes into Application log
echo "Running stop_prim $*" 

res=0

[ -z "$OSNAME" ] && OSNAME=`uname -s`
case "$OSNAME" in
    Linux)
	AWK=/bin/awk
	;;
    *)
	AWK=/usr/bin/awk
	;;
esac

mode=
if [ "$1" = "force" ] ; then
  mode=force
  shift
fi

# Stop MySQL  server 
stop_MySQL $mode || res=$?

[ $res -ne 0 ] && $SAFE/safekit printi "stop_prim failed"

exit 0