KVM : le cluster de haute disponibilité le plus simple avec réplication temps réel, reprise sur panne et partage de charge de VMs entre deux serveurs redondants sans disque partagé

Installation de SafeKit pour la haute disponibilité de KVM avec réplication temps réel synchrone et tolérance aux pannes entre deux serveurs redondants

Prérequis

• vous avez besoin de KVM installé sur 2 nœuds

Installation du package sur Linux

Sur les deux serveurs Linux

• Installez la version gratuite de SafeKit sur 2 nœuds Linux avec les services KVM installés sur les deux nœuds
  
  Essai gratuit de SafeKit sur Linux >
• Après le téléchargement du package safekit_xx.bin, exécutez-le pour extraire le rpm et le script safekitinstall, puis exécutez le script safekitinstall
• Répondez oui à la configuration automatique du pare-feu
• Téléchargez le module Linux
  
  Module kvm.safe pour Linux >
  
  Le module contient les fichiers userconfig.xml, start_prim et stop_prim décrits dans le tab Internes
• Mettez kvm.safe sous /opt/safekit/Application_Modules/demo/ (créez le répertoire de démonstration s'il n'existe pas)

   Guide de l'utilisateur disponible ici

Continuez avec l'onglet Configuration (ci-dessus)

Configuration de SafeKit pour la haute disponibilité de KVM avec réplication temps réel synchrone et tolérance aux pannes entre deux serveurs redondants

Prérequis

La configuration KVM est présentée avec une machine virtuelle nommée vm1. Vous devrez répéter cette configuration pour toutes les machines virtuelles que vous souhaitez répliquer. SafeKit prend en charge jusqu'à 25 machines virtuelles.

À cette étape, nous supposons qu'une machine virtuelle nommée vm1 est existante et configurée sur le nœud 1. Le chemin de l'image vm1 est /var/lib/libvirt/images. Avant la configuration de SafeKit, vous devez effectuer la configuration suivante.

Sur le nœud 1:

• Arrêter vm1: virsh shutdown vm1
• Créez un répertoire vm1/: mkdir -p /var/lib/libvirt/images/vm1/
• Copiez l'image vm1 dans le nouvel emplacement : cp -a /var/lib/libvirt/images/vm1.qcow2 /var/lib/libvirt/images/vm1/. L'image de machine virtuelle d'origine peut être supprimée dès que les tests avec le nouvel emplacement sont réussis.
• Editez le fichier de configuration vm1: EDITOR=vi virsh edit vm1 et changez la ligne:
  <source file='/var/lib/libvirt/images/vm1.qcow2'> par <source file='/var/lib/libvirt/images/vm1/vm1.qcow2'>
  
• Définissez l'option de cache 'none' dans le même fichier, pour l'intégrité des données en cas de crash :
  <disk type='file' device='disk'> <driver name='qemu' type=’qcow2’ cache='none'/>
  
• Fermez le fichier de configuration de vm1
• Désactiver le démarrage automatique de vm1: virsh autostart vm1 --disable
• Créer un fichier XML de configuration pour vm1: virsh dumpxml vm1> vm1.xml

Sur le nœud 2:

• Copiez la configuration vm1.xml à partir du nœud 1. Remarque: à chaque fois que la configuration vm1 est modifiée sur le nœud 1, vous devez réappliquer la nouvelle configuration sur le nœud 2.
• Créez vm1 mais ne la lancez pas: virsh define vm1.xml
• Désactiver le démarrage automatique de vm1: virsh autostart vm1 --disable
• Créez le répertoire de l'emplacement de l'image: mkdir -p /var/lib/libvirt/images/vm1/

Vérifiez cache='none' pour vm1 avec virt-manager

Vérifier que le démarrage automatique est désactivé pour vm1 avec virt-manager

Cette opération doit être répétée si vous disposez d'une autre machine virtuelle vm2. Vous devrez également répéter la configuration SafeKit ci-dessous pour vm2. À la fin, vous aurez deux modules KVM SafeKit pour vm1 et vm2. Chaque module est indépendant et ainsi la charge peut être partagée entre les deux serveurs KVM.

Snapshots

Par défaut, les snapshots d'une machine virtuelle ne sont pas répliqués. Pour répliquer les snapshots (après la configuration ci-dessous) :

• Répliquez le répertoire qui contient les fichiers xml de snapshot: /var/lib/libvirt/qemu/snapshot/%VM_NAME% où VM_NAME est le nom de la machine virtuelle (vm1)
  Editez le fichier userconfig.xml dans l'onglet "Advanced configuration" et insérez les lignes ci-dessous dans la section <rfs> :
  <replicated dir="/var/lib/libvirt/qemu/snapshot/%VM_NAME%" mode="read_only">
  </replicated>
  Enregistrez les modifications, puis appliquez la nouvelle configuration sur les 2 nœuds
• Créez des snapshots uniquement sur le nœud PRIM via virt-manager ou une ligne de commande: virsh snapshot-create-as vm1 snapshot-name
  Note : lors de la création d'un snapshot avec une ligne de commande, vous devez actualiser la vue des snapshots dans virt-manager
  Les snapshots créés sur le nœud PRIM sont opérationnels lors du basculement, mais ne sont pas répertoriés sur l'autre nœud.
  La ligne de commande pour lister les snapshots est: virsh snapshot-list vm1
  Pour importer un snapshot sur l'autre nœud, vous devez exécuter la commande: virsh snapshot-create --redefine vm1 /var/lib/libvirt/qemu/snapshot/vm1/snapshot-name

  Instructions de configuration

    Important : toute la configuration SafeKit est réalisée à partir d'un seul navigateur.

  Lancez la console Web dans un navigateur sur un nœud en vous connectant à http://localhost:9010 (image suivante). Notez que vous pouvez exécuter la console dans un navigateur sur un poste de travail externe.

  

  Entrez l'adresse IP du premier nœud et cliquez sur Confirm (image suivante)

  

  Cliquez sur New node et entrez l'adresse IP du deuxième nœud (image suivante)
  Puis, cliquez sur la disquette rouge pour sauvegarder la configuration (image suivante)

  

     Dans l'image précédente, l'opération de sauvegarde a placé les adresses IP dans le fichier /var/safekit/cluster/cluster.xml et a appliqué la commande distribuée /opt/safekit/safekit –H "*" -G qui configure le nœud 1 et le nœud 2. Ne refaites donc pas cette opération sur l'autre nœud. Vérifiez la connectivité et le pare-feu entre les deux nœuds pour résoudre des problèmes.

  Dans l'onglet Configuration, cliquez sur kvm.safe (xxx.safe dans l'image suivante) puis entrez vm1 comme nom du module et cliquez sur Confirm (la console trouve kvm.safe dans le répertoire "demo/" que vous avez précédemment rempli dans le tab Installation)

  

  Cliquez sur Validate (image suivante)

  

  Donnez le chemin du répertoire des images (/var/lib/libvirt/images dans l'image suivante) où vm1/ a été créé et le nom de la VM (vm1 dans l'image suivante). /var/lib/libvirt/images/vm1/ sera répliqué par SafeKit et la VM vm1 sera redémarrée dans les scripts SafeKit.

  

  Cliquez sur Validate (image précédente)

  

  Cliquez sur Configure (image précédente)

  

  Vérifiez le message succès vert sur les deux serveurs et cliquez sur Next (image précédente). Sous Linux, vous pouvez avoir une erreur à cette étape si les répertoires répliqués sont des points de montage. Voir cet article pour résoudre le problème.

  On suppose que le nœud 1 contient les répertoires répliqués les plus récents (sinon faite l'opération suivante sur le nœud 2).
  Sélectionnez le nœud 1 et cliquez sur Start it (image suivante).
  Lorsque vous démarrerez le nœud 2, la première resynchronisation se fera du nœud1 vers le nœud 2.
  En cas de doute, avant cette opération, nous vous suggérons de faire une copie des répertoires répliqués avant de démarrer le cluster pour éviter toute erreur.

  

  Le nœud 1 doit atteindre l'état ALONE (vert) (image suivante), ce qui signifie que le script start_prim a été exécuté sur le nœud 1.
  Lorsque le nœud 1 atteint l'état ALONE (vert), vous pouvez vérifier que l'application KVM est démarrée sur le nœud 1.
  Si l'état est ALONE (vert) et si l'application n'est pas démarrée, vérifiez le script start_prim: vous pouvez trouver les messages de sortie du script dans l'Application Log disponible dans l'onglet Contrôle.
  Si le nœud 1 n’atteint pas l’état ALONE (vert), analysez pourquoi avec le Module Log disponible dans l'onglet Contrôle.
  Note : dans l'image suivante, si le cluster est dans l'état [WAIT (rouge) not uptodate - STOP (rouge) not uptodate], arrêtez le serveur WAIT et forcez son démarrage en primaire (cliquez ici pour voir l'opération).

  

  On suppose que les services démarrés automatiquement par SafeKit dans le script start_prim sont bien arrêtés sur le nœud 2.
  Démarrez le nœud 2 (image précédente) qui devient SECOND vert (image suivante) après la resynchronisation de tous les répertoires répliqués (copie binaire du nœud 1 vers le nœud 2).

  

  La réplication et le basculement sont opérationnels pour vm1. vm1 s'exécute sur le nœud PRIM (image précédente). Seules les modifications dans l'image KVM définissant vm1 sont répliquées en temps réel dans cet état.

  Tests

  Vérifiez avec KVM virt-manager que la machine vituelle vm1 est démarrée sur le serveur primaire et arrêtée sur le serveur secondaire.

  Arrêtez le nœud PRIM en faisant défiler le menu du nœud primaire et en cliquant sur Stop. Vérifiez qu'il y a un basculement sur le nœud SECOND. Et vérifiez le basculement de vm1 avec KVM virt-manager.

  Plus d'information sur les tests dans le guide de l'utilisateur

  Démarrage automatique du module au boot

  Configure boot start (image suivante sur le côté droit) configure le démarrage automatique du module au boot du serveur. Effectuez cette configuration sur node1 and node2 une fois que la solution de haute disponibilité fonctionne correctement.

  

  Pour lire les logs SafeKit, allez au tab Dépannage

  Pour éditer userconfig.xml, start_prim et stop_prim, allez au tab Configuration avancée

Résolution de problèmes avec SafeKit pour la haute disponibilité de KVM avec réplication temps réel synchrone et tolérance aux pannes entre deux serveurs redondants

Journal du module

Consultez le journal d'un module pour comprendre les raisons d'une reprise sur panne, d'un état d'attente sur la disponibilité d'une ressource etc...
Pour voir le journal du module sur le serveur primaire (image suivante):

• cliquez sur l'onglet Control
• cliquez sur node 1/PRIM (il devient bleu) à gauche pour sélectionner le serveur
• cliquez sur Module Log
• cliquez sur l'icône Refresh (flêches vertes) pour mettre à jour la console
• cliquez sur la disquette pour sauver le log du module dans un fichier .txt et pour l'analyser dans un éditeur de texte

Répétez la même opération pour voir le journal du module du serveur secondaire.

Journal applicatif

Consultez le journal applicatif pour voir les messages de sortie des scripts de redémarrage stat_prim et stop_prim.
Pour voir le journal applicatif du serveur primaire (image suivante) :

• cliquez sur l'onglet Control
• cliquez sur node 1/PRIM (il devient bleu) à gauche pour sélectionner le serveur
• cliquez sur Appication Log pour voir les messages de démarrage et d'arrêt de VM1
• cliquez sur l'icône Refresh (flêches vertes) pour mettre à jour la console
• cliquez sur la disquette pour sauver le log applicatif dans un fichier .txt et pour l'analyser dans un éditeur de texte

Répétez la même opération pour voir le journal applicatif du serveur secondaire.

Plus d'information sur la résolution de problèmes dans le guide de l'utilisateur

Pour un support, allez au tab Support

Configuration avancée de SafeKit pour la haute disponibilité de KVM avec réplication temps réel synchrone et tolérance aux pannes entre deux serveurs redondants

Configuration avancée

Dans l'onglet Advanced Configuration (image suivante), vous pouvez modifier les fichiers internes au module : bin/start_prim et bin/stop_prim et conf/userconfig.xml (image suivante sur le côté gauche). Si vous faites des changements dans les fichiers internes ici, vous devez appliquer la nouvelle configuration par un clic droit sur l'icône/xxx sur le côté gauche (image suivante) : l'interface vous permettra de redéployer les fichiers modifiés sur les deux serveurs.

Plus d'information sur userconfig.xml dans le guide de l'utilisateur

Support de SafeKit pour la haute disponibilité de KVM avec réplication temps réel synchrone et tolérance aux pannes entre deux serveurs redondants

Support

Pour obtenir de l'aide sur le centre d'appel de https://support.evidian.com, prenez 2 Snaphots (2 fichiers .zip), un pour chaque serveur et téléchargez-les dans l'outil du centre d'appel (image suivante).

Plus d'information sur le support dans le guide de l'utilisateur

Fichiers internes à SafeKit pour la haute disponibilité de KVM avec réplication temps réel synchrone et tolérance aux pannes

Allez dans le tab Configuration avancée pour modifier les fichiers ci-dessous.

Fichiers internes au module Linux kvm.safe

userconfig.xml (description dans le guide de l'utilisateur)

<!-- Mirror Architecture with Real Time File Replication and Failover for KVM -->

<!DOCTYPE safe>
<safe>
  <!-- Set value to the path of the virtual machines repository -->
  <macro name="VM_PATH" value="/var/lib/libvirt/images" />
  <!-- Set value to the name of the virtual machine -->
  <macro name="VM_NAME" value="vm1" />

 <service mode="mirror" defaultprim="alone" maxloop="3" loop_interval="24" failover="on">
  <!-- Heartbeat Configuration --> 
  <heart>
    <heartbeat name="">
    </heartbeat>
  </heart>

  <!-- File Mirroring Configuration -->
  <rfs mountover="off" async="second" locktimeout="200" nbrei="3">
	<replicated dir="%VM_PATH%/%VM_NAME%" mode="read_only">
	</replicated>
	<!-- Uncomment for replicating the directory that contains snapshot xml files of the virtual machine
	<replicated dir="/var/lib/libvirt/qemu/snapshot/%VM_NAME%" mode="read_only">
	</replicated>
	-->	
  </rfs>

  <!-- User scripts Configuration -->
  <user>
    <var name="VM_PATH" value="%VM_PATH%/%VM_NAME%" />
    <var name="VM_NAME" value="%VM_NAME%" />
  </user>

 </service>
</safe>

start_prim

#!/bin/sh
# Script called on the primary server for starting application

# For logging into SafeKit log use:
# $SAFE/safekit printi | printe "message" 

# stdout goes into Application log
echo "Running start_prim $*" 

res=0

# Start VM_NAME
virsh start $VM_NAME
state=$(virsh list --all | grep " $VM_NAME " | awk '{ print $3}')
if ([ "x$state" == "x" ]) ; then
	res=1
	$SAFE/safekit printe "$VM_NAME not found"
else
	let i=1
	while ( [ $i -le 5 ] && [ "x$state" != "xrunning" ]); do
      sleep 5
      state=$(virsh list --all | grep " $VM_NAME " | awk '{ print $3}')
      let i=i+1
	done
	if ([ "x$state" != "xrunning" ]) ; then
		res=1
		$SAFE/safekit printe "$VM_NAME start failed"
	fi
fi

if [ $res -ne 0 ] ; then
  $SAFE/safekit printe "start_prim failed"
  
  # uncomment to stop SafeKit when critical
  $SAFE/safekit stop -i "start_prim"
fi

stop_prim

#!/bin/sh
# Script called on the primary server for stopping application

# For logging into SafeKit log use:
# $SAFE/safekit printi | printe "message" 

#----------------------------------------------------------
#
# 2 stop modes:
#
# - graceful stop
#   call standard application stop
#
# - force stop ($1=force)
#   kill application's processes
#
#----------------------------------------------------------

# stdout goes into Application log
echo "Running stop_prim $*" 

# Stop VM_NAME
virsh shutdown $VM_NAME
state=$(virsh list --all | grep " $VM_NAME " | awk '{ print $3}')
if ([ "x$state" == "x" ]) ; then
	res=1
	$SAFE/safekit printe "$VM_NAME not found"
else
	let i=1
	while ( [ $i -le 5 ] && [ "x$state" == "xrunning" ]); do
		# Stop VM_NAME
		virsh shutdown $VM_NAME
		sleep 5
      		state=$(virsh list --all | grep " $VM_NAME " | awk '{ print $3}')
      		let i=i+1
	done
	if ([ "x$state" == "xrunning" ]) ; then
		res=1
		$SAFE/safekit printe "$VM_NAME stop failed"
	fi
fi

res=0

# default: no action on forcestop
[ "$1" = "force" ] && exit 0

# Fill with your application stop call

[ $res -ne 0 ] && $SAFE/safekit printe "stop_prim failed"