Heartbeat, failover et quorum dans un cluster Windows ou Linux

Comment fonctionne les heartbeats et le failover dans les clusters SafeKit sur Windows ou Linux

Le mécanisme basique pour synchroniser deux serveurs et détecter les défaillances d'un serveur est le heartbeat (battement de cœur), qui consiste en un échange de petits paquets UDP entre les serveurs. Avec SafeKit, on peut mettre autant de heartbeats qu'il y a de réseaux connectant les deux serveurs.

Le mécanisme de heartbeat de SafeKit permet de mettre en œuvre des clusters Windows et Linux. Il est intégré aux autres fonctionnalités d'un module miroir et notamment à la réplication temps réel et continue dans un cluster actif-passif.

Dans une situation normale, les deux serveurs échangent leurs états (PRIM, SECOND, les états des ressources) à travers les heartbeats et synchronisent ainsi les procédures de démarrage et arrêt applicatif. Notamment en situation de basculement sur panne logicielle ou sur opération manuelle, le script d'arrêt de l'application est exécuté sur le serveur primaire, avant d'exécuter le script de démarrage sur le serveur secondaire. Ainsi on récupère des données répliquées sur le secondaire dans un état sain correspondant à un arrêt applicatif propre.

Si tous les heartbeats sont perdus, cela signifie que l'autre serveur est en panne. Le serveur local décide de devenir ALONE. S'il s'agit du serveur SECOND qui passe ALONE, il y a alors un failover applicatif avec relance de l'applicatif sur le serveur secondaire. Bien que non obligatoire, il est préférable d'avoir deux voies de heartbeats sur deux réseaux différents afin de distinguer une panne réseau d'une panne serveur.

Problème du quorum avec un cluster écarté entre deux salles machines

La plupart du temps, un cluster de haute disponibilité sécurisant une application critique dans un data center est mis en œuvre dans deux salles géographiquement distantes pour supporter le sinistre d'une salle complète.

Dans la situation d'une isolation réseau transitoire entre les 2 salles machines, le problème dit de split brain se pose. Les 2 serveurs peuvent exécuter l'application.

Avec un cluster de failover matériel, cette situation ne doit pas se produire car une double exécution signifie un accès concurrent au stockage partagé et une corruption potentielle des données de l'application critique. C'est pourquoi dans un cluster matériel, le mécanisme de quorum est mis en œuvre avec un troisième serveur de quorum ou un disque spécial de quorum ou même un reset hardware de la machine distante lorsque c'est possible.

Malheureusement, ce nouveau dispositif augmente le coût et la complexité de l'architecture de clustering global. Et le système n'est pas à l'abri d'un OS qui gèle: lorsque l'OS sort du gel, on se retrouve dans la situation de double exécution de l'application, même avec les mécanismes précédemment cités et avec un risque de corruption des données sur le stockage partagé entre les deux machines.

Vidéo : Heartbeat, failover, quorum pour résoudre le problème de split brain dans un cluster >

Simplicité du quorum dans un cluster SafeKit

Avec le logiciel de haute disponibilité SafeKit, la gestion du quorum dans un cluster Windows ou Linux ne nécessite pas de troisième serveur de quorum, ni de disque de quorum spécial, ni de reset hardware à distance. Un simple split brain checker est suffisant pour le quorum SafeKit et pour éviter la double exécution d'une application.

Le split brain checker, sur détection d’isolation réseau entre les serveurs, sélectionne un unique serveur pour devenir primaire. L’autre serveur devient non à jour et se bloque dans l’état WAIT, jusqu’à ce qu’il reçoive à nouveau les heartbeats de l’autre serveur, auquel cas il resynchronise automatiquement les données répliquées à partir de l'autre serveur.

L’élection du serveur primaire via le split brain checker de SafeKit repose sur le ping d’un composant externe, appelé witness (témoin). Le witness est typiquement un routeur qui ne tombe pas en panne. En cas d'isolation réseau, seul le serveur ayant accès au witness sera primaire ALONE, l'autre partira en WAIT. Le witness n'est pas testé en permanence mais uniquement lorsque le système bascule. Si au moment du basculement, le witness est down, le cluster part dans l'état WAIT-WAIT et un administrateur peut choisir de redémarrer l'un des nœuds en tant que primaire via l'interface web de SafeKit.

Envisageons le cas critique d'un gel OS ou d'une isolation réseau sans split brain checker configuré. Un cluster de haute disponibilité SafeKit supporte une double exécution d'une application critique sans corruption de données. Dans ce cas, le serveur primaire continue d'exécuter l'application dans l'état ALONE. Et le serveur secondaire redémarre l'application et passe aussi dans l'état ALONE. Les répertoires répliqués sont isolés et chaque application en cours d'exécution travaille sur ses propres données dans son propre répertoire.

Lorsque le réseau est reconnecté, un sacrifice est réalisé en arrêtant l'application sur un des deux serveurs. Ce sacrifice arrête donc l'application sur un serveur et provoque la réintégration des données à partir de l'autre serveur primaire. Après cette réintégration, les données sont à nouveau en mode mirroir entre un serveur primaire et un serveur secondaire.

Toutes ces opérations sont automatiques avec SafeKit. La complexité de gestion des heartbeats, du failover et du quorum dans le cluster est intégrée au produit SafeKit et transparent pour les utilisateurs de SafeKit. Ainsi, les personnes déployant SafeKit sans compétence particulière peuvent le faire sur deux serveurs standards locaux ou distants. De plus, la configuration est la même que ce soit un cluster Windows ou Linux.

Important: si vous choisissez une autre solution basée sur un disque partagé ou répliqué, il faut s'assurer qu'après un gel OS, le serveur qui sort du gel ne peut plus accéder au disque partagé ou répliqué sinon deux serveurs accédant au même disque via son système de fichiers amène à une corruption des données.

Meilleures pratiques pour un cluster miroir avec réplication et reprise sur panne

Cluster miroir d'Evidian SafeKit avec réplication de fichiers temps réel et reprise sur panne
Toutes les fonctionnalités de clustering		Un cluster SafeKit fonctionne sur Windows et Linux sans nécessiter de baies de disques partagées ou répliquées coûteuses SafeKit offre toutes les fonctionnalités de clustering : réplication de fichiers temps réel synchrone, surveillance des défaillances serveur/réseau/logiciel, redémarrage automatique de l'application, adresse IP virtuelle basculée en cas de panne pour rerouter les clients Ce n'est pas le cas avec les solutions de réplication pure comme la réplication au niveau base de données qui n'implémente que la réplication La configuration du cluster est très simple et réalisée au moyen de modules applicatifs. Il n'y a pas de contrôleur de domaine ou d'Active Directory à configurer comme avec Microsoft cluster SafeKit met en œuvre un redémarrage rapide de l'application en cas de panne : autour d'1 mn ou moins (voir RTO/RPO ici) Un redémarrage rapide de l'application n'est pas assuré avec une réplication complète de machines virtuelles. En cas de panne d'un hyperviseur, une machine virtuelle doit être rebootée sur un nouvel hyperviseur avec un temps de redémarrage lié au reboot de l'OS comme avec VMware HA ou Hyper-V cluster
Réplication synchrone		La réplication en temps réel est synchrone sans perte de données en cas de panne Ce n'est pas le cas avec une réplication asynchrone
Retour d'un serveur tombé en panne totalement automatisé (failback)		Suite à une panne lorsqu'un serveur reboot, le retour du serveur tombé en panne se fait de manière totalement automatique dans le cluster avec une resynchronisation de ses données et sans arrêter l'application sur le seul serveur restant Ce n'est pas le cas avec la plupart des solutions de réplication particulièrement celles avec une réplication au niveau base de données. Des opérations manuelles sont requises pour resynchroniser le serveur défaillant. Il peut être même nécessaire d'arrêter l'application sur le seul serveur restant
Réplication de n'importe quel type de données		La réplication fonctionne pour les bases de données mais aussi pour n'importe quel fichier qui doit-être répliqué Ce n'est pas le cas pour la réplication au niveau base de données
Réplication de fichiers vs réplication de disque		La réplication est basée sur des répertoires de fichiers qui peuvent être localisés n'importe où (même dans le disque système) Ce n'est pas le cas avec la réplication de disque où une configuration spéciale de l'application est nécessaire pour placer les données applicatives dans un disque spécial
Réplication de fichiers vs disque partagé		Les serveurs peuvent être placés dans deux sites distants Ce n'est pas le cas avec les solutions à disque partagé
Sites distants et adresse IP virtuelle		Toutes les fonctionnalités de clustering SafeKit fonctionnent pour 2 serveurs sur des sites distants. Les performances de la réplication dépendent de la latence d'interconnexion pour la réplication synchrone en temps réel et de la bande passante pour la resynchronisation des données sur un serveur défaillant. Si les deux serveurs sont connectés au même réseau IP via un réseau local étendu entre deux sites distants, l'adresse IP virtuelle de SafeKit fonctionne avec une redirection au niveau 2 Si les deux serveurs sont connectés à deux réseaux IP différents entre deux sites distants, l'adresse IP virtuelle peut être configurée au niveau d'un load balancer. SafeKit propose un "health check": le load balancer est configuré avec une URL gérée par SafeKit qui renvoie OK sur le serveur primaire et NOT FOUND sinon. Cette solution est implémentée pour SafeKit dans le Cloud, mais elle peut être également mise en œuvre avec un load balancer sur site
Quorum		Avec des sites distants, la solution fonctionne avec seulement 2 serveurs et pour le quorum (isolation réseau), un simple split brain checker vers un routeur est offert pour supporter une seule exécution Ce n'est pas le cas pour la plupart des solutions de clustering où un 3^ième serveur est nécessaire pour le quorum
Cluster actif/actif		Le serveur secondaire n'est pas dédié au redémarrage du serveur primaire. Le cluster peut être actif-actif en exécutant deux modules miroirs différents Ce n'est pas le cas avec un système fault-tolerant dans lequel le secondaire est dédié à l'exécution de la même application synchronisée au niveau instruction
Solution de haute disponibilité uniforme		SafeKit implémente un cluster miroir avec une réplication et une reprise sur panne. Mais il implémente aussi un cluster ferme avec load balancing et reprise sur panne. Ainsi une architecture N-tiers peut-être rendue hautement disponible et load balancée avec la même solution sur Windows et Linux (même installation, configuration, administration avec la console SafeKit ou les commandes en ligne). Ceci est unique sur le marché Ce n'est pas le cas avec une architecture mixant des technologies différentes pour le load balancing, la réplication et la reprise sur panne

Comparaison entre clusters de haute disponibilité

Comparaison d'architectures de haute disponibilité
Fonctionnalité	Cluster SafeKit	Autres clusters
Cluster logiciel vs cluster matériel	Un cluster logiciel simple avec le package SafeKit installé sur deux serveurs	Un cluster matériel complexe avec du stockage externe ou des boîtiers de load balancing
Cluster de type "shared nothing"" vs cluster à disque partagé	SafeKit est un cluster sans partage de type "shared-nothing": simple à déployer même sur des sites distants	Un cluster à disque partagé est complexe à déployer
Haute disponibilité applicative vs Haute disponibilité de machines virtuelles complètes	La haute disponibilité applicative supporte les pannes matérielles et logicielles avec un temps de reprise rapide (RTO autour d'1 mn ou moins) Upgrade en douceur de l'application et de l'OS possible serveur par serveur (les versions N et N+1 peuvent coexister)	La haute disponibilité de machines virtuelles complètes (VM) supporte seulement les pannes matérielles avec un reboot de la VM et un temps de reprise dépendant du reboot de l'OS. Upgrade en douceur impossible
Haute disponibilité vs tolérance aux fautes	Aucun serveur dédié avec SafeKit. Chaque serveur peut être le serveur de reprise de l'autre serveur. Exception logicielle avec redémarrage dans un autre environnement OS. Upgrade en douceur de l'application et de l'OS possible serveur par serveur (les versions N et N+1 peuvent coexister)	Serveur secondaire dédié à l'exécution de la même application synchronisée au niveau instruction. Exception logicielle sur les 2 serveurs en même temps. Upgrade en douceur impossible
Réplication synchrone vs réplication asynchrone	SafeKit met en œuvre une réplication temps réel synchrone sans perte de données en cas de panne	Avec une réplication asynchrone, il y a une perte de données en cas de panne
Réplication de fichiers au niveau octet vs réplication de disque au niveau du bloc	SafeKit met en œuvre la réplication de fichiers temps réel au niveau octet et se configure simplement avec les répertoires applicatifs à répliquer même dans le disque système	La réplication de disque au niveau bloc est complexe à configurer et nécessite de mettre les données de l'application dans un disque spécial
Heartbeat, reprise sur panne et quorum pour éviter 2 serveurs maîtres	Pour éviter 2 serveur maîtres, SafeKit propose un simple "split brain checker" configuré sur un routeur	Pour éviter 2 serveur maîtres, les autres clusters demandent une configuration complexe avec une 3^ième machine, un disque de quorum spécial, une interconnexion spéciale
Adresse IP virtuelle primaire/secondaire, load balancing réseau, basculement sur panne	Aucun serveur proxy dédié et aucune configuration réseau particulière ne sont requis dans un cluster SafeKit pour mettre en œuvre des adresses IP virtuelles	Une configuration réseau spéciale est requise dans d'autres clusters pour mettre en œuvre des adresses IP virtuelles. A noter que SafeKit propose un vérificateur d'état adapté aux équilibreurs de charge

Partage de charge réseau et reprise sur panne : cliquez sur les boutons bleus
Modules fermes	Windows	Linux
Nouvelle application
IIS		-
Apache
Amazon AWS ferme
Microsoft Azure ferme
Google GCP ferme
Cloud ferme générique

Réplication de fichiers temps réel et reprise sur panne : cliquez sur les boutons bleus
Modules miroirs	Windows	Linux
Nouvelle application
Microsoft SQL Server		-
Oracle
MariaDB
MySQL
PostgreSQL
Firebird
Hyper-V		-
KVM	-
Docker	-
Elasticsearch	-
Milestone XProtect		-
Genetec SQL Server		-
Hanwha Wisenet SSM		-
Nedap AEOS		-
Amazon AWS miroir
Microsoft Azure miroir
Google GCP miroir
Cloud miroir générique

Heartbeat, failover et quorum dans des clusters Windows ou Linux

Evidian SafeKit

Comment fonctionne les heartbeats et le failover dans les clusters SafeKit sur Windows ou Linux

Problème du quorum avec un cluster écarté entre deux salles machines

Simplicité du quorum dans un cluster SafeKit

Autres facteurs à prendre en compte lors du choix d'un cluster de haute disponibilité avec heartbeat, failover et quorum

Cluster miroir d'Evidian SafeKit avec réplication de fichiers temps réel et reprise sur panne

Comparaison d'architectures de haute disponibilité

Modules SafeKit pour des solutions de haute disponibilité plug&play

Partage de charge réseau et reprise sur panne : cliquez sur les boutons bleus

Modules fermes

Windows

Linux

Réplication de fichiers temps réel et reprise sur panne : cliquez sur les boutons bleus

Modules miroirs

Windows

Linux

Démonstrations de solutions de haute disponibilité avec SafeKit

Webinaire SafeKit

Cluster Microsoft SQL Server

Cluster Apache

Cluster Hyper-V