Comment fonctionne les heartbeats et le failover dans les clusters SafeKit sur Windows ou Linux
Le mécanisme basique pour synchroniser deux serveurs et détecter les défaillances d'un serveur est le heartbeat (battement de cœur), qui consiste en un échange de petits paquets UDP entre les serveurs. Avec SafeKit, on peut mettre autant de heartbeats qu'il y a de réseaux connectant les deux serveurs.
Dans une situation normale, les deux serveurs échangent leurs états (PRIM, SECOND, les états des ressources) à travers les heartbeats et synchronisent ainsi les procédures de démarrage et arrêt applicatif. Notamment en situation de basculement sur panne logicielle ou sur opération manuelle, le script d'arrêt de l'application est exécuté sur le serveur primaire, avant d'exécuter le script de démarrage sur le serveur secondaire. Ainsi on récupère des données répliquées sur le secondaire dans un état sain correspondant à un arrêt applicatif propre.
Si tous les heartbeats sont perdus, cela signifie que l'autre serveur est en panne. Le serveur local décide de devenir ALONE. S'il s'agit du serveur SECOND qui passe ALONE, il y a alors un failover applicatif avec relance de l'applicatif sur le serveur secondaire. Bien que non obligatoire, il est préférable d'avoir deux voies de heartbeats sur deux réseaux différents afin de distinguer une panne réseau d'une panne serveur.
Problème du quorum avec un cluster écarté entre deux salles machines
La plupart du temps, un cluster de haute disponibilité sécurisant une application critique dans un data center est mis en œuvre dans deux salles géographiquement distantes pour supporter le sinistre d'une salle complète.
Dans la situation d'une isolation réseau transitoire entre les 2 salles machines, le problème dit de split brain se pose. Les 2 serveurs peuvent exécuter l'application.
Avec un cluster de failover matériel, cette situation ne doit pas se produire car une double exécution signifie un accès concurrent au stockage partagé et une corruption potentielle des données de l'application critique. C'est pourquoi dans un cluster matériel, le mécanisme de quorum est mis en œuvre avec un troisième serveur de quorum ou un disque spécial de quorum ou même un reset hardware de la machine distante lorsque c'est possible.
Malheureusement, ce nouveau dispositif augmente le coût et la complexité de l'architecture de clustering global. Et le système n'est pas à l'abri d'un OS qui gèle: lorsque l'OS sort du gel, on se retrouve dans la situation de double exécution de l'application, même avec les mécanismes précédemment cités et avec un risque de corruption des données sur le stockage partagé entre les deux machines.
Simplicité du quorum dans un cluster SafeKit
Avec le logiciel de haute disponibilité SafeKit, la gestion du quorum dans un cluster Windows ou Linux ne nécessite pas de troisième serveur de quorum, ni de disque de quorum spécial, ni de reset hardware à distance. Un simple split brain checker est suffisant pour le quorum SafeKit et pour éviter la double exécution d'une application.
Le split brain checker, sur détection d’isolation réseau entre les serveurs, sélectionne un unique serveur pour devenir primaire. L’autre serveur devient non à jour et se bloque dans l’état WAIT, jusqu’à ce qu’il reçoive à nouveau les heartbeats de l’autre serveur, auquel cas il resynchronise automatiquement les données répliquées à partir de l'autre serveur.
L’élection du serveur primaire via le split brain checker de SafeKit repose sur le ping d’un composant externe, appelé witness (témoin). Le witness est typiquement un routeur qui ne tombe pas en panne. En cas d'isolation réseau, seul le serveur ayant accès au witness sera primaire ALONE, l'autre partira en WAIT. Le witness n'est pas testé en permanence mais uniquement lorsque le système bascule. Si au moment du basculement, le witness est down, le cluster part dans l'état WAIT-WAIT et un administrateur peut choisir de redémarrer l'un des nœuds en tant que primaire via l'interface web de SafeKit.
Envisageons le cas critique d'un gel OS ou d'une isolation réseau sans split brain checker configuré. Un cluster de haute disponibilité SafeKit supporte une double exécution d'une application critique sans corruption de données. Dans ce cas, le serveur primaire continue d'exécuter l'application dans l'état ALONE. Et le serveur secondaire redémarre l'application et passe aussi dans l'état ALONE. Les répertoires répliqués sont isolés et chaque application en cours d'exécution travaille sur ses propres données dans son propre répertoire.
Lorsque le réseau est reconnecté, un sacrifice est réalisé en arrêtant l'application sur un des deux serveurs. Ce sacrifice arrête donc l'application sur un serveur et provoque la réintégration des données à partir de l'autre serveur primaire. Après cette réintégration, les données sont à nouveau en mode mirroir entre un serveur primaire et un serveur secondaire.
Notez que lorsque le cluster de haute disponibilité est basé surun disque partagé, il faut s'assurer qu'après un gel OS, le serveur qui sort du gel ne peut plus accéder au disque sinon c'est la corruption des données.
Toutes ces opérations sont automatiques. La complexité de gestion des heartbeats, du failover et du quorum dans le cluster est intégrée au produit SafeKit et transparent pour les utilisateurs de SafeKit. Ainsi, les personnes déployant SafeKit sans compétence particulière peuvent le faire sur deux serveurs standards locaux ou distants. De plus, la configuration est la même que ce soit un cluster Windows ou Linux.
Important: si vous choisissez une autre solution basée sur un disque partagé ou répliqué, il faut s'assurer qu'après un gel OS, le serveur qui sort du gel ne peut plus accéder au disque partagé ou répliqué sinon deux serveurs accédant au même disque via son système de fichiers amène à une corruption des données.
Différenciateurs clés de la solution de réplication et de haute disponibilité avec le cluster miroir d'Evidian SafeKit
Cluster miroir d'Evidian SafeKit avec réplication de fichiers temps réel et reprise sur panne
Toutes les fonctionnalités de clustering
La solution inclut toutes les fonctionnalités de clustering:
surveillance de la défaillance des serveurs, surveillance de la défaillance réseau, surveillance de la défaillance logicielle, redémarrage automatique de
l'application
avec un temps de reprise rapide, une adresse IP virtuelle basculée en cas de panne pour rerouter automatiquement les clients
Ce n'est pas le cas avec les solutions de réplication pure comme la réplication au niveau base de données
Un redémarrage rapide de
l'application
n'est pas assuré avec une réplication complète de machines virtuelles. En cas de panne d'un hyperviseur, une machine virtuelle doit être rebootée sur un nouvel hyperviseur avec un temps de redémarrage inconnu
La configuration du cluster est très simple et réalisée au moyen d'un module de haute disponibilité applicatif.
Il n'y a pas de contrôleur de domaine ou d'Active Directory à configurer sur Windows. La solution fonctionne sur Windows et Linux
Ce n'est pas le cas avec une réplication asynchrone
Retour d'un serveur tombé en panne totalement automatisé (failback)
Suite à une panne lorsqu'un serveur reboot, le retour du serveur tombé en panne se fait de manière totalement automatique
dans le cluster avec une resynchronisation de ses données et sans arrêter
l'application
sur le seul serveur restant
Ce n'est pas le cas avec la plupart des solutions de réplication particulièrement celles avec une réplication au niveau base de données. Des opérations manuelles sont requises pour resynchroniser le serveur défaillant.
Il peut être même nécessaire d'arrêter
l'application
sur le seul serveur restant
Réplication de n'importe quel type de données
La réplication fonctionne pour
les bases de données
mais aussi pour n'importe quel fichier qui doit-être répliqué
Ce n'est pas le cas pour la réplication au niveau base de données
Réplication de fichiers vs réplication de disque
La réplication est basée sur des répertoires de fichiers qui peuvent être localisés n'importe où (même dans le disque système)
Ce n'est pas le cas avec la réplication de disque où une configuration spéciale de
l'application
est nécessaire pour placer les données applicatives dans un disque spécial
Ce n'est pas le cas avec les solutions à disque partagé
Sites distants
Toutes les fonctionnalités de clustering SafeKit fonctionnent pour 2 serveurs sur des sites distants. Les performances de la réplication dépendent de la latence d'interconnexion pour la réplication synchrone en temps réel et de la bande passante pour la resynchronisation des données sur un serveur défaillant.
Si les deux serveurs sont connectés au même réseau IP via un réseau local étendu entre deux sites distants,
l'adresse IP virtuelle de SafeKit fonctionne avec une redirection au niveau 2
Si les deux serveurs sont connectés à deux réseaux IP différents entre deux sites distants, l'adresse IP virtuelle peut être
configurée au niveau d'un load balancer.
SafeKit propose un "health check": le load balancer est configuré avec une URL gérée par SafeKit qui renvoie OK sur le
serveur primaire et NOT FOUND sinon. Cette solution est implémentée
pour SafeKit dans le Cloud,
mais elle peut être également mise en œuvre avec un load balancer sur site
Quorum
Avec des sites distants, la solution fonctionne avec seulement 2 serveurs et pour le quorum (isolation réseau),
un simple split brain checker vers un routeur est offert pour supporter une seule exécution
Ce n'est pas le cas pour la plupart des solutions de clustering où un 3ième serveur est nécessaire pour le
quorum
Solution de haute disponibilité uniforme
SafeKit implémente un cluster miroir avec une réplication et une reprise sur panne. Mais il implémente aussi un cluster ferme avec load balancing et reprise sur panne.
Ainsi une architecture N-tiers peut-être rendue hautement disponible et load balancée avec la même solution sur Windows et Linux (même installation, configuration, administration avec la console SafeKit ou les commandes en ligne). Ceci est unique sur le marché
Ce n'est pas le cas avec une architecture mixant des technologies différentes pour le load balancing, la réplication et la reprise sur panne
Exemples de modules miroirs
Cliquez sur le bouton bleu pour accéder à la solution
Modules miroirs (réplication et reprise sur panne)
Windows
Linux
Microsoft SQL Server
-
Oracle
MySQL
PostgreSQL
Firebird
Hyper-V
-
Milestone XProtect (basé sur Microsoft SQL Server)
-
Hanwha SSM (basé sur PostgreSQL Server)
-
Module miroir générique pour n'importe quelle application
Dans les systèmes de vidéosurveillance, Evidian SafeKit implémente une haute disponibilité avec une réplication synchrone et un basculement sur panne pour :
Harmonic utilise SafeKit comme une offre de haute disponibilité logicielle OEM dans ses solutions de télédiffusion à travers la TNT, les satellites, le câble et les réseaux IP.
Bernard Etienne, Responsable de production témoigne :
“La Compagnie Européenne de Garanties et Cautions gère des applications métiers critiques qui doivent rester disponibles face aux pannes matérielles et logicielles. En effet, nos applications déterminent si une caution peut être délivrée à un particulier contractant un prêt dans une banque ou à une entreprise qui a besoin d’une garantie sur un investissement. Nous avons retenu le produit SafeKit d’Evidian pour assurer la haute disponibilité de nos applications métiers pour 3 raisons principales. C’est un produit simple qui se met en œuvre sur deux serveurs standards. Il ne nécessite pas d’investir des composants matériels spécifiques et coûteux. Et c’est un produit riche qui permet de surveiller finement nos applications métiers et les reprendre en cas de panne matérielle et logicielle.”
« Les entreprises automatisées que nous équipons s’appuient sur l’ERP SYDEL UNIVERS. Il n’est pas envisageable que notre ERP soit hors de service à cause d’une panne informatique. Sinon c’est l’ensemble de l’activité de l’entreprise qui s’arrête. Nous avons choisi la solution de haute disponibilité Evidian SafeKit car c’est une solution simple d’utilisation. Elle se met en œuvre sur des serveurs standard et ne contraint pas à utiliser des disques partagés sur un SAN et des boitiers réseau de partage de charge. Elle permet d’écarter les serveurs dans des salles machines distinctes. De plus, la solution est homogène pour les plateformes Linux et Windows. Et elle apporte 3 fonctionnalités : le partage de charge entre serveurs, la reprise automatique sur panne et la réplication temps réel des données. »
Transport aérien [+]
Le fournisseur de solutions pour le contrôle aérien, Copperchase, déploie SafeKit pour la haute disponibilité de ses systèmes dans les aéroports. Plus de 20 clusters SafeKit sont déployés sur Windows. Tony Myers, Directeur Business Développement témoigne : « En développant des applications pour le contrôle du trafic aérien, Copperchase est dans l’une des activités les plus critiques qui existent. Nous avons absolument besoin que nos applications soient disponibles tout le temps. Nous avons trouvé avec SafeKit une solution simple et complète de clustering qui répond parfaitement à nos besoins. Ce logiciel combine en un seul produit l’équilibrage de charge, la réplication de données en temps réel sans perte de données et le basculement automatique en cas de panne. C’est pourquoi, Copperchase déploie SafeKit dans les aéroports pour le contrôle du trafic aérien au Royaume-Uni et dans les 30 pays où nous sommes présents. »
Et également, Philippe Marsol, responsable d’intégration, Atos BU Transport, témoigne :
“SafeKit est un produit simple et puissant pour la haute disponibilité des applications. Nous avons intégré SafeKit dans nos projets critiques comme la supervision de la ligne 4 du métro Parisien (dans le PCC / Poste de Commande et de Contrôle) ou la ligne 1 et 2 à Marseille (dans le CSR / Centre de Supervision du Réseau). Grâce à la simplicité du produit, nous avons gagné du temps dans l’intégration et la validation de la solution et nous avons eu également des réponses rapides à nos questions avec une équipe Evidian réactive. »
Marc Pellas, Président Directeur Général témoigne :
« SafeKit répond parfaitement aux besoins d’un éditeur logiciel. Son principal avantage est d’introduire la haute disponibilité via une option logicielle qui s’ajoute à notre propre suite logicielle multi-plateformes. Ainsi, nous ne sommes pas dépendants d’une solution de clustering matériel spécifique, coûteuse, complexe à installer, difficile à maintenir et différente suivant les environnements clients. Avec SafeKit, nos centres de pompiers sont déployés avec une solution de clustering logiciel intégrée avec notre application, uniforme chez tous nos clients, simple pour les utilisateurs et que nous maîtrisons totalement de l’installation jusqu’au support après vente. »
Alexandre Barth, Administrateur système témoigne :
« Notre équipe de production a mis en œuvre sans difficulté la solution SafeKit sur 14 clusters Windows et Unix. Notre activité critique est ainsi sécurisée avec des fonctions de haute disponibilité et de partage de charge. Les avantages de ce produit sont d’une part la simplicité de mise en œuvre et d’administration des clusters et d’autre part, l’uniformité de la solution face aux systèmes d’exploitation hétérogènes. »
La haute disponibilité applicative de SafeKit supporte les pannes matérielles, logicielles et les erreurs humaines avec un temps de reprise rapide
La haute disponibilité de machines virtuelles complètes (VM) supporte seulement les pannes matérielles avec un reboot de la VM et un temps de reprise indéfini si le reboot OS dysfonctionne
SafeKit met en œuvre la réplication de fichiers temps réel au niveau octet et se configure simplement avec les répertoires applicatifs à répliquer même dans le disque système
La réplication de disque au niveau bloc est complexe à configurer et nécessite de mettre les données de l'application dans un disque spécial
Pour éviter 2 serveur maîtres, SafeKit propose un simple "split brain checker" configuré sur un routeur
Pour éviter 2 serveur maîtres, les autres clusters demandent une configuration complexe avec une 3ième machine, un disque de quorum spécial, une interconnexion spéciale
Les répertoires répliqués peuvent être dans le disque système
Multiples heartbeats et adresses IP virtuelles supportés
Offre des checkers logiciels, matériels et réseaux configurables
Pour le quorum, ne nécessite pas de disque spécial ou de troisème machine ou de lien spécifique entre les 2 serveurs
Basculement automatique des services avec un temps de reprise de l'ordre d'une minute
Réintégration automatique d'un serveur après panne (aucune opération manuelle)
Une console très simple pour déployer la solution et la maintenir ensuite pour le client final
Supporte les erreurs humaines (40% des causes d'indisponibilité) grâce à sa simplicité
Supporte les défaillances logicielles (40% des causes d'indisponibilité) : régression sur les mises à jour logicielles (les versions N et N + 1 peuvent coexister), système d'exploitation gelé, bug logiciel
Supporte les défaillances du matériel et de son environnement (20% des causes d'indisponibilité), y compris la panne complète d'une salle informatique avec 2 nœuds dans deux sites distants
Quel est le temps de reprise (RTO) [+]
Le RTO (Recovery Time Objective) est le temps pendant lequel l'application est indisponible en cas de panne. Le RTO de la solution miroir de SafeKit est de l'ordre de 1 mn.
Pour une panne matérielle dans un cluster miroir, RTO = timeout des heartbeats (par défaut 30 s, peut être modifié dans userconfig.xml) + délai pour redémarrer les services .
Pour une défaillance logicielle ou un basculement administrateur, RTO = le temps d'arrêter (proprement) les services + le temps de les redémarrer.
Soyez prudent, avec des solutions qui redémarrent une machine virtuelle complète en cas de panne, le RTO est imprévisible car des opérations manuelles peuvent être nécessaires après un crash matériel pour redémarrer la machine virtuelle.
Quelle est la perte de données (RPO) [+]
Le RPO (Recovery Point Objective) reflète la perte de données en cas de panne. Le RPO de la solution miroir de SafeKit est 0 car la réplication est synchrone et temps réel.
Attention, avec la réplication asynchrone, le RPO n'est pas 0 et il y a perte de données en cas de panne lorsque l'application redémarre sur le serveur secondaire.
La solution inclut toutes les fonctionnalités de clustering:
surveillance de la défaillance des serveurs, surveillance de la défaillance réseau, surveillance de la défaillance logicielle, redémarrage automatique de
l'application
avec un temps de reprise rapide, une adresse IP virtuelle basculée en cas de panne pour rerouter automatiquement les clients
Ce n'est pas le cas avec les solutions de réplication pure comme la réplication au niveau base de données
