Oracle : le cluster de haute disponibilité le plus simple avec réplication synchrone et tolérance aux pannes

Installation de SafeKit pour la haute disponibilité de Oracle avec réplication temps réel synchrone et tolérance aux pannes

Prérequis

• vous avez besoin de Oracle installé sur 2 nœuds (machines virtuelles ou serveurs physiques)
• sur Windows, avec le gestionnaire de services Windows, mettez les services Oracle avec type de démarrage au boot = manuel sur les deux nœuds. SafeKit contrôle le démarrage des services Oracle dans start_prim . Editez start_prim lors de la configuration pour vérifier si vous avez mis tous les services en démarrage manuel, y compris les nouveaux que vous pouvez ajouter.

Installation du package sur Windows

Sur les deux nœuds Windows

• Installez la version gratuite de SafeKit sur 2 nœuds Windows avec les services Oracle installés sur les deux nœuds
  
  Essai gratuit de SafeKit sur Windows >
• Téléchargez le module Windows
  
  Module oracle.safe pour Windows >
  
  Le module contient les fichiers userconfig.xml, start_prim et stop_prim décrits dans le tab Internes
• Mettez oracle.safe sous C:\safekit\Application_Modules\demo\ (créez le répertoire demo s'il n'existe pas)
• Pour ouvrir le pare-feu Windows, sur les deux nœuds démarrez une ligne de commande en tant qu'administrateur, allez sous C:\safekit\private\bin et tapez .\firewallcfg.cmd add
• Pour synchroniser SafeKit au boot et au shutdown, sur les deux nœuds démarrez une ligne de commande en tant qu'administrateur, allez sous C:\safekit\private\bin et tapez .\addStartupShutdown.cmd

Installation du package sur Linux

Sur les deux serveurs Linux

• Installez la version gratuite de SafeKit sur 2 nœuds Linux avec les services Oracle installés sur les deux nœuds
  
  Essai gratuit de SafeKit sur Linux >
• Après le téléchargement du package safekit_xx.bin, exécutez-le pour extraire le rpm et le script safekitinstall, puis exécutez le script safekitinstall
• Répondez oui à la configuration automatique du pare-feu
• Téléchargez le module Linux
  
  Module oracle.safe pour Linux >
  
  Le module contient les fichiers userconfig.xml, start_prim et stop_prim décrits dans le tab Internes
• Mettez oracle.safe sous /opt/safekit/Application_Modules/demo/ (créez le répertoire de démonstration s'il n'existe pas)

Continuez avec le tab Configuration

Configuration de SafeKit pour la haute disponibilité de Oracle avec réplication temps réel synchrone et tolérance aux pannes

Instructions de configuration

La configuration est présentée avec la console web connectée à 2 serveurs Windows mais c'est la même chose avec 2 serveurs Linux.

Important : toute la configuration est réalisée à partir d'un seul navigateur.

Lancez la console Web dans un navigateur en vous connectant à http://localhost:9010 (image suivante)

Entrez l'adresse IP du premier nœud et cliquez sur Confirm (image suivante)

Cliquez sur New node et entrez l'adresse IP du deuxième nœud (image suivante)
Puis, cliquez sur la disquette rouge pour sauvegarder la configuration (image suivante)

Dans l'onglet Configuration, cliquez sur oracle.safe (xxx.safe dans l'image suivante) puis entrez oracle comme nom du module et cliquez sur Confirm (la console trouve oracle.safe dans le répertoire demo/ que vous avez précédemment rempli dans le tab Installation)

Cliquez sur Validate (image suivante)

Après le clic sur Validate, cette nouvelle fenêtre apparaît (image suivante)

Dans l'image précédente:

• Vérifiez que les répertoires répliqués sont installés sur les 2 nœuds et contiennent les données applicatives. La réplication des données et aussi des logs est requise pour une base de données. Vous pouvez ajouter des nouveaux répertoires répliqués si nécessaire.
• Enter une adresse IP virtuelle. Une adresse IP virtuelle est une adresse IP standard dans le même réseau IP que les adresses IP des 2 nœuds. Les clients de l'application doivent être configurés avec l'adresse IP virtuelle (ou le nom DNS associé à l'adresse IP virtuelle). L'adresse IP virtuelle est automatiquement basculée en cas de panne.
• start_prim et stop_prim contiennent le démarrage et l'arrêt des services Oracle. Éditez les scripts et vérifiez que les noms de service sont ceux installés sur vos machines (sinon modifiez les dans les scripts). Vous pouvez ajouter de nouveaux services dans les scripts si nécessaire.
• Sur Windows, avec le gestionnaire de services Windows, mettez les services Oracle inscrits dans start_prim avec type de démarrage au boot = Manuel sur les 2 serveurs (SafeKit contrôle le démarrage des services Oracle dans start_prim).
• Notez que, si un nom de processus est affiché dans Process checker, il sera surveillé avec l'action restart en cas de panne. Les services seront arrêtés et redémarrés localement sur le serveur principal si ce processus disparaît de la liste des processus en cours d'exécution. Après 3 redémarrages locaux infructueux, le module est arrêté sur le serveur principal et les services sont redémarrés sur le serveur secondaire.

Cliquez sur Validate (image précédente)

Cliquez sur Configure (image précédente)

Vérifiez le message succès vert sur les deux serveurs et cliquez sur Next (image précédente). Sous Linux, vous pouvez avoir une erreur à cette étape si les répertoires répliqués sont des points de montage. Voir cet article pour résoudre le problème.

Sélectionnez le nœud avec les répertoires répliqués les plus récents et cliquez sur Start it pour effectuer la première resynchronisation dans la bonne direction (image précédente). Avant cette opération, nous vous suggérons de faire une copie des répertoires répliqués avant de démarrer le cluster pour éviter toute erreur.

Démarrer le deuxième nœud (image précédente) qui devient SECOND vert (image suivante) après la resynchronisation de tous les répertoires répliqués (copie binaire du nœud 1 vers le nœud 2).

Le cluster est opérationnel avec les services Oracle s'exécutant sur le nœud PRIM et ne s'exécutant pas sur le nœud SECOND (image précédente). Seules les modifications à l'intérieur des fichiers sont répliquées en temps réel dans cet état.

Attention, les composants qui sont clients des services Oracle doivent être configurés avec l'adresse IP virtuelle. La configuration peut être effectuée avec un nom DNS (si un nom DNS a été créé et associé à l'adresse IP virtuelle).

Tests

Vérifiez avec la console Microsoft Management Console (MMC) sous Windows ou avec des lignes de commande sous Linux que les services Oracle ont été démarrés sur le serveur primaire par le script start_prim et arrêtés sur le serveur secondaire par le script stop_prim.

Arrêtez le nœud PRIM en faisant défiler le menu du nœud primaire et en cliquant sur Stop. Vérifiez qu'il y a un basculement sur le nœud SECOND. Et avec la console Microsoft Management Console (MMC) sous Windows ou avec des lignes de commande sous Linux, vérifiez le basculement des services Oracle (arrêtés et démarrés dans les scripts stop_prim et start_prim) .

Résolution de problèmes avec SafeKit pour la haute disponibilité de Oracle avec réplication temps réel synchrone et tolérance aux pannes

Journal du module

Consultez le journal d'un module pour comprendre les raisons d'une reprise sur panne, d'un état d'attente sur la disponibilité d'une ressource etc...
Pour voir le journal du module sur le serveur primaire (image suivante):

• cliquez sur l'onglet Control
• cliquez sur W12R2server74/PRIM (il devient bleu) à gauche pour sélectionner le serveur
• cliquez sur Module Log
• cliquez sur l'icône Refresh (flêches vertes) pour mettre à jour la console
• cliquez sur la disquette pour sauver le log du module dans un fichier .txt et pour l'analyser dans un éditeur de texte

Répétez la même opération pour voir le journal du module du serveur secondaire.

Journal applicatif

Consultez le journal applicatif pour voir les messages de sortie des scripts de redémarrage stat_prim et stop_prim.
Pour voir le journal applicatif du serveur primaire (image suivante) :

• cliquez sur l'onglet Control
• cliquez sur W12R2server74/PRIM (il devient bleu) à gauche pour sélectionner le serveur
• cliquez sur Appication Log pour voir les messages de démarrage et d'arrêt des services Oracle
• cliquez sur l'icône Refresh (flêches vertes) pour mettre à jour la console
• cliquez sur la disquette pour sauver le log applicatif dans un fichier .txt et pour l'analyser dans un éditeur de texte

Répétez la même opération pour voir le journal applicatif du serveur secondaire.

Configuration avancée de SafeKit pour la haute disponibilité de Oracle avec réplication temps réel synchrone et tolérance aux pannes

Configuration avancée

Dans l'onglet Advanced Configuration (image suivante), vous pouvez modifier les fichiers internes au module : bin/start_prim et bin/stop_prim et conf/userconfig.xml (image suivante sur le côté gauche). Si vous faites des changements dans les fichiers internes ici, vous devez appliquer la nouvelle configuration par un clic droit sur l'icône bleue/xxx sur le côté gauche (image suivante) : l'interface vous permettra de redéployer les fichiers modifiés sur les deux serveurs.

Configure boot start (image suivante sur le côté droit) configure le démarrage automatique du module au boot du serveur. Effectuez cette configuration sur les deux serveurs une fois que la solution de haute disponibilité fonctionne correctement. Notez que pour synchroniser SafeKit au boot et au shutdown, sur les deux nœuds, dans une ligne de commande en tant qu'administrateur, vous devez préalablement exécuter .\addStartupShutdown.cmd dans C:\safekit\private\bin.

Support de SafeKit pour la haute disponibilité de Oracle avec réplication temps réel synchrone et tolérance aux pannes

Support

Pour obtenir de l'aide sur le centre d'appel de https://support.evidian.com, prenez 2 Snaphots (2 fichiers .zip), un pour chaque serveur et téléchargez-les dans l'outil du centre d'appel (image suivante).

Fichiers internes à SafeKit pour la haute disponibilité de Oracle avec réplication temps réel synchrone et tolérance aux pannes

Fichiers internes au module Windows oracle.safe

<!DOCTYPE safe>
<safe>
<macro name="ORACLE_SID" value="ORACLE_SID_TO_BE_DEFINED" />
<macro name="ORACLE_HOME_NAME" value="ORACLE_HOME_NAME_TO_BE_DEFINED" />
<service mode="mirror" defaultprim="alone" maxloop="3" loop_interval="24" failover="on">
  <!-- Heartbeat Configuration -->
  <!-- Names or IP addresses on the default network are set during initialization in the console -->
  <heart pulse="700" timeout="30000">
    <heartbeat name="default" ident="flow">
    </heartbeat>
  </heart>
  <!-- Virtual IP Configuration (used by Oracle SQL*Net Listener) -->
  <!-- Replace
     * VIRTUAL_TO_BE_DEFINED by the IP address of your virtual server 
  --> 
  <vip>
    <interface_list>
        <interface check="on" arpreroute="on">
           <real_interface>
               <virtual_addr addr="VIRTUAL_TO_BE_DEFINED" where="one_side_alias" />
          </real_interface>
        </interface>
    </interface_list>
  </vip>
  <!-- Software Error Detection Configuration -->
  <errd polltimer="10">
    <!-- Oracle databases 
    For monitoring one specific oracle instance, insert the attribute
    argregex="{.*SID.*}" where SID is the name of the DataBase
    -->
    <proc name="oracle.exe" atleast="1" action="restart" class="prim" />
    <proc name="tnslsnr.exe" atleast="1" action="restart" class="prim" />
  </errd>
  <!-- File Replication Configuration -->
  <!-- Replace
     * ORACLE_DATA_TO_BE_DEFINED by the path of your Oracle database directory and transaction logs
  -->
  <rfs async="second" acl="off" nbrei="3">
    <replicated dir="ORACLE_DATA_TO_BE_DEFINED" mode="read_only" />
  </rfs>
  <!-- User scripts Configuration / Environment variables -->
  <user nicestoptimeout="300" forcestoptimeout="300" logging="userlog">
    <var name="ORACLE_SID" value="%ORACLE_SID%" /> <!-- values defined in macro above -->
    <var name="ORACLE_HOME_NAME" value="%ORACLE_HOME_NAME%" />
  </user>
</service>
</safe>

@echo off
rem Script called on the primary server for starting application services 

rem For logging into SafeKit log use:
rem "%SAFE%\safekit" printi | printe "message"

rem stdout goes into Application log
echo "Running start_prim %*" 

set res=0

net start "OracleDbConsole%ORACLE_SID%" > nul
if not %errorlevel% == 0 goto stop
%SAFE%\safekit printi "OracleDbConsole%ORACLE_SID% started"

net start "OracleService%ORACLE_SID%" > nul
if not %errorlevel% == 0 goto stop
%SAFE%\safekit printi "OracleService%ORACLE_SID% started"

net start "Oracle%ORACLE_HOME_NAME%TNSListener" > nul
if not %errorlevel% == 0 goto stop
%SAFE%\safekit printi "Oracle%ORACLE_HOME_NAME%TNSListener started"

if %res% == 0 goto end

:stop
set res=%errorlevel%
%SAFE%\safekit printi "Oracle start failed"

rem uncomment to stop SafeKit when critical
rem %SAFE%\safekit stop -i "start_prim"

:end

@echo off
rem Script called on the primary server for stopping application services 

rem ----------------------------------------------------------
rem
rem 2 stop modes:
rem
rem - graceful stop
rem   call standard application stop with net stop
rem
rem - force stop (%1=force)
rem   kill application's processes
rem
rem ----------------------------------------------------------

rem For logging into SafeKit log use:
rem "%SAFE%\safekit" printi | printe "message"

rem stdout goes into Application log
echo "Running stop_prim %*" 

set res=0

rem default: no action on forcestop
if "%1" == "force" goto end

net stop OracleService%ORACLE_SID% > nul
%SAFE%\safekit printi "OracleService%ORACLE_SID% stopped"

net stop  OracleDBConsole%ORACLE_SID% > nul
%SAFE%\safekit printi "OracleDBConsole%ORACLE_SID% stopped"

net stop  Oracle%ORACLE_HOME_NAME%TNSListener > nul
%SAFE%\safekit printi "Oracle%ORACLE_HOME_NAME%TNSListener stopped"

rem wait a little for a real stop of services
%SAFEBIN%\sleep 10

:end

Fichiers internes au module Linnux oracle.safe

<!DOCTYPE safe>
<safe>
<macro name="ORACLE_HOME" value="PATH_TO_BE_DEFINED" />
<macro name="ORACLE_DBA" value="USER_TO_BE_DEFINED" />
<service mode="mirror" defaultprim="alone" maxloop="3" loop_interval="24" failover="on">
  <!-- Heartbeat Configuration -->
  <!-- Names or IP addresses on the default network are set during initialization in the console -->
  <heart pulse="700" timeout="30000">
    <heartbeat name="default" ident="flow">
    </heartbeat>
  </heart>
  <!-- Virtual IP Configuration (used by Oracle SQL*Net Listener) -->
  <!-- Replace
  * VIRTUAL_TO_BE_DEFINED by the IP address of your virtual server
  -->
  <vip>
    <interface_list>
      <interface check="on" arpreroute="on">
        <real_interface>
          <virtual_addr addr="VIRTUAL_TO_BE_DEFINED" where="one_side_alias" />
        </real_interface>
      </interface>
    </interface_list>
  </vip>
  <!-- Software Error Detection Configuration -->
  <errd polltimer="10">
    <!-- Oracle databases
    For monitoring one specific oracle instance, insert the attribute
    argregex=".*SID$" where SID is the name of the DataBase
    -->
    <proc name="oracle" nameregex="ora_.*" atleast="1" action="restart" class="prim" />
    <proc name="tnslsnr" atleast="1" action="restart" class="prim" />
  </errd>
  <!-- File Replication Configuration -->
  <!-- Replace
  * ORACLE_DATA_TO_BE_DEFINED by the path of your Oracle database directory and transaction logs
  -->
  <rfs mountover="off" packetsize="32768" async="second" acl="off" nbrei="3">
    <replicated dir="ORACLE_DATA_TO_BE_DEFINED" mode="read_only" />
  </rfs>
  <!-- User scripts Configuration / Environment variables -->
  <user nicestoptimeout="300" forcestoptimeout="300" logging="userlog">
    <var name="ORACLE_HOME" value="%ORACLE_HOME%" /> <!-- values defined in macro above -->
    <var name="ORACLE_DBA" value="%ORACLE_DBA%" />
  </user>
</service>
</safe>

#!/bin/sh
# Script called on the primary server for starting applications

# For logging into SafeKit log use:
# $SAFE/safekit printi | printe "message" 

#---------- Clean Oracle residual processes and shared memory
# Call this function before starting any Oracle databases 
# to clean eventual resual Oracle processes and IPC
clean_oracle()
{
  retval=0

  $SAFE/safekit printw "Cleaning Oracle processes and shared memory"

  # kill started Oracle databases
  ps -e -o pid,comm |grep ora | $AWK '{print "kill " $1}'| sh >/dev/null 2>&1

  # delete oracle shared memory to start in a clean state
  case $OSNAME in
 	   Linux)
	        ipcs -m |grep oracle |$AWK '{print "shm "$2 | "xargs ipcrm"}' >/dev/null 2>&1
		ipcs -s |grep oracle |$AWK '{print "sem "$2 | "xargs ipcrm"}' >/dev/null 2>&1
		;;
 	   *)
	        ipcs -m |grep oracle |$AWK '{print "-m "$2 | "xargs ipcrm"}' >/dev/null 2>&1
		ipcs -s |grep oracle |$AWK '{print "-s "$2 | "xargs ipcrm"}' >/dev/null 2>&1
		;;
  esac

  if [ -f $ORACLE_HOME/dbs/sgadef*.dbf ]; then          
    rm $ORACLE_HOME/dbs/sgadef*.dbf                   
  fi                                               

  return $retval
}

#---------- Oracle Databases
# Call this function for starting Oracle Databases        
start_oracle()
{
  retval=0

  $SAFE/safekit printw "Starting Oracle databases"

  # Oracle - Database Starting 
  /bin/su - $ORACLE_DBA -c "$ORACLE_HOME/bin/dbstart $ORACLE_HOME" #> /dev/console 2>&1   
  if [ $? -ne 0 ] ; then 
    $SAFE/safekit printw "Oracle databases start failed"
#    retval=1
  else
    $SAFE/safekit printw "Oracle databases started"
  fi

  return $retval
}

#---------- Oracle SQL*Net Listener
# Call this function for starting Oracle Listener
start_listener()
{
  retval=0

  # Oracle - Listener Starting
  LISTENER_STATE=`$SAFEBIN/killit list tnslsnr`     
  if [ "$LISTENER_STATE" != "" ]; then              
    $SAFE/safekit printw "Oracle Listener already started"         
    return $retval                                  
  fi                                                

  $SAFE/safekit printw "Starting Oracle Listener"
  /bin/su - $ORACLE_DBA -c "$ORACLE_HOME/bin/lsnrctl start" #> /dev/console 2>&1
  if [ $? -ne 0 ] ; then
    $SAFE/safekit printw "Oracle Listener start failed"
  else
    $SAFE/safekit printw "Oracle Listener started"
  fi

  return $retval
}

# stdout goes into Application log
echo "Running start_prim $*" 

res=0

[ -z "$OSNAME" ] && OSNAME=`uname -s`
OSNAME=`uname -s`
case "$OSNAME" in
    Linux)
	AWK=/bin/awk
	;;
    *)
	AWK=/usr/bin/awk
	;;
esac

# stdout goes into Application log
echo "Running start_prim $*" 

# TODO
# remove oracle boot start  

# WARNING: all databases defined in /etc/oratab are started
#

# Clean Oracle residual processes and shared memory to start Oracle databases in a clean state
clean_oracle || res=$?

# Start Oracle databases
start_oracle || res=$?

# Start SQL*Net Listener Oracle
start_listener || res=$?

if [ $res -ne 0 ] ; then
  $SAFE/safekit printi "start_prim failed"

  # uncomment to stop SafeKit when critical
  # $SAFE/safekit stop -i "start_prim"
fi

exit 0

#!/bin/sh
# Script called on the primary server for stopping applications

# For logging into SafeKit log use:
# $SAFE/safekit printi | printe "message" 

#----------------------------------------------------------
#
# 2 stop modes:
#
# - graceful stop
#   call standard application stop
#
# - force stop ($1=force)
#   kill application's processes
#
#----------------------------------------------------------

#---------- Clean Oracle residual processes and shared memory
# Call this function on force stop 
# to clean eventual resual Oracle processes and IPC
clean_oracle()
{
  retval=0

  $SAFE/safekit printw "Cleaning Oracle processes and shared memory"

  # kill started Oracle databases
  ps -e -o pid,comm |grep ora | $AWK '{print "kill -9 " $1}'| sh >/dev/null 2>&1

  # delete oracle shared memory to start in a clean state
  case $OSNAME in
 	   Linux)
	        ipcs -m |grep oracle |$AWK '{print "shm "$2 | "xargs ipcrm"}' >/dev/null 2>&1
		ipcs -s |grep oracle |$AWK '{print "sem "$2 | "xargs ipcrm"}' >/dev/null 2>&1
		;;
 	   *)
	        ipcs -m |grep oracle |$AWK '{print "-m "$2 | "xargs ipcrm"}' >/dev/null 2>&1
		ipcs -s |grep oracle |$AWK '{print "-s "$2 | "xargs ipcrm"}' >/dev/null 2>&1
		;;
  esac

  if [ -f $ORACLE_HOME/dbs/sgadef*.dbf ]; then          
    rm $ORACLE_HOME/dbs/sgadef*.dbf                   
  fi                                               

  return $retval
}

#---------- Oracle SQL*Net Listener
# Call this function for stopping Oracle Listener
stop_listener()
{
  retval=0

  if [ "$1" = "force" ] ; then
    # Oracle Listener force stop
    $SAFEBIN/killit +KILL tnslsnr 1>/dev/null 2>&1
    return $retval
  fi

  # Oracle - Listener stopping
  LISTENER_STATE=`$SAFEBIN/killit list tnslsnr`            
  if [ "$LISTENER_STATE" = "" ]; then                      
    $SAFE/safekit printw "Oracle Listener already stoppped"               
    return $retval                                         
  fi            

  $SAFE/safekit printw "Stopping Oracle Listener"
  /bin/su - $ORACLE_DBA -c "$ORACLE_HOME/bin/lsnrctl stop" #> /dev/console 2>&1
  if [ $? -ne 0 ] ; then
    $SAFE/safekit printw "Oracle Listener stop failed"
  else
    $SAFE/safekit printw "Oracle Listener stopped"
  fi

  return $retval
}

#---------- Oracle databases
# Call this function for stopping Oracle databases
stop_oracle()
{
  retval=0

  if [ "$1" = "force" ] ; then
    # Oracle databases force stop
    clean_oracle
    return $retval
  fi

  # Oracle databases gracefull stop

  # First stop the startup - shutdown command if it is running
  $SAFEBIN/killit +TERM dbstart dbshut> /dev/null 2>&1 

  # Kill oracle connections that prevent Oracle from stopping gracefully   
  ps -e -o pid,args |grep LOCAL=NO |$AWK '{print "kill " $1}'| sh > /dev/null 2>&1        
  ps -e -o pid,args |grep LOCAL=YES |$AWK '{print "kill " $1}'| sh > /dev/null 2>&1        

  $SAFE/safekit printw "Stopping Oracle databases"  
  /bin/su - $ORACLE_DBA -c "$ORACLE_HOME/bin/dbshut $ORACLE_HOME" #> /dev/console 2>&1
  if [ $? -ne 0 ] ; then 
    $SAFE/safekit printw "Oracle databases stop failed"
  else
    $SAFE/safekit printw "Oracle databases stopped"  
  fi

  return $retval
}

# stdout goes into Application log
echo "Running stop_prim $*" 

res=0

[ -z "$OSNAME" ] && OSNAME=`uname -s`
case "$OSNAME" in
    Linux)
	AWK=/bin/awk
	;;
    *)
	AWK=/usr/bin/awk
	;;
esac

mode=
if [ "$1" = "force" ] ; then
  mode=force
  shift
fi

# WARNING: all databases defined in /etc/oratab are stopped                    

# Stop Oracle SQL*Net Listener
stop_listener $mode || res=$?

# Stop Oracle databases 
stop_oracle $mode || res=$?

[ $res -ne 0 ] && $SAFE/safekit printi "stop_prim failed"

exit 0