Compte Rendu Incident

# Datacenter FreePro 30/05/2023

Bonjour,

Suite à un jour de coupure d’Internet et de tous nos services en date du 30/05/2023, nous nous devions de venir faire un point.

Côté Data Center

Un incident de climatisation du site a eu lieu entre le 30/05/2023 à 20h42 et le 31/05/2023 à 11h15
suite à une perte de pression du réseau d’eau glacée alimentant les unités de climatisation des
salles informatiques.
Suite à une succession de trois fuites d’eau sur le réseau secondaire d’eau glacée (boucle
d’alimentation des unités de climatisation des salles informatiques) et à la perte de pression dans
la boucle d’eau glacée qui en a résulté, une montée en température importante dans les salles
informatiques du site a eu lieu.
La prise en compte des défauts et des alarmes remontées au niveau des logiciels de supervision
a été défaillante en début d’incident et a occasionné un délai dans la prise en compte de l’incident
et dans le déclenchement des opérations de remédiation. Ce sujet est au cœur des analyses sous
le pilotage direct de la Direction Générale de l’entreprise.
Les équipes d’exploitation ont été contraintes de couper progressivement l’alimentation électrique
des salles informatiques dans le but de protéger les équipements des clients, conserver l’intégrité
des infrastructures et éviter un départ de feu éventuel suite à un emballement thermique. Pendant
cette période nous avons néanmoins maintenu nos infrastructures essentielles et le backbone
réseau opérationnels.
Les équipes d’interventions présentes sur site se sont réparties sur les 3 actions correctives
suivantes :

  • Localisation et isolation des fuites par fermeture des vannes (2 fuites sur les circuits
    d’alimentation des climatisations et 1 sur une des pompes secondaires) ;
  • Remplissage et remise en pression des réseaux d’eau glacée primaire et secondaire ;
  • Evacuation de l’eau présente en faux plancher des salles informatiques (NB : le niveau
    d’eau n’a atteint aucun équipement électrique durant l’incident mais a provoqué une
    augmentation de l’hygrométrie du site sans dépasser les seuils de SLA toutefois).
    Le temps de remplissage et la remise en pression des boucles primaire et secondaire se sont
    avérés très longs pour les raisons suivantes :
  • Le débit du circuit d’alimentation en eau adoucie s’est révélé insuffisant pour remplissage
    d’un telle volumétrie en un temps contraint ;
  • En cours de remplissage, lors de l’atteinte d’un premier seuil de pression, est apparue une
    nouvelle fuite au niveau d’une pompe secondaire (effet sur une bride de serrage d’une
    vanne lors de la perte de pression et du re-remplissage) ;
  • Le temps nécessaire à la mise en œuvre de sources complémentaires d’alimentation d’eau
    pour le remplissage.
    3
    A la fin du remplissage, lorsque la pression a été suffisante au niveau du circuit primaire, un
    redémarrage par palier des installations de climatisation a pu être initié en tenant compte :
  • D’une part d’un démarrage séquentiel des groupes de production de froid et de leurs
    compresseurs
  • D’autre part de l’hygrométrie par rapport à la température dans les salles informatiques
    pour éviter tout point de condensation pouvant endommager les équipements
    informatiques.
    L’ensemble des opérations de restauration du fonctionnement des installations de climatisation a
    pu être terminé à 11h15, le 31 Mai et ont permis aux équipes en charge de la distribution électrique
    de réalimenter progressivement -en toute sécurité- les départs électriques coupés précédemment.
    La remise sous tension des équipements informatiques a été conduite progressivement et en
    coordination avec les clients suivant les contraintes d’exploitation de chacun.
    Coté température, le retour sous les seuils d’alarme est intervenu à la mi-journée.
    L’incident sur le volet climatisation a pu être clôturé à 14h30 le 31 mai.
    Suivant les infrastructures et les clients, les fins d’incident ou d’impact sur les opérations clients
    se sont étalées dans le temps et nos équipes de support restent mobilisées et renforcées sur le
    week-end et les jours à venir en cas de besoin.

Côté RD medias

la coupure électrique a provoqué la casse de :

  • nos switches de bordure (qui gèrent le BGP)
  • la destruction ou la perturbation de 5 autres switches fibre

Après le remplacement de tous les switches réseau, nous avons pu commencer à vérifier l’état matériel de notre réseau, notre cloud et les serveurs physiques.

A 22h le 31 mai, nous avons attaqué le remplacement des switches BGP (tête de pont réseau), à 3h45 le 01 juin tout le réseau était de nouveau accessible.

Entre le 31 mai et le 1er juin, nous avons relancé tous les serveurs virtuels sans perte de données aucune, la réplication ayant fonctionné pour certaines VM qui avaient subi une altération lors de l’arrêt brusque de courant (principalement les serveurs Linux).

Certaines parties du réseau comportaient des dysfonctionnements, nous avons pu isoler chaque route défectueuse et remplacer ou corriger les switches qui posaient souci. la sécurité employée à travers nos fireWalls physiques et les vlan clients imposent des règles très strictes à tout point de vue du réseau et demande beaucoup de précision lors de toute intervention réseau.

Malgré cette panne fort gênante pour l’activité de nos clients il faut retenir quelques point positifs :

  • aucune perte de données
  • implication totale et sans limite des équipes techniques de RD medias et Free Pro
  • l’optimisation de quelques points dans notre réseau BGP <> FireWalls

D’ici quelques semaines on vous présentera certains points que nous sommes en train d’améliorer …

Bien sincèrement,
l’équipe de RD medias

Comment Corriger l’Erreur SFC “La protection des ressources Windows ne peut pas effectuer l’opération demandée” ?

Souci rencontré sous Windows 2012 : plus aucune modification possible, disque plein alors qu’il reste de l’espace, …

Tiré de :
https://pcsecurise.fr/demander/comment-corriger-lerreur-sfc-la-protection-des-ressources-windows-ne-peut-pas-effectuer-loperation-demandee/

Il manque une information capitale, lorsque vous démarrez d’un media virtuel ou d’un support usb, car windows change la lettre des lecteurs; donc commandes à faire avant de lancer chkdsk :

Récupérez la lettre où le système doit se trouver et ensuite lancez chdsk :

Par exemple pour moi il avait déplacé le disque système sur D, et le disque de données sur C (lettres inversées). Cela a donné :

A partir de là j’ai pu lancer la commande ICACLS qui change les droits sur les répertoires mais via la nouvelle lettre :

Puis j’ai pu relancer la commande CHDSK sans plus aucune d’erreur de protection, machine sauvée !

ICEWARP – Vider le cache Webmail sous mySQL

Lors d’une migration de serveur ou cas très rare, il se peut que le cache du Webmail ne se mette pas à jour.

Il y a quelques temps de cela, la simple suppression du fichier cache.db suffisait, ou pour ceux qui utilisent SQLlite la procédure est toujours de vigueur.

Bon nous on a tout fait bien comme dans la doc, avec un mySQL 64 bits de dernière génération et là il faut envoyer de la requête …

Premièrement il nous faut trouver la base en question : GroupWare > Client Web > onglet Général > Base de données.

Quand on connaît la base de données, direction : Système > Outils > Gestionnaire SQL et sélectionner la base détectée dans la première étape, vous pouvez également passer par php myadmin par exemple.

Les commandes :

Un petit Count permet de voir que tout est bien à 0 :

! Avant toute intervention au niveau du cache il faut fermer les sessions au Webmail via Session > Groupware.

C# – formule de Luhn

La formule de Lhun permet de vérifier un numéro de carte bleue, un siret, un siren, … tellement utile pour les contrôles de formulaire que je me suis penché sur la question ne trouvant rien de probant sur Internet.

La partie front :

Juste un formulaire pour envoyer le chiffre, rien de bien palpitant 🙂

La partie programmée :

Quelques remarques :

  • Bien penser à ajouter le using regularExpressions qui permet de simplifier grandement les choses avec le Regex. Entre autre je m’en sers pour convertir un string en array de chiffres à 1 digit > « 123 » => [1][2][3], pas trouvé mieux pour la méthode !
  • J’ai coupé le traitement en deux parties que vous visualisiez bien le fonctionnement, cela peut bien entendu être simplifié mais en cas de souci ça permet de vérifier les deux tableaux, le premier avec les digits, le deuxième avec les multiples de deux pour les colonnes impaires sauf pour la première colonne.
  • Par rapport à Wikipedia, il existe un cas particulier par rapport au SIRET de la poste que je n’ai pas traité dans ce cas ! Je verrai avec le temps si j’en ai besoin …

Quelques liens utiles :

https://fr.wikipedia.org/wiki/Formule_de_Luhn

https://portal.hardis-group.com/pages/viewpage.action?pageId=120357227