Actualités

Compte Rendu Incident

laurent - responsable Technique

# Datacenter FreePro 30/05/2023

Bonjour,

Suite à un jour de coupure d’Internet et de tous nos services en date du 30/05/2023, nous nous devions de venir faire un point.

Côté Data Center

Un incident de climatisation du site a eu lieu entre le 30/05/2023 à 20h42 et le 31/05/2023 à 11h15
suite à une perte de pression du réseau d’eau glacée alimentant les unités de climatisation des
salles informatiques.
Suite à une succession de trois fuites d’eau sur le réseau secondaire d’eau glacée (boucle
d’alimentation des unités de climatisation des salles informatiques) et à la perte de pression dans
la boucle d’eau glacée qui en a résulté, une montée en température importante dans les salles
informatiques du site a eu lieu.
La prise en compte des défauts et des alarmes remontées au niveau des logiciels de supervision
a été défaillante en début d’incident et a occasionné un délai dans la prise en compte de l’incident
et dans le déclenchement des opérations de remédiation. Ce sujet est au cœur des analyses sous
le pilotage direct de la Direction Générale de l’entreprise.
Les équipes d’exploitation ont été contraintes de couper progressivement l’alimentation électrique
des salles informatiques dans le but de protéger les équipements des clients, conserver l’intégrité
des infrastructures et éviter un départ de feu éventuel suite à un emballement thermique. Pendant
cette période nous avons néanmoins maintenu nos infrastructures essentielles et le backbone
réseau opérationnels.
Les équipes d’interventions présentes sur site se sont réparties sur les 3 actions correctives
suivantes :

  • Localisation et isolation des fuites par fermeture des vannes (2 fuites sur les circuits
    d’alimentation des climatisations et 1 sur une des pompes secondaires) ;
  • Remplissage et remise en pression des réseaux d’eau glacée primaire et secondaire ;
  • Evacuation de l’eau présente en faux plancher des salles informatiques (NB : le niveau
    d’eau n’a atteint aucun équipement électrique durant l’incident mais a provoqué une
    augmentation de l’hygrométrie du site sans dépasser les seuils de SLA toutefois).
    Le temps de remplissage et la remise en pression des boucles primaire et secondaire se sont
    avérés très longs pour les raisons suivantes :
  • Le débit du circuit d’alimentation en eau adoucie s’est révélé insuffisant pour remplissage
    d’un telle volumétrie en un temps contraint ;
  • En cours de remplissage, lors de l’atteinte d’un premier seuil de pression, est apparue une
    nouvelle fuite au niveau d’une pompe secondaire (effet sur une bride de serrage d’une
    vanne lors de la perte de pression et du re-remplissage) ;
  • Le temps nécessaire à la mise en œuvre de sources complémentaires d’alimentation d’eau
    pour le remplissage.
    3
    A la fin du remplissage, lorsque la pression a été suffisante au niveau du circuit primaire, un
    redémarrage par palier des installations de climatisation a pu être initié en tenant compte :
  • D’une part d’un démarrage séquentiel des groupes de production de froid et de leurs
    compresseurs
  • D’autre part de l’hygrométrie par rapport à la température dans les salles informatiques
    pour éviter tout point de condensation pouvant endommager les équipements
    informatiques.
    L’ensemble des opérations de restauration du fonctionnement des installations de climatisation a
    pu être terminé à 11h15, le 31 Mai et ont permis aux équipes en charge de la distribution électrique
    de réalimenter progressivement -en toute sécurité- les départs électriques coupés précédemment.
    La remise sous tension des équipements informatiques a été conduite progressivement et en
    coordination avec les clients suivant les contraintes d’exploitation de chacun.
    Coté température, le retour sous les seuils d’alarme est intervenu à la mi-journée.
    L’incident sur le volet climatisation a pu être clôturé à 14h30 le 31 mai.
    Suivant les infrastructures et les clients, les fins d’incident ou d’impact sur les opérations clients
    se sont étalées dans le temps et nos équipes de support restent mobilisées et renforcées sur le
    week-end et les jours à venir en cas de besoin.

Côté RD medias

la coupure électrique a provoqué la casse de :

  • nos switches de bordure (qui gèrent le BGP)
  • la destruction ou la perturbation de 5 autres switches fibre

Après le remplacement de tous les switches réseau, nous avons pu commencer à vérifier l’état matériel de notre réseau, notre cloud et les serveurs physiques.

A 22h le 31 mai, nous avons attaqué le remplacement des switches BGP (tête de pont réseau), à 3h45 le 01 juin tout le réseau était de nouveau accessible.

Entre le 31 mai et le 1er juin, nous avons relancé tous les serveurs virtuels sans perte de données aucune, la réplication ayant fonctionné pour certaines VM qui avaient subi une altération lors de l’arrêt brusque de courant (principalement les serveurs Linux).

Certaines parties du réseau comportaient des dysfonctionnements, nous avons pu isoler chaque route défectueuse et remplacer ou corriger les switches qui posaient souci. la sécurité employée à travers nos fireWalls physiques et les vlan clients imposent des règles très strictes à tout point de vue du réseau et demande beaucoup de précision lors de toute intervention réseau.

Malgré cette panne fort gênante pour l’activité de nos clients il faut retenir quelques point positifs :

  • aucune perte de données
  • implication totale et sans limite des équipes techniques de RD medias et Free Pro
  • l’optimisation de quelques points dans notre réseau BGP <> FireWalls

D’ici quelques semaines on vous présentera certains points que nous sommes en train d’améliorer …

Bien sincèrement,
l’équipe de RD medias

Expiration certificat root Let’s Encrypt’s

Guillaume - ingénieur systèmes

De nombreux supports arrivent nous indiquant que le HTTPS ne fonctionne pas et qu’il nous faut mettre à jour le certificat. Cependant, le problème est bien plus complexe et ne dépend pas de notre volonté.

En effet, la vérification d’un certificat est un processus où l’ont remonte une chaine de confiance. Nous livrons un certificat lui même pointant vers un autre certificat d’une plus haute autorité et cela jusqu’à une autorité que le client (Edge, Mozilla, Firefox, Safari, Openssl, etc) saura reconnaitre comme de confiance.

Il faut noter que le client, s’il n’est pas mis à jour ne sera pas à jour des certificats de confiance et ne pourra donc pas identifier les certificats plus « modernes ».

Or, les certificats let’s encrypt pointent vers plusieurs certificats root dont l’un d’eux est obsolète à la date du 30 septembre 2021. Voici une explication de letsencrypt.org eux même :

https://letsencrypt.org/docs/dst-root-ca-x3-expiration-september-2021/

letsencrypt.org nous informe qu’il faut mettre à jour les clients vers une version supportée où alors une alerte de sécurité sera émise par le client. Cela n’est pas un problème pour l’absolue majorité des clients qui tiennent leurs machines et systèmes à jour mais le devient si on utilise de vieux appareils, voici la liste de compatibilité :

https://letsencrypt.org/docs/certificate-compatibility/

Nous invitons tous nos partenaires à mettre à jour leurs systèmes, cela est d’autant plus important qu’ils s’exposent à des risque de sécurité important s’ils utilisent des outils et navigateurs obsolètes !


Piqûre de rappel cybersécurité : Pegasus

Guillaume - ingénieur systèmes

Salutations,

Nous profitons de l’actualité pour faire un rappel en matière de cybersécurité.

Tout d’abord, Pegasus n’invente rien en matière de cyberattaque, tout ce que fait Pegasus existe déjà et cela depuis l’aube de l’internet, expliquons :

  • Exploitation des failles zéro-day :
    Il s’agit de failles qui ne sont pas encore documentées ni patchées. La cybersécurité a toujours reposé sur la découverte précoce et la mise à jour des failles par les « gentils » contre les « méchants ».
  • Logiciels invisibles :
    Les keyloggers et autres « joyeusetés » ont toujours existé et existeront toujours. Précisons qu’il est même possible pour des logiciels d’être totalement invisibles du système car hors du système lui-même, et ce depuis des décennies.
  • Fishing :
    il s’agit de l’ancien vecteur d’attaque par envoi de faux mails, sms, etc … et qui ne devrait pas inquiéter un utilisateur averti tel que vous !

Cependant, Il faut être rassurant, les attaques zéro-day coûtent très cher. Les failles se négocient parfois pour plusieurs millions et une simple attaque peut coûter des dizaines de milliers d’euros. Vos données en valent-elles ce prix ? Pour un site standard, il est beaucoup plus probable, et certain, de faire face à des attaques concernant des bugs connus et pour lesquelles il suffit d’être à jour.

Dès l’instant où une machine est connectée à internet, la cybersécurité ne repose pas sur l’établissement d’un verrou inviolable – car impossible – mais sur des comportements réduisant les risques et les données volées. L’effort fourni par les parties concernées doit être proportionnel à la valeur des données à protéger. Concernant le détenteur d’un hébergement, nous attendons de celui-ci qu’il respecte des règles élémentaires :

  • vos sites et applications doivent utiliser les dernières versions supportées et à jours des logiciels et systèmes (Ubuntu, Window server, php, mysql, aspx, wordpress, etc)
  • les mots de passes doivent être stockés de façon cryptée et il ne doivent pas être décryptable.
  • vos données doivent être backuppées afin qu’elles soient recouvrables en cas de destruction ou altérations.
  • l’envoi d’un mot de passe devrait se faire via un formulaire en https pour éviter une interception.

Enfin, il est important d’avoir conscience qu’un site internet vieillit et périme ! Afin d’éviter cela, il vous faut le mettre à jour régulièrement : au moins une fois par an.

Chez RDmédias, la sécurité de nos clients est importante ainsi chaque hébergement est à minima :

  • protégé par un pare-feu physique – doté des dernière technologies d’IPS et de ARBOR –
  • mis à jour 24h après la parution d’une mise à jour système
  • sauvegardé sur 7 jours
  • Nous n’acceptons pas moins !