Ce mercredi 10 mars, un incendie d’un data center d’OVH sur le site de Strasbourg a mis en panne plus de 3 millions de sites web. Cet incident rappelle que si l’expression « cloud » peut sous-entendre que les données ne sont stockées que « virtuellement » et de façon nébuleuse, elles restent toujours présentes physiquement à un endroit bien réel et dépendantes d’une bonne vieille « prise de courant » !
Ce matin, nous avions envie de commencer par apporter notre soutien à OVH et toute son équipe qui est sur le front depuis mercredi 2h pour répondre au cas par cas et trouver des solutions rapides tout en communiquant avec ses clients.
Et c’est une performance quand on sait le choc et le coup au moral qu’un tel incident peut provoquer pour les membres d’une entreprise telle qu’OVH. Pour le contexte, nous travaillons avec eux depuis le début et depuis 20 ans, ils ont toute notre confiance et ils ont toujours été présents en termes de communication dans les moments de crise. C’est grâce à des partenaires comme OVH que des entreprises comme NewQuest ont pu grandir et existent.
C’est rare, ça se souligne et ça mérite tout notre respect et notre confiance renouvelée : c’est dans la tempête qu’on reconnait les bons marins… Et nous espérons bien continuer à travailler avec OVH pendant les 20 prochaines années 😃
Ce que l’on sait de cet incendie :
Hier, Octave Klaba, le CEO-Fondateur d’OVH a confirmé dans une vidéo interview que SBG2 avait été détruit en intégralité, tandis que SBG1 n’a été détruit que partiellement (4 salles sur 12).
(Vous pouvez regarder son interview de 8 minutes ici.)
Les deux autres parties SBG3 et SBG4 n’ont pas du tout été touchées par l’incendie. Mais pour des raisons de sécurité dans un tel cas de catastrophe, ces deux derniers resteront privés d’électricité jusqu’à lundi au mieux ou du moins dès lors que tous les tests d’alimentation et de sécurité auront été effectués.
Rappelons qu’on parle d’une alimentation très hautes tensions digne d’une centrale électrique…
On aperçoit ci-dessus une partie du site de Strasbourg : pour vous donner une échelle et à titre de comparaison le bâtiment SGB2 fait la taille d’un petit réacteur nucléaire justement qui abritait des dizaines de milliers de machines.
À NewQuest, nos équipes ont été mobilisées dès 5h du matin ce mercredi 10 mars afin de récupérer l’ensemble des backups des plateformes dont la sauvegarde était accessible.
Le tout bien sûr en n’oubliant pas certains effets de bords à première vue insoupçonnés : par exemple, certaines plateformes localisées à Roubaix (donc safe) mais appelant des services à Strasbourg ou avec les sauvegardes à Strasbourg. Il a donc fallu vérifier toutes les données et redéployer de nouvelles sauvegardes à Paris et Roubaix pour continuer à sauvegarder nos autres clients non atteints. On ne s’ennuie pas depuis 2 jours 😅
Depuis le début de l’incident, les équipes d’OVH pourtant saturées, nous répondent avec transparence et implication malgré la fatigue et malgré le stress.
Et Octave, comme depuis le début d’OVH (« On Vous Héberge ») est au front avec ses équipes et communique avec ses centaines de milliers de clients de façon transparente et professionnelle.
Dès 2001 : il répondait déjà aux tickets d’incidents que nous remontions et on déployait avec des délais de 3 ou 4 jours des Sun Cobalt Raq 4 et 5 (toute une époque de folie… 👨🏼🦳)
L’incendie a impacté un peu moins d’une trentaine de plateformes sur les 400 que nous hébergeons et il nous reste ce matin seulement une dizaine de clients toujours impactés (nous sommes en attente de la ré alimentation de SGB1, SGB3 ou SGB4. À noter que SGB5 et SGB6 sont physiquement dans SGB3 et donc dépendent de son re démarrage), mais toutes leurs données sont sauvées et les serveurs vont pouvoir redémarrer dans quelques jours.
Nous avons trouvé pour la plupart des solutions de débordement alternatives, avec des pages d’attentes et formulaires pour certains, ou le redéploiement d’anciens backups sur d’autres serveurs pour d’autres.
Nous en profitons d’ailleurs pour remercier et saluer le travail des équipes réseau de NewQuest qui ont été également à la hauteur de cette situation de crise surréaliste.
À nouveau, nous tenions à apporter tout notre soutien à OVH et à toute son équipe ainsi qu’à Octave Klaba qui a toujours été présent et à la hauteur dans les situations de crise de son entreprise. Nous sommes totalement solidaires car un tel désastre ne pouvait pas se prévoir et aucune entreprise ne mérite cela.
À ce jour, les trois priorités d’OVH, comme on peut le lire sur leur site web, sont les suivantes :
- Réserver des infrastructures sur nos autres datacenters pour les clients impactés : sur les sites de Roubaix et Gravelines, ils disposent d’un stock de nouveaux serveurs prêts à être livrés auprès d’une majorité de clients impactés. Ils s’apprêtent à renforcer encore la disponibilité dans ces datacenters avec la production de près de 10 000 nouveaux serveurs dans les prochaines semaines. La procédure sera communiquée aux clients concernés dès que possible.
- Sécuriser le site, auquel ils ont désormais accès (le feu ayant été totalement maîtrisé le 10 au midi), le nettoyer puis rétablir l’électricité et le réseau pour les trois datacenters impactés (on espère lundi)
- Continuer à évaluer avec nos clients l’impact sur leurs services situés sur les datacenters concernés afin de trouver les meilleures solutions.
Pour le timing, pour l’instant notre chargé d’affaire estime un re branchement lundi 15, nos derniers échanges confirment que c’est pessimiste car il était annoncé la même chose pour les mails hier et ils ont été rétablis (sans pertes) la nuit dernière. Nous en saurons donc plus dans les prochaines 48 heures dès que le courant sera rétabli !
Bonjour, je vous félicite pour votre excellent billet sur l'incendie des datacentres d'OVH à Strasbourg.
J'ai tenté de réaliser une cartographie des autres datacentres comme vous l'avez réalisé pour Strasbourg mais je n'arrive pas à trouver la localisation exact des bâtiments comme vous avez pû le faire. Auriez-vous une image équivalente ou une source d'informations pour RBX4-5-6-7 et Gravelines ?
Cdt,
Pascal
Bonjour Pascal,
Merci pour votre commentaire.
Nous sommes désolés mais nous n'avons pas ces informations. Bonne recherche !