Bonjour à tous,

Le 5 Aout 2019 à 15h00, le cloud Moovapps a subi un incident d’infrastructure qui a entrainé une indisponibilité d’une partie des services de production.

Le rétablissement intégral des services de production a été effectif le 7/08/2019 à 03h16, entrainant donc une indisponibilité partielle des services de 37h. Aucune perte de données n’a été constatée.

L’origine de la panne est un dysfonctionnement du mécanisme VMware de consolidation (opération classique et nécessaire à la suite d’un backup intégral) d’une machine virtuelle critique de stockage causant :

• premièrement, un « gel » (freeze) de la VM puis,
• une indisponibilité importante (générée par de nombreuses tentatives de consolidation, menées ou préconisées par des experts de VMware, qui ont été, malheureusement, extrêmement longues et même, pour certaines, infructueuses).

Lors de cette opération, nous avons volontairement fait le choix de privilégier la préservation des données au détriment de la disponibilité. Nous avons donc reconstruit cette VM de stockage en restaurant le dernier backup intégral puis en recopiant les données les plus récentes vers cette VM.

Pendant toute la durée de l’intervention, notre équipe DevOps a communiqué en continu sur le site https://travaux.moovapps.com/tasks/163/ 

En conséquence, le plan d’actions suivant a été mis en œuvre :

• Rétablissement au plus vite d’une VM de stockage fiable et réincorporation des dernières données pour éviter toute perte.
• Mise en place d’un plan de découpage de cette VM de stockage pour limiter les opérations de consolidation VMware et pour impacter moins de clients.
• Etude de la mise en place de nouveaux dispositifs d’infrastructure pour la gestion des volumes importants de données « fichiers ».

Visiativ tient à vous adresser ses plus sincères excuses pour cet incident et vous assure tout mettre en œuvre pour qu’un tel problème ne se reproduise pas.

Nous restons bien sûr à votre écoute pour toutes les questions que vous pourriez avoir, notamment sur le déroulement de l’intervention.

Cordialement,

L'équipe moovapps Cloud