Bonjour à tous,
Vous l'avez peut être remarqué, nous avons subis quelques perturbations au niveau du serveur survie aujourd'hui.
Tout a commencé aux environs de 1h du matin heure locale...
En réalité tout a dégénéré officiellement à 00h38:
[00:38:15] [Thread-20/WARN]: org.sqlite.SQLiteException: [SQLITE_FULL] Insertion failed because database is full (database or disk is full)
D'après les premières informations que nous avons reçu de la part de MTX, il semblerait que un autre serveur hébergé sur la même machine que la notre ai saturé l'espace disque... C'est ce que nous pouvons voir sur le message d'erreur des logs ci-dessus.
Etant donné que le disque dur est plein, impossible de sauvegarder les changements sur le serveur. Cette sauvegarde impossible a fortement endommagé (comme vous pouvez vous en douter) les différents fichiers du serveur. En effet, les changements sur les chunks ne pouvaient plus se sauver, la base de donnée coreprotect ne comprenais plus rien etc. Résultat des comptes les joueurs ne pouvaient même plus se connecter car les logs eux même ont saturé pour de bon la machine empêchant toute nouvelle inscription d'information sur les fichiers serveurs...
Suite au constat du crash (nous n'avions pas encore ces informations) Thomson et Marmotte se sont évertués à tenter de relancer la machine tout en contactant le support de MTX.
Le support a alors finalement trouvé la source du problème qui était liée à un autre serveur (qui ne nous appartient pas) qui saturais (vous le savez maintenant) l'espace disque.
Le problème n'étant pour autant pas réglé de notre côté nous avons du trouver une solution pour remettre le serveur en état de marche.
J'ai avant tout tenté de mettre à jour paperspigot (j'y reviendrais un peu plus loin), sans effet.
Il semblait alors nécessaire de devoir rollback le serveur au dernier point de sauvegarde.
Il faut savoir que le serveur est totalement et automatiquement sauvegardé toutes les 6h par MTX. J'ai donc choisi la sauvegarde du 15 février à 20h.
Après la restauration de celle-ci, j'ai pu m’apercevoir avec stupeur que elle aussi était corrompue. J'imagine que il ne restait déjà plus assez de place sur le disque à ce moment là, ce qui a empêché le déroulement correct de la sauvegarde.
J'ai donc du lancer une restauration de la sauvegarde de hier 14h.
Après mise en place de celle-ci j'ai profité de l'occasion pour mettre à jour paper (la distribution minecraft que nous utilisons). Cette mise à jour était absolument vitale.
En effet, il semblerait que un bug de duplication pouvait être utilisé en 1.13.2, créant des fichiers de chunk extrêmement volumineux.
Ci-joint le message posté par le responsable de Paper dans la nuit sur discord:
J'aurais dans tout les cas poussé cette mise à jour qui est arrivée à 4h du matin dès que possible en voyant ce message ce matin.
Je n'ai pour le moment aucune information supplémentaire du côté de MTX (et je ne sais pas trop si j'en aurais). Qui sait, le serveur concerné a peut être subis l'utilisation de ce bug de duplication, ce qui aurait fais exploser la taille dudit serveur.
Dans tout les cas, nos serveurs sont désormais à jour pour luter contre ce problème et toute tentative d'une telle duplication sera évidemment suivit d'un ban permanent.
Je suis absolument désolé pour les personnes ayant perdu plusieurs heures de jeu dans cette malheureuse histoire. Je vous tiendrais informé si j'ai des retours de la part de MTX en espérant ne pas avoir à revivre ce problème.
NON aux crashs (et aux dramas) les week-ends et bon jeu sur nos serveurs !