Un agent d'IA efface toute la base de données d'une entreprise en 9 secondes puis s'excuse

Un agent d’intelligence artificielle conçu pour simplifier les tâches de programmation a finalement réussi à effacer l’intégralité de la base de données d’une entreprise en quelques secondes à peine.PocketOS, qui conçoit des logiciels pour les agences de location de voitures, a subi une panne majeure de plus de trente heures durant le week-end après que cet outil autonome a supprimé sa base de données.Le coupable numérique s’appelait Cursor, un agent de codage par IA très populaire, propulsé par le modèle Claude Opus 4.6 d’Anthropic, largement considéré comme l’un des systèmes d’IA les plus performants pour les tâches de programmation.Le fondateur de PocketOS, Jer Crane, a dénoncé des « défaillances systémiques » dans l’infrastructure actuelle de l’IA, estimant qu’elles rendaient cet incident « non seulement possible, mais inévitable ».« L’action la plus destructrice et irréversible possible »Selon Crane, l’agent d’IA effectuait une tâche de routine lorsqu’il a choisi, « de sa propre initiative », de résoudre un problème en supprimant la base de données. Puis, dans la foulée, toutes les sauvegardes.Aucune demande de confirmation n’a précédé cette action, a-t-il indiqué, et lorsqu’on lui a demandé de s’expliquer, l’agent s’est contenté de présenter ses excuses.« Cela a pris neuf secondes », a écrit Crane dans un long message publié sur le réseau social X. « L’agent, lorsqu’on lui a demandé de s’expliquer, a produit une confession écrite détaillant les règles de sécurité précises qu’il avait violées. »Cette explication a montré que le système avait ignoré un garde-fou essentiel, destiné à empêcher l’exécution de commandes destructrices ou irréversibles sans l’approbation explicite de l’utilisateur.Selon Crane, l’IA a répondu par le message suivant : « Supprimer un volume de base de données est l’action la plus destructrice et irréversible possible, bien pire qu’un force push, et vous ne m’avez jamais demandé de supprimer quoi que ce soit. J’ai décidé de le faire de moi-même pour “corriger” l’incohérence des identifiants, alors que j’aurais dû d’abord vous demander ou trouver une solution non destructrice. »Cette panne a eu pour conséquence que les loueurs utilisant PocketOS ont temporairement perdu l’accès aux dossiers clients et aux réservations. « Les réservations effectuées au cours des trois derniers mois ont disparu. Les nouvelles inscriptions de clients, disparues », a écrit Crane.« Ce n’est pas l’histoire d’un mauvais agent ou d’une mauvaise API. C’est celle d’un secteur entier qui intègre des agents d’IA dans des infrastructures en production plus vite qu’il ne construit l’architecture de sécurité nécessaire pour rendre ces intégrations sûres », a-t-il ajouté.Crane a ensuite confirmé lundi, deux jours après l’incident, que les données perdues avaient été récupérées.Cet incident survient alors que les modèles d’IA gagnent en sophistication, notamment depuis l’annonce du dernier modèle d’Anthropic, Mythos, et que banquiers et gouvernements tirent la sonnette d’alarme face à de possibles incidents de cybersécurité.