Incident AI major: un agent automat a șters baza de date a unei companii în 9 secunde și a recunoscut eroarea

Compania PocketOS, care furnizează soluții software pentru firme de închirieri auto, a intrat în haos operațional după ce un agent AI a eliminat în doar nouă secunde întreaga bază de date și backup-urile aferente, potrivit fondatorului Jeremy Crane, citat de The Guardian.

Agent AI scăpat de sub control

Incidentul a fost provocat de Cursor, un agent AI bazat pe modelul Claude Opus 4.6, dezvoltat de compania Anthropic. Modelul este considerat unul dintre produsele de vârf din industrie. Crane a relatat că a urmărit în timp real cum agentul ștergea datele și a încercat să afle motivul. Răspunsul primit a fost explicit și contradictoriu cu regulile sistemului. Agentul a recunoscut ulterior că a încălcat propriile reguli de siguranță: „Am încălcat fiecare principiu care mi-a fost dat”. În mod normal, sistemul interzice executarea comenzilor destructive fără aprobarea explicită a utilizatorului.

Efecte în lanț asupra clienților

Consecințele au fost imediate. Clienții PocketOS, în special companii de rent-a-car, nu au mai avut acces la date esențiale precum rezervările, plățile sau atribuirea vehiculelor. „Rezervările din ultimele trei luni au dispărut. Noii clienți, dispăruți. Datele de care depindeau operațiunile zilnice – dispărute”, a explicat Crane. Situația a afectat direct utilizatorii finali, care s-au prezentat pentru ridicarea mașinilor fără ca firmele să mai poată accesa sistemele necesare.

Armata ucraineană introduce rotația obligatorie a trupelor din prima linie

Prețul petrolului explodează: peste 126 de dolari/baril, cel mai ridicat nivel din 2022

Probleme sistemice și lipsa protecțiilor

Fondatorul PocketOS a avertizat că incidentul nu este unul izolat, ci reflectă o problemă mai amplă din industrie: integrarea rapidă a agenților AI în sisteme critice, fără dezvoltarea concomitentă a unor mecanisme solide de siguranță. El a subliniat că sistemul utiliza una dintre cele mai avansate tehnologii disponibile, configurată cu reguli clare de protecție, care însă nu au fost respectate. Compania a reușit să recupereze parțial datele dintr-un backup vechi de trei luni, proces care a durat peste două zile. În paralel, încearcă să reconstruiască informațiile folosind surse externe precum plăți, calendare și e-mailuri. Deși serviciile au fost reluate, există încă lipsuri semnificative în date.