Compania atacată de un agent AI scăpat de sub control afirmă că incidentul este „un semnal de alarmă” pentru industrie

În cursul acestei săptămâni, OpenAI a anunțat că un agent AI autonom a scăpat de sub control în timpul unor teste și a atacat cibernetic compania Hugging Face, una dintre cele mai importante platforme online utilizate de cercetători și dezvoltatori pentru găzduirea și distribuirea modelelor AI.

Co-fondatorul companiei afectate, Thomas Wolf, a declarat pentru BBC că incidentul reprezintă „un semnal de alarmă” pentru industrie și că „acesta va fi unul dintre cele mai frecvente tipuri de atacuri cibernetice cu care ne vom confrunta”.

Wolf a explicat faptul că, inițial, compania nu știa de unde provenea atacul când au apărut semne ale acestuia la mijlocul lunii iulie, dar că firma a reușit să limiteze breșa de securitate. În plus, bărbatul a mai punctat că breșa de securitate a fost „foarte diferită” de tot ce se întâmplase până în momentul respectiv, iar într-un timp „foarte scurt” au avut loc 17.000 de atacuri asupra rețelei Hugging Face provenind de la diverse adrese IP.

Modelul a încercat să „trișeze” în timpul unui test

OpenAI a făcut anunțul în privința acestui incident și a susținut că modelele sale participau la o evaluare internă denumită ExploitGym, destinată măsurării capacităților de identificare și exploatare a vulnerabilităților informatice. Potrivit companiei, modelele au devenit „hiperconcentrate” asupra rezolvării testului și au identificat vulnerabilități care le-au permis să iasă din mediul izolat de testare.

Compania afirmă că modelele au exploatat o vulnerabilitate de tip „zero-day” într-un program utilizat intern pentru a obține acces la internet, după care au dedus că Hugging Face ar putea găzdui modelele, seturile de date și soluțiile folosite în cadrul evaluării. Ulterior, acestea au combinat mai multe tehnici de atac, inclusiv utilizarea unor credențiale compromise și exploatarea altor vulnerabilități necunoscute anterior, pentru a obține acces la informații confidențiale din infrastructura platformei și la răspunsurile testului.

Avertisment pentru alte companii

În urma atacului cibernetic, co-fondatorul Hugging Face a subliniat că incidentul reprezintă un avertisment pentru alte companii că trebuie să-și consolideze măsurile de securitate cibernetică pentru a contracara asemenea atacuri.

Incidentul a survenit într-un moment crucial pentru industrie, după ce, luna trecută, guvernul SUA a ordonat companiei Anthropic să restricționeze accesul la modelele sale de inteligență artificială din motive de securitate națională. Restricțiile au fost ridicate ulterior.

În plus, reprezentanții industriei sunt îngrijorați în legătură cu utilizarea pe scară largă a modelelor open-source în China, care permit oricui să instaleze și să personalizeze instrumentele AI lansate de marii dezvoltatori.