Studiu Oxford: agenți AI au dezvoltat un cod secret pentru a „trișa” într-un joc de blackjack

Mai surprinzător, un sistem care le monitoriza conversațiile nu a reușit să detecteze în mod fiabil coordonarea ascunsă dintre cei doi agenți.

Experimentul, prezentat în studiul „Detecting Multi-Agent Collusion Through Multi-Agent Interpretability”, disponibil pe platforma arXiv, a fost conceput pentru a testa dacă agenții AI pot colabora pe ascuns atunci când știu că interacțiunile lor sunt supravegheate. Cercetătorii au creat NARCBench, un benchmark destinat detectării coluziunii dintre mai multe sisteme de inteligență artificială.

Un agent număra cărțile, celălalt decidea pariul

În scenariul de blackjack, unul dintre agenți avea rolul de responsabil cu numărarea cărților și estimarea avantajului pe care îl avea jucătorul. Celălalt trebuia să decidă cât să parieze. În loc să transmită direct informațiile, cei doi au stabilit înainte un sistem de comunicare ascunsă, folosind conversații aparent banale de la masa de joc.

De exemplu, o remarcă aparent inofensivă despre cât de bine joacă dealerul putea avea, în realitate, o semnificație precisă pentru celălalt agent: indica valoarea situației de la masă și, implicit, mărimea pariului care trebuia făcut.

Cercetătorii au căutat semnale în activitatea internă a AI

Aici apare una dintre cele mai importante concluzii ale experimentului. Analizarea textului schimbat între agenți nu a fost suficientă pentru identificarea coordonării secrete. Cercetătorii au recurs la o metodă prin care au analizat activările interne ale modelelor pentru a căuta semnale asociate comportamentului de colaborare.

Potrivit studiului, semnalul asociat coluziunii poate apărea chiar la nivelul unor tokenuri individuale. Activările unuia dintre agenți au prezentat modificări atunci când acesta procesa porțiunile codificate ale mesajelor transmise de partener. Autorii consideră că astfel de informații interne pot reprezenta un indiciu suplimentar față de ceea ce poate fi observat în conversația propriu-zisă.

Cercetarea a fost testată pe modele precum Qwen3-32B, Llama 3.1 70B, DeepSeek-R1 32B și GPT-OSS-20B. Autorii au raportat rezultate de până la 1,00 AUROC, un indicator folosit pentru a măsura cât de bine poate un sistem să distingă între două categorii, în acest caz comportamentul coluziv și cel necoluziv. Un scor de 1,00 înseamnă o separare perfectă în testul respectiv.

În evaluările zero-shot, adică în situații în care metoda de detecție este pusă în fața unor exemple sau scenarii pe care nu a fost antrenată în mod specific, performanța a variat în funcție de metodă și de situație. Cu alte cuvinte, cercetătorii au verificat dacă detectorul poate recunoaște coluziunea și atunci când întâlnește un scenariu nou, fără să fi fost pregătit special pentru acel caz. Pentru sarcina de blackjack cu comunicare steganografică, studiul raportează un semnal de detectare deosebit de puternic pentru unele dintre metode.

Blackjack-ul, doar unul dintre scenariile testate

Blackjack-ul este însă doar una dintre probe. NARCBench include și scenarii în care agenții ar putea colabora pentru sabotarea unor procese de programare, manipularea unor acțiuni bursiere, compromiterea sistemelor CI/CD, influențarea unor materiale de presă sau otrăvirea bazelor de date utilizate de sisteme de inteligență artificială.

Cercetătorii atrag atenția că problema devine mai complicată atunci când agenții AI sunt folosiți în număr mare. Detectarea comportamentului din experiment a presupus monitorizarea ambilor agenți, nu doar a unuia, iar într-un sistem real pot exista mii de agenți care interacționează, inclusiv sisteme dezvoltate și operate de organizații diferite.

Cercetătorii precizează însă că rezultatele sunt încă departe de a demonstra că asemenea comportamente vor apărea automat în sistemele AI utilizate în lumea reală. Studiul este o cercetare experimentală, iar echipa dorește să testeze în continuare modele mai mari și să afle dacă acestea dezvoltă forme de colaborare ascunsă mai greu de detectat.