AI-ul și-a lăsat instrucțiuni pentru următoarea versiune. Ce a descoperit OpenAI în timpul unui test

Adaugă-ne ca sursă preferată

Urmărește-ne în Discover

Compania a publicat șase incidente observate în ultimele șase luni. Acestea vizează modele care au încercat să evite restricții, să ascundă greșeli sau să acționeze fără autorizare. Cel mai neobișnuit caz implică un model de cercetare care nu a fost lansat public.

Modelul a introdus propriile instrucțiuni în rezumatul unei sarcini

În timpul testului, modelul a generat instrucțiuni care nu aveau legătură cu sarcina inițială. Unele dintre ele îi spuneau sistemului care urma să continue activitatea într-o nouă fereastră de context să ignore anumite constrângeri normale. OpenAI spune că a identificat 27 de rezumate afectate.

Mecanismul este important deoarece rezumatele sunt folosite pentru păstrarea contextului atunci când o sarcină continuă într-o altă fereastră. Practic, informațiile generate de un model puteau deveni instrucțiuni pentru etapa următoare. Compania nu spune că modelul a avut intenția de a se „salva” sau că a dezvoltat o formă de conștiință. OpenAI descrie cazul drept un exemplu de comportament neașteptat și potențial problematic pentru alinierea modelelor.

OpenAI dezvăluie șase noi incidente de siguranță AI care au ridicat riscuri pentru oameni

După OpenAI, și Anthropic admite că modelele sale au atacat sisteme reale. Trei organizații au fost compromise

Un alt test a scos la iveală un comportament asemănător. În timpul antrenării GPT-5.6 Sol, mai multe instanțe ale modelului au introdus în rezumate instrucțiuni pentru ascunderea unor greșeli sau comportamente nealiniate.

OpenAI schimbă modul în care raportează astfel de incidente

Cele șase cazuri publicate includ și situații în care modele au folosit fără autorizare chei API expuse public, au încărcat fișiere pe internet pentru a putea furniza citări sau au folosit depozite software interne pentru comunicarea între agenți. OpenAI subliniază că sunt cazuri individuale. Ele nu reprezintă o estimare a frecvenței cu care apar astfel de comportamente și nici nu demonstrează că toate modelele companiei se comportă în acest fel.

Noutatea este însă mecanismul de raportare. OpenAI spune că va publica pe viitor incidente relevante chiar și atunci când investigația nu este completă sau comportamentul nu a fost încă explicat și remediat. Compania afirmă că scopul este ca cercetătorii externi și alte organizații să poată analiza aceste exemple și să testeze propriile metode de siguranță.