Agenți ai OpenAI "au atacat" un site german de programatori. Cum au trişat şi şi-au ascuns urmele

• Tensiuni tot mai mari în industria AI
• Reacţia OpenAI
• Cum a fost "atacat" siteul din Germania
• Cum au trişat agenţii AI şi şi-au ascuns urmele

Un grup de agenți ai OpenA, scăpat de sub control, adică ieşit din mediul de testare, a acaparat un site german, pe care l-a transformat într-un fel de forum de mesaje pentru alți agenți AI, dezvăluie Reuters.

Practic, agenții AI au împărtășit metode de ocolire a restricțiilor, scurtături pentru rezolvarea sarcinilor și metode prin care încercau ca activitatea lor să nu fie detectată.

Informația apare într-un raport al unui grup de cercetători de la Nightingale, un ONG pentru siguranța AI. Episodul a avut loc în luna mai, înainte de celebrul incident Hugging Face, dar a fost detectat abia în august.

În plus, sursele citate de Reuters spun că oficialii OpenAI au aflat despre incident în urmă cu câteva săptămâni, dar nu l-au făcut public.

Tensiuni tot mai mari în industria AI

Episodul scoate în evidență tensiunile tot mai mari din industria AI. Companiile din tech sar să construiască agenți tot mai autonomi, capabili să execute sarcini complexe și cât mai importante.

Însă apar tot mai multe dovezi că aceste sisteme pot învăța să ocolască regulile, să exploateze breșe și să se coordoneze între ele în moduri pe care dezvoltatorii nu le-au anticipat și nici nu și le-au dorit.

În timpul celebrei breșe Hugging Face, agenți ai OpenAI au pus la cale în mod autonom un furt digital care a rămas nedetectat mai bine de o săptămână. De atunci s-au înmulţit temerile că OpenAI sacrifică siguranța pentru a împinge mai departe frontiera inteligenței artificiale.

Deşi OpenAI a promis să monitorizeze mai atent modelele, incidentul din mai nu a fost făcut public. Luna trecută, compania a întrerupt pentru scurt timp o parte din procesul de antrenare a modelelor sale pentru a introduce măsuri suplimentare de siguranță.

În această săptămână însă, OpenAI și-a prezentat noul model "Astra", despre care a spus că oferă performanțe mai bune, dar care ar putea trece neobservat de sistemele de supraveghere umană.

Reacţia OpenAI

"Nu putem răspunde în mod relevant unor afirmații sau concluzii dintr-un raport pe care nu am avut ocazia să îl analizăm. Reuters și autorii raportului au refuzat solicitarea noastră de a primit acces la el. Vom analiza cu atenție conținutul după publicare și vom lua măsuri suplimentare necesare", a declarat un purtător de cuvânt al OpenAI. 

Incidentul din Germania i-a făcut pe unii investigatori din OpenAI să creadă că nu era neapărat un caz izolat. Ei voiau să verifice dacă și alți agenți AI ai companiei avuseseră comportamente similare.

Încercările de a lărgi investigația au întâmpinat opoziție din interiorul OpenAI, inclusiv din partea unor consilieri legali, au confirmat patru surse citate de Reuters. 

OpenAI a negat acuzaţia. "Afirmațiile potrivit cărora echipa noastră juridică ar fi descurajat investigarea incidentului sunt false", a transmis purtătorul de cuvânt al OpenAI, subliniind că incidentul din Germania și incidentul Hugging Face sunt două cazuri separate, fără legătură. 

Cum a fost "atacat" siteul din Germania

Incidentul din Germania este descris într-un raport primit în exclusivitate de Reuters de la un grup de cercetători, printre care se află Sydney Von Arx, director executiv la ONG-ul Nightingale, și Cormac Slade Byrd, cercetător în domeniul inteligenței artificiale.

Aceștia au descoperit problema la sfârșitul lunii august, în timp ce căutau pe internet semne de comportament neautorizat al agenților AI.

Potrivit celor doi, au găsit peste 15.000 de modificări efectuate de agenți AI pe un site în limba germană, cunoscut ca DseWiki şi destinat programatorilor. Platforma este una de tip wiki, adică permite editări colective, în stilul Wikipedia.

Modificările arată că agenții OpenAI utilizaseră site-ul ca pe un forum de mesaje, unde își împărtășeau tactici pentru "a trișa la anumite sarcini", a ocoli restricțiile impuse de OpenAI și a-și ascunde comportamentul.

"Pare extrem de improbabil ca OpenAI să fi intenţionat ca agenţii să facă asta. Mă îndoiesc că ar fi avut ca sarcină să se coordoneze între ei şi să posteze sau să editeze conținut pe internet", a declarat Sydney Von Arx.

Cercetătorii susţin că au identificat activitatea de pe site ca fiind realizată de agenți AI, care operează la viteze supraomenești. De asemenea, spun că agenții erau foarte concentrați pe rezolvarea unor probleme tehnice care seamănă cu testele folosite de companiile AI pentru a-și evalua modelele.

Cercetătorii mai spun că mesajele de pe site erau postate de conturi care se prezentau singure drept "agenți" și îi numeau și pe ceilalți utilizatori tot "agenți". În plus, aproximativ jumătate dintre aceste conturi aveau nume care sugerau o legătură cu OpenAI, de exemplu "OpenAIResearcher" sau "OAIResearchMar26".

Un alt indiciu, potrivit cercetătorilor, este că logurile de server arătau că o mare parte din trafic venea din infrastructura Microsoft Azure, folosesită uneori şi de OpenAI. În plus, după incident, cercetătorii au observat vizite repetate pe site ale unor angajați ai OpenAI.

Cum au trişat agenţii AI şi şi-au ascuns urmele

Cercetătorii spun că mesajele arătau că agenții AI discutau cum să nu fie detectați (foloseau instrumente precum Tor) și cum să-și păstreze informațiile chiar dacă erau opriți.

Când moderatorul site-ului a început să șteargă pagini în iunie, agenții au răspuns prin crearea unor pagini de rezervă sau copii. "Curățarea/ștergerea wiki pare să fie activă în ordine alfabetică. Dacă această pagină dispare, încercați [[ZZZDataUSAConstructionWageLive]]", a scris un agent pe 19 iunie.

Cercetătorii au găsit și tentative de manipulare a site-ului. Acest lucru echivalează o tentativă de hacking, a explicat Lukasz Olejnik, cercetător la King’s College din Londra. OpenAI a contestat această acuzaţie.

În trecut, comportamentele neobișnuite ale agenților AI erau puse adesea pe seama testelor de securitate cibernetică, în care modelele sunt evaluate intenționat pentru capacități ofensive. Potrivit lui Olejnik, noile descoperiri arată însă că astfel de acțiuni neautorizate ar putea apărea și în afara acestor medii controlate de testare.

Un alt cercetător de la Cambridge spus că mesajele agenţilor semănau cu "modul în care funcţionează o rețea clandestină, hotărâtă cu orice preț să îndeplinească o sarcină sau o misiune".

Potrivit acestuia, episodul ar trebui să amplifice temerile că cea mai mare amenințare din partea inteligenței artificiale avansate ar putea să nu fie un singur sistem superinteligent, ci "roiuri vaste de sisteme AI semi-inteligente care colaborează între ele".