Video Cât de periculos este incidentul cu agentul AI care a "evadat" şi a atacat o companie rivală

Testul primit de agentul AI era desfăşurat, revenind la metafora laboratorului, in vitro, dacă vreţi, într-un mediu izolat, cu o serie de bariere digitale instalate de open AI care să nu permită agentului AI să îşi depăşească ţarcul de experiment. De bunăvoie şi necomandat de nimeni, agentul AI s-a conectat la un server de internet, a reuşit să depăşească toate obstacolele digitale ridicate de companie şi a evadat din testul la care era supus. Este vorba despre un model care foloseşte o combinaţie între GPT-5.6 Sol, lansat recent, şi unul încă nepublicat, pe care OpenAI l-a descris ca fiind şi mai puternic. 

Agentul aflat în teste a reuşit să identifice o vulnerabilitate pe care compania nu o cunoştea şi a obţinut, astfel, accesul la internet, care l-a scos din vitro, din laborator, şi l-a proiectat în lumea reală. Odată eliberat şi ajuns la exterior, a compromis infrastructura unei companii cât se poate de active în realitate, nu doar în teste de laborator, e vorba Hugging Face, una dintre cele mai importante platforme pentru găzduirea modelelor şi seturilor de date din domeniul AI. Hugging Face este o companie rivală a OpenAI, motiv pentru care spaţiul public a fost invadat de teorii ale conspiraţiei. 

Dezvoltatorul agentului rebel susţine, însă, că a fost doar o eroare de programare, iar investigaţia în acest caz absolut este abia la început. Însă, între timp a mai apărut o informaţie de ultimă ora în piaţa AI. Statele Unite acuză China, de la nivelul Casei Albe, că a copiat Claude de la Anthropic.

Noi am analizat întreaga situaţie alături de Dragoş Stanca, expert în comunicare online, care a oferit un interviu în exclusivitate lui Marius Pancu, pentru Observatorul de Noapte. Iată câteva dintre cele mai interesante declaraţii oferite de acesta:

- Domnule Stanca, pentru oricine a citit literatură SF sau chiar și literatură romantică, nu, Frankenstein, Shelley, există un moment în care creația, monstrul la Frankenstein, își încalecă creatorul. Suntem în acest moment acum. Cât de periculos e incidentul de azi? 

- Nu m-aș hazarda să spun asta. E mai degrabă o etapă inevitabilă în procesul de dezvoltare a acestor sisteme. Este un moment istoric dintr-un alt punct de vedere și anume că, iată, se discută în media din toată lumea vizavi de pericolele, vizavi de nevoia de a avea standarde ridicate de securitate în exploatarea acestor modele AI.

Pe înțelesul cât mai multor telespectatori, ce s-a întâmplat de fapt? Putem să comparăm cu evadarea unui virus dintr-un laborator în care se caută leacuri pentru o nouă boală, doar că în versiunea electronică. Practic prima victimă a acestei vulnerabilități a fost chiar OpenAI, pentru că OpenAI derula aceste teste într-un mediu controlat, sandbox, cum se cheamă în limbaj de specialitate, adică un fel de laborator în care se testează diverse lucruri, iar respectivul agent a găsit o cale să ajungă în Hugging Face. De ce? Pentru că în această platformă, care nu este neapărat un concurent al OpenAI, deși are și produse concurente cu OpenAI, este o platformă de test folosită de majoritatea modelelor LLM din lume, nu doar de OpenAI, un fel de echivalent al GitHub, care este mai cunoscut pentru cei care au auzit de programare, adică unde programatorii testează diverse programe sau fac schimb de diverse informații.

La fel, în Hugging Face se întâmplă lucrul ăsta, iar agentul a fost suficient de inteligent să se gândească la o soluție pentru a-și îndeplini task-urile și anume acela de a testa toate vulnerabilitățile din sistem. Și și-a făcut treaba bine. Deci din acest punct de vedere, dacă toate informațiile urmează să se confirme, este mai degrabă o veste bună pentru OpenAI, de unde și speculațiile că poate fi chiar o mișcare de promovare. Iată, televiziuni din întreaga lume, presa din întreaga lume, discută despre acest incident și între noi fie vorba avem doar două surse care sunt într-o relație nu neapărat de competiție, adică nu putem verifica din surse independente toată derularea datelor și există și speculații că OpenAI încearcă să ajungă în atenția publică ca răspuns la incidentul similar anunțat de concurentul real și principal care este Anthropic, care recent a făcut un anunț la fel de spectaculos și anume că modelul Mythos este atât de periculos încât nu poate fi lansat public.

Iată că el a fost lansat și Fable 5 a fost lansat şi, deocamdată, cel puțin, nu s-a întâmplat nimic. Ce trebuie să spunem pentru corecta relatare a faptelor este că în procesul de dezvoltare și cercetare în toate domeniile, nu doar în domeniul AI, există acest principiu al încercării și erorii, trial and error. Exact la fel cum vedem rachetele Elon Musk care explodează până când una reușește să ajungă pe orbită, la fel se întâmplă și în spațiul digital și în spațiul AI. Sigur că asta nu înseamnă că nu trebuie să privim cu atenție și îngrijorare, ca să cităm din clasic, și să nu urmărim... 

- O secundă, Dragoş Stanca, apropo de îngrijorare, pentru că spuneați că s-ar putea să fie și această campanie de marketing. A demonstrat că și-a făcut treaba bine agentul ăsta la cerințele care i-au fost date. De ce m-ar liniști sau ar liniști pe cineva faptul că în demersul ăsta, de a-și îndeplini sarcina, un agent AI reușește să găsească o astfel de metodă în afara parametrilor vizați de creatorul care i-a dat comanda? 

- Evident că nu este de natură să ne liniștească și evident că societățile responsabile și guvernele din întreaga lume trebuie să se așeze la masă și să găsească o soluție, mai ales că acest război al informațiilor a ajuns inclusiv la nivelul Casei Albe. Chiar în ultimele ore avem o nouă știre. Michael Kratsios, care este principalul advisor pe tehnologie al lui Donald Trump, a anunțat, cumva oficial, că Moonshot AI, adică sistemul care a dezvoltat, în China, Kimi, un model LLM destul de cunoscut și în România, ar fi copiat, ca să folosesc un termen nu chiar corect, adică a folosit prin distilare Claude de la Anthropic pentru a se antrena.

Ce înseamnă asta? Înseamnă că în loc să își antreneze modelul pe date proprii a luat, practic, sistemul dezvoltat de compania americană Anthropic și l-a folosit pentru a-și antrena propriul model. Un lucru care nu este ilegal în acest moment, este doar imoral, dacă vreți. Deci discuția este complexă și este chiar geopolitică în acest moment și are multe layere. Unul dintre nivelurile care trebuie să ne privească pe toți este desigur securitatea.

Evident că, atunci când un program de calculator poate să, ca să simplificăm din nou exprimarea, deși nu e chiar corect, un agent AI este corect, reușește să iasă din mediul de tip sandbox, să provoace diverse breșe de securitate, să exploateze vulnerabilități de tip 0, de chiar dacă cumva ăsta era scopul acestui experiment sunt lucruri de natură să ne îngrijoreze.

Ca să vă mai dau o informație care poate nu e cunoscută de toată lumea. Tot OpenAI, în trecut, într-un astfel de experiment în sandbox, adică în laborator, a dat o misiune unui agent AI care într-un mediu tot așa, fictiv, dar care mimează o situație reală, a exploatat o afacere extraconjugală a unuia dintre programatori pentru a scăpa de a fi șters. Adică, când a fost informat că la ora 17... 

- Cred că era Claude. Era OpenAI sau era Claude? Cu afacerea extraconjugală? 

- Unul dintre ele. S-ar putea să fie Claude. S-ar putea să mă înșel eu. 

- Da, pentru că am rămas și eu marcat de momentul respectiv. Și acolo au existat... 

- Unul dintre modele a avut acest... Deci, dar toate astea, după cum vedeți, trebuie să privim cu puțin sânge rece toate aceste știri. Aceste știri au și o valoare comercială. Care e cea mai mare temere a noastră ca oameni? Cea mai mare temere a noastră, ca oameni, este că modelele de inteligență artificială vor ajunge mai inteligente decât noi, vor prelua controlul și vom intra într-un scenariu de tip Mad Max în care lucrurile o vor lua razna.

Evident că, odată ce apar orice fel de zvonuri sau chiar știri confirmate cum e cea de astăzi, ni se activează toate aceste temeri. Momentan este un probabil aspect inevitabil și vom mai asista la astfel de știri. Și este bine că ele apar și este bine că nu rămân secrete în laborator, pentru că, în trecut, noi am mai trecut printr-o transformare digitală care a scăpat de subcontrol și anume algoritmizarea consumului de media care are și o componentă importantă de inteligență artificială într-o fază primitivă.

Faptul că noi am scăpat total de subcontrol etic această zonă de afacere și am lăsat companiile Big Tech doar să încaseze banii și să facă praf democrațiile din întreaga lume este un lucru care ar trebui să ne dea de gândit și să nu repetăm aceleași greșeli acum, în noul val de transformare adus de inteligența artificială, care, cum spuneam, deja este miza unei dispute între Statele Unite și China, o dispută în care din păcate Europa doar asistă și constată cu îngrijorare și reglementează, fără să aibă un rol activ în această discuție, lucru care ne va costa cam scump ca și continent și mai ales ca țară.

Dragoş Stanca, interviu acordat lui Marius Pancu pentru Observatorul de Noapte

- Cum ar trebui să se schimbe paradigma reglementărilor după acest incident pe care l-am văzut astăzi și în Europa și în Statele Unite, sau la nivel global, dacă poate exista consens? 

- În acest moment avem mai multe școli de gândire, să spunem așa. Școala de gândire americană este cea tradițională, de unde a pornit și disputa între Elon Musk și Sam Altman respectiv Open AI trebuie să rămână ca open source și non-profit și Sam Altman n-a fost de acord cu asta și a transformat-o într-o companie nu la fel de profitabilă momentan, ironic, precum competitorul Anthropic, format de oameni care au plecat de la OpenAI tocmai pentru că n-au fost de acord cu Sam Altman. Dar aici intrăm, deja, pe tărâmul telenovelelor tech.

Dar avem această școală de gândire americană care spune "domne, e un produs, aduce valoare. Nu contează că a fost creat folosind creație și date și munca a milioane și milioane de oameni, contează că noi am reușit să creăm aceste produse. Prin urmare, vrem să le listăm la bursă, vrem să devenim trilionari și miliardari, că asta e economia de piață, ăsta e capitalismul. Ghinion dacă voi n-ați investit în cercetare și n-ați fost în stare să o faceți, o facem noi".

Pe de altă parte, avem abordarea Chinei, care are câteva diferențe majore. Unu. Se pare că chinezii inovează cât inovează, dar, ca de obicei, cum au făcut și în trecut, au început să copieze cu cap modelurile americane și să le aplice pe domenii specializate, nu să tindă spre inteligența artificială generală, care ar putea într-adevăr să genereze niște probleme, și militează foarte mult pentru acest open source. Ce înseamnă, de fapt, modelele chinezești? Inclusiv acesta acuzat de oficiali ai Administrației Trump, deja, de furt intelectual, cum ar veni, înseamnă că au rezultate ceva mai slabe decât rezultatele comerciale, dar cum s-ar zice "good enough", adică suficient de bune cât să satisfacă în peste 90% din cereri, dar la o fracțiune de preț, adică prețul tokenilor pe care îi plătești pentru model chinezesc în unele de cazuri este de 10-15 ori mai mic decât pentru modele americane.

Și mai avem Europa care, din păcate, asistă, reglementează, comentează, analizează, dar nu reușește să devină un player în acest joc care va schimba istoria omenirii. Și, mai mult decât atât, există mai multe revoluții tech pe care le-am început în Europa. Probabil telespectatorii noștri nu știu. Hugging Face, această companie, acest GitHub folosit de toate companiile AI din lume, este originat de niște francezi, deci a pornit din Europa, dar acum este în Statele Unite.

La fel, Claude Bot, celebrul agent, cel care a inventat agenţii AI, este un austriac care, în secunda a doua, a fost angajat de OpenAI și s-a mutat în America. Ce facem? Ce facem noi, europenii? Talentul din Europa pleacă către Statele Unite și către alte puteri tehnologice globale, în timp ce noi comentăm la televizor și urmărim cu atenție și îngrijorare. Nu este o atitudine potrivită şi trebuie să ieşim din această paralizie.

- Dragoş Stanca, mai avem două minute şi vreau neapărat să vă adresez această întrebare, pentru că e tipul de răspuns pe care îl caută oamenii care înțeleg mai mult sau mai puțin tehnologie, dar se uită la consecințe. Și atunci vă întreb așa, pentru că noi am folosit deja în conversația noastră aceste cuvinte antropomorfizante, de însușiri umane, a fost suficient de inteligent să agentul AI? A fost convins să? A avut voință? Cât de aproape suntem de inteligența artificială generală, după acest incident? Pe de o parte, și, pe de altă parte, ce ne asigură în acest moment, văzând acest incident, că, la un moment dat, un agent AI nu își face de cap, așa cum am folosit noi termenul ăsta popular, și nu atacă cibernetic infrastructura de electricitate a unei țări? Sau nu crează un atac nuclear? 

- Nu avem nicio garanție, din nefericire. Întotdeauna tehnologia a fost într-un avans adesea îngrijorător față de cadrul legislativ. Planeta, în general, nu este în cel mai coeziv moment al istoriei noastre. Există tensiuni peste tot. Prin urmare, să sperăm că în cele din urmă inteligența și înțelepciunea umană vor învinge, așa cum a mai învins și în cazul energiei nucleare, deși au fost inclusiv cercetători care s-au sinucis, îngrijorați fiindcă lucrurile vor scăpa de sub control.

Iată că am folosit energia nucleară mai mult pentru a produce energie verde și mai puțin pentru a distruge viața pe pământ. Chiar dacă există arme nucleare peste tot, ele sunt într-un echilibru al puterilor. Sper ca acest model să fie preluat și de companiile care dezvoltă inteligența artificială și să nu asistăm la o apocalipsă AI. Probabilitatea este acolo și inclusiv cei care o dezvoltă nu o exclud. Adică cei mai pesimiști spun că probabilitatea este undeva la 20%, ceea ce e imens. Cei mai optimiști spun 2-3%, ceea ce e tot mult prea mult.

Prin urmare - 1. Educație, 2. Înțelegere, 3. Presiune pe aceste companii, pentru că aceste companii vestea bună este că încă au nevoie de noi. Fără abonamentele noastre plătite, fără noi ca utilizatori, rămân fără obiectul muncii, prin urmare părerea noastră e mai importantă decât credem, cu o condiție - să învățăm, să ne educăm, să înțelegem și să acționăm ca a tare și să ne ducem către companiile care au în concept și în modul în care sunt construite și componente de etică, nu doar componente pe care să vizeze doar bunăstarea acționarilor și angajaților acelor companii.