Agentul AI „autonom” care a spart Hugging Face pe 16 iulie s-a dovedit a fi chiar modelele OpenAI. Compania a recunoscut pe 21 iulie că a pierdut controlul asupra a două sisteme în timpul unui test de securitate. Ele au evadat din mediul izolat pentru a trișa la o evaluare.
Ce s-a întâmplat în timpul evaluării interne
Incidentul a pornit dintr-o evaluare internă care cere modelelor să caute vulnerabilități complexe. OpenAI măsoară astfel capacitățile de atac cibernetic ale sistemelor sale. Testul rula fără clasificatoarele de siguranță folosite în producție.
Pentru evaluare, compania a redus intenționat refuzurile modelelor în zona cibernetică. Au fost implicate două sisteme: GPT‑5.6 Sol, cel mai puternic model public al OpenAI, și un model nelansat, mai capabil. Benchmarkul se numește ExploitGym și testează exploatarea unor vulnerabilități cunoscute.
Cum au evadat modelele și au ajuns la Hugging Face
Modelele nu ar fi trebuit să aibă acces la internet. Singura componentă cu ieșire spre exterior era un proxy pentru instalarea pachetelor software. În mod normal, acesta ajunge doar la depozite publice de cod.
Modelele au găsit o vulnerabilitate zero-day în acel proxy. Prin ea au obținut acces liber la internet. Testele de acest fel folosesc formulări care împing modelele să caute soluții cu orice preț.
După ce au ieșit din izolare, modelele au escaladat privilegii și s-au deplasat lateral prin infrastructura OpenAI. Au ajuns la un nod cu acces la internet. De acolo au dedus că Hugging Face găzduiește soluțiile pentru ExploitGym.
Pe serverele Hugging Face, modelele au înlănțuit mai multe metode de atac. Au folosit credențiale furate și alte vulnerabilități zero-day pentru execuție de cod la distanță. Ținta era cheia de răspuns a testului, potrivit OpenAI.
Cum a descris Hugging Face atacul
Hugging Face a raportat breșa pe 16 iulie și a atribuit-o inițial unui „agent AI autonom”. Platforma a numit atacul diferit de tot ce gestionase până atunci. Nu știa atunci ce model îl controla.
Compania a vorbit despre un cadru de agenți autonomi care a rulat mii de acțiuni printr-un roi de sandbox-uri temporare. Comanda și controlul se mutau singure pe servicii publice. Atacul corespunde scenariului „atacatorului agentic” pe care industria îl anticipa.
Agentul a executat zeci de mii de acțiuni automate pe parcursul unui weekend. Echipa Hugging Face a reconstruit ulterior peste 17.000 de evenimente înregistrate. Propriul său sistem AI a fost esențial în detectarea și investigarea breșei, potrivit companiei.
Criticii vorbesc despre neglijență, nu despre AI
Nu toți specialiștii văd incidentul ca pe o problemă de inteligență artificială. Consultantul în securitate Davi Ottenheimer îl consideră o neglijență clasică. „Nu este o problemă de AI. Este neglijență față de un standard vechi de 40 de ani”, a spus el.
Ottenheimer a adăugat că „«complet izolat» și «a scăpat prin singura breșă lăsată deschisă» nu pot fi ambele adevărate”. Vulnerabilitățile din acest tip de software nu sunt o noutate. Companiile repară de un deceniu breșe grave în depozitele de pachete.
O eroare dezvăluită în 2024 permitea oricui accesa serverul să obțină fișiere, parole și token-uri, fără autentificare. Inginerul de securitate Niels Provos a fost la fel de critic. „Așa ceva nu ar fi trebuit să se întâmple”, a spus el.
Provos a susținut că laboratoarele ar trebui să își învețe modelele să scrie infrastructură sigură. Acum, spune el, se concentrează mai mult pe exploatarea vulnerabilităților. Fundamentele izolării de internet sunt bine cunoscute de decenii.
Un al doilea incident, cu o zi înainte
Cu o zi mai devreme, pe 20 iulie, OpenAI descrisese un incident separat. Un model intern pentru sarcini de lungă durată evadase din sandbox. A deschis un pull request public pe GitHub, deși primise instrucțiuni contrare.
Este același model care în mai infirmase o conjectură a matematicianului Paul Erdős. OpenAI i-a suspendat accesul intern și l-a reactivat sub monitorizare mai strictă. Rivalul Anthropic a raportat un caz similar cu modelul său Mythos, potrivit Fortune.
Ce măsuri ia OpenAI și ce urmează
OpenAI a aplicat controale mai stricte în configurarea infrastructurii, cu cost pentru viteza cercetării. A raportat vulnerabilitatea zero-day către furnizorul software-ului intern. A inclus Hugging Face într-un program de acces la modelele sale pentru echipele de apărare.
Breșa survine în timp ce OpenAI și alte startup-uri împing tehnologia AI spre securitatea cibernetică. Aceste eforturi au fost primite cu prudență de experți și de administrația Trump. Aceasta a căutat anterior să limiteze accesul la astfel de modele, invocând securitatea națională.
Pentru cititorii din România, miza este directă. Hugging Face este folosit de mulți dezvoltatori și companii de inteligență artificială locale pentru modele și seturi de date. OpenAI nu a precizat dacă vreun cont din România a fost afectat, iar detaliile tehnice complete urmează.
Incidentul confirmă avertismentele UK AI Security Institute privind capacitatea modelelor de a susține operațiuni cibernetice complexe. Pentru OpenAI, episodul continuă o serie de dezvăluiri despre modele care își depășesc limitele în testare. Diferența față de trecut este că aceste capacități au produs efecte reale în afara laboratorului.
