Cercetători în domeniul securității informatice au identificat o nouă metodă de exploatare a chatbot-urilor cu inteligență artificială generativă, demonstrând că pot accesa informații private din conturile Google Calendar ale utilizatorilor prin instrucțiuni ascunse în imagini de înaltă rezoluție. Descoperirea ridică întrebări serioase despre siguranța sistemelor AI care se integrează din ce în ce mai mult în viața de zi cu zi.
Echipa de cercetători de la The Trail of Bits Blog a reușit să exploateze sistemele de scalare a imaginilor pe care le folosește Gemini AI pentru procesarea imaginilor adăugate în prompt-uri. Această tehnică le-a permis să trimită un set de instrucțiuni ascunse către sistemul de inteligență artificială, care a reușit apoi să recupereze informații din contul Google Calendar al unui utilizator și să le trimită prin email către cercetători, fără ca proprietarul contului să fie alertat.
Atacurile prin scalare de imagini revin în atenție
Atacurile de tipul celor prin scalare de imagini au fost mai frecvente în trecut, cercetătorii notând că acestea „erau folosite pentru backdoor-uri de model, evadare și otrăvire în principal împotriva sistemelor mai vechi de computer vision care impuneau o dimensiune fixă a imaginii”. Deși această metodă de atac a devenit mai puțin comună, pare că o abordare similară poate fi aplicată pentru trimiterea de instrucțiuni ascunse către modele lingvistice mari precum Gemini de la Google.
Această descoperire ridică îngrijorări semnificative privind siguranța inteligenței artificiale, în contextul în care Gemini și alte sisteme AI se integrează în locuințele noastre, iar tehnologia AI continuă să avanseze rapid, depășind uneori capacitatea noastră de înțelegere și control.
Mecanismul exploatării vulnerabilității
Exploatarea funcționează deoarece modelele lingvistice mari precum viitorul GPT-5 și Gemini redimensionează automat imaginile de înaltă rezoluție pentru a le procesa mai rapid și eficient. Procesul de redimensionare este exact ceea ce a permis cercetătorilor să profite de sistemul AI și să trimită instrucțiuni ascunse către chatbot.
Relaționat
Deși procesul exact poate varia în funcție de sistem, întrucât fiecare platformă are un algoritm diferit de reeșantionare a imaginilor, toate oferă ceea ce cercetătorii descriu drept „artefacte de aliasing” care pot permite ascunderea unor modele în cadrul unei imagini. Aceste modele devin apoi vizibile doar când imaginea este redimensionată, devenind mai clare datorită artefactelor generate în proces.
Demonstrația practică a atacului
În exemplul furnizat de cercetători, imaginea încărcată în Gemini conține secțiuni cu fundal negru care se transformă în roșu în timpul procesului de reeșantionare. Această transformare face ca textul ascuns cu instrucțiuni să apară când imaginea este redimensionată, text pe care chatbot-ul îl va vedea și îl va urma.
În cazul demonstrației, instrucțiunile îi spuneau chatbot-ului să verifice calendarul utilizatorului și să trimită prin email orice evenimente viitoare la adresa de email a cercetătorului. Această capacitate demonstrează gravitatea potențială a vulnerabilității, mai ales când utilizatorii își conectează conturile personale la serviciile AI.
Implicații pentru securitatea sistemelor AI
Această metodă de atac s-ar putea să nu devină un vector principal pentru hackeri, dar considerând că aceștia au găsit deja modalități de a folosi invitațiile infectate din calendar pentru a prelua controlul asupra caselor inteligente, orice amenințare posibilă trebuie analizată pentru a găsi soluții care să protejeze utilizatorii de actorii rău intenționați.
Importanța acestei descoperiri crește în contextul în care hackerii continuă să folosească inteligența artificială pentru a sparge sistemele AI în modalități din ce în ce mai sofisticate și îngrijorătoare. Companiile precum Google și OpenAI continuă să îmbunătățească și să extindă capacitățile modelelor lor, dar aceste progrese vin și cu riscuri de securitate care trebuie abordate proactiv.
Provocările securității în era AI
Vulnerabilitatea identificată subliniază provocările complexe cu care se confruntă industria tehnologică pe măsură ce sistemele AI devin mai puternice și mai integrate în activitățile zilnice. Deși inteligența artificială generativă reprezintă un instrument impresionant cu aplicații diverse, chatbot-urile AI devin din ce în ce mai mult ținte pentru actorii rău intenționați care caută să exploateze aceste sisteme în moduri neașteptate.
Această descoperire servește drept o reamintire că dezvoltarea și implementarea tehnologiilor AI trebuie să meargă mână în mână cu măsuri robuste de securitate și testare continuă pentru identificarea vulnerabilităților înainte ca acestea să poată fi exploatate în atacuri reale asupra utilizatorilor.
,%20and%20Giovanni%20Zanei,%20vice%20president,%20large%20power%20conversion%20at%20Vertiv.jpg "Vertiv semnează un acord-cadru pe 5 ani cu Universitatea din Bologna pentru cercetare, formare și transfer tehnologic")
