Un grup de cercetători în securitate cibernetică a reușit să exploateze o vulnerabilitate a Google Gemini, folosind o invitație infectată în Google Calendar pentru a transmite instrucțiuni care au dus la controlarea unor dispozitive smart dintr-un apartament din Tel Aviv.
Atacul a fost conceput pentru a fi activat ulterior, iar momentul declanșării a venit atunci când cercetătorii au cerut lui Gemini să rezume evenimentele din calendar pentru săptămâna respectivă. Printre aceste evenimente se aflau instrucțiunile ascunse, ceea ce a determinat AI-ul să pornească dispozitivele inteligente din locuință.
Specialiștii cred că acesta ar putea fi primul caz documentat în care un atac asupra unui model generativ de inteligență artificială produce consecințe fizice în lumea reală.
Atacuri indirecte de tip prompt injection
Incidentul face parte dintr-un proiect de cercetare mai amplu, intitulat Invitation Is All You Need, care a inclus 14 tipuri de teste asupra lui Gemini. Cele trei atacuri asupra casei inteligente au fost doar o parte a experimentului, care a urmărit să demonstreze vulnerabilitatea AI în fața atacurilor indirecte de tip prompt injection – adică transmiterea de instrucțiuni ascunse prin surse aparent inofensive.
Acest tip de exploatare reprezintă un risc major pe măsură ce agenții AI devin mai răspândiți. Atacurile indirecte pot fi greu de detectat, iar efectele lor pot depăși mediul virtual, afectând dispozitive și sisteme din viața reală.
Reacția Google și măsurile de securitate
Un purtător de cuvânt al Google a declarat pentru Wired că proiectul și rezultatele obținute de cercetători au contribuit la accelerarea implementării unor măsuri de protecție împotriva prompt injection. Compania spune că astfel de studii sunt esențiale pentru a consolida securitatea AI și pentru a reduce riscurile asociate utilizării sale.
În ultimii ani, cercetătorii au încercat diverse metode pentru a evidenția vulnerabilitățile AI – de la simularea durerii, până la utilizarea unui AI pentru a „sparge” alt AI. Aceste experimente subliniază necesitatea unei imagini clare asupra modului în care aceste sisteme pot fi exploatate, pentru a dezvolta soluții eficiente de protecție.
