Cu o nouă actualizare, Claude AI, dezvoltat de Anthropic și susținut de Amazon, are acum capacitatea de a controla computerele – declanșând o dezbatere intensă despre confidențialitatea și riscurile de securitate asociate. Această funcționalitate are scopul de a permite Claude să „utilizeze computerele la fel ca oamenii”, însă experții avertizează că acest lucru ar putea deschide noi căi pentru infracțiunile cibernetice.
Noua funcționalitate, numită „computer use” (utilizarea computerului), îi permite lui Claude să îndeplinească autonom sarcini precum mișcarea cursorului, deschiderea de pagini web, tastarea, descărcarea de fișiere și efectuarea altor acțiuni pe un computer. Inițial, această capacitate a fost disponibilă dezvoltatorilor prin API-ul Claude și este inclusă în versiunea beta a Claude 3.5 Sonnet. Anthropic avertizează, însă, că funcționalitatea este încă în stadiu incipient și poate fi predispusă la erori.
Companii precum Asana, Canva și DoorDash testează deja această funcționalitate, folosind-o pentru a automatiza sarcini complexe, care ar necesita mult timp pentru a fi realizate manual. Deși acest lucru ar putea crește productivitatea, există și preocupări că locurile de muncă ar putea fi eliminate pe măsură ce companiile folosesc AI pentru a automatiza fluxurile de lucru.
În ciuda capacităților sale, Claude poate refuza să îndeplinească anumite sarcini, cum ar fi automatizarea completă a conturilor de e-mail sau social media. Cu toate acestea, unii dezvoltatori au raportat deja metode prin care aceste restricții pot fi depășite, generând riscuri de securitate.
Posibile riscuri de securitate și confidențialitate
Din punct de vedere al securității, experții își exprimă îngrijorarea cu privire la implicațiile oferirii AI-ului unor astfel de capabilități. Jonas Kgomo, fondatorul organizației pentru siguranța AI Equianas Institute, a numit noua funcționalitate a lui Claude „un teritoriu neexplorat al siguranței AI”, adăugând că atacurile cibernetice ar putea deveni un pericol real odată cu acest instrument.
Paul Morville, fondatorul Parrot AI, a avertizat că, deși sfatul Anthropic de a folosi noua funcționalitate doar sub supraveghere este înțelept, tehnologia prezintă riscuri de consecințe neintenționate sau chiar rău-intenționate. Acestea includ scenarii în care hackerii ar putea folosi Claude pentru a implementa troieni de acces la distanță autonomi, transformând AI-ul într-un instrument al atacurilor cibernetice.
Rachel Tobac, CEO al SocialProof Security, a împărtășit preocupări similare, explicând cum infractorii cibernetici ar putea folosi funcționalitatea pentru a automatiza acțiuni nocive, cum ar fi descărcarea de malware sau divulgarea datelor confidențiale. De asemenea, ea a subliniat că atacatorii ar putea manipula site-uri pentru a exploata funcțiile AI-ului. De exemplu, ar putea fi adăugate pe site-uri comenzi malițioase destinate să păcălească AI-ul să execute comenzi dăunătoare.
Tobac a menționat și câteva scenarii în care capabilitățile lui Claude ar putea fi folosite greșit. Acestea includ pierderea responsabilității umane atunci când AI-ul provoacă daune, utilizatorii putând argumenta că nu sunt responsabili pentru acțiunile AI-ului. În plus, atacatorii ar putea manipula site-uri pentru a injecta cod malițios care să țintească AI-ul, făcându-l să descarce software dăunător sau să execute acțiuni neautorizate.
„Sper sincer ca Anthropic să fi implementat măsuri de siguranță semnificative,” a declarat Tobac. „Aceasta nu este o chestiune de luat în ușor.”
Lipsa măsurilor de siguranță și îngrijorările privind reglementările
Anthropic recunoaște unele dintre aceste riscuri. Într-o postare recentă, compania a avertizat utilizatorii despre potențialele vulnerabilități ale noii funcționalități, inclusiv despre atacurile de „prompt injection” (injecție de comenzi). Aceste atacuri implică furnizarea de comenzi malițioase către AI pentru a-l manipula să ignore instrucțiunile inițiale sau să execute acțiuni neintenționate. Deoarece Claude poate interpreta capturi de ecran de la computerele conectate, poate fi expus la conținut malițios care să îi deturneze capabilitățile.
Anthropic justifică lansarea acestei funcționalități susținând că este mai bine să o introducă acum – când modelele AI prezintă riscuri moderate – decât într-un viitor în care modelele ar putea fi mult mai avansate și potențial periculoase.
Compania afirmă: „Când modelele viitoare vor necesita măsuri de siguranță AI la nivelul 3 sau 4, deoarece prezintă riscuri catastrofale, utilizarea computerului ar putea agrava aceste riscuri. Credem că este mai bine să introducem această funcționalitate acum, când modelele necesită doar măsuri de siguranță AI la nivelul 2.”
Will Ledesma, director senior la firma de securitate cibernetică Adlumin, a exprimat, de asemenea, preocupări. El a subliniat că recomandarea Anthropic de a folosi Claude într-o mașină virtuală sugerează că firma anticipează deja riscurile de utilizare abuzivă. Mașinile virtuale (VM) sunt adesea folosite pentru a crea un mediu izolat, minimizând daunele în cazul în care software-ul se comportă imprevizibil. Totuși, Ledesma a avertizat că există posibilitatea ca aceste măsuri de izolare să fie ocolite, reprezentând o vulnerabilitate.
Mai mult, Ledesma a ridicat preocupări legate de modul în care Anthropic stochează date sensibile, precum capturile de ecran. El a menționat că compania a declarat că va furniza aceste informații dacă i se solicită legal, ceea ce ar putea fi exploatat.
„Dacă actorii rău intenționați au acces la acest software, ar putea să-l folosească pentru a monitoriza persoanele. Există un compromis între ușurința de utilizare și confidențialitate, iar oamenii trebuie să fie conștienți de riscuri. Organele de aplicare a legii ar putea, de asemenea, să abuzeze de acest instrument dacă au dreptul legal de a monitoriza un dispozitiv,” a explicat Ledesma.
Un pas prudent spre viitor?
Decizia Anthropic de a permite lui Claude să controleze computerele autonom reprezintă un salt semnificativ în tehnologia AI, dar aduce atât oportunități, cât și pericole. Funcționalitatea de a automatiza sarcini complexe ar putea revoluționa productivitatea și ar crea un nou val de eficiență tehnologică. Totuși, riscurile pe care le prezintă – cum ar fi invazia confidențialității, accesul neautorizat și atacurile cibernetice – i-au lăsat pe experți sceptici în privința faptului dacă beneficiile depășesc costurile.
Introducerea capabilităților de utilizare a computerului de către Claude subliniază necesitatea unor măsuri de siguranță cuprinzătoare, supraveghere reglementară și o examinare continuă a modului în care sunt utilizate și monitorizate instrumentele AI avansate. Pe măsură ce AI-ul continuă să avanseze, provocările de a asigura că este atât util, cât și sigur vor deveni tot mai complexe, făcând imperativ pentru dezvoltatori, autorități de reglementare și utilizatori să procedeze cu precauție.
