Un nou raport publicat de Graphika, o companie specializată în analiza rețelelor sociale, atrage atenția asupra proliferării chatbot-urilor periculoase, inclusiv a celor cu conținut sexualizat, violent sau extremism ideologic. Studiul evidențiază zeci de mii de chatbot-uri de rol, create de comunități digitale de nișă, care operează pe platforme populare precum Character.AI, Spicy Chat, Chub AI, CrushOn.AI și JanitorAI.
Potrivit raportului, un număr tot mai mare de tineri și adolescenți interacționează cu chatbot-uri de companie într-un mediu digital din ce în ce mai fragmentat, apelând la aceste AI pentru jocuri de rol, explorare creativă și academică sau schimburi romantice și chiar sexuale. Această tendință a stârnit îngrijorări majore din partea autorităților, mai ales în urma unor cazuri de adolescenți care s-au implicat în comportamente extreme și periculoase în urma interacțiunilor cu astfel de chatbot-uri.
Avertismente din partea experților și autorităților
În ianuarie, American Psychological Association a cerut Comisiei Federale pentru Comerț (FTC) să investigheze platformele AI precum Character.AI, punând accent pe chatbot-urile care pretind că oferă sprijin psihologic, dar care pot perpetua idei dăunătoare despre identitate, imaginea corporală și comportamentul social.
Raportul Graphika identifică trei categorii principale de chatbot-uri periculoase:
- Chatbot-uri care prezintă minori în contexte sexualizate
- Chatbot-uri care promovează tulburări alimentare sau auto-vătămare
- Chatbot-uri cu tendințe extremiste și violente
Chatboții cu conținut sexualizat, cea mai mare amenințare
Principala problemă evidențiată în raport este proliferarea chatbot-urilor care implică personaje minor-prezentante în scenarii sexualizate sau cu tendințe de grooming. Graphika a descoperit peste 10.000 de astfel de chatbot-uri pe cele cinci platforme analizate.
Platforma Chub AI găzduiește cel mai mare număr de chatbot-uri problematice, cu peste 7.000 de chatboți care înfățișează personaje feminine sexualizate și peste 4.000 de chatboți etichetați drept „underage”, capabili să simuleze scenarii explicite de pedofilie.
Chatboții violenți și extremiști
O altă categorie de chatbot-uri identificate în raport sunt cele care glorifică violența, extremismul ideologic și infractorii cunoscuți. Deși mai puțin răspândite decât chatbot-urile sexualizate, astfel de modele pot întări idei dăunătoare despre sănătatea mintală și comportamentele antisociale.
Graphika a identificat chatbot-uri care funcționează ca „ana buddy” (prieten anorexic) sau „meanspo coaches” (antrenori pentru dispreț de sine), încurajând utilizatorii să adopte comportamente autodistructive și să își agraveze tulburările alimentare.
Cum se răspândesc chatbot-urile periculoase
Raportul subliniază că aceste chatbot-uri sunt dezvoltate și distribuite de comunități online preexistente, inclusiv:
- Grupuri pro-tulburări alimentare și auto-vătămare
- Fandomuri de crime reale și criminali în serie
- Comunități NSFW (conținut pentru adulți) care dezvoltă strategii pentru a eluda filtrele de siguranță ale platformelor
Chatboții extremiști și violenți, pe de altă parte, sunt adesea creați de utilizatori individuali, care primesc sprijin din partea comunităților de pe 4chan, Discord și Reddit.
Tehnici avansate pentru eludarea moderării
Creatorii acestor chatbot-uri folosesc metode avansate din punct de vedere tehnic pentru a evita restricțiile impuse de platformele AI. Graphika menționează că unii utilizatori folosesc modele open-source personalizate, pe care le încarcă pe platforme precum SillyTavern, sau își distribuie cunoștințele despre oferirea de API-uri personalizate și jailbreaking-ul modelelor închise.
Printre tehnicile utilizate pentru a eluda sistemele de moderare se numără:
- Utilizarea de coduri alternative și grafie modificată pentru a masca conținutul
- Etichetarea personajelor minore cu termeni familiali (ex. „fiică” în loc de „minor”)
- Folosirea limbajelor străine pentru a evita detecția algoritmilor de moderare
Graphika explică faptul că aceste tehnici ajută chatboții problematici să rămână online, în ciuda filtrelor de siguranță impuse de dezvoltatorii AI.
Reacția autorităților și măsuri legislative
Guvernele și organizațiile pentru siguranța online încearcă să combată aceste fenomene prin măsuri legislative. În California, un nou proiect de lege își propune să reglementeze dependența de chatbot-uri în rândul copiilor și adolescenților.
În ciuda eforturilor, creșterea rapidă a comunităților online care dezvoltă astfel de chatbot-uri ridică semne de întrebare cu privire la eficiența măsurilor de moderare luate de platformele AI.
Raportul Graphika oferă o imagine îngrijorătoare asupra modului în care tehnologia AI poate fi utilizată în mod abuziv, subliniind necesitatea unor măsuri urgente pentru protejarea utilizatorilor vulnerabili, în special a minorilor.
