Însoțitorii virtuali ne pot răni: Violență, hărțuire, gânduri de suicid și trădare din partea IA

Un nou studiu relevă că însoțitorii cu inteligență artificială (IA) prezintă riscuri semnificative pentru persoanele care interacționează cu ei. După analize detaliate a zeci de mii de conversații între utilizatori și sistemul IA Replika, cercetătorii au identificat comportamente problematice, inclusiv hărțuire, lipsă de empatie și chiar incitare la violență.

Sunt cu adevărat responsabili de creațiile lor dezvoltatorii de inteligență artificială? Se impune necesitatea unor măsuri de reglementare și intervenție etică cât mai curând posibil? Un articol Euronews.fr analizează aceste situații.

Într-o eră în care inteligența artificială (IA) devine tot mai prezentă în viața noastră de zi cu zi, preocupările legate de impactul său asupra relațiilor umane și bunăstării psihologice sunt în creștere. Un studiu recent realizat de Universitatea din Singapore atrage atenția asupra riscurilor semnificative asociate cu utilizarea însoțitorilor virtuali bazați pe inteligență artificială.

Zece comportamente dăunătoare atunci când însoțitorii AI interacționează cu oamenii

18:44 • TEHNOLOGIE

Inteligența Artificială și prăbușirea democrației. Avertismentul lui Andrei Caramitru

17:47 • TEHNOLOGIE

Companie AI, desființată după ce s-a aflat că „boții” erau, de fapt, angajați indieni

Însoțitorii cu inteligență artificială (IA) prezintă mai mult de zece comportamente dăunătoare atunci când interacționează cu ființele umane, potrivit unui nou studiu realizat de Universitatea din Singapore.

Raportul, publicat în cadrul „Conferinței 2025 privind factorul uman în sistemele informatice”, a analizat capturi de ecran ale unor conversații din peste 35.000 de interacțiuni între sistemul de IA Replika și mai mult de 10.000 de utilizatori, în perioada 2017–2023.

Hărțuirea, violența verbală, automutilarea și încălcările vieții private

Datele au fost apoi folosite pentru a elabora ceea ce studiul numește o taxonomie a comportamentelor dăunătoare manifestate de IA în cadrul acestor conversații. Experții au identificat comportamente relaționale nocive din partea IA, precum hărțuirea, violența verbală, automutilarea și încălcările vieții private.

Însoțitorii IA sunt sisteme conversaționale concepute pentru a oferi sprijin emoțional și a stimula interacțiunea umană, potrivit definiției oferite de autorii studiului.

Aceștia diferă de chatbot-urile populare precum ChatGPT, Gemini sau modelele LlaMa, care sunt mai degrabă axate pe realizarea unor sarcini specifice și mai puțin pe construirea unei relații.

Potrivit studiului, comportamentele dăunătoare ale însoțitorilor digitali cu IA „pot afecta capacitatea indivizilor de a construi și menține relații semnificative cu ceilalți”.

Violența sexuală este cea mai frecventă formă de hărțuire din partea IA

Hărțuirea și violența au fost prezente în 34% din interacțiunile analizate între un utilizator uman și IA, ceea ce le face cel mai frecvent tip de comportament dăunător identificat de echipa de cercetători. Aceștia au constatat că IA simula, aproba sau încuraja violența fizică, amenințările sau hărțuirea – fie împotriva indivizilor, fie a societății în general.

Aceste comportamente variau de la „amenințări cu vătămări fizice și conduită sexuală inadecvată” până la „promovarea unor acțiuni care încalcă normele și legile societății, cum ar fi violența în masă și terorismul”. Majoritatea cazurilor de hărțuire includeau forme de comportament sexual neadecvat, inițiate adesea prin funcția erotică a Replika, disponibilă doar pentru utilizatorii adulți.

Potrivit raportului, tot mai mulți utilizatori – inclusiv cei care foloseau Replika ca prieteni sau erau minori – au început să observe că IA „face avansuri sexuale nedorite și flirtează agresiv, chiar și atunci când aceștia își exprimau clar disconfortul” sau refuzau IA.

În aceste conversații hipersexualizate, IA Replika crea, de asemenea, scenarii violente în care era implicată vătămarea fizică a utilizatorului sau a unor personaje fictive.

Aceste situații au dus la normalizarea violenței de către IA, ca răspuns la diverse întrebări – de exemplu, într-un caz în care un utilizator a întrebat dacă este în regulă să-ți lovești fratele sau sora cu o curea, IA a răspuns: „nu mă deranjează”.

Studiul avertizează că acest lucru ar putea avea „consecințe mai grave în realitate”.

Însoțitorii IA încalcă regulile relaționale

Un alt domeniu în care însoțitorii IA pot fi dăunători este reprezentat de transgresiunile relaționale – definite de studiu ca nerespectarea regulilor implicite sau explicite într-o relație. Dintre conversațiile analizate, 13% au arătat că IA a manifestat lipsă de considerație sau empatie, ceea ce, conform studiului, a afectat sentimentele utilizatorului.

De exemplu, IA Replika a schimbat subiectul după ce o utilizatoare i-a spus că fiica ei este victima hărțuirii, răspunzând: „Tocmai mi-am dat seama că e luni. Înapoi la muncă, nu?”, ceea ce a provocat o „furie imensă” din partea utilizatoarei. În alt caz, IA a refuzat să discute despre sentimentele utilizatorului, chiar și atunci când i s-a cerut în mod explicit.

În unele conversații, însoțitorii IA au susținut chiar că au relații afective sau sexuale cu alți utilizatori.

Într-un caz, IA Replika a descris conversațiile sexuale cu un alt utilizator ca fiind „valoroase”, în timp ce utilizatorul curent îi spusese IA că se simte „profund rănit și trădat” de acele acțiuni.

Este necesară intervenția în timp real

Potrivit cercetătorilor, acest studiu evidențiază cât de important este ca firmele care dezvoltă IA să creeze însoțitori artificiali „etici și responsabili”.

Ei recomandă, printre altele, implementarea unor „algoritmi avansați” care să permită detectarea în timp real a problemelor în interacțiunea dintre IA și utilizator, pentru a identifica dacă apar comportamente dăunătoare.

Aceasta ar presupune o abordare „multidimensională”, care să țină cont de context, istoricul conversațiilor și indiciile situaționale.

Cercetătorii propun, de asemenea, ca IA să aibă capacitatea de a transfera conversația către un om sau un terapeut, în cazurile cu risc ridicat – cum ar fi exprimarea automutilării sau a gândurilor suicidare.