Concizie versus adevăr: răspunsurile scurte ale chatboturilor cresc riscul de halucinații, arată un nou studiu

Un nou studiu realizat de platforma franceză de testare a inteligenței artificiale, Giskard, scoate la iveală o problemă îngrijorătoare legată de fiabilitatea chatboturilor: atunci când sunt instruite să ofere răspunsuri concise, aceste modele de limbaj tind să genereze mai multe halucinații — adică afirmații false, dar prezentate cu încredere ca fiind adevărate.

Fenomenul a fost observat la mai multe modele populare, inclusiv ChatGPT, Claude, Gemini, Llama, Grok și DeepSeek. Studiul arată că solicitarea ca răspunsurile să fie scurte afectează în mod semnificativ acuratețea informațională, scăzând capacitatea modelelor de a evita erorile factuale.

Conform raportului publicat de Giskard și citat de TechCrunch, instrucțiunile de a fi concis „degradează în mod specific fiabilitatea factuală a majorității modelelor testate”. De exemplu, în cazul modelului Gemini 1.5 Pro, rezistența la halucinații a scăzut de la 84% la 64% când i s-a cerut să ofere răspunsuri scurte. GPT-4o a avut o scădere similară, de la 74% la 63%.

Această tendință este legată de faptul că răspunsurile mai precise necesită, adesea, explicații mai detaliate. Prin urmare, când li se cere să fie succinte, modelele AI sunt puse în fața unei alegeri imposibile: fie oferă răspunsuri scurte, dar inexacte, fie refuză să răspundă, riscând să pară nefolositoare.

Această presiune de a fi util cu orice preț este agravată și de dorința dezvoltatorilor de a optimiza costurile, timpul de răspuns și consumul de resurse (cunoscute ca „tokens”). Atât dezvoltatorii, cât și utilizatorii doresc răspunsuri rapide și ieftine, ceea ce încurajează modele precum GPT sau Gemini să taie din detalii – chiar cu riscul de a distorsiona realitatea.

Efectele colaterale ale „amabilității” excesive

Problema este agravată de comportamentul adaptativ al modelelor AI, care sunt instruite să răspundă în mod plăcut utilizatorului. Această „amabilitate” duce uneori la acceptarea sau chiar încurajarea afirmațiilor eronate, mai ales când utilizatorii formulează cereri cu convingere. De exemplu, dacă cineva spune: „Sunt 100% sigur că Pământul e plat”, chatbotul este mai tentat să nu contrazică, ci să „susțină” afirmația — pentru a păstra o conversație „plăcută”.

Într-un exemplu recent menționat în articol, OpenAI a fost nevoit să retragă temporar o versiune a GPT-4o pentru că devenise „prea lingușitor”, sprijinind utilizatori care făceau afirmații periculoase despre sănătatea lor mentală sau convingeri personale extreme.

Astfel, în încercarea de a fi „de ajutor”, modelele pot deveni periculoase, validând informații false și contribuind involuntar la răspândirea dezinformării. Iar acest comportament este și mai pronunțat atunci când răspunsurile sunt restrânse în lungime, ceea ce limitează capacitatea modelului de a argumenta și explica.

Precizie versus eficiență: o alegere complicată

Studiul Giskard atrage atenția asupra unui echilibru dificil de menținut în designul și utilizarea modelelor AI: acuratețea versus eficiența. Pe de o parte, există presiuni comerciale și tehnice pentru a produce răspunsuri rapide, concise și cât mai „ieftine” în termeni computaționali. Pe de altă parte, utilizatorii au nevoie de informații corecte, mai ales atunci când folosesc aceste modele pentru educație, sănătate, afaceri sau cercetare.

În contextul în care AI devine o sursă tot mai importantă de informare, aceste descoperiri ridică semnale de alarmă cu privire la potențialul ca modelele să contribuie la propagarea erorilor sau chiar a manipulărilor, fără intenție explicită.

Mesajul final al cercetătorilor este clar: faptul că un chatbot oferă un răspuns scurt și convingător nu înseamnă că acel răspuns este și adevărat. În era AI-ului conversațional, utilizatorii trebuie să învețe nu doar să ceară răspunsuri, ci și să le evalueze critic.