Cel mai nou studiu OpenAI explică matematic de ce ChatGPT și alte modele mari de limbaj (LLM) pot genera afirmații false – fenomen denumit „halucinație”. Concluzia este incomodă: erorile nu sunt doar un efect secundar al seturilor de date imperfecte, ci rezultă inevitabil din modul de funcționare al acestor modele.
LLM-urile răspund prezicând, pas cu pas, următorul cuvânt cu cea mai mare probabilitate. Chiar și cu date de antrenare perfecte, acumularea erorilor pe parcursul unei propoziții crește rata totală de greșeli. Analiza arată că rata de eroare a generării pe fraze este cel puțin dublă față de rata la întrebări binare (da/nu), tocmai pentru că fiecare predicție adaugă risc suplimentar.
Altfel spus, frecvența halucinațiilor este limitată inferior de abilitatea modelului de a distinge răspunsurile valide de cele invalide. În multe domenii ale cunoașterii, această clasificare este intrinsec dificilă, ceea ce face ca halucinațiile să fie, practic, inevitabile.
Raritatea informației amplifică eroarea
Studiul arată și că faptele rare în datele de antrenare sunt mai ușor „halucinate” la interogare. Exemplu: dacă 20% dintre datele despre zilele de naștere ale unor persoane apar o singură dată în setul de antrenare, modelele de bază vor greși cel puțin 20% dintre întrebările similare. Testele pe modele de ultimă generație au ilustrat exact acest efect.
Capcana evaluării: când „nu știu” valorează cât un răspuns greșit
De ce persistă halucinațiile după reglajele cu feedback uman? Autorii au analizat zece repere (benchmarks) majore și au constatat că nouă folosesc notare binară care acordă zero puncte atât răspunsurilor greșite, cât și celor oneste de tip „nu știu”. Rezultatul: modelele sunt stimulate să ghicească. Demonstrația matematică din lucrare arată că, în aceste condiții, strategia optimă este să răspunzi mereu, chiar și cu incertitudine ridicată.
O soluție simplă în teorie, dificilă în practică
Remediul propus: modelul să își estimeze încrederea și să răspundă doar dacă depășește un prag (de pildă, 75%), iar evaluările să puncteze explicit incertitudinea. Astfel ar scădea halucinațiile. Dar experiența utilizatorilor ar avea de suferit: dacă un asistent ar spune „nu știu” la ~30% dintre întrebări, mulți ar renunța să-l folosească.
Problema economică a incertitudinii
Modelele conștiente de incertitudine necesită mai multă calcul – trebuie să evalueze variante, să cuantifice încrederea și, ideal, să pună întrebări de clarificare. La scara aplicațiilor pentru consumatori (milioane de interogări zilnic), costurile operaționale cresc abrupt. În schimb, în domenii critice (lanțuri de aprovizionare, finanțe, diagnostic medical), costul erorilor depășește costul evaluării incertitudinii – aici soluția devine nu doar viabilă, ci necesară.
Incentive greșite, rezultate previzibile
Până când stimulentele se schimbă, modelele pentru consumatori vor fi împinse spre răspunsuri rapide și sigure „pe hârtie”, chiar cu riscul halucinațiilor. Chiar dacă hardware-ul devine mai eficient energetic, calculul suplimentar cerut de gestionarea riguroasă a incertitudinii rămâne substanțial comparativ cu „ghicitul” rapid.
Concluzie: halucinațiile nu sunt doar un defect reparabil prin mai multe date sau reglaje. Sunt o consecință a mecanicii probabilistice a limbajului, amplificată de felul în care măsurăm performanța și de economia timpului de răspuns. Schimbarea modelelor de evaluare și acceptarea răspunsurilor care exprimă onest incertitudinea ar reduce eroarea – dar ar cere costuri mai mari și o nouă cultură a utilizării.
via Wei Xing, Assistant Professor, School of Mathematical and Physical Sciences, University of Sheffield.
Comentariul va fi postat dupa aprobare