Modelele de raționament de la OpenAI şi DeepSeek cedează în fața problemelor complexe (studiu)

Un nou studiu publicat de Apple pe 7 iunie, pe site-ul dedicat cercetării în învățare automată, a generat controverse în industria inteligenței artificiale. Concluzia principală a cercetării este că modelele AI specializate în raționament, promovate ca fiind mai inteligente și mai capabile decât versiunile anterioare, se confruntă cu un „colaps complet al acurateței” atunci când trebuie să rezolve probleme de o complexitate ridicată.

Când cedează modelele AI

Modelele vizate în studiu, precum Claude al companiei Meta, o3 de la OpenAI și R1 de la DeepSeek, sunt exemple de modele lingvistice de mari dimensiuni, sau LLM-uri, scrie publicaţia Live Science. Acestea sunt proiectate să dedice mai mult timp de calcul și resurse pentru a furniza răspunsuri mai precise, fiind considerate un pas important către inteligența artificială generală, așa-numita AGI,  o formă de AI capabilă să depășească performanțele umane în majoritatea sarcinilor.

Însă cercetătorii Apple pun sub semnul întrebării această perspectivă. Potrivit datelor din studiu, aceste modele nu doar că nu reușesc să ofere un raționament generalizat, dar efectiv „cedeză” când sarcinile devin prea complexe. Mai exact, performanța lor scade brusc odată ce nivelul de dificultate al problemelor depășește un prag critic. Acest fenomen a fost descris de autori drept „colaps complet al acurateței”.

„Prin experimente extinse pe o varietate de puzzle-uri, am arătat că modelele lingvistice de ultimă generație suferă un colaps complet al acurateței dincolo de anumite niveluri de complexitate”, notează studiul.

Se mai arată: „Mai mult, ele prezintă o limitare contraintuitivă în ceea ce privește scalarea: efortul de raționament crește cu complexitatea până la un punct, apoi scade, în ciuda faptului că dispun de un buget adecvat de tokeni”.

Această constatare lovește direct în promisiunile companiilor mari din domeniu, care susțin că modelele actuale se apropie de performanțele unei inteligențe artificiale generale. Studiul Apple sugerează că, în realitate, aceste modele sunt încă dependente de tipare din datele de antrenament și nu pot trece de un prag real al înțelegerii sau raționamentului abstract.

Modelele LLM funcționează prin absorbția unor volume uriașe de date generate de oameni. Din aceste date, ele învață să producă tipare probabilistice, pe care le folosesc atunci când primesc solicitări. Cu toate acestea, acest mod de operare nu este suficient pentru a le asigura robustețe în fața problemelor cu structură logică complexă, care necesită nu doar identificarea unor tipare, ci înțelegere reală și deducții logice în lanț.