I modelli linguistici nati per il ragionamento (LRM) in ambienti interattivi possono andare in loop infiniti, rallentare, bloccarsi e rendere un output erroneo.
Questo è quanto emerge da una recente ricerca, resa disponibile su GitHub, dello ETH di Zurigo e di alcuni atenei statunitensi, a proposito delle attività definite come “Agentic Tasks”, riferiscono The Decoder e Arxiv.
In questo tipo di attività i modelli, attraverso interfacce in linguaggio naturale, devono autonomamente raccogliere, archiviare e utilizzare le informazioni e generare output strutturati da riversare in altri strumenti.
Negli Agentic Tasks, si è osservato come i modelli di AI, per avere un feedback, abbiano bisogno di bilanciare di continuo le risposte dell’ambiente con la loro simulazione interna che valuta le possibili azioni e reazioni dell’ambiente stesso.
Gli scienziati hanno inquadrato questo comportamento sfavorevole come un dilemma tra azione e ragionamento.
Indipendentemente dalla potenza di calcolo fornita, in questa fase i modelli, che non hanno una comprensione completa del mondo, generano errori destinati ad accumularsi col trascorrere del tempo.
I ricercatori hanno osservato tre tipi di errori ricorrenti.
Il primo è la paralisi dell’analisi che blocca i modelli già in fase di pianificazione.
Il secondo occorre quando i modelli tentano di compiere più azioni simultanee anziché eseguirle in sequenza e, infine, il terzo avviene quando le attività basate sulle simulazioni interne vengono prematuramente interrotte, senza convalidarne i dati nell’ambiente reale.
La ricerca mostra come l’elaborare troppo, anche per modelli ad alta efficienza nati per il ragionamento come gli RLM, possa portare a prestazioni scadenti e problematiche.
Lo studio pubblicato su Arxiv suggerisce di generare più soluzioni rapide per poi selezionare quelle che minimizzano il bisogno di revisione, riducendo così tempi e costi computazionali.
