DOBBIAMO REGOLARE IL RITMO DELLA FRONTIERA

Presentiamo il saggio di Dario Amodei, fondatore e amministratore delegato di Anthropic, azienda leader nella commercializzazione, ricerca e sviluppo, di soluzioni basate sull’intelligenza artificiale di ultima generazione. Anthropic è uno dei protagonisti della nuova frontiera dell’intelligenza artificiale, dove si esplorano gli ancora sconosciuti e pericolosi territori della cosiddetta intelligenza artificiale auto-migliorativa e ricorsiva, quella che impara da sola e non si sa sempre cosa stia imparando.
Questo saggio è un appello a ridurre la velocità di viluppo dell’intelligenza artificiale per non perderne il controllo, per minimizzare i rischi di uso improprio, per consentire alla tecnologia di aiutare lo sviluppo dell’umanità, sapendo che esiste la possibilità che la possa annientare.
Un saggio importante, da leggere, ponderare, discutere e soprattutto condividere.
Con questi obiettivi ben presenti, Giano pubblica questa traduzione (non autorizzata). Il traduttore ha cercato di rimanere il più vicino possibile all’originale. Le sue poche note servono solo a chiarire degli aspetti tecnici.
Buona lettura, o ascolto.

Dobbiamo regolare il ritmo della Frontiera

Dario Amodei
Settembre 2026

traduzione di Andrea Aparo Von Flüe

Ho lavorato nel campo dell’intelligenza artificiale (IA) negli ultimi dodici anni perché credo che possa migliorare drasticamente la qualità della vita umana. Ho scritto spesso di questi incredibili benefici: credo che, nei prossimi 5-10 anni, l’IA permetterà di accelerare notevolmente i tassi di crescita economica; di creare un mondo di abbondanza; di inaugurare un rinascimento della democrazia e della libertà dove le persone avranno maggiori responsabilità e potere di scelta; di trovare le cure per la maggior parte delle malattie. Sento questa urgenza in modo personale. Mio padre è morto per una malattia il cui protocollo di cura è stato definito pochi anni dopo il suo decesso e io stesso sono sopravvissuto a un cancro in fase precoce che cinquant’anni fa non sarebbe stato curabile. Se maneggiata con cura, l’IA può essere l’ultimo di una lunga serie di miracoli tecnologici che hanno elevato e nobilitato l’umanità.

Ma come molte tecnologie prima di essa, l’IA comporta dei rischi e poiché è una tecnologia così potente, questi rischi sono seri. Ho scritto molto su di essi. Includono il rischio di gravi interruzioni del sistema economico, di perdere il controllo dei sistemi di IA, di uso improprio dell’IA per attacchi informatici.
Rischi che possono essere aumentati da una corsa al ribasso, alimentata da incentivi commerciali. (NdT. Corsa al ribasso: persone e aziende che competono riducendo continuamente i propri standard).

Insieme ai miei co-fondatori e dipendenti, ho affrontato questa dualità tra rischi e benefici fin dagli inizi di Anthropic. Non costruire la tecnologia priva l’umanità dei suoi benefici, o semplicemente la mette nelle mani di poteri autoritari, mentre costruirla troppo velocemente è incauto. Abbiamo cercato una via di mezzo: dimostrare che è possibile costruire con attenzione e avere successo commerciale, facendo della sicurezza un elemento su cui le aziende di IA competono. In altre parole, creando una corsa verso l’alto. Abbiamo sempre dedicato una parte sostanziale dei nostri sforzi a studiare, affrontare e informare il pubblico su questi rischi dell’IA, oltre a sostenere una regolamentazione ben ponderata dell’IA, anche quando questo ci è valso accuse di allarmismo, “catastrofismo”, o di regulatory failure (NdT.: Si tratta di una forma di fallimento delle azioni di governo dove un ente di regolamentazione, creato per proteggere il pubblico, cura gli interessi commerciali, o particolari, dell’industria che dovrebbe regolare). Abbiamo cercato di dare priorità alla cautela rispetto alla velocità e alla prudenza rispetto al profitto.

Ma negli ultimi mesi mi sono convinto che affrontare pienamente i rischi richieda ancora più prudenza — non solo investire nella prevenzione dei rischi, ma regolare il ritmo dell’avanzamento delle capacità in modo che la prevenzione dei rischi abbia il tempo di stare al passo. Dobbiamo rallentare il ritmo con cui miglioriamo le capacità dei modelli di IA. I progressi sembreranno comunque rapidi e dobbiamo fare un uso saggio del tempo che guadagniamo. Due sono le cose che mi hanno convinto.

La mia prima preoccupazione è che, da circa quest’estate, l’IA sta avanzando in modo drasticamente più veloce, guidata principalmente dalla crescente capacità dell’IA di costruire la generazione successiva di IA. Questa dinamica prende il nome di auto-miglioramento ricorsivo e sta iniziando, come noi e altri abbiamo descritto, a interessare tutto il settore, Anthropic inclusa. Una dinamica che, se lasciata incontrollata, potrebbe superare la nostra capacità di comprendere e controllare questi sistemi e quindi va perseguita con molta cautela, se non addirittura evitata.

La mia seconda preoccupazione è l’incidente OpenAI-Hugging Face (OAI-HF), dove uno sciame di agenti ha agito essenzialmente come fosse un collettivo di devoti fanatici, conducendo attacchi informatici verso obiettivi che non gli era stato chiesto di attaccare, non collegati al compito assegnato, sacrificando i suoi membri per il successo del collettivo, cercando di imbrogliare il “valutatore” responsabile di giudicare la sua prestazione.
Facile liquidare questo incidente perché nessuno si è fatto male e il danno economico è stato minimo, ma a mio parere, uno sciame dotato di capacità maggiori, con un livello simile di disallineamento, avrebbe potuto causare danni catastrofici. Dato il ritmo accelerato dello sviluppo delle capacità dell’IA, temo che entro 6-12 mesi uno sciame del genere potrebbe essere in grado di impadronirsi di tutta Internet con una botnet persistente (causando potenzialmente centinaia di miliardi di dollari di danni) e che la dimensione del danno continuerebbe ad aumentare da lì in avanti se l’IA diventasse più potente senza le necessarie salvaguardie. (NdT. Una botnet è una rete di dispositivi connessi a Internet, infettati da malware e controllati da remoto).
Facile liquidare l’incidente OpenAI-Hugging Face come l’errore di una singola azienda, ma credo che sarebbe uno sbaglio. Incidenti simili, seppur meno gravi, si sono verificati in tutto il settore, inclusa Anthropic e credo sia dovere di ogni azienda di IA di frontiera comportarsi come se l’incidente OAI-HF fosse accaduto a lei.

Propongo quindi un piano in tre fasi con l’obiettivo di regolare il ritmo dell’avanzamento della conoscenza: costruire l’IA a una velocità equilibrata che miri a garantirne la sicurezza pur continuando a realizzarne i benefici affrontando, al contempo, importanti dilemmi geopolitici. Per essere chiari, regolare la velocità non significa fermare l’addestramento dei modelli, o il progresso tecnico. Significa garantire che le aziende si prendano il tempo adeguato ad allineare e proteggere i loro modelli e che valutatori terzi lo confermino. Il nostro quadro di regolazione della velocità dello sviluppo è un tentativo di rafforzare ulteriormente il nostro impegno per la sicurezza e incoraggiare la corsa verso l’alto.
Il primo passo è qualcosa su cui Anthropic si impegna unilateralmente (e chiede ai governi di imporre alle altre aziende di frontiera di allinearsi).
Il secondo passo richiede un coordinamento a livello di settore (con la mediazione del governo, o deroghe alle restrizioni antitrust).
Il terzo passo richiede un coordinamento globale.
I passi non devono essere necessariamente seguiti in ordine rigoroso e alcuni di essi potrebbero essere molto più difficili da compire di altri, ma li considero un quadro di riferimento utile per pensare a ciò che deve essere realizzato.

Scendendo nel dettaglio, i passi sono:
1. Valutatori Integrati. Ogni azienda di IA di frontiera si impegna a garantire un accesso continuo, analogo a quello di un dipendente, a un team di valutatori terzi integrati (come METR), il cui ruolo è verificare l’aderenza alle pratiche e agli impegni di sicurezza, segnalare incidenti e contribuire a valutare l’allineamento non solo dei modelli di IA completati, ma anche dei processi di addestramento. Questo è il passo chiave per la verificabilità di qualsiasi impegno di regolazione della velocità di sviluppo e ha un precedente nel settore bancario, che a volte prevede “supervisori” regolatori, integrati ai dipendenti. Anthropic si impegna, da subito, unilateralmente, a questo passo. Intendiamo che ciò faccia parte di uno sforzo più ampio per raddoppiare i nostri sforzi per la sicurezza e l’allineamento.
2. Coordinamento Democratico. Le aziende di IA di frontiera nei paesi democratici si coordinano per stabilire standard di sicurezza comuni, così come i limiti al ritmo del progresso incontrollato dell’IA. Alcune forme di coordinamento che sarebbero efficaci per la regolazione del ritmo dello sviluppo sono legalmente complesse e richiederanno il sostegno del governo.
3. Coordinamento Globale. Gli Stati Uniti e gli altri governi democratici cercano di coordinarsi con i governi autoritari, nella misura in cui ciò sia possibile, tenendo però in seria considerazione le difficoltà nel verificare la conformità.

Nella restante parte del saggio descrivo ciascuno di questi passi, ma prima ritengo importante spiegare, nel dettaglio, come la regolazione del ritmo dei progressi ci permetterà di rendere più sicuro il processo di sviluppo dell’IA. La posta in gioco è troppo alta perché la regolazione del ritmo dello sviluppo sia un vuoto esercizio — dobbiamo usare saggiamente il tempo che ci mette a disposizione.

Perché regolare il ritmo?

L’idea di sospendere o rallentare l’IA è stata avanzata già nel 2023 e credo che allora avesse poco senso. La domanda era sempre la stessa: cosa fare con il tempo extra? I modelli di IA di allora non erano abbastanza potenti da agire come agenti nel mondo in modo coerente e non erano capaci di ingannare in modo significativo, di manipolare, di barare, o di eseguire attacchi informatici. Rallentare per affrontare i possibili rischi di allineamento sembrava come cercare di studiare la psicologia umana facendo esperimenti sui batteri. Oggi, tuttavia, il quadro è completamente diverso. I modelli attuali sono una miniera d’oro quasi infinita di informazioni sia su come costruire bene l’IA, sia su cosa può andare storto se non viene costruita bene.

Credo che se rallentare ci desse anche solo un anno, o due, in più prima che i modelli raggiungano livelli critici di capacità e se usassimo questo tempo per far progredire l’allineamento, potremmo ridurre notevolmente il rischio che qualcosa vada seriamente storto. Una strategia coordinata di regolazione del ritmo dello sviluppo darebbe agli attori della IA di frontiera il tempo di svolgere questo lavoro vitale di allineamento senza sacrificare il vantaggio commerciale, o la leadership, degli Stati Uniti nell’IA. Più in generale, la società deve avere voce in capitolo su come viene utilizzata questa tecnologia. Avere più tempo per le necessarie deliberazioni pubbliche — che la regolazione del ritmo della frontiera consentirebbe di avere — è sicuramente una cosa positiva.

Nello specifico, un ritmo più lento permetterebbe alle aziende di concentrarsi e dedicare ancora più risorse alle seguenti aree (che sono già tutte priorità importanti in Anthropic):

1. Eccellenza Operativa. Addestrare e distribuire i modelli di IA odierni è un’enorme sfida operativa, che coinvolge migliaia di persone, milioni di chip e infrastrutture tra le più complesse nella storia della tecnologia. Molte cose vanno storte non perché alle aziende manchi qualche teoria, o intuizione importante, ma a causa di problemi di esecuzione. Ad esempio, abbiamo prove che i recenti incidenti di allineamento che abbiamo segnalato sono stati causati in parte da un filtraggio imperfetto di ambienti di apprendimento per rinforzo difettosi (NdT: Broken reinforcement learning environments). Abbiamo, noi e i nostri fornitori, lavorato con ragionevole diligenza, ma non abbastanza bene. Il monitoraggio, il sandboxing (NdT. il sandboxing è una tecnica di sicurezza informatica che consiste nell’eseguire programmi, file, o codici sospetti, all’interno di un ambiente virtuale isolato e controllato), l’igiene degli ambienti di addestramento e i problemi legati ai dati sono aree estremamente complesse in cui i problemi operativi emergono ripetutamente. Abbiamo tra i team più competenti al mondo per questi compiti, ma c’è semplicemente troppo da fare e tutto insieme. Lavorando a un ritmo più misurato, potremmo raggiungere un’eccellenza operativa molto maggiore. Esistono precedenti di sistemi tecnologicamente complessi e critici per la sicurezza fatti funzionare milioni di volte senza che nulla andasse storto — ad esempio, gli aerei commerciali — ma ci vuole tempo per riuscirci.
2. Allineamento. Abbiamo fatto evidenti progressi nell’allineamento — addestrare i modelli affinché rimangano sicuri, etici, conformi alle nostre linee guida e genuinamente utili (principi incorporati nella Costituzione di Claude). Ma c’è molto altro da fare per garantire che il nostro addestramento all’allineamento stia al passo con la crescita delle capacità dei modelli. Esempi rari e inaspettati di comportamento indesiderato continuano talvolta a emergere; il tempo extra derivante da uno sviluppo regolato aiuterebbe i nostri ricercatori a migliorare la comprensione delle cause di questi problemi e a sviluppare migliori tecniche di prevenzione.
3. Interpretabilità. Allo stesso modo, l’interpretabilità — la scienza di comprendere cosa accade all’interno dei modelli di IA — ha fatto enormi progressi negli ultimi anni e svolge un ruolo sempre più importante nell’auditing dei nostri modelli prima del rilascio. Può essere utilizzata quasi come una risonanza magnetica funzionale per il “cervello” di un’IA, aiutandoci a vedere le ragioni sottostanti a un determinato comportamento. Ad esempio, abbiamo utilizzato metodi di interpretabilità per esaminare le motivazioni non verbalizzate (NdT, le motivazioni non verbalizzate sono i fattori trainanti nascosti, non dichiarati, o inconsci, alla base del comportamento, delle scelte e delle affermazioni di una persona; nella fattispecie di un modello di IA) dei recenti incidenti di allineamento su cui stiamo indagando, ma questi metodi non producono sempre risultati chiari e affidabili. Nonostante tutti i progressi, comprendiamo ancora solo una minima parte di ciò che accade all’interno di questi modelli. Uno sforzo mirato per migliorare le nostre tecniche di interpretabilità, ancora più intenso di quanto stiamo facendo ora, potrebbe portare a progressi significativi in 1-2 anni e avrebbe ampio materiale sperimentale basato sugli incidenti già verificatisi.
4. Test e Valutazione. Testare e valutare i modelli di IA diventa più difficile man mano che aumentano le loro capacità. Modelli più intelligenti sono più capaci di ingannare i test e quindi possono apparentemente essere allineati pur presentando gravi problemi che passano inosservati. Costruire un insieme di valutazioni molto più ampio e valido, insieme ad analisi di interpretabilità per verificarle in modo incrociato, sarebbe estremamente prezioso e su questo si potrebbero fare molti progressi in 1-2 anni.
5. Valutatori Integrati. Il primo passo del piano in tre fasi, quello che ha l’impegno unilaterale di Anthropic, riguarda i valutatori integrati per verificare le pratiche di sicurezza e segnalare gli incidenti, con accesso analogo a quello dei dipendenti
   L’integrazione dei valutatori può sembrare un passo piccolo, o irrilevante, ma spesso le cose che sembrano più noiose, o procedurali, sono in realtà le più essenziali. I valutatori integrati sono in effetti una pratica piuttosto radicale che va ben oltre ciò che qualsiasi azienda di IA sta facendo oggi, e presentano i seguenti vantaggi:

– Verificabilità. I valutatori integrati possono controllare a livello di dettaglio se un’azienda di IA stia effettivamente seguendo le pratiche di addestramento, implementazione, operatività e salvaguardia che dichiara di seguire. Qualsiasi impegno di regolazione della velocità di sviluppo comporterà inevitabilmente molta ambiguità, valutazioni discrezionali e la distinzione tra “testo della legge” e “spirito della legge” e sarà vitale avere una terza parte neutrale che possa effettivamente vedere i dettagli.
– Trasparenza. Indipendentemente dagli impegni che assumiamo, il pubblico merita di sapere cosa sta succedendo. Anthropic sostiene la trasparenza da molto tempo: abbiamo sostenuto la legislazione sulla trasparenza quando la maggior parte del settore era contraria a qualsiasi regolamentazione. Le schede sui modelli e i nostri rapporti sui rischi coprono centinaia di pagine, ma siamo ancora noi a scegliere cosa includere e cosa omettere. I valutatori integrati cambieranno questa dinamica.
– Seconda Opinione. Al di là della verifica degli impegni formali e dell’informazione al pubblico, i valutatori integrati possono semplicemente fornire una seconda opinione libera da motivazioni commerciali. Molti benefici in termini di sicurezza possono derivare semplicemente dal fatto che i valutatori segnalano qualcosa a cui i dipendenti non avevano pensato, ma che sono felici di correggere una volta resi consapevoli.

Grazie a questi vantaggi, qualsiasi proposta di regolazione della velocità di sviluppo funzionerà probabilmente molto meglio se prevede la presenza dei valutatori integrati.

Questi valutatori integrati dovrebbero avere accesso continuo a permessi e strumenti simili a quelli dei dipendenti interni che svolgono valutazioni del rischio comparabili. In particolare, Anthropic intende invitare, nel prossimo futuro, un team di revisione esterna integrato, dotato di quanto segue:

• Postazioni nei nostri uffici, badge d’accesso e computer portatili aziendali.
• Accesso a spazi di lavoro, strumenti e permessi per lo più comparabili a quelli di cui dispongono i team interni di valutazione del rischio. Faremo alcune eccezioni, ad esempio dove la legge, o i nostri contratti, lo richiedono, o per proteggere le informazioni riservate di clienti e partner. Stabiliremo inoltre solide norme interne che rafforzino l’accesso dei revisori alle informazioni pertinenti, anche attraverso conversazioni dal vivo con i dipendenti.
• Un contratto che bilanci le complessità sopra menzionate. I revisori esterni dovrebbero avere il diritto di pubblicare i risultati chiave riguardanti i livelli di rischio, gli incidenti, le pratiche e l’accesso ricevuto o negato — senza controllo editoriale da parte di Anthropic. Avremo la limitata facoltà di redigere informazioni sensibili per la sicurezza, protette da privilegio legale, commercialmente sensibili o riservate di terzi, ma non potremo censurare i risultati solo perché sono sfavorevoli. I revisori potranno dichiarare pubblicamente se una redazione ha rimosso qualcosa di importante nelle loro conclusioni.

Si tratta di un passo insolito per un’azienda, ma riteniamo importante dimostrare la validità del concetto dei revisori esterni integrati. Ancora una volta, esortiamo le altre aziende di frontiera a seguire questo esempio.

Regolare il ritmo all’interno delle Democrazie

Una volta che i valutatori integrati opereranno all’interno di una massa critica di aziende statunitensi di IA, la regolazione verificabile del ritmo di sviluppo diventerà più praticabile. In particolare, diventerà possibile regolare il ritmo basandosi su proprietà dettagliate dei modelli, o delle pipeline di addestramento.

Il metodo più efficace per regolare il ritmo di sviluppo è tramite una regolamentazione che riguardi tutte le aziende statunitensi di IA di frontiera, poiché ciò coprirebbe anche quelle non disposte a cooperare volontariamente. Anthropic ha da tempo sostenuto una regolamentazione dell’IA sensata e mirata, in particolare proposte di legge incentrate sulla trasparenza e sull’audit da parte di terzi. Credo che tutti i laboratori di frontiera debbano collaborare con il governo per formalizzare l’idea di valutatori integrati permanenti, al fine di prevenire e documentare meglio gli incidenti di allineamento interni come quelli verificatisi negli ultimi mesi e per implementare una regolamentazione focalizzata sul mantenere le capacità in equilibrio con la sicurezza.

Purtroppo, l’approvazione delle leggi può richiedere tempo e l’IA sta avanzando molto rapidamente. Pertanto, parallelamente alla via normativa, le aziende di IA possono e dovrebbero collaborare volontariamente per stabilire standard — un processo che credo funzionerà meglio grazie alla verificabilità garantita da valutatori integrati permanenti. Per motivi di antitrust, è utile che il governo degli Stati Uniti faccia da mediatore, o quantomeno consenta queste discussioni — non è necessario che vi partecipi, ma deve concedere una deroga limitata per certi tipi di conversazioni sulla sicurezza. Questo dialogo potrebbe avvenire anche attraverso gruppi industriali che hanno una qualche associazione con il governo — ad esempio, il meccanismo suggerito da Demis Hassabis. In entrambi i casi, tali discussioni dovrebbero procedere rapidamente.

In generale, sono più entusiasta di una regolazione del ritmo di sviluppo basata su ciò che un dato sistema di IA di frontiera è in grado di fare e su quanto lo osserviamo essere sicuro. Ad esempio, uno schema possibile potrebbe essere una serie di “checkpoint”: se i modelli possiedono la capacità X, allora devono essere accompagnati da certificazioni delle proprietà di allineamento Y e Z — come una combinazione di valutazioni, analisi di interpretabilità e audit degli ambienti di addestramento — che ne dimostrino le proprietà di allineamento. In questo esempio, X potrebbe essere “il modello è in grado di eludere, o sconfiggere, la maggior parte dei metodi comuni di sandboxing” e Y potrebbe essere tutto ciò che è necessario per rendere molto improbabile che il modello abbia la propensione a evadere dal proprio ambiente e a impadronirsi di un gran numero di computer.

Dovremmo anche considerare la regolazione del ritmo limitando gli ingredienti che compongono i modelli di frontiera, come il calcolo di addestramento, la natura delle sessioni di addestramento, o l’uso interno dell’IA per migliorare l’IA. Temo che alcune di queste misure possano essere più facilmente aggirabili rispetto al comportamento esterno, ma è questo il tipo di argomento che vale la pena discutere con i valutatori integrati.

La regolazione del ritmo all’interno delle democrazie sarà limitata dal vantaggio che le aziende statunitensi hanno rispetto ai regimi autoritari, principalmente il Partito Comunista Cinese. Se rallentiamo oltre questa misura, allora i progetti associati al PCC (non regolati) prenderanno il sopravvento, creando un significativo rischio per la sicurezza nazionale. Concordo con il Segretario Bessent sul fatto che una leadership cinese nell’IA rappresenterebbe un grave pericolo per gli Stati Uniti e per il mondo. I progetti associati al PCC correranno i rischi di allineamento che le aziende statunitensi stanno accuratamente prevenendo e anche se dovessero evitare tali rischi, si troverebbero in una posizione di dominio militare sulle democrazie (ad esempio con droni guidati dall’IA). Pertanto, una parte fondamentale della regolazione del ritmo all’interno delle democrazie è mantenere il più ampio possibile il vantaggio delle democrazie sulle autocrazie nel campo dell’IA, per darci il margine di manovra necessario a regolare efficacemente il ritmo di sviluppo.

I principali passi che possiamo intraprendere per difendere questo divario sono:

• Non vendere chip di IA potenti, né apparecchiature per la produzione di semiconduttori alla Cina e reprimere le operazioni di contrabbando di chip e l’accesso remoto a data center al di fuori della Cina. I chip saranno il principale fattore determinante della forza dell’IA cinese.
• Reprimere la distillazione non autorizzata da parte di aziende in paesi autoritari. La distillazione dei modelli di frontiera consente alle aziende in ritardo di ridurre il divario utilizzando una frazione del costo che sarebbe necessario per sviluppare la propria IA in modo indipendente.
• Rafforzare la sicurezza presso le aziende di IA e prevenire il furto dei pesi dei modelli.

Le aziende e il governo degli Stati Uniti dovrebbero collaborare per rendere questi passi il più efficaci possibile. Anthropic ha costantemente sostenuto tutte queste misure, perché abbiamo sempre capito che sarebbero state essenziali per qualsiasi regolazione del ritmo di sviluppo. Se attuiamo bene queste misure, credo che rallenterebbero abbastanza i progressi della Cina da ampliare significativamente il vantaggio dell’America nei prossimi 3-5 anni — la finestra temporale in cui l’IA diventa geopoliticamente più importante. Alcuni potrebbero ritenere che queste misure rendano più difficile la cooperazione con la Cina, ma credo sia vero il contrario: queste misure aumentano la leva a disposizione delle democrazie e rendono più probabile un accordo in futuro.

Regolazione Globale del Ritmo di sviluppo

Parallelamente alla regolazione del ritmo all’interno delle democrazie, dovremmo puntare anche a una sua regolazione mondiale, sebbene sarà molto più difficile da raggiungere. La regolazione globale del ritmo dis viluppo richiederà la cooperazione con la Cina, il paese autocratico con di gran lunga le capacità di IA più avanzate. Non dobbiamo essere ingenui a riguardo: la posta in gioco geopolitica è così alta che probabilmente ci saranno limiti severi a ciò che si può ottenere, specialmente all’inizio. Se limitassimo notevolmente le nostre capacità di IA nella convinzione che la Cina faccia lo stesso e poi la Cina venisse meno all’accordo, l’IA potrebbe diventare così potente che tale defezione potrebbe portare al suo dominio geopolitico. Pertanto, qualsiasi accordo deve avere, o una verificabilità a prova di errore, oppure essere abbastanza limitato da far sì che una defezione non sia militarmente esistenziale. Sospetto che non solo gli Stati Uniti, ma anche la Cina avranno queste preoccupazioni e ansie. Dovremmo affrontare qualsiasi decisione globale sulla regolazione del ritmo di sviluppo, specialmente nel breve termine, in modo tale da proteggere il vantaggio degli Stati Uniti e dei loro alleati.

Esistono diversi livelli di possibile accordo, alcuni dei quali ritengo assolutamente realizzabili (come ho già suggerito in precedenza) e altri di cui sono molto scettico circa la possibilità — anche se dovremmo comunque provarci. In ordine di difficoltà crescente:

• Livello 1. Un accordo che vieti alcuni usi specifici e ovviamente pericolosi dell’IA, come utilizzarla per la produzione di armi biologiche, o consentire agli utenti di farlo. Gli attacchi bioterroristici sono dannosi per tutti, inclusi sia gli Stati Uniti, sia i loro avversari, quindi un accordo su questo punto è probabilmente possibile.
• Livello 2. Un accordo tra entrambe le parti per testare i propri modelli prima del rilascio riguardo a rischi acuti in ambiti come la cybersicurezza, la biologia e l’allineamento. Come notato sopra, ciò potrebbe essere fatto attraverso un organismo globale di standardizzazione. Credo effettivamente che la creazione di un tale organismo sia probabilmente fattibile, ma dargli un potere reale sarà una sfida e la difficoltà starà nel verificare che nessuna delle due parti abbia modelli segreti che non testa, ma che potrebbe distribuire di nascosto (ad esempio, per applicazioni militari).
• Livello 3. Una sorta di “limite di velocità” sul ritmo dell’auto-miglioramento ricorsivo (RSI). Man mano che i modelli costruiscono i modelli futuri, il ritmo di miglioramento potrebbe diventare straordinariamente rapido. Rallentare il ritmo da “estremamente veloce” a “solo un po’ veloce” comporta la rinuncia a un vantaggio strategico relativamente piccolo, migliorando potenzialmente in modo significativo la sicurezza. Questo potrebbe essere visto come analogo ai trattati SALT — limitare il numero di missili ha ridotto il potenziale distruttivo pur preservando la capacità deterrente di ciascun paese. Penso che un accordo del genere sarebbe difficile, ma appena al limite del possibile.
• Livello 4. Una regolazione completa del ritmo, o persino una “pausa”, in cui i governi partecipanti concordano di limitare sostanzialmente il ritmo complessivo dello sviluppo dell’IA. Sono favorevole a proporre questa ipotesi, ma credo sia improbabile che si realizzi a breve: defezionare da un accordo del genere eludendo il monitoraggio potrebbe spostare radicalmente l’equilibrio del potere globale, quindi mi aspetto che gli incentivi a farlo siano enormi e che il livello di fiducia di cui avremmo bisogno nella verifica sia molto alto.

Qualsiasi cooperazione che riusciremo a ottenere con la Cina estenderà il tempo che avremo a disposizione per regolare il ritmo della frontiera all’interno delle nazioni democratiche. Dovremmo puntare ai livelli più alti pur considerando i livelli più bassi come molto più probabili e realistici.

Infine, è importante notare che anche se non riuscissimo a raggiungere accordi formali, semplicemente cambiare le norme informali potrebbe avere un certo valore. Condividere informazioni sull’auto-miglioramento ricorsivo e sul disallineamento dei modelli può aiutare a convincere tutti che non è nel loro interesse essere incauti.

Conclusione

Continuo a credere che l’IA possa migliorare enormemente la qualità della vita umana. Il mio desiderio di realizzare questi benefici è rimasto immutato. Ma i benefici saranno raggiunti solo se costruiamo questa tecnologia nel modo giusto e — purché usiamo bene il tempo che guadagniamo — vale la pena prendersi una cura insolitamente deliberata per farlo bene. Il progresso sarà comunque relativamente rapido. Possiamo usare questo tempo per far progredire la scienza dell’interpretabilità, migliorare la sicurezza operativa e il rigore presso le aziende di IA di frontiera e costruire modelli di cui abbiamo molta più fiducia nell’allineamento. Le misure che propongo per far avanzare la frontiera a un ritmo sicuro non saranno facili. Ma credo che lo dobbiamo all’umanità: dobbiamo provarci.