← BACK TO INDEX

A step closer to RSI? Not really.

Da quando ho letto come Astra ha corretto un difetto nei pesi di Qwen, continuo a chiedermi che cosa abbia dovuto imparare per condurre un’indagine del genere.

Pensiero introduttivo

Quando ho letto che GPT-6 Astra aveva modificato i pesi di un altro modello per farlo andare meglio in matematica, ho ripensato al mio precedente articolo e alla domanda da cui prendeva forma, su cosa accada quando l’intelligenza diventa uno strumento per produrre altra intelligenza. A prima vista mi sembrava che l’esperimento desse a quella domanda una risposta, per quanto circoscritta, ma a mano a mano che leggevo il resoconto mi accorgevo che per capire il risultato dovevo interrogarmi soprattutto su che cosa avesse imparato a fare il modello che interveniva.1

Il titolo del lavoro di Rikiya Takehi, Jayden Teoh, Alex Zhang e Omar Khattab, Sparks of Weight-Space Programming, suggerisce un’immagine che trovo difficile da scrollarmi di dosso. Per anni abbiamo scritto codice per addestrare reti neurali, e ora sembra possibile affidare a un modello il risultato di quell’addestramento perché lo corregga come correggerebbe un programma. Quanto regga questa immagine dipende, però, da che cosa gli autori abbiano effettivamente messo davanti ad Astra nelle diverse prove.

Pensiero 1

In uno degli esperimenti Astra riceve sotto forma di testo i circa 17.000 parametri di una piccola rete e, ripetendo la prova su quattro reti con la stessa architettura, gli stessi ingressi e le stesse azioni, riconosce ogni volta il gioco per cui la rete è stata addestrata. Nel caso dell’auto che si scontra contro una rampa, Astra riceve anche la descrizione della scena e la registrazione di un tentativo fallito, da cui ricava che il veicolo deve prima fare retromarcia per prendere la rincorsa. Scrive la correzione in una sola risposta e senza strumenti, e con i pesi modificati l’auto supera la rampa in tutti i 1.024 episodi di valutazione.

È il genere di risultato che mi farebbe perdere un pomeriggio a chiedermi come avrei risolto io lo stesso problema, anche perché il rapporto tra ciò che Astra vede e ciò che riesce a fare cambia già nell’esperimento sulle induction heads. Qui gli autori gli permettono di usare Python per analizzare le matrici di tre piccoli transformer, pur vietandogli di eseguire le reti, e Astra individua le teste che copiano sequenze viste in precedenza con un metodo che gli stessi autori riconducono al lavoro di Elhage, Neel Nanda e colleghi sui circuiti dei transformer. In questo caso, saper leggere i pesi vuol dire anche capire quali calcoli fare su di essi.2

Matthew Honnibal paragona l’accostamento di questi risultati a una serie di numeri di prestigio in cui, vedendo ripetersi lo stesso effetto, viene spontaneo pensare che dietro ci sia sempre lo stesso trucco. Dopo aver visto Astra riconoscere il comportamento di piccole reti dai pesi inseriti nel prompt, è facile attribuire il miglioramento di Qwen alla stessa capacità di interpretare direttamente quei numeri. Gli autori spiegano che nel caso di Qwen Astra lavora in un ambiente Python e che, nella loro definizione, intervenire direttamente sui pesi vuol dire fare a meno di un ottimizzatore. La critica di Honnibal, per come la leggo io, riguarda l’impressione che rimane quando si riassumono con le stesse parole esperimenti in cui Astra ha a disposizione evidenze molto diverse.3

Quanto conti questa differenza si vede bene nell’esperimento in cui Astra deve riconoscere, fra due versioni di Gemma, quella addestrata a dare ragione all’utente anche quando sbaglia. Astra non riesce a identificarla in quattro tentativi quando può analizzare in Python soltanto i pesi, mentre riesce a distinguere la versione compiacente in tutte e tre le coppie preparate dagli autori quando gli viene dato modo di osservare come si distribuisce l’attenzione durante l’esecuzione.

Pensiero 2

Nel caso di Qwen3.5-0.8B, Astra ha a disposizione un kernel Python con i pesi del modello e problemi di esercitazione tratti dai set di addestramento di GSM8K e MATH, distinti dai benchmark finali. Gli autori provano tre budget, da 10, 25 e 50 chiamate, ciascuna delle quali può far generare risposte a un massimo di 512 problemi oppure raccogliere dati durante la lettura di un massimo di 1.024 testi. I log della prova da 50 chiamate registrano 80 esecuzioni Python e circa 20 ore dall’inizio alla fine, attese comprese, durante le quali Astra può osservare il comportamento del modello e verificare l’effetto delle modifiche senza ricorrere ai gradienti o riaddestrare Qwen.

Il difetto che emerge quando Qwen cerca di risolvere i problemi è che tende a ripetere gli stessi passaggi fino a esaurire lo spazio per la risposta, e Astra, osservando le attivazioni, individua una direzione associata a quella ripetizione e rimuove la componente lungo quella direzione da 64 colonne della matrice di uscita di ciascuno dei due MLP agli strati 15 e 19. L’operazione coinvolge 131.072 valori, circa lo 0,016% dei parametri, di cui 130.188 risultano effettivamente diversi nel checkpoint valutato dopo l’arrotondamento a bfloat16. Quello che Astra sceglie è la componente geometrica su cui intervenire, dalla quale discendono, per effetto della proiezione, i cambiamenti dei singoli valori, secondo un principio che ha un precedente nel lavoro di Arditi e colleghi sulla direzione associata al rifiuto.4

Con il budget di 50 chiamate, il punteggio di Qwen su MATH-500 passa dal 7,9% al 48,1% e quello su IFEval, che misura la capacità di seguire istruzioni, dal 21,0% al 62,3%. Il numero che mi interessa di più è però la quota di risposte di MATH-500 che raggiungono il limite di 32.768 token, perché il calo dal 93,0% al 33,1% aiuta a capire quanto più spesso Qwen possa arrivare a una risposta prima che la generazione venga interrotta. È in questa luce che leggo anche il confronto con Gemma 3 270M, dove gli interventi di Astra spostano il risultato di meno di un punto su MATH-500, perché il modello si blocca di rado e sbaglia per lo più nei passaggi aritmetici o algebrici. La lettura degli autori è che, nel caso di Qwen, la correzione abbia permesso al modello di esprimere meglio una capacità che possedeva già.5

Pensiero 3

Mi sembra molto probabile che almeno alcuni dei modelli di frontiera degli ultimi mesi abbiano incontrato, durante l’addestramento, articoli, notebook e codice che documentano il lavoro quotidiano dell’interpretabilità meccanicistica, dalla raccolta delle attivazioni agli interventi con cui si cerca di capire, confrontando gruppi di esempi, quali calcoli producano un certo comportamento. Sono tecniche pubbliche da anni, e nel caso delle induction heads il legame con un metodo già pubblicato è esplicito. Anche Neel Nanda, commentando il lavoro, si è detto sorpreso da quanto bene Astra sappia usare i metodi classici del suo campo e ha ipotizzato che il modello li abbia incontrati nel pretraining. La system card di Astra conferma che OpenAI usa il reinforcement learning per addestrare il ragionamento, ma i dettagli pubblici lasciano aperta la questione di quali materiali di interpretabilità il modello abbia visto e di quali compiti siano stati effettivamente premiati.6

È qui che vedo un ruolo per quella che, con un po’ di ironia, chiamerei la magia del reinforcement learning from verifiable rewards, perché tra il saper spiegare come si fa un’ablazione e il saperla usare in un’indagine c’è tutto il lavoro di scegliere un confronto, accorgersi che dice poco e cambiare strada. Come avviene con i test automatici nel coding, si possono premiare i tentativi che producono una patch eseguibile, riducono le ripetizioni su problemi nuovi e conservano l’accuratezza su altri esempi, anche quando una spiegazione causale completa del comportamento è ancora lontana. Un esempio di come impostare una ricompensa in questo campo si trova già in MechRL, dove un agente specializzato impara a cercare circuiti in GPT-2 small valutando quanto del comportamento originale sopravviva alla rimozione di parti del circuito.7

È anche possibile che basti un addestramento più generale a usare strumenti, scrivere codice e tornare sulle proprie ipotesi alla luce dei risultati, se il modello conosce abbastanza bene le tecniche del dominio da trasferire quel modo di lavorare a un problema nuovo. Quando gli si mette davanti il notebook, infatti, ciò che mi colpisce di Astra è la capacità di tenere insieme i passaggi che un ingegnere di interpretabilità riconoscerebbe come parte della stessa indagine, dalla scelta di cosa osservare fino alla verifica dell’effetto di un intervento.

Pensiero conclusivo

Nel mio pezzo precedente mi interessava capire come potesse cambiare il ritmo della ricerca se una parte del lavoro necessario a produrre nuovi modelli fosse svolta da un modello, e questo esperimento dà a quella domanda una forma concreta, perché mostra che, una volta scelto il problema, fornito il checkpoint, costruiti gli strumenti e messi da parte i test, i ricercatori possono affidare ad Astra la ricerca di una correzione. Capisco perché gli autori vedano in questo tipo di intervento una possibile strada verso il recursive self-improvement, ma il carattere ricorsivo dipenderebbe dalla capacità del sistema migliorato di trovare a sua volta il miglioramento successivo e di ripetere il processo. Quello che si osserva qui è una correzione che Astra apporta a un altro sistema entro i confini di un esperimento definito dagli autori.

Per anni abbiamo imparato a osservare queste macchine mentre funzionano, inventando strumenti e cercando di capire quali risultati ci permettano di fidarci di un’ipotesi, e ora mi chiedo come cambieranno i tempi necessari a capire che cosa abbiamo appena costruito, se una parte di quel mestiere può essere appresa e svolta dalle macchine stesse.


  1. Rikiya Takehi, Jayden Teoh, Alex Zhang e Omar Khattab, Sparks of Weight-Space Programming, 2 novembre 2026, con i log degli esperimenti.↩

  2. Nelson Elhage, Neel Nanda et al., A Mathematical Framework for Transformer Circuits, 2021.↩

  3. Matthew Honnibal, critica al resoconto su Astra e Qwen, 3 novembre 2026.↩

  4. Andy Arditi et al., Refusal in Language Models Is Mediated by a Single Direction, 2024.↩

  5. Takehi et al., esperimento 8 e confronto con Gemma. I dettagli della correzione e del protocollo sono nei log di Qwen.↩

  6. OpenAI, GPT-6 Astra System Card, § 2, Model Data and Training. Si veda anche il commento di Neel Nanda del 3 novembre 2026.↩

  7. Per un esempio documentato di ricompense verificabili in matematica e programmazione, DeepSeek-AI, DeepSeek-R1, 2025. Per un esempio di ricompensa usata nella ricerca di circuiti, Barsat Khadka, MechRL, 2026.↩

*Copyright 2026 Andrea Turchet