Come impara un'AI

Nel capitolo precedente abbiamo detto che l'AI impara dai dati. Ma come? Non è che le dai un libro e lei lo "legge". Il processo è diverso da qualsiasi cosa tu conosca — e allo stesso tempo, con la giusta analogia, è sorprendentemente intuitivo.

L'analogia dello studente

Immagina di dover insegnare a qualcuno a riconoscere i gatti nelle foto, ma questa persona non ha mai visto un gatto in vita sua.

Approccio tradizionale (programmazione classica): scrivi un manuale con tutte le regole. "Un gatto ha quattro zampe, due orecchie a punta, una coda, i baffi..." Il problema? Un cane ha quattro zampe e una coda. Un coniglio ha due orecchie a punta. Le regole non bastano perché la realtà è troppo complessa da descrivere con istruzioni precise.

Approccio AI: mostri alla persona 100.000 foto di gatti e 100.000 foto di non-gatti. Non le spieghi le regole — le mostri gli esempi. Dopo un po', la persona inizia a riconoscere i gatti da sola, anche in foto che non ha mai visto prima. Ha sviluppato un'"intuizione" che non sa spiegare a parole, ma che funziona.

Questo è esattamente come funziona l'addestramento di un'AI.

I dataset: i libri di testo dell'AI

Un dataset è una collezione di dati usati per addestrare un modello. È il "materiale di studio" dell'AI.

Per un modello che riconosce immagini, il dataset è fatto di milioni di foto etichettate: "questa è un gatto", "questo è un cane", "questo è un semaforo". Per un modello di linguaggio come ChatGPT, il dataset è una quantità mostruosa di testo: libri, articoli, pagine web, codice, conversazioni.

Qualche numero per dare l'idea:

• GPT-3 (2020) è stato addestrato su circa 500 miliardi di parole — più o meno l'equivalente di un milione di libri
• GPT-4 (2023) ha usato dataset ancora più grandi, con testi, codice e probabilmente anche immagini
• I modelli moderni usano anche dati sintetici — cioè dati generati da altre AI per ampliare il materiale di studio

La qualità del dataset è cruciale. Se il dataset è pieno di errori, l'AI impara gli errori. Se il dataset ha bias (pregiudizi), l'AI impara i pregiudizi. Garbage in, garbage out — spazzatura dentro, spazzatura fuori.

Il modello: il cervello artificiale

Il modello è la parte dell'AI che effettivamente "impara". Puoi pensarlo come un cervello vuoto che viene riempito di conoscenza attraverso l'addestramento.

In termini semplici, un modello è un'enorme formula matematica con miliardi di numeri regolabili (chiamati parametri o pesi). All'inizio, questi numeri sono casuali — il modello non sa fare niente. Durante l'addestramento, i numeri vengono aggiustati poco a poco finché il modello non produce risultati corretti.

Per darti un'idea delle dimensioni:

• GPT-2 (2019): 1,5 miliardi di parametri
• GPT-3 (2020): 175 miliardi di parametri
• GPT-4 (2023): non dichiarato ufficialmente, stimato oltre 1.000 miliardi
• Llama 3 (2024): versioni da 8 a 405 miliardi di parametri

Più parametri non significa automaticamente più intelligente, ma in generale modelli più grandi riescono a catturare pattern più complessi.

Come funziona l'addestramento

L'addestramento di un modello di linguaggio funziona con un principio sorprendentemente semplice: prevedere la parola successiva.

Il modello legge miliardi di frasi e per ognuna prova a prevedere cosa viene dopo. Esempio:

"Il gatto si è seduto sul ___"

Il modello prova a indovinare: "tetto"? "divano"? "tavolo"? Poi vede la risposta corretta nel dataset e aggiusta i suoi parametri di conseguenza. Se ha sbagliato, aggiusta di più. Se ha quasi indovinato, aggiusta poco.

Questo processo viene ripetuto miliardi di volte, su miliardi di frasi. Poco a poco, il modello impara non solo le parole, ma anche la grammatica, il contesto, le relazioni tra concetti, lo stile di scrittura, e persino un certo grado di "ragionamento" (anche se il dibattito su cosa significhi è ancora aperto).

È come uno studente che fa milioni di esercizi: alla fine non ha memorizzato le risposte, ha capito i pattern.

Addestramento in tre fasi

I moderni modelli di linguaggio passano attraverso tre fasi di addestramento:

Fase 1 — Pre-training. Il modello legge enormi quantità di testo e impara a prevedere la parola successiva. Dopo questa fase sa scrivere testo coerente, ma non sa seguire istruzioni o essere utile. È come uno studente che ha letto tutta la biblioteca ma non ha mai fatto un esame.

Fase 2 — Instruction tuning. Il modello viene addestrato su esempi di conversazioni utili: domanda → risposta di qualità. Impara a seguire istruzioni, rispondere in modo pertinente e essere effettivamente utile. Lo studente ora sa come rispondere alle domande dell'esame.

Fase 3 — RLHF (Reinforcement Learning from Human Feedback). Degli umani valutano le risposte del modello ("questa risposta è migliore di quella") e il modello impara dalle loro preferenze. È come avere un tutor che ti corregge e ti guida verso risposte sempre migliori.

L'overfitting: studiare troppo e non capire niente

C'è un problema comune nell'addestramento: l'overfitting. Succede quando il modello impara troppo bene i dati di addestramento, al punto da memorizzarli invece di capirli.

L'analogia perfetta è lo studente che impara a memoria le risposte degli esami degli anni precedenti. Se gli fai la stessa domanda, risponde perfettamente. Ma se cambi leggermente la domanda, non sa cosa dire — non ha capito il concetto, ha solo memorizzato la risposta.

Un modello in overfitting funziona benissimo sui dati che ha già visto, ma fa disastri su dati nuovi. Per evitarlo, i ricercatori usano varie tecniche: testano il modello su dati che non ha mai visto durante l'addestramento, aggiungono del "rumore" casuale, limitano la complessità del modello.

L'equilibrio perfetto è un modello che ha imparato abbastanza da essere competente, ma non troppo da essere rigido. Come uno studente che capisce davvero la materia e sa adattarsi a domande nuove.

Il costo dell'addestramento

Addestrare un modello AI moderno è incredibilmente costoso.

Calcolo. Servono migliaia di GPU che lavorano per settimane o mesi. L'addestramento di GPT-4 è stimato intorno ai 100 milioni di dollari solo per il calcolo. I modelli più recenti costano ancora di più.

Energia. Un singolo addestramento può consumare l'energia equivalente a centinaia di case per un anno. È uno dei punti più controversi dell'AI: l'impatto ambientale è significativo.

Dati. Raccogliere, pulire e organizzare dataset di qualità richiede enormi sforzi umani. I dati non crescono sugli alberi — qualcuno deve etichettarli, verificarli, filtrarli.

Persone. Team di centinaia di ricercatori, ingegneri e annotatori lavorano per mesi su ogni modello.

Ecco perché poche aziende al mondo possono permettersi di addestrare modelli AI di frontiera: OpenAI, Anthropic, Google, Meta, Mistral e poche altre. È un gioco da miliardi di dollari.

Addestramento vs Inferenza

Due parole che sentirai spesso e che è importante distinguere.

Addestramento è quando il modello impara. Succede una volta (o poche volte), costa tantissimo, richiede enormi risorse. È come gli anni di studio all'università.

Inferenza è quando il modello usa quello che ha imparato per rispondere alle tue domande. Succede ogni volta che chatti con ChatGPT. Costa molto meno dell'addestramento, ma moltiplicato per milioni di utenti i costi sono comunque enormi. È come il laureato che usa la sua conoscenza al lavoro.

Quando usi ChatGPT, il modello non sta imparando dalla tua conversazione (nella maggior parte dei casi). Sta solo applicando quello che ha già imparato. Non migliora parlando con te — è "congelato" dopo l'addestramento.

In pratica 🎯

Prova Teachable Machine di Google. È gratis e funziona dal browser:

1. Scegli "Image Project"
2. Crea due classi (es. "Mano aperta" e "Pugno chiuso")
3. Per ogni classe, scatta 30-40 foto con la webcam
4. Clicca "Train Model"
5. Testa il modello in tempo reale

Hai appena addestrato un modello AI. Nota cosa succede se:

• Usi poche foto (il modello è incerto)
• Usi foto tutte uguali (overfitting — funziona solo in quella posizione esatta)
• Cambi la luce o lo sfondo (il modello si confonde se i dati di test sono diversi da quelli di addestramento)

Questo micro-esperimento ti dà un'idea concreta di come funzionano dataset, addestramento e overfitting.

Risorse correlate

• 📖 Glossario: Dataset, Modello, Parametri, Pre-training, Fine-tuning, RLHF, Overfitting, Inferenza, GPU
• 📄 Doc: ChatGPT (per capire il modello che usi), Claude
• 🔧 Tool: Teachable Machine