Come "Impara" un Modello Linguistico di Grandi Dimensioni (LLM)?

Immaginate uno studente incredibilmente curioso a cui viene data accesso all'intera biblioteca digitale del mondo (Internet, libri digitalizzati, articoli...). Lo studente non riceve compiti specifici, ma un unico obiettivo: leggere tutto e capire come funziona la lingua.

In questa fase, l'LLM "legge" miliardi di pagine di testo. Non gli diciamo cosa è giusto o sbagliato, ma impara pattern, grammatica, fatti, stili di scrittura, e persino capacità di ragionamento, semplicemente osservando come le parole sono usate insieme in contesti diversi. È come imparare la struttura di una lingua assorbendo un'enorme quantità di esempi reali.

Ora, il nostro studente molto colto ma generico deve prepararsi per compiti specifici. Immaginate un insegnante che fornisce esercizi mirati con domande e risposte corrette. "Se ti chiedo la capitale della Francia, rispondi Parigi". "Traduci questa frase dall'inglese all'italiano".

In questa fase, l'LLM viene addestrato su un set di dati più piccolo e di alta qualità, composto da coppie di input-output desiderati (esempi di domande e risposte corrette, istruzioni e completamenti appropriati). L'obiettivo è specializzare il modello per eseguire compiti specifici (rispondere a domande, tradurre, riassumere, scrivere codice...) in modo accurato, seguendo le istruzioni.

Il nostro studente ora sa molte cose e sa svolgere compiti, ma potrebbe non essere sempre utile, onesto o innocuo nelle sue risposte. Deve imparare a interagire nel modo "giusto". Immaginate dei revisori (come docenti che valutano un tema) che confrontano diverse risposte possibili date dallo studente e indicano quale preferiscono, spiegando magari perché una è migliore (più chiara, più sicura, più educata).

In questa fase (spesso chiamata RLHF - Reinforcement Learning from Human Feedback), il modello genera diverse risposte a una stessa richiesta. Gli umani valutano queste risposte, classificandole dalla migliore alla peggiore. Questi giudizi vengono usati per addestrare un altro modello (il "reward model") che impara a prevedere quale risposta gli umani preferirebbero. Infine, l'LLM principale viene ulteriormente ottimizzato usando l'apprendimento per rinforzo per generare risposte che massimizzino il "punteggio di preferenza" previsto dal reward model. L'obiettivo è rendere l'LLM più utile, veritiero e sicuro.