🎧 Prima di iniziare Giorgia — Tu mi porti su

La macchina del caffè ha deciso di non collaborare. Una spia lampeggia, il caffè non esce e tu non hai la minima idea di cosa significhi quel segnale. Il manuale è probabilmente finito in qualche cassetto, ma sul sito del produttore trovi la versione PDF.

Novantasei pagine.

Potresti cercare la sezione dedicata alle spie luminose, individuare il tuo modello e capire quale procedura seguire. Oppure potresti caricare il manuale su ChatGPT e chiedere:

«La spia rossa lampeggia tre volte e poi si spegne. Che cosa devo fare?».

Se tutto funziona come dovrebbe, ChatGPT cerca le informazioni nel documento e ti spiega come risolvere il problema, magari indicandoti anche la pagina del manuale da consultare.

È un utilizzo piuttosto interessante dell’intelligenza artificiale. Non hai bisogno che conosca già il funzionamento della tua macchina del caffè. Ti basta che sappia leggere le istruzioni e trovare quelle che ti servono.

Ma che cosa succede davvero quando gli affidi un documento?

E soprattutto, se è così semplice, perché si parla tanto di una tecnologia chiamata RAG? Quando basta allegare un PDF Partiamo dal caso più semplice.

Hai un documento e vuoi chiedere qualcosa sul suo contenuto. Può essere un manuale, una relazione, un articolo scientifico oppure un contratto.

Molti servizi di intelligenza artificiale permettono di caricare direttamente un file e fare domande.

Il sistema può utilizzare il contenuto del documento per rispondere. Non deve necessariamente conoscere quelle informazioni in anticipo: gliele stai fornendo tu.

Per documenti relativamente brevi, può essere sufficiente mettere il testo direttamente a disposizione del modello. È un po’ come consegnare a qualcuno un fascicolo e chiedergli di leggerlo prima di rispondere.

Questa possibilità dipende anche da una caratteristica dei modelli linguistici chiamata finestra di contesto: la quantità di informazioni che riescono a considerare durante una conversazione.

Più è ampia, più testo possono utilizzare contemporaneamente. Ma non è infinita e, soprattutto, poter inserire molte pagine non garantisce che ogni dettaglio venga interpretato correttamente.

Per il manuale della macchina del caffè, comunque, potrebbe bastare.

Immagina però di avere cento manuali, magari di dispositivi differenti. Oppure una cartella con anni di documenti di lavoro, relazioni, procedure e verbali.

Vuoi poter fare domande su tutto questo materiale, senza scegliere ogni volta quali file caricare.

A quel punto diventa utile un approccio diverso. Prima cercare, poi rispondere Pensa a una biblioteca.

Quando chiedi un’informazione al bibliotecario, non ti aspetti che abbia memorizzato ogni pagina di tutti i libri presenti sugli scaffali.

Ti aspetti che sappia trovare il libro giusto, individuare il passaggio che ti interessa e aiutarti a comprenderlo.

L’idea alla base della RAG è abbastanza simile.

Il nome completo è Retrieval-Augmented Generation, che possiamo tradurre come generazione aumentata dal recupero di informazioni.

Il principio è questo: prima di formulare una risposta, il sistema cerca informazioni pertinenti in una raccolta di documenti e le fornisce al modello linguistico.

Il processo, semplificando, funziona così.

I documenti vengono preparati per la ricerca, spesso dividendoli in porzioni più piccole. Questi frammenti sono organizzati in un archivio che permette di recuperarli rapidamente.

Quando fai una domanda, il sistema cerca i passaggi che potrebbero contenere la risposta.

Non necessariamente cerca soltanto le parole esatte che hai scritto.

Se chiedi «Come faccio quando la macchina segnala che è ora di pulirla?», può individuare un paragrafo intitolato «Procedura di decalcificazione», anche se nella domanda non hai utilizzato quella parola.

Questo è possibile grazie alla ricerca semantica, che cerca corrispondenze tra i significati e non soltanto tra le parole. Per farlo, molti sistemi trasformano i testi in rappresentazioni numeriche, chiamate embedding, che aiutano a confrontarne la somiglianza.

Una volta individuati i passaggi più pertinenti, il sistema li mette a disposizione del modello, che li utilizza per costruire la risposta.

La parte importante è proprio questa: il modello non deve imparare tutto il contenuto dei documenti. Può consultare le informazioni che gli servono quando riceve una domanda.

E se domani aggiungi un nuovo manuale o aggiorni una procedura, puoi rendere ricercabili anche quelle informazioni senza dover addestrare nuovamente il modello. Ma allora ChatGPT con un PDF è già una RAG? Dipende da come viene gestito il documento.

Se carichi un file e il suo contenuto viene inserito direttamente nel contesto della conversazione, stai semplicemente fornendo al modello altre informazioni su cui lavorare.

Se invece il sistema indicizza i documenti, cerca al momento della domanda i passaggi pertinenti e li recupera per generare la risposta, sta utilizzando un meccanismo RAG.

La differenza non è sempre visibile.

Alcuni servizi possono combinare i due approcci o scegliere automaticamente come elaborare i file. Per questo, dall’esterno, non possiamo stabilire che uno strumento utilizzi una RAG soltanto perché permette di allegare documenti.

E non è neppure necessario costruire un sistema RAG per ogni esigenza.

Se vuoi capire una clausola di un singolo contratto, allegarlo e fare una domanda può essere la soluzione più semplice.

Se invece devi consultare ripetutamente centinaia di documenti, magari aggiornati con frequenza, avere un archivio organizzato per la ricerca diventa molto più interessante.

Naturalmente qualcuno dovrà prepararlo, mantenerlo aggiornato e controllare che contenga le informazioni corrette. La risposta può essere sbagliata anche con i documenti giusti Torniamo alla nostra macchina del caffè.

Hai caricato il manuale, il sistema ha individuato le istruzioni e ti suggerisce di avviare il ciclo di decalcificazione.

Sembra tutto risolto.

Poi ti accorgi che nella cartella erano presenti due manuali: quello del tuo modello e quello di una versione precedente, con una procedura leggermente diversa.

Il sistema potrebbe aver trovato un passaggio perfettamente pertinente, ma nel documento sbagliato.

Oppure potrebbe aver recuperato soltanto una parte delle istruzioni, tralasciando una condizione importante riportata nella pagina successiva.

Sono due esempi dei problemi che possono verificarsi in un sistema RAG.

Il primo riguarda il recupero delle informazioni: se vengono selezionati i passaggi sbagliati, il modello parte da materiale poco affidabile.

Il secondo riguarda la generazione della risposta: anche quando le informazioni recuperate sono corrette, il modello può interpretarle male, omettere dettagli oppure aggiungere conclusioni che i documenti non giustificano.

Abbiamo già incontrato questo problema parlando delle allucinazioni dell’intelligenza artificiale. La RAG può ridurne alcune cause, perché mette a disposizione informazioni pertinenti, ma non le elimina.

C’è però un vantaggio importante.

Un sistema ben progettato può indicarti da quale documento, e possibilmente da quale passaggio, provengono le informazioni utilizzate.

Non significa che la risposta sia automaticamente corretta. Significa che hai la possibilità di controllarla.

E tra una risposta plausibile e una risposta che puoi verificare c’è una bella differenza. Una prova che puoi fare anche senza sapere nulla di RAG Per cominciare, scegli un manuale pubblico con testo leggibile, evitando documenti personali o riservati. Meglio ancora se lo hai già consultato: avrai qualche elemento per valutare la risposta.

Caricalo e fai una domanda concreta, aggiungendo questa richiesta: Usa il documento allegato per rispondere. Indicami la sezione e riporta un breve passaggio che sostenga la risposta. Se non trovi l’informazione, o il testo è ambiguo, segnalalo senza completare ciò che manca con supposizioni.

Chiedi prima qualcosa di cui conosci la risposta. Controlla sia la spiegazione sia il brano indicato: appartiene davvero al documento? Dice quello che l’IA gli attribuisce?

Poi prova con una domanda a cui il manuale non risponde. Per esempio, potresti chiedere quanto costa riparare la macchina, dopo aver verificato che non contiene un listino. Osserva se il sistema riconosce il limite oppure propone comunque una cifra.

Questa prova non basta a stabilire quanto sia affidabile in ogni situazione. Ti permette però di vedere come si comporta quando le informazioni ci sono e quando mancano.

Il punto, alla fine, è capire se ti ha aiutato a trovare qualcosa che altrimenti avresti faticato a cercare, lasciandoti la possibilità di controllarlo.

La prossima volta che apri un PDF per cercare una risposta, prova a fare questo piccolo confronto: chiedilo all’IA, poi vai al passaggio che ti indica. Guarda che cosa ha trovato e che cosa, eventualmente, ha lasciato fuori.

Magari scoprirai che per far ripartire la macchina del caffè bastavano poche righe. Quelle giuste.

Potresti scoprire che hai trovato in pochi secondi un’informazione che avresti impiegato diversi minuti a cercare. Oppure che la risposta, pur sembrando convincente, contiene un errore.

In entrambi i casi avrai fatto una prova utile. Perché il modo migliore per capire quanto possiamo fidarci di questi strumenti è cominciare a usarli su qualcosa che siamo ancora in grado di verificare da soli.

E magari, nel frattempo, riuscirai anche a far ripartire quella macchina del caffè. Fonti e approfondimenti

  • Lewis e altri (2020) – Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. Il lavoro scientifico che ha introdotto il modello RAG.
  • OpenAI – Retrieval. La documentazione tecnica sulla ricerca semantica nei documenti.
  • Google Cloud – What is Retrieval-Augmented Generation?. Una panoramica del funzionamento e dei limiti della RAG.