🎧 Prima di iniziare
Pinguini Tattici Nucleari — Ringo Starr

Hai chiesto a ChatGPT di sistemare un testo e il risultato ti sembra buono.

Poi leggi da qualche parte che Claude scrive meglio. Poco dopo trovi qualcuno che sostiene che Gemini sia più efficace. Apri un confronto tra modelli e scopri una tabella piena di nomi, numeri e percentuali.

A quel punto una domanda abbastanza semplice rischia di diventare complicata:

sto usando l’intelligenza artificiale giusta?

Sarebbe comodo che esistesse una risposta certa. Il problema è che probabilmente sarebbe una delle risposte meno utili che potrei darti.

Prima bisogna capire che cosa stiamo confrontando

Quando diciamo ChatGPT, Claude o Gemini tendiamo a mettere tutto nello stesso calderone.

In realtà stiamo usando dei servizi che possono mettere a disposizione modelli differenti e aggiungere altri strumenti intorno a quei modelli.

Il modello è la parte che riceve quello che scrivi e genera la risposta. Il servizio può aggiungere la ricerca sul web, la possibilità di lavorare sui documenti, generare immagini, ricordare informazioni o utilizzare altri strumenti.

Per usare un chatbot non hai bisogno di conoscere tutti questi dettagli. Una distinzione, però, è utile: la qualità di quello che ottieni non dipende soltanto da quanto è capace il modello.

Se vuoi sapere quali concerti ci saranno a Torino il mese prossimo, conta molto la possibilità di recuperare informazioni aggiornate.

Se vuoi migliorare una lettera che hai già scritto, probabilmente quella funzione conta pochissimo.

Se devi analizzare cinquanta pagine di documenti, entrano in gioco ancora altre capacità.

La stessa intelligenza artificiale può quindi sembrarti ottima in un’occasione e deludente in quella successiva, semplicemente perché le hai chiesto di fare due lavori diversi.

E i benchmark?

Per confrontare i modelli esistono prove chiamate benchmark.

Sono test nei quali i modelli vengono sottoposti agli stessi problemi di matematica, programmazione, ragionamento, comprensione dei testi o altre attività. Servono a rendere il confronto meno dipendente dal classico «a me sembra che questo sia più bravo».

Sono utili. Ma bisogna capire che cosa questi test ci dicono davvero.

Un modello può ottenere risultati eccellenti in una prova di programmazione e non essere quello che preferisci quando devi riscrivere una mail senza farla sembrare scritta dall’ufficio legale.

Oppure può risolvere più problemi matematici, ma essere meno comodo quando lavori ogni giorno sui tuoi documenti.

C’è anche un’altra difficoltà: i modelli cambiano rapidamente. Quello che oggi occupa le prime posizioni in un confronto tra qualche mese potrebbe avere un altro nome o essere stato sostituito da una nuova versione.

Questo non rende inutili i benchmark. Significa semplicemente che non possono indicarti quale strumento sia migliore per te.

La domanda allora diventa meno elegante, ma più utile:

migliore per fare che cosa?

Un esperimento molto meno scientifico, ma più utile

Puoi provare a rispondere usando qualcosa che fai davvero.

Prendi una mail che devi rendere più chiara. Un testo che vuoi accorciare. Un documento di cui conosci bene il contenuto. Una spiegazione che vuoi rendere comprensibile a qualcuno che non conosce l’argomento.

Poi fai la stessa richiesta a due strumenti.

Potresti ricevere due risposte entrambe sensate, ma diverse.

Una potrebbe seguire meglio il tono che avevi chiesto. L’altra essere più sintetica. Una potrebbe sembrare particolarmente elegante, ma cambiare leggermente quello che volevi dire.

Immagina di aver scritto:

«Potremmo incontrarci venerdì.»

Nella riscrittura trovi:

«Ti confermo l’incontro di venerdì.»

La frase è chiara, forse persino migliore dal punto di vista stilistico. Peccato che abbia trasformato una possibilità in un appuntamento confermato.

A quel punto il criterio interessante non è quale risposta sembri più brillante.

È molto più concreto:

quanto lavoro resta a te dopo che l’intelligenza artificiale ha fatto la sua parte?

Quale testo avresti effettivamente usato? Quanto devi correggerlo? Quando chiedi una modifica, lo strumento capisce quello che vuoi oppure devi ricominciare a spiegarti?

Una singola prova non basta per dichiarare un vincitore. Ma se usi spesso l’intelligenza artificiale per un certo tipo di attività, dopo qualche confronto inizi a capire con quale strumento lavori meglio.

Il problema della risposta che sembra migliore

C’è però una difficoltà.

Nel precedente articolo abbiamo visto che ChatGPT può inventare un libro inesistente e descriverlo in maniera perfettamente convincente.

Lo stesso problema si presenta quando confrontiamo due modelli.

Immagina di chiedere una spiegazione di un argomento storico che conosci poco. Il primo modello risponde in modo prudente e un po’ asciutto. Il secondo aggiunge date, nomi, dettagli e sembra molto più sicuro di quello che dice.

Potresti preferire il secondo.

Finché non scopri che uno di quei particolari non è mai esistito.

Quando giudichi la riscrittura di una tua mail, conosci il materiale di partenza e puoi accorgerti abbastanza facilmente se qualcosa è cambiato. Quando chiedi informazioni che non possiedi, la qualità apparente della risposta non basta.

Il modello migliore non elimina quindi il problema che abbiamo visto nell’articolo precedente: se un’informazione è importante, bisogna comunque capire da dove arriva e verificarla.

Più potente non significa sempre più utile

C’è poi un’altra tentazione: scegliere sempre il modello più sofisticato disponibile.

Per alcuni lavori ha senso. Ma non tutti i compiti richiedono lo stesso sforzo.

Se devi correggere un refuso, riassumere una mail o cambiare il tono di tre righe, usare un modello pensato per affrontare ragionamenti molto complessi potrebbe non darti alcun vantaggio percepibile. Potrebbe semplicemente impiegare più tempo.

È un po’ come aprire Photoshop per ritagliare una fotografia. Puoi farlo, naturalmente. Ma non è la potenza dello strumento a rendere più semplice il lavoro.

Con l’intelligenza artificiale contano anche la velocità, il costo, le funzioni disponibili e quanto facilmente lo strumento entra nel tuo modo di lavorare.

Quest’ultimo aspetto è difficile da misurare, ma pesa parecchio.

Un modello con cui hai imparato a lavorare bene può essere più utile, per te, di uno teoricamente più capace che richiede ogni volta più correzioni o più passaggi.

Devo quindi usare ChatGPT, Claude o Gemini?

Se quello che utilizzi oggi funziona bene per la maggior parte delle cose che fai, continuerei a usarlo.

Non perché sia necessariamente il migliore, ma perché cambiare strumento ogni volta che qualcuno ne annuncia uno nuovo rischia di diventare un lavoro a sua volta.

Proverei un’alternativa quando compare un limite concreto.

ChatGPT continua a darti testi troppo formali anche dopo che gli hai chiesto di cambiare tono? Prova la stessa richiesta con un altro modello.

Un documento viene riassunto male? Fai un confronto.

Un problema di programmazione continua a produrre correzioni che non funzionano? Una seconda risposta può essere utile.

A volte il vantaggio di avere a disposizione strumenti diversi non sta nel trovare il vincitore, ma semplicemente nell’avere una seconda opinione.

A quel punto il confronto ha uno scopo. Non stai cercando l’intelligenza artificiale migliore. Stai cercando quella che, per il lavoro che hai davanti, ti aiuta di più.

E potresti scoprire che la risposta cambia a seconda del lavoro.

Forse è proprio questo il passaggio interessante: dopo aver imparato a scrivere una richiesta migliore e ad accorgerci quando una risposta può essere sbagliata, possiamo iniziare a chiederci qualcosa di diverso.

Quale parte del lavoro vogliamo davvero affidare all’intelligenza artificiale, e quale vogliamo continuare a fare noi?

È da qui che partiremo la prossima volta.