Generare contenuti umani grazie all’Intelligenza Artificiale: ecco lo stato dell’arte
Esiste qualcosa di più tipicamente umano della scrittura? Beh, forse non è più così. Noi di Aptus.AI abbiamo sempre seguito gli sviluppi nel campo della generazione di testi, fin dall’inizio del nostro lavoro. Soprattutto per quanto riguarda la generazione di testi – o meglio: di contenuti – da parte dell’Intelligenza Artificiale, dato che GPT-3.5 va ben oltre i semplici testi. Ma facciamo un passo indietro. Sono passati più di due anni da quando abbiamo pubblicato il nostro post su Geppetto, il primo sistema di generazione di testo in lingua italiana (basato sul modello GPT-2), sviluppato da noi di Aptus.AI, in collaborazione con la Fondazione Bruno Kessler, l’Università di Groningen e l’ILC-CNR. Questa Intelligenza Artificiale scrive in italiano proprio come un essere umano, partendo da un prompt come input. In ogni caso, Geppetto – e GPT-2 – rappresenta ormai il passato, dato che Open AI ha già rilasciato GPT-3 e GTP-3.5… in attesa di scoprire GPT-4.
Da GPT-2 a GPT-3.5: i numeri del modello di generazione di testo più potente di sempre
Chiariamo subito cos’è GPT. Innanzitutto, “GPT” è un acronimo che significa “Generative Pre-trained Transformer”, e che quindi designa un modello di generazione di testo basato sugli AI Transformers, ovvero una tipologia di modelli di Machine Learning che presentiamo in un post dedicato. La complessità di questi modelli si misura in termini di parametri e GPT-3 ne conta ben 175 miliardi (mentre GPT-2 ne aveva 1,5 miliardi), richiedendo 800 GB di memoria. Questo incremento del numero di parametri ha contribuito a risolvere alcune limitazioni del precedente modello, rilasciato sempre da Open AI, società di San Francisco, il quale era già in grado di generare testi convincenti in stili diversi, ma nulla in confronto a GPT-3.5. Quest’ultima versione del modello porta il NLP a un nuovo livello, aprendo addirittura a speculazioni sulla possibilità di sostituire l’essere umano nella generazione di contenuti. E non solo di “semplici” frasi o paragrafi scritti in linguaggio naturale. Sì, perché il nuovo modello di Open AI è in grado di creare contenuti in molti linguaggi diversi, compresi spartiti musicali o codici informatici, come l’HTML.
Una panoramica sulle impressionanti prestazioni di GPT-3.5… in attesa di GPT-4
Inoltre, la qualità del testo generato da GPT-3.5 è così alta che può risultare difficile capire se sia stato scritto da un essere umano o meno, presentando sia vantaggi che rischi. I vantaggi sono abbastanza evidenti, mentre il rischio principale è quello di non riuscire a riconoscere quando il modello commette errori. Può quindi essere pericoloso affidarsi completamente ai contenuti da esso generati. In ogni caso, nel campo del Natural Language Processing, GPT-3.5 è ritenuto il modello linguistico più potente in assoluto. Davvero impressionante, è innegabile. E GPT-3.5 non è un punto di arrivo, ma di partenza. Infatti, tutti gli esperti nel campo dell’AI attendono GPT-4, che potrebbe arrivare già nel prossimo futuro. Per ora, è possibile provare GPT-3.5, già utilizzato in ChatGPT, un chatbot generico in grado di affrontare diversi argomenti e addestrato su un mix di testo e codice pubblicati prima della fine del 2021. I contenuti generati da GPT-3.5 sono davvero sorprendenti in termini di somiglianza con quelli umani, se confrontati con quelli di GPT-2, e sarebbero ancora più sorprendenti se il modello fosse collegato al web e non basato “soltanto” sui dataset di addestramento. In ogni caso, se i prompt sono impostati correttamente, GPT-3.5 è in grado di creare contenuti molto significativi – ma solo a certe condizioni, come vedremo tra qualche riga -, di risolvere anche problemi informatici e, come abbiamo detto, di generare codice.
Una Generative AI efficace si fonda su un solido formato machine readable
In Aptus.AI seguiamo con la massima attenzione tutte le evoluzioni tecnologiche nel settore dell’Intelligenza Artificiale, dato che da anni lavoriamo per migliorare l’accuratezza dei nostri sistemi di NLP. Come dimostra il nostro lavoro con Geppetto, siamo in grado di sfruttare al meglio questo tipo di modelli di generazione di testo. E stiamo già integrando GPT-3.5 nella nostra piattaforma RegTech. Siamo al lavoro affinché il nostro SaaS sfrutti questa tecnologia all’avanguardia all’interno del servizio di alerting normativo, generando abstract automatici relativi a ogni aggiornamento normativo emesso dalle autorità bancarie. Non solo. Il nostro obiettivo è utilizzare GPT-3.5 per creare un’analisi d’impatto generica, basata sul gap tra i processi e le politiche interni di un istituto finanziario e gli obblighi introdotti da una specifico cambiamento normativo. Stiamo quindi lavorando per affinare il modello così da sfruttare la potenza di GPT-3.5 per tre diversi casi d’uso:
- abstract dei cambiamenti normativi;
- generatore dei rischi di non conformità;
- generatore di bozze di policy interne.
I primi risultati degli esperimenti condotti evidenziano già il potenziale di questo approccio, anche se l’applicazione delle tecnologie di Generative AI è ancora agli albori e presenta molti problemi – come il copyright, la sicurezza e i costi – che devono essere affrontati. In ogni caso, uno degli elementi principali da considerare in questa attività è, come abbiamo già sottolineato, la qualità del prompt. Le funzionalità della nostra soluzione si basano infatti su un formato elettronico machine readable generato dalla nostra tecnologia proprietaria di Intelligenza Artificiale, che abilita una lettura automatica della normativa e l’identificazione dei cambiamenti tra le diverse versioni della stessa normativa, utilizzando questi ultimi come input per il modello di generazione del testo. Quest’ultimo utilizza poi come prompt esclusivamente il delta dei cambiamenti normativi, ovvero un contenuto pre-analizzato. Come abbiamo detto, infatti, il rischio principale rispetto a GPT-3.5 è che risulta molto difficile capire quando il modello commette un errore. Ma, all’interno della piattaforma, questo rischio è scongiurato dalla pre-analisi resa possibile dal nostro innovativo formato machine readable. Dunque, grazie a modelli così avanzati di Generative AI, potremo fare un passo avanti nel nostro processo a supporto dei professionisti della compliance e del Risk Management, rivoluzionando così la gestione dei cambiamenti normativi, per rendere questa attività un processo che genera ricavi, anziché una mera fonte di costi.