L’utilizzo di ChatGPT tra gli avvocati è ormai una pratica diffusa: sintesi di documenti, redazione di bozze, prima esplorazione di un tema. Ma quando l’AI deve entrare al centro del lavoro legale, sulla ricerca giurisprudenziale e sull’analisi del caso concreto, un modello generalista basta? E un’AI legale generica è davvero sufficiente? Il benchmark LegalITA di Aptus.AI Research, condotto su 107 casi reali di diritto italiano e 11 sistemi tra generalisti, legal-tech e Aptus.AI, offre la prima misurazione strutturata di cosa cambia tra queste tre categorie di strumenti, e su quali dimensioni la scelta ha implicazioni professionali dirette.
Indice
- Perché confrontare le AI legali sull’affidabilità, non sulle promesse
- ChatGPT vs AI legale specializzata e Aptus.AI: dove cambia il risultato
- Come confrontare gli strumenti in modo oggettivo: la scorecard
- Cosa rende credibile un confronto tra AI legali
- I risultati del confronto LegalITA e i risultati di Next-OS
- Checklist per confrontare le AI prima di un pilot
- Conclusione
- Domande frequenti
Perché confrontare le AI legali sull’affidabilità, non sulle promesse
Il mercato delle AI per il legale si sta popolando rapidamente. ChatGPT e i modelli generalisti da un lato, le AI legali verticali dall’altro, e infine piattaforme come Aptus.AI che combinano intelligenza di frontiera con un database normativo proprietario. Il rischio per chi deve scegliere è affidarsi alle promesse commerciali invece che ai dati misurabili. Per orientarsi serve un confronto strutturato, con dimensioni indipendenti e criteri espliciti.
Cosa sa fare (e non fare) un modello generalista come ChatGPT nel legale
ChatGPT si comporta bene su compiti di riformulazione, sintesi e prima esplorazione. Le difficoltà emergono quando la risposta deve poggiare su una fonte concreta. Uno studio di Stanford RegLab e Human-Centered AI Institute (Dahl et al., 2024) ha documentato che i modelli generalisti allucinano nelle query verificabili di case-law con tassi pari o superiori al 58%. Katz e colleghi (2024) hanno mostrato che GPT-4 supera l’esame di abilitazione americano: prova che la fluency legale c’è, ma la fluency non è la stessa cosa dell’ancoraggio verificabile a una fonte giurisprudenziale reale.
I tre assi del confronto: ragionamento, fonti, falsa sicurezza
Un confronto operativo tra AI legali si regge su tre capacità che possono divergere tra loro: il ragionamento giuridico (identificare i principi rilevanti e applicarli al caso), la capacità di citare fonti pertinenti che sostengano davvero la questione nell’orientamento corretto, e la capacità di fermarsi quando manca un elemento essenziale. Un sistema può essere forte su una dimensione e debole sulle altre. Questo vale tanto per i modelli generalisti quanto per le AI legali generiche, e proprio per questo una media unica nasconderebbe la differenza operativa. Il white paper LegalITA sull’AI legale misura ciascuna di queste dimensioni separatamente su 107 casi reali.
ChatGPT vs AI legale specializzata e Aptus.AI: dove cambia il risultato
Il benchmark LegalITA misura queste tre dimensioni su 107 casi reali di diritto italiano, con 67 quesiti giurisprudenziali aperti e 40 quesiti-trappola progettati per verificare l’astensione. Fonte: LegalITA, benchmark proprietario di Aptus.AI. Il confronto coinvolge 11 sistemi: modelli generalisti di frontiera, competitor legal-tech specializzati nel settore legale italiano e Next-OS di Aptus.AI. Sotto i tre assi i risultati mostrano tre livelli di prestazione distinti.
Ragionamento giuridico su casi reali
Sul ragionamento giuridico Next-OS di Aptus.AI supera integralmente l’85,1% dei quesiti. I modelli generalisti di frontiera si collocano tra il 71,6% e il 79,1%, con GPT-5.5 (il modello che alimenta le versioni più recenti di ChatGPT) al 76,1%. I competitor legal-tech specializzati si attestano in un intervallo simile, tra il 70,1% e il 76,1%. È il dato che sorprende meno: i modelli di frontiera hanno una competenza legale di base ormai molto alta, e il divario tra le tre categorie è misurato in punti percentuali, non in ordini di grandezza. Il problema, come mostra l’asse successivo, è altrove.
Esistenza e pertinenza delle fonti (allucinazioni di citazioni)
Qui il confronto si fa netto e il divario tra le tre categorie diventa operativamente rilevante. Next-OS fornisce almeno una citazione che copre effettivamente la questione giuridica nell’80,6% dei casi. I competitor legal-tech specializzati si distribuiscono tra il 17,9% e il 41,8%. I modelli generalisti crollano: i migliori si fermano al 3%, GPT-5.5 a zero citazioni pertinenti confermate. Uno studio di Stanford HAI (Magesh et al., 2025) ha documentato che anche i tool commerciali di legal research con architettura RAG allucinano tra il 17% e il 33% delle citazioni. Una citazione plausibile non è una citazione esistente, e una citazione esistente non è automaticamente pertinente all’orientamento richiesto. La distinzione ha effetti diretti sulla responsabilità professionale di chi firma l’atto. Se vuoi approfondire come funziona un’architettura RAG applicata al legale, vedi il nostro approfondimento sulla generative AI e il grounding delle risposte.
Capacità di fermarsi quando manca un documento (astensione)
Il test di Missing Document Detection valuta cosa succede quando il prompt chiede di analizzare un contratto o un avviso di accertamento che non è allegato. Next-OS si ferma e chiede il documento nell’85% dei casi. Tra i competitor legal-tech, i risultati variano enormemente: dal 67,5% del migliore al 2,5% del peggiore. I modelli generalisti restano bassi: GPT-5.5 e Gemini 3.5 Flash si fermano una volta su otto. L’errore ricorrente non è la disattenzione: il modello riconosce che il documento manca e formula comunque una strategia, come se lo avesse letto. È il rischio operativo meno visibile e il più pericoloso, e non basta etichettarsi come “AI legale” per esserne immuni.
Vigenza, gerarchia e aggiornamento delle fonti
Un’AI legale può definirsi specializzata, ma ciò che conta è come gestisce la gerarchia delle norme, la vigenza e i revirements giurisprudenziali (mutamenti di orientamento della Corte). Un modello generalista lavora su un knowledge cutoff statico. Un’AI legale generica può disporre di fonti aggiornate ma non necessariamente distinguere un orientamento consolidato da uno superato o da un contrasto ancora aperto. Next-OS di Aptus.AI traccia esplicitamente lo stato di ciascun orientamento giurisprudenziale e si appoggia su un database che copre oltre 200 autorità normative in 7 giurisdizioni, con aggiornamento quotidiano. Su una consulenza professionale, questa distinzione può cambiare la difendibilità della posizione presa.
Sicurezza, riservatezza e trattamento dei dati
Il tema della sicurezza è pratico e riguarda tutte e tre le categorie. Le versioni consumer dei modelli generalisti raramente offrono garanzie contrattuali adeguate. Le AI legali generiche variano: alcune offrono crittografia, altre non dichiarano policy chiare sul training dei dati. Aptus.AI applica una policy di no training sui dati dei clienti, crittografia AES-256 e TLS 1.2+, infrastruttura cloud UE con data residency confermata e certificazione ISO/IEC 27001:2022 verificata da terza parte indipendente. Per un professionista soggetto a segreto e a obblighi GDPR, la verifica delle policy di sicurezza non è un dettaglio ma un prerequisito contrattuale.
Come confrontare gli strumenti in modo oggettivo: la scorecard
Serve una scorecard che tenga separate le dimensioni. Riunire tutto in un punteggio unico è la strada più veloce per costruire un confronto che sembra rigoroso ma nasconde gli errori critici. Il benchmark LegalITA per esempio non fornisce un punteggio composito: pubblica tre metriche primarie separate, ciascuna con la sua soglia interpretativa.
Metriche minime e pesi
Ogni criterio ha bisogno di un test, di una metrica misurabile e di una soglia esplicita.
| Criterio | Test | Metrica | Soglia minima | Evidenza |
|---|---|---|---|---|
| Ragionamento | Quesiti aperti su casi reali | % di quesiti superati integralmente | ≥ 80% | Panel indipendente |
| Citazione pertinente | Verifica di corte, sezione, numero, anno, orientamento | % di risposte con almeno una fonte che regge | ≥ 60% | Ricerca sulle banche dati ufficiali |
| Astensione | Prompt con documenti dichiarati ma non allegati | % di risposte che si fermano e chiedono | ≥ 70% | Casi-trappola verificabili |
| Sicurezza | Policy contrattuale su training e residenza dati | Certificazione + DPA disponibile | ISO/IEC 27001:2022 | Audit di terza parte |
| Copertura fonti | Autorità e giurisprudenza rilevante | Autorità monitorate e frequenza di aggiornamento | Aggiornamento quotidiano | Documentazione pubblica |
Perché una media unica nasconde gli errori critici
Un sistema può essere al 90% sul ragionamento e al 5% sulla capacità di citare fonti pertinenti. La media aritmetica lo restituisce come sistema forte, ma per un avvocato che deve firmare un atto è un sistema pericoloso. Il rischio si annida nella dimensione più debole, non nella media: il confronto va costruito per dimensioni indipendenti, con soglie minime su ognuna. Questo vale sia per i modelli generalisti sia per le AI legali che si dichiarano specializzate.
Cosa rende credibile un confronto tra AI legali
Un confronto affidabile poggia su casi reali di diritto italiano, non su demo pilotate, e su una valutazione indipendente. Il benchmark LegalITA usa 107 casi reali, un panel di tre giudici automatici con protocollo di maggioranza adattiva e un accordo tra giudici misurato in κ = 0,836 su 1.477 giudizi validi. I limiti del metodo, compresa la dimensione del campione e la necessità di validazione umana stratificata, sono dichiarati esplicitamente nel white paper. Trasparenza sui limiti è il primo segnale di credibilità di un benchmark.
I risultati del confronto LegalITA e i risultati di Next-OS
I numeri principali del benchmark, utili come primo orientamento prima di un pilot interno:
- 107 casi reali di diritto italiano (67 giurisprudenziali + 40 quesiti-trappola)
- 17.000+ decisioni della Corte di Cassazione nel corpus sorgente
- 11 sistemi messi alla prova: modelli generalisti, competitor legal-tech specializzati e Next-OS
- 3 dimensioni indipendenti: ragionamento, grounding, missing document detection
- κ = 0,836 di accordo tra giudici indipendenti
Next-OS di Aptus.AI è l’unico sistema che supera la soglia dell’80% su tutte e tre le dimensioni: 85,1% sul ragionamento, 80,6% sulla copertura delle citazioni pertinenti, 85,0% sulla capacità di fermarsi quando mancano i documenti. I competitor legal-tech specializzati mostrano prestazioni intermedie, con punti di forza su singole dimensioni ma nessuno che raggiunga la stessa consistenza trasversale. I modelli generalisti confermano una fluency legale elevata ma un ancoraggio alle fonti vicino allo zero.
Fonte: LegalITA, benchmark proprietario di Aptus.AI.
Checklist per confrontare le AI prima di un pilot
Prima di adottare uno strumento, il metodo minimo da applicare è composto da sei passaggi verificabili.
- Selezionare 10-15 casi rappresentativi della pratica quotidiana (una memoria, una due diligence, una ricerca giurisprudenziale, un parere).
- Definire in anticipo cosa è una risposta accettabile per ciascun caso, criterio per criterio.
- Eseguire lo stesso set su ChatGPT, su un’AI legale generica e su Aptus.AI, senza adattare i prompt allo strumento.
- Far valutare le risposte da due professionisti indipendenti, con criteri espliciti.
- Verificare policy di sicurezza, DPA disponibile e residenza dei dati per ogni candidato.
- Misurare il tempo totale (generazione + verifica delle fonti), non solo la velocità apparente della risposta.
Il pilot interno è insostituibile: un benchmark pubblico orienta la scelta, non la sostituisce.
Conclusione
La scelta tra ChatGPT, un’AI legale generica e Aptus.AI non è un dilemma ideologico ma una decisione operativa. ChatGPT resta uno strumento utile ai margini del lavoro legale. Le AI legali generiche aggiungono un livello di specializzazione, ma con risultati molto variabili su fonti e astensione. Portare l’AI al centro del lavoro, sulla ricerca giurisprudenziale e sull’analisi del caso, richiede un’infrastruttura completa: database normativo verificabile, capacità di astensione misurata e sicurezza contrattuale. Il benchmark LegalITA mostra dove queste capacità stanno oggi, chi le ha e chi non le ha.
Ultimo aggiornamento: luglio 2026. Le informazioni presenti non costituiscono consulenza legale.
Domande frequenti
ChatGPT si può usare per il lavoro legale?
Sì, ma su compiti circoscritti: riformulazione di testi, sintesi di documenti già letti, prima esplorazione di un tema. Non è affidabile quando la risposta deve poggiare su una citazione giurisprudenziale verificabile o su un documento che non è stato caricato. Il rischio di allucinazione delle fonti resta significativo.
Perché Aptus.AI dovrebbe essere più affidabile di ChatGPT o di un’AI legale generica?
Perché combina un modello di ragionamento di frontiera con un database giurisprudenziale proprietario strutturato, con verifica delle citazioni e regole esplicite di astensione. Il benchmark LegalITA mostra che sulla capacità di fornire almeno una citazione pertinente lo scarto tra Next-OS e i migliori modelli generalisti è di oltre 77 punti percentuali, e il distacco dai competitor legal-tech specializzati arriva fino a 39 punti.
Come si confrontano due AI legali in modo oggettivo?
Con una scorecard che misura ragionamento, fonti e astensione separatamente, su casi reali della propria pratica, con una valutazione umana indipendente e criteri espliciti definiti prima del test. La media unica va evitata: nasconde gli errori critici sulla dimensione più debole.
Una citazione esistente è automaticamente corretta?
No. Una citazione può essere autentica ma mal risolta (corte, sezione, numero, anno inesatti), oppure autentica ma pertinente a un altro orientamento. Nei sistemi giuridici italiani un revirement o un contrasto giurisprudenziale attivo cambiano il valore di una stessa sentenza rispetto alla questione.
Perché conta che un’AI sappia dire “non lo so”?
Perché il lavoro legale reale è pieno di casi con documenti incompleti o non ancora disponibili. Un sistema che formula una strategia su documenti che non ha letto genera un rischio professionale non gestibile. L’astensione è una capacità operativa, non una limitazione. Il benchmark LegalITA mostra che anche alcune AI legali specializzate falliscono su questa dimensione nel 97,5% dei casi.
Un benchmark sostituisce il pilot interno?
No. Un benchmark orienta la scelta e mette a fuoco le dimensioni da valutare; il pilot interno la conferma sulla propria pratica quotidiana, con i casi che effettivamente si vedono in studio o in azienda.
