Nell’AI giuridica, una risposta fluente non è necessariamente una risposta affidabile.
Un modello può produrre un testo convincente e apparentemente ben fondato pur poggiando sulla disposizione sbagliata, trascurando un’eccezione o introducendo un dettaglio che la norma non supporta. Nelle applicazioni che trattano materia legislativa e regolamentare, la qualità della risposta dipende quindi da qualcosa di più del modello linguistico che la genera.
Un sistema deve anzitutto individuare le fonti corrette e tenere conto del modo in cui la normativa è strutturata e interconnessa. Una volta generata la risposta, le affermazioni che contiene devono inoltre essere riconducibili al testo normativo che le supporta.
Due recenti progetti di ricerca di Aptus.AI affrontano aspetti diversi di questo problema. Il primo, JuriFindIT[1], pubblicato nei Findings di EACL 2026[2], si concentra sul reperimento delle disposizioni rilevanti all’interno della legislazione italiana. Uno studio successivo, che verrà presentato a breve a EMNLP 2027[3], prosegue lungo la stessa direttrice, passando dall’individuazione delle disposizioni corrette alla generazione di risposte sorrette da un’evidenza testuale esplicita.
Insieme, i due progetti esplorano una prospettiva più ampia per l’AI giuridica: costruire sistemi in cui il percorso che porta da una domanda al suo fondamento normativo possa essere esaminato, invece di concentrarsi esclusivamente sulla qualità della risposta generata.
Trovare la norma giusta viene prima di tutto
Il reperimento delle norme non si riduce a individuare la disposizione la cui formulazione è più vicina a quella della domanda. La soluzione di una questione giuridica può dipendere da più disposizioni. Un articolo può poggiare su definizioni introdotte altrove, contenere rinvii ad altre norme o inserirsi in un impianto normativo più ampio che ne condiziona l’interpretazione. Le informazioni rilevanti possono dunque essere distribuite tra documenti testualmente distanti ma giuridicamente collegati.
JuriFindIT nasce come benchmark per studiare questo problema nel diritto italiano. Copre diritto civile, diritto penale, antiriciclaggio e contrasto al finanziamento del terrorismo, e privacy, combinando oltre 23.000 articoli di legge con domande redatte e annotate da esperti del settore.
Un aspetto distintivo del dataset è che le disposizioni normative non sono rappresentate soltanto come frammenti di testo indipendenti. Vengono codificati anche i rinvii tra articoli e l’organizzazione gerarchica dei documenti normativi, rendendo possibile lo studio di metodi di retrieval che tengano conto di queste relazioni. Gli esperimenti condotti con JuriFindIT dimostrano che i modelli addestrati specificamente per il reperimento normativo migliorano l’identificazione della legislazione rilevante, e che le informazioni sulla struttura del corpus giuridico forniscono un segnale aggiuntivo.
Questa prima fase ha conseguenze sull’intero sistema. Il materiale selezionato dal retriever definisce ciò che i componenti successivi potranno utilizzare come evidenza: una disposizione rilevante che sfugga in questa fase rischia di non entrare mai nel processo di ragionamento.
Dagli articoli rilevanti all’evidenza testuale
Individuare l’articolo corretto è ancora cosa diversa dall’identificare il fondamento normativo di una risposta specifica.
Una disposizione può essere lunga, mentre solo un comma o una lettera contenute in essa potrebbero essere pertinenti alla questione in esame. Nei casi più complessi, la risposta dipende da più passaggi distribuiti tra fonti diverse. Abbiamo quindi esteso JuriFindIT a questo livello più granulare di informazione: le domande redatte dagli esperti sono affiancate da risposte scritte dagli specialisti legali di Aptus.AI e da annotazioni che identificano i passaggi normativi specifici a sostegno di tali risposte. L’evidenza può corrispondere a commi, lettere, periodi o porzioni di testo ancora più circoscritte, e non necessariamente a interi articoli. Il problema si sposta così dalla rilevanza del documento all’ancoraggio all’evidenza: invece di sapere soltanto che una certa disposizione è collegata a una domanda, la nostra risorsa linguistica identifica quali parti di quella disposizione costituiscono il fondamento della risposta.
Per l’uso professionale, la distinzione è tutt’altro che secondaria. Un elenco di documenti rilevanti può supportare la ricerca; un collegamento diretto tra un’affermazione e il passaggio che la sorregge rende il risultato molto più facile da verificare.
Le annotazioni mettono in luce anche differenze sostanziali tra ambiti del diritto. Nel dataset, le domande di diritto civile e penale poggiano spesso su un’evidenza relativamente compatta. Le domande in materia di privacy e antiriciclaggio tendono invece a richiedere un insieme di disposizioni più ampio e frammentato, che talvolta combina definizioni, obblighi, eccezioni e adempimenti procedurali. Il question answering giuridico non è dunque un compito uniforme: la difficoltà varia in modo considerevole a seconda di come l’informazione normativa rilevante è distribuita.
Aggiungere la verifica alla generazione
Una volta reperito il materiale rilevante, un modello linguistico può generare una risposta a partire da esso. L’accesso alle fonti corrette, tuttavia, non garantisce che ogni affermazione contenuta nell’output sia effettivamente supportata.
Le risposte generate possono aggiungere dettagli assenti dalla normativa fornita, trascurare precisazioni o accostare conclusioni corrette ad affermazioni secondarie prive di fondamento. Il secondo studio introduce quindi una fase di verifica: un componente AI distinto esamina la risposta generata alla luce del materiale normativo reperito, controllandone le affermazioni sotto il profilo del fondamento e della coerenza. Quando emergono criticità, il suo feedback viene utilizzato per rivedere la risposta.
La valutazione degli esperti indica che questo tipo di revisione basata sull’evidenza può migliorare la qualità delle risposte. Allo stesso tempo, gli esperimenti riportati nel nostro lavoro mettono in luce una dipendenza netta: quando la fase di reperimento non riesce a fornire le disposizioni rilevanti, il processo di verifica perde il proprio fondamento e può addirittura portare a revisioni peggiorative. È un limite importante per meccanismi di ragionamento e autocorrezione sempre più elaborati: possono migliorare il modo in cui l’evidenza disponibile viene utilizzata, ma non possono sostituire in modo affidabile l’evidenza mancante.
Reperimento, generazione e verifica vanno perciò intesi come parti connesse di uno stesso sistema, più che come capacità indipendenti.
La parte difficile: individuare con precisione l’evidenza
I nostri studi verificano anche se i modelli siano in grado di identificare i passaggi esatti a sostegno di una risposta. Si tratta di un compito notevolmente più arduo rispetto al reperimento di documenti genericamente pertinenti. Un modello può individuare correttamente l’articolo applicabile e selezionare comunque passaggi troppo ampi, incompleti o solo indirettamente collegati alla conclusione. I modelli più capaci ottengono risultati migliori nell’estrazione dell’evidenza, ma il margine di miglioramento resta ampio.
La distinzione è particolarmente rilevante nel lavoro giuridico e regolamentare. Collegare una risposta a un lungo regolamento è utile; indicare il comma che stabilisce l’obbligo, l’eccezione o la condizione pertinente è molto più utile a chi deve verificare il risultato.
La verifica automatica mostra un andamento analogo. I modelli AI sono già in grado di fornire valutazioni significative sul contenuto giuridico centrale di una risposta, mentre i dettagli secondari e le precisazioni restano più difficili da valutare in modo costante.
Questi limiti aiutano a definire i prossimi passi: non limitarsi a reperire più informazioni o generare risposte più complete, ma migliorare la precisione con cui le conclusioni giuridiche possono essere ricondotte alle loro fonti.
Conclusioni
I progressi dei foundation model continueranno a migliorare l’AI giuridica, ma la capacità del modello è solo una parte del quadro. Un sistema affidabile deve reperire la normativa rilevante, rappresentare le relazioni tra le disposizioni e mantenere la risposta generata ancorata all’evidenza su cui poggia. Il percorso che va da JuriFindIT al question answering giuridico ancorato all’evidenza segue esattamente questa catena: dal trovare la norma rilevante, al generare una risposta a partire da essa, fino al individuare i passaggi che la giustificano. È anche il punto in cui il lavoro applicato sull’AI regolamentare e la ricerca si sovrappongono naturalmente: reperimento, tracciabilità, verifica e valutazione sono requisiti pratici per costruire sistemi utili, ma restano al tempo stesso problemi scientifici aperti.
Produrre un testo giuridico fluente è ormai relativamente semplice per i sistemi di AI. Rendere il fondamento normativo di quel testo verificabile, preciso e controllabile è un problema più difficile, e di gran lunga più rilevante.
[1] https://huggingface.co/jurifindit/DAR-legal-it
[2] Dalla Noce, N., Colla, D., Farhang Doust, S., De Mattei, L., & Bacciu, D. (2026). JuriFindIT: an Italian legal retrieval dataset. In Findings of the Association for Computational Linguistics: EACL 2026 (pp. 4223–4241). Association for Computational Linguistics. doi: 10.18653/v1/2026.findings-eacl.221
[3] Dalla Noce, N., Bacciu D., Farhang Doust, S., De Mattei, L. (2027). JustifIT-QA: Evidence-Grounded Legal Question Answering in Italian. To appear in the Proceedins of EMNLP 2027. Association for Computational Linguistics.
