S3. Towards Agent Explainability
Slide: <file:///C:/UNI/Magistrale/ISE/S3 – Towards Agent Explainability.pdf>
Indice
Contesto XAI
Che cosa significa spiegare
Definizione
La explainability è la capacità di produrre spiegazioni utili, comprensibili e affidabili sul comportamento di un sistema artificiale.
Nella presentazione, la spiegabilità vive in un’intersezione tra più temi: causalità, decisioni, autonomia, comunicazione, interazione uomo-computer, giustificazione e indagine scientifica.
In pratica: spiegare non significa soltanto mostrare numeri interni al modello. Una buona spiegazione deve rispondere a una domanda di qualcuno, in un certo contesto, con un livello di dettaglio adeguato.
Esempio
Dire “l’agente ha scelto
upperché il valore Q era massimo” può essere tecnicamente corretto per un esperto di reinforcement learning, ma poco utile per un utente che vuole sapere perché il robot sta andando verso la pentola invece che verso il piatto.
Che cosa vogliamo dalla XAI
Le motivazioni per la XAI sono diverse:
- accountability: rendere un sistema giustificabile verso persone, organizzazioni o legge;
- bias control: individuare decisioni distorte;
- debugging: capire dove il modello o l’agente sbaglia;
- apprendimento: permettere a persone o macchine di imparare dal modello;
- comunicazione: rendere il comportamento prevedibile e coordinabile.
Note
Le spiegazioni dovrebbero essere corte, vere, contestuali e comprensibili. Una spiegazione lunga ma non focalizzata può essere meno utile di una frase mirata.
Perché gli Agenti Cambiano il Problema
Definizione
Un agente è un sistema situato che percepisce un ambiente, agisce autonomamente e può essere caratterizzato in termini di comportamento, obiettivi o funzioni.
Negli agenti non basta spiegare una classificazione. Bisogna spiegare azioni nel tempo, scelte alternative, esplorazione, obiettivi, vincoli e interazioni con l’ambiente.
La causalità è centrale. La slide richiama la differenza tra osservare una correlazione e intervenire:
P(X | A) != P(X | do(A))In pratica: sapere che dopo l’azione A spesso accade X non equivale a sapere che A causa X. Un agente, però, può intervenire autonomamente e quindi esplorare relazioni causali.
Sfida Principale
Esistono molte architetture agentive: BDI, RL, LLM-agents, codice custom, sistemi ibridi. Una tecnica XAI costruita per una sola architettura rischia di non generalizzare.
Policy Graphs e IPG
Definizione
Un Policy Graph rappresenta il comportamento di una policy tramite stati, azioni e probabilità di transizione o scelta, rendendo interrogabile ciò che l’agente tende a fare.
Le domande classiche sono:
- che cosa farai nello stato X?
- quando esegui l’azione A?
- perché non hai eseguito l’azione A nello stato Y?
Per essere utile, un policy graph deve essere fedele al comportamento reale della policy. Se la probabilità di scegliere un’azione nel grafo non corrisponde a quella della policy, le risposte diventano fuorvianti.
Gli Intention Policy Graphs (IPG) aggiungono una lettura intenzionale: non solo “quale azione”, ma “quale desiderio o scopo sembra spiegare questa azione”.
Esempio
In un ambiente tipo Overcooked, un agente che fa
interact -> down -> right -> down -> interactpuò essere spiegato come orientato al desiderio di “servire la zuppa”, invece che come sequenza opaca di mosse.
Intenzioni e Teleologia
Definizione
Una spiegazione teleologica descrive un comportamento in termini di scopi, funzioni o intenzioni attribuite, invece che solo in termini di cause meccaniche.
La questione delicata è se sia sicuro parlare di “intenzioni” per una macchina. Il rischio è antropomorfizzare: far credere che un sistema abbia coscienza o volontà. Però può essere utile usare intenzioni come modello esplicativo, se restano attribuzioni operative e non affermazioni metafisiche.
Esempio
“Ho riempito la pentola perché era vuota” è una spiegazione causale locale. “Ho riempito la pentola perché intendo cuocere la pasta” è spesso più comprensibile, perché collega l’azione a uno scopo.
Nel caso degli agenti artificiali, dire “l’agente intende servire la zuppa” significa: dato il modello del suo comportamento, quella sequenza di azioni è ben spiegata dall’ipotesi che stia perseguendo quel desiderio.
Ladder of Intentions
Definizione
La Ladder of Intentions è una tassonomia intenzione-centrica per scomporre il comportamento di agenti diversi in livelli di spiegazione.
L’idea di base è chiedere ricorsivamente:
- perché questa policy?
- quali ragioni spiegano questa policy?
- quali ragioni spiegano quelle ragioni?
Separare i livelli aiuta a distinguere spiegazioni sul comportamento immediato, sulle credenze, sui meccanismi di deliberazione e sulle scelte progettuali.
Tre famiglie di domande:
- intenzionali: orientate allo scopo, concise e predittive;
- weakly epistemic: spiegano perché un certo know-how o informazione supporta un’azione;
- strongly epistemic: spiegano perché l’agente crede una certa affermazione, spesso richiedendo dati e storia di apprendimento.
Esempio
Domanda intenzionale: “Perché vai su?” Risposta: “Perché sto andando alla pentola”. Domanda epistemica: “Perché credi che andando su ti avvicini alla pentola?” Risposta: “Perché ho osservato che in questo stato andare su riduce la distanza e aumenta la ricompensa”.
Affidabilità e Limiti
Le tecniche agent XAI devono essere valutate su due piani distinti:
- interpretabilità: la spiegazione è comprensibile per il destinatario?
- truthfulness: la spiegazione è fedele al comportamento reale dell’agente?
Gli user studies sono importanti, ma non bastano: gli utenti possono essere ingannati da spiegazioni persuasive ma false. D’altra parte, garanzie formali complete non sono sempre possibili.
Vantaggi degli approcci basati su IPG e intenzioni:
- intuitivi;
- applicabili a più architetture;
- potenzialmente utili anche per umani e sistemi ibridi;
- adatti a debugging e analisi di razionalità.
Limiti:
- trovare i desideri corretti non è banale;
- domini continui e complessi possono essere costosi;
- alcune spiegazioni ignorano informazioni trasparenti disponibili nel modello;
- spiegare credenze profonde o cause di alto ordine resta difficile.
Prossimi Argomenti
Collegamenti utili:
- SLR - metodo per studiare sistematicamente la letteratura XAI e agenti.
- Jason - programmazione pratica di agenti intenzionali.
- STRIPS - planning simbolico, utile per collegare azioni, precondizioni e obiettivi.