S2. Systematic Literature Review
Slide: <file:///C:/UNI/Magistrale/ISE/S2 – Systematic Literature Review. A Methodology for Scientific Surveys.pdf>
Indice
Motivazione
Che cos’è una Survey
Definizione
Una literature survey è uno studio della letteratura disponibile su un certo argomento, con l’obiettivo di raccogliere, ordinare e sintetizzare risultati di ricerca rilevanti.
In pratica: una survey non è un elenco di paper. È una mappa ragionata di un tema: mostra che cosa è noto, che cosa è recente, che cosa è controverso, quali metodi esistono e dove ci sono lacune.
Una buona survey distingue tra:
- conoscenza consolidata, come teorie e tecniche accettate;
- proposte recenti, ancora da valutare pienamente;
- lavori storici, utili a capire l’evoluzione del tema;
- sfide aperte e direzioni future.
Esempio
Una survey sugli agenti BDI non dovrebbe limitarsi a citare Jason. Dovrebbe spiegare il modello BDI, le sue origini, i linguaggi principali, le applicazioni, i limiti e le linee di ricerca attuali.
Target Temporale e Pubblico
Il target temporale cambia il tipo di lavoro:
- t0: qui e ora, utile per hot topics appena emersi;
- t10: ultimi dieci anni circa, utile per fare il punto su un’area matura ma ancora dinamica;
- t∞: dall’origine del tema a oggi, utile per sintesi profonde o testi didattici.
Anche il pubblico cambia la forma:
- a10: specialisti del settore;
- a1000: studenti, dottorandi, giovani ricercatori, practitioner;
- a∞: pubblico colto ma non specialista.
Note
Una sezione Related Work in un paper è spesso t0-a10. Una survey classica è spesso t10-a1000. Un libro introduttivo può essere t∞-a∞.
Perché Serve un Metodo Sistematico
Definizione
Una Systematic Literature Review è una revisione della letteratura condotta con metodo esplicito, documentato e riproducibile, per ridurre bias e rispondere a domande di ricerca precise.
Il problema pratico è che la letteratura disponibile è spesso enorme, eterogenea e difficile da gestire. I criteri per includere o escludere lavori possono cambiare molto, e senza metodo il risultato rischia di diventare arbitrario.
Una survey è essa stessa letteratura scientifica. Quindi dovrebbe rispettare, per quanto possibile, criteri di riproducibilità e controllabilità: chi legge deve capire come sono stati trovati i paper, perché alcuni sono stati inclusi, come sono stati valutati e come si è arrivati alle conclusioni.
Rischio Tipico
Cercare paper solo con parole chiave generiche e scegliere quelli che sembrano più comodi produce una review fragile: non è chiaro se il risultato rifletta davvero lo stato dell’arte o solo le preferenze dell’autore.
SLR in Ricerca Medica
La SLR nasce e si formalizza soprattutto nel contesto medico, dove decisioni cliniche e politiche sanitarie devono basarsi su evidenza affidabile. Qui diventano centrali meta-analisi, criteri di eleggibilità, rischio di bias e sintesi sistematica dei risultati.
Definizione
Una systematic review identifica, valuta e sintetizza tutta l’evidenza empirica che soddisfa criteri di eleggibilità predefiniti per rispondere a una specifica domanda di ricerca.
Caratteristiche essenziali:
- obiettivi dichiarati chiaramente;
- criteri di eleggibilità predefiniti;
- metodologia esplicita e riproducibile;
- ricerca sistematica degli studi rilevanti;
- valutazione della validità degli studi inclusi;
- presentazione e sintesi sistematica dei risultati.
SLR in Software Engineering
Nel software engineering la SLR diventa importante perché tecnologie, metodi e strumenti si evolvono rapidamente. Serve un modo per capire se una tecnica funziona davvero, in quali contesti, con quali limiti e con quale qualità dell’evidenza.
Motivi comuni per svolgere una SLR:
- riassumere l’evidenza su una tecnologia o trattamento;
- identificare gap nella ricerca;
- costruire un framework per posizionare nuove attività di ricerca.
Vantaggi:
- riduce la probabilità di risultati distorti dalla selezione arbitraria dei paper;
- confronta fenomeni su contesti e metodi empirici diversi;
- quando possibile, permette sintesi quantitative o meta-analisi.
Svantaggi:
- richiede molto più tempo di una review tradizionale;
- coinvolge spesso più persone;
- i risultati non sono prevedibili in anticipo, quindi può essere difficile costruire una narrazione pulita.
Metodologia SLR
Research Questions
Definizione
Le research questions sono le domande che guidano tutta la SLR: ricerca, selezione, estrazione dei dati e sintesi finale.
Esempio pratico: invece di chiedere genericamente “che cosa esiste sugli LLM agent?”, una domanda più utile è: “quali architetture di agenti basati su LLM supportano tool use verificabile e con quali metriche vengono valutate?“.
Search Strategy
La strategia di ricerca deve essere motivata e documentata. Deve indicare fonti, query, parole chiave, sinonimi, criteri temporali e criteri di inclusione/esclusione.
Buona Pratica
Conservare stringhe di ricerca, database consultati e date delle ricerche. Le digital libraries cambiano, quindi una ricerca non sarà mai perfettamente replicabile, ma deve essere ispezionabile.
Selection Quality Extraction
La SLR procede in cinque passi principali:
- research objective & questions: definire obiettivo e domande;
- search strategy: trovare più letteratura rilevante possibile;
- study selection: applicare criteri di inclusione/esclusione;
- quality assessment: valutare la qualità delle fonti primarie;
- data extraction & synthesis: estrarre attributi rilevanti e sintetizzarli.
Esempio
In una SLR su planning per agenti, si potrebbero estrarre: tipo di planner, formalismo usato, dominio sperimentale, metriche, disponibilità del codice, tipo di agente e risultati principali.
La conclusione deve rispondere alle domande iniziali, non semplicemente raccontare i paper letti. Per il corso, questo è centrale perché una SLR può diventare un artefatto documentale solido per Intelligent Systems Engineering.
Prossimi Argomenti
Continueremo con:
- Agent Explainability - tema di ricerca su spiegazioni, intenzioni e agenti.
- Scientific Literature - base concettuale per distinguere paper, preprint, repository e digital libraries.
- Laboratorio ISE - indicazioni operative sui progetti, inclusa la possibilità di una SLR.