Appunti Uni

07. Statistics Inferential

9 minuti

07. Statistics Inferential

Slide PDF

Indice

Obiettivo del Modulo

Definizione

La statistica inferenziale studia come trarre conclusioni su una popolazione usando solo un numero limitato di osservazioni, cioe un campione.

In pratica: spesso in Operational Analytics non possiamo misurare tutto. Usiamo quindi pochi dati osservati per stimare quantita generali, confrontare metodi e decidere se una differenza e reale o solo dovuta al caso.

Il modulo serve a rispondere a domande operative come:

  • un allarme che scatta ogni due giorni e davvero anomalo?
  • due modelli di previsione hanno prestazioni diverse in modo significativo?
  • un algoritmo e migliore del lavoro manuale o la differenza e casuale?
  • i dati rispettano le ipotesi richieste da un test parametrico?

Note

L’inferenza non elimina l’incertezza: la rende esplicita e misurabile tramite intervalli di confidenza, p-value, livelli di significativita e test statistici.

Campionamento e Inferenza

Popolazione, campione e stima

Definizione

Una popolazione e l’insieme completo dei casi di interesse; un campione e una parte limitata della popolazione osservata concretamente.

In pratica: la popolazione e cio che vorremmo conoscere, il campione e cio che possiamo misurare. Dalle statistiche campionarie stimiamo i parametri della popolazione.

Esempio operativo: se vogliamo stimare il tempo medio di consegna di un servizio, potremmo non analizzare tutte le consegne storiche. Prendiamo un campione casuale, calcoliamo media e deviazione standard, poi usiamo questi valori per stimare il comportamento generale.

Campione non significa automaticamente rappresentativo

Un campione piccolo o selezionato male puo produrre conclusioni fuorvianti. La politica di campionamento e parte del problema statistico, non un dettaglio tecnico.

Media campionaria e distribuzione normale

Definizione

La media campionaria e la media calcolata su un campione; se ripetiamo il campionamento molte volte, otteniamo molte medie campionarie diverse.

Risultato chiave: le medie campionarie tendono a distribuirsi normalmente anche quando la popolazione di partenza non e perfettamente normale. Questo e il motivo pratico per cui la distribuzione normale compare spesso nell’inferenza.

Esempio: se estraiamo 20 campioni diversi di ordini clienti e calcoliamo ogni volta il tempo medio di evasione, otterremo 20 medie diverse. Queste medie oscillano per effetto del caso, ma tendono a concentrarsi intorno al vero valore medio della popolazione.

Distribuzione Normale e Z-Score

Definizione

La distribuzione normale e una distribuzione simmetrica a campana descritta da una media e da una varianza.

In pratica: molti fenomeni aggregati e molte statistiche campionarie si comportano in modo circa normale. Questo permette di usare soglie note, come z = 1.96, per costruire intervalli e test.

Regola 68-95-99.7

In una distribuzione normale:

  • circa 68.26% dei casi e entro 1 deviazione standard dalla media;
  • circa 95.46% dei casi e entro 2 deviazioni standard;
  • circa 99.74% dei casi e entro 3 deviazioni standard.

Lettura pratica

Se il tempo medio di lavorazione e 10 minuti con deviazione standard 2 minuti, allora molti casi saranno tra 8 e 12 minuti, quasi tutti tra 6 e 14 minuti, se la distribuzione e circa normale.

Probabilita come area

Definizione

Lo z-score misura quante deviazioni standard separano un valore dalla media.

Formula intuitiva:

z = (x - media) / deviazione_standard

Nella curva normale la probabilita non riguarda un singolo punto, ma un intervallo. L’area sotto la curva tra due valori rappresenta la probabilita che un’osservazione cada in quell’intervallo.

In pratica: dire che un valore ha z = 2 significa che e abbastanza lontano dalla media. Non e impossibile, ma e meno frequente di un valore vicino a z = 0.

Intervalli di Confidenza

Definizione

Un intervallo di confidenza e un intervallo di valori che, con un certo livello di fiducia, dovrebbe contenere il parametro vero della popolazione.

Per una media, l’idea e:

IC = media_campionaria +/- valore_critico * errore_standard
errore_standard = deviazione_standard / sqrt(n)

Valori critici tipici:

  • 95%: circa 1.96;
  • 99%: circa 2.58.

In pratica: un intervallo piu largo e piu prudente, ma meno preciso. Aumentare il campione riduce l’errore standard e quindi restringe l’intervallo.

Interpretazione corretta

Un intervallo al 95% non significa che il parametro vero cambia o che ha il 95% di probabilita di essere li dopo aver visto i dati. Significa che il metodo, ripetuto molte volte, produrrebbe intervalli corretti circa nel 95% dei casi.

Test di Ipotesi

Ipotesi nulla e p-value

Definizione

Un test di ipotesi valuta se i dati osservati sono compatibili con una spiegazione casuale. L’ipotesi nulla H0 afferma di solito che non esiste effetto, differenza o miglioramento reale.

In pratica: partiamo assumendo che la differenza osservata sia dovuta al caso. Poi chiediamo: se H0 fosse vera, quanto sarebbe plausibile osservare dati cosi estremi?

Definizione

Il p-value e la probabilita di osservare un risultato almeno tanto estremo quanto quello ottenuto, assumendo vera l’ipotesi nulla.

Esempio della moneta: se lanciamo una moneta 10 volte e otteniamo 10 teste, il risultato e molto improbabile sotto l’ipotesi di moneta equa. Questo porta a rifiutare H0. Se otteniamo 5 teste e 5 croci, il risultato e compatibile con il caso.

Significativita e decisione

Definizione

Il livello di significativita alpha e la soglia massima accettata per il rischio di rifiutare H0 quando H0 e vera.

Regola pratica con alpha = 0.05:

  • se p < 0.05, si rifiuta H0;
  • se p >= 0.05, non si rifiuta H0.

Non rifiutare non significa dimostrare

Accettare operativamente H0 significa solo che non abbiamo abbastanza evidenza per rifiutarla. Non significa dimostrare che H0 sia vera.

I test possono essere:

  • a una coda, quando l’ipotesi alternativa e orientata, per esempio “il modello A e migliore del modello B”;
  • a due code, quando interessa qualunque differenza, in positivo o in negativo.

Errori nei Test

Definizione

Un errore di tipo I avviene quando rifiutiamo H0 anche se H0 e vera. Un errore di tipo II avviene quando non rifiutiamo H0 anche se H0 e falsa.

La probabilita di errore di tipo I e alpha. La probabilita di errore di tipo II e beta. La potenza del test e 1 - beta, cioe la capacita di riconoscere un effetto reale quando esiste.

Esempio pratico: un controllo temperatura decide se una persona e malata.

  • Tipo I: segnala malattia quando la persona e sana.
  • Tipo II: non segnala malattia quando la persona e malata.

Note

Nella pratica si controlla spesso soprattutto alpha, perche il rifiuto di H0 e una decisione forte. La non-rigetto di H0, invece, resta una conclusione debole: mancano prove sufficienti.

Scelta del Test Statistico

Parametrici e non parametrici

Definizione

I test parametrici assumono una forma della distribuzione della popolazione, spesso normale. I test non parametrici non richiedono questa assunzione e lavorano spesso sui ranghi delle osservazioni.

Test parametrici:

  • piu potenti se le ipotesi sono soddisfatte;
  • adatti quando i dati sono circa normali e misurati su scale quantitative;
  • esempi: t-test, ANOVA, correlazione di Pearson.

Test non parametrici:

  • piu robusti quando la normalita e dubbia;
  • utili con campioni piccoli, distribuzioni molto asimmetriche o dati ordinali;
  • esempi: Mann-Whitney, Wilcoxon, Kruskal-Wallis, Spearman.

Regola pratica

Se i dati violano chiaramente la normalita o sono ordinali, e spesso piu sicuro usare un test non parametrico, accettando una minore potenza.

Osservazioni paired e unpaired

Definizione

Le osservazioni sono paired quando gli stessi casi sono valutati in piu condizioni; sono unpaired quando provengono da gruppi indipendenti.

Nel machine learning, i confronti tra modelli sono spesso paired: gli stessi dataset, fold o finestre temporali vengono usati per valutare piu modelli. Questo riduce rumore e rende il confronto piu informativo.

Esempio: confrontare MLP e LSTM sugli stessi 12 periodi di forecast e un confronto paired. Confrontare due gruppi di clienti indipendenti trattati con campagne diverse e un confronto unpaired.

Test di Normalita

Definizione

Un test di normalita verifica se un campione e compatibile con una distribuzione normale.

Metodi grafici:

  • confronto tra media e mediana;
  • verifica empirica della regola 68-95-99.7;
  • istogramma confrontato con una curva normale;
  • Q-Q plot.

Metodi statistici:

  • Shapiro-Wilk;
  • Anderson-Darling;
  • Kolmogorov-Smirnov;
  • D’Agostino K-squared;
  • Chi-square goodness of fit.

Q-Q plot

In un Q-Q plot i dati osservati sono confrontati con i quantili teorici della distribuzione normale. Se i punti seguono circa una linea retta, la normalita e plausibile; deviazioni sistematiche indicano code pesanti, asimmetria o distribuzioni non gaussiane.

Attenzione al test scelto

Kolmogorov-Smirnov confronta spesso con una distribuzione specifica, per esempio una normale standard. Se i dati non sono standardizzati o se media e varianza sono stimate dal campione, il risultato puo essere fuorviante.

Confronto tra Modelli Predittivi

Diebold-Mariano

Definizione

Il test di Diebold-Mariano confronta l’accuratezza predittiva di due metodi di forecasting, verificando se la differenza negli errori e statisticamente significativa.

L’ipotesi nulla e:

H0: i due forecast hanno la stessa accuratezza

Nel caso a due code con alpha = 0.05, la soglia critica normale e circa [-1.96, 1.96]. Se la statistica DM cade fuori da questo intervallo, si rifiuta H0.

Esempio: se confrontiamo MLP e LSTM su una serie temporale e otteniamo DM = 2.93 con p = 0.0136, la differenza e significativa al 5%. Non stiamo solo osservando un errore medio diverso: abbiamo evidenza statistica che i forecast non sono equivalenti.

Questo collega direttamente il modulo a modelli statistici predittivi e predictive analytics, perche la scelta del modello dovrebbe considerare sia accuratezza sia incertezza della stima.

Critical difference diagram

Definizione

Un critical difference diagram rappresenta in un unico grafico i risultati di piu confronti tra metodi, mostrando quali gruppi sono significativamente diversi e quali sono equivalenti.

In pratica: e utile quando non confrontiamo solo due modelli, ma molte classi o algoritmi. Il diagramma ordina i metodi per rango medio e collega quelli non significativamente diversi.

Note

Se due modelli hanno rango simile e non sono separati da una differenza critica, scegliere quello piu complesso potrebbe non essere giustificato.

Workflow Operativo

Per usare correttamente l’inferenza in un problema operativo:

  1. Definire la domanda: stima, confronto, relazione o diagnosi.
  2. Identificare popolazione, campione e variabile di interesse.
  3. Controllare qualita del campione e possibili errori sistematici.
  4. Esplorare i dati con statistiche descrittive, collegandosi a statistica descrittiva.
  5. Valutare normalita, indipendenza e struttura paired/unpaired.
  6. Scegliere test parametrico o non parametrico.
  7. Fissare alpha prima di guardare il risultato.
  8. Interpretare p-value, intervallo di confidenza ed effetto pratico insieme.

Significativo non significa importante

Con molti dati anche differenze piccole possono diventare statisticamente significative. In Operational Analytics bisogna chiedersi anche se la differenza cambia davvero una decisione operativa.

Prossimi Argomenti

Continueremo con:

Vista grafico

Link entranti