Appunti Uni

06. Statistics Descriptive

11 minuti

06. Statistics Descriptive

Slide PDF

Indice

Panoramica

Perche serve in Operational Analytics

Definizione

La statistica descrittiva e l’insieme di misure, tabelle e grafici usati per riassumere le caratteristiche principali di un dataset.

In pratica: prima di prevedere, ottimizzare o decidere, bisogna capire che cosa dicono i dati. La statistica descrittiva e il controllo iniziale: mostra valori tipici, variabilita, anomalie e forma della distribuzione.

Nel contesto di Operational Analytics, questi strumenti aiutano a leggere fenomeni operativi come domanda, traffico, tempi di servizio, costi, scorte o produttivita. Sono la base per moduli piu predittivi come Predictive Analytics e Predictive Statistical Models.

Esempio operativo

Se un’azienda osserva il numero giornaliero di ordini, la media indica il carico tipico, la deviazione standard indica quanto varia il carico, il box-plot segnala giorni anomali e l’istogramma mostra se la domanda e concentrata o molto dispersa.

Popolazione e campione

Definizione

La popolazione e l’intero insieme di dati, individui, oggetti o risultati di interesse. Il campione e un sottoinsieme della popolazione osservato concretamente.

La popolazione e spesso troppo grande per essere analizzata completamente. Puo essere reale, come tutti gli ordini di un anno, oppure ipotetica, come tutti i possibili risultati di un esperimento ripetuto infinite volte.

Il campione puo essere:

  • casuale, se ogni elemento della popolazione ha la stessa probabilita di essere estratto;
  • ragionato, se gli elementi sono scelti secondo criterio, ma senza garanzia probabilistica.

Rappresentativita

Un campione non rappresentativo puo produrre conclusioni operative sbagliate. Se si analizzano solo giorni promozionali, la domanda media stimata sara probabilmente troppo alta per i giorni normali.

Variabili e Dati

Definizione

Una variabile e una quantita o caratteristica misurata su ciascuna osservazione del campione.

Le variabili determinano quali strumenti statistici hanno senso. Non tutte le misure si possono trattare allo stesso modo: fare la media di un numero di clienti ha senso, fare la media di una nazionalita no.

Variabili quantitative

Le variabili quantitative sono numeriche e permettono operazioni aritmetiche.

Sono di due tipi:

  • continue: possono assumere valori su una scala continua, come altezza, tempo di consegna, temperatura o durata di una chiamata;
  • discrete: derivano da conteggi, come numero di clienti, ordini, incidenti o pezzi difettosi.

In pratica: il tempo medio di attesa al call center e una variabile continua; il numero di chiamate ricevute in un’ora e una variabile discreta.

Variabili categoriche

Le variabili categoriche identificano classi o gruppi.

Sono di due tipi:

  • nominali: le categorie non hanno un ordine naturale, come genere, nazione, reparto o tipo di prodotto;
  • ordinali: le categorie sono ordinabili, ma le distanze tra livelli non sono necessariamente costanti, come basso/medio/alto o junior/middle/senior.

Scelta del grafico

Per variabili quantitative continue si usa spesso l’istogramma. Per variabili categoriche si usa di solito il bar chart, perche interessa contare quante osservazioni cadono in ciascuna categoria.

Statistiche Descrittive e Inferenziali

Statistiche, parametri ed errore campionario

Definizione

Un parametro descrive una caratteristica della popolazione. Una statistica descrive una caratteristica calcolata sul campione.

I parametri sono spesso sconosciuti: per esempio, la vera domanda media futura di un prodotto non e osservabile in anticipo. Le statistiche campionarie sono stime calcolate sui dati disponibili.

La statistica inferenziale usa il campione per generalizzare alla popolazione. L’errore campionario e la differenza tra la statistica calcolata sul campione e il parametro reale della popolazione.

Note

La statistica descrittiva dice: “questi dati osservati sono fatti cosi”. La statistica inferenziale prova a dire: “questi dati suggeriscono qualcosa sulla popolazione da cui provengono”.

Distribuzioni di frequenza

Definizione

Una distribuzione di frequenza conta quante osservazioni cadono in classi, intervalli o categorie.

Per una variabile continua, si costruisce spesso un istogramma dividendo i valori in intervalli. Per una variabile categorica, si usa un bar chart con una barra per categoria.

La frequenza relativa trasforma i conteggi in proporzioni. La frequenza relativa cumulata somma progressivamente le proporzioni e permette di leggere quanta parte dei dati sta sotto una certa soglia.

Esempio: se 7 giorni su 31 hanno traffico tra 4244 e 4508 veicoli, la frequenza relativa e circa 7/31 = 0.23. Questo aiuta a capire quali intervalli sono piu comuni.

Misure di Tendenza Centrale

Definizione

Le misure di tendenza centrale indicano intorno a quale zona si concentrano i dati.

Le tre misure principali sono media, mediana e moda. Sembrano simili, ma rispondono a domande diverse.

Media aritmetica

Definizione

La media aritmetica e la somma dei valori osservati divisa per il numero di osservazioni.

Formula intuitiva:

media = somma dei valori / numero di valori

In pratica: la media e il valore di equilibrio. Se redistribuissimo il totale osservato in modo uniforme tra tutte le osservazioni, ogni osservazione avrebbe il valore medio.

Velocita

Per le velocita 151, 124, 132, 170, 146, 124, 113, la media e (151 + 124 + 132 + 170 + 146 + 124 + 113) / 7 = 137.14 km/h.

In Python: np.mean(npa).

Mediana e moda

Definizione

La mediana e il valore centrale dopo aver ordinato i dati. La moda e il valore osservato piu frequentemente.

Se il numero di osservazioni e dispari, la mediana e il valore al centro. Se e pari, e la media dei due valori centrali.

Numero dispari

Ordinando 151, 124, 132, 170, 146, 124, 113 si ottiene 113, 124, 124, 132, 146, 151, 170. La mediana e 132, la moda e 124.

Numero pari

Per preventivi hotel 366, 327, 274, 292, 274, 230, l’ordine e 230, 274, 274, 292, 327, 366. La mediana e (274 + 292) / 2 = 283, la moda e 274.

In Python: np.median(npa) e stats.mode(npa).

Media o mediana

La media e sensibile ai valori estremi. La mediana e piu robusta, perche dipende dalla posizione dei valori ordinati e non dalla loro grandezza assoluta.

Punto chiave

Se la distribuzione e distorta o contiene outlier, la mediana spesso rappresenta meglio il valore tipico rispetto alla media.

Se media = mediana = moda, i dati sono indicativamente simmetrici. In una distribuzione asimmetrica, invece, queste misure tendono a separarsi.

Quantili e Dispersione

Quartili, percentili e IQR

Definizione

I quantili dividono i dati ordinati in parti. I quartili dividono in quattro parti, i percentili in cento parti.

Il 75-esimo percentile e il valore sotto cui cade circa il 75% dei dati. La mediana e il secondo quartile, cioe il 50-esimo percentile.

I quartili principali sono:

  • Q1: circa il 25% dei dati e sotto questo valore;
  • Q3: circa il 75% dei dati e sotto questo valore;
  • IQR: differenza tra terzo e primo quartile, IQR = Q3 - Q1.

In pratica: l’IQR misura la dispersione della parte centrale dei dati, ignorando gli estremi. Per questo e utile quando ci sono outlier.

In Python: df['ago1'].quantile([0.25, 0.5, 0.75]) e stats.iqr(npa).

Range, varianza e deviazione standard

Definizione

Il range e la differenza tra valore massimo e valore minimo. La varianza misura la media degli scarti quadratici dalla media. La deviazione standard e la radice quadrata della varianza.

Il range e facile da calcolare e utile per capire scenari estremi, come minimo e massimo carico operativo. Pero e molto sensibile ai valori anomali.

La varianza e la deviazione standard descrivono quanto i dati sono dispersi intorno alla media. La deviazione standard e piu interpretabile della varianza perche ha la stessa unita di misura della variabile originale.

Note

Quando si lavora su un campione e la media della popolazione non e nota, spesso si divide per n - 1 invece che per n: e la correzione campionaria usata per stimare meglio la variabilita della popolazione.

In Python: max(npa) - min(npa), np.var(npa), np.std(npa).

Coefficiente di variazione

Definizione

Il coefficiente di variazione e la deviazione standard espressa come percentuale della media.

Formula intuitiva:

CV = deviazione standard / media * 100%

Serve quando si vogliono confrontare variabili su scale diverse. Una deviazione standard di 10 puo essere enorme se la media e 20, ma piccola se la media e 10.000.

Confronto operativo

Due magazzini hanno deviazione standard diversa nelle vendite giornaliere. Il CV permette di capire quale dei due e relativamente piu instabile rispetto al proprio livello medio di domanda.

In Python: stats.variation(npa).

Visualizzazione e Outlier

Box-plot

Definizione

Il box-plot e una rappresentazione grafica della distribuzione basata su minimo, Q1, mediana, Q3 e massimo.

E utile per confrontare dataset grandi con un colpo d’occhio. Mostra posizione centrale, dispersione, asimmetria e possibili anomalie.

In pratica: confrontando due periodi di traffico, due negozi o due linee produttive, il box-plot mostra quale ha valori piu alti, maggiore variabilita o piu osservazioni estreme.

In Python: df.boxplot(column=['ago1', 'ago2']) oppure plt.boxplot(npa).

Outlier

Definizione

Un outlier e un’osservazione con valore molto diverso rispetto al resto dei dati.

Un outlier puo indicare un errore di misura, un evento eccezionale o una sottopopolazione diversa. Non va eliminato automaticamente: prima bisogna capirne la causa.

Nel box-plot, una regola pratica usa l’IQR:

  • limite inferiore: Q1 - 1.5 * IQR;
  • limite superiore: Q3 + 1.5 * IQR.

I valori sotto il limite inferiore o sopra il limite superiore sono candidati outlier.

Effetto sugli indicatori

Gli outlier possono distorcere la media e aumentare artificialmente la variabilita. Per questo vanno controllati prima di costruire previsioni o modelli decisionali.

Scatter-plot

Definizione

Lo scatter-plot rappresenta la relazione tra due variabili continue tramite punti su un piano cartesiano.

Serve nelle prime fasi di analisi per capire se due variabili sembrano correlate, se la relazione e lineare o se ci sono outlier evidenti.

Esempio

In un dataset operativo, si puo disegnare uno scatter-plot tra numero di ordini e tempo medio di evasione. Se i punti salgono al crescere degli ordini, il carico potrebbe peggiorare le performance.

Distribuzioni Statistiche

PDF, PMF e CDF

Definizione

Una distribuzione statistica descrive come si distribuiscono le osservazioni nello spazio dei possibili valori.

Un istogramma descrive i dati osservati. Una distribuzione teorica e una curva o funzione che cerca di modellarne la forma. Questa funzione puo poi essere usata per stimare probabilita.

Le funzioni principali sono:

  • PDF, probability density function: per variabili continue, descrive la densita di probabilita e ha area totale pari a 1;
  • PMF, probability mass function: equivalente discreto della PDF, assegna probabilita a valori discreti;
  • CDF, cumulative distribution function: indica la probabilita che l’osservazione sia minore o uguale a un certo valore.

In pratica: la PDF mostra dove i valori sono piu probabili; la CDF risponde a domande operative come “qual e la probabilita che il tempo di servizio sia entro 5 minuti?“.

Distribuzione gaussiana

Definizione

La distribuzione gaussiana, o normale, e una distribuzione continua descritta da media mu e deviazione standard sigma.

La media definisce il centro della curva. La deviazione standard definisce quanto la curva e larga o stretta. Molti fenomeni reali sono approssimabili con una normale, soprattutto quando derivano dalla somma di molti piccoli effetti indipendenti.

Note

La normale e molto usata, ma non va assunta per abitudine. Tempi di attesa, durate e domande con picchi possono essere asimmetrici e richiedere distribuzioni diverse.

In Python si puo usare scipy.stats.norm per generare PDF e CDF gaussiane.

Best fitting distribution

Definizione

Il distribution fitting consiste nel trovare la distribuzione teorica che approssima meglio i dati osservati.

L’idea e confrontare diverse famiglie di distribuzioni, stimarne i parametri e scegliere quella che riduce meglio l’errore rispetto ai dati empirici.

Strumenti Python citati nelle slide:

  • Fitter, per provare piu distribuzioni e confrontarle con metriche come SSE;
  • distfit, per stimare automaticamente una distribuzione e visualizzare la PDF sovrapposta ai dati.

Uso pratico

Il fitting di una distribuzione e utile per simulazioni, analisi del rischio, dimensionamento delle capacita e scenari what-if, ma va sempre validato graficamente e con conoscenza del processo.

Prossimi Argomenti

Continueremo con:

Vista grafico

Link entranti