Appunti Uni

15. Video content analysis

3 minuti

Indice

Video Content Analysis (VCA)

Definizione La Video Content Analysis (VCA) è la capacità di analizzare automaticamente un flusso video per rilevare e determinare eventi temporali e spaziali.

In pratica: Si tratta di passare dalla semplice registrazione di pixel alla comprensione semantica di ciò che accade (es. “una persona sta correndo” o “due veicoli si sono scontrati”).

Task Principali della VCA

L’analisi video si articola in diversi compiti fondamentali:

  • Video Segmentation: Separare il background statico dal foreground in movimento (tipico di camere fisse).

  • Shot Boundary Detection: Rilevare i cambiamenti di scena in video dove la camera può essere in movimento.

  • Motion Segmentation: Isolare i singoli oggetti in movimento, ognuno caratterizzato da un movimento coerente.

  • Object Tracking: Tracciare lo spostamento di uno o più oggetti nel tempo.

  • Action/Activity Recognition: Associare un’etichetta o descrizione all’azione compiuta dai soggetti.

Analisi del Movimento (Visual Motion)

In un video, un oggetto è considerato in movimento se cambia la sua posizione rispetto al background.

Aspetto 1: Percezione Un video è una sequenza di frame dove i valori variano in funzione dello spazio e del tempo.

Aspetto 2: Stima del Movimento (Motion Estimation)

Esistono due approcci principali per stimare il movimento:

  • Feature-based: Estrae punti chiave (es. corner) e li traccia. Genera un campo di moto sparso ed è robusto per ampi cambiamenti tra frame.

  • Metodi Diretti (Densi): Calcolano il movimento per ogni singolo pixel basandosi sulla variazione di luminosità. Generano un campo di moto denso e sono adatti per cambiamenti limitati tra frame.

Sottrazione del Background (Background Subtraction)

Definizione La Background Subtraction è una tecnica per telecamere statiche che individua oggetti in movimento calcolando la differenza tra il frame corrente e un modello di riferimento del background.

In pratica: Se un pixel cambia significativamente rispetto a come “dovrebbe” essere il fondo, allora quel pixel appartiene a un oggetto in movimento (foreground).

Tecniche di Stima del Background

  1. Frame Precedente: . Semplice ma molto sensibile alla velocità degli oggetti.

  2. Media/Mediana Temporale: Calcola la media o la mediana degli ultimi frame. La mediana è più robusta ma computazionalmente costosa.

  3. Gaussian Mixture Model (GMM): Modella ogni pixel con una mistura di Gaussiane (). È un modello adattivo capace di gestire background multimodali (es. foglie che ondeggiano).

Object Tracking

Il tracking mira a seguire uno o più oggetti nel tempo rispondendo a sfide come occlusioni, cambiamenti di illuminazione e movimenti rapidi.

Rappresentazione degli Oggetti

  • Punti: Generalmente il baricentro, utile per oggetti piccoli.

  • Forme Geometriche: Rettangoli o ellissi modellati con trasformazioni affini.

  • Silhouette/Contorni: Adatti per forme articolate.

  • Modelli Scheletrali: Derivati dalla silhouette per modellare oggetti complessi.

Algoritmi Noti

  • Filtro di Kalman: Filtro ricorsivo che predice la posizione futura e riduce il rumore dei rilevamenti.

  • Mean-shift: Metodo non parametrico che cerca le “mode” della densità di probabilità (es. distribuzione colore).

  • GOTURN: Approccio basato su Deep Learning (CNN) che regredisce direttamente la bounding box tra frame consecutivi.

Action e Activity Recognition

Associa etichette a sequenze video distinguendo tra eventi (istanti), azioni (gesti atomici) e attività (serie di azioni).

Temporal Templates

Permettono di riconoscere l’azione dal movimento stesso senza dettagli sull’aspetto:

  • MEI (Motion Energy Image): Dove c’è stato movimento.

  • MHI (Motion History Image): Quanto recentemente c’è stato movimento (intensità variabile).

Approcci RGB-D

L’uso di sensori di profondità (come Kinect) facilita il tracking indoor fornendo informazioni scheletrali robuste alle variazioni di luce e camouflage di colore.

Vista grafico