08. Trasformazioni 2D e Image Stitching

Trasformazioni 2D e Image Stitching

[Slide](C:\UNI\Magistrale\visione\08_Trasformazioni 2D e image stitching.pdf)

Indice

• Coordinate Omogenee
• Image Reprojection
• Gerarchia delle Trasformazioni 2D
  • Traslazione
  • Cambiamento di Scala
  • Trasformazione Euclidea (Rigid Body)
  • Trasformazione di Similarità
  • Trasformazione Affine
  • Trasformazione Proiettiva (Omografia)
• Image Stitching
  • Stima dell’Omografia
  • Image Warping
  • Mapping Inverso e Interpolazione

---

Coordinate Omogenee

Definizione

Le coordinate omogenee aggiungono una coordinata extra $w$ ai punti 2D, permettendo di rappresentare tutte le trasformazioni geometriche (inclusa la traslazione) come moltiplicazioni matriciali.

Un punto $(x,y)$ nel piano dell’immagine (piano $z=1$) corrisponde al raggio $(sx,sy,s)$ nello spazio proiettivo. Tutti i punti sul raggio sono equivalenti (rappresentano lo stesso punto nell’immagine):

$(x,y,1)\cong (sx,sy,s)$

Conversione da coordinate omogenee a coordinate cartesiane:

$\left[\begin{array}{c}x\\ y\\ w\end{array}\right]\Rightarrow \left(\frac{x}{w},\frac{y}{w}\right)$

Le coordinate omogenee sono invarianti per cambiamenti di scala: moltiplicare tutti e tre i valori per una costante non cambia il punto rappresentato.

---

Image Reprojection

Definizione

L’image reprojection è il processo di proiettare un punto da un piano immagine a un altro. Due immagini acquisite dalla stessa camera in posizioni diverse sono legate da una trasformazione 2D — non serve conoscere la struttura 3D della scena.

Intuizione: dato un punto nel piano P1 e il punto di osservazione (camera), si individua il raggio che li congiunge. Quel raggio interseca P2 in un punto ben definito, indipendentemente dalla posizione 3D dell’oggetto nel mondo.

Il mapping tra le due immagini può quindi essere rappresentato come una trasformazione 2D (warping).

Applicazione all’image stitching: si proiettano le immagini acquisite da diverse angolazioni su un unico piano di riferimento (per FoV limitati) o su un cilindro che viene poi “srotolato” (per panoramiche a 360°).

---

Gerarchia delle Trasformazioni 2D

Le trasformazioni 2D formano una gerarchia: ogni trasformazione più generale include come caso speciale quelle più vincolate.

Traslazione ⊂ Euclidea ⊂ Similarità ⊂ Affine ⊂ Proiettiva

Traslazione

Sposta il punto di $(t_x,t_y)$.

$\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\\ 1\end{array}\right]=\left[\begin{array}{ccc}1& 0& t_x\\ 0& 1& t_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]\Rightarrow x^{\prime }=x+t_x,y^{\prime }=y+t_y$

Preserva: lunghezze, aree, angoli, orientazioni, linee parallele. DOF: 2 (i due parametri di traslazione).

Cambiamento di Scala

Scala il punto di un fattore $s_x$ in $x$ e $s_y$ in $y$.

$\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\\ 1\end{array}\right]=\left[\begin{array}{ccc}{s}_x& 0& 0\\ 0& s_y& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]\Rightarrow x^{\prime }=s_{x}x,y^{\prime }=s_{y}y$

Preserva: rapporto tra lunghezze/aree, angoli, orientazioni, linee parallele.

Trasformazione Euclidea (Rigid Body)

Combina rotazione di angolo $\theta$ e traslazione. La forma dell’oggetto rimane invariata.

$\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\\ 1\end{array}\right]=\left[\begin{array}{ccc}\cos \theta & -\sin \theta & t_x\\ \sin \theta & \cos \theta & t_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$

$x^{\prime }=x\cos \theta -y\sin \theta +t_x{y}^{\prime }=x\sin \theta +y\cos \theta +t_y$

Preserva: lunghezze, aree, angoli, linee. DOF: 3 ($\theta$, $t_x$, $t_y$).

Trasformazione di Similarità

Aggiunge un fattore di scala uniforme $s$ alla trasformazione euclidea.

$\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\\ 1\end{array}\right]=\left[\begin{array}{ccc}s\cos \theta & -s\sin \theta & t_x\\ s\sin \theta & s\cos \theta & t_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$

Preserva: angoli, rapporto tra lunghezze, linee parallele. DOF: 4 ($s$, $\theta$, $t_x$, $t_y$).

Trasformazione Affine

Caso generale con matrice $2\times 3$ arbitraria. Comprende rotazione, scala, shear e traslazione.

$\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\\ 1\end{array}\right]=\left[\begin{array}{ccc}a& b& c\\ d& e& f\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]\Rightarrow x^{\prime }=ax+by+c,y^{\prime }=dx+ey+f$

Preserva: rapporto tra aree, linee parallele, rapporto tra segmenti collineari. DOF: 6 (i sei parametri $a,b,c,d,e,f$).

Trasformazione Proiettiva (Omografia)

La trasformazione più generale — include tutte le precedenti. Opera in coordinate omogenee con una matrice $3\times 3$ completa.

$\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\\ w^{\prime }\end{array}\right]=\left[\begin{array}{ccc}a& b& c\\ d& e& f\\ g& h& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$

Poiché $w^{\prime }\ne 1$ in generale, le coordinate finali si ottengono dividendo per $w^{\prime }$:

$\left(\frac{x^{\prime }}{w^{\prime }},\frac{y^{\prime }}{w^{\prime }}\right)$

Preserva: solo le linee rette (le rette rimangono rette, ma non parallele). DOF: 8 (la matrice ha 9 elementi ma è definita a meno di un fattore di scala, quindi 8 gradi di libertà).

Tabella riepilogativa:

Trasformazione	Matrice	DOF	Preserva
Traslazione	$\left[\begin{array}{cc}I& \mathbf{t}\end{array}\right]$	2	Lunghezze, aree, angoli, orientazioni
Euclidea	$\left[\begin{array}{cc}R& \mathbf{t}\end{array}\right]$	3	Lunghezze, aree, angoli
Similarità	$\left[\begin{array}{cc}sR& \mathbf{t}\end{array}\right]$	4	Angoli, rapporti di lunghezza
Affine	$\left[\begin{array}{cc}A& \mathbf{t}\end{array}\right]$	6	Parallelismo, rapporti di area
Proiettiva	$H_{3\times 3}$	8	Solo linee rette

---

Image Stitching

Definizione

L’image stitching è il processo di comporre più immagini parziali di una scena in un’unica immagine panoramica. Si basa sulla stima dell’omografia tra coppie di immagini e sull’applicazione del warping.

Pipeline:

1. Trova le corrispondenze tra le immagini (tramite keypoint: SIFT, SURF, ORB + RANSAC)
2. Stima l’omografia $H$ da almeno 4 coppie di punti
3. Applica il warping per proiettare le immagini su un piano comune
4. Blending per rendere invisibili le transizioni (normalizzazione delle intensità)

Stima dell’Omografia

Per determinare l’omografia $H$ che lega due immagini si utilizzano almeno 4 coppie di punti corrispondenti $p\leftrightarrow p^{\prime }$:

$p^{\prime }=Hp\text{cioeˋ}\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\\ w^{\prime }\end{array}\right]=\left[\begin{array}{ccc}a& b& c\\ d& e& f\\ g& h& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$

Ogni coppia di punti fornisce 2 equazioni, e poiché $H$ ha 8 DOF servono almeno 4 coppie. Con più coppie (tipico in presenza di rumore) si usa la SVD o i minimi quadrati per stimare $H$ in modo robusto.

In pratica le corrispondenze vengono trovate automaticamente tramite feature matching e le corrispondenze errate vengono eliminate con RANSAC.

L’immagine panoramica si ottiene allineando progressivamente le immagini due a due. Un passo finale di normalizzazione (blending) riduce le differenze di illuminazione alle giunture.

Image Warping

L’image warping applica la trasformazione $f$ (es. omografia) a tutti i pixel dell’immagine sorgente per produrre l’immagine trasformata.

Mapping diretto (dall’immagine originale a quella nuova): presenta tre problemi pratici:

• Le coordinate dei nuovi pixel non sono necessariamente intere (approssimazione)
• Alcuni pixel vengono mappati fuori dalla nuova immagine
• Alcuni pixel della nuova immagine rimangono vuoti (buchi)

Mapping Inverso e Interpolazione

Soluzione: mapping inverso

Per ogni pixel $(x_{\text{new}},y_{\text{new}})$ della nuova immagine, si applica la trasformazione inversa $f^{-1}$ per trovare il punto corrispondente $(x_{\text{old}},y_{\text{old}})$ nell’immagine originale.

Per una trasformazione affine, la funzione inversa è:

$\left[\begin{array}{c}{x}_{\text{old}}\\ y_{\text{old}}\end{array}\right]=\frac{1}{s}\left[\begin{array}{cc}\cos (-\theta )& \sin (-\theta )\\ -\sin (-\theta )& \cos (-\theta )\end{array}\right]\left(\left[\begin{array}{c}{x}_{\text{new}}\\ y_{\text{new}}\end{array}\right]-\left[\begin{array}{c}{t}_x\\ t_y\end{array}\right]\right)$

Il punto $(x_{\text{old}},y_{\text{old}})$ è in coordinate continue (floating point). Tre casi possibili:

• Fuori dall’immagine originale: si assegna un valore di default (es. nero)
• Coincide esattamente con un pixel: si copia direttamente l’intensità
• Tra quattro pixel: si interpola

Interpolazione bilineare (Lagrange): il valore del nuovo pixel si calcola come media pesata dei 4 pixel vicini $A,B,C,D$:

$\text{New}I(x_{\text{new}},y_{\text{new}})=\frac{\text{Old}I(A)\cdot w_A+\text{Old}I(B)\cdot w_B+\text{Old}I(C)\cdot w_C+\text{Old}I(D)\cdot w_D}{w_A+w_B+w_C+w_D}$

dove i pesi sono proporzionali all’area del rettangolo diagonalmente opposto:

$w_A=(x_{i+1}-x_{\text{old}})(y_{j+1}-y_{\text{old}})w_C=(x_{\text{old}}-x_i)(y_{\text{old}}-y_j)$ $w_B=(x_{\text{old}}-x_i)(y_{j+1}-y_{\text{old}})w_D=(x_{i+1}-x_{\text{old}})(y_{\text{old}}-y_j)$

I pixel più vicini a $(x_{\text{old}},y_{\text{old}})$ ricevono peso maggiore.