Tensor trifocal: Explorando la profundidad, el movimiento y la estructura en visión por computadora

Por Fouad Sabry

Qué es el tensor trifocal

Dentro del ámbito de la visión por computadora, el tensor trifocal es una matriz numérica que cuenta con dimensiones de 3×3×3 y abarca todas las relaciones geométricas. que son proyectivos entre las tres perspectivas. Las coordenadas de puntos o líneas coincidentes en tres vistas diferentes se relacionan entre sí mediante este método, que es independiente de la estructura de la escena y se basa únicamente en el movimiento relativo entre las tres vistas, así como en los parámetros de calibración intrínsecos de cada vista. . Como resultado, se puede pensar en el tensor trifocal como la generalización de la matriz fundamental en tres perspectivas diferentes. A pesar de que el tensor está compuesto por 27 elementos, es importante resaltar que sólo 18 de esos elementos son genuinamente independientes.

Cómo te beneficiarás

(I) Insights y validaciones sobre los siguientes temas:

Capítulo 1: Trifocal_tensor

Capítulo 2: Rank_(linear_algebra)

Capítulo 3 : Trace_(linear_algebra)

Capítulo 4: Análisis_de_componentes_principales

Capítulo 5: Traducción_(geometría)

Capítulo 6: Producto_Kronecker

Capítulo 7 : Valores propios_y_vectores propios

Capítulo 8: Espacio_tridimensional

Capítulo 9: Matriz_fundamental_(visión_computadora)

Capítulo 10: Detección_de_esquinas

(II) Respondiendo a las principales preguntas del público sobre el tensor trifocal.

(III) Ejemplos del mundo real para el uso del tensor trifocal en muchos campos.

Para quién es este libro

Profesionales, estudiantes de pregrado y posgrado, entusiastas, aficionados y aquellos que quieran ir más allá del conocimiento o información básica para cualquier tipo de Tensor Trifocal.

 

 

• Idioma: Español
• Editorial: Mil Millones De Conocimientos [Spanish]
• Fecha de lanzamiento: 1 may 2024

Vista previa del libro

Capítulo 1: Tensor trifocal

En cuanto a la visión por computador, el tensor trifocal (también tritensor) es una matriz de números 3×3×3 (es decir, un tensor) que representa todo el conjunto de relaciones entre tres puntos de vista en geometría proyectiva.

Las coordenadas tridimensionales de líneas y puntos paralelos están relacionadas, no tienen nada que ver con la topología de la escena y todo que ver con la movilidad relativa (es decir, la postura) entre las tres perspectivas y sus factores de calibración innatos.

Por lo tanto, el tensor trifocal se puede considerar como una versión tridimensional de la matriz básica.

Se señala que aunque el tensor consta de 27 elementos, solo 18 de ellos pueden considerarse realmente autosuficientes.

Existen 11 grados de libertad, o elementos independientes, en el llamado tensor trifocal calibrado, que codifica la postura relativa de las cámaras hasta escala global relacionando las coordenadas de puntos y líneas en tres vistas dadas sus propiedades intrínsecas. Es necesario ajustar menos correspondencias en el modelo debido a la disminución de los grados de libertad, pero esto se produce a expensas de una mayor no linealidad.

El tensor también se puede ver como una colección de tres matrices de 3 x 3 de rango dos {\mathbf T}_1, \; {\mathbf T}_2, \; {\mathbf T}_3 conocidas como sus cortes de correlación.

Suponiendo que las matrices de proyección de tres vistas son {\mathbf P}=[ {\mathbf I} \; | \; {\mathbf 0} ] , {\displaystyle {\mathbf {P} }'=[{\mathbf {A} }\;|\;{\mathbf {a} }_{4}]} y {\displaystyle {\mathbf {P} ''}=[{\mathbf {B} }\;|\;{\mathbf {b} }_{4}]} , los cortes de correlación del tensor correspondiente se pueden expresar en forma cerrada como

{\mathbf T}_i={\mathbf a}_i {\mathbf b}_4^t - {\mathbf a}_4 {\mathbf b}_i^t, \; i=1 \ldots 3

, donde {\mathbf a}_i, \; {\mathbf b}_i son respectivamente las i-ésimas columnas de las matrices de la cámara.

En la práctica, sin embargo, el tensor se calcula comparando cada una de las tres perspectivas para la coincidencia de puntos y líneas.

Las relaciones lineales entre líneas y puntos en tres imágenes son uno de los resultados más útiles del tensor trifocal.

Más específicamente, para los tripletes de los puntos correspondientes {\displaystyle {\mathbf {x} }\;\leftrightarrow \;{\mathbf {x} }'\;\leftrightarrow \;{\mathbf {x} }''} y las líneas correspondientes {\displaystyle {\mathbf {l} }\;\leftrightarrow \;{\mathbf {l} }'\;\leftrightarrow \;{\mathbf {l} }''} que los atraviesan, son válidas las restricciones trilineales que se enumeran a continuación:

{\displaystyle ({\mathbf {l} }^{\prime t}\left[{\mathbf {T} }_{1},\;{\mathbf {T} }_{2},\;{\mathbf {T} }_{3}\right]{\mathbf {l} }'')[{\mathbf {l} }]_{\times }={\mathbf {0} }^{t}}{\displaystyle {\mathbf {l} }^{\prime t}\left(\sum _{i}x_{i}{\mathbf {T} }_{i}\right){\mathbf {l} }''=0}{\displaystyle {\mathbf {l} }^{\prime t}\left(\sum _{i}x_{i}{\mathbf {T} }_{i}\right)[{\mathbf {x} }'']_{\times }={\mathbf {0} }^{t}}{\displaystyle [{\mathbf {x} }']_{\times }\left(\sum _{i}x_{i}{\mathbf {T} }_{i}\right){\mathbf {l} }''={\mathbf {0} }}{\displaystyle [{\mathbf {x} }']_{\times }\left(\sum _{i}x_{i}{\mathbf {T} }_{i}\right)[{\mathbf {x} }'']_{\times }={\mathbf {0} }_{3\times 3}}

donde [\cdot]_{\times} denota la matriz de producto cruzado asimétrica asimétrica.

La ubicación de un punto en una tercera vista se puede determinar a partir de un par de puntos coincidentes en dos vistas utilizando solo el tensor trifocal de esas vistas. La transferencia de puntos describe este fenómeno, que también se aplica a las líneas y cónicas. La transferencia de curvas genéricas como cónicas es posible modelándolas primero como círculos osculantes en una curva diferencial local. Sin embargo, el problema de los tensores trifocales no calibrados sigue en el aire.

El caso estándar involucra correspondencias de seis puntos con tres soluciones.

En los últimos años se ha encontrado la solución al problema de calcular el tensor trifocal utilizando tan solo nueve correspondencias de líneas.

Se dice que la estimación calibrada del tensor trifocal es extremadamente desafiante y requiere correspondencias de cuatro puntos. El mismo método también demostró ser mínimo con el grado 216 para la situación combinada de correspondencias de tres puntos y correspondencias de una línea.

{Fin del capítulo 1}

Capítulo 2: Rango (álgebra lineal)

El rango de una matriz A es el número de dimensiones del espacio vectorial formado (o distribuido) por sus columnas en álgebra lineal. Por lo tanto, la no degeneración de las ecuaciones lineales y las transformaciones lineales almacenadas por A se pueden cuantificar en términos de su rango. El rango se puede entender de varias maneras. El rango de una matriz es una propiedad muy elemental.

El rango suele estar representado por los símbolos rank(A) o rk (A); El rango de una matriz se define en esta sección. Existe una amplia gama de significados potenciales, algunos de los cuales se exploran en Significados alternativos.

Si A es un conjunto, su rango de columna es el número de elementos en su espacio de columnas, y su rango de fila es el número de elementos en su espacio de filas.

En álgebra lineal, es un resultado de primer orden que el rango de una columna siempre sea igual al rango de una fila.

(Tres pruebas de este resultado se dan en § Pruebas de que rango de columna = rango de fila, a continuación). Considere esta suma (es decir, Contar el número de filas y columnas únicas en A da como resultado su rango.

Si una matriz tiene el mismo número de filas y columnas que la matriz más grande concebible de esas dimensiones, entonces se dice que tiene rango completo. Si una matriz no tiene rango completo, decimos que es deficiente en rango. Si una matriz tiene menos filas que columnas, decimos que tiene una deficiencia de rango.

El rango de un mapa lineal u operador \Phi se define como la dimensión de su imagen:

{\displaystyle \operatorname {rank} (\Phi ):=\dim(\operatorname {img} (\Phi ))}

donde {\displaystyle \dim } es la dimensión de un espacio vectorial, y {\displaystyle \operatorname {img} } es la imagen de un mapa.

La matriz

{\displaystyle {\begin{bmatrix}1&0&1\\-2&-3&1\\3&3&0\end{bmatrix}}}

tiene rango 2; Hay al menos dos columnas linealmente independientes (la primera y la segunda), por lo tanto, el rango es al menos 2, pero el rango no es mayor que 3 ya que la tercera columna es una combinación lineal de las dos primeras (la primera menos la segunda).

La matriz

{\displaystyle A={\begin{bmatrix}1&1&0&2\\-1&-1&0&-2\end{bmatrix}}}

tiene rango 1; hay algunas columnas, por lo que el rango es distinto de cero; Sin embargo, dos columnas cualesquiera dependen linealmente la una de la otra. En una línea similar, la inversión

{\displaystyle A^{\mathrm {T} }={\begin{bmatrix}1&-1\\1&-1\\0&0\\2&-2\end{bmatrix}}}

en el primer lugar, A.

De hecho, dado que la transposición de A tiene los mismos vectores columna que los vectores fila de A, decir que una matriz tiene el mismo rango que su transposición es comparable a decir que su rango columna es el mismo que su rango fila, es decir, rango(A) = rango(AT).

Encontrar el rango de una matriz generalmente implica transformarla en una forma más simple, llamada forma escalonada de fila, utilizando solo operaciones de fila simples. Debido a su invertibilidad, las operaciones de fila no alteran el espacio de fila (y, por lo tanto, el rango de fila) y, en su lugar, traducen el espacio de columna a un espacio isomórfico (por lo tanto, no cambian el rango de columna). La forma escalonada de filas hace que el rango sea igual a la suma de los números de pivotes (o columnas básicas) más el número de filas distintas de cero.

Considere la matriz A, que se puede escribir como

{\displaystyle A={\begin{bmatrix}1&2&1\\-2&-3&1\\3&5&0\end{bmatrix}}}

se puede escribir en forma compacta de hileras utilizando las siguientes operaciones básicas de hileras:

{\displaystyle {\begin{aligned}{\begin{bmatrix}1&2&1\\-2&-3&1\\3&5&0\end{bmatrix}}&\xrightarrow {2R_{1}+R_{2}\to R_{2}} {\begin{bmatrix}1&2&1\\0&1&3\\3&5&0\end{bmatrix}}\xrightarrow {-3R_{1}+R_{3}\to R_{3}} {\begin{bmatrix}1&2&1\\0&1&3\\0&-1&-3\end{bmatrix}}\\&\xrightarrow {R_{2}+R_{3}\to R_{3}} \,\,{\begin{bmatrix}1&2&1\\0&1&3\\0&0&0\end{bmatrix}}\xrightarrow {-2R_{2}+R_{1}\to R_{1}} {\begin{bmatrix}1&0&-5\\0&1&3\\0&0&0\end{bmatrix}}~.\end{aligned}}}

Como resultado, el rango de la matriz A es 2, ya que la matriz final (en forma escalonada de filas) tiene dos filas que no son 0.

La eliminación gaussiana básica (descomposición LU) puede ser inestable cuando se emplea en cálculos de coma flotante en computadoras; En su lugar, se recomienda una descomposición que revele el rango. La descomposición de valores singulares (SVD) es una alternativa poderosa, aunque existen alternativas más baratas que son aún más robustas numéricamente que la eliminación gaussiana, como la descomposición QR con pivote (la llamada factorización QR reveladora de rango). Para la determinación numérica del rango se necesita una elección práctica que dependa tanto de la matriz como de la aplicación, como un criterio para seleccionar cuándo un valor, como un valor singular del SVD, debe considerarse como cero.

En álgebra lineal, la igualdad de los rangos de columna y fila de una matriz es una propiedad fundamental.

Se han proporcionado numerosos ejemplos.

Uno de los más elementales ha sido esbozado en § Rango a partir de formas escalonadas de fila.

A continuación se presenta una prueba alternativa:

Es fácil demostrar que una operación de fila básica no tiene ningún efecto en la clasificación de fila ni en la clasificación de columna. Debido a la naturaleza de la eliminación gaussiana, que implica solo operaciones de fila simples, el rango de fila y el rango de columna de una matriz se conservan en su versión escalonada de fila reducida. La matriz se puede transformar en una matriz de identidad realizando algunas operaciones de columna más elementales, como agregar una fila de ceros a cada lado. Una vez más, esto no tiene ningún efecto en el orden de las filas o columnas. El número de matrices con entradas distintas de cero es directamente proporcional a la clasificación de cada fila y columna.

Se proporcionan dos pruebas más de este resultado. El primero es independiente del campo y emplea solo características elementales de combinaciones lineales de vectores. Wardlaw es la base de la prueba (2005).

Sea A una  matriz m × n.

Supongamos que r es el rango de columna de A, y sea c1, .., cr cualquier base para el espacio de columnas de A.

Colóquelos como las columnas de una matriz m × r C.

Todas y cada una de las columnas de A se pueden escribir como una combinación lineal de las columnas r de C.

Esto significa que hay una matriz r × n R tal que A = CR.

R es la matriz cuya i-ésima columna está formada por los coeficientes que dan la i-ésima columna de A como una combinación lineal de las r columnas de C.

Para reformular, R es la matriz que contiene los múltiplos de las bases del espacio columna de A (que es C), para completar la letra A.

Ahora, la combinación lineal de las r filas de R da como resultado cada fila de A.

Por lo tanto, las filas en R abarcan tanto el espacio de filas A como el B, de acuerdo con el lema de intercambio de Steinitz, r es el rango máximo de filas que A puede tener.

Es evidencia de que A tiene un rango de fila más bajo que un rango de columna.

Cualquier matriz puede beneficiarse de esta conclusión, entonces, use la solución para la transposición de A.

Cuando se transpone A, su rango de fila se convierte en su rango de columna, y su rango de columna se convierte en su rango de fila, esto demuestra la desigualdad inversa y nos da que el rango de fila y el rango de columna de A son iguales.

(Para obtener un concepto relacionado, consulte Factorización de rangos).

Sea A una  matriz m × n con entradas en los números reales cuyo rango de fila es r.

Por lo tanto, A tiene r filas, por lo tanto, r es la dimensión de su espacio de filas.

Sea x1, x2, ..., xr la base del espacio de filas de A.

Afirmamos que los vectores Ax1, Ax2, ..., Axr son linealmente independientes.

Para entenderlo, consideremos una relación lineal homogénea que involucra estos vectores con coeficientes escalares c1, c2, ..., cr:

{\displaystyle 0=c_{1}A\mathbf {x} _{1}+c_{2}A\mathbf {x} _{2}+\cdots +c_{r}A\mathbf {x} _{r}=A(c_{1}\mathbf {x} _{1}+c_{2}\mathbf {x} _{2}+\cdots +c_{r}\mathbf {x} _{r})=A\mathbf {v} ,}

donde v = c1x1 + c2x2 + ⋯ + crxr.

Notamos dos cosas: una combinación lineal de vectores en el espacio fila de A se denota por v, por lo que v debe existir en las filas A, además (b), porque Av = 0, Cada vector fila de A y el vector v son ortogonales entre sí, por lo tanto, es perpendicular a cada vector en el espacio fila de A.

Inferiendo que v es ortogonal a sí mismo a partir de (a) y (b), que v = 0 o, según el diccionario, v,

{\displaystyle c_{1}\mathbf {x} _{1}+c_{2}\mathbf {x} _{2}+\cdots +c_{r}\mathbf {x} _{r}=0.}

Pero recordemos que los xi se eligieron como base del espacio de filas de A y, por lo tanto, son linealmente independientes.

Esto implica que c1 =