Reconstrucción tridimensional multivista: Técnicas avanzadas de percepción espacial en visión por computadora

Por Fouad Sabry

Qué es la reconstrucción tridimensional multivista

La reconstrucción 3D a partir de múltiples imágenes es la creación de modelos tridimensionales a partir de un conjunto de imágenes. Es el proceso inverso a la obtención de imágenes 2D a partir de escenas 3D.

Cómo te beneficiarás

(I) Insights y validaciones sobre los siguientes temas:

Capítulo 1: Reconstrucción 3D a partir de múltiples imágenes

Capítulo 2: Matriz fundamental (Visión por computadora)

Capítulo 3: Triangulación (Visión por computadora)

Capítulo 4: Perspectiva y punto

Capítulo 5: Unión de imágenes

Capítulo 6: Modelo de contorno activo

Capítulo 7: Ajuste del paquete

Capítulo 8: Transformación de características invariantes de escala

Capítulo 9: Reconocimiento de objetos 3D

Capítulo 10: Calibración automática de la cámara

(II) Respondiendo a las principales preguntas del público sobre la reconstrucción tridimensional de múltiples vistas.

(III) Ejemplos del mundo real para el uso de la reconstrucción tridimensional de múltiples vistas en muchos campos.

¿Quién? El libro es para

Profesionales, estudiantes de pregrado y posgrado, entusiastas, aficionados y aquellos que quieran ir más allá del conocimiento o la información básicos para cualquier tipo de reconstrucción tridimensional multivista.

 

 

• Idioma: Español
• Editorial: Mil Millones De Conocimientos [Spanish]
• Fecha de lanzamiento: 14 may 2024

Vista previa del libro

Capítulo 1: Reconstrucción 3D a partir de múltiples imágenes

El proceso de construcción de un modelo 3D a partir de una colección de fotos en 2D se conoce como reconstrucción en 3D. Es la técnica mediante la cual las escenas 3D se convierten en imágenes 2D.

Las imágenes son esencialmente proyecciones de escenas tridimensionales en un plano bidimensional, donde se pierde la información de profundidad. Para un punto de imagen determinado, el punto 3D coincidente debe estar a lo largo de la línea de visión del espectador. No se puede saber qué punto de esta línea corresponde al punto de la imagen basándose en una sola imagen. Si tenemos acceso a dos fotos, podemos determinar las coordenadas 3D de un punto encontrando la ubicación donde se conectan los dos rayos de proyección. La triangulación describe este método. Las relaciones entre diferentes puntos de vista son cruciales, ya que proporcionan el conocimiento de que los pares de puntos se correlacionan entre sí porque debe haber alguna estructura subyacente entre ellos, y que esta estructura está a su vez relacionada con las poses y la calibración de la cámara.

En las últimas décadas se ha producido un cambio de enfoque que se ha alejado de los gráficos 2D y se ha acercado al contenido 3D para gráficos por ordenador, realidad virtual y comunicación. Muchos de los métodos actuales para crear modelos 3D se basan en hardware caro y especializado (como equipos estéreo) que no es necesario para la mayoría de las aplicaciones existentes. La necesidad de llenar este vacío impulsa la adopción de tecnologías de imagen digital (como una cámara). Tomasi y Kanade propusieron una técnica que se utilizaba en la época. Para obtener datos 3D de las secuencias de vídeo, utilizaron un método de factorización afín. Sin embargo, un defecto importante de este enfoque es que se basa en la proyección ortográfica.

Hay una secuencia específica de operaciones que se deben realizar para transformar una colección de fotos 2D en un modelo 3D:

Hay parámetros internos y externos involucrados en la calibración de la cámara, sin los cuales ninguna configuración algorítmica puede producir resultados precisos. La calibración y la determinación de la profundidad están separadas por una línea continua, ya que la calibración es necesaria para la mayoría de las determinaciones de profundidad.

La parte más difícil de este método es estimar la profundidad, la tercera dimensión que siempre está ausente en una imagen dada. El desafío clave es el problema de correspondencia, que implica ubicar entidades coincidentes en dos imágenes de modo que se puedan triangular sus coordenadas 3D.

Una vez que tenga muchos mapas de profundidad, puede fusionarlos mediante el registro para obtener una malla final mediante cálculos de profundidad y proyecciones de cámara. Con el fin de proporcionar varias perspectivas, se utilizará la calibración de la cámara para determinar cuál de las numerosas mallas generadas por los mapas de profundidad se puede combinar para formar una más grande.

Aunque es posible una malla 3D terminada en la etapa de aplicación de material, es más común desear agregar el color de las fotos de origen en este punto. Segmentar el modelo por material, como cualidades especulares y difusas, es otra opción. Esto se puede lograr de varias maneras, desde proyectar aleatoriamente las imágenes en la malla hasta mezclar las texturas para obtener una súper resolución.

Dado un grupo de puntos 3D visualizados por N cámaras con matrices \{P^{i}\}_{{i=1\ldots N}} , se definen m_{j}^{i}\simeq P^{i}w_{j} como las coordenadas homogéneas de la proyección del j^{th} punto sobre la i^{th} cámara.

El problema de reconstrucción se puede cambiar a: dado el grupo de coordenadas de píxeles \{m_{j}^{i}\} , encuentre el conjunto correspondiente de matrices de cámara \{P^{i}\} y la estructura de la escena \{w_{j}\} tal que

m_{j}^{i}\simeq P^{i}w_{j} (1)

Generalmente, sin más límites, una reconstrucción proyectiva es con lo que terminaremos.

Si \{P^{i}\} y \{w_{j}\} satisface (1), \{P^{i}T\} y \{T^{{-1}}w_{j}\} satisfará (1) con 4 × 4 matrices no singulares T cualesquiera.

Sin ningún conocimiento previo, una reconstrucción proyectiva puede ser calculada únicamente por la correspondencia de puntos.

El paso inicial de la autocalibración, también conocida como autocalibración, es la recuperación del movimiento y los parámetros de la cámara a través de la rigidez. Entonces los cálculos estructurales se vuelven simples. Aquí hay dos enfoques para poner este plan en acción:

Las propiedades internas de la cámara se pueden calcular con un mínimo de tres desplazamientos utilizando un conjunto de ecuaciones polinómicas desarrolladas por Kruppa, La matriz K=AA^{{\top }} es desconocida en las ecuaciones de Kruppa, Matriz de los coeficientes de Kruppa.

Es sencillo calcular los parámetros intrínsecos utilizando K y la técnica de factorización de Cholesky:

K={\begin{bmatrix}k_{1}&k_{2}&k_{3}\\k_{2}&k_{4}&k_{5}\\k_{3}&k_{5}&1\\\end{bmatrix}}

Una nueva versión más simple fue presentada recientemente por Hartley.

F Que se escriba como F=DUV^{\top } , donde

Después de esto, se reformulan las ecuaciones de Kruppa (la derivación se puede encontrar en )

La clave de esta estrategia es el estricto cumplimiento de las restricciones.

Crear un modelo de precios, que tenga en cuenta las matrices básicas como argumentos y los parámetros intrínsecos como entrada.

{\displaystyle {F}_{ij}} se define como la matriz fundamental, {A}_{i} y {A}_{j} como matrices de parámetros intrínsecos.

Recientemente se han propuesto nuevos enfoques basados en la idea de estratificación. Actualice esta reconstrucción proyectiva a una reconstrucción euclidiana utilizando todas las restricciones disponibles, a partir de una estructura proyectiva que se pueda calcular utilizando solo correspondencias. Esto permite que el problema se divida en partes manejables, cada una de las cuales se puede examinar en un nivel diferente (proyectivo, afín o euclidiano) dependiendo del número de restricciones disponibles.

Normalmente, pensamos en el mundo como un espacio euclidiano tridimensional. Toda la estructura euclidiana del espacio 3D no se puede utilizar en todas las situaciones. La geometría proyectiva es la más simple, seguida de la geometría afín (una capa intermedia) y luego la geometría euclidiana (la más compleja). Una serie de transformaciones proyectivas (una homografía) se encuentra en el estrato proyectivo, una serie afín de transformaciones se encuentra en el estrato afín y una serie euclidiana de transformaciones se encuentra en el estrato euclidiano.

Digamos que tenemos dos o más cámaras de perspectiva mirando la misma escena, y conocemos las correspondencias entre las ubicaciones visibles en cada imagen.

Sin embargo, en la práctica, el problema de la coincidencia es crucial para la visión por computadora, pero también muy difícil de resolver.

Aquí, suponemos que n los puntos 3D