Flujo óptico: Explorando patrones visuales dinámicos en visión por computadora

Por Fouad Sabry

Qué es el flujo óptico

El flujo óptico o flujo óptico es el patrón de movimiento aparente de objetos, superficies y bordes en una escena visual causado por el movimiento relativo entre un observador y una escena. El flujo óptico también se puede definir como la distribución de velocidades aparentes de movimiento del patrón de brillo en una imagen.

Cómo se beneficiará

(I) Insights y validaciones sobre los siguientes temas:

Capítulo 1: Flujo óptico

Capítulo 2: Mínimos cuadrados

Capítulo 3: Óptica de Fourier

Capítulo 4: Segmentación de imágenes

Capítulo 5: Método Lucas?Kanade

Capítulo 6: Método Horn?Schunck

Capítulo 7: Correlación y seguimiento de imágenes digitales

Capítulo 8: Reconstrucción 3D

Capítulo 9: Odometría visual

Capítulo 10: Detector de esquinas Harris

(II) Respondiendo al público arriba preguntas sobre el flujo óptico.

(III) Ejemplos del mundo real sobre el uso del flujo óptico en muchos campos.

Para quién es este libro

Profesionales, estudiantes de pregrado y posgrado, entusiastas, aficionados y aquellos que quieran ir más allá del conocimiento o información básica para cualquier tipo de Flujo Óptico.

 

 

• Idioma: Español
• Editorial: Mil Millones De Conocimientos [Spanish]
• Fecha de lanzamiento: 13 may 2024

Vista previa del libro

Capítulo 1: Flujo óptico

Cuando un observador se mueve en relación con una escena, los objetos, superficies y bordes observados parecen moverse en un patrón específico conocido como flujo óptico o flujo óptico.

En la década de 1940, el psicólogo estadounidense James J. Gibson introdujo el concepto de flujo óptico para describir el estímulo visual proporcionado a los animales en movimiento.

Las secuencias de imágenes ordenadas se pueden utilizar para estimar el movimiento en forma de velocidades de imagen continuas o desplazamientos de imágenes individuales. Para comparar la eficacia de varios métodos de flujo óptico, John L. Barron, David J. Fleet y Steven Beauchemin presentan un análisis exhaustivo. Se enfatiza la precisión y la densidad de las mediciones.

Los métodos de flujo óptico tratan de calcular el movimiento entre dos fotogramas de imagen que se toman a veces t y t+\Delta t en cada posición de vóxel.

Las técnicas diferenciales se denominan así porque aproximan la señal de la imagen con funciones locales utilizando series de Taylor; es decir, para ello, toman derivadas parciales en el espacio y el tiempo.

Para un caso (2D + t)-dimensional (los casos 3D o (x,y,t) n-D son similares) un vóxel en la ubicación I(x,y,t) con intensidad \Delta x se habrá movido en \Delta y , y \Delta t entre los dos fotogramas de la imagen, y se puede dar la siguiente limitación en la fluctuación de la intensidad de la luz:

I(x,y,t) = I(x+\Delta x, y + \Delta y, t + \Delta t)

Suponiendo que el desplazamiento es insignificante, la restricción de imagen en la I(x,y,t) serie de Taylor se puede desarrollar para obtener:

{\displaystyle I(x+\Delta x,y+\Delta y,t+\Delta t)=I(x,y,t)+{\frac {\partial I}{\partial x}}\,\Delta x+{\frac {\partial I}{\partial y}}\,\Delta y+{\frac {\partial I}{\partial t}}\,\Delta t+{}}

Términos de orden superior

Dado que una linealización se logra a través del truncamiento de los términos de orden superior, se deduce que:

\frac{\partial I}{\partial x}\Delta x+\frac{\partial I}{\partial y}\Delta y+\frac{\partial I}{\partial t}\Delta t = 0

o bien, dividiendo por \Delta t ,

{\displaystyle {\frac {\partial I}{\partial x}}{\frac {\Delta x}{\Delta t}}+{\frac {\partial I}{\partial y}}{\frac {\Delta y}{\Delta t}}+{\frac {\partial I}{\partial t}}{\frac {\Delta t}{\Delta t}}=0}

lo que da como resultado

\frac{\partial I}{\partial x}V_x+\frac{\partial I}{\partial y}V_y+\frac{\partial I}{\partial t} = 0

donde V_x,V_y son las x y y componentes de la velocidad o flujo óptico de I(x,y,t) y \tfrac{\partial I}{\partial x} , \tfrac{\partial I}{\partial y} y \tfrac{\partial I}{\partial t} son las derivadas de la imagen en (x,y,t) las direcciones correspondientes.

I_{x} , I_y y I_t se puede escribir para los derivados en lo siguiente.

Así:

I_xV_x+I_yV_y=-I_t

o

{\displaystyle \nabla I\cdot {\vec {V}}=-I_{t}}

Dado que faltan dos variables en esta ecuación, es intratable. El problema de apertura es un problema común en los algoritmos de flujo óptico. El flujo óptico se puede calcular con un conjunto diferente de ecuaciones que están determinadas por una restricción adicional. La estimación del flujo real requiere suposiciones adicionales hechas por todos los métodos de flujo óptico.

Correlación de fase: la inversa del espectro de potencia cruzada en forma normalizada

La minimización de la suma de las diferencias al cuadrado o la suma de las diferencias absolutas, o la optimización de la correlación cruzada normalizada, son ejemplos de métodos basados en bloques.

Las derivadas parciales de la señal de imagen y/o del campo de flujo buscado, así como las derivadas parciales de orden superior, se pueden utilizar en métodos diferenciales para estimar el flujo óptico:

El enfoque de Lucas-Kanade, que utiliza imágenes parcheadas y un modelo afín del campo de flujo, La técnica de Horn-Schunck implica la maximización de un funcional que tiene en cuenta los residuos de una restricción de constancia de brillo y un término de regularización específico que caracteriza la suavidad deseada del campo de flujo.

La técnica de Buxton-Buxton se basa en un modelo de movimiento de borde aplicado a una serie de imágenes.

Flujo óptico grueso por correlación, como en el método de Black-Jepson

Varias modificaciones y extensiones de Horn-Schunck que hacen uso de términos de datos adicionales y términos de suavidad constituyen la categoría más amplia de métodos variacionales generales.

Utilizando técnicas de optimización discreta, primero cuantificamos el espacio de búsqueda y, a continuación, abordamos la coincidencia de imágenes etiquetando cada píxel para que la deformación resultante minimice la distancia entre las imágenes de origen y de destino. KITTI y Sintel son otros dos conjuntos de datos de referencia ampliamente utilizados.

Una de las áreas de estudio más importantes en el flujo óptico es la estimación de movimiento y la compresión de vídeo. A pesar de su semejanza superficial con un campo de movimiento denso derivado de las técnicas de estimación de movimiento, el flujo óptico es el estudio no solo de la determinación del campo de flujo óptico, sino también de su uso en la estimación de la naturaleza y estructura 3D de la escena, así como el movimiento 3D de los objetos y el observador en relación con la escena.  y la gran mayoría de estas estimaciones se basan en la propia imagen. Jacobiano.

Piense en una secuencia de cinco fotogramas en la que una pelota viaja desde la parte inferior izquierda hasta la parte superior derecha de la pantalla. Utilizando métodos de estimación de movimiento, podemos deducir que la bola viaja en dirección vertical y lateral analizando los fotogramas de la secuencia. La secuencia se ha descrito tan minuciosamente como es necesario para la compresión de vídeo (como MPEG). En la visión artificial, sin embargo, saber si la pelota o el observador se está moviendo hacia la derecha es una información crucial pero desconocida. Incluso si un fondo fijo y estampado estuviera presente en las cinco imágenes, todavía no podríamos decir con certeza que la pelota estaba viajando en dirección a la derecha, porque el patrón podría estar infinitamente lejos de la cámara.

Hay varios diseños de sensores de flujo óptico disponibles. Un chip sensor de imagen junto con un procesador que ejecuta un algoritmo de flujo óptico es una configuración posible. Un chip de visión es una configuración alternativa; Es un circuito integrado que contiene tanto el sensor de imagen como el procesador en la misma matriz. Un ratón óptico con un sensor de ratón óptico genérico es un buen ejemplo de este tipo de dispositivo. Para lograr un cálculo rápido del flujo óptico con un bajo consumo de corriente, los circuitos de procesamiento a veces se implementan con circuitos analógicos o de señal mixta.

Los sensores de flujo óptico podrían beneficiarse de los recientes desarrollos en ingeniería neuromórfica, que se utilizan para crear circuitos que reaccionan al flujo óptico. La inspiración para estos circuitos podría encontrarse en los circuitos neuronales biológicos que también reaccionan al flujo óptico.

Como componente de detección principal para rastrear el movimiento del mouse a través de una superficie, los sensores de flujo óptico encuentran una aplicación generalizada en ratones ópticos de computadora.

En aplicaciones robóticas, los sensores ópticos de flujo se utilizan normalmente para medir el movimiento visual o el movimiento relativo entre el robot y otros objetos en su vecindad inmediata. Otra área activa de estudio es la integración de sensores ópticos de flujo en vehículos aéreos no tripulados (UAV) para su uso en el mantenimiento de la estabilidad de vuelo y la navegación alrededor de obstáculos.

{Fin del capítulo 1}

Capítulo 2: Mínimos cuadrados

El método de mínimos cuadrados es un enfoque estándar en el análisis de regresión que se utiliza para aproximar la solución de sistemas sobredeterminados (conjuntos de ecuaciones en los que hay más ecuaciones que incógnitas). Esto se logra minimizando la suma de los cuadrados de los residuos hechos en los resultados de cada ecuación individual. Un residuo es la diferencia entre un valor observado y el valor ajustado proporcionado por un modelo.

El uso más significativo se encuentra en el campo del ajuste de datos. Cuando el problema tiene incertidumbres sustanciales en la variable independiente (la variable x), los métodos de regresión simple y de mínimos cuadrados tienen problemas; En tales casos, se puede considerar la metodología requerida para ajustar los modelos de errores en variables en lugar de la de los mínimos cuadrados. [Caso en cuestión:] cuando el problema tiene incertidumbres sustanciales en la variable independiente (la variable x), los métodos de regresión simple y de mínimos cuadrados tienen problemas.

Hay dos tipos de problemas que se engloban bajo el título de mínimos cuadrados: mínimos cuadrados lineales u ordinarios y mínimos cuadrados no lineales. La distinción entre los dos tipos se basa en si los residuos son lineales o no en todas las incógnitas. En el análisis de regresión estadística, uno de los problemas a resolver se denomina problema de mínimos cuadrados lineales, y tiene una solución de forma cerrada. El método de refinamiento iterativo se usa a menudo para resolver el problema no lineal. Durante cada iteración, el sistema se modela aproximadamente a partir de uno lineal y, como resultado, el cálculo fundamental es el mismo para ambos escenarios.

La varianza en una predicción de la variable dependiente en función de la variable independiente y las desviaciones de la curva ajustada se describen mediante mínimos cuadrados polinómicos.

Cuando las observaciones provienen de una familia exponencial con identidad como sus estadísticas naturales suficientes y se satisfacen las condiciones leves (por ejemplo, para distribuciones normales, exponenciales, de Poisson y binomiales), las estimaciones estandarizadas de mínimos cuadrados y las estimaciones de máxima verosimilitud son las mismas. Este es el caso de todas las familias exponenciales con la identidad como su estadística natural suficiente. La técnica de mínimos cuadrados es susceptible de desarrollarse por derecho propio como método de