Estimación de movimiento: Avances y aplicaciones en visión por computadora

Por Fouad Sabry

Qué es la estimación de movimiento

En visión por computadora y procesamiento de imágenes, la estimación de movimiento es el proceso de determinar vectores de movimiento que describen la transformación de una imagen 2D a otra; generalmente de fotogramas adyacentes en una secuencia de vídeo. Es un problema mal planteado ya que el movimiento ocurre en tres dimensiones (3D), pero las imágenes son una proyección de la escena 3D en un plano 2D. Los vectores de movimiento pueden referirse a la imagen completa o a partes específicas, como bloques rectangulares, parches de formas arbitrarias o incluso por píxel. Los vectores de movimiento pueden representarse mediante un modelo traslacional o muchos otros modelos que pueden aproximarse al movimiento de una cámara de video real, como rotación y traslación en las tres dimensiones y zoom.

Cómo lo harás beneficio

(I) Insights y validaciones sobre los siguientes temas:

Capítulo 1: Estimación_de_movimiento

Capítulo 2: Compensación_de_movimiento

Capítulo 3: Algoritmo_de_coincidencia de bloques

Capítulo 4: H.261

Capítulo 5: H.262/MPEG-2_Part_2

Capítulo 6: Codificación_de_vídeo_avanzada

Capítulo 7: Compensación_de_movimiento_global

Capítulo 8: Coincidencia_de_bloques_y_filtrado_3D

Capítulo 9: Tipos_de_imagen_de_compresión_de_vídeo

Capítulo 10: Superresolución_de_vídeo

(II) Respondiendo a las principales preguntas del público sobre la estimación de movimiento.

(III) Ejemplos del mundo real para el uso de la estimación de movimiento en muchos campos.

Para quién es este libro

Profesionales, estudiantes de pregrado y posgrado, entusiastas, aficionados y aquellos que quieran ir más allá del conocimiento o la información básica para cualquier tipo de estimación de movimiento.

 

 

• Idioma: Español
• Editorial: Mil Millones De Conocimientos [Spanish]
• Fecha de lanzamiento: 12 may 2024

Vista previa del libro

Capítulo 1: Estimación de movimiento

La estimación de la cantidad de movimiento entre dos imágenes 2D, normalmente a partir de fotogramas sucesivos en una secuencia de vídeo, se conoce como estimación de movimiento. El movimiento se produce en tres dimensiones, pero las imágenes son proyecciones de la escena tridimensional en un plano bidimensional, lo que hace que este sea un problema mal planteado. La estimación de movimiento se puede realizar en toda la imagen (estimación de movimiento global) o en regiones más pequeñas o píxeles individuales. El modelo de traslación es solo uno de los muchos que se pueden usar para representar los vectores de movimiento, que pueden incluir cosas como la rotación, la traslación en las tres dimensiones y el acercamiento y alejamiento.

La estimación de movimiento y el flujo óptico a menudo se usan indistintamente, pero significan lo mismo. El registro de imágenes y la correspondencia estereoscópica también se relacionan de esta manera. En realidad, cada una de estas expresiones describe un método para localizar entidades coincidentes en fotografías o fotogramas de vídeo sucesivos. Los puntos en dos fotografías (fotogramas) de la misma escena o elemento del mundo real son típicamente el mismo punto en el espacio y el tiempo. La métrica de coincidencia, una medida de la similitud de dos puntos de imagen, debe definirse antes de que pueda comenzar la estimación de movimiento. No hay una respuesta universalmente correcta aquí; Más bien, la métrica de coincidencia óptima dependerá del propósito del movimiento estimado y del enfoque de optimización empleado durante la fase de estimación.

Basándose en la ubicación del mismo macrobloque o de uno comparable en una imagen diferente, conocida como imagen de referencia, se crea un vector de movimiento para representar el macrobloque en cuestión en la imagen original.

De acuerdo con el estándar H.264/MPEG-4 AVC, el vector de movimiento se define como:

Las coordenadas de la imagen decodificada se desplazan con respecto a las coordenadas de la imagen de referencia a través de un vector bidimensional llamado vector de movimiento, que se utiliza para la predicción intermedia.

Se pueden utilizar tanto los enfoques basados en píxeles («directos») como los basados en características («indirectos») para localizar vectores de movimiento («indirectos»). Se escribieron dos artículos, uno de cada lado de una controversia bien conocida, en un esfuerzo por llegar a una resolución.

Algoritmo para hacer coincidir bloques

Técnicas basadas en la correlación de fases y en el dominio de la frecuencia

Algoritmos recursivos de píxeles

Flujo óptico

Las técnicas indirectas emplean características como la detección de esquinas para encontrar coincidencias en fotogramas adyacentes, normalmente mediante la aplicación de una función estadística en una región pequeña o grande. El objetivo de la función estadística es filtrar las coincidencias de movimiento erróneas.

RANSAC es un ejemplo de una función estadística útil.

Se puede argumentar que la definición de los criterios de coincidencia es un paso necesario en prácticamente cualquier enfoque. La única distinción real es entre comparar primero cada píxel (como con el cuadrado de la diferencia) y luego resumir sobre una región de imagen local (como con los enfoques basados en características) o viceversa (bloquear el movimiento base y el movimiento basado en filtros). Un nuevo método de coincidencia de criterios funciona resumiendo primero una región de imagen local en cada ubicación de píxel (utilizando alguna transformación de características como la transformada laplaciana) y, a continuación, comparando los dos conjuntos de resúmenes. Si bien algunos criterios de coincidencia pueden eliminar pares de elementos de datos que realmente no pertenecen juntos mientras tienen una puntuación de coincidencia alta, otros criterios de coincidencia no pueden.

En la visión artificial y el procesamiento de imágenes, la estimación del movimiento afín se utiliza para calcular una aproximación aproximada del movimiento relativo de dos imágenes o fotogramas. Supone que el movimiento se puede representar mediante una transformación lineal seguida de una traslación y rotación (transformación afín).

La compensación de movimiento es el proceso de utilizar los vectores de movimiento de una imagen para generar una nueva transformación.

La estimación y compensación de movimiento son componentes esenciales de la compresión de vídeo porque permiten el uso de redundancia temporal. Casi todos los estándares de codificación de vídeo, incluido el HEVC más actual, utilizan la estimación y compensación de movimiento basada en bloques.

Reconstruir la geometría 3D de una escena a partir de imágenes de cámara en movimiento es de lo que se trata la localización y el mapeo simultáneos.

{Fin del capítulo 1}

Capítulo 2: Compensación de movimiento

Al predecir el siguiente fotograma de un vídeo en función de los fotogramas anteriores y posteriores, la compensación de movimiento es una técnica algorítmica que se utiliza para tener en cuenta el movimiento de la cámara y/o del objeto. Se utiliza para crear archivos MPEG-2 y otros formatos de compresión de vídeo mediante la codificación de datos de vídeo. Con la transformación de una imagen de referencia a la imagen actual, la compensación de movimiento proporciona una descripción de la imagen. El período temporal de la imagen a la que se hace referencia no está limitado. La eficiencia de compresión mejora cuando se pueden sintetizar nuevas imágenes a partir de las antiguas con alta precisión.

En los estándares de codificación de vídeo, la compensación de movimiento y la transformada discreta de coseno son las dos técnicas de compresión de vídeo (DCT) más importantes. La codificación híbrida de compensación de movimiento en bloque (BMC) o DCT con compensación de movimiento (MC-DCT) se usa comúnmente en la mayoría de los estándares de codificación de video, como los formatos H.26x y MPEG (MC DCT).

La corrección de movimiento aprovecha el hecho de que la cámara o un objeto en la posición cambiante del fotograma suele ser la única diferencia entre los fotogramas sucesivos de una película. Esto significa que es muy probable que los datos utilizados para representar un fotograma de un clip de vídeo sean idénticos a los datos utilizados para representar el fotograma siguiente.

Cuando se utiliza la compensación de movimiento, una secuencia de vídeo tendrá unos pocos fotogramas completos (de referencia) y los fotogramas restantes solo contendrán los datos necesarios para convertir uno en el siguiente.

A continuación se muestra una descripción gráfica simplificada de cómo funciona la compensación de movimiento. Se tomaron dos fotogramas consecutivos de la película Elephants Dream. Debido a que incluye menos información, la diferencia inferior (con compensación de movimiento) entre dos fotogramas se comprime mucho mejor que las otras imágenes. Por lo tanto, los datos necesarios para codificar una trama compensada serán significativamente menores que los necesarios para codificar una trama diferente. Esto también significa que también es posible codificar la información utilizando una imagen diferente a un costo de menor eficiencia de compresión, pero ahorrando complejidad de codificación sin codificación compensada por movimiento; De hecho, la codificación con compensación de movimiento (junto con la estimación de movimiento, la compensación de movimiento) ocupa más del 90 por ciento de la complejidad de la codificación.

Las imágenes en MPEG se anticipan hacia atrás desde los fotogramas anteriores (fotogramas P) o hacia delante desde