Detector de esquinas Harris: Revelando la magia de la detección de características de imagen

Por Fouad Sabry

¿Qué es el detector de esquinas Harris?

El detector de esquinas de Harris es un operador de detección de esquinas que se usa comúnmente en algoritmos de visión por computadora para extraer esquinas e inferir características de una imagen. Fue introducido por primera vez por Chris Harris y Mike Stephens en 1988 tras la mejora del detector de esquinas de Moravec. En comparación con su predecesor, el detector de esquinas de Harris tiene en cuenta el diferencial de la puntuación de las esquinas con referencia directa a la dirección, en lugar de utilizar parches cambiantes para cada ángulo de 45 grados, y ha demostrado ser más preciso al distinguir entre bordes y esquinas. Desde entonces, se ha mejorado y adoptado en muchos algoritmos para preprocesar imágenes para aplicaciones posteriores.

Cómo te beneficiarás

(I) Insights y validaciones sobre los siguientes temas:

Capítulo 1: Detector de esquinas Harris

Capítulo 2: Detección de esquinas

Capítulo 3: Estructura tensor

Capítulo 4: Detector de región afín de Harris

Capítulo 5: Método Lucas-Kanade

Capítulo 6: Matriz de Hesse

Capítulo 7: Aprendizaje de características geométricas

Capítulo 8: Densidad tensorial

Capítulo 9: Método predictor-corrector de Mehrotra

Capítulo 10: Operador discreto de Laplace

(II) Respondiendo a las principales preguntas del público sobre el detector de esquinas Harris.

(III) Ejemplos del mundo real para el uso del detector de esquinas Harris en muchos campos.

Para quién es este libro

Profesionales, estudiantes de pregrado y posgrado, entusiastas, aficionados y aquellos que quieran ir más allá del conocimiento o información básica para cualquier tipo de detector de esquinas Harris.

 

• Idioma: Español
• Editorial: Mil Millones De Conocimientos [Spanish]
• Fecha de lanzamiento: 14 may 2024

Vista previa del libro

Capítulo 1: Detector de esquinas Harris

Comúnmente empleado en algoritmos de visión por computadora para la extracción de esquinas y la inferencia de características, el detector de esquinas Harris es un tipo de operador de detección de esquinas. Chris Harris y Mike Stephens lo lanzaron inicialmente en 1988, después de refinar el detector de esquinas de Moravec. Desde entonces, se ha perfeccionado e implementado en una amplia variedad de algoritmos utilizados para preparar imágenes para su uso en otros contextos.

Una esquina es una ubicación en la que se encuentran dos aristas tangenciales principales. Una forma de pensar en una esquina es como el punto de encuentro de dos bordes, donde un borde representa un cambio distintivo en el valor tonal dentro de una imagen. Las características importantes de la imagen, o puntos de interés, son esquinas porque permanecen sin cambios cuando la imagen se traduce, gira o ilumina. Las esquinas de una imagen pueden constituir solo una pequeña fracción del total, pero contienen algunas de las características más cruciales para restaurar la información de la imagen y se pueden utilizar para reducir la cantidad de datos que deben procesarse para tareas como el seguimiento de movimiento, la unión de imágenes, la creación de mosaicos 2D, la visión estereoscópica, la representación de imágenes,  y así sucesivamente.

Los investigadores han desarrollado muchos detectores de esquinas diferentes para extraer las esquinas de la imagen, pero el operador Kanade-Lucas-Tomasi (KLT) y el operador Harris se destacan como los más simples, eficientes y confiables. Estos dos enfoques comunes están relacionados y dependen de la matriz estructural local. El detector de esquinas Harris es el preferido para su uso en la coincidencia estéreo y la recuperación de bases de datos de imágenes porque mantiene una alta precisión a pesar de los cambios en la luz y la rotación. El detector de esquinas Harris sigue siendo un método crucial y fundamental en muchas aplicaciones de visión artificial, a pesar de sus defectos y restricciones.

Sin reducir el alcance, aquí, se asumen imágenes en escala de grises bidimensionales.

Sea esta imagen dada por I .

Considere la posibilidad de tomar un parche de imagen {\displaystyle (x,y)\in W} (ventana) y desplazarlo por {\displaystyle (\Delta x,\Delta y)} .

El SSD compara la distancia entre estos dos parches, denotado f , es el resultado de:

{\displaystyle f(\Delta x,\Delta y)={\underset {(x_{k},y_{k})\in W}{\sum }}\left(I(x_{k},y_{k})-I(x_{k}+\Delta x,y_{k}+\Delta y)\right)^{2}}

{\displaystyle I(x+\Delta x,y+\Delta y)} puede ser aproximado por una expansión de Taylor.

Sea I_{x} y I_y sean las derivadas parciales de I , tales que

{\displaystyle I(x+\Delta x,y+\Delta y)\approx I(x,y)+I_{x}(x,y)\Delta x+I_{y}(x,y)\Delta y}

La aproximación resulta de esto.

{\displaystyle f(\Delta x,\Delta y)\approx {\underset {(x,y)\in W}{\sum }}\left(I_{x}(x,y)\Delta x+I_{y}(x,y)\Delta y\right)^{2},}

cuyas respuestas pueden ser representadas por matrices:

{\displaystyle f(\Delta x,\Delta y)\approx {\begin{pmatrix}\Delta x&\Delta y\end{pmatrix}}M{\begin{pmatrix}\Delta x\\\Delta y\end{pmatrix}},}

donde M denota un tensor de estructura,

{\displaystyle M={\underset {(x,y)\in W}{\sum }}{\begin{bmatrix}I_{x}^{2}&I_{x}I_{y}\\I_{x}I_{y}&I_{y}^{2}\end{bmatrix}}={\begin{bmatrix}{\underset {(x,y)\in W}{\sum }}I_{x}^{2}&{\underset {(x,y)\in W}{\sum }}I_{x}I_{y}\\{\underset {(x,y)\in W}{\sum }}I_{x}I_{y}&{\underset {(x,y)\in W}{\sum }}I_{y}^{2}\end{bmatrix}}}

Los algoritmos de detección de esquinas de Harris a menudo se dividen en cinco etapas.

Color a escala de grises

Cálculo de derivadas espaciales

Configuración del tensor de estructura

Cálculo de la respuesta de Harris

Supresión reducida

Para mejorar la velocidad de procesamiento cuando se utiliza el detector de esquinas Harris en una imagen en color, primero se convierte a escala de grises.

Los valores de píxel de la imagen en escala de grises son solo las sumas ponderadas de los valores RGB correspondientes, {\displaystyle \sum _{C\,\in \,\{R,G,B\}}w_{C}\cdot C} por ejemplo, donde,

{\displaystyle w_{R}=0.299,\ w_{G}=0.587,\ w_{B}=1-(w_{R}+w_{G})=0.114.}

A continuación, las derivadas de interés son las que se refieren a x e y, y las determinaremos, {\displaystyle I_{x}(x,y)} y {\displaystyle I_{y}(x,y)} .

Con {\displaystyle I_{x}(x,y)} , {\displaystyle I_{y}(x,y)} , podemos construir el tensor de estructura M .

Para {\displaystyle x\ll y} , se tiene {\displaystyle {\tfrac {x\cdot y}{x+y}}=x{\tfrac {1}{1+x/y}}\approx x.} En este paso, Usando esa aproximación, obtenemos el menor valor propio del tensor de estructura:

{\displaystyle \lambda _{\min }\approx {\frac {\lambda _{1}\lambda _{2}}{(\lambda _{1}+\lambda _{2})}}={\frac {\det(M)}{\operatorname {tr} (M)}}}

con el rastro {\displaystyle \mathrm {tr} (M)=m_{11}+m_{22}} .

A continuación se muestra un cálculo alternativo de la respuesta de Harris que se utiliza con frecuencia,

{\displaystyle R=\lambda _{1}\lambda _{2}-k(\lambda _{1}+\lambda _{2})^{2}=\det(M)-k\operatorname {tr} (M)^{2}}

donde k es una constante empíricamente determinada; {\displaystyle k\in [0.04,0.06]} .

Encontrar los máximos locales como esquinas dentro de la ventana, que es un filtro de 3 por 3, nos permite seleccionar los mejores valores para significar las esquinas.

Detector de esquinas formadas por Harris-Laplace

Detector de esquinas que utiliza descomposición morfológica diferencial

Un detector de esquinas basado en tensores de estructura bilaterales multiescala

Registro, unión y alineación de imágenes

Creación de mosaicos 2D

Reconstrucción y modelado de escenas 3D

Detección de movimiento

Reconocimiento de objetos

Recuperación e indexación de imágenes basadas en contenido

Seguimiento de video

{Fin del capítulo 1}

Capítulo 2: Detección de esquinas

En los sistemas de visión artificial, la detección de esquinas se utiliza para inferir la naturaleza de una imagen mediante la extracción de tipos específicos de características. El análisis de movimiento, el registro de imágenes, el seguimiento de vídeo, el mosaico, la unión de panoramas, la reconstrucción 3D y el reconocimiento de objetos hacen uso de la detección de esquinas de una forma u otra. Existe cierta duplicación de esfuerzos entre la detección de esquinas y la detección de puntos de interés.

Una esquina es el punto donde se unen dos aristas. Una definición alternativa de una esquina es un punto con dos direcciones de borde distintas inmediatamente adyacentes a él.

Un punto de interés es una ubicación específica dentro de una imagen que se puede identificar con precisión. Un punto de interés no se limita a una esquina, sino que también puede ser algo así como un máximo o mínimo local de intensidad, la terminación de una línea o un punto en una curva donde la curvatura está en su máximo.

En la práctica, la mayoría de los enfoques de detección de esquinas solo detectan puntos de interés, y los términos se usan más o menos indistintamente en la literatura.

Varios autores usan los términos esquina, punto de interés y característica indistintamente, lo que nubla aún más la discusión. Específicamente, hay una serie de detectores de blobs que se pueden llamar operadores de puntos de interés, pero se conocen más comúnmente como detectores de esquina. Además, se conoce la existencia de la detección de crestas para identificar objetos lineales.

Debido a su fragilidad inherente, los detectores de esquinas suelen requerir el uso de cantidades considerables de redundancia para mitigar el impacto de los errores individuales en el proceso de reconocimiento.

La calidad de un detector de esquinas se puede medir probando su capacidad para identificar la misma esquina en imágenes que de otro modo serían comparables, pero que han sido sometidas a transformaciones como el escalado, la rotación y los cambios de iluminación.

La correlación es un método sencillo para detectar esquinas en imágenes, pero rápidamente se vuelve computacionalmente costoso e ineficiente. El método propuesto por Harris y Stephens (abajo), que es una mejora de un método propuesto por Moravec, constituye la base de un enfoque alternativo popular.

Este enfoque, que se remonta a los primeros días del reconocimiento de esquinas, utiliza un umbral de autosimilitud para identificar las esquinas. La técnica examina la proximidad de un parche centrado en el píxel a otros parches que se superponen ampliamente para determinar si hay una esquina. La similitud se calcula sumando las desviaciones al cuadrado (SSD) de los píxeles relacionados en cada parche. Cuando el número es menor, hay mayor acuerdo.

Si el píxel se encuentra en un área de brillo constante, los parches vecinos tendrán una apariencia similar. Si el píxel está cerca de un borde, la apariencia de los parches cercanos perpendiculares al borde variará significativamente, mientras que los parches cercanos paralelos al borde cambiarán ligeramente de apariencia. Si el píxel se encuentra en una entidad variable multidireccional, ninguno de los parches vecinos compartirá una apariencia común.

Como la suma mínima de las diferencias cuadradas (SSD) entre un parche y sus vecinos, la fuerza de las esquinas (horizontal, vertical y en las dos diagonales). Todos los parches circundantes aparecerán diferentes si este valor es alto, ya que la variación a lo largo de todos los turnos será igual o mayor que este valor.

Para determinar si una entidad de interés está presente o no en