Least Squares: Técnicas de optimización para visión por computadora: métodos de mínimos cuadrados

Por Fouad Sabry

Qué son los mínimos cuadrados

El método de mínimos cuadrados es un método de estimación de parámetros en el análisis de regresión basado en minimizar la suma de los cuadrados de los residuos realizados en los resultados de cada ecuación individual.

Cómo se beneficiará

(I) Insights y validaciones sobre los siguientes temas:

Capítulo 1 : Mínimos cuadrados

Capítulo 2: Teorema de Gauss?Markov

Capítulo 3: Análisis de regresión

Capítulo 4: Regresión de cresta

Capítulo 5 : Mínimo cuadrado total

Capítulo 6: Mínimo cuadrado ordinario

Capítulo 7: Mínimo cuadrado ponderado

Capítulo 8: Regresión lineal simple

Capítulo 9: Mínimos cuadrados generalizados

Capítulo 10: Mínimo cuadrados lineales

(II) Respondiendo a las principales preguntas del público sobre mínimos cuadrados.

(III) Mundo real ejemplos del uso de mínimos cuadrados en muchos campos.

Para quién es este libro

Profesionales, estudiantes de pregrado y posgrado, entusiastas, aficionados y aquellos que quieran ir más allá del conocimiento o la información básica para cualquier tipo de mínimos cuadrados.

 

 

• Idioma: Español
• Editorial: Mil Millones De Conocimientos [Spanish]
• Fecha de lanzamiento: 11 may 2024

Vista previa del libro

Capítulo 1: Mínimos cuadrados

El método de mínimos cuadrados es un enfoque estándar en el análisis de regresión que se utiliza para aproximar la solución de sistemas sobredeterminados (conjuntos de ecuaciones en los que hay más ecuaciones que incógnitas). Esto se logra minimizando la suma de los cuadrados de los residuos hechos en los resultados de cada ecuación individual. Un residuo es la diferencia entre un valor observado y el valor ajustado proporcionado por un modelo.

El uso más significativo se encuentra en el campo del ajuste de datos. Cuando el problema tiene incertidumbres sustanciales en la variable independiente (la variable x), los métodos de regresión simple y de mínimos cuadrados tienen problemas; En tales casos, se puede considerar la metodología requerida para ajustar los modelos de errores en variables en lugar de la de los mínimos cuadrados. [Caso en cuestión:] cuando el problema tiene incertidumbres sustanciales en la variable independiente (la variable x), los métodos de regresión simple y de mínimos cuadrados tienen problemas.

Hay dos tipos de problemas que se engloban bajo el título de mínimos cuadrados: mínimos cuadrados lineales u ordinarios y mínimos cuadrados no lineales. La distinción entre los dos tipos se basa en si los residuos son lineales o no en todas las incógnitas. En el análisis de regresión estadística, uno de los problemas a resolver se denomina problema de mínimos cuadrados lineales, y tiene una solución de forma cerrada. El método de refinamiento iterativo se usa a menudo para resolver el problema no lineal. Durante cada iteración, el sistema se modela aproximadamente a partir de uno lineal y, como resultado, el cálculo fundamental es el mismo para ambos escenarios.

La varianza en una predicción de la variable dependiente en función de la variable independiente y las desviaciones de la curva ajustada se describen mediante mínimos cuadrados polinómicos.

Cuando las observaciones provienen de una familia exponencial con identidad como sus estadísticas naturales suficientes y se satisfacen las condiciones leves (por ejemplo, para distribuciones normales, exponenciales, de Poisson y binomiales), las estimaciones estandarizadas de mínimos cuadrados y las estimaciones de máxima verosimilitud son las mismas. Este es el caso de todas las familias exponenciales con la identidad como su estadística natural suficiente. La técnica de mínimos cuadrados es susceptible de desarrollarse por derecho propio como método de estimación de momentos.

El razonamiento que sigue se expresa casi en su totalidad en términos de funciones lineales; No obstante, el uso de mínimos cuadrados no solo es aceptable sino también factible para familias de funciones que son más genéricas. Además, el enfoque de mínimos cuadrados se puede utilizar para ajustar un modelo lineal extendido aplicando iterativamente la aproximación cuadrática local a la probabilidad (utilizando la información de Fisher). Esto es posible cuando se utiliza la información de Fisher.

A Adrien-Marie Legendre se le atribuye ser el primero en desarrollar y publicar la técnica de mínimos cuadrados (1805), Durante la Era de los Descubrimientos, los científicos y matemáticos se esforzaron por dar respuestas a los problemas de atravesar las aguas de la Tierra utilizando el concepto de mínimos cuadrados. Este enfoque surgió de las ciencias de la astronomía y la geodesia como resultado de sus esfuerzos. La descripción precisa del comportamiento de los cuerpos celestes fue la clave para permitir que los barcos viajaran en mares amplios, donde los marineros ya no podían depender de los avistamientos terrestres para navegar. Este fue el caso ya que los avistamientos en la costa ya no estaban disponibles.

El enfoque representaba el cenit de una serie de acontecimientos que habían tenido lugar en el transcurso del siglo XVIII:

La agregación es el proceso de combinar varias observaciones para llegar a la estimación más precisa posible del valor real; los errores tienden a reducirse en lugar de crecer como resultado de este proceso, que tal vez fue articulado originalmente por Roger Cotes en 1722.

El proceso de combinar muchas observaciones realizadas en las mismas circunstancias, en lugar de simplemente hacer un esfuerzo para observar y registrar una sola observación de la manera más precisa posible. A menudo se hacía referencia a la estrategia como la técnica de los promedios. Tobias Mayer, que investigaba las libraciones de la Luna en 1750, y Pierre-Simon Laplace, que trabajaba en la explicación de las variaciones en el movimiento de Júpiter y Saturno en 1788, fueron dos personas notables que emplearon esta técnica en sus respectivas investigaciones.

La combinación de una serie de observaciones separadas realizadas en una variedad de circunstancias. El nombre de método de la menor desviación absoluta se le dio a la técnica a través del tiempo. En 1757, Roger Joseph Boscovich lo utilizó en su trabajo sobre la forma de la tierra, y Pierre-Simon Laplace lo utilizó en 1799 para el mismo número. Ambos son conocidos por sus contribuciones al campo.

La construcción de un criterio que pueda ser examinado para identificar si se ha obtenido la solución con la menor cantidad de error es lo que se conoce como desarrollo de criterios. Laplace intentó proponer un enfoque de estimación que resultara en la menor cantidad de error de estimación, así como proporcionar una forma matemática de la densidad de probabilidad de los errores. Laplace modeló la distribución de errores mediante el uso de una distribución exponencial simétrica de dos lados, a la que ahora nos referimos como la distribución de Laplace. Utilizó la suma de la desviación absoluta como error de estimación. Creía que estas eran las suposiciones más directas que podía hacer, y había deseado obtener la media aritmética como la estimación más precisa que pudiera. En su lugar, se basó en la mediana posterior como su estimación.

En 1805, el matemático francés Legendre proporcionó la primera explicación de la técnica de mínimos cuadrados que era a la vez completa y clara. Esto, por supuesto, dio lugar a un desacuerdo sobre la precedencia con Legendre. Sin embargo, es mérito de Gauss haber ido más allá del trabajo de Legendre y haber sido capaz de combinar con éxito la técnica de los mínimos cuadrados con las leyes de la probabilidad y la distribución normal. Este es un logro digno de elogio. Había tenido éxito en completar el programa de Laplace, que le exigía especificar una forma matemática de la densidad de probabilidad de las observaciones, dependiendo de un número finito de parámetros desconocidos, y definir un método de estimación que minimizara el error de estimación. Además, había especificado una forma matemática de la densidad de probabilidad para las observaciones en función de un número finito de parámetros desconocidos. Gauss demostró que la media aritmética es, de hecho, la mejor estimación del parámetro de localización modificando tanto la densidad de probabilidad como la técnica de estimación. Lo hizo con el fin de demostrar que la media aritmética es la mejor estimación. A continuación, llevó la cuestión en una nueva dirección al preguntarse qué forma debería adoptar la densidad y qué técnica de estimación debería utilizarse para obtener la media aritmética como una estimación del parámetro de localización. Con esto se cerró el círculo de la cuestión. Como resultado de este esfuerzo, se le ocurrió la distribución normal.

El poder del enfoque de Gauss se puso de manifiesto por primera vez cuando se utilizó para determinar dónde terminaría el asteroide Ceres recientemente descubierto en el futuro. Este fue uno de los primeros ejemplos de la utilidad del método. Giuseppe Piazzi, un astrónomo italiano, hizo el descubrimiento de Ceres el 1 de enero de 1801. Fue capaz de observar su movimiento durante un período de cuarenta días hasta que se oscureció por el brillo del sol. Los astrónomos querían identificar la posición de Ceres una vez que emergió de detrás del Sol, pero no querían resolver las difíciles ecuaciones no lineales de Kepler del movimiento planetario para hacerlo. Utilizando el análisis de mínimos cuadrados, los únicos pronósticos que fueron lo suficientemente precisos para que el astrónomo húngaro Franz Xaver von Zach reubicara con éxito Ceres fueron los realizados por Gauss, de 24 años.

En 1810, después de leer el trabajo de Gauss, Laplace demostró el teorema del límite central y luego lo utilizó para establecer una gran justificación muestral para la técnica de mínimos cuadrados y la distribución normal. Esto se hizo después de que la obra de Gauss hubiera sido traducida al francés. En el año 1822, Gauss pudo demostrar que el método de mínimos cuadrados para realizar análisis de regresión es el método más efectivo disponible. Esto se logró demostrando que en un modelo lineal en el que los errores tienen una media de cero, no están correlacionados y tienen varianzas iguales, el estimador de mínimos cuadrados es el mejor estimador lineal insesgado de los coeficientes. El nombre dado a este descubrimiento es el teorema de