Selección de parámetros de una función lineal por el método de mínimos cuadrados. Método de mínimos cuadrados. Areas de aplicación

Ejemplo.

Datos experimentales sobre los valores de las variables. X Y en se dan en la tabla.

Como resultado de su alineación, la función

Usando método mínimos cuadrados , aproximar estos datos con una dependencia lineal y=ax+b(buscar parámetros A Y b). Averigüe cuál de las dos líneas es mejor (en el sentido del método de mínimos cuadrados) alinea los datos experimentales. Haz un dibujo.

La esencia del método de mínimos cuadrados (LSM).

El problema es encontrar los coeficientes de dependencia lineal para los cuales la función de dos variables A Y b toma el valor más pequeño. Es decir, dados los datos A Y b la suma de las desviaciones al cuadrado de los datos experimentales de la línea recta encontrada será la más pequeña. Este es el punto central del método de mínimos cuadrados.

Así, la solución del ejemplo se reduce a encontrar el extremo de una función de dos variables.

Derivación de fórmulas para encontrar coeficientes.

Se compila y resuelve un sistema de dos ecuaciones con dos incógnitas. Hallar derivadas parciales de funciones por variables A Y b, igualamos estas derivadas a cero.

Resolvemos el sistema de ecuaciones resultante por cualquier método (por ejemplo método de sustitución o método de Cramer) y obtener fórmulas para hallar los coeficientes por el método de los mínimos cuadrados (LSM).

con datos A Y b función toma el valor más pequeño. La prueba de este hecho se da debajo del texto al final de la página.

Ese es todo el método de mínimos cuadrados. Fórmula para encontrar el parámetro. a contiene las sumas ,, y el parámetro norte- cantidad de datos experimentales. Se recomienda calcular los valores de estas sumas por separado. Coeficiente b encontrado después del cálculo a.

Es hora de recordar el ejemplo original.

Solución.

En nuestro ejemplo n=5. Completamos la tabla por conveniencia de calcular las cantidades que se incluyen en las fórmulas de los coeficientes requeridos.

Los valores de la cuarta fila de la tabla se obtienen multiplicando los valores de la 2ª fila por los valores de la 3ª fila para cada número i.

Los valores de la quinta fila de la tabla se obtienen elevando al cuadrado los valores de la 2da fila para cada número i.

Los valores de la última columna de la tabla son las sumas de los valores de las filas.

Usamos las fórmulas del método de los mínimos cuadrados para encontrar los coeficientes A Y b. Sustituimos en ellos los valores correspondientes de la última columna de la tabla:

Por eso, y=0.165x+2.184 es la línea recta de aproximación deseada.

Queda por saber cuál de las líneas y=0.165x+2.184 o aproxima mejor a los datos originales, es decir, hacer una estimación usando el método de mínimos cuadrados.

Estimación del error del método de mínimos cuadrados.

Para hacer esto, debe calcular las sumas de las desviaciones al cuadrado de los datos originales de estas líneas. Y , un valor más pequeño corresponde a una línea que se aproxima mejor a los datos originales en términos del método de mínimos cuadrados.

Dado que , entonces la línea y=0.165x+2.184 se aproxima mejor a los datos originales.

Ilustración gráfica del método de mínimos cuadrados (LSM).

Todo se ve muy bien en las listas. La línea roja es la línea encontrada. y=0.165x+2.184, la línea azul es , los puntos rosas son los datos originales.

En la práctica, cuando se modelan varios procesos, en particular, económicos, físicos, técnicos, sociales, se usa ampliamente uno u otro método para calcular los valores aproximados de las funciones a partir de sus valores conocidos en algunos puntos fijos.

A menudo surgen problemas de aproximación de funciones de este tipo:

    al construir fórmulas aproximadas para calcular los valores de las cantidades características del proceso en estudio de acuerdo con los datos tabulares obtenidos como resultado del experimento;

    en integración numérica, diferenciación, solución ecuaciones diferenciales etc.;

    si es necesario calcular los valores de funciones en puntos intermedios del intervalo considerado;

    al determinar los valores de las cantidades características del proceso fuera del intervalo considerado, en particular, al pronosticar.

Si para modelar un determinado proceso especificado por una tabla se construye una función que describa de manera aproximada dicho proceso con base en el método de los mínimos cuadrados, se le denominará función de aproximación (regresión), y la tarea de construir funciones de aproximación en sí misma será ser un problema de aproximación.

Este artículo analiza las posibilidades del paquete MS Excel para resolver tales problemas, además, se proporcionan métodos y técnicas para construir (crear) regresiones para funciones dadas tabularmente (que es la base del análisis de regresión).

Hay dos opciones para construir regresiones en Excel.

    Agregar regresiones seleccionadas (líneas de tendencia) a un gráfico construido sobre la base de una tabla de datos para la característica del proceso estudiado (disponible solo si se construye un gráfico);

    Usando las funciones estadísticas integradas de la hoja de cálculo de Excel, que le permite obtener regresiones (líneas de tendencia) directamente desde la tabla de datos de origen.

Adición de líneas de tendencia a un gráfico

Para una tabla de datos que describe un determinado proceso y se representa mediante un diagrama, Excel tiene una herramienta de análisis de regresión eficaz que le permite:

    construir sobre la base del método de mínimos cuadrados y agregar al diagrama cinco tipos de regresiones que modelan el proceso en estudio con diversos grados de precisión;

    agregue una ecuación de la regresión construida al diagrama;

    determinar el grado de cumplimiento de la regresión seleccionada con los datos mostrados en el gráfico.

Sobre la base de los datos del gráfico, Excel le permite obtener tipos de regresiones lineales, polinómicas, logarítmicas, exponenciales y exponenciales, que están dadas por la ecuación:

y = y(x)

donde x es una variable independiente, que muchas veces toma los valores de una secuencia de números naturales (1; 2; 3;...) y produce, por ejemplo, una cuenta regresiva del tiempo del proceso en estudio (características) .

1 . La regresión lineal es buena para modelar características que aumentan o disminuyen a una tasa constante. Este es el modelo más simple del proceso en estudio. Se construye de acuerdo a la ecuación:

y=mx+b

donde m es la tangente de la pendiente de la regresión lineal al eje x; b - coordenada del punto de intersección de la regresión lineal con el eje y.

2 . Una línea de tendencia polinómica es útil para describir características que tienen varios extremos distintos (altos y bajos). La elección del grado del polinomio está determinada por el número de extremos de la característica en estudio. Así, un polinomio de segundo grado bien puede describir un proceso que tiene solo un máximo o un mínimo; polinomio de tercer grado: no más de dos extremos; polinomio de cuarto grado - no más de tres extremos, etc.

En este caso, la línea de tendencia se construye de acuerdo con la ecuación:

y = c0 + c1x + c2x2 + c3x3 + c4x4 + c5x5 + c6x6

donde los coeficientes c0, c1, c2,... c6 son constantes cuyos valores se determinan durante la construcción.

3 . La línea de tendencia logarítmica se utiliza con éxito en el modelado de características, cuyos valores cambian rápidamente al principio y luego se estabilizan gradualmente.

y = c ln(x) + b

4 . La línea de tendencia de potencia da buenos resultados si los valores de la dependencia estudiada se caracterizan por un cambio constante en la tasa de crecimiento. Un ejemplo de tal dependencia puede servir como un gráfico del movimiento uniformemente acelerado del automóvil. Si hay cero o valores negativos, no puede utilizar una línea de tendencia de potencia.

Se construye de acuerdo con la ecuación:

y = cxb

donde los coeficientes b, c son constantes.

5 . Se debe usar una línea de tendencia exponencial si la tasa de cambio en los datos aumenta continuamente. Para datos que contienen valores cero o negativos, este tipo de aproximación tampoco es aplicable.

Se construye de acuerdo con la ecuación:

y=cebx

donde los coeficientes b, c son constantes.

Al seleccionar una línea de tendencia, Excel calcula automáticamente el valor de R2, que caracteriza la precisión de la aproximación: significado más cercano R2 a uno, más confiablemente se aproxima la línea de tendencia al proceso bajo estudio. Si es necesario, el valor de R2 siempre se puede mostrar en el diagrama.

Determinado por la fórmula:

Para agregar una línea de tendencia a una serie de datos:

    active el gráfico construido sobre la base de la serie de datos, es decir, haga clic dentro del área del gráfico. El elemento Gráfico aparecerá en el menú principal;

    después de hacer clic en este elemento, aparecerá un menú en la pantalla, en el que debe seleccionar el comando Agregar línea de tendencia.

Las mismas acciones se implementan fácilmente si pasa el cursor sobre el gráfico correspondiente a una de las series de datos y hace clic con el botón derecho; en el menú contextual que aparece, seleccione el comando Agregar línea de tendencia. El cuadro de diálogo Trendline aparecerá en la pantalla con la pestaña Tipo abierta (Fig. 1).

Después de eso necesitas:

En la pestaña Tipo, seleccione el tipo de línea de tendencia requerido (Lineal está seleccionado de forma predeterminada). Para el tipo Polinomio, en el campo Grado, especifique el grado del polinomio seleccionado.

1 . El campo Construido en serie enumera todas las series de datos en el gráfico en cuestión. Para agregar una línea de tendencia a una serie de datos específica, seleccione su nombre en el campo Construido en serie.

Si es necesario, al ir a la pestaña Parámetros (Fig. 2), puede configurar los siguientes parámetros para la línea de tendencia:

    cambie el nombre de la línea de tendencia en el campo Nombre de la curva de aproximación (suavizada).

    establezca el número de períodos (hacia adelante o hacia atrás) para el pronóstico en el campo Pronóstico;

    mostrar la ecuación de la línea de tendencia en el área del gráfico, para lo cual debe habilitar la casilla de verificación mostrar la ecuación en el gráfico;

    muestre el valor de la confiabilidad de aproximación R2 en el área del diagrama, para lo cual debe habilitar la casilla de verificación poner el valor de la confiabilidad de aproximación (R^2) en el diagrama;

    establezca el punto de intersección de la línea de tendencia con el eje Y, para lo cual debe habilitar la casilla de verificación Intersección de la curva con el eje Y en un punto;

    haga clic en el botón Aceptar para cerrar el cuadro de diálogo.

Hay tres formas de comenzar a editar una línea de tendencia ya construida:

    use el comando Línea de tendencia seleccionada del menú Formato, después de seleccionar la línea de tendencia;

    seleccione el comando Formato de línea de tendencia del menú contextual, al que se accede haciendo clic con el botón derecho en la línea de tendencia;

    haciendo doble clic en la línea de tendencia.

El cuadro de diálogo Formatear línea de tendencia aparecerá en la pantalla (Fig. 3), que contiene tres pestañas: Ver, Tipo, Parámetros, y el contenido de las dos últimas coincide completamente con las pestañas similares del cuadro de diálogo Línea de tendencia (Fig. 1-2 ). En la pestaña Ver, puede establecer el tipo de línea, su color y grosor.

Para eliminar una línea de tendencia ya construida, seleccione la línea de tendencia a eliminar y presione la tecla Eliminar.

Las ventajas de la herramienta de análisis de regresión considerada son:

    la relativa facilidad de trazar una línea de tendencia en gráficos sin crear una tabla de datos para ello;

    una lista bastante amplia de tipos de líneas de tendencia propuestas, y esta lista incluye los tipos de regresión más utilizados;

    la posibilidad de predecir el comportamiento del proceso bajo estudio para un arbitrario (dentro sentido común) el número de pasos hacia adelante y hacia atrás;

    la posibilidad de obtener la ecuación de la línea de tendencia en forma analítica;

    la posibilidad, si es necesario, de obtener una evaluación de la fiabilidad de la aproximación.

Las desventajas incluyen los siguientes puntos:

    la construcción de una línea de tendencia se lleva a cabo solo si hay un gráfico construido sobre una serie de datos;

    el proceso de generación de series de datos para la característica en estudio en base a las ecuaciones de línea de tendencia obtenidas para ella es algo desordenado: las ecuaciones de regresión deseadas se actualizan con cada cambio en los valores de la serie de datos original, pero solo dentro del área del gráfico , mientras que la serie de datos formada sobre la base de la tendencia de la ecuación de línea anterior permanece sin cambios;

    En los informes de gráfico dinámico, cuando cambia la vista del gráfico o el informe de tabla dinámica asociado, las líneas de tendencia existentes no se conservan, por lo que debe asegurarse de que el diseño del informe cumpla con sus requisitos antes de dibujar líneas de tendencia o formatear el informe de gráfico dinámico.

Las líneas de tendencia se pueden agregar a las series de datos presentadas en gráficos, como gráficos, histogramas, gráficos de áreas planas no normalizadas, gráficos de barras, de dispersión, de burbujas y bursátiles.

No puede agregar líneas de tendencia a series de datos en gráficos 3D, estándar, radiales, circulares y de anillos.

Uso de funciones integradas de Excel

Excel también proporciona una herramienta de análisis de regresión para trazar líneas de tendencia fuera del área del gráfico. Se pueden usar varias funciones de hojas de cálculo estadísticas para este propósito, pero todas le permiten construir solo regresiones lineales o exponenciales.

Excel tiene varias funciones para construir una regresión lineal, en particular:

    TENDENCIA;

  • PENDIENTE y CORTE.

Además de varias funciones para construir una línea de tendencia exponencial, en particular:

    LGRFAprox.

Cabe señalar que las técnicas para construir regresiones utilizando las funciones TENDENCIA y CRECIMIENTO son prácticamente las mismas. Lo mismo puede decirse del par de funciones ESTIMACION.LINEAL y LGRFPRIBL. Para estas cuatro funciones, cuando se crea una tabla de valores, se utilizan funciones de Excel, como fórmulas de matriz, lo que entorpece un poco el proceso de creación de regresiones. También notamos que la construcción de una regresión lineal, en nuestra opinión, es más fácil de implementar usando las funciones SLOPE e INTERCEPT, donde la primera de ellas determina la pendiente de la regresión lineal, y la segunda determina el segmento cortado por la regresión. en el eje y.

Las ventajas de la herramienta de funciones incorporadas para el análisis de regresión son:

    un proceso bastante simple del mismo tipo de formación de series de datos de la característica en estudio para todas las funciones estadísticas integradas que establecen líneas de tendencia;

    una técnica estándar para construir líneas de tendencia basadas en la serie de datos generada;

    la capacidad de predecir el comportamiento del proceso bajo estudio para el número requerido de pasos hacia adelante o hacia atrás.

Y las desventajas incluyen el hecho de que Excel no tiene funciones integradas para crear otros tipos de líneas de tendencia (excepto lineales y exponenciales). Esta circunstancia muchas veces no permite elegir un modelo suficientemente preciso del proceso objeto de estudio, así como obtener previsiones cercanas a la realidad. Además, cuando se utilizan las funciones TENDENCIA y CRECIMIENTO, las ecuaciones de las líneas de tendencia no se conocen.

Cabe señalar que los autores no establecieron el objetivo del artículo de presentar el curso del análisis de regresión con diversos grados de integridad. Su tarea principal es mostrar las capacidades del paquete Excel para resolver problemas de aproximación utilizando ejemplos específicos; demostrar qué herramientas efectivas tiene Excel para construir regresiones y pronósticos; ilustrar con qué facilidad tales problemas pueden ser resueltos incluso por un usuario que no tiene un conocimiento profundo del análisis de regresión.

Ejemplos de solución Tareas específicas

Considere la solución de problemas específicos utilizando las herramientas enumeradas del paquete de Excel.

Tarea 1

Con una tabla de datos sobre el beneficio de una empresa de transporte motorizado para 1995-2002. necesitas hacer lo siguiente.

    Construye un gráfico.

    Agregue líneas de tendencia lineales y polinómicas (cuadráticas y cúbicas) al gráfico.

    Usando las ecuaciones de la línea de tendencia, obtenga datos tabulares sobre las ganancias de la empresa para cada línea de tendencia para 1995-2004.

    Haga un pronóstico de ganancias para la empresa para 2003 y 2004.

La solución del problema

    En el rango de celdas A4:C11 de la hoja de cálculo de Excel, ingresamos la hoja de cálculo que se muestra en la Fig. 4.

    Habiendo seleccionado el rango de celdas B4:C11, construimos un gráfico.

    Activamos el gráfico construido y, utilizando el método descrito anteriormente, después de seleccionar el tipo de línea de tendencia en el cuadro de diálogo Línea de tendencia (ver Fig. 1), agregamos alternativamente líneas de tendencia lineales, cuadráticas y cúbicas al gráfico. En el mismo cuadro de diálogo, abra la pestaña Parámetros (ver Fig. 2), en el campo Nombre de la curva de aproximación (suavizada), ingrese el nombre de la tendencia que se agregará, y en el campo Pronóstico a futuro para: períodos, configure el valor 2, ya que se planea hacer una previsión de beneficios a dos años vista. Para mostrar la ecuación de regresión y el valor de la confiabilidad de aproximación R2 en el área del diagrama, active las casillas de verificación Mostrar la ecuación en la pantalla y coloque el valor de la confiabilidad de aproximación (R^2) en el diagrama. Para una mejor percepción visual, cambiamos el tipo, el color y el grosor de las líneas de tendencia trazadas, para lo cual usamos la pestaña Ver del cuadro de diálogo Formato de línea de tendencia (ver Fig. 3). El gráfico resultante con líneas de tendencia añadidas se muestra en la fig. 5.

    Para obtener datos tabulares sobre el beneficio de la empresa para cada línea de tendencia para 1995-2004. Usemos las ecuaciones de las líneas de tendencia presentadas en la fig. 5. Para ello, en las celdas del rango D3:F3, introduzca información textual sobre el tipo de línea de tendencia seleccionada: Tendencia lineal, Tendencia cuadrática, Tendencia cúbica. Luego, ingrese la fórmula de regresión lineal en la celda D4 y, usando el marcador de relleno, copie esta fórmula con referencias relativas al rango de celdas D5:D13. Cabe señalar que cada celda con una fórmula de regresión lineal del rango de celdas D4:D13 tiene una celda correspondiente del rango A4:A13 como argumento. De manera similar, para la regresión cuadrática, se llena el rango de celdas E4:E13, y para la regresión cúbica, se llena el rango de celdas F4:F13. Así, se hizo un pronóstico de la utilidad de la empresa para los años 2003 y 2004. con tres tendencias. La tabla de valores resultante se muestra en la fig. 6.

Tarea 2

    Construye un gráfico.

    Agregue líneas de tendencia logarítmicas, exponenciales y exponenciales al gráfico.

    Derive las ecuaciones de las líneas de tendencia obtenidas, así como los valores de la fiabilidad de aproximación R2 para cada una de ellas.

    Usando las ecuaciones de la línea de tendencia, obtenga datos tabulares sobre las ganancias de la empresa para cada línea de tendencia para 1995-2002.

    Haga un pronóstico de ganancias para el negocio para 2003 y 2004 utilizando estas líneas de tendencia.

La solución del problema

Siguiendo la metodología dada en la resolución del problema 1, obtenemos un diagrama con líneas de tendencia logarítmica, exponencial y exponencial añadidas (Fig. 7). Además, utilizando las ecuaciones de línea de tendencia obtenidas, completamos la tabla de valores para el beneficio de la empresa, incluidos los valores pronosticados para 2003 y 2004. (Figura 8).

En la fig. 5 y la figura. se puede observar que el modelo con tendencia logarítmica corresponde al valor más bajo de la confiabilidad de la aproximación

R2 = 0,8659

Los valores más altos de R2 corresponden a modelos con tendencia polinómica: cuadrática (R2 = 0.9263) y cúbica (R2 = 0.933).

Tarea 3

Con una tabla de datos sobre las ganancias de una empresa de transporte motorizado para 1995-2002, proporcionada en la tarea 1, debe realizar los siguientes pasos.

    Obtenga series de datos para líneas de tendencia lineales y exponenciales utilizando las funciones TENDENCIA y CRECIMIENTO.

    Usando las funciones TENDENCIA y CRECIMIENTO, haga un pronóstico de ganancias para la empresa para 2003 y 2004.

    Para los datos iniciales y la serie de datos recibidos, construya un diagrama.

La solución del problema

Usemos la hoja de trabajo de la tarea 1 (ver Fig. 4). Comencemos con la función TENDENCIA:

    seleccione el rango de celdas D4:D11, que debe completarse con los valores de la función TENDENCIA correspondiente a los datos conocidos sobre el beneficio de la empresa;

    llame al comando Función desde el menú Insertar. En el cuadro de diálogo Asistente de funciones que aparece, seleccione la función TENDENCIA de la categoría Estadística y luego haga clic en el botón Aceptar. La misma operación se puede realizar presionando el botón (función Insertar) de la barra de herramientas estándar.

    En el cuadro de diálogo Argumentos de función que aparece, ingrese el rango de celdas C4:C11 en el campo Known_values_y; en el campo Known_values_x - el rango de celdas B4:B11;

    para convertir la fórmula ingresada en una fórmula de matriz, use la combinación de teclas ++ .

La fórmula que ingresamos en la barra de fórmulas se verá así: =(TENDENCIA(C4:C11;B4:B11)).

Como resultado, el rango de celdas D4:D11 se llena con los valores correspondientes de la función TENDENCIA (Fig. 9).

Realizar un pronóstico de la utilidad de la empresa para los años 2003 y 2004. necesario:

    seleccione el rango de celdas D12:D13, donde se ingresarán los valores pronosticados por la función TENDENCIA.

    llame a la función TENDENCIA y en el cuadro de diálogo Argumentos de función que aparece, ingrese en el campo Valores_conocidos_y - el rango de celdas C4:C11; en el campo Known_values_x - el rango de celdas B4:B11; y en el campo New_values_x - el rango de celdas B12:B13.

    convierta esta fórmula en una fórmula de matriz usando el atajo de teclado Ctrl + Shift + Enter.

    La fórmula ingresada se verá así: =(TENDENCIA(C4:C11;B4:B11;B12:B13)), y el rango de celdas D12:D13 se llenará con los valores predichos de la función TENDENCIA (ver Fig. 9).

De manera similar, una serie de datos se completa con la función CRECIMIENTO, que se usa en el análisis de dependencias no lineales y funciona exactamente igual que su contraparte lineal TENDENCIA.

La figura 10 muestra la tabla en el modo de visualización de fórmulas.

Para los datos iniciales y la serie de datos obtenidos, el diagrama que se muestra en la fig. once.

Tarea 4

Con una tabla de datos sobre la recepción de solicitudes de servicios por parte del servicio de despacho de una empresa de transporte motorizado para el período del 1 al 11 del mes en curso, se deben realizar las siguientes acciones.

    Obtener series de datos para regresión lineal: utilizando las funciones SLOPE e INTERCEPT; utilizando la función ESTIMACION.LINEAL.

    Recupere una serie de datos para la regresión exponencial mediante la función LYFFPRIB.

    Usando las funciones anteriores, haga un pronóstico sobre la recepción de solicitudes al servicio de despacho para el período del 12 al 14 del mes en curso.

    Para la serie de datos original y recibida, construya un diagrama.

La solución del problema

Tenga en cuenta que, a diferencia de las funciones TENDENCIA y CRECIMIENTO, ninguna de las funciones enumeradas anteriormente (PENDIENTE, INTERCEPCIÓN, ESTIMACIÓN LINEAL, LGRFPRIB) son regresiones. Estas funciones juegan solo un papel auxiliar, determinando los parámetros de regresión necesarios.

Para las regresiones lineales y exponenciales construidas con las funciones PENDIENTE, INTERCEPTO, ESTIMACION.LINEAL, LGRFPRIB, siempre se conoce el aspecto de sus ecuaciones, a diferencia de las regresiones lineales y exponenciales correspondientes a las funciones TENDENCIA y CRECIMIENTO.

1 . Construyamos una regresión lineal que tenga la ecuación:

y=mx+b

usando las funciones SLOPE e INTERCEPT, con la pendiente de la regresión m siendo determinada por la función SLOPE, y el término constante b - por la función INTERCEPT.

Para ello, realizamos las siguientes acciones:

    ingrese la tabla de origen en el rango de celdas A4: B14;

    el valor del parámetro m se determinará en la celda C19. Seleccione de la categoría Estadística la función Pendiente; ingrese el rango de celdas B4:B14 en el campo valores_conocidos_y y el rango de celdas A4:A14 en el campo valores_conocidos_x. La fórmula se ingresará en la celda C19: =PENDIENTE(B4:B14;A4:A14);

    utilizando un método similar, se determina el valor del parámetro b en la celda D19. Y su contenido se verá así: = INTERCEPT(B4:B14;A4:A14). Así, los valores de los parámetros m y b, necesarios para construir una regresión lineal, se almacenarán, respectivamente, en las celdas C19, D19;

    luego ingresamos la fórmula de regresión lineal en la celda C4 de la forma: = $ C * A4 + $ D. En esta fórmula, las celdas C19 y D19 se escriben con referencias absolutas (la dirección de la celda no debe cambiar con una posible copia). El signo de referencia absoluta $ se puede escribir desde el teclado o con la tecla F4, después de colocar el cursor en la dirección de la celda. Usando el controlador de relleno, copie esta fórmula en el rango de celdas C4: C17. Obtenemos la serie de datos deseada (Fig. 12). Debido al hecho de que el número de solicitudes es un número entero, debe establecer el formato de número en la pestaña Número de la ventana Formato de celda con el número de decimales en 0.

2 . Ahora construyamos una regresión lineal dada por la ecuación:

y=mx+b

utilizando la función ESTIMACION.LINEAL.

Para esto:

    ingrese la función ESTIMACION.LINEAL como una fórmula de matriz en el rango de celdas C20:D20: =(ESTIMACION.LINEAL(B4:B14;A4:A14)). Como resultado, obtenemos el valor del parámetro m en la celda C20 y el valor del parámetro b en la celda D20;

    ingrese la fórmula en la celda D4: =$C*A4+$D;

    copie esta fórmula usando el marcador de relleno en el rango de celdas D4:D17 y obtenga la serie de datos deseada.

3 . Construimos una regresión exponencial que tiene la ecuación:

con la ayuda de la función LGRFPRIBL, se realiza de manera similar:

    en el rango de celdas C21:D21, ingrese la función LGRFPRIBL como una fórmula de matriz: =( LGRFPRIBL (B4:B14;A4:A14)). En este caso, el valor del parámetro m se determinará en la celda C21, y el valor del parámetro b se determinará en la celda D21;

    la fórmula se ingresa en la celda E4: =$D*$C^A4;

    usando el marcador de relleno, esta fórmula se copia al rango de celdas E4:E17, donde se ubicará la serie de datos para la regresión exponencial (ver Fig. 12).

En la fig. 13 muestra una tabla donde podemos ver las funciones que usamos con los rangos de celda necesarios, así como las fórmulas.

Valor R 2 llamado coeficiente de determinación.

La tarea de construir una dependencia de regresión es encontrar el vector de coeficientes m del modelo (1) en el que el coeficiente R toma el valor máximo.

Para evaluar la significación de R, se utiliza la prueba F de Fisher, calculada mediante la fórmula

Dónde norte- tamaño de la muestra (número de experimentos);

k es el número de coeficientes del modelo.

Si F excede algún valor crítico para los datos norte Y k y el nivel de confianza aceptado, entonces el valor de R se considera significativo. Las tablas de valores críticos de F se dan en libros de referencia sobre estadísticas matemáticas.

Por lo tanto, la importancia de R está determinada no solo por su valor, sino también por la relación entre el número de experimentos y el número de coeficientes (parámetros) del modelo. De hecho, la relación de correlación para n=2 para un modelo lineal simple es 1 (a través de 2 puntos en el plano, siempre se puede dibujar una sola línea recta). Sin embargo, si los datos experimentales son variables aleatorias, tal valor de R debe confiarse con mucho cuidado. Por lo general, para obtener una R significativa y una regresión confiable, el objetivo es garantizar que el número de experimentos exceda significativamente el número de coeficientes del modelo (n>k).

Para construir un modelo de regresión lineal, debe:

1) preparar una lista de n filas y m columnas que contengan los datos experimentales (columna que contiene el valor de salida Y debe ser el primero o el último en la lista); por ejemplo, tomemos los datos de la tarea anterior, agregando una columna llamada "número de periodo", numerando los números de periodos del 1 al 12. (estos serán los valores X)

2) vaya al menú Datos/Análisis de datos/Regresión

Si falta el elemento "Análisis de datos" en el menú "Herramientas", debe ir al elemento "Complementos" del mismo menú y marcar la casilla "Paquete de análisis".

3) en el cuadro de diálogo "Regresión", establezca:

intervalo de entrada Y;

intervalo de entrada X;

intervalo de salida: la celda superior izquierda del intervalo en el que se colocarán los resultados del cálculo (se recomienda colocarlo en una nueva hoja de trabajo);

4) haga clic en "Aceptar" y analice los resultados.

  • Programación
    • tutorial

    Introducción

    Soy programador de computadoras. Di el mayor salto en mi carrera cuando aprendí a decir: "¡No entiendo nada!" Ahora no me avergüenzo de decirle a la lumbrera de la ciencia que me está dando una conferencia, que no entiendo de qué me está hablando la lumbrera. Y es muy difícil. Sí, es difícil y vergonzoso admitir que no lo sabes. ¿A quién le gusta admitir que no conoce los conceptos básicos de algo? En virtud de mi profesión, debo asistir en numeros grandes presentaciones y conferencias, donde, lo confieso, en la gran mayoría de los casos quiero dormir, porque no entiendo nada. Y no entiendo porque el gran problema de la situación actual de la ciencia está en las matemáticas. Asume que todos los estudiantes están familiarizados con absolutamente todas las áreas de las matemáticas (lo cual es absurdo). Admitir que no sabes lo que es un derivado (que esto es un poco más tarde) es una pena.

    Pero he aprendido a decir que no sé qué es la multiplicación. Sí, no sé qué es una subálgebra sobre un álgebra de Lie. Sí, no sé por qué necesitas en la vida ecuaciones cuadráticas. Por cierto, si estás seguro de que lo sabes, ¡entonces tenemos algo de qué hablar! Las matemáticas son una serie de trucos. Los matemáticos tratan de confundir e intimidar al público; donde no hay confusión, ni reputación, ni autoridad. Sí, es prestigioso hablar en el lenguaje más abstracto posible, lo cual es una completa tontería en sí mismo.

    ¿Sabes lo que es una derivada? Lo más probable es que me cuentes sobre el límite de la relación de diferencia. En el primer año de matemáticas en la Universidad Estatal de San Petersburgo, Viktor Petrovich Khavin me definido derivada como el coeficiente del primer término de la serie de Taylor de la función en el punto (era una gimnasia separada para determinar la serie de Taylor sin derivadas). Me reí de esta definición durante mucho tiempo, hasta que finalmente entendí de qué se trataba. La derivada no es más que una medida de cuánto se parece la función que estamos derivando a la función y=x, y=x^2, y=x^3.

    Ahora tengo el honor de dar una conferencia a estudiantes que asustado matemáticas. Si tienes miedo a las matemáticas, estamos en camino. Tan pronto como intentes leer un texto y te parezca que es demasiado complicado, debes saber que está mal escrito. Sostengo que no hay una sola área de las matemáticas de la que no se pueda hablar "con los dedos" sin perder precisión.

    El desafío para el futuro cercano: instruí a mis alumnos para que entendieran qué es un controlador lineal-cuadrático. No seas tímido, pierde tres minutos de tu vida, sigue el enlace. Si no entiende nada, entonces estamos en camino. Yo (un matemático-programador profesional) tampoco entendí nada. Y les aseguro que esto se puede solucionar "en los dedos". De momento no sé qué es, pero os aseguro que podremos averiguarlo.

    Entonces, la primera lección que les voy a dar a mis alumnos después de que vengan corriendo horrorizados hacia mí con las palabras de que el controlador cuadrático-lineal es un bicho terrible que nunca dominarás en tu vida es métodos de mínimos cuadrados. puedes decidir ecuaciones lineales? Si estás leyendo este texto, lo más probable es que no.

    Entonces, dados dos puntos (x0, y0), (x1, y1), por ejemplo, (1,1) y (3,2), la tarea es encontrar la ecuación de una línea recta que pasa por estos dos puntos:

    ilustración

    Esta recta debe tener una ecuación como la siguiente:

    Aquí alfa y beta nos son desconocidos, pero se conocen dos puntos de esta línea:

    Puedes escribir esta ecuación en forma matricial:

    Aquí conviene hacer una digresión lírica: ¿qué es una matriz? Una matriz no es más que un arreglo bidimensional. Esta es una forma de almacenar datos, no se le deben dar más valores. Depende de nosotros cómo interpretar exactamente una determinada matriz. Periódicamente, lo interpretaré como un mapeo lineal, periódicamente como una forma cuadrática y, a veces, simplemente como un conjunto de vectores. Todo esto se aclarará en contexto.

    Reemplacemos matrices específicas con su representación simbólica:

    Entonces (alfa, beta) se puede encontrar fácilmente:

    Más específicamente para nuestros datos anteriores:

    Lo que lleva a la siguiente ecuación de una recta que pasa por los puntos (1,1) y (3,2):

    Bien, todo está claro aquí. Y encontremos la ecuación de una recta que pasa por tres puntos: (x0,y0), (x1,y1) y (x2,y2):

    ¡Oh-oh-oh, pero tenemos tres ecuaciones para dos incógnitas! El matemático estándar dirá que no hay solución. ¿Qué dirá el programador? Y primero reescribirá el sistema de ecuaciones anterior de la siguiente forma:

    En nuestro caso vectores i,j,b son tridimensionales, por lo tanto (en el caso general) no hay solución para este sistema. Cualquier vector (alfa\*i + beta\*j) se encuentra en el plano generado por los vectores (i, j). Si b no pertenece a este plano, entonces no hay solución (no se puede lograr la igualdad en la ecuación). ¿Qué hacer? Busquemos un compromiso. Denotemos por e(alfa, beta) cómo exactamente no logramos la igualdad:

    E intentaremos minimizar este error:

    ¿Por qué un cuadrado?

    Estamos buscando no solo el mínimo de la norma, sino el mínimo del cuadrado de la norma. ¿Por qué? El punto mínimo en sí mismo coincide, y el cuadrado da una función suave (una función cuadrática de los argumentos (alfa,beta)), mientras que solo la longitud da una función en forma de cono, no diferenciable en el punto mínimo. Brr. Square es más conveniente.

    Obviamente, el error se minimiza cuando el vector mi ortogonal al plano generado por los vectores i Y j.

    Ilustración

    En otras palabras: buscamos una línea tal que la suma de las longitudes al cuadrado de las distancias de todos los puntos a esta línea sea mínima:

    ACTUALIZACIÓN: aquí tengo una jamba, la distancia a la línea debe medirse verticalmente, no en proyección ortográfica. el comentarista tiene razón.

    Ilustración

    En palabras completamente diferentes (cuidadosamente, mal formalizado, pero debería quedar claro en los dedos): tomamos todas las líneas posibles entre todos los pares de puntos y buscamos la línea promedio entre todos:

    Ilustración

    Otra explicación sobre los dedos: colocamos un resorte entre todos los puntos de datos (aquí tenemos tres) y la línea que estamos buscando, y la línea del estado de equilibrio es exactamente lo que estamos buscando.

    Forma cuadrática mínima

    Entonces, dado el vector b y el plano generado por los vectores-columna de la matriz A(V este caso(x0,x1,x2) y (1,1,1)), buscamos un vector mi con un cuadrado mínimo de longitud. Obviamente, el mínimo es alcanzable solo para el vector mi, ortogonal al plano generado por los vectores-columna de la matriz A:

    En otras palabras, buscamos un vector x=(alfa, beta) tal que:

    Les recuerdo que este vector x=(alfa, beta) es el mínimo función cuadrática||e(alfa, beta)||^2:

    Aquí es útil recordar que la matriz puede interpretarse tan bien como la forma cuadrática, por ejemplo, la matriz identidad ((1,0),(0,1)) puede interpretarse como una función de x^2 + y ^ 2:

    forma cuadrática

    Toda esta gimnasia se conoce como regresión lineal.

    Ecuación de Laplace con condición de contorno de Dirichlet

    Ahora el problema real más simple: hay una cierta superficie triangulada, es necesario suavizarla. Por ejemplo, carguemos mi modelo de cara:

    La confirmación original está disponible. Para minimizar las dependencias externas, tomé el código de mi renderizador de software, que ya estaba en Habré. para soluciones sistema lineal Uso OpenNL, es un excelente solucionador, pero es muy difícil de instalar: debe copiar dos archivos (.h+.c) en la carpeta de su proyecto. Todo el suavizado se realiza mediante el siguiente código:

    Para (int d=0; d<3; d++) { nlNewContext(); nlSolverParameteri(NL_NB_VARIABLES, verts.size()); nlSolverParameteri(NL_LEAST_SQUARES, NL_TRUE); nlBegin(NL_SYSTEM); nlBegin(NL_MATRIX); for (int i=0; i<(int)verts.size(); i++) { nlBegin(NL_ROW); nlCoefficient(i, 1); nlRightHandSide(verts[i][d]); nlEnd(NL_ROW); } for (unsigned int i=0; i&cara = caras[i]; para (int j=0; j<3; j++) { nlBegin(NL_ROW); nlCoefficient(face[ j ], 1); nlCoefficient(face[(j+1)%3], -1); nlEnd(NL_ROW); } } nlEnd(NL_MATRIX); nlEnd(NL_SYSTEM); nlSolve(); for (int i=0; i<(int)verts.size(); i++) { verts[i][d] = nlGetVariable(i); } }

    Las coordenadas X, Y y Z son separables, las suavizo por separado. Es decir, resuelvo tres sistemas de ecuaciones lineales, cada uno con el mismo número de variables que el número de vértices de mi modelo. Las primeras n filas de la matriz A tienen solo un 1 por fila, y las primeras n filas del vector b tienen las coordenadas del modelo original. Es decir, ato con resorte entre la nueva posición del vértice y la posición del vértice antiguo; los nuevos no deben estar demasiado lejos de los antiguos.

    Todas las filas subsiguientes de la matriz A (faces.size()*3 = el número de aristas de todos los triángulos en la cuadrícula) tienen una ocurrencia de 1 y una ocurrencia de -1, mientras que el vector b tiene cero componentes opuestos. Esto significa que puse un resorte en cada borde de nuestra malla triangular: todos los bordes intentan tener el mismo vértice que sus puntos inicial y final.

    Una vez más: todos los vértices son variables y no pueden desviarse mucho de su posición original, pero al mismo tiempo intentan volverse similares entre sí.

    Aquí está el resultado:

    Todo estaría bien, el modelo está realmente suavizado, pero se alejó de su borde original. Cambiemos un poco el código:

    Para (int i=0; i<(int)verts.size(); i++) { float scale = border[i] ? 1000: 1; nlBegin(NL_ROW); nlCoefficient(i, scale); nlRightHandSide(scale*verts[i][d]); nlEnd(NL_ROW); }

    En nuestra matriz A, para los vértices que están en el borde, no agrego una fila de la categoría v_i = verts[i][d], sino 1000*v_i = 1000*verts[i][d]. ¿Qué cambia? Y esto cambia nuestra forma cuadrática del error. Ahora, una sola desviación de la parte superior en el borde no costará una unidad, como antes, sino 1000 * 1000 unidades. Es decir, colgamos un resorte más fuerte en los vértices extremos, la solución prefiere estirar otros con más fuerza. Aquí está el resultado:

    Dupliquemos la fuerza de los resortes entre los vértices:
    nlCoeficiente(cara[ j ], 2); nlCoeficiente(cara[(j+1)%3], -2);

    Es lógico que la superficie se haya vuelto más lisa:

    Y ahora incluso cien veces más fuerte:

    ¿Qué es esto? Imagina que hemos sumergido un anillo de alambre en agua jabonosa. Como resultado, la película de jabón resultante intentará tener la menor curvatura posible, tocando el mismo borde: nuestro anillo de alambre. Esto es exactamente lo que obtuvimos al arreglar el borde y pedir una superficie lisa en el interior. Enhorabuena, acabamos de resolver la ecuación de Laplace con las condiciones de contorno de Dirichlet. ¿Suena bien? Pero, de hecho, solo hay que resolver un sistema de ecuaciones lineales.

    Ecuación de Poisson

    Tengamos otro nombre genial.

    Digamos que tengo una imagen como esta:

    Todos son buenos, pero no me gusta la silla.

    Corté la imagen por la mitad:



    Y seleccionaré una silla con mis manos:

    Luego, arrastraré todo lo que sea blanco en la máscara hacia el lado izquierdo de la imagen y, al mismo tiempo, diré a lo largo de toda la imagen que la diferencia entre dos píxeles vecinos debe ser igual a la diferencia entre dos píxeles vecinos de la imagen derecha:

    Para (int i=0; i

    Aquí está el resultado:

    El código y las imágenes están disponibles.

    Método de mínimos cuadrados (OLS, ing. Ordinary Least Squares, OLS)- un método matemático utilizado para resolver varios problemas, basado en minimizar la suma de los cuadrados de las desviaciones de algunas funciones de las variables deseadas. Se puede usar para "resolver" sistemas de ecuaciones sobredeterminados (cuando el número de ecuaciones excede el número de incógnitas), para encontrar una solución en el caso de sistemas de ecuaciones no lineales ordinarios (no sobredeterminados), para aproximar los valores de los puntos. de una función determinada. OLS es uno de los métodos básicos de análisis de regresión para estimar parámetros desconocidos de modelos de regresión a partir de datos de muestra.

    YouTube enciclopédico

      1 / 5

      ✪ Método de mínimos cuadrados. Sujeto

      ✪ Mitin I. V. - Procesamiento de los resultados del examen físico. experimento - Método de mínimos cuadrados (Clase 4)

      ✪ Mínimos cuadrados, lección 1/2. Función lineal

      ✪ Econometría. Clase 5. Método de mínimos cuadrados

      ✪ Método de mínimos cuadrados. respuestas

      subtítulos

    Historia

    Hasta principios del siglo XIX. los científicos no tenían ciertas reglas para resolver un sistema de ecuaciones en el que el número de incógnitas es menor que el número de ecuaciones; Hasta ese momento, se usaban métodos particulares, dependiendo del tipo de ecuaciones y del ingenio de las calculadoras, y por lo tanto, diferentes calculadoras, partiendo de los mismos datos de observación, llegaban a diferentes conclusiones. A Gauss (1795) se le atribuye la primera aplicación del método, y Legendre (1805) lo descubrió y publicó de forma independiente con su nombre moderno (fr. Metodo des moindres quarres) . Laplace conectó el método con la teoría de las probabilidades y el matemático estadounidense Adrian (1808) consideró sus aplicaciones probabilísticas. El método está muy extendido y mejorado por investigaciones adicionales de Encke, Bessel, Hansen y otros.

    La esencia del método de los mínimos cuadrados.

    Dejar x (\ estilo de visualización x)- equipo n (\ estilo de visualización n) variables desconocidas (parámetros), f yo (x) (\displaystyle f_(i)(x)), , m > n (\displaystyle m>n)- conjunto de funciones de este conjunto de variables. El problema es elegir tales valores. x (\ estilo de visualización x) para que los valores de estas funciones se acerquen lo más posible a algunos valores y yo (\displaystyle y_(i)). En esencia, estamos hablando de la “solución” del sistema de ecuaciones sobredeterminado f yo (x) = y yo (\displaystyle f_(i)(x)=y_(i)), yo = 1 , ... , metro (\displaystyle i=1,\ldots ,m) en el sentido indicado, la máxima proximidad de las partes izquierda y derecha del sistema. La esencia de LSM es elegir como "medida de proximidad" la suma de las desviaciones al cuadrado de las partes izquierda y derecha | F yo (x) - y yo | (\displaystyle |f_(i)(x)-y_(i)|). Así, la esencia de la LSM se puede expresar de la siguiente manera:

    ∑ yo mi yo 2 = ∑ yo (y yo - F yo (x)) 2 → min x (\displaystyle \sum _(i)e_(i)^(2)=\sum _(i)(y_(i)-f_( i)(x))^(2)\flecha derecha \min _(x)).

    Si el sistema de ecuaciones tiene una solución, entonces el mínimo de la suma de los cuadrados será igual a cero y las soluciones exactas del sistema de ecuaciones se pueden encontrar analíticamente o, por ejemplo, mediante varios métodos de optimización numérica. Si el sistema está sobredeterminado, es decir, en términos generales, el número de ecuaciones independientes es mayor que el número de variables desconocidas, entonces el sistema no tiene una solución exacta y el método de mínimos cuadrados nos permite encontrar algún vector "óptimo". x (\ estilo de visualización x) en el sentido de la máxima proximidad de los vectores y (\ estilo de visualización y) Y f (x) (\displaystyle f(x)) o la proximidad máxima del vector de desviación e (\ estilo de visualización e) a cero (la proximidad se entiende en el sentido de distancia euclidiana).

    Ejemplo - sistema de ecuaciones lineales

    En particular, el método de los mínimos cuadrados se puede utilizar para "resolver" el sistema de ecuaciones lineales

    A x = segundo (\displaystyle Ax=b),

    Dónde A (\ estilo de visualización A) matriz de tamaño rectangular metro × norte , metro > norte (\displaystyle m\times n,m>n)(es decir, el número de filas de la matriz A es mayor que el número de variables requeridas).

    Tal sistema de ecuaciones generalmente no tiene solución. Por lo tanto, este sistema puede "resolverse" solo en el sentido de elegir dicho vector x (\ estilo de visualización x) para minimizar la "distancia" entre vectores A x (\displaystyle Hacha) Y b (\ estilo de visualización b). Para ello se puede aplicar el criterio de minimización de la suma de las diferencias al cuadrado de las partes izquierda y derecha de las ecuaciones del sistema, es decir (A x − b) T (A x − b) → min (\displaystyle (Ax-b)^(T)(Ax-b)\rightarrow \min ). Es fácil demostrar que la solución de este problema de minimización conduce a la solución del siguiente sistema de ecuaciones

    UN T UN x = UN T segundo ⇒ x = (UN T UN) − 1 UN T segundo (\displaystyle A^(T)Ax=A^(T)b\Rightarrow x=(A^(T)A)^(-1)A^ (Tuberculosis).

    MCO en análisis de regresión (aproximación de datos)

    Dejalo ser n (\ estilo de visualización n) valores de alguna variable y (\ estilo de visualización y)(pueden ser los resultados de observaciones, experimentos, etc.) y las variables correspondientes x (\ estilo de visualización x). El reto es hacer que la relación entre y (\ estilo de visualización y) Y x (\ estilo de visualización x) aproximado por alguna función conocida hasta algunos parámetros desconocidos b (\ estilo de visualización b), es decir, encontrar realmente los mejores valores de los parámetros b (\ estilo de visualización b), aproximando al máximo los valores f (x, b) (\displaystyle f(x,b)) a los valores reales y (\ estilo de visualización y). De hecho, esto se reduce al caso de "solución" de un sistema de ecuaciones sobredeterminado con respecto a b (\ estilo de visualización b):

    F (x t , segundo) = y t , t = 1 , ... , norte (\displaystyle f(x_(t),b)=y_(t),t=1,\ldots,n).

    En el análisis de regresión, y en particular en la econometría, se utilizan modelos probabilísticos de relación entre variables.

    Y t = F (x t , segundo) + ε t (\displaystyle y_(t)=f(x_(t),b)+\varepsilon _(t)),

    Dónde ε t (\displaystyle \varepsilon_(t))- así llamado errores aleatorios modelos

    En consecuencia, las desviaciones de los valores observados y (\ estilo de visualización y) del modelo f (x, b) (\displaystyle f(x,b)) ya asumido en el propio modelo. La esencia de LSM (ordinario, clásico) es encontrar tales parámetros b (\ estilo de visualización b), en el que la suma de las desviaciones al cuadrado (errores, para los modelos de regresión a menudo se denominan residuos de regresión) e t (\displaystyle e_(t)) será mínimo:

    segundo ^ O L S = arg ⁡ min segundo R S S (b) (\displaystyle (\hat (b))_(OLS)=\arg \min _(b)RSS(b)),

    Dónde R S S (\displaystyle RSS)- Inglés. La suma residual de cuadrados se define como:

    R S S (b) = mi T mi = ∑ t = 1 norte mi t 2 = ∑ t = 1 norte (y t − F (x t , b)) 2 (\displaystyle RSS(b)=e^(T)e=\sum _ (t=1)^(n)e_(t)^(2)=\sum_(t=1)^(n)(y_(t)-f(x_(t),b))^(2) ).

    En el caso general, este problema se puede resolver mediante métodos numéricos de optimización (minimización). En este caso, se habla de mínimos cuadrados no lineales(NLS o NLLS - ing. Mínimos cuadrados no lineales). En muchos casos, se puede obtener una solución analítica. Para resolver el problema de minimización, es necesario encontrar los puntos estacionarios de la función R S S (b) (\displaystyle RSS(b)), diferenciándolo con respecto a parámetros desconocidos b (\ estilo de visualización b), igualando las derivadas a cero y resolviendo el sistema de ecuaciones resultante:

    ∑ t = 1 norte (y t − F (x t , segundo)) ∂ F (x t , segundo) ∂ segundo = 0 (\displaystyle \sum _(t=1)^(n)(y_(t)-f(x_ (t),b))(\frac (\parcial f(x_(t),b))(\parcial b))=0).

    LSM en el caso de regresión lineal

    Sea la dependencia de la regresión lineal:

    y t = ∑ j = 1 k segundo j X t j + ε = X t T segundo + ε t (\displaystyle y_(t)=\sum _(j=1)^(k)b_(j)x_(tj)+\varepsilon =x_( t)^(T)b+\varepsilon_(t)).

    Dejar y es el vector columna de observaciones de la variable que se explica, y X (\ estilo de visualización X)- Este (n × k) (\displaystyle ((n\times k)))- matriz de observaciones de factores (filas de la matriz - vectores de valores de factores en una observación dada, por columnas - vector de valores de un factor dado en todas las observaciones). La representación matricial  del modelo lineal tiene la forma:

    y = Xb + ε (\displaystyle y=Xb+\varepsilon).

    Entonces el vector de estimaciones de la variable explicada y el vector de residuos de regresión serán iguales a

    y ^ = X segundo , mi = y − y ^ = y − X segundo (\displaystyle (\hat (y))=Xb,\quad e=y-(\hat (y))=y-Xb).

    en consecuencia, la suma de los cuadrados de los residuos de la regresión será igual a

    R S S = mi T mi = (y − X segundo) T (y − X segundo) (\displaystyle RSS=e^(T)e=(y-Xb)^(T)(y-Xb)).

    Derivando esta función con respecto al vector de parámetros b (\ estilo de visualización b) e igualando las derivadas a cero, obtenemos un sistema de ecuaciones (en forma matricial):

    (X T X) segundo = X T y (\displaystyle (X^(T)X)b=X^(T)y).

    En la forma matricial descifrada, este sistema de ecuaciones se ve así:

    (∑ x t 1 2 ∑ x t 1 x t 2 ∑ x t 1 x t 3 … ∑ x t 1 x t k ∑ x t 2 x t 1 ∑ x t 2 2 ∑ x t 2 x t 3 … ∑ x t 2 x t k ∑ x t 3 x t 2 … ∑ x t ∑ x t 3 x t k ⋮ ⋮ ⋮ ⋱ ⋮ ∑ x t k x t 1 ∑ x t k x t 2 ∑ x t k x t 3 … ∑ x t k 2) (segundo 1 segundo 2 segundo 3 ⋮ segundo k) = (∑ x t 1 y x t ∑ x 3 y \t ∑ estilo de visualización (\begin(pmatrix)\sum x_(t1)^(2)&\sum x_(t1)x_(t2)&\sum x_(t1)x_(t3)&\ldots &\sum x_(t1)x_( tk)\\\suma x_(t2)x_(t1)&\suma x_(t2)^(2)&\suma x_(t2)x_(t3)&\ldots &\ suma x_(t2)x_(tk) \\\suma x_(t3)x_(t1)&\suma x_(t3)x_(t2)&\suma x_(t3)^(2)&\ldots &\suma x_ (t3)x_(tk)\\ \vdots &\vdots &\vdots &\ddots &\vdots \\\sum x_(tk)x_(t1)&\sum x_(tk)x_(t2)&\sum x_ (tk)x_(t3)&\ ldots &\sum x_(tk)^(2)\\\end(pmatrix))(\begin(pmatrix)b_(1)\\b_(2)\\b_(3 )\\\vdots \\b_( k)\\\end(pmatriz))=(\begin(pmatriz)\sum x_(t1)y_(t)\\\sum x_(t2)y_(t)\\ \sum x_(t3)y_(t )\\\vdots \\\sum x_(tk)y_(t)\\\end(pmatriz)),) donde todas las sumas se toman sobre todos los valores admisibles t (\ estilo de visualización t).

    Si se incluye una constante en el modelo (como es habitual), entonces x t 1 = 1 (\displaystyle x_(t1)=1) para todos t (\ estilo de visualización t), por lo tanto, en la esquina superior izquierda de la matriz del sistema de ecuaciones está el número de observaciones n (\ estilo de visualización n), y en los elementos restantes de la primera fila y la primera columna, solo la suma de los valores de las variables: ∑ x t j (\displaystyle \sum x_(tj)) y el primer elemento del lado derecho del sistema - ∑ y t (\displaystyle \sum y_(t)).

    La solución de este sistema de ecuaciones da la fórmula general para las estimaciones de mínimos cuadrados para el modelo lineal:

    segundo ^ O L S = (X T X) − 1 X T y = (1 norte X T X) − 1 1 norte X T y = V x − 1 C x y (\displaystyle (\hat (b))_(OLS)=(X^(T) )X)^(-1)X^(T)y=\left((\frac (1)(n))X^(T)X\right)^(-1)(\frac (1)(n) ))X^(T)y=V_(x)^(-1)C_(xy)).

    A efectos analíticos resulta útil la última representación de esta fórmula (en el sistema de ecuaciones al dividir por n aparecen medias aritméticas en lugar de sumas). Si los datos en el modelo de regresión centrado, entonces en esta representación la primera matriz tiene el significado de matriz de covarianzas muestrales de factores, y la segunda es el vector de covarianzas de factores con variable dependiente. Si, además, los datos también son normalizado en el SKO (es decir, en última instancia estandarizado), entonces la primera matriz tiene el significado de la matriz de correlación de muestra de factores, el segundo vector - el vector de correlación de muestra de factores con la variable dependiente.

    Una propiedad importante de las estimaciones LLS para modelos con una constante- la línea de la regresión construida pasa por el centro de gravedad de los datos muestrales, es decir, se cumple la igualdad:

    y ¯ = segundo 1 ^ + ∑ j = 2 k segundo ^ j X ¯ j (\displaystyle (\bar (y))=(\hat (b_(1)))+\sum _(j=2)^(k) (\sombrero (b))_(j)(\bar (x))_(j)).

    En particular, en el caso extremo, cuando el único regresor es una constante, encontramos que la estimación MCO de un solo parámetro (la propia constante) es igual al valor medio de la variable que se explica. Es decir, la media aritmética, conocida por sus buenas propiedades de las leyes de los grandes números, también es una estimación de mínimos cuadrados: satisface el criterio de la suma mínima de las desviaciones al cuadrado.

    Los casos especiales más simples.

    En el caso de la regresión lineal por pares y t = una + segundo x t + ε t (\displaystyle y_(t)=a+bx_(t)+\varepsilon _(t)), cuando se estima la dependencia lineal de una variable con otra, las fórmulas de cálculo se simplifican (se puede prescindir del álgebra matricial). El sistema de ecuaciones tiene la forma:

    (1 x ¯ x ¯ x 2 ¯) (a segundo) = (y ¯ x y ¯) (\displaystyle (\begin(pmatrix)1&(\bar (x))\\(\bar (x))&(\bar (x^(2)))\\\end(pmatriz))(\begin(pmatriz)a\\b\\\end(pmatriz))=(\begin(pmatriz)(\bar (y))\\ (\overline(xy))\\\end(pmatriz))).

    A partir de aquí es fácil encontrar estimaciones para los coeficientes:

    ( segundo ^ = Cov ⁡ (x , y) Var ⁡ (x) = x y ¯ − x ¯ y ¯ x 2 ¯ − x ¯ 2 , un ^ = y ¯ − segundo x ¯ . (\displaystyle (\begin(cases) (\hat (b))=(\frac (\mathop (\textrm (Cov)) (x,y))(\mathop (\textrm (Var)) (x)))=(\frac ((\overline (xy))-(\bar (x))(\bar (y)))((\overline (x^(2)))-(\overline (x))^(2))),\\( \hat (a))=(\bar (y))-b(\bar (x)).\end(casos)))

    A pesar de que, en general, son preferibles los modelos con una constante, en algunos casos se sabe por consideraciones teóricas que la constante a (\ estilo de visualización a) debe ser igual a cero. Por ejemplo, en física, la relación entre voltaje y corriente tiene la forma U = yo ⋅ R (\displaystyle U=I\cdot R); midiendo voltaje y corriente, es necesario estimar la resistencia. En este caso, estamos hablando de un modelo. y = segundo x (\displaystyle y=bx). En este caso, en lugar de un sistema de ecuaciones, tenemos una sola ecuación

    (∑ x t 2) segundo = ∑ x t y t (\displaystyle \left(\sum x_(t)^(2)\right)b=\sum x_(t)y_(t)).

    Por lo tanto, la fórmula para estimar un solo coeficiente tiene la forma

    segundo ^ = ∑ t = 1 norte X t y t ∑ t = 1 norte X t 2 = X y ¯ x 2 ¯ (\displaystyle (\hat (b))=(\frac (\sum _(t=1)^(n)x_(t )y_(t))(\sum _(t=1)^(n)x_(t)^(2)))=(\frac (\overline (xy))(\overline (x^(2)) ))).

    El caso de un modelo polinomial

    Si los datos se ajustan mediante una función de regresión polinomial de una variable f (x) = segundo 0 + ∑ yo = 1 k segundo yo x yo (\displaystyle f(x)=b_(0)+\sum \limits _(i=1)^(k)b_(i)x^(i)), entonces, percibiendo grados x yo (\ estilo de visualización x ^ (i)) como factores independientes para cada yo (\ estilo de visualización i) es posible estimar los parámetros del modelo en base a la fórmula general para estimar los parámetros del modelo lineal. Para ello, basta tener en cuenta en la fórmula general que con tal interpretación x t yo x t j = x t yo x t j = x t yo + j (\displaystyle x_(ti)x_(tj)=x_(t)^(i)x_(t)^(j)=x_(t)^(i+j)) Y x t j y t = x t j y t (\displaystyle x_(tj)y_(t)=x_(t)^(j)y_(t)). Por lo tanto, las ecuaciones matriciales en este caso tomarán la forma:

    (norte ∑ norte X t ... ∑ norte X t k ∑ norte X t ∑ norte X yo 2 ... ∑ metro X yo k + 1 ⋮ ⋮ ⋱ ⋮ ∑ norte X t k ∑ norte X t k + 1 ... ∑ norte X t 2 k) [ segundo 0 segundo 1 ⋮ [ norte X ∑ t = y ∑ ∑ norte X t k y t ] . (\displaystyle (\begin(pmatrix)n&\sum \limits _(n)x_(t)&\ldots &\sum \limits _(n)x_(t)^(k)\\\sum \limits _( n)x_(t)&\sum \limits _(n)x_(i)^(2)&\ldots &\sum \limits _(m)x_(i)^(k+1)\\\vdots & \vdots &\ddots &\vdots \\\sum \limits _(n)x_(t)^(k)&\sum \limits _(n)x_(t)^(k+1)&\ldots &\ suma \limits _(n)x_(t)^(2k)\end(pmatrix))(\begin(bmatrix)b_(0)\\b_(1)\\\vdots \\b_(k)\end( bmatriz))=(\begin(bmatriz)\sum \limits _(n)y_(t)\\\sum \limits _(n)x_(t)y_(t)\\\vdots \\\sum \limits _(n)x_(t)^(k)y_(t)\end(bmatriz)).)

    Propiedades estadísticas de las estimaciones de OLS

    En primer lugar, observamos que para los modelos lineales, las estimaciones de mínimos cuadrados son estimaciones lineales, como se deduce de la fórmula anterior. Para la falta de sesgo de las estimaciones de mínimos cuadrados, es necesario y suficiente cumplir con la condición más importante del análisis de regresión: la expectativa matemática de un error aleatorio condicionado a los factores debe ser igual a cero. Esta condición se cumple, en particular, si

    1. la expectativa matemática de errores aleatorios es cero, y
    2. los factores y los errores aleatorios son valores aleatorios independientes.

    La segunda condición, la condición de los factores exógenos, es fundamental. Si esta propiedad no se cumple, entonces podemos suponer que casi todas las estimaciones serán extremadamente insatisfactorias: ni siquiera serán consistentes (es decir, incluso una gran cantidad de datos no permite obtener estimaciones cualitativas en este caso). En el caso clásico, se hace una suposición más fuerte sobre el determinismo de los factores, en contraste con un error aleatorio, lo que automáticamente significa que se cumple la condición exógena. En el caso general, para la consistencia de las estimaciones, es suficiente satisfacer la condición de exogeneidad junto con la convergencia de la matriz Vx (\displaystyle V_(x)) a alguna matriz no degenerada a medida que el tamaño de la muestra aumenta hasta el infinito.

    Para que, además de la consistencia y la imparcialidad, las estimaciones de los (habituales) mínimos cuadrados sean también efectivas (las mejores de la clase de estimaciones lineales insesgadas), es necesario cumplir propiedades adicionales de un error aleatorio:

    Estos supuestos se pueden formular para la matriz de covarianza  del vector de errores aleatorios V (ε) = σ 2 yo (\displaystyle V(\varepsilon)=\sigma ^(2)I).

    Un modelo lineal que satisface estas condiciones se llama clásico. Las estimaciones de OLS para la regresión lineal clásica son estimaciones no sesgadas, consistentes y más eficientes en la clase de todas las estimaciones lineales no sesgadas (en la literatura inglesa, la abreviatura se usa a veces azul (Mejor estimador lineal imparcial) es la mejor estimación lineal insesgada; en la literatura nacional, se cita más a menudo el teorema de Gauss - Markov). Como es fácil de demostrar, la matriz de covarianza del vector de estimación de coeficientes será igual a:

    V (segundo ^ O L S) = σ 2 (X T X) − 1 (\displaystyle V((\hat (b))_(OLS))=\sigma ^(2)(X^(T)X)^(-1 )).

    Eficiencia significa que esta matriz de covarianza es "mínima" (cualquier combinación lineal de coeficientes, y en particular los propios coeficientes, tienen una varianza mínima), es decir, en la clase de estimaciones lineales insesgadas, las estimaciones OLS son las mejores. Los elementos diagonales de esta matriz -las varianzas de las estimaciones de los coeficientes- son parámetros importantes de la calidad de las estimaciones obtenidas. Sin embargo, no es posible calcular la matriz de covarianza porque se desconoce la varianza del error aleatorio. Se puede demostrar que la estimación imparcial y consistente (para el modelo lineal clásico) de la varianza de los errores aleatorios es el valor:

    S 2 = R S S / (n − k) (\displaystyle s^(2)=RSS/(n-k)).

    Sustituyendo este valor en la fórmula de la matriz de covarianza, obtenemos una estimación de la matriz de covarianza. Las estimaciones resultantes también son imparciales y consistentes. También es importante que la estimación de la varianza del error (y por tanto las varianzas de los coeficientes) y las estimaciones de los parámetros del modelo sean variables aleatorias independientes, lo que permite obtener estadísticos de prueba para contrastar hipótesis sobre los coeficientes del modelo.

    Cabe señalar que si no se cumplen los supuestos clásicos, las estimaciones de los parámetros de mínimos cuadrados no son las más eficientes y, cuando W (\ estilo de visualización W) es una matriz de peso definida positiva simétrica. Los mínimos cuadrados ordinarios son un caso especial de este enfoque, cuando la matriz de peso es proporcional a la matriz identidad. Como es sabido, para matrices simétricas (u operadores) existe una descomposición W = PAGS T PAGS (\displaystyle W=P^(T)P). Por lo tanto, este funcional se puede representar de la siguiente manera mi T PAGS T PAGS mi = (PAGS mi) T PAGS mi = mi ∗ T mi ∗ (\displaystyle e^(T)P^(T)Pe=(Pe)^(T)Pe=e_(*)^(T)e_( *)), es decir, este funcional se puede representar como la suma de los cuadrados de algunos "residuales" transformados. Por lo tanto, podemos distinguir una clase de métodos de mínimos cuadrados: métodos LS (Least Squares).

    Se demuestra (teorema de Aitken) que para un modelo de regresión lineal generalizado (en el que no se imponen restricciones a la matriz de covarianza de errores aleatorios), los más efectivos (en la clase de estimaciones lineales no sesgadas) son las estimaciones de los llamados. MCO generalizado (OMNK, GLS - Mínimos cuadrados generalizados)- Método LS con una matriz de peso igual a la matriz de covarianza inversa de errores aleatorios: W = V ε − 1 (\displaystyle W=V_(\varepsilon)^(-1)).

    Se puede demostrar que la fórmula para las estimaciones GLS de los parámetros del modelo lineal tiene la forma

    segundo ^ GRAMO L S = (X T V − 1 X) − 1 X T V − 1 y (\displaystyle (\hat (b))_(GLS)=(X^(T)V^(-1)X)^(-1) X^(T)V^(-1)y).

    La matriz de covarianza de estas estimaciones, respectivamente, será igual a

    V (segundo ^ GRAMO L S) = (X T V − 1 X) − 1 (\displaystyle V((\hat (b))_(GLS))=(X^(T)V^(-1)X)^(- 1)).

    De hecho, la esencia del OLS radica en una cierta transformación (lineal) (P) de los datos originales y la aplicación de los mínimos cuadrados habituales a los datos transformados. El propósito de esta transformación es que para los datos transformados, los errores aleatorios ya satisfagan los supuestos clásicos.

    Mínimos cuadrados ponderados

    En el caso de una matriz de pesos diagonal (y por tanto de la matriz de covarianza de errores aleatorios), tenemos los llamados mínimos cuadrados ponderados (WLS - Weighted Least Squares). En este caso, se minimiza la suma ponderada de cuadrados de los residuos del modelo, es decir, cada observación recibe un “peso” que es inversamente proporcional a la varianza del error aleatorio en esta observación: mi T W mi = ∑ t = 1 norte mi t 2 σ t 2 (\displaystyle e^(T)We=\sum _(t=1)^(n)(\frac (e_(t)^(2))(\ sigma_(t)^(2)))). De hecho, los datos se transforman ponderando las observaciones (dividiendo por una cantidad proporcional a la desviación estándar asumida de los errores aleatorios), y se aplican mínimos cuadrados normales a los datos ponderados.

    ISBN 978-5-7749-0473-0.

  • Econometría. Libro de texto / Ed. Eliseeva I. I. - 2ª ed. - M. : Finanzas y estadísticas, 2006. - 576 p. - ISBN 5-279-02786-3.
  • Alexandrova NV Historia de términos matemáticos, conceptos, designaciones: un libro de referencia de diccionario. - 3ra ed.- M. : LKI, 2008. - 248 p. - ISBN 978-5-382-00839-4. IV Mitin, Rusakov VS Análisis y procesamiento de datos experimentales - 5ª edición - 24p.
  • Método de mínimos cuadrados

    Método de mínimos cuadrados ( MNK, MCO, Mínimos cuadrados ordinarios) - uno de los métodos básicos de análisis de regresión para estimar parámetros desconocidos de modelos de regresión a partir de datos de muestra. El método se basa en minimizar la suma de cuadrados de los residuos de la regresión.

    Cabe señalar que el método de los mínimos cuadrados en sí mismo puede llamarse un método para resolver un problema en cualquier área, si la solución consiste o satisface un cierto criterio para minimizar la suma de cuadrados de algunas funciones de las variables desconocidas. Por lo tanto, el método de los mínimos cuadrados también se puede utilizar para una representación aproximada (aproximación) de una función dada por otras funciones (más simples), cuando se encuentra un conjunto de cantidades que satisfacen ecuaciones o restricciones, cuyo número excede el número de estas cantidades. , etc.

    La esencia de la multinacional

    Sea algún modelo (paramétrico) de dependencia probabilística (regresión) entre la variable (explicada) y y muchos factores (variables explicativas) X

    donde está el vector de parámetros desconocidos del modelo

    - Error de modelo aleatorio.

    Que también haya observaciones de muestra de los valores de las variables indicadas. Sea el número de observación (). Entonces son los valores de las variables en la -ésima observación. Entonces, para valores dados de los parámetros b, es posible calcular los valores teóricos (modelo) de la variable explicada y:

    El valor de los residuales depende de los valores de los parámetros b.

    La esencia de LSM (ordinario, clásico) es encontrar tales parámetros b para los cuales la suma de los cuadrados de los residuos (ing. Suma Residual de Cuadrados) será mínimo:

    En el caso general, este problema se puede resolver mediante métodos numéricos de optimización (minimización). En este caso, se habla de mínimos cuadrados no lineales(NLS o NLLS - Inglés. Mínimos cuadrados no lineales). En muchos casos, se puede obtener una solución analítica. Para resolver el problema de minimización es necesario encontrar los puntos estacionarios de la función derivándola con respecto a los parámetros desconocidos b, igualando las derivadas a cero, y resolviendo el sistema de ecuaciones resultante:

    Si los errores aleatorios del modelo se distribuyen normalmente, tienen la misma varianza y no están correlacionados entre sí, las estimaciones de los parámetros de mínimos cuadrados son las mismas que las estimaciones del método de máxima verosimilitud (MLM).

    LSM en el caso de un modelo lineal

    Sea la dependencia de la regresión lineal:

    Dejar y- vector columna de observaciones de la variable explicada, y - matriz de observaciones de factores (filas de la matriz - vectores de valores de factores en una observación dada, por columnas - vector de valores de un factor dado en todas las observaciones) . La representación matricial del modelo lineal tiene la forma:

    Entonces el vector de estimaciones de la variable explicada y el vector de residuos de regresión serán iguales a

    en consecuencia, la suma de los cuadrados de los residuos de la regresión será igual a

    Derivando esta función con respecto al vector de parámetros e igualando las derivadas a cero, obtenemos un sistema de ecuaciones (en forma matricial):

    .

    La solución de este sistema de ecuaciones da la fórmula general para las estimaciones de mínimos cuadrados para el modelo lineal:

    A efectos analíticos, la última representación de esta fórmula resulta útil. Si los datos en el modelo de regresión centrado, entonces en esta representación la primera matriz tiene el significado de matriz de covarianzas muestrales de factores, y la segunda es el vector de covarianzas de factores con variable dependiente. Si, además, los datos también son normalizado en el SKO (es decir, en última instancia estandarizado), entonces la primera matriz tiene el significado de la matriz de correlación de muestra de factores, el segundo vector - el vector de correlación de muestra de factores con la variable dependiente.

    Una propiedad importante de las estimaciones LLS para modelos con una constante- la línea de la regresión construida pasa por el centro de gravedad de los datos muestrales, es decir, se cumple la igualdad:

    En particular, en el caso extremo, cuando el único regresor es una constante, encontramos que la estimación MCO de un solo parámetro (la propia constante) es igual al valor medio de la variable que se explica. Es decir, la media aritmética, conocida por sus buenas propiedades de las leyes de los grandes números, también es una estimación de mínimos cuadrados: satisface el criterio de la suma mínima de las desviaciones al cuadrado.

    Ejemplo: regresión simple (por pares)

    En el caso de la regresión lineal pareada, las fórmulas de cálculo se simplifican (se puede prescindir del álgebra matricial):

    Propiedades de las estimaciones de OLS

    En primer lugar, observamos que para los modelos lineales, las estimaciones de mínimos cuadrados son estimaciones lineales, como se deduce de la fórmula anterior. Para estimaciones MCO no sesgadas, es necesario y suficiente cumplir la condición más importante del análisis de regresión: la expectativa matemática de un error aleatorio condicional a los factores debe ser igual a cero. Esta condición se cumple, en particular, si

    1. la expectativa matemática de errores aleatorios es cero, y
    2. los factores y los errores aleatorios son variables aleatorias independientes.

    La segunda condición, la condición de los factores exógenos, es fundamental. Si esta propiedad no se cumple, entonces podemos suponer que casi todas las estimaciones serán extremadamente insatisfactorias: ni siquiera serán consistentes (es decir, incluso una gran cantidad de datos no permite obtener estimaciones cualitativas en este caso). En el caso clásico, se hace una suposición más fuerte sobre el determinismo de los factores, en contraste con un error aleatorio, lo que automáticamente significa que se cumple la condición exógena. En el caso general, para la consistencia de las estimaciones, basta con cumplir la condición de exogeneidad junto con la convergencia de la matriz a alguna matriz no singular con un aumento del tamaño de la muestra al infinito.

    Para que, además de la consistencia y la imparcialidad, las estimaciones de los (habituales) mínimos cuadrados sean también efectivas (las mejores de la clase de estimaciones lineales insesgadas), es necesario cumplir propiedades adicionales de un error aleatorio:

    Estos supuestos se pueden formular para la matriz de covarianza del vector de error aleatorio

    Un modelo lineal que satisface estas condiciones se llama clásico. Las estimaciones de OLS para la regresión lineal clásica son estimaciones no sesgadas, consistentes y más eficientes en la clase de todas las estimaciones lineales no sesgadas (en la literatura inglesa, la abreviatura se usa a veces azul (Mejor estimador lineal no basado) es la mejor estimación lineal insesgada; en la literatura nacional, se cita con más frecuencia el teorema de Gauss-Markov). Como es fácil de demostrar, la matriz de covarianza del vector de estimación de coeficientes será igual a:

    Mínimos cuadrados generalizados

    El método de mínimos cuadrados permite una amplia generalización. En lugar de minimizar la suma de los cuadrados de los residuos, se puede minimizar alguna forma cuadrática definida positiva del vector residual, donde hay alguna matriz de peso definida positiva simétrica. Los mínimos cuadrados ordinarios son un caso especial de este enfoque, cuando la matriz de peso es proporcional a la matriz identidad. Como se sabe por la teoría de las matrices (u operadores) simétricas, existe una descomposición para tales matrices. Por lo tanto, el funcional especificado se puede representar de la siguiente manera, es decir, este funcional se puede representar como la suma de los cuadrados de algunos "residuales" transformados. Por lo tanto, podemos distinguir una clase de métodos de mínimos cuadrados: métodos LS (Least Squares).

    Se demuestra (teorema de Aitken) que para un modelo de regresión lineal generalizado (en el que no se imponen restricciones a la matriz de covarianza de errores aleatorios), los más efectivos (en la clase de estimaciones lineales no sesgadas) son las estimaciones de los llamados. MCO generalizado (OMNK, GLS - Mínimos cuadrados generalizados)- Método LS con una matriz de pesos igual a la matriz de covarianza inversa de errores aleatorios: .

    Se puede demostrar que la fórmula para las estimaciones GLS de los parámetros del modelo lineal tiene la forma

    La matriz de covarianza de estas estimaciones, respectivamente, será igual a

    De hecho, la esencia del OLS radica en una cierta transformación (lineal) (P) de los datos originales y la aplicación de los mínimos cuadrados habituales a los datos transformados. El propósito de esta transformación es que para los datos transformados, los errores aleatorios ya satisfagan los supuestos clásicos.

    Mínimos cuadrados ponderados

    En el caso de una matriz de pesos diagonal (y por tanto de la matriz de covarianza de errores aleatorios), tenemos los llamados mínimos cuadrados ponderados (WLS - Weighted Least Squares). En este caso, se minimiza la suma ponderada de cuadrados de los residuos del modelo, es decir, cada observación recibe un "peso" que es inversamente proporcional a la varianza del error aleatorio en esta observación: . De hecho, los datos se transforman ponderando las observaciones (dividiendo por una cantidad proporcional a la desviación estándar supuesta de los errores aleatorios), y se aplican mínimos cuadrados normales a los datos ponderados.

    Algunos casos especiales de aplicación de LSM en la práctica

    Aproximación lineal

    Considere el caso cuando, como resultado del estudio de la dependencia de una cierta cantidad escalar de una cierta cantidad escalar (Esto puede ser, por ejemplo, la dependencia del voltaje de la intensidad de la corriente: , donde es un valor constante, la resistencia del conductor ), se midieron estas cantidades, como resultado de lo cual los valores y sus valores correspondientes. Los datos de medición deben registrarse en una tabla.

    Mesa. Resultados de la medición.

    No. de medida
    1
    2
    3
    4
    5
    6

    La pregunta suena así: ¿qué valor del coeficiente se puede elegir para describir mejor la dependencia? De acuerdo con los mínimos cuadrados, este valor debe ser tal que la suma de las desviaciones al cuadrado de los valores de los valores

    fue mínimo

    La suma de las desviaciones al cuadrado tiene un extremo, un mínimo, que nos permite usar esta fórmula. Encontremos el valor del coeficiente a partir de esta fórmula. Para hacer esto, transformamos su lado izquierdo de la siguiente manera:

    La última fórmula nos permite encontrar el valor del coeficiente , que se requería en el problema.

    Historia

    Hasta principios del siglo XIX. los científicos no tenían ciertas reglas para resolver un sistema de ecuaciones en el que el número de incógnitas es menor que el número de ecuaciones; Hasta ese momento, se usaban métodos particulares, dependiendo del tipo de ecuaciones y del ingenio de las calculadoras, y por lo tanto, diferentes calculadoras, partiendo de los mismos datos de observación, llegaban a diferentes conclusiones. A Gauss (1795) se le atribuye la primera aplicación del método, y Legendre (1805) lo descubrió y publicó de forma independiente con su nombre moderno (fr. Metodo des moindres quarres ) . Laplace relacionó el método con la teoría de la probabilidad y el matemático estadounidense Adrian (1808) consideró sus aplicaciones probabilísticas. El método está muy extendido y mejorado por investigaciones adicionales de Encke, Bessel, Hansen y otros.

    Uso alternativo de las multinacionales

    La idea del método de mínimos cuadrados también se puede utilizar en otros casos no relacionados directamente con el análisis de regresión. El hecho es que la suma de cuadrados es una de las medidas de proximidad más comunes para vectores (la métrica euclidiana en espacios de dimensión finita).

    Una aplicación es "resolver" sistemas de ecuaciones lineales en los que el número de ecuaciones es mayor que el número de variables.

    donde la matriz no es cuadrada, sino rectangular.

    Tal sistema de ecuaciones, en el caso general, no tiene solución (si el rango es realmente mayor que el número de variables). Por lo tanto, este sistema puede "resolverse" solo en el sentido de elegir dicho vector para minimizar la "distancia" entre los vectores y . Para ello se puede aplicar el criterio de minimización de la suma de las diferencias al cuadrado de las partes izquierda y derecha de las ecuaciones del sistema, es decir, . Es fácil demostrar que la solución de este problema de minimización conduce a la solución del siguiente sistema de ecuaciones

    Los mínimos cuadrados es un procedimiento matemático para construir una ecuación lineal que se ajuste mejor a un conjunto de pares ordenados al encontrar valores para a y b, los coeficientes en la ecuación de línea recta. El objetivo del método de mínimos cuadrados es minimizar el error cuadrático total entre los valores de y y ŷ. Si para cada punto determinamos el error ŷ, el método de mínimos cuadrados minimiza:

    donde n = número de pares ordenados alrededor de la línea. más relevante para los datos.

    Este concepto se ilustra en la figura

    A juzgar por la figura, la línea que mejor se ajusta a los datos, la línea de regresión, minimiza el error cuadrático total de los cuatro puntos del gráfico. Le mostraré cómo determinar esto usando el método de mínimos cuadrados en el siguiente ejemplo.

    Imagine una pareja joven que recientemente vive junta y comparte un tocador en el baño. El joven comenzó a notar que la mitad de su mesa se encogía inexorablemente, perdiendo terreno ante las espumas para el cabello y los complejos de soya. En los últimos meses, el chico ha estado monitoreando de cerca la velocidad a la que aumenta la cantidad de artículos en su parte de la mesa. La siguiente tabla muestra la cantidad de artículos que la niña tiene en la mesa del baño que se han acumulado en los últimos meses.

    Dado que nuestro objetivo es averiguar si la cantidad de elementos aumenta con el tiempo, "Mes" será la variable independiente y "Número de elementos" será la variable dependiente.

    Usando el método de mínimos cuadrados, determinamos la ecuación que mejor se ajusta a los datos calculando los valores de a, el segmento en el eje y, y b, la pendiente de la recta:

    a = y cf - bx cf

    donde x cf es el valor medio de x, la variable independiente, y cf es el valor medio de y, la variable independiente.

    La siguiente tabla resume los cálculos requeridos para estas ecuaciones.

    La curva de efecto para nuestro ejemplo de bañera estaría dada por la siguiente ecuación:

    Dado que nuestra ecuación tiene una pendiente positiva de 0,976, el chico tiene una prueba de que la cantidad de artículos en la mesa aumenta con el tiempo a una tasa promedio de 1 artículo por mes. El gráfico muestra la curva de efecto con pares ordenados.

    El número esperado de artículos para el próximo medio año (mes 16) se calculará de la siguiente manera:

    ŷ = 5,13 + 0,976x = 5,13 + 0,976(16) ~ 20,7 = 21 elementos

    Así que es hora de que nuestro héroe tome medidas.

    Función TENDENCIA en Excel

    Como habrás adivinado, Excel tiene una función para calcular un valor a partir de método de mínimos cuadrados. Esta característica se llama TENDENCIA. Su sintaxis es la siguiente:

    TENDENCIA (valores Y conocidos; valores X conocidos; valores X nuevos; constante)

    valores conocidos de Y: una matriz de variables dependientes, en nuestro caso, la cantidad de elementos en la tabla

    valores conocidos de X: una matriz de variables independientes, en nuestro caso es un mes

    nuevos valores X – nuevos valores X (mes) para los que Función TENDENCIA devuelve el valor esperado de las variables dependientes (número de elementos)

    constante - opcional. Un valor booleano que especifica si se requiere que la constante b sea 0.

    Por ejemplo, la figura muestra la función TENDENCIA utilizada para determinar la cantidad esperada de artículos en la mesa del baño para el mes 16.