Exemplu.
Date experimentale despre valorile variabilelor XŞi la sunt date în tabel.
Ca urmare a alinierii lor, se obține funcția 
Folosind metodă cele mai mici pătrate , aproximați aceste date printr-o dependență liniară y=ax+b(găsiți parametri OŞi b). Aflați care dintre cele două linii (în sensul metodei celor mai mici pătrate) aliniază mai bine datele experimentale. Faceți un desen.
Esența metodei celor mai mici pătrate (LSM).
Sarcina este de a găsi coeficienții de dependență liniară la care funcția a două variabile OŞi b
ia cea mai mică valoare. Adică dat OŞi b suma abaterilor pătrate a datelor experimentale de la linia dreaptă găsită va fi cea mai mică. Acesta este punctul întreg al metodei celor mai mici pătrate.
Astfel, rezolvarea exemplului se reduce la găsirea extremului unei funcții a două variabile.
Derivarea formulelor pentru găsirea coeficienților.
Se compilează și se rezolvă un sistem de două ecuații cu două necunoscute. Găsirea derivatelor parțiale ale unei funcții 
prin variabile OŞi b, echivalăm aceste derivate cu zero. 
Rezolvăm sistemul de ecuații rezultat folosind orice metodă (de exemplu prin metoda substitutiei sau metoda lui Cramer) și obțineți formule pentru găsirea coeficienților folosind metoda celor mai mici pătrate (LSM). 
Dat OŞi b funcţie 
ia cea mai mică valoare. Dovada acestui fapt este dată mai jos în textul de la sfârșitul paginii.
Aceasta este întreaga metodă a celor mai mici pătrate. Formula pentru găsirea parametrului o conține sumele ,, și parametrul n- cantitatea de date experimentale. Vă recomandăm să calculați separat valorile acestor sume. Coeficient b găsit după calcul o.
Este timpul să ne amintim de exemplul original.
Soluţie.
În exemplul nostru n=5. Completam tabelul pentru comoditatea calculării sumelor care sunt incluse în formulele coeficienților necesari. 
Valorile din al patrulea rând al tabelului se obțin prin înmulțirea valorilor celui de-al 2-lea rând cu valorile celui de-al 3-lea rând pentru fiecare număr i.
Valorile din al cincilea rând al tabelului se obțin prin pătrarea valorilor din al doilea rând pentru fiecare număr i.
Valorile din ultima coloană a tabelului sunt sumele valorilor de pe rânduri.
Folosim formulele metodei celor mai mici pătrate pentru a găsi coeficienții OŞi b. Înlocuim valorile corespunzătoare din ultima coloană a tabelului în ele: 
Prin urmare, y = 0,165x+2,184- linia dreaptă de aproximare dorită.
Rămâne să aflăm care dintre rânduri y = 0,165x+2,184 sau 
aproximează mai bine datele originale, adică estimează folosind metoda celor mai mici pătrate.
Estimarea erorilor metodei celor mai mici pătrate.
Pentru a face acest lucru, trebuie să calculați suma abaterilor pătrate ale datelor originale din aceste linii 
Şi 
, o valoare mai mică corespunde unei linii care aproximează mai bine datele originale în sensul metodei celor mai mici pătrate. 
De la , apoi drept y = 0,165x+2,184 aproximează mai bine datele originale.
Ilustrare grafică a metodei celor mai mici pătrate (LS).
Totul este clar vizibil pe grafice. Linia roșie este linia dreaptă găsită y = 0,165x+2,184, linia albastră este 
, punctele roz sunt datele originale.
În practică, la modelarea diferitelor procese - în special, economice, fizice, tehnice, sociale - una sau alta metodă de calcul a valorilor aproximative ale funcțiilor din valorile lor cunoscute în anumite puncte fixe este utilizată pe scară largă.
Acest tip de problemă de aproximare a funcției apare adesea:
la construirea unor formule aproximative pentru calcularea valorilor cantităților caracteristice ale procesului studiat folosind date tabelare obținute în urma experimentului;
în integrare numerică, diferențiere, soluție ecuații diferențiale etc.;
dacă este necesar, calculați valorile funcțiilor în punctele intermediare ale intervalului considerat;
la determinarea valorilor cantităților caracteristice unui proces în afara intervalului considerat, în special la prognoză.
Dacă, pentru a modela un anumit proces specificat de un tabel, construim o funcție care descrie aproximativ acest proces pe baza metodei celor mai mici pătrate, se va numi funcție de aproximare (regresie), iar problema construcției de funcții de aproximare în sine se va numi o problemă de aproximare.
Acest articol discută capacitățile pachetului MS Excel pentru rezolvarea acestui tip de probleme, în plus, oferă metode și tehnici pentru construirea (crearea) regresiilor pentru funcțiile tabulate (care stă la baza analizei regresiei).
Excel are două opțiuni pentru a construi regresii.
Adăugarea regresiilor selectate (linii de tendință) la o diagramă construită pe baza unui tabel de date pentru caracteristica procesului studiat (disponibilă numai dacă a fost construită o diagramă);
Folosind funcțiile statistice încorporate ale foii de lucru Excel, permițându-vă să obțineți regresii (linii de tendință) direct din tabelul de date sursă.
Adăugarea liniilor de tendință la un grafic
Pentru un tabel de date care descrie un proces și este reprezentat printr-o diagramă, Excel are un instrument eficient de analiză a regresiei care vă permite să:
construiți pe baza metodei celor mai mici pătrate și adăugați cinci tipuri de regresii la diagramă, care modelează procesul studiat cu diferite grade de precizie;
adăugați la diagramă ecuația de regresie construită;
determinați gradul de corespondență a regresiei selectate cu datele afișate pe diagramă.
Pe baza datelor grafice, Excel vă permite să obțineți tipuri de regresii liniare, polinomiale, logaritmice, de putere, exponențiale, care sunt specificate de ecuația:
y = y(x)
unde x este o variabilă independentă care ia adesea valorile unei secvențe de numere naturale (1; 2; 3; ...) și produce, de exemplu, o numărătoare inversă a timpului procesului studiat (caracteristici).
1 . Regresia liniară este bună pentru modelarea caracteristicilor ale căror valori cresc sau scad la o rată constantă. Acesta este cel mai simplu model de construit pentru procesul studiat. Este construit în conformitate cu ecuația:
y = mx + b
unde m este tangenta pantei de regresie liniara la axa x; b - coordonata punctului de intersecție al regresiei liniare cu axa ordonatelor.
2 . O linie de tendință polinomială este utilă pentru descrierea caracteristicilor care au mai multe extreme distincte (maxime și minime). Alegerea gradului polinomului este determinată de numărul de extreme ale caracteristicii studiate. Astfel, un polinom de gradul doi poate descrie bine un proces care are doar un maxim sau un minim; polinom de gradul al treilea - nu mai mult de două extreme; polinom de gradul al patrulea - nu mai mult de trei extreme etc.
În acest caz, linia de tendință este construită în conformitate cu ecuația:
y = c0 + c1x + c2x2 + c3x3 + c4x4 + c5x5 + c6x6
unde coeficienții c0, c1, c2,... c6 sunt constante ale căror valori sunt determinate în timpul construcției.
3 . Linia de tendință logaritmică este utilizată cu succes la modelarea caracteristicilor ale căror valori se modifică inițial rapid și apoi se stabilizează treptat.
y = c ln(x) + b
4 . O linie de tendință a legii puterii dă rezultate bune dacă valorile relației studiate sunt caracterizate de o schimbare constantă a ratei de creștere. Un exemplu de astfel de dependență este graficul mișcării uniform accelerate a unei mașini. Dacă datele conţin zero sau valori negative, nu puteți utiliza o linie de tendință de putere.
Construit în conformitate cu ecuația:
y = c xb
unde coeficienții b, c sunt constante.
5 . O linie de tendință exponențială ar trebui utilizată atunci când rata de modificare a datelor crește continuu. Pentru datele care conțin valori zero sau negative, acest tip de aproximare nu este, de asemenea, aplicabil.
Construit în conformitate cu ecuația:
y = c ebx
unde coeficienții b, c sunt constante.
La selectarea unei linii de tendință, Excel calculează automat valoarea lui R2, care caracterizează fiabilitatea aproximării: decât valoare mai apropiată R2 la unitate, cu atât linia de tendință aproximează mai sigur procesul studiat. Dacă este necesar, valoarea R2 poate fi întotdeauna afișată pe diagramă.
Determinat prin formula:
Pentru a adăuga o linie de tendință la o serie de date:
activați o diagramă bazată pe o serie de date, adică faceți clic în zona diagramei. Elementul Diagramă va apărea în meniul principal;
După ce faceți clic pe acest articol, pe ecran va apărea un meniu în care ar trebui să selectați comanda Adăugare linie de tendință.
Aceleași acțiuni pot fi implementate cu ușurință prin deplasarea cursorului mouse-ului peste graficul corespunzător uneia dintre seriile de date și făcând clic dreapta; În meniul contextual care apare, selectați comanda Adăugare linie de tendință. Caseta de dialog Trendline va apărea pe ecran cu fila Tip deschisă (Fig. 1).
După aceasta aveți nevoie de:
Selectați tipul de linie de tendință necesar în fila Tip (tipul Linear este selectat implicit). Pentru tipul Polinom, în câmpul Grad, specificați gradul polinomului selectat.
1 . Câmpul Construit pe serie listează toate seriile de date din diagrama în cauză. Pentru a adăuga o linie de tendință la o anumită serie de date, selectați numele acesteia în câmpul Construit pe serie.
Dacă este necesar, accesând fila Parametri (Fig. 2), puteți seta următorii parametri pentru linia de tendință:
schimbați numele liniei de tendință în câmpul Numele curbei de aproximare (netezite).
setați numărul de perioade (înainte sau înapoi) pentru prognoză în câmpul Prognoză;
afișați ecuația liniei de tendință în zona diagramei, pentru care ar trebui să activați caseta de selectare afișare ecuație pe diagramă;
afișați valoarea fiabilității aproximării R2 în zona diagramei, pentru care ar trebui să activați caseta de selectare Plasați valoarea fiabilității aproximării pe diagramă (R^2);
setați punctul de intersecție al liniei de tendință cu axa Y, pentru care ar trebui să activați caseta de selectare pentru intersecția curbei cu axa Y într-un punct;
Faceți clic pe butonul OK pentru a închide caseta de dialog.
Pentru a începe editarea unei linii de tendințe deja desenate, există trei moduri:
utilizați comanda Selected trend line din meniul Format, având selectat în prealabil linia de tendință;
selectați comanda Formatare linie de tendință din meniul contextual, care este apelată făcând clic dreapta pe linia de tendință;
faceți dublu clic pe linia de tendință.
Pe ecran va apărea caseta de dialog Trend Line Format (Fig. 3), care conține trei file: View, Type, Parameters, iar conținutul ultimelor două coincide complet cu file similare din caseta de dialog Trend Line (Fig. 1). -2). În fila Vizualizare, puteți seta tipul de linie, culoarea și grosimea acesteia.
Pentru a șterge o linie de tendință care a fost deja desenată, selectați linia de tendință de șters și apăsați tasta Ștergere.
Avantajele instrumentului de analiză de regresie considerată sunt:
ușurința relativă de a construi o linie de tendință pe diagrame fără a crea un tabel de date pentru aceasta;
o listă destul de largă de tipuri de linii de tendință propuse, iar această listă include cele mai frecvent utilizate tipuri de regresie;
capacitatea de a prezice comportamentul procesului studiat la orice nivel arbitrar (în cadrul bunul simț) numărul de pași înainte și înapoi;
capacitatea de a obține ecuația liniei de tendință în formă analitică;
posibilitatea, dacă este necesar, de a obține o evaluare a fiabilității aproximării.
Dezavantajele includ următoarele:
construirea unei linii de tendință se realizează numai dacă există o diagramă construită pe o serie de date;
procesul de generare a serii de date pentru caracteristica studiată pe baza ecuațiilor liniei de tendință obținute pentru aceasta este oarecum aglomerat: ecuațiile de regresie necesare sunt actualizate cu fiecare modificare a valorilor seriei de date originale, dar numai în zona graficului , în timp ce seria de date formată pe baza vechii tendințe a ecuației liniilor rămâne neschimbată;
În rapoartele PivotChart, schimbarea vizualizării unei diagrame sau a unui raport PivotTable asociat nu păstrează liniile de tendințe existente, ceea ce înseamnă că înainte de a desena linii de tendințe sau de a formata în alt mod un raport PivotChart, trebuie să vă asigurați că aspectul raportului îndeplinește cerințele necesare.
Liniile de tendință pot fi utilizate pentru a completa seriile de date prezentate pe diagrame, cum ar fi grafice, histograme, diagrame cu zone plate nestandardizate, diagrame cu bare, diagrame cu dispersie, diagrame cu bule și diagrame bursiere.
Nu puteți adăuga linii de tendință la seriile de date în diagrame 3D, normalizate, radar, plăcinte și gogoși.
Folosind funcțiile încorporate ale Excel
Excel are, de asemenea, un instrument de analiză de regresie pentru trasarea liniilor de tendință în afara zonei diagramei. Există o serie de funcții ale foii de lucru statistice pe care le puteți utiliza în acest scop, dar toate vă permit doar să construiți regresii liniare sau exponențiale.
Excel are mai multe funcții pentru construirea regresiei liniare, în special:
PANTĂ și TĂIERE.
TENDINŢĂ;
Precum și câteva funcții pentru construirea unei linii de tendință exponențială, în special:
LGRFPRIBL.
Trebuie remarcat faptul că tehnicile de construire a regresiilor folosind funcțiile TREND și GROWTH sunt aproape aceleași. Același lucru se poate spune despre perechea de funcții LINEST și LGRFPRIBL. Pentru aceste patru funcții, crearea unui tabel de valori folosește caracteristici Excel, cum ar fi formulele matrice, care aglomerează oarecum procesul de construire a regresiilor. Să remarcăm, de asemenea, că construcția regresiei liniare, în opinia noastră, se realizează cel mai ușor folosind funcțiile SLOPE și INTERCEPT, unde prima dintre ele determină panta regresiei liniare, iar a doua determină segmentul interceptat de regresia pe axa y.
Avantajele instrumentului de funcții încorporate pentru analiza regresiei sunt:
un proces destul de simplu, uniform pentru generarea serii de date ale caracteristicii studiate pentru toate funcțiile statistice încorporate care definesc liniile de tendință;
metodologie standard pentru construirea liniilor de tendință bazate pe serii de date generate;
capacitatea de a prezice comportamentul procesului studiat prin numărul necesar de pași înainte sau înapoi.
Dezavantajele includ faptul că Excel nu are funcții încorporate pentru crearea altor tipuri (cu excepția liniilor liniare și exponențiale) de linii de tendință. Această împrejurare nu permite adesea selectarea unui model suficient de precis al procesului studiat, precum și obținerea de previziuni apropiate de realitate. În plus, atunci când se utilizează funcțiile TREND și GROWTH, ecuațiile liniilor de tendință nu sunt cunoscute.
Trebuie remarcat faptul că autorii nu și-au propus să prezinte cursul analizei de regresie cu niciun grad de completitudine. Sarcina sa principală este de a arăta, folosind exemple specifice, capacitățile pachetului Excel la rezolvarea problemelor de aproximare; să demonstreze ce instrumente eficiente are Excel pentru a construi regresii și prognoză; ilustrează modul în care astfel de probleme pot fi rezolvate relativ ușor chiar și de către un utilizator care nu are cunoștințe extinse de analiză de regresie.
Exemple de soluții sarcini specifice
Să ne uităm la rezolvarea unor probleme specifice utilizând instrumentele Excel enumerate.
Problema 1
Cu un tabel de date privind profitul unei întreprinderi de transport auto pe perioada 1995-2002. trebuie să faceți următoarele:
Construiți o diagramă.
Adăugați în diagramă linii de tendință liniare și polinomiale (pătratice și cubice).
Folosind ecuațiile liniilor de tendință, obțineți date tabelare despre profiturile întreprinderii pentru fiecare linie de tendință pentru 1995-2004.
Faceți o prognoză pentru profitul întreprinderii pentru 2003 și 2004.
Rezolvarea problemei
În intervalul de celule A4:C11 din foaia de lucru Excel, introduceți foaia de lucru prezentată în Fig. 4.
După ce am selectat intervalul de celule B4:C11, construim o diagramă.
Activăm diagrama construită și, conform metodei descrise mai sus, după selectarea tipului de linie de tendință în caseta de dialog Linie de tendință (vezi Fig. 1), adăugăm alternativ în diagramă linii de tendință liniare, pătratice și cubice. În aceeași casetă de dialog, deschideți fila Parametri (vezi Fig. 2), în câmpul Numele curbei de aproximare (netezite), introduceți numele tendinței care se adaugă, iar în câmpul Forecast forward for: periods, setați valoarea 2, deoarece se preconizează realizarea unei previziuni de profit pentru doi ani înainte. Pentru a afișa ecuația de regresie și valoarea de fiabilitate a aproximării R2 în zona diagramei, activați casetele de selectare afișare ecuație pe ecran și plasați valoarea de fiabilitate a aproximării (R^2) pe diagramă. Pentru o mai bună percepție vizuală, schimbăm tipul, culoarea și grosimea liniilor de tendință construite, pentru care folosim fila View din caseta de dialog Trend Line Format (vezi Fig. 3). Diagrama rezultată cu linii de tendință adăugate este prezentată în Fig. 5.
Pentru a obține date tabelare privind profiturile întreprinderii pentru fiecare linie de tendință pentru 1995-2004.
Să folosim ecuațiile liniei de tendință prezentate în Fig. 5. Pentru a face acest lucru, în celulele din intervalul D3:F3, introduceți informații text despre tipul liniei de tendință selectate: Tendință liniară, Tendință patratică, Tendință cubică. Apoi, introduceți formula de regresie liniară în celula D4 și, folosind marcatorul de umplere, copiați această formulă cu referințe relative la intervalul de celule D5:D13. Trebuie remarcat faptul că fiecare celulă cu o formulă de regresie liniară din intervalul de celule D4:D13 are ca argument o celulă corespunzătoare din intervalul A4:A13. În mod similar, pentru regresia pătratică, completați intervalul de celule E4:E13, iar pentru regresia cubică, completați intervalul de celule F4:F13. Astfel, a fost realizată o prognoză a profitului întreprinderii pentru 2003 și 2004. folosind trei tendințe. Tabelul de valori rezultat este prezentat în Fig. 6.
Construiți o diagramă.
Problema 2
Adăugați în grafic linii de tendință logaritmice, de putere și exponențiale.
Deduceți ecuațiile liniilor de tendință obținute, precum și valorile de fiabilitate ale aproximării R2 pentru fiecare dintre ele.
Folosind ecuațiile liniei de tendință, obțineți date tabelare despre profitul întreprinderii pentru fiecare linie de tendință pentru 1995-2002.
Rezolvarea problemei
Faceți o prognoză a profitului companiei pentru 2003 și 2004 folosind aceste linii de tendință.
Urmând metodologia dată în rezolvarea problemei 1, obținem o diagramă cu linii de tendință logaritmice, de putere și exponențiale adăugate acesteia (Fig. 7). În continuare, folosind ecuațiile liniei de tendință obținute, completăm un tabel de valori pentru profitul întreprinderii, inclusiv valorile prezise pentru 2003 și 2004. (Fig. 8).
În fig. 5 și fig. se poate observa că modelul cu tendință logaritmică corespunde celei mai mici valori a fiabilității aproximării
R2 = 0,8659
Cele mai mari valori ale lui R2 corespund modelelor cu tendință polinomială: pătratică (R2 = 0,9263) și cubică (R2 = 0,933).
Problema 3
Cu tabelul de date privind profitul unei întreprinderi de transport cu motor pentru perioada 1995-2002, prezentat în sarcina 1, trebuie să efectuați următorii pași.
Obțineți serii de date pentru linii de tendință liniare și exponențiale folosind funcțiile TREND și GROW.
Folosind funcțiile TREND și GROWTH, faceți o prognoză a profitului întreprinderii pentru 2003 și 2004.
Rezolvarea problemei
Construiți o diagramă pentru datele originale și seria de date rezultate.
selectați intervalul de celule D4:D11, care trebuie completat cu valorile funcției TREND corespunzătoare datelor cunoscute despre profitul întreprinderii;
Apelați comanda Funcție din meniul Inserare. În caseta de dialog Function Wizard care apare, selectați funcția TREND din categoria Statistical, apoi faceți clic pe butonul OK. Aceeași operațiune poate fi efectuată făcând clic pe butonul (Insert Function) din bara de instrumente standard.
În caseta de dialog Function Arguments care apare, introduceți intervalul de celule C4:C11 în câmpul Known_values_y; în câmpul Known_values_x - intervalul de celule B4:B11;
Pentru a face formula introdusă să devină o formulă matrice, utilizați combinația de taste + + .
Formula pe care am introdus-o în bara de formule va arăta astfel: =(TREND(C4:C11,B4:B11)).
Ca urmare, intervalul de celule D4:D11 este umplut cu valorile corespunzătoare ale funcției TREND (Fig. 9).
Pentru a face o prognoză a profitului întreprinderii pentru 2003 și 2004. necesar:
selectați intervalul de celule D12:D13 în care vor fi introduse valorile prezise de funcția TREND.
apelați funcția TREND și în caseta de dialog Function Arguments care apare, introduceți în câmpul Known_values_y - intervalul de celule C4:C11; în câmpul Known_values_x - intervalul de celule B4:B11; iar în câmpul New_values_x - intervalul de celule B12:B13.
transformați această formulă într-o formulă matrice folosind combinația de taste Ctrl + Shift + Enter.
Formula introdusă va arăta astfel: =(TREND(C4:C11;B4:B11;B12:B13)), iar intervalul de celule D12:D13 va fi completat cu valorile prezise ale funcției TREND (vezi Fig. 9).
Seria de date este completată în mod similar utilizând funcția GROWTH, care este utilizată în analiza dependențelor neliniare și funcționează exact în același mod ca omologul său liniar TREND.
Figura 10 prezintă tabelul în modul de afișare a formulei.
Pentru datele inițiale și seria de date obținute, diagrama prezentată în Fig. 11.
Problema 4
Cu tabelul de date privind primirea cererilor de servicii de către serviciul de dispecer al unei întreprinderi de transport auto pentru perioada de la 1 la 11 a lunii în curs, trebuie să efectuați următoarele acțiuni.
Obțineți serii de date pentru regresia liniară: folosind funcțiile SLOPE și INTERCEPT; folosind funcția LINEST.
Obțineți o serie de date pentru regresia exponențială folosind funcția LGRFPRIBL.
Folosind funcțiile de mai sus, faceți o prognoză despre primirea cererilor către serviciul de expediere pentru perioada 12-14 a lunii în curs.
Creați o diagramă pentru seriile de date originale și primite.
Rezolvarea problemei
Rețineți că, spre deosebire de funcțiile TREND și GROWTH, niciuna dintre funcțiile enumerate mai sus (SLOPE, INTERCEPT, LINEST, LGRFPRIB) nu este regresie. Aceste funcții joacă doar un rol de susținere, determinând parametrii de regresie necesari.
Pentru regresiile liniare și exponențiale construite folosind funcțiile SLOPE, INTERCEPT, LINEST, LGRFPRIB, aspectul ecuațiilor acestora este întotdeauna cunoscut, spre deosebire de regresiile liniare și exponențiale corespunzătoare funcțiilor TREND și GROWTH.
1 . Să construim o regresie liniară cu ecuația:
y = mx+b
folosind funcțiile SLOPE și INTERCEPT, cu panta de regresie m determinată de funcția SLOPE, iar termenul liber b de către funcția INTERCEPT.
Pentru a face acest lucru, efectuăm următoarele acțiuni:
introduceți tabelul original în intervalul de celule A4:B14;
valoarea parametrului m va fi determinată în celula C19. Selectați funcția Pantă din categoria Statistică; introduceți intervalul de celule B4:B14 în câmpul cunoscute_valori_y și intervalul de celule A4:A14 în câmpul cunoscut_valori_x.
Formula va fi introdusă în celula C19: =SLOPE(B4:B14,A4:A14);
Folosind o tehnică similară, se determină valoarea parametrului b din celula D19. Și conținutul său va arăta astfel: =SEGMENT(B4:B14,A4:A14). Astfel, valorile parametrilor m și b necesari pentru construirea unei regresii liniare vor fi stocate în celulele C19, respectiv D19;
2 Apoi, introduceți formula de regresie liniară în celula C4 sub forma: =$C*A4+$D. În această formulă, celulele C19 și D19 sunt scrise cu referințe absolute (adresa celulei nu ar trebui să se schimbe în timpul unei posibile copii). Semnul de referință absolut $ poate fi tastat fie de la tastatură, fie folosind tasta F4, după plasarea cursorului pe adresa celulei.
y = mx+b
Folosind mânerul de umplere, copiați această formulă în intervalul de celule C4:C17. Obținem seria de date necesară (Fig. 12). Datorită faptului că numărul de aplicații este un întreg, ar trebui să setați formatul numeric cu numărul de zecimale la 0 în fila Număr a ferestrei Format de celule.
. Acum să construim o regresie liniară dată de ecuația:
folosind funcția LINEST.
Pentru a face acest lucru:
Introduceți funcția LINEST în intervalul de celule C20:D20 ca o formulă matrice: =(LINEST(B4:B14,A4:A14)). Ca rezultat, obținem valoarea parametrului m în celula C20 și valoarea parametrului b în celula D20;
3 introduceți formula în celula D4: =$C*A4+$D;
folosind funcția LGRFPRIBL se realizează într-un mod similar:
În intervalul de celule C21:D21 introducem funcția LGRFPRIBL ca o formulă matrice: =( LGRFPRIBL (B4:B14,A4:A14)). În acest caz, valoarea parametrului m va fi determinată în celula C21, iar valoarea parametrului b va fi determinată în celula D21;
se introduce formula în celula E4: =$D*$C^A4;
folosind marcatorul de umplere, această formulă este copiată în intervalul de celule E4:E17, unde va fi localizată seria de date pentru regresia exponențială (vezi Fig. 12).
În fig. Figura 13 prezintă un tabel în care puteți vedea funcțiile pe care le folosim cu intervalele de celule necesare, precum și formulele.
Magnitudinea R 2 numit coeficient de determinare.
Sarcina de a construi o dependență de regresie este de a găsi vectorul coeficienților m ai modelului (1) la care coeficientul R își ia valoarea maximă.
Pentru a evalua semnificația lui R se folosește testul Fisher F, calculat folosind formula
Unde n- dimensiunea eșantionului (număr de experimente);
k este numărul de coeficienți ai modelului.
Dacă F depășește o anumită valoare critică pentru date nŞi kși probabilitatea de încredere acceptată, atunci valoarea lui R este considerată semnificativă. Tabelele cu valorile critice ale lui F sunt date în cărțile de referință despre statistica matematică.
Astfel, semnificația lui R este determinată nu numai de valoarea sa, ci și de raportul dintre numărul de experimente și numărul de coeficienți (parametri) modelului. Într-adevăr, raportul de corelație pentru n=2 pentru un model liniar simplu este egal cu 1 (o singură linie dreaptă poate fi întotdeauna trasată prin 2 puncte pe un plan). Cu toate acestea, dacă datele experimentale sunt variabile aleatoare, o astfel de valoare a lui R ar trebui să fie de încredere cu mare precauție. De obicei, pentru a obține un R semnificativ și o regresie fiabilă, ei se străduiesc să se asigure că numărul de experimente depășește semnificativ numărul de coeficienți ai modelului (n>k).
Pentru a construi un model de regresie liniară aveți nevoie de:
1) pregătiți o listă de n rânduri și m coloane care conțin date experimentale (coloana care conține valoarea de ieșire Y trebuie să fie primul sau ultimul din listă); De exemplu, să luăm datele din sarcina anterioară, adăugând o coloană numită „Nr. perioadă”, numerotați numerele perioadei de la 1 la 12. (acestea vor fi valorile X)
2) accesați meniul Date/Data Analysis/Regression
Dacă elementul „Analiza datelor” din meniul „Instrumente” lipsește, atunci ar trebui să accesați elementul „Suplimente” din același meniu și să bifați caseta de selectare „Pachet de analiză”.
3) în caseta de dialog „Regresie”, setați:
· intervalul de intrare Y;
· intervalul de intrare X;
· interval de ieșire - celula din stânga sus a intervalului în care vor fi plasate rezultatele calculului (se recomandă plasarea lor pe o nouă foaie de lucru);
4) faceți clic pe „Ok” și analizați rezultatele.
- Tutorial
Introducere
Sunt matematician și programator. Cel mai mare salt pe care l-am făcut în cariera mea a fost când am învățat să spun: „Nu înțeleg nimic!” Acum nu mi-e rușine să-i spun luminatorului științei că îmi ține o prelegere, că nu înțeleg ce îmi spune el, luminarul. Și este foarte greu. Da, a-ți recunoaște ignoranța este dificil și jenant. Cui îi place să recunoască că nu știe elementele de bază ale ceva? Din cauza profesiei mele, trebuie să merg cantitati mari prezentări și prelegeri, unde, recunosc, în marea majoritate a cazurilor vreau să dorm pentru că nu înțeleg nimic. Dar nu înțeleg pentru că problema uriașă a situației actuale în știință constă în matematică. Se presupune că toți ascultătorii sunt familiarizați cu absolut toate domeniile matematicii (ceea ce este absurd). A recunoaște că nu știi ce este un derivat (vom vorbi despre ce este acesta puțin mai târziu) este rușinos.
Dar am învățat să spun că nu știu ce este înmulțirea. Da, nu știu ce este o subalgebră peste o algebră Lie. Da, nu știu de ce sunt necesare în viață ecuații pătratice. Apropo, dacă ești sigur că știi, atunci avem despre ce să vorbim! Matematica este o serie de trucuri. Matematicienii încearcă să încurce și să intimideze publicul; unde nu există confuzie, nu există reputație, nici autoritate. Da, este prestigios să vorbești într-o limbă cât mai abstractă, ceea ce este o prostie totală.
Știți ce este un derivat? Cel mai probabil îmi veți spune despre limita raportului de diferență. În primul an de matematică și mecanică la Universitatea de Stat din Sankt Petersburg, mi-a spus Viktor Petrovici Khavin determinat derivată ca coeficient al primului termen al seriei Taylor al funcției la un punct (aceasta a fost o gimnastică separată pentru a determina seria Taylor fără derivate). Am râs de această definiție mult timp până am înțeles în sfârșit despre ce este vorba. Derivata nu este altceva decât o simplă măsură a cât de asemănătoare este funcția pe care o diferențiem cu funcția y=x, y=x^2, y=x^3.
Acum am onoarea de a ține prelegeri studenților care frică matematică. Dacă ți-e frică de matematică, suntem pe aceeași cale. De îndată ce încerci să citești ceva text și ți se pare că este prea complicat, atunci știi că este prost scris. Afirm că nu există o singură zonă a matematicii care să nu poată fi discutată „pe degete” fără a pierde acuratețea.
Temă pentru viitorul apropiat: le-am încredințat studenților să înțeleagă ce este un regulator liniar pătratic. Nu fi timid, petrece trei minute din viața ta și urmărește linkul. Dacă nu înțelegi nimic, atunci suntem pe aceeași cale. Nici eu (matematician-programator profesionist) nu am inteles nimic. Și vă asigur că vă puteți da seama de asta „pe degetele tale”. Pe în acest moment Nu știu ce este, dar vă asigur că ne putem da seama.
Așadar, prima prelegere pe care o voi ține studenților mei după ce vor veni în fugă la mine îngroziți și vor spune că un regulator liniar-quadratic este un lucru groaznic pe care nu îl vei stăpâni niciodată în viața ta este metodele celor mai mici pătrate. Poți decide ecuații liniare? Dacă citiți acest text, atunci cel mai probabil nu.
Deci, având în vedere două puncte (x0, y0), (x1, y1), de exemplu, (1,1) și (3,2), sarcina este de a găsi ecuația dreptei care trece prin aceste două puncte:
ilustrare
Această linie ar trebui să aibă o ecuație ca următoarea:
Aici alfa și beta ne sunt necunoscute, dar două puncte ale acestei linii sunt cunoscute:
Putem scrie această ecuație sub formă de matrice:
Aici ar trebui să facem o digresiune lirică: ce este o matrice? O matrice nu este nimic mai mult decât o matrice bidimensională. Aceasta este o modalitate de stocare a datelor; Depinde de noi exact cum să interpretăm o anumită matrice. Periodic o voi interpreta ca o mapare liniară, periodic ca o formă pătratică și uneori pur și simplu ca un set de vectori. Toate acestea vor fi clarificate în context.
Să înlocuim matricele concrete cu reprezentarea lor simbolică:
Apoi (alfa, beta) pot fi găsite cu ușurință:
Mai precis pentru datele noastre anterioare:
Ceea ce duce la următoarea ecuație a dreptei care trece prin punctele (1,1) și (3,2):
Bine, totul este clar aici. Să găsim ecuația dreptei care trece prin trei puncte: (x0,y0), (x1,y1) și (x2,y2):
Oh-oh-oh, dar avem trei ecuații pentru două necunoscute! Un matematician standard va spune că nu există o soluție. Ce va spune programatorul? Și va rescrie mai întâi sistemul anterior de ecuații în următoarea formă:
În cazul nostru vectorii i,j,b sunt tridimensionale, prin urmare (în cazul general) nu există o soluție pentru acest sistem. Orice vector (alfa\*i + beta\*j) se află în planul acoperit de vectorii (i, j). Dacă b nu aparține acestui plan, atunci nu există soluție (egalitatea nu poate fi obținută în ecuație). Ce să fac? Să căutăm un compromis. Să notăm prin e(alfa, beta) exact cât de departe nu am atins egalitatea:
Și vom încerca să minimizăm această eroare:
De ce pătrat?
Căutăm nu doar minimul normei, ci și minimul pătratului normei. De ce? Punctul minim în sine coincide, iar pătratul dă o funcție netedă (o funcție pătratică a argumentelor (alfa, beta)), în timp ce pur și simplu lungimea dă o funcție în formă de con, nediferențiabilă la punctul minim. Brr. Un pătrat este mai convenabil.
Evident, eroarea este minimizată atunci când vectorul e ortogonală cu planul acoperit de vectori iŞi j.
Ilustrare
Cu alte cuvinte: căutăm o dreaptă astfel încât suma pătratelor lungimii distanțelor de la toate punctele la această dreaptă să fie minimă:
UPDATE: Am o problemă aici, distanța până la linia dreaptă ar trebui măsurată vertical, și nu prin proiecție ortogonală. comentatorul are dreptate.
Ilustrare
Cu cuvinte complet diferite (atenție, prost formalizate, dar ar trebui să fie clar): luăm toate liniile posibile între toate perechile de puncte și căutăm linia medie între toate:
Ilustrare
O altă explicație este simplă: atașăm un arc între toate punctele de date (aici avem trei) și linia dreaptă pe care o căutăm, iar linia dreaptă a stării de echilibru este exact ceea ce căutăm.
Forma pătratică minimă
Deci, având în vedere acest vector bși un plan acoperit de vectorii coloană ai matricei O(V în acest caz,(x0,x1,x2) și (1,1,1)), căutăm vectorul e cu un pătrat minim de lungime. Evident, minimul este realizabil doar pentru vector e, ortogonal la planul acoperit de vectorii coloană ai matricei O:Cu alte cuvinte, căutăm un vector x=(alfa, beta) astfel încât:
Permiteți-mi să vă reamintesc că acest vector x=(alfa, beta) este minimul funcţie pătratică||e(alfa, beta)||^2:
Aici ar fi util să ne amintim că matricea poate fi interpretată și ca o formă pătratică, de exemplu, matricea de identitate ((1,0),(0,1)) poate fi interpretată ca o funcție x^2 + y^ 2:
formă pătratică
Toată această gimnastică este cunoscută sub denumirea de regresie liniară.
Ecuația lui Laplace cu condiția la limită Dirichlet
Acum, cea mai simplă sarcină reală: există o anumită suprafață triangulată, este necesar să o neteziți. De exemplu, să încărcăm un model al feței mele:
Commit-ul original este disponibil. Pentru a minimiza dependențele externe, am luat codul programului meu de redare software, deja pe Habré. Pentru a rezolva sistem liniar Folosesc OpenNL, este un solutor excelent, care, însă, este foarte greu de instalat: trebuie să copiați două fișiere (.h+.c) în folderul cu proiectul dumneavoastră. Toată netezirea se face cu următorul cod:
Pentru (int d=0; d<3; d++) {
nlNewContext();
nlSolverParameteri(NL_NB_VARIABLES, verts.size());
nlSolverParameteri(NL_LEAST_SQUARES, NL_TRUE);
nlBegin(NL_SYSTEM);
nlBegin(NL_MATRIX);
for (int i=0; i<(int)verts.size(); i++) {
nlBegin(NL_ROW);
nlCoefficient(i, 1);
nlRightHandSide(verts[i][d]);
nlEnd(NL_ROW);
}
for (unsigned int i=0; i
Coordonatele X, Y și Z sunt separabile, le netezesc separat. Adică rezolv trei sisteme de ecuații liniare, fiecare cu un număr de variabile egal cu numărul de vârfuri din modelul meu. Primele n rânduri ale matricei A au doar un 1 pe rând, iar primele n rânduri ale vectorului b au coordonatele modelului original. Adică leg un arc între noua poziție a vârfului și vechea poziție a vârfului - cele noi nu trebuie să se îndepărteze prea mult de cele vechi.
Toate rândurile ulterioare ale matricei A (faces.size()*3 = numărul de muchii ale tuturor triunghiurilor din plasă) au o apariție de 1 și o apariție de -1, cu vectorul b având componente zero opuse. Aceasta înseamnă că am pus un arc pe fiecare margine a rețelei noastre triunghiulare: toate marginile încearcă să obțină același vârf ca punctul lor de început și de sfârșit.
Încă o dată: toate nodurile sunt variabile și nu se pot deplasa departe de poziția lor inițială, dar în același timp încearcă să devină asemănătoare între ele.
Iată rezultatul:
Totul ar fi bine, modelul este cu adevărat netezit, dar s-a îndepărtat de marginea inițială. Hai sa schimbam putin codul:
Pentru (int i=0; i<(int)verts.size(); i++) { float scale = border[i] ? 1000: 1; nlBegin(NL_ROW); nlCoefficient(i, scale); nlRightHandSide(scale*verts[i][d]); nlEnd(NL_ROW); }
În matricea noastră A, pentru vârfurile care sunt pe margine, nu adaug un rând din categoria v_i = verts[i][d], ci 1000*v_i = 1000*verts[i][d]. Ce diferență face asta? Și asta ne schimbă forma pătratică de eroare. Acum, o singură abatere de la partea de sus la margine va costa nu o unitate, ca înainte, ci 1000*1000 de unități. Adică am atârnat un arc mai puternic pe vârfurile extreme, soluția va prefera să le întindă pe celelalte mai puternic. Iată rezultatul:
Să dublăm puterea arcului dintre vârfuri:
nlCoeficient(față[ j ], 2);
nlCoeficient(față[(j+1)%3], -2);
Este logic că suprafața a devenit mai netedă:
Și acum chiar de o sută de ori mai puternic:
Ce este asta? Imaginează-ți că am scufundat un inel de sârmă în apă cu săpun. Drept urmare, filmul de săpun rezultat va încerca să aibă cea mai mică curbură posibil, atingând granița - inelul nostru de sârmă. Este exact ceea ce am obținut fixând chenarul și cerând o suprafață netedă în interior. Felicitări, tocmai am rezolvat ecuația lui Laplace cu condițiile la limită Dirichlet. Sună cool? Dar, în realitate, trebuie doar să rezolvi un sistem de ecuații liniare.
ecuația lui PoissonSă ne amintim un alt nume grozav.
Să zicem că am o imagine ca aceasta:
Arată bine tuturor, dar nu-mi place scaunul. 
Voi tăia poza în jumătate: 
Apoi voi trage tot ce este alb în mască în partea stângă a imaginii și, în același timp, pe parcursul imaginii, voi spune că diferența dintre doi pixeli vecini ar trebui să fie egală cu diferența dintre doi pixeli vecini din dreapta. imagine:
Pentru (int i=0; i Iată rezultatul: Cod si poze disponibile Metoda celor mai mici pătrate obișnuite (OLS).- o metodă matematică utilizată pentru rezolvarea diverselor probleme, bazată pe minimizarea sumei abaterilor pătrate ale anumitor funcții de la variabilele dorite. Poate fi folosit pentru a „rezolva” sisteme de ecuații supradeterminate (când numărul de ecuații depășește numărul de necunoscute), pentru a găsi soluții în cazul sistemelor de ecuații neliniare obișnuite (nu supradeterminate), pentru a aproxima valorile punctuale ale unor funcţie. OLS este una dintre metodele de bază de analiză de regresie pentru estimarea parametrilor necunoscuți ai modelelor de regresie din datele eșantionului. 1
/
5 ✪ Metoda celor mai mici pătrate. Subiect ✪ Mitin I.V - Prelucrarea rezultatelor fizice. experiment - metoda celor mai mici pătrate (Lectura 4) ✪ Metoda celor mai mici pătrate, lecția 1/2. Funcția liniară ✪ Econometrie. Cursul 5. Metoda celor mai mici pătrate ✪ Metoda celor mai mici pătrate. Răspunsuri Până la începutul secolului al XIX-lea. oamenii de știință nu aveau anumite reguli pentru rezolvarea unui sistem de ecuații în care numărul de necunoscute este mai mic decât numărul de ecuații; Până atunci se foloseau tehnici private care depindeau de tipul de ecuații și de inteligența calculatoarelor și, prin urmare, calculatoare diferite, bazate pe aceleași date de observație, ajungeau la concluzii diferite. Gauss (1795) a fost primul care a folosit metoda, iar Legendre (1805) a descoperit-o și a publicat-o independent sub numele său modern (franceză. Méthode des moindres quarrés). Laplace a conectat metoda cu teoria probabilității, iar matematicianul american Adrain (1808) a luat în considerare aplicațiile sale teoretice ale probabilității. Metoda a fost răspândită și îmbunătățită prin cercetări ulterioare ale lui Encke, Bessel, Hansen și alții. Lasă x (\displaystyle x)- trusa n (\displaystyle n) variabile necunoscute (parametri), f i (x) (\displaystyle f_(i)(x)), , m > n (\displaystyle m>n)- un set de funcții din acest set de variabile. Sarcina este de a selecta astfel de valori x (\displaystyle x), astfel încât valorile acestor funcții să fie cât mai apropiate de anumite valori y i (\displaystyle y_(i)). În esență, vorbim despre „soluția” unui sistem de ecuații supradeterminat f i (x) = y i (\displaystyle f_(i)(x)=y_(i)), i = 1 , … , m (\displaystyle i=1,\ldots ,m)în sensul indicat de proximitate maximă a părților din stânga și din dreapta ale sistemului. Esența metodei celor mai mici pătrate este de a selecta ca „măsură de proximitate” suma abaterilor pătrate ale laturilor stângi și drepte. | f i (x) − y i | . Astfel, esența MNC poate fi exprimată după cum urmează: x (\displaystyle x)∑ i e i 2 = ∑ i (y i − f i (x)) 2 → min x (\displaystyle \sum _(i)e_(i)^(2)=\sum _(i)(y_(i)-f_( i)(x))^(2)\rightarrow \min _(x)) Dacă sistemul de ecuații are o soluție, atunci minimul sumei pătratelor va fi egal cu zero și soluțiile exacte ale sistemului de ecuații pot fi găsite analitic sau, de exemplu, folosind diverse metode de optimizare numerică. Dacă sistemul este supradeterminat, adică în mod vag, numărul de ecuații independente este mai mare decât numărul de variabile dorite, atunci sistemul nu are o soluție exactă și metoda celor mai mici pătrate ne permite să găsim un vector „optim”Şi în sensul proximităţii maxime a vectorilor y (\displaystyle y) f (x) (\displaystyle f(x)) sau proximitatea maximă a vectorului de abatere la zero (apropierea se înțelege în sensul distanței euclidiene). Unde În special, metoda celor mai mici pătrate poate fi folosită pentru a „rezolva” un sistem de ecuații liniare A x = b (\displaystyle Ax=b) A (\displaystyle A) matrice de dimensiuni dreptunghiulare m × n , m > n (\displaystyle m\times n,m>n) x (\displaystyle x)(adică numărul de rânduri ale matricei A este mai mare decât numărul de variabile căutate). În cazul general, un astfel de sistem de ecuații nu are soluție. Prin urmare, acest sistem poate fi „rezolvat” doar în sensul alegerii unui astfel de vectorŞi pentru a minimiza „distanța” dintre vectori A x (\displaystyle Ax) b (\displaystyle b). Pentru a face acest lucru, puteți aplica criteriul minimizării sumei pătratelor diferențelor dintre laturile stânga și dreapta ale ecuațiilor sistemului, adică A T A x = A T b ⇒ x = (A T A) - 1 A T b (\displaystyle A^(T)Ax=A^(T)b\Rightarrow x=(A^(T)A)^(-1)A^ (T)b) n (\displaystyle n) MCO în analiza de regresie (aproximarea datelor) Dacă sistemul de ecuații are o soluție, atunci minimul sumei pătratelor va fi egal cu zero și soluțiile exacte ale sistemului de ecuații pot fi găsite analitic sau, de exemplu, folosind diverse metode de optimizare numerică. Dacă sistemul este supradeterminat, adică în mod vag, numărul de ecuații independente este mai mare decât numărul de variabile dorite, atunci sistemul nu are o soluție exactă și metoda celor mai mici pătrate ne permite să găsim un vector „optim” Să fie x (\displaystyle x) valorile unor variabile Dacă sistemul de ecuații are o soluție, atunci minimul sumei pătratelor va fi egal cu zero și soluțiile exacte ale sistemului de ecuații pot fi găsite analitic sau, de exemplu, folosind diverse metode de optimizare numerică. Dacă sistemul este supradeterminat, adică în mod vag, numărul de ecuații independente este mai mare decât numărul de variabile dorite, atunci sistemul nu are o soluție exactă și metoda celor mai mici pătrate ne permite să găsim un vector „optim”Şi x (\displaystyle x) aproximativ cu o funcție cunoscută în cadrul unor parametri necunoscuți pentru a minimiza „distanța” dintre vectori, adică găsiți de fapt cele mai bune valori ale parametrilor pentru a minimiza „distanța” dintre vectori, aproximând la maxim valorile f (x, b) (\displaystyle f(x,b)) la valorile reale Dacă sistemul de ecuații are o soluție, atunci minimul sumei pătratelor va fi egal cu zero și soluțiile exacte ale sistemului de ecuații pot fi găsite analitic sau, de exemplu, folosind diverse metode de optimizare numerică. Dacă sistemul este supradeterminat, adică în mod vag, numărul de ecuații independente este mai mare decât numărul de variabile dorite, atunci sistemul nu are o soluție exactă și metoda celor mai mici pătrate ne permite să găsim un vector „optim”. De fapt, acest lucru se reduce la cazul „rezolvării” unui sistem supradeterminat de ecuații cu privire la pentru a minimiza „distanța” dintre vectori: F (x t , b) = y t , t = 1 , … , n (\displaystyle f(x_(t),b)=y_(t),t=1,\ldots,n). În analiza de regresie și în special în econometrie, sunt utilizate modele probabilistice de dependență între variabile Y t = f (x t , b) + ε t (\displaystyle y_(t)=f(x_(t),b)+\varepsilon _(t)), Unde ε t (\displaystyle \varepsilon _(t))- așa-numitul erori aleatorii modele. În consecință, abaterile valorilor observate Dacă sistemul de ecuații are o soluție, atunci minimul sumei pătratelor va fi egal cu zero și soluțiile exacte ale sistemului de ecuații pot fi găsite analitic sau, de exemplu, folosind diverse metode de optimizare numerică. Dacă sistemul este supradeterminat, adică în mod vag, numărul de ecuații independente este mai mare decât numărul de variabile dorite, atunci sistemul nu are o soluție exactă și metoda celor mai mici pătrate ne permite să găsim un vector „optim” de la model f (x, b) (\displaystyle f(x,b)) este deja presupus în modelul în sine. Esența metodei celor mai mici pătrate (obișnuită, clasică) este găsirea unor astfel de parametri pentru a minimiza „distanța” dintre vectori, la care suma abaterilor pătrate (erori, pentru modelele de regresie sunt adesea numite reziduuri de regresie) e t (\displaystyle e_(t)) va fi minim: Unde R S S (\displaystyle RSS)- engleză Suma reziduală de pătrate este definită ca: În cazul general, această problemă poate fi rezolvată prin metode de optimizare (minimizare) numerică. În acest caz ei vorbesc despre cele mai mici pătrate neliniare(NLS sau NLLS - Engleză Non-Linear Least Squares). În multe cazuri este posibilă obținerea unei soluții analitice. Pentru a rezolva problema minimizării, este necesar să găsiți punctele staționare ale funcției R S S (b) (\displaystyle RSS(b)), diferentiindu-l in functie de parametri necunoscuti pentru a minimiza „distanța” dintre vectori, echivalând derivatele cu zero și rezolvând sistemul de ecuații rezultat: Fie dependența de regresie liniară: Lasă y este vectorul coloană de observații ale variabilei care se explică și X (\displaystyle X)- Asta (n × k) (\displaystyle ((n\times k)))-matricea observațiilor factorilor (rândurile matricei sunt vectori ai valorilor factorilor într-o observație dată, coloanele sunt un vector al valorilor unui anumit factor în toate observațiile). Reprezentarea matricială a modelului liniar are forma: Atunci vectorul estimărilor variabilei explicate și vectorul reziduurilor de regresie vor fi egali În consecință, suma pătratelor reziduurilor de regresie va fi egală cu Diferenţierea acestei funcţii în raport cu vectorul parametrilor pentru a minimiza „distanța” dintre vectoriși echivalând derivatele cu zero, obținem un sistem de ecuații (sub formă de matrice): Sub formă de matrice descifrată, acest sistem de ecuații arată astfel: (∑ x t 1 2 ∑ x t 1 x t 2 ∑ x t 1 x t 3 … ∑ x t 1 x t k ∑ x t 2 x t 1 ∑ x t 2 2 ∑ x t 2 x t 3 … ∑ x t 2 x t k ∑ x t 2 x t 1 ∑ x t 2 2 ∑ x t 2 x t 3 … ∑ x t 2 x t k ∑ x t 2 x t ∑ t ∑ t 2 x t 3 2 … ∑ x t 3 x t k ⋮ ⋮ ⋮ ⋱ ⋮ ∑ x t k x t 1 ∑ x t k x t 2 ∑ x t k x t 3 … ∑ x t k 2) (b 1 b 2 b 3 ⋮ ∑ t k x ⋮ t x ⋮ t k x ⋮ t y x) ∑ x t 3 y t ⋮ ∑ x t k y t) , (\displaystyle (\begin(pmatrix)\sum x_(t1)^(2)&\sum x_(t1)x_(t2)&\sum x_(t1)x_(t3)&\ldots &\sum x_(t1)x_(tk)\\\sum x_(t2)x_(t1)&\sum x_(t2)^(2)&\sum x_(t2)x_(t3)&\ldots &\ suma x_(t2)x_(tk)\\\sum x_(t3)x_(t1)&\sum x_(t3)x_(t2)&\sum x_(t3)^(2)&\ldots &\sum x_ (t3)x_(tk)\\\vdots &\vdots &\vdots &\ddots &\vdots \\\sum x_(tk)x_(t1)&\sum x_(tk)x_(t2)&\sum x_ (tk)x_(t3)&\ldots &\sum x_(tk)^(2)\\\end(pmatrix))(\begin(pmatrix)b_(1)\\b_(2)\\b_(3) )\\\vdots \\b_(k)\\\end(pmatrix))=(\begin(pmatrix)\sum x_(t1)y_(t)\\\sum x_(t2)y_(t)\\ \sum x_(t3)y_(t)\\\vdots \\\sum x_(tk)y_(t)\\\end(pmatrix)),) unde toate sumele sunt preluate peste toate valorile valabile t (\displaystyle t). Dacă o constantă este inclusă în model (ca de obicei), atunci x t 1 = 1 (\displaystyle x_(t1)=1)în fața tuturor t (\displaystyle t), prin urmare, în colțul din stânga sus al matricei sistemului de ecuații se află numărul de observații n (\displaystyle n), iar în elementele rămase din primul rând și prima coloană - pur și simplu sumele valorilor variabilelor: ∑ x t j (\displaystyle \sum x_(tj)) iar primul element din partea dreaptă a sistemului este ∑ y t (\displaystyle \sum y_(t)). Rezolvarea acestui sistem de ecuații oferă formula generală pentru estimările celor mai mici pătrate pentru un model liniar: În scopuri analitice, ultima reprezentare a acestei formule se dovedește a fi utilă (în sistemul de ecuații la împărțirea la n, în loc de sume apar mediile aritmetice). Dacă într-un model de regresie datele centrat, atunci în această reprezentare prima matrice are semnificația unei matrice de covarianță eșantion de factori, iar a doua este un vector de covarianțe de factori cu variabila dependentă. Dacă în plus datele sunt de asemenea normalizat către MSE (adică, în cele din urmă standardizate), atunci prima matrice are semnificația unei matrice de corelație eșantion de factori, al doilea vector - un vector de corelații de eșantion de factori cu variabila dependentă. O proprietate importantă a estimărilor MOL pentru modele cu constantă- linia regresiei construite trece prin centrul de greutate al datelor eșantionului, adică egalitatea este satisfăcută: În special, în cazul extrem, când singurul regresor este o constantă, constatăm că estimarea MCO a singurului parametru (constanta însăși) este egală cu valoarea medie a variabilei explicate. Adică, media aritmetică, cunoscută pentru proprietățile sale bune din legile numerelor mari, este și o estimare a celor mai mici pătrate - satisface criteriul sumei minime a abaterilor pătrate de la aceasta. În cazul regresiei liniare perechi y t = a + b x t + ε t (\displaystyle y_(t)=a+bx_(t)+\varepsilon _(t)), când se estimează dependența liniară a unei variabile față de alta, formulele de calcul sunt simplificate (puteți face fără algebra matriceală). Sistemul de ecuații are forma: De aici este ușor să găsiți estimări ale coeficienților: În ciuda faptului că în cazul general sunt de preferat modelele cu o constantă, în unele cazuri se știe din considerente teoretice că o constantă a (\displaystyle a) trebuie să fie egal cu zero. De exemplu, în fizică relația dintre tensiune și curent este U = I ⋅ R (\displaystyle U=I\cdot R); Când se măsoară tensiunea și curentul, este necesar să se estimeze rezistența. În acest caz, vorbim despre model y = b x (\displaystyle y=bx). În acest caz, în loc de un sistem de ecuații avem o singură ecuație (∑ x t 2) b = ∑ x t y t (\displaystyle \left(\sum x_(t)^(2)\right)b=\sum x_(t)y_(t)). Prin urmare, formula de estimare a coeficientului unic are forma B ^ = ∑ t = 1 n x t y t ∑ t = 1 n x t 2 = x y ¯ x 2 ¯ (\displaystyle (\hat (b))=(\frac (\sum _(t=1)^(n)x_(t) )y_(t))(\sum _(t=1)^(n)x_(t)^(2)))=(\frac (\overline (xy))(\overline (x^(2)) ))). Dacă datele sunt potrivite printr-o funcție de regresie polinomială a unei variabile f (x) = b 0 + ∑ i = 1 k b i x i (\displaystyle f(x)=b_(0)+\sum \limits _(i=1)^(k)b_(i)x^(i)), apoi, grade percepând x i (\displaystyle x^(i)) ca factori independenţi pentru fiecare i (\displaystyle i) este posibilă estimarea parametrilor modelului pe baza formulei generale de estimare a parametrilor unui model liniar. Pentru a face acest lucru, este suficient să ținem cont în formula generală că cu o astfel de interpretare x t i x t j = x t i x t j = x t i + j (\displaystyle x_(ti)x_(tj)=x_(t)^(i)x_(t)^(j)=x_(t)^(i+j))Şi x t j y t = x t j y t (\displaystyle x_(tj)y_(t)=x_(t)^(j)y_(t)). În consecință, ecuațiile matriceale în acest caz vor lua forma: (n ∑ n x t … ∑ n x t k ∑ n x t ∑ n x i 2 … ∑ m x i k + 1 ⋮ ⋮ ⋱ ⋮ ∑ n x t k ∑ n x t k + 1 … ∑ n x t 2 k) [ b ∑ n∑ t 2 k) [ b ∑ t y t ⋮ ∑ n x t k y t ] . Proprietățile statistice ale estimatorilor MCO factorii și erorile aleatoare sunt variabile aleatoare independente. A doua condiție - condiția de exogeneitate a factorilor - este fundamentală. Dacă această proprietate nu este îndeplinită, atunci putem presupune că aproape orice estimări vor fi extrem de nesatisfăcătoare: nici măcar nu vor fi consecvente (adică chiar și o cantitate foarte mare de date nu ne permite să obținem estimări de înaltă calitate în acest caz ). În cazul clasic, se face o presupunere mai puternică despre determinismul factorilor, spre deosebire de o eroare aleatorie, ceea ce înseamnă automat că este îndeplinită condiția de exogeneitate. În cazul general, pentru consistența estimărilor, este suficientă satisfacerea condiției de exogeneitate împreună cu convergența matricei. V x (\displaystyle V_(x)) la o matrice nesingulară pe măsură ce dimensiunea eșantionului crește la infinit. Pentru ca, pe lângă consecvență și imparțialitate, estimările celor mai mici pătrate (obișnuite) să fie și eficiente (cele mai bune din clasa estimărilor liniare imparțiale), trebuie îndeplinite proprietăți suplimentare ale erorii aleatoare: Aceste ipoteze pot fi formulate pentru matricea de covarianță a vectorului de eroare aleatorie. V (ε) = σ 2 eu (\displaystyle V(\varepsilon)=\sigma ^(2)I) Un model liniar care satisface aceste condiții se numește. Estimările MCO pentru regresia liniară clasică sunt estimări imparțiale, consistente și cele mai eficiente din clasa tuturor estimărilor nepărtinitoare liniare (în literatura engleză abrevierea este uneori folosită ALBASTRU (Cel mai bun estimator liniar imparțial) - cea mai bună estimare liniară imparțială; În literatura rusă este mai des citată teorema Gauss-Markov). După cum este ușor de arătat, matricea de covarianță a vectorului estimărilor de coeficienți va fi egală cu: V (b ^ O L S) = σ 2 (X T X) - 1 (\displaystyle V((\hat (b))_(OLS))=\sigma ^(2)(X^(T)X)^(-1 )). Eficiența înseamnă că această matrice de covarianță este „minimă” (orice combinație liniară de coeficienți, și în special coeficienții înșiși, au o varianță minimă), adică, în clasa estimatorilor liniari imparțiali, estimatorii MOL sunt cei mai buni. Elementele diagonale ale acestei matrice - varianțele estimărilor coeficienților - sunt parametri importanți ai calității estimărilor obținute. Cu toate acestea, nu este posibil să se calculeze matricea de covarianță deoarece varianța erorii aleatoare este necunoscută. Se poate dovedi că o estimare imparțială și consecventă (pentru un model liniar clasic) a varianței erorilor aleatoare este mărimea: S 2 = R S S / (n - k) (\displaystyle s^(2)=RSS/(n-k)). Înlocuind această valoare în formula pentru matricea de covarianță, obținem o estimare a matricei de covarianță. Estimările rezultate sunt, de asemenea, imparțial și consecvente. De asemenea, este important ca estimarea varianței erorii (și, prin urmare, a varianței coeficienților) și estimările parametrilor modelului să fie variabile aleatoare independente, ceea ce face posibilă obținerea de statistici de testare pentru testarea ipotezelor despre coeficienții modelului. Trebuie remarcat faptul că, dacă ipotezele clasice nu sunt îndeplinite, estimările parametrilor MCO nu sunt cele mai eficiente și, în cazul în care W (\displaystyle W) este o matrice de greutate definită pozitivă simetrică. Cele mai mici pătrate convenționale sunt un caz special al acestei abordări, în care matricea de greutate este proporțională cu matricea de identitate. După cum se știe, pentru matrice (sau operatori) simetrice există o expansiune W = P T P (\displaystyle W=P^(T)P). Prin urmare, funcționalitatea specificată poate fi reprezentată după cum urmează e T P T P e = (P e) T P e = e ∗ T e ∗ (\displaystyle e^(T)P^(T)Pe=(Pe)^(T)Pe=e_(*)^(T)e_( *)), adică acest funcțional poate fi reprezentat ca suma pătratelor unor „rămăși” transformate. Astfel, putem distinge o clasă de metode ale celor mai mici pătrate - metodele LS (Least Squares). S-a dovedit (teorema lui Aitken) că pentru un model de regresie liniară generalizată (în care nu sunt impuse restricții asupra matricei de covarianță a erorilor aleatoare), cele mai eficiente (din clasa estimărilor liniare nepărtinitoare) sunt așa-numitele estimări. Cele mai mici pătrate generalizate (GLS - Generalized Least Squares)- Metoda LS cu o matrice de ponderi egală cu matricea de covarianță inversă a erorilor aleatoare: W = V ε - 1 (\displaystyle W=V_(\varepsilon )^(-1)). Se poate demonstra că formula pentru estimările GLS ale parametrilor unui model liniar are forma B ^ G L S = (X T V - 1 X) - 1 X T V - 1 y (\displaystyle (\hat (b))_(GLS)=(X^(T)V^(-1)X)^(-1) X^(T)V^(-1)y). Matricea de covarianță a acestor estimări va fi în consecință egală cu V (b ^ G L S) = (X T V - 1 X) - 1 (\displaystyle V((\hat (b))_(GLS))=(X^(T)V^(-1)X)^(- 1)). De fapt, esența MOL constă într-o anumită transformare (liniară) (P) a datelor originale și aplicarea MCO obișnuită la datele transformate. Scopul acestei transformări este ca pentru datele transformate, erorile aleatoare să satisfacă deja ipotezele clasice. În cazul unei matrice de ponderi diagonale (și, prin urmare, a unei matrice de covarianță a erorilor aleatoare), avem așa-numitele Least Squares (WLS) ponderate. În acest caz, suma ponderată a pătratelor reziduurilor modelului este minimizată, adică fiecare observație primește o „pondere” care este invers proporțională cu varianța erorii aleatoare din această observație: e T W mi = ∑ t = 1 n e t 2 σ t 2 (\displaystyle e^(T)We=\sum _(t=1)^(n)(\frac (e_(t)^(2))(\ sigma_(t)^(2)))). De fapt, datele sunt transformate prin ponderarea observațiilor (împărțirea la o sumă proporțională cu abaterea standard estimată a erorilor aleatoare), iar datelor ponderate se aplică MCO obișnuite. ISBN 978-5-7749-0473-0 . Metoda celor mai mici pătrate Metoda celor mai mici pătrate ( MCO, MCO, Cele mai mici pătrate obișnuite)
- una dintre metodele de bază de analiză de regresie pentru estimarea parametrilor necunoscuți ai modelelor de regresie folosind date eșantion. Metoda se bazează pe minimizarea sumei pătratelor reziduurilor de regresie. Trebuie remarcat faptul că metoda celor mai mici pătrate în sine poate fi numită o metodă de rezolvare a unei probleme în orice domeniu dacă soluția se află sau satisface un anumit criteriu de minimizare a sumei pătratelor unor funcții ale variabilelor cerute. Prin urmare, metoda celor mai mici pătrate poate fi folosită și pentru o reprezentare aproximativă (aproximare) a unei anumite funcții prin alte funcții (mai simple), atunci când se găsesc o mulțime de mărimi care satisfac ecuații sau constrângeri, al căror număr depășește numărul acestor mărimi. , etc. Să fie dat un model (parametric) al unei relații probabilistice (de regresie) între variabila (explicată). yși mulți factori (variabile explicative) x unde este vectorul parametrilor necunoscuți ai modelului Să existe și eșantion de observații ale valorilor acestor variabile. Fie numărul de observație (). Apoi sunt valorile variabilelor din a-a observație. Apoi, pentru valorile date ale parametrilor b, este posibil să se calculeze valorile teoretice (modelului) ale variabilei explicate y: Mărimea reziduurilor depinde de valorile parametrilor b. Esența metodei celor mai mici pătrate (obișnuită, clasică) este de a găsi parametrii b pentru care suma pătratelor reziduurilor (ing. Suma reziduală a pătratelor) va fi minimă: În cazul general, această problemă poate fi rezolvată prin metode de optimizare (minimizare) numerică. În acest caz ei vorbesc despre cele mai mici pătrate neliniare(NLS sau NLLS - engleză) Cele mai mici pătrate neliniare). În multe cazuri este posibilă obținerea unei soluții analitice. Pentru a rezolva problema de minimizare, este necesar să se găsească puncte staționare ale funcției prin diferențierea acesteia față de parametrii necunoscuți b, echivalând derivatele la zero și rezolvând sistemul de ecuații rezultat: Dacă erorile aleatoare ale modelului sunt distribuite în mod normal, au aceeași varianță și sunt necorelate, estimările parametrilor MCO sunt aceleași cu estimările cu probabilitatea maximă (MLM). Fie dependența de regresie liniară: Lasă y este un vector coloană de observații ale variabilei explicate și este o matrice de observații factoriale (rândurile matricei sunt vectorii valorilor factorilor dintr-o observație dată, coloanele sunt vectorul valorilor unui factor dat în toate observaţiile). Reprezentarea matricială a modelului liniar este: Atunci vectorul estimărilor variabilei explicate și vectorul reziduurilor de regresie vor fi egali În consecință, suma pătratelor reziduurilor de regresie va fi egală cu Diferențiând această funcție în raport cu vectorul parametrilor și echivalând derivatele la zero, obținem un sistem de ecuații (sub formă de matrice): Rezolvarea acestui sistem de ecuații oferă formula generală pentru estimările celor mai mici pătrate pentru un model liniar: În scopuri analitice, cea din urmă reprezentare a acestei formule este utilă. Dacă într-un model de regresie datele centrat, atunci în această reprezentare prima matrice are semnificația unei matrice de covarianță eșantion de factori, iar a doua este un vector de covarianțe de factori cu variabila dependentă. Dacă în plus datele sunt de asemenea normalizat către MSE (adică, în cele din urmă standardizate), atunci prima matrice are semnificația unei matrice de corelație eșantion de factori, al doilea vector - un vector de corelații de eșantion de factori cu variabila dependentă. O proprietate importantă a estimărilor MOL pentru modele cu constantă- linia regresiei construite trece prin centrul de greutate al datelor eșantionului, adică egalitatea este satisfăcută: În special, în cazul extrem, când singurul regresor este o constantă, constatăm că estimarea MCO a singurului parametru (constanta însăși) este egală cu valoarea medie a variabilei explicate. Adică, media aritmetică, cunoscută pentru proprietățile sale bune din legile numerelor mari, este și o estimare a celor mai mici pătrate - satisface criteriul sumei minime a abaterilor pătrate de la aceasta. În cazul regresiei liniare perechi, formulele de calcul sunt simplificate (puteți face fără algebra matriceală): În primul rând, observăm că pentru modelele liniare, estimările MCO sunt estimări liniare, după cum rezultă din formula de mai sus. Pentru estimările MCO nepărtinitoare, este necesar și suficient să se îndeplinească cea mai importantă condiție a analizei de regresie: așteptarea matematică a unei erori aleatoare, condiționată de factori, trebuie să fie egală cu zero. Această condiție, în special, este îndeplinită dacă A doua condiție - condiția de exogeneitate a factorilor - este fundamentală. Dacă această proprietate nu este îndeplinită, atunci putem presupune că aproape orice estimări vor fi extrem de nesatisfăcătoare: nici măcar nu vor fi consecvente (adică chiar și o cantitate foarte mare de date nu ne permite să obținem estimări de înaltă calitate în acest caz ). În cazul clasic, se face o presupunere mai puternică despre determinismul factorilor, spre deosebire de o eroare aleatorie, ceea ce înseamnă automat că este îndeplinită condiția de exogeneitate. În cazul general, pentru consistența estimărilor, este suficient să se satisfacă condiția de exogeneitate împreună cu convergența matricei către o matrice nesingulară pe măsură ce dimensiunea eșantionului crește la infinit. la o matrice nesingulară pe măsură ce dimensiunea eșantionului crește la infinit. Aceste ipoteze pot fi formulate pentru matricea de covarianță a vectorului de eroare aleatorie V (ε) = σ 2 eu (\displaystyle V(\varepsilon)=\sigma ^(2)I) Un model liniar care satisface aceste condiții se numește. Estimările MCO pentru regresia liniară clasică sunt estimări imparțiale, consistente și cele mai eficiente din clasa tuturor estimărilor nepărtinitoare liniare (în literatura engleză abrevierea este uneori folosită ALBASTRU (Cel mai bun estimator liniar nebazat) - cea mai bună estimare liniară imparțială; în literatura rusă este mai des citată teorema Gauss-Markov). După cum este ușor de arătat, matricea de covarianță a vectorului estimărilor de coeficienți va fi egală cu: Metoda celor mai mici pătrate permite o generalizare largă. În loc de a minimiza suma pătratelor reziduurilor, se poate minimiza o formă pătratică definită pozitivă a vectorului de reziduuri, unde este o matrice de greutate definită pozitivă simetrică. Cele mai mici pătrate convenționale sunt un caz special al acestei abordări, în care matricea de greutate este proporțională cu matricea de identitate. După cum se știe din teoria matricelor (sau operatorilor) simetrice, pentru astfel de matrici există o descompunere. În consecință, funcționalitatea specificată poate fi reprezentată după cum urmează, adică această funcțională poate fi reprezentată ca suma pătratelor unor „rămăși” transformate. Astfel, putem distinge o clasă de metode ale celor mai mici pătrate - metodele LS (Least Squares). S-a dovedit (teorema lui Aitken) că pentru un model de regresie liniară generalizată (în care nu sunt impuse restricții asupra matricei de covarianță a erorilor aleatoare), cele mai eficiente (din clasa estimărilor liniare nepărtinitoare) sunt așa-numitele estimări. Cele mai mici pătrate generalizate (GLS - Generalized Least Squares)- Metoda LS cu o matrice de ponderi egală cu matricea de covarianță inversă a erorilor aleatoare: . Se poate demonstra că formula pentru estimările GLS ale parametrilor unui model liniar are forma Matricea de covarianță a acestor estimări va fi în consecință egală cu De fapt, esența MOL constă într-o anumită transformare (liniară) (P) a datelor originale și aplicarea MCO obișnuită la datele transformate. Scopul acestei transformări este ca pentru datele transformate, erorile aleatoare să satisfacă deja ipotezele clasice. În cazul unei matrice de ponderi diagonale (și, prin urmare, a unei matrice de covarianță a erorilor aleatoare), avem așa-numitele Least Squares (WLS) ponderate. În acest caz, suma ponderată a pătratelor reziduurilor modelului este minimizată, adică fiecare observație primește o „pondere” care este invers proporțională cu varianța erorii aleatoare din această observație: . De fapt, datele sunt transformate prin ponderarea observațiilor (împărțirea la o sumă proporțională cu abaterea standard estimată a erorilor aleatoare), iar datelor ponderate se aplică MCO obișnuite. Să luăm în considerare cazul când, ca urmare a studierii dependenței unei anumite mărimi scalare de o anumită mărime scalară (Acesta ar putea fi, de exemplu, dependența tensiunii de puterea curentului: , unde este o valoare constantă, rezistența lui conductor), s-au efectuat măsurători ale acestor mărimi, în urma cărora valorile și valorile corespunzătoare acestora. Datele de măsurare trebuie înregistrate într-un tabel. Masă. Rezultatele măsurătorilor. Întrebarea este: ce valoare a coeficientului poate fi selectată pentru a descrie cel mai bine dependența? Conform metodei celor mai mici pătrate, această valoare ar trebui să fie astfel încât suma abaterilor pătrate ale valorilor de la valori a fost minim Suma abaterilor pătrate are un extremum - un minim, ceea ce ne permite să folosim această formulă. Să găsim din această formulă valoarea coeficientului. Pentru a face acest lucru, îi transformăm partea stângă după cum urmează: Ultima formulă ne permite să găsim valoarea coeficientului, care este ceea ce a fost cerut în problemă. Până la începutul secolului al XIX-lea. oamenii de știință nu aveau anumite reguli pentru rezolvarea unui sistem de ecuații în care numărul de necunoscute este mai mic decât numărul de ecuații; Până atunci se foloseau tehnici private care depindeau de tipul de ecuații și de inteligența calculatoarelor și, prin urmare, calculatoare diferite, bazate pe aceleași date de observație, ajungeau la concluzii diferite. Gauss (1795) a fost primul care a folosit metoda, iar Legendre (1805) a descoperit-o și a publicat-o independent sub numele său modern (franceză. Méthode des moindres quarrés
). Laplace a legat metoda de teoria probabilității, iar matematicianul american Adrain (1808) a luat în considerare aplicațiile sale teoretice ale probabilității. Metoda a fost răspândită și îmbunătățită prin cercetări ulterioare ale lui Encke, Bessel, Hansen și alții. Ideea metodei celor mai mici pătrate poate fi folosită și în alte cazuri care nu au legătură directă cu analiza de regresie. Cert este că suma pătratelor este una dintre cele mai comune măsuri de proximitate pentru vectori (metrică euclidiană în spații cu dimensiuni finite). O aplicație este „soluția” sistemelor de ecuații liniare în care numărul de ecuații este mai mare decât numărul de variabile unde matricea nu este pătrată, ci dreptunghiulară de dimensiune. Un astfel de sistem de ecuații, în cazul general, nu are soluție (dacă rangul este de fapt mai mare decât numărul de variabile). Prin urmare, acest sistem poate fi „rezolvat” doar în sensul alegerii unui astfel de vector pentru a minimiza „distanța” dintre vectori și . Pentru a face acest lucru, puteți aplica criteriul minimizării sumei pătratelor diferențelor dintre laturile stânga și dreapta ale ecuațiilor sistemului, adică. Este ușor de demonstrat că rezolvarea acestei probleme de minimizare duce la rezolvarea următorului sistem de ecuații Metoda celor mai mici pătrate este o procedură matematică pentru construirea unei ecuații liniare care se potrivește cel mai bine unui set de perechi ordonate prin găsirea valorilor pentru a și b, coeficienții din ecuația dreptei. Scopul celor mai mici pătrate este de a minimiza eroarea pătrată totală dintre valorile lui y și ŷ. Dacă pentru fiecare punct determinăm eroarea ŷ, metoda celor mai mici pătrate minimizează: unde n = numărul de perechi ordonate în jurul liniei. cât mai aproape de date. Acest concept este ilustrat în figură Pe baza figurii, linia care se potrivește cel mai bine datelor, linia de regresie, minimizează eroarea totală pătrată a celor patru puncte de pe grafic. Vă voi arăta cum să determinați acest lucru folosind cele mai mici pătrate cu următorul exemplu. Imaginați-vă un cuplu tânăr care s-a mutat recent împreună și împart o masă de toaletă în baie. Tânărul a început să observe că jumătate din masa lui se micșora inexorabil, pierzând teren în fața spumei de păr și a complexelor de soia. În ultimele luni, tipul a monitorizat îndeaproape rata cu care crește numărul de obiecte de pe partea ei a mesei. Tabelul de mai jos arată numărul de articole pe care fata le-a acumulat pe toaleta de baie în ultimele luni. Deoarece scopul nostru este să aflăm dacă numărul de articole crește în timp, „Luna” va fi variabila independentă, iar „Numărul de articole” va fi variabila dependentă. Folosind metoda celor mai mici pătrate, determinăm ecuația care se potrivește cel mai bine datelor, calculând valorile lui a, intersecția cu y, și b, panta dreptei: a = y avg - bx avg unde x avg este valoarea medie a lui x, variabila independentă, y avg este valoarea medie a lui y, variabila independentă. Tabelul de mai jos rezumă calculele necesare pentru aceste ecuații. Curba efectului pentru exemplul nostru de cada de baie ar fi dată de următoarea ecuație: Deoarece ecuația noastră are o pantă pozitivă de 0,976, tipul are dovezi că numărul de articole de pe tabel crește în timp cu o rată medie de 1 articol pe lună. Graficul arată curba efectului cu perechi ordonate. Așteptările pentru numărul de articole în următoarele șase luni (luna 16) va fi calculată după cum urmează: ŷ = 5,13 + 0,976x = 5,13 + 0,976(16) ~ 20,7 = 21 elemente Așadar, este timpul ca eroul nostru să ia ceva măsuri. După cum probabil ați ghicit deja, Excel are o funcție pentru calcularea valorilor prin metoda celor mai mici pătrate. Această funcție se numește TREND. Sintaxa sa este următoarea: TENDINȚĂ (valori Y cunoscute; valori X cunoscute; valori X noi; constantă) valori Y cunoscute – o matrice de variabile dependente, în cazul nostru, numărul de obiecte de pe tabel valori cunoscute X – o serie de variabile independente, în cazul nostru aceasta este luna noi valori X – noi valori X (luni) pentru care Funcția TREND returnează valoarea așteptată a variabilelor dependente (numărul de elemente) const - optional. O valoare booleană care specifică dacă constanta b trebuie să fie 0. De exemplu, figura arată funcția TENDINȚĂ folosită pentru a determina numărul așteptat de articole pe o chiodă de baie pentru a 16-a lună.
YouTube enciclopedic
Subtitrări
Poveste
Esența metodei celor mai mici pătrate
e (\displaystyle e)
. Este ușor de demonstrat că rezolvarea acestei probleme de minimizare duce la rezolvarea următorului sistem de ecuații
MCO în cazul regresiei liniare
Cele mai simple cazuri speciale
Cazul unui model polinomial
(\displaystyle (\begin(pmatrix)n&\sum\limits _(n)x_(t)&\ldots &\sum\limits _(n)x_(t)^(k)\\\sum \limits _( n)x_(t)&\sum \limits _(n)x_(i)^(2)&\ldots &\sum \limits _(m)x_(i)^(k+1)\\\vdots & \vdots &\ddots &\vdots \\\sum \limits _(n)x_(t)^(k)&\sum \limits _(n)x_(t)^(k+1)&\ldots &\ suma \limits _(n)x_(t)^(2k)\end(pmatrix))(\begin(bmatrix)b_(0)\\b_(1)\\\vdots \\b_(k)\end( bmatrix))=(\begin(bmatrix)\sum \limits _(n)y_(t)\\\sum \limits _(n)x_(t)y_(t)\\\vdots \\\sum \limits _(n)x_(t)^(k)y_(t)\end(bmatrix)).)
MCO ponderate
Esența MNC
MCO în cazul unui model liniar
Exemplu: cea mai simplă regresie (în perechi).
Proprietățile estimatorilor MCO
MCO generalizată
MCO ponderate
Câteva cazuri speciale de utilizare a MNC în practică
Aproximarea dependenței liniare
Masura nr.
1
2
3
4
5
6
Poveste
Utilizări alternative ale OLS
Funcția TREND în Excel
