Alegerea tipului de funcție de regresie, de ex. tipul modelului considerat al dependenței lui Y de X (sau X de Y), de exemplu, un model liniar y x = a + bx, este necesar să se determine valorile specifice ale coeficienților modelului.
La valori diferite a și b puteți construi un număr infinit de dependențe de forma y x =a+bx, adică pe plan de coordonate există un număr infinit de linii, dar avem nevoie de o astfel de dependență care să corespundă valorilor observate cel mai bun mod. Astfel, problema se reduce la selectarea celor mai buni coeficienți.
Căutăm o funcție liniară a + bx, bazată doar pe un anumit număr de observații disponibile. Pentru a găsi funcția cu cea mai bună potrivire la valorile observate, folosim metoda cele mai mici pătrate.
Se notează: Y i - valoarea calculată prin ecuația Y i =a+bx i . y i - valoarea măsurată, ε i =y i -Y i - diferența dintre valorile măsurate și cele calculate, ε i =y i -a-bx i .
Metoda celor mai mici pătrate necesită ca ε i , diferența dintre yi măsurat și valorile lui Y i calculate din ecuație, să fie minimă. Prin urmare, găsim coeficienții a și b astfel încât suma abaterilor pătrate ale valorilor observate de la valorile de pe dreapta de regresie să fie cea mai mică:
Investigand aceasta functie a argumentelor a si cu ajutorul derivatelor la un extrem, putem demonstra ca functia ia o valoare minima daca coeficientii a si b sunt solutii ale sistemului:
(2)
Dacă împărțim ambele părți ale ecuațiilor normale la n, obținem:
Dat fiind 
(3)
obține 
, de aici, înlocuind valoarea lui a în prima ecuație, obținem:
În acest caz, b se numește coeficient de regresie; a se numește membrul liber al ecuației de regresie și se calculează prin formula:
Linia dreaptă rezultată este o estimare pentru dreapta de regresie teoretică. Avem:
Asa de, 
este o ecuație de regresie liniară.
Regresia poate fi directă (b>0) și inversă (b Exemplul 1. Rezultatele măsurării valorilor X și Y sunt date în tabel:
| x i | -2 | 0 | 1 | 2 | 4 |
| y eu | 0.5 | 1 | 1.5 | 2 | 3 |
Presupunând că există o relație liniară între X și Y y=a+bx, determinați coeficienții a și b folosind metoda celor mai mici pătrate.
Soluţie. Aici n=5
x i =-2+0+1+2+4=5;
x i 2 =4+0+1+4+16=25
x i y i =-2 0,5+0 1+1 1,5+2 2+4 3=16,5
y i =0,5+1+1,5+2+3=8
Și sistem normal(2) are forma 
Rezolvând acest sistem, obținem: b=0,425, a=1,175. Prin urmare y=1,175+0,425x.
Exemplul 2. Există un eșantion de 10 observații indicatori economici(X) și (Y).
| x i | 180 | 172 | 173 | 169 | 175 | 170 | 179 | 170 | 167 | 174 |
| y eu | 186 | 180 | 176 | 171 | 182 | 166 | 182 | 172 | 169 | 177 |
Este necesar să găsiți o ecuație de regresie eșantion Y pe X. Construiți o dreaptă de regresie eșantion Y pe X.
Soluţie. 1. Să sortăm datele după valorile x i și y i . Primim un tabel nou:
| x i | 167 | 169 | 170 | 170 | 172 | 173 | 174 | 175 | 179 | 180 |
| y eu | 169 | 171 | 166 | 172 | 180 | 176 | 177 | 182 | 182 | 186 |
Pentru a simplifica calculele, vom alcătui un tabel de calcul în care vom introduce valorile numerice necesare.
| x i | y eu | x i 2 | x i y i |
| 167 | 169 | 27889 | 28223 |
| 169 | 171 | 28561 | 28899 |
| 170 | 166 | 28900 | 28220 |
| 170 | 172 | 28900 | 29240 |
| 172 | 180 | 29584 | 30960 |
| 173 | 176 | 29929 | 30448 |
| 174 | 177 | 30276 | 30798 |
| 175 | 182 | 30625 | 31850 |
| 179 | 182 | 32041 | 32578 |
| 180 | 186 | 32400 | 33480 |
| ∑x i =1729 | ∑y i =1761 | ∑x i 2 299105 | ∑x i y i =304696 |
| x=172,9 | y=176,1 | x i 2 =29910,5 | xy=30469,6 |
Conform formulei (4), calculăm coeficientul de regresie
și prin formula (5)
Astfel, ecuația de regresie a probei arată ca y=-59,34+1,3804x.
Să trasăm punctele (x i ; y i) pe planul de coordonate și să marchem dreapta de regresie.
Fig 4
Figura 4 arată cum sunt situate valorile observate în raport cu linia de regresie. Pentru a estima numeric abaterile lui y i de la Y i , unde y i sunt valori observate, iar Y i sunt valori determinate prin regresie, vom face un tabel:
| x i | y eu | Y eu | Y i -y i |
| 167 | 169 | 168.055 | -0.945 |
| 169 | 171 | 170.778 | -0.222 |
| 170 | 166 | 172.140 | 6.140 |
| 170 | 172 | 172.140 | 0.140 |
| 172 | 180 | 174.863 | -5.137 |
| 173 | 176 | 176.225 | 0.225 |
| 174 | 177 | 177.587 | 0.587 |
| 175 | 182 | 178.949 | -3.051 |
| 179 | 182 | 184.395 | 2.395 |
| 180 | 186 | 185.757 | -0.243 |
Valorile Y i sunt calculate conform ecuației de regresie.
Abaterea vizibilă a unor valori observate de la linia de regresie se explică prin numărul mic de observații. La examinarea gradului dependență liniară Y din X se ia în considerare numărul de observații. Forța dependenței este determinată de valoarea coeficientului de corelație.
Care găsește cea mai largă aplicație în diverse domenii ale științei și practicii. Poate fi fizică, chimie, biologie, economie, sociologie, psihologie și așa mai departe. Prin voința sorții, de multe ori trebuie să mă ocup de economie și, prin urmare, astăzi vă voi aranja un bilet către o țară uimitoare numită Econometrie=) … Cum nu vrei asta?! E foarte bine acolo - trebuie doar să te decizi! …Dar ceea ce probabil că vrei cu siguranță este să înveți cum să rezolvi problemele cele mai mici pătrate. Și mai ales cititorii harnici vor învăța să le rezolve nu doar cu acuratețe, ci și FOARTE RAPID ;-) Dar mai întâi expunerea generală a problemei+ exemplu înrudit:
Să fie studiați indicatorii într-o anumită materie care au o expresie cantitativă. În același timp, există toate motivele să credem că indicatorul depinde de indicator. Această presupunere poate fi ipoteza stiintifica, și bazat pe elementar bun simț. Să lăsăm totuși știința deoparte și să explorăm zone mai apetisante - și anume, magazinele alimentare. Se notează prin:
– spațiu comercial al unui magazin alimentar, mp,
- cifra de afaceri anuală a unui magazin alimentar, milioane de ruble.
Este destul de clar ce mai multă zonă magazin, cu atât cifra de afaceri este mai mare în majoritatea cazurilor.
Să presupunem că după efectuarea de observații / experimente / calcule / dans cu o tamburină, avem la dispoziție date numerice: 
Cu magazinele alimentare, cred că totul este clar: - aceasta este zona primului magazin, - cifra de afaceri anuală a acestuia, - zona celui de-al doilea magazin, - cifra de afaceri anuală etc. Apropo, nu este deloc necesar să aveți acces la materiale clasificate - o evaluare destul de precisă a cifrei de afaceri poate fi obținută folosind statistici matematice. Cu toate acestea, nu vă lăsați distras, cursul de spionaj comercial este deja plătit =)
Datele tabelare pot fi scrise și sub formă de puncte și descrise în mod obișnuit pentru noi. Sistemul cartezian .
Să răspundem la o întrebare importantă: de câte puncte ai nevoie cercetare calitativa?
Cu cât mai mare cu atât mai bine. Setul minim admis este format din 5-6 puncte. În plus, cu o cantitate mică de date, rezultatele „anormale” nu ar trebui incluse în eșantion. Deci, de exemplu, un mic magazin de elită poate ajuta ordine de mărime mai mult decât „colegii lor”, distorsionând astfel modelul general care trebuie găsit!
Dacă este destul de simplu, trebuie să alegem o funcție, programa care trece cât mai aproape de puncte 
. O astfel de funcție este numită aproximând
(aproximare - aproximare) sau functie teoretica
. În general, aici apare imediat un „pretendint” evident - un polinom de grad înalt, al cărui grafic trece prin TOATE punctele. Dar această opțiune este complicată și adesea pur și simplu incorectă. (deoarece graficul se va „vânta” tot timpul și reflectă slab tendința principală).
Astfel, funcția dorită trebuie să fie suficient de simplă și, în același timp, să reflecte adecvat dependența. După cum ați putea ghici, una dintre metodele pentru găsirea unor astfel de funcții este numită cele mai mici pătrate. În primul rând, să analizăm esența sa în vedere generala. Fie ca o funcție să aproximeze datele experimentale: 
Cum se evaluează acuratețea acestei aproximări? Să calculăm și diferențele (abaterile) dintre experimentul și valorile functionale (studiam desenul). Primul gând care îmi vine în minte este să estimăm cât de mare este suma, dar problema este că diferențele pot fi negative. (De exemplu, 
)
iar abaterile ca urmare a unei astfel de însumări se vor anula reciproc. Prin urmare, ca o estimare a preciziei aproximării, se sugerează să ia suma module abateri:
sau în formă pliată: (brusc, cine nu știe: este pictograma sumă și este o variabilă auxiliară-„contor”, care ia valori de la 1 la ).
Abordarea punctelor experimentale diverse funcții, vom primi sensuri diferiteși, evident, acolo unde această sumă este mai mică, acea funcție este mai precisă.
O astfel de metodă există și este numită metoda modulului minim. Cu toate acestea, în practică a devenit mult mai răspândită. metoda celor mai mici pătrate, în care posibilul valori negative sunt eliminate nu prin modul, ci prin pătrarea abaterilor:
, după care eforturile sunt direcționate către selectarea unei astfel de funcție încât suma abaterilor pătrate 
era cât se poate de mică. De fapt, de aici și numele metodei.
Și acum ne-am întors la altul punct important: după cum sa menționat mai sus, funcția selectată ar trebui să fie destul de simplă - dar există și multe astfel de funcții: liniar , hiperbolic, exponenţială, logaritmică, pătratică etc. Și, bineînțeles, aici aș vrea imediat să „reduiesc domeniul de activitate”. Ce clasă de funcții să alegeți pentru cercetare? Primitiv dar recepție eficientă:
- Cel mai simplu mod de a atrage puncte 
pe desen și analizați locația acestora. Dacă tind să fie în linie dreaptă, atunci ar trebui să cauți ecuație în linie dreaptă 
cu valori optime și . Cu alte cuvinte, sarcina este de a găsi ACEPTĂ coeficienți - astfel încât suma abaterilor pătrate să fie cea mai mică.
Dacă punctele sunt situate, de exemplu, de-a lungul hiperbolă, atunci este clar că funcția liniară va da o aproximare slabă. În acest caz, căutăm cei mai „favorabili” coeficienți pentru ecuația hiperbolei 
- cele care dau suma minima de patrate 
.
Acum observați că în ambele cazuri vorbim funcţiile a două variabile, ale căror argumente sunt opțiuni de dependență căutate:
Și, în esență, trebuie să rezolvăm o problemă standard - să găsim minim de o funcție a două variabile.
Amintiți-vă exemplul nostru: să presupunem că punctele „magazin” tind să fie situate în linie dreaptă și că există toate motivele să credem că prezența dependență liniară cifra de afaceri din zona de tranzactionare. Să găsim astfel de coeficienți „a” și „fi”, astfel încât suma abaterilor pătrate 
a fost cel mai mic. Totul ca de obicei - mai întâi derivate parțiale de ordinul I. Conform regula liniarității puteți diferenția chiar sub pictograma sumă: 
Dacă doriți să folosiți aceste informații pentru un eseu sau o lucrare de termen, vă voi fi foarte recunoscător pentru linkul din lista de surse, calcule atât de detaliate nu veți găsi nicăieri: 
Hai să compunem sistem standard:
Reducem fiecare ecuație cu un „doi” și, în plus, „despărțim” sumele: 
Notă
: analizați în mod independent de ce „a” și „fi” pot fi scoase din pictograma sumă. Apropo, formal acest lucru se poate face cu suma
Să rescriem sistemul într-o formă „aplicată”: 
după care începe să fie trasat algoritmul pentru rezolvarea problemei noastre:
Cunoaștem coordonatele punctelor? Noi stim. Sume 
putem gasi? Uşor. Compunem cel mai simplu sistem de două ecuații liniare cu două necunoscute("a" și "beh"). Rezolvăm sistemul, de exemplu, metoda lui Cramer, rezultând un punct staționar . Control condiție suficientă pentru un extremum, putem verifica că în acest moment funcția 
ajunge precis minim. Verificarea este asociată cu calcule suplimentare și, prin urmare, o vom lăsa în culise. (dacă este necesar, cadrul lipsă poate fi vizualizat). Tragem concluzia finală:
Funcţie 
cel mai bun mod (cel puțin în comparație cu orice altă funcție liniară) apropie punctele experimentale 
. În linii mari, graficul său trece cât mai aproape de aceste puncte. In traditie econometrie funcţia de aproximare rezultată se mai numeşte ecuație de regresie liniară pereche
.
Problema luată în considerare este de mare importanță practică. În situația cu exemplul nostru, ecuația 
vă permite să preziceți ce fel de cifră de afaceri ("yig") va fi la magazinul cu una sau alta valoare a zonei de vânzare (unul sau altul sens al lui „x”). Da, prognoza rezultată va fi doar o prognoză, dar în multe cazuri se va dovedi a fi destul de precisă.
Voi analiza doar o problemă cu numerele „reale”, deoarece nu există dificultăți în ea - toate calculele sunt la nivelul curiculumul scolar clasa 7-8. În 95% din cazuri, vi se va cere să găsiți doar o funcție liniară, dar la sfârșitul articolului voi arăta că nu este mai dificil să găsiți ecuațiile pentru hiperbola optimă, exponent și alte funcții.
De fapt, rămâne să distribuiți bunătățile promise - astfel încât să învățați cum să rezolvați astfel de exemple nu numai cu acuratețe, ci și rapid. Studiem cu atenție standardul:
Sarcină
În urma studierii relației dintre doi indicatori, s-au obținut următoarele perechi de numere: 
Folosind metoda celor mai mici pătrate, găsiți funcția liniară care aproximează cel mai bine empiric (cu experienta) date. Realizați un desen pe care, într-un sistem de coordonate dreptunghiular cartezian, să trasați punctele experimentale și un grafic al funcției de aproximare 
. Aflați suma abaterilor pătrate dintre valorile empirice și teoretice. Aflați dacă funcția este mai bună (în ceea ce privește metoda celor mai mici pătrate) puncte experimentale aproximative.
Rețineți că valorile „x” sunt valori naturale, iar aceasta are o semnificație caracteristică, despre care voi vorbi puțin mai târziu; dar ele, desigur, pot fi fracționate. În plus, în funcție de conținutul unei anumite sarcini, atât valorile „X” cât și „G” pot fi complet sau parțial negative. Ei bine, ni s-a dat o sarcină „fără chip” și o începem soluţie:
Găsim coeficienții funcției optime ca soluție a sistemului: 
În scopul unei notații mai compacte, variabila „contor” poate fi omisă, deoarece este deja clar că însumarea se realizează de la 1 la .
Este mai convenabil să calculați sumele necesare într-o formă tabelară: 
Calculele pot fi efectuate pe un microcalculator, dar este mult mai bine să utilizați Excel - atât mai rapid, cât și fără erori; vezi un scurt video:
Astfel, obținem următoarele sistem:
Aici puteți înmulți a doua ecuație cu 3 și scădeți al 2-lea din prima ecuație termen cu termen. Dar acesta este noroc - în practică, sistemele nu sunt adesea dotate și, în astfel de cazuri, economisesc metoda lui Cramer:
, astfel încât sistemul are o soluție unică.
Hai să facem o verificare. Înțeleg că nu vreau, dar de ce să sari peste greșeli în care nu le poți rata? Înlocuiți soluția găsită în partea stângă a fiecărei ecuații a sistemului:
Se obțin părțile corecte ale ecuațiilor corespunzătoare, ceea ce înseamnă că sistemul este rezolvat corect.
Astfel, funcția de aproximare dorită: – de la toate funcțiile liniare datele experimentale sunt cel mai bine aproximate prin aceasta.
Spre deosebire de Drept
dependenţa cifrei de afaceri a magazinului de suprafaţa acestuia, dependenţa constatată este verso
(principiul „cu cât mai mult – cu atât mai puțin”), iar acest fapt este imediat relevat de negativ coeficient unghiular. Funcţie 
ne informează că odată cu creșterea unui anumit indicator cu 1 unitate, valoarea indicatorului dependent scade in medie cu 0,65 unități. După cum se spune, cu cât prețul hrișcii este mai mare, cu atât se vând mai puțin.
Pentru a reprezenta graficul funcției de aproximare, găsim două dintre valorile acesteia:
și executați desenul: 
Linia construită se numește linie de tendință
(și anume, o linie de tendință liniară, adică, în cazul general, o tendință nu este neapărat o linie dreaptă). Toată lumea este familiarizată cu expresia „a fi în tendință”, și cred că acest termen nu are nevoie de comentarii suplimentare.
Calculați suma abaterilor pătrate 
între valorile empirice şi cele teoretice. Din punct de vedere geometric, aceasta este suma pătratelor lungimii segmentelor „crimson”. (dintre care două sunt atât de mici încât nici nu le poți vedea).
Să rezumam calculele într-un tabel: 
Ele pot fi din nou efectuate manual, doar în cazul în care voi da un exemplu pentru primul punct: 
dar este mult mai eficient să faci modul deja cunoscut:
Să repetăm: care este sensul rezultatului? Din toate funcțiile liniare funcţie 
exponentul este cel mai mic, adică este cea mai bună aproximare din familia sa. Și aici, apropo, întrebarea finală a problemei nu este întâmplătoare: ce se întâmplă dacă funcția exponențială propusă 
va fi mai bine să aproximăm punctele experimentale?
Să găsim suma corespunzătoare a abaterilor pătrate - pentru a le distinge, le voi desemna cu litera „epsilon”. Tehnica este exact aceeași: 
Și din nou pentru fiecare calcul de incendiu pentru primul punct: 
În Excel, folosim funcția standard EXP (Sintaxa poate fi găsită în Ajutor Excel).
Concluzie: , deci funcția exponențială aproximează punctele experimentale mai rău decât dreapta 
.
Dar trebuie remarcat aici că „mai rău” este nu înseamnă încă, Ce s-a întâmplat. Acum am construit un grafic al acestei funcții exponențiale - și trece, de asemenea, aproape de puncte 
- atât de mult încât fără un studiu analitic este greu de spus care funcție este mai exactă.
Aceasta completează soluția și revin la întrebarea valorilor naturale ale argumentului. În diverse studii, de regulă, economice sau sociologice, lunile, anii sau alte intervale de timp egale sunt numerotate cu „X” natural. Luați în considerare, de exemplu, o astfel de problemă.
Metoda celor mai mici pătrate
Metoda celor mai mici pătrate ( MNK, OLS, Cele mai mici pătrate ordinare) - una dintre metodele de bază de analiză de regresie pentru estimarea parametrilor necunoscuți ai modelelor de regresie din datele eșantionului. Metoda se bazează pe minimizarea sumei pătratelor reziduurilor de regresie.
De remarcat faptul că metoda celor mai mici pătrate în sine poate fi numită metodă de rezolvare a unei probleme în orice domeniu, dacă soluția constă în sau satisface un anumit criteriu de minimizare a sumei pătratelor unor funcții ale variabilelor necunoscute. Prin urmare, metoda celor mai mici pătrate poate fi folosită și pentru o reprezentare aproximativă (aproximare) a unei anumite funcții prin alte funcții (mai simple), atunci când se găsesc o mulțime de mărimi care satisfac ecuații sau restricții, al căror număr depășește numărul acestor mărimi , etc.
Esența MNC
Fie un model (parametric) de dependență probabilistică (regresie) între variabila (explicată). yși mulți factori (variabile explicative) X
unde este vectorul parametrilor necunoscuți ai modelului
- Eroare aleatoare de model.Să existe și eșantion de observații ale valorilor variabilelor indicate. Fie numărul de observație (). Apoi sunt valorile variabilelor din a-a observație. Apoi, pentru valorile date ale parametrilor b, este posibil să se calculeze valorile teoretice (modelului) ale variabilei explicate y:
Valoarea reziduurilor depinde de valorile parametrilor b.
Esența LSM (obișnuită, clasică) este găsirea unor astfel de parametri b pentru care suma pătratelor reziduurilor (ing. Suma reziduală a pătratelor) va fi minimă:
În cazul general, această problemă poate fi rezolvată prin metode numerice de optimizare (minimizare). În acest caz, se vorbește despre cele mai mici pătrate neliniare(NLS sau NLLS - engleză. Cele mai mici pătrate neliniare). În multe cazuri, se poate obține o soluție analitică. Pentru a rezolva problema de minimizare, este necesar să găsim punctele staționare ale funcției prin diferențierea acesteia față de parametrii necunoscuți b, echivalând derivatele la zero și rezolvând sistemul de ecuații rezultat:
Dacă erorile aleatoare ale modelului sunt distribuite în mod normal, au aceeași varianță și nu sunt corelate între ele, estimările parametrilor celor mai mici pătrate sunt aceleași cu estimările metodei de probabilitate maximă (MLM).
LSM în cazul unui model liniar
Fie dependența de regresie liniară:
Lăsa y- vector coloană de observații a variabilei explicate și - matrice de observații de factori (rânduri ale matricei - vectori de valori ale factorilor într-o observație dată, prin coloane - vector de valori ale unui anumit factor în toate observațiile) . Reprezentarea matricială a modelului liniar are forma:
Atunci vectorul estimărilor variabilei explicate și vectorul reziduurilor de regresie vor fi egale cu
în consecință, suma pătratelor reziduurilor de regresie va fi egală cu
Diferențiând această funcție în raport cu vectorul parametru și echivalând derivatele la zero, obținem un sistem de ecuații (sub formă de matrice):
.Rezolvarea acestui sistem de ecuații dă formula generala Estimări MOL pentru un model liniar:
În scopuri analitice, ultima reprezentare a acestei formule se dovedește a fi utilă. Dacă datele din modelul de regresie centrat, atunci în această reprezentare prima matrice are semnificația matricei de covarianță eșantion de factori, iar a doua este vectorul de covarianțe de factori cu variabilă dependentă. Dacă, în plus, datele sunt de asemenea normalizat la SKO (adică, în cele din urmă standardizate), atunci prima matrice are semnificația matricei de corelație eșantion de factori, al doilea vector - vectorul de corelații de eșantion de factori cu variabila dependentă.
O proprietate importantă a estimărilor LLS pentru modele cu o constantă- linia regresiei construite trece prin centrul de greutate al datelor eșantionului, adică egalitatea este îndeplinită:
În special, în cazul extrem, când singurul regresor este o constantă, constatăm că estimarea MCO a unui singur parametru (constanta însăși) este egală cu valoarea medie a variabilei explicate. Adică media aritmetică, cunoscută pentru ea proprietăți bune din legile numerelor mari, este și o estimare a celor mai mici pătrate - satisface criteriul pentru suma minimă a abaterilor pătrate de la aceasta.
Exemplu: regresie simplă (în perechi).
În cazul regresiei liniare perechi, formulele de calcul sunt simplificate (puteți face fără algebra matriceală):
Proprietățile estimărilor MOL
În primul rând, observăm că pentru modelele liniare, estimările celor mai mici pătrate sunt estimări liniare, după cum rezultă din formula de mai sus. Pentru estimările MCO nepărtinitoare, este necesar și suficient să se îndeplinească cea mai importantă condiție a analizei de regresie: așteptarea matematică a unei erori aleatoare condiționată de factori trebuie să fie egală cu zero. Această condiție, în special, este satisfăcută dacă
- valorea estimata erori aleatoare este zero și
- factorii și erorile aleatoare sunt variabile aleatoare independente.
A doua condiție - condiția factorilor exogeni - este fundamentală. Dacă această proprietate nu este satisfăcută, atunci putem presupune că aproape orice estimări vor fi extrem de nesatisfăcătoare: nici măcar nu vor fi consecvente (adică chiar și foarte volum mare datele nu permit primirea evaluări calitativeîn acest caz). În cazul clasic, se face o presupunere mai puternică despre determinismul factorilor, în contrast cu o eroare aleatorie, ceea ce înseamnă automat că condiția exogenă este satisfăcută. În cazul general, pentru consistența estimărilor, este suficient să se îndeplinească condiția de exogeneitate împreună cu convergența matricei către o matrice nesingulară cu o creștere a dimensiunii eșantionului la infinit.
Pentru ca, pe lângă consecvență și imparțialitate, estimările celor mai mici pătrate (obișnuite) să fie și eficiente (cele mai bune din clasa estimărilor liniare nepărtinitoare), este necesar să se îndeplinească proprietăți suplimentare ale unei erori aleatoare:
Aceste ipoteze pot fi formulate pentru matricea de covarianță a vectorului de eroare aleatorie
Un model liniar care satisface aceste condiții se numește clasic. Estimările MCO pentru regresia liniară clasică sunt estimări imparțiale, consistente și cele mai eficiente din clasa tuturor estimărilor nepărtinitoare liniare (în literatura engleză, abrevierea este uneori folosită albastru (Cel mai bun estimator liniar nebazat) este cea mai bună estimare liniară imparțială; în literatura internă este mai des citată teorema Gauss-Markov). După cum este ușor de arătat, matricea de covarianță a vectorului de estimare a coeficienților va fi egală cu:
Cele mai mici pătrate generalizate
Metoda celor mai mici pătrate permite o generalizare largă. În loc de a minimiza suma pătratelor reziduurilor, se poate minimiza o formă pătratică definită pozitivă a vectorului rezidual, unde este o matrice de greutate definită pozitivă simetrică. Cele mai mici pătrate obișnuite este un caz special al acestei abordări, când matricea de ponderi este proporțională cu matricea de identitate. După cum se știe din teoria matricelor simetrice (sau operatorilor), există o descompunere pentru astfel de matrici. Prin urmare, funcționalitatea specificată poate fi reprezentată astfel, adică această funcțională poate fi reprezentată ca suma pătratelor unor „reziduuri” transformate. Astfel, putem distinge o clasă de metode ale celor mai mici pătrate - LS-methods (Least Squares).
Se dovedește (teorema lui Aitken) că pentru un model de regresie liniară generalizată (în care nu sunt impuse restricții asupra matricei de covarianță a erorilor aleatoare), cele mai eficiente (din clasa estimărilor liniare nepărtinitoare) sunt estimările așa-numitelor. MOL generalizat (OMNK, GLS - Cele mai mici pătrate generalizate)- LS-metoda cu o matrice de ponderi egală cu matricea de covarianță inversă a erorilor aleatoare: .
Se poate arăta că formula pentru estimările GLS ale parametrilor modelului liniar are forma
Matricea de covarianță a acestor estimări, respectiv, va fi egală cu
De fapt, esența MCO constă într-o anumită transformare (liniară) (P) a datelor originale și aplicarea celor mai mici pătrate uzuale la datele transformate. Scopul acestei transformări este ca pentru datele transformate, erorile aleatoare să satisfacă deja ipotezele clasice.
Cele mai mici pătrate ponderate
În cazul unei matrice de ponderi diagonale (și, prin urmare, matricea de covarianță a erorilor aleatoare), avem așa-numitele cele mai mici pătrate ponderate (WLS - Weighted Least Squares). ÎN acest caz suma ponderată a pătratelor a reziduurilor modelului este minimizată, adică fiecare observație primește o „pondere” care este invers proporțională cu varianța erorii aleatoare din această observație: . De fapt, datele sunt transformate prin ponderarea observațiilor (împărțirea la o sumă proporțională cu cea estimată deviație standard erori aleatoare), în timp ce cele mai mici pătrate normale sunt aplicate datelor ponderate.
Câteva cazuri speciale de aplicare a LSM în practică
Aproximație liniară
Luați în considerare cazul în care, ca urmare a studierii dependenței unei anumite mărimi scalare de o anumită mărime scalară (Acesta poate fi, de exemplu, dependența tensiunii de puterea curentului: , unde este o valoare constantă, rezistența conductorului ), au fost măsurate aceste cantități, în urma cărora valorile și valorile corespunzătoare acestora. Datele de măsurare trebuie înregistrate într-un tabel.
Masa. Rezultatele măsurătorilor.
| Masura Nr. | ||
|---|---|---|
| 1 | ||
| 2 | ||
| 3 | ||
| 4 | ||
| 5 | ||
| 6 |
Întrebarea sună astfel: ce valoare a coeficientului poate fi aleasă pentru a descrie cel mai bine dependența? Conform celor mai mici pătrate, această valoare ar trebui să fie astfel încât suma abaterilor pătrate ale valorilor de la valori
a fost minim
Suma abaterilor pătrate are un extremum - un minim, ceea ce ne permite să folosim această formulă. Să aflăm valoarea coeficientului din această formulă. Pentru a face acest lucru, îi transformăm partea stângă după cum urmează:
Ultima formulă ne permite să găsim valoarea coeficientului , care a fost cerută în problemă.
Poveste
Până la începutul secolului al XIX-lea. oamenii de știință nu au avut anumite reguli să rezolve un sistem de ecuații în care numărul de necunoscute este mai mic decât numărul de ecuații; Până atunci s-au folosit metode deosebite, în funcție de tipul ecuațiilor și de ingeniozitatea calculatoarelor și, prin urmare, calculatoare diferite, pornind de la aceleași date observaționale, au ajuns la concluzii diferite. Gauss (1795) este creditat cu prima aplicare a metodei, iar Legendre (1805) a descoperit-o și publicat-o în mod independent sub numele său modern (fr. Methode des moindres quarres ). Laplace a legat metoda de teoria probabilității, iar matematicianul american Adrain (1808) a considerat aplicațiile probabilistice ale acesteia. Metoda este răspândită și îmbunătățită prin cercetări ulterioare ale lui Encke, Bessel, Hansen și alții.
Utilizarea alternativă a CMN-urilor
Ideea metodei celor mai mici pătrate poate fi folosită și în alte cazuri care nu au legătură directă cu analiza de regresie. Faptul este că suma pătratelor este una dintre cele mai comune măsuri de proximitate pentru vectori (metrica euclidiană în spații cu dimensiuni finite).
Una dintre aplicații este „soluția” sistemelor ecuatii lineare, în care numărul de ecuații este mai mare decât numărul de variabile
unde matricea nu este pătrată, ci dreptunghiulară.
Un astfel de sistem de ecuații, în cazul general, nu are soluție (dacă rangul este de fapt mai mare decât numărul de variabile). Prin urmare, acest sistem poate fi „rezolvat” doar în sensul alegerii unui astfel de vector pentru a minimiza „distanța” dintre vectori și . Pentru a face acest lucru, puteți aplica criteriul de minimizare a sumei diferențelor pătrate ale părților din stânga și din dreapta ecuațiilor sistemului, adică . Este ușor de arătat că rezolvarea acestei probleme de minimizare duce la rezolvarea următorului sistem de ecuații
Esența metodei celor mai mici pătrate este în găsirea parametrilor unui model de tendință care descrie cel mai bine tendința de dezvoltare a unui fenomen aleatoriu în timp sau spațiu (o tendință este o linie care caracterizează tendința acestei dezvoltări). Sarcina metodei celor mai mici pătrate (OLS) este de a găsi nu doar un model de tendință, ci de a găsi cel mai bun sau optim model. Acest model va fi optim dacă suma abateri standardîntre valorile reale observate și valorile corespunzătoare calculate ale tendinței va fi minim (cel mai mic):
Unde - deviație standardîntre valoarea reală observată
și valoarea de tendință calculată corespunzătoare,
Valoarea reală (observată) a fenomenului studiat,
Valoarea estimată a modelului de tendințe,
Numărul de observații ale fenomenului studiat.
MNC este rareori folosit pe cont propriu. De regulă, cel mai adesea este folosit doar ca necesar receptie tehnicaîn studiile de corelare. Trebuie amintit că baza de informatii Cele mai mici pătrate pot fi doar o serie statistică de încredere, iar numărul de observații nu trebuie să fie mai mic de 4, în caz contrar, procedurile de netezire ale celor mai mici pătrate își pot pierde bunul simț.
Setul de instrumente OLS este redus la următoarele proceduri:
Prima procedură. Se dovedește dacă există vreo tendință de a schimba atributul rezultat atunci când factorul-argument selectat se schimbă sau, cu alte cuvinte, dacă există o legătură între " la " Și " X ».
A doua procedură. Se stabilește care linie (traiectorie) este cel mai în măsură să descrie sau să caracterizeze această tendință.
A treia procedură.
Exemplu. Să presupunem că avem informații despre randamentul mediu de floarea soarelui pentru ferma studiată (Tabelul 9.1).
Tabelul 9.1
|
Numărul de observație |
||||||||||
|
Productivitate, c/ha |
Întrucât nivelul tehnologiei în producția de floarea soarelui în țara noastră nu s-a schimbat foarte mult în ultimii 10 ani, înseamnă că, cel mai probabil, fluctuațiile randamentului în perioada analizată au depins foarte mult de fluctuațiile condițiilor meteo și climatice. Este adevarat?
Prima procedură MNC. Se testează ipoteza despre existența unei tendințe de modificare a randamentului de floarea-soarelui în funcție de modificările condițiilor meteo și climatice pe parcursul celor 10 ani analizați.
În acest exemplu, pentru " y » este indicat să luați randamentul de floarea soarelui, iar pentru « X » este numărul anului observat în perioada analizată. Testarea ipotezei despre existența oricărei relații între " X " Și " y » se poate face in doua moduri: manual si cu ajutorul programelor de calculator. Desigur, dacă este disponibil tehnologia calculatoarelor această problemă se rezolvă singur. Dar, pentru a înțelege mai bine setul de instrumente OLS, este recomandabil să testați ipoteza despre existența unei relații între " X " Și " y » manual, când sunt la îndemână doar un pix și un calculator obișnuit. În astfel de cazuri, ipoteza existenței unei tendințe este cel mai bine verificată vizual de locație imagine grafică din seria de dinamică analizată - câmpul de corelație:
Câmpul de corelație din exemplul nostru este situat în jurul unei linii care crește încet. Acest lucru în sine indică existența unei anumite tendințe în schimbarea producției de floarea soarelui. Este imposibil să vorbim despre prezența oricărei tendințe doar atunci când câmpul de corelare arată ca un cerc, un cerc, un nor strict vertical sau strict orizontal sau este format din puncte împrăștiate aleatoriu. În toate celelalte cazuri, este necesar să se confirme ipoteza existenței unei relații între " X " Și " y și continuă cercetarea.
A doua procedură MNC. Se determină care linie (traiectorie) este cel mai în măsură să descrie sau să caracterizeze tendința modificărilor producției de floarea-soarelui pentru perioada analizată.
Odată cu disponibilitatea tehnologiei informatice, selectarea tendinței optime are loc automat. Cu prelucrarea „manuală”, alegerea funcției optime se realizează, de regulă, într-un mod vizual - prin locația câmpului de corelare. Adică, în funcție de tipul de diagramă, este selectată ecuația liniei, care se potrivește cel mai bine tendinței empirice (la traiectoria reală).
După cum știți, în natură există o mare varietate de dependențe funcționale, deci este extrem de dificil să analizați vizual chiar și o mică parte din ele. Din fericire, în practica economică reală, majoritatea relațiilor pot fi descrise cu acuratețe fie printr-o parabolă, fie printr-o hiperbolă, fie printr-o linie dreaptă. În acest sens, cu opțiunea „manual” pentru selectarea celei mai bune funcții, te poți limita doar la aceste trei modele.
|
Hiperbolă: |
||
|
|
|
Parabola de ordinul doi: 
:
Este ușor de observat că, în exemplul nostru, tendința de modificare a producției de floarea-soarelui pe parcursul celor 10 ani analizați este cel mai bine caracterizată printr-o linie dreaptă, astfel încât ecuația de regresie va fi o ecuație în linie dreaptă.
A treia procedură. Se calculează parametrii ecuației de regresie care caracterizează această linie sau, cu alte cuvinte, se determină o formulă analitică care descrie cel mai bun model tendinţă.
Găsirea valorilor parametrilor ecuației de regresie, în cazul nostru, parametrii și , este nucleul LSM. Acest proces se reduce la rezolvarea unui sistem de ecuații normale.
(9.2)
Acest sistem de ecuații este destul de ușor de rezolvat prin metoda Gauss. Amintiți-vă că, ca urmare a soluției, în exemplul nostru, se găsesc valorile parametrilor și. Astfel, ecuația de regresie găsită va avea următoarea formă: 
Esența metodei constă în faptul că criteriul pentru calitatea soluției luate în considerare este suma erorilor pătrate, care se urmărește a fi minimizată. Pentru a aplica acest lucru, este necesar să efectuați cât mai mult posibil Mai mult măsurători ale necunoscutului variabilă aleatorie(cu cât mai mult - cu atât este mai mare acuratețea soluției) și un set de soluții propuse, dintre care se cere să o alegeți pe cea mai bună. Dacă setul de soluții este parametrizat, atunci trebuie să găsim valoare optimă parametrii.
De ce sunt minimizate pătratele de eroare și nu erorile în sine? Faptul este că în majoritatea cazurilor apar erori în ambele direcții: estimarea poate fi mai mare decât măsurarea sau mai mică decât aceasta. Dacă adăugați erori la semne diferite, apoi se vor anula reciproc și, ca urmare, suma ne va oferi o idee incorectă a calității estimării. Adesea, pentru ca estimarea finală să aibă aceeași dimensiune ca și valorile măsurate, rădăcina pătrată este luată din suma erorilor pătrate.
Fotografie:
LSM este folosit în matematică, în special - în teoria probabilităților și statistica matematică. Această metodă are cea mai mare aplicație în problemele de filtrare, atunci când este necesară separarea semnalului util de zgomotul suprapus pe acesta.
Se mai foloseste in analiză matematică pentru o reprezentare aproximativă a unei funcţii date prin funcţii mai simple. Un alt domeniu de aplicare a LSM este soluția sistemelor de ecuații cu mai puține necunoscute decât numărul de ecuații.
Am mai venit cu câteva aplicații foarte neașteptate ale LSM-ului, despre care aș vrea să vorbesc în acest articol.
MNC și greșeli de scriere
Greșelile de tipar și greșelile de ortografie sunt flagelul traducătorilor automati și al motoarelor de căutare. Într-adevăr, dacă cuvântul diferă doar cu 1 literă, programul îl consideră un alt cuvânt și îl traduce/căută incorect sau nu îl traduce/nu îl găsește deloc.
Am avut o problemă similară: erau două baze de date cu adrese ale caselor din Moscova și trebuiau combinate într-una singură. Dar adresele au fost scrise într-un stil diferit. Într-o bază de date a existat standardul KLADR (clasificator de adrese all-rus), de exemplu: „BABUSHKINA PILOT UL., D10K3”. Și într-o altă bază de date era un stil poștal, de exemplu: „Sf. Pilot Babușkin, casa 10 clădirea 3. Se pare că nu există erori în ambele cazuri, iar automatizarea procesului este incredibil de dificilă (fiecare bază de date are 40.000 de înregistrări!). Deși au fost și destule greșeli de scriere... Cum să faci computerul să înțeleagă că cele 2 adrese de mai sus aparțin aceleiași case? Aici mi-a fost de folos MNC.
Ce am facut? După ce am găsit următoarea scrisoare la prima adresă, am căutat aceeași scrisoare la a doua adresă. Dacă amândoi erau în același loc, atunci am presupus că eroarea pentru acea literă era 0. Dacă erau în poziții adiacente, atunci eroarea era 1. Dacă a existat o deplasare cu 2 poziții, eroarea a fost 2 și așa mai departe Dacă nu a existat deloc o astfel de literă în cealaltă adresă, atunci eroarea a fost presupusă a fi n+1, unde n este numărul de litere din prima adresă. Astfel, am calculat suma erorilor pătrate și am conectat acele înregistrări în care această sumă era minimă.
Desigur, numărul de case și clădiri au fost procesate separat. Nu știu dacă am inventat o altă „bicicletă”, sau chiar a fost, dar problema a fost rezolvată rapid și eficient. Mă întreb dacă această metodă este folosită în motoare de căutare? Poate că este folosit, deoarece fiecare motor de căutare care se respectă, atunci când întâlnește un cuvânt necunoscut, oferă un înlocuitor de cuvinte familiare („poate ai vrut să spui...”). Cu toate acestea, ei pot face această analiză într-un fel diferit.
OLS și căutare după imagini, chipuri și hărți
Această metodă poate fi aplicată și pentru a căuta după imagini, desene, hărți și chiar după fețele oamenilor. 
Fotografie:
Acum toate motoarele de căutare, în loc să caute după imagini, de fapt, folosesc căutarea după subtitrări. Acesta este, fără îndoială, un serviciu util și convenabil, dar îmi propun să îl completez cu o căutare reală de imagini.
Se introduce o imagine eșantion și se face o evaluare pentru toate imaginile prin suma abaterilor pătrate puncte caracteristice. Determinarea acestor puncte foarte caracteristice este în sine o sarcină netrivială. Cu toate acestea, este destul de rezolvabil: de exemplu, pentru fețe, acestea sunt colțurile ochilor, buzele, vârful nasului, nările, marginile și centrele sprâncenelor, pupilele etc.
Comparând acești parametri, puteți găsi o față care seamănă cel mai mult cu eșantionul. Am văzut deja site-uri unde funcționează un astfel de serviciu și poți găsi o celebritate care seamănă cel mai mult cu fotografia pe care ai sugerat-o și chiar să compui o animație care te transformă într-o celebritate și înapoi. Cu siguranță aceeași metodă funcționează și în bazele Ministerului Afacerilor Interne, care conțin imagini identikit ale infractorilor. 
Foto: pixabay.com
Da, iar amprentele pot fi căutate în același mod. Căutarea pe hărți se concentrează pe neregulile naturale ale obiectelor geografice - coturile râurilor, lanțurile muntoase, contururile coastelor, pădurilor și câmpurilor.
Iată o metodă OLS atât de minunată și versatilă. Sunt sigur că voi, dragi cititori, veți putea găsi pentru voi multe aplicații neobișnuite și neașteptate ale acestei metode.
