Príklad.
Experimentálne údaje o hodnotách premenných xa nasú uvedené v tabuľke.
Výsledkom ich zarovnania je funkcia 
Použitím metóda najmenších štvorcov, aproximujte tieto údaje pomocou lineárnej závislosti y \u003d ax + b (nájsť parametre a a b). Zistite, ktorá z týchto dvoch čiar je lepšia (v zmysle metódy najmenších štvorcov) porovnáva experimentálne údaje. Vytvorte kresbu.
Podstata metódy najmenších štvorcov (mns).
Úlohou je nájsť koeficienty lineárnej závislosti, pre ktoré je funkcia dvoch premenných a a b
má najmenšiu hodnotu. To je dané a a b súčet druhých mocnín odchýlok experimentálnych údajov od zistenej priamky bude najmenší. Toto je celý bod metódy najmenších štvorcov.
Riešenie príkladu sa teda zredukuje na nájdenie extrému funkcie dvoch premenných.
Odvodenie vzorcov na nájdenie koeficientov.
Je zostavený a riešený systém dvoch rovníc s dvoma neznámymi. Nájdite čiastkové deriváty funkcie 
podľa premenných a a b, tieto deriváty považujeme za nulové. 
Výsledný systém rovníc riešime akoukoľvek metódou (napríklad substitučná metóda alebo cramerova metóda) a získame vzorce na nájdenie koeficientov pomocou metódy najmenších štvorcov (OLS). 
S údajmi aa bfunkcie 
má najmenšiu hodnotu. Dôkaz o tejto skutočnosti je uvedený nižšie v texte na konci stránky.
To je metóda najmenších štvorcov. Vzorec na nájdenie parametra obsahuje súčty ,,, a parameter n - množstvo experimentálnych údajov. Odporúčame vypočítať hodnoty týchto súm osobitne. koeficient b je po výpočte .
Je na čase si spomenúť na pôvodný príklad.
Rozhodnutie.
V našom príklade n \u003d 5... Tabuľku vypĺňame kvôli pohodlnosti výpočtu súm, ktoré sú obsiahnuté vo vzorcoch požadovaných koeficientov. 
Hodnoty v štvrtom riadku tabuľky sa získajú vynásobením hodnôt v druhom riadku hodnotami v 3. riadku pre každé číslo. ja.
Hodnoty v piatom riadku tabuľky sa získajú štvorcovaním hodnôt z druhého riadku pre každé číslo ja.
Hodnoty v poslednom stĺpci tabuľky sú súčtom hodnôt podľa riadkov.
Na nájdenie koeficientov používame vzorce najmenších štvorcov a a b... V nich nahradíme zodpovedajúce hodnoty z posledného stĺpca tabuľky: 
Z toho dôvodu, y \u003d 0,165x + 2,184 - požadovanú približnú priamku.
Zostáva zistiť, ktorý z týchto riadkov y \u003d 0,165x + 2,184 alebo 
lepšie aproximuje pôvodné údaje, to znamená urobiť odhad pomocou metódy najmenších štvorcov.
Odhad chyby metódy najmenších štvorcov.
Na tento účel musíte vypočítať súčet druhých mocnín odchýlok počiatočných údajov od týchto riadkov 
a 
, menšia hodnota zodpovedá riadku, ktorý lepšie aproximuje pôvodné údaje v zmysle metódy najmenších štvorcov. 
Od tej doby rovno y \u003d 0,165x + 2,184 lepšie približuje pôvodné údaje.
Grafické znázornenie metódy najmenších štvorcov (mns).
Na grafoch je všetko jasne viditeľné. Červená čiara je nájdená priama čiara y \u003d 0,165x + 2,184, modrá čiara je 
, ružové bodky sú nespracované údaje.
V praxi sa pri modelovaní rôznych procesov - najmä ekonomických, fyzických, technických, sociálnych - jeden alebo iný spôsob výpočtu približných hodnôt funkcií bežne používa z ich známych hodnôt v niektorých pevných bodoch.
Takéto problémy s aproximáciou funkcií často vznikajú:
pri zostavovaní približných vzorcov na výpočet hodnôt charakteristických hodnôt študovaného procesu podľa tabuľkových údajov získaných v dôsledku experimentu;
pre numerickú integráciu, diferenciáciu, riešenie diferenciálnych rovníc atď .;
keď je potrebné vypočítať hodnoty funkcií v medziľahlých bodoch uvažovaného intervalu;
pri určovaní hodnôt charakteristických hodnôt procesu mimo uvažovaného intervalu, najmä pri predpovedaní.
Ak sa má simulovať určitý proces daný tabuľkou, skonštruovať funkciu, ktorá približne popisuje tento proces na základe metódy najmenších štvorcov, bude sa to nazývať aproximačná funkcia (regresia) a samotným problémom vytvorenia aproximačných funkcií je aproximačný problém.
Tento článok sa venuje možnostiam balíka MS Excel na riešenie takýchto problémov, ďalej sú uvedené metódy a techniky na zostavenie (vytvorenie) regresie pre tabuľky definované funkcie (ktoré sú základom regresnej analýzy).
Excel má dve možnosti na vykreslenie regresií.
Pridanie vybratých regresií (trendové čiary - trendové čiary) do diagramu, zostaveného na základe tabuľky údajov pre študovanú charakteristiku procesu (k dispozícii iba v prípade, že existuje zostrojený diagram);
Pomocou vstavaných štatistických funkcií pracovného hárka programu Excel môžete získať regresie (trendové čiary) priamo z tabuľky prvotných údajov.
Pridanie trendových čiar do grafu
Pre tabuľku údajov popisujúcich proces a reprezentovanú diagramom má Excel efektívny nástroj na regresnú analýzu, ktorý vám umožní:
stavať na základe metódy najmenších štvorcov a pridať do diagramu päť typov regresií, ktoré modelujú študovaný proces s rôznymi stupňami presnosti;
pridať rovnicu vytvorenej regresie do diagramu;
určiť mieru, do akej sa zvolená regresia zhoduje s údajmi zobrazenými na mape.
Na základe údajov z grafu programu Excel vám umožňuje získať lineárne, polynomické, logaritmické, výkonové, exponenciálne typy regresií, ktoré sú dané rovnicou:
y \u003d y (x)
kde x je nezávislá premenná, ktorá často preberá hodnoty postupnosti prirodzených čísel (1; 2; 3; ...) a vytvára napríklad odpočítavanie doby chodu skúmaného procesu (charakteristiky).
1 ... Lineárna regresia je vhodná na modelovanie charakteristík, ktoré sa zvyšujú alebo zmenšujú konštantnou rýchlosťou. Toto je najjednoduchší model procesu, ktorý sa má skonštruovať. Je postavený v súlade s rovnicou:
y \u003d mx + b
kde m je dotyčnica uhla sklonu lineárnej regresie k osi x; b - súradnica priesečníka lineárnej regresie s osou y.
2 ... Polynomická trendová línia je užitočná na opis charakteristík, ktoré majú niekoľko odlišných extrémov (výšky a minimá). Výber stupňa polynómu je určený počtom extrémov skúmanej charakteristiky. Teda polynóm druhého stupňa môže dobre opísať proces, ktorý má iba jedno maximum alebo minimum; polynóm tretieho stupňa - nie viac ako dva extrémy; polynóm štvrtého stupňa - nie viac ako tri extrémy atď.
V tomto prípade sa trendová čiara vynesie podľa rovnice:
y \u003d c0 + c1x + c2x2 + c3x3 + c4x4 + c5x5 + c6x6
kde koeficienty c0, c1, c2, ... c6 sú konštanty, ktorých hodnoty sa určujú počas konštrukcie.
3 ... Logaritmická línia trendu sa úspešne používa na simuláciu charakteristík, ktorých hodnoty sa najskôr rýchlo menia a potom postupne stabilizujú.
y \u003d c ln (x) + b
4 ... Čiara trendu podľa mocenského zákona poskytuje dobré výsledky, ak sa hodnoty študovanej závislosti vyznačujú stálou zmenou rýchlosti rastu. Príkladom takéhoto vzťahu je graf rovnomerne zrýchleného pohybu vozidla. Ak údaje obsahujú nulové alebo záporné hodnoty, nemôžete použiť trendovú líniu výkonu.
Postavené podľa rovnice:
y \u003d c xb
kde koeficienty b, c sú konštanty.
5 ... Ak sa miera zmeny údajov neustále zvyšuje, mala by sa použiť exponenciálna trendová čiara. Pre údaje obsahujúce nulové alebo záporné hodnoty sa tento druh aproximácie tiež neuplatňuje.
Postavené podľa rovnice:
y \u003d c ebx
kde koeficienty b, c sú konštanty.
Pri výbere trendovej čiary Excel automaticky vypočíta hodnotu R2, ktorá charakterizuje presnosť aproximácie: čím bližšia je hodnota R2 jednej, tým spoľahlivejšie sa trendová čiara priblíži skúmanému procesu. Ak je to potrebné, hodnota R2 sa môže vždy zobraziť na mape.
Určené vzorcom:
Postup pridania trendovej čiary do série údajov:
aktivovať graf na základe série údajov, tj kliknúť v oblasti grafu. Položka Graf sa zobrazí v hlavnej ponuke;
po kliknutí na túto položku sa na obrazovke objaví ponuka, v ktorej by ste mali zvoliť príkaz Pridať trendový riadok.
Rovnaké akcie sa dajú ľahko dosiahnuť umiestnením kurzora myši nad graf zodpovedajúci jednej z množín údajov a kliknutím pravým tlačidlom myši; V zobrazenej kontextovej ponuke vyberte príkaz Pridať trendovú čiaru. Na obrazovke sa objaví dialógové okno Trendline s otvorenou kartou Type (Obrázok 1).
Potom je potrebné:
Na karte Typ vyberte požadovaný typ trendovej línie (štandardne je vybratý typ Lineárny). Pre typ polynómu zadajte do poľa Stupeň stupeň vybraného polynómu.
1 ... Políčko Plotted on Series obsahuje všetky dátové série príslušného grafu. Ak chcete pridať trendovú čiaru do konkrétnej série údajov, vyberte jej názov v poli Plotted on Series.
Ak je to potrebné, prejdite na kartu Parametre (obr. 2) a pre trendovú čiaru môžete nastaviť tieto parametre:
zmeňte názov trendovej čiary v poli Názov približnej (vyhladenej) krivky.
nastaviť počet období (vpred alebo vzad) prognózy v poli Prognóza;
zobraziť rovnicu trendovej čiary v oblasti grafu, pre ktorú by ste mali povoliť začiarkavacie políčko na zobrazenie rovnice na grafe;
zobraziť hodnotu aproximácie spoľahlivosti R2 v oblasti diagramu, pre ktorú by ste mali povoliť začiarkavacie políčko umiestniť hodnotu aproximácie spoľahlivosti (R ^ 2) do diagramu;
začiarknite políčko priesečník trendovej čiary s osou Y, pre ktorý by ste mali povoliť priesečník krivky s osou Y;
kliknutím na tlačidlo OK zatvorte dialógové okno.
Existujú tri spôsoby, ako začať upravovať už vytvorenú trendovú čiaru:
po výbere trendovej línie použite príkaz Zvolený trendový riadok z ponuky Formát;
vyberte príkaz Format trendline z kontextovej ponuky, ktorá sa vyvolá kliknutím pravým tlačidlom myši na trendovú čiaru;
dvojitým kliknutím na trendovú čiaru.
Na obrazovke sa objaví dialógové okno Formát trendu (Obr. 3), ktoré obsahuje tri karty: Zobraziť, Typ, Parametre a obsah posledných dvoch sa úplne zhoduje s podobnými kartami dialógového okna Trendline (Obr. 1-2). Na karte Zobrazenie môžete nastaviť typ čiary, jej farbu a hrúbku.
Ak chcete už vytvorený trendový riadok odstrániť, vyberte trendový riadok, ktorý chcete odstrániť, a stlačte kláves Delete.
Výhody uvažovaného nástroja na regresnú analýzu sú:
relatívna jednoduchosť vykreslenia trendovej čiary do grafov bez vytvorenia tabuľky údajov pre ňu;
pomerne široký zoznam typov navrhovaných trendových línií a tento zoznam obsahuje najbežnejšie používané typy regresie;
schopnosť predvídať správanie skúmaného procesu pre svojvoľný (v rozumnom slova zmysle) počet krokov vpred, ako aj späť;
schopnosť získať rovnicu trendovej čiary v analytickej forme;
- v prípade potreby možnosť získať odhad spoľahlivosti aproximácie.
Medzi nevýhody patria nasledujúce body:
konštrukcia trendovej čiary sa vykonáva iba vtedy, ak existuje schéma postavená na množstve údajov;
proces vytvárania série údajov pre študovanú charakteristiku na základe rovníc trendových čiar získaných pre ňu je trochu preplnený: hľadané regresné rovnice sa aktualizujú s každou zmenou hodnôt pôvodných sérií údajov, ale iba v oblasti grafu, zatiaľ čo séria údajov vytvorená na základe starej priamky trend zostáva nezmenený;
keď v prehľadoch kontingenčnej tabuľky zmeníte zobrazenie grafu alebo prepojenej zostavy kontingenčnej tabuľky, existujúce trendové línie sa nezachovajú, to znamená, že predtým, ako nakreslíte trendové línie alebo inak naformátujete zostavu kontingenčnej tabuľky, musíte zabezpečiť, aby rozloženie zostavy vyhovovalo vašim potrebám.
Čiary trendov sa môžu použiť na doplnenie sérií údajov prezentovaných v grafoch, stĺpcových grafoch, plochých neštandardizovaných grafoch oblastí, stĺpcoch, rozptyloch, bublinách a burzách.
Nemôžete pridať trendové línie do série údajov v 3-D, normalizovaných, radarových, koláčových a šišiekových grafoch.
Používanie vstavaných funkcií programu Excel
Excel tiež poskytuje nástroj na regresnú analýzu na vykreslenie trendových čiar mimo oblasti grafu. Na tento účel sa dá použiť celý rad štatistických funkcií pracovného listu, ale všetky umožňujú zostavenie iba lineárnych alebo exponenciálnych regresií.
Excel poskytuje niekoľko funkcií na vytváranie lineárnej regresie, najmä:
TILT a CUT.
TREND;
A tiež niekoľko funkcií na budovanie exponenciálnej trendovej línie, najmä:
LGRFPRIBL.
Je potrebné poznamenať, že metódy konštrukcie regresie pomocou funkcií TREND a GROWTH sú prakticky rovnaké. To isté možno povedať pre pár funkcií LINEST a LGRFPRIBL. Pre tieto štyri funkcie sa na vytvorenie tabuľky hodnôt používajú funkcie programu Excel, ako sú vzorce polí, čo proces regresie trochu preplní. Všimnite si tiež, že zostavenie lineárnej regresie je podľa nášho názoru najjednoduchšie vykonať pomocou funkcií sklonu a INTERCEPT, kde prvá z nich určuje sklon lineárnej regresie a druhá je segment odrezaný regresiou na osi y.
Výhody vstavaného nástroja na regresnú analýzu zahŕňajú:
pomerne jednoduchý proces rovnakého typu tvorby dátových radov študovanej charakteristiky pre všetky vstavané štatistické funkcie, ktoré určujú trendové čiary;
štandardná technika na vykreslenie trendových čiar na základe generovaných sérií údajov;
schopnosť predvídať správanie skúmaného procesu pre požadovaný počet krokov vpred alebo vzad.
Nevýhodou je, že Excel nemá vstavané funkcie na vytváranie ďalších (okrem lineárnych a exponenciálnych) typov trendových čiar. Táto okolnosť často neumožňuje výber dostatočne presného modelu skúmaného procesu, ani získanie prognóz blízkych realite. Tiež pri použití funkcií TREND a GROWTH nie sú známe rovnice trendu.
Je potrebné poznamenať, že autori si nestanovili cieľ článku predstaviť priebeh regresnej analýzy s rôznou mierou úplnosti. Jeho hlavnou úlohou je ukázať schopnosti programu Excel pri riešení problémov aproximácie pomocou konkrétnych príkladov; demonštrovať, aké účinné nástroje má program Excel na vytváranie regresií a prognóz; ilustrujú, ako relatívne ľahko sa dajú tieto problémy vyriešiť aj používateľom, ktorý nemá hlboké znalosti regresnej analýzy.
Príklady riešenia konkrétnych problémov
Zoberme si riešenie konkrétnych problémov pomocou uvedených nástrojov balíka Excel.
Problém 1
S tabuľkou údajov o zisku prepravnej spoločnosti za roky 1995-2002. musíte urobiť nasledujúce.
Zostavte schému.
Pridajte do grafu lineárne a polynomické (kvadratické a kubické) trendové čiary.
Pomocou rovníc trendových čiar získajte tabuľkové údaje o podnikových ziskoch pre každú trendovú líniu za roky 1995-2004.
Urobte predpoveď pre zisk podniku na roky 2003 a 2004.
Riešenie problému
V rozsahu buniek A4: C11 pracovného hárka programu Excel zadajte hárok zobrazený na obr. 4.
Po výbere rozsahu buniek B4: C11 zostavíme schému.
Aktivujeme zostavený diagram a podľa vyššie popísaného spôsobu po výbere typu trendovej čiary v dialógovom okne Trendline (pozri obr. 1) postupne pridáme do diagramu lineárne, kvadratické a kubické trendové čiary. V tom istom dialógovom okne otvorte kartu Parameters (pozri obr. 2), do poľa Názov aproximačnej (vyhladenej) krivky zadajte názov pridaného trendu a do poľa Prognóza pre: obdobia nastavte hodnotu 2, pretože sa plánuje urobiť prognózu zisku pre dve roky dopredu. Ak chcete zobraziť regresnú rovnicu a hodnotu spoľahlivosti aproximácie R2 v oblasti diagramu, začiarknutím políčok zobrazte rovnicu na obrazovke a umiestnite na diagram hodnotu spoľahlivosti aproximácie (R ^ 2). Pre lepšie vizuálne vnímanie meníme typ, farbu a hrúbku vytvorených trendových čiar, pre ktoré používame kartu Zobraziť v dialógovom okne Formát trendu (pozri obr. 3). Výsledný diagram s pridanými trendovými čiarami je znázornený na obr. päť.
Získať tabuľkové údaje o podnikových ziskoch pre každú trendovú líniu za roky 1995-2004. Použijeme rovnice trendových čiar znázornené na obr. 5. Ak to chcete urobiť, do buniek v rozsahu D3: F3 zadajte textové informácie o type vybratej trendovej čiary: lineárny trend, kvadratický trend, kubický trend. Ďalej zadajte lineárny regresný vzorec do bunky D4 a pomocou vyplňovacieho markera skopírujte tento vzorec s relatívnymi odkazmi na rozsah buniek D5: D13. Malo by sa poznamenať, že každá bunka s lineárnou regresnou formuláciou z rozsahu buniek D4: D13 berie ako argument zodpovedajúcu bunku z rozsahu A4: A13. Podobne pre kvadratickú regresiu je vyplnený rozsah buniek E4: E13 a pre kubickú regresiu rozsah buniek F4: F13. Bola teda vypracovaná prognóza zisku podniku na roky 2003 a 2004. pomocou troch trendov. Výsledná tabuľka hodnôt je znázornená na obr. 6.
Problém 2
Zostavte schému.
Pridajte do grafu logaritmické, výkonové a exponenciálne čiary trendov.
Odvodte rovnice získaných trendových čiar, ako aj hodnoty aproximačnej spoľahlivosti R2 pre každú z nich.
Pomocou rovníc trendových čiar získajte tabuľkové údaje o podnikových ziskoch pre každú trendovú líniu za roky 1995-2002.
Pomocou týchto trendových línií urobte predpoveď zisku spoločnosti za roky 2003 a 2004.
Riešenie problému
Na základe metodológie uvedenej pri riešení problému 1 získame diagram s pridanými logaritmickými, výkonovými a exponenciálnymi trendovými čiarami (obr. 7). Ďalej pomocou získaných rovníc trendových čiar vyplňujeme tabuľku hodnôt pre zisk podniku vrátane predpokladaných hodnôt pre roky 2003 a 2004. (obr. 8).
Na obr. 5 a obr. je vidieť, že modely s logaritmickým trendom zodpovedajú najmenšej hodnote spoľahlivosti aproximácie
R2 \u003d 0,8659
Najväčšie hodnoty R2 zodpovedajú modelom s polynomickým trendom: kvadratický (R2 \u003d 0,9263) a kubický (R2 \u003d 0,933).
Problém 3
V tabuľke údajov o zisku prepravnej spoločnosti za roky 1995 - 2002, uvedenej v úlohe 1, musíte vykonať nasledujúce akcie.
Získajte funkcie údajov pre lineárne a exponenciálne trendové čiary pomocou funkcií TREND a GROWTH.
Pomocou funkcií TREND a GROWTH urobte prognózu zisku spoločnosti za roky 2003 a 2004.
Zostavte diagram pre počiatočné údaje a prijaté série údajov.
Riešenie problému
Použime pracovný list úlohy 1 (pozri obr. 4). Začnime s funkciou TREND:
vyberte rozsah buniek D4: D11, ktoré by mali byť vyplnené hodnotami funkcie TREND, ktoré zodpovedajú známym údajom o zisku podniku;
zavolajte príkaz Function z ponuky Insert. V zobrazenom dialógovom okne Sprievodca funkciami vyberte z kategórie Štatistika funkciu TREND a potom kliknite na tlačidlo OK. Rovnakú operáciu je možné vykonať stlačením tlačidla (Funkcia vloženia) na štandardnej lište nástrojov.
V zobrazenom dialógovom okne Argumenty funkcií zadajte do poľa Known_values_y rozsah buniek C4: C11; v poli Known_x - rozsah buniek B4: B11;
aby sa zadaný vzorec stal vzorcom poľa, použite kombináciu klávesov + +.
Vzorec, ktorý sme zadali do panela vzorcov, bude vyzerať takto: \u003d (TREND (C4: C11; B4: B11)).
Výsledkom je, že rozsah buniek D4: D11 je vyplnený zodpovedajúcimi hodnotami funkcie TREND (obr. 9).
Predpovedať zisk spoločnosti za roky 2003 a 2004. je to nevyhnutné:
vyberte rozsah buniek D12: D13, do ktorých sa zadajú hodnoty predpovedané funkciou TREND.
zavolajte funkciu TREND av zobrazenom dialógovom okne Argumenty funkcií zadajte do poľa Known_values_y - rozsah buniek C4: C11; v poli Known_x - rozsah buniek B4: B11; av poli New_x_values \u200b\u200brozsah buniek B12: B13.
pomocou klávesovej skratky Ctrl + Shift + Enter premente tento vzorec na maticový vzorec.
Zadaný vzorec bude vyzerať takto: \u003d (TREND (C4: C11; B4: B11; B12: B13)) a rozsah buniek D12: D13 sa vyplní predpokladanými hodnotami funkcie TREND (pozri obr. 9).
Podobne je vyplnená séria údajov pomocou funkcie GROWTH, ktorá sa používa pri analýze nelineárnych závislostí a funguje rovnakým spôsobom ako jej lineárny analógový trend.
Obrázok 10 zobrazuje tabuľku v režime zobrazenia vzorcov.
Pre počiatočné údaje a získané série údajov je schéma znázornená na obr. jedenásť.
Problém 4
V tabuľke s údajmi o prijímaní žiadostí o služby zasielateľskou spoločnosťou dopravnej spoločnosti za obdobie od 1. do 11. dňa aktuálneho mesiaca musíte vykonať nasledujúce akcie.
Získajte dátové rady pre lineárnu regresiu: pomocou funkcií SLOPE a INTERCEPT; pomocou funkcie LINEST.
Získajte funkciu údajov pre exponenciálnu regresiu pomocou funkcie LGRFPRIBL.
Pomocou vyššie uvedených funkcií urobte prognózu prijatia žiadostí v expedičnej službe na obdobie od 12. do 14. dňa aktuálneho mesiaca.
Zostavte schému pre pôvodnú a prijatú sériu údajov.
Riešenie problému
Všimnite si, že na rozdiel od funkcií TREND a GROWTH žiadna z vyššie uvedených funkcií (SLOPE, INTERCEPT, LINEST, LGRFPRIB) nie je regresia. Tieto funkcie hrajú iba pomocnú úlohu a určujú potrebné parametre regresie.
Pri lineárnych a exponenciálnych regresiách, zostavených pomocou funkcií SLOPE, INTERCEPT, LINEST, LGRFPRIB, je vzhľad ich rovníc vždy známy, na rozdiel od lineárnych a exponenciálnych regresií, ktoré zodpovedajú funkciám TREND a GROWTH.
1 ... Zostrojme lineárnu regresiu pomocou rovnice:
y \u003d mx + b
s funkciami SLOPE a INTERCEPT, kde sklon m je určený funkciou SLOPE a priesečník b funkciou INTERCEPT.
Za týmto účelom vykonávame nasledujúce akcie:
zadáme pôvodnú tabuľku do rozsahu buniek A4: B14;
hodnota parametra m bude stanovená v bunke C19. Vyberte si zo štatistickej kategórie Slope; zadajte rozsah buniek B4: B14 do poľa známeho_y a rozsah buniek A4: A14 do poľa známeho_x. Vzorec zadáte do bunky C19: \u003d SLOPE (B4: B14; A4: A14);
podobným spôsobom sa stanoví hodnota parametra b v bunke D19. A jeho obsah bude vyzerať takto: \u003d INTERCEPT (B4: B14; A4: A14). Hodnoty parametrov maab potrebné na vytvorenie lineárnej regresie sa teda uložia do buniek C19, D19;
potom zadáme vzorec lineárnej regresie do bunky C4 v tvare: \u003d $ C * A4 + $ D. V tomto vzorci sú bunky C19 a D19 písané s absolútnymi referenciami (adresa bunky by sa nemala meniť, keď je možné kopírovanie). Absolútnu referenčnú značku $ je možné zadať buď z klávesnice alebo pomocou klávesu F4 po umiestnení kurzora na adresu bunky. Pomocou úchytky výplne skopírujte tento vzorec do rozsahu buniek C4: C17. Získame požadované série údajov (obr. 12). Vzhľadom na to, že počet príkazov je celé číslo, nastavte formát čísla s 0 desatinnými miestami na karte Počet v okne Formát buniek.
2 ... Teraz vytvorme lineárnu regresiu danú rovnicou:
y \u003d mx + b
pomocou funkcie LINEST.
Pre to:
zadajte funkciu LINEST do rozsahu buniek C20: D20 ako maticový vzorec: \u003d (LINEST (B4: B14; A4: A14)). Výsledkom je, že v bunke C20 získame hodnotu parametra m, av bunke D20 - hodnotu parametra b;
zadajte vzorec do bunky D4: \u003d $ C * A4 + $ D;
skopírujte tento vzorec s úchytkou do rozsahu buniek D4: D17 a získajte požadované série údajov.
3 ... Budujeme exponenciálnu regresiu pomocou rovnice:
pomocou funkcie LGRFPRIBL sa vykonáva rovnakým spôsobom:
do rozsahu buniek C21: D21 vstupujeme do funkcie LGRFPRIBL ako maticový vzorec: \u003d (LGRFPRIBL (B4: B14; A4: A14)). V tomto prípade sa v bunke C21 stanoví hodnota parametra m, a v bunke D21 - hodnota parametra b;
vzorec sa zadá do bunky E4: \u003d $ D * $ C ^ A4;
pri použití značkovača sa tento vzorec skopíruje do rozsahu buniek E4: E17, kde budú umiestnené dátové rady pre exponenciálnu regresiu (pozri obr. 12).
Na obr. 13 je tabuľka, kde môžete vidieť funkcie, ktoré používame s požadovaným rozsahom buniek, ako aj vzorce.
Množstvo R 2 volal koeficient určenia.
Úlohou konštrukcie regresnej závislosti je nájsť vektor koeficientov m modelu (1), pri ktorom koeficient R berie svoju maximálnu hodnotu.
Na posúdenie významnosti R sa použije Fisherov F-test, vypočítaný podľa vzorca
kde n - veľkosť vzorky (počet experimentov);
k je počet modelových koeficientov.
Ak F prekročí určitú kritickú hodnotu pre údaje n a k a akceptovanú úroveň spoľahlivosti, potom sa hodnota R považuje za významnú. Tabuľky kritických hodnôt F sú uvedené v príručkách o matematickej štatistike.
Význam R je teda určený nielen jeho hodnotou, ale aj pomerom medzi počtom experimentov a počtom koeficientov (parametrov) modelu. V skutočnosti je korelačný pomer pre n \u003d 2 pre jednoduchý lineárny model 1 (jedna priama čiara sa vždy dá nakresliť cez 2 body v rovine). Ak sú však experimentálne údaje náhodnými hodnotami, mala by sa veľká pozornosť venovať tejto hodnote R. Zvyčajne sa s cieľom získať významnú R a spoľahlivú regresiu snaží zabezpečiť, aby počet experimentov významne prekročil počet modelových koeficientov (n\u003e k).
Ak chcete zostaviť lineárny regresný model, musíte:
1) pripravte zoznam n riadkov a stĺpcov m obsahujúcich experimentálne údaje (stĺpec obsahujúci výstupné množstvo) Ymusí byť buď prvý alebo posledný v zozname); napríklad vezmeme údaje z predchádzajúcej úlohy, pridáme stĺpec s názvom „Č. obdobia“, očíslujeme čísla období od 1 do 12. (jedná sa o hodnoty X)
2) prejdite do ponuky Data / Data Analysis / Regression
Ak položka „Analýza údajov“ v ponuke „Nástroje“ chýba, mali by ste prejsť na položku „Doplnky“ rovnakej ponuky a začiarknuť políčko „Balík analýzy“.
3) v dialógovom okne „Regresia“:
· Vstupný interval Y;
· Vstupný interval X;
· Výstupný interval - ľavá horná bunka intervalu, do ktorého sa budú ukladať výsledky výpočtov (odporúča sa umiestniť na nový pracovný hárok);
4) kliknite na tlačidlo „OK“ a analyzujte výsledky.
- cvičenie
úvod
Som softvérový matematik. Najväčší skok v mojej kariére bol, keď som sa naučil hovoriť: "Ničomu nerozumiem!" Teraz sa nehanbím hovoriť svetelnému vedcovi, že mi dáva prednášku, že nechápem, o čom mi to hovorilo. A to je veľmi ťažké. Áno, je ťažké a trápne pripustiť vašu ignoranciu. Kto rád priznáva, že nepozná základy niečoho - tam. Na základe svojej profesie sa musím zúčastniť veľkého množstva prezentácií a prednášok, kde sa priznávam, že v drvivej väčšine prípadov sa cítim ospalý, pretože ničomu nerozumiem. Nerozumiem tomu, pretože obrovský problém súčasnej vedeckej situácie spočíva v matematike. Predpokladá sa, že všetci študenti sú oboznámení s absolútne všetkými oblasťami matematiky (čo je absurdné). Je škoda priznať, že neviete, čo je derivát (že to bude o niečo neskôr).
Ale naučil som sa hovoriť, že neviem, čo je multiplikácia. Áno, neviem, čo je to subalgebra nad Lieovou algebrou. Áno, neviem, prečo sú v živote potrebné kvadratické rovnice. Mimochodom, ak ste si istí, že to viete, potom máme o čom hovoriť! Matematika je séria trikov. Matematici sa snažia zmiasť a zastrašiť verejnosť; ak nedochádza k zámene, dobrej povesti, autorite. Áno, je prestížne hovoriť v čo najväčšom abstraktnom jazyku, čo je samo o sebe úplne nezmysly.
Viete, čo je derivát? S najväčšou pravdepodobnosťou mi povieš o limite rozdielu. V prvom roku matematiky na Štátnej univerzite v Petrohrade, Victor Petrovič Khavin identifikovaný derivát ako koeficient prvého členu Taylorovho radu funkcie v určitom bode (to bola samostatná gymnastika na určovanie Taylorovho radu bez derivátov). Túto definíciu som sa smial dlho, kým som konečne nepochopil, o čo ide. Derivácia nie je ničím iným ako mierou toho, do akej miery funkcia, ktorú rozlišujeme, sa podobá funkcii y \u003d x, y \u003d x ^ 2, y \u003d x ^ 3.
Mám tú česť prednášať študentom, ktorí strach matematika. Ak sa bojíte matematiky, sme na rovnakej ceste. Akonáhle sa pokúsite prečítať nejaký text a zdá sa vám, že je príliš komplikovaný, potom vedzte, že je zle napísaný. Tvrdím, že neexistuje jediná oblasť matematiky, o ktorej sa nedá hovoriť „prstami“ bez straty presnosti.
Úloha pre blízku budúcnosť: Inštruoval som svojich študentov, aby pochopili, čo je lineárny kvadratický regulátor. Neváhajte, strávte tri minúty svojho života, kliknite na odkaz. Ak ničomu nerozumiete, sme na ceste. Ani ja (profesionálny matematik-programátor) som nič nerozumel. A uisťujem vás, že to dokážete zistiť na prstoch. Momentálne neviem, čo to je, ale uisťujem vás, že to dokážeme zistiť.
Takže prvá prednáška, ktorú budem čítať svojim študentom potom, čo ku mne prídu hrôzou so slovami, že lineárny kvadratický regulátor je hrozná byaka, ktorá sa v mojom živote nikdy nezvládne, toto metódy najmenších štvorcov... Dokážete vyriešiť lineárne rovnice? Ak čítate tento text, pravdepodobne nie.
Takže vzhľadom na dva body (x0, y0), (x1, y1), napríklad (1,1) a (3,2), je problémom nájsť rovnicu priamky prechádzajúcej týmito dvoma bodmi:
ilustrácie
Tento riadok musí mať nasledovnú rovnicu:
Tu nám nie sú známe alfa a beta, ale sú známe dva body tohto riadku:
Túto rovnicu môžete napísať v maticovej podobe:
Tu by sa mala urobiť lyrická degresia: čo je matica? Matica nie je nič viac ako dvojrozmerné pole. Je to spôsob ukladania údajov, nemali by ste im prikladať väčší význam. Je na nás, ako presne interpretovať určitú maticu. Pravidelne ho budem interpretovať ako lineárne zobrazenie, periodicky ako kvadratickú formu a niekedy len ako množinu vektorov. Toto všetko bude objasnené v kontexte.
Nahraďte konkrétne matice ich symbolickými znázorneniami:
Potom (alfa, beta) možno ľahko nájsť:
Konkrétnejšie pre naše predchádzajúce údaje:
Čo vedie k nasledujúcej rovnici priamky prechádzajúcej bodmi (1,1) a (3,2):
Dobre, všetko je tu jasné. Nájdime rovnicu priamky, ktorá prechádza tri body: (x0, y0), (x1, y1) a (x2, y2):
Oh-oh-oh, ale máme tri rovnice pre dve neznáme! Štandardný matematik vám povie, že neexistuje žiadne riešenie. Čo povie programátor? A na začiatok prepíše predchádzajúci systém rovníc v tejto podobe:
V našom prípade sú vektory i, j, b trojrozmerné, a preto (vo všeobecnom prípade) tento systém neexistuje. Akýkoľvek vektor (alfa \\ * i + beta \\ * j) leží v rovine preklenutej vektormi (i, j). Ak b nepatrí do tejto roviny, potom riešenie neexistuje (rovnosť v rovnici nie je možné dosiahnuť). Čo robiť? Nájdime kompromis. Označme to e (alfa, beta) presne, ako ďaleko sme nedosiahli rovnosť:
A pokúsime sa minimalizovať túto chybu:
Prečo námestie?
Hľadáme nielen minimum normy, ale aj minimum štvorca normy. Prečo? Samotný minimálny bod sa zhoduje a štvorec poskytuje hladkú funkciu (kvadratická funkcia argumentov (alfa, beta)), zatiaľ čo dĺžka jednoducho poskytuje funkciu podobnú kužeľu, ktorá nie je v minimálnom bode diferencovateľná. BRR. Námestie je pohodlnejšie.
Je zrejmé, že chyba je minimalizovaná, keď je vektor e je kolmá na rovinu preklenutú vektormi ja a j.
ilustrácie
Inými slovami: hľadáme čiaru tak, aby súčet štvorcových dĺžok vzdialeností od všetkých bodov k tejto čiare bol minimálny:
UPDATE: tu mám prevýšenie, vzdialenosť od priamky by sa mala merať vertikálne, nie ortogonálna projekcia. komentátor má pravdu.
ilustrácie
Inými slovami (opatrne, zle formalizované, ale na prstoch by malo byť jasné): berieme všetky možné priame čiary medzi všetkými pármi bodov a hľadáme strednú čiaru medzi všetkými:
ilustrácie
Ďalšie vysvetlenie prstov: prikladáme pružinu medzi všetky dátové body (tu máme tri) a priamku, ktorú hľadáme, a priamku rovnovážneho stavu je presne to, čo hľadáme.
Minimálne kvadratické
Takže s daným vektorom b a rovina preklenutá stĺpcovými vektormi matice (v tomto prípade (x0, x1, x2) a (1,1,1)) hľadáme vektor e s minimálnou dĺžkou štvorca. Je zrejmé, že minimum je dosiahnuteľné iba pre vektor e, kolmé na rovinu preklenutú stĺpcovými vektormi matice :Inými slovami, hľadáme vektor x \u003d (alfa, beta), ktorý:
Dovoľte mi pripomenúť, že tento vektor x \u003d (alfa, beta) je minimom kvadratickej funkcie || e (alfa, beta) || ^ 2:
Tu bude užitočné pamätať si, že maticu je možné interpretovať ako kvadratickú formu, napríklad maticu jednotiek ((1,0), (0,1)) možno interpretovať ako funkciu x ^ 2 + y ^ 2:
kvadratická forma
Celá táto gymnastika je známa ako lineárna regresia.
Laplaceova rovnica s Dirichletovou hraničnou podmienkou
Teraz najjednoduchšia skutočná úloha: existuje určitý trojuholníkový povrch, musíte ho vyhladiť. Napríklad poďme načítať model mojej tváre:
Počiatočné potvrdenie je k dispozícii. Aby som minimalizoval vonkajšie závislosti, vzal som si kód svojho softvérového vykresľovača, už na zariadení habr. Na riešenie lineárneho systému používam OpenNL, je to vynikajúci riešiteľ, ktorý sa však veľmi ťažko inštaluje: musíte do svojho projektu skopírovať dva súbory (.h + .c) do priečinka. Všetky vyhladzovania sa robia pomocou nasledujúceho kódu:
Pre (int d \u003d 0; d<3; d++) {
nlNewContext();
nlSolverParameteri(NL_NB_VARIABLES, verts.size());
nlSolverParameteri(NL_LEAST_SQUARES, NL_TRUE);
nlBegin(NL_SYSTEM);
nlBegin(NL_MATRIX);
for (int i=0; i<(int)verts.size(); i++) {
nlBegin(NL_ROW);
nlCoefficient(i, 1);
nlRightHandSide(verts[i][d]);
nlEnd(NL_ROW);
}
for (unsigned int i=0; i
Súradnice X, Y a Z sú oddeliteľné, vyhladzujem ich samostatne. To znamená, že riešim tri systémy lineárnych rovníc, z ktorých každý má počet premenných rovný počtu vrcholov v mojom modeli. Prvých n riadkov matice A má iba jednu jednotku na riadok a prvých n riadkov vektora b má pôvodné súradnice modelu. To znamená, že som na jar medzi novou vertexovou pozíciou a starou vertexovou pozíciou - nové by sa nemali príliš vzdialiť od tých starých.
Všetky nasledujúce riadky matice A (faces.size () * 3 \u003d počet hrán všetkých trojuholníkov v mriežke) majú jeden výskyt 1 a jeden výskyt -1 a vektor b má proti sebe nulové komponenty. To znamená, že zavesím pružinu na každú hranu našej trojuholníkovej siete: všetky hrany sa snažia získať rovnaký vrchol ako počiatočný a koncový bod.
Opäť: všetky vrcholy sú premenné a nemôžu siahať ďaleko od svojej pôvodnej polohy, ale zároveň sa snažia stať si navzájom podobné.
Tu je výsledok:
Všetko by bolo v poriadku, model je skutočne vyhladený, ale posunul sa od pôvodného okraja. Poďme trochu zmeniť kód:
Pre (int i \u003d 0; i<(int)verts.size(); i++) { float scale = border[i] ? 1000: 1; nlBegin(NL_ROW); nlCoefficient(i, scale); nlRightHandSide(scale*verts[i][d]); nlEnd(NL_ROW); }
V našej matici A pre vrcholy, ktoré sú na okraji, nepridávam riadok z v_i \u003d verts [i] [d] bit, ale 1000 * v_i \u003d 1000 * verts [i] [d]. Čo sa mení? A to zmení našu chybu so štvorcovým právom. Teraz jednotková odchýlka od vrcholu na hrane nebude stáť jednu jednotku, ako predtým, ale 1 000 * 1 000 jednotiek. To znamená, že sme zavesili silnejšiu pružinu na extrémne vrcholy, riešenie uprednostňuje viac natiahnuť ostatných. Tu je výsledok:
Zdvojnásobíme pružiny medzi vrcholmi:
nlCofficient (tvár [j], 2); nlCafficient (face [(j + 1)% 3], -2);
Je logické, že povrch bol hladší:
A teraz je to dokonca stokrát silnejšie:
Čo je to? Predstavte si ponorenie drôtu do mydlovej vody. Výsledkom bude, že výsledný mydlový film sa bude snažiť mať čo najmenšie zakrivenie, ktoré sa bude dotýkať toho istého okraja - nášho drôteného prsteňa. To je presne to, čo sme dosiahli opravením hranice a požiadaním o hladký povrch vo vnútri. Gratulujeme, práve sme vyriešili Laplaceovu rovnicu s Dirichletovými hraničnými podmienkami. Znie to dobre? V skutočnosti však treba vyriešiť iba jeden systém lineárnych rovníc.
Poissonova rovnica
Spomeňte si na ďalšie super meno.Predpokladajme, že mám takýto obrázok:
Každý je dobrý, iba nemám rada kreslo.
Obrázok rozdelím na polovicu: 
A stoličky vyzdvihnem rukami: 
Potom vytiahnem všetko, čo je biele v maske, na ľavú stranu obrázku a súčasne na celom obrázku poviem, že rozdiel medzi dvoma susednými pixelmi by sa mal rovnať rozdielu medzi dvoma susednými pixelmi na pravom obrázku:
Pre (int i \u003d 0; i Tu je výsledok: K dispozícii sú kódy a obrázky Obyčajné najmenšie štvorce (OLS) - matematická metóda použitá na riešenie rôznych problémov, založená na minimalizácii súčtu štvorcov odchýlok niektorých funkcií od požadovaných premenných. Môže sa použiť na „riešenie“ predurčených systémov rovníc (keď počet rovníc presahuje počet neznámych), na nájdenie riešenia v prípade bežných (nie príliš predurčených) nelineárnych systémov rovníc, aproximácie bodových hodnôt niektorej funkcie. OLS je jednou zo základných metód regresnej analýzy na odhad neznámych parametrov regresných modelov zo vzoriek. 1
/
5 Method Metóda najmenších štvorcov. téma ✪ Mitin IV - Spracovanie výsledkov fyziky. Experiment - metóda najmenších štvorcov (prednáška 4) Less Lekcia najmenších štvorcov 1/2. Lineárna funkcia ✪ Ekonometria. Prednáška 5 Metóda najmenších štvorcov Method Metóda najmenších štvorcov. odpovede Do začiatku 19. storočia. vedci nemali jasné pravidlá na riešenie systému rovníc, v ktorých je počet neznámych menší ako počet rovníc; Dovtedy sa používali konkrétne metódy v závislosti od typu rovníc a podľa počtu kalkulačiek, a preto rôzne kalkulačky založené na rovnakých pozorovacích údajoch dospeli k rôznym záverom. Gauss (1795) bol autorom prvej aplikácie metódy a Legendre (1805) ho nezávisle objavil a publikoval pod moderným názvom (fr. Méthode des moindres quarrés). Laplace túto metódu spojil s teóriou pravdepodobnosti a americký matematik Edrain (1808) zvažoval jej pravdepodobnostné aplikácie. Táto metóda bola rozšírená a vylepšená ďalším výskumom Enckeho, Bessela, Hansena a ďalších. Nech je x (\\ displaystyle x) - nastaviť n (\\ displaystyle n) neznáme premenné (parametre), f i (x) (\\ displaystyle f_ (i) (x)), , m\u003e n (\\ displaystyle m\u003e n) - súbor funkcií z tejto sady premenných. Úlohou je vybrať také hodnoty x (\\ displaystyle x)aby hodnoty týchto funkcií boli čo najbližšie k niektorým hodnotám y i (\\ displaystyle y_ (i))... V podstate hovoríme o „riešení“ predurčeného systému rovníc f i (x) \u003d y i (\\ displaystyle f_ (i) (x) \u003d y_ (i)), i \u003d 1,…, m (\\ displaystyle i \u003d 1, \\ ldots, m) v naznačenom zmysle maximálnej blízkosti ľavej a pravej časti systému. Podstatou LSM je zvoliť súčet druhých mocnín odchýlok na ľavej a pravej strane ako „mieru blízkosti“. | f i (x) - y i | (\\ displaystyle | f_ (i) (x) -y_ (i) |)... Podstatu OLS možno teda vyjadriť takto: Ak má systém rovníc riešenie, minimum súčtu štvorcov bude nula a presné riešenia systému rovníc sa dajú nájsť analyticky alebo napríklad rôznymi metódami numerickej optimalizácie. Ak je systém predurčený, tj voľne povedané, počet nezávislých rovníc je väčší ako počet hľadaných premenných, potom systém nemá presné riešenie a metóda najmenších štvorcov umožňuje nájsť nejaký „optimálny“ vektor x (\\ displaystyle x) v zmysle maximálnej blízkosti vektorov y (\\ displaystyle y) a f (x) (\\ displaystyle f (x)) alebo maximálna blízkosť vektora odchýlok e (\\ displaystyle e) na nulu (blízkosť sa chápe v zmysle euklidovskej vzdialenosti). Najmä metóda najmenších štvorcov sa môže použiť na "vyriešenie" systému lineárnych rovníc kde A (\\ displaystyle A) matica obdĺžnikovej veľkosti m × n, m\u003e n (\\ displaystyle m \\ krát n, m\u003e n) (t. j. počet riadkov matice A je väčší ako počet hľadaných premenných). Vo všeobecnosti takýto systém rovníc nemá riešenie. Tento systém sa preto dá „vyriešiť“ iba v zmysle výberu takéhoto vektora x (\\ displaystyle x)aby sa minimalizovala „vzdialenosť“ medzi vektormi A x (\\ displaystyle Ax) a b (\\ displaystyle b)... Na tento účel môžete použiť kritérium na minimalizáciu súčtu druhých mocnín rozdielov medzi ľavou a pravou stranou rovníc systému, tj (A x - b) T (A x - b) → min (\\ displaystyle (Ax-b) ^ (T) (Ax-b) \\ rightarrow \\ min)... Je ľahké ukázať, že riešenie tohto problému minimalizácie vedie k riešeniu nasledujúceho systému rovníc Nech je tam n (\\ displaystyle n) hodnoty nejakej premennej y (\\ displaystyle y) (môžu to byť výsledky pozorovaní, experimentov atď.) a zodpovedajúce premenné x (\\ displaystyle x)... Výzvou je zabezpečiť, aby vzťah medzi y (\\ displaystyle y) a x (\\ displaystyle x) aproximovať niektorými funkciami známymi až po neznáme parametre b (\\ displaystyle b), to je v skutočnosti nájsť najlepšie hodnoty parametrov b (\\ displaystyle b), maximálne približné hodnoty f (x, b) (\\ displaystyle f (x, b)) na skutočné hodnoty y (\\ displaystyle y)... V skutočnosti sa to obmedzuje na prípad „riešenia“ predurčeného systému rovníc vzhľadom na b (\\ displaystyle b): F (x t, b) \u003d y t, t \u003d 1,…, n (\\ spôsob zobrazovania f (x_ (t), b) \u003d y_ (t), t \u003d 1, \\ ldots, n). V regresnej analýze a najmä v ekonometrii sa používajú pravdepodobnostné modely vzťahu medzi premennými Y t \u003d f (x t, b) + ε t (\\ displaystyle y_ (t) \u003d f (x_ (t), b) + \\ varepsilon _ (t)), kde ε t (\\ displaystyle \\ varepsilon _ (t)) - tzv náhodné chyby modely. Preto odchýlky pozorovaných hodnôt y (\\ displaystyle y) z modelu f (x, b) (\\ displaystyle f (x, b)) sa predpokladá už v samotnom modeli. Podstatou OLS (obyčajnej, klasickej) je nájsť také parametre b (\\ displaystyle b)pre ktoré súčet druhých mocnín odchýlok (chyby, pre regresné modely sa často nazývajú zvyšky regresie) e t (\\ displaystyle e_ (t)) bude minimálne: kde R S S (\\ displaystyle RSS) - Angličtina. Zvyškový súčet štvorcov je definovaný ako: Vo všeobecnosti možno tento problém vyriešiť pomocou metód numerickej optimalizácie (minimalizovania). V tomto prípade hovoria nelineárne najmenšie štvorce (NLS alebo NLLS - anglické nelineárne najmenšie štvorce). V mnohých prípadoch je možné získať analytický roztok. Na vyriešenie problému minimalizácie je potrebné nájsť stacionárne body funkcie R S S (b) (\\ displaystyle RSS (b)), rozlíšenie podľa neznámych parametrov b (\\ displaystyle b), vyrovnanie derivátov na nulu a vyriešenie výsledného systému rovníc: Nech je regresná závislosť lineárna: Nech je y je stĺpcový vektor pozorovaní vysvetlenej premennej a X (\\ displaystyle X) - toto je (n × k) (\\ displaystyle ((n \\ krát k)))- matica pozorovaní faktorov (riadky matice sú vektory hodnôt faktorov pri danom pozorovaní, stĺpce - vektor hodnôt daného faktora pri všetkých pozorovaniach). Maticové znázornenie lineárneho modelu je: Potom bude vektor odhadov vysvetlenej premennej a vektor regresných zvyškov rovnaký v súlade s tým bude súčet druhých mocnín zvyškov regresie rovný Odlíšenie tejto funkcie vektorom parametrov b (\\ displaystyle b) a keď derivujeme rovnicu na nulu, dostaneme systém rovníc (vo forme matice): V dešifrovanej maticovej podobe vyzerá tento systém rovníc takto: (∑ xt 1 2 ∑ xt 1 xt 2 ∑ xt 1 xt 3… ∑ xt 1 xtk ∑ xt 2 xt 1 ∑ xt 2 2 ∑ xt 2 xt 3… xt 3 2… ∑ xt 3 xtk ⋮ ⋮ ⋮ ⋱ ⋮ ∑ xtkxt 1 ∑ xtkxt 2 ∑ xtkxt 3… ∑ xtk 2) (b 1 b 2 b 3 ⋮ bk) \u003d (∑ xt 1 yt ∑ xt 2 yt ∑ xt 3 yt ⋮ ∑ xtkyt), \\ \\ displaystyle (\\ begin (pmatrix) \\ sum x_ (t1) ^ (2) & \\ sum x_ (t1) x_ (t2) & \\ sum x_ (t1) x_ (t3) & \\ ldots & \\ súčet x_ (t1) x_ (tk) \\\\\\ súčet x_ (t2) x_ (t1) & \\ súčet x_ (t2) ^ (2) & \\ súčet x_ (t2) x_ (t3) & \\ ldoty & \\ (t3) x_ (tk) \\\\\\ vdots & \\ vdots & \\ vdots & \\ ddots & \\ vdots \\\\\\ súčet x_ (tk) x_ (t1) & \\ súčet x_ (tk) x_ (t2) & \\ sum x_ (tk) x_ (t3) & \\ ldoty a \\ súčet x_ (tk) ^ (2) \\\\\\ end (pmatrix)) (\\ begin (pmatrix) b_ (1) \\\\ b_ (2) \\\\ b_ (3) ) \\\\\\ vdots \\\\ b_ (k) \\\\\\ end (pmatrix)) \u003d (\\ begin (pmatrix) \\ súčet x_ (t1) y_ (t) \\\\\\ súčet x_ (t2) y_ (t) \\\\ \\\\\\ súčet x_ (tk) y_ (t) \\\\\\ end (pmatrix)),) ak sú všetky sumy prevzaté za všetky prípustné hodnoty t (\\ displaystyle t). Ak je do modelu zahrnutá konštanta (ako obvykle), potom x t 1 \u003d 1 (\\ displaystyle x_ (t1) \u003d 1) so všetkým t (\\ displaystyle t)preto v ľavom hornom rohu matice sústavy rovníc je počet pozorovaní n (\\ displaystyle n)a vo zvyšku prvkov prvého riadku a prvého stĺpca - iba súčet hodnôt premenných: ∑ x t j (\\ displaystyle \\ sum x_ (tj)) a prvý prvok na pravej strane systému je ∑ y t (\\ displaystyle \\ sum y_ (t)). Riešenie tohto systému rovníc poskytuje všeobecný vzorec odhadov OLS pre lineárny model: Na analytické účely sa ukázala ako užitočná posledná reprezentácia tohto vzorca (v systéme rovníc sa pri delení n namiesto súčtov objavia aritmetické priemery). Ak sú v regresnom modeli údaje sústredený, potom v tejto reprezentácii má prvá matica význam vzorovej kovariančnej matice faktorov a druhá je vektor kovariancie faktorov so závislou premennou. Ak sú okrem toho aj údaje normalizovaná na SKO (to je nakoniec štandardizovaný), potom má prvá matica význam selektívnej korelačnej matice faktorov, druhým vektorom je vektor selektívnej korelácie faktorov so závislou premennou. Dôležitá vlastnosť odhadov OLS pre modely s konštantou - čiara vytvorenej regresie prechádza ťažiskom údajov vzorky, to znamená, že je splnená rovnosť: Najmä v extrémnom prípade, keď jediným regresorom je konštanta, zistíme, že odhad OLS jediného parametra (samotná konštanta) sa rovná strednej hodnote vysvetlenej premennej. To znamená, že aritmetický priemer, známy svojimi dobrými vlastnosťami zo zákonov veľkého počtu, je tiež odhadom OLS - spĺňa kritérium minimálneho súčtu štvorcov odchýlok od neho. V prípade párovej lineárnej regresie y t \u003d a + b x t + ε t (\\ displaystyle y_ (t) \u003d a + bx_ (t) + \\ varepsilon _ (t)), keď sa odhadne lineárna závislosť jednej premennej na inej, výpočtové vzorce sa zjednodušia (môžete to urobiť aj bez maticovej algebry). Systém rovníc má podobu: {!LANG-39438bb0f6ae59d897f4fa6865fdf1bc!} Napriek tomu, že vo všeobecnosti sú výhodné modely s konštantou, v niektorých prípadoch je z teoretických dôvodov známe, že konštanta a (\\ displaystyle a) mala by byť nula. Napríklad vo fyzike má vzťah medzi napätím a prúdom tvar U \u003d I ⋅ R (\\ displaystyle U \u003d I \\ cdot R); na meranie napätia a prúdu je potrebné odhadnúť odpor. V tomto prípade hovoríme o modeli y \u003d b x (\\ displaystyle y \u003d bx)... V tomto prípade namiesto systému rovníc máme jedinú rovnicu (∑ x t 2) b \u003d ∑ x t y t (\\ displaystyle \\ left (\\ súčet x_ (t) ^ (2) \\ right) b \u003d \\ súčet x_ (t) y_ (t)). V dôsledku toho má vzorec na odhad jednotného koeficientu tvar B ^ \u003d ∑ t \u003d 1 nxtyt ∑ t \u003d 1 nxt 2 \u003d xy ¯ x 2 ¯ (\\ displaystyle (\\ hat (b)) \u003d (\\ frac (\\ súčet _ (t \u003d 1) ^ (n) x_ (t ) y_ (t)) (\\ súčet _ (t \u003d 1) ^ (n) x_ (t) ^ (2))) \u003d (\\ frac (\\ overline (xy)) (\\ overline (x ^ (2))) ))). Ak sú údaje vybavené polynomickou regresnou funkciou jednej premennej f (x) \u003d b 0 + ∑ i \u003d 1 k b i x i (\\ displaystyle f (x) \u003d b_ (0) + \\ sum \\ limity _ (i \u003d 1) ^ (k) b_ (i) x ^ (i)), potom vnímanie stupňa x i (\\ displaystyle x ^ (i)) ako nezávislé faktory pre všetkých i (\\ displaystyle i) parametre modelu môžete odhadnúť na základe všeobecného vzorca na odhad parametrov lineárneho modelu Na tento účel stačí vo všeobecnom vzorci zohľadniť, že pri takomto výklade x t i x t j \u003d x t i x t j \u003d x t i + j (\\ displaystyle x_ (ti) x_ (tj) \u003d x_ (t) ^ (i) x_ (t) ^ (j) \u003d x_ (t) ^ (i + j)) a x t j y t \u003d x t j y t (\\ displaystyle x_ (tj) y_ (t) \u003d x_ (t) ^ (j) y_ (t))... Maticové rovnice majú preto v tomto prípade podobu: (n ∑ nxt… ∑ nxtk ∑ nxt ∑ nxi 2… ∑ mxik + 1 ⋮ ⋮ ⋱ ⋮ ∑ nxtk ∑ nxtk + 1… ∑ nxt 2 k) [b 0 b 1 ⋮ bk] \u003d [∑ nyt ∑ nxtyt ⋮ ∑ nxtkyt ]. (\\ displaystyle (\\ begin (pmatrix) n & \\ sum \\ limity _ (n) x_ (t) & \\ ldots & \\ sum \\ limity _ (n) x_ (t) ^ (k) \\\\\\ suma \\ limity _ ( n) x_ (t) & \\ sum \\ limity _ (n) x_ (i) ^ (2) & \\ ldots & \\ sum \\ limity _ (m) x_ (i) ^ (k + 1) \\\\\\ vdots & \\ vdots & \\ ddots & \\ vdots \\\\\\ súčet \\ limity _ (n) x_ (t) ^ (k) & \\ sum \\ limity _ (n) x_ (t) ^ (k + 1) & \\ ldots & \\ bmatrix)) \u003d (\\ begin (bmatrix) \\ sum \\ limity _ (n) y_ (t) \\\\\\ sum \\ limity _ (n) x_ (t) y_ (t) \\\\\\ vdots \\\\\\ sum \\ limity _ (n) x_ (t) ^ (k) y_ (t) \\ end (bmatrix)).) Najprv si všimneme, že pre lineárne modely sú odhady OLS lineárne odhady, ako to vyplýva z vyššie uvedeného vzorca. Pre nezaujatosť odhadov OLS je potrebné a postačujúce splniť najdôležitejšiu podmienku regresnej analýzy: matematické očakávanie náhodnej chyby podmienenej faktormi by sa malo rovnať nule. Táto podmienka je splnená najmä, ak: Druhá podmienka - podmienka exogénnych faktorov - je zásadná. Ak táto vlastnosť nie je splnená, potom môžeme predpokladať, že takmer všetky odhady budú extrémne neuspokojivé: nebudú ani konzistentné (to znamená, že ani veľké množstvo údajov neumožňuje získať kvalitatívne odhady v tomto prípade). V klasickom prípade sa dôraznejšie vychádza z determinizmu faktorov, na rozdiel od náhodnej chyby, ktorá automaticky znamená splnenie exogénnej podmienky. Vo všeobecnosti je z dôvodu konzistentnosti odhadov postačujúce splniť podmienku exogenity spolu s konvergenciou matice. V x (\\ displaystyle V_ (x)) do niektorej nedegenerovanej matrice so zvyšujúcou sa veľkosťou vzorky do nekonečna. Aby boli odhady (bežných) najmenších štvorcov efektívne (najlepšie v triede lineárnych nestranných odhadov), je potrebné, aby okrem dôslednosti a nestrannosti boli splnené aj ďalšie vlastnosti náhodnej chyby: Tieto predpoklady môžu byť formulované pre kovariančnú maticu vektora náhodných chýb V (ε) \u003d σ 2 I (\\ displaystyle V (\\ varepsilon) \u003d \\ sigma ^ (2) I). Nazýva sa lineárny model, ktorý spĺňa tieto podmienky klasický... Odhady OLS pre klasickú lineárnu regresiu sú nestranné, konzistentné a najúčinnejšie odhady v triede všetkých lineárnych nestranných odhadov (v anglickej literatúre skratka) MODRÁ (Najlepší lineárny nestranný odhadca) je najlepší lineárny nestranný odhad; v domácej literatúre sa často cituje Gauss - Markovova veta). Je ľahké ukázať, že kovariančná matica vektora odhadov koeficientov bude rovná: V (b ^ OLS) \u003d σ 2 (XTX) - 1 (\\ displaystyle V ((\\ hat (b)) _ (OLS)) \u003d \\ sigma ^ (2) (X ^ (T) X) ^ (-1 )). Účinnosť znamená, že táto kovariančná matica je „minimálna“ (akákoľvek lineárna kombinácia koeficientov, a najmä koeficientov samotných, má minimálny rozptyl), to znamená, že v triede lineárnych nestranných odhadov sú odhady OLS najlepšie. Diagonálne prvky tejto matice - odchýlky odhadov koeficientov - sú dôležitými parametrami kvality získaných odhadov. Nie je však možné vypočítať kovariančnú maticu, pretože rozptyl náhodných chýb nie je známy. Môže sa dokázať, že objektívnym a konzistentným (pre klasický lineárny model) odhad rozptylu náhodných chýb je hodnota: S 2 \u003d R S S / (n - k) (\\ displaystyle s ^ (2) \u003d RSS / (n-k)). Nahradením tejto hodnoty vo vzorci kovariančnej matice získame odhad kovariančnej matice. Získané odhady sú tiež nestranné a konzistentné. Je tiež dôležité, aby odhad rozptylu chýb (a teda rozptyl koeficientov) a odhady parametrov modelu boli nezávislé náhodné premenné, čo umožňuje získať štatistiku testov na testovanie hypotéz o koeficientoch modelu. Malo by sa poznamenať, že ak nie sú splnené klasické predpoklady, odhady parametrov OLS nie sú najúčinnejšie a ak W (\\ displaystyle W) - nejaká symetrická matica pozitívnej konečnej hmotnosti. Obyčajný OLS je zvláštnym prípadom tohto prístupu, keď matica hmotnosti je úmerná matici identity. Ako je známe, v prípade symetrických matíc (alebo operátorov) dochádza k rozkladu W \u003d P T P (\\ displaystyle W \u003d P ^ (T) P)... Preto je možné uvedenú funkčnú skupinu znázorniť nasledujúcim spôsobom e TPTP e \u003d (P e) TP e \u003d e ∗ T e ∗ (\\ displaystyle e ^ (T) P ^ (T) Pe \u003d (Pe) ^ (T) Pe \u003d e _ (*) \u200b\u200b^ (T) e_ ( *)), to znamená, že táto funkčná skupina môže byť predstavovaná ako súčet druhých mocnín niektorých transformovaných "zvyškov". Takto môžeme rozlíšiť triedu metód najmenších štvorcov - metódy LS (najmenšie štvorce). Bolo dokázané (Aitkenova veta), že pre zovšeobecnený lineárny regresný model (v ktorom nie sú uvalené žiadne obmedzenia na kovariančnú maticu náhodných chýb), sú najúčinnejšie (v triede lineárnych nestranných odhadov) odhady tzv. generalizované OLS (OLS, GLS - generalizované najmenšie štvorce) - LS metóda s váhovou maticou rovnajúcou sa inverznej kovariančnej matici náhodných chýb: W \u003d V ε - 1 (\\ displaystyle W \u003d V _ (\\ varepsilon) ^ (- 1)). Môže sa ukázať, že vzorec pre odhady OLS parametrov lineárneho modelu má tvar B ^ GLS \u003d (XTV - 1 X) - 1 XTV - 1 r (\\ displaystyle (\\ hat (b)) _ (GLS) \u003d (X ^ (T) V ^ (- 1) X) ^ (- 1) X ^ (T) V ^ (-1) y). Matrica kovariancie týchto odhadov bude preto rovnaká V (b ^ GLS) \u003d (XTV - 1 X) - 1 (\\ displaystyle V ((\\ hat (b)) _ (GLS)) \u003d (X ^ (T) V ^ (- 1) X) ^ (- 1)). V skutočnosti je podstatou OLS určitá (lineárna) transformácia (P) pôvodných údajov a použitie zvyčajného OLS na transformované údaje. Cieľom tejto transformácie je to, že v prípade transformovaných údajov náhodné chyby už spĺňajú klasické predpoklady. V prípade diagonálnej váhovej matice (a teda kovariančnej matice náhodných chýb) máme tzv. Vážené najmenšie štvorce (WLS). V tomto prípade je vážený súčet druhých mocnín zvyškov modelu minimalizovaný, to znamená, že každé pozorovanie dostane „váhu“ nepriamo úmernú rozptylu náhodnej chyby v tomto pozorovaní: e TW e \u003d ∑ t \u003d 1 net 2 σ t 2 (\\ displaystyle e ^ (T) We \u003d \\ sum _ (t \u003d 1) ^ (n) (\\ frac (e_ (t) ^ (2)) (\\ ... V skutočnosti sa údaje transformujú vážením pozorovaní (vydelením hodnotou úmernou odhadovanej štandardnej odchýlke náhodných chýb) a na vážené údaje sa použije štandardný OLS.ISBN 978-5-7749-0473-0. Ekonometrie. Učebnica / Ed. Eliseeva I.I. - 2. vydanie. - M .: Financie a štatistika, 2006. - 576 s. - ISBN 5-279-02786-3. Metóda najmenších štvorcov ( OLS, OLS, Obyčajné najmenšie štvorce - jedna zo základných metód regresnej analýzy na odhad neznámych parametrov regresných modelov na základe údajov zo vzorky. Metóda je založená na minimalizácii súčtu štvorcov regresných zvyškov.)
{!LANG-a119d7d4de9defff384d74a43f2a67c2!} Malo by sa poznamenať, že metóda najmenších štvorcov sa môže nazývať metóda riešenia problému v akejkoľvek oblasti, ak riešenie pozostáva alebo spĺňa určité kritérium na minimalizáciu súčtu druhých mocnín niektorých funkcií požadovaných premenných. Preto metóda najmenších štvorcov sa môže tiež použiť na približné znázornenie (priblíženie) danej funkcie inými (jednoduchšími) funkciami, keď sa nájde množina množstiev, ktoré spĺňajú rovnice alebo obmedzenia, ktorých počet presahuje počet týchto veličín atď. Nech je uvedený nejaký (parametrický) model pravdepodobnostnej (regresnej) závislosti medzi (vysvetlenou) premennou y a mnoho faktorov (vysvetľujúce premenné) x kde je vektor neznámych parametrov modelu Nech sú k dispozícii aj vzorové pozorovania hodnôt týchto premenných. Nech je to číslo pozorovania (). Potom sú hodnoty premenných v tomto pozorovaní. Potom pre dané hodnoty parametrov b je možné vypočítať teoretické (modelové) hodnoty vysvetlenej premennej y: Množstvo zvyškov závisí od hodnôt parametrov b. Podstatou OLS (obyčajné, klasické) je nájsť také parametre b, pre ktoré je súčet druhých mocnín zvyškov (eng. Zvyškový súčet štvorcov ) bude minimálne: Vo všeobecnosti možno tento problém vyriešiť pomocou metód numerickej optimalizácie (minimalizovania). V tomto prípade hovoria nelineárne najmenšie štvorce (NLS alebo NLLS - eng. Nelineárne najmenšie štvorce). V mnohých prípadoch je možné získať analytický roztok. Na vyriešenie problému minimalizácie je potrebné nájsť stacionárne body funkcie, odlíšiť ju od neznámych parametrov b, derivácie vyrovnať nule a vyriešiť výsledný systém rovníc: Ak náhodné chyby modelu majú normálne rozdelenie, majú rovnakú odchýlku a nie sú vo vzájomnom vzťahu, odhady parametrov OLS sa zhodujú s odhadmi metódy maximálnej pravdepodobnosti (MLM). Nech je regresná závislosť lineárna: Nech je y je stĺpcový vektor pozorovaní vysvetlenej premennej a je maticou pozorovaní faktorov (riadky matice sú vektormi hodnôt faktorov pri tomto pozorovaní, stĺpcami - vektorom hodnôt daného faktora pri všetkých pozorovaniach). Maticové znázornenie lineárneho modelu je: Potom bude vektor odhadov vysvetlenej premennej a vektor regresných zvyškov rovnaký v súlade s tým bude súčet druhých mocnín zvyškov regresie rovný Odlíšením tejto funkcie s ohľadom na vektor parametrov a deriváciou derivátov na nulu dostaneme systém rovníc (v maticovej forme): Riešenie tohto systému rovníc poskytuje všeobecný vzorec odhadov OLS pre lineárny model: Na analytické účely je užitočné znázornenie tohto vzorca. Ak sú v regresnom modeli údaje sústredený, potom v tejto reprezentácii má prvá matica význam vzorovej kovariančnej matice faktorov a druhá je vektor kovariancie faktorov so závislou premennou. Ak sú okrem toho aj údaje normalizovaná na SKO (to je nakoniec štandardizovaný), potom má prvá matica význam selektívnej korelačnej matice faktorov, druhým vektorom je vektor selektívnej korelácie faktorov so závislou premennou. Dôležitá vlastnosť odhadov OLS pre modely s konštantou - čiara vytvorenej regresie prechádza ťažiskom údajov vzorky, to znamená, že je splnená rovnosť: Najmä v extrémnom prípade, keď jediným regresorom je konštanta, zistíme, že odhad OLS jediného parametra (samotná konštanta) sa rovná strednej hodnote vysvetlenej premennej. To znamená, že aritmetický priemer, známy svojimi dobrými vlastnosťami zo zákonov veľkého počtu, je tiež odhadom OLS - spĺňa kritérium minimálneho súčtu štvorcov odchýlok od neho. V prípade párovej lineárnej regresie sú výpočtové vzorce zjednodušené (môžete to urobiť aj bez maticovej algebry): Najprv si všimneme, že pre lineárne modely sú odhady OLS lineárne odhady, ako to vyplýva z vyššie uvedeného vzorca. Pre nezaujatosť odhadov OLS je potrebné a dostatočné splniť najdôležitejšiu podmienku regresnej analýzy: matematické očakávanie náhodnej chyby podmienenej z hľadiska faktorov by sa malo rovnať nule. Táto podmienka je splnená najmä vtedy, ak: Druhá podmienka - podmienka exogénnych faktorov - je zásadná. Ak táto vlastnosť nie je splnená, potom môžeme predpokladať, že takmer všetky odhady budú extrémne neuspokojivé: nebudú ani konzistentné (to znamená, že ani veľké množstvo údajov neumožňuje získať kvalitatívne odhady v tomto prípade). V klasickom prípade sa dôraznejšie vychádza z determinizmu faktorov, na rozdiel od náhodnej chyby, ktorá automaticky znamená splnenie exogénnej podmienky. Vo všeobecnosti je z dôvodu konzistencie odhadov postačujúce splniť podmienky exogenity spolu s konvergenciou matrice k niektorej nedegenerovanej matici, keď sa veľkosť vzorky zvyšuje na nekonečno. Aby boli odhady (bežných) najmenších štvorcov efektívne (najlepšie v triede lineárnych nestranných odhadov), je potrebné, aby okrem dôslednosti a nestrannosti boli splnené aj ďalšie vlastnosti náhodnej chyby: Tieto predpoklady môžu byť formulované pre kovariančnú maticu vektora náhodných chýb Nazýva sa lineárny model, ktorý spĺňa tieto podmienky klasický... Odhady OLS pre klasickú lineárnu regresiu sú nestranné, konzistentné a najúčinnejšie odhady v triede všetkých lineárnych nestranných odhadov (v anglickej literatúre skratka) MODRÁ (Najlepší lineárny nevyvážený odhadca) je najlepší lineárny nestranný odhad; v domácej literatúre sa často cituje Gauss - Markovova veta). Je ľahké ukázať, že kovariančná matica vektora odhadov koeficientov bude rovná: Metóda najmenších štvorcov sa dá všeobecne zovšeobecniť. Namiesto minimalizovania súčtu druhých mocnín zvyškov je možné minimalizovať určitú pozitívnu určitú kvadratickú formu zvyškového vektora, kde je nejaká symetrická matica pozitívnej konečnej hmotnosti. Obyčajný OLS je zvláštnym prípadom tohto prístupu, keď matica hmotnosti je úmerná matici identity. Ako je známe z teórie symetrických matíc (alebo operátorov), takéto matrice sa rozkladajú. Preto môže byť táto funkčná skupina reprezentovaná nasledovne, to znamená, že táto funkčná skupina môže byť predstavovaná ako súčet druhých mocnín niektorých transformovaných "zvyškov". Takto môžeme rozlíšiť triedu metód najmenších štvorcov - metódy LS (najmenšie štvorce). Bolo dokázané (Aitkenova veta), že pre zovšeobecnený lineárny regresný model (v ktorom nie sú uvalené žiadne obmedzenia na kovariančnú maticu náhodných chýb), sú najúčinnejšie (v triede lineárnych nestranných odhadov) odhady tzv. generalizované OLS (OLS, GLS - generalizované najmenšie štvorce) - LS metóda s váhovou maticou rovnajúcou sa inverznej kovariančnej matici náhodných chýb :. Môže sa ukázať, že vzorec pre odhady OLS parametrov lineárneho modelu má tvar Matrica kovariancie týchto odhadov bude preto rovnaká V skutočnosti je podstatou OLS určitá (lineárna) transformácia (P) pôvodných údajov a použitie zvyčajného OLS na transformované údaje. Cieľom tejto transformácie je to, že v prípade transformovaných údajov náhodné chyby už spĺňajú klasické predpoklady. V prípade diagonálnej váhovej matice (a teda kovariančnej matice náhodných chýb) máme tzv. Vážené najmenšie štvorce (WLS). V tomto prípade je vážený súčet druhých mocnín zvyškov modelu minimalizovaný, to znamená, že každé pozorovanie dostane „váhu“ nepriamo úmernú rozptylu náhodnej chyby v tomto pozorovaní :. V skutočnosti sa údaje transformujú vážením pozorovaní (vydelením hodnotou úmernou odhadovanej štandardnej odchýlke náhodných chýb) a na vážené údaje sa použije štandardný OLS. Pozrime sa na prípad, keď v dôsledku skúmania závislosti určitej skalárnej veličiny od určitej skalárnej veličiny (môže to byť napríklad závislosť napätia od intenzity prúdu :, kde je konštantná hodnota, odpor vodiča), boli vykonané merania týchto veličín, v dôsledku ktorých boli hodnoty a ich zodpovedajúce hodnoty. Údaje o meraniach by sa mali zaznamenať do tabuľky. Tabuľka. Výsledky merania. Otázka znie: akú hodnotu koeficientu je možné zvoliť tak, aby čo najlepšie charakterizovala vzťah? Podľa LSM by táto hodnota mala byť taká, aby súčet druhých mocnín odchýlok množstiev od množstiev bola minimálna Súčet druhých odchýlok má jeden extrém - minimum, čo nám umožňuje použiť tento vzorec. Nájdeme hodnotu koeficientu z tohto vzorca. Za týmto účelom transformujte ľavú stranu takto: Posledný vzorec nám umožňuje nájsť hodnotu koeficientu, ktorý sa vyžadoval pri probléme. Do začiatku 19. storočia. vedci nemali jasné pravidlá na riešenie systému rovníc, v ktorých je počet neznámych menší ako počet rovníc; Dovtedy sa používali konkrétne metódy v závislosti od typu rovníc a podľa počtu kalkulačiek, a preto rôzne kalkulačky založené na rovnakých pozorovacích údajoch dospeli k rôznym záverom. Gauss (1795) bol autorom prvej aplikácie metódy a Legendre (1805) ho nezávisle objavil a publikoval pod moderným názvom (fr. Méthode des moindres quarrés
). Laplace túto metódu spojil s teóriou pravdepodobnosti a americký matematik Edrain (1808) zvažoval jej pravdepodobnostné aplikácie. Táto metóda bola rozšírená a vylepšená ďalším výskumom Enckeho, Bessela, Hansena a ďalších. Myšlienku metódy najmenších štvorcov je možné použiť aj v iných prípadoch, ktoré priamo nesúvisia s regresnou analýzou. Ide o to, že súčet druhých mocnín je jedným z najbežnejších meračov blízkosti vektorov (euklidovská metrika v konečných rozmeroch). Jednou z aplikácií je „riešenie“ systémov lineárnych rovníc, v ktorých je počet rovníc väčší ako počet premenných kde matica nie je štvorcová, ale pravouhlá. Takýto systém rovníc vo všeobecnosti nemá riešenie (ak je poradie skutočne väčšie ako počet premenných). Preto môže byť tento systém „vyriešený“ iba v zmysle výberu takého vektora, aby sa minimalizovala „vzdialenosť“ medzi vektormi a. Na tento účel môžete použiť kritérium na minimalizáciu súčtu štvorcov rozdielov medzi ľavou a pravou stranou rovníc systému, to znamená. Je ľahké ukázať, že riešenie tohto problému minimalizácie vedie k riešeniu nasledujúceho systému rovníc Najmenšie štvorce sú matematické postupy na zostavenie lineárnej rovnice, ktorá najlepšie zodpovedá množine usporiadaných párov nájdením hodnôt pre a a b, koeficientov v rovnici priamky. Cieľom metódy najmenších štvorcov je minimalizovať celkovú chybu štvorcovú medzi hodnotami y a ŷ. Ak pre každý bod určíme chybu ŷ, metóda najmenších štvorcov sa minimalizuje: kde n \u003d počet objednaných párov okolo čiary. čo najbližšie k údajom. Tento koncept je znázornený na obrázku. Podľa obrázku, čiara, ktorá sa najviac zhoduje s údajmi, regresná čiara, minimalizuje celkovú štvorcovú chybu štyroch bodov v grafe. V nasledujúcom príklade vám ukážem, ako to zistiť pomocou metódy najmenších štvorcov. Predstavte si mladý pár, ktorý nedávno žil spolu a zdieľal toaletný stolík. Mladý muž si začal všímať, že polovica jeho stola sa neúprosne zmenšuje a stráca pôdu na vlasové peny a sójové komplexy. Počas posledných niekoľkých mesiacov chlap pozorne sledoval rýchlosť, akou sa zvyšuje počet položiek na jej stole. V tabuľke nižšie je uvedený počet položiek, ktoré dievča nahromadilo na toaletnom stole za posledných niekoľko mesiacov. Keďže naším cieľom je zistiť, či sa v priebehu času zvyšuje počet položiek, nezávislá premenná bude „mesiac“ a závislé bude „počet položiek“. Pomocou metódy najmenších štvorcov stanovte rovnicu, ktorá najlepšie vyhovuje údajom, vypočítaním hodnôt pre a, os y ab, sklon priamky: a \u003d y av - bx av kde x av je priemerná hodnota x, nezávislá premenná, y av je priemerná hodnota y, nezávislá premenná. V nasledujúcej tabuľke sú zhrnuté výpočty požadované pre tieto rovnice. Krivka účinku pre náš príklad vane bude určená nasledujúcou rovnicou: Pretože naša rovnica má pozitívny sklon 0,976, chlap má dôkaz, že počet položiek na stole sa v priebehu času zvyšuje priemernou rýchlosťou 1 položka za mesiac. Graf ukazuje krivku účinku s usporiadanými pármi. Očakávanie počtu položiek na nasledujúcich šesť mesiacov (16 mesiacov) sa vypočíta takto: ŷ \u003d 5,13 + 0,976x \u003d 5,13 + 0,976 (16) ~ 20,7 \u003d 21 položiek Je preto načase, aby náš hrdina podnikol nejaké kroky. Ako ste už pravdepodobne uhádli, Excel má funkciu na výpočet hodnoty metóda najmenších štvorcov.Táto funkcia sa nazýva TREND. Jeho syntax je takáto: TREND (známe hodnoty Y; známe hodnoty X; nové hodnoty X; konšt.) známe hodnoty Y - pole závislých premenných, v našom prípade počet položiek v tabuľke známe hodnoty X - pole nezávislých premenných, v našom prípade je to mesiac nové hodnoty X - nové hodnoty X (mesiac), pre ktoré funkcia TREND vracia očakávanú hodnotu závislých premenných (počet položiek) const je voliteľný. Booleovská hodnota, ktorá udáva, či sa má konštanta b rovnať 0. Na obrázku je napríklad znázornená funkcia TREND, ktorá sa používa na určenie očakávaného počtu položiek na toaletnom stole pre 16. mesiac.
Encyklopedická služba YouTube
titulky
histórie
Podstata metódy najmenších štvorcov
Príklad - systém lineárnych rovníc
OLS v regresnej analýze (prispôsobenie údajov)
OLS pre lineárnu regresiu
Najjednoduchšie špeciálne prípady
Prípad polynomického modelu
Štatistické vlastnosti odhadov OLS
Vážené OLS
Podstata OLS
OLS v prípade lineárneho modelu
Príklad: Najjednoduchšia (párová) regresia
Vlastnosti odhadov OLS
Zovšeobecnené OLS
Vážené OLS
Niektoré špeciálne prípady použitia OLS v praxi
Aproximácia lineárnej závislosti
Číslo merania
1
2
3
4
5
6
histórie
Alternatívne použitie OLS
Funkcia TREND v Exceli
