Matek Barnával
Ingyenes tananyagok

Valószínűségszámítás

Korreláció és lineáris regresszió

Két mennyiség kapcsolatának mérése és leírása: kovariancia, korrelációs együttható, a legkisebb négyzetek egyenese — és hogy mit nem szabad belőlük kiolvasni.

17 perc olvasás

1. Kovariancia

Eddig egyetlen valószínűségi változót vizsgáltunk. Most kettő van, és az a kérdés, hogy együtt mozognak-e: ha az egyik a várható értéke fölött van, a másik is inkább fölötte szokott lenni? A kovariancia pontosan ezt méri. Ebben a leckében egy hárompontos példát viszek végig az összes képleten, hogy lásd, mindegyik ugyanabból a néhány eltérésből áll össze; a végén egy ötpontos, „igazi” feladat is jön.

Kovariancia

cov⁡(X,Y)=E[(X−E(X))(Y−E(Y))]=E(XY)−E(X)E(Y)\operatorname{cov}(X,Y)=E\bigl[(X-E(X))(Y-E(Y))\bigr]=E(XY)-E(X)E(Y)

Egy egyszerű példa: három pont

Három mérés: x=1,2,3x=1,2,3 és y=2,3,7y=2,3,7, mindegyik pár egyformán valószínű. Az átlagok x‾=2\overline{x}=2, y‾=4\overline{y}=4. Az eltérések −1,0,1-1,0,1 és −2,−1,3-2,-1,3, a szorzataik 2, 0, 32,\,0,\,3, az átlaguk 53\frac53: ez a kovariancia. Pozitív, mert amikor az xx az átlaga alatt van, az yy is, és fordítva. Ezt a három pontot visszük végig a lecke minden képletén.

A jobb oldali alak a számoláshoz kényelmesebb — ez a Steiner-formula kétváltozós megfelelője. Az előjele hordozza az információt:

  • Pozitív: a két változó jellemzően együtt tér el ugyanabba az irányba az átlagától.
  • Negatív: ha az egyik nagy, a másik jellemzően kicsi.
  • Nulla: nincs lineáris együttmozgás — de ez nem jelenti azt, hogy nincs kapcsolat.

Fontos irány: ha XX és YY független, akkor E(XY)=E(X)E(Y)E(XY)=E(X)E(Y), tehát a kovariancia nulla. Fordítva viszont nem igaz — erre a szakasz végén látunk ellenpéldát. A kovariancia teszi teljessé az összeg szórásnégyzetére vonatkozó képletet is:

D2(X+Y)=D2(X)+D2(Y)+2cov⁡(X,Y)D^{2}(X+Y)=D^{2}(X)+D^{2}(Y)+2\operatorname{cov}(X,Y)

Elakadtál ennél a résznél?

Egy órán megnézzük, pontosan hol csúszik el, és addig gyakoroljuk, amíg magabiztos nem leszel benne.

Egyéni óra foglalásavagy 15 perc ingyenes konzultáció

2. A korrelációs együttható

A kovariancia baja, hogy mértékegysége van, és a nagysága a változók léptékétől függ — méterről milliméterre váltva ezerszereződik. Ezt küszöböli ki a szórásokkal való osztás:

Korrelációs együttható

r=cov⁡(X,Y)D(X) D(Y),−1≤r≤1r=\frac{\operatorname{cov}(X,Y)}{D(X)\,D(Y)},\qquad -1\le r\le 1

Az rr mértékegység nélküli szám, és mindig a [−1,1][-1,1] intervallumba esik. A szélső értékeket pontosan akkor veszi fel, ha a két változó között determinisztikus lineáris kapcsolat van (Y=aX+bY=aX+b), az előjel pedig az aa előjele.

Mintából a tapasztalati megfelelőjét számoljuk. Vezessük be a szokásos rövidítéseket:

Sxx=∑(xi−x‾)2,Syy=∑(yi−y‾)2,Sxy=∑(xi−x‾)(yi−y‾)S_{xx}=\sum(x_{i}-\overline{x})^{2},\qquad S_{yy}=\sum(y_{i}-\overline{y})^{2},\qquad S_{xy}=\sum(x_{i}-\overline{x})(y_{i}-\overline{y})

Tapasztalati korrelációs együttható

r=SxySxx Syyr=\frac{S_{xy}}{\sqrt{S_{xx}\,S_{yy}}}

Egy egyszerű példa: a három pont korrelációja

Az eltérésekből: Sxx=1+0+1=2S_{xx}=1+0+1=2, Syy=4+1+9=14S_{yy}=4+1+9=14, Sxy=2+0+3=5S_{xy}=2+0+3=5. Tehát r=52⋅14=528≈0,94r=\frac{5}{\sqrt{2\cdot14}}=\frac{5}{\sqrt{28}}\approx0{,}94: erős pozitív kapcsolat, de nem tökéletes, mert a három pont nem esik egy egyenesre. Ha az yy értékek 2,4,62,4,6 lettek volna, pontosan az y=2xy=2x egyenesen ülnének, és r=1r=1 jönne ki.

|r| értékeSzokásos értelmezés
0,0 – 0,3gyenge vagy nincs lineáris kapcsolat
0,3 – 0,7közepes erősségű lineáris kapcsolat
0,7 – 1,0erős lineáris kapcsolat

Az r csak a lineáris kapcsolatot méri

Vegyük az x=−2,−1,0,1,2x=-2,-1,0,1,2 pontokat és az y=x2y=x^{2} értékeket. A kapcsolat tökéletesen determinisztikus, mégis Sxy=0S_{xy}=0, tehát r=0r=0. A nulla korreláció tehát nem a kapcsolat hiányát jelenti, csak azt, hogy egyenessel nem írható le. Ezért kell mindig ábrát is nézni, nem csak együtthatót.

3. Lineáris regresszió: a legkisebb négyzetek módszere

A korreláció megméri a kapcsolat erősségét; a regresszió leírja: melyik az az egyenes, amelyik a legjobban illeszkedik a pontokra. A „legjobb” azt jelenti, hogy a függőleges eltérések négyzetösszege a lehető legkisebb:

A minimalizálandó mennyiség

Q(b0,b1)=∑i=1n(yi−b0−b1xi)2 ⟶ min⁡Q(b_{0},b_{1})=\sum_{i=1}^{n}\bigl(y_{i}-b_{0}-b_{1}x_{i}\bigr)^{2}\ \longrightarrow\ \min

A két parciális derivált nullázása egy kétismeretlenes lineáris egyenletrendszerre vezet, aminek a megoldása:

A regressziós egyenes együtthatói

b1=SxySxx=r sysx,b0=y‾−b1x‾b_{1}=\frac{S_{xy}}{S_{xx}}=r\,\frac{s_{y}}{s_{x}},\qquad b_{0}=\overline{y}-b_{1}\overline{x}

Egy egyszerű példa: egyenes a három pontra

b1=SxySxx=52=2,5b_1=\frac{S_{xy}}{S_{xx}}=\frac52=2{,}5 és b0=y‾−b1x‾=4−2,5⋅2=−1b_0=\overline{y}-b_1\overline{x}=4-2{,}5\cdot2=-1, tehát az egyenes y^=2,5x−1\hat y=2{,}5x-1. Az x=1,2,3x=1,2,3 helyeken 1,5; 4; 6,51{,}5;\ 4;\ 6{,}5-öt ad a mért 2; 3; 72;\ 3;\ 7 helyett: a hibák 0,5; −1; 0,50{,}5;\ -1;\ 0{,}5, az összegük nulla, ahogy a legkisebb négyzetes egyenesnél mindig. És átmegy a (2;4)(2;4) ponton, ahogy kell.

A második képlet azt is megmutatja, hogy az egyenes mindig átmegy a (x‾,y‾)(\overline{x},\overline{y}) ponton — ez jó ellenőrzés. Az együtthatók jelentése:

  • A meredekség (b1b_{1}) azt mondja meg, hogy xx egységnyi növekedésére átlagosan mennyivel változik yy. Ennek mértékegysége van: [y]/[x][y]/[x].
  • A tengelymetszet (b0b_{0}) az x=0x=0-hoz tartozó becsült érték. Ennek csak akkor van értelme, ha a nulla egyáltalán beleesik a mért tartományba — különben csak illesztési paraméter.

Az illeszkedés jóságát a determinációs együttható méri: az yy ingadozásának hányad részét magyarázza meg a modell.

Determinációs együttható

R2=r2=magyaraˊzott neˊgyzeto¨sszegteljes neˊgyzeto¨sszegR^{2}=r^{2}=\frac{\text{magyarázott négyzetösszeg}}{\text{teljes négyzetösszeg}}

A három pontnál R2=2528≈0,89R^2=\frac{25}{28}\approx0{,}89: az yy ingadozásának 89%-át „magyarázza” az xx-től való lineáris függés, a maradék 11% az egyenes körüli szórás. Ha a pontok egy egyenesen ülnének, R2=1R^2=1 lenne; ha semmi közük nem lenne egymáshoz, 0.

4. Kidolgozott példa

Öt mérési pont, teljes számolás

Egy kísérletben az xx beállításhoz a következő yy értékeket mértük. Számold ki a korrelációs együtthatót, a regressziós egyenest és a determinációs együtthatót.

xyx − x̄y − ȳ(x−x̄)(y−ȳ)(x−x̄)²(y−ȳ)²
12-2-2,204,4044,84
24-1-0,200,2010,04
3500,80000,64
441-0,20-0,2010,04
5621,803,6043,24
  1. Az átlagok:
    x‾=1+2+3+4+55=3,y‾=2+4+5+4+65=4,2\overline{x}=\frac{1+2+3+4+5}{5}=3,\qquad \overline{y}=\frac{2+4+5+4+6}{5}=4{,}2
  2. A táblázat utolsó három oszlopának összege:
    Sxy=8,0,Sxx=10,0,Syy=8,8S_{xy}=8{,}0,\qquad S_{xx}=10{,}0,\qquad S_{yy}=8{,}8
  3. A korrelációs együttható:
    r=8,010,0⋅8,8=8,088=8,09,381≈0,853r=\frac{8{,}0}{\sqrt{10{,}0\cdot 8{,}8}}=\frac{8{,}0}{\sqrt{88}}=\frac{8{,}0}{9{,}381}\approx 0{,}853
    Erős, pozitív lineáris kapcsolat.
  4. A regressziós egyenes:
    b1=SxySxx=8,010,0=0,8,b0=4,2−0,8⋅3=1,8b_{1}=\frac{S_{xy}}{S_{xx}}=\frac{8{,}0}{10{,}0}=0{,}8,\qquad b_{0}=4{,}2-0{,}8\cdot 3=1{,}8
    y^=1,8+0,8x\hat{y}=1{,}8+0{,}8x
    Ellenőrzés: az x=3x=3 helyen y^=4,2=y‾\hat{y}=4{,}2=\overline{y}, tehát az egyenes tényleg átmegy a súlyponton.
  5. A determinációs együttható:
    R2=r2=6488≈0,727R^{2}=r^{2}=\frac{64}{88}\approx 0{,}727
    Vagyis a modell az yy ingadozásának körülbelül 73%73\%-át magyarázza meg; a maradék 27% más hatásokból és mérési zajból származik.
  6. Használat: az x=3,5x=3{,}5 beállításhoz a becsült érték 1,8+0,8⋅3,5=4,61{,}8+0{,}8\cdot 3{,}5=4{,}6. Az x=20x=20-hoz tartozó 17,817{,}8-at viszont már nem szabad komolyan venni: a mért tartományon kívül nincs okunk feltételezni, hogy a kapcsolat továbbra is lineáris.

5. A módszer korlátai

A korrelációs együttható és a regressziós egyenes két szám, amit bármilyen adathalmazra ki lehet számolni — attól még nem biztos, hogy értelmesek. Öt dolgot érdemes mindig ellenőrizni.

  • A korreláció nem okság. Az együttmozgás mögött állhat fordított irányú hatás, vagy egy harmadik, mindkettőt befolyásoló változó. A fagylaltfogyasztás és a vízi balesetek száma erősen korrelál — a közös ok a meleg idő.
  • Csak lineáris kapcsolatot lát. Erős, de görbült összefüggésnél az rr alacsony lehet. Mindig nézd meg a pontdiagramot.
  • Érzékeny a kiugró értékekre. Egyetlen távoli pont a meredekséget és az rr-et is jelentősen elmozdíthatja, mert a négyzetes hiba a nagy eltéréseket aránytalanul bünteti.
  • Az extrapoláció veszélyes. A modell csak arra a tartományra érvényes, ahonnan az adatok származnak.
  • Az R2R^{2} nem a modell helyességét méri. Magas érték rossz modell mellett is előfordulhat, és fordítva: zajos, de helyes modellnél lehet alacsony.

Az Anscombe-kvartett

Frank Anscombe négy adathalmazt állított össze, amelyeknek majdnem azonos az átlaguk, a szórásuk, a korrelációs együtthatójuk (r≈0,816r\approx 0{,}816) és a regressziós egyenesük — a pontdiagramjuk viszont teljesen különböző: az egyik szép lineáris, a másik görbült, a harmadikat egy kiugró érték torzítja, a negyediknél az összes pont egyetlen xx értéknél van, egy kivétellel. A tanulság szó szerint az, hogy az összefoglaló számok mellé ábra is kell.

Elakadtál menet közben?

Egy tananyag megmutatja, hogyan működik a dolog. Azt viszont, hogy pontosan hol csúszik el nálad, egy óra alatt derítjük ki. Foglalj egy alkalmat, vagy beszéljük meg egy ingyenes konzultáción, mire van szükséged.

Egyéni óra foglalásaIngyenes konzultáció