Valószínűségszámítás

Korreláció és lineáris regresszió

Két mennyiség kapcsolatának mérése és leírása: kovariancia, korrelációs együttható, a legkisebb négyzetek egyenese — és hogy mit nem szabad belőlük kiolvasni.

17 perc olvasás

1. Kovariancia

Eddig egyetlen valószínűségi változót vizsgáltunk. Most kettő van, és az a kérdés, hogy együtt mozognak-e: ha az egyik a várható értéke fölött van, a másik is inkább fölötte szokott lenni? A kovariancia pontosan ezt méri.

Kovariancia

\operatorname{cov}(X,Y)=E\bigl[(X-E(X))(Y-E(Y))\bigr]=E(XY)-E(X)E(Y)

A jobb oldali alak a számoláshoz kényelmesebb — ez a Steiner-formula kétváltozós megfelelője. Az előjele hordozza az információt:

Pozitív: a két változó jellemzően együtt tér el ugyanabba az irányba az átlagától.
Negatív: ha az egyik nagy, a másik jellemzően kicsi.
Nulla: nincs lineáris együttmozgás — de ez nem jelenti azt, hogy nincs kapcsolat.

Fontos irány: ha $X$ és $Y$ független, akkor $E(XY)=E(X)E(Y)$ , tehát a kovariancia nulla. Fordítva viszont nem igaz — erre a szakasz végén látunk ellenpéldát. A kovariancia teszi teljessé az összeg szórásnégyzetére vonatkozó képletet is:

D^{2}(X+Y)=D^{2}(X)+D^{2}(Y)+2\operatorname{cov}(X,Y)

2. A korrelációs együttható

A kovariancia baja, hogy mértékegysége van, és a nagysága a változók léptékétől függ — méterről milliméterre váltva ezerszereződik. Ezt küszöböli ki a szórásokkal való osztás:

Korrelációs együttható

r=\frac{\operatorname{cov}(X,Y)}{D(X)\,D(Y)},\qquad -1\le r\le 1

Az $r$ mértékegység nélküli szám, és mindig a $[-1,1]$ intervallumba esik. A szélső értékeket pontosan akkor veszi fel, ha a két változó között determinisztikus lineáris kapcsolat van ( $Y=aX+b$ ), az előjel pedig az $a$ előjele.

Mintából a tapasztalati megfelelőjét számoljuk. Vezessük be a szokásos rövidítéseket:

S_{xx}=\sum(x_{i}-\overline{x})^{2},\qquad S_{yy}=\sum(y_{i}-\overline{y})^{2},\qquad S_{xy}=\sum(x_{i}-\overline{x})(y_{i}-\overline{y})

Tapasztalati korrelációs együttható

r=\frac{S_{xy}}{\sqrt{S_{xx}\,S_{yy}}}

\|r\| értéke	Szokásos értelmezés
0,0 – 0,3	gyenge vagy nincs lineáris kapcsolat
0,3 – 0,7	közepes erősségű lineáris kapcsolat
0,7 – 1,0	erős lineáris kapcsolat

Az r csak a lineáris kapcsolatot méri

Vegyük az $x=-2,-1,0,1,2$ pontokat és az $y=x^{2}$ értékeket. A kapcsolat tökéletesen determinisztikus, mégis $S_{xy}=0$ , tehát $r=0$ . A nulla korreláció tehát nem a kapcsolat hiányát jelenti, csak azt, hogy egyenessel nem írható le. Ezért kell mindig ábrát is nézni, nem csak együtthatót.

3. Lineáris regresszió: a legkisebb négyzetek módszere

A korreláció megméri a kapcsolat erősségét; a regresszió leírja: melyik az az egyenes, amelyik a legjobban illeszkedik a pontokra. A „legjobb” azt jelenti, hogy a függőleges eltérések négyzetösszege a lehető legkisebb:

A minimalizálandó mennyiség

Q(b_{0},b_{1})=\sum_{i=1}^{n}\bigl(y_{i}-b_{0}-b_{1}x_{i}\bigr)^{2}\ \longrightarrow\ \min

A két parciális derivált nullázása egy kétismeretlenes lineáris egyenletrendszerre vezet, aminek a megoldása:

A regressziós egyenes együtthatói

b_{1}=\frac{S_{xy}}{S_{xx}}=r\,\frac{s_{y}}{s_{x}},\qquad b_{0}=\overline{y}-b_{1}\overline{x}

A második képlet azt is megmutatja, hogy az egyenes mindig átmegy a $(\overline{x},\overline{y})$ ponton — ez jó ellenőrzés. Az együtthatók jelentése:

A meredekség ( $b_{1}$ ) azt mondja meg, hogy $x$ egységnyi növekedésére átlagosan mennyivel változik $y$ . Ennek mértékegysége van: $[y]/[x]$ .
A tengelymetszet ( $b_{0}$ ) az $x=0$ -hoz tartozó becsült érték. Ennek csak akkor van értelme, ha a nulla egyáltalán beleesik a mért tartományba — különben csak illesztési paraméter.

Az illeszkedés jóságát a determinációs együttható méri: az $y$ ingadozásának hányad részét magyarázza meg a modell.

Determinációs együttható

R^{2}=r^{2}=\frac{\text{magyarázott négyzetösszeg}}{\text{teljes négyzetösszeg}}

4. Kidolgozott példa

Öt mérési pont, teljes számolás

Egy kísérletben az $x$ beállításhoz a következő $y$ értékeket mértük. Számold ki a korrelációs együtthatót, a regressziós egyenest és a determinációs együtthatót.

x	y	x − x̄	y − ȳ	(x−x̄)(y−ȳ)	(x−x̄)²	(y−ȳ)²
1	2	-2	-2,20	4,40	4	4,84
2	4	-1	-0,20	0,20	1	0,04
3	5	0	0,80	0	0	0,64
4	4	1	-0,20	-0,20	1	0,04
5	6	2	1,80	3,60	4	3,24

Az átlagok:
$\overline{x}=\frac{1+2+3+4+5}{5}=3,\qquad \overline{y}=\frac{2+4+5+4+6}{5}=4{,}2$
A táblázat utolsó három oszlopának összege:
$S_{xy}=8{,}0,\qquad S_{xx}=10{,}0,\qquad S_{yy}=8{,}8$
A korrelációs együttható:
$r=\frac{8{,}0}{\sqrt{10{,}0\cdot 8{,}8}}=\frac{8{,}0}{\sqrt{88}}=\frac{8{,}0}{9{,}381}\approx 0{,}853$
Erős, pozitív lineáris kapcsolat.
A regressziós egyenes:
$b_{1}=\frac{S_{xy}}{S_{xx}}=\frac{8{,}0}{10{,}0}=0{,}8,\qquad b_{0}=4{,}2-0{,}8\cdot 3=1{,}8$
$\hat{y}=1{,}8+0{,}8x$
Ellenőrzés: az $x=3$ helyen $\hat{y}=4{,}2=\overline{y}$ , tehát az egyenes tényleg átmegy a súlyponton.
A determinációs együttható:
$R^{2}=r^{2}=\frac{64}{88}\approx 0{,}727$
Vagyis a modell az $y$ ingadozásának körülbelül $73\%$ -át magyarázza meg; a maradék 27% más hatásokból és mérési zajból származik.
Használat: az $x=3{,}5$ beállításhoz a becsült érték $1{,}8+0{,}8\cdot 3{,}5=4{,}6$ . Az $x=20$ -hoz tartozó $17{,}8$ -at viszont már nem szabad komolyan venni: a mért tartományon kívül nincs okunk feltételezni, hogy a kapcsolat továbbra is lineáris.

5. A módszer korlátai

A korrelációs együttható és a regressziós egyenes két szám, amit bármilyen adathalmazra ki lehet számolni — attól még nem biztos, hogy értelmesek. Öt dolgot érdemes mindig ellenőrizni.

A korreláció nem okság. Az együttmozgás mögött állhat fordított irányú hatás, vagy egy harmadik, mindkettőt befolyásoló változó. A fagylaltfogyasztás és a vízi balesetek száma erősen korrelál — a közös ok a meleg idő.
Csak lineáris kapcsolatot lát. Erős, de görbült összefüggésnél az $r$ alacsony lehet. Mindig nézd meg a pontdiagramot.
Érzékeny a kiugró értékekre. Egyetlen távoli pont a meredekséget és az $r$ -et is jelentősen elmozdíthatja, mert a négyzetes hiba a nagy eltéréseket aránytalanul bünteti.
Az extrapoláció veszélyes. A modell csak arra a tartományra érvényes, ahonnan az adatok származnak.
Az $R^{2}$ nem a modell helyességét méri. Magas érték rossz modell mellett is előfordulhat, és fordítva: zajos, de helyes modellnél lehet alacsony.

Az Anscombe-kvartett

Frank Anscombe négy adathalmazt állított össze, amelyeknek majdnem azonos az átlaguk, a szórásuk, a korrelációs együtthatójuk ( $r\approx 0{,}816$ ) és a regressziós egyenesük — a pontdiagramjuk viszont teljesen különböző: az egyik szép lineáris, a másik görbült, a harmadikat egy kiugró érték torzítja, a negyediknél az összes pont egyetlen $x$ értéknél van, egy kivétellel. A tanulság szó szerint az, hogy az összefoglaló számok mellé ábra is kell.

Elakadtál menet közben?

Egy tananyag megmutatja, hogyan működik a dolog. Azt viszont, hogy pontosan hol csúszik el nálad, egy óra alatt derítjük ki. Foglalj egy alkalmat, vagy beszéljük meg egy ingyenes konzultáción, mire van szükséged.

Egyéni óra foglalása Ingyenes konzultáció