A statisztika alapfogalmai és a becslések

1. Minta és statisztika

Eddig fordítva haladtunk: ismertük az eloszlást, és abból számoltunk valószínűségeket. A statisztika a másik irány — adott néhány megfigyelés, és ebből akarunk következtetni az ismeretlen eloszlásra vagy annak egy paraméterére. Ebben a leckében egy négyelemű mintát viszek végig a képleteken, mert a statisztika fogalmai csak akkor ülnek le, ha egyszer kézzel is kiszámoltad őket.

A minta $n$ darab független, a sokasággal azonos eloszlású valószínűségi változó: $X_{1},\dots,X_{n}$ . A mérés után ezek konkrét számok — $x_{1},\dots,x_{n}$ —, de a becslések tulajdonságait mindig a valószínűségi változó alakjukban vizsgáljuk.Statisztikának nevezünk minden olyan mennyiséget, amit kizárólag a mintából számolunk ki.

Mintaátlag és korrigált tapasztalati szórásnégyzet

\overline{X}=\frac{1}{n}\sum_{i=1}^{n}X_{i},\qquad s^{2}=\frac{1}{n-1}\sum_{i=1}^{n}\bigl(X_{i}-\overline{X}\bigr)^{2}

A szórásnégyzetnél a nevezőben $n-1$ áll, nem $n$ . Ennek pontos oka a következő szakaszban derül ki; a kézzel számoláshoz pedig érdemes a Steiner-alakot használni:

\sum_{i=1}^{n}\bigl(x_{i}-\overline{x}\bigr)^{2}=\sum_{i=1}^{n}x_{i}^{2}-n\overline{x}^{2}

Egy egyszerű példa: négy mérés

A minta $2,\ 4,\ 4,\ 6$ . Az átlag $\overline{x}=\frac{16}{4}=4$ . Az eltérések $-2,\ 0,\ 0,\ 2$ , a négyzetösszegük 8, tehát $s^2=\frac{8}{4-1}\approx2{,}67$ és $s\approx1{,}63$ . Steinerrel ugyanez: $\sum x_i^2=4+16+16+36=72$ , és $72-4\cdot16=8$ . Ha $n$ -nel osztanánk, 2-t kapnánk: kis mintánál a különbség tényleg számít.

Elakadtál ennél a résznél?

Egy órán megnézzük, pontosan hol csúszik el, és addig gyakoroljuk, amíg magabiztos nem leszel benne.

Egyéni óra foglalása vagy 15 perc ingyenes konzultáció

2. Mitől jó egy becslés

Egy $\theta$ paraméter becslése egy $\hat{\theta}$ statisztika. A becslés maga is valószínűségi változó: más mintából más értéket ad. Három tulajdonságot szoktunk megkövetelni tőle.

Torzítatlan, ha $E(\hat{\theta})=\theta$ — átlagosan eltalálja a valódi értéket, nincs rendszeres eltérés.
Konzisztens, ha a mintanagyság növelésével a valódi értékhez tart. A mintaátlag ilyen: ezt mondja ki a nagy számok törvénye.
Hatásos, ha a torzítatlan becslések közül az övé a legkisebb szórásnégyzetű — vagyis a legkevésbé ingadozik.

A mintaátlag mindhárom feltételnek megfelel a várható érték becslésére:

E(\overline{X})=m,\qquad D^{2}(\overline{X})=\frac{\sigma^{2}}{n}

Ezért van n−1 a nevezőben

Ha az $n$ -nel osztott tapasztalati szórásnégyzetet használnánk, az torzított lenne:

E\!\left[\frac{1}{n}\sum_{i=1}^{n}\bigl(X_{i}-\overline{X}\bigr)^{2}\right]=\frac{n-1}{n}\,\sigma^{2}<\sigma^{2}

Az ok szemléletes: az eltéréseket nem az ismeretlen $m$ -től, hanem a mintából számolt $\overline{X}$ -tól mérjük, márpedig a négyzetösszeg épp a mintaátlag körül a legkisebb. Ezért lesz a becslés rendszeresen túl kicsi, és ezért kell $n-1$ -gyel osztani. Nagy $n$ -nél a különbség elhanyagolható, kis mintánál viszont nem.

3. A maximum likelihood becslés

A leggyakrabban használt pontbecslési módszer gondolata: válasszuk azt a paraméterértéket, amely mellett a ténylegesen megfigyelt minta a legvalószínűbb. A minta valószínűsége (illetve sűrűsége) a paraméter függvényeként a likelihood-függvény:

Likelihood-függvény

L(\theta)=\prod_{i=1}^{n}f(x_{i};\theta)

Egy egyszerű példa: a gondolat három érmén

Három dobásból két fej lett; mennyi a fej valószínűsége? Ha $p=0{,}5$ , a látott minta (FFI valamilyen sorrendben) esélye $p^2(1-p)=0{,}125$ . Ha $p=0{,}7$ , ugyanez $0{,}49\cdot0{,}3=0{,}147$ , nagyobb. Ha $p=0{,}9$ : $0{,}81\cdot0{,}1=0{,}081$ , kisebb. A likelihood tehát valahol 0,7 körül a legnagyobb; a pontos maximum, ahogy mindjárt kiderül, a $\frac23$ . Ennyi a módszer: azt a paramétert választjuk, ami mellett a megfigyelt adatok a legkevésbé meglepők.

Szorzatot deriválni kényelmetlen, ezért a logaritmusát maximalizáljuk — a logaritmus szigorúan monoton, tehát a maximum helye ugyanaz:

\ell(\theta)=\ln L(\theta)=\sum_{i=1}^{n}\ln f(x_{i};\theta),\qquad \frac{d\ell}{d\theta}=0

Két levezetés, amit érdemes fejből tudni, mert a vizsgán ezek szoktak előkerülni.

Bernoulli-minta. Ha $n$ kísérletből $k$ volt sikeres:
$L(p)=p^{k}(1-p)^{n-k},\qquad \ell(p)=k\ln p+(n-k)\ln(1-p)$
$\ell'(p)=\frac{k}{p}-\frac{n-k}{1-p}=0\ \Longrightarrow\ \hat{p}=\frac{k}{n}$
Vagyis a relatív gyakoriság — a módszer visszaadja azt, amit józan ésszel is választanánk.
Exponenciális minta. $f(x;\lambda)=\lambda e^{-\lambda x}$ mellett:
$\ell(\lambda)=n\ln\lambda-\lambda\sum_{i=1}^{n}x_{i},\qquad \ell'(\lambda)=\frac{n}{\lambda}-\sum_{i=1}^{n}x_{i}=0$
$\hat{\lambda}=\frac{n}{\sum x_{i}}=\frac{1}{\overline{x}}$
Ez is kézenfekvő: az exponenciális eloszlásnál $E(X)=1/\lambda$ , tehát az átlag reciproka becsli a hibarátát.

4. A momentumok módszere

Egyszerűbb, ha a likelihood deriválása nehéz: írjuk fel az elméleti momentumokat a paraméterek függvényeként, tegyük őket egyenlővé a mintából számolt megfelelőikkel, és oldjuk meg az egyenletet.

Momentumok módszere

E(X)=\overline{x},\qquad E(X^{2})=\frac{1}{n}\sum_{i=1}^{n}x_{i}^{2},\qquad\dots

Egy egyszerű példa: egy hívásközpontban öt egymást követő percben 1, 3, 2, 2, 2 hívás érkezett, és Poisson-modellt feltételezünk. A Poisson várható értéke maga a $\lambda$ , a minta átlaga $\frac{10}{5}=2$ , tehát a momentumbecslés $\hat\lambda=2$ . Ennyi volt az egész: egy elméleti mennyiséget egyenlővé tettünk a mintabeli párjával. Annyi egyenletet írunk fel, ahány ismeretlen paraméter van. Néhány tipikus eset:

Eloszlás	Momentumegyenlet	Becslés
$\text{Exp}(\lambda)$	$\frac{1}{\lambda}=\overline{x}$	$\hat{\lambda}=\frac{1}{\overline{x}}$
$\text{Egyenletes }[0,\theta]$	$\frac{\theta}{2}=\overline{x}$	$\hat{\theta}=2\overline{x}$
$\text{Poisson}(\lambda)$	$\lambda=\overline{x}$	$\hat{\lambda}=\overline{x}$

A két módszer nem mindig ugyanazt adja

Egyenletes $[0,\theta]$ eloszlásnál a momentumok módszere $2\overline{x}$ -ot ad, a maximum likelihood viszont a minta legnagyobb elemét. Utóbbi szemléletes — a $\theta$ nem lehet kisebb a látott legnagyobb értéknél —, de torzított, mert mindig alábecsül. Nincs olyan módszer, ami minden szempontból a legjobb becslést adná; ez a becsléselmélet állandó kompromisszuma.

5. Intervallumbecslés

A pontbecslés egyetlen szám, ami szinte biztosan nem pontos. Az intervallumbecslés ehelyett egy tartományt ad meg, a hozzá tartozó megbízhatósági szinttel. A centrális határeloszlás-tételnél már felírtuk az ismert szórású esetet:

\overline{x}\pm z_{1-\alpha/2}\,\frac{\sigma}{\sqrt{n}}\qquad(\sigma\text{ ismert})

A gyakorlatban a szórás is ismeretlen. Ilyenkor a helyére a korrigált tapasztalati szórás kerül, de a becslésből származó bizonytalanság miatt a normális eloszlás helyett a $t$ -eloszlást kell használni $n-1$ szabadságfokkal:

Konfidenciaintervallum ismeretlen szórás mellett

\overline{x}-t_{1-\alpha/2,\,n-1}\,\frac{s}{\sqrt{n}}\ <\ m\ <\ \overline{x}+t_{1-\alpha/2,\,n-1}\,\frac{s}{\sqrt{n}}

Szabadságfok (n−1)	Kétoldali 95%-os t-érték
5	2,571
9	2,262
15	2,131
19	2,093
29	2,045
∞ (normális)	1,960

Egy egyszerű példa: a négy mérés intervalluma

A $2,4,4,6$ mintánál $\overline{x}=4$ , $s\approx1{,}63$ , $n=4$ , tehát 3 szabadságfok, és a táblázatból $t\approx3{,}18$ . A 95%-os intervallum $4\pm3{,}18\cdot\frac{1{,}63}{2}\approx4\pm2{,}6$ , azaz $(1{,}4;\ 6{,}6)$ . Nagyon széles, mert négy mérésből keveset tudunk; normális szorzóval (1,96) csak $4\pm1{,}6$ lenne, ami hamisan pontosnak mutatná a becslést. Ezért kell kis mintánál a $t$ .

A táblázatból jól látszik a lényeg: a $t$ -eloszlás szélesebb, mint a normális, tehát kis mintánál nagyobb szorzót — és így szélesebb intervallumot — kapunk. Ahogy nő a mintaszám, a két eloszlás egybeolvad; $n>30$ fölött a különbség már alig számít.

6. Kidolgozott példák

Egy tízelemű minta feldolgozása

Egy alkatrész hosszát tízszer mértük meg (mm): $12{,}1;\ 11{,}8;\ 12{,}4;\ 12{,}0;\ 12{,}6;\ 11{,}9;\ 12{,}2;\ 12{,}3;\ 11{,}7;\ 12{,}0$ . Számold ki a mintaátlagot, a korrigált tapasztalati szórást, és adj 95%-os konfidenciaintervallumot a várható hosszra.

Az összeg $121{,}0$ , tehát
$\overline{x}=\frac{121{,}0}{10}=12{,}10\ \text{mm}$
Az eltérések: $0{,}0;\ -0{,}3;\ 0{,}3;\ -0{,}1;\ 0{,}5;\ -0{,}2;\ 0{,}1;\ 0{,}2;\ -0{,}4;\ -0{,}1$ , a négyzetösszegük:
$\sum(x_{i}-\overline{x})^{2}=0{,}09+0{,}09+0{,}01+0{,}25+0{,}04+0{,}01+0{,}04+0{,}16+0{,}01=0{,}70$
$s^{2}=\frac{0{,}70}{10-1}=0{,}0778,\qquad s=\sqrt{0{,}0778}\approx 0{,}279\ \text{mm}$
Ha tévedésből $10$ -zel osztanánk, $s=0{,}265$ jönne ki — az 5%-os alábecslés épp a torzítás.
A szórás ismeretlen, tehát $t$ -eloszlás $n-1=9$ szabadságfokkal, ahol a táblázati érték $2{,}262$ :
$\frac{s}{\sqrt{n}}=\frac{0{,}279}{\sqrt{10}}\approx 0{,}0882,\qquad 2{,}262\cdot 0{,}0882\approx 0{,}200$
$11{,}90\ \text{mm}\ <\ m\ <\ 12{,}30\ \text{mm}$
Ha ugyanezt a mintát $1{,}96$ -tal számolnánk (mintha a szórás ismert lenne), az intervallum $\pm 0{,}173$ lenne — vagyis a $t$ -eloszlás használata itt 15%-kal szélesebb, őszintébb intervallumot ad.

Maximum likelihood egy konkrét adatsorra

Öt berendezés élettartamát mértük (években): $2{,}1;\ 4{,}5;\ 1{,}2;\ 6{,}7;\ 3{,}0$ . Az élettartamot exponenciális eloszlásúnak tekintve becsüld meg a $\lambda$ hibarátát.

A maximum likelihood becslés levezetése szerint $\hat{\lambda}=1/\overline{x}$ . Az átlag:
$\overline{x}=\frac{2{,}1+4{,}5+1{,}2+6{,}7+3{,}0}{5}=\frac{17{,}5}{5}=3{,}5\ \text{év}$
$\hat{\lambda}=\frac{1}{3{,}5}\approx 0{,}286\ \text{év}^{-1}$
A becsült modellel már számolhatunk: például annak a valószínűsége, hogy egy berendezés 5 évnél tovább működik, $e^{-0{,}286\cdot 5}\approx 0{,}239$ . Ez a statisztika és a valószínűségszámítás találkozási pontja: a mintából megbecsüljük a paramétert, majd a modellel előrejelzünk.

Momentumok módszere: egyenletes eloszlás

Egy gépsor ciklusideje egyenletesnek tekinthető a $[0,\theta]$ intervallumon. Hat mérés: $3{,}2;\ 7{,}9;\ 5{,}1;\ 2{,}4;\ 8{,}8;\ 6{,}0$ másodperc. Becsüld meg a $\theta$ -t mindkét módszerrel.

Az átlag:
$\overline{x}=\frac{3{,}2+7{,}9+5{,}1+2{,}4+8{,}8+6{,}0}{6}=\frac{33{,}4}{6}\approx 5{,}567$
Momentumok módszere: $E(X)=\theta/2$ , tehát
$\hat{\theta}=2\overline{x}\approx 11{,}13\ \text{s}$
Maximum likelihood: a legnagyobb megfigyelt érték, $\hat{\theta}=8{,}8$ s.
A két becslés jelentősen eltér, és mindkettőnek megvan a maga gyengéje: a momentumos becslés akár a megfigyelt maximumnál kisebb is lehet (ami lehetetlen), a maximum likelihood pedig szisztematikusan alábecsül. Kis mintánál ez a különbség fontos, ezért érdemes tudni, melyik módszert kérik.