Ingyenes tananyagok

Valószínűségszámítás

Feltételes valószínűség és a Bayes-tétel

Mit kezdjünk egy már megszerzett információval: szűkített mintatér, teljes valószínűség, Bayes-tétel és a függetlenség pontos jelentése.

16 perc olvasás

1. A feltételes valószínűség

Egy kockadobásnál a hatos valószínűsége 1/61/6. Ha viszont valaki elárulja, hogy a dobás páros lett, ez az érték már nem stimmel: három lehetőség maradt, és a hatos ezek egyike, tehát 1/31/3. A feltételes valószínűség pontosan ezt a lépést írja le — mi történik, ha egy információt már megkaptunk. Ebben a leckében négy tételt mutatok be, de mind a négy ugyanennek az egy gondolatnak a következménye; a példákat úgy fűztem össze, hogy egyetlen golyós dobozon végig tudd követni őket.

Feltételes valószínűség

P(A∣B)=P(A∩B)P(B),P(B)>0P(A\mid B)=\frac{P(A\cap B)}{P(B)},\qquad P(B)>0

Egy egyszerű példa: a kocka a képlettel

Legyen AA a hatos, BB a páros dobás. P(B)=36P(B)=\frac36, és A∩BA\cap B maga a hatos, P(A∩B)=16P(A\cap B)=\frac16. A képlettel P(A∣B)=1/63/6=13P(A\mid B)=\frac{1/6}{3/6}=\frac13, pontosan az, amit fejben is kiszámoltunk. A nevező tehát a „leszűkített világ” mérete, a számláló pedig az, ami az AA-ból ebbe a világba belefér.

A képlet szemléletes tartalma: a BB bekövetkezése leszűkíti a mintateret. Ezentúl a BB a „minden”, ezért osztunk a P(B)P(B)-vel, a számlálóban pedig csak az AA-nak az a része maradhat, ami a BB-be esik.

A definíciót átrendezve kapjuk a szorzási szabályt, amivel egymás után következő lépések valószínűsége építhető fel — ez a fadiagramos feladatok motorja:

Szorzási szabály

P(A∩B)=P(B) P(A∣B)=P(A) P(B∣A)P(A\cap B)=P(B)\,P(A\mid B)=P(A)\,P(B\mid A)

Egy egyszerű példa: két húzás visszatevés nélkül

Egy dobozban 3 piros és 2 kék golyó van, kihúzunk kettőt egymás után. Mekkora a valószínűsége, hogy mindkettő piros? Az első piros 35\frac35 eséllyel; ha az első piros volt, 2 piros maradt a 4-ből, tehát a második 24\frac24 eséllyel piros. A szorzási szabállyal 35⋅24=310\frac35\cdot\frac24=\frac{3}{10}. Ez a fadiagram első ága: a lépések valószínűségeit végigszorozzuk, és minden lépésnél már figyelembe vesszük, mi történt előtte.

A feltételes valószínűség is valószínűség

Rögzített BB mellett a P( ⋅∣B)P(\,\cdot\mid B) teljesíti mind a három axiómát. Ezért minden korábbi szabály érvényes rá, például P(A‾∣B)=1−P(A∣B)P(\overline{A}\mid B)=1-P(A\mid B). Ami nem igaz, az a P(A∣B‾)=1−P(A∣B)P(A\mid \overline{B})=1-P(A\mid B): a feltételt nem szabad „komplementerezni”.

Elakadtál ennél a résznél?

Egy órán megnézzük, pontosan hol csúszik el, és addig gyakoroljuk, amíg magabiztos nem leszel benne.

2. A teljes valószínűség tétele

Gyakori helyzet, hogy egy esemény valószínűségét közvetlenül nehéz kiszámolni, de ha tudnánk, „melyik ágon” haladunk, könnyű lenne. Ilyenkor bontsuk fel a mintateret teljes eseményrendszerre: olyan B1,…,BnB_{1},\dots,B_{n} eseményekre, amelyek páronként kizárók, és együtt kiadják a teljes Ω\Omega-t.

Teljes valószínűség tétele

P(A)=∑i=1nP(Bi) P(A∣Bi)P(A)=\sum_{i=1}^{n}P(B_{i})\,P(A\mid B_{i})

Szavakban: minden ághoz kiszámoljuk, mekkora eséllyel járunk azon az ágon, és azon az ágon mekkora eséllyel következik be AA — majd a szorzatokat összeadjuk. Fadiagramon ez azt jelenti, hogy végigszorzunk az ágakon, és összeadjuk az ágakat.

A legegyszerűbb, két ágból álló esetet érdemes fejből tudni, mert a legtöbb feladat ilyen:

P(A)=P(B) P(A∣B)+P(B‾) P(A∣B‾)P(A)=P(B)\,P(A\mid B)+P(\overline{B})\,P(A\mid \overline{B})

Egy egyszerű példa: a második húzás

Ugyanaz a doboz (3 piros, 2 kék). Mekkora a valószínűsége, hogy a második húzás piros? Két ág van aszerint, mi volt az első. Ha piros (35\frac35), a második 24\frac24 eséllyel piros; ha kék (25\frac25), a második 34\frac34 eséllyel piros. Összeadva: 35⋅24+25⋅34=620+620=35\frac35\cdot\frac24+\frac25\cdot\frac34=\frac{6}{20}+\frac{6}{20}=\frac35. Ugyanannyi, mint az első húzásnál: ha nem tudjuk, mi volt az első, a második húzás semmivel sem „rosszabb”. Ez elsőre meglepő, a tétel viszont egy sorban megmutatja.

3. A Bayes-tétel

A teljes valószínűség tétele előre halad: az okokból következtet az okozatra. A Bayes-tétel visszafelé kérdez: látjuk az okozatot, és arra vagyunk kíváncsiak, melyik ok állhat mögötte.

Bayes-tétel

P(Bk∣A)=P(Bk) P(A∣Bk)∑i=1nP(Bi) P(A∣Bi)=P(Bk) P(A∣Bk)P(A)P(B_{k}\mid A)=\frac{P(B_{k})\,P(A\mid B_{k})}{\sum_{i=1}^{n}P(B_{i})\,P(A\mid B_{i})}=\frac{P(B_{k})\,P(A\mid B_{k})}{P(A)}

A képlet nem új tartalom, hanem a definíció és a teljes valószínűség tételének összerakása: P(Bk∣A)=P(A∩Bk)P(A)P(B_{k}\mid A)=\frac{P(A\cap B_{k})}{P(A)}, a számlálót szorzási szabállyal, a nevezőt a teljes valószínűség tételével írjuk fel. A szereplőknek külön nevük van:

  • Előzetes (a priori) valószínűség: P(Bk)P(B_{k}) — amit a megfigyelés előtt gondoltunk.
  • Likelihood: P(A∣Bk)P(A\mid B_{k}) — az adott ok mellett mennyire valószínű a megfigyelt jelenség.
  • Utólagos (a posteriori) valószínűség: P(Bk∣A)P(B_{k}\mid A) — amit a megfigyelés után gondolunk.

Egy egyszerű példa: visszakövetkeztetés

Megint a doboz. A második húzás piros lett; mekkora a valószínűsége, hogy az első is piros volt? A keresett P(elso˝ piros∣maˊsodik piros)P(\text{első piros}\mid\text{második piros}). A számláló az az ág, ahol mindkettő piros: 35⋅24=620\frac35\cdot\frac24=\frac{6}{20}; a nevező a második piros teljes valószínűsége, az előbb kiszámolt 35=1220\frac35=\frac{12}{20}. Tehát 6/2012/20=12\frac{6/20}{12/20}=\frac12. Előzetesen 35\frac35-öt gondoltunk volna az első húzásra; a megfigyelés (elfogyott egy piros) lejjebb vitte. Ez a Bayes-tétel egész tartalma.

Ha több megfigyelés érkezik egymás után, a tétel ismételten alkalmazható: az egyik lépés utólagos valószínűsége lesz a következő lépés előzetes valószínűsége. Ez a bayesi frissítés, és pontosan így működik a spamszűrőtől a diagnosztikáig sok gyakorlati rendszer.

4. Események függetlensége

Két esemény akkor független, ha az egyik bekövetkezése nem változtat a másik valószínűségén. Ezt a legtisztábban szorzat alakban lehet kimondani, mert így nem kell kikötni, hogy a valószínűségek pozitívak:

Függetlenség

P(A∩B)=P(A) P(B)⟺P(A∣B)=P(A)  (P(B)>0)P(A\cap B)=P(A)\,P(B)\qquad\Longleftrightarrow\qquad P(A\mid B)=P(A)\ \ (P(B)>0)

Egy egyszerű példa: két kocka, egy kocka

Két kockával dobva az „első hatos” és a „második hatos” független: P(mindketto˝ hatos)=136=16⋅16P(\text{mindkettő hatos})=\frac{1}{36}=\frac16\cdot\frac16, a szorzat stimmel. Egy kockánál viszont a „páros” és a „hatos” nem független: P(paˊros∩hatos)=16P(\text{páros}\cap\text{hatos})=\frac16, míg a szorzat 12⋅16=112\frac12\cdot\frac16=\frac{1}{12}. Nem egyenlő, tehát összefüggnek, ahogy az elején láttuk is: a „páros” hír felvitte a hatos esélyét.

Több eseménynél nem elég a páronkénti függetlenség: a teljes függetlenséghez minden részhalmazra teljesülnie kell a szorzatszabálynak, tehát például három eseménynél a három páros szorzat mellett a P(A∩B∩C)=P(A)P(B)P(C)P(A\cap B\cap C)=P(A)P(B)P(C) is kell.

A kizáró és a független nem ugyanaz

Épp ellenkezőleg: ha AA és BB kizáró és mindkettőnek pozitív a valószínűsége, akkor biztosan nem függetlenek. Ha ugyanis BB bekövetkezett, akkor AA már biztosan nem következhet be, azaz P(A∣B)=0≠P(A)P(A\mid B)=0\ne P(A). A kizárás a legerősebb fajta összefüggés, nem a függetlenség.

5. Kidolgozott példák

Két gép, egy közös selejtarány

Egy üzemben az alkatrészek 60%60\%-át az AA gép, 40%40\%-át a BB gép gyártja. Az AA gép 2%2\%, a BB gép 5%5\% selejtet termel. (a) Mennyi a selejt aránya összesen? (b) Egy véletlenül kiválasztott selejtes darabról mennyi az esély, hogy az AA gépről jött?

  1. A két gép teljes eseményrendszert alkot: P(A)=0,6P(A)=0{,}6, P(B)=0,4P(B)=0{,}4, és a jelölés SS a „selejtes”. Amit tudunk: P(S∣A)=0,02P(S\mid A)=0{,}02 és P(S∣B)=0,05P(S\mid B)=0{,}05.
  2. (a) Teljes valószínűség tétele:
    P(S)=0,6⋅0,02+0,4⋅0,05=0,012+0,020=0,032P(S)=0{,}6\cdot 0{,}02+0{,}4\cdot 0{,}05=0{,}012+0{,}020=0{,}032
    Vagyis 3,2%3{,}2\% a selejtarány.
  3. (b) Bayes-tétel — a számláló az imént kiszámolt első tag:
    P(A∣S)=0,0120,032=0,375P(A\mid S)=\frac{0{,}012}{0{,}032}=0{,}375
  4. Érdemes megnézni, mi történt: az AA gép aránya 60%60\%-ról 37,5%37{,}5\%-ra csökkent, amint kiderült, hogy a darab selejtes — hiszen a BB gép hibázik gyakrabban. A megfigyelés így módosította az előzetes arányt.

Orvosi szűrés: miért nem 99% a pozitív teszt

Egy betegség a népesség 1%1\%-át érinti. A szűrővizsgálat a betegek 99%99\%-át helyesen pozitívnak jelzi, az egészségesek 5%5\%-át viszont tévesen szintén pozitívnak. Valakinek pozitív lett a tesztje. Mekkora az esélye, hogy tényleg beteg?

  1. Jelölés: DD = beteg, ++ = pozitív teszt. Adott: P(D)=0,01P(D)=0{,}01, P(+∣D)=0,99P(+\mid D)=0{,}99, P(+∣D‾)=0,05P(+\mid \overline{D})=0{,}05.
  2. A pozitív teszt teljes valószínűsége:
    P(+)=0,01⋅0,99+0,99⋅0,05=0,0099+0,0495=0,0594P(+)=0{,}01\cdot 0{,}99+0{,}99\cdot 0{,}05=0{,}0099+0{,}0495=0{,}0594
  3. P(D∣+)=0,00990,0594=16≈0,167P(D\mid +)=\frac{0{,}0099}{0{,}0594}=\frac{1}{6}\approx 0{,}167
    Tehát 16,7% — a legtöbben ennél sokkal többre tippelnek.
  4. A magyarázat a számokban van: tízezer emberből 100100 beteg, közülük 9999 lesz pozitív; a 99009900 egészségesből viszont 495495 lesz tévesen pozitív. A pozitívak többsége egészséges, mert az egészségesek sokkal többen vannak. Ha ritka a betegség, a fals pozitívak elnyomják a valódiakat.

Bayesi frissítés: egy második teszt

Az előző példában szereplő személy elvégez egy második, az elsőtől független tesztet, és az is pozitív lesz. Most mennyi az esélye, hogy beteg?

  1. Az előzetes valószínűség már nem 0,010{,}01, hanem az első teszt utáni P(D)=1/6P(D)=1/6. A likelihoodok változatlanok.
  2. P(+2)=16⋅0,99+56⋅0,05=0,165+0,0416‾=0,2066‾P(+_{2})=\frac{1}{6}\cdot 0{,}99+\frac{5}{6}\cdot 0{,}05=0{,}165+0{,}041\overline{6}=0{,}206\overline{6}
  3. P(D∣+2)=0,1650,2066‾≈0,798P(D\mid +_{2})=\frac{0{,}165}{0{,}206\overline{6}}\approx 0{,}798
    A két pozitív teszt együtt már 80%80\% köré emeli a valószínűséget.
  4. Ez a bayesi frissítés lényege: a bizonyítékok halmozódnak, és mindig az aktuális tudásunkból indulunk tovább. Fontos feltétel viszont, hogy a két teszt hibái függetlenek legyenek — ha ugyanaz a laborhiba okozza mindkét pozitív eredményt, ez a számolás érvénytelen.

Függetlenség ellenőrzése számolással

Egy kockadobásnál legyen AA = „páros”, BB = „nagyobb mint 4”, CC = „legalább 3”. Melyik két esemény független?

  1. P(A)=36=12P(A)=\frac{3}{6}=\frac{1}{2}, P(B)=26=13P(B)=\frac{2}{6}=\frac{1}{3}, P(C)=46=23P(C)=\frac{4}{6}=\frac{2}{3}.
  2. A∩B={6}A\cap B=\{6\}, tehát P(A∩B)=16P(A\cap B)=\frac{1}{6}. A szorzat 12⋅13=16\frac{1}{2}\cdot\frac{1}{3}=\frac{1}{6} — megegyeznek, tehát AA és BB független.
  3. A∩C={4,6}A\cap C=\{4,6\}, tehát P(A∩C)=13P(A\cap C)=\frac{1}{3}, míg a szorzat 12⋅23=13\frac{1}{2}\cdot\frac{2}{3}=\frac{1}{3} — ezek is függetlenek.
  4. B∩C={5,6}B\cap C=\{5,6\}, tehát P(B∩C)=13P(B\cap C)=\frac{1}{3}, a szorzat viszont 13⋅23=29\frac{1}{3}\cdot\frac{2}{3}=\frac{2}{9}. Nem egyeznek, tehát BB és CC nem független.
  5. A tanulság: a függetlenség nem érzésre eldöntendő kérdés, hanem számolás. Ugyanazon a kockán az egyik páros eseménypárnál teljesül, a másiknál nem.

6. Tipikus hibák

  • A P(A∣B)P(A\mid B) és a P(B∣A)P(B\mid A) felcserélése. „A betegek 99%-a pozitív” nem ugyanaz, mint „a pozitívak 99%-a beteg” — a szűrős példa épp ezt mutatja meg. Ez a leggyakoribb és a legdrágább hiba.
  • Az előzetes valószínűség elhagyása. Ritka esemény vizsgálatánál a P(Bk)P(B_{k}) arányok legalább annyira számítanak, mint a teszt pontossága.
  • Kizáró eseményeket függetlennek venni. Ha a feladat azt mondja, „vagy az egyik, vagy a másik gép gyártotta”, az kizárás, nem függetlenség.
  • Nem teljes eseményrendszerre bontás. A teljes valószínűség tételéhez a BiB_{i} ágaknak ki kell adniuk a teljes mintateret, és nem szabad átfedniük. Ha a valószínűségeik nem adnak ki 11-et, valami kimaradt.
  • A függetlenség feltevése a feladat átolvasása nélkül. Visszatevés nélküli mintavételnél a húzások nem függetlenek — ott a szorzási szabály feltételes valószínűségekkel írandó fel, ahogy a mintavételes példában is láttuk.

Elakadtál menet közben?

Egy tananyag megmutatja, hogyan működik a dolog. Azt viszont, hogy pontosan hol csúszik el nálad, egy óra alatt derítjük ki. Foglalj egy alkalmat, vagy beszéljük meg egy ingyenes konzultáción, mire van szükséged.