Becsléselmélet

A becsléselmélet a matematikai statisztika egyik jelentős területe, mely egy adott minta alapján a sokaságra vonatkozóan állapít meg érték(ek)et. A regressziószámításban a lineáris regresszió meghatározásában játszik szerepet. A hétköznapi életben korlátozott észlelési vagy mintavételezési lehetőségek esetén van jelentősége a megalapozott becsléseknek. A paraméterbecslés során valószínűség-eloszlások jellemző mennyiségeit határozzák meg, illetve műszaki területeken jellemző az alsó és felső határ vagyis a konfidenciaintervallum becslése.

A becslés folyamata

A becsléselmélet lényege hogy egy lehetőleg könnyen előállítható becslést nyújtson. A becslést gyakran egy optimális állapot megállapítására alkalmazzák, amely nem minden esetben lehetséges.

Valószínűség eloszlás megállapítása

Első lépésben a valószínűség-eloszlást kell megállapítani.

Cramér–Rao alsó korlát alkalmazása

A Cramér–Rao alsó korlát segítségével gyenge feltételek mellett is megállapítható alsó korlát a λ paraméter torzítatlan becsléseinek szórásnégyzetére.

Becslési modell kiválasztása

Ezután a nagyszámú lehetőség közül egy becslési modell alkalmazható, vagy akár ki is alakítható.

Döntéselmélet

A döntéselméletben a legvalószínűbb vagy legkedvezőbb lehetőségek meghatározása a cél. A lehetőségek bekövetkeztét trendek, valamint múltbeli tapasztalatok alapján becsülik meg (összeegyeztethető a paraméterek és minták fogalmával).

Minimax elv

A statisztikai döntéselmélet minimax elve szerint az az optimális választás, ami minimalizálja a maximális veszteséget. Felfogható a minimális nyereség maximalizálásaként is. Legyen ϑ ∈ Θ {\displaystyle \vartheta \in \Theta } $\vartheta \in \Theta$ paraméter, és legyen a ϑ {\displaystyle \vartheta } $\vartheta$ paraméter becslése δ {\displaystyle \delta } $\delta$ . Jelölje R ( θ , δ ) {\displaystyle R(\theta ,\delta )} $R(\theta ,\delta )$ a rizikófüggvényt, ami rendszerint a veszteségfüggvény integrálja. A δ ~ {\displaystyle {\tilde {\delta }}} ${\tilde {\delta }}$ becslés minimax, ha

sup θ R ( θ , δ ~ ) = inf δ sup θ R ( θ , δ ) . {\displaystyle \sup _{\theta }R(\theta ,{\tilde {\delta }})=\inf _{\delta }\sup _{\theta }R(\theta ,\delta ).}

\sup _{\theta }R(\theta ,{\tilde {\delta }})=\inf _{\delta }\sup _{\theta }R(\theta ,\delta ).

A döntéselmélet egy alternatív elmélete a Bayes-becslés használatán alapul, ami a Π {\displaystyle \Pi } $\Pi$ a becsülni kívánt paraméter feltételezett a priori eloszlásának ismeretében minimalizálja az a posteriori rizikót:

∫ Θ R ( θ , δ ) d Π ( θ ) . {\displaystyle \int _{\Theta }R(\theta ,\delta )\,d\Pi (\theta ).}

\int _{\Theta }R(\theta ,\delta )\,d\Pi (\theta ).

Játékelmélet

A játékelmélet a matematika egyik interdiszciplináris ága, azzal a kérdéssel foglalkozik, hogy mi az optimális viselkedés olyan helyzetekben, ahol minden résztvevő döntéseinek eredményét befolyásolja a többiek lehetséges választása, vagyis a játékelmélet a stratégiai problémák elmélete. A becsléselmélet néhány játékelméleti aspektusa:

Például egyazon sokaságból, eltérő időpontban és/vagy módszerrel vett minták hogyan befolyásolják egymást, és ezt a hatást hogyan lehet csökkenteni.
A valós életben a statisztikai mintavétellel kapcsolatos eljárások a megfigyelő hatása révén (potenciálisan) befolyásolják a minták környezetét, és ezzel a torzítással számolni kell.
A becslési modell választásánál lehetséges kevert stratégia alkalmazása, tehát a modellek alkalmazását is egy függvénnyel adjuk meg.

Bayes-elmélet

A természettudományos kutatások során nélkülözhetetlen az induktív logika alkalmazása: a megfigyelésekből nyert adatokból kell az adott jelenséget kiváltó okra következtetni, ennek helyességét valószínűsíteni. Thomas Bayes jegyzetei alapján Richard Price (1763) majd továbbfejlesztve Pierre-Simon de Laplace (1812) tettek közzé úttörőként induktív logikát alkalmazó statisztikai eljárást.

Bayes-tétel

A Bayes-tétel a valószínűségszámításban egy feltételes valószínűség és a fordítottja között állít fel kapcsolatot.

A tétel legegyszerűbb formájában azt állítja, hogy ha ismert az A és B események valószínűsége, és a P(B|A) feltételes valószínűség, akkor

P ( A | B ) = P ( B | A ) P ( A ) P ( B ) {\displaystyle P(A|B)={\frac {P(B|A)\,P(A)}{P(B)}}\,\!}

P(A|B)={\frac {P(B|A)\,P(A)}{P(B)}}\,\!

P(A)-t az A esemény a priori, P(A|B)-t az a posteriori valószínűségének is nevezik; a szokásos értelmezésben A valamiféle hipotézis, B egy megfigyelhető esemény, és tétel azt adja meg, hogyan erősíti vagy gyengíti az esemény megfigyelése a hipotézis helyességébe vetett hitünket.

A tétel hasonló formában általánosítható sűrűségfüggvényekre és valószínűségi mértékekre is.

Bayes-döntés

A Bayes-döntés optimális vagyis a hibavalószínűsége minimális.

Legyen a j . {\displaystyle j.} $j.$ döntés tartománya D j ∗ {\displaystyle D_{j}^{*}} $D_{j}^{*}$ olyan, hogy ∀ x ∈ D j ∗ {\displaystyle \forall x\in D_{j}^{*}} $\forall x\in D_{j}^{*}$ -ra P j ( x ) ≥ P i ( x ) {\displaystyle P_{j}(x)\geq P_{i}(x)} $P_{j}(x)\geq P_{i}(x)$ teljesüljön ∀ i ≠ j {\displaystyle \forall i\neq j} $\forall i\neq j$ -nél. x {\displaystyle x} $x$ pont akkor eleme a j . {\displaystyle j.} $j.$ döntési tartománynak, ha x {\displaystyle x} $x$ megfigyelés esetén az A = a j {\displaystyle A=a_{j}} $A=a_{j}$ hipotézis feltételes valószínűsége a legnagyobb. A D j ∗ {\displaystyle D_{j}^{*}} $D_{j}^{*}$ -ok páronként diszjunktaknak választhatók, például úgy, hogy nem egyértelmű esetben az alacsonyabb indexűt választják. Ekkor a döntés függvény:

G ∗ ( X ) = a i , ha x ∈ D i ∗ {\displaystyle G^{*}(X)=a_{i}{\text{, ha }}x\in D_{i}^{*}}

G^{*}(X)=a_{i}{\text{, ha }}x\in D_{i}^{*}

Ezt nevezik Bayes-döntésnek, vagy maximum a posteriori döntésnek.

Bayes-statisztika

Bayes-tételén alapuló Bayes-statisztika átfogóbb szemléletével az 1940-es évektől kezdődően egyre nagyobb teret hódít. A klasszikus statisztika követői közül többen bírálták - elsősorban a külső információk felhasználása, és szubjektív valószínűségek megjelenése miatt. A Bayes-statisztika minden fellelhető információt felhasznál, és ezeket kombinálja a meglévő mintavétel eredményével. A szubjektív benyomások egzakt kezelésére kínál megoldást. A bayes szemléletű becslésnél a becsülni kívánt paraméter nem egy rögzített érték, hanem valószínűségi változó.

A bayesi statisztika tartalmazza speciális esetként (a külső információk teljes hiánya) a klasszikus elméletet. A Bayes-tételnek az átfogalmazott formája mindenféle statisztikai modellnél alkalmazható, az összefüggés ugyanakkor áttekinthető. Éppen emiatt (egyszerűség és az egységesség) egyre szélesebb körű az alkalmazása.

Pontbecslés

Legkisebb négyzetek módszere

A Legkisebb négyzetek módszer alkalmazása nem feltételezi a sokasági eloszlás ismeretét, de azt igen, hogy formalizált összefüggésünk van a jelenség leírására, amit modellnek neveznek. A legkisebb négyzetek módszere ennek a modellnek a paramétereit úgy határozza meg, hogy a tényleges és becsült paraméterrel illesztett modellek négyzetes eltérése, azaz az eltérések négyzetösszege minimális legyen. A módszer a tényleges megfigyelések és a (minta alapján) becsült modell négyzetes távolságát minimálja. A négyzetösszeg minimálás eszköze a szélsőérték-számítás.

Momentumok módszere

A Momentumok módszere általában az eloszlások paramétereinek becslésére szolgál, akkor alkalmazzák ha a minta eloszlásának sok ismeretlen paramétere van. Egy ismert típusú sokasági eloszlás paraméterei és momentumai függvényszerű kapcsolatba hozhatók egymással. A momentumok módszere olyan sokasági paramétereket keres, amelyek mellett a sokaság és a minta megfelelő paraméterei megegyeznek. Ekkor a tapasztalati momentumok a mintából kiszámíthatóak, mivel egyenlővé tehetőek a paraméterekkel kifejezett sokasági momentumokkal (k-adik), majd az említett összefüggésből következtetni lehet a sokasági paraméterekre. A módszer konzisztens becslőfüggvényeket eredményez.

M n ( k ) = 1 n ∑ i = l n X i k ≈ M λ ( k ) = E λ ( X k ) {\displaystyle M_{n}(k)={\frac {1}{n}}\sum _{i=l}^{n}X_{i}^{k}\approx M_{\lambda }(k)=E_{\lambda }(X^{k})}

M_{n}(k)={\frac {1}{n}}\sum _{i=l}^{n}X_{i}^{k}\approx M_{\lambda }(k)=E_{\lambda }(X^{k})

A számítás lépései: A centrális határeloszlás-tétel alapján a minta k-dik tapasztalati momentuma jó becslése az ismeretlen eloszlás k-dik momentumának. A bal oldal a mintából kiszámolható, míg a jobb oldalon álló mennyiség az ismeretlen paraméter (vektor) függvénye. A módszer alapján a k=1-től kezdve annyi egyenlőséget írnak fel, ahányból az ismeretlen paraméterek egyértelműen kifejezhető, ezáltal kapható meg a becslés. Általában annyi egyenletre van szükség, ahány ismeretlen paraméter van.

Blackwellizálás

Rao-Blackwell-Kolmogorov tétel alkalmazása, mely módszer alkalmas torzítatlan becslés konstruálására úgy, hogy egy egyszerű torzítatlan becslést egy elégséges statisztika segítségével korrigálnak. Általában n elemű minta alapján.

Blackwellizálás lépései: 1. A becsülni kívánt paraméterre egyszerű torzítatlan becslést adnak, gyakran csak az első (néhány) mintaelem felhasználásával. Ennek jele T. Ez az egyszerő becslés sokszor indikátortól függ, mert felismerhető, hogy a becsülni kívánt paraméter valaminek a valószínűsége. Például az Ind(p) eloszlásnál p=Pp(X1=1), p2= Pp(X1=1, X2=1), p(1-p)= Pp(X1=1, X2=0). A megfelelő torzítatlan becslések: T1=I(X1=1), T2=I(X1=1, X2=1), T3=I(X1=1, X2=0). 2. Keresnek egy S (minél egyszerűbb) elégséges statisztikát. 3. Felírják a V=E(T|S) becslést. Ez a feltételes várható érték nem függ az ismeretlen paramétertől, mivel S elégséges. Másrészt ez is torzítatlan becslés, ami hatásosabb az eredeti T-nél (hogy mennyivel, az bizonytalan). V maga is valószínűségi változó, az S-nek függvénye: ha S a k értéket veszi fel, akkor V értéke E(T|S=k).

Legnagyobb valószínűség (Maximum Likelihood) módszer

A Legnagyobb valószínűség módszer ismert sokasági eloszlást tételez fel, és alkalmas arra hogy e sokasági eloszlás ismeretlen paraméterét (vagy paramétereit) becsülje. A likelihood függvény azt mutatja meg hogy adott (rögzített) eloszlás és különböző paraméterértékek esetén mennyire valószerű, hogy éppen a szóban forgó minta adódik a mintavétel eredményeképp. A függvény ismeretében olyan ismeretlen paramétert (paramétereket) kell keresni, amely(ek) mellett ez a függvény a maximumát veszi fel. A módszer nem eredményez minden esetben torzítatlan becslőfüggvényt, viszont mindig konzisztens és aszimptotikusan hatásos becslőfüggvényt eredményez, normális határeloszlással.

Parzen-Rosenblatt módszer

Tapasztalati eloszlás függvény nem deriválható, mivel a megfigyelt paraméterek általában pontszerűek. Ha azonban az adott érték körüli kicsi szórású folytonos eloszlásúnak is tekinthető (ez az eloszlás a magfüggvény). A keletkező folytonos keverék eloszlásnak a deriváltja jól közelíti a sűrűségfüggvényt.

Egy ƒ(x) sűrűségfüggvényből vett minta esetén, ahol a k(y) magfüggvény egyenesen korlátos és yk(y) határértéke 0 a végtelenben, valamint hn olyan számsorozat, ahol : lim h n = 0 {\displaystyle \lim h_{n}=0} $\lim h_{n}=0$ és : lim n h n = ∞ {\displaystyle \lim nh_{n}=\infty } $\lim nh_{n}=\infty$ akkor aszimptotikusan torzítatlan, konzisztens becslést mutat a ƒ(x) minden folytonossági pontjában.

f ^ h ( x ) = 1 n ∑ i = 1 n K h ( x − x i ) = 1 n h ∑ i = 1 n K ( x − x i h ) , {\displaystyle {\hat {f}}_{h}(x)={\frac {1}{n}}\sum _{i=1}^{n}K_{h}(x-x_{i})={\frac {1}{nh}}\sum _{i=1}^{n}K{\Big (}{\frac {x-x_{i}}{h}}{\Big )},} ${\hat {f}}_{h}(x)={\frac {1}{n}}\sum _{i=1}^{n}K_{h}(x-x_{i})={\frac {1}{nh}}\sum _{i=1}^{n}K{\Big (}{\frac {x-x_{i}}{h}}{\Big )},$

Intervallumbecslés

Konfidenciaintervallum

Az intervallumbecslések egyik módszere a konfidenciaintervallum használata. A konfidenciaintervallum intervallum értékű becslést ad egy paraméterre: valószínűleg ezek közé a korlátok közé esik. Ez sok esetben jobb, mint egyetlen becsült értéket adni. Az α paraméter egy előzetesen megadott értékére a becsült paraméter 1-α valószínűséggel esik az intervallumba. Ezt az 1-α szintet sokszor százalékban adják meg; például 95% tipikus. A több dimenziós megbízhatósági tartomány a konfidenciaintervallum általánosítása. Ez nemcsak a becslés hibájának felmérésére alkalmas, hanem arra is, hogy kimutassa: ha egy paramétert nem sikerült elég pontosan megbecsülni, akkor a többi paramétert is pontatlanul becsülték-e meg.

Becslések tulajdonságai

Kismintás mérési kritériumok

Becslés standard hibája (Se) a becslőfüggvény valamennyi lehetséges mintán felvett értékeiből számított szórásnégyzetet mintavételi szórásnégyzetnek, ennek négyzetgyökét pedig a becslőfüggvény illetve a becslés standard hibájának nevezzük.
A relatív hatásfok két torzítatlan becslőfüggvény szórásnégyzetét hányados formában hasonlítja össze. Megmutatja, hogy a egy becslőfüggvény szórásnégyzete hány százaléka a egy másik becslőfüggvényének.
Az Abszolút hatásosság esetén egy becslőfüggvény szórásnégyzetét az MVUE szórásnégyzetéhez hasonlítják.
Átlagos négyzetes hiba (Mean Square Error=MSE) egy mutatószám mely a szórásnégyzet és a torzítás együttes figyelembevételére alkalmas. Torzítatlan becslőfüggvények esetén az átlagos négyzetes hiba megegyezik a szórásnégyzettel.
A plauzibilitás egyetlen adat hitelességét (értelmezési intervallumba esését) vizsgálja.

Nagymintás mérési kritériumok

A konzisztencia azt jelenti, hogy a megfigyelések számának növelésével nő a becslés pontossága, vagyis a becsült érték körüli ingadozás-variancia csökken. Legyen egy ϑ {\displaystyle \vartheta } $\vartheta$ paraméter becslése δ {\displaystyle \delta } $\delta$ , ekkor

lim n → ∞ D 2 ( δ ) = 0 {\displaystyle \lim _{n\to \infty }D^{2}(\delta )=0}

\lim _{n\to \infty }D^{2}(\delta )=0

Torzítatlanság: torzítatlannak nevezünk egy becslőfüggvényt, ha annak várható értéke megegyezik a becsülni kívánt sokasági jellemzővel. Egyoldali és a kétoldali ellenhipotézissel vizsgálható.

Aszimptotikus torzítatlanság: ha a mintanagysággal végtelenbe tartva a torzítás eltűnik, akkor azt mondjuk, hogy a megfelelő becslőfüggvény aszimptotikusan torzítatlan.
Torzítás mérőszáma: B s ( Θ ) = E ( Θ ) − Θ {\displaystyle B_{s}(\Theta )=E(\Theta )-\Theta } $B_{s}(\Theta )=E(\Theta )-\Theta$

A hatásosság azt mutatja, hogy a torzítatlan becslések között a szórás mennyire számottevő mértékű. Két egyaránt torzítatlan becslés közül az a hatásosabb, amelyre a négyzetes közép eltérés kisebb.
- Unicitás: Hatásos becslés T1, T2 torzítatlan statisztika esetén D ϑ 2 T 1 < D ϑ 2 T 2 ( ∀ ϑ ∈ Θ ) {\displaystyle D_{\vartheta }^{2}T_{1}<D_{\vartheta }^{2}T_{2}(\forall \vartheta \in \Theta )} $D_{\vartheta }^{2}T_{1}<D_{\vartheta }^{2}T_{2}(\forall \vartheta \in \Theta )$
Az aszimptotikus hatásosság két becslőfüggvény nagymintás varianciáinak viszonyát jelenti. Amelyik becslőfüggvénynek kisebb a varianciája, az aszimptotikusan hatásosabb, ha pedig valamely becslőfüggvénynek minden más becslőfüggvénynél kisebb a nagymintás varianciája, akkor ezt a becslőfüggvényt aszimptotikusan minimális varianciájú (hatásos) becslőfüggvénynek nevezik.

Jegyzetek

↑ A német tankok problémája néven ismert becslés meglepően jó eredményei adták a motivációt a Bayes-statisztika alkalmazására és továbbfejlesztésére. Részletek magyarul Archiválva 2016. február 28-i dátummal a Wayback Machine-ben, angolul.

Források

Kapcsolódó szócikkek

Bayes-féle rekurzív becslés