Pravděpodobnost a statistika

Diskrétní N. V.

def. pravděpodobnosti - klasická ( # příznivých / # pokusů ) obecně nefunguje ( četnosti výsl. mohou být různé) - je spec. příp. axiomatické definice : p-stní prostor: ( Ω, φ ), Ω - náh. pole (všechny výsledky), A - náh. jevy (systém množin (algebra)). Fce P : A ∈ φ --> P(A) ∈ <0,1> ... p-st. - míra náh. jevu
axiomy - 1) P(∅) = 0, P(Ω) = 1.
2) P(A ∪ B ) = P(A) + P(B) - P(A ∩ B)
podmíněná p-st - P(A | B ) =

P( A ∩ B )

P(B)
- základ ( 100% ) není Ω, ale b, z něhož počítám P( A ∩ B ).
nezávislost jevů <=> P( A∩ B) = P(A)*P(B), P(A|B) = P(A)
p-st. jako mat. model nemusí odpovídat realitě, pro popis 1 situace může být více modelů.
Věta o úplné p-sti B₁ ... B_k disjunktní, B₁ ∪ ... ∪ B_k = Ω.
∀ A ∈ Ω : P(A) = P(A|B₁)*P(B₁) + ... + P(A|B_k)*P(B_k)
(A = (A ∩ B₁) ∪ ... (A∩ B_k), P(A) = P(A ∩ B₁) + ... + P(A∩ B_k) ... disj. jevy, ∀ člen: P(A∩ B_i) = P( A|B_i )P(B_i).
Bayesova věta B₁, ..., B_k úplný systém jevů; A. P( B_i|A) =

P(B_i ∩ A)

P(A)
=

P(A|B_i)*P(B_i)

P(A|B₁)P(B₁) + ... + P(A|B_k)P(B_k)
( VÚP, B_i ∩ A = A ∩ B_i )
Náh. veličina X: ( Ω, A, P ) --> ( R¹, B ), kde Ω = konečná nebo spočetná mn., A = mn. jevů, B = rozdělení ( B₀ ∈ B: X^-1(B₀) = {w∈Ω; X(w)∈ B₀}∈ A. Funkce, obor hodnot konečný/spočetný - { x_i }_{i∈ N}.
Rozdělení p-sti - lib. tabulka (^x_i _{p_i}), p_i ≥ 0, ∑i p_i = 1 ( zákl. & jednoznačná charakteristika náh. veličin. ). x_i - možné hodnoty, p_i - odpovídající p-sti.
Binomické: p_i = (ⁿ_k) p^k (1-p)^n-k
Geometrické: p_i = p(1-p)^k
Negativně binomické: P( r-tý zdar v k-tém pokuse ) = (^k-1_r-1)p^r(1-p)^k-r
Hypergeometrické: A, B, P( právě k z n bude A )=

(^A_k)(^B_n-k)

(^A+B_n )

Poissonovo: p_k = e^-λ

λ^k

k!
Střední hodnota EX = ∑w X(w)P(w) = ∑i ( ∑w|X(w)=x_i X(w)P(w)) = ∑i (x_i*p_i)
E( a + bX + cY ) = a + bEX + cEY
f(x) = y. EY = ∑w f(X(w)P(w)) = ∑i (∑w|X(w)=x_i f(X(w))P(w)) = ∑i f(x_i)p_i
má smysl jen při velkém opakování náh. pokusů.
Vytvořující funkce (pro diskr. n.v. na N): x ... 0, 1, 2 ~ p₀, p₁, p₂, A(X) = ∑i p_i xⁱ
p_i =

A⁽ⁱ⁾(0)

i!
- jednoznačně definuje rozdělení
A'(X) = ∑i i*p_i*x^i-1, A'(1) = ∑i i*p_i = EX.
Rozdělení součtu n.v. :
```
    X .. |  0, 1, 2 ... |,  Y .. |  0, 1, 2 ... |   Z = X + Y
         | p0,p1,p2 ... |        | q0,q1,q2 ... |   X,Y nezávislé 
```
r_k = P( Z = k ) = P( ∪^k_i=0 X = i && Y = k-i ) = (disj.jevy) = ∑i=0j P( X=i && Y=k-i ) = (nez. jevy) = ∑i=0k p_i q_k-i ( věta o konvoluci )
{r_i} je konvoluce p-stí {p_i} & {q_i}. ( {c_i} konvoluce {a_i}, {b_i}, když c_k = a₀ b_k + a₁ b_k-1 + ... + a_k b₀ ). Pro součin - podobné (ale ne stejné - suma přes X_i*Y_j = Z_k ).
vytv. fce součtu n.v. - X ... A(X), Y ... B(X), Z = X + Y ... ?. A(X)B(X) = (p₀ + p₁ x + p₂ x² + ... )( q₀ + q₁ x + q₂ x²... ) = p₀ q₀ + (p₁ q₀ + p₀ q₁)x + (p₂ q₀ + p₁ q₁ + p₀ q₂ ) x² ... => C(X) = A(X)B(X), Z ~ C(X).
Distribuční funkce - F(x) = P( X ≤ x ), x ∈ R, F( -∞ ) = 0, F( ∞ ) = 1, nekl., zprava spojitá.
Náh. součet náh. vel. - náh. počet n.v - N, náh. veličiny - X_i. S_N = X₁ + ... + X_N.
r_n = P( S_N = n ) = ∑k P( S_k = n | N = k )*P( N = k ) = ∑k p_i qⁱ... ( tady k pevné, p_i je n-tý člen k-té konvoluce X_i (asoc. zleva)).
r_n := ∑k p_n^(k)q_k (ozn. k-té konvoluce)
vytv. fce: A₀(x) = ∑n ∑k p_n^(k)q_k xⁿ = ∑k q_k ( ∑n p_n^(k) xⁿ ) <-- (vytv.fce X₁ + ... X_k ) = ∑k q_k (A(x))^k := ∑k q_k y^k = B(y) = B(A(x)).
stř. hodnota - ES_N = (B(A(x)))'(1) - B'(A(x))A'(x) / x=1 = ( A(x)=∑i xⁿ p_i, A(1)= 1 ) = B'(1)A'(1) = EN*EX.
Rozptyl - var X = E(X - EX)² = EX² - (EX)² - stř. hodnota čtverce odchylky od očekáváné hodnoty. var cX = c² var X.
Čebyševova nerovnost :
P( |X - EX| ≥ ε ) ≤

var X

ε²
- pravd. že se X bude lišit od EX se dá omezit, pro prakt. použití - příliš hrubé. Dk.: var X = ∑i (x_i - μ )² p_i ≥ ∑i:|x_i-μ|≥ε ( x_i - μ )² p_i ≥ ε² ∑i:|x_i-μ|≥ε p_i = ε² P( |X - μ | ≥ ε ).
Směrodatná odchylka = √ var X
Rozptyl X + Y : var X + Y = E( X + Y - E(X+Y))² = var X + var Y - 2E(X-EX)(Y-EY) = var X + var Y - 2(EXY - EXEY) = (pro nekorelované X,Y) = var X + var Y.
Čebyševova věta: X_n -(p)--> μ ("slabá konvergence - konvergence v p-sti")
X_i - nez. kopie nějaké n.v. X. 1/n ∑i=1n x_i - náh. vel. X_n .
E X_n = 1/n∑i=1n EX_i =

1

n
n EX = μ
P( | X_n - μ | ≥ ε ) ≤

var X_n

ε²
=

1/(n²) var( ∑ X_i )

ε²
=

var X

n ε²
(--> 0 pro n-->∞)
pro dost měření se výběrový průměr od μ liší málo (konverguje v p-sti).
Kovariance : - sdruž. rozptyl = E(X - EX)(Y - EY) = E(XY) - EYEY. X,Y nez. => cov(X,Y)=0 (opačně neplatí !!). korelace - cor(X,Y) =

cov( X,Y)

√ var X √ var Y
- míra závislosti (jen lineární), -1 ≤ cor(X,Y) ≤ 1.

Spojité n. veličiny

hustota p-sti - lib. fce f(x) ≥ 0, ∫R f(x) dx = 1.
distrib. fce n.v - fce F(x) = ∫-∞x f(t) dt, tj. P( X ≤ x ).
stř. hodnota, rozptyl:
EX = ∫R ( x* f(x)) dx , var X = ∫R x² f(x) dx - ( ∫R x f(x) dx )²
p-st. v každém jednotl. bodě je nulová.
rovnoměrné rozdělení f(x) =

1

b-a
, x∈( a, b), 0 jinak. ( diskr. - P(X = i) = 1/n ). EX =

a + b

2
, var X =

( a-b )²

12
.
simulace jiných rozdělení - nechť n.v X má distr. fci F(X) a inverzní F^-1(t). Nechť R ~ Ro(0,1), pak Y = F^-1(R) má distr. fci F(x). ( Dk: P( Y ≤ X ) = P( F^-1(R) < x) = P( R ≤ F(x)) = (Ro) = F(x) ).
Nepodstatné, zda je n.v. diskr. nebo spojitá. Použití - randomizery.
exponenciální rozdělení - f(x) = 1/μ e^-x/μ pro x > 0, 0 jinak. EX = μ, var X = μ². jiná možnost zavedení - λ := 1/ μ, použití - doba života: P( X > x) = 1 - F(x) - fce spolehlivosti (nemá paměť, intenzita poruch konst.). Distr. fce - F(x) = 1 - e^-x/μ.
Gaussovo/normální rozdělení: f(x)=

1

σ √ 2 π
e^{- (x-μ)² / 2σ²}, x ∈ R, μ > 0, σ > 0; EX = μ, var X = σ². Dist. fce - jen tabelovaná.
symetrické kolem μ (paramter posunutí), σ² - měřítko.
Std. normální rozdělení - μ = 0, σ² = 1, lib. norm. rozdělení dostanu ze std. nějakou lin. transformací. Y ~ N( μ, σ² ) -->

Y - μ

σ
~ N(0,1). Distr. fce std. norm. rozdělení - Φ( x).
Centrální limitní věta : nechť X₁ ... X_n jsou nez. n.v., s konečným rozptylem a stejným rozdělením. Potom:
P(

∑ X_i - ∑ EX_i

√ ∑ var X_i
≤ x ) --(n--> ∞)--> Φ(x)
zajímáme-li se o rozdělení součtu, skoro vždy můžeme užít N(0,1). - pomocí konvoluce je často problém vypočítat: r₁ = ∑j=0i p_i q_i-j nebo ∫R f(x)f(z-x)dx ... normalizuji, použiji Φ(x).
dá se používat pro průměr - součet ~ průměru až na konstantu. Nekonečno začíná "brzo".
Součty norm. rozdělení - X ~ N( μ₁, σ₁² ), Y ~ N( μ₁, σ₂² ) nezávislé => X + Y ~ N( μ₁ + μ₂, σ₁² + σ₂² ). Pozor, při odčítání náh. vel. se μ odčítají ale σ² se sčítá!. aX + bY + c ~ N( c + aμ₁ + bμ₂, a²σ₁² + b²σ₂² ).
Monte Carlo simulace - Př. generování souřadnic, test trefy do čtvrtkruhu ( p = π/4 ) -> odhad π/4. Kolik je potřeba pro dost. přesnost? X_i ~ Alt( π/4 ) ... EX_i = π/4.
chci P( |1/n∑i=1n x_i - π/4 | ≤ ε ) ≥ 1 - α. n = ?. Převedu na N(0,1) pomocí CLV ... P( |

ε √ n

√(π/4)(1 - π/4)
| ≤ 1-α ) = Φ( 1 - α) = u_α. π/4 - neznám... největší rozptyl, kdyby π/4 = 1/2 => dosadím 1/2. n :=

u_α² * 1/4

ε²
.

Generátory náhody

dobrý generátor: četnosti odpovídají dané distribuci; nezávislý; rychlý; nedekódovatelný.
ověření náhodnosti - testy četnosti & náhodnosti. Von Neumann: deterministický alg., který projde testy je (pseudo)náhodný. --> další podm. - opakovatelnost; co největší perioda.
z Ro( 0,1) jde generovat cokoliv.
Př. 2k bitů, uprostřed - k, umocnit², znovu 2^k bitů, poč. číslo nutno správně zvolit.
Př. Lehmer: x_n+1 = ( ax_n + b ) mod m - dnes nejběžnější. Problém - volba a, b, m. Čísla- závislá - rekurentní vztah, ale závislost může být až O( 1/m ). Větš. generátorů - defaultní 1. číslo ( dobrá volba- větší lichá čísla).
Př. Tausworth: x:=( 1,0, .., 0,1,0 ), posun << k, xor, posun >> l => výsledek. Rychlé; problém - najít k,l. Dá se představit jako nás. matic - mám na antidiagonále.
Kombinace Tausworth & Lehmer - KISS.
Problémy - IBM PC - málo přímek ( [ u_2i-1, u_2i ] v přímkách ) --> malá perioda.
Př. generátor: 2kový rozvoj zapsaný za sebou (odstranění přebytečných jedniček).
Alt(p) - R ~ Ro(0,1). if R < p return 1 else return 0.
Bi(n,p) - buď spočítat F(x) nebo F^-1(t) a prohledávat tabulky, nebo z principu počítat z Alt(p).
spojitá rozdělení - chci aby ∅ seděla četnost.
Exp(λ) - f(x) = λ e^{-λ x}, F(x) = 1 - e^{-λ x} . F^-1(t) =

-1

λ
log( 1 - t ).
N( 0, 1 ) - φ(x) =

1

√ 2π
e^-x²/2, Φ(x) - nelze napsat, Φ^-1(t) taky ne. Aproximace (často pomalé), přibližné alg. z CLV - R₁ ... R₁₂ ~ Ro(0,1), return ∑ R_i - 6 (ale nedostanu extrémy!).

Statistika

Testování hypotéz

tvrzení - hypotéza x alternativa. nestranný odhad - μ odhadu = odhadovaný parametr. "dobrý" odhad - var( odhadu ) --> 0 pro #pokusů --> ∞.
chyba 1. druhu: zamítnu hypotézu, i když platí. 2. druhu: přijmu neplatnou hypotézu. P( chyby 1.druhu ) se dá omezit - P( X < C | H ) = α .... volím α, na základě toho dostávám C. Alternativa - jednostranná x oboustranná ( mám C₁, C₂; α₁ + α₂ = α ). α - "hladina významnosti". Dá se vždy aproximovat pomocí CLV.
rozhodnutí závisí na zvolené velikosti chyby 1. druhu; zamítnu-li hypotézu, neznamená to, že platí alternativa. Vždy lze najít α, pro které hypotézu zamítnu "poprvé" - "p-hodnota".
Bi( n,p ): ∑ X_i <> C, H: p = p₀.
Exp( λ ) - H: λ = λ₀. 1/n ∑ X_i (hodně nameřených hodnot) ... CLV: Hledám C: P(

∑ x_i - nλ₀

√ nλ₀²
≤

nC - nλ₀

√ nλ₀²
) ≤ α.

Test dobré shody

shodují se X₁ ... X_n s daným rozdělením ? Rozdělím R¹ na intervaly, zjišťuji kolik čísel do nich padlo. H: Rozdělení odpovídá zadanému.
Ro ~ Y_n = ∑i=1k

(n_i - np_i)²

np_i
( ~ No ) --> Χ_n² ( pro součet čtverců n.v. z normálního rozdělení. EY_n = n, var Y_n = 2n.
Exp - jsem schopen spočíst P( X_i padne do intervalu j ) & určím rozdíly četnosti oproti p-sti. - podobné.
Vzdálenost distribucí ... X ... F(x) distribuce; odhad - empirická distribuce F_n(x) = 1/n ∑i=1n I[ X_i ≤ x ] (skoková) (I vrací 0/1).
Kolmogorov-Smirnov: statistika F(y) = P( √n supR | F_n(x) - F(x) | ≤ y ) ... n-->∞: supR |F_n(x)-F(x)|--> 0 - přístup přímo přes data. Relativní četnosti

n_i

n
- odhad p-sti. ( p-stní histogram, četnostní histogram ).

Teorie odhadu

odhadnout parametr f( x, θ ) na zákl. pozorování
Věta: je-li možné sdruženou hustotu (Π_i=1ⁿ f(x,θ) napsat ve tvaru h(x) exp { g(θ), T(x)} (x - vektor), má smysl založit odhad θ na T(x).
Exp: sdruž. h. - Π_i=1ⁿ f( x,λ ) = λⁿ e^{-λ∑ X_i} --> λ ≅

∑ EX_i

n
.
Alt: sdruž. h. - Π_i=1ⁿ p^X_i(1-p)^1-X_i = (

p

1 - p
)^{∑ X_i} ( 1-p )ⁿ --> p ≅

∑ EX_i

n
.
statistika - lib. fce náh. veličin ( pomocí ní hledám rozdělení ).
hledání intervalu ve kterém leží neznámý parametr s danou spolehlivostí - test hypotézy, CLV.

Test 2 výběrů

o hypotéze roxhoduji na zákl. 2 výběrů - zjedn.: var X = var Y, X, Y ~ No( μ, σ² ).
H: F(x) ≡ G(x). Stejný počet pozorování netřeba, musí být nezávislé. Stačí δ obou výběrů.
jednodušší než všechna data - ∅ (X), med ( X~_0,5), kvartily, odlehlá pozorování.
krabicový graf - čáry: |ID| = 1.5( X~_0,75 - X~_0,25 ) zkrácený na posl. pozorování, které v něm leží
odlehlá pozorování; krabice: X~_0,25 - X~_0,75, čára uprostřed - med., bod - ∅.
odhad μ - ∅. ( No --> ∅ taky z No, se stejnou μ, ale n-krát menším rozptylem ).
test:

X_n - Y_n - ( μ₁ - μ₂ )

√ σ²/n + σ²/n
~ N(0,1)
(z H: μ₁ - μ₂ = 0, zjedn. - σ₁ = σ₂ ). -- fixuji p-st. chyby 1. druhu.
neznám-li parametry, použiji odhad. - σ²~ =

1

n-1
∑i=1n ( X_i - X_n )²
(n-1)σ²~

σ²
~ Χ_n²; t_n: X ~ N(0,1), Y ~ Χ_n² =>

X

√ Y / n
~ t_n ( blíží se No ).
na rozdělení tolik nezáleží - důležitá NEZÁVISLOST. Rozdělení statistiky určuji za platnosti hypotézy !

Lin. regrese

zjišťuji závislost 2 veličin - X ( nezávislá, vysvětlující, regresní ), Y ( závislá, "odezva" ).
statistický model: Y_i = β₀ + β₁ X_i + ε_i. ε_i - náh. chyba
přímka - jen aproximace, Y - náh. veličina, stejné rozdělení jako ε (jen posunuté), často použité norm. rozd.
regrese - E( Y | X = x ) - podmíněná stř. hodnota při pevném x ( křivka ).
odhad β₀, β₁: metoda nejmenších čtverců - arg min_{β₀,β₁∈ R²} ∑i=1n ( Y_i - β₀ - β₁ X_i )² <--( "RSS" ) (obecně lze použít lib. fce ).
hledání minima fce - derivace: U( β₀, β₁ ) = ∑i=1n ( Y_i - β₀ - β₁ x_i )² -

dU

dβ₀
,

dU

dβ₁
= 0.
vypočtené odhady - b₀, b₁ - nestranné, dá se spočíst μ i var. Opět normální rozdělení => jsem schopen testovat, zda β₁ ≠ 0 (tj. zda jsou vůbec veličiny závislé ) H₀ - β₁ = 0 ... když b₁ velké: zamítnu; volím chybu, parametry mohu odhadovat - Χ_n²,

b₁

RSS / σ²
~ t_n - čím víc parametrů odhaduji, tím složitější; víc veličin - podobné, problémy: bez RSS, N(0,1).
odhad σ² =

1

n-2
∑i=1n ( Y_i - b₀ - b₁ X_i )², kde ( b₀ - b₁ X_i ≅ μ ), různé rozptyly - složitější.