24 - Zufallsvariablen und Verteilungen

Eine Zufallsvariable ist eine Abbildung $$X: \Omega \rightarrow \mathcal{X}\subset\mathbb{R}, \quad \omega\mapsto X(\omega),$$ einer abzählbaren Ergebnismenge in die reellen Zahlen. Tritt $\omega\in\Omega$ ein, dann heißt $x=X(\omega)$ Realisation. Ist $\Omega$ überabzählbar und mit einer Ergebnisalgebra $\mathcal{A}$ versehen, dann müssen zusätzlich alle Teilmengen der Form $\{\omega\in\Omega: X(\omega)\in B\}$, wobei $B$ eine Borelsche Menge von $\mathcal{X}$ ist, Ereignisse von $\Omega$ sein, d.h. $$\{\omega\in\Omega:X(\omega)\in B\}\in\mathcal{A} \quad \text{für alle Ereignisse $B$ von $\mathcal{X}$}.$$

Ist die Menge $\mathcal{X}=\{X(\omega): \omega\in\Omega\}$ diskret, dann heißt $X$ diskrete Zufallsvariable.

Eigenschaften

Wenn die Ergebnismenge $\Omega$ diskret ist, dann sind alle Zufallsvariablen $X:\Omega\rightarrow\mathcal{X}$ diskret.

Verteilung

Die Verteilung von $X$ ordnet jedem Ereignis $A$ von $\mathcal{X}$ die Wahrscheinlichkeit $P(X\in A)$ zu und wird mit $P_X(A)$ bezeichnet.

Die Verteilungsfunktion von $X$ ist durch die Funktion $F_X: \mathbb{R} \rightarrow [0,1],$ $$F_X(x)=P(X\leq x), \quad x\in\mathbb{R},$$ gegeben.

Eigenschaften

$F_X(x)$ ist monoton wachend und rechtsstetig.
Es gilt $$F(-\infty):=\lim_{x\rightarrow-\infty}F_X(x)=0, \quad F(\infty):=\lim_{x\rightarrow\infty}F_X(x)=1.$$
Es gilt: $$P(X<x)=F(x-)=\lim_{z\uparrow x}\, F(z).$$
Es gilt: $$P(X=x)=F(x)-F(x-).$$

Jede monoton wachsende und rechtsstetige Funktion $F:\mathbb{R}\rightarrow[0,1]$ mit $F(-\infty)=0$ und $F(\infty)=1$ heißt Verteilungsfunktion (auf $\mathbb{R}$) und besitzt obige Eigenschaften.

Quantilfunktion

Ist $F(x)$ eine Verteilungsfunktion, dann heißt die Funktion $F^{-1}:[0,1]\rightarrow\mathbb{R}$, $$F^{-1}(p)=\min\{x\in\mathbb{R}:F(x)\geq p\}, \quad p \in (0,1),$$ Quantilfunktion von $F$. Für ein festes $p$ heißt $F^{-1}(p)$ (theoretisches) $p$-Quantil.

Ist $F(x)$ stetig und streng monoton steigend, wann ist $F^{-1}(p)$ die Umkehrfunktion von $F(x)$.

Dichte

Diskrete Zufallsvariablen

Ist $X$ eine diskrete Zufallsvariable mit Werten in $\mathcal{X}=\{x_1,x_2,\ldots\}\subset\mathbb{R}$, dann heißt die Funktion $$p_X(x)=P(X=x), \quad x\in\mathbb{R},$$ Wahrscheinlichkeitsfunktion oder Zähldichte von $X$.

Es gilt: $$\sum_{x\in\mathcal{X}}\,p_X(x)=\sum_{i=1}^{\infty}\,p_X(x_i)=1.$$

Die Verteilung von $X$ wird eindeutig durch die Zähldichte bestimmt. Die Zähldichte wird durch die Punktwahrscheinlichkeiten $$p_i=P(X=x_i), \quad i=1,2,\ldots,$$ festgelegt: Es gilt $p_X(x_i)=p_i$ und $p_X(x)=0$, wenn $x\notin\mathcal{X}$. Wenn $X$ nur endlich viele Werte $x_1,\ldots,x_k$ annehmen kann, wird $(p_1,\ldots,p_k)$ Wahrscheinlichkeitsvektor genannt.

Stetige Zufallsvariablen

Eine Zufallsvariable $X$ ist stetig (verteilt), wenn es eine nicht-negative, integrierbare Funktion $f_X(x)$ gibt, sodass für alle Intervalle $(a,b]\subset\mathbb{R}$ gilt: $$P_X((a,b])=P(a<X\leq b)=\int_a^bf(x)dx.$$ $f_X(x)$ heißt Dichtefunktion (kurz: Dichte).

Allgemein heißt jede Funktion $f:\mathbb{R}\rightarrow[0,\infty]$ mit $f(x)\geq0, x\in\mathbb{R},$ und $\int_{-\infty}^{\infty}f(x)dx=1$ Dichtefunktion.

Dichtetransformation

Sei $y=g(x)$ eine stetig differenzierbare Fuktion, d.h. $g:(a,b)\rightarrow(c,d)$ mit Umkehrfunktion $x=g^{-1}(y)$ und $(g^{-1})'(y)\neq0$ für alle $y\in(c,d)$. Dann ist die Dichtefunktion der Zufallsvariablen $Y=g(X)$ gegeben durch $$f_Y(y)=f_X(g^{-1}(y))\left|\frac{dg^{-1}(y)}{dy}\right|, \quad y\in(c,d).$$

Stochastische Unabhängigkeit

Zwei Zufallsvariablen $X$ und $Y$ mit Werten in $\mathcal{X}$ bzw. $\mathcal{Y}$ sind (stochastisch) unabhängig, wenn für alle Ereignisse $A\subset\mathcal{X}$ und für alle Ereignisse $B\subset\mathcal{Y}$ gilt: $$P(X\in A,Y\in B)=P(X\in A)P(Y\in B).$$
Allgemein heißen $n$ Zufallsvariablen $X_1,\ldots,X_n$ mit Werten in $\mathcal{X}_1,\ldots,\mathcal{X}_n$ (stochastisch) unabhängig, wenn für alle Ereignisse $A_1\subset\mathcal{X}_1,\ldots,A_n\subset\mathcal{X}_n$ die Ereignisse $\{X_1\in A_1\},\ldots,\{X_n\in A_n\}$ (total) unabhängig sind. D. h. für alle $i_1,\ldots,i_k\in\{1,\ldots,n\},1\leq k\leq n,$ gilt: $$P(X_{i_1}\in A_{i_1},\ldots,X_{i_k}\in A_{i_k})=P(X_{i_1}\in A_{i_1})\cdots P(X_{i_k}\in A_{i_k}).$$

Kriterium für diskrete Zufallsvariablen

Zwei diskrete Zufallsvariablen $X$ und $Y$ sind stochastisch unabhängig, wenn die Ereignisse $\{X=x_i\}$ und $\{Y=y_i\}$ für alle Realisationen $x_i$ von $X$ und $y_i$ von $Y$ stochastisch unabhängig sind, d.h. $$P(X=x_i,Y=y_i)=P(X=x_i)P(Y=y_i).$$

Für stochastisch unabhängige diskrete Zufallsvariablen gilt $$P(X=x_i|Y=y_i)=P(X=x_i) \quad \text{und} \quad P(Y=y_i|X=x_i)=P(Y=y_i).$$

Kriterium für stetige Zufallsvariablen

Zwei stetige Zufallsvariablen $X$ und $Y$ sind stochastisch unabhängig, wenn die Ereignisse $\{a<X\leq b\}$ und $\{c<Y \leq d\}$ für alle Intervalle $(a,b]$ und $(c,d]$ unabhängig sind, d.h. $$P(a<X\leq b,c<Y\leq b)=\int_{a}^bf_X(x)dx\int_c^df_Y(y)dy=\int_a^b\int_c^df_X(x)f_Y(y)dydx.$$

Zufallsstichprobe

Eine (einfache) Zufallsstichprobe besteht aus $n$ unabhängig und identisch verteilten Zufallsvariablen $X_1,\ldots,X_n$, d.h.

$X_1,\ldots,X_n$ sind stochastisch unabhängig und
$X_1,\ldots,X_n$ sind identisch verteilt: $$P(X_i\in A)=P(X_1\in A), \quad i=1,\ldots,n.$$

Sind die $X_i$ nach der Verteilungsfunktion $F(x)=F_X(x)$ verteilt, dann schreibt man $$X_1,\ldots,X_n \stackrel{\text{i.i.d.}}{\sim}F(x).$$

Hier steht i.i.d. für unabhängig und identisch verteilt (engl.: independent and identically distributed).

Faltung

Diskrete Faltung

Sind $X\sim p_X(x)$ und $Y\sim p_Y(y)$ unabhängige Zufallsvariablen, dann ist die Verteilung der Summenvariable $Z=X+Y$ gegeben durch die diskrete Faltung $$P(Z=z)=\sum_{y\in\mathcal{Y}}\,p_X(z-y)p_Y(y)=\sum_{x\in\mathcal{X}}\,p_Y(z-x)p_X(x)$$ für $z\in\mathcal{Z}=\{x+y:x\in\mathcal{X},y\in\mathcal{Y}\}$.

Stetige Faltung

Sind $X\sim f_X(x)$ und $Y\sim f_Y(y)$ unabhängige stetige Zufallsvariablen, dann ist die Dichte der Summenvariablen $Z=X+Y$ gegeben durch die stetige Faltung $$f_Z(z)=\int_{-\infty}^{\infty}f_X(z-y)f_Y(y)dy=\int_{-\infty}^{\infty}f_Y(z-x)f_X(x)dx.$$