25 - Erwartungswert, Varianz, Momente und Entropie

Erwartungswert einer diskreten Zufallsvariblen

Ist $X$ eine diskrete Zufallsvariable mit Werten in $\mathcal{X}$ und Zähldichte $p_X(x), x\in\mathcal{X},$ dann ist der Erwartungswert von $X$ definiert durch $$E(X)=\sum_{x\in\mathcal{X}}x\cdot p_X(x),$$ falls $\sum_{x\in\mathcal{X}}|x|p_X(x)<\infty$.

Erwartungswert einer stetigen Zufallsvariablen

Ist $X\sim f_X(x)$ eine stetige Zufallsvariable, dann heißt $$E(X)=\int_{-\infty}^{\infty}xf_X(x)dx$$ Erwartungswert von $X$, sofern $\int_{-\infty}^{\infty}|x|f_X(x)dx<\infty$.

Rechenregeln

Sind $X$ und $Y$ Zufallsvariablen und $a,b\in\mathbb{R}$, dann gilt:

$E(X+Y)=E(X)+E(Y)$,
$E(aX+b)=aE(X)+b$,
$E|X+Y|\leq E|X|+E|Y|$,
Jensen-Ungleichung: Ist $g(x)$ konvex, dann gilt $E(g(X))\geq g(E(X))$ und $E(g(X))> g(E(X))$, wenn $g(x)$ strikt konvex ist. Ist $g(x)$ konkav, dann gelten die Ungleichungen mit umgekehrten Ungleicheitszeichen.

Produkteigenschaft

Sind $X$ und $Y$ stochastisch unabhängige Zufallsvariablen, dann gilt für alle Funktionen $f(x)$ und $g(x)$ $$E(f(X)g(Y))=E(f(X))\cdot E(g(Y)),$$ sofern $E|f(X)|<\infty$ und $E|g(Y)|<\infty$. Insbesondere gilt dann $$E(XY)=E(X)\cdot E(Y).$$

Transformationsformel

Ist $X$ eine Zufallsvariable und $g:\mathcal{X}\rightarrow\mathcal{Y}$ eine Funktion mit $E|g(X)|<\infty$, dann gilt für den Erwartungswert der Zufallsvariablen $Y=g(X)$:

Sind $X\sim p_X(x)$ und $Y\sim p_Y(y)$ diskrete Zufallsvariablen, dann gilt $$E(Y)=\sum_{x\in\mathcal{X}}g(x)p_X(x)=\sum_{y\in\mathcal{Y}}yp_Y(y).$$
Sind $X\sim f_X(x)$ und $Y\sim f_Y(y)$ stetige Zufallsvariablen, dann gilt $$E(Y)=\int_{-\infty}^{\infty}g(x)f_X(x)dx=\int_{-\infty}^{\infty}yf_Y(y)dy.$$

Varianz

Ist $X$ eine Zufallsvariable mit $E(X^2)<\infty$, dann heißt $$\sigma_X^2=\text{Var}(X)=E((X-E(X))^2)$$ Varianz von $X$. Der Ausdruck $$\sigma_X=\sqrt{\text{Var}(X)}$$ heißt Standardabweichung von $X$.

Varianz und Stichprobenvarianz

Ist $X$ eine diskrete Zufallsvariable mit Werten in $\mathcal{X}=\{x_1,\ldots,x_n\}$ und $P(X=x_i)=\frac{1}{n}$ für alle $i=1,\ldots,n$, dann gilt $$E(X)=\frac{1}{n}\sum_{i=1}^nx_i \quad \text{und} \quad \text{Var}(X)=\frac{1}{n}\sum_{i=1}^n(x_i-\bar{x})^2.$$

Verschiebungssatz

Es gilt $\text{Var}(X)=E(X^2)-(E(X))^2$.

Rechenregeln

Sind $X$ und $Y$ Zufallsvariablen, deren Varianzen existieren, und $a\in\mathbb{R}$, dann gilt:

$\text{Var}(aX)=a^2\text{Var}(X)$.
$\text{Var}(X)=E(X^2)$, wenn $E(X)=0$.
Sind $X$ und $Y$ stochastisch unabhängig, dann gilt $$\text{Var}(X+Y)=\text{Var}(X)+\text{Var}(Y).$$

Kovarianz

Für Zufallsvariablen $X$ und $Y$, deren Varianzen existieren, heißt $$\text{Cov}(X,Y)=E(X-\mu_X)(Y-\mu_Y)$$ Kovarianz von $X$ und $Y$.

Rechenregeln

Sind $X,Y$ und $Z$ Zufallsvariablen mit existierenden Varianzen, dann gilt:

$\text{Cov}(aX,bY)=ab\text{Cov}(X,Y)$ für alle $a,b\in\mathbb{R}$.
$\text{Cov}(X,Y)=\text{Cov}(Y,X)$.
$\text{Cov}(X,Y)=0$, falls $X$ und $Y$ stochastisch unabhängig sind.
$\text{Cov}(X+Y,Z)=\text{Cov}(X,Z)+\text{Cov}(Y,Z)$.

Unkorreliertheit

Zwei Zufallsvariablen $X$ und $Y$ sind unkorreliert, wenn $\text{Cov}(X,Y)=0$.

Aus stochastischer Unabhängigkeit folgt Unkorreliertheit, die Umkehrung gilt i. A. nicht.

Korrelationskoeffizient

Sind $X$ und $Y$ Zufallsvariablen mit Varianzen $\sigma_X^2\in(0,\infty)$ und $\sigma_Y^2\in(0,\infty)$, dann wird $$\rho=\rho(X,Y)=\text{Cor}(X,Y)=\frac{\text{Cov}(X,Y)}{\sigma_X\sigma_Y}$$ Korrelationskoeffizient von $X$ und $Y$ genannt.

Eigenschaften

Für Zufallsvariablen $X$ und $Y$ gilt:

$\text{Cor}(X,Y)=\text{Cor}(Y,X)$.
$-1\leq\text{Cor}(X,Y)\leq1$.
$|\text{Cor}(X,Y)|=1$ gilt genau dann, wenn $X$ und $Y$ linear abhängig sind.
$\text{Cov}(X,Y)=1$ genau dann, wenn $Y=a+bX$ mit $b>0,a\in\mathbb{R}$.
$\text{Cov}(X,Y)=-1$ genau dann, wenn $Y=a+bX$ mit $b<0,a\in\mathbb{R}$.

Cauchy-Schwarz-Ungleichung

Für Zufallsvariablen $X$ und $Y$ mit Varianzen $\sigma_X^2\in(0,\infty)$ und $\sigma_Y^2\in(0,\infty)$ gilt $$|\text{Cov}(X,Y)|\leq\sqrt{\text{Var}(X)}\sqrt{\text{Var}(Y)}=\sigma_X\sigma_Y.$$

Momente

Ist $X$ eine Zufallsvariable mit $E|X|^k<\infty$ und $a\in\mathbb{R}$, dann heißt $$m_k(a)=E(X-a)^k, \quad m_k=m_k(0),$$ Moment $k$-ter Ordnung von $X$ bzgl. $a$. Der Ausdruck $$m_k^{\ast}(a)=E|X-a|^k, \quad m_k^{\ast}=m_k^{\ast}(0),$$ heißt zentriertes Moment $k$-ter Ordnung von $X$ bzgl. $a$. Die Ausdrücke $$\mu_k=m_k(E(X)) \quad \text{und} \quad \mu_k^{\ast}=m_k^{\ast}(E(X))$$ heißen zentrales Moment und zentrales absolutes Moment.

Einige Momente

$m_1=E(X)$,
$m_2=E(X^2)$ und $\mu_2=\text{Var}(X)$,
Das vierte Moment von $X^{\ast}=\frac{X-E(X)}{\sqrt{\text{Var}(X)}}$ ist $\beta_2=E(X^{\ast})^4=\frac{m_4(X)}{\sigma_X^4}$ und heißt Kurtosis.
Ist $X\sim N(\mu,\sigma^2)$, dann ist $\beta_2=3$ und $\gamma_2=\beta_2-3$ heißt Exzess.

Entropie

Ist $X$ eine diskrete Zufallsvariable mit Werten in $\mathcal{X}=\{x_1,x_2,\ldots\}$ und zugehörigen Wahrscheinlichkeiten $p_i=P(X=x_i)$, dann heißt $$H(X)=-\sum_{i=1}^{\infty}p_i\log_2(p_i)$$ Entropie von $X$.

Man setzt $0\cdot\log_2(0)=0$.