31 - Mehrdimensionale Verteilungen

Multinomialverteilung

Der Ausdruck $$\binom{n}{x_1\cdots x_k}=\frac{n!}{x_1!\cdot x_2!\cdots x_k!}$$ wird Multinomialkoeffizient gennant und gibt die Anzahl der Möglichkeiten an, eine $n$-elementige Menge in $k$ Teilmengen mit $x_1,\ldots,x_k$ Elementen zu zerlegen.

Auf der Menge $$\mathcal{X}=\{0,\ldots,n\}\times\cdots\times\{0,\ldots,n\}$$ wird durch $$p_{\boldsymbol{H}}(x_1,\ldots,x_k)=P((H_1,\ldots,H_k)=(x_1,\ldots,x_k))$$ $$=\left\{\begin{aligned}\binom{n}{x_1\cdots x_k}p_1^{x_1}\cdots p_k^{x_k},\quad& \text{falls } x_1+\ldots+x_k=n, x_1,\ldots,x_k\geq0\\ 0, \qquad\qquad\qquad\qquad\qquad\qquad\quad& \text{sonst}\end{aligned}\right.$$ die Multinomialverteilung mit Parametern $n$ und $\boldsymbol{p}=(p_1,\ldots,p_k)$ definiert. Notation: $(H_1,\ldots,H_k)\sim M(n;p_1,\ldots,p_k)$.

Eigenschaften

$E(H_j)=n\cdot p_j$,
$\text{Var}(H_j)=n\cdot p_J(1-p_j)$,
$\text{Cov}(H_I,H_j)=-n\cdot H_i\cdot H_j$.

Multivariate Normalverteilung

Multivariate Standardnormalverteilung

Seien $X_1,\ldots,X_n$ unabhängig und identisch standardnormalverteilte Zufallsvariablen. Dann hat der Zufallsvektor $\boldsymbol{X}=(X_1,\ldots,X_n)'$ die gemeinsame Dichtefunktion $$\varphi(x_1,\ldots,x_n)=\left(\frac{1}{\sqrt{2\pi}}\right)^n\exp\left(-\frac{1}{2}\sum_{i=1}^n\, x_i^2\right), \quad x_1,\ldots,x_n \in \mathbb{R}.$$ $\boldsymbol{X}$ heißt multivariat oder $n$-dimensional standardnormalverteilt. Notation: $\boldsymbol{X}\sim N_n(\boldsymbol{0},\boldsymbol{I})$.

Ist $\boldsymbol{X}\sim N_n(\boldsymbol{0},\boldsymbol{I})$ und $\mu\in\mathbb{R}^n$ ein Vektor, dann gilt $$\boldsymbol{Y}=\boldsymbol{X}+\mu\sim N_n(\mu,\boldsymbol{I}).$$ Notation: $\boldsymbol{Y}\sim N_n(\mu,\boldsymbol{I})$.

Ist $\boldsymbol{X}=(X_1,\ldots,X_n)'\sim N_n(\mu,\boldsymbol{I})$ und $\boldsymbol{a}=(a_1,\ldots,a_n)'\in\mathbb{R}^n$ ein Spaltenvektor, dann gilt $$\boldsymbol{a}'\boldsymbol{X}\sim N_n(\boldsymbol{a}'\mu,\boldsymbol{a}'\boldsymbol{a}).$$

Zwei Zufallsvariablen $U=\boldsymbol{a}'\boldsymbol{X}$ und $V=\boldsymbol{b}'\boldsymbol{X}$ sind genau dann unkorreliert und somit unabhängig, wenn $\boldsymbol{a}'\boldsymbol{b}=0$.

Multivariate Normalverteilung

Seien $\boldsymbol{X}=(X_1,\ldots,X_n)'$ ein multivariat standardnormalverteilter Zufallsvektor, $\boldsymbol{a}_1,\ldots,\boldsymbol{a}_m$ linear unabhängige Spaltenvektoren und $\boldsymbol{A}$ die $m\times n$-Matrix mit Zeilenvektoren $\boldsymbol{a}_1',\ldots,\boldsymbol{a}_m'$. Dann ist der Spaltenvektor $$\boldsymbol{Y}=(Y_1,\ldots,Y_m)'=(\boldsymbol{a}_1'\boldsymbol{X},\ldots,\boldsymbol{a}_m'\boldsymbol{X})'=\boldsymbol{AX}$$ multivariat normalverteilt mit Erwartungswertvektor $\boldsymbol{0}\in\mathbb{R}^m$ und $(m\times m)$-Kovarianzmatrix $$\boldsymbol{\Sigma}=(\text{Cov}(Y_i,Y_j))_{i,j}=(\boldsymbol{a}_i'\boldsymbol{a}_j')_{i,j}=\boldsymbol{AA}'.$$ Notation: $\boldsymbol{Y}\sim N_m(\boldsymbol{0},\boldsymbol{\Sigma})$.

Der Zufallsvektor $\boldsymbol{Y}=\boldsymbol{AX}+\boldsymbol{b}$, $\boldsymbol{b}\in\mathbb{R}^n$, ist dann multivariat normalverteilt mit Erwartungswertvektor $\boldsymbol{b}$ und Kovarianzmatrix $\boldsymbol{\Sigma}=\boldsymbol{AA}'$. Notation: $\boldsymbol{Y}\sim N_m(\boldsymbol{b},\boldsymbol{\Sigma})$.

Die Matrix $\boldsymbol{\Sigma}$ hat maximalen Rang $m$.

Zweidimensionale Normalverteilung

Die Dichtefunktion eines zweidimensional normalverteilten Zufallsvektors $(X,Y)$ ist gegeben durch $$f(x,y)=\frac{\exp\left\{-\frac{1}{2(1-\rho^2)}\left[\left(\frac{x-\mu_X}{\sigma_X}\right)^2-2\rho\frac{x-\mu_X}{\sigma_X}\frac{y-\mu_Y}{\sigma_Y}+\left(\frac{y-\mu_Y}{\sigma_Y}\right)^2\right]\right\}}{2\pi\sigma_X\sigma_Y\sqrt{1-\rho^2}},$$ für $(x,y)\in\mathbb{R}^2$. Man schreibt dann $$\left(\begin{array}{c}X \\ Y\end{array}\right)\sim N(\mu,\boldsymbol{\Sigma}) \quad \text{mit} \quad \mu=\left(\begin{array}{c}\mu_X\\ \mu_Y\end{array}\right), \quad \boldsymbol{\Sigma}=\left(\begin{array}{cc}\sigma_X^2 & \rho \\ \rho & \sigma_Y^2\end{array}\right).$$

Bei der zweidimensionalen Normalverteilung ist Unabhängigkeit äquivalent zu Unkorreliertheit: Im Fall $\rho=0$ gilt $$f(x,y)=\frac{\exp\left(-\frac{(x-\mu_X)^2}{2\sigma_X^2}\right)}{\sqrt{2\pi}}\cdot\frac{\exp\left(-\frac{(y-\mu_Y)^2}{2\sigma_Y^2}\right)}{\sqrt{2\pi}}.$$

Jede Linearkombination $aX+bY$ mit Koeffizienten $a,b\in\mathbb{R}$ ist wieder normalverteilt.

Schätzer

Für die Schätzer $$\hat{\mu}_X=\frac{1}{n}\sum_{i=1}^n\,X_i, \qquad \hat{\mu}_Y=\frac{1}{n}\sum_{i=1}^n\,Y_i,\qquad\qquad\qquad\qquad\quad$$ $$\hat{\sigma}_X^2=\frac{1}{n}\sum_{i=1}^n\,(X_i-\bar{X})^2, \qquad \hat{\sigma}_Y^2=\frac{1}{n}\sum_{i=1}^n\,(Y_i-\bar{Y})^2,$$ $$\hat{\rho}_{XY}^2=\frac{\sum_{i=1}^n\,X_iY_i-n\bar{X}_n\bar{Y}_n}{\sqrt{\hat{\sigma}_X^2\hat{\sigma}_Y^2}}\qquad\qquad\qquad\qquad\qquad\qquad$$ gilt:

Diese Schätzer sind Maximum-Likelihood-Schäter.
$\hat{\mu}_X$ ist erwartungstreu und stark konsistent für $\mu_X$.
$\hat{\mu}_Y$ ist erwartungstreu und stark konsistent für $\mu_Y$.
$\hat{\sigma}_X^2$ ist asymptotisch erwartungstreu und stark konsistent für $\sigma_X^2$.
$\hat{\sigma}_Y^2$ ist asymptotisch erwartungstreu und stark konsistent für $\sigma_Y^2$.
$\hat{\rho}_{XY}^2$ ist asymptotisch erwartungstreu und stark konsistent für $\rho_{XY}^2$.

Eigenschaften

Sei $(X,Y)$ bivariat normalverteilt mit Parametern $\mu_X,\mu_Y,\sigma_X,\sigma_Y,\rho$. Dann gilt:

$X\sim N(\mu_X,\sigma_X^2)$.
$Y\sim N(\mu_Y,\sigma_Y^2)$.
$X$ und $Y$ sind genau dann unabhängig, wenn $\rho=0$.
Die bedingte Verteilung von $Y$ gegeben $X=x$ ist eine Normalverteilung mit bedingtem Erwartungswert $$\mu_Y(x)=E(Y|X=x)=\mu_Y+\rho\sigma_Y\frac{x-\mu_X}{\sigma_X}$$ und bedingter Varianz $$\sigma_Y^2(x)=\text{Var}(Y|X=x)=\sigma_Y^2(1-\rho^2).$$ Notation: $Y|X=x\sim N(\mu_Y(x),\sigma_Y^2(x))$.
Die bedingte Verteilung von $X$ gegeben $Y=y$ ist eine Normalverteilung mit bedingtem Erwartungswert $$\mu_X(y)=E(X|Y=y)=\mu_X+\rho\sigma_X\frac{y-\mu_Y}{\sigma_Y}$$ und bedingter Varianz $$\sigma_X^2(y)=\text{Var}(X|Y=y)=\sigma_X^2(1-\rho^2).$$ Notation: $X|Y=y\sim N(\mu_X(y),\sigma_X^2(y))$.