43 - Multiple Lineare Regression

Modell

Es wird angenommen, dass $$Y=f(x_1,\ldots,x_p)+\varepsilon$$ mit $E(\varepsilon)=0$. $f$ heißt dann (wahre) Regressionfunktion. Hat $f$ die Form $$F(x_1,\ldots,x_p)=b_0+b_1x_1+\ldots+b_px_p,$$ kann $f$ in der Form $f(x_1,\ldots,x_p)=\boldsymbol{b}'\boldsymbol{x}$ mit $\boldsymbol{b}=(b_0,\ldots,b_p)'\in\mathbb{R}^{p+1}$ und $\boldsymbol{x}=(1,x_1,\ldots,x_p)\in\mathbb{R}^{p+1}$ geschrieben werden, und heißt linearer Prädiktor.

Sei $$Y_i=f(x_{i1},\ldots,x_{ip})+\varepsilon_i, \quad i=1,\ldots,n,$$ wobei $\varepsilon_1,\ldots,\varepsilon_n$ unabhängig und identisch verteilte Zufallsvariablen mit $E(\varepsilon_i)=0$, $\text{Var}(\varepsilon_i)=\sigma^2\in(0,\infty)$, $i=1,\ldots,n$, sind. Dann gilt mit $$\boldsymbol{Y}=(Y_1,\ldots,Y_n)'\in\mathbb{R}^n, \quad \varepsilon=(\varepsilon_1,\ldots,\varepsilon_n)'\in\mathbb{R}^n, \quad \boldsymbol{X}=\left(\begin{array}{ccc}x_{11}&\cdots&x_{ik}\\ \vdots && \vdots\\ x_{n1} &\cdots& x_{nk}\end{array}\right),$$ dass $$\boldsymbol{Y}=\boldsymbol{Xb}+\varepsilon.$$ Die $(n\times k)$-Matrix $\boldsymbol{X}$ heißt dann Designmatrix.

KQ-Schätzung

Zu minimieren ist die Zielfunktion $$Q(\boldsymbol{b})=\sum_{i=1}^n(Y_i-\boldsymbol{x}_i'\boldsymbol{b})^2, \quad \boldsymbol{b}\in\mathbb{R}^k.$$ Jedes Minimum $\hat{\boldsymbol{b}}=(\hat{b}_o,\hat{b}_1,\ldots,\hat{b}_p)'$ von $Q(\boldsymbol{b})$ heißt KQ-Schätzer für $\boldsymbol{b}$.

Schätzung der Residuen

$\hat{\varepsilon}=\boldsymbol{Y}-\boldsymbol{X}\hat{\boldsymbol{b}}$ mit $$\hat{\varepsilon}_i=Y_i-x_i'\hat{\boldsymbol{b}}.$$

Schätzung des Modellfehlers

$$\hat{\sigma}^2=\frac{1}{n-k}\sum_{i=1}^n\hat{\varepsilon}_I^2.$$

Normalgleichungen

Ist $\hat{\boldsymbol{b}}$ der KQ-Schätzer für $\boldsymbol{b}$ , dann gelten die Normalgleichungen $$\boldsymbol{X}'\boldsymbol{X}\hat{\boldsymbol{b}}=\boldsymbol{X}'\boldsymbol{Y}.$$ Hat $\boldsymbol{X}$ (vollen) Rang $k$, dann ist $$\hat{\boldsymbol{b}}=(\boldsymbol{X}'\boldsymbol{X})^{-1}\boldsymbol{X}'\boldsymbol{Y}, \quad \hat{\varepsilon}=(\boldsymbol{I}-\boldsymbol{X}(\boldsymbol{X}'\boldsymbol{X})^{-1}\boldsymbol{X}')\boldsymbol{Y}.$$

Verteilungseigenschaften

Sind $\varepsilon_1,\ldots,\varepsilon_n$ unabhängig und identisch $N(0,\sigma^2)$-verteilt, dann gilt $$\varepsilon\sim N(\boldsymbol{0},\sigma^2\boldsymbol{I}) \quad \text{und} \quad \boldsymbol{Y}\sim N(\boldsymbol{Xb},\sigma^2\boldsymbol{I}).$$

Hat $\boldsymbol{X}$ vollen Spaltenrang, dann gilt:

$\hat{\boldsymbol{b}}\sim N(\boldsymbol{b},\sigma^2(\boldsymbol{X}'\boldsymbol{X})^{-1})$
$\hat{\varepsilon}\sim N(\boldsymbol{0},(\boldsymbol{I}-\boldsymbol{X}(\boldsymbol{X}'\boldsymbol{X})^{-1}\boldsymbol{X}'))$
$\sum_{i=1}^n\hat{\varepsilon}_i^2\sim\chi^2(n-k)$
$\hat{\sigma}^2$ ist erwartungstreu für $\sigma^2$.
$\hat{\boldsymbol{b}}$ und $\hat{\sigma}^2$ sind unabhängig.

Test der Regressionskoeffizienten

Die Statistik $$T_j=\frac{\hat{b}_j-b_j}{\hat{\sigma}h_i}$$ ist $t(n-k)$-verteilt, wobei $h_i$das $i$-te Diagonalelement der Matrix $(\boldsymbol{X}'\boldsymbol{X})^{-1}$ ist.

Hypothesentest: $$H_0: b_j=0 \quad \text{gegen} \quad H_1: b_j\ne0.$$ $H_0$ ablehnen, wenn $|T_j|>t(n-k)_{1-\alpha/2}$.