Test MathJax
Sei $ T_n^* = T_n(X_1, \dots, X_n ) $ und $ T_n^* = T_n - E(T_n) $. Betrachte den $ L_2 $-Unterraum
$$ \mathcal{V} = \{ V : V = \sum_{i=1}^n k(X_i), k \text{ mb. Funktion mit $ Ek^2(X_1) < \infty $} \}$$
Definiere
$$ P_{\mathcal{V}}( T_n^* ) = \sum_{i=1}^n k^*(X_i) $$
mit $ k^*(x) = E( T_n^* | X_i = x ) $. Wir zeigen nun, dass $ P_{\mathcal{V}}( T_n^* ) $ die $ L_2 $-optimale Approximation an $ T_n^* $ bzgl. der Klasse $ \mathcal{V} $ ist.
Theorem 3.3.2: Für alle $ V \in \mathcal{V} $ gilt: $$ E( P_{\mathcal{V}}( T_n^* ) - T_n^* )^2 \le E( V - T_n^* )^2 $$
Beweis: Es gilt (ergänze $ - P_{\mathcal{V}}( T_n^* ) + P_{\mathcal{V}}( T_n^* ) $) : $$ E( P_{\mathcal{V}}( T_n^* ) - T_n^* )^2 = E( V - P_{\mathcal{V}}( T_n^* ) )^2 + 2 E( V - P_{\mathcal{V}}( T_n^* ))(P_{\mathcal{V}}( T_n^* ) - T_n^*) + E(P_{\mathcal{V}}( T_n^* )-T_n^* )^2 $$
Beachte, dass $ V = \sum_{i=1}^n k(X_i) $ für eine Funktion $k$, da $ V \in \mathcal{V} $. Wir zeigen zunächst, dass stets das gemischte Glied verschwindet: Man hat $ V - P_{\mathcal{V}}( T_n^* ) = \sum_i [ k(X_i) - k^*(X_i) ] $. Einsetzen, vertauschen von $ E(\cdot) $ und Summe sowie Bedingen auf $ X_i $ liefert:
$$ C = E( V - P_{\mathcal{V}}( T_n^* ))(P_{\mathcal{V}}( T_n^* ) - T_n^*) = \sum_{i=1}^n E_{X_i}\left( E ( [k(X_i) - k^*(X_i)] ( P_{\mathcal{V}}( T_n^* ) - T_n^* ) | X_i ) \right) $$
Da $ k(X_i) - k^*(X_i) $ $ \sigma(X_i) $-messbar ist, folgt
$$ C = \sum_{i=1}^n E_{X_i}\left( [k(X_i) - k^*(X_i)] E ( ( P_{\mathcal{V}}( T_n^* ) - T_n^* ) | X_i ) \right) $$
wobei
$$ E( P_{\mathcal{V}}( T_n^* ) | X_i ) = k^*(X_i) $$
nach Definition von $ k^* $ und
$$ E( T_n^* | X_i ) = \sum_{j=1}^n E( k^*(X_j) | X_i ) = k^*(X_i), $$
da $ k^*(X_j) $ unabhängig von $ X_i $ ist und $ E k^*(X_j) = 0 $. Somit erhalten wir
$$ E( P_{\mathcal{V}}( T_n^* ) - T_n^* )^2 = E( V - P_{\mathcal{V}}( T_n^* ) )^2 + E(P_{\mathcal{V}}( T_n^* )-T_n^* )^2. $$
Der zweite Term hängt nicht von $ V \in \mathcal{V} $ ab und der erste verschwindet für $ V = P_{\mathcal{V}}( T_n^* ) $. $ \qquad \qquad \Box $