16 - Streuung

Entropie

Die Maßzahl $$H=-\sum_{j=1}^n\ f_j\cdot\log_2(f_j)$$ wird Shannon-Wiener-Index oder (Shannon-) Entropie genannt.

Eigenschaften

Je änhlicher die Häufigkeitsverteilung der diskreten Gleichverteilung ist, desto größer ist der Wert von $H$.
Nachteil: der Wert hängt vom verwendeten Logarithmus ab.

Normierte Entropie

Die relative oder normierte Entropie ist gegeben durch $$J=\frac{H}{\log(k)}.$$ Sie hängt nicht von der Wahl des Logarithmus ab.

Stichprobenvarianz und Standardabweichung

Die Stichprobenvarianz oder empirische Varianz der Beobachtungen $x_1,\ldots,x_n$ wird definiert durch $$\text{var}(\mathbf{x})=s^2=\frac{1}{n}\sum_{i=1}^n\ (x_i-\bar{x})^2.$$ Der Wert $$s=\sqrt{s^2}=\sqrt{\text{var}(\mathbf{x})}$$ heißt Standardabweichung.

Ist die Häufigkeitsverteilung $f_1,\ldots,f_k$ mit Gruppenmitten $m_1,\ldots,m_k$ gegeben, verwendet man $$s_g^2=\sum_{j=1}^n\ f_j(m_j-\bar{x}_g)^2.$$ Analog definiert man für Ausprägungen $a_1,\ldots,a_k$ eines metrisch skalierten Merkmals $$s_a^2=\sum_{j=1}^n\ f_j(a_j-\bar{x})^2.$$

Eigenschaften

Für alle $\mathbf{x},\mathbf{y}\in\mathbb{R}^n$ und $a,b\in\mathbb{R}$ gilt:

Invarianz unter Lageänderungen: $$\text{var}(a+\mathbf{x})=\text{var}(\mathbf{x}).$$
Quadratische Reaktion auf Maßstabsänderungen: $$\text{var}(b\mathbf{x})=b^2\text{var}(\mathbf{x}).$$
Verschiebungssatz: $$s^2=\frac{1}{n}\sum_{i=1}^n\ x_i^2-\bar{x}^2.$$
Für gruppierte Daten: $$s_g^2=\sum_{i=1}^n\ f_jm_j^2-\bar{x}_g^2.$$

Mittlere absolute Abweichung (MAD)

Die mittlere absolute Abweichung (Mean Absolute Deviation, MAD) ist definiert durch $$\text{MAD}=\frac{1}{n}\sum_{i=1}^n\ |x_i-\tilde{x}_{med}|.$$