16 - Streuung

Entropie

Die Maßzahl $$H=-\sum_{j=1}^n\ f_j\cdot\log_2(f_j)$$ wird Shannon-Wiener-Index oder (Shannon-) Entropie genannt.

Eigenschaften

  • Je änhlicher die Häufigkeitsverteilung der diskreten Gleichverteilung ist, desto größer ist der Wert von \(H\).
  • Nachteil: der Wert hängt vom verwendeten Logarithmus ab.

Normierte Entropie

Die relative oder normierte Entropie ist gegeben durch $$J=\frac{H}{\log(k)}.$$ Sie hängt nicht von der Wahl des Logarithmus ab.

Stichprobenvarianz und Standardabweichung

Die Stichprobenvarianz oder empirische Varianz der Beobachtungen \(x_1,\ldots,x_n\) wird definiert durch $$\text{var}(\mathbf{x})=s^2=\frac{1}{n}\sum_{i=1}^n\ (x_i-\bar{x})^2.$$ Der Wert $$s=\sqrt{s^2}=\sqrt{\text{var}(\mathbf{x})}$$ heißt Standardabweichung.

Ist die Häufigkeitsverteilung \(f_1,\ldots,f_k\) mit Gruppenmitten \(m_1,\ldots,m_k\) gegeben, verwendet man $$s_g^2=\sum_{j=1}^n\ f_j(m_j-\bar{x}_g)^2.$$ Analog definiert man für Ausprägungen \(a_1,\ldots,a_k\) eines metrisch skalierten Merkmals $$s_a^2=\sum_{j=1}^n\ f_j(a_j-\bar{x})^2.$$

Eigenschaften

Für alle \(\mathbf{x},\mathbf{y}\in\mathbb{R}^n\) und \(a,b\in\mathbb{R}\) gilt:

  •  Invarianz unter Lageänderungen: $$\text{var}(a+\mathbf{x})=\text{var}(\mathbf{x}).$$
  • Quadratische Reaktion auf Maßstabsänderungen: $$\text{var}(b\mathbf{x})=b^2\text{var}(\mathbf{x}).$$
  • Verschiebungssatz: $$s^2=\frac{1}{n}\sum_{i=1}^n\ x_i^2-\bar{x}^2.$$
  • Für gruppierte Daten: $$s_g^2=\sum_{i=1}^n\ f_jm_j^2-\bar{x}_g^2.$$

Mittlere absolute Abweichung (MAD)

Die mittlere absolute Abweichung (Mean Absolute Deviation, MAD) ist definiert durch $$\text{MAD}=\frac{1}{n}\sum_{i=1}^n\ |x_i-\tilde{x}_{med}|.$$