23 - Grundbegriffe der Wahrscheinlichkeitsrechnung
Ein Zufallsexperiment ist ein zufallsbehafteter Vorgang, dessen Ausgang nicht deterministisch festgelegt ist. Die Menge aller möglichen Ausgänge eines Zufallsexperiments heißt Ergebnismenge (Grundmenge) und wird mit \(\Omega\) bezeichnet. Ein Element \(\omega\in\Omega\) wird als Ausgang (Ergebnis, Versuchsausgang) bezeichnet.
Ist \(\Omega\) eine höchstens abzählbar unendliche Grundmenge, dann heißt jede Teilmenge \(A\subset\Omega\) Ereignis. Die Potenzmenge $$\text{Pot}(\Omega)=\{A|A\subset\Omega\}$$ aller Teilmengen von \(\Omega\) bildet die Menge aller Ereignisse und heißt in diesem Zusammenhang auch Ereignisalgebra. Das Ereignis \(A\) tritt ein, wenn \(\omega\in A\). Ein Ereignis \(A\) mit \(A=\{\omega\}\) für ein \(\omega\in\Omega\) wird Elementarereignis genannt.
Die Schnittmenge $$A\cap B=\{x|x\in A \text{ und } x\in B\}$$ zweier Ereignisse \(A,B\subset\Omega\) heißt UND-Ereignis und die Menge $$A\cup B=\{x|x\in A \text{ oder } x\in B\}$$ ODER-Ereignis. Das komplementäre Ereignis ist durch $$\overline{A}=A^c=\{x|x\in \Omega \text{ und } x\notin A\}=\Omega\setminus A$$ gegeben und entspricht der logischen Negation.
Für Ereignisse \(A_1,A_2,\ldots\) ist $$\bigcup_{k=1}^{\infty}A_k=A_1\cup A_2 \cup \cdots=\{\omega\in\Omega: \omega\in A_k \text{ für mind. ein \(k\)}\}$$ das Ereignis, dass mindestens eines der Ereignisse \(A_k\) eintritt und $$\bigcap_{k=1}^{\infty}A_k=A_1\cap A_2 \cap \cdots=\{\omega\in\Omega: \omega\in A_k \text{ für alle \(k=1,2,\ldots\)}\}$$ das Ereignis, dass alle Ereignisse \(A_k\) eintreten.
Rechenregeln
- Distributivgesetzte: $$A\cap(B\cup C)=(A\cap B)\cup(A\cap C) \quad \text{und} \quad A\cup(B\cap C)=(A\cup B)\cap(A\cup C).$$
- Regeln von DeMorgan: $$\overline{(A\cup B)}=\overline{A}\cap\overline{B} \quad \text{und} \quad \overline{(A\cap B)}=\overline{A}\cup\overline{B}.$$
Wahrscheinlichkeitsmaß
Eine Abbildung \(P\), die jedem Ereignis \(A\subset\Omega\) eine Zahl \(P(A)\) zuordnet, ist ein Wahrscheinlichkeitsmaß oder eine Wahrscheinlichkeitsverteilung, wenn die Kolmogorov-Axiome erfüllt sind:
- \(0\leq P(A)\leq 1\) für alle Ereignisse \(A\),
- Normierung: \(P(\Omega)=1\),
- Für disjunkte Mengen \(A_1,A_2,\ldots\) gilt $$P(A_1\cup A_2\cup \cdots)=P(A_1)+P(A_2)+\ldots=\sum_{k=1}^{\infty}P(A_k).$$
Rechenregeln
Seien \(A,B\subset\Omega\) Ereignisse. Dann gilt:
- \(P(\overline{A})=1-P(A)\).
- Für \(A\subset B\) gilt: \(P(B\setminus A)=P(B)-P(A)\).
- \(P(A\cup B)=P(A)+P(B)-P(A\cap B)\).
- \(P(A\cap B)=P(A)+P(B)-P(A\cup B)\).
Laplace-Raum
In einem Laplace-Raum \((\Omega,P)\) ist die Ergebnismenge \(\Omega=\{\omega_1,\ldots,\omega_K\}\) endlich und jedes Elementarereignis besitzt dieselbe Wahrscheinlichkeit $$P(\omega)=P(\{\omega\})=\frac{1}{K}, \quad \omega\in\Omega.$$ \(P\) heißt auch (diskrete) Gleichverteilung auf \(\Omega\).
Regel
In einem Laplace-Raum \((\Omega,P)\) gilt für jedes Ereignis \(A\): $$P(A)=\frac{|A|}{|\Omega|}=\frac{\text{Anzahl der für \(A\) günstigen Fälle}}{\text{Anzahl aller Fälle}},$$ wobei \(|A|\) die Kardinalität, d.h. die Anzahl der Elemente von \(A\) bezeichnet.
Chancen
Die Chance \(o=o(A)\) eines Ereignissen \(A\) ist durch den Quotient der Wahrscheinlichkeit \(p=P(A)\) von \(A\) und der komplementären Wahrscheinlichkeit \(\overline{P(A)}=1-p\) definiert: $$o=o(A)=\frac{p}{1-p}.$$ Die logarithmischen Chancen sind gegeben durch $$\log(o)=\log\left(\frac{p}{1-p}\right)=\log(p)-\log(1-p).$$
Es gilt: $$\log o(\overline{A})=-\log o(A).$$ Sind \(A\) und \(\overline{A}\) gleichwahrscheinlich, dann gilt \(o=1\) und \(\log(o)=0.\)
Die Chancen \(o(A)\) und \(o(B)\) von zwei Ereignissen \(A\) und \(B\) können durch das Chancenverhältnis $$r=\frac{o(A)}{o(B)}=\frac{P(A)/(1-P(A))}{P(B)/(1-P(B))}$$ verglichen werden.
Siebformel
Für Ereignisse \(A_1,\ldots,A_n\subset\Omega\) gilt: $$P(A_1\cup\cdots\cup A_n)=\sum_{i=1}^nP(A_i)-\sum_{i<j}P(A_i\cap a_j)+\sum_{i<j<k}P(A_i\cap a_j\cap A_k)$$ $$\ \mp\ldots+(-1)^nP(A_1\cap\cdots\cap A_n).$$
Drei Ereignisse
Es gilt: $$P(A \cup B \cup C)\qquad\qquad\qquad\qquad\qquad\qquad\qquad\qquad\qquad\qquad\qquad\qquad\qquad\qquad\qquad\qquad\qquad \ \,$$ $$=P(A)+P(B)+P(C)-P(A \cap B)-P(A\cap C)-P(B\cap C)+P(A\cap B \cap C).$$
\(\sigma\)-Algebra
Eine \(\boldsymbol{\sigma}\)-Algebra (Ereignisalgebra) ist ein Mengensystem \(\mathcal{A}\subset\text{Pot}(\Omega)\) von Teilmengen von \(\Omega\), für das gilt:
- \(\Omega\in\mathcal{A}, \emptyset\in\mathcal{A}.\)
- Ist \(A\) in \(\mathcal{A}\), dann auch \(\overline{A}\).
- Sind \(A_1,A_2,\ldots\) Mengen aus \(\mathcal{A}\), dann ist auch \(\bigcup_{i=1}^{\infty}A_i\) in \(\mathcal{A}\).
Die Elemente von \(\mathcal{A}\) heißen Ereignisse.
Ist \(\varepsilon\subset\text{Pot}(\Omega)\) eine Menge von Teilmengen von \(\Omega\), dann existiert eine kleinste \(\sigma\)-Algebra \(\sigma(\varepsilon)\), die \(\varepsilon\) umfasst. Dies ist gerade der Schnitt über alle \(\sigma\)-Algebren, die \(\varepsilon\) umfassen. \(\varepsilon\) heißt Erzeuger dieser \(\sigma\)-Algebra.
Wichtige Fälle
- \(\Omega=\mathbb{R}\): Die Borel-\(\boldsymbol{\sigma}\)-Algebra (Borelsche Ereignisalgebra) \(\mathcal{B}\) wird durch alle endlichen Intervalle der Form \((a,b], a\leq b, a,b\in\mathbb{R},\) erzeugt. Die Elemente von \(\mathcal{B}\) heißen Borelsche Mengen.
- \(\Omega=\mathcal{X}\subset\mathbb{R}\): Hier wählt man die Ereignisalgebra \(\mathcal{B}(\mathcal{X})=\{B\cap\mathcal{X}:b\in\mathcal{B}\}\), die auch Spur-\(\boldsymbol{\sigma}\)-Algebra heißt.
- \(\Omega=\mathbb{R}^n\): Als Erzeuger wählt man die Menge aller Rechtecke $$(\mathbf{a},\boldsymbol{b}]=(a_1,b_1]\times(a_2,b_2]\times\cdots\times(a_n,b_n],$$ wobei \(\boldsymbol{a}=(a_1,\ldots,a_n)\), \(\boldsymbol{b}=(b_1,\ldots,b_n)\in\mathbb{R}^n\). Die erzeugte \(\sigma\)-Algebra heißt Borelsche \(\boldsymbol{\sigma}\)-Algebra.
- \(\mathcal{X}\subset\mathbb{R}^n\): Als \(\sigma\)-Algebra wählt man alle Mengen der Form \(B\cap\mathcal{X}\), wobei \(B\) eine Borelsche Menge des \(\mathbb{R}^n\) ist.
Bedingte Wahrscheinlichkeit
Sind \(A,B\in\Omega\) Ereignisse mit \(P(B)>0\), dann heißt $$P(A|B)=\frac{P(A\cap B)}{P(B)}$$ bedingte Wahrscheinlichkeit von \(A\) gegeben \(B\).
In einem Laplace-Raum gilt $$P(A|B)=\frac{|A\cap B|}{|B|}.$$
Sind \(A,B\in\Omega\) Ereignisse mit \(P(B)>0\), dann gilt $$P(A\cap B)=P(A|B)P(B).$$
Sind \(A_1,\ldots,A_n\) Ereignisse mit \(P(A_1\cap \ldots\cap A_n)>0\), dann gilt $$P(A_1\cap \ldots\cap A_n)=P(A_1)P(A_2|A_1)P(A_3|A_2\cap A_1)\ldots P(A_n|A_{n-1}\cap\ldots\cap A_1).$$
Totale Wahrscheinlichkeit
Ist \(A_1,\ldots,A_K\) eine disjunkte Zerlegung von \(\Omega\), d.h. $$\Omega=A_1\cup \ldots\cup A_K, \quad A_i\cap A_j=\emptyset, i\neq j,$$ dann gilt $$P(B)=\sum_{i=1}^KP(B|A_i)P(A_i).$$ Sinngemäß ist auch \(K=\infty\) möglich.
Satz von Bayes
Ist \(A_1,\ldots,A_K\) eine disjunkte Zerlegung von \(\Omega\) mit \(P(A_i)>0\) für alle \(i=1,\ldots,K\), dann gilt für jedes Ereignis \(P(B)\) mit \(P(B)>0\) $$P(A_i|B)=\frac{P(B|A_i)P(A_i)}{P(B)}=\frac{P(B|A_i)P(A_i)}{\sum_{k=1}^KP(B|A_k)P(A_k)}.$$ Sinngemäß ist auch \(K=\infty\) möglich.
Mehrstufige Wahrscheinlichkeitsmodelle
Betrachte ein Zufallsexperiment \(\Omega\), das aus \(n\) Teilexperimenten \(\Omega_1,\ldots,\Omega_n\) besteht. Dann definiert die Startverteilung auf \(\Omega_1\), $$p(\omega_1), \quad \omega_1\in\Omega_1,$$ die Wahrscheinlichkeiten von Ereignissen des ersten Teilexperiments. Allgemein sei $$p(\omega_j|\omega_1,\ldots,\omega_{j-1})$$ die bedingte Wahrscheinlichkeit, dass \(\omega_j\) eintritt, wenn zuvor die Ausgänge \(\omega_1,\ldots,\omega_{j-1}\) eingetreten sind. Dann gilt für \(\omega\in\Omega\) $$p(\omega)=p(\omega_1)p(\omega_2|\omega_1)\ldots p(\omega_n|\omega_1,\ldots,\omega_{n-1}).$$
Stochastische Unabhängigkeit
Zwei Ereignisse \(A\) und \(B\) heißen (stochastisch) unabhängig, wenn $$P(A\cap B)=P(A)P(B).$$ Diese Identität wird Produktsatz genannt. Allgemein ist der Produktsatz für \(k\) Ereignisse \(A_1,\ldots,A_k\subset\Omega\) erfüllt, wenn $$P(A_1\cap\ldots\cap A_k)=P(A_1)\ldots P(A_k).$$
\(n\) Ereignisse \(A_1,\ldots,A_n\subset\Omega\) sind (total) stochastisch unabhängig, wenn der Produktsatz für jede Teilauswahl \(A_{i_1},\ldots,A_{i_k}\) von \(k\) Ereignissen erfüllt ist. \(A_1,\ldots,A_n\) heißen paarweise stochastisch unabhängig, wenn alle Paare \(A_i,A_j, i\neq j,\) stochastisch unabhängig sind.
Eigenschaften
Sind \(A_1,\ldots,A_n\subset\Omega\) unabhängig und \(B_1,\ldots,B_k, k\leq n,\) Ereignisse, von denen jedes \(B_i\) entweder \(A_i\) oder \(\overline{A_i}\) ist, dann sind auch \(B_1,\ldots,B_k\) unabhängig.