Generierung von Zufallszahlen: diskret, n-dim, n-dim-normalverteilt (#10

)

* For-Schleife statt While bei Zufallszahlengenerierung

* Generierung diskreter Zufallszahlen hinzugefügt

* Inversionsprinzip und Quantilfunktion hinzugefügt

* Erzeugung von Zufallsvektoren hinzugefügt

* Kovarianz, Korrelation hinzugefügt

* Schreibweise für Zufallsvektor verändert

* Schreibweise Matrixtransposition verändert

* Erzeugung von mehrdimensionalen Zufallszahlen hinzugefügt

README.md

@@ -16,23 +16,23 @@ Beispiele, Erklärungen und Beweise cool.
 
 ## Fortschritt
 
-- ⭕ Grundlagen der Wahrscheinlichkeitstheorie
+- ✅ Grundlagen der Wahrscheinlichkeitstheorie
 - ✅ ├ Grundbegriffe
 - ✅ ├ Unabhängigkeit, bedingte Wahrscheinlichkeit
 - ✅ ├ Zufallsvektoren
 - ✅ ├ Erwartungswert, Varianz
-- ⭕ └ Covarianz, Korrelationskoeffizient
+- ✅ └ Kovarianz, Korrelationskoeffizient
 - ✅ Wahrscheinlichkeitsverteilungen
 - ✅ ├ Diskrete Verteilungen
 - ✅ └ Stetige Verteilungen
-- ⭕ Erzeugung von Zufallszahlen
-- ⭕ ├ Inversionsmethode (diskret)
-- ✅ ├ Inversionsmethode (stetig)
+- ✅ Erzeugung von Zufallszahlen
+- ✅ ├ Diskrete Zufallszahlen
+- ✅ ├ Inversionsmethode
 - ✅ ├ Annahme-Verwerfungs-Methode
 - ✅ ├ Importance Sampling
 - ✅ ├ Box-Muller-Polarmethode
-- ⭕ ├ Erzeugung von Zufallsvektoren
-- ⭕ └ Mehrdimensionale Normalverteilung
+- ✅ ├ Erzeugung von Zufallsvektoren
+- ✅ └ Mehrdimensionale Normalverteilung
 - ⭕ Monte-Carlo (Skriptausschnitt in OPAL verfügbar)
 - ⭕ ├ Zentraler Grenzwertsatz
 - ⭕ ├ Satz von Moivre-Laplace

src/doc.tex

@@ -26,12 +26,12 @@
 \usepackage{amsmath}
 \usepackage{amsthm}
 \usepackage{amssymb}
+\usepackage{dsfont}   % \mathds{1}
 
 % Algorithmen
 \usepackage[
 german,
-ruled,
-linesnumbered
+ruled
 ]{algorithm2e}
 
 % Verlinkungen
@@ -134,11 +134,13 @@
 \newcommand{\e}{\mathrm{e}}
 \newcommand{\lr}{\leftrightarrow}
 \newcommand{\pd}[2]{\frac{\partial #1}{\partial #2}} % partielle Ableitungen
-\DeclareMathOperator{\T}{\text{T}}   % Matrixtransposition
+\newcommand{\zvec}[1]{\overrightarrow{\mathrm{#1}}}
+\newcommand{\T}{\top}                % Matrixtransposition
 \DeclareMathOperator{\E}{E}          % Erwartungswert
 \DeclareMathOperator{\Var}{Var}      % Varianz
 \DeclareMathOperator{\Det}{det}      % Determinante
 \DeclareMathOperator{\atan}{atan}    % tan^-1
+\DeclareMathOperator{\Cov}{Cov}      % Kovarianz
 
 % Interne Referenzen z.B. für definierte Begriffe
 \newcommand{\link}[2]{\hyperref[#1]{#2}}
@@ -163,7 +165,7 @@
 
   \tableofcontents
 
-  \chapter{Grundlagen der Wahrscheinlichkeitstheorie}
+  \chapter{Grundlagen der Wahrscheinlichkeitsrechnung}
     \input{wahrscheinlichkeitstheorie.tex}
     \section{Zufallsvariablen}
     \input{zufallsvariablen-zufallsvektoren.tex}

src/erwartungswert-varianz.tex

@@ -1,3 +1,8 @@
+\subsection{Erwartungswert}
+
+Der Erwartungswert beschreibt die Zahl, die eine Zufallsvariable im Mittel
+annimmt.
+
 \begin{definition}{Erwartungswert}{ewert}
 Sei $X$ eine \link{def:zvar}{Zufallsvariable} mit Zustandsraum $S=\{x_0, x_1,
 ...\}$ und Einzelwahrscheinlichkeiten $p_k=P(X=x_k)$. Dann heißt
@@ -9,42 +14,52 @@
 \[
 \E(X) =\langle X\rangle := \int x\cdot\rho_X(x)\mathrm{d}x
 \]
+Oft wird $\mu$ als Zeichen für den Erwartungswert verwendet.
 \end{definition}
 
+\begin{theorem}{Rechenregeln Erwartungswert}{ewert}
+Für den Erwartungswert von Zufallsvariablen $X$, $Y$ und $a,b\in\R$ gelten
+folgende Rechenregeln:
+\begin{align*}
+\E(aX+b) &= a\E(X) + b \\
+\E(X+Y) &= \E(X) + \E(Y)
+\end{align*}
+\end{theorem}
+
+\begin{theorem}{Markov inequality}{markov-inequality}
+Sei $X$ eine stetige \link{def:zvar}{Zufallsvariable}, $f$ eine Funktion mit
+$f(X)\ge 0$ und existierndem und endlichem Erwartungswert $\E(f(X))$. Dann gilt:
+\[
+P\big(f(X)\ge a\big)\le \frac{\E(f(x))}{a},\quad a\in\R
+\]
+\end{theorem}
+
+
+\subsection{Varianz}
+
+Die Varianz ist ein Maß der Streuung einer Zufallsvariable, also wie sehr die
+Werte verteilt sind.
+
 \begin{definition}{Varianz}{varianz}
 Sei $X$ eine \link{def:zvar}{Zufallsvariable} mit Zustandsraum $S=\{x_0, x_1,
-...\}$ und Einzelwahrscheinlichkeiten $p_k=P(X=x_k)$. Dann heißt
+...\}$ und Einzelwahrscheinlichkeiten $P(X=x_k)$. Dann heißt
 \[
 \Var(X) := \sum_k (x_k - \E(X))^2
 \]
-Variaanz von $X$.
+Variaanz von $X$. Oft wird $\sigma^2$ als Zeichen für die Varianz verwendet.
 \end{definition}
 
-Die Varianz ist ein Maß der Streuung einer Zufallsvariable. Sie lässt sich auch
-berechnen durch:
-\[
-\Var(X) = \E((X-\E(X))^2)
-\]
-Für Erwartungswert und Varianz von Zufallsvariablen $X$, $Y$ und $a,b\in\R$ gelten
-folgende Rechenregeln:
+\begin{theorem}{Rechenregeln Varianz}{varianz}
+Seien $X$, $Y$ Zufallsvariablen und $a,b\in\R$. Dann gelten folgende Rechenregeln:
 \begin{align*}
-\E(aX+b) &= a\E(X) + b \\
-\E(X+Y) &= \E(X) + \E(Y) \\
 \Var(aX+b) &= a^2 \Var(X) \\
 \Var(X) &= \E(X^2) - \E(X)^2
 \end{align*}
+\end{theorem}
 
-Im Gegensatz zum Erwartungswert gilt für die Varianz $\Var(X+Y) \ne \Var(X) +
-\Var(Y)$.
+Im Gegensatz zum Erwartungswert gilt für die Varianz im Allgemeinen
+$\Var(X+Y) \ne \Var(X) + \Var(Y)$.
 
-\begin{theorem}{Markov inequality}{markov-inequality}
-Sei $X$ eine stetige \link{def:zvar}{Zufallsvariable}, $f$ eine Funktion mit
-$f(X)\ge 0$ und existierndem und endlichem Erwartungswert $\E(f(X))$. Dann gilt:
-\[
-P(f(X)\ge a)\le \frac{\E(f(x))}{a},\quad a\in\R
-\]
-\end{theorem}
-Ein Spezialfall dieser Ungleichung ist:
 \begin{theorem}{Ungleichung von Tschebyscheff}{tschebyscheff}
 Sei $X$ eine Zufallsvariable mit $\E(X) = \mu$ und $\Var(X) = \sigma^2$. Dann
 gilt:
@@ -53,6 +68,71 @@
 \]
 \end{theorem}
 
+
+\subsection{Kovarianz}
+
+Die Kovarianz ist ein Maß der gemeinsamen Streuung zweier Zufallsvariablen.
+
+\begin{definition}{Kovarianz}{kovarianz}
+Sei $\zvec{X} = (X,Y)^\T$ eine Zufallsvektor. Dann heißt
+\[
+\Cov(X,Y) = \E(X\cdot Y) - \E(X)\cdot\E(Y)
+\]
+\defw{Kovarianz} von $X$ und $Y$.
+\end{definition}
+
+\begin{definition}{Kovarianzmatrix}{kovarianz-matr}
+Seien $X_1, X_2, \ldots, X_n$ Zufallsvariablen. Die Matrix
+\[
+\Cov(\zvec{X}) = \begin{pmatrix}
+  \Var(X_1) & \Cov(X_1,X_2) & \ldots & \Cov(X_1, X_n) \\
+  \Cov(X_2,X_1) & \Var(X_2)  & \ldots  & \Cov(X_2, X_n) \\
+    \vdots  &     \vdots   &  \ddots   &    \vdots      \\
+  \Cov(X_n,X_1) & \Cov(X_n,X_2) & \ldots & \Var(X_n)
+\end{pmatrix}
+\]
+heißt \defw{Kovarianzmatrix} von $\zvec{X}$.
+\end{definition}
+
+\begin{theorem}{Rechenregeln Kovarianz}{kovarianz}
+Seien $X$ und $Y$ Komponenten des Zufallsvektors $\zvec{X}=(X,Y)^\T$ und
+$a,b\in\R$. Dann gelten folgende Rechenregeln:
+\begin{align*}
+\Cov(X, Y) &= \Cov(Y,X) \\
+\Cov(X + a, Y + b) &= \Cov(X,Y) \\
+\Cov(a\cdot X, b\cdot Y) &= ab\cdot\Cov(X,Y) \\
+\Cov(X, X) &= \Var(X) \\
+|\Cov(X,Y)| &\le \sqrt{\Var(X)\cdot\Var(Y)} \tag{Schwarz'sche Ungleichung}
+\end{align*}
+\end{theorem}
+
+
+\subsection{Korrelation}
+
+Varianz und Kovarianz können unter anderem als Maß für die Korrelation zwischen
+zwei Zufallsvariablen verwendet werden (das heißt wie sehr sich die
+Zufallsvariablen "`gleich"' verhalten):
+\begin{definition}{Korrelationskoeffizient}{korr}
+Sei $\zvec{X}=(X,Y)^\T$ ein Zufallsvektor. Dann heißt
+\[
+f_{X,Y} = \frac{\Cov(X,Y)}{\sqrt{\Var(X)\cdot\Var(Y)}}
+\]
+\defw{Korrelationskoeffizient} von $X$ und $Y$.
+\end{definition}
+
+\begin{theorem}{Rechenregeln Korrelation}
+Seien $X$ und $Y$ Zufallsvariablen mit Korrelationskoeffizient $f_{X,Y}$.
+Dann gelten folgende Rechenregeln:
+\begin{align*}
+|f_{X,Y}| &\le 1 \\
+X,Y \text{unabhängig} &\implies f_{X,Y} = 0 \\
+|f_{X,Y}| = 1 &\implies \exists a,b\in\R, b\ne0: Y=a\cdot X + b \tag{Perfekter
+linearer Zusammenhang}
+\end{align*}
+\end{theorem}
+
+\subsection{Standardisierung}
+
 \begin{definition}{Standardisierte Zufallsvariable}{std}
 Sei $X$ eine Zufallsvariable mit $\E(X) = 0$ und $Var(X) = 1$. Dann heißt $Z$
 \defw{standardisiert}.

src/ref/zufallszahlen.bib

@@ -6,3 +6,7 @@ @online{wolfram-polar
   title = "Polar coordinates",
   url = "https://mathworld.wolfram.com/PolarCoordinates.html"
 }
+@online{wiki-matrixwurzel,
+  title = "Matrixwurzel",
+  url = "https://de.wikipedia.org/wiki/Quadratwurzel_einer_Matrix"
+}

src/verteilungen.tex

@@ -1,5 +1,30 @@
 \section{Diskrete Verteilungen}
 
+\begin{definition}{Verteilungsfunktion}{vertf-disk}
+Sei $X$ eine diskrete \link{def:zvar}{Zufallsvariable} mit Zustandsraum $x_0,
+x_1, \ldots$. Die Funktion
+\[
+F_X:\R\to\R,\ F_X(z) = P(X \le z)
+\]
+heißt \defw{Verteilungsfunktion} der Zufallsvariable $X$. Die
+Verteilungsfunktion eine Treppenfunktion, die an den Stellen $x_k$ um
+$p_k = P(X=x_k)$ springt. Darum gilt:
+\[
+F_X(z) = \sum_{x_k\le z}P(X=x_k) = \sum_{x_k\le z} p_k
+\]
+\end{definition}
+
+Eine Art Umkehrfunktion der Verteilungsfunktion ist die Quantilfunktion:
+\begin{definition}{Quantilfunktion}{quantilf}
+Sei $F_X(z) = P(X\le z)$ die Verteilungsfunktion einer diskreten Zufallsvariable
+$X$. Dann heißt
+\[
+F_X^{-1}(z) = \mathrm{min}\{x\in\R: F(x) \ge z\},\quad z\in(0,1)
+\]
+die \defw{Quantilfunktion} von $X$.
+\end{definition}
+
+\medskip
 Im Folgenden Abschnitt sei $X$ eine diskrete \link{def:zvar}{Zufallsvariable}
 mit Zustandsraum $S$, $A \in S$ und $P$ eine
 \link{def:verteilung}{Wahrscheinlichkeitsverteilung} dieser Zufallsvariable.

src/wahrscheinlichkeitstheorie.tex

@@ -12,14 +12,12 @@ \section{Grundbegriffe}
 bezeichnet.
 \end{definition}
 
-
 \begin{definition}{Grundraum}{grundraum}
 Alle möglichen Ausgänge eines \link{def:zufallsversuch}{Zufallsversuchs}
 bilden den \defw{Grundraum} $\Omega$ (auch: \defw{Ergebnismenge}). Die
 Elemente des Grundraums werden als \defw{Elementarereignisse} bezeichnet.
 \end{definition}
 
-
 \begin{definition}{Ereignis}{ereignis}
 Eine Teilmenge $A$ von $\Omega$ wird als Ereignis bezeichnet. Dabei bezeichnet
 $A = \Omega$ das sichere Ereignis, dass immer eintritt und $A = \emptyset$ das
@@ -33,7 +31,6 @@ \section{Grundbegriffe}
 eine Augenzahl $\ge 5$ gewürfelt wird.
 \end{example}
 
-
 \begin{definition}{Ereignisalgebra}{ealg}
 Eine Menge von Ereignissen bezogen auf einen \link{def:grundraum}{Grundraum}
 $\Omega$ bildet eine \defw{Ereignisalgebra} oder \defw{Ereignissystem}, wenn gilt:

src/zufallsvariablen-zufallsvektoren.tex

@@ -39,7 +39,7 @@ \section{Zufallsvektoren}
 \begin{definition}{Zufallsvektor}{zvektor}
 Seien $X_1, ..., X_n$ \link{def:zvar}{Zufallsvariablen}. Die Zusammenfassung
 \[
-\underline{X} = (X_1, ..., X_n)^T
+\zvec{X} = (X_1, ..., X_n)^\T
 \]
 zu einem Vektor heißt \defw{Zufallsvektor}. Sind alle Komponenten des Vektors
 diskret beziehungsweise stetig, heißt der Zufallsvektor diskret beziehungsweise
@@ -52,20 +52,20 @@ \subsection{Gemeinsame Verteilung}
 zusammenfassen:
 
 \begin{definition}{Gemeinsame Verteilung eines Zufallsvektors}{vert-zvektor}
-Sei $\underline{X} = (X, Y)^T$ ein diskreter Zufallsvektor, wobei die
+Sei $\zvec{X} = (X, Y)^\T$ ein diskreter Zufallsvektor, wobei die
 Zufallsvariable $X$ die Werte $x_0, x_1, ..., x_n$ und $Y$ die Werte $y_0, y_1, ...,
 y_m$ annimmt. Dann bezeichnet die Matrix
 \[
 (p_{ij})_{i=0,...,n;j=0,...,m} \qquad mit\ p_{ij} = P(X=x_i, Y=y_j)
 \]
-die \defw{gemeinsame Verteilung} von $\underline{X}$.
+die \defw{gemeinsame Verteilung} von $\zvec{X}$.
 
-Die Verteilung eines stetigen Zufallsvektors $(X,Y)^T$ wird durch die gemeinsame
+Die Verteilung eines stetigen Zufallsvektors $(X,Y)^\T$ wird durch die gemeinsame
 Dichte $\rho_{X,Y}(x,y)$ beschrieben.
 \end{definition}
 
 \begin{definition}{Randverteilung}{randv}
-Sei $(X,Y)^T$ ein diskreter Zufallsvektor mit gemeinsamer Verteilung $p$.
+Sei $(X,Y)^\T$ ein diskreter Zufallsvektor mit gemeinsamer Verteilung $p$.
 Die Summierung von Zeilen bzw. Spalten der Matrix werden als
 \defw{Randverteilung} bezeichnet:
 \begin{align*}
@@ -76,7 +76,7 @@ \subsection{Gemeinsame Verteilung}
 
 Analog gilt für stetige Zufallsvektoren:
 \begin{definition}{Randdichte}{randd}
-Sei $(X,Y)^T$ ein stetiger Zufallsvektor mit gemeinsamer \link{def:dichte}{Dichte}
+Sei $(X,Y)^\T$ ein stetiger Zufallsvektor mit gemeinsamer \link{def:dichte}{Dichte}
 $\rho_{(X, Y)}$. Dann werden
 \begin{align*}
 \rho_X(x) = \int\rho_{(X,Y)}(x,y)\mathrm{d} y\quad x\in\R\\
@@ -86,7 +86,7 @@ \subsection{Gemeinsame Verteilung}
 \end{definition}
 
 \begin{theorem}{}{randd}
-Sei $(X,Y)^T$ ein Zufallsvektor von unabhängigen Zufallsvariablen $X$ und $Y$
+Sei $(X,Y)^\T$ ein Zufallsvektor von unabhängigen Zufallsvariablen $X$ und $Y$
 mit zugehörigen Randdichten $\rho_X$ und $\rho_Y$. Dann kann die gemeinsame
 Verteilung $\rho_{X,Y}$ berechnet werden durch:
 \[
@@ -100,7 +100,7 @@ \subsection{Bedingte Wahrscheinlichkeit}
 auch für Zufallsvektoren eine bedingte Wahrscheinlichkeit definieren:
 
 \begin{definition}{Bedingte Wahrscheinlichkeit}{bedwahr}
-Sei $\underline{X} = (X, Y)^T$ ein diskreter Zufallsvektor mit
+Sei $\zvec{X} = (X, Y)^\T$ ein diskreter Zufallsvektor mit
 \link{def:vert-zvektor}{gemeinsamer Verteilung} $(p_{ij})_{i,j=0,1,...}$. Dann ist
 mit
 \[
@@ -110,11 +110,11 @@ \subsection{Bedingte Wahrscheinlichkeit}
 \end{definition}
 
 \begin{definition}{Bedingte Dichte}{bedd}
-Ist $\underline{X}$ ein stetiger Zufallsvektor mit gemeinsamer Dichte
+Ist $\zvec{X}$ ein stetiger Zufallsvektor mit gemeinsamer Dichte
 $\rho_{(X,Y)}$, so bezeichnen die Funktionen
 \begin{align*}
-\rho_{X|Y=y}(x) = \frac{\rho_{(X,Y)}(x,y)}{\rho_Y(y)}\\
-\rho_{Y|X=x}(y) = \frac{\rho_{(X,Y)}(x,y)}{\rho_X(x)}
+\rho_{X|Y=y}(x) = \frac{\rho_{X,Y}(x,y)}{\rho_Y(y)}\\
+\rho_{Y|X=x}(y) = \frac{\rho_{X,Y}(x,y)}{\rho_X(x)}
 \end{align*}
 die \defw{bedingte Dichte} von $X$ unter $Y=y$ bzw. $Y$ unter $X=x$.
 \end{definition}
@@ -124,5 +124,5 @@ \subsection{Bedingte Wahrscheinlichkeit}
 formuliert werden:
 \begin{align*}
 p_{ij} = P(Y=y_j|X=x_i)\cdot p_{i.}\\
-\rho_{(X,Y)} = \rho_{Y|X=x}(y)\cdot\rho_X(x)
+\rho_{X,Y} = \rho_{Y|X=x}(y)\cdot\rho_X(x)
 \end{align*}