Added tons of fixes and raw 7th lecture

Lectures/5_Semester/Statistics/2023_Savelov/lectures/1lecture.tex

@@ -44,7 +44,7 @@ \section{Напоминание теории вероятностей}
 		\begin{itemize}
 			\item[$\Ra$] \(\{|\xi_{i, n} - \xi_i| > \eps\} \subseteq \{\|\xi_n - \xi\|_2 > \eps\}\)
 
-			\item[$\La$] \(\bigcup_{i = 1}^m \set{|\xi_{i, n} - \xi_i| > \frac{\eps}{\sqrt{m}}} \supseteq \{\|\xi_n - \xi\|_2 > \eps\}\)
+			\item[$\La$] \(\bigcup_{i = 1}^m \set{|\xi_{i, n} - \xi_i| > \eps} \supseteq \{\|\xi_n - \xi\|_2 > \eps\}\)
 		\end{itemize}
 
 		\item Покомпонентная сходимость из векторной тривиальна, а в обратную сторону нужно разложить вектор на сумму векторов с лишь одной его компонентой и воспользоваться неравенством треугольника. Тогда всё следует из предполагаемого условия (покомпонентная сходимость):
@@ -77,7 +77,7 @@ \section{Напоминание теории вероятностей}
 \begin{proof}
 	Перейдём к сходимостям в координатах, а для них мы уже доказали эту лемму в курсе теории вероятностей:
 	\[
-		(\xi_n \xrightarrow{d} c) \Ra (\xi_{i, n} \xrightarrow{d} c_i) \Lora (\xi_{i, n} \xrightarrow{P} \xi_i) \Ra (\xi_n \xrightarrow{P} \xi)
+		(\xi_n \xrightarrow{d} c) \Ra (\xi_{i, n} \xrightarrow{d} c_i) \Lora (\xi_{i, n} \xrightarrow{P} c_i) \Ra (\xi_n \xrightarrow{P} c)
 	\]
 \end{proof}
 

Lectures/5_Semester/Statistics/2023_Savelov/lectures/2lecture.tex

@@ -5,7 +5,7 @@ \section{Основные определения}
 \end{note}
 
 \begin{definition}
-	Отображение $\xi \colon \Omega \to E$ называетя \textit{случайным элементом}, если выполнено условие:
+	Отображение $\xi \colon \Omega \to E$ называется \textit{случайным элементом}, если выполнено условие:
 	\[
 		\forall B \in \E\ \ \xi^{-1}(B) \in \F
 	\]

Lectures/5_Semester/Statistics/2023_Savelov/lectures/3lecture.tex

@@ -30,7 +30,7 @@ \subsection{Статистики и оценки}
 \end{note}
 
 \begin{example}
-	Пусть $\cX = \R^m$. Тогда для выборки $X = (X_1, \ldots, X_m)$ можно рассмотреть статистику среднего значения:
+	Пусть $\cX = \R^n$. Тогда для выборки $X = (X_1, \ldots, X_n)$ можно рассмотреть статистику среднего значения:
 	\[
 		S(X) = \ol{X} := \frac{\sum_{i = 1}^n X_i}{n}
 	\]

Lectures/5_Semester/Statistics/2023_Savelov/lectures/4lecture.tex

@@ -45,6 +45,10 @@ \subsubsection*{Метод подстановки (ОМП)}
 	\]
 \end{example}
 
+\begin{anote}
+	Говоря простым языком, метод ОМП заключается в нахождении несмещённого функционала для $P_\theta$, а затем мы просто пихаем в него эмпирическое распределение $P_n^*$.
+\end{anote}
+
 \subsubsection*{Метод моментов (ОММ)}
 
 \begin{note}
@@ -78,9 +82,9 @@ \subsubsection*{Метод моментов (ОММ)}
 	Метод довольно интуитивен после того, как мы обсудили соотношение между $m_i(\theta)$ и $\ol{g_i(X)}$ выше.
 \end{anote}
 
-\begin{note}
-	Стандартными пробными функциями часто берут $g_i(x) = x^i$
-\end{note}
+\begin{definition}
+	\textit{Стандартными пробными функциями} называются $g_i(x) = x^i$.
+\end{definition}
 
 \begin{theorem} (о сильно состоятельности ОММ)
 	Пусть выполнены следующие условия на $m \colon \Theta \to m(\Theta)$:
@@ -132,7 +136,7 @@ \subsubsection*{Метод моментов (ОММ)}
 	\[
 		\sqrt{n}(\ol{g}(X) - m(\theta)) \xrightarrow{d_\theta} N(0, \Sigma)
 	\]
-	где $\Sigma$ --- матрица ковариаций для вектора $\ol{g}(X)$. Осталось применить многомерную лемму о наследовании асимптотической сходимости с функцией $m^{-1}$. Тогда $m^{-1}(\ol{g}(X)) = \theta_n^*$ явялется асимптотически нормальной оценкой $m^{-1}(m(\theta)) = \theta$ с матрицей ковариаций $J_m^{-1}\Sigma J_m^{-T}$.
+	где $\Sigma$ --- матрица ковариаций для вектора $\ol{g}(X)$. Осталось применить многомерную лемму о наследовании асимптотической сходимости с функцией $m^{-1}$. Тогда $m^{-1}(\ol{g}(X)) = \theta_n^*$ является асимптотически нормальной оценкой $m^{-1}(m(\theta)) = \theta$ с матрицей ковариаций $J_m^{-1}\Sigma J_m^{-T}$.
 \end{proof}
 
 \begin{note}
@@ -203,7 +207,7 @@ \subsubsection*{Метод выборочных квантилей}
 \end{reminder}
 
 \begin{proof}
-	Сходимость по распределению эквивалентна тому, что функции распределения сходятся во всех точках непрерывности своего предела. Мы пронормируем доказываемую сходимость так, чтобы при доказательстве получить справа $N(0, 1)$ (к результату теоремы же вернёмся просто при помощи леммы Слуцкого):
+	Сходимость по распределению эквивалентна тому, что функции распределения сходятся во всех точках непрерывности своего предела. Мы пронормируем доказываемую сходимость так, чтобы при доказательстве получить справа $N(0, 1)$ (к результату теоремы же вернёмся просто при помощи теоремы о наследовании):
 	\[
 		\eta_n = \frac{\sqrt{n}(z_{n, p} - z_p)}{\sqrt{\frac{p(1 - p)}{f^2(z_p)}}}
 	\]
@@ -213,7 +217,7 @@ \subsubsection*{Метод выборочных квантилей}
 		\[
 			\eta_n = (z_{n, p} - z_n)\sqrt{\frac{nf^2(z_p)}{p(1 - p)}}
 		\]
-		Заметим, что $\eta_n$ является линейной комбинацией от $X_{(k)}$, чью плотность мы знаем. Стало быть, если $t_n(x) = z_p + \frac{x}{f(z_p)}\sqrt{\frac{p(1 - p)}{n}}$ (функция, переводящая $x$ из $F_\eta(x)$ в соответствующий параметр $F_{X_{(k)}}(x)$), то имеет место равенство:
+		Заметим, что $\eta_n$ является линейной комбинацией от $X_{(k)}$, чью плотность мы знаем. Стало быть, если $t_n(x) = z_p + \frac{x}{f(z_p)}\sqrt{\frac{p(1 - p)}{n}}$ (функция, переводящая $x$ из $F_\eta(x)$ в соответствующий параметр $F_{X_{(k)}}$), то имеет место равенство:
 		\[
 			p_{\eta_n}(x) = \sqrt{\frac{p(1 - p)}{nf^2(z_p)}} \cdot p_{X_{(k)}}(t_n(x))
 		\]

Lectures/5_Semester/Statistics/2023_Savelov/lectures/5lecture.tex

@@ -86,6 +86,8 @@ \subsubsection{Равномерный подход к сравнению оце
 	Наилучшая оценка не всегда существует.
 \end{note}
 
+\textcolor{red}{Доказать, что в классе всех оценок нет наилучшей}
+
 \subsubsection{Минимаксный подход}
 
 \begin{definition}

Lectures/5_Semester/Statistics/2023_Savelov/lectures/6lecture.tex

@@ -25,7 +25,7 @@ \subsubsection{Среднеквадратический подход}
 	\[
 		\E_\theta (T - \tau(\theta))^2 = \E_\theta T^2 - 2\tau(\theta)\E_\theta T + \tau^2(\theta) = \E_\theta T^2 - \tau^2(\theta)
 	\]
-	Стало быть, для $T_1$ и $T_2$ мы имеем равенство $\E_\theta T_1^2 = \E_\theta T_2^2$. Воспользуемся следующим алгебраическим свойством:
+	Таким образом, для $T_1$ и $T_2$ мы имеем равенство $\E_\theta T_1^2 = \E_\theta T_2^2$. Воспользуемся следующим алгебраическим свойством:
 	\[
 		\ps{\frac{a + b}{2}}^2 + \ps{\frac{a - b}{2}}^2 = \frac{a^2 + b^2}{2}
 	\]
@@ -94,7 +94,7 @@ \subsubsection{Среднеквадратический подход}
 		\[
 			\pd{}{\theta} \E_\theta S(X) = \pd{}{\theta} \int_A S(x)p_\theta(x)d\mu(x) = \int_A S(x)\pd{}{\theta} p_\theta(x)d\mu(x) = \E_\theta \ps{S(X)\pd{}{\theta}\ln p_\theta(X)}
 		\]
-		В частности требуем, что $\forall \theta \in \Theta\ \pd{}{\theta}\ln p_\theta(x)$ существовало на $A$ и было конечно
+		В частности требуем, чтобы для любого $\theta \in \Theta\ \pd{}{\theta}\ln p_\theta(x)$ существовало на $A$ и было конечно
 
 		\item $\forall \theta \in \Theta\ \ 0 < I_X(\theta) < \infty$
 	\end{enumerate}
@@ -130,14 +130,94 @@ \subsubsection{Среднеквадратический подход}
 	Если $\tau(\theta) = \theta$, то в условиях теоремы имеем неравенство $D_\theta \hat{\theta}(X) \ge \frac{1}{I_X(\theta)}$
 \end{corollary}
 
+\begin{anote}
+	Далее $\wh{\cK}$ --- это подмножество класса $\cK$, у оценок которого существует конечная дисперсия (то есть выполнено условие $\forall \theta \in \Theta\ \E_\theta \hat{\theta}^2(X) < \infty$)
+\end{anote}
+
 \begin{definition}
-	Если в неравенстве Рао-Крамера для оценки $\hat{\theta}(X) \in \cK$ достигается равенство, то оценка $\hat{\theta}(X)$ называется \textit{эффективной оценкой $\tau(\theta)$}.
+	Если в неравенстве Рао-Крамера для оценки $\hat{\theta}(X) \in \wh{\cK}$ достигается равенство, то оценка $\hat{\theta}(X)$ называется \textit{эффективной оценкой $\tau(\theta)$}.
 \end{definition}
 
 \begin{theorem} (Критерий эффективности)
-	Пусть выполнены условия регулярности. Тогда $\hat{\theta}(X) \in \cK$ является эффективной оценкой $\tau(\theta)$ тогда и только тогда, когда выполнено равенство
+	Пусть выполнены условия регулярности. Тогда оценка $\hat{\theta}(X)$ принадлежит классу $\wh{\cK}$ и является эффективной оценкой $\tau(\theta)$ тогда и только тогда, когда выполнено равенство
 	\[
 		\hat{\theta}(X) - \tau(\theta) = c(\theta) \cdot U_\theta(X)
 	\]
 	где $c(\theta) = \frac{\tau'(\theta)}{I_X(\theta)}$.
-\end{theorem}
+\end{theorem}
+
+\begin{proof}~
+	\begin{itemize}
+		\item[$\Ra$] Если $\hat{\theta}$ --- эффективная оценка, то в доказательстве неравенства Рао-Крамера у нас достигается равенство в КБШ. Это происходит тогда и только тогда, когда $\eta = \hat{\theta}(X) - \tau(\theta)$ и $\xi = U_\theta(X)$ являются линейно зависимыми случайными величинами, то есть $\alpha(\theta) + \beta(\theta)\xi + \gamma(\theta)\eta =^{P_\theta\text{ п.н.}} 0$. Заметим, что $\E_\theta \xi = \E_\theta \eta = 0$. Стало быть, если применить матожидание к имеющемуся равенству, то $\alpha(\theta) =^{P_\theta\text{ п.н.}} 0$. Этот факт также позволяет заявить, что $\gamma(\theta) \neq^{P_\theta\text{ п.н.}} 0$ (иначе линейная комбинация тривиальна). Таким образом:
+		\[
+			\eta =^{P_\theta\text{ п.н.}} -\frac{\beta(\theta)}{\gamma(\theta)}\xi;\ \ \hat{\theta}(X) - \tau(\theta) = c(\theta) \cdot U_\theta(X)
+		\]
+
+		\item[$\La$] Выразим оценку из равенства:
+		\[
+			\hat{\theta}(X) = \tau(\theta) + c(\theta) \cdot U_\theta(X)
+		\]
+		Так как $E_\theta U_\theta(X) = 0$, то $\hat{\theta} \in \cK$. Домножим исходное равенство и возьмём матожидание:
+		\[
+			\E_\theta (\hat{\theta} - \tau(\theta))U_\theta = c(\theta) \E_\theta U_\theta^2(X) = c(\theta) I_X(\theta)
+		\]
+		В силу регулярности $0 < I_X(\theta) < +\infty$. Таким образом, $\hat{\theta} \in \wh{\cK}$. При этом, из доказательства неравенства Рао-Крамера мы знаем, что левая часть равна $\tau'(\theta)$. Отсюда выражение для $c(\theta)$. В силу линейной зависимости $\eta = \hat{\theta} - \tau(\theta)$ и $\xi = U_\theta(X)$, $\hat{\theta}$ является эффективной оценкой.
+	\end{itemize}
+\end{proof}
+
+\begin{corollary}
+	Если $\theta^*(X) \in \wh{\cK}$ не хуже эффективной оценки $\hat{\theta} \in \wh{\cK}$, то по критерию эффективности $\theta^* =^{P_\theta\text{ п.н.}} \hat{\theta}$.
+\end{corollary}
+
+\begin{note}
+	Если есть эффективная оценка $\tau(\theta)$, то она наилучшая оценка $\tau(\theta)$ в классе $\wh{\cK}$. Обратное, при этом, неверно.
+\end{note}
+
+\begin{theorem}
+	Если в условиях регулярности существует эффективная оценка для $\tau \neq const$, то множество функций, для которых существует эффективная оценка, может быть выражено как $\{a\tau(\theta) + b \colon a, b \in \R\}$.
+\end{theorem}
+
+\begin{anote}
+	Теорема работает так же, как и неопределённый интеграл: для выражения множества всех первообразных достаточно знать одну.
+\end{anote}
+
+\begin{proposition}
+	Пусть $A = \{x \in \cX \colon p_\theta(x) > 0\}$ не зависит от $\theta$. Тогда имеет место эквивалентность:
+	\[
+		\forall B \in \B(\cX)\quad \Big(\exists \theta_0 \in \Theta\ P_{\theta_0}(X \in B) = 1\Big) \Lra \Big(\forall \theta \in \Theta\ P_\theta(X \in B) = 1\Big)
+	\]
+\end{proposition}
+
+\begin{proof}
+	Доказывать утверждение нужно только в одну сторону, ибо в другую очевидно. Итак, $P_{\theta_0}(X \in B) = 1$. Вспомним, что всегда выполнено равенство:
+	\[
+		\forall C, D \in \B(\cX)\ \ P_\theta(C) + P_\theta(D) = P_\theta(C \cup D) + P_\theta(C \cap D)
+	\]
+	При всех $\theta$ верно, что $P_\theta(X \in A) = P_\theta(X \in A \cup B) = 1$. Стало быть, $P_\theta(X \in B) = P_\theta(X \in A \cap B)$.
+	\textcolor{red}{Появится ближе к сессии. Идейно надо от противного}
+\end{proof}
+
+\begin{proof}
+	Доказывать равенство множеств будем двумя вложениями:
+	\begin{itemize}
+		\item[$\subseteq$] Пусть $\hat{\tau}(X)$ и $\hat{v}(X)$ --- эффективные оценки для $\tau(\theta)$ и $v(\theta)$ соответственно. По критерию эффективности мы знаем, что:
+		\[
+			\forall \theta \in \Theta\ \System{
+				&{\hat{\tau}(X) =^{P_\theta\text{ п.н.}} \tau(\theta) + c(\theta)U_\theta(X)}
+				\\
+				&{\hat{v}(X) =^{P_\theta\text{ п.н.}} v(\theta) + d(\theta)U_\theta(X)}
+			}
+		\]
+		В условиях регулярности $\Theta$ является интервалом, причём мы знаем, что $\tau \neq const$. Стало быть, существует $\theta_0$ такая, что $\tau'(\theta_0) \neq 0$. Тогда и $c(\theta_0) \neq 0$, а потому при $\theta_0$ из первого равенства можно выразить $U_\theta(X)$ и подставить во второе:
+		\[
+			\hat{v}(X) = v(\theta_0) + d(\theta_0)\ps{\frac{\hat{\tau}(X) - \tau(\theta_0)}{c(\theta_0)}} = a(\theta_0)\hat{\tau}(X) + b(\theta_0)
+		\]
+
+		\item[$\supseteq$] Итак, $\hat{\tau}(X)$ --- эффективная оценка для $\tau(\theta)$. Нужно проверить, что и $\hat{v}(X) = a\hat{\tau}(X) + b$ является эффективной оценкой для $v(\theta) = a\tau(\theta) + b$. Простыми манипуляциями преобразуем уже имеющийся критерий эффективности для $\hat{\tau}(X)$ так, чтобы он соответствовал $\hat{v}(X)$:
+		\[
+			\hat{\tau}(X) = \tau(\theta) + c(\theta)U_\theta(X) \Ra (a\hat{\tau(X)} + b) = (a\tau(\theta) + b) + (ac(\theta))U_\theta(X)
+		\]
+		Получили верный критерий эффективности для $\hat{v}(X)$, что завершает доказательство.
+	\end{itemize}
+\end{proof}
+