3.1_HW_basic_statistics.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "481d946c",
   "metadata": {},
   "source": [
    "<h1 align=\"center\">1. Базовые понятия статистики</h1>\n",
    "\n",
    "<h3 align=\"center\">Задание 1. Загрузка данных</h3>\n",
    "\n",
    "Изучить представленный набор данных на основе описания его столбцов, загрузить его и оставить 8 столбцов для дальнейшего изучения: surgery?, Age, rectal temperature, pulse, respiratory rate, temperature of extremities, pain, outcome."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "0b17defe",
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "import numpy as np\n",
    "import requests\n",
    "from bs4 import BeautifulSoup\n",
    "import seaborn as sns\n",
    "from scipy import stats\n",
    "#from pandas_profiling import ProfileReport"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "3c537ae3",
   "metadata": {},
   "outputs": [],
   "source": [
    "req = requests.get('https://raw.githubusercontent.com/obulygin/pyda_homeworks/master/statistics_basics/horse_data.names')\n",
    "soup = BeautifulSoup(req.text, 'html.parser')\n",
    "info = str(soup)\n",
    "soup"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "b5d5b5fa",
   "metadata": {},
   "outputs": [],
   "source": [
    "cols = ['surgery?', 'Age', 'rectal_temperature', 'pulse', 'respiratory_rate','temperature_of_extremities', 'pain', 'outcome']\n",
    "\n",
    "df = pd.read_csv('https://raw.githubusercontent.com/obulygin/pyda_homeworks/master/statistics_basics/horse_data.csv',\n",
    "                 header=None, na_values='?', usecols = [0, 1, 3, 4, 5, 6, 10, 22], names = cols)\n",
    "df.info()\n",
    "df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "d52fe49a",
   "metadata": {},
   "outputs": [],
   "source": [
    "df.describe()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "4ef2ec1c",
   "metadata": {},
   "source": [
    "### Вариант с использованием библиотеки Pandas Profiling для быстрого решения всех заданий"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "d3f815f7",
   "metadata": {},
   "outputs": [],
   "source": [
    "cols = ['surgery?', 'Age', 'rectal_temperature', 'pulse', 'respiratory_rate','temperature_of_extremities', 'pain', 'outcome']\n",
    "df.drop(cols, axis=1,inplace=True)\n",
    "\n",
    "profile = ProfileReport(df, title=\"Pandas Profiling Report\")\n",
    "\n",
    "profile.to_widgets()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "1d210434",
   "metadata": {},
   "source": [
    "![](Pandas_profiling.png)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "d09fe88f",
   "metadata": {},
   "source": [
    "<h3 align=\"center\">Задание 2. Первичное изучение данных</h3>\n",
    "\n",
    "Проанализировать значения по столбцам, рассчитать базовые статистики, найти выбросы.\n",
    "\n",
    "- в столбце Age есть значения 9, которые лежат вне интервала возможных значений (1,2), предположим, что это неправильное распознавание значения 2, так как его в датафрейме изначально нет, заменим 9 на на 2.\n",
    "\n",
    "\n",
    "- 'rectal_temperature', 'pulse', 'respiratory_rate' - количественные, рассчитаем базовые статистики\n",
    "\n",
    "\n",
    "- 'surgery?', 'Age','temperature_of_extremities', 'pain', 'outcome' - категориальные, рассчитаем частотный анализ и критерии сопоставления групп, проверим уникальные значения категорий на предмет ошибок."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "aad83123",
   "metadata": {},
   "outputs": [],
   "source": [
    "df.loc[(df.Age == 9), 'Age'] = 2\n",
    "df"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "a119eb81",
   "metadata": {},
   "source": [
    "### Первый вариант поиска базовых статистик (простой), без разделения по типам данных"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "9f7ecc66",
   "metadata": {},
   "outputs": [],
   "source": [
    "df_max = df.select_dtypes(include='number').max()\n",
    "df_min = df.select_dtypes(include='number').min()\n",
    "df_range = df_max - df_min\n",
    "df_mean = df.select_dtypes(include='number').mean()\n",
    "df_mode = df.select_dtypes(include='number').mode()\n",
    "df_median = df.select_dtypes(include='number').median()\n",
    "df_std = df.select_dtypes(include='number').std()\n",
    "df_var = df.select_dtypes(include='number').var().round(2)\n",
    "\n",
    "df_quantile_1_3 = df.select_dtypes(include='number').quantile([0.25, 0.75])\n",
    "df_quantile_random = df.select_dtypes(include='number').quantile(0.33)\n",
    "df_quantile_1 = df.select_dtypes(include='number').quantile(0.25)\n",
    "df_quantile_3 = df.select_dtypes(include='number').quantile(0.75)\n",
    "iqr = df_quantile_3 - df_quantile_1\n",
    "\n",
    "lower_bound = df_quantile_1 - (1.5 * iqr) \n",
    "upper_bound = df_quantile_3 + (1.5 * iqr)\n",
    "\n",
    "print('МАКСИМУМ', '\\n', df_max, '\\n', '\\n', 'МИНИМУМ', '\\n', df_min,  '\\n', '\\n', 'РАЗМАХ', '\\n', df_range,  \n",
    "      '\\n', '\\n', 'СРЕДНЕЕ АРИФМЕТИЧЕСКОЕ', '\\n', df_mean, '\\n', '\\n','МЕДИАНА', '\\n', df_median,  '\\n', '\\n', \n",
    "      'СТАНДАРТНОЕ ОТКЛОНЕНИЕ', '\\n', df_std, '\\n', '\\n', 'ДИСПЕРСИЯ', '\\n', df_var, '\\n',  '\\n', 'МОДА', '\\n', df_mode, \n",
    "      '\\n',  '\\n', 'ПЕРВЫЙ КВАРТИЛЬ', '\\n', df_quantile_1, '\\n',  '\\n', 'ТРЕТИЙ КВАРТИЛЬ', '\\n', df_quantile_3, \n",
    "      '\\n',  '\\n', 'ПРОИЗВОЛЬНЫЙ ПЕРЦЕНТИЛЬ', '\\n', df_quantile_random, '\\n',  '\\n', 'МЕЖКВАРТИЛЬНЫЙ РАЗМАХ', '\\n', iqr)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "92730d8f",
   "metadata": {},
   "source": [
    "### Максимум и минимум"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "44d4f429",
   "metadata": {},
   "outputs": [],
   "source": [
    "print(max(df['rectal_temperature']))\n",
    "print(min(df['pulse']))\n",
    "print(min(df['respiratory_rate']))"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "e3371cc3",
   "metadata": {},
   "source": [
    "### Размах\n",
    "- разность между наибольшим и наименьшим значениями показателя"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "246137e9",
   "metadata": {},
   "outputs": [],
   "source": [
    "rect_range = df['rectal_temperature'].max() - df['rectal_temperature'].min()\n",
    "pulse_range = df['pulse'].max() - df['pulse'].min()\n",
    "resp_range = df['respiratory_rate'].max() - df['respiratory_rate'].min()\n",
    "print(f'Rectal Temperature range: {rect_range}')\n",
    "print(f'Pulse range: {pulse_range}')\n",
    "print(f'Respiratory Rate range: {resp_range}')"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "b3951e2b",
   "metadata": {},
   "source": [
    "### Среднее арифметическое\n",
    "- частное от деления суммы всех чисел ряда на их количество"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "01408e2e",
   "metadata": {},
   "outputs": [],
   "source": [
    "print(df['rectal_temperature'].mean())\n",
    "print(df['pulse'].mean())\n",
    "print(df['respiratory_rate'].mean())"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "5fe2adaf",
   "metadata": {},
   "source": [
    "### Медиана\n",
    "- число, половина из элементов выборки больше которого, а другая половина – меньше"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "4a236e42",
   "metadata": {},
   "outputs": [],
   "source": [
    "print(df['rectal_temperature'].median())\n",
    "print(df['pulse'].median())\n",
    "print(df['respiratory_rate'].median())"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "07f29ef9",
   "metadata": {},
   "source": [
    "### СКО\n",
    "- измеряется в единицах самой случайной величины и используется при расчете стандартной ошибки среднего арифметического, при построении доверительных интервалов, при статистической проверке гипотез, при измерении линейной взаимосвязи между случайными величинами. Является корнем из дисперсии."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "d0bcb283",
   "metadata": {},
   "outputs": [],
   "source": [
    "print(df['rectal_temperature'].std())\n",
    "print(df['pulse'].std())\n",
    "print(df['respiratory_rate'].std())"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "1b30cb48",
   "metadata": {},
   "source": [
    "### Дисперсия\n",
    "- просто квадрат стандартного отклонения. Во многих статистических формулах удобнее использовать СКО, а не извлекать каждый раз  корень из дисперсии."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "00d3f54f",
   "metadata": {},
   "outputs": [],
   "source": [
    "print(df['rectal_temperature'].var())\n",
    "print(df['pulse'].var())\n",
    "print(df['respiratory_rate'].var())"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "bb01332b",
   "metadata": {},
   "source": [
    "### Первый и третий квантили\n",
    "\n",
    "Меры разброса характеризуют степень индивидуальных отклонений величины от среднего.\n",
    "Квантили (процентили) - это значение, ниже (выше) которого попадает определенный процент наблюдений отсортированной выбокрке.\n",
    "\n",
    "- 0.25-квантиль называется первой (или нижней) квартилью\n",
    "- 0.5-квантиль называется второй квартилью (это же тоже самое, что медиана!)\n",
    "- 0.75-квантиль называется третьей (или верхней)  квартилью.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "892a05f7",
   "metadata": {},
   "outputs": [],
   "source": [
    "print(df['rectal_temperature'].quantile([0.25, 0.75]))\n",
    "print(df['pulse'].quantile([0.25, 0.75]))\n",
    "print(df['respiratory_rate'].quantile([0.25, 0.75]))"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "32887623",
   "metadata": {},
   "source": [
    "### Произвольный перцентиль"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "7a1fea08",
   "metadata": {},
   "outputs": [],
   "source": [
    "print(df['rectal_temperature'].quantile(0.33))\n",
    "print(df['pulse'].quantile(0.33))\n",
    "print(df['respiratory_rate'].quantile(0.33))"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "5c915769",
   "metadata": {},
   "source": [
    "### Межквартильный размах\n",
    "- это разница между 1-м и 3-м квартилями, т.е. между 25-м и 75-м процентилями."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "3c3e06e0",
   "metadata": {},
   "outputs": [],
   "source": [
    "Q_1_rect = df['rectal_temperature'].quantile(0.25)\n",
    "Q_3_rect = df['rectal_temperature'].quantile(0.75)\n",
    "IQR_rect = Q_3_rect - Q_1_rect\n",
    "print(IQR_rect.round(2))\n",
    "\n",
    "Q_1_pulse = df['pulse'].quantile(0.25)\n",
    "Q_3_pulse = df['pulse'].quantile(0.75)\n",
    "IQR_pulse = Q_3_pulse - Q_1_pulse\n",
    "print(IQR_pulse)\n",
    "\n",
    "Q_1_resp = df['respiratory_rate'].quantile(0.25)\n",
    "Q_3_resp = df['respiratory_rate'].quantile(0.75)\n",
    "IQR_resp = Q_3_resp - Q_1_resp\n",
    "print(IQR_resp)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "01523bc0",
   "metadata": {},
   "source": [
    "### Посмотрим на диаграммы количественных столбцов"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "f88d1f10",
   "metadata": {},
   "outputs": [],
   "source": [
    "sns.histplot(x = 'rectal_temperature', data = df)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "ab968d26",
   "metadata": {},
   "outputs": [],
   "source": [
    "sns.histplot(x = 'pulse', data = df)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "bd80fd5b",
   "metadata": {},
   "outputs": [],
   "source": [
    "sns.histplot(x = 'respiratory_rate', data = df)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "4a65306f",
   "metadata": {},
   "source": [
    "### Выбросы\n",
    "Выбросы (outliers) результаты измерения, сильно выделяющиеся в общей выборке. Наиболее простой из методов обнаружения выбросов основан на межквартильном размахе (т.е. все, что не попадает в указанные диапазоны, является выбросом).\n",
    "\n",
    "Наиболее распространенные причины выбросов в наборе данных:\n",
    "- Ошибки ввода данных (человеческий фактор)\n",
    "- Погрешности измерения (ошибки приборов)\n",
    "- Преднамеренное (например, сделанные для проверки методов обнаружения оборудованием)\n",
    "- Ошибки обработки данных\n",
    "- Ошибки выборки (извлечение или смешивание данных из неправильных или различных источников)\n",
    "- Естественные выбросы (не ошибки, а реальные исключительные наблюдения в данных)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "8704992e",
   "metadata": {},
   "outputs": [],
   "source": [
    "lower_bound_rect = Q_1_rect - (1.5 * IQR_rect).round(2)\n",
    "upper_bound_rect = Q_3_rect + (1.5 * IQR_rect).round(2)\n",
    "\n",
    "lower_bound_pulse = Q_1_pulse - (1.5 * IQR_pulse) \n",
    "upper_bound_pulse = Q_3_pulse + (1.5 * IQR_pulse)\n",
    "\n",
    "lower_bound_resp = Q_1_resp - (1.5 * IQR_resp) \n",
    "upper_bound_resp = Q_3_resp + (1.5 * IQR_resp)\n",
    "\n",
    "remove_outliers = df[df['rectal_temperature'].between(lower_bound_rect, upper_bound_rect, inclusive=True)]\n",
    "remove_outliers"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "3e8b3056",
   "metadata": {},
   "outputs": [],
   "source": [
    "remove_outliers_1 = df[df['pulse'].between(lower_bound_rect, upper_bound_rect, inclusive=True)]\n",
    "remove_outliers_1"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "68d30d6c",
   "metadata": {},
   "outputs": [],
   "source": [
    "remove_outliers_2 = df[df['respiratory_rate'].between(lower_bound_rect, upper_bound_rect, inclusive=True)]\n",
    "remove_outliers_2"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "ee774914",
   "metadata": {},
   "outputs": [],
   "source": [
    "# что это за выбросы?\n",
    "df[~df['rectal_temperature'].between(lower_bound_rect, upper_bound_rect, inclusive=True)]"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "6a8b6ae6",
   "metadata": {},
   "source": [
    "### Частотный анализ категориальных столбцов\n",
    "- Теперь проведём частотный анализ по категориальным столбцам с помощью value_counts() и проверим уникальные значения на предмет ошибок. Результат - внесение изменений не требуется."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "249f7e29",
   "metadata": {},
   "outputs": [],
   "source": [
    "df_surgery = df['surgery?'].value_counts()\n",
    "print(df_surgery, '\\n')\n",
    "\n",
    "df_Age = df['Age'].value_counts()\n",
    "print(df_Age, '\\n')\n",
    "\n",
    "df_t = df['temperature_of_extremities'].value_counts()\n",
    "print(df_t, '\\n')\n",
    "\n",
    "df_pain = df['pain'].value_counts()\n",
    "print(df_pain, '\\n')\n",
    "\n",
    "df_outcome = df['outcome'].value_counts()\n",
    "print(df_outcome, '\\n')"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "8b5ce05b",
   "metadata": {},
   "source": [
    "### Посмотрим на гистограммы категориальных столбцов"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "31ae4cdb",
   "metadata": {},
   "outputs": [],
   "source": [
    "sns.countplot(x = 'surgery?', data = df.sort_values('surgery?'))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "4c089544",
   "metadata": {},
   "outputs": [],
   "source": [
    "sns.countplot(x = 'Age', data = df)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "fbec79ea",
   "metadata": {},
   "outputs": [],
   "source": [
    "sns.histplot(x = 'temperature_of_extremities', data = df)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "90830de3",
   "metadata": {},
   "outputs": [],
   "source": [
    "sns.countplot(x = 'pain', data = df)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "3a8f1c81",
   "metadata": {},
   "outputs": [],
   "source": [
    "sns.countplot(x = 'outcome', data = df)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "3f4d3a50",
   "metadata": {},
   "source": [
    "<h3 align=\"center\">Задание 3. Работа с пропусками</h3>\n",
    "\n",
    "Рассчитать количество пропусков для всех выбранных столбцов. Принять и обосновать решение о методе заполнения пропусков по каждому столбцу на основе рассчитанных статистик и возможной взаимосвязи значений в них. Сформировать датафрейм, в котором пропуски будут отсутствовать."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "45f3e980",
   "metadata": {},
   "outputs": [],
   "source": [
    "df.isna().sum()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "81fb3798",
   "metadata": {},
   "outputs": [],
   "source": [
    "df.info()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "420887d5",
   "metadata": {},
   "source": [
    "### Гипотеза\n",
    "- Проверим взаимосвязь между столбцами pain и outcome с группировкой по возрасту лошади. Можно сделать вывод, что молодые лошади при коликах погибают. Взрослые лошади при низком уровне боли (до 4) остются живыми, а с 4 уровня боли, погибают все лошади. Признаем эту гипотезу допустимой, поэтому недостающие значения в столбце outcome заполняеем исходя из значения столбца pain."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "32ef01a9",
   "metadata": {},
   "outputs": [],
   "source": [
    "print(df.groupby(['pain','Age'])['outcome'].agg(pd.Series.mode))"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "ef59273e",
   "metadata": {},
   "source": [
    "- Заполним недостающими значениями столбец outcome, прежде создав копию."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "9826d0cf",
   "metadata": {},
   "outputs": [],
   "source": [
    "fill_df = df\n",
    "fill_df['outcome'].fillna(fill_df.groupby(['pain','Age'])['outcome'].transform('median'), inplace=True)\n",
    "fill_df.info()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "e9af0eac",
   "metadata": {},
   "source": [
    "### Гипотеза\n",
    "- Проверим взаимосвязь между столбцами surgery?(операция) и pain (боль)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "2cdd8aec",
   "metadata": {},
   "outputs": [],
   "source": [
    "print(fill_df.groupby(['surgery?'])['pain'].median())"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "d04b4485",
   "metadata": {},
   "source": [
    "- Связь есть - операция была (1) при высоком медианном значении боли (3), и не было (2) при низком значении боли (2).\n",
    "- Заполним недостающие значениями столбца pain на сонове медианных значений surgery"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "4e9e7b0b",
   "metadata": {},
   "outputs": [],
   "source": [
    "fill_df['pain'].fillna(fill_df.groupby(['surgery?'])['pain'].transform('median'), inplace=True)\n",
    "fill_df.info()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "043c51ff",
   "metadata": {},
   "source": [
    "- В подтверждение гипотезы проверим обратную взаимосвязь между столбцами pain и surgery"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "6d926075",
   "metadata": {},
   "outputs": [],
   "source": [
    "print(fill_df.groupby(['pain'])['surgery?'].median())"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "d4bd3c38",
   "metadata": {},
   "source": [
    "- Связь есть, на уровнях боли 3 и выше, было хирургическое вмешательство. Восстановим отсутствующее значение в столбце 'surgery?'"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "ec9ea6c4",
   "metadata": {},
   "outputs": [],
   "source": [
    "fill_df['surgery?'].fillna(fill_df.groupby(['pain'])['surgery?'].transform('median'), inplace=True)\n",
    "fill_df.info()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "ad8429f6",
   "metadata": {},
   "source": [
    "### Гипотеза\n",
    "- Проверим взаимосвязь между outcome  и temperature_of_extremities"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "373d7b4e",
   "metadata": {},
   "outputs": [],
   "source": [
    "print(df.groupby(['outcome'])['temperature_of_extremities'].median())"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "f78f7a56",
   "metadata": {},
   "source": [
    "- Выявлена связь, в случаях смертности (outcome = 2 или 3), температура конечностей (temperature of extremities) всегда была 3 (это признак шока). В случае если outcome = 1 (лошадь осталась живой), температура конечностей = 2 (норма).\n",
    "- Восстановим отсутствующие значения в столбце 'temperature_of_extremities'"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "e3ae5e4d",
   "metadata": {},
   "outputs": [],
   "source": [
    "fill_df['temperature_of_extremities'].fillna(fill_df.groupby(['outcome'])['temperature_of_extremities'].transform('median'), inplace=True)\n",
    "fill_df.info()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "4ed237ef",
   "metadata": {},
   "source": [
    "### Гипотеза\n",
    "- Проверим взаимосвязь между столбцами temperature_of_extremities и pulse"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "a1052851",
   "metadata": {},
   "outputs": [],
   "source": [
    "print(df.groupby(['temperature_of_extremities'])['pulse'].median())"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "9bce2b9f",
   "metadata": {},
   "source": [
    "- Выявлена связь, чем ниже температура конечностей (признак заболевания), тем выше пульс.\n",
    "- Восстановим отсутствующие значения в столбце 'pulse' "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "3d574484",
   "metadata": {},
   "outputs": [],
   "source": [
    "fill_df['pulse'].fillna(fill_df.groupby(['temperature_of_extremities'])['pulse'].transform('median'), inplace=True)\n",
    "fill_df.info()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "10c28eeb",
   "metadata": {},
   "source": [
    "### Гипотеза\n",
    "- Проверим утверждения из описания, что ректальная температура повышается во время инфекции, а во время болевого шока (значение - pain) температура понижается"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "4faae091",
   "metadata": {},
   "outputs": [],
   "source": [
    "print(df.groupby(['pain'])['rectal_temperature'].median())"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "5b998b4d",
   "metadata": {},
   "source": [
    "- Гипотезу можно признать успешной. При высоких показателях боли, медианная температура понижается.\n",
    "- Восстановим отсутствующие значения в столбце 'rectal_temperature' "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "bc4e72af",
   "metadata": {},
   "outputs": [],
   "source": [
    "fill_df['rectal_temperature'].fillna(fill_df.groupby(['pain'])['rectal_temperature'].transform('median'), inplace=True)\n",
    "fill_df.info()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "43af1d74",
   "metadata": {},
   "source": [
    "- В описании respiratory_rate, написано что влияние этого показателя вызывает сомнения, из-за существенных колебаний значений.\n",
    "- Заполним недостающие значения медианными."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "450022a7",
   "metadata": {},
   "outputs": [],
   "source": [
    "fill_df['respiratory_rate'].fillna(fill_df['respiratory_rate'].median(), inplace=True)\n",
    "fill_df.info()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "c37374a3",
   "metadata": {},
   "outputs": [],
   "source": [
    "df.isna().sum()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "22bf14a3",
   "metadata": {},
   "source": [
    "### Статистики после заполнения"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "c2cab503",
   "metadata": {},
   "outputs": [],
   "source": [
    "fill_df_max = fill_df.select_dtypes(include='number').max()\n",
    "fill_df_min = fill_df.select_dtypes(include='number').min()\n",
    "fill_df_range = fill_df_max - fill_df_min\n",
    "fill_df_mean = fill_df.select_dtypes(include='number').mean()\n",
    "fill_df_mode = fill_df.select_dtypes(include='number').mode()\n",
    "fill_df_median = fill_df.select_dtypes(include='number').median()\n",
    "fill_df_std = fill_df.select_dtypes(include='number').std()\n",
    "fill_df_var = fill_df.select_dtypes(include='number').var().round(2)\n",
    "\n",
    "fill_df_quantile_1_3 = fill_df.select_dtypes(include='number').quantile([0.25, 0.75])\n",
    "fill_df_quantile_random = fill_df.select_dtypes(include='number').quantile(0.33)\n",
    "fill_df_quantile_1 = fill_df.select_dtypes(include='number').quantile(0.25)\n",
    "fill_df_quantile_3 = fill_df.select_dtypes(include='number').quantile(0.75)\n",
    "fill_iqr = fill_df_quantile_3 - fill_df_quantile_1\n",
    "\n",
    "fill_lower_bound = fill_df_quantile_1 - (1.5 * iqr) \n",
    "fill_upper_bound = fill_df_quantile_3 + (1.5 * iqr)\n",
    "\n",
    "print('МАКСИМУМ', '\\n', fill_df_max, '\\n', '\\n', 'МИНИМУМ', '\\n', fill_df_min,  '\\n', '\\n', 'РАЗМАХ', '\\n', fill_df_range,  \n",
    "      '\\n', '\\n', 'СРЕДНЕЕ АРИФМЕТИЧЕСКОЕ', '\\n', fill_df_mean, '\\n', '\\n','МЕДИАНА', '\\n', fill_df_median,  '\\n', '\\n', \n",
    "      'СТАНДАРТНОЕ ОТКЛОНЕНИЕ', '\\n', fill_df_std, '\\n', '\\n', 'ДИСПЕРСИЯ', '\\n', fill_df_var, '\\n',  '\\n', 'МОДА', '\\n', fill_df_mode, \n",
    "      '\\n',  '\\n', 'ПЕРВЫЙ КВАРТИЛЬ', '\\n', fill_df_quantile_1, '\\n',  '\\n', 'ТРЕТИЙ КВАРТИЛЬ', '\\n', fill_df_quantile_3, \n",
    "      '\\n',  '\\n', 'ПРОИЗВОЛЬНЫЙ ПЕРЦЕНТИЛЬ', '\\n', fill_df_quantile_random, '\\n',  '\\n', 'МЕЖКВАРТИЛЬНЫЙ РАЗМАХ', '\\n', fill_iqr)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "71e63c85",
   "metadata": {},
   "source": [
    "### Посмотрим на графики в получившемся датафрейме"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "96245aa8",
   "metadata": {},
   "outputs": [],
   "source": [
    "sns.histplot(x = 'rectal_temperature', data = fill_df)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "7f14faae",
   "metadata": {},
   "outputs": [],
   "source": [
    "sns.histplot(x = 'pulse', data = fill_df)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "2e3206e5",
   "metadata": {},
   "outputs": [],
   "source": [
    "sns.histplot(x = 'respiratory_rate', data = fill_df)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "98a31233",
   "metadata": {},
   "outputs": [],
   "source": [
    "sns.countplot(x = 'surgery?', data = fill_df)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "901b66e0",
   "metadata": {},
   "outputs": [],
   "source": [
    "sns.countplot(x = 'Age', data = fill_df)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "e0c0403c",
   "metadata": {},
   "outputs": [],
   "source": [
    "sns.histplot(x = 'temperature_of_extremities', data = fill_df)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "e75e6f01",
   "metadata": {},
   "outputs": [],
   "source": [
    "sns.countplot(x = 'pain', data = fill_df)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "2456200d",
   "metadata": {},
   "outputs": [],
   "source": [
    "sns.countplot(x = 'outcome', data = fill_df)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "b60ea03b",
   "metadata": {},
   "source": [
    "![](seaborn.jpg)"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.9.13"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}