canal03-parsing.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 32,
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 33,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(519, 8)"
      ]
     },
     "execution_count": 33,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df = pd.read_csv('dataset/candidates.csv')\n",
    "df.shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 34,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>region#</th>\n",
       "      <th>url</th>\n",
       "      <th>name</th>\n",
       "      <th>birth_year</th>\n",
       "      <th>job</th>\n",
       "      <th>party</th>\n",
       "      <th>initiative_type</th>\n",
       "      <th>info</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>1</td>\n",
       "      <td>http://vybary2019.by/candidates/001-1.html</td>\n",
       "      <td>БРИЧ \\r\\nЛеонид Григорьевич</td>\n",
       "      <td>1958</td>\n",
       "      <td>депутат Палаты представителей Национального со...</td>\n",
       "      <td>член Белорусской патриотической партии</td>\n",
       "      <td>политическая партия, трудовой коллектив, сбор ...</td>\n",
       "      <td>Родился 12 декабря 1958 года в д. Заплесье Дро...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>1</td>\n",
       "      <td>http://vybary2019.by/candidates/001-2.html</td>\n",
       "      <td>КУРИЛОВИЧ \\r\\nВладимир Георгиевич</td>\n",
       "      <td>1981</td>\n",
       "      <td>директор ООО «Строймир Запад»</td>\n",
       "      <td>член Республиканской партии труда и справедлив...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Родился  21 сентября 1981 года в  городе  Брес...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>2</td>\n",
       "      <td>http://vybary2019.by/candidates/002-1.html</td>\n",
       "      <td>ВАСЬКО\\r\\nМарина Викторовна</td>\n",
       "      <td>1975</td>\n",
       "      <td>заместитель директора по учебной работе ГУО «Г...</td>\n",
       "      <td>беспартийная</td>\n",
       "      <td>сбор подписей избирателей, трудовой коллектив</td>\n",
       "      <td>Родилась 1 мая  1975 года в г. Бресте. Белорус...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>2</td>\n",
       "      <td>http://vybary2019.by/candidates/002-2.html</td>\n",
       "      <td>МАРЧЕНКО\\r\\nДмитрий Евгеньевич</td>\n",
       "      <td>1970</td>\n",
       "      <td>пенсионер по инвалидности</td>\n",
       "      <td>член партии «Белорусская социал-демократическа...</td>\n",
       "      <td>политическая партия</td>\n",
       "      <td>Родился 8 августа 1970 года в деревне Дедлово ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>2</td>\n",
       "      <td>http://vybary2019.by/candidates/002-3.html</td>\n",
       "      <td>ОМЕЛЬЯНЧУК\\r\\nИрина Николаевна</td>\n",
       "      <td>1960</td>\n",
       "      <td>инженер ОАО «Стройгаз г. Брест»</td>\n",
       "      <td>член Партии БНФ</td>\n",
       "      <td>политическая партия</td>\n",
       "      <td>Родилась 31 мая  1960 года. Белоруска. Образов...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   region#                                         url  \\\n",
       "0        1  http://vybary2019.by/candidates/001-1.html   \n",
       "1        1  http://vybary2019.by/candidates/001-2.html   \n",
       "2        2  http://vybary2019.by/candidates/002-1.html   \n",
       "3        2  http://vybary2019.by/candidates/002-2.html   \n",
       "4        2  http://vybary2019.by/candidates/002-3.html   \n",
       "\n",
       "                                name  birth_year  \\\n",
       "0        БРИЧ \\r\\nЛеонид Григорьевич        1958   \n",
       "1  КУРИЛОВИЧ \\r\\nВладимир Георгиевич        1981   \n",
       "2        ВАСЬКО\\r\\nМарина Викторовна        1975   \n",
       "3     МАРЧЕНКО\\r\\nДмитрий Евгеньевич        1970   \n",
       "4     ОМЕЛЬЯНЧУК\\r\\nИрина Николаевна        1960   \n",
       "\n",
       "                                                 job  \\\n",
       "0  депутат Палаты представителей Национального со...   \n",
       "1                      директор ООО «Строймир Запад»   \n",
       "2  заместитель директора по учебной работе ГУО «Г...   \n",
       "3                          пенсионер по инвалидности   \n",
       "4                    инженер ОАО «Стройгаз г. Брест»   \n",
       "\n",
       "                                               party  \\\n",
       "0             член Белорусской патриотической партии   \n",
       "1  член Республиканской партии труда и справедлив...   \n",
       "2                                       беспартийная   \n",
       "3  член партии «Белорусская социал-демократическа...   \n",
       "4                                    член Партии БНФ   \n",
       "\n",
       "                                     initiative_type  \\\n",
       "0  политическая партия, трудовой коллектив, сбор ...   \n",
       "1                                                NaN   \n",
       "2      сбор подписей избирателей, трудовой коллектив   \n",
       "3                                политическая партия   \n",
       "4                                политическая партия   \n",
       "\n",
       "                                                info  \n",
       "0  Родился 12 декабря 1958 года в д. Заплесье Дро...  \n",
       "1  Родился  21 сентября 1981 года в  городе  Брес...  \n",
       "2  Родилась 1 мая  1975 года в г. Бресте. Белорус...  \n",
       "3  Родился 8 августа 1970 года в деревне Дедлово ...  \n",
       "4  Родилась 31 мая  1960 года. Белоруска. Образов...  "
      ]
     },
     "execution_count": 34,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 35,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>info</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Родился 12 декабря 1958 года в д. Заплесье Дро...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>Родился  21 сентября 1981 года в  городе  Брес...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Родилась 1 мая  1975 года в г. Бресте. Белорус...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Родился 8 августа 1970 года в деревне Дедлово ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Родилась 31 мая  1960 года. Белоруска. Образов...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                info\n",
       "0  Родился 12 декабря 1958 года в д. Заплесье Дро...\n",
       "1  Родился  21 сентября 1981 года в  городе  Брес...\n",
       "2  Родилась 1 мая  1975 года в г. Бресте. Белорус...\n",
       "3  Родился 8 августа 1970 года в деревне Дедлово ...\n",
       "4  Родилась 31 мая  1960 года. Белоруска. Образов..."
      ]
     },
     "execution_count": 35,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "dt = df['info'].to_frame()\n",
    "dt.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 36,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>birthdate</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>1958-12-12</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>1981-09-21</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>1975-05-01</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "    birthdate\n",
       "0  1958-12-12\n",
       "1  1981-09-21\n",
       "2  1975-05-01"
      ]
     },
     "execution_count": 36,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "manual = pd.DataFrame({'birthdate':['1958-12-12', '1981-09-21', '1975-05-01']})\n",
    "manual.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 37,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>info</th>\n",
       "      <th>birthdate</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Родился 12 декабря 1958 года в д. Заплесье Дро...</td>\n",
       "      <td>1958-12-12</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>Родился  21 сентября 1981 года в  городе  Брес...</td>\n",
       "      <td>1981-09-21</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Родилась 1 мая  1975 года в г. Бресте. Белорус...</td>\n",
       "      <td>1975-05-01</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Родился 8 августа 1970 года в деревне Дедлово ...</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Родилась 31 мая  1960 года. Белоруска. Образов...</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                info   birthdate\n",
       "0  Родился 12 декабря 1958 года в д. Заплесье Дро...  1958-12-12\n",
       "1  Родился  21 сентября 1981 года в  городе  Брес...  1981-09-21\n",
       "2  Родилась 1 мая  1975 года в г. Бресте. Белорус...  1975-05-01\n",
       "3  Родился 8 августа 1970 года в деревне Дедлово ...         NaN\n",
       "4  Родилась 31 мая  1960 года. Белоруска. Образов...         NaN"
      ]
     },
     "execution_count": 37,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "result = pd.concat([dt, manual], axis=1)\n",
    "result.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 39,
   "metadata": {},
   "outputs": [],
   "source": [
    "# задача восстановить оставшиеся значения в колонке birthdate с помощью ML алгоритма"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.5"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}