2.5_HW_web_scraping_BS4.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "c54f38c2",
   "metadata": {},
   "source": [
    "# 5. Домашнее задание к лекции \"Основы веб-скрапинга\"\n",
    "\n",
    "## Обязательная часть\n",
    "\n",
    "Вам необходимо написать функцию, которая будет основана на поиске по сайту habr.com. Функция в качестве параметра должна принимать список запросов для поиска (например, ['python', 'анализ данных']) и на основе материалов, попавших в результаты поиска по каждому запросу, возвращать датафрейм вида:\n",
    "\n",
    "<дата> - <заголовок> - <ссылка на материал>\n",
    "\n",
    "В рамках задания предполагается работа только с одной (первой) страницей результатов поисковой выдачи для каждого запроса. Материалы в датафрейме не должны дублироваться, если они попадали в результаты поиска для нескольких запросов из списка.\n",
    "\n",
    "# Дополнительная часть (необязательная)\n",
    "\n",
    "Функция из обязательной части задания должна быть расширена следующим образом:\n",
    "\n",
    "- кроме списка ключевых слов для поиска необходимо объявить параметр с количеством страниц поисковой выдачи. Т.е. при передаче в функцию аргумента 4 необходимо получить материалы с первых 4 страниц результатов;\n",
    "- в датафрейме должны быть столбцы с полным текстом найденных материалов и количеством лайков:\n",
    "\n",
    "<дата> - <заголовок> - <ссылка на материал> - <текст материала> - <количество лайков>\n",
    "\n",
    "\n",
    "# 5. Homework for the lecture \"Fundamentals of web scraping\"\n",
    "\n",
    "## Required part\n",
    "\n",
    "You need to write a function that will be based on a site search habr.com . The function should take a list of search queries as a parameter (for example, ['python', 'data analysis']) and, based on the materials included in the search results for each query, return a dataframe of the form:\n",
    "\n",
    "date - title - link to the material\n",
    "\n",
    "As part of the task, it is supposed to work with only one (first) page of search results for each query. The materials in the dataframe should not be duplicated if they were included in the search results for several queries from the list.\n",
    "\n",
    "# Additional part (optional)\n",
    "\n",
    "The function from the mandatory part of the task should be expanded as follows:\n",
    "\n",
    "- in addition to the list of search keywords, it is necessary to declare a parameter with the number of pages of search results. I.e., when passing argument 4 to the function, it is necessary to get materials from the first 4 pages of results;\n",
    "- the dataframe should have columns with the full text of the materials found and the number of likes:\n",
    "\n",
    "date - title - link to the material - text of the material - number of likes"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "id": "733ca8d4",
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "from numpy import NaN\n",
    "import requests\n",
    "from bs4 import BeautifulSoup\n",
    "import time"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "id": "e2b3259b",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>title</th>\n",
       "      <th>date</th>\n",
       "      <th>link</th>\n",
       "      <th>like</th>\n",
       "      <th>texts</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Юбилейный поток Python для инженеров</td>\n",
       "      <td>14  дек  2022 в 18:01</td>\n",
       "      <td>/ru/company/southbridge/news/t/705358/</td>\n",
       "      <td>Всего голосов 9: ↑7 и ↓2  +5</td>\n",
       "      <td>16 января весь Слёрм будет праздновать: старт...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>Астрономам порекомендовали меньше использовать...</td>\n",
       "      <td>16  сен  2020 в 16:48</td>\n",
       "      <td>/ru/news/t/519414/</td>\n",
       "      <td>Всего голосов 26: ↑24 и ↓2  +22</td>\n",
       "      <td>\\n\\r\\nАстрономы из Лейденской обсерватории оп...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Разработчик предложил устроить коммунистическу...</td>\n",
       "      <td>15  янв  2022 в 19:00</td>\n",
       "      <td>/ru/news/t/645777/</td>\n",
       "      <td>Всего голосов 27: ↑17 и ↓10  +7</td>\n",
       "      <td>\\n\\r\\n14 января 2022 года разработчик jokteur...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Слёрм запускает 3-дневный интенсив по Python д...</td>\n",
       "      <td>18  мая  2022 в 18:33</td>\n",
       "      <td>/ru/company/southbridge/news/t/666476/</td>\n",
       "      <td>Всего голосов 7: ↑6 и ↓1  +5</td>\n",
       "      <td>24-26 июня пройдёт онлайн-интенсив для инжене...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>3-месячный курс по Python</td>\n",
       "      <td>12  янв   в 10:21</td>\n",
       "      <td>/ru/company/southbridge/news/t/710188/</td>\n",
       "      <td>Всего голосов 9: ↑8 и ↓1  +7</td>\n",
       "      <td>Рутинная работа уходит в прошлое: сегодня все...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>24 марта Слёрм проведёт открытый урок «Первый ...</td>\n",
       "      <td>18  мар  2022 в 18:31</td>\n",
       "      <td>/ru/company/southbridge/news/t/656419/</td>\n",
       "      <td>Всего голосов 20: ↑17 и ↓3  +14</td>\n",
       "      <td>Думаете, написать свою первую программу на Py...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>TechnoMeetsPython. Онлайн митап о Python-разра...</td>\n",
       "      <td>22  апр  2022 в 14:42</td>\n",
       "      <td>/ru/news/t/662437/</td>\n",
       "      <td>Всего голосов 2: ↑2 и ↓0  +2</td>\n",
       "      <td>27 апреля в 18:00 собираем питонистов на YouT...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>Последний поток Python для инженеров в этом году</td>\n",
       "      <td>3  авг  2022 в 15:23</td>\n",
       "      <td>/ru/company/southbridge/news/t/680662/</td>\n",
       "      <td>Всего голосов 8: ↑8 и ↓0  +8</td>\n",
       "      <td>29 августа мы запускаем 4 поток курса «Python...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>Асинхронное программирование на Python для джу...</td>\n",
       "      <td>29  сен  2022 в 09:34</td>\n",
       "      <td>/ru/company/southbridge/news/t/690692/</td>\n",
       "      <td>Всего голосов 15: ↑8 и ↓7  +1</td>\n",
       "      <td>Как джуну выделиться на фоне таких же новичко...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>«Разработчикам вход запрещен» или курс «Python...</td>\n",
       "      <td>27  сен  2021 в 09:03</td>\n",
       "      <td>/ru/company/southbridge/news/t/580100/</td>\n",
       "      <td>Всего голосов 13: ↑12 и ↓1  +11</td>\n",
       "      <td>Полгода назад мы анонсировали первый поток ку...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                               title                   date  \\\n",
       "0               Юбилейный поток Python для инженеров  14  дек  2022 в 18:01   \n",
       "1  Астрономам порекомендовали меньше использовать...  16  сен  2020 в 16:48   \n",
       "2  Разработчик предложил устроить коммунистическу...  15  янв  2022 в 19:00   \n",
       "3  Слёрм запускает 3-дневный интенсив по Python д...  18  мая  2022 в 18:33   \n",
       "4                          3-месячный курс по Python      12  янв   в 10:21   \n",
       "5  24 марта Слёрм проведёт открытый урок «Первый ...  18  мар  2022 в 18:31   \n",
       "6  TechnoMeetsPython. Онлайн митап о Python-разра...  22  апр  2022 в 14:42   \n",
       "7   Последний поток Python для инженеров в этом году   3  авг  2022 в 15:23   \n",
       "8  Асинхронное программирование на Python для джу...  29  сен  2022 в 09:34   \n",
       "9  «Разработчикам вход запрещен» или курс «Python...  27  сен  2021 в 09:03   \n",
       "\n",
       "                                     link                             like  \\\n",
       "0  /ru/company/southbridge/news/t/705358/     Всего голосов 9: ↑7 и ↓2  +5   \n",
       "1                      /ru/news/t/519414/  Всего голосов 26: ↑24 и ↓2  +22   \n",
       "2                      /ru/news/t/645777/  Всего голосов 27: ↑17 и ↓10  +7   \n",
       "3  /ru/company/southbridge/news/t/666476/     Всего голосов 7: ↑6 и ↓1  +5   \n",
       "4  /ru/company/southbridge/news/t/710188/     Всего голосов 9: ↑8 и ↓1  +7   \n",
       "5  /ru/company/southbridge/news/t/656419/  Всего голосов 20: ↑17 и ↓3  +14   \n",
       "6                      /ru/news/t/662437/     Всего голосов 2: ↑2 и ↓0  +2   \n",
       "7  /ru/company/southbridge/news/t/680662/     Всего голосов 8: ↑8 и ↓0  +8   \n",
       "8  /ru/company/southbridge/news/t/690692/    Всего голосов 15: ↑8 и ↓7  +1   \n",
       "9  /ru/company/southbridge/news/t/580100/  Всего голосов 13: ↑12 и ↓1  +11   \n",
       "\n",
       "                                               texts  \n",
       "0   16 января весь Слёрм будет праздновать: старт...  \n",
       "1   \\n\\r\\nАстрономы из Лейденской обсерватории оп...  \n",
       "2   \\n\\r\\n14 января 2022 года разработчик jokteur...  \n",
       "3   24-26 июня пройдёт онлайн-интенсив для инжене...  \n",
       "4   Рутинная работа уходит в прошлое: сегодня все...  \n",
       "5   Думаете, написать свою первую программу на Py...  \n",
       "6   27 апреля в 18:00 собираем питонистов на YouT...  \n",
       "7   29 августа мы запускаем 4 поток курса «Python...  \n",
       "8   Как джуну выделиться на фоне таких же новичко...  \n",
       "9   Полгода назад мы анонсировали первый поток ку...  "
      ]
     },
     "execution_count": 2,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "def web_scraping():\n",
    "    \n",
    "    urls = ['https://habr.com/ru/search/page' + str(x) for x in range(1,6)]\n",
    "    \n",
    "    keywords = ['python', 'анализ данных']\n",
    "    df_list = []\n",
    "    \n",
    "    for keyword in keywords:\n",
    "        \n",
    "      req1 = requests.get(urls[1], params={'q':[keyword]})\n",
    "      req2 = requests.get(urls[2], params={'q':[keyword]})\n",
    "      req3 = requests.get(urls[3], params={'q':[keyword]})\n",
    "      req4 = requests.get(urls[4], params={'q':[keyword]})\n",
    "      \n",
    "      soup1 = BeautifulSoup(req1.text)\n",
    "      soup2 = BeautifulSoup(req2.text)\n",
    "      soup3 = BeautifulSoup(req3.text)\n",
    "      soup4 = BeautifulSoup(req4.text)\n",
    "      \n",
    "      articles1 = soup1.find_all('article', class_='tm-articles-list__item')\n",
    "      articles2 = soup2.find_all('article', class_='tm-articles-list__item')\n",
    "      articles3 = soup3.find_all('article', class_='tm-articles-list__item')\n",
    "      articles4 = soup4.find_all('article', class_='tm-articles-list__item')\n",
    "      \n",
    "      articles_all = articles1 + articles2 + articles3 + articles4\n",
    "      time.sleep(0.2)\n",
    "    \n",
    "      for article in articles_all:\n",
    "        title = article.find('h2', class_='tm-article-snippet__title tm-article-snippet__title_h2')\n",
    "        if title:\n",
    "          title = title.text\n",
    "          link = article.find('a', class_='tm-article-snippet__title-link').get('href')\n",
    "          dates = article.find('span', class_='tm-article-datetime-published').text\n",
    "          likes = article.find('div', class_ = \"tm-votes-meter tm-data-icons__item\").text\n",
    "          article_soup = BeautifulSoup(requests.get('https://habr.com' + link).text)\n",
    "          texts = article_soup.find_all('div', class_='tm-article-body')[0].text\n",
    "          #print(texts)\n",
    "        else:\n",
    "          title = NaN\n",
    "          link = NaN\n",
    "          dates = NaN\n",
    "          texts = NaN\n",
    "        \n",
    "        df = pd.DataFrame()\n",
    "        df_list.append(pd.DataFrame({'title': [title],'date': [dates], 'link': [link], 'like': [likes], 'texts': [texts]}))\n",
    "      df = pd.concat(df_list).drop_duplicates()\n",
    "        \n",
    "    return df.reset_index(drop=True).dropna(subset=['title'])\n",
    "\n",
    "web_scraping().head(10)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "f63f70c7",
   "metadata": {},
   "source": [
    "![](BeautifulSoup_logo.png)"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.9.13"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}