IGTI-ED-M4-PLD-TP-ENEM-iter.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {
    "executionInfo": {
     "elapsed": 279,
     "status": "ok",
     "timestamp": 1638629980738,
     "user": {
      "displayName": "Anderson E Santo",
      "photoUrl": "https://lh3.googleusercontent.com/a-/AOh14Gj8xxJ-lPNTieNpveBR63c7vE9r_eTLSFXY4dZtoA=s64",
      "userId": "05529391911857576824"
     },
     "user_tz": 180
    },
    "id": "y8BR1VLbgNOg"
   },
   "source": [
    "## Referências\n",
    "https://pythontic.com/pandas/serialization/postgresql  \n",
    "https://medium.com/@apoor/quickly-load-csvs-into-postgresql-using-python-and-pandas-9101c274a92f  \n",
    "https://towardsdatascience.com/loading-large-datasets-in-pandas-11bdddd36f7b  \n",
    "https://chartio.com/resources/tutorials/how-to-execute-raw-sql-in-sqlalchemy/"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {
    "executionInfo": {
     "elapsed": 279,
     "status": "ok",
     "timestamp": 1638629980738,
     "user": {
      "displayName": "Anderson E Santo",
      "photoUrl": "https://lh3.googleusercontent.com/a-/AOh14Gj8xxJ-lPNTieNpveBR63c7vE9r_eTLSFXY4dZtoA=s64",
      "userId": "05529391911857576824"
     },
     "user_tz": 180
    },
    "id": "y8BR1VLbgNOg"
   },
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "import numpy as np  \n",
    "import zipfile\n",
    "import requests\n",
    "from io import BytesIO\n",
    "import os\n",
    "from sqlalchemy import create_engine"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "chunksize=100000\n",
    "pgconstring='postgresql+psycopg2://postgres:DP4zzI6lAmGyubAp@35.247.201.110:5432/postgres'\n",
    "url = \"http://download.inep.gov.br/microdados/microdados_enem_2019.zip\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "os.makedirs('/mnt/enem2019', exist_ok=True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "filebytes = BytesIO(\n",
    "    requests.get(url).content\n",
    ")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "myzip = zipfile.ZipFile(filebytes)\n",
    "myzip.extractall(\"/mnt/enem2019\")\n",
    "del filebytes\n",
    "del myzip"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [],
   "source": [
    "enem_iter = pd.read_csv(\n",
    "    \"/mnt/enem2019/DADOS/MICRODADOS_ENEM_2019.csv\",\n",
    "    sep=\";\",\n",
    "    encoding='latin_1',\n",
    "    chunksize=50000,\n",
    "    iterator=True\n",
    ")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [],
   "source": [
    "engine = create_engine(pgconstring\n",
    "                       ,pool_recycle=3600)\n",
    "postgreSQLConnection    = engine.connect();"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [],
   "source": [
    "for chunk in enem_iter:\n",
    "    df = pd.concat([chunk[chunk['CO_UF_RESIDENCIA'] == 31]])\n",
    "    df.to_sql('enem2019mg', \n",
    "            postgreSQLConnection, \n",
    "            index=False,\n",
    "            if_exists='append',\n",
    "            method='multi' )\n",
    "    "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 43,
   "metadata": {},
   "outputs": [],
   "source": [
    "tmp = {'NR': ['1'],\n",
    "       'Pergunta': ['Qual é a média da nota em matemática de todos os alunos mineiros?'],\n",
    "       'Resposta': postgreSQLConnection.execute('select round(avg(\"NU_NOTA_MT\")::numeric,1) from public.enem2019mg').fetchall()\n",
    "      }\n",
    "dfr = pd.DataFrame(data=tmp)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 44,
   "metadata": {},
   "outputs": [],
   "source": [
    "tmp = {'NR': ['2'],\n",
    "       'Pergunta': ['Qual é a média da nota em Linguagens e Códigos de todos os alunos mineiros?'],\n",
    "       'Resposta': postgreSQLConnection.execute('select round(avg(\"NU_NOTA_LC\")::numeric,1) from public.enem2019mg').fetchall()\n",
    "      }\n",
    "dfr = dfr.append(pd.DataFrame(data=tmp))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 45,
   "metadata": {},
   "outputs": [],
   "source": [
    "tmp = {'NR': ['3'],\n",
    "       'Pergunta': ['Qual é a média da nota em Ciências Humanas dos alunos do sexo FEMININO mineiros?'],\n",
    "       'Resposta': postgreSQLConnection.execute('select round(avg(\"NU_NOTA_CH\")::numeric,1) from public.enem2019mg where \"TP_SEXO\"  =\\'F\\' ').fetchall()\n",
    "      }\n",
    "dfr = dfr.append(pd.DataFrame(data=tmp))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 46,
   "metadata": {},
   "outputs": [],
   "source": [
    "tmp = {'NR': ['4'],\n",
    "       'Pergunta': ['Qual é a média da nota em Ciências Humanas dos alunos do sexo MASCULINO?'],\n",
    "       'Resposta': postgreSQLConnection.execute('select round(avg(\"NU_NOTA_CH\")::numeric,1) from public.enem2019mg where \"TP_SEXO\"  =\\'M\\' ').fetchall()\n",
    "      }\n",
    "dfr = dfr.append(pd.DataFrame(data=tmp))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 47,
   "metadata": {},
   "outputs": [],
   "source": [
    "tmp = {'NR': ['5'],\n",
    "       'Pergunta': ['Qual é a média da nota em Matemática dos alunos do sexo FEMININO que moram na cidade de Montes Claros?'],\n",
    "       'Resposta': postgreSQLConnection.execute('select round(avg(\"NU_NOTA_MT\")::numeric,1) from public.enem2019mg where \"TP_SEXO\" =\\'F\\' and upper(\"NO_MUNICIPIO_RESIDENCIA\") like \\'MONTES CLAROS\\' ').fetchall()\n",
    "      }\n",
    "dfr = dfr.append(pd.DataFrame(data=tmp))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 48,
   "metadata": {},
   "outputs": [],
   "source": [
    "tmp = {'NR': ['6'],\n",
    "       'Pergunta': ['Qual é a média da nota em Matemática dos alunos do município de Sabará que possuem TV por assinatura na residência?'],\n",
    "       'Resposta': postgreSQLConnection.execute('select round(avg(\"NU_NOTA_MT\")::numeric,1) from public.enem2019mg where \"NO_MUNICIPIO_RESIDENCIA\" = \\'Sabará\\' and \"Q021\" =\\'B\\' ').fetchall()\n",
    "      }\n",
    "dfr = dfr.append(pd.DataFrame(data=tmp))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 49,
   "metadata": {},
   "outputs": [],
   "source": [
    "tmp = {'NR': ['7'],\n",
    "       'Pergunta': ['Qual é a média da nota em Ciências Humanas dos alunos mineiros que possuem dois fornos micro-ondas em casa?'],\n",
    "       'Resposta': postgreSQLConnection.execute('select round(avg(\"NU_NOTA_CH\")::numeric,1) from public.enem2019mg where \"Q016\" =\\'C\\' ').fetchall()\n",
    "      }\n",
    "dfr = dfr.append(pd.DataFrame(data=tmp))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 50,
   "metadata": {},
   "outputs": [],
   "source": [
    "tmp = {'NR': ['8'],\n",
    "       'Pergunta': ['Qual é a nota média em Matemática dos alunos mineiros cuja mãe completou a pós-graduação?'],\n",
    "       'Resposta': postgreSQLConnection.execute('select round(avg(\"NU_NOTA_MT\")::numeric,1) from public.enem2019mg where \"Q002\" =\\'G\\' ').fetchall()\n",
    "      }\n",
    "dfr = dfr.append(pd.DataFrame(data=tmp))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 51,
   "metadata": {},
   "outputs": [],
   "source": [
    "tmp = {'NR': ['9'],\n",
    "       'Pergunta': ['Qual é a nota média em Matemática dos alunos de Belo Horizonte e de Conselheiro Lafaiete?'],\n",
    "       'Resposta': postgreSQLConnection.execute('select round(avg(\"NU_NOTA_MT\")::numeric,1) from public.enem2019mg where \"NO_MUNICIPIO_RESIDENCIA\" =\\'Belo Horizonte\\' or \"NO_MUNICIPIO_RESIDENCIA\" =\\'Conselheiro Lafaiete\\' ').fetchall()\n",
    "      }\n",
    "dfr = dfr.append(pd.DataFrame(data=tmp))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 52,
   "metadata": {},
   "outputs": [],
   "source": [
    "tmp = {'NR': ['10'],\n",
    "       'Pergunta': ['Qual é a nota média em Ciências Humanas dos alunos mineiros que moram sozinhos?'],\n",
    "       'Resposta': postgreSQLConnection.execute('select round(avg(\"NU_NOTA_CH\")::numeric,1) from public.enem2019mg where \"Q005\" =\\'1\\' ').fetchall()\n",
    "      }\n",
    "dfr = dfr.append(pd.DataFrame(data=tmp))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 53,
   "metadata": {},
   "outputs": [],
   "source": [
    "tmp = {'NR': ['11'],\n",
    "       'Pergunta': ['Qual é a nota média em Ciências Humanas dos alunos mineiros cujo pai completou pós-graduação e possuem renda familiar entre R$ 8.982,01 e R$ 9.980,00.'],\n",
    "       'Resposta': postgreSQLConnection.execute('select round(avg(\"NU_NOTA_CH\")::numeric,1) from public.enem2019mg where \"Q001\" =\\'G\\' and \"Q006\" =\\'M\\' ').fetchall()\n",
    "      }\n",
    "dfr = dfr.append(pd.DataFrame(data=tmp))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 54,
   "metadata": {},
   "outputs": [],
   "source": [
    "tmp = {'NR': ['12'],\n",
    "       'Pergunta': ['Qual é a nota média em Matemática dos alunos do sexo Feminino que moram em Lavras e escolheram “Espanhol” como língua estrangeira?'],\n",
    "       'Resposta': postgreSQLConnection.execute('select round(avg(\"NU_NOTA_MT\")::numeric,1) from public.enem2019mg where \"NO_MUNICIPIO_RESIDENCIA\" =\\'Lavras\\' and \"TP_SEXO\" =\\'F\\' and \"TP_LINGUA\" =\\'1\\' ').fetchall()\n",
    "      }\n",
    "dfr = dfr.append(pd.DataFrame(data=tmp))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 55,
   "metadata": {},
   "outputs": [],
   "source": [
    "tmp = {'NR': ['13'],\n",
    "       'Pergunta': ['Qual é a nota média em Matemática dos alunos do sexo Masculino que moram em Ouro Preto?'],\n",
    "       'Resposta': postgreSQLConnection.execute('select round(avg(\"NU_NOTA_MT\")::numeric,1) from public.enem2019mg where \"NO_MUNICIPIO_RESIDENCIA\" =\\'Ouro Preto\\' and \"TP_SEXO\" =\\'M\\' ').fetchall()\n",
    "      }\n",
    "dfr = dfr.append(pd.DataFrame(data=tmp))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 56,
   "metadata": {},
   "outputs": [],
   "source": [
    "tmp = {'NR': ['14'],\n",
    "       'Pergunta': ['Qual é a nota média em Ciências Humanas dos alunos surdos?'],\n",
    "       'Resposta': postgreSQLConnection.execute('select round(avg(\"NU_NOTA_CH\")::numeric,1) from public.enem2019mg where \"IN_SURDEZ\" =\\'1\\' ').fetchall()\n",
    "      }\n",
    "dfr = dfr.append(pd.DataFrame(data=tmp))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 57,
   "metadata": {},
   "outputs": [],
   "source": [
    "tmp = {'NR': ['15'],\n",
    "       'Pergunta': ['Qual é a nota média em Matemática dos alunos do sexo FEMININO, que moram em Belo Horizonte, Sabará, Nova Lima e Betim e possuem dislexia?'],\n",
    "       'Resposta': postgreSQLConnection.execute('select round(avg(\"NU_NOTA_MT\")::numeric,1) from public.enem2019mg where \"TP_SEXO\" =\\'F\\' and \"NO_MUNICIPIO_RESIDENCIA\" in(\\'Belo Horizonte\\',  \\'Sabará\\',\\'Nova Lima\\', \\'Betim\\') and \"IN_DISLEXIA\" =\\'1\\' ').fetchall()\n",
    "      }\n",
    "dfr = dfr.append(pd.DataFrame(data=tmp))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 58,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>NR</th>\n",
       "      <th>Pergunta</th>\n",
       "      <th>Resposta</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>1</td>\n",
       "      <td>Qual é a média da nota em matemática de todos ...</td>\n",
       "      <td>(546.8)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>2</td>\n",
       "      <td>Qual é a média da nota em Linguagens e Códigos...</td>\n",
       "      <td>(531.2)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>3</td>\n",
       "      <td>Qual é a média da nota em Ciências Humanas dos...</td>\n",
       "      <td>(515.1)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>4</td>\n",
       "      <td>Qual é a média da nota em Ciências Humanas dos...</td>\n",
       "      <td>(529.7)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>5</td>\n",
       "      <td>Qual é a média da nota em Matemática dos aluno...</td>\n",
       "      <td>(525.5)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>6</td>\n",
       "      <td>Qual é a média da nota em Matemática dos aluno...</td>\n",
       "      <td>(543.3)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>7</td>\n",
       "      <td>Qual é a média da nota em Ciências Humanas dos...</td>\n",
       "      <td>(557.3)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>8</td>\n",
       "      <td>Qual é a nota média em Matemática dos alunos m...</td>\n",
       "      <td>(620.0)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>9</td>\n",
       "      <td>Qual é a nota média em Matemática dos alunos d...</td>\n",
       "      <td>(578.0)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>10</td>\n",
       "      <td>Qual é a nota média em Ciências Humanas dos al...</td>\n",
       "      <td>(534.5)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>11</td>\n",
       "      <td>Qual é a nota média em Ciências Humanas dos al...</td>\n",
       "      <td>(586.7)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>12</td>\n",
       "      <td>Qual é a nota média em Matemática dos alunos d...</td>\n",
       "      <td>(510.8)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>13</td>\n",
       "      <td>Qual é a nota média em Matemática dos alunos d...</td>\n",
       "      <td>(555.1)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>14</td>\n",
       "      <td>Qual é a nota média em Ciências Humanas dos al...</td>\n",
       "      <td>(435.4)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>15</td>\n",
       "      <td>Qual é a nota média em Matemática dos alunos d...</td>\n",
       "      <td>(582.2)</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   NR                                           Pergunta Resposta\n",
       "0   1  Qual é a média da nota em matemática de todos ...  (546.8)\n",
       "0   2  Qual é a média da nota em Linguagens e Códigos...  (531.2)\n",
       "0   3  Qual é a média da nota em Ciências Humanas dos...  (515.1)\n",
       "0   4  Qual é a média da nota em Ciências Humanas dos...  (529.7)\n",
       "0   5  Qual é a média da nota em Matemática dos aluno...  (525.5)\n",
       "0   6  Qual é a média da nota em Matemática dos aluno...  (543.3)\n",
       "0   7  Qual é a média da nota em Ciências Humanas dos...  (557.3)\n",
       "0   8  Qual é a nota média em Matemática dos alunos m...  (620.0)\n",
       "0   9  Qual é a nota média em Matemática dos alunos d...  (578.0)\n",
       "0  10  Qual é a nota média em Ciências Humanas dos al...  (534.5)\n",
       "0  11  Qual é a nota média em Ciências Humanas dos al...  (586.7)\n",
       "0  12  Qual é a nota média em Matemática dos alunos d...  (510.8)\n",
       "0  13  Qual é a nota média em Matemática dos alunos d...  (555.1)\n",
       "0  14  Qual é a nota média em Ciências Humanas dos al...  (435.4)\n",
       "0  15  Qual é a nota média em Matemática dos alunos d...  (582.2)"
      ]
     },
     "execution_count": 58,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "dfr"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "colab": {
   "authorship_tag": "ABX9TyNYJbEjB6+kF/VX1+nEYWRM",
   "name": "IGTI-ED-M4-PLD-TP.ipynb",
   "provenance": [
    {
     "file_id": "1htvgIaphe3Y6dZufTXYk9w8FBaN8EDaG",
     "timestamp": 1638623604751
    }
   ]
  },
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.9.7"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}