Este coletor tem como objetivo a recuperação de informações sobre folhas de pagamentos dos funcionários do Ministério Público Militar. O site com as informações pode ser acessado aqui.
O crawler está estruturado como uma CLI. Você passa dois argumentos (mês e ano) e serão baixadas duas planilhas no formato XLSX, cada planilha é referente a uma destas categorias:
- Tipo I - Folha de remunerações: Membros Ativos.
- Tipo II - Verbas Indenizatórias e outras remunerações temporárias.
-
Inicialmente é preciso instalar o Docker.
-
Construção da imagem:
$ cd coletor-mpm $ docker build --pull --rm -t mpm:latest .
-
Execução:
$ docker run -i --rm -e YEAR=2019 -e MONTH=12 -e OUTPUT_FOLDER=/output --name mpm --mount type=bind,src=/home/user/coletor-mpm,dst=/output mpm
-
Para executar o script é necessário rodar o seguinte comando, a partir do diretório coletor-mpba, adicionando às variáveis seus respectivos valores, a depender da consulta desejada. É válido lembrar que faz-se necessario ter o Python 3.6.9 instalado.
YEAR=2020 MONTH=01 python3 src/main.py
-
Para que a execução do script possa ser corretamente executada é necessário que todos os requirements sejam devidamente instalados. Para isso, executar o PIP passando o arquivo requiments.txt, por meio do seguinte comando:
pip install -r requirements.txt