Skip to content

Projeto de processamento distribuído de dados utilizando Python, MRJob e AWS EMR

Notifications You must be signed in to change notification settings

jonathanAmancioSales/BigData_AWS_EMR_MRJob_DIO

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

1 Commit
 
 
 
 
 
 
 
 
 
 

Repository files navigation

BigData_AWS_EMR_MRJob_DIO

Este é um projeto de processamento distribuído de dados utilizando Python, MRJob e AWS EMR, que faz parte do Curso Criando seu Ecossistema de Big Data na Nuvem do Bootcamp Cloud Data Engineer, promovido pela Digital Innovation One.


Instruções

  • Acessar S3: https://s3.console.aws.amazon.com/s3/
    • Criar estrutura de data lake : dio-datalake
    • Criar estrutura de pastas:
      • data
      • output
      • temp
  • Acessar EMR: https://console.aws.amazon.com/elasticmapreduce/
    • O cluster será criado pelo MrJob e não pelo console
    • Infraestrutura como código
  • Criar chave SSH
  • Obter Id e chave secreta AWS para configurar MrJob
  • Ambiente linux
    • Criar ambiente virtual python: virtualenv --python=python3.6 venv_emr
  • Criar algoritmo de análise de palavras
    • wordcount-test.py
    • map-reduce-count
    • Instalar boto3: pip install boto3
    • Instalar mrjob: pip install mrjob
  • Acessar S3
    • Upload de arquivo para o bucket
  • Ambiente virtual python: source venv_teste/bin/activate
    • nano ~/.mrjob.conf
    • python3 wordcount-test.py -r emr s3://{your_s3_bucket_name}/data/SherlockHolmes.txt --output-dir=s3://{your_s3_bucket_name}/output/logs1 --cloud-tmp-dir=s3://{your_s3_bucket_name}/temp/

Arquitetura_EMR_S3_MRJob

About

Projeto de processamento distribuído de dados utilizando Python, MRJob e AWS EMR

Topics

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages