Skip to content

Latest commit

 

History

History
31 lines (18 loc) · 1.63 KB

README.md

File metadata and controls

31 lines (18 loc) · 1.63 KB

Hadoop_Dataproc_Google_Cloud_Platform_DIO

Projeto do Curso Criando um Ecossistema Hadoop Totalmente Gerenciado com Google Cloud Dataproc do Bootcamp Data Engineer, promovido pela Digital Innovation One.

Dataproc

Desafio GCP Dataproc

O desafio consiste em efetuar um processamento de dados utilizando o produto Dataproc do GCP. Esse processamento irá simplesmente efetuar a contagem das palavras de um livro (arquivo de texto) e informar quantas vezes cada palavra aparece no mesmo.

Etapas do Desafio

  1. Criar um bucket no Cloud Storage

  2. Atualizar o arquivo contador.py com o nome do Bucket criado nas linhas que contém {SEU_BUCKET}.

  3. Fazer o upload dos arquivos contador.py e livro.txt para o bucket criado (instruções abaixo)

  4. Utilizar o código em um cluster Dataproc, executando um Job do tipo PySpark chamando gs://{SEU_BUCKET}/contador.py

  5. O Job irá gerar uma pasta no bucket chamada resultado. Dentro dessa pasta o arquivo part-00000 irá conter a lista de palavras e quantas vezes ela é repetida em todo o livro.

Resultados

  1. Criar um arquivo chamado resultado.txt. Dentro desse arquivo, colocar as 10 palavras que mais são usadas no livro, de acordo com o resultado do Job.
  2. Inserir os arquivo resultado.txt e part-00000 em um repositório.

NOTA: Se o Job mostrar um WARN de Interrupt, basta ignorar. Existe um bug no Hadoop que é conhecido. Isso não impacta no processamento.