Análise de Dados do Mundo Real 📊

Turma ON35 | Python | Semana 14 | 2024 | Professora Camila Ribeiro

Instruções

1. Faça o Fork deste repositório!
   • Clique no botão "Fork" no canto superior direito da página do repositório.
   • Você terá uma cópia do repositório em sua conta do GitHub.
2. Clone o repositório na sua máquina:
   • Abra o seu terminal e digite:

   git clone https://github.com/reprograma/on35-python-s14-analise-de-dados.git

3. Entre na pasta do repositório:
   • Abra o seu terminal e digite:

   cd on35-python-s14-analise-de-dados.git

Introdução 📊

---

Lembre-se daquelas aulas sobre bancos de dados? Aquele monte de informações organizado e estruturado? E do Pandas, que te ensinou a manipular dados como um maestro de orquestra?

Pois bem, hoje vamos dar um passo além! Vamos mergulhar no mundo da análise de dados, transformando informações brutas em insights poderosos que podem mudar o jogo! 🚀

Mas antes de começarmos a programar, precisamos entender uma coisa crucial: o que diferencia um dado "cru" dentro de um banco de dados de um dado que nos conta uma história, um dado que se transforma em um gráfico e te revela segredos? 🤔

Prepare-se para descobrir!

Do Caos à Sabedoria: A Jornada dos Dados

Para entendermos o poder da análise de dados, precisamos primeiro compreender a diferença entre três conceitos chave:

1. Dados: Imagine um monte de peças de Lego espalhadas pelo chão. Essas peças são como dados: informações soltas, sem contexto ou significado.

* **Exemplo:**  "Ontem Maria tinha batatas." 🥔 

2. Informação: Agora, imagine que você pega essas peças de Lego e as organiza para construir um castelo. Essa organização é a informação: dados estruturados e conectados, que começam a fazer sentido.

* **Exemplo:** "Ontem Maria tinha batatas, hoje Maria tem 40 batatas." 🥔🏰

3. Conhecimento: Olhando para o castelo, você percebe que uma das torres está desabando! Essa é a análise: a capacidade de extrair insights e conclusões importantes a partir da informação.

* **Exemplo:** "Como Maria tinha 40 batatas ontem e hoje ela tem apenas 20, em um dia ela perdeu 50% das suas batatas." 📉 

Por que os Dados São Tão Importantes?

No século XXI, os dados se tornaram protagonistas! A informação está em todos os lugares, e a capacidade de analisá-la e extrair insights valiosos está transformando a maneira como vivemos, trabalhamos e interagimos com o mundo. 👑

A Era dos Dados: Uma Oportunidade de Ouro!

Clive Humby, um matemático especialista em ciência de dados, disse uma frase que ecoa até hoje: "Os dados são o novo petróleo! É valioso, mas se não for refinado não pode realmente ser usado (...) então os dados devem ser decompostos, analisados ​​para que tenham valor."

Imagine o petróleo bruto: um recurso abundante, mas inutilizável até ser refinado e transformado em combustíveis e outros produtos. Os dados são o mesmo: um tesouro de informações, mas apenas se transformam em conhecimento e valor quando são analisados!

A inteligência por trás da análise de dados é o que determina o seu verdadeiro potencial. É a capacidade de usar dados para descobrir padrões, tendências e insights que podem impulsionar a tomada de decisões estratégicas.

A Cultura Data-Driven:

Essa nova realidade levou as empresas a abraçarem a cultura data-driven. Mas o que isso significa?

Empresas data-driven são aquelas que planejam, executam e gerenciam suas estratégias com base em dados, utilizando a análise de dados como o alicerce de suas decisões.

Imagine uma empresa que antes tomava decisões baseadas em intuição ou em dados superficiais. Com a cultura data-driven, ela começa a usar dados para:

• Compreender melhor seus clientes: Quais são seus gostos, necessidades e hábitos de consumo?
• Otimizar seus produtos e serviços: Quais produtos são mais populares? Como melhorar a experiência do cliente?
• Analisar o mercado: Quais são as tendências do mercado? Quais são os seus principais concorrentes?
• Prever o futuro: Como as condições do mercado podem mudar? Quais são os riscos e oportunidades?

Essa mudança de mentalidade impacta diretamente o sucesso de uma empresa, permitindo que ela seja mais ágil, eficiente e competitiva.

Os Benefícios da Cultura Data-Driven: Um Futuro Mais Inteligente!

Empresas data-driven são aquelas que abraçam a análise de dados como um guia estratégico, usando informações para tomar decisões mais inteligentes e garantir o sucesso a longo prazo. Essa cultura, quando aplicada de forma eficiente, traz diversos benefícios:

1. Assertividade nas Previsões: Imagine uma empresa que precisa decidir se deve investir em um novo produto. Em vez de confiar apenas na intuição, ela pode usar dados para analisar tendências de mercado, comportamento do consumidor e a performance de produtos similares. Essa análise permite fazer previsões mais precisas sobre o sucesso do novo produto, reduzindo o risco de investimentos equivocados.

2. Decisões Mais Ágeis: Em um mundo em constante mudança, a velocidade é fundamental. A análise de dados permite identificar problemas e oportunidades com mais rapidez, otimizando a tomada de decisões e garantindo que a empresa se adapte às mudanças do mercado com mais agilidade.

3. Serviços e Produtos Superiores: Imagine uma plataforma de streaming que usa dados para entender os gostos musicais dos seus usuários. Com base nesses insights, ela pode oferecer recomendações personalizadas, criando uma experiência mais satisfatória e aumentando o engajamento dos clientes.

Empresas Brasileiras que Abraçaram a Cultura Data-Driven:

• Itaú: Usa dados para personalizar ofertas e serviços financeiros, criando uma experiência mais individual e relevante para seus clientes.
• Nubank: Utiliza dados para analisar o perfil de crédito e oferecer produtos financeiros personalizados, tornando a experiência bancária mais acessível e intuitiva.
• iFood: Analisa dados de pedidos, otimiza a entrega e recomenda restaurantes com base nos seus gostos, transformando a experiência do cliente em algo mais prático e prazeroso.
• PicPay: Usa dados para analisar transações, prevenir fraudes e oferecer ofertas personalizadas, tornando suas compras online mais seguras e vantajosas.
• Stone: Utiliza dados para ajudar empresas a entender seus clientes e otimizar seus negócios, impulsionando o crescimento e a eficiência.

---

Introdução à Análise de Dados: Desvendando os Segredos dos Dados

A análise de dados é a arte de extrair insights valiosos a partir de informações, sejam elas numéricas (quantitativas) ou descritivas (qualitativas). É como uma lupa que nos permite enxergar padrões, tendências e relações ocultas nos dados, fornecendo informações cruciais para confirmar ou refutar hipóteses, solucionar problemas e tomar decisões mais assertivas.

Tipos de Análise de Dados:

O mundo da análise de dados é vasto e abrange diferentes tipos de análise, cada um com um objetivo específico:

1. Análise Descritiva: 📊

• Foco: Descrever eventos passados e entender o que aconteceu.
• Objetivo: Compreender a situação atual e fornecer um panorama geral dos dados.
• Exemplo: Analisar as vendas de um produto nos últimos meses para entender quais foram os períodos de maior e menor demanda.

2. Análise Diagnóstica: 🔍

• Foco: Investigar as causas e os efeitos de eventos ou comportamentos específicos.
• Objetivo: Identificar os "porquês" por trás de certos padrões ou resultados.
• Exemplo: Analisar as taxas de churn de um serviço para identificar as principais causas de cancelamento e encontrar soluções para reduzir essa perda de clientes.

3. Análise Preditiva: 🔮

• Foco: Fazer previsões sobre o futuro, utilizando padrões identificados nos dados.
• Objetivo: Antecipar tendências e comportamentos, permitindo que as empresas se preparem para o futuro.
• Exemplo: Prever a demanda por um produto nos próximos meses, com base em dados históricos de vendas e informações sobre o mercado.

4. Análise Prescritiva: 🎯

• Foco: Recomendar ações e decisões estratégicas com base na análise de dados.
• Objetivo: Identificar as melhores ações para atingir um objetivo específico, maximizando resultados e mitigando riscos.
• Exemplo: Analisar diferentes cenários de investimento para determinar qual a melhor estratégia para alcançar um retorno financeiro desejado.

Desvendando o Poder dos Dados:

Compreender os diferentes tipos de análise de dados e suas aplicações é fundamental para utilizar essa poderosa ferramenta a seu favor. Prepare-se para mergulhar nesse mundo e transformar informações em conhecimento que impacta decisões! 🚀

Em Resumo:

• Análise Descritiva: Responde à pergunta "O que aconteceu?". É como olhar para o passado e entender o que ocorreu.
• Análise Diagnóstica: Busca entender o "Por que" algo aconteceu. Investigar as causas e os motivos por trás de eventos passados.
• Análise Preditiva: Projeta o futuro, respondendo "O que pode acontecer?". Usa padrões do passado para prever tendências e comportamentos.
• Análise Prescritiva: Indica o melhor caminho a seguir, respondendo "O que fazer?". Recomenda ações e decisões estratégicas para atingir um objetivo específico.

Mergulhando na Análise de Dados: Uma Jornada Passo a Passo

Etapas Essenciais da Análise de Dados:

1. Definição do Problema:

• O que você quer descobrir? Defina claramente o problema que você deseja resolver ou as perguntas que deseja responder.
• Objetivos Mensuráveis: Estabeleça objetivos específicos e mensuráveis para garantir que a análise seja direcionada e os resultados sejam tangíveis.

2. Coleta de Dados:

• De onde virão as informações? Identifique as fontes de dados relevantes para responder às suas perguntas. Algumas opções:
  • Web scraping: Coleta de dados de sites.
  • APIs: Interfaces de programação que permitem acessar dados de forma automatizada.
  • Dados públicos: Bases de dados disponíveis para acesso público.
  • Kaggle: Plataforma com datasets para fins de aprendizado e pesquisa.

3. Limpeza dos Dados:

• Dados limpos, resultados precisos: Elimine inconsistências, como registros duplicados, informações faltantes, valores inválidos e dados irrelevantes para a análise.

4. Análise dos Dados:

• Explorando as informações: Manipule os dados com o Pandas para agrupá-los, ordená-los, buscar padrões e responder às perguntas que você definiu no início.

5. Interpretação e Visualização:

• Comunicando os resultados: Comunique suas conclusões de forma clara e concisa, utilizando gráficos e tabelas para tornar a informação mais compreensível.

---

Desvendando os Segredos da Netflix: Uma Missão em Grupo! 🕵️‍♀️

É hora de colocar a mão na massa e mergulhar no mundo real da análise de dados!

Sua Missão:

Em grupos, vocês irão explorar uma base de dados da Netflix e, como verdadeiras detetives de dados, desvendar seus segredos!

Passo a Passo:

1. Abram os dados da Netflix: Use suas habilidades com o Pandas para abrir a base de dados e dar uma olhada nos dados.
2. Definam um problema: Qual pergunta vocês querem responder com os dados? Escolham um desafio que seja interessante para o grupo e que possa ser respondido com as informações disponíveis.
3. Entendam os dados:
   • Tipo de dados: Identifiquem o tipo de dados de cada coluna (inteiros, decimais, booleanos, strings).
   • Dados nulos: Verifiquem se existem valores ausentes nas colunas.
   • Manipulação: Quais colunas precisam ser limpas, transformadas ou manipuladas para responder à sua pergunta?
4. Compartilhem suas descobertas: Com o grupo, discutam suas observações sobre os dados, os desafios que encontraram e como podem usar a análise para responder ao problema que escolheram.

💡 Dica: Sejam criativas! Existem muitas perguntas interessantes que vocês podem investigar com os dados da Netflix.

Lembre-se: essa dinâmica é um primeiro passo para desvendar o poder da análise de dados. Use suas habilidades de investigação, colaboração e criatividade para descobrir insights valiosos!

Mergulhando nos Dados da Netflix: Uma Aventura de Análise! 🍿

Passo 1: Baixando os Dados

Para começar nossa jornada, precisamos baixar o dataset da Netflix. Você pode encontrá-lo na plataforma Kaggle (https://www.kaggle.com/datasets/arnavsmayan/netflix-userbase-dataset), mas para facilitar, disponibilizamos o arquivo diretamente no Google Drive: https://drive.google.com/drive/folders/1RuibSOdMp-cR6niAdbH8bRIj3PO4EOlh?usp=sharing.

Passo 2: Importando as Ferramentas

Começaremos importando a biblioteca pandas, nossa ferramenta essencial para manipular e analisar dados:

import pandas as pd

Próximos Passos:

1. Carregando os Dados: Utilizaremos o código Python para baixar o arquivo do Google Drive e carregá-lo para um DataFrame do Pandas, pronto para ser explorado.
2. Explorando os Dados: Vamos dar uma olhada nos dados, identificando as colunas, seus tipos de dados e se existem valores ausentes.
3. Definindo um Problema: Em seguida, escolheremos uma pergunta interessante que queremos responder com os dados da Netflix.
4. Analisando os Dados: Utilizaremos as funções do Pandas para manipular os dados e encontrar insights que nos ajudem a responder à nossa pergunta.
5. Visualizando os Dados: Criaremos gráficos e tabelas para apresentar nossos resultados de forma clara e concisa.

Bibliotecas Utilizadas

• pandas: Uma biblioteca poderosa para manipulação e análise de dados.

  • Documentação: https://pandas.pydata.org/
  • Funções usadas: read_csv, info, isnull().sum, describe, to_datetime, assign, drop, reset_index e outras.

• matplotlib.pyplot: Uma biblioteca para criação de gráficos estáticos, interativos e animados.

  • Documentação: https://matplotlib.org/
  • Funções usadas: figsize, countplot, title, xlabel, ylabel, legend e outras.

• seaborn: Uma biblioteca para visualização de dados estatísticos, construída sobre o matplotlib.

  • Documentação: https://seaborn.pydata.org/
  • Funções usadas: countplot (com o parâmetro hue).

• datetime: Módulo do Python para trabalhar com datas e horas.

  • Documentação: https://docs.python.org/3/library/datetime.html

Para instalar as bibliotecas necessárias, execute o seguinte comando no seu terminal:

pip install pandas matplotlib

Em seguida, você pode importar o seaborn como import seaborn as sns.

Agora que você tem todas as ferramentas, mãos à obra e divirta-se explorando os dados!

Desenvolvido com 💜