BigData Homeworks 1: Analytics in HIVE, Pig e PySpark di una raccolta di dati relative a tutte le ricerche della Federico II di Napoli
- HW1: Eseguire almeno 5 diverse 💹 analytics di tipo descrittivo sul dataset relativo ai progetti di ricerca della Federico II. Ogni analytics dovrà essere implementata attraverso Pig, HIVE e PySpark e presentata attraverso apposita reportistica.
Nel seguente repository è possibile scaricare le analytics in 🐷 PIG ➡️ Qui
È possibile visualizzare le implementazioni e analytics fatte su PySpark e HIVE nei seguenti link:
📓 Notebook Colab ➡️ Vai
📔 Notebook Hive ➡️ Vai
BigData Homeworks 2: Analytics su Database NoSQL MongoDB e Neo4J - Analisi delle competenze e dei Topic trattati nel corso degli anni applicate su una raccolta di dati relative a tutte le ricerche della Federico II di Napoli
- HW2: Sullo stesso dataset inerente ai progetti di ricerca della Federico II, vengono realizzate nuove 💹 analytics relative alla somma finanziata e ai topic/tematiche affrontate nei progetti di ricerca, visualizzando anche come queste variano negli anni. Per questo scopo, vengono utilizzati i database NoSQL MongoDB e Neo4j, ed il tutto è rappresentato nella dashboard aggiornata.
📓 Notebook MongoDB ➡️ Vai
🗒️ Analytics Neo4j ➡️ Vai
📑 È possibile visualizzare il report completo di tutte le analytics incluse negli Homework 1 e 2 ➡️ Vai
BigData Homeworks 3: Acquisizione streaming dati da Open Meteo, memorizzazione su HDFS, analitiche con PySpark
- HW3: Per questo Homework viene utilizzato Apache Kafka (configurazione presente all'interno del documento) per gestire l'acquisizione di uno stream di dati da una data sorgente, in questo caso Open Meteo, che tramite HDFS vengono memorizzati all'interno di un file di log. In seguito, utilizzando PySpark visto già in Homework 1, vengono eseguite delle query sullo stream di dati, visualizzando il tutto su una apposita dashboard.
📂 Repository Kafka ➡️ Vai