Descrizione
Il Big data specialist (o Big Data Engineer) ha l’obiettivo di progettare, implementare e gestire i processi di Big data, sviluppando nuovi strumenti o aggiungendo nuove funzionalità a strumenti già esistenti e assicurando l’efficienza dei tool di processamento dati sviluppati. Ha la responsabilità della realizzare soluzioni infrastrutturali di big data ""production-ready"", attraverso tutte le fasi, dall'analisi allo sviluppo il testing e il rilascio, anche assicurando design e sviluppo di nuove architetture di integrazione dati e migrazione dati da diverse piattaforme on-premise e cloud.
Attività principali richieste dal mercato
- espandere l’architettura della pipeline dei dati
- ottimizzare il flusso dei dati e la raccolta attraverso diverse funzioni aziendali
- garantire la consistenza dei dati
- progettare la modellizzazione dei dati
- assemblare grandi e complesse basi di dati in funzione di requisiti funzionali e non-funzionali
- collaborare con il team di data analytics
- garantire la continuità operativa delle piattaforme di riferimento
Requisiti/livello formazione
Per svolgere questo ruolo sono necessari laurea o diploma in discipline scientifiche, preferibilmente con indirizzo informatico, nonchè un portafoglio articolato di esperienze consentono di acquisire competenze in diversi ambiti: nel ruolo di data engineer/data analyst, nella gestione di progetti di data warehousing e advanced analytics, nell' uso di architetture cloud, nell'uso di tecniche di modellizzazione e processamento di grandi moli di dati.
Skills tecnologiche
- conoscenze tecniche di sviluppo in ambiente Cloud e concetti della programmazione funzionale
- esperienza piattaforme cloud (Google, Azure)
- esperienza piattaforme e framework Big Data
- conoscenza linguaggi di programmazione e tecniche testing
- esperienza nella progettazione e sviluppo di pipeline di elaborazione dati per servizi dati batch e streaming;
- tecniche di sviluppo dei servizi di processazione dati (ETL/ELT);
- esperienza nella modellazione di grandi moli di dati
- esperienza con framework Agile
- tools di Data Visualization
- algoritmi di Machine-Learning
- esperienza con framework Agile
Principali certificazioni richieste dal mercato
Certificazione Google Analytics Individual Qualification, Microsoft Certified Azure Data Scientist Associate, Microsoft Certified Data Analyst Associate, Cloudera Certified Associate (CCA) Data Analyst, EMC Proven Professional Data Scientist Associate (EMCDSA), IBM Data Science Professional Certificate, Open Certified Data Scientist, SAS Certified Advanced Analytics Professional Using SAS 9, SAS Certified Big Data Professional Using SAS 9