lvgalvao / datalake-format-explorer
Este é um projeto de exemplo que demonstra um processo de ETL (Extração, Transformação e Carga) de dados usando Python, Polars e AWS LocalStack. Ele foi projetado para extrair informações de um artista musical do Spotify, transformar esses dados em diferentes formatos e carregá-los em um "datalake" local usando o LocalStack.
☆14Updated last year
Related projects ⓘ
Alternatives and complementary repositories for datalake-format-explorer
- Repositório do curso de introdução a data pipelines da Alura Online☆34Updated 3 years ago
- The One Billion Row Challenge using Python☆72Updated 3 months ago
- Desafio 5DataGlowUp☆20Updated last year
- Estudos e projetos.☆61Updated 2 years ago
- ☆37Updated 4 months ago
- Projeto de simulação de ingestão, tratamento e analise de dados do Ministério da Cultura☆45Updated 7 months ago
- ☆140Updated 10 months ago
- Instalador autonomo do Apache Spark para Sistemas linux: based(Debian,RHEL)☆13Updated last year
- ☆17Updated 2 years ago
- Configurações Inicias de Projetos Python☆39Updated last year
- ☆71Updated last year
- Projeto de construção de datalake do zero☆75Updated 2 months ago
- This repository exemplifies a simple ELT process using delta to perform upsert and remove data files that aren't in the latest state of t…☆73Updated 2 years ago
- Exercícios do módulo 1 - Bootcamp EDC - IGTI 2021☆49Updated last year
- ☆22Updated 2 years ago
- ⚡ Este repositório é direcionado para dicas com a linguagem python, que estão sendo postadas em meu linkedin.☆77Updated 4 months ago
- ☆115Updated 8 months ago
- Repositório com as demonstrações e dados compartilhadas durante os webinars do Databricks Journey Brasil☆19Updated 2 years ago
- Repositório central do segundo Workshop☆15Updated last year
- Material de apoio do curso "Data Science na Prática" - Sigmoidal☆37Updated 4 years ago
- ☆44Updated 2 years ago
- Big Data Ecosystem Docker☆81Updated 2 years ago
- Coisas que eu escrevi na internet da vida sobre transição de carreira, trabalho no exterior e dados para iniciantes☆60Updated last year
- Formação Engenheiro de Dados Cloud e Big Data (Azure & DataBricks)☆16Updated last year
- ☆13Updated 3 years ago
- Compartilhamento de estudos e ideias para aplicação prática de Python em diversas áreas (data science, web scraping, microcontroladores, …☆37Updated last week
- ☆34Updated 3 years ago