lvgalvao / datalake-format-explorer
Este é um projeto de exemplo que demonstra um processo de ETL (Extração, Transformação e Carga) de dados usando Python, Polars e AWS LocalStack. Ele foi projetado para extrair informações de um artista musical do Spotify, transformar esses dados em diferentes formatos e carregá-los em um "datalake" local usando o LocalStack.
☆15Updated last year
Alternatives and similar repositories for datalake-format-explorer:
Users that are interested in datalake-format-explorer are comparing it to the libraries listed below
- ☆37Updated 6 months ago
- Estudos e projetos.☆61Updated 3 years ago
- The One Billion Row Challenge using Python☆76Updated 5 months ago
- Projeto de construção de datalake do zero☆77Updated 5 months ago
- Configurações Inicias de Projetos Python☆38Updated last year
- Repositório do curso de introdução a data pipelines da Alura Online☆34Updated 3 years ago
- Formação Engenheiro de Dados Cloud e Big Data (Azure & DataBricks)☆16Updated last year
- Repositório no Bootcamp de Engenharia de Dados da Stack Academy.☆44Updated last year
- Repositório com as demonstrações e dados compartilhadas durante os webinars do Databricks Journey Brasil☆19Updated 2 years ago
- Bootcamp Engenharia de Dados realizado pela IGTI☆27Updated 3 years ago
- Desafio 5DataGlowUp☆21Updated last year
- ☆44Updated 2 years ago
- This repository exemplifies a simple ELT process using delta to perform upsert and remove data files that aren't in the latest state of t…☆80Updated 2 years ago
- Instalador autonomo do Apache Spark para Sistemas linux: based(Debian,RHEL)☆13Updated last month
- ☆71Updated last year
- Repositório central do segundo Workshop☆15Updated last year
- ☆141Updated last year
- This repo contains all the cheatsheets you need to keep handy, I will add more soon.☆40Updated 2 years ago
- ☆33Updated 3 years ago
- ☆18Updated 2 years ago
- Repositório com projetos aberto da AprenderDados☆10Updated last week
- Projeto de simulação de ingestão, tratamento e analise de dados do Ministério da Cultura☆45Updated 9 months ago
- Repositório de bases simples e práticas para testes unitários☆14Updated 3 years ago
- ⚡ Este repositório é direcionado para dicas com a linguagem python, que estão sendo postadas em meu linkedin.☆77Updated 6 months ago
- Big Data Ecosystem Docker☆81Updated 2 years ago
- Empresas Brasileiras que aderem o trabalho remoto☆21Updated last year
- Compartilhamento de estudos e ideias para aplicação prática de Python em diversas áreas (data science, web scraping, microcontroladores, …☆37Updated 2 months ago
- Notas das aulas da Aceleração Dev #4 da DIO sobre Engenharia de Dados, ministrado pela Everis.☆13Updated 3 years ago
- Retail data pipeline using Airflow, Dbt, Soda, GCP (GCS and BigQuery) and Metabase☆36Updated 6 months ago
- ☆33Updated 2 years ago