bys-eric-he / com-hadoop-bigdata-demo
源码主要用于学习：1. Spring Boot+Hadoop+Hive+Hbase实现数据基本操作,Hive数据源使用Alibaba DruidDataSource，以及JDBCTemplate操作数据, Hbase使用hbase-client实现数据操作, API可视化界面集成Swagger-UI 2.9.2。2.引入Azkaban离线任务调度，实现Hive数据分层ETL过程，并结合Sqoop实现数据从Hive同步到MySQL操作。3. 引入Kafka消息服务，实现前端日志收集，将消息接收到的数据包持久化到Hive ODS原始数据层。4. 通过SpringBoot API方式提供可视化数据访问服务。
☆20Updated 3 years ago
Alternatives and similar repositories for com-hadoop-bigdata-demo:
Users that are interested in com-hadoop-bigdata-demo are comparing it to the libraries listed below
- FlinkTutorial 专注大数据Flink流试处理技术。从基础入门、概念、原理、实战、性能调优、源码解析等内容，使用Java开发，同时含有Scala部分核心代码。欢迎关注我的博客及github。☆70Updated 2 years ago
- 基于flink的推荐系统，实时获取kafka数据进行数据清洗，离线计算进行文件读取（文件,mongodb,hbase）运用协同过滤算法进行计算得出推荐数据☆18Updated 2 years ago
- 基于spark streaming+flume+kafka+hbase的实时日志处理分析系统(分为控制台版本和基于springboot、Echarts等的Web UI可视化版本)☆36Updated last year
- 大数据实习hdfs+flume+kafka+spark+hbase+hive项目☆32Updated 7 years ago
- Flink 案例开发数据清洗、数据报表☆52Updated 2 years ago
- spark streaming从kafka读取消息，offset写入Redis，spark计算单词出现频率，最后写入hive表☆16Updated 5 years ago
- 用户画像平台，涵盖标签管理，用户画像报告，用户分群，用户360视角，oneId服务☆99Updated last year
- SparkStreaming项目，显示flume->Kafka->Spark->hbase(实时数据处理方案)，Scala实现☆36Updated 7 years ago
- 使用Storm实时处理交通大数据（数据源：kafka，集群管理：zookeeper）☆51Updated 2 years ago
- 基于开源Litemall电商项目的大数据项目，包含前端埋点(openresty+lua)、后端埋点；数据仓库(五层)、实时计算和用户画像。大数据平台采用CDH6.3.2(已使用vagrant+ansible脚本化)，同时也包含了Azkaban的workflow。☆108Updated 2 years ago
- 基于Flink+ClickHouse实时计算平台☆31Updated 2 years ago
- 大数据组件学习；包括dataflow，spring cloud stream；elasticsearch；flink；spark；kafka；phoenix；Hive；Hbase；☆23Updated 2 years ago
- 基于flink的用户行为分析☆50Updated last year
- springboot项目使用脚手架，集成redis、mysql、pg，hbase、elasticsearch、kafka等常用组件功能☆20Updated 2 years ago
- 论坛日志分析系统清洗程序(包含IP规则库，UDF开发，MapReduce程序，日志数据)☆33Updated 6 years ago
- Streaming 相关项目☆15Updated 7 years ago
- hadoop flume hbase kafka storm；读取kafka数据=》storm实时处理（分割字符，统计字符）=》写入hdfs☆21Updated 6 years ago
- 易观开源大数据互联网百亿级记录互传Backquarter项目☆19Updated 2 years ago
- 关于 HDFS，Yarn，MapReduce，HBase，Hive，Pig，Sqoop，Flume，Zookeeper，MemCached，Redis，Storm，Scala，Spark，Flink 等大数据框架的学习笔记☆77Updated 5 years ago
- 大数据生态圈学习☆18Updated 2 years ago
- 大数据招聘信息分析平台☆42Updated 8 years ago
- 大数据平台相关代码（ES/Hive/Hadoop/hdfs/hbase）☆74Updated 2 years ago
- 基于SparkSQL的电影分析项目实战☆39Updated 4 years ago
- flink简易使用教程,结合官方仓库的example样例,结合常见场景,使用flink的基本功能☆111Updated 2 years ago
- 大数据学习：各种计算框架：☆11Updated 2 years ago
- 项目脉络:canal监控mysql输送binlog生产到kafka，kafka消费到hbase！ date:20180228☆23Updated 6 years ago
- 基于Spark2.2新闻网大数据实时系统项目☆60Updated 5 years ago
- ☆11Updated 5 years ago
- 一个实时数仓项目，从0到1搭建实时数仓☆55Updated 3 years ago
- 基于Java，封装了hbase的底层api，提供了基于注解的ORM支持，只需定义实体类对象，即可完成对hbase的各种操作。同时对List、Set、Map等复杂数据类型提供了支持☆43Updated 8 years ago