bys-eric-he / com-hadoop-bigdata-demoLinks
源码主要用于学习:1. Spring Boot+Hadoop+Hive+Hbase实现数据基本操作,Hive数据源使用Alibaba DruidDataSource,以及JDBCTemplate操作数据, Hbase使用hbase-client实现数据操作, API可视化界面集成Swagger-UI 2.9.2。2.引入Azkaban离线任务调度,实现Hive数据分层ETL过程,并结合Sqoop实现数据从Hive同步到MySQL操作。3. 引入Kafka消息服务,实现前端日志收集,将消息接收到的数据包持久化到Hive ODS原始数据层。4. 通过SpringBoot API方式提供可视化数据访问服务。
☆22Updated 3 years ago
Alternatives and similar repositories for com-hadoop-bigdata-demo
Users that are interested in com-hadoop-bigdata-demo are comparing it to the libraries listed below
Sorting:
- 基于flink的推荐系统,实时获取kafka数据进行数据清洗,离线计算进行文件读取(文件,mongodb,hbase)运用协同过滤算法进行计算得出推荐数据☆19Updated 3 years ago
- 大数据组件学习;包括dataflow,spring cloud stream;elasticsearch;flink;spark;kafka;phoenix;Hive;Hbase;☆23Updated 2 years ago
- FlinkTutorial 专注大数据Flink流试处理技术。从基础入门、概念、原理、实战、性能调优、源码解析等内容,使用Java开发,同时含有Scala部分核心代码。欢迎关注我的博客及github。☆70Updated 3 years ago
- 使用spark对hive、hbase、ES的读写, 实现一次配置可对不同数据库进行导入导出,并对ES、hbase进行封装☆33Updated 8 years ago
- 关于 HDFS,Yarn,MapReduce,HBase,Hive,Pig,Sqoop,Flume,Zookeeper,MemCached,Redis,Storm,Scala,Spark,Flink 等大数据框架的学习笔记☆78Updated 5 years ago
- 数据分析快速开发平台:包含统一数据访问接口,数据建模,数据治理,数据展现☆23Updated 7 years ago
- 基于Java,封装了hbase的底层api,提供了基于注解的ORM支持,只需定义实体类对象,即可完成对hbase的各种操作。同时对List、Set、Map等复杂数据类型提供了支持☆43Updated 8 years ago
- hadoop flume hbase kafka storm;读取kafka数据=》storm实时处理(分割字符,统计字符)=》写入hdfs☆21Updated 6 years ago
- 大数据学习:各种计算框架:☆11Updated 3 years ago
- 利用SpringBoot整合HBase,基于HBaseJavaAPI的二次封装,可以直接引用jar包使用,目前测试已支持HBase1.1.2和HBase1.4.6以及HBase2.0.2三个版本。☆16Updated 9 months ago
- 基于Hadoop和HBase的大规模海量数据去重☆30Updated 7 years ago
- 大数据生态圈学习☆18Updated 2 years ago
- 【bigdata】spirngboot+spark 脚手架+相关实例☆22Updated 3 years ago
- 大数据平台相关代码(ES/Hive/Hadoop/hdfs/hbase)☆75Updated 2 years ago
- Streaming 相关项目☆15Updated 8 years ago
- kafka传数据到Flink存储到mysql之Flink使用SQL语句聚合数据流(设置时间窗口,EventTime)☆32Updated 7 years ago
- Flink 案例开发数据清洗、数据报表☆53Updated 3 years ago
- 一个优秀的大数据查询平台,提供hive异步任务查询、LDAP用户、数据权限控制、历史查询任务与结果存储、邮件通知、excel下载等功能。☆24Updated 7 years ago
- spark流式计算电商商品关注度+推荐系统/关联系统☆15Updated 7 years ago
- 通过 SQL 查询 elasticsearch:集成插件elasticsearch-sql,封装查询API提供Restful接口,直接将字符串sql作为 参数就可以得到json对象形式的返回结果。☆44Updated 3 years ago
- MySQL增量数据实时同步到HDFS/Hive☆11Updated 6 years ago
- 项目脉络:canal监控mysql输送binlog生产到kafka,kafka消费到hbase! date:20180228☆23Updated 7 years ago
- flink实时处理kafka传来的数据通过连接池技术写入hbase☆96Updated 2 years ago
- phoenix 操作hbase和springboot的整合☆11Updated 7 years ago
- Spark1.6和spark2.2的 示例,包含kafka,flume,structuredstreaming,jedis,elasticsearch,mysql,dataframe☆15Updated 7 years ago
- 基于DataX的通用数据同步微服务,一个Restful接口搞定所有通用数据同步☆53Updated 3 years ago
- spark-starter , hive-starter , hbase-starter☆11Updated 2 years ago
- 基于canal/kafka conenct的mysql/oracle数据实时同步、flink rest api、flink sql以及udf☆50Updated 2 years ago
- spark全示例代码(java、scala) Spark most full instance code DEMO (java、scala)☆84Updated 5 years ago
- 基于spark streaming+flume+kafka+hbase的实时日志处理分析系统(分为控制台版本和基于springboot、Echarts等的Web UI可视化版本)☆38Updated last year