bys-eric-he / com-hadoop-bigdata-demoLinks
源码主要用于学习:1. Spring Boot+Hadoop+Hive+Hbase实现数据基本操作,Hive数据源使用Alibaba DruidDataSource,以及JDBCTemplate操作数据, Hbase使用hbase-client实现数据操作, API可视化界面集成Swagger-UI 2.9.2。2.引入Azkaban离线任务调度,实现Hive数据分层ETL过程,并结合Sqoop实现数据从Hive同步到MySQL操作。3. 引入Kafka消息服务,实现前端日志收集,将消息接收到的数据包持久化到Hive ODS原始数据层。4. 通过SpringBoot API方式提供可视化数据访问服务。
☆22Updated 4 years ago
Alternatives and similar repositories for com-hadoop-bigdata-demo
Users that are interested in com-hadoop-bigdata-demo are comparing it to the libraries listed below
Sorting:
- FlinkTutorial 专注大数据Flink流试处理技术。从基础入门、概念、原理、实战、性能调优、源码解析等内容,使用Java开发,同时含有Scala部分核心代码。欢迎关注我的博客及github。☆70Updated 3 years ago
- 基于flink的推荐系统,实时获取kafka数据进行数据清洗,离线计算进行文件读取(文件,mongodb,hbase)运用协同过滤算法进行计算得出推荐数据☆20Updated 3 years ago
- 使用Storm实时处理交通大数据(数据源:kafka,集群管理:zookeeper)☆51Updated 2 years ago
- spark全示例代码(java、scala) Spark most full instance code DEMO (java、scala)☆85Updated 5 years ago
- 大数据平台相关代码(ES/Hive/Hadoop/hdfs/hbase)☆75Updated 2 years ago
- 大数据组件学习;包括dataflow,spring cloud stream;elasticsearch;flink;spark;kafka;phoenix;Hive;Hbase;☆23Updated 3 years ago
- flink实时处理kafka传来的数据通过连接池技术写入hbase☆96Updated 3 years ago
- 大数据建模分析平台☆66Updated 6 years ago
- 大数据全栈学习【生态组件,技术栈,数据流,数据仓库,数据库,指标体系,血缘关系,元数据管理,数据质量,DataWorks,Hadoop,Spark,Flink,面试,笔记文档,实战练习,公共脚本,常用Shell脚本,Java,Scala,离线,实时,采集,计算,存储,可视化…☆123Updated 4 years ago
- 大数据生态圈学习☆18Updated 2 years ago
- 基于开源Litemall电商项目的大数据项目,包含前端埋点(openresty+lua)、后端埋点;数据仓库(五层)、实时计算和用户画像。大数据平台采用CDH6.3.2(已使用vagrant+ansible脚本化),同时也包含了Azkaban的workflow。☆115Updated 3 years ago
- SparkStreaming项目,显示flume->Kafka->Spark->hbase(实时数据处理方案),Scala实现☆36Updated 7 years ago
- 全套大数据基础学习教程,包含最基础的centos、maven。大数据主要包含hdfs、mr、yarn、hbase、kafka、scala、sparkcore、sparkstreaming、sparksql。教程包含所有的源代码演示以及在线文档说明。☆54Updated 2 years ago
- Flink 案例开发数据清洗、数据报表☆56Updated last week
- 用户画像平台,涵盖标签管理,用户画像报告,用户分群,用户360视角,oneId服务☆105Updated last year
- 大数据招聘信息分析平台☆44Updated 9 years ago
- 本项目主要用于搭建一个基于docker的实时监控系统,涉及的大数据相关组件有Filebeat,Kafka,Zookeeper,Flink,后端主要使用了SpringBoot进行开发,数据库使用了Redis做缓存,前端用了Vue框架,通过Ant Design组件库和Echar…☆42Updated 2 years ago
- tools for bigData☆37Updated 6 years ago
- 数据中台产品☆207Updated 6 years ago
- 金融风控系统(springboot+drools)、flink流计算、mongodb☆166Updated 3 years ago
- 基于flume+kafka+HBase+spark+ElasticSearch的用户轨迹查询大数据开发项目☆118Updated 3 years ago
- flink简易使用教程,结合官方仓库的example样例,结合常见场景,使用flink的基本功能☆115Updated 3 years ago
- 数据分析快速开发平台:包含统一数据访问接口,数据建模,数据治理,数据展现☆23Updated 7 years ago
- phoenix 操作hbase和springboot的整合☆11Updated 7 years ago
- 使用spark对hive、hbase、ES的读写, 实现一次配置可对不同数据库进行导入导出,并对ES、hbase进行封装☆33Updated 8 years ago
- 关于 HDFS,Yarn,MapReduce,HBase,Hive,Pig,Sqoop,Flume,Zookeeper,MemCached,Redis,Storm,Scala,Spark,Flink 等大数据框架的学习笔记☆78Updated 6 years ago
- docker构建大数据开发学习环境☆50Updated 8 years ago
- 基于Spark2.2新闻网大数据实时系统项目☆61Updated 6 years ago
- 利用SpringBoot整合HBase,基于HBaseJavaAPI的二次封装,可以直接引用jar包使用,目前测试已支持HBase1.1.2和HBase1.4.6以及HBase2.0.2三个版本。☆16Updated last year
- 基于spark streaming+flume+kafka+hbase的实时日志处理分析系统(分为控制台版本和基于springboot、Echarts等的Web UI可视化版本)☆39Updated 2 years ago