bys-eric-he / com-hadoop-bigdata-demo
源码主要用于学习：1. Spring Boot+Hadoop+Hive+Hbase实现数据基本操作,Hive数据源使用Alibaba DruidDataSource，以及JDBCTemplate操作数据, Hbase使用hbase-client实现数据操作, API可视化界面集成Swagger-UI 2.9.2。2.引 入Azkaban离线任务调度，实现Hive数据分层ETL过程，并结合Sqoop实现数据从Hive同步到MySQL操作。3. 引入Kafka消息服务，实现前端日志收集，将消息接收到的数据包持久化到Hive ODS原始数据层。4. 通过SpringBoot API方式提供可视化数据访问服务。
☆20Updated 3 years ago
Related projects ⓘ
Alternatives and complementary repositories for com-hadoop-bigdata-demo
- springboot项目使用脚手架，集成redis、mysql、pg，hbase、elasticsearch、kafka等常用组件功能☆19Updated 2 years ago
- 基于flink的推荐系统，实时获取kafka数据进行数据清洗，离线计算进行文件读取（文件,mongodb,hbase）运用协同过滤算法进行计算得出推荐数据☆18Updated 2 years ago
- FlinkTutorial 专注大数据Flink流试处理技术。从基础入门、概念、原理、实战、性能调优、源码解析等内容，使用Java开发，同时含有Scala部分核心代码。欢迎关注我的博客及github。☆71Updated 2 years ago
- 用户画像平台，涵盖标签管理，用户画像报告，用户分群，用户360视角，oneId服务☆95Updated last year
- 使用Storm实时处理交通大数据（数据源：kafka，集群管理：zookeeper）☆52Updated last year
- 大数据招聘信息分析平台☆40Updated 8 years ago
- 一个优秀的大数据查询平台，提供hive异步任务查询、LDAP用户、数据权限控制、历史查询任务与结果存储、邮件通知、excel下载等功能。☆24Updated 6 years ago
- 大数据生态圈学习☆18Updated 2 years ago
- 大数据建模分析平台☆60Updated 5 years ago
- 传统大数据分析工具以Hadoop、Spark为代表，集成了大量的技术框架， 对用户来说又重又笨又不灵活，难以维护和驾驭，国际和国内的敏捷型BI工具在对接时又面临性能、友好性、定制化能力弱的缺点。本项目独辟蹊径，以阿里开源的DataX为ETL工具，以列式数据库ClickHou…☆62Updated 4 years ago
- 利用SpringBoot整合HBase，基于HBaseJavaAPI的二次封装，可以直接引用jar包使用，目前测试已支持HBase1.1.2和HBase1.4.6以及HBase2.0.2三个版本。☆16Updated last month
- 基于spark streaming+flume+kafka+hbase的实时日志处理分析系统(分为控制台版本和基于springboot、Echarts等的Web UI可视化版本)☆36Updated last year
- 基于Hadoop和HBase的大规模海量数据去重☆29Updated 6 years ago
- 大数据学习：各种计算框架：☆11Updated 2 years ago
- Flink 案例开发数据清洗、数据报表☆52Updated 2 years ago
- MySQL增量数据实时同步到HDFS/Hive☆11Updated 6 years ago
- SparkStreaming项目，显示flume->Kafka->Spark->hbase(实时数据处理方案)，Scala实现☆35Updated 6 years ago
- phoenix 操作hbase和springboot的整合☆11Updated 6 years ago
- spark-starter , hive-starter , hbase-starter☆11Updated 2 years ago
- 基于开源Litemall电商项目的大数据项目，包含前端埋点(openresty+lua)、后端埋点；数据仓库(五层)、实时计算和用户画像。大数据平台采用CDH6.3.2(已使用vagrant+ansible脚本化)，同时也包含了Azkaban的workflow。☆101Updated 2 years ago
- 本人毕业设计课题为《互联网大数据时代的酒店预订平台设计与实现》，由Leme34/fun+Leme34/fun-app+Leme34/fun-backend三个项目构成，项目以及全部组件使用Docker搭建，全套Hadoop+Hive+Kafka+Spark+ElasticS…☆20Updated 8 months ago
- flink实时处理kafka传来的数据通过连接池技术写入hbase☆94Updated 2 years ago
- 使用SpringBoot开发的基于HBASE的大数据存储分布式云计算笔记(后端)☆32Updated 5 years ago
- 本项目主要用于搭建一个基于docker的实时监控系统，涉及的大数据相关组件有Filebeat，Kafka，Zookeeper，Flink，后端主要使用了SpringBoot进行开发，数据库使用了Redis做缓存，前端用了Vue框架，通过Ant Design组件库和Echar…☆39Updated last year
- 关于 HDFS，Yarn，MapReduce，HBase，Hive，Pig，Sqoop，Flume，Zookeeper，MemCached，Redis，Storm，Scala，Spark，Flink 等大数据框架的学习笔记☆76Updated 5 years ago
- 大数据组件学习；包括dataflow，spring cloud stream；elasticsearch；flink；spark；kafka；phoenix；Hive；Hbase；☆22Updated 2 years ago
- docker构建大数据开发学习环境☆51Updated 8 years ago
- 快速采集清洗，任务管理，实时流和批处理数据分析，数据可视化展现，快速 数据模板开发，ETL工具集、数据科学等。是轻量级的一站式的大数据平台。帮用户快速搭建CDP客户数据平台，实现对移动端数据分析、用户行为分析、用户标签画像和在线营销。完美兼容神策埋点SDK、友盟埋点SDK和其…☆58Updated last year
- 数仓项目☆10Updated 5 years ago