JunjianS / spark-streaming-kafka-demo
spark streaming从kafka读取消息,offset写入Redis,spark计算单词出现频率,最后写入hive表
☆15Updated 5 years ago
Related projects ⓘ
Alternatives and complementary repositories for spark-streaming-kafka-demo
- 使用spark对hive、hbase、ES的读写, 实现一次配置可对不同数据库进行导入导出,并对ES、hbase进行封装☆32Updated 7 years ago
- Streaming 相关项目☆15Updated 7 years ago
- 大数据框架 Spark MLlib 机器学习库基础算法全面讲解,附带齐全的测试文件☆37Updated 8 months ago
- 易观开源大数据互联网百亿级记录互传Backquarter项目☆18Updated 2 years ago
- 大数据组件学习;包括dataflow,spring cloud stream;elasticsearch;flink;spark;kafka;phoenix;Hive;Hbase;☆22Updated 2 years ago
- A HBase datasource implementation for Spark and [MLSQL](http://www.mlsql.tech).☆13Updated last year
- 此工程采用SpringBoot + Mybatis + SparkSQL + Hive框架进行集成,支持Kerberos认证。☆22Updated 6 years ago
- Spark Streaming + kafka + hbase☆15Updated 6 years ago
- flink sql☆11Updated 2 years ago
- kafka传数据到Flink存储到mysql之Flink使用SQL语句聚合数据流(设置时间窗口,EventTime)☆31Updated 6 years ago
- Learning Flink : Flink CEP,Flink Core,Flink SQL☆71Updated 2 years ago
- SparkStreaming项目,显示flume->Kafka->Spark->hbase(实时数据处理方案),Scala实现☆35Updated 6 years ago
- flink实时处理kafka传来的数据通过连接池技术写入hbase☆94Updated 2 years ago
- 基于Spark和Kubernetes的机器学习平台☆29Updated 6 years ago
- 基于flink的用户行为分析☆50Updated last year
- 基于Flink+ClickHouse实时计算平台☆30Updated 2 years ago
- flink rest api的spring-boot-starter☆17Updated last year
- tools for bigData☆37Updated 5 years ago
- 基于spark streaming+flume+kafka+hbase的实时日志处理分析系统(分为控制台版本和基于springboot、Echarts等的Web UI可视化版本)☆36Updated last year
- ☆11Updated 5 years ago
- spring+spark streaming+kafka 10版本集成和异常问题处理☆17Updated 7 years ago
- 项目脉络:canal监控mysql输送binlog生产到kafka,kafka消费到hbase! date:20180228☆23Updated 6 years ago
- spark全示例代码(java、scala) Spark most full instance code DEMO (java、scala)☆81Updated 4 years ago
- Flink 案例开发数据清洗、数据报表☆52Updated 2 years ago
- 基于canal/kafka conenct的mysql/oracle数据实时同步、flink rest api、flink sql以及udf☆50Updated 2 years ago
- 大数据【企业级360°全方位用户画像】标签开发部分源码☆19Updated 3 years ago
- 数据分析快速开发平台:包含统一数据访问接口,数据建模,数据治理,数据展现☆22Updated 6 years ago
- A web application for submitting spark application☆8Updated 3 years ago
- 简单易用的ETL工具☆17Updated 5 years ago
- 一个优秀的大数据查询平台,提供hive异步任务查询、LDAP用户、数据权限控制、历史查询任务与结果存储、邮件通知、excel下载等功能。☆24Updated 6 years ago