JunjianS / spark-streaming-kafka-demoLinks
spark streaming从kafka读取消息,offset写入Redis,spark计算单词出现频率,最后写入hive表
☆17Updated 6 years ago
Alternatives and similar repositories for spark-streaming-kafka-demo
Users that are interested in spark-streaming-kafka-demo are comparing it to the libraries listed below
Sorting:
- SpringBoot + Apache Mahout 推荐引擎 基于用户评分数据推荐相关电影☆11Updated 7 years ago
- 本项目主要用于搭建一个基于docker的实时监控系统,涉及的大数据相关组件有Filebeat,Kafka,Zookeeper,Flink,后端主要使用了SpringBoot进行开发,数据库使用了Redis做缓存,前端用了Vue框架,通过Ant Design组件库和Echar…☆42Updated 2 years ago
- 自助搭建的 hadoop + spark + kafka + zookeeper + storm + hbase + hive + flume 集群,一主两从。☆30Updated 6 years ago
- 使用spark对hive、hbase、ES的读写, 实现一次配置可对不同数据库进行导入导出,并对ES、hbase进行封装☆33Updated 8 years ago
- 基于SparkSQL的电影分析项目实战☆40Updated 4 years ago
- 此工程采用SpringBoot + Mybatis + SparkSQL + Hive框架进行集成,支持Kerberos认证。☆22Updated 7 years ago
- 【易车】- Spark、flink、HBase、Hive、flume集成了一些Hadoop的原生api的一些demo(如HDFS、MapReduce:目前就这两个);同时测试一些异常功能☆16Updated 6 years ago
- spring+spark streaming+kafka 10版本集成和异常问题处理☆17Updated 8 years ago
- 大数据组件学习;包括dataflow,spring cloud stream;elasticsearch;flink;spark;kafka;phoenix;Hive;Hbase;☆23Updated 3 years ago
- docker-hadoop-spark-hive 快速构建你的大数据环境☆21Updated 5 years ago
- spark全示例代码(java、scala) Spark most full instance code DEMO (java、scala)☆85Updated 5 years ago
- Spark Sql进行离线日志分析,Java Web+Echarts+Ajax进行数据可视化展示☆27Updated 6 years ago
- Streaming 相关项目☆15Updated 8 years ago
- 大型分布式系统实时监控平台☆28Updated 2 years ago
- Spark Streaming + kafka + hbase☆15Updated 6 years ago
- 一个优秀的大数据查询平台,提供hive异步任务查询、LDAP用户、数据权限控制、历史查询任务与结果存储、邮件通知、excel下载等功能。☆24Updated 7 years ago
- 基于flink的推荐系统,实时获取kafka数据进行数据清洗,离线计算进行文件读取(文件,mongodb,hbase)运用协同过滤算法进行计算得出推荐数据☆20Updated 3 years ago
- springboot项目使用脚手架,集成redis、mysql、pg,hbase、elasticsearch、kafka等常用组件功能☆21Updated 3 years ago
- java 人脸识别; Face recognition☆13Updated 7 years ago
- Flink 案例开发数据清洗、数据报表☆54Updated 3 years ago
- 论坛日志分析系统清洗程序(包含IP规则库,UDF开发,MapReduce程序,日志数据)☆33Updated 7 years ago
- 常用大 数据工具学习实战,包含Hadoop、HBase、Kafka、ClickHouse、Hive、Redis、Zookeeper...☆23Updated 2 years ago
- 内嵌AI的数据质量控制系统☆48Updated 3 years ago
- 数据分析快速开发平台:包含统一数据访问接口,数据建模,数据治理,数据展现☆23Updated 7 years ago
- 基于canal.deployer-1.1.1-SNAPSHOT.tar,canal连接kafka,springboot消费kafka数据入hbase和ElasticSearch☆14Updated 6 years ago
- 大数据平台相关代码(ES/Hive/Hadoop/hdfs/hbase)☆75Updated 2 years ago
- 数据可视化, 数据挖掘, 数据处理 ETL分析☆169Updated 3 years ago
- 基于flink的用户行为分析☆50Updated last year
- 微信小程序+微信支付+支付回调+微信退款☆12Updated 6 years ago
- 基于标签的用户行为日志大数据分析系统☆20Updated 4 years ago