JunjianS / spark-streaming-kafka-demoLinks
spark streaming从kafka读取消息，offset写入Redis，spark计算单词出现频率，最后写入hive表
☆16Updated 5 years ago
Alternatives and similar repositories for spark-streaming-kafka-demo
Users that are interested in spark-streaming-kafka-demo are comparing it to the libraries listed below
Sorting:
- SpringBoot + Apache Mahout 推荐引擎 基于用户评分数据推荐相关电影☆11Updated 7 years ago
- 基于flink的推荐系统，实时获取kafka数据进行数据清洗，离线计算进行文件读取（文件,mongodb,hbase）运用协同过滤算法进行计算得出推荐数据☆19Updated 2 years ago
- 基于Flink流处理的动态实时亿 级全端用户画像系统可视化界面☆34Updated 2 years ago
- 大型分布式系统实时监控平台☆28Updated 2 years ago
- 大数据招聘信息分析平台☆43Updated 9 years ago
- 使用spark对hive、hbase、ES的读写， 实现一次配置可对不同数据库进行导入导出，并对ES、hbase进行封装☆33Updated 8 years ago
- Streaming 相关项目☆15Updated 8 years ago
- 大数据组件学习；包括dataflow，spring cloud stream；elasticsearch；flink；spark；kafka；phoenix；Hive；Hbase；☆23Updated 2 years ago
- kafka传数据到Flink存储到mysql之Flink使用SQL语句聚合数据流（设置时间窗口，EventTime）☆32Updated 7 years ago
- 常用大数据工具学习实战，包含Hadoop、HBase、Kafka、ClickHouse、Hive、Redis、Zookeeper...☆23Updated 2 years ago
- SparkStreaming项目，显示flume->Kafka->Spark->hbase(实时数据处理方案)，Scala实现☆36Updated 7 years ago
- 基于SparkSQL的电影分析项目实战☆40Updated 4 years ago
- 【雪球-Infra】功能：实现kafka消息实时落地hbase，支持csv/json字符串两种格式的消息，支持自定义组合rowkey,列簇和列名，支持按照kafka消息流中不同字段join不同的hbase表，并自定义写入列簇和列(join时需评估一下性能)， …☆21Updated last year
- hadoop flume hbase kafka storm；读取kafka数据=》storm实时处理（分割字符，统计字符）=》写入hdfs☆21Updated 6 years ago
- 数据分析快速开发平台：包含统一数据访问接口，数据建模，数据治理，数据展现☆23Updated 7 years ago
- 源码主要用于学习：1. Spring Boot+Hadoop+Hive+Hbase实现数据基本操作,Hive数据源使用Alibaba DruidDataSource，以及JDBCTemplate操作数据, Hbase使用hbase-client实现数据操作, API可视化界…☆22Updated 3 years ago
- springboot项目使用脚手架，集成redis、mysql、pg，hbase、elasticsearch、kafka等常用组件功能☆21Updated 2 years ago
- 论坛日志分析系统清洗程序(包含IP规则库，UDF开发，MapReduce程序，日志数据)☆33Updated 7 years ago
- FlinkTutorial 专注大数据Flink流试处理技术。从基础入门、概念、原理、实战、性能调优、源码解析等内容，使用Java开发，同时含有Scala部分核心代码。欢迎关注我的博客及github。☆70Updated 2 years ago
- 基于Hadoop和HBase的大规模海量数据去重☆30Updated 7 years ago
- 易观开源大数据互联网百亿级记录互传Backquarter项目☆19Updated 2 years ago
- 此工程采用SpringBoot + Mybatis + SparkSQL + Hive框架进行集成，支持Kerberos认证。☆22Updated 7 years ago
- 基于Spark的实时推荐系统,使用MovieLens作为测试数据集☆28Updated 2 years ago
- 大数据平台相关代码（ES/Hive/Hadoop/hdfs/hbase）☆75Updated 2 years ago
- 一个优秀的大数据查询平台，提供hive异步任务查询、LDAP用户、数据权限控制、历史查询任务与结果存储、邮件通知、excel下载等功能。☆24Updated 7 years ago
- 蓝泰源大数据基础平台☆17Updated 7 years ago
- Spark Sql进行离线日志分析，Java Web+Echarts+Ajax进行数据可视化展示☆27Updated 6 years ago
- phoenix 操作hbase和springboot的整合☆11Updated 7 years ago
- 本项目主要用于搭建一个基于docker的实时监控系统，涉及的大数据相关组件有Filebeat，Kafka，Zookeeper，Flink，后端主要使用了SpringBoot进行开发，数据库使用了Redis做缓存，前端用了Vue框架，通过Ant Design组件库和Echar…☆42Updated 2 years ago
- zxl-hadoop是一个大数据服务管理工具，基于Web界面，提供服务器集群的各种指标监控，并提供HDFS、MapReduce、Hive、Flink、Habase、Zookeeper、Kafka、Sqoop等大数据组件的一键式安装。☆20Updated 3 years ago