JunjianS / spark-streaming-kafka-demo
spark streaming从kafka读取消息,offset写入Redis,spark计算单词出现频率,最后写入hive表
☆16Updated 5 years ago
Alternatives and similar repositories for spark-streaming-kafka-demo:
Users that are interested in spark-streaming-kafka-demo are comparing it to the libraries listed below
- 使用spark对hive、hbase、ES的读写, 实现一次配置可对不同数据库进行导入导出,并对ES、hbase进行封装☆32Updated 7 years ago
- 大数据组件学习;包括dataflow,spring cloud stream;elasticsearch;flink;spark;kafka;phoenix;Hive;Hbase;☆23Updated 2 years ago
- SparkStreaming项目,显示flume->Kafka->Spark->hbase(实时数据处理方案),Scala实现☆36Updated 6 years ago
- Streaming 相关项目☆15Updated 7 years ago
- 基于flink的推荐系统,实时获取kafka数据进行数据清洗,离线计算进行文件读取(文件,mongodb,hbase)运用协同过滤算法进行计算得出推荐数据☆18Updated 2 years ago
- SpringBoot + Apache Mahout 推荐引擎 基于用户评分数据推荐相关电影☆11Updated 6 years ago
- spring+spark streaming+kafka 10版本集成和异常问题处理☆17Updated 7 years ago
- kafka传数据到Flink存储到mysql之Flink使用SQL语句聚合数据流(设置时间窗口,EventTime)☆32Updated 6 years ago
- 【易车】- Spark、flink、HBase、Hive、flume集成了一些Hadoop的原生api的一些demo(如HDFS、MapReduce:目前就这两个);同时测试一些异常功能☆16Updated 5 years ago
- 此工程采用SpringBoot + Mybatis + SparkSQL + Hive框架进行集成,支持Kerberos认证。☆22Updated 6 years ago
- 基于Flink流处理的动态实时亿级全端用户画像系统可视化界面☆34Updated 2 years ago
- hadoop flume hbase kafka storm;读取kafka数据=》storm实时处理(分割字符,统计字符)=》写入hdfs☆21Updated 6 years ago
- 源码主要用于学习:1. Spring Boot+Hadoop+Hive+Hbase实现数据基本操作,Hive数据源使用Alibaba DruidDataSource,以及JDBCTemplate操作数据, Hbase使用hbase-client实现数据操作, API可视化界…☆20Updated 3 years ago
- 大型分布式系统实时监控平台☆27Updated 2 years ago
- 易观开源大数据互联网百亿级记录互传Backquarter项目☆19Updated 2 years ago
- 【雪球-Infra】功能:实现kafka消息实时落地hbase,支持csv/json字符串两种格式的消息,支持自定义组合rowkey,列簇和列名,支持按照kafka消息流中不同字段join不同的hbase表,并自定义写入列簇和列(join时需评估一下性能), …☆20Updated last year
- 基于spark streaming+flume+kafka+hbase的实时日志处理分析系统(分为控制台版本和基于springboot、Echarts等的Web UI可视化版本)☆36Updated last year
- 大数据平台相关代码(ES/Hive/Hadoop/hdfs/hbase)☆74Updated 2 years ago
- 专注大数据 Spark ML 机器学习:监督学习、无监督学习,主要有:分类算法、回归算法、聚类算法、推荐算法、频繁模式挖掘算法☆16Updated 4 years ago
- Spark Streaming + kafka + hbase☆15Updated 6 years ago
- 基于Hadoop和HBase的大规模海量数据去重☆29Updated 6 years ago
- 基于Flink+ClickHouse实时计算平台☆31Updated 2 years ago
- 常用大数据工具学习实战,包含Hadoop、HBase、Kafka、ClickHouse、Hive、Redis、Zookeeper...☆23Updated 2 years ago
- SparkSQL数据分析案例☆23Updated 8 years ago
- flink实时处理kafka传来的数据通过连接池技术写入hbase☆94Updated 2 years ago
- 基于SparkSQL的电影分析项目实战☆39Updated 4 years ago
- 基于Spark和Kubernetes的机器学习平台☆30Updated 6 years ago
- 使用Storm实时处理交通大数据(数据源:kafka,集群管理:zookeeper)☆51Updated 2 years ago
- spark全示例代码(java、scala) Spark most full instance code DEMO (java、scala)☆81Updated 4 years ago
- 论坛日志分析系统清洗程序(包含IP规则库,UDF开发,MapReduce程序,日志数据)☆33Updated 6 years ago