233zzh / TitanDataOperationSystem
最好的大数据项目。《Titan数据运营系统》,本项目是一个全栈闭环系统,我们有用作数据可视化的web系统,然后用flume-kafaka-flume进行日志的读取,在hive设计数仓,编写spark代码进行数仓表之间的转化以及ads层表到mysql的迁移,使用azkaban进行定时任务的调度,使用技术:Java/Scala语言,Hadoop、Spark、Hive、Kafka、Flume、Azkaban、SpringBoot,Bootstrap, Echart等;
☆116Updated 2 years ago
Related projects: ⓘ
- 电商平台数据仓库搭建☆119Updated 2 years ago
- 电商大数据项目-推荐系统(java和scala语言)☆196Updated last year
- 大数据相关框架实战项目(Hadoop, Spark, Storm, Flink)☆292Updated last year
- 基于flume+kafka+HBase+spark+ElasticSearch的用户轨迹查询大数据开发项目☆108Updated 2 years ago
- 大数据处理相关技术学习之路(持续更新中...)。 Bigdata整理 --> 慢慢滴~ 大数据相关技术包括离线处理,实时处理,OLAP等,如hadoop、spark、flink、hive、hbase、oozie...以及大数据项目,如用户画像、数据仓库等,…☆268Updated 8 months ago
- 大数据项目之用户上网行为分析☆55Updated last year
- 大数据实践项目 Hadoop、Spark、Kafka、Hbase、Flink.....☆475Updated 5 years ago
- 基于Spark企业级用户画像项目☆105Updated 11 months ago
- 基于Spark2.x新闻网大数据实时分析可视化系统项目☆498Updated 5 years ago
- 基于Spark2.2新闻网大数据实时系统项目☆57Updated 5 years ago
- 【大数据成神之路学习路径+面经+简历】☆132Updated 2 years ago
- 使用Hadoop、Spark等实现的大数据平台项目☆17Updated 2 years ago
- Spark大型项目实战:电商用户行为分析大数据平台\Spark大型项目实战:电商用户行为分析大数据平台(史上第一套高端大数据项目实战课程)☆27Updated last year
- 1.Spark离线批处理,用户实时点击统计;2.SparkSQL日志内容分析;3.受众电影分析 =>(Kafka + SparkStreaming + Redis)和(Kafka + SparkStreaming + Mysql)☆29Updated 2 years ago
- 基于Hadoop的视频收视率分析,毕设项目☆39Updated 3 weeks ago
- 基于开源Litemall电商项目的大数据项目,包含前端埋点(openresty+lua)、后端埋点;数据仓库(五层)、实时计算和用户画像。大数据平台采用CDH6.3.2(已使用vagrant+ansible脚本化),同时也包含了Azkaban的workflow。☆97Updated 2 years ago
- 模拟电商系统上线运行一段时间后,根据收集到大量的用户行为数据,利用大数据技术(Flink)进行深入挖掘和分析,进而得到感兴趣的商业指标并增强对风险的控制。 整体可以分为用户行为习惯数据和业务行为数据两大类。用户的行为习惯数据包括了用户的登录方式、上线的时间点及时长、点击和浏…☆106Updated 4 years ago
- 基于 Flink 的商品实时推荐系统。当用户产生评分行为时,数据由 kafka 发送到 flink,根据用户历史评分行为进行实时和离线推荐。实时推荐包括:基于行为和实时热门,离线推荐包括:历史热门、历史优质商品和 itemcf 。☆82Updated 4 years ago
- 一个实时数仓项目,从0到1搭建实时数仓☆47Updated 3 years ago
- 大数据全栈学习【生态组件,技术栈,数据流,数据仓库,数据库,指标体系,血缘关系,元数据管理,数据质量,DataWorks,Hadoop,Spark,Flink,面试,笔记文档,实战练习,公共脚本,常用Shell脚本,Java,Scala,离线,实时,采集,计算,存储,可视化…☆112Updated 3 years ago
- spark大数据大型电商项目☆12Updated 4 years ago
- 基于hadoop生态搭建的电 商数据仓库,整体功能架构包含数据采集、数仓搭建、数据导出、数据可视化等☆47Updated 2 years ago
- 实现了一整套电商数仓的搭建,包括数据采集平台的搭建,将用户的行为数据分为四层分别分层搭建,并实现业务数据库的分层搭建,针对数据仓库中的数据进行,留存、转化率、复购率、GMV、活跃等报表分析,使用当下主流程数的框架,这个项目采用Apache版本的框架实现,后续会上传CDH版本…☆46Updated 2 years ago
- 大数据实习hdfs+flume+kafka+spark+hbase+hive项目☆31Updated 7 years ago
- 2021年超全超详细 的最新大数据开发面试题,附答案解析,大数据面试题,看这一套就够了☆35Updated 3 years ago
- 基于spark的外卖大数据平台分析系统☆40Updated 5 years ago
- 此项目是对大学生的一卡通消费数据、图书借阅记录和图书馆门禁数据在spark集群的大数据框架环境之下进行聚类、关联分析,分析出学生的消费水平、生活规律、学习强度等聚类结果,以及将聚类结果进行FPGrowth关联分析得出学生聚类之间存在的关联性,此项目是使用scala语言,利用…☆59Updated 2 years ago
- 基于SparkSQL的电影分 析项目实战☆38Updated 3 years ago
- 大数据项目实战之基于Spark2.X的新闻话题的实时统计分析☆24Updated 2 years ago
- Spark Streaming+Flume+Kafka+HBase+Hadoop+Zookeeper实现实时日志分析统计;SpringBoot+Echarts实现数据可视化展示☆498Updated 6 years ago