aikuyun / weather-mrs
天气爬虫采集，kafka实时分发，flume 收集数据导入到 Hbase, 再由 Hive 与 Hbase 建立映射，Superset 分析和展示数据。
☆26Updated 5 years ago
Related projects ⓘ
Alternatives and complementary repositories for weather-mrs
- 基于Spark2.2新闻网大数据实时系统项目☆61Updated 5 years ago
- 基于spark的外卖大数据平台分析系统☆41Updated 5 years ago
- 大数据实习hdfs+flume+kafka+spark+hbase+hive项目☆32Updated 7 years ago
- 电商大数据分析平台——静态页面模板☆77Updated 4 years ago
- 电商大数据项目-推荐系统(java和scala语言)☆197Updated last year
- 拉勾网+BOSS直聘网招聘信息大数 据分析项目_数据获取+数据清洗+数据分析+数据可视化☆154Updated 2 years ago
- 基于spark streaming+flume+kafka+hbase的实时日志处理分析系统(分为控制台版本和基于springboot、Echarts等的Web UI可视化版本)☆36Updated last year
- 基于flume+kafka+HBase+spark+ElasticSearch的用户轨迹查询大数据开发项目☆109Updated 2 years ago
- [毕业设计] 承接毕业设计系统讲解+调试 承接Java SpringBoot项目和大数据部署与运行问题排查；联系微信bq2323599883☆344Updated 6 months ago
- 大数据招聘信息分析平台☆40Updated 8 years ago
- SparkStreaming项目，显示flume->Kafka->Spark->hbase(实时数据处理方案)，Scala实现☆35Updated 6 years ago
- 实现了一整套电商数仓的搭建，包括数据采集平台的搭建，将用户的行为数据分为四层分别分层搭建，并实现业务数据库的分层搭建，针对数据仓库中的数据进行，留存、转化率、复购率、GMV、活跃等报表分析，使用当下主流程数的框架，这个项目采用Apache版本的框架实现，后续会上传CDH版本…☆48Updated 2 years ago
- 分析各区域热门商品 —— 使用 Flume 采集数据，MapReduce 或 Spark Core 进行数据清洗，最后使用 Hive 或 Spark SQL 进行数据的分析和处理。☆14Updated 5 years ago
- 基于hadoop生态搭建的电商数据仓库，整体功能架构包含数据采集、数仓搭建、数据导出、数据可视化等☆50Updated 2 years ago
- 使用Storm实时处理交通大数据（数据源：kafka，集群管理：zookeeper）☆52Updated last year
- 大型电商网站session大数据分析实战项目☆17Updated 2 years ago
- Spark大型项目实战：电商用户行为分析大数据平台\Spark大型项目实战：电商用户行为分析大数据平台（史上第一套高端大数据项目实战课程）☆27Updated last year
- 大数据企业实训项目：基于SpringMVC+Spring+HBase+Maven搭建的Hadoop分布式云盘系统。使用Hadoop HDFS作为文件存储系统、HBase作为数据存储仓库，采用SpringMVC+Spring框架实现，包括用户注册与登录、我的网盘、关注用户、我…☆136Updated 6 years ago
- 最好的大数据项目。《Titan数据运营系统》，本项目是一个全栈闭环系统，我们有用作数据可视化的web系统，然后用flume-kafaka-flume进行日志的读取，在hive设计数仓，编写spark代码进行数仓表之间的转化以及ads层表到mysql的迁移，使用azkaban…☆117Updated 3 years ago
- 本项目旨在建立一个基于大数据处理的大学生就业方向分析预测系统，通过爬虫技术获取各大公司和著名招聘网站的大量招聘信息，然后将获取的数据进行清洗分类后储存在数据库中，最后从大学生的就业角度出发，通过算法分析数据，建立一个帮助大学生明确就业方向与社会需求的平台☆96Updated 6 years ago
- 清华大数据作业MapReduce处理几百个G的JSON数据☆50Updated 8 years ago
- SparkSQL慕课网日志分析及可视化展示☆20Updated 6 years ago
- 电商平台数据仓库搭建☆122Updated 2 years ago
- 基于SparkSQL的电影分析项目实战☆39Updated 4 years ago
- 1.Spark离线批处理，用户实时点击统计；2.SparkSQL日志内容分析；3.受众电影分析 =>（Kafka + SparkStreaming + Redis）和（Kafka + SparkStreaming + Mysql）☆29Updated 2 years ago
- 使用Hadoop、Spark等实现的大数据平台项目☆22Updated 2 years ago
- 一个大数据实时流处理日志分析系统 Demo☆27Updated 2 years ago
- 大数据竞赛项目实战, 内容涵盖: Kaggle、阿里天池大数据、腾讯大数据、京东大数据、DataCastle大数据竞赛等等☆58Updated 5 years ago
- 大数据项目实战之基于Spark2.X的新闻话题的实时统计分析☆25Updated 2 years ago
- 大数据面试知识点☆34Updated 3 years ago