aikuyun / weather-mrs
天气爬虫采集，kafka实时分发，flume 收集数据导入到 Hbase, 再由 Hive 与 Hbase 建立映射，Superset 分析和展示数据。
☆26Updated 5 years ago
Related projects ⓘ
Alternatives and complementary repositories for weather-mrs
- 分析各区域热门商品 —— 使用 Flume 采集数据，MapReduce 或 Spark Core 进行数据清洗，最后使用 Hive 或 Spark SQL 进行数据的分析和处理。☆14Updated 5 years ago
- 基于spark的外卖大数据平台分析系统☆40Updated 5 years ago
- 大数据实习hdfs+flume+kafka+spark+hbase+hive项目☆32Updated 7 years ago
- 一个简单的Hive项目，使用了Sqoop、Hadoop、Hive、MySQL，对电商数据进行分析☆45Updated 5 years ago
- 基于Spark2.2新闻网大数据实时系统项目☆61Updated 5 years ago
- 大数据招聘信息分析平台☆40Updated 8 years ago
- 大数据离线项目之：BI上报（Hadoop、Hbase、Hive、flume、sqoop）☆13Updated 2 years ago
- 基于spark streaming+flume+kafka+hbase的实时日志处理分析系统(分为控制台版本和基于springboot、Echarts等的Web UI可视化版本)☆36Updated last year
- 此项目是对大学生的一卡通消费数据、图书借阅记录和图书馆门禁数据在spark集群的大数据框架环境之下进行聚类、关联分析，分析出学生的消费水平、生活规律、学习强度等聚类结果，以及将聚类结果进行FPGrowth关联分析得出学生聚类之间存在的关联性，此项目是使用scala语言，利用…☆60Updated last month
- 拉勾网+BOSS直聘网招聘信息大数据分析项目_数据获取+数据清洗+数据分析+数据可视化☆154Updated 2 years ago
- 电商大数据分析平台——静态页面模板☆77Updated 4 years ago
- 大数据分析案例☆22Updated 6 years ago
- 电商大数据项目-推荐系统(java和scala语言)☆198Updated last year
- 使用Storm实时处理交通大数据（数据源：kafka，集群管理：zookeeper）☆52Updated last year
- 实现了一整套电商数仓的搭建，包括数据采集平台的搭建，将用户的行为数据分为四层分别分层搭建，并实现业务数据库的分层搭建，针对数据仓库中的数据进行，留存、转化率、复购率、GMV、活跃等报表分析，使用当下主流程数的框架，这个项目采用Apache版本的框架实现，后续会上传CDH版本…☆47Updated 2 years ago
- 电商平台数据仓库搭建☆122Updated 2 years ago
- 本项目旨在建立一个基于大数据处理的大学生就业方向分析预测系统，通过爬虫技术获取各大公司和著名招聘网站的大量招聘信息，然后将获取的数据进行清洗分类后储存在数据库中，最后从大学生的就业角度出发，通过算法分析数据，建立一个帮助大学生明确就业方向与社会需求的平台☆95Updated 6 years ago
- 使用Hadoop、Spark等实现的大数据平台项目☆20Updated 2 years ago
- 大数据项目实战之基于Spark2.X的新闻话题的实时统计分析☆25Updated 2 years ago
- 大数据企业实训项目：基于SpringMVC+Spring+HBase+Maven搭建的Hadoop分布式云盘系统。使用Hadoop HDFS作为文件存储系统、HBase作为数据存储仓库，采用SpringMVC+Spring框架实现，包括用户注册与登录、我的网盘、关注用户、我…☆136Updated 6 years ago
- SparkSQL慕课网日志分析及可视化展示☆20Updated 6 years ago
- 最好的大数据项目。《Titan数据运营系统》，本项目是一个全栈闭环系统，我们有用作数据可视化的web系统，然后用flume-kafaka-flume进行日志的读取，在hive设计数仓，编写spark代码进行数仓表之间的转化以及ads层表到mysql的迁移，使用azkaban…☆117Updated 3 years ago
- 大数据竞赛项目实战, 内容涵盖: Kaggle、阿里天池大数据、腾讯大数据、京东大数据、DataCastle大数据竞赛等等☆57Updated 5 years ago
- 基于flume+kafka+HBase+spark+ElasticSearch的用户轨迹查询大数据开发项目☆109Updated 2 years ago
- 大数据面试知识点☆34Updated 3 years ago
- 大型电商网站session大数据分析实战项目☆17Updated 2 years ago
- 基于SparkSQL的电影分析项目实战☆39Updated 3 years ago
- 大数据建模分析平台☆60Updated 5 years ago
- 电信大数据项目实战☆12Updated 5 years ago
- 本项目记录我学习hadoop和spark等开源框架的代码，因为也是最近才用github，之前都是荒废状态，故部分都是是之前写好的，现在上传至github☆84Updated 6 years ago