wang1365 / spark-trafficLinks
使用Spark批量处理离线交通大数据
☆15Updated 7 years ago
Alternatives and similar repositories for spark-traffic
Users that are interested in spark-traffic are comparing it to the libraries listed below
Sorting:
- 使用Storm实时处理交通大数据（数据源：kafka，集群管理：zookeeper）☆51Updated 2 years ago
- 大数据平台相关代码（ES/Hive/Hadoop/hdfs/hbase）☆75Updated 2 years ago
- 这是一个基于Hadoop的视频转码系统，首先视频在本地进行分割成64M左右大小，然后从本地文件夹中上传到HDFS中，然后启动一个MapReduce作业，每一个Map作业下载一个视频到本地，进行转码到在上传到HDFS中，没有reduce过程，最后客户端自行下载这些转码后的分片…☆28Updated 11 years ago
- 基于Hadoop和HBase的大规模海量数据去重☆29Updated 7 years ago
- Spark Sql进行离线日志分析，Java Web+Echarts+Ajax进行数据可视化展示☆27Updated 6 years ago
- 论坛日志分析系统清洗程序(包含IP规则库，UDF开发，MapReduce程序，日志数据)☆33Updated 7 years ago
- mglory是一个java分布式框架。具备以下功能：分布式计算、分布式内存存储(支持持久化)、分布式消息队列☆12Updated 10 years ago
- 项目实战：Hadoop生态圈☆31Updated 7 years ago
- hadoop flume hbase kafka storm；读取kafka数据=》storm实时处理（分割字符，统计字符）=》写入hdfs☆21Updated 6 years ago
- 使用SpringBoot开发的基于HBASE的大数据存储分布式云计算笔记(后端)☆34Updated 6 years ago
- spark流式计算电商商品关注度+推荐系统/关联系统☆15Updated 7 years ago
- 云笔记项目，大数据项目，Hbase+Redis+Hadoop+Zookeeper☆13Updated 7 years ago
- java爬虫，反爬虫策略、ETL清洗数据，以及spark离线和实时分析新闻并存入ES☆21Updated 6 years ago
- 大数据实习hdfs+flume+kafka+spark+hbase+hive项目☆36Updated 7 years ago
- 基于wifi抓取信息的大数据查询分析系统☆107Updated 8 years ago
- 大数据招聘信息分析平台☆43Updated 9 years ago
- 基于spark streaming+flume+kafka+hbase的实时日志处理分析系统(分为控制台版本和基于springboot、Echarts等的Web UI可视化版本)☆37Updated last year
- 一个优秀的大数据查询平台，提供hive异步任务查询、LDAP用户、数据权限控制、历史查询任务与结果存储、邮件通知、excel下载等功能。☆24Updated 7 years ago
- 关于 HDFS，Yarn，MapReduce，HBase，Hive，Pig，Sqoop，Flume，Zookeeper，MemCached，Redis，Storm，Scala，Spark，Flink 等大数据框架的学习笔记☆77Updated 5 years ago
- Hadoop简单应用案例，包括MapReduce、单词统计、HDFS基本操作、web日志分析、Zookeeper基本使用、Hive简单操作等☆188Updated 6 years ago
- 大数据生态圈学习☆18Updated 2 years ago
- SparkStreaming项目，显示flume->Kafka->Spark->hbase(实时数据处理方案)，Scala实现☆36Updated 7 years ago
- 分布式小文件存储系统☆23Updated 8 years ago
- 分布式大数据SQL查询可视化界面！☆68Updated 9 years ago
- hbase + spark 实现常用推荐算法（主要用于精准广告投放和推荐系统）☆67Updated 8 years ago
- 基于Spark2.2新闻网大数据实时系统项目☆61Updated 6 years ago
- 一个大数据实时流处理日志分析系统 Demo☆29Updated 2 years ago
- 基于spark的大数据过滤引擎推荐系统☆9Updated 7 years ago
- Flink电商项目，实时统计分析 + 风控☆25Updated 5 years ago
- 基于spark、mahout和spring boot构建的推荐系统☆131Updated last month