wang1365 / spark-traffic
使用Spark批量处理离线交通大数据
☆15Updated 7 years ago
Alternatives and similar repositories for spark-traffic:
Users that are interested in spark-traffic are comparing it to the libraries listed below
- 大数据平台相关代码(ES/Hive/Hadoop/hdfs/hbase)☆75Updated 2 years ago
- 使用Storm实时处理交通大数据(数据源:kafka,集群管理:zookeeper)☆51Updated 2 years ago
- 这是一个基于Hadoop的视频转码系统,首先视频在本地进行分割成64M左右大小,然后从本地文件夹中上传到HDFS中,然后启动一个MapReduce作业,每一个Map作业下载一个视频到本地,进行转码到在上传到HDFS中,没有reduce过程,最后客户端自行下载这些转码后的分片…☆27Updated 10 years ago
- 使用SpringBoot开发的基于HBASE的大数据存储分布式云计算笔记(后端)☆34Updated 6 years ago
- 整合netty的一个nio消息服务器,封装了请求、响应、广播消息,定义了线程模型,实现了客户端与服务器及服务器与服务器间的通讯☆26Updated 9 years ago
- 车联网相关技术和业务:轨迹上报,围栏计算,轨迹存储和显示等服务☆22Updated 7 years ago
- 各大电商网站数据抓取分析☆33Updated 11 years ago
- java爬虫,反爬虫策略、ETL清洗数据,以及spark离线和实时分析新闻并存入ES☆21Updated 6 years ago
- hadoop flume hbase kafka storm;读取kafka数据=》storm实时处理(分割字符,统计字符)=》写入hdfs☆21Updated 6 years ago
- 移动用户行为统计系统,服务器端的数据采集分析,参考开源的cobub razor的设计☆36Updated 7 years ago
- 调用第三方接口的框架,包含缓存重试策略。☆13Updated 2 years ago
- 车联网智能分析 系统☆52Updated 8 years ago
- 大数据生态圈学习☆18Updated 2 years ago
- 用于数据迁移、缓存预热,springboot架构。支持数据区间分割、动态调整线程池配置、任务进度实时查看等特性☆45Updated 7 years ago
- 大数据招聘信息分析平台☆43Updated 9 years ago
- 关于通过百度地图API采集POI数据,并存储到HBase的项目。☆24Updated 9 years ago
- 对电影进行个性化推荐,基于Mahout框架实现的,使用的协同过滤算法☆33Updated 12 years ago
- SpringBoot+Shiro+Mybatis+Mapper+ AdminLTE完整简单demo,前后台。已实现用户、角色、权限增删改查。内附初始化SQL☆26Updated 7 years ago
- 算法库(Java实现)☆35Updated 11 years ago
- 论坛日志分析系统清洗程序(包含IP规则库,UDF开发,MapReduce程序,日志数据)☆33Updated 6 years ago
- 蓝泰源大数据基础平台☆17Updated 7 years ago
- SpringMVC+mybaits+Maven+anguljs+html5+mysql+nodejs+BO报表 集成的大数据地产分析项目☆26Updated 9 years ago
- 大数据实习hdfs+flume+kafka+spark+hbase+hive项目☆34Updated 7 years ago
- 个性化推荐算法的通用处理框架,基于Mahout和Lucene☆18Updated 9 years ago
- 腾讯微博数据服务架构。☆19Updated 2 years ago
- Livy REST API封装,批处理模式☆19Updated 6 years ago
- 元数据管理系统☆18Updated 7 years ago
- 一个优秀的大数据查询平台,提供hive异步任务查询、LDAP用户、数据权限控制、历史查询任务与结果存储、邮件通知、excel下载等功能。☆24Updated 7 years ago
- 使用spark对hive、hbase、ES的读写, 实现一次配置可对不同数据库进行导入导出,并对ES、hbase进行封装☆32Updated 7 years ago
- 分布式大数据SQL查询可视化界面!☆68Updated 9 years ago