JRhuang-96 / offline-hadoopLinks
Hadoop离线计算. 使用hadoop MR 进行数据清洗,再使用shell 脚本执行hive 进行数据统计,维度分析
☆12Updated 6 years ago
Alternatives and similar repositories for offline-hadoop
Users that are interested in offline-hadoop are comparing it to the libraries listed below
Sorting:
- 电商+大数据+spark机器学习☆17Updated 7 years ago
- 大数据招聘信息分析平台☆43Updated 9 years ago
- 使用Storm实时处理交通大数据（数据源：kafka，集群管理：zookeeper）☆51Updated 2 years ago
- 京东商品推荐系统-数据爬虫☆18Updated 10 years ago
- 论坛日志分析系统清洗程序(包 含IP规则库，UDF开发，MapReduce程序，日志数据)☆33Updated 7 years ago
- 基于Spark2.2新闻网大数据实时系统项目☆61Updated 6 years ago
- Spark混合推荐系统大数据监控平台☆11Updated 7 years ago
- 基于Flink流处理的动态实时亿级全端用户画像系统可视化界面☆34Updated 2 years ago
- spark tutorial for big data mining。包括app流量运营分析、als推荐、smote样本采样、RFM客户价值分群、AHP层次分析客户价值得分、手机定位数据商圈挖掘、马尔可夫智能邮件预测、时序预测、关联规则、推荐电影好友等。☆40Updated 2 years ago
- java爬虫，反爬虫策略、ETL清洗数据，以及spark离线和实时分析新闻并存入ES☆21Updated 6 years ago
- spring cloud集成全渠道在线客服以及后台管理系统，所有微服务之间的消息传递采用区块链技术，持续更新中～～目标是：第一阶段：采用spring cloud微服务搭建后台管理系统第二阶段：集成在线客服，采用netty实现websocket长连接第三阶段：集成h5、微信、…☆17Updated 2 years ago
- Java高级工程师面试资料☆20Updated 6 years ago
- 大数据离线项目之：BI上报（Hadoop、Hbase、Hive、flume、sqoop）☆13Updated 2 years ago
- AMS实时推荐系统☆17Updated 2 years ago
- spark流式计算电商商品关注度+推荐系统/关联系统☆15Updated 7 years ago
- 在公司接了一个任务，完成一个项目数据同步的模块。要求是不能操作项目的数据库。怕操作不当，数据丢失。所以想到的方案是使用log4jdbc记录数据源的SQL语句到日志文件。然后按行读取日志文件中的数据，记录 读取的Point，以便下次继续读取。读取的数据进入bigqueue队列，…☆12Updated 7 years ago
- docker-hadoop-spark-hive 快速构建你的大数据环境☆22Updated 5 years ago
- java学习及找工作记录。包括java基础，并发，数据库，算法，网络，设计模式，spring等参考书籍，jdk1.8源码，demo，笔面试题记录及阿里巴巴java开发手册等☆12Updated 4 years ago
- 一个用Solr做企业应用内的搜索引擎的SpringBoot项目☆22Updated 6 years ago
- 基于Nutch+ElasticSearch+MySQL+SSM的简易搜索引擎☆20Updated 8 years ago
- 基于spark streaming+flume+kafka+hbase的实时日志处理分析系统(分为控制台版本和基于springboot、Echarts等的Web UI可视化版本)☆37Updated last year
- 自助搭建的 hadoop + spark + kafka + zookeeper + storm + hbase + hive + flume 集群，一主两从。☆30Updated 6 years ago
- 实现了一整套电商数仓的搭建，包括数据采集平台的搭建，将用户的行为数据分为四层分别分层搭建，并实现业务数据库的分层搭建，针对数据仓库中的数据进行，留存、转化率、复购率、GMV、活跃等报表分析，使用当下主流程数的框架，这个项目采用Apache版本的框架实现，后续会上传CDH版本…☆52Updated 2 years ago
- 基于spark的外卖大数据平台分析系统☆44Updated 6 years ago
- 1、支持网页爬虫 2、多线程、线程池 3、支持全文搜索 4、支持Hadoop分布式平台、HDFS/MapReduce、Zookeeper、HBase 5、支持redis分布式缓存 6、集成微信公众号开发 7、Spring4新特性 8、ActiveMQ 9、Nginx详细配置…☆16Updated 2 years ago
- 网站点击流离线日志分析☆19Updated 6 years ago
- bank银行巡检系统和CRM客户管理系统☆8Updated 8 years ago
- 共享单车综合管控大数据分析平台☆17Updated 3 years ago
- 论坛日志分析系统☆24Updated 7 years ago
- 本项目主要用于搭建一个基于docker的实时监控系统，涉及的大数据相关组件有Filebeat，Kafka，Zookeeper，Flink，后端主要使用了SpringBoot进行开发，数据库使用了Redis做缓存，前端用了Vue框架，通过Ant Design组件库和Echar…☆42Updated 2 years ago