JRhuang-96 / offline-hadoop
Hadoop离线计算. 使用hadoop MR 进行数据清洗,再使用shell 脚本执行hive 进行数据统计,维度分析
☆12Updated 6 years ago
Alternatives and similar repositories for offline-hadoop:
Users that are interested in offline-hadoop are comparing it to the libraries listed below
- 大数据离线项目之:BI上报(Hadoop、Hbase、Hive、flume、sqoop)☆13Updated 2 years ago
- 基于Spark2.2新闻网大数据实时系统项目☆60Updated 5 years ago
- 论坛日志分析系统清洗程序(包含IP规则库,UDF开发,MapReduce程序,日志数据)☆33Updated 6 years ago
- 基于Hadoop和HBase的大规模海量数据去重☆29Updated 6 years ago
- 基于Flink流处理的动态实时亿级全端用户画像系统可视化界面☆34Updated 2 years ago
- Flink电商项目,实时统计分析 + 风控☆24Updated 4 years ago
- Spark混合推荐系统大数据监控平台☆11Updated 6 years ago
- 电商+大数据+spark机器学习☆16Updated 7 years ago
- 一个集分布式爬虫,分布式存储,分布式计算统计分析一体的统计分析数据挖掘项目☆14Updated 7 years ago
- 实现了一整套电商数仓的搭建,包括数据采集平台的搭建,将用户的行为数据分为四层分别分层搭建,并实现业务数据库的分层搭建,针对数据仓库中的数据进行,留存、转化率、复购率、GMV、活跃等报表分析,使用当下主流程数的框架,这个项目采用Apache版本的框架实现,后续会上传CDH版本…☆50Updated 2 years ago
- 1、支持网页爬虫 2、多线程、线程池 3、支持全文搜索 4、支持Hadoop分布式平台、HDFS/MapReduce、Zookeeper、HBase 5、支持redis分布式缓存 6、集成微信公众号开发 7、Spring4新特性 8、ActiveMQ 9、Nginx详细配置…☆16Updated 2 years ago
- 大数据招聘信息分析平台☆42Updated 8 years ago
- 对电影进行个性化推荐,基于Mahout框架实现的,使用的协同过滤算法☆33Updated 12 years ago
- AMS实时推荐系统☆16Updated 2 years ago
- Spark开源项目:个性化推荐算法实践☆32Updated 5 years ago
- spark tutorial for big data mining。包括app流量运营分析、als推荐、smote样本采样、RFM客户价值分群、AHP层次分析客户价值得分、手机定位数据商圈挖掘、马尔可夫智能邮件预测、时序预测、关联规则、推荐电影好友等。☆40Updated 2 years ago
- 使用Storm实时处理交通大数据(数据源:kafka,集群管理:zookeeper)☆51Updated 2 years ago
- 传统大数据分析工具以Hadoop、Spark为代表,集成了大量的技术框架, 对用户来说又重又笨又不灵活,难以维护和驾驭,国际和国内的敏捷型BI工具在对接时又面临性能、友好性、定制化能力弱的缺点。本项目独辟蹊径,以阿里开源的DataX为ETL工具,以列式数据库ClickHou…☆64Updated 4 years ago
- 此文本分类项目主要面向机器学习初学者和文本分类效果测试者,项目内部含有朴素贝叶斯,余弦定理,逻辑回归多种分类算法以及mm,rmm分词器,同时从某新闻站点爬取了多个分类共6000多篇文章,以及一个中文词典。项目方便自由拓展各种分类器和分词器,并通过组装测试分类效果。☆35Updated 7 years ago
- spark流式计算电商商品关注度+推荐系统/关联系统☆15Updated 7 years ago
- 大数据平台相关代码(ES/Hive/Hadoop/hdfs/hbase)☆74Updated 2 years ago
- docker-hadoop-spark-hive 快速构建你的大数据环境☆21Updated 5 years ago
- 京东商品推荐系统-数据爬虫☆18Updated 9 years ago
- 一个用Solr做企业应用内的搜索引擎的SpringBoot项目☆22Updated 6 years ago
- 专注大数据 Spark ML 机器学习:监督学习、无监督学习,主要有:分类算法、回归算法、聚类算法、推荐算法、频繁模式挖掘算法☆16Updated 4 years ago
- SpringBoot + Apache Mahout 推荐引擎 基于用户评分数据推荐相关电影☆11Updated 6 years ago
- springboot项目使用脚手架,集成redis、mysql、pg,hbase、elasticsearch、kafka等常用组件功能☆20Updated 2 years ago
- 基于Kettle的MySQL数据库同步☆26Updated 6 years ago
- Spark中实现用户画像系统价值度、忠诚度、流失预警、活跃度等模型☆66Updated 7 years ago
- 用于数据迁移、缓存预热,springboot架构。支持数据区间分割、动态调整线程池配置、任务进度实时查看等特性☆45Updated 7 years ago