ZongXR / BigData-CompetitionLinks
全国大数据竞赛三等奖解决方案，省赛二等奖解决方案。一键安装大数据环境脚本，自动部署集群环境，包括zookeeper、hadoop、mysql、hive、spark以及一些基础环境。已通过实际服务器测试，效果极佳，仅需要输入密码等少量人为干预。解放安装部署配置所需人力。并添加若干scala案例，结合spark用以进行数据准备。
☆40Updated last year
Alternatives and similar repositories for BigData-Competition
Users that are interested in BigData-Competition are comparing it to the libraries listed below
Sorting:
- 本赛题旨在运用有效的金融科技和大数据系统，分析涉赌涉诈资金交易新方式，持续优化风险监测模型，通过赛题提供的涉赌涉诈黑名单、白名单及用于训练的相关交易流水数据集，构建涉赌涉诈账户算法识别模型，全面排查存量风险。A榜排名11/1594，B榜排名13/1594。☆47Updated 2 years ago
- 个性化推荐代码--初学者☆41Updated 5 years ago
- 黑马头条推荐系统☆104Updated 6 years ago
- 大数据框架 Spark MLlib 机器学习库基础算法全面讲解,附带齐全的测试文件☆40Updated last year
- 利用用户画像数据、物品元数据、用户行为数据为特征构建推荐系统，使用CB和CF算法做推荐召回，使用 Redis数 据库做缓存处理，结合机器学习LR算法推荐排序，达到粗排、精排效果，实现推荐引擎搭建。☆45Updated 4 years ago
- Z Lab数据实验室开源代码汇总☆208Updated last year
- 本项目演示如何在PyTorch中使用Transformer模型进行 中文文本分类☆37Updated 2 years ago
- spark tutorial for big data mining。包括app流量运营分析、als推荐、smote样本采样、RFM客户价值分群、AHP层次分析客户价值得分、手机定位数据商圈挖掘、马尔可夫智能邮件预测、时序预测、关联规则、推荐电影好友等。☆40Updated 3 years ago
- 大模型训练、推理、推荐系统相关☆27Updated 7 months ago
- 电商广告推荐系统☆13Updated 3 years ago
- 基于python和llm大模型开发的数据处理和任务调度系统。 支持数据源管理，数据模型管理，数据集成，数据查询API接口，低代码自定义数据处理任务模版，单任务及dag任务工作流调度等功能。集成了llm模块实现rag知识库问答，链接各数据源数据进行数据对话问答，交互式数据分析…☆252Updated 2 months ago
- 实现了一整套电商数仓的搭建，包括数据采集平台的搭建，将用户的行为数据分为四层分别分层搭建，并实现业务数据库的分层搭建，针对数据仓库中的数据进行，留存、转化率、复购率、GMV、活跃等报表分析，使用当下主流程数的框架，这个项目采用Apache版本的框架实现，后续会上传CDH版本…☆56Updated 3 years ago
- 模拟电商系统上线运行 一段时间后，根据收集到大量的用户行为数据，利用大数据技术（Flink）进行深入挖掘和分析，进而得到感兴趣的商业指标并增强对风险的控制。 整体可以分为用户行为习惯数据和业务行为数据两大类。用户的行为习惯数据包括了用户的登录方式、上线的时间点及时长、点击和浏…☆133Updated 5 years ago
- 基于RFM和决策树模型构建专家推荐系统。融合了RFM模型和决策树模型，结合专业运营人员的业务经营，发掘潜在用户，进行推荐营销召回。☆88Updated last year
- 2020年第八届泰迪杯数据挖掘C题“智慧政务文本挖掘”特等奖作品（论文与代码）☆68Updated last month
- 数据竞赛笔记fork☆80Updated 2 years ago
- 该项目主要是自学过程中对于一些知识点的整理，项目整体分为四部分，分别是算法、工程、工具和数学知识。算法部分主要是常用的机器学习（LR、SVM、树模型、XGBoost、LightGBM和CatBoost等）和深度学习算法（NLP和CV以及一些基础知识），工程部分主要是spar…☆24Updated 3 years ago
- 基于真实业务上手数据挖掘（银行流失预警）:数据的处理、LightGBM、skLearning包(里面含有：GridSearchCV寻找最优参、StratifiedKFold分层5折切分、_test_Split单次数据切分等)、叠层模型融合、画AUC图、画混淆矩阵图，并输出预…☆97Updated 3 years ago
- 最好的大数据项目。《Titan数据运营系统》，本项目是一个全栈闭环系统，我们有用作数据可视化的web系统，然后用flume-kafaka-flume进行日志的读取，在hive设计数仓，编写spark代码进行数仓表之间的转化以及ads层表到mysql的迁移，使用azkaban…☆139Updated 3 years ago
- CTR prediction models in TensorFlow 2.x☆21Updated 3 years ago
- 本项目以应用为主出发，结合了从基础的机器学习、深度学习到目标检测以及目前最新的大模型，采用目前成熟的 第三方库、开源预训练模型以及相关论文的最新技术，目的是记录学习的过程同时也进行分享以供更多人可以直接进行使用。☆73Updated 5 months ago
- Spark开源项目：个性化推荐算法实践☆34Updated 5 years ago
- 基于Spark企业级用户画像项目☆130Updated 2 years ago
- Hadoop离线计算. 使用hadoop MR 进行数据清洗,再使用shell 脚本执行hive 进行数据统计,维度分析☆11Updated 6 years ago
- AMS实时推荐系统☆17Updated 2 years ago
- 我的Datawhale组队学习，在线阅读地址：https://relph1119.github.io/my-team-learning☆63Updated 4 months ago
- 基于深度学习的商品推荐系统，高性能，可承受高并发，可跨平台☆59Updated 2 years ago
- 基于深度学习的监督学习，使用梯度下降、ALS、LFM算法，使用AngularJS2生成前端框架，数据库为MongoDB，使用ElasticSearch作为搜索服务器，Redis作为缓存数据库，其中包括Spark的离线统计服务、Azkaban的工作调度服务、Flume的日志采…☆22Updated 2 years ago
- 更新中（速度较慢）：大数据+AI的实用框架，每一步都有成就感！手把手实战（一步步/大量注释/操作配图），如企业画像（Spark+NLP）、推荐系统（Spark+GBDT/LR）、实时数仓（Flink）等，以实战学技术。☆26Updated 2 years ago
- 阿里天池与Datawhale联合举办二手车价格预测比赛：优胜奖方案代码总结☆113Updated 2 years ago