ZongXR / BigData-CompetitionLinks
全国大数据竞赛三等奖解决方案，省赛二等奖解决方案。一键安装大数据环境脚本，自动部署集群环境，包括zookeeper、hadoop、mysql、hive、spark以及一些基础环境。已通过实际服务器测试，效果极佳，仅需要输入密码等少量人为干预。解放安装部署配置所需人力。并添加若干scala案例，结合spark用以进行数据准备。
☆42Updated last year
Alternatives and similar repositories for BigData-Competition
Users that are interested in BigData-Competition are comparing it to the libraries listed below
Sorting:
- 利用用户画像数据、物品元数据、用户行为数据为特征构建推荐系统，使用CB和CF算法做推荐召回，使用 Redis数 据库做缓存处理，结合机器学习LR算法推荐排序，达到粗排、精排效果，实现推荐引擎搭建。☆46Updated 5 years ago
- 本赛题旨在运用有效的金融科技和大数据系统，分析涉赌涉诈资金交易新方式，持续优化风险监测模型，通过赛题提供的涉赌涉诈黑名单、白名单及用于训练的相关交易流水数据集，构建涉赌涉诈账户算法识别模型，全面排查存量风险。A榜排名11/1594，B榜排名13/1594。☆47Updated 2 years ago
- 大数据框架 Spark MLlib 机器学习库基础算法全面讲解,附带齐全的测试文件☆40Updated last year
- 黑马头条推荐系统☆103Updated 6 years ago
- 个性化推荐代码--初学者☆41Updated 5 years ago
- 该项目主要是自学过程中对于一些知识点的整理，项目整体分为四部分，分别是算法、工程、工具和数学知识。算法部分主要是常用的机器学习（LR、SVM、树模型、XGBoost、LightGBM和CatBoost等）和深度学习算法（NLP和CV以及一些基础知识），工程部分主要是spar…☆25Updated 3 years ago
- 基于Spark企业级用户画像项目☆132Updated 2 years ago
- 电商广告推荐系统☆14Updated 3 years ago
- 基于真实业务上手数据挖掘（银行流失预警）:数据的处理、LightGBM、skLearning包(里面含有：GridSearchCV寻找最优参、StratifiedKFold分层5折切分、_test_Split单次数据切分等)、叠层模型融合、画AUC图、画混淆矩阵图，并输出预…☆100Updated 3 years ago
- 基于RFM和决策树模型构建专家推荐系统。融合了RFM模型和决 策树模型，结合专业运营人员的业务经营，发掘潜在用户，进行推荐营销召回。☆88Updated last year
- 大数据实战——商品推荐系统（Spark、Scala、MongoDB）☆111Updated 3 years ago
- 基于python和llm大模型开发的数据处理和任务调度系统。 支持数据源管理，数据模型管理，数据集成，数据查询API接口，低代码自定义数据处理任务模版，单任务及dag任务工作流调度等功能。集成了llm模块实现rag知识库问答，链接各数据源数据进行数据对话问答，交互式数据分析…☆266Updated 2 weeks ago
- Z Lab数据实验室开源代码汇总☆209Updated last year
- 实现了一整套电商数仓的搭建，包括数据采集平台的搭建，将用户的行为数据分为四层分别分层搭建，并实现业务数据库的分层搭建，针对数据仓库中的数据进行，留存、转化率、复购率、GMV、活跃等报表分析，使用当下主流程数的框架，这个项目采用Apache版本的框架实现，后续会上传CDH版本…☆57Updated 3 years ago
- 从0到1构建用户画像☆38Updated 4 years ago
- 大模型训练、推理、推荐系统相关☆30Updated 2 months ago
- 数据竞赛笔记fork☆82Updated 2 years ago
- 模拟电商系统上线运行一段时间后，根据收集到大量的用户行为数据，利用大数据技术（Flink）进行深入挖掘和分析，进而得到感兴趣的商业指标并增强对风险的控制。 整体可以分为用户行为习惯数据和业务行为数据两大类。用户的行为习惯数据包括了用户的登录方式、上线的时间点及时长、点击和浏…☆138Updated 5 years ago
- 信贷逾期用户画像分析☆34Updated 6 years ago
- Spark开源项目：个性化推荐算法实践☆38Updated 5 years ago
- 基于用户行为的用户画像项目☆79Updated 8 years ago
- 商品类目预测，使用 Spring Boot 开发框架和 Spark MLlib 机器学习框架，通过 TF-IDF 和 Bayes 算法，训练出一个商品类目预测模型。该模型可以根据商品名称自动预测出商品类目。项目对外提供 RESTFul 接口。☆157Updated 4 years ago
- 利用flask进行echarts/pyecharts，Web程序开发，机器学习模型部署☆29Updated 3 years ago
- Python网络爬虫与推荐算法新闻推荐平台：网络爬虫：通过Python实现新浪新闻的爬取，可爬取新闻页面上的标题、文本、图片、视频链接（保留排版） 推荐算法：权重衰减+标签推荐+区域推荐+热点推荐☆121Updated 4 years ago
- 大模型LLM，RAG实战☆139Updated 6 months ago
- 2020年第八届泰迪杯数据挖掘C题“智慧政务文本挖掘”特等奖作品（论文与代码）☆68Updated 5 months ago
- 机器学习可视化平台☆54Updated 6 years ago
- 本项目以应用为主出发，结合了从基础的机器学习、深度学习到目标检测以及目前最新的大模型，采用目前成熟的 第三方库、开源预训练模型以及相关论文的最新技术，目的是记录学习的过程同时也进行分享以供更多人可以直接进行使用。☆76Updated 8 months ago
- 基于火力发电厂知识问答库的检索式问答系统/问答系统/对话系统☆57Updated 5 years ago
- a collection of NLP projects&tools. 自然语言处理方向项目和工具集合。☆237Updated last year