ZongXR / BigData-CompetitionLinks
全国大数据竞赛三等奖解决方案，省赛二等奖解决方案。一键安装大数据环境脚本，自动部署集群环境，包括zookeeper、hadoop、mysql、hive、spark以及一些基础环境。已通过实际服务器测试，效果极佳，仅需要输入密码等少量人为干预。解放安装部署配置所需人力。并添加若干scala案例，结合spark用以进行数据准备。
☆40Updated last year
Alternatives and similar repositories for BigData-Competition
Users that are interested in BigData-Competition are comparing it to the libraries listed below
Sorting:
- 实现了一整套电商数仓的搭建，包括数据采集平台的搭建，将用户的行为数据分为四层分别分层搭建，并实现业务数据库的分层搭建，针对数据仓库中的数据进行，留存、转化率、复购率、GMV、活跃等报表分析，使用当下主流程数的框架，这个项目采用Apache版本的框架实现，后续会上传CDH版本…☆56Updated 3 years ago
- 大数据框架 Spark MLlib 机器学习库基础算法全面讲解,附带齐全的测试文件☆40Updated last year
- 本赛题旨在运用有效的金融科技和大数据系统，分析涉赌涉诈资金交易新方式，持续优化风险监测模型，通过赛题提供的涉赌涉诈黑名单、白名单及用于训练的相关交易流水数据集，构建涉赌涉诈账户算法识别模型，全面排查存量风险。A榜排名11/1594，B榜排名13/1594。☆47Updated 2 years ago
- 基于python和llm大模型开发的数据处理和任务调度系统。 支持数据源管理，数据模型管理，数据集成，数据查询API接口，低代码自定义数据处理任务模版，单任务及dag任务工作流调度等功能。集成了llm模块实现rag知识库问答，链接各数据源数据进行数据对话问答，交互式数据分析…☆249Updated last month
- 一种利用Langchain框架和本地向量库实现的对话式BI，它的目标是帮助用户寻找、理解数据知识，并能够分析数据、洞察结果，通 过自然语言对话，降低数据分析的门槛。☆142Updated last year
- Z Lab数据实验室开源代码汇总☆208Updated last year
- 黑马头条推荐系统☆102Updated 6 years ago
- 利用用户画像数据、物品元数据、用户行为数据为特征构建推荐系统，使用CB和CF算法做推荐召回，使用 Redis数 据库做缓存处理，结合机器学习LR算法推荐排序，达到粗排、精排效果，实现推荐引擎搭建。☆45Updated 4 years ago
- 大模型训练、推理、推荐系统相关☆27Updated 6 months ago
- 基于深度学习的监督学习，使用梯度下降、ALS、LFM算法，使用AngularJS2生成前端框架，数据库为MongoDB，使用ElasticSearch作为搜索服务器，Redis作为缓存数据库，其中包括Spark的离线统计服务、Azkaban的工作调度服务、Flume的日志采…☆22Updated 2 years ago
- 基于ChatGLM-6b+langchain实现本地化知识库检索与智能答案生成☆23Updated last year
- 本项目以应用为主出发，结合了从基础的机器学习、深度学习到目标检测以及目前最新的大模型，采用目前成熟的 第三方库、开源预训练模型以及相关论文的最新技术，目的是记录学习的过程同时也进行分享以供更多人可以直接进行使用。☆71Updated 4 months ago
- word_2_vec☆48Updated 3 years ago
- 一个基于大模型微调的中文医疗问答机器人应用☆22Updated last year
- 最好的大数据项目。《Titan数据运营系统》，本项目是一个全栈闭环系统，我们有用作数据可视化的web系统，然后用flume-kafaka-flume进行日志的读取，在hive设计数仓，编写spark代码进行数仓表之间的转化以及ads层表到mysql的迁移，使用azkaban…☆139Updated 3 years ago
- 🏆🥈🥉 TianChi/天池 AIStudio Kaggle iFLYTEKAI...☆76Updated last year
- 模拟电商系统上线运行一段时间后，根据收集到大量的用户行为数据，利用大数据技术（Flink）进行深入挖掘和分析，进而得到感兴趣的商业指标并增强对风险的控制。 整体可以分为用户行为习惯数据和业务行为数据两大类。用户的行为习惯数据包括了用户的登录方式、上线的时间点及时长、点击和浏…☆133Updated 5 years ago
- AMS实时推荐系统☆17Updated 2 years ago
- 基于真实业务上手数 据挖掘（银行流失预警）:数据的处理、LightGBM、skLearning包(里面含有：GridSearchCV寻找最优参、StratifiedKFold分层5折切分、_test_Split单次数据切分等)、叠层模型融合、画AUC图、画混淆矩阵图，并输出预…☆97Updated 3 years ago
- 本项目用于文档问答，使用向量嵌入 + ES 做召回，使用Rerank模型作为精排，再使用LLM做文档问答，Web框架使用Flask。☆31Updated 6 months ago
- 基于大模型LLMs的智能文本SQL生成能力，结合数据可视化，实现下一代对话式系统自动生成图表展示和dashboard、数据分析的BI系统。☆157Updated 2 years ago
- 2020年第八届泰迪杯数据挖掘C题“智慧政务文本挖掘”特等奖作品（论文与代码）☆68Updated last month
- 个性化推荐代码--初学者☆40Updated 5 years ago
- 基于Spark企业级用户画像项目☆128Updated last year
- 本人本科比赛期间开发的机器视觉相关的系统，包括完整的模型训练代码(机器学习代码参考众多大佬的开源项目实现)，同时还含有完整的Web端(Vue)、小程序(Uniapp)、以及后端(FastApi)完整代码☆29Updated 3 years ago
- 大模型LLM，RAG实战☆134Updated 2 months ago
- 本项目演示如何在PyTorch中使用Transformer模型进行中文文本分类☆37Updated 2 years ago
- 真实预测未来7天的天气气象数据，使用多种机器学习和深度学习LSTM算法，采集全国各省历史、实时数据（天气预报、极端天气预警、生活指数），可视化大屏，Hadoop、Spark、Hive数仓数据分析，大模型AI智能问答系统☆97Updated 7 months ago
- 信贷逾期用户画像分析☆33Updated 5 years ago
- 电商广告推荐系统☆12Updated 3 years ago