zzz0627 / DataScraping-LLMs-FineTuningLinks
An automated pipeline for scraping, processing, and visualizing medical Q&A data to build high-quality datasets. Includes a comprehensive guide for fine-tuning Qwen-7B-Chat.
☆23Updated last year
Alternatives and similar repositories for DataScraping-LLMs-FineTuning
Users that are interested in DataScraping-LLMs-FineTuning are comparing it to the libraries listed below
Sorting:
- 基于Llamaindex微调qwen2.5-7b☆35Updated last year
- 基于Qwen2+SFT+DPO的医疗问答系统，项目中使用了自定义的 SFTTrainer/DPOTrainer/TRPOTrainer用于训练，其次，项目还调用各种知识库工具（neo4j, milvus, LDA, 等）进行自动化训练数据生成。另外，使用 vllm 用于推理…☆58Updated last month
- 基于 OneKE 的知识图谱构建与 RAG 问答系统搭建☆24Updated last year
- 使用煤矿历史事故案例，事故处理报告、安全规程规章制度、技术文档、煤矿从业人员入职考试题库等数据，微调internlm2模型实现针对煤矿事故和煤矿安全知识的智能问答。☆58Updated last year
- 基于医疗领域知识图谱的问答系统，同时使用了chatGPT、chatGLM4等方式生成医学知识图谱。☆62Updated last year
- 利用开源大模型，通过RAG(检索增强生成)技术，实现基于企业内部知识图谱的，可内网运行的大模型智能客服☆78Updated last year
- pytorch+bert实现的意图识别与槽位填充☆11Updated 2 years ago
- 基于qwenvl微调一个多模态Xray识别的大模型☆21Updated last year
- 大模型智能体Agent中文教程，博客代码仓库☆58Updated 3 months ago
- Legal-Eagle-InternLM 是一个基于商汤科技和上海人工智能实验室推出的书生浦语大模型InternLM的法律问答机器人。旨在为用户提供符合3H（即Helpful、Honest、Harmless）原则的专业、智能、全面的法律服务的法律领域大模型。☆65Updated last year
- 以InternLM2-chat-7为基座模型，以常用中药等为数据集，微调的大模型。中医聊天小助手。☆16Updated last year
- 在RAG技术中，嵌入向量的生成和匹配是关键环节。本文介绍了一种基于CLIP/BLIP模型的嵌入服务，该服务支持文本和图像的嵌入生成与相似度计算，为多模态信息检索提供了基础能力。☆42Updated last year
- 基于ChatGLM3基座模型和LLAMA-Factory框架进行微调的一个中医问答机器人☆107Updated 2 years ago
- 补充了一些Visualglm缺少的文件，可以对Visualglm进行训练，实例中是对人脸做了面相的识别☆13Updated 2 years ago
- Generate dialog data from documents using LLM like ChatGLM2 or ChatGPT;利用ChatGLM2,ChatGPT等大模型根据文档生成对话数据集☆163Updated 2 years ago
- ☆59Updated 11 months ago
- Qwen1.5-SFT(阿里, Ali), Qwen_Qwen1.5-2B-Chat/Qwen_Qwen1.5-7B-Chat微调(transformers)/LORA(peft)/推理☆71Updated last year
- 基于ChatGLM3-6b的智能对话系统，集成了RAG、知识图谱、Agent、多模态等技术来增强大模型的回复质量。☆63Updated last year
- 可以成功Lora微调的Qwen-VL模型☆16Updated 2 years ago
- ☆28Updated last year
- 本项目旨在利用LangChain和大语言模型（如ZhipuAI）开发一个智能数据库问答系统。 该系统能够通过自然语言理解用户的查询请求，自动生成相应的SQL语句并执行，最后将查询结果以自然语言 形式返回用户。☆17Updated last year
- 想要从零开始训练一个中文的mini大语言模型，可以进行基本的对话，模型大小根据手头的机器决定☆65Updated last year
- 中文CLIP：自定义数据集，可根据文图提取向量，实现文图匹配。☆22Updated 3 years ago
- 中文世界的NLP自动标注开源工具，简单样本，交给LabelFast。☆85Updated 2 months ago
- 基于大语言模型的检索增强生成RAG示例☆168Updated 9 months ago
- MCM(Multimodal Chinese Medical LLM)多模态中医问诊大模型☆138Updated last year
- 学习开源chatGPT类模型的指南，汇总各种训练数据获取、模型微调、模型服务的方法，以及记录自己操作总遇到的各种常见坑，欢迎收藏、转发，希望能帮你省一些时间☆75Updated 2 years ago
- pdf multimodal rag 【pdf多模态rag问答】☆25Updated 11 months ago
- 基于大语言模型的RAG项目，分别实现了基于文本和知识图谱的RAG☆27Updated 2 months ago
- qwen ai agent☆147Updated last year