zzz0627 / DataScraping-LLMs-FineTuningLinks
An automated pipeline for scraping, processing, and visualizing medical Q&A data to build high-quality datasets. Includes a comprehensive guide for fine-tuning Qwen-7B-Chat.
☆23Updated last year
Alternatives and similar repositories for DataScraping-LLMs-FineTuning
Users that are interested in DataScraping-LLMs-FineTuning are comparing it to the libraries listed below
Sorting:
- 基于Llamaindex微调qwen2.5-7b☆35Updated last year
- 基于Qwen2+SFT+DPO的医疗问答系统,项目中使用了自定义的 SFTTrainer/DPOTrainer/TRPOTrainer用于训练,其次,项目还调用各种知识库工具(neo4j, milvus, LDA, 等)进行自动化训练数据生成。另外,使用 vllm 用于推理…☆58Updated last month
- 基于 OneKE 的知识图谱构建与 RAG 问答系统搭建☆24Updated last year
- 使用煤矿历史事故案例,事故处理报告、安全规程规章制度、技术文档、煤矿从业人员入职考试题库等数据,微调internlm2模型实现针对煤矿事故和煤矿安全知识的智能问答。☆58Updated last year
- 基于医疗领域知识图谱的问答系统,同时使用了chatGPT、chatGLM4等方式生成医学知识图谱。☆62Updated last year
- 利用开源大模型,通过RAG(检索增强生成)技术,实现基于企业内部知识图谱的,可内网运行的大模型智能客服☆78Updated last year
- pytorch+bert实现的意图识别与槽位填充☆11Updated 2 years ago
- 基于qwenvl微调一个多模态Xray识别的大模型☆21Updated last year
- 大模型智能体Agent中文教程,博客代码仓库☆58Updated 3 months ago
- Legal-Eagle-InternLM 是一个基于商汤科技和上海人工智能实验室推出的书生浦语大模型InternLM的法律问答机器人。旨在为用户提供符合3H(即Helpful、Honest、Harmless)原则的专业、智能、全面的法律服务的法律领域大模型。☆65Updated last year
- 以InternLM2-chat-7为基座模型,以常用中药等为数据集,微调的大模型。中医聊天小助手。☆16Updated last year
- 在RAG技术中,嵌入向量的生成和匹配是关键环节。本文介绍了一种基于CLIP/BLIP模型的嵌入服务,该服务支持文本和图像的嵌入生成与相似度计算,为多模态信息检索提供了基础能力。☆42Updated last year
- 基于ChatGLM3基座模型和LLAMA-Factory框架进行微调的一个中医问答机器人☆107Updated 2 years ago
- 补充了一些Visualglm缺少的文件,可以对Visualglm进行训练,实例中是对人脸做了面相的识别☆13Updated 2 years ago
- Generate dialog data from documents using LLM like ChatGLM2 or ChatGPT;利用ChatGLM2,ChatGPT等大模型根据文档生成对话数据集☆163Updated 2 years ago
- ☆59Updated 11 months ago
- Qwen1.5-SFT(阿里, Ali), Qwen_Qwen1.5-2B-Chat/Qwen_Qwen1.5-7B-Chat微调(transformers)/LORA(peft)/推理☆71Updated last year
- 基于ChatGLM3-6b的智能对话系统,集成了RAG、知识图谱、Agent、多模态等技术来增强大模型的回复质量。☆63Updated last year
- 可以成功Lora微调的Qwen-VL模型☆16Updated 2 years ago
- ☆28Updated last year
- 本项目旨在利用LangChain和大语言模型(如ZhipuAI)开发一个智能数据库问答系统。 该系统能够通过自然语言理解用户的查询请求,自动生成相应的SQL语句并执行,最后将查询结果以自然语言 形式返回用户。☆17Updated last year
- 想要从零开始训练一个中文的mini大语言模型,可以进行基本的对话,模型大小根据手头的机器决定☆65Updated last year
- 中文CLIP:自定义数据集,可根据文图提取向量,实现文图匹配。☆22Updated 3 years ago
- 中文世界的NLP自动标注开源工具,简单样本,交给LabelFast。☆85Updated 2 months ago
- 基于大语言模型的检索增强生成RAG示例☆168Updated 9 months ago
- MCM(Multimodal Chinese Medical LLM)多模态中医问诊大模型☆138Updated last year
- 学习开源chatGPT类模型的指南,汇总各种训练数据获取、模型微调、模型服务的方法,以及记录自己操作总遇到的各种常见坑,欢迎收藏、转发,希望能帮你省一些时间☆75Updated 2 years ago
- pdf multimodal rag 【pdf多模态rag问答】☆25Updated 11 months ago
- 基于大语言模型的RAG项目,分别实现了基于文本和知识图谱的RAG☆27Updated 2 months ago
- qwen ai agent☆147Updated last year