adoresever / PretuningLinks
A tool for creating pre-training datasets for language models, supporting one-click batch processing for both text and image datasets. 一个专为语言模型预训练设计的数据集制作工具,支持文本和图像数据集的一键式批量处理。
☆33Updated 6 months ago
Alternatives and similar repositories for Pretuning
Users that are interested in Pretuning are comparing it to the libraries listed below
Sorting:
- GraphRAG-Ollama-UI + GraphRAG4OpenWebUI 融合版(有gradio webui配置生成RAG索引,有fastapi提供RAG API服务)☆110Updated 10 months ago
- 一个基于多模态向量模型及视觉多模态模型构建的图片搜索引擎&管理系统,实现精准的以文搜文,文搜图、以图搜图多种智能检索方式。An image search engine management system built upon multimodal vector models…☆44Updated last week
- Official code for Dynamic Parametric RAG.☆132Updated last month
- A unified tool to generate fine-tuning datasets for LLMs, including questions, answers, and dialogues. ✨🤖📚💬☆59Updated 3 months ago
- KAG开源框架介绍及使用KAG实现知识增强生成应用(产品模式测试、开发者模式测试),KAG是OpenSPG发布v0.5版本中推出的知识增强生成(KAG)的专业领域知识服务框架,旨在充分利用知识图谱和向量检索的优势,增强大型语言模型和知识图谱,以解决 RAG 挑战☆124Updated 2 months ago
- 本项目主要介绍prompt工程相关用例。包括模拟智能推荐客服系统构建和问答、思维链、自洽性、思维树等相关进阶demo,旨在帮助大家理解prompt。通过一份代码实现了同时支持多种大模型(如OpenAI、阿里通义千问等)并使用FastAPI对应用进行API封装。☆30Updated 9 months ago
- LightRAG与GraphRAG在索引构建、检索测试中的耗时、模型请求次数、Token消耗金额、检索质量等方面进行对比☆99Updated 6 months ago
- generate ppt with llm☆95Updated last year
- 使用CrewAI+FastAPI 搭建多Agent协作应用并对外提供API服务,同时支持gpt、国产大模型、Ollama本地大模型。☆73Updated 8 months ago
- 文本语料转训练集工具,txt转dataset☆92Updated last year
- AutoGen最新架构v0.4正式发布第一个稳定版本,v0.4是对AutoGen的一次从头开始的重写,目的是为构建Agent创建一个更健壮、可扩展、更易用的跨语言库,其应用接口采用分层架构设计,存在多套软件接口用以满足不同的场景需求 。☆110Updated 2 months ago
- 添加🚀流式 Web 服务到 GraphRAG,兼容 OpenAI SDK,支持可访问的实体链接🔗,支持建议问题,兼容本地嵌入模型,修复诸多问题。Add streaming web server to GraphRAG, compatible with OpenAI SD…☆254Updated 3 months ago
- mcp的webui界面,支持客户端连接多个sse服务端,支持 openai、deepseek、qwen等大模型,另外附上构建的 agent的 stdio和sse的简单 天气查询的完整示例☆29Updated last month
- virtualwife-llm-factory 是一个llm训练框架,用于解决虚拟角色训练入门门槛高的问题,该框架具备自动生成语料,性格塑造评估,基于国产llm微调训练等核心能力,目前还在开发,可以点个star~ 关注一下☆48Updated 2 weeks ago
- 视频理解:千问视频多模态模型 & Dify☆60Updated 9 months ago
- Convert files into markdown to help RAG or LLM understand, based on markitdown and MinerU, which could provide high quality pdf parser.☆111Updated 3 months ago
- ☆122Updated 2 months ago
- Built on the robust XTuner backend framework, XTuner Chat GUI offers a user-friendly platform for quick and efficient local model inferen…☆13Updated last year
- "Hyper-RAG: Combating LLM Hallucinations using Hypergraph-Driven Retrieval-Augmented Generation" by Yifan Feng, Hao Hu, Xingliang Hou, Sh…☆139Updated 2 months ago
- ☆57Updated 8 months ago
- 实现使用开源的LangFlow框架,零代码实现大模型相关应用如流量包推荐智能客服、RAG应用等,并使用两种方式将创建的工作流集成到自己的项目中☆25Updated 9 months ago
- Chat2Graph: Graph Native Agentic System.☆275Updated this week
- 基于GLM4-Chat实现本地知识库查询以及Agent☆7Updated last year
- 利用免费的大模型api来结合你的私域数据来生成sft训练数据(妥妥白嫖)支持llamafactory等工具的训练数据格式synthetic data☆168Updated 7 months ago
- llamafactory blog☆29Updated 8 months ago
- GraphGen: Enhancing Supervised Fine-Tuning for LLMs with Knowledge-Driven Synthetic Data Generation☆217Updated this week
- 这个仓库主要用于记录以MetaGPT为基础的Agent开发理论学习记录☆32Updated last year
- gpt_server是一个用于生产级部署LLMs、Embedding、Reranker、ASR和TTS的开源框架。☆194Updated this week
- Unsloth框架在Windows平台微调训练Qwen2大模型,非WSL☆61Updated last year
- ChatGPT WebUI using gradio. 给 LLM 对话和检索知识问答RAG提供一个简单好用的Web UI界面☆130Updated 10 months ago