adoresever / PretuningLinks
A tool for creating pre-training datasets for language models, supporting one-click batch processing for both text and image datasets. 一个专为语言模型预训练设计的数据集制作工具,支持文本和图像数据集的一键式批量处理。
☆33Updated 5 months ago
Alternatives and similar repositories for Pretuning
Users that are interested in Pretuning are comparing it to the libraries listed below
Sorting:
- GraphRAG-Ollama-UI + GraphRAG4OpenWebUI 融合版(有gradio webui配置生成RAG索引,有fastapi提供RAG API服务)☆110Updated 9 months ago
- Official code for Dynamic Parametric RAG.☆123Updated last week
- 本项目主要介绍prompt工程相关用例。包括模拟智能推荐客服系统构建和问答、思维链、自洽性、思维树等相关进阶demo,旨在帮助大家理解prompt。通过一份代码实现了同时支持多种大模型(如OpenAI、阿里通义千问等)并使用FastAPI对应用进行API封装。☆29Updated 8 months ago
- LightRAG与GraphRAG在索引构建、检索测试中的耗时、模型请求次数、Token消耗金额、检索质量等方面进行对比☆92Updated 6 months ago
- ☆247Updated 5 months ago
- 添加🚀流式 Web 服务到 GraphRAG,兼容 OpenAI SDK,支持可访问的实体链接🔗,支持建议问题,兼容本地嵌入模型,修复诸多问题。Add streaming web server to GraphRAG, compatible with OpenAI SD…☆251Updated 2 months ago
- A unified tool to generate fine-tuning datasets for LLMs, including questions, answers, and dialogues. ✨🤖📚💬☆58Updated 2 months ago
- Convert files into markdown to help RAG or LLM understand, based on markitdown and MinerU, which could provide high quality pdf parser.☆99Updated 2 months ago
- KAG开源框架介绍及使用KAG实现知识增强生成应用(产品模式测试、开发者模式测试),KAG是OpenSPG发布v0.5版本中推出的知识增强生成(KAG)的专业领域知识服务框架,旨在充分利用知识图谱和向量检索的优势,增强大型语言模型和知识图谱,以解决 RAG 挑战☆110Updated last month
- Chat2Graph: Graph Native Agentic System.☆204Updated this week
- 这个仓库主要用于记录以MetaGPT为基础的Agent开发理论学习记录☆29Updated last year
- 使用CrewAI+FastAPI搭建多Agent协作应用并对外提供API服务,同时支持gpt、国产大模型、Ollama本地大模型。☆68Updated 7 months ago
- FlexRAG: A RAG Framework for Information Retrieval and Generation.☆169Updated last month
- [ACL2025 demo track] ROGRAG: A Robustly Optimized GraphRAG Framework☆134Updated 3 weeks ago
- 实现使用开源的LangFlow框架,零代码实现大模型相关应用如流量包推荐智能客服、RAG应用等,并使用两种方式将创建的工作流集成到自己的项目中☆24Updated 8 months ago
- gpt_server是一个用于生产级部署LLMs、Embedding、Reranker、ASR和TTS的开源框架。☆184Updated this week
- 本项目主要实现使用FastAPI后端框架+CrewAI实现AI Agent复杂工作流。代码实现CrewAI的Flows功能,并支持Flow运行中间结果进行持久化存储和查询(MySQL),支持多Flow并行(Celery是一个强大的异步任务队列/作业队列库)。☆81Updated last month
- ☆116Updated last month
- MCP功能测试,编写LLM(支持OpenAI接口风格的大模型)应用程序调用MCP。MCP(模型上下文协议)是Claude开源的一种开放协议,可实现LLM应用程序与外部数据源和工具之间的无缝集成。☆74Updated last month
- 视频理解:千问视频多模态模型 & Dify☆57Updated 9 months ago
- 拼好RAG:手搓并融合了GraphRAG、LightRAG、Neo4j-llm-graph-builder进行知识图谱构建以及搜索;整合DeepSearch技术实现私域RAG的推理;自制针对GraphRAG的评估框架| Integrate GraphRAG, LightRA…☆193Updated last week
- ☆27Updated 9 months ago
- generate ppt with llm☆94Updated last year
- GraphRAG的应用实例,项目特点在于提供了替换OpenAI模型的方法,并通过修改原有提示 和切分文档的方法,提高了GraphRAG处理中文内容的能力。☆158Updated 7 months ago
- ✨🦋 illufly - 【幻蝶】基于记忆蒸馏、资料检索的自我进化智能体☆64Updated last week
- A Dify tool plugin to export Markdown to DOCX, PPTX, XLSX, PDF, HTML, md files☆67Updated this week
- ChatGPT WebUI using gradio. 给 LLM 对话和检索知识问答RAG提供一个简单好用的Web UI界面☆129Updated 9 months ago
- Unsloth框架在Windows平台微调训练Qwen2大模型,非WSL☆60Updated 11 months ago
- MinerU API server☆57Updated 5 months ago
- This Python package provides a convenient and powerful interface to interact with the Dify API, enabling developers to integrate a wide r…☆40Updated 4 months ago