adoresever / PretuningLinks
A tool for creating pre-training datasets for language models, supporting one-click batch processing for both text and image datasets. 一个专为语言模型预训练设计的数据集制作工具，支持文本和图像数据集的一键式批量处理。
☆43Updated last year
Alternatives and similar repositories for Pretuning
Users that are interested in Pretuning are comparing it to the libraries listed below
Sorting:
- GraphRAG-Ollama-UI + GraphRAG4OpenWebUI 融合版（有gradio webui配置生成RAG索引，有fastapi提供RAG API服务）☆105Updated last year
- ✨🦋 illufly - 【幻蝶】基于记忆蒸馏、资料检索的自我进化智能体☆77Updated 2 months ago
- 支持中文🇨🇳🇨🇳🇨🇳 的 microsoft/graphrag☆51Updated 10 months ago
- LightRAG与GraphRAG在索引构建、检索测试中的耗时、模型请求次数、Token消耗金额、检索质量等方面进行对比☆159Updated last year
- ☆274Updated last year
- A unified tool to generate fine-tuning datasets for LLMs, including questions, answers, and dialogues. ✨🤖📚💬☆62Updated 10 months ago
- AutoGen最新架构v0.4正式发布第一个稳定版本，v0.4是对AutoGen的一次从头开始的重写，目的是为构建Agent创建一个更健壮、可扩展、更易用的跨语言库，其应用接口采用分层架构设计，存在多套软件接口用以满足不同的场景需求 。☆112Updated 9 months ago
- 添加🚀流式 Web 服务到 GraphRAG，兼容 OpenAI SDK，支持可访问的实体链接🔗，支持建议问题，兼容本地嵌入模型，修复诸多问题。Add streaming web server to GraphRAG, compatible with OpenAI SD…☆263Updated 10 months ago
- Convert files into markdown to help RAG or LLM understand, based on markitdown and MinerU, which could provide high quality pdf parser.☆132Updated 10 months ago
- Chat2Graph: Graph Native Agentic System.☆395Updated 3 months ago
- A LLM RAG system runs on your laptop. 大模型检索增强生成系统，可以轻松部署在笔记本电脑上，实现本地知识库智能问答。企业级SaaS版本请访问：☆307Updated last week
- 一个基于多模态向量模型及视觉多模态模型构建的图片搜索引擎&管理系统，实现精准的以文搜文，文搜图、以图搜图多种智能检索方式。An image search engine management system built upon multimodal vector models…☆77Updated 4 months ago
- A learning project for building local knowledge bases from PDFs using LangChain, supporting multiple LLMs (DeepSeek, OpenAI). Features in…☆220Updated last year
- generate ppt with llm☆106Updated last year
- [arxiv: 2503.23895] Dynamic Parametric Retrieval Augmented Generation for Test-time Knowledge Enhancement☆172Updated 5 months ago
- KAG开源框架介绍及使用KAG实现知识增强生成应用(产品模式测试、开发者模式测试)，KAG是OpenSPG发布v0.5版本中推出的知识增强生成（KAG）的专业领域知识服务框架，旨在充分利用知识图谱和向量检索的优势，增强大型语言模型和知识图谱，以解决 RAG 挑战☆154Updated 9 months ago
- 基于 Dify + Langfuse 的自动化评估服务☆88Updated 8 months ago
- GraphRAG的应用实例，项目特点在于提供了替换OpenAI模型的方法，并通过修改原有提示和切分文档的方法，提高了GraphRAG处理中文内容的能力。☆185Updated last year
- 模版式PPT，可以生成套用模版的PPT☆356Updated last month
- A low-code data flow tool that allows for convenient use of LLM and HuggingFace models, with some features considered as a low-code versi…☆316Updated 3 months ago
- E2M API, converting everything to markdown (LLM-friendly Format).☆139Updated last year
- dify's rag patch module☆277Updated 5 months ago
- fork from https://github.com/google-gemini/gemini-fullstack-langgraph-quickstart and try any llm-locally☆58Updated 8 months ago
- 本项目主要实现使用FastAPI后端框架+CrewAI实现AI Agent复杂工作流。代码实现CrewAI的Flows功能，并支持Flow运行中间结果进行持久化存储和查询(MySQL)，支持多Flow并行(Celery是一个强大的异步任务队列/作业队列库)。☆115Updated 9 months ago
- "Hyper-RAG: Combating LLM Hallucinations using Hypergraph-Driven Retrieval-Augmented Generation" by Yifan Feng, Hao Hu, Xingliang Hou, Sh…☆236Updated last month
- Agentica: Effortlessly Build Intelligent, Reflective, and Collaborative Multimodal AI Agents! 构建智能的多模态AI Agent。☆244Updated this week
- TinyAISearch 是一个轻量但强大的 AI 搜索项目，为你完整揭示从智能搜索规划、网页爬取、内容召回到流式问答的 RAG 全链路。 项目独创网页级召回 (V2) 模式，旨在为大语言模型提供更完整、连贯的上下文，超越传统 RAG 的碎片化知识。同时，项目内置多种可配置…☆78Updated 5 months ago
- FlexRAG: A RAG Framework for Information Retrieval and Generation.☆231Updated 2 weeks ago
- 支持查询主流agent框架技术文档的MCP server（支持stdio和sse两种传输协议）, 支持 langchain、llama-index、autogen、agno、openai-agents-sdk、mcp-doc、camel-ai 和 crew-ai☆153Updated 9 months ago
- GraphRAG 中文文档。GraphRAG是一种结构化的、分层的检索增强生成（RAG）方法，而不是使用纯文本片段的语义搜索方法。GraphRAG 过程包括从原始文本中提取出知识图谱，构建社群层级(这种结构通常用来描述个体、群体及它们之间的关系，帮助理解信息如何在社群内部传…☆19Updated last year