adoresever / PretuningLinks
A tool for creating pre-training datasets for language models, supporting one-click batch processing for both text and image datasets. 一个专为语言模型预训练设计的数据集制作工具,支持文本和图像数据集的一键式批量处理。
☆41Updated 11 months ago
Alternatives and similar repositories for Pretuning
Users that are interested in Pretuning are comparing it to the libraries listed below
Sorting:
- 一个基于多模态向量模型及视觉多模态模型构建的图片搜索引擎&管理系统,实现精准的以文搜文,文搜图、以图搜图多种智能检索方式。An image search engine management system built upon multimodal vector models…☆72Updated last month
- AutoGen最新架构v0.4正式发布第一个稳定版本,v0.4是对AutoGen的一次从头开始的重写,目的是为构建Agent创建一个更健壮、可扩展、更易用的跨语言库,其应用接口采用分层架构设计,存在多套软件接口用以满足不同的场景需求 。☆112Updated 7 months ago
- GraphRAG-Ollama-UI + GraphRAG4OpenWebUI 融合版(有gradio webui配置生成RAG索引,有fastapi提供RAG API服务)☆104Updated last year
- ✨🦋 illufly - 【幻蝶】基于记忆蒸馏、资料检索的自我进化智能体☆74Updated 5 months ago
- Convert files into markdown to help RAG or LLM understand, based on markitdown and MinerU, which could provide high quality pdf parser.☆131Updated 7 months ago
- 利用免费的大模型api来结合你的私域数据来生成sft训练数据(妥妥白嫖)支持llamafactory等工具的训练数据格式synthetic data☆185Updated 11 months ago
- LightRAG与GraphRAG在索引构建、检索测试中的耗时、模型请求次数、Token消耗金额、检索质量等方面进行对比☆135Updated 11 months ago
- 添加🚀流式 Web 服务到 GraphRAG,兼容 OpenAI SDK,支持可访问的实体链接🔗,支持建议问题,兼容本地嵌入模型,修复诸多问题。Add streaming web server to GraphRAG, compatible with OpenAI SD…☆260Updated 7 months ago
- A unified tool to generate fine-tuning datasets for LLMs, including questions, answers, and dialogues. ✨🤖📚💬☆63Updated 8 months ago
- [ACL2025 demo track] ROGRAG: A Robustly Optimized GraphRAG Framework☆183Updated 2 weeks ago
- Agentica: Effortlessly Build Intelligent, Reflective, and Collaborative Multimodal AI Agents! 构建智能的多模态AI Agent。☆217Updated 3 weeks ago
- ☆153Updated 8 months ago
- 本项目主要实现使用FastAPI后端框架+CrewAI实现AI Agent复杂工作流。代码实现CrewAI的Flows功能,并支持Flow运行中间结果进行持久化存储和查询(MySQL),支持多Flow并行(Celery是一个强大的异步任务队列/作业队列库)。☆105Updated 7 months ago
- A low-code data flow tool that allows for convenient use of LLM and HuggingFace models, with some features considered as a low-code versi…☆313Updated 3 weeks ago
- VideoFinder is an advanced video analysis tool powered by multimodal AI, designed to help users easily locate and identify specific objec…☆166Updated last year
- ☆273Updated 10 months ago
- 标书大模型(Proposal-LLM Chinese version )☆286Updated last year
- generate ppt with llm☆104Updated last year
- 自动批量上传并解析文档至 RagFlow 知识库,省去手动操作,提升效率。☆457Updated 3 months ago
- 天枢 - 企业级 AI 一站式数据预处理平台 | PDF/Office转Markdown | 支持MCP协议AI助手集成 | Vue3+FastAPI全栈方案☆155Updated last week
- 模版式PPT,可以生成套用模版的PPT☆233Updated this week
- 全方位大模型评测知识库 | 提示词工程(Prompt Engineer)、各渠道大模型榜单(LeaderBoard)、标杆数据集、安全检测、对抗攻击、智能体、优质数据、文本分类、关系抽取、语音识别、语音合成、多模态、文本生成图片、文本生成视频、点云、智能对话、摘要总结、问答…☆74Updated last year
- 视频理解:千问视频多模态模型 & Dify☆65Updated last year
- Text2Neo4j 是一个遍历文档、从文本中提取关系并将其保存到 Neo4j 数据库中以形成知识图谱的工具。本项目结合了 Dify 和 LLaMA3.1(8B 模型)来高效处理和提取复杂关系。☆24Updated last year
- MinerU API server☆81Updated 11 months ago
- llamafactory blog☆42Updated last year
- A LLM RAG system runs on your laptop. 大模型检索增强生成系统,可以轻松部署在笔记本电脑上,实现本地知识库智能问答。☆283Updated 3 months ago
- 使用CrewAI+FastAPI搭建多Agent协作应用并对外提供API服务,同时支持gpt、国产大模型、Ollama本地大模型。☆137Updated last year
- KAG开源框架介绍及使用KAG实现知识增强生成应用(产品模式测试、开发者模式测试),KAG是OpenSPG发布v0.5版本中推出的知识增强生成(KAG)的专业领域知识服务框架,旨在充分利用知识图谱和向量检索的优势,增强大型语言模型和知识图谱,以解决 RAG 挑战☆153Updated 7 months ago
- ragflow中的ocr部分,非官方项目☆52Updated last year