ShaohonChen / transformers_from_scratchLinks
pretrain a wiki llm using transformers
☆54Updated last year
Alternatives and similar repositories for transformers_from_scratch
Users that are interested in transformers_from_scratch are comparing it to the libraries listed below
Sorting:
- 从0开始,将chatgpt的技术路线跑一遍。☆264Updated last year
- TinyRAG☆350Updated 3 months ago
- 大语言模型应用:RAG、NL2SQL、聊天机器人、预训练、MOE混合专家模型、微调训练、强化学习、天池数据竞赛☆71Updated 8 months ago
- 从0到1构建一个MiniLLM (pretrain+sft+dpo实践中)☆487Updated 6 months ago
- simple decoder-only GTP model in pytorch☆42Updated last year
- 通义千问VLLM推理部署DEMO☆611Updated last year
- Alpaca Chinese Dataset -- 中文指令微调数据集☆215Updated last year
- unify-easy-llm(ULM)旨在打造一个简易的一键式大模型训练工具,支持Nvidia GPU、Ascend NPU等不同硬件以及常用的大模型。☆57Updated last year
- Retriever-0.1B☆95Updated last year
- LLM101n: Let's build a Storyteller 中文版☆133Updated last year
- 大模型技术栈一览☆114Updated last year
- This is a user guide for the MiniCPM and MiniCPM-V series of small language models (SLMs) developed by ModelBest. “面壁小钢炮” focuses on achi…☆292Updated 3 months ago
- 基于ReAct手搓一个Agent Demo☆155Updated 3 months ago
- 解锁HuggingFace生态的百般用法☆93Updated 10 months ago
- 一些 LLM 方面的从零复现笔记☆224Updated 5 months ago
- ☆84Updated 8 months ago
- ☆27Updated 3 months ago
- 本项目致力于为大模型领域的初学者提供全面的知识体系,包括 基础和高阶内容,以便开发者能迅速掌握大模型技术栈并全面了解相关知识。☆61Updated 9 months ago
- ☆164Updated last year
- 尝试自己从头写一个LLM,参考llama和nanogpt☆67Updated last year
- 从零到一实现一个 miniLLM~(动手学习LLM)☆76Updated last year
- vLLM Documentation in Chinese Simplified / vLLM 中文文档☆114Updated this week
- 利用免费的大模型api来结合你的私域数据来生成sft训练数据(妥妥白嫖)支持llamafactory等工具的训练数据格式synthetic data☆185Updated 10 months ago
- 本项目为书籍《大模型RAG实战》的代码以及资料汇总。☆257Updated 11 months ago
- qwen ai agent☆139Updated last year
- 大模型/LLM推理和部署理论与实践☆351Updated 3 months ago
- Awesome Chinese LLM: A curated list of Chinese Large Language Model 中文大语言模型数据集和模型资料汇总☆159Updated last year
- Train a 1B LLM with 1T tokens from scratch by personal☆740Updated 5 months ago
- 基于《西游记》原文、白话文、ChatGPT生成数据制作的,以InternLM2微调的角色扮演多LLM聊天室。 本项目将介绍关于角色扮演类 LLM 的一切,从数据获取、数据处理,到使用 XTuner 微调并部署至 OpenXLab,再到使用 LMDeploy 部署,以 op…☆104Updated last year
- 探索 LLM 在法律行业的应用潜力☆91Updated 10 months ago