zxuu / Self-Attention
Transformer的完整实现。详细构建Encoder、Decoder、Self-attention。以实际例子进行展示，有完整的输入、训练、预测过程。可用于学习理解self-attention和Transformer
☆71Updated last year
Alternatives and similar repositories for Self-Attention:
Users that are interested in Self-Attention are comparing it to the libraries listed below
- WWW2025 Multimodal Intent Recognition for Dialogue Systems Challenge☆119Updated 4 months ago
- 这里用来存储做人工智能项目的代码和参加数据挖掘比赛的代码☆93Updated 3 weeks ago
- ☆69Updated last month
- DeepSpeed Tutorial☆95Updated 7 months ago
- LLM大模型（重点）以及搜广推等 AI 算法中手写的面试题，（非 LeetCode），比如 Self-Attention, AUC等，一般比 LeetCode 更考察一个人的综合能力，又更贴近业务和基础知识一点☆213Updated 3 months ago
- an implementation of transformer, bert, gpt, and diffusion models for learning purposes☆152Updated 5 months ago
- 使用单个24G显卡，从0开始训练LLM☆50Updated 5 months ago
- pytorch分布式训练☆65Updated last year
- 此项目完成了关于 NLP-Beginner：自然语言处理入门练习 的所有任务（文本分类、信息抽取、知识图谱、机器翻译、问答系统、文本生成、Text-to-SQL、文 本纠错、文本挖掘、知识蒸馏、模型加速、OCR、TTS、Prompt、embedding等），所有代码都经过测试…☆193Updated last year
- ☆106Updated 9 months ago
- 一些 LLM 方面的从零复现笔记☆177Updated 6 months ago
- 通义千问的DPO训练☆41Updated 6 months ago
- 天池算法比赛《BetterMixture - 大模型数据混合挑战赛》的第一名top1解决方案☆28Updated 8 months ago
- 个人总结的大模型、自然语言处理NLP、多模态、计算机视觉CV等方向paper的阅读笔记；收集到或者使用到的一些NLP、CV等领域的优秀开源仓库；其他：如数据集、评测leaderboard等☆41Updated this week
- 大模型/LLM推理和部署理论与实践☆221Updated 3 weeks ago
- Huggingface transformers的中文文档☆223Updated last year
- kaggle 2024 Eedi 第10名 金牌方案☆31Updated 3 months ago
- everything about llm & aigc☆59Updated last week
- 关于Transformer模型的最简洁pytorch实现，包含详细注释☆185Updated last year
- 一个很小很小的RAG系统☆188Updated 4 months ago
- 解锁HuggingFace生态的百般用法☆88Updated 3 months ago
- 《跟我一起深度学习》@月来客栈 出品☆208Updated 8 months ago
- ☆85Updated 3 weeks ago
- 2023全球智能汽车AI挑战赛——赛道一：AI大模型检索问答， 75+ baseline☆56Updated last year
- 算法岗面试资料-百面深度学习、百面机器学习书籍等等☆46Updated last year
- TinyRAG☆282Updated 5 months ago
- Inference code for LLaMA models☆118Updated last year
- 人工智能培训课件资源☆74Updated this week
- Learning LLM Implementaion and Theory for Practical Landing☆139Updated 3 months ago
- 这是一个从头训练大语言模型的项目，包括预训练、微调和直接偏好优化，模型拥有1B参数，支持中英文。☆321Updated last month