boyuyang/MiniMind2-Small

[](https://github.com/jingyaogong/minimind/stargazers) [](LICENSE) [](https://github.com/jingyaogong/minimind/commits/master) [](https://github.com/jingyaogong/minimind/pulls) [](https://huggingface.co/collections/jingyaogong/minimind-66caf8d999f5c7fa64f399e5) "大道至简" 中文 | English 直接偏好强化学习(DPO)算法、模型蒸馏算法等全过程代码。 🔗🍓推理模型 | 🔗🤖常规模型 | 🔗🎞️视频介绍 大语言模型（Large Language Model, LLM）的出现引发了全世界对AI的空前关注。 无论是ChatGPT、DeepSeek还是Qwen，都以其惊艳的效果令人叹为观止。 然而，动辄数百亿参数的庞大规模，使得它们对个人设备而言不仅难以训练，甚至连部署都显得遥不可及。 打开大模型的“黑盒子”，探索其内部运作机制，多么令人心潮澎湃！ 遗憾的是，99%的探索只能止步于使用LoRA等技术对现有大模型进行少量微调，学习一些新指令或任务。 这就好比教牛顿如何使用21世纪的智能手机——虽然有趣，却完全偏离了理解物理本质的初衷。 与此同时，第三方的大模型框架和工具库，如transformers+trl，几乎只暴露了高度抽象的接口。 通过短短10行代码，就能完成“加载模型+加载数据集+推理+强化学习”的全流程训练。 这种高效的封装固然便利，但也像一架高速飞船，将我们与底层实现隔离开来，阻碍了深入探究LLM核心代码的机会。 然而，“用乐高拼出一架飞机，远比坐在头等舱里飞行更让人兴奋！”。 更糟糕的是，互联网上充斥着大量付费课程和营销号，以漏洞百出、一知半解的内容推销AI教程。 正因如此，本项目初衷是拉低LLM的学习门槛，让每个人都能从理解每一行代码开始， 从零开始亲手训练一个极小的语言模型。是的，从零开始训练，而不是仅仅进行推理！ 最低只需3块钱不到的服务器成本，就能亲身体验从0到1构建一个语言模型的全过程。 一起感受创造的乐趣吧！ Models List 项目包含 希望此开源项目可以帮助LLM初学者快速入门！ 2025-02-09 (newest 🎉🎉🎉) 如有旧代码的兼容性需要，可访问🔗旧仓库内容🔗。 2024-10-05 2024-09-27 2024-09-17 2024-09-01 2024-08-27 分享本人的软硬件配置（仅供参考） 注：提前测试Torch是否可用cuda 如果不可用，请自行去torchstable 下载whl文件安装。参考链接 从下文提供的数据集下载链接 下载需要的数据文件（创建./dataset目录）并放到./dataset下 注：数据集须知 默认推荐下载pretrainhq.jsonl + sftmini512.jsonl最快速度复现Zero聊天模型。 数据文件可自由选择，下文提供了多种搭配方案，可根据自己手头的训练需求和GPU资源进行适当组合。 3.1 预训练（学知识） 3.2 监督微调（学对话方式） 注：训练须知 所有训练过程默认每隔100步保存1次参数到文件./out/.pth（每次会覆盖掉旧权重文件）。 简单起见，此处只写明两个阶段训练过程。如需其它训练 (LoRA, 蒸馏, 强化学习, 微调推理等) 可参考下文【实验】小节的详细说明。 确保需要测试的模型.pth文件位于./out/目录下。 也可以直接去此处下载使用我训练的.pth文件。 注：测试须知…