jingyaogong/minimind-v

[](https://github.com/jingyaogong/minimind-v/stargazers) [](LICENSE) [](https://github.com/jingyaogong/minimind-v/commits/master) [](https://github.com/jingyaogong/minimind-v/pulls) [](https://huggingface.co/collections/jingyaogong/minimind-v-67000833fb60b3a2e1f3597d) "大道至简" 中文 | English 🔗🤖在线体验 | 🔗🎞️视频介绍 “用乐高拼出一架飞机，远比坐在头等舱里飞行更让人兴奋！” 构建VLM范式的多模态大模型是否真的如想象中那样复杂？它的代码实现到底如何？ 训练过程究竟难不难？那么现在，探索它们的答案，一起感受创造的乐趣吧！ 2026-04-20 2026-04-01 2025-10-24 More... 2025-04-27 2025-02-20 2024-10-05 分享本人的软硬件配置（仅供参考） 注：也可从 ModelScope Collection 或 HuggingFace Collection 选择对应内容 git clone（需 LFS）下载，此处不再赘述。 完成后，结构应如下： 如果使用 transformers 格式模型，可先下载模型目录： 注：提前测试Torch是否可用cuda 如果不可用，请自行去 torchstable 下载 whl 文件安装。 快速开始时，直接从数据集链接下载 sfti2t.parquet，并放到 ./dataset 下即可。 注：数据集须知 【注1】之前需解压50万零碎的图像文件可能非常慢。2025-12-27起，数据集格式统一为 Parquet，图文一体化存储，体积更小，无需解压，加载更快。 【注2】Parquet 是列式存储格式，支持高效压缩和快速读取。如果你对它感到陌生，可以预览数据内容，在 dataset/ 目录下执行 python lmdataset.py 可视化前5条图文对。 Pretrain 数据（可选；仅包含 caption 子集）： SFT 单文件 290 万条已把 Pretrain 作为子集合并，经全局 dictionary encoding 去重后体积只比 SFT 原版多 10%，可覆盖所有训练阶段。因此快速复现时可以跳过 Pretrain，直接进入 SFT。 推荐直接执行 SFT。默认 --freezellm 1，即训练 visionproj 和 LLM 首尾层，保留中间层原有语言能力： 如果希望让 Projector 先完成一轮图文对齐，再进入 SFT，可额外执行 Pretrain： 执行完成后，out/ 下会生成 sftvlm.pth 作为 SFT 权重。 注：训练须知 参数说明： 确保需要测试的模型 .pth 文件位于 ./out/ 目录下。 也可以直接去此处下载使用我训练的.pth文件。 单机N卡启动训练方式 (DDP, 支持多机多卡集群) 注：其它须知 单机N卡启动训练 (DeepSpeed) 可根据需要开启wandb记录训练过程 通过添加--usewandb参数，可以记录训练过程，训练完成后，可以在wandb网站上查看训练过程。通过修改wandbproject 和wandbrunname参数，可以指定项目名称和运行名称。 【注】：25年6月后，国内网络环境无法直连WandB，MiniMind项目默认转为使用SwanLab作为训练可视化工具（完全兼容WandB API），即import wandb改为import swanlab as wandb即可，其他均无需改动。…