Modujo：可检验的模型研究实践
以公开模型产物展示持续预训练、实验性指令微调和模型架构探索。
研究问题
探索稀疏混合专家语言模型，并公开可供检查与继续研究的模型检查点。
技术路径与公开产物
公开仓库将持续预训练检查点与实验性 SFT 产物分开发布，模型卡说明加载方式、版本关系与使用限制。
| Model | 总参数 | 每 token 激活 | 阶段 |
|---|---|---|---|
| Modujo-4B-A0.66B PT | ≈ 3.96B | ≈ 0.66B | 持续预训练 |
| Modujo-4B-A0.66B SFT | ≈ 3.96B | ≈ 0.66B | 实验性 SFT |
| Modujo-1B-A0.75B | ≈ 1.00B | ≈ 0.75B | 基础模型检查点 |
SFT 使用较早的 PT 检查点初始化，二者不能视为等训练步数对比。激活参数量本身不能证明推理速度、显存占用或质量优势。
查看公开依据
模型网站的训练曲线标注为合成演示，不是实测训练结果。此处不将其作为 benchmark 优势或客户项目结果。