当前位置:数智频道首页 > 人工智能 > 正文

全球首款类脑脉冲大模型“瞬悉 1.0”问世,实现全流程国产化

中国科学院自动化研究所李国齐、徐波团队与沐曦 MetaX 合作,开发了类脑脉冲大模型“瞬悉 1.0”(SpikingBrain-1.0)。该模型在国产千卡 GPU 算力平台上完成全流程训练和推理,实现了大模型在超长序列推理上的效率和速度显著提升。这标志着我国在构建国产自主可控的新型非 Transformer 大模型架构生态方面取得了重要进展。

全球首款类脑脉冲大模型“瞬悉 1.0”问世,实现全流程国产化

研究团队开源了 SpikingBrain-1.0-7B 模型,并开放了 SpikingBrain-1.0-76B 测试网址,同时公开了经工业界大规模验证的技术报告。这是全球首款类脑脉冲大模型,实现了全流程国产化,展示了我国在类脑计算与大模型融合创新方面的突破。

研发团队借鉴大脑神经元内部复杂工作机制,提出了“基于内生复杂性”的大模型构架方式,建立了脉冲神经元内生动力学与线性注意力模型之间的联系,揭示了现有线性注意力机制是树突计算的特殊简化形式。这一发现为不断提升模型复杂度和性能提供了新的可行路径。基于此,团队构建并开源了基于脉冲神经元、具有线性及混合线性复杂度的新型类脑基础模型,还开发了面向国产 GPU 集群的高效训练和推理框架、Triton 算子库、模型并行策略以及集群通信原语。

李国齐表示,这项成果不仅在我国类脑脉冲大模型架构和国产算力全流程建设上取得重大突破,也为法律、医疗、科学模拟等超长序列应用场景提供了更高效的建模工具,将启迪下一代神经形态计算理论和芯片设计。

热点推送

本周关注

MORE