# 事件背景
2025年2月，商汤科技正式开源其新一代视觉语言模型 **SenseNova-Vision-7B-MoT**，标志着其在多模态大模型领域的重要技术突破。该模型以7B参数量级，在多项视觉-语言基准测试中展现出超越同尺寸模型（如LLaVA-1.5、Qwen-VL）的性能，部分指标甚至媲美13B乃至更大规模模型。开源策略延续了商汤推动AI技术普惠的路线，为学术界和工业界提供了一个高效、可复现的视觉基础模型。
# 技术亮点：MoT架构的创新设计
SenseNova-Vision-7B-MoT的核心创新在于其 **MoT（Mixture of Tokens）** 架构。与传统的MoE（Mixture of Experts）在**层或专家单元**上动态分配计算不同，MoT在**token粒度**上实现稀疏激活——每个视觉token并非全量通过所有注意力头，而是由路由网络动态选择参与计算的关键token子集。这一设计带来了两方面提升：
– **计算效率**：在相同FLOPs下，MoT可处理更长序列或更高分辨率图像，尤其适合对细粒度细节（如OCR、医学影像）敏感的视觉任务。
– **表达能力**：通过token级稀疏混合，模型等效参数量远高于实际激活参数，实现了“小模型、大容量”的效果。
此外，模型采用预训练与指令微调两阶段策略，训练数据包含500万级高质量图文对及多轮对话数据，视觉编码器基于SigLIP而语言部分采用自研MoE化LLM，整体在视觉定位、图表理解和多模态推理任务上表现尤为突出。
# 行业影响与展望
SenseNova-Vision-7B-MoT的发布具有双重意义。**技术层面**，它为视觉语言模型的稀疏化设计探索了一条新路径——传统MoE架构在LLM中已广泛应用，但在视觉多模态领域，MoT通过细粒度的token级决策，更贴合视觉信息局部性强、语义密度不均匀的特点。**产业层面**，开源7B级别高性能模型降低了部署门槛，开发者可在消费级显卡（如RTX 4090）上进行推理和微调，加速了视觉问答、机器人感知、文档理解等场景的落地。
未来，该架构的可扩展性值得关注——如果MoT能在更大参数规模（如13B/70B）上保持稀疏激活的优势，有望重塑多模态大模型的能力上限。商汤此次开源，不仅巩固了其“模型即服务”的生态布局，也为中国AI社区贡献了一个既硬核又实用的视觉基础模型。
