消息称OpenAI秘密预训练参数超10T的Bel模型,瞄准GPT-6后的AGI基座
核心发现:规模跃迁与战略转向
据多方消息源透露,OpenAI目前正在秘密预训练一个代号为“Bel”的下一代大语言模型,其参数量预计超过10万亿(10T)。这一数字不仅远超GPT-4(约1.8T参数)的规模,更意味着Bel模型将挑战当前业界公认的模型训练“天花板”——即语言模型在超大规模参数下可能面临的收益递减与工程复杂性瓶颈。值得注意的是,Bel并非GPT-5的直接继任者,而是被定位为GPT-6之后、面向通用人工智能(AGI)的“基座模型”。
技术路线:从“更大”到“更深”
从已知信息来看,Bel模型的技术路线呈现出两大特点:**极致规模**与**架构创新**。10T以上的参数规模意味着模型将拥有更强的记忆能力与复杂模式识别能力,但同时也对训练稳定性、分布式计算效率以及数据质量提出了前所未有的要求。分析认为,OpenAI可能已在Bel中引入了新的稀疏化注意力机制或混合专家系统(MoE)的进阶版本,以在保持推理效率的同时实现参数规模跃迁。此外,Bel的训练数据很可能不再局限于公开互联网文本,而是大规模融合了多模态、代码库、科学文献乃至模拟环境数据,旨在构建通用知识表征的“超核”。
战略意图:AGI的“前哨站”
将Bel直接定位为“GPT-6后的AGI基座”,透露出OpenAI对AGI实现路径的清晰判断。一方面,随着GPT-5和GPT-6的迭代,OpenAI很可能已意识到单纯依赖“更大规模+指令微调”的范式已接近天花板,AGI需要更底层的认知架构突破。Bel若成功,将作为未来所有AGI应用的“通用操作系统”——它不再是一个聊天机器人或写作工具,而是一个能够自主推理、规划、执行复杂任务、并具备持续学习能力的智能体内核。另一方面,这一策略也暗示OpenAI正试图跳过“应用层竞争”,直接抢占下一代AI基础设施的制高点。
挑战与展望
尽管消息令人振奋,但Bel的研发面临巨大挑战。首先是训练成本,以现有算力规模估算,10T参数模型的单次训练耗电量可能高达数千兆瓦时,且需持续数月。其次,如何确保模型在超大规模下的对齐性与安全性,是比技术本身更棘手的难题。此外,全球监管环境对“超大规模AI”的警惕日益增强,OpenAI能否在保密与合规之间找到平衡,也将影响Bel的最终落地时间。
若Bel项目进展顺利,它或将成为AI发展史上从“大语言模型”迈向“通用智能”的分水岭。业界有理由保持期待,但同样需要保持清醒——AGI的实现,从来不只是参数规模的游戏。