小米18 Pro系列率先搭载传奇一瞬大模型影像:端到端大模型重构手机虚化逻辑
技术突破:从「算法模拟」迈向「光学校准」
小米18 Pro系列近日正式发布,其搭载的「传奇一瞬大模型影像」系统首次将端到端大模型应用于手机摄像的景深虚化链路。与传统依赖多帧合成与语义分割的虚化方案不同,该系统通过**千亿级光学-场景联合训练**,使手机在按下快门的瞬间,即可从RAW域直接输出具备物理景深过渡、弥散圆自然渐变的虚化图像。这意味着手机不再需要「猜」哪里是前景、哪里是背景,而是直接学习光学镜组在真实焦平面上的能量分布规律。
核心差异:去中间件化的光学理解
传统手机虚化普遍面临两大痛点:一是边缘切割生硬(如发丝与背景交错处出现「抠图感」),二是虚化光斑缺乏真实镜头的「旋转焦外」与「口径蚀」特征。小米此次采用的端到端大模型,将原本分散在ISP、NPU以及后处理算法中的多个独立模块(深度估计、去马赛克、色调映射、虚化渲染)压缩为一个统一神经网络。**模型直接以拜耳阵列原始数据为输入,以模拟光学系统的点扩散函数(PSF)为训练目标**,从而在输出端实现了与专业相机镜头几乎无差别的虚化质感——包括光斑内的色散、边缘的柔化以及焦平面过渡的非线性斜率。
行业影响:计算摄影进入「物理仿真」新阶段
这一技术路线标志着手机影像从「替代相机」的硬件竞赛,正式转向「模拟光学」的算法深水区。过去两年,大模型在手机端的应用多集中于超分、降噪等后处理环节;而小米18 Pro选择在**核心成像链路的起点**植入大模型,意味着端侧大模型的计算效率与推理精度已具备承担关键任务的能力。对于消费者而言,无需大底传感器与复杂光路,即可在5.9mm厚的机身内获得接近85mm F1.4镜头的浅景深表现;对于行业而言,这一方案或将倒逼供应链重新评估「硬件虚化」的必要性,推动更多品牌将AI视作影像系统的「第一性原理」而不是辅助工具。
当然,端到端模型的「黑箱」特性也带来了新的挑战——如极端光线下PSF拟合的鲁棒性、多焦段切换时的实时渲染开销等。但不可否认,当大模型真正进入成像前端,手机摄影的「光学天花板」已被彻底打破。