谷歌推出LiteRT.js：WebAssembly硬核加速，浏览器AI推理速度最高提升3倍

谷歌推出LiteRT.js：WebAssembly硬核加速，浏览器AI推理速度最高提升3倍

近日，谷歌正式开源了 **LiteRT.js**——一个基于WebAssembly（Wasm）的轻量级AI推理运行时库。该库专为浏览器端设计，通过将TensorFlow Lite模型编译为Wasm模块，实现了最高3倍的推理速度提升。这一进展标志着**浏览器端AI推理从“可用”迈向“好用”的关键一步**。

技术突破：WebAssembly的硬核优化

传统上，浏览器端执行AI推理依赖于JavaScript解释或WebGL/WebGPU的图形管道，前者受限于JS的动态类型和垃圾回收机制，后者则需额外处理数据搬运与着色器编译开销。LiteRT.js另辟蹊径，**将模型权重与算子直接编译为Wasm二进制**，利用其接近原生的执行效率（通常可达原生性能的70%-90%），同时避免了JS层的类型检查与桥接损耗。

更为关键的是，谷歌团队针对Wasm的**线性内存模型**进行了深度优化：通过预分配内存池、SIMD指令向量化（如Intel SSE/AVX对应Wasm的SIMD 128）以及**零拷贝数据通道**（避免Canvas与Wasm内存间的重复拷贝），将单次推理的延迟压缩至毫秒级。实测表明，在MobileNet v2模型上，LiteRT.js相较于传统TensorFlow.js的WebGL后端，**端到端推理速度提升2.5-3.1倍**，内存占用降低40%。

应用场景与行业影响

3倍提升并非数字游戏——它让**实时交互式AI体验**成为可能。例如，在网页端进行人脸关键点检测（MediaPipe Hands）时，传统方案可能需要50ms+，而LiteRT.js可将其压缩至15ms以下，满足60fps的流畅交互需求。此外，对于边缘设备（如低端手机浏览器），LiteRT.js的**极简体积**（核心库仅80KB，无外部依赖）使其成为离线PWA应用的理想选择。

与此同时，LiteRT.js并未放弃兼容性：它通过**渐进式降级**策略，在未支持Wasm SIMD的旧浏览器上自动回退至浮点标量路径，确保功能可用性。谷歌已将其集成至MediaPipe及Google AI Edge SDK，并计划在Chrome 120+中默认启用Wasm GCD（垃圾回收）扩展以进一步优化初始化时间。

展望：浏览器AI的“Wasm时代”

LiteRT.js的推出，本质上是**将服务器端的模型优化技术（如量化、算子融合、图优化）下沉至客户端编译链**。随着Wasm标准逐渐完善（如Wasm GC、异常处理、多线程正式进入提案），浏览器AI推理将摆脱对特定图形API或硬件特性的依赖，走向真正的**跨平台、高性能、低门槛**。对于开发者而言，LiteRT.js提供了从TensorFlow Lite模型到浏览器部署的平滑路径——只需一行转换命令，即可获得加倍的计算效率。这或许意味着，在不远的未来，复杂AI应用（如实时语音分离、3D姿态估计）将不再需要原生App，一个URL足矣。