事件概述
据报道，一台配备40核处理器、无独立GPU的老旧服务器，借助Intel Optane持久内存运行2.8万亿参数大模型。其核心并非算力突破，而是内存层级创新：将Optane置于DRAM与SSD之间，作为大容量缓冲层，容纳巨量模型参数，减少频繁落盘带来的性能损耗。
技术拆解
2.8万亿参数对内存容量提出极端要求：FP16精度约需5.6TB，INT8约2.8TB，即便4-bit量化也需约1.4TB，常规服务器DRAM难以承载。Optane延迟高于DRAM但远低于SSD，适合存放冷、温参数；配合量化、稀疏激活（如MoE）、分页预取和NUMA优化，CPU可按需加载专家或层参数。40核CPU承担计算，推理吞吐必然有限，更接近“可运行验证”而非高并发生产。
分析与启示
该案例的价值在于证明大模型推理不必完全依赖GPU显存，系统级内存分层可降低硬件门槛，为研究验证、私有化冷推理和存量服务器再利用提供思路。但需冷静看待：无GPU方案的延迟和吞吐难与GPU集群竞争，Optane已停产带来供应与生态风险，软件栈调优成本高。它更像一次边界探索：在“内存墙”下，用容量换算力、用调度换成本。对行业而言，关键启示是围绕模型稀疏化、量化与分级存储做协同设计，而非简单替代GPU。
