AI评测转向“做事”:LifeVal聚焦个人助理真实任务能力
据报道,OpenAI发布LifeVal评估,将评测重点从静态知识问答推向现实任务执行,面向个人助理场景衡量AI在复杂环境中的综合能力。这一动向反映出大模型评测正在从“答案是否正确”转向“目标能否完成”,评价对象由单轮响应扩展为多步骤行为链。
从定位看,LifeVal更关注个人助理所需的关键能力:理解模糊意图、拆解任务、调用工具、保持多轮上下文一致,并在约束条件下完成操作。相比传统基准,这类评估更接近真实使用:用户需求往往不完整,执行过程涉及跨应用协作、异常恢复和安全边界,单靠文本生成质量难以反映系统可用性。
其价值在于把评测粒度推进到“行为质量”。个人助理不仅要说对,还要做得对、可解释、可恢复,并避免越权操作或隐私泄露。因此,评估需同时考察任务完成率、过程合规性、工具调用准确性和失败后的纠错能力。若LifeVal能公开任务规范、评分标准与典型失败案例,将有助于行业形成更可复现的评测范式。
但挑战同样明显:真实任务难以标准化,评分易受主观判断影响;模拟环境与生产环境存在差距;评测数据也可能被针对性优化。未来,个人助理评测或需结合自动评分、人工复核与安全审计,在能力提升与风险控制之间建立更稳健的衡量体系。