阿里开源 Page Agent,开创大模型理解 DOM 的网页控制新范式

# 阿里开源 Page Agent:重构网页智能操控的技术栈

近日,阿里巴巴正式开源了 **Page Agent** 项目,这一工具将大语言模型(LLM)的理解能力与传统的 DOM 树解析技术深度融合,旨在解决网页自动化领域长期存在的“语义鸿沟”问题。不同于依赖固定选择器或预定义规则的 RPA 方案,Page Agent 允许模型直接“阅读”页面的结构化语义,并以接近人类思维的方式执行点击、输入、导航等操作,从而开启了网页控制的全新范式。

## 技术架构:从“模拟点击”到“语义理解”

传统网页操控依赖 XPath、CSS 选择器或坐标定位,难以应对前端框架动态渲染或网络延迟导致的布局变化。Page Agent 的核心突破在于:**将 DOM 树转化为 LLM 可理解的语义化上下文**。具体而言,它构建了“提取-压缩-推理”三层流水线:

1. **结构化提取**:使用轻量级解析器将原始 DOM 转化为带有角色属性(如 `button`、`input`、`link`)的语义节点,同时过滤掉非交互元素(如隐藏的 `div`)以减少噪声。
2. **上下文压缩**:通过标签树剪枝和文本摘要技术,将庞大的 DOM 结构压缩为 GPT-4/通义千问等模型可接受的 token 窗口大小(通常控制在 4K tokens 以内),保留关键元素的文字内容、属性值和相对位置关系。
3. **动作推理**:模型依据用户指令(如“在搜索框输入‘AI 芯片’并点击搜索按钮”),在压缩后的 DOM 表示中定位目标元素,并生成标准化动作序列(如 `click(element_id)` 或 `type(text, element_id)`)。这一过程无需预先训练特定站点模型,具备零样本泛化能力。

## 行业影响:降低自动化门槛,催生新应用生态

Page Agent 的发布将显著改变以下领域:

– **无代码流程自动化**:业务人员可通过自然语言描述(如“每天 8 点从后台导出销售报表并发送邮件”)直接创建自动化脚本,无需编写任何选择器逻辑。
– **Web 测试智能化**:QA 工程师可利用大模型自动生成覆盖边界用例的测试路径,并借助 DOM 理解能力识别动态加载的内容缺失。
– **浏览器外挂与辅助工具**:为视障用户服务的屏幕阅读器可以结合 Page Agent 直接理解页面结构,实现更精准的语音导航;网页数据采集工具则能通过语义描述而非 XPath 定位目标数据。

当然,该方案也面临挑战——模型对非标准前端框架(如高度自定义的 WebComponent)的兼容性、长页面下 token 消耗的成本控制,以及多步骤复杂任务中动作链的鲁棒性仍需在社区迭代中优化。但不可否认,阿里开源 Page Agent 标志着 **“让模型看懂网页”** 已从概念验证走向可落地的工程实践,为 LLM 与传统 Web 技术的融合提供了极具参考价值的基线方案。

相关文章