首页   /   最新内容

浏览器AI智能体:CDP接管会话与防注入实战

本文解读Google开发者专家Cyrus Wong于2026年11月20日分享的开源智能体AutoFolio工…

浏览器AI智能体:CDP接管会话与防注入实战主题配图

【核心摘要】 Google 开发者专家 Cyrus Wong 于 2026 年 11 月 20 日开源 AutoFolio 实战架构:利用 Vertex AI gemini-3.8-flash 视觉操作能力、Playwright connect_over_cdp 挂载用户已登录 Chrome 会话,并开启 enable_prompt_injection_detection=True 与 [0, 1000] 归一化坐标双调度,在不硬编码密码的前提下完成五阶段深度取证。

浏览器AI智能体:CDP接管会话与防注入实战 知识卡片
浏览器AI智能体:CDP接管会话与防注入实战 知识卡片

在企业落地 AI 浏览器自动化(Computer Use)时,开发团队几乎都会撞上一堵现实的高墙——“冷启动认证墙”。只要脚本试图启动一个全新的无头浏览器(Headless Chromium),LinkedIn、企业控制台、SaaS 后台就会立刻弹出双重认证(2FA)和风控拦截;如果为了省事把账号密码或 Cookie 硬编码进脚本,又会立刻引发凭证泄露与 Token 轮换失效的风险。

2026 年 11 月 20 日,Google 开发者专家(GDE)与香港资讯科技学院(HKIIT)高级讲师 Cyrus Wong 在 DEV Community 公开了开源项目 Gemini Computer Use LinkedIn AutoFolio 的完整工程方案,示范了如何让 AI 智能体安全地接管活跃浏览器标签页,并把非结构化网页动态沉淀为可追溯的证据报告。

浏览器AI智能体:CDP接管会话与防注入实战 知识卡片
浏览器AI智能体:CDP接管会话与防注入实战 知识卡片

一、核心架构拆解:四个关键设计解决认证、精度与混合调度

AutoFolio 基于 Google Cloud Vertex AI(gemini-3.8-flash)、统一 SDK(google-genai)与 Playwright 构建,核心围绕以下四项工程机制展开:

| 架构模块 | 关键技术实现 | 解决的实际工程痛点 |
| :— | :— | :— |
| 认证鉴权与隔离 | gcloud auth application-default login(IAM ADC)+ 读取 DevToolsActivePort | 不在代码或磁盘保存 API 密钥与登录密码,直接复用本机已登录 Chrome 会话,绕开重复 2FA 登录墙 |
| 防注入安全开关 | types.ComputerUse(..., enable_prompt_injection_detection=True) | 当智能体浏览公开用户生成内容(如个人简介、动态帖文)时,防御页面中隐藏的对抗性提示词注入 |
| 分辨率无关坐标 | [0, 1000] 归一化视觉网格动态映射至当前视口像素(x * viewport_width / 1000) | 无论运行在 1080p 桌面、4K 屏幕还是云端容器,点击坐标均不因 DPI 缩放发生漂移 |
| 混合工具双调度 | 在同一次 generate_content 请求中同时注册 computer_use_tool 与自定义领域工具 | 将视觉点击(click_at)与业务动作(save_evidence_screenshot、extract_and_save_page_images)编排进同一闭环 |

二、为什么是 DevToolsActivePort + connect_over_cdp?

在企业自动化实践里,很多团队仍试图用脚本去模拟表单输入密码或导出明文 Cookie 文件,这不仅脆弱,而且违背最小权限原则。AutoFolio 采用的路线非常克制:

  1. 只连本地调试端口,不接管登录过程:当 Chrome 开启远程调试后,会在用户数据目录写入包含端口号和浏览器 GUID 的 DevToolsActivePort 文件。Python 智能体按系统路径自动发现该文件后,拼出 ws://127.0.0.1:{port}/devtools/browser/{guid},再通过 playwright.chromium.connect_over_cdp(ws_url) 直接挂载到用户当前已认证的标签页。
  2. 明确适用边界:这种模式要求浏览器先由操作者本人完成合法登录,且绝不能用来突破验证码或访问未授权数据。它的价值在于“在本人授权的活跃会话内,替人工完成繁琐的翻页、展开与截图取证”。

三、五阶段受控探索:从“乱逛”到“证据链交付”

为了让智能体像严谨的审阅者一样工作,AutoFolio 没有把浏览器完全交给自由漫游,而是设计了明确的五阶段探索流水线(Multi-Stage Autonomous Workflow):

  • 阶段 1(主页与精选):扫描个人标题、About 简介、精选项目与核心技能;
  • 阶段 2(近期动态):访问 /recent-activity/all/,向下滚动并点击展开“…see more”,抓取会议演讲公告、黑客松获奖记录及原始活动图片;
  • 阶段 3(荣誉与奖学金):访问 /details/honors/,精确登记官方奖学金颁发机构与日期;
  • 阶段 4(社区领导力):访问 /details/volunteering-experiences/,记录技术社区任职轨迹;
  • 阶段 5(资质认证):访问 /details/certifications/,核验行业证书。

原文披露了一个具体落地案例:在香港高校学生申请香港科技大学(HKUST)计算机科学本科的推荐信撰写场景中,传统推荐信往往流于“勤奋、热情”等空泛形容词;而通过 AutoFolio 对学生 Hiu Tung Cheung(Esther / 張曉彤)(GPA 3.91 / 4.0,HKIIT GDG on Campus 负责人)的五阶段遍历取证,系统自动沉淀出了可核验的活动截图、原始图片与 4 页结构化支撑文档(PDF/DOCX/HTML),并支持通过 students.txt 进行批量队列处理。

四、给 OpenLX 与企业 AI 部署团队的三点启发

从文旅企业与政企客户部署 AI 智能体的实践来看,这套方案有三点可以直接吸收:

  1. 永远把“混合工具调用”作为浏览器 Agent 的标配:纯靠截图点鼠标效率低且难校验,把“视觉交互(Computer Use)”和“结构化提取/落盘函数(Function Calling)”放进同一个模型工具列表,才能既操作复杂前端、又保证产物结构规范。
  2. 默认开启提示词注入检测并坚持非信任输入隔离:智能体一旦接触公开网页或第三方社区正文,就必须开启 enable_prompt_injection_detection=True,并在架构上把网页抓取正文视为纯数据而非可执行指令。
  3. 坚持“凭证不落盘 + 合规边界清晰”:优先使用平台官方 IAM(如 ADC)或本人已授权本地调试通道,严禁在自动化仓库里存放密码、Cookie 或绕过风控的脚本。

五、常见问题(FAQ)

Q1:Gemini Computer Use 如何解决不同屏幕分辨率下点击位置偏移的问题?
答:模型视觉引擎统一在 [0, 1000] 归一化坐标网格上输出动作位置,客户端收到 click_at 后再按当前浏览器视口的实际宽高反算像素坐标,从而适配 1080p、4K 及容器环境。

Q2:为什么推荐使用 Playwright CDP Attach 而不是每次启动新浏览器登录?
答:空白无头浏览器极易触发企业的 2FA 与风控拦截,且硬编码密码或导出 Cookie 会带来凭证泄露风险;通过 DevToolsActivePort 挂载本地已登录会话,无需重写登录逻辑即可在授权上下文中工作。

Q3:浏览器智能体读取第三方网页时如何防范隐藏的恶意提示词?
答:在声明 types.ComputerUse 工具时显式配置 enable_prompt_injection_detection=True,并结合多阶段固定工作流约束探索路径,避免模型被网页正文中的诱导文本劫持。


本文首发于 OpenLX文旅GEO·中国文旅AI信源基础设施(https://openlx.cn/),转载请注明出处与完整链接。

返回最新内容 ↗   /   阅读方法精选 ↗

署名与编辑责任:OpenLX文旅GEO·文旅AI信源基础设施编辑责任 · 发布主体:OpenLX文旅GEO·文旅AI信源基础设施

核对与纠错