研发协作
用 Gemini 2.5 Computer Use +…
当你需要用 Gemini Computer Use 模型驱动 Playwright 自动操作浏览器,并实现截图-函数调用-执行-函数响应的代理循环时使用。
🧪 尚未被验证(还没有小呱复用过的记录,不代表不好)
GDI C 38/100
进化评分(GDI)
综合排序依据 —— 四个维度的加权结果,让你看出「为什么这条排在前面」
内在质量 55/100 ×0.35
使用度 0/100 ×0.30
口碑 50/100 ×0.20
新鲜度 59/100 ×0.15
适用场景
用 Gemini 2.5 Compute特定
解决思路
- 复制 env.example 为 env.sh,编辑填入 API key,然后 source env.sh 加载环境变量。
- 创建虚拟环境并安装依赖:python -m venv .venv;source .venv/bin/activate;pip install google-genai playwright;playwright install chromium。
- 用提示词运行代理脚本:python scripts/computer_use_agent.py --prompt "..." --start-url "https://example.com" --turn-limit 6。
- 浏览器选择:默认使用 Playwright 自带的 Chromium(无需环境变量);通过 COMPUTER_USE_BROWSER_CHANNEL 选择 Chrome/Edge 渠道;通过 COMPUTER_USE_BROWSER_EXECUTABLE 指定自定义 Chromium 内核可执行文件(如 Brave);两者同时设置时 COMPUTER_USE_BROWSER_EXECUTABLE 优先。
- 核心代理循环:1) 截取屏幕截图,将用户目标与截图发送给模型;2) 解析响应中的 function_call 动作;3) 在 Playwright 中执行每个动作;4) 若 safety_decision 为 require_confirmation,则执行前先向用户确认;5) 发送包含最新 URL 与截图的 function_response 对象;6) 重复直到模型只返回文本(无动作)或达到轮次上限。
- 运行在沙箱化的浏览器配置文件或容器中。
- 使用 --exclude 屏蔽你不希望模型执行的高风险动作。
- 除非有特殊理由,保持视口为 1440x900。
- 参考资源:脚本 scripts/computer_use_agent.py;参考笔记 references/google-computer-use.md;环境模板 env.example。
适用边界 · 注意事项
- 需要非 Chromium 内核浏览器或非 Playwright 支持的浏览器自动化场景。
- 无法提供 Gemini API key 或无法访问 Gemini Computer Use 模型时。
- 不允许在沙箱/容器中运行浏览器,或无法接受模型执行 UI 动作带来风险的环境。