beipo-ai/NorthCUA 把桌面/Web computer-use 的 Harness 开源出来:截图与键鼠、长程笔记、可恢复批次、独立评测;模型侧可接 beipo-ai/NorthCUA-Pro(约 397B/17B active,Apache-2.0)或先走官方 no-key 本地教程。结论先说:NorthCUA 适合「要可审计的开源 computer-use 运行时」;权重与 Harness 必须成对使用,GUI 坐标严格走 normalized_1000,不要拿像素坐标硬塞。下文按公开 README/模型卡整理为文档核验版上手指南;命令以你访问当日 README 为准。本文添付なし本机跑通日志。
定位:开源 computer-use Harness 解决什么、不解决什么
Harness 的定位不是「又一个会点鼠标的模型」,而是:把观察、动作、工作笔记、结果核验串成可回放轨迹。模型负责推理与工具调用;Harness 负责执行与像素换算。
适合:要在本地/可控环境跑桌面或 Web computer-use;需要完整 trace;愿意按官方 YAML 配坐标策略。
不适合:只想在聊天里口头说「帮我点一下」却没有运行时;把 Pro 权重塞进无关 Agent 循环且混用像素坐标;生产机无隔离就直接给写权限。
项目卡片
| 项 | 内容 |
|---|---|
| Harness 仓库 | https://github.com/beipo-ai/NorthCUA |
| 权重(示例) | NorthCUA-Pro;另有 Nano/Mini 等家族卡 |
| 许可 | Apache-2.0(以仓库/模型卡当日为准) |
| 坐标契约 | normalized_1000:x/y ∈ [0,1000],Harness 换算像素 |
| 适合 | 开源 computer-use、可回放批次、模型无关接入 |
| 不适合 | 无隔离生产机乱点;自建循环却丢掉官方工具协议 |
用例设计:normalized_1000 + 官方 Harness 只读桌面任务
用例:在 app YAML 设 desktop.coordinate_policy.input_space: normalized_1000,用官方 Harness 跑一条只读桌面任务(例如打开计算器只观察界面,或官方示例里的低风险查询)。验收:轨迹里能看到截图观察 → 工具调用 → 新观察;坐标字段保持 0–1000,而不是屏幕像素。
模型卡写得很清楚:computer-use 必须配官方 Harness;像素换算只发生在执行边界。混用坐标空间是第一翻车点。
优缺点短表:何时仍用闭源 computer-use / 自建循环
| 做法 | 何时用它 |
|---|---|
| NorthCUA Harness + 家族权重 | 要开源可审计 computer-use,并接受坐标契约 |
| 闭源 computer-use API | 要托管 SLA、少运维,合规允许出域 |
| 自建点击循环 | 已有成熟内部协议;仍建议单测坐标换算 |
优点:开源 Harness、模型无关、长程笔记与评测分离。
缺点:环境与权限门槛;Pro 体量大;坐标契约一旦破坏全盘乱点。
安装与最小命令核对(文档核验)
按官方 README(示意,以当日为准):
git clone https://github.com/beipo-ai/NorthCUA.git cd NorthCUA uv sync --locked --python 3.12 --extra local --extra device uv run --no-sync playwright install chromium uv run --no-sync northcua --help # 桌面示例(需平台权限;先只读/低风险) # uv run --no-sync northcua local desktop run --app-config ... --query '...' --max-steps 15
YAML 里显式写上 normalized_1000。Web 点选走 CSS/DOM ref,不要和桌面坐标策略混谈。
配置要点与翻车排查(第一周)
- 点偏/乱点:多半是坐标空间混用。检查 YAML 与工具参数是否仍是 0–1000。
- 模型单独 chat 却期望会点:缺 Harness。接回官方循环。
- 依赖/Transformers 告警:按 README 风险说明与 pinning 处理,不要静默忽略。
- 批次不可恢复:没用官方 batch/recover 能力。先读文档再扩并发。
第一周只保留:一条只读桌面冒烟、一条 Web 冒烟、坐标契约单测。写权限任务进沙箱后再开。
証拠の説明:安装命令与坐标契约摘自公开仓库/模型卡(摘录日见 meta)。作者未在本机完成端到端 desktop 冒烟;请你在隔离环境自行验收后再开写权限。若你完成冒烟,建议把 OS、命令、轨迹截图摘要回填为正式实测记录。


评论列表 (0条):
加载更多评论 読み込み中...