UI-Mate-27B

UI-Mate：借助上下文示例推进开放权重基础 GUI 智能体

只需演示一次工作流。让智能体将其适配到当前任务。

Tencent HY Frontier

项目主页 · GitHub · arXiv

概述

UI-Mate-27B 是一款面向跨应用与跨操作系统长程任务的开放权重 GUI 基础智能体。它能够观察实时屏幕截图，基于当前可见状态进行推理，并生成结构化的键盘和鼠标操作，以完成原生桌面交互。

仅凭自然语言指令和实时屏幕截图，即可执行任务；它根据屏幕上当前内容进行规划，并随着界面变化持续重新规划。

模型详情

参数量： 27B
基础模型： Qwen3.6-27B
输入： 任务指令、屏幕截图和交互历史
输出： 推理过程、简洁的动作描述，以及结构化的计算机使用工具调用
动作空间： 鼠标、键盘、滚动、等待、用户交互和任务完成
训练： 先进行监督微调，再在可执行 GUI 环境中进行在线强化学习
许可证： Apache-2.0

UI-Mate 是一个智能体检查点，而非独立的视觉对话模型。建议从 UI-Mate 仓库使用官方提示词、响应解析器和交互框架。

检查点	适用用途
UI-Mate-27B	27B 规模通用计算机使用
UI-Mate-9B	9B 规模通用计算机使用
UI-Mate-democua-27B	演示引导的计算机使用

亮点

在 Ubuntu 与 Windows 基准测试中展现出强大的通用计算机使用能力。
支持跨多个应用的长时程任务执行。
基于实时屏幕状态定位，而非坐标回放。
结构化动作兼容 pyautogui。
提供 OpenAI 兼容的推理服务与客户端接口。

评测

评测基准	UI-Mate-27B
OSWorld-Verified · 平均得分	77.0
WindowsAgentArena · 平均得分	66.2
OSWorkerBench · 严格成功	41.00
OSWorkerBench · 进度	76.86

请参阅项目主页，了解评测详情与更新。

快速开始

1. 使用 vLLM 部署模型

vLLM 在首次启动时会自动从 Hugging Face Hub 下载模型检查点。

pip install -U vllm openai pillow

vllm serve tencent/UI-Mate-27B \
    --trust-remote-code \
    --served-model-name UI_Mate \
    --port 8000 \
    --tensor-parallel-size 2 \
    --gpu-memory-utilization 0.85 \
    --mm-encoder-tp-mode data \
    --chat-template-content-format openai \
    --limit-mm-per-prompt '{"image":6,"video":0}'

默认代理会在上下文中保留五张截图。因此，服务器必须至少接收六张图片，因为最新截图到达时，最旧截图尚未被折叠。

请确认该端点暴露了预期的模型名称：

curl -s http://127.0.0.1:8000/v1/models

2. 运行参考示例

git clone https://github.com/Tencent/UI-Mate.git
cd UI-Mate

python examples/run_agent.py \
    --base-url http://127.0.0.1:8000/v1

运行一条完整的已录制轨迹：

python examples/run_agent.py \
    --replay \
    --base-url http://127.0.0.1:8000/v1

或提供您自己的截图：

python examples/run_agent.py \
    --image /path/to/screen.png \
    --instruction "Export this spreadsheet as HTML and open it in Chrome"

3. 使用 Python 智能体

from agents.ui_mate_agent import UIMateAgent

agent = UIMateAgent(
    base_url="http://127.0.0.1:8000/v1",
    model="UI_Mate",
)

with open("screen.png", "rb") as f:
    response, actions = agent.predict(
        "Install the autoDocstring extension in VS Code.",
        {"screenshot": f.read()},
    )

print(response)
print(actions)

# Reset the interaction history before starting a new task.
agent.reset()

预期用途与局限性

UI-Mate-27B 旨在用于受控桌面环境下基于截屏的 GUI 智能体研究与开发。

其行为可能受应用版本、屏幕布局、显示缩放、延迟以及意外 UI 状态影响。基准测试表现并不保证模型在任意环境中都能可靠执行，并且模型需要外部运行时来执行其预测的操作。

安全

计算机使用智能体可能会犯错、遭遇提示注入，或触发具有重大后果的操作。

优先使用隔离或可丢弃环境。
避免无人值守、高风险或破坏性流程。
在执行敏感操作前要求人工确认。
监控交互轨迹，并验证最终应用状态。
不要将模型报告的成功视为预期结果已达成证据。

许可证

UI-Mate 依据 Apache License 2.0 发布。第三方组件仍受各自许可证约束。详见仓库中的 LICENSE。

引用

@article{uimate2026,
  title         = {UI-Mate: Advancing Open-Weight Foundation GUI Agents with In-Context Demonstrations},
  author        = {Tencent HY Frontier Team},
  journal       = {arXiv preprint arXiv:2608.15930},
  year          = {2026},
}