智谱AI/GLM-5.3
模型介绍
文件和版本
Pull Requests
讨论
分析

GLM-5.3

GLM-5.3 与 GLM-5.2 使用相同的基座模型——所有提升均来自后训练。与 GLM-5.2 相比,它在复杂编程和长程任务上的表现显著提升:

  • 更强的编程能力:GLM-5.3 是编程能力最强的开放权重模型,在内部 Z.ai Code Bench 上较 GLM-5.2 提升 50%。它还在包括 Terminal Bench 3.0 和 Agents' Last Exam 在内的公开基准上取得开源 SOTA 成绩。
  • 涌现的网络攻防能力:随着后训练规模扩大,网络攻防能力的提升速度超出预期。GLM-5.3 在 CyberGym 的漏洞发现任务上达到最先进水平,并且其提升幅度在漏洞利用链的更上游阶段最为显著;在利用类基准上,其成绩超过 GLM-5.2 的两倍。

bench_53

基准测试

基准测试GLM-5.3GLM-5.2Kimi K3DeepSeek-V4 Pro-0813Qwen3.8-MaxOpus 4.8Fable 5 (w/ fallback)GPT-5.6 Sol
Terminal Bench 2.188.281.088.387.986.685.088.088.8
Terminal Bench 3.028.34.617.4––21.133.734.6
DeepSWE (v1.1)66.946.267.562.756.658.069.772.7
NL2Repo58.048.958.061.155.969.7––
ProgramBench (Almost Solved)19.09.517.5–10.515.533.023.0
FrontierSWE78.167.5–––66.588.2–
SWE-Marathon (v1.1)42.519.448.1––48.833.142.5
PostTrainBench39.831.732.0––32.941.836.2
CyberGym84.577.280.083.378.578.183.883.6
ExploitGym (2h / 6h)105 / 13029 / 3936 / 70–14 / 2680 / 120181 / 247216 / 293
ExploitBench54.424.432.2–28.840.078.076.5
Toolathlon Verified73.059.976.574.172.576.274.774.9
AutomationBench (v1.0.6)48.226.246.743.239.841.046.245.8
Agents' Last Exam (ALE-CLI)28.523.827.625.727.025.723.828.6
HLE w/ Tools62.554.759.860.056.257.963.964.5
GDPval-AA v217691508168215901739158817431730

在本地部署 GLM-5.3

GLM-5.3 支持使用以下框架进行部署,欢迎体验:

  • SGLang — 参见示例手册
  • vLLM — 参见部署方案
  • TokenSpeed — 参见此处
  • Transformers — 参见Transformers 文档
  • KTransformers — 参见教程
  • Unsloth — 参见指南
  • 在 Ascend NPU 平台上部署时,支持 vLLM-Ascend、xLLM 和 SGLang 等推理框架 — 参见此处。

说明

  • GLM-5.3 支持通过 reasoning_effort 参数控制思考预算,该参数接受三个级别:low、high 和 max。如果未传入(或设置为其他值),默认使用 max。若要使用 low 或 high,请显式传入相应值。复现基准测试和排行榜结果时,请保持默认的 max。
  • 在 GLM-5.3 的聊天模板中,如果未传入 clear_thinking,其默认值为 false。在聊天场景中,请显式传入 clear_thinking=true。

脚注

  • HLE w/ tools:我们使用采样参数 temperature=1.0 和 top_p=0.95 进行评估,最大生成长度为 163,840 个 token。评估在最大上下文长度 300,000 个 token 下进行,并采用上下文管理策略。我们使用 GPT-5.6-luna(medium)作为评审模型。
  • NL2Repo:我们在 1M 上下文中,使用 temperature=1.0、top_p=1.0 和 max_new_tokens=64k 评估 NL2Repo。为防止作弊,我们同时使用基于规则与基于 LLM 的判定,以阻止恶意行为(例如未经授权的 pip 或 curl 操作)。
  • DeepSWE:我们使用 mini-swe-agent 评测框架运行 DeepSWE,配置为 temperature=0.95、top_p=1.0、timeout=6h,上下文长度为 400K。
  • Terminal-Bench 2.1:我们在 Claude Code 2.1.207 中进行评估,使用 temperature=1.0、top_p=1、max_new_tokens=65536,超时时间为 6 小时。
  • Terminal-Bench 3.0:我们使用 Claude Code 2.1.207 评测框架评估 Terminal-Bench-3 任务(推理力度=max、400K 上下文、最大输出 128K),报告每个任务三次 rollout 的 avg@3。每次 rollout 都运行在基于任务官方镜像构建的隔离容器中,Agent 轮次上限为 600 轮,超时时间为 10 小时。Tool Search 已禁用,每个 Agent 生成的结果由任务官方独立验证器评分。
  • Agent's Last Exam (CLI):我们使用 Claude Code 评测框架,按照官方评估协议评估 ALE(推理力度=max、1M 上下文、最大输出 64K)。105 个任务中的每一个都运行在隔离的 Docker 容器中,并使用其 Task Card 中声明的资源。默认超时时间为 4 小时,任务专属限制优先(最长 8 小时)。Tool Search 已禁用,结果由官方 ALE 评估器评分。
  • Toolathlon Verified:我们全部通过官方评估服务获得结果,并报告 3 次独立运行平均后的 pass@1。
  • AutomationBench:我们在 AutomationBench v1.0.6 上评估,并已纳入 PR #13 中针对 null 类型处理问题的修复。
  • GDPval-AA v2:模型由 Artificial Analysis 进行评估。
  • CyberGym:我们在 Claude Code 2.1.207 中评估 GLM-5.3(最大推理力度,禁用 Web 工具,temperature=1.0、top_p=1.0、max_new_tokens=128000)。所有评估均针对每个任务不设超时限制,结果为 1,507 个任务上单次运行的 Pass@1。为模拟真实使用场景,我们将 Agent 置于任务容器内。我们还会移除所有与 Git 相关的信息,并应用域名白名单(仅允许 pypi.org 和 deb.debian.org 等基础工具安装所需的关键域名),以防止 Agent 作弊。
  • ExploitGym:我们在 Claude Code 2.1.207 中评估 GLM-5.3、Kimi-K3 和 Qwen3.8 Max(最大推理力度,禁用 Web 工具,temperature=1.0、top_p=1.0、max_new_tokens=128000)。报告结果为在两种超时预算(2 小时和 6 小时)下,869 个任务上的单次运行 Pass@1;该超时预算按各模型每秒 token 数(TPS)对 API 推理时间进行重标定后计算(各模型 TPS 数据来自 Artificial Analysis;即按 115 TPS 重标定 GLM-5.3 的结果,按 40 TPS 重标定 Kimi K3 的结果,按 47 TPS 重标定 Qwen3.8 Max 的结果),并加上非 API 开销。我们同样应用域名白名单(仅允许 pypi.org 和 deb.debian.org 等基础工具安装所需的关键域名),以防止 Agent 作弊。
  • ExploitBench:我们在 Claude Code 2.1.207 中评估 GLM-5.3(最大推理力度,禁用 Web 工具,temperature=1.0、top_p=1.0、max_new_tokens=128000)。遵循官方评估设置,我们将 Agent 与环境之间的最大交互轮次限制为 300,并计算全部 41 个任务在 3 个版本上的平均覆盖率得分。单个任务的覆盖率结果通过合并所有版本中实现的能力确定,平均得分通过对结果取平均获得。我们同样应用域名白名单(仅允许 pypi.org 和 deb.debian.org 等基础工具安装所需的关键域名),以防止 Agent 作弊。
  • FrontierSWE:评估由 Proximal 完成,上下文长度为 1M,最大推理力度,最大输出 128K 个 token。主导得分报告截至 2026-08-14。
  • PostTrainBench:我们使用 Claude Code 2.1.207 评估 GLM-5.3,设置为最大推理力度、temperature = 1.0、top_p = 1.0、max_new_tokens = 128000,以及 1M token 上下文窗口。我们报告 3 次运行的加权平均。对于未能产生得分的运行,回退至官方零样本基础模型基线得分。对于旨在防止使用第三方 API 的检查,我们移除了原有的基于模式匹配的检查,因为当通过 OpenAI SDK 访问本地 vLLM 端点时,这些检查会产生误报。取而代之,我们使用 LLM Agent 检查解决方案是否使用外部 API。
  • SWE-Marathon:我们使用 Claude Code 2.1.207 评估 GLM-5.3,设置为最大推理力度、temperature = 1.0、top_p = 0.95、max_new_tokens = 128000,以及 1M token 上下文窗口。对于 strip-clone,原有防作弊检查使用的导入检测范围过宽,可能会拒绝有效实现。我们移除了受影响的检查,改为使用基于 LLM 的检查,以避免误报。对于 parameter-golf 和 trimul-cuda,NVIDIA wheel 包的变更导致 Docker 镜像构建失败,因此我们添加了 --extra-index-url https://pypi.org/simple 以恢复构建成功。

引用

若 GLM-5.3 对你的研究有所帮助,请引用我们的技术报告:

@misc{glm5team2026glm5vibecodingagentic,
      title={GLM-5: from Vibe Coding to Agentic Engineering},
      author={GLM-5-Team and : and Aohan Zeng and Xin Lv and Zhenyu Hou and Zhengxiao Du and Qinkai Zheng and Bin Chen and Da Yin and Chendi Ge and Chenghua Huang and Chengxing Xie and Chenzheng Zhu and Congfeng Yin and Cunxiang Wang and Gengzheng Pan and Hao Zeng and Haoke Zhang and Haoran Wang and Huilong Chen and Jiajie Zhang and Jian Jiao and Jiaqi Guo and Jingsen Wang and Jingzhao Du and Jinzhu Wu and Kedong Wang and Lei Li and Lin Fan and Lucen Zhong and Mingdao Liu and Mingming Zhao and Pengfan Du and Qian Dong and Rui Lu and Shuang-Li and Shulin Cao and Song Liu and Ting Jiang and Xiaodong Chen and Xiaohan Zhang and Xuancheng Huang and Xuezhen Dong and Yabo Xu and Yao Wei and Yifan An and Yilin Niu and Yitong Zhu and Yuanhao Wen and Yukuo Cen and Yushi Bai and Zhongpei Qiao and Zihan Wang and Zikang Wang and Zilin Zhu and Ziqiang Liu and Zixuan Li and Bojie Wang and Bosi Wen and Can Huang and Changpeng Cai and Chao Yu and Chen Li and Chengwei Hu and Chenhui Zhang and Dan Zhang and Daoyan Lin and Dayong Yang and Di Wang and Ding Ai and Erle Zhu and Fangzhou Yi and Feiyu Chen and Guohong Wen and Hailong Sun and Haisha Zhao and Haiyi Hu and Hanchen Zhang and Hanrui Liu and Hanyu Zhang and Hao Peng and Hao Tai and Haobo Zhang and He Liu and Hongwei Wang and Hongxi Yan and Hongyu Ge and Huan Liu and Huanpeng Chu and Jia'ni Zhao and Jiachen Wang and Jiajing Zhao and Jiamin Ren and Jiapeng Wang and Jiaxin Zhang and Jiayi Gui and Jiayue Zhao and Jijie Li and Jing An and Jing Li and Jingwei Yuan and Jinhua Du and Jinxin Liu and Junkai Zhi and Junwen Duan and Kaiyue Zhou and Kangjian Wei and Ke Wang and Keyun Luo and Laiqiang Zhang and Leigang Sha and Liang Xu and Lindong Wu and Lintao Ding and Lu Chen and Minghao Li and Nianyi Lin and Pan Ta and Qiang Zou and Rongjun Song and Ruiqi Yang and Shangqing Tu and Shangtong Yang and Shaoxiang Wu and Shengyan Zhang and Shijie Li and Shuang Li and Shuyi Fan and Wei Qin and Wei Tian and Weining Zhang and Wenbo Yu and Wenjie Liang and Xiang Kuang and Xiangmeng Cheng and Xiangyang Li and Xiaoquan Yan and Xiaowei Hu and Xiaoying Ling and Xing Fan and Xingye Xia and Xinyuan Zhang and Xinze Zhang and Xirui Pan and Xu Zou and Xunkai Zhang and Yadi Liu and Yandong Wu and Yanfu Li and Yidong Wang and Yifan Zhu and Yijun Tan and Yilin Zhou and Yiming Pan and Ying Zhang and Yinpei Su and Yipeng Geng and Yong Yan and Yonglin Tan and Yuean Bi and Yuhan Shen and Yuhao Yang and Yujiang Li and Yunan Liu and Yunqing Wang and Yuntao Li and Yurong Wu and Yutao Zhang and Yuxi Duan and Yuxuan Zhang and Zezhen Liu and Zhengtao Jiang and Zhenhe Yan and Zheyu Zhang and Zhixiang Wei and Zhuo Chen and Zhuoer Feng and Zijun Yao and Ziwei Chai and Ziyuan Wang and Zuzhou Zhang and Bin Xu and Minlie Huang and Hongning Wang and Juanzi Li and Yuxiao Dong and Jie Tang},
      year={2026},
      eprint={2602.15763},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/2602.15763},
}