UnifoLM-VLA-0 是宇树科技(Unitree Robotics)开源的 8B 参数 Vision-Language-Action (VLA) 大模型,属于 UnifoLM 系列,面向通用人形机器人操作。通过机器人操作数据的持续预训练,模型从"视觉-语言理解"进化为具备物理常识的"具身大脑",可基于指令 + 图像完成空间感知、几何理解与操作推理。
| 项目 | 内容 |
|---|---|
| 架构 | Qwen2.5-VL-8B(Qwen2_5_VLForConditionalGeneration) |
| 参数量 | 8.29B(BF16,约 16.6GB 权重) |
| 语言骨干 | 28 层,hidden_size=3584,GQA(28/4 heads),max_len 128K |
| 视觉编码器 | 32 层 ViT,hidden_size=1280,patch 14,支持图像/视频 |
| 模态 | 文本 + 图像(+ 视频) |
| 许可 | CC BY-NC-SA 4.0 |
| 组件 | 版本 |
|---|---|
| Python | ≥ 3.11 |
| torch_npu | 2.9.0.post1 |
| CANN | 8.5.1 |
| vLLM | 0.18.0 |
| vLLM-Ascend | 0.18.0 |
| Transformers | 4.57.6 |
# 方式一:gitcode LFS(推荐,约 10MB/s)
# 需先安装 git-lfs
git lfs clone https://gitcode.com/hf_mirrors/unitreerobotics/UnifoLM-VLM-Base.git /path/to/UnifoLM-VLM-Base
# 方式二:ModelScope
python3 -c "
from modelscope import snapshot_download
snapshot_download('unitreerobotics/UnifoLM-VLM-Base',
local_dir='/path/to/UnifoLM-VLM-Base')
"
# 方式三:huggingface 镜像
HF_ENDPOINT=https://hf-mirror.com python3 -c "
from huggingface_hub import snapshot_download
snapshot_download('unitreerobotics/UnifoLM-VLM-Base',
local_dir='/path/to/UnifoLM-VLM-Base')
"# 设置 NPU 设备(默认 npu:0;被占用时换 npu:1)
export ASCEND_RT_VISIBLE_DEVICES=0
# 启动服务
vllm serve /path/to/UnifoLM-VLM-Base \
--port 8000 \
--served-model-name UnifoLM-VLM-Base \
--dtype bfloat16 \
--max-model-len 32768 \
--max-num-seqs 8 \
--enforce-eager \
--limit-mm-per-prompt '{"image": 1, "video": 0}' \
--gpu-memory-utilization 0.95注意:
- Qwen2.5-VL-8B 在 bf16 下约需 16-18GB HBM,请确保 NPU 空闲 HBM 充足。
--enforce-eager可规避图模式下的算子兼容问题(如aclnnFlashAttentionScoreERR00100)。- 若报
open device failed 507033,说明设备被其他进程占用,换export ASCEND_RT_VISIBLE_DEVICES=1。
# 健康检查
curl -s http://127.0.0.1:8000/v1/models
# 纯文本推理
curl -s http://127.0.0.1:8000/v1/chat/completions \
-H 'Content-Type: application/json' \
-d '{"model":"UnifoLM-VLM-Base","messages":[{"role":"user","content":"You are an embodied assistant. What can you help with for robot manipulation?"}],"temperature":0.2,"max_tokens":128}'
# 图文推理(本地图片转 base64)
python3 inference.py --image demo.jpg --prompt "请描述这张图,并说明应执行的机器人操作。"# 文本推理
python3 inference.py --prompt "你好,请介绍一下你自己"
# 图文推理
python3 inference.py --image assets/model_result.png
# 健康检查
python3 inference.py --health| 项目 | 结果 |
|---|---|
| 模型加载 | 成功(strict 加载,0 缺失) |
| /v1/models | 在线 ✓ |
| 文本推理 | ✅ 正常生成 |
| 图文推理 | ✅ 正常生成 |
| 设备 | NPU 0(Ascend 910B,HBM 64GB) |
inference.py:vLLM-Ascend OpenAI 兼容客户端,支持纯文本 / 图文 / 健康检查三种模式。requirements.txt:运行环境依赖清单。assets/:截图素材目录(agent_workflow.png / npu_device_call.png / model_result.png)。模型权重使用 CC BY-NC-SA 4.0 许可(见原始仓库 LICENSE),使用前请确保符合 Unitree AI Models 的合规要求。