liuhongwei-2026/UnifoLM-VLM-Base
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

UnifoLM-VLM-Base — 昇腾 NPU 部署

UnifoLM-VLA-0 是宇树科技(Unitree Robotics)开源的 8B 参数 Vision-Language-Action (VLA) 大模型,属于 UnifoLM 系列,面向通用人形机器人操作。通过机器人操作数据的持续预训练,模型从"视觉-语言理解"进化为具备物理常识的"具身大脑",可基于指令 + 图像完成空间感知、几何理解与操作推理。

  • 原始权重:https://huggingface.co/unitreerobotics/UnifoLM-VLM-Base
  • 镜像仓库:https://ai.gitcode.com/hf_mirrors/unitreerobotics/UnifoLM-VLM-Base
  • 本仓库:https://ai.atomgit.com/liuhongwei-2026/UnifoLM-VLM-Base

模型信息

项目内容
架构Qwen2.5-VL-8B(Qwen2_5_VLForConditionalGeneration)
参数量8.29B(BF16,约 16.6GB 权重)
语言骨干28 层,hidden_size=3584,GQA(28/4 heads),max_len 128K
视觉编码器32 层 ViT,hidden_size=1280,patch 14,支持图像/视频
模态文本 + 图像(+ 视频)
许可CC BY-NC-SA 4.0

环境要求

组件版本
Python≥ 3.11
torch_npu2.9.0.post1
CANN8.5.1
vLLM0.18.0
vLLM-Ascend0.18.0
Transformers4.57.6

快速部署

1. 下载模型权重

# 方式一:gitcode LFS(推荐,约 10MB/s)
# 需先安装 git-lfs
git lfs clone https://gitcode.com/hf_mirrors/unitreerobotics/UnifoLM-VLM-Base.git /path/to/UnifoLM-VLM-Base

# 方式二:ModelScope
python3 -c "
from modelscope import snapshot_download
snapshot_download('unitreerobotics/UnifoLM-VLM-Base',
                  local_dir='/path/to/UnifoLM-VLM-Base')
"

# 方式三:huggingface 镜像
HF_ENDPOINT=https://hf-mirror.com python3 -c "
from huggingface_hub import snapshot_download
snapshot_download('unitreerobotics/UnifoLM-VLM-Base',
                  local_dir='/path/to/UnifoLM-VLM-Base')
"

2. 启动 vLLM-Ascend 服务

# 设置 NPU 设备(默认 npu:0;被占用时换 npu:1)
export ASCEND_RT_VISIBLE_DEVICES=0

# 启动服务
vllm serve /path/to/UnifoLM-VLM-Base \
  --port 8000 \
  --served-model-name UnifoLM-VLM-Base \
  --dtype bfloat16 \
  --max-model-len 32768 \
  --max-num-seqs 8 \
  --enforce-eager \
  --limit-mm-per-prompt '{"image": 1, "video": 0}' \
  --gpu-memory-utilization 0.95

注意:

  • Qwen2.5-VL-8B 在 bf16 下约需 16-18GB HBM,请确保 NPU 空闲 HBM 充足。
  • --enforce-eager 可规避图模式下的算子兼容问题(如 aclnnFlashAttentionScore ERR00100)。
  • 若报 open device failed 507033,说明设备被其他进程占用,换 export ASCEND_RT_VISIBLE_DEVICES=1。

3. 验证服务

# 健康检查
curl -s http://127.0.0.1:8000/v1/models

# 纯文本推理
curl -s http://127.0.0.1:8000/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{"model":"UnifoLM-VLM-Base","messages":[{"role":"user","content":"You are an embodied assistant. What can you help with for robot manipulation?"}],"temperature":0.2,"max_tokens":128}'

# 图文推理(本地图片转 base64)
python3 inference.py --image demo.jpg --prompt "请描述这张图,并说明应执行的机器人操作。"

4. 使用推理脚本

# 文本推理
python3 inference.py --prompt "你好,请介绍一下你自己"

# 图文推理
python3 inference.py --image assets/model_result.png

# 健康检查
python3 inference.py --health

验证结果(昇腾 910B / 单卡)

项目结果
模型加载成功(strict 加载,0 缺失)
/v1/models在线 ✓
文本推理✅ 正常生成
图文推理✅ 正常生成
设备NPU 0(Ascend 910B,HBM 64GB)

推理脚本说明

  • inference.py:vLLM-Ascend OpenAI 兼容客户端,支持纯文本 / 图文 / 健康检查三种模式。
  • requirements.txt:运行环境依赖清单。
  • assets/:截图素材目录(agent_workflow.png / npu_device_call.png / model_result.png)。

许可证

模型权重使用 CC BY-NC-SA 4.0 许可(见原始仓库 LICENSE),使用前请确保符合 Unitree AI Models 的合规要求。