GLM-5.2 — colibrì int4 容器（约 370 GB）

此内容与 https://huggingface.co/jlnsrk/GLM-5.2-colibri-int4 完全相同，但包含用于推测解码所需的 int8 MTP 头，从而显著提升整体推理速度。原始的 int4 MTP 头接受率较低，基本无法使用。

⚠️ 本模型并非 GGUF / AWQ / GPTQ / MLX 模型。 其仅适用于 colibrì 引擎。

使用方法

# Get the engine
git clone https://github.com/JustVugg/colibri && cd colibri/c && ./setup.sh

# download this repo to a FAST local disk
hf download mateogrgic/GLM-5.2-colibri-int4-with-int8-mtp --local-dir /nvme/glm52

# run on CPU
COLI_MODEL=/nvme/glm52 ./coli chat

要求：Linux（或 WSL2）、gcc + OpenMP、AVX2、≥16 GB 内存、约 400 GB 可用 NVMe 空间。

来源与许可

基于 zai-org/GLM-5.2-FP8（MIT 许可）转换而来。本衍生版本同样采用 MIT 许可。转换使用 colibrì 官方转换器，未作修改。克隆并修改自 jlnsrk/GLM-5.2-colibri-int4

GLM-5.2 — colibrì int4 容器（约 370 GB）

⚠️ 本模型并非 GGUF / AWQ / GPTQ / MLX 模型。 其仅适用于 colibrì 引擎。

使用方法

# Get the engine
git clone https://github.com/JustVugg/colibri && cd colibri/c && ./setup.sh

# download this repo to a FAST local disk
hf download mateogrgic/GLM-5.2-colibri-int4-with-int8-mtp --local-dir /nvme/glm52

# run on CPU
COLI_MODEL=/nvme/glm52 ./coli chat

要求：Linux（或 WSL2）、gcc + OpenMP、AVX2、≥16 GB 内存、约 400 GB 可用 NVMe 空间。

来源与许可

基于 zai-org/GLM-5.2-FP8（MIT 许可）转换而来。本衍生版本同样采用 MIT 许可。转换使用 colibrì 官方转换器，未作修改。克隆并修改自 jlnsrk/GLM-5.2-colibri-int4