合并请求 - BitCPM-CANN-0.5B-unquantized:itCPM-CANN-0.5B-unquantized 是 BitCPM-CANN-0.5B 的未量化量化感知训练（QAT）检查点，专为持续预训练和微调而设计。它保留了全精度的潜在权重，并通过 modeling.py 中定义的三元伪量化器（权重 → {-1, 0, 1}，带分组缩放，通过 STE 训练），使模型能够在量化约束下继续学习

OpenBMB 开源社区/BitCPM-CANN-0.5B-unquantized

暂无数据

合并请求 - BitCPM-CANN-0.5B-unquantized:itCPM-CANN-0.5B-unquantized 是 BitCPM-CANN-0.5B 的未量化量化感知训练（QAT）检查点，专为持续预训练和微调而设计。它保留了全精度的潜在权重，并通过 modeling.py 中定义的三元伪量化器（权重 → {-1, 0, 1}，带分组缩放，通过 STE 训练），使模型能够在量化约束下继续学习 - AtomGit AI社区