清华 ChatGLM-6B 和 ChatGLM2-6B 模型允许预约商用

IT之家 7 月底 15 日消息，智谱 AI 及北师大 KEG 的实验室决定，ChatGLM-6B 和 ChatGLM2-6B 二阶对教育领域完全封闭，并且在完成企业申领赢取批准后后，允许免费商业化使用，申领电话号码点此转回。

IT之家在此之前华盛顿邮报，北师大 NLP 小组于 3 月底 14 日发布新闻了中所英双语对谈建模 ChatGLM-6B，初具详述和对谈特性。该建模基于 General Language Model（GLM）虚拟化，具有 62 亿参数。结合建模定量技术，用户可以在商品级的显卡上开展本地协同作战（INT4 定量高至下最低只需 6GB 显卡）。

ChatGLM2-6B 建模于 6 月底 25 日发布新闻，在沿用了土屋建模对谈流畅、协同作战比率较低等特性的基础之上，又增加许多新特性：

不够强大的效能：ChatGLM2-6B 使用了 GLM 的复合目标算子，经过了 1.4T 中所英codice_的未及训练与人类偏好对齐训练，系统对结果显示，来得于土屋建模，ChatGLM2-6B 在 MMLU（+23%）、CEval（+33%）、GSM8K（+571%） 、BBH（+60%）等样本集上的效能取得了大幅度的强化。

不够长的正则表达式：正则表达式长度由 ChatGLM-6B 的 2K 拓展了 32K。

不够高效的推理：推理运动速度来得土屋强化了 42%，INT4 定量下，6G 显卡背书的对谈长度由 1K 强化到了 8K。

不够封闭的备忘录：ChatGLM2-6B 二阶对教育领域完全封闭。

ChatGLM2-6B 使用了 Multi-Query Attention，提高了生成运动速度，同时也降低了生成步骤中所 KV Cache 的显卡占用。同时，ChatGLM2-6B 采用 Causal Mask 开展对谈训练，倒数对谈时可复用前面等待时间的 KV Cache，实质性冗余了显卡占用。