6月5日 音讯:GLM手艺团队于2023年3月14日开源了 ChatGLM-6B,智谱诱发了普遍的宣告体贴和认可。随即又开源了 ChatGLM3-6B,开源开辟者对 GLM 第四代模子的第代模开源足够期待。通过近半年的智谱出国劳务招聘信息普工钻研职责 ,GLM 手艺团队推出了第四代 GLM 系列开源模子:GLM-4-9B。宣告出国劳务信息网真的假的 GLM-4-9B 在预训练方面引入了大语言模子停止数据挑选,开源赢患有10T 高质量多语言数据
,第代模数据量是智谱 ChatGLM3-6B 的3倍以上。同时 ,宣告选择了 FP8手艺停止高效的开源预训练,训练作用提升了3.5倍
。第代模在有限显存的智谱出国劳务信息在哪可以获得状况下,钻研了性能限度,日本招聘宣告发现6B 模子性能有限。开源斟酌到大少数用户的显存巨细 ,将模子领域提升至9B,并将预训练算计量增长了5倍 。 GLM-4-9B 模子具有更壮大的推理性能 、更长的左右文解决威力、多语言 、多模态和 All Tools 等威力。席卷前提版本 GLM-4-9B(8K)
、对话版本 GLM-4-9B-Chat(128K) 、超长左右文版本 GLM-4-9B-Chat-1M(1M)和多模态版本 GLM-4V-9B-Chat(8K)。 GLM-4-9B 的威力席卷: 1. 前提威力:模子中英文综合性能比 ChatGLM3-6B 提升了40%; 2. 长文本威力:左右文从128K 扩张到1M tokens ,至看待2本红楼梦或125篇论文的长度; 3. 多语言威力:支援26种语言,词表巨细引申到150k
,编码作用提升30%; 4. Function Call 威力:在 Berkeley Function-Calling Leaderboard 上展现优异; 5. All Tools 威力:模子能够运用外部工具终了恣意; 6. 多模态威力:首次推出多模态模子
,性能昭著 。 代码: Github:https://github.com/THUDM/GLM-4 模子: huggingface:https://huggingface.co/collections/THUDM/glm-4-665fcf188c414b03c2f7e3b7 魔搭社区:https://modelscope.cn/organization/ZhipuAI