Stability AI发布两款日语语言模型 语语言模后者则拥有70亿参数

划重点:

1. 最新发布:StabilityAI Japan发布了两款日语语言模型，布两

分别是款日“Japanese Stable LM3B-4E1T”和“Japanese Stable LM Gamma7B”，前者有30亿参数，语语言模后者则拥有70亿参数。布两

这两款模型基于之前发布的款日劳务公司办理安全生产许可证英语语言模型构建 ，后来通过引入大量日语和英语数据进行预训练，语语言模出国劳务咨询公司取名字大全四个字提升其日语语言处理能力。布两

站长之家（ChinaZ.com）10月25日 消息:Stability AI Japan最近发布了两款令人瞩目的款日日语语言模型，分别命名为“Japanese Stable LM3B-4E1T”和“Japanese Stable LM Gamma7B”。语语言模

前者具有大约30亿参数，布两而后者则拥有高达70亿参数的款日庞大规模
。这两款模型以Apache2.0许可证发布 ，语语言模允许商业使用，布两出国劳务咨询公司注册条件为日本的款日自然语言处理领域带来了一次革命性的突破。

这两个模型的语语言模背景可追溯到之前发布的英语语言模型，具体为“Stable LM3B-4E1T”和“Mistral-7B-v0.1”。最初，它们在主要使用英语数据进行训练  ，因此在英语处理方面表现出色，但在日语处理能力上受限 ，www.hijob.jp日本招聘网站这是因为日语数据相对较少。

为了提高其日语语言能力 ，这两个模型经历了持续的预训练，利用了来自维基百科、mC4、CC-100 、OSCAR和SlimPajama（不包括Books3）等数据源的大约1000亿token。

这两款模型的性能评估采用了与之前发布的“Japanese Stable LM Alpha”相同的方法 。评估包括了日本语言理解基准（JGLUE）任务，涵盖了句子分类 、句子对分类、问题回答和文本摘要等八项任务。结果显示 ，尽管只有30亿参数，但“Japanese Stable LM3B-4E1T”在多项任务上表现出色，而“Japanese Stable LM Gamma7B”甚至获得更高的分数，展示了这些模型在日语自然语言处理方面的卓越进展 。