元象XVERSE开源650亿参数通用大模子XVERSE 元象亿参用无条件收费商用

11月6日 音讯:元象XVERSE宣告 开源650亿参数高性能通用大模子XVERSE-65B，元象亿参用无条件收费商用。开源

XVERSE-65B 是数通由深圳元象科技开辟的一种支援多语言的庞大语言模子
。它选择了 Transformer 网络组织，元象亿参用澳大利亚出国劳务真实经历参数领域抵达了650亿 。开源

模子通过训练了2.6万亿个令牌的数通高质量千般化数据 ，蕴涵了40多种语言。元象亿参用XVERSE-65B 拥有16K 的开源左右文长度 ，有用于多轮对话 、数通学问问答和摘要等恣意。元象亿参用模子已在多个规范数据集长停止了尝试，开源出国劳务正规派遣公司并赢患有优越的数通性能。

主要特质以下:

模子组织:XVERSE-65B 运用主流 Decoder-only 的元象亿参用规范 Transformer 网络组织，支援16K 的开源左右文长度（Context Length），能知足更长的数通多轮对话
、学问问答与摘要等需要 ，正规的出国劳务公司模子运用途景更普遍 。

训练数据:建立了2.6万亿 token 的高质量、日本买房千般化的数据对模子停止充足训练 ，蕴涵中 、英 、俄、西等40多种语言 ，通过周密化树立分歧种别数据的采样比率，使得中英两种语言展现优异，也能统筹其余语言效验 。

分词:鉴于 BPE（Byte-Pair Encoding）算法 ，运用上百 GB 语料训练了一个词表巨细为100，534的分词器 ，能够同时支援多语言，而无需特殊扩张词表。

训练框架:自主研发多项症结手艺 ，席卷高效算子 、显存优化 、并行调理政策、数据-算计-通讯重叠 、平台和框架协同等，让训练作用更高，模子稳固性强，在千卡集群上的峰值算力应用率位居业界前线。

项目所在：https://github.com/xverse-ai/XVERSE-65B