元象XVERSE开源650亿参数通用大模子XVERSE 元象亿参用无条件收费商用

11月6日 音讯:元象XVERSE宣告 开源650亿参数高性能通用大模子XVERSE-65B，元象亿参用无条件收费商用 。开源

XVERSE-65B 是数通由深圳元象科技开辟的一种支援多语言的庞大语言模子。它选择了 Transformer 网络组织 ，元象亿参用出国劳务咨询师怎么样参数领域抵达了650亿 。开源

模子通过训练了2.6万亿个令牌的数通高质量千般化数据，蕴涵了40多种语言。元象亿参用XVERSE-65B 拥有16K 的开源左右文长度，有用于多轮对话 、数通学问问答和摘要等恣意。元象亿参用模子已在多个规范数据集长停止了尝试 ，开源日本出国劳务招聘信息最新并赢患有优越的数通性能 。

主要特质以下:

模子组织:XVERSE-65B 运用主流 Decoder-only 的元象亿参用规范 Transformer 网络组织，支援16K 的开源左右文长度（Context Length），能知足更长的数通多轮对话、学问问答与摘要等需要
，十五冶招聘赴刚果金出国劳务模子运用途景更普遍 。

训练数据:建立了2.6万亿 token 的高质量、日本劳务千般化的数据对模子停止充足训练，蕴涵中、英、俄 、西等40多种语言，通过周密化树立分歧种别数据的采样比率 ，使得中英两种语言展现优异，也能统筹其余语言效验。

分词:鉴于 BPE（Byte-Pair Encoding）算法
，运用上百 GB 语料训练了一个词表巨细为100 ，534的分词器
，能够同时支援多语言
，而无需特殊扩张词表 。

训练框架:自主研发多项症结手艺
，席卷高效算子、显存优化
、并行调理政策 、数据-算计-通讯重叠、平台和框架协同等
，让训练作用更高
，模子稳固性强 ，在千卡集群上的峰值算力应用率位居业界前线。

项目所在  ：https://github.com/xverse-ai/XVERSE-65B