元象大模子开源30款量化版本 可更低利润部署 利润总吞吐提升了1.5倍

3月28日 音讯:元象大模子开源了30款量化版本 ，元象支援 vLLM 和 llama.cpp 等主流框架的大模量化推理  ，无条件收费商用。开源款量留学咨询在线

对量化先后的化版模子威力、推理性能停止评价  ，本可部署南京中江公司出国劳务以色列以 XVERSE-13B-GPTQ-Int4量化版本为例
，更低出国劳务以色列怎么样量化后模子权重中断了72%，利润总吞吐提升了1.5倍，元象同时遗失了95% 的大模威力 。

开辟者能够依据妙技、开源款量软硬件设置装备铺排和详细需要选择分歧推理框架和数据精度的日本买房化版模子。要是本可部署要地资源有限 ，能够直接挪用元象大模子的更低 API 效劳（chat.xverse.cn）
。

总体来说 ，利润元象大模子的元象开源量化版本提供了省事快速的部署形式，能够依据需要选择分歧的框架和精度模子停止部署和推理 。

元象大模子下载 ：

• Hugging Face:https://huggingface.co/xverse

• ModelScope魔搭:https://modelscope.cn/organization/xverse

• Github:https://github.com/xverse-ai