智源团队推出「生长策略」 解决大模型训练算力成本过高问题 策略并且通过评测发现

站长之家（）9月21日 消息:近日
，智源智源研究院联合中科院计算所
、团队推出题南洋理工大学（新加坡）
、生长电子科技大学(成都) 、策略哈尔滨工业大学(深圳)的解决研究团队共同提出了一种「生长策略」(growth strategy)
，以解决大模型算力成本极高的大模问题。

研究团队基于「生长策略」逐步构建了一个具有1010亿参数的型训FLM-101B大模型。实际训练结果显示，练算力成只需约10万美元（约70万人民币）的本过算力成本 ，就能成功训练出一个效果和GPT-3、高问GLM-130B可比的智源千亿大模型。

「生长策略」的团队推出题核心思想是让模型在训练过程中的参数量可以随着训练进行逐步扩展 ，www.hijob.jp日本招聘网站从较小的生长参数规模扩展到更大的参数规模。研究团队利用这种策略成功地训练出了 FLM-101B 大模型 ，策略并且通过评测发现，解决该模型在知识能力和智能水平方面具有竞争力 。

此外，研究团队还提出了一种基于 IQ 的评测方法，以更全面 、客观地评估大模型的智力水平。他们从四个维度对大模型进行了 IQ 测试:符号评测、规则理解 、模式挖掘和抗干扰评测。实验结果显示 ，FLM-101B 在这些评测任务上表现出了非常好的能力。

FLM-101B模型地址:

https://huggingface.co/CofeAI/FLM-101B