9月28日 消息:智源研究院发布了 FlagPerf v1.0 ,智源这是研究院开源AI硬一个开源开放的 AI 硬件评测引擎。 FlagPerf 的测引评测指标体系包括功能正确性指标、性能指标
、智源资源使用指标和生态适配指标。研究院开源AI硬其中,测引功能正确性指标验证芯片对模型运行的智源支持
,性能指标评估芯片的研究院开源AI硬训练时间和计算吞吐量,资源使用指标衡量芯片和服务器其他零部件的测引使用情况,生态适配指标考察芯片对不同框架和软件生态的智源支持能力
。 FlagPerf 已经涵盖了自然语言处理
、研究院开源AI硬计算机视觉、测引语音和多模态等领域的智源20余个经典模型,日本租房50余个训练样例,研究院开源AI硬并与多家 AI 软硬件厂商进行深度合作
,测引完成了与不同芯片和框架的适配和评测
。 此外
,FlagPerf 还支持多样例场景和任务
,覆盖大模型训练推理场景 。它不仅支持多种训练框架和推理引擎 ,还支持多种测试环境,包括单卡 、单机和多机
,以全面评估 AI 芯片的性能和适用性。 在评测过程中,FlagPerf 严格审核参评代码,确保结果公平
、过程公正 。所有测试代码都已开源,测试过程和数据可复现 。 FlagPerf 开源项目:https://github.com/FlagOpen/FlagPerf