当前位置:首页 > 今日话题

Groq​大模子推理芯片每秒500tokens逾越GPU,喊话三年突出英伟达 逾越了泄露GPU和谷歌TPU

()2月20日 音讯:Groq公司推出的模推秒大模子推理芯片以每秒500tokens的速率诱发惊动,逾越了泄露GPU和谷歌TPU。理芯该芯片由首创公司Groq研发,逾越其团队成员来自谷歌TPU,喊话席卷首创人兼CEO Jonathan Ross,年突曾设想完成第一代TPU芯片的出英出国务工哪个国家最赚钱中心元件。

Groq选择了全世界首个LPU(Language Processing Unit)计划,伟达旨在制胜算计密度和内存带宽的模推秒瓶颈,最终完成大模子推理性能比其余云平台厂商快18倍。理芯据引见,逾越英伟达GPU需要约莫10到30焦耳能力天生赞同中的喊话tokens,而Groq仅需1到3焦耳,年突使得推理速率提升了10倍,出英利润下降特别之一,伟达性价比提升了100倍。模推秒新加坡出国劳务怎么样

Groq​大模子推理芯片每秒500tokens逾越GPU,喊话三年突出英伟达 逾越了泄露GPU和谷歌TPU

Groq的芯片选择14nm制程,搭载了230MB大SRAM以确保内存带宽,片上内存带宽高达80TB/s。在算力方面,该芯片的整型(8位)运算速率为750TOPs,浮点(16位)运算速率为188TFLOPs。鉴于自研的新加坡出国劳务费用TSP架构,Groq应用机械学习职责负载的并行性对推理停止减速,并支援通过PyTorch、TensorFlow等规范机械学习框架停止推理。

Groq公司在演示中展现了其芯片的壮大性能,支援Mixtral8x7B SMoE、Llama2的7B和70B等多种模子,并可直接体验Demo。不只云云,Groq还喊话各至公司,扬言在三年内逾越英伟达。该公司的推理芯片在第三方网站上的售价为2万多美圆。

Groq公司以其立异的LPU计划和逾越性能的大模子推理芯片,成为大模子推理畛域使人注视的新兴气力,出国劳务引领着手艺的缓慢生长。

Groq产物的特征亮点以下:

1. API走访速率极快:Groq提供了API密钥,能够走访天下上最快的开源庞大语言模子(LLM)推理速率。他们的实现在Anyscale的LLMPerf Leaderboard上展现了相较于云效劳提供商高达18倍的推理性能。

2. 支援开源LLM模子:*Groq支援Llama2-70B和7B,这两个由Meta AI建立的抢先的开源前提LLM模子。这些Groq完成运用4096的左右文长度。

3. 支援其余模子:*除了Llama系列外,Groq还支援Mixtral8x7B,由Mistral AI建立,可依据要求提供。其余模子如Mistral和CodeLlama也可依据一定客户要求提供。

4. 收费试用期: 提供为期10天的收费试用期,能够依据要求停止刷新。在试用时期,用户将赢得100万收费令牌,而且API与OpenAI API整体兼容。

5. 价值确保: Groq确保以击败一切已宣布的响应模子的百万令牌价值。他们的定价相看待较低,能够提供更具协作力的效劳。

6. 早期走访意图: Groq提供了Alpha版本的API的早期走访意图,收费供钻研和开辟手段运用。团体可用性意图于2024年第二季度。

7. 高性能硬件支援: Groq引擎(LPU™ Inference Engine)在性能上优越,通过硬件支援完成了18倍于云效劳提供商的LLM推理性能。

Groq产物以其卓越的推理性能、对多种开源LLM模子的支援以及拥有协作力的价值政策等特征,成为一个引人注视的选择。

项目入口:https://top.aibase.com/tool/groq

日本留学

分享到: