主页 > 科技IT

速度比GPU快10倍，初创公司Groq推出的LPU火出圈

科技IT 2024-02-21 yu66841

  如今，AI芯片市场主要由英伟达主导，H100也公认是训练大语言模型最需要的GPU。

  然而，AI市场在被看好的同时，微软、谷歌、AMD、英特尔等巨头也纷纷发力AI芯片业务。

  就在大家纷纷发力AI芯片业务的时候，初创公司Groq推出新型的自研芯片的消息，更是赚足了眼球。

  据悉，这款LPU(Language Processing Unit)自研芯片主要用于大模型推理加速，而Groq是一家由谷歌TPU团队的成立的初创公司。

  LPU芯片推理速度较英伟达GPU提高10倍、成本只有其1/10;运行的大模型生成速度接近每秒500 tokens，碾压ChatGPT-3.5大约40 tokens/秒的速度。

  根据Anyscale的LLMPerf排行显示，在Groq LPU推理引擎上运行的Llama 2 70B，输出tokens吞吐量快了18倍，优于其他所有云推理供应商。

  同时，根据Anyscale的LLMPerf排行显示，在Groq LPU推理引擎上运行的Llama 2 70B，输出tokens吞吐量快了18倍，优于其他所有云推理供应商。

The End
免责声明：本文内容来源于第三方或整理自互联网，本站仅提供展示，不拥有所有权，不代表本站观点立场，也不构成任何其他建议，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性不作任何保证或承诺，请读者仅作参考，并请自行核实相关内容,不承担相关法律责任。如发现本站文章、图片等内容有涉及版权/违法违规或其他不适合的内容， 请及时联系我们进行处理。
上一篇： Qorvo 将收购 Anokiwave 以拓展其在航天、卫星通信及 5G 等市场的业务范围

下一篇： 贸泽电子倾力打造新能源资源中心 为设计工程师提供丰富内容和值得信赖的产品

相关阅读

Copyright © 2099 搜索科技

苏ICP备2023036119号-10 |——：

|—— TXT地图 | 网站地图 |