速度比GPU快10倍,初创公司Groq推出的LPU火出圈
科技IT 2024-02-21 yu66841
如今,AI芯片市场主要由英伟达主导,H100也公认是训练大语言模型最需要的GPU。
然而,AI市场在被看好的同时,微软、谷歌、AMD、英特尔等巨头也纷纷发力AI芯片业务。
就在大家纷纷发力AI芯片业务的时候,初创公司Groq推出新型的自研芯片的消息,更是赚足了眼球。
据悉,这款LPU(Language Processing Unit)自研芯片主要用于大模型推理加速,而Groq是一家由谷歌TPU团队的成立的初创公司。
LPU芯片推理速度较英伟达GPU提高10倍、成本只有其1/10;运行的大模型生成速度接近每秒500 tokens,碾压ChatGPT-3.5大约40 tokens/秒的速度。
根据Anyscale的LLMPerf排行显示,在Groq LPU推理引擎上运行的Llama 2 70B,输出tokens吞吐量快了18倍,优于其他所有云推理供应商。
同时,根据Anyscale的LLMPerf排行显示,在Groq LPU推理引擎上运行的Llama 2 70B,输出tokens吞吐量快了18倍,优于其他所有云推理供应商。
The End
相关阅读
- CES 2024: 聚积科技LED驱动芯片引领汽车照明和显示的升级
- 比特早报:上海市新增6款生成式人工智能服务,SK集团将讨论业务重组措施
- 我国百余家单位联合共建“太空云”生态,推动天基信息服务智能化
- 荣耀加冕!荣湃半导体荣获VDE颁发“最具竞争力合作伙伴奖”
- 国安达:2024年公司将重点布局工商业储能与海外储能消防市场
- 比特周报:2024年全球AI芯片收入将增长33%,华为鸿蒙系统市场份额超越iOS
- 工信部:加快突破GPU芯片等关键核心技术
- Kulicke & Soffa推出用于功率半导体应用的Asterion-PW 用SonotrodeTM重新定义Pin互连技术
- 新思科技推出业内首款获得ISO/SAE 21434网络安全合规认证的IP产品,加速汽车安全领域发展
- 新能源领域佼佼者 阳光新能源阳光充电站荣获多项大奖