速度比GPU快10倍，初创公司Groq推出的LPU火出圈

  如今，AI芯片市场主要由英伟达主导，H100也公认是训练大语言模型最需要的GPU。

  然而，AI市场在被看好的同时，微软、谷歌、AMD、英特尔等巨头也纷纷发力AI芯片业务。

  就在大家纷纷发力AI芯片业务的时候，初创公司Groq推出新型的自研芯片的消息，更是赚足了眼球。

  据悉，这款LPU(Language Processing Unit)自研芯片主要用于大模型推理加速，而Groq是一家由谷歌TPU团队的成立的初创公司。

  LPU芯片推理速度较英伟达GPU提高10倍、成本只有其1/10;运行的大模型生成速度接近每秒500 tokens，碾压ChatGPT-3.5大约40 tokens/秒的速度。

  根据Anyscale的LLMPerf排行显示，在Groq LPU推理引擎上运行的Llama 2 70B，输出tokens吞吐量快了18倍，优于其他所有云推理供应商。

  同时，根据Anyscale的LLMPerf排行显示，在Groq LPU推理引擎上运行的Llama 2 70B，输出tokens吞吐量快了18倍，优于其他所有云推理供应商。