Groq-全球速度最快的大模型推理服务

Mrzhu17小时前1
最近Groq推出了一款免费在线大模型推理服务平台,借助于自研的AI芯片LPU,每秒能够输出近 500 个 token。相比之下,ChatGPT-3.5 每秒生成速度仅为 40 个 token。...