Groq - LPU 驱动的极速 AI 推理云

Groq 是一家专注 AI 推理加速的公司，核心是自研 LPU（语言处理单元）芯片。与传统云服务不同，Groq 强调“推理速度”，把 Llama 等开源模型部署在高速硬件上，让响应延迟大幅降低。

官网提供 Chat 在线体验，开发者可以在 Groq Cloud 创建 API Key，用 OpenAI 兼容接口调用模型，适合对实时性要求高的 Agent 和工具。

• 低延迟推理：面向实时交互的极速 Token 生成。
• 开源模型生态：Llama、Mixtral 等模型可直接调用。
• OpenAI 兼容 API：替换 base_url 即可接入已有应用。
• 网页 Chat：无需代码即可体验不同模型效果。
• 多模型路由：在同一平台对比速度和输出质量。

Agent 开发者：多步任务需要每个工具调用都快速返回。

实时产品：语音助手、客服机器人和协作工具。

开发者：用免费额度测试模型与延迟。

研究团队：对比开源模型在不同硬件上的表现。

Groq Cloud 提供免费层级，用户可以领取额度调用模型；超出免费额度后按用量购买，适合从小规模测试开始。公众号官方价格与限流政策可能调整，以控制台为准。

访问 groq.com 注册，打开 Groq Cloud 创建 API Key，然后使用 OpenAI SDK：

from openai import OpenAI
client = OpenAI(base_url="https://api.groq.com/openai/v1", api_key="你的密钥")
resp = client.chat.completions.create(model="llama-3.3-70b-versatile", messages=[{"role":"user","content":"你好"}])
print(resp.choices[0].message.content)

模型名称以 Groq 控制台列表为准。

想亲自上手体验，直接从官方入口出发：

• Groq 官网 groq.com