Workers AI

这一课你将能做到

1. 在 Worker 中调用 Workers AI 完成文本生成、分类、翻译、向量嵌入
2. 使用 AI Gateway 统一代理多家 AI 提供商（OpenAI、Anthropic、Workers AI）并实现缓存和限流
3. 结合 Vectorize 构建语义搜索 / RAG 应用

为什么要学

你想给本站 Next.js 前端加一个「AI 智能问答」功能。传统做法是前端调用你的 Next.js API Route，API Route 再转发到 OpenAI，链路是：用户 → Cloudflare CDN → 你的服务器 → OpenAI。这一圈下来延迟高、成本高、还暴露了你的 API Key。

人话：Workers AI 让你直接在边缘跑模型推理——Llama、Mistral、BGE 嵌入模型，一行绑定调用，不用管 GPU、不用管 API Key 泄露、不用跨洋调用。再配合 AI Gateway，你可以把 OpenAI、Anthropic、Workers AI 统一成一个网关，做缓存、限流、监控、Key 池管理。

先建立图像

传统 AI 调用:                          Workers AI + AI Gateway:

[浏览器]                                 [浏览器]
   │                                        │
   ▼                                        ▼
[Next.js API Route] ──> [OpenAI]         [Cloudflare Edge Worker]
(你的服务器)                                  │
   │ 跨洋调用                          ┌─────┴─────┐
   ▼                                   ▼           ▼
美国 OpenAI 机房                   [Workers AI]  [AI Gateway]
延迟 300ms+                        (边缘推理)      │
                                              ├──> OpenAI
                                              ├──> Anthropic
                                              └──> Workers AI
                                              (缓存/限流/Key池)

跟着做

步骤 1：绑定 Workers AI

wrangler.toml：

[ai]
binding = "AI"

步骤 2：调用 LLM 生成文本

export interface Env {
  AI: Ai;
}

export default {
  async fetch(request: Request, env: Env): Promise<Response> {
    const { prompt } = await request.json();
    
    const response = await env.AI.run('@cf/meta/llama-3.1-8b-instruct', {
      messages: [
        { role: 'system', content: 'You are a helpful assistant.' },
        { role: 'user', content: prompt },
      ],
      max_tokens: 512,
    });
    
    return Response.json(response);
  },
} satisfies ExportedHandler<Env>;

步骤 3：生成向量嵌入

const embedding = await env.AI.run('@cf/baai/bge-base-en-v1.5', {
  text: 'Cloudflare Workers is a serverless platform',
});
// embedding.data 是一个 number[][]，可以存入 Vectorize

步骤 4：创建 Vectorize 索引

npx wrangler vectorize create my-embeddings --dimensions=768 --metric=cosine