AI 智慧報告 v1 自我 critique + v2 簡化版

最關鍵的 3 個問題(老闆要看就看這)

1. 多了一層不需要的 Intent Classifier — 現代 tool-use LLM(Claude Sonnet)自己會選工具,加 Haiku 分類器只是省那一點點錢但增加延遲 + 多一個 fail point。除非規模到日 10 萬次以上才考慮。
2. 「Manifest JSON」是重造輪子 — 業界已有標準:OpenAI Structured Outputs / Anthropic Tool Use / Vercel AI SDK Generative UI。三家都解「LLM 回符合 schema 的結果,不亂畫」。直接用,不要自己定 manifest format。
3. NotebookLM 不是好對標 — NotebookLM 是 RAG-over-documents(餵 PDF 問問題)。真正接近 ChefsMate 想做的是 Tableau Pulse / Snowflake Cortex Analyst / Hex Magic / Hashboard(資料 BI + 自然語言 + 動態 widget)。

2 篇必讀

┌────────────────────────────────────────────────────────────────┐
│  Layer B — Renderer (Web / iOS)                                 │
│   - 對話介面 + 預設問題 chips                                    │
│   - 動態 component canvas(Vercel AI SDK Generative UI pattern) │
│   - Zod schema 限制 AI 只能輸出合法 component                    │
└──────────────────────▲─────────────────────────────────────────┘
                       │ Streamed UIResponse (schema-validated)
┌──────────────────────┴─────────────────────────────────────────┐
│  Layer A — Single LLM with Tools (Claude Sonnet 4)              │
│   - 一個 LLM call,參數帶 tools[] + outputSchema                 │
│   - tools[] = 既有 report-analytics 7 演算法 wrap + 新加 5 個   │
│   - outputSchema = Zod-defined UIResponse                       │
│   - 自動 tool_use(可能多輪)→ 最後輸出 UIResponse                │
└────────────┬─────────────────────────────────────▲─────────────┘
             │ tool calls                            │ tool results
             ▼                                       │
        ┌────┴──────────────────────────────────────┴────┐
        │  Tool Registry(各 tool = TypeScript function) │
        │   - 每個 tool 有 Zod input/output schema       │
        │   - RLS gate 在每個 tool 內                    │
        │   - 直接 query Supabase RPC,不過 manifest 層  │
        └────────────────────────────────────────────────┘

關鍵程式碼 sketch

// tools/registry.ts
const tools = {
  get_revenue_summary: {
    description: '取得指定期間總營收 / 客單價 / 來客數',
    input_schema: z.object({
      period: z.enum(['today', 'this_week', 'this_month', /*...*/]),
      restaurant_id: z.string().uuid(),
    }),
    execute: async (input, ctx) => {
      // RLS check + Supabase RPC
      return { revenue: 12345, guest_count: 45, ... }
    },
  },
  // 其他 tools...
}

// ui-schema.ts
export const UIResponseSchema = z.object({
  summary_md: z.string(),
  trust_label: z.enum(['high', 'medium', 'low', 'insufficient_data']),
  widgets: z.array(z.discriminatedUnion('type', [
    KPICardSchema,
    LineChartSchema,
    BarComparisonSchema,
    InsightCalloutSchema,
    DataTableSchema,
  ])),
  sources: z.array(z.object({ tool: z.string(), params: z.any() })),
  followups: z.array(z.string()).max(3),
})

// api/smart-report/ask.ts
export async function POST(req) {
  const { question, restaurant_id } = await req.json()

  // 一個 LLM call 搞定
  const result = await anthropic.messages.create({
    model: 'claude-sonnet-4',
    tools: Object.entries(tools).map(([name, def]) => ({
      name,
      description: def.description,
      input_schema: def.input_schema,
    })),
    messages: [
      { role: 'user', content: question },
    ],
    // 強制最終輸出符合 UIResponse schema
    // (Anthropic 用 prefill + tool_use 達同效;OpenAI 用 response_format)
  })

  // tool_use 結果丟回 LLM 直到他輸出 UIResponse
  // 整個過程是 streaming,UI 可以 progressive render

  return NextResponse.json(UIResponseSchema.parse(result.final_output))
}

跟 v1 比的好處

• 少一半 LLM call(沒有 classifier 中間層)
• 不重造輪子 — 用 Anthropic Tool Use 既有機制
• Zod schema 雙用 — Input validation + Output enforcement
• Streaming friendly — UI 可以邊接邊渲染,延遲體感更好
• 少 1 個 fail point(沒有 intent classifier 可能誤判)

1. 架構走 v1 還 v2?
   • v1(4 層,自製 manifest): 完整但慢、debug 難
   • v2(2 層,用 Anthropic Tool Use + Zod + Vercel AI SDK Generative UI): 推薦
2. MVP 第一版做哪 4 個 widget?
   • 建議 KPICard / LineChart / BarComparison / InsightCallout(70% 場景覆蓋)
3. LLM 用 Claude Sonnet 4 還是 OpenAI GPT-5?
   • 建議 Claude(我們已有 anthropic 整合經驗 + tool_use schema 穩)
   • 若有 OpenAI credit 也可,structured_outputs 更嚴格(token-level grammar)
4. Streaming UI 從第一天就做?(Vercel AI SDK 直接支援)
   • 建議是 — 體感差異大,免費 lift
5. Weekly digest email 排哪期?
   • Phase 1 MVP 直接做(週一早上自動寄前 7 天總結)— Tableau Pulse 殺手 feature
   • 還是 Phase 3 才做
6. Audit log + cost tracking 做不做?
   • 建議從 Day 1 做(便宜,但晚做要 retrofit 痛)

總結 — 老闆看這段就好

我的 v1 spec 方向對,但過度工程約 30-40%。真實業界做法更簡單:

1. 不要分 4 層,就 2 層:「Single LLM + Tools」直接生「UIResponse(Zod 限制)」
2. 不要自製 manifest 格式,用 Anthropic Tool Use + Vercel AI SDK Generative UI
3. NotebookLM 不是好對標 — 真正該對標 Tableau Pulse / Snowflake Cortex Analyst / Hex Magic
4. 從 4-5 個 widget + streaming UI + audit log + weekly digest email 開始,別一次做 12 個 widget
5. Trust score 別合成單一分數,讓老闆看具體 stats(90 天樣本 / Pearson r=0.61)+ 人話標籤

Phase 0 改 1 週可結束(原本估 1-2 週),因為大部分基礎設施都不用自造:

• Anthropic SDK 已有完整 tool_use(現成)
• Vercel AI SDK 已有 Generative UI(現成)
• Zod 已是 ChefsMate 用的 validation lib(現成)
• report-analytics 7 演算法(現成)
• 只剩:wrap tools + 寫 4 個 React widget + 接 prompt + audit log

等老闆回答上面 6 個問題,可以 1-2 週內出 MVP demo。