搜尋盲區一頁版 — 4 工具能力地圖 + 工具選用規則 + Python 跑分模板

給認真用 AI 找資料的人。一張表帶走「6 個常用搜尋工具的盲區」+「下次該選哪個」+「怎麼自己驗證」的紀律。 留言關鍵字：搜尋盲區 來源：N 在 ai-curator 自己拉的 28 題 × 14 種題目 × 3 個工具 PK + 3 題對照組驗證（2026-05-08）。

Part 0 — 6 個工具我這年用過的真實位置

STEP 01下次選工具直接看這張

拼完兩場 PK 改掉的工具選用規則

不要用的

• ❌ 自己拼的「對抗式拼裝」（第二場 PK 證明輸 1.58 分 + 會自信地寫錯數字）
• ❌ Voyage 排序器「只看標題 + 網址」（沒戰場、需要拼出「抓全文 + 排序」流程才解鎖）
• ❌ Tavily 當預設搜尋（廣告 vs 實測倒數第一）

STEP 02兩條紀律（這比工具表更重要）

紀律 1：選工具不靠官網廣告、自己拉去 PK

廠商定位常常是「越大聲越要小心」 — 講越大聲、實測落差越可能大。

實測案例：

• Tavily 官網「為 AI 設計的搜尋」→ 實測完整度 1.54/5 倒數第一
• Voyage 廣告「200M tokens 永久免費」→ 沒填付款方式 = 3 RPM / 10K TPM 隱藏限制、不能用
• Anthropic 自帶搜尋沒大力宣傳 → 第二場 PK 4.83/5 全勝

實用 SOP：

1. 評估新工具不准只看 README / 定價頁 / 廠商 demo
2. 選 5-10 題你真實會用的問題拉一場 PK
3. 對比至少 2-3 個工具（含「最簡單的既有方法」當對照組）
4. 用獨立 AI 評分（不要 Claude 評 Claude / Gemini 評 Gemini）
5. 結果存進個人知識庫、定期重跑（工具會進化）

紀律 2：自己拼的也要驗證

這條比紀律 1 更重要、更難執行。

實測案例：

• 我自己設計的三層工具選用規則 + 對抗式拼裝、邏輯聽起來合理
• 預期勝過 Anthropic 自帶搜尋
• 拉第二場 PK：3 題全敗、輸 1.58 分、其中一題自信地寫錯五倍誤差
• 設計撤回

自己拼的東西自己會偏愛、是天性。這在自我設計場景特別嚴重。

強制機制：

1. 任何「我設計的更聰明的方法」不准直接 deploy
2. 必拉一場 PK：對照組 = 既有方法 / 新方法 = 你的設計
3. 至少 3 題 / 新方法（不同題目類型）
4. 用獨立 AI 評分
5. 顯著贏出 = 平均 ≥ 對照組 + 0.5 分（5 分制）才能採用
6. 沒贏出 = 撤回設計、誠實寫進復盤留歷史軌跡、不要因為「沉沒成本」強行採用

STEP 0328 題第一場 PK 完整數據

設計

• 14 種題目 × 2 題/種 = 28 題
• 3 工具：Gemini 搜尋（gsearch） / Grok 搜尋（grok-search） / Tavily 搜尋
• AI 評分：Gemini 2.5 Pro 評完整度 / 具體度 / 出處可驗證度（0-5 分）
• 程式判：出處信度（白名單） / 時敏度（解日期 regex） / 速度

整體分（28 題平均）

14 種題目贏家分佈

STEP 04第二場 PK 完整數據（自己拼的方法翻車記）

設計

• 3 個硬骨頭題目（找原話 / 競品深度 / 核對事實基準題）
• 3 個方案：A 自帶搜尋 / B Gemini 搜尋單跑 / C 我自己拼的
• 同一個 AI 評分、4 個面向：完整度 / 具體度 / 出處可驗證度 / 整理品質

每題分數

m6 我拼的方法完整度 1/5 — 因為合成 AI 把 Claude 4.7 一次能讀字數寫成 200K（真實 1M、差五倍）。自帶搜尋答對。

平均分

為什麼自己拼的會輸

1. 排序器只看標題 + 網址 + 300 字摘要、沒看內文 — 排序基於不充分資訊
2. 合成 AI 也沒原文、只能照標題編答案 — m6 自信地寫錯就是這樣產生
3. Anthropic 自帶搜尋已經做完「全文 + AI 看內容 + 整理重點」全套、自己拼的重做但少了最關鍵那步

真正能 work 的拼裝方法（未來探索）

題目 → Gemini 搜尋 + Grok 搜尋（拿到大概 30 條出處）
     → Firecrawl 把前 30 條全文抓回來  ← 關鍵步驟
     → Voyage 排序器看「題目 vs 全文」排第二輪 → 拉前 10 條
     → Claude/Gemini 看著前 10 條全文合成最終答案

需要 Firecrawl 月費方案（19 美金）+ 60-120 秒等待 + 跟自帶比是否真贏還要再拉一場 PK。不確定值不值得、暫時擱置。

STEP 05自己拉 PK 的 SOP（你可以複製）

Step 1：題目集（5-10 題真實會用的）

從你過去 30 天真的查過的東西採樣。不要用「我覺得讀者會問的」假題。

候選類型參考：

• 類型 A — 對標研究：「[對標 KOL] 最近寫什麼」
• 類型 B — 新工具發布：「[工具] 2026 新功能」
• 類型 C — 行銷/成長：「[平台] 演算法 2026 改動」
• 類型 D — 技術深度：「[概念 A] 跟 [概念 B] 差別」
• 類型 E — 時敏：「[事件] 2026 重點」

Step 2：評分面向（建議 3-5 個正交面向）

AI 評分（主觀解讀）：

• 完整度：答案涵蓋預期答案的完整度
• 具體度：具體事實 vs 泛論
• 出處：source 是否可驗證

程式判（量化客觀）：

• 出處信度：domain 白名單分級
• 時敏度：時敏題回的 2026 內容比例
• 速度：subprocess 計時

Step 3：runner 腳本模板（Python）

import json, subprocess, time
from concurrent.futures import ThreadPoolExecutor, as_completed

def run_tool(tool: str, query: str) -> dict:
    t0 = time.time()
    res = subprocess.run([tool, query], capture_output=True, text=True, timeout=120)
    return {
        "tool": tool, "query": query,
        "ok": res.returncode == 0,
        "latency": round(time.time() - t0, 2),
        "answer": json.loads(res.stdout).get("answer", ""),
        "sources": json.loads(res.stdout).get("sources", []),
    }

TOOLS = ["gsearch", "grok-search"]  # 加你要對比的工具
QUERIES = [...]  # 你的 5-10 題

for q in QUERIES:
    with ThreadPoolExecutor(max_workers=len(TOOLS)) as ex:
        futures = {ex.submit(run_tool, t, q): t for t in TOOLS}
        for f in as_completed(futures):
            print(f.result())

Step 4：AI 評分提示詞模板

你是搜尋工具評審。N 家工具回答了同一題、請依下表打分（0-5 分）。

# 題目
{query}

# 預期答案應該包含
{expected_facts}

# 工具 A 答案
{tool_a_answer}
{tool_a_sources}

# 工具 B 答案
...

# 評分面向（0=完全沒做到、3=及格、5=完美）

1. 完整度：答案涵蓋預期答案的完整度
2. 具體度：具體事實 / 數字 / 名稱 / 引用 / 日期 vs 泛論
3. 出處可驗證度：source 是否可驗證（raw URL、清楚出處）

# 輸出格式（嚴格 JSON）
{"tool_a": {"coverage": <0-5>, "specificity": <0-5>, "citation_rigor": <0-5>, "note": "<40 字內理由>"},
 "tool_b": {"coverage": <0-5>, "specificity": <0-5>, "citation_rigor": <0-5>, "note": "<40 字內理由>"}}

工程紀律：

• 評分用獨立 AI（不要 Claude 評 Claude）
• 超時 240 秒（長提示詞 5-10K 字會超 120 秒）
• try/except 包單次呼叫（一次失敗不該殺整個 batch）
• JSON parser 帶 fallback（剝 ``` markdown / 抓第一個 {...} bracket）

Step 5：對比結果 + 撤回紀律

跑完看新方法的平均分：

• 顯著贏出對照組（≥ 0.5 分）→ 採用、寫進工作守則
• 沒贏出 / 輸 → 撤回設計、寫復盤、不要因為「沉沒成本」強行採用

STEP 06Voyage 排序器用法 + 失效原因（給想拼裝的人）

Voyage 排序器 API 模板

import requests

def voyage_rerank(query: str, documents: list, top_k: int = 10) -> list:
    res = requests.post(
        "https://api.voyageai.com/v1/rerank",
        headers={"Authorization": f"Bearer {VOYAGE_API_KEY}"},
        json={
            "query": query,
            "documents": documents,
            "model": "rerank-2.5",
            "top_k": top_k,
        },
        timeout=30,
    )
    return res.json()["data"]

隱藏限制（沒人講的事）

• 「200M tokens 永久免費」是真的、但沒填付款方式 = 3 RPM + 10K TPM 嚴重限制
• 撞 TPM = 整個 batch 卡住
• 解：在 Voyage billing page 填張卡（即使在免費額度內也要）

Voyage 真價值在哪

不在「只看標題 + 網址排第二輪」（這場 PK 證明失效）。 在「Firecrawl 抓全文後 + Voyage 排序」流程 — 排序器有原文可看、才有用武之地。

完整原始數據 + 腳本

GitHub gist 暫不公開（這是我自己拼的工具集）。 有興趣個別場景我可以單獨對話分享 — Threads DM「搜尋盲區」我直接傳給你。

給認真想拉 PK 的你

兩條紀律我希望你帶走：

1. 選工具不靠官網廣告、自己拉去 PK
2. 自己拼的也要驗證

第二條比第一條難 — 自己誇自己是天性、需要強制機制打斷。

下次當你想設計一個「更聰明的方法」之前， 先問自己：對照組是什麼？我憑什麼認為這比對照組強？

如果答不出第二題、別 deploy。先拉一場 PK。

— N