AI 主理人
免費資源

Claude更新

常駐規則刪了怕出事、留著又拖慢,用 15 分鐘 A/B 測出哪些該留

15 分鐘 AI 指令消融測試卡

給設定越堆越多的人閱讀+複製

為什麼這樣做?看原文《模型升級後,80% 的 skills 都可以刪掉?Boris 真正教的是怎麼測》

HAND IT TO YOUR AI

把《15 分鐘 AI 指令消融測試卡》交給你的 AI

它會收到:請照著它一步一步帶我做;每一步做完先等我回覆再繼續。

用低風險 A/B 找出哪些 CLAUDE.md、skills 與 hooks 真的必要。含最小任務合約、A/B 記錄表、規則加回證據欄與判讀方式。

WHAT'S INSIDE

這份包含5 項
  • 開始前安全檢查:備份設定、保留權限與不可逆操作閘門
  • A 組/B 組的正確、遺漏、返工、時間記錄表
  • 可直接貼給 AI 的繁中最小任務合約
  • 只有重複失敗才加回規則的證據模板
  • 四種結果的判讀與下一步

THE GUIDE

這不是「刪光設定」清單。它是一個低風險、可回復的 A/B,用來找出哪些常駐指令真的必要。

開始前

  • 選一個低風險、可重跑的日常任務。
  • 寫下可檢查的正確答案、必要欄位或完成樣本。
  • 備份現有 CLAUDE.md、skills、hooks。
  • 保留安全、權限、法遵與不可逆操作閘門。
  • 不用客戶資料、機密資料、付款、發布或正式環境做第一次測試。

A 組|現有設定

用原本的全部規則跑一次,記錄:

指標結果
正確項目
遺漏項目
需要人工修正
完成時間
是否能自行驗證

B 組|最小任務合約

把以下模板貼給 AI:

可複製內容
任務:[要完成的成果]

必要脈絡:[只有這次任務需要知道的事實]

護欄:
- [不能碰的資料、系統或行為]
- 不確定時標成假設,不自行補成事實

完成條件:
- [可檢查的欄位、格式或品質標準]

驗證方式:
- [測試、比對、截圖、來源或預期輸出]
- 交付前自行檢查並列出未通過項目

用相同指標記錄 B 組。

只加回有證據的規則

只有在同一錯誤至少重複兩次,而且 verifier 不能直接抓到時,才考慮把一條規則加回常駐設定。

每條規則旁邊寫:

可複製內容
規則:
來源失敗:
重現日期:
為何不能改成測試/hook/path-scoped rule:
下次重測日期:

判讀

  • B 更快且同樣準:舊規則可能可以移除或改成按需載入。
  • B 更快但較不準:只加回對應失敗的最小規則或 verifier。
  • A 明顯較好:保留規則,但把理由與重測日期寫清楚。
  • 兩組都差:先改善任務、資料與驗證方法,不要繼續堆常駐指令。

建議每次主要模型換代、或每六個月重跑一次。

想留在自己的資料夾,再下載 Markdown 原檔。

NEWSLETTER

下一份免費資源,寄到信箱

每月一封:我這個月的分工表、最值得動手的說明書,和只在信裡的加碼。

隨時一鍵退訂看過去的信《隱私權政策》

來自這篇文章:《模型升級後,80% 的 skills 都可以刪掉?Boris 真正教的是怎麼測》

想把這份說明書改成你們團隊的版本?聯繫合作