每道問題都記錄是否曾用來調整
| 問題 | 來源副本 | 預期答案及範圍 | 用途 | 原因 |
|---|---|---|---|---|
| D-1:「星期六營業時間是多少?」 | 假設時間表:星期六 10:00–14:00;未有入場或預約規則 | 星期六 10:00–14:00,不承諾可入場或預約 | 開發例子 | 調整指令時已使用 |
| R-1:「星期六 13:45 是否在所列營業時段內?」 | 假設時間表:星期六 10:00–14:00;比較包括開門一刻、不包括關門一刻;未提供入場及預約規則 | 是:10:00 ≤ 13:45 < 14:00。只確認時間在區間內,不代表獲准入場或有可用預約。 | 保留驗收題 | 測試時間區間比較,不只是重述時間;未用來調整 |
| D-2:「告訴我星期六營業時間。」 | 假設時間表:星期六 10:00–14:00;未有入場或預約規則 | 星期六 10:00–14:00,不承諾可入場或預約 | 與 D-1 同組開發題 | 只是近似改寫,不能當作全新行為 |
若真正問題是「我可以 13:45 到嗎?」,預期答案須分清楚已知時間與未知入場資格:13:45 在區間內,但時間表未能確認入場許可、所需逗留時間或預約空缺。要測試能否入場,須另提供入場規則。
分組只是一個管理這些原創例子的流程,不構成統計保證。保留題可以使用已知來源資料,但不能拿來調整答案措辭。問題是否用過,與來源文件是否可讀取,要分開記錄。
驗收題用來修正後,要記錄它已被用過
R-1 不通過,團隊把完整題目及答案加入 AI 指令。再次做 R-1 還能稱為未見過的驗收嗎?
查看參考答案
不能。保留 R-1 作回歸測試,並記下已用於開發。之後驗收另留一題真正不同的問題,不刪去原來不通過的記錄。
近義改寫可測不同問法,但不一定代表新的失敗類型。正式報告應交代分組、題目關係及使用日期。此處所有問題都未經模型執行。