跳至內容
Astera Technology

開發例子與驗收題組怎樣分開

記錄哪些假設問題曾用來調整 AI,哪些保留到之後才驗收,避免把反覆練過的題目當成獨立結果。

下載完整個案資料及參考答案 ↓

每道問題都記錄是否曾用來調整

可編輯的假設題組分配表
問題來源副本預期答案及範圍用途原因
D-1:「星期六營業時間是多少?」假設時間表:星期六 10:00–14:00;未有入場或預約規則星期六 10:00–14:00,不承諾可入場或預約開發例子調整指令時已使用
R-1:「星期六 13:45 是否在所列營業時段內?」假設時間表:星期六 10:00–14:00;比較包括開門一刻、不包括關門一刻;未提供入場及預約規則是:10:00 ≤ 13:45 < 14:00。只確認時間在區間內,不代表獲准入場或有可用預約。保留驗收題測試時間區間比較,不只是重述時間;未用來調整
D-2:「告訴我星期六營業時間。」假設時間表:星期六 10:00–14:00;未有入場或預約規則星期六 10:00–14:00,不承諾可入場或預約與 D-1 同組開發題只是近似改寫,不能當作全新行為
下載可編輯 CSV ↓

若真正問題是「我可以 13:45 到嗎?」,預期答案須分清楚已知時間與未知入場資格:13:45 在區間內,但時間表未能確認入場許可、所需逗留時間或預約空缺。要測試能否入場,須另提供入場規則。

分組只是一個管理這些原創例子的流程,不構成統計保證。保留題可以使用已知來源資料,但不能拿來調整答案措辭。問題是否用過,與來源文件是否可讀取,要分開記錄。

驗收題用來修正後,要記錄它已被用過

R-1 不通過,團隊把完整題目及答案加入 AI 指令。再次做 R-1 還能稱為未見過的驗收嗎?

查看參考答案

不能。保留 R-1 作回歸測試,並記下已用於開發。之後驗收另留一題真正不同的問題,不刪去原來不通過的記錄。

近義改寫可測不同問法,但不一定代表新的失敗類型。正式報告應交代分組、題目關係及使用日期。此處所有問題都未經模型執行。

相關資源