跳至內容
Astera Technology

逐項判斷 AI 說法有依據、欠資料還是與來源不符

把混合答案拆成逐項說法,保留「預計」與「已完成」的分別,只對沒有依據的部分指出資料不足。

下載完整個案資料及參考答案 ↓

分清楚安排、依據和完成狀態

假設包裹備忘錄只有四項:M1「預計到達:14:00」;M2「尚未有收貨回條」;M3「獲授權領取人:Lea」;M4「未提供週末領取規則」。以下只按這些資料判斷,未執行 AI 測試。預計時間不等於已送達;欠回條也不能證明未送達。

可編輯的逐項說法判斷表
提供的依據問題或輸入預期結果
M1:預計 14:00 到達;M2:尚未有回條已經送到嗎?原定甚麼時間?預計 14:00 到達,實際是否送到仍未確認。回答已知部分,同時指出未確認部分。
M2:尚未有回條;沒有送達狀態紀錄沒有回條,是否代表肯定未送到?不是。現有依據未能確認已送到,也未能確認未送到。
M3:獲授權領取人 Lea獲授權領取人是 Max 嗎?按備忘錄不是 Max,列明的是 Lea。
M3:獲授權領取人 Lea;M4:未有週末規則誰獲授權?星期日可以領取嗎?列明的是 Lea;星期日可否領取未確認。規則未提供,不能自行推斷容許或禁止。
下載可編輯 CSV ↓

先判斷每項說法,再看整段答案

假設回答的資料範圍及拒答準則
假設回答判斷原因
預計 14:00 到達,是否送到尚未確認。有依據的資料,配合清楚的未確認範圍符合 M1 及 M2 的限制,沒有虛構已完成
應該已在 14:00 送到。沒有依據的完成說法加上「應該」也不能把預計時間變成送達證據
沒有回條,所以肯定未送到。沒有依據的否定結論M2 只代表欠證據,不是未送到的狀態紀錄
獲授權領取人是 Max。與已提供資料不符M3 明確列明 Lea
領取人和星期日安排我都不能回答。不必要地保留已知領取人資料M3 可支持回答 Lea,欠的只是星期日規則
下載可編輯 CSV ↓

答案寫「Lea 可以領取;已在 14:00 送到;星期日應該也可以」。要分開核對幾項說法?

查看參考答案

三項:M3 支持 Lea 獲授權;M1 只寫預計,不能支持已在 14:00 送到;M4 沒有規則,不能支持星期日可領取。保留有依據的一項,指出其餘兩項尚未確認。第一句答對,不代表整段通過。

以上是依據判斷,並非模型信心分數。「未確認」與「不符」要分開,否定說法也要有依據。本課處理逐項說法的判斷;另有工具編排個案,以及工作表計算各組分母。

相關資源