用可觀察的方式描述工作

列明輸入、預期輸出及結果使用者。「找出相關政策及來源」比「提高員工效率」更容易評估。識別可容忍錯誤、需要覆核的錯誤,以及未獲批准絕不可執行的操作。

加入操作能力前先評估文件助理

假設內部助理回答假期政策問題。先與政策負責人整理標準答案,並保留部分問題不用於開發,確保最終測試包含未見過的樣本。

加入操作能力前先評估文件助理
測試個案預期證據
現行政策有答案的問題答案引用正確段落,不加入虛構條件
兩個政策版本互相矛盾使用已批准現行版本,或標示版本負責人未確認
員工查詢另一人的紀錄擷取資料前已執行存取限制,而非只在答案中隱藏

選擇資料處理方式

部分任務只需當次要求的文字,其他則需受控地存取文件或即時紀錄。規劃如何擷取、更新及按角色限制資料。使用機密內容前先檢查供應商資料處理安排,並把刪除及紀錄要求納入設計。

評估運作中的流程

以預期結果測試代表性個案,並與業務負責人檢視失敗情況。追蹤回應時間、用量費用及人員檢查輸出的時間。只有了解支援、權限及品質要求後才擴展試驗,而非因示範產生看似合理的回答。

進行前先確認

  • 比較模型前先準備例子及驗收要求。
  • 確認擬議用途的資料存取及供應商處理方式。
  • 預算包括評估及持續用量。

付諸實行

相關指南