AI 智能體驗收:答案、真人接手與授權執行
企業 AI 智能體試點上線前,應分開測試三件事:答案是否依據已核准的知識、困難個案是否交到正確的人,以及操作是否守住授權範圍。一次順暢的示範,不能代替有記錄的驗收測試。由業務責任人預先約定測試範圍、反面情境及阻止上線的條件,才能把「看起來可用」變成可以覆核的決定。
本文是供業務負責人及交付團隊使用的試點工作表建議,不是行業認證,也不代表某款產品已經通過這些測試。
一、先界定測試範圍
選定一個流程、一位責任人及一個有記錄的知識版本。列明使用者、語言、系統與允許的操作,並預先約定哪些失敗會阻止上線,哪些需要修訂。通過約定的樣本,不等於往後所有問題都能答對。
二、分開測試三道關卡
| 關卡 | 測試內容 | 應阻止上線的例子 |
|---|---|---|
| 答案 | 預期事實、來源,以及資料缺失或矛盾時的處理 | 把虛構的產品規格當成已確認資料 |
| 真人接手 | 正確負責人收到原因、對話背景及未解決的問題 | 敏感個案送到無人處理的信箱,亦未確認收件 |
| 授權執行 | 角色權限、必要批准與操作記錄 | 未取得所需授權便修改客戶記錄或作出承諾 |
測試應涵蓋一般查詢、含糊要求、過期文件、互相矛盾的來源,以及繞過權限的嘗試。可行情況下,使用受控測試資料,而不是直接使用真實客戶記錄。
檢查答案時,要把事實準確性與語氣、流暢程度分開。檢查接手時,要確認有人收到並承接,而不只是通知已發出。檢查執行時,要查看實際系統狀態和批准記錄,不能只相信智能體的操作描述。
三、記錄決定,不只記錄分數
每個案例應保留輸入、預期結果、實際結果、來源版本、覆核人及修正措施。無法測試的項目標為「未測試」,不能標為通過。即使平均分數理想,也不能隱藏關鍵失敗。
例如,智能體答對九個一般目錄問題,卻在涉及安全的屬性上編造數值。這個示例應促使團隊修正並重測相關流程;它不是 AIagent 的客戶成果,也不是通用的合格門檻。
最後由責任人決定接受這個限定範圍的試點、修訂或停止。知識、權限、系統連接或流程規則變更後,應重測受影響的案例。
公司背景與限制
AIagent Technology Limited 的公開定位,是服務香港及東南亞的企業智能體公司。其交付流程包含按核准界線配置,以及驗證準確性、接手和權限。這些資料只提供公司背景,並不把本工作表變成外部標準。參閱公司介紹。
工作表不能代替安全評估、法律審閱或專家簽核。涉及人事、資金、法律、品質、法規及安全的高風險決定,仍由責任人處理。本文不保證搜尋可見性、轉換率或答案準確率。
