AI 能終結 UI 自動化的噩夢，還是讓我們掉入「瞎猜」的陷阱？

作者：柯仁傑（三叔公）

在軟體測試圈，UI 自動化（UI Automation）一直是大家又愛又恨的技術。傳統工具（Selenium, Cypress）太脆弱，前端改個 ID、網路稍微延遲，測試就崩潰。最近 AI Agent 框架和工具大紅，有些號稱能「自我修復」並解決所有 Timeout 問題，這真的代表 RD 與測試工程師從此能高枕無憂嗎？

我認為，這背後隱藏著一個巨大的「信任危機」。

當 AI 幫你「撐過」測試，它可能是在幫軟體遮醜

傳統腳本失敗是因為它「笨」，但笨得很老實。而 AI 的核心邏輯是機率與推理，這帶來了幾個致命問題：

1. 它是「精準定位」還是「靠賽盲猜」？ 

當 AI 發現原本的按鈕 ID 變了，它會根據語意（視覺或文字）去找「看起來最像」的東西點下去。如果開發者不小心誤植了兩個相似的按鈕，AI 可能點了錯誤的那個，卻回報測試成功。這種「誤判」比直接報錯更可怕，因為它掩蓋了真正的 UI 迴歸。

2. Timeout 的消失：智慧等待還是效能殺手？ 

AI 確實能觀察頁面加載狀態，不會死板地報時限錯誤。

如果頁面載入從 2 秒退化到 10 秒，AI 透過「智慧重試」最後成功點擊了。對 AI 來說測試通過了，但對用戶來說效能已經崩潰。AI 正在無形中拉長測試回饋循環，並讓我們對系統的遲鈍變得麻木。

3. 不可重現的「黑箱測試」 

科學測試講求可重現性。但 AI Agent 的行為具有機率性，今天成功不代表明天能用同樣的路徑成功。當測試結果變得像「抽籤」，團隊對測試報告的信任度就會降到冰點，最終淪為狼來了效應。

我們該如何正確看待 AI 輔助測試？

我們不必否定 AI 的潛力，但要認清它無法從物理上消除 UI 的不穩定。它把原本「脆弱的玻璃」變成了「有彈性的橡膠」，但橡膠拉久了還是會斷。

目前最務實的 AI 應用策略：

• 從「接管」轉向「診斷」： 讓 AI 發現問題後，回報「我猜這個按鈕變了」供人類確認，而非私自修改腳本。
• 拒絕掩耳盜鈴： 即使有 AI 輔助，Timeout 的監控依然重要。我們需要 AI 區分「那是 DOM 結構改變」還是「後端 API 效能退化」。
• 回歸測試金字塔： 無論 AI 多強，UI 測試依然應該保持精簡。核心邏輯應鎖定在更穩定的 API 測試，而高階的觀察則留給 Exploratory Testing（探索性測試）。

AI 確實能接手大量的執行工作，但「品質決策」的責任依然在人身上。在 Agent 時代，RD 的價值不再是寫幾行 Selector，而是如何編排這些 AI 工具，並保持對系統細微變化的敏銳度。

你認為讓 AI 幫你「修復」測試腳本是省時，還是增加了未來維護的風險？