伏羲實驗室國內(nèi)首創(chuàng)AI技術(shù) 助力智能化任務(wù)回歸測試

伏羲實驗室一直以來致力于用人工智能點亮游戲未來，而這次，伏羲又將目光投向游戲測試領(lǐng)域，全力打造“智能任務(wù)回歸測試”。

此次伏羲實驗室與雷火測試中心的合作，可以為游戲測試環(huán)節(jié)節(jié)省大量的人力、財力、物力：減少重復(fù)勞動，提高測試效率，QA得到了一定程度的解放。在機(jī)器與技術(shù)的幫助下，人得以更高效地做更有意義的事情——這是伏羲一直以來的初衷與愿景。

你能想象在游戲測試上花費的時間已經(jīng)可以從“周/天”的單位直接縮減為“小時”嗎？

你能想象游戲測試工程師(QA）只需用3周時間就能完成一款mmorpg游戲近400個任務(wù)的接入嗎？

你能想象AI能幫助每天定時對3個build版本進(jìn)行全天候回歸，不放過任何一個可能的問題嗎？

這次伏羲團(tuán)隊努力的結(jié)果將對游戲測試行業(yè)帶來不小的增益。在“精簡”與“高效”的理念下，團(tuán)隊將任務(wù)回歸測試建模成序列決策問題，從而可以借用強(qiáng)化學(xué)習(xí)等AI技術(shù)來解決相關(guān)問題。通俗來說，此項創(chuàng)新最直接的效果便是今后在任務(wù)測試上只需要花費一頓飯的時間，AI就能幫助QA完成所需工作。

通過伏羲×雷火的此番新嘗試，智能任務(wù)回歸測試的四大新優(yōu)勢得以凸顯：

1、效率高，節(jié)省時間和人力

2、任務(wù)覆蓋率高

3、任務(wù)變更、新增自動覆蓋

4、易集成到現(xiàn)有的任務(wù)測試框架

總而言之，對比腳本任務(wù)回歸，伏羲實驗室成功實現(xiàn)了大幅提升任務(wù)回歸效率的最初愿景，將回歸所需時間進(jìn)行了縮減，真正做到為QA減負(fù)。

伏羲實驗室打造智能任務(wù)回歸測試

那么，接下來讓我們具體了解伏羲如何打造“智能任務(wù)回歸測試”。

一、創(chuàng)意鋪墊與來源

近年來，AI技術(shù)浪潮在游戲領(lǐng)域已經(jīng)大有表現(xiàn)，伏羲實驗室也緊跟時代熱點和未來導(dǎo)向，致力于用人工智能點亮游戲未來。

在此之前，伏羲實驗室已陸續(xù)推出伏羲強(qiáng)化學(xué)習(xí)AI、伏羲智能捏臉、伏羲游戲反外掛等，AI加盟游戲領(lǐng)域的效果好評如潮。既然如此，AI是否又可應(yīng)用在游戲測試領(lǐng)域，幫助解決游戲測試固有的繁雜難題呢？

伏羲實驗室打造智能任務(wù)回歸測試

基于此問題，大家可以先回顧現(xiàn)有的AI技術(shù)自己玩游戲的實例：下圍棋的Alpha Go、玩星際的 AlphaStar、擼Dota的OpenAI Five，這些技術(shù)都展現(xiàn)出了強(qiáng)大的操作水平、甚至超過真人頂尖玩家水平。那么相同的，如果能將這些“自動玩游戲”的AI技術(shù)應(yīng)用到游戲測試中，就有可能幫助QA完成一些日常測試。

——為此，伏羲實驗室聯(lián)合雷火測試中心分析整理了目前游戲測試過程中的痛點并對需求進(jìn)行分類，目前正嘗試將AI技術(shù)應(yīng)用在回歸測試、角色平衡性測試以及覆蓋性測試等方面，并不斷完善智能測試技術(shù)方案和框架系統(tǒng)。

在任務(wù)回歸測試改進(jìn)上，伏羲×雷火大獲成功，國內(nèi)首創(chuàng)AI技術(shù)助力測試智能化，高效解決了“任務(wù)數(shù)目太多導(dǎo)致任務(wù)時長很長，人工回歸工作量太大”和“游戲版本迭代快，每一個版本迭代都需要人工回歸會加重工作量”的問題！

伏羲實驗室打造智能任務(wù)回歸測試

二、創(chuàng)意落地任務(wù)回歸測試

簡單來講，游戲測試工作就是QA在游戲開發(fā)過程中，對每一個build版本進(jìn)行嚴(yán)格測試和試玩，找到潛在的bug并及時進(jìn)行修補(bǔ)，確保游戲順利開發(fā)、保證游戲質(zhì)量的過程。

游戲測試的重要程度不言而喻，如果任由bug存在在游戲中，那么等游戲上線后，任何一個潛藏的bug都可能會被玩家利用，并不斷傳播無限放大。這對游戲運營將造成巨大的損失，也會讓游戲中的玩家倍感掃興，失去游戲體驗。

經(jīng)過伏羲和雷火測試中心的溝通與合作，發(fā)現(xiàn)如下的潛在測試場景可以加入AI以提升效果：回歸測試、平衡性測試和覆蓋性測試。其中，回歸測試又可細(xì)分為任務(wù)回歸測試和戰(zhàn)斗場景回歸測試。而我們本次嘗試也主要落腳在任務(wù)回歸測試。

伏羲實驗室打造智能任務(wù)回歸測試

·問：那么為什么說任務(wù)回歸測試需要利用AI技術(shù)來幫助實現(xiàn)智能化呢？

·答：因為這和任務(wù)回歸測試本身的繁雜性有關(guān)——

在MMORPG游戲中，劇情任務(wù)系統(tǒng)是它的基石。劇情任務(wù)經(jīng)常要求玩家在游戲中跑來跑去、尋找各種NPC，完成各種任務(wù)獲取經(jīng)驗或者金錢。此外，大多MMORPG游戲除了會有主線任務(wù)，還有支線任務(wù)，甚至還有隱藏任務(wù)或者奇遇任務(wù)等類型。

而任務(wù)回歸測試就是指游戲版本發(fā)生變化后，QA需要對游戲內(nèi)所有任務(wù)重新玩一遍，以保證每個任務(wù)還是能夠按照設(shè)計的流程在規(guī)定的時間內(nèi)完成。一旦某個任務(wù)卡住就說明這個任務(wù)受到可能存在的bug的影響，上線之后同樣也會導(dǎo)致玩家無法繼續(xù)游戲。

對于當(dāng)前游戲測試行業(yè)來說，如果游戲世界中紛繁的任務(wù)都需要QA手動測試，那基本是天方夜譚，一是因為任務(wù)數(shù)目太多導(dǎo)致任務(wù)時間長，人工回歸工作量太大；二是因為游戲版本迭代快，每一個版本迭代都需要人工回歸更會加重工作量。

所以大多數(shù)游戲項目都會搭建自動化回歸測試，也就是寫好每個任務(wù)的執(zhí)行腳本，然后定期執(zhí)行對應(yīng)的腳本。然而，這還不夠。在這種方法下，人力投入依舊是巨大的，因為它需要針對每一個任務(wù)單獨編寫測試腳本，而且任務(wù)發(fā)生變化之后需要更新對應(yīng)的腳本。

伏羲實驗室正是看到了此間的需求與痛點，于是全力打造更好的解決方案——智能任務(wù)回歸測試。

三、智能任務(wù)回歸測試詳述

伏羲實驗室再發(fā)力，首創(chuàng)AI交互游戲測試：AI算法充當(dāng)Tester，它通過和游戲不斷交互，獲取游戲狀態(tài)、發(fā)送游戲操作，以完成劇情任務(wù)。這個說法是不是非常熟悉？的確，其實這就是仿照人類玩家“玩游戲”的過程完成的建模。這樣的建模方式十分通用，只要設(shè)計出AI算法能夠以這樣的方式完成劇情任務(wù)，那么這個AI算法就有可能可以舉一反三地完成各種任務(wù)，而不需要針對每個任務(wù)寫回歸測試腳本了。

伏羲實驗室打造智能任務(wù)回歸測試

當(dāng)然，雖然這看起來簡單，但是很多細(xì)節(jié)不容忽視。首先，伏羲團(tuán)隊需要對具體的“游戲狀態(tài)”和“動作”進(jìn)行定義：

游戲狀態(tài)：游戲狀態(tài)的定義依然仿造真人玩家玩游戲，它包括當(dāng)前界面上能看到的信息，如圖所示：

伏羲實驗室打造智能任務(wù)回歸測試

動作：動作的定義和真人玩家玩游戲有所不同，它不是通過鼠標(biāo)鍵盤來操作游戲，而是通過游戲提供的內(nèi)部接口實現(xiàn)。

定義好狀態(tài)和動作之后，在AI算法的眼里劇情任務(wù)就已經(jīng)不再是一個MMORPG玩法，而是一個五子棋游戲，甚至更簡單地可以當(dāng)做一個迷宮游戲。

AI需要不斷嘗試搜索找到一個操作序列能夠完成游戲劇情任務(wù)，就像找到一條路徑從迷宮的起點到達(dá)終點。對于這樣的游戲，大家都可以通過不斷擴(kuò)展動作選擇建立一個類似五子棋游戲（下圖gif）的搜索樹。

伏羲實驗室打造智能任務(wù)回歸測試

當(dāng)然對于絕大多數(shù)劇情任務(wù)，其對應(yīng)的搜索樹都沒有上圖那么復(fù)雜。訓(xùn)練算法隨機(jī)選擇在當(dāng)前狀態(tài)下可以執(zhí)行的動作，然后一旦發(fā)現(xiàn)在某次嘗試之后任務(wù)已被完成，那接下來基于所收集的樣本數(shù)據(jù)就可以找到到達(dá)終點的最短路徑（對應(yīng)可以完成任務(wù)的操作序列）。一旦完成訓(xùn)練找到所有劇情任務(wù)對應(yīng)的操作序列，后續(xù)回歸測試的過程就會十分簡單，只需要不斷的重復(fù)這個操作系列。

總而言之，到此為止，AI算法可以說是克服了腳本自動化回歸測試的不足，任務(wù)調(diào)整或新增之后也不需要重新修改或編寫腳本了，只需要讓搜索算法重新構(gòu)建任務(wù)圖并找到完成新任務(wù)的操作序列。

四、智能任務(wù)回歸測試效果

當(dāng)發(fā)現(xiàn)AI算法已經(jīng)能夠完成絕大部分劇情任務(wù)之后，伏羲團(tuán)隊便迫不及待地把算法應(yīng)用到真實的游戲場景中，如圖所示整個方案可以分為兩個階段：訓(xùn)練階段負(fù)責(zé)運行訓(xùn)練算法找到完成任務(wù)的操作序列；回歸階段只負(fù)責(zé)操作序列回放，同時游戲端根據(jù)回歸情況生成測試分析報告。

伏羲實驗室打造智能任務(wù)回歸測試

通過AI加盟任務(wù)回歸測試，產(chǎn)品在具體游戲中“大展身手”：

任務(wù)回歸服務(wù)已覆蓋《逆水寒》的290個主線任務(wù)和220多個支線任務(wù)，每天定時對3個build版本進(jìn)行全天候回歸，不放過任何一個可能的問題。目前已幫項目組揪出10余個深度隱藏的bug，其中還在“青云寨”新劇情任務(wù)上線前發(fā)現(xiàn)了一些重要的bug，避免游戲帶bug上線。

可以去B站搜索伏羲實驗室，觀看AI算法完成《逆水寒》劇情任務(wù)的過程，動圖右邊的動作序列是AI自行搜索到地可完成該任務(wù)的動作序列。

在某款mmorpg游戲上只用了3周時間就完成了接近400個任務(wù)的接入，并且隨著接口的完善后續(xù)接入速度也會越來越快，甚至無需修改直接接入。

同時，伏羲通過不斷總結(jié)踩坑的經(jīng)驗優(yōu)化方案，使得方案比較容易推廣到其它MMORPG游戲，基本解決每一款游戲的劇情任務(wù)不完全一樣，導(dǎo)致動作集合和狀態(tài)集合都會有所不同的問題。當(dāng)然，這套方案也是需要游戲測試團(tuán)隊一起來適配原有的自動化測試框架的。

五、后續(xù)期待

第二點中提到，伏羲團(tuán)隊目前對游戲測試需求進(jìn)行了一些劃分：回歸測試，角色平衡性測試，覆蓋性測試。雖然目前團(tuán)隊在任務(wù)回歸測試有一些進(jìn)展，但這只是一個開始。

今后伏羲實驗室將會不懈地針對這些問題和場景進(jìn)行嘗試，構(gòu)建更加智能的測試系統(tǒng)，讓AI技術(shù)賦能游戲測試。