乒乓球AI機(jī)器人贏了人類(lèi)！正反手靈活轉(zhuǎn)換，擦網(wǎng)球高球都能接，專(zhuān)業(yè)教練：達(dá)到中級(jí)選手水平

西風(fēng) 2024-08-09 12:54:15 來(lái)源：量子位

白交 西風(fēng) 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

巴黎奧運(yùn)會(huì)乒乓球團(tuán)體賽如火如荼，谷歌機(jī)器人申請(qǐng)出戰(zhàn)——

首個(gè)達(dá)到人類(lèi)競(jìng)技水平的機(jī)器人Agent發(fā)布！

你看一個(gè)沒(méi)留神，就贏了專(zhuān)業(yè)教練一個(gè)球！

正反手快速轉(zhuǎn)換，連續(xù)進(jìn)攻也是不在話下~

面對(duì)一些突發(fā)戰(zhàn)術(shù)，比如長(zhǎng)球高球擦網(wǎng)球，也能沉穩(wěn)應(yīng)對(duì)。

實(shí)際測(cè)試中，機(jī)器人實(shí)時(shí)適應(yīng)不同選手風(fēng)格，最終贏下了與初學(xué)者的所有比賽，同中級(jí)玩家對(duì)打也有55%的勝率。

小小乒乓球，拿下！

與它對(duì)陣的美國(guó)乒乓球明星Barney J. Reed給予了高度評(píng)價(jià)：超出預(yù)期，這個(gè)機(jī)器人已經(jīng)達(dá)到中級(jí)水平。

看完它的表現(xiàn)，網(wǎng)友們紛紛表示：可以買(mǎi)嗎？想要。

遭遇戰(zhàn)也能從容應(yīng)對(duì)

乒乓球是一項(xiàng)對(duì)體力和戰(zhàn)略、技巧等各方面綜合要求很高的運(yùn)動(dòng)，人類(lèi)也往往要經(jīng)過(guò)多年訓(xùn)練才能掌握。

因此，不同于像象棋、圍棋這種純戰(zhàn)略游戲，對(duì)于機(jī)器人而言，乒乓球成為考驗(yàn)其綜合能力的重要基準(zhǔn)，比如高速運(yùn)動(dòng)、實(shí)時(shí)的精準(zhǔn)控制、戰(zhàn)略決策、系統(tǒng)設(shè)計(jì)等等。

舉個(gè)例子，面對(duì)球的不同落點(diǎn)，機(jī)器人需要快速移動(dòng)位置；面對(duì)明顯的出界球，機(jī)器人應(yīng)該選擇不接。

團(tuán)隊(duì)找到了29個(gè)不同技能水平的乒乓球運(yùn)動(dòng)員進(jìn)行了比賽，包括初學(xué)者、中級(jí)、高級(jí)和高級(jí)以上。

人類(lèi)與機(jī)器人進(jìn)行了3場(chǎng)比賽，比賽遵循標(biāo)準(zhǔn)乒乓球規(guī)則。（不過(guò)由于機(jī)器人無(wú)法發(fā)球，整場(chǎng)由人類(lèi)來(lái)發(fā)球）

在此之前，其實(shí)也有相應(yīng)的乒乓球機(jī)器人研究，此次谷歌機(jī)器人的特別之處在于，它能夠同從未見(jiàn)過(guò)的人類(lèi)進(jìn)行全面的競(jìng)技對(duì)決。

人類(lèi)的各種打球風(fēng)格，它都能快速適應(yīng)。

比如看這位選手，比賽剛開(kāi)局機(jī)器人明顯還在適應(yīng)過(guò)程中，人類(lèi)以9比2的大比分擊敗機(jī)器人。

但就在下一局之后，機(jī)器人明顯熟悉了對(duì)手風(fēng)格，始終在緊緊追著比分。雙方打得也是有來(lái)有往。

最終在所有對(duì)手中，機(jī)器人贏得了所有初學(xué)者比賽，在與中級(jí)選手的比賽中勝率為55%。

雖然目前機(jī)器人還沒(méi)有辦法戰(zhàn)勝高級(jí)選手，但在人類(lèi)的各種反饋中，可以看到，大家都很樂(lè)意同這個(gè)機(jī)器人玩耍。

小小乒乓球，如何拿下？

在介紹方法前，先來(lái)看一眼乒乓球機(jī)器人的硬件配置。

主體采用的是6自由度的瑞士公司ABB 1100機(jī)械臂，裝置在兩個(gè)Festo直線導(dǎo)軌上，使其能夠在平面內(nèi)移動(dòng)。橫向移動(dòng)導(dǎo)軌長(zhǎng)4米，縱向移動(dòng)導(dǎo)軌長(zhǎng)2米。

機(jī)械臂上裝配了一個(gè)3D打印的球拍手柄和一個(gè)覆蓋短顆粒膠皮的球拍。

就是這么個(gè)小登西，是如何學(xué)會(huì)打乒乓球的？

總結(jié)來(lái)說(shuō)，使用了結(jié)合強(qiáng)化學(xué)習(xí)和模仿學(xué)習(xí)的混合訓(xùn)練方法。

團(tuán)隊(duì)設(shè)計(jì)了分層和模塊化的策略架構(gòu)，Agent包括一個(gè)低級(jí)技能庫(kù)（LLC）和一個(gè)高級(jí)控制器（HLC）。

LLC是一組專(zhuān)門(mén)的策略，每個(gè)策略都經(jīng)過(guò)訓(xùn)練來(lái)執(zhí)行特定的乒乓球技能，如正手擊球、反手擊球、發(fā)球等。這些LLC使用CNN架構(gòu)，通過(guò)仿真環(huán)境中的進(jìn)化策略算法進(jìn)行訓(xùn)練。

訓(xùn)練過(guò)程采用了從真實(shí)世界收集的球狀態(tài)數(shù)據(jù)集，以確保模擬環(huán)境與真實(shí)環(huán)境的一致性。

而HLC負(fù)責(zé)在每次來(lái)球時(shí)選擇最合適的LLC。

包含多個(gè)組件：風(fēng)格策略，用于選擇正手或反手；旋轉(zhuǎn)分類(lèi)器，用于識(shí)別來(lái)球的旋轉(zhuǎn)類(lèi)型；LLC技能描述符，描述每個(gè)LLC的能力；一組啟發(fā)式策略，用于根據(jù)當(dāng)前情況shortlist候選LLC。

HLC還使用在線學(xué)習(xí)的LLC偏好來(lái)適應(yīng)對(duì)手的特點(diǎn)和彌補(bǔ)仿真到現(xiàn)實(shí)的差距。

具體來(lái)說(shuō)，團(tuán)隊(duì)先是收集了少量人類(lèi)比賽數(shù)據(jù)，設(shè)置初始化任務(wù)條件，然后用強(qiáng)化學(xué)習(xí)在模擬環(huán)境中訓(xùn)練一個(gè)Agent，再將策略零樣本部署到真實(shí)世界中。

其中使用MuJoCo物理引擎精確模擬球和機(jī)器人動(dòng)力學(xué)，包括空氣阻力、Magnus效應(yīng)等，還設(shè)計(jì)處理了上旋球“校正”，通過(guò)在仿真中切換不同的球拍參數(shù)來(lái)模擬真實(shí)世界中的上旋和下旋效果。

在Agent和人類(lèi)不斷對(duì)打的過(guò)程中，可以生成更多的訓(xùn)練任務(wù)條件，并重復(fù)訓(xùn)練-部署。

機(jī)器人技能逐漸提升，比賽也逐漸變得復(fù)雜，但仍基于現(xiàn)實(shí)世界的任務(wù)條件。機(jī)器人收集完數(shù)據(jù)，還能發(fā)現(xiàn)其能力的不足，隨后通過(guò)在模擬環(huán)境中持續(xù)訓(xùn)練來(lái)彌補(bǔ)這些缺陷。

通過(guò)這種方法，機(jī)器人的技能可以在模擬與現(xiàn)實(shí)相結(jié)合的循環(huán)過(guò)程，自動(dòng)迭代改進(jìn)。

此外，這個(gè)機(jī)器人還能追蹤對(duì)手的行為和打法來(lái)適應(yīng)不同的對(duì)手，比如對(duì)手傾向于將球打回桌子的哪一。

由此能夠嘗試不同的技巧，監(jiān)控自己的成功率，并實(shí)時(shí)調(diào)整策略。

在和人類(lèi)對(duì)打?qū)嶒?yàn)中，團(tuán)隊(duì)也發(fā)現(xiàn)這個(gè)機(jī)器人有個(gè)弱點(diǎn)：不擅長(zhǎng)處理下旋球。

按照對(duì)球旋轉(zhuǎn)的估計(jì)，繪制機(jī)器人的上臺(tái)率圖，結(jié)果當(dāng)面對(duì)更多下旋球時(shí)，其上臺(tái)率顯著下降。

研究人員表示，機(jī)器人在處理弧線低且接近球桌的球時(shí)，為避免撞擊到球桌，很難處理好，而且在實(shí)時(shí)確定球的旋轉(zhuǎn)類(lèi)型上也存在局限。

搞乒乓球機(jī)器人，谷歌不是第一次

研究機(jī)器人打乒乓球，谷歌很久前就開(kāi)始了。團(tuán)隊(duì)相關(guān)研究還有一籮筐：

比如谷歌之前的i-Sim2Real研究中，訓(xùn)練的機(jī)器人與人類(lèi)打球，最多可連續(xù)打340次不落地，相當(dāng)于連續(xù)打了4分鐘+。

其他團(tuán)隊(duì)也有過(guò)乒乓球機(jī)器人，比如這樣?jì)饍旱?，還能發(fā)球：

以及像日本國(guó)家隊(duì)和中國(guó)臺(tái)灣的隊(duì)伍，也都有拿機(jī)器人來(lái)陪練自家?jiàn)W運(yùn)選手。

那么有小伙伴就疑惑了，跟谷歌此次發(fā)布的機(jī)器人有什么區(qū)別？

有網(wǎng)友給出了解釋?zhuān)?/p>

谷歌這次是關(guān)于AI Agent，通過(guò)視頻輸入來(lái)工作，而非預(yù)編程算法。

所以，什么時(shí)候能看到跟咱們國(guó)家隊(duì)對(duì)打？（Doge）

項(xiàng)目主頁(yè)：
https://sites.google.com/view/competitive-robot-table-tennis/home?utm_source&utm_medium&utm_campaign&utm_content&pli=1

參考鏈接：
[1]https://x.com/GoogleDeepMind/status/1821562365931855970
[2]https://x.com/arankomatsuzaki/status/1821360354653344190
[3]https://x.com/lgraesser3/status/1547942995139301376
[4]https://www.reddit.com/r/singularity/comments/1en8vrg/google_deepminds_aipowered_robot_plays_table/
[5]https://www.youtube.com/watch?v=u3L8vGMDYD8