上海交大發(fā)布「人類行為理解引擎」：深度學(xué)習(xí)+符號推理，AI逐幀理解大片中每個動作
“所以卷福此時正在舉杯喝水！”
博雯 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
看圖看片，對現(xiàn)在的AI來說早已不是什么難事。
不過讓AI分析視頻中的人類動作時，傳統(tǒng)基于目標(biāo)檢測的方法會碰到一個挑戰(zhàn)：
靜態(tài)物體的模式與行為動作的模式有很大不同，現(xiàn)有系統(tǒng)效果很不理想。
現(xiàn)在，來自上海交大的盧策吾團隊基于這一思路，將整個任務(wù)分為了兩個階段：
先將像素映射到一個“基元活動”組成的過度空間，然后再用可解釋的邏輯規(guī)則對檢測到的基元做推斷。
△
左：傳統(tǒng)方法，右：新方法
新方法讓AI真正看懂劇里的卷福手在舉杯(hold)，右邊的人在伸手掏東西(reach for)：
對于游戲中的多人場景也能準(zhǔn)確分辨每一個角色的當(dāng)前動作：
甚至連速度飛快的自行車運動員都能完美跟隨：
能夠像這樣真正理解視頻的AI，就能在醫(yī)療健康護(hù)理、指引、警戒等機器人領(lǐng)域應(yīng)用。
這篇論文的一作為上海交大博士李永露，曾在CVPR 2020連中三篇論文。
目前相關(guān)代碼已開源。
知識驅(qū)動的行為理解
要讓AI學(xué)習(xí)人類，首先要看看人類是怎么識別活動的。
比如說，要分辨走路和跑步，我們肯定會優(yōu)先關(guān)注腿部的運動狀態(tài)。
再比如，要分辨一個人是否是在“喝水”，那么他的手是否在握杯，隨后頭又是否接觸杯子，這些動作就成為了一個判斷標(biāo)準(zhǔn)。
這些原子性的，或者說共通的動作就可以被看作是一種“基元”（Primitive）。
我們正是將一個個的基元“組合”推理出整體的動作，這就是就是人類的活動感知。
那么AI是否也能基于發(fā)現(xiàn)這種基元的能力，將其進(jìn)行組合，并編程為某個具有組合概括性的語義呢？
因此，盧策吾團隊便提出了一種知識驅(qū)動的人類行為知識引擎，HAKE（Human Activity Knowledge Engine）。
這是一個兩階段的系統(tǒng)：
- 將像素映射到由原子活動基元跨越的中間空間
- 用一個推理引擎將檢測到的基元編程為具有明確邏輯規(guī)則的語義，并在推理過程中更新規(guī)則。
整體來說，上述兩個階段也可以分為兩個任務(wù)。
首先是建立一個包括了豐富的活動-基元標(biāo)簽的知識庫，作為推理的“燃料”。
在于702位參與者合作之后，HAKE目前已有35.7萬的圖像/幀，67.3萬的人像，22萬的物體基元，以及2640萬的PaSta基元。
其次，是構(gòu)建邏輯規(guī)則庫和推理引擎。
在檢測到基元后，研究團隊使用深度學(xué)習(xí)來提取視覺和語言表征，并以此來表示基元。
然后，再用可解釋的符號推理按照邏輯規(guī)則為基元編程，捕獲因果的原始活動關(guān)系。
在實驗中，研究者選取了建立在HICO基礎(chǔ)上，包含4.7萬張圖片和600次互動的HICO-DET，以及包含430個帶有時空標(biāo)簽的視頻的AVA，這兩個大規(guī)模的基準(zhǔn)數(shù)據(jù)集。
在兩個數(shù)據(jù)集上進(jìn)行實例級活動檢測：即同時定位活動的人/物并對活動進(jìn)行分類。
結(jié)果，HAKE，在HICO-DET上大大提升了以前的實例級方法，特別是在稀有集上，比TIN提高了9.74mAP（全類平均精度），HAKE的上限GT-HAKE也優(yōu)于最先進(jìn)的方法。
在AVA上，HAKE也提高了相當(dāng)多的活動的檢測性能，特別是20個稀有的活動。
通訊作者曾為李飛飛團隊成員
論文的通訊作者是上海交通大學(xué)的盧策吾，也是計算機科學(xué)的教授。
在加入上海交大之前，他在香港中文大學(xué)獲得了博士學(xué)位，并曾在斯坦福大學(xué)擔(dān)任研究員，在李飛飛團隊工作。
現(xiàn)在，他的主要研究領(lǐng)域為計算機視覺、深度學(xué)習(xí)、深度強化學(xué)習(xí)和機器人視覺。
一作李永露為上海交通大學(xué)的博士生，此前他曾在中國科學(xué)院自動化研究所工作。
在CVPR 2020他連中三篇論文，也都是圍繞知識驅(qū)動的行為理解（Human Activity Understanding）方面的工作。
論文：
https://arxiv.org/abs/2202.06851v1
開源鏈接：
https://github.com/DirtyHarryLYL/HAKE-Action-Torch/tree/Activity2Vec
參考鏈接：
[1]http://hake-mvig.cn/home/
[2]https://www.bilibili.com/video/BV1s54y1Y76s
[3]https://zhuanlan.zhihu.com/p/109137970
- 有道智能學(xué)習(xí)燈發(fā)布，通過“桌面學(xué)習(xí)分析引擎”實現(xiàn)全球最快指尖查詞2022-04-08
- 科學(xué)證明：狗勾真的懂你有多累，聽到聲音0.25秒后就知道你是誰，對人比對狗更親近2022-04-14
- 在M1芯片上跑原生Linux：編譯速度比macOS還快40%2022-04-05
- 小學(xué)生們在B站講算法，網(wǎng)友：我只會阿巴阿巴2022-03-28
相關(guān)閱讀
明年1月1日起，AI造假視頻不得隨意發(fā)布
深度學(xué)習(xí)論文TOP10，2019一季度研究進(jìn)展大盤點
基于PyTorch Geometric的快速圖像表征學(xué)習(xí)、Mask Scoring R-CNN、星際爭霸多智能體挑戰(zhàn)、Lingvo……
這個深度學(xué)習(xí)庫能執(zhí)行10多種圖像文本任務(wù)，有20多個數(shù)據(jù)集，還統(tǒng)一接口｜已開源
沒錯，這是一個視覺語言深度學(xué)習(xí)框架就可以擁有的。
建神經(jīng)網(wǎng)絡(luò)模型，哪種優(yōu)化算法更好？35000次測試告訴你丨圖賓根大學(xué)出品
130種優(yōu)化器，最早追溯到1964年
克10-EM-P-150x150.jpg)