AI字幕在兒童頻道里吐“臟話”，中招比例高達40%，亞馬遜谷歌都很祖安丨AAAI 2022
不少視頻播放量達百萬級
蕭簫 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
AI自動生成的字幕，能離譜到什么程度？
不僅把“螃蟹”（crab）誤聽成“廢話”（crap），當場爆粗：
甚至還能把“玉米”（corn）給翻譯成p*rn……
關鍵在于，這些是AI給兒童節(jié)目自動生成的字幕。
被AAAI 2022收錄的一篇新研究發(fā)現(xiàn)，在7013個兒童視頻中，接近40%的節(jié)目出現(xiàn)了少兒不宜或臟話等詞匯。
甚至在一個113集的兒童機器人學習欄目中，AI就“爆粗”了103次，平均接近一集一次！
對此，油管（YouTube）在接受《連線》采訪時回應：
我們?yōu)?3歲以下的兒童開發(fā)了YouTube Kids，這個APP會關閉字幕生成功能。
但如果真有字幕需求的話，如何才能想辦法減少這種AI生成錯誤？
一起來看看。
亞馬遜谷歌都很“祖安”
先來看看這篇論文的調查結果。
研究人員一共從油管上選出了24個兒童頻道，分別記錄了這些頻道的播放量和訂閱量。
可以看出，這些篩選出來的視頻播放量基本都達到了百萬級，訂閱人數(shù)也同樣不少。
然后，研究人員分別試了一下谷歌和AWS（亞馬遜網(wǎng)頁服務）的字幕生成效果。
結果顯示，AI字幕的“少兒不宜”率可謂離譜：
在7013個視頻中，谷歌AI出現(xiàn)錯誤字幕的次數(shù)達到2768次，接近40%。
亞馬遜的AI字幕錯誤率還要更高，達到了3672次，超過52%。
具體來說，兩個AI分別容易在這些“不太恰當”的字詞上出錯：
△圖左亞馬遜，圖右谷歌
在這些數(shù)據(jù)集中，有一些詞語又尤為“少兒不宜”，例如一些罵人的臟詞：
經(jīng)過作者們人工檢查（例如確認原視頻是否真的說了臟話），發(fā)現(xiàn)AI主要容易在以下幾種情況中出錯：
- 背景音樂嘈雜
- 說話者為嬰兒
- 說話者為兒童
- 說話者以英語為第二語言
- 說話者在唱歌
△包括但不限于這些情況
那么，有沒有什么辦法減少這種情況發(fā)生呢？
語序連貫的錯誤更容易修復
研究人員提出了一個新的數(shù)據(jù)集，利用近音字詞來構建禁忌詞的“替換”備選。
例如，對于crap這一可能出現(xiàn)的“粗口”，研究人員就給它設置了crab、craft等讀音相似的字詞，便于AI在搞錯時進行替換。
具體來說，他們在BERT、XLM、XLNet等NLP模型上，針對“完形填空”任務進行了重新訓練，也就是用[MASK]遮住部分單詞，讓AI來填寫對應的內容。
結果顯示，在語序正常、前后文案有邏輯的視頻中，AI替換的準確率更高（藍色為正確替換詞）：
然而在一些邏輯不強的文案中，成功替換的效果就沒有那么好了：
最終，Megatron和Levenshtein等模型展現(xiàn)出了最好的修復效果，分別給亞馬遜AI帶來了超過25%的正確修復率，給谷歌AI帶來了超過28%的修復率。
看來AI在字幕生成能力上還是任重道遠啊。
論文地址：
https://github.com/sumeetkr/UnsafeTranscriptionofKidsContent/blob/main/YouTube_Transcription_Final.pdf
參考鏈接：
https://www.dailymail.co.uk/sciencetech/article-10553233/YouTube-AI-putting-explicit-language-captions-videos-aimed-children.html
- 首個GPT-4驅動的人形機器人！無需編程+零樣本學習，還可根據(jù)口頭反饋調整行為2023-12-13
- IDC霍錦潔：AI PC將顛覆性變革PC產業(yè)2023-12-08
- AI視覺字謎爆火！夢露轉180°秒變愛因斯坦，英偉達高級AI科學家：近期最酷的擴散模型2023-12-03
- 蘋果大模型最大動作：開源M芯專用ML框架，能跑70億大模型2023-12-07
相關閱讀
