95%PyTorch庫都會(huì)中招的bug！特斯拉AI總監(jiān)都沒能幸免

允中 2021-04-14 12:49:38 來源：量子位

明敏 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI

到底是怎樣的一個(gè)bug，能讓95%的Pytorch庫中招，就連特斯拉AI總監(jiān)深受困擾？

還別說，這個(gè)bug雖小，但有夠“狡猾”的。

這就是最近Reddit上熱議的一個(gè)話題，是一位網(wǎng)友在使用再平常不過的Pytorch+Numpy組合時(shí)發(fā)現(xiàn)。

最主要的是，在代碼能夠跑通的情況下，它甚至還會(huì)影響模型的準(zhǔn)確率！

除此之外，網(wǎng)友熱議的另外一個(gè)點(diǎn)，竟然是：

而是它到底算不算一個(gè)bug？

這究竟是怎么一回事？

事情的起因是一位網(wǎng)友發(fā)現(xiàn)，在PyTorch中用NumPy來生成隨機(jī)數(shù)時(shí)，受到數(shù)據(jù)預(yù)處理的限制，會(huì)多進(jìn)程并行加載數(shù)據(jù)，但最后每個(gè)進(jìn)程返回的隨機(jī)數(shù)卻是相同的。

他還舉出例子證實(shí)了自己的說法。

如下是一個(gè)示例數(shù)據(jù)集，它會(huì)返回三個(gè)元素的隨機(jī)向量。這里采用的批量大小分別為2，工作進(jìn)程為4個(gè)。

然后神奇的事情發(fā)生了：每個(gè)進(jìn)程返回的隨機(jī)數(shù)都是一樣的。

這個(gè)結(jié)果會(huì)著實(shí)讓人有點(diǎn)一頭霧水，就好像數(shù)學(xué)應(yīng)用題求小明走一段路程需要花費(fèi)多少時(shí)間，而你卻算出來了負(fù)數(shù)。

發(fā)現(xiàn)了問題后，這位網(wǎng)友還在GitHub上下載了超過10萬個(gè)PyTorch庫，用同樣的方法產(chǎn)生隨機(jī)數(shù)。

結(jié)果更加令人震驚：居然有超過95%的庫都受到這個(gè)問題的困擾！

這其中不乏PyTorch的官方教程和OpenAI的代碼，連特斯拉AI總監(jiān)Karpathy也承認(rèn)自己“被坑過”！

但有一說一，這個(gè)bug想要解決也不難：只需要在每個(gè)epoch都重新設(shè)置seed，或者用python內(nèi)置的隨機(jī)數(shù)生成器就可以避免這個(gè)問題。

到底是不是bug？

如果這個(gè)問題已經(jīng)可以解決，為什么還會(huì)引起如此大的討論呢？

因?yàn)榫W(wǎng)友們的重點(diǎn)已經(jīng)上升到了“哲學(xué)”層面：

這到底是不是一個(gè)bug？

在Reddit上有人認(rèn)為：這不是一個(gè)bug。

雖然這個(gè)問題非常常見，但它并不算是一個(gè)bug，而是一個(gè)在調(diào)試時(shí)不可以忽略的點(diǎn)。

就是這個(gè)觀點(diǎn)，激起了千層浪花，許多人都認(rèn)為他忽略了問題的關(guān)鍵所在。

這不是產(chǎn)生偽隨機(jī)數(shù)的問題，也不是numpy的問題，問題的核心是在于PyTorch中的DataLoader的實(shí)現(xiàn)

對(duì)于包含隨機(jī)轉(zhuǎn)換的數(shù)據(jù)加載pipeline，這意味著每個(gè)worker都將選擇“相同”的轉(zhuǎn)換。

而現(xiàn)在NN中的許多數(shù)據(jù)加載pipeline，都使用某種類型的隨機(jī)轉(zhuǎn)換來進(jìn)行數(shù)據(jù)增強(qiáng)，所以不重新初始化可能是一個(gè)預(yù)設(shè)。

另一位網(wǎng)友也表示這個(gè)bug其實(shí)是在預(yù)設(shè)程序下運(yùn)行才出現(xiàn)的，應(yīng)該向更多用戶指出來。

并且95%以上的Pytorch庫受此困擾，也絕不是危言聳聽。

有人就分享出了自己此前的慘痛經(jīng)歷：

我認(rèn)識(shí)到這一點(diǎn)是之前跑了許多進(jìn)程來創(chuàng)建數(shù)據(jù)集時(shí)，然而發(fā)現(xiàn)其中一半的數(shù)據(jù)是重復(fù)的，之后花了很長(zhǎng)的時(shí)間才發(fā)現(xiàn)哪里出了問題。

也有用戶補(bǔ)充說，如果 95% 以上的用戶使用時(shí)出現(xiàn)錯(cuò)誤，那么代碼就是錯(cuò)的。

順便一提，這提供了Karpathy定律的另一個(gè)例子：即使你搞砸了一些非?；敬a，“neural nets want to work”。

你有踩過PyTorch的坑嗎？

如上的bug并不是偶然，隨著用PyTorch的人越來越多，被發(fā)現(xiàn)的bug也就越來越多，某乎上還有PyTorch的坑之總結(jié)，被瀏覽量高達(dá)49w。

其中從向量、函數(shù)到model.train()，無論是真bug還是自己出了bug，大家的血淚史還真的是各有千秋。

所以，關(guān)于PyTorch你可以分享的經(jīng)驗(yàn)血淚史嗎？

歡迎評(píng)論區(qū)留言討論～

參考鏈接：
[1]https://tanelp.github.io/posts/a-bug-that-plagues-thousands-of-open-source-ml-projects/
[2]https://www.reddit.com/r/MachineLearning/comments/mocpgj/p_using_pytorch_numpy_a_bug_that_plagues/
[3]https://www.zhihu.com/question/67209417/answer/866488638

— 完 —