Epoch不僅過時，而且有害？Reddit機器學習板塊展開討論
一個調(diào)參俠要把Epoch這個概念淘汰掉
夢晨 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI
有一天，一個調(diào)參俠在訓練一個深度學習模型，要用到的兩個數(shù)據(jù)集損失函數(shù)不同，數(shù)據(jù)集的大小還不是固定的，每天都在增加。
他有點發(fā)愁，這該怎么設置Epoch數(shù)呢？
在糾結(jié)的過程中，他突然想到：干嘛非得定一個Epoch數(shù)？只要對每個Batch進行獨立同分布抽樣?(IID Sampling)不就得了。
為了驗證這個想法，調(diào)參俠去看了很多論文。發(fā)現(xiàn)越來越多的人介紹他們的訓練方法時，只說進行了多少個Iteration，而拋棄了Epoch。
他想到，Epoch暗示并強調(diào)了數(shù)據(jù)集是有限的，這不僅麻煩，還有潛在的“危害”。把Epoch去掉，讓循環(huán)嵌套的層數(shù)少一層總是好的。
于是他在Reddit發(fā)起了討論：Epoch是不是過時了，甚至還有危害？
Epoch多余嗎？
有人對這個觀點表示贊同：
挺有道理，當數(shù)據(jù)集大小有很大差距，Batch大小相同時，設置一樣的Epoch數(shù)，豈不是大數(shù)據(jù)集參數(shù)更新的次數(shù)多，小數(shù)據(jù)集參數(shù)更新次數(shù)少了，這似乎不對勁。
Epoch最大的好處是確保每個樣本被定期使用。當使用IID抽樣時，你只要能想辦法確保所有樣本被同樣頻繁地使用就好了。
但調(diào)參俠覺得讓每個樣本被定期使用就是他懷疑的點，IID抽樣已經(jīng)確保分布相同了，再讓他們同頻率被使用就是一種誤導。
反對者認為：
不能因為你覺得車沒開在路的正中間就放開方向盤不管了，雖然大撒把不會改變你正好在路中間的概率，但它增加了方差。
調(diào)參俠最后總結(jié)道，這個爭議有點像統(tǒng)計學里的“頻率派?VS?貝葉斯派”，即認為數(shù)據(jù)集到底應該是確定的還是不確定的。
該怎么比較模型？
調(diào)參俠還注意到，有人用Batch Loss做損失曲線。他認為這比Epoch Loss更有參考價值。
反對者覺得，你這個方式是挺好的，但Epoch依然有用。
因為即使在相同的硬件上，不同模型的算法效率不同也會帶來巨大差異。
像各種Transformer和CNN這種底層代碼實現(xiàn)都差不多，但是別的模型就可能有很不一樣。比如我們自己的CUDA LSTM實現(xiàn)，至少和CudnnLSTM一樣快，比原版TensorFlow實現(xiàn)快4倍左右。
最后，有個網(wǎng)友以CV模型為例對這個話題做出精彩總結(jié)，列了4種損失可視化方式，并介紹了什么情況該用哪個。
Loss/Epoch告訴你一個模型要觀察同一個圖像多少次才能理解它。
Loss/Iteration告訴你需要多少次參數(shù)更新。當比較優(yōu)化器時這很有用，可以幫助你加快訓練速度或達到更高的精度。
Loss/Total Image Seen告訴你算法看到了多少圖像時的損失。適合比較兩種算法使用數(shù)據(jù)的效率。
如果你的算法在50萬張時達到70%、100萬張時達到75%，這可能比50萬張時達到50%，100萬張時達到80%的還要好。
另外，它還消除了Batch Size的影響。這允許在不同GPU上訓練的具有不同Batch Size的模型之間進行公平的比較。
Loss/Time也很重要，因為如果一個新模型減少了100個Epoch，但每個Iteration都慢100倍，我就不會選擇這個模型。
雖然Loss/Time關(guān)系到硬件的具體表現(xiàn)，不夠精準，我不會把這個寫到論文里。但在自己的機器上這是很好的評估模型的參數(shù)。
使用數(shù)據(jù)增強時呢？
有網(wǎng)友提出，數(shù)據(jù)增強?(Data Augmentation)時Epoch也有點多余。因為數(shù)據(jù)集太小，人為給每個樣本添加很多只有微小差距的版本，沒必要讓他們被同頻率使用。
反對者認為，數(shù)據(jù)增強作為正則化的一種形式減少了過擬合，但你引入的實際信息在訓練模型時仍然局限于原始數(shù)據(jù)集。如果你的原始數(shù)據(jù)集足夠小，Epoch表示你向模型展示了整個訓練集，仍然是有意義的。
有人問道：
你是想表達“紀元(Epoch)”的紀元結(jié)束了嗎？
調(diào)參俠：
對，現(xiàn)在是“時代(Era)”的時代。
△無盡隨機增強的首字母縮寫ERA意為“時代”
參考鏈接：
[1]https://www.reddit.com/r/MachineLearning/comments/n61vxw/d_is_the_concept_of_an_epoch_being_phased_out_or/
- 字節(jié)突然開源Seed-OSS，512K上下文主流4倍長度，推理能力刷紀錄2025-08-21
- “現(xiàn)在讀AI博士已經(jīng)太晚了”2025-08-19
- 谷歌AI攻克亞洲語言難題，2300種語言數(shù)字化計劃正在推進2025-08-18
- AMD蘇姿豐公開懟扎克伯格！反對1億年薪挖人，使命感比鈔票更重要2025-08-18
相關(guān)閱讀
