大模型要占你多少內(nèi)存？這個神器一鍵測量，誤差低至0.5MB|免費
實際推理內(nèi)存建議多加20%
明敏 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
大模型訓練推理要用多少內(nèi)存？
打開這個網(wǎng)頁一測便知，測量誤差小至0.5MB。
比如模型bert-base-case Int8估計占用413.18 MB內(nèi)存，實際占用為413.68MB，相差0.5MB，誤差僅有0.1%。
操作也很簡單，輸入模型名稱，選擇數(shù)據(jù)類型即可。
這就是HuggingFace Space上的最新火起來工具——Model Memory Calculator，模型內(nèi)存測量器，在網(wǎng)頁端人人可體驗。
要知道，跑大模型最頭疼的問題莫過于：GPU內(nèi)存夠嗎？
現(xiàn)在能先預估一波、誤差很小，讓不少人大呼“Great”！
實際推理內(nèi)存建議多加20%
使用第一步，需要輸入模型的名稱。
目前支持搜索在HuggingFace Transformers庫和TIMM庫中的模型。
比如想要看GLM-6B的情況，可以輸入“THUDM/chatglm-6b”。
不過有一些模型會存在限制，需要獲取API token后才能開始計算，比如Llama-2-7b。
我們找了幾個大模型實測，可以看到當模型規(guī)模達到百億參數(shù)后，內(nèi)存要求被直線拉高。
基礎版的BERT還是對GPU相當友好滴。
而在實際推理過程，EleutherAI發(fā)現(xiàn)需要在預測數(shù)據(jù)基礎上，預留20%的內(nèi)存。具體舉例如下：
作者小哥熱衷開源項目
最后來介紹一下帶來這個項目的小哥Zach Mueller。
他本科畢業(yè)于西佛羅里達大學，主修軟件設計與開發(fā)，熱衷開源，在GitHub有1k粉絲。之前做過很多和Fast.ai框架有關的開源項目。
傳送門：
https://huggingface.co/spaces/hf-accelerate/model-memory-usage
- 4o-mini華人領隊也離職了，這次不怪小扎2025-08-19
- 宇樹機器人“撞人逃逸”火到國外，王興興回應：下次不遙控了2025-08-16
- 突破Claude-4編程上限！自進化Agent框架拿下新SOTA，已開源2025-08-19
- 讓OpenAI只領先5天，百川發(fā)布推理新模型，掀翻醫(yī)療垂域開源天花板2025-08-11
相關閱讀
微軟僅憑「提示工程」讓GPT-4成醫(yī)學專家！超過一眾高度微調(diào)模型，專業(yè)測試準確率首次超90%
網(wǎng)友：看來還未觸及極限
