谷歌第四代TPU性能實測來了！每秒10萬萬億次運算，今年將向谷歌云用戶提供服務(wù)
256塊芯片訓練BERT只需不到2分鐘
明敏 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI
一個TPU v4 pod就能達到1 exaflop級的算力，實現(xiàn)每秒10的18次方浮點運算。
缺席一年后的谷歌I/O大會，真的不負眾望。
除了讓谷歌AI掌門人Jeff Dean都直呼“魔鏡”的Starline的3D視頻通話技術(shù)，第四代TPU也是備受矚目。
谷歌介紹，TPU v4將主要以pod形式應(yīng)用，一個pod由4096個TPU v4單芯片組成，可以達到1 exaflop級的算力，這相當于1000萬臺筆記本電腦之和。
與上一代TPU v3相比，在64個芯片的規(guī)模下，TPU v4的性能平均提升了2.7倍。
除此之外，TPU v4 pod的性能較TPU v3 pod提升了10倍。將主要以無碳能源運行，不僅計算更快，而且更加節(jié)能。
谷歌CEO桑達爾·皮查伊（Sundar Pichai）透露，TPU v4 pod將會應(yīng)用在谷歌的數(shù)據(jù)中心，并在今年內(nèi)向谷歌云用戶提供服務(wù)。
兩分鐘跑完BERT訓練
雖然剛剛才正式發(fā)布，但早在一年前，谷歌就提前透露了TPU v4的性能。
在去年7月發(fā)布的人工智能權(quán)威“跑分”MLPerf訓練v0.7榜單中，我們可以看到TPU v4與各家芯片的性能對比。
在MLPerf訓練測試中，其基準包括圖像分類、翻譯、推薦系統(tǒng)和圍棋等8個機器學習任務(wù)中，最終結(jié)果是這8項任務(wù)的訓練時間，速度越快則性能越強。
具體的8項任務(wù)內(nèi)容如下：
具體訓練模型為：ResNet-50、SSD、Mask R-CNN、BERT、NMT、Transformer、DLRM和Mini Go。
TPU v4的表現(xiàn)情況如下，每個系統(tǒng)都以TPU v4加速器的數(shù)量來區(qū)分，分別為8、64、256.
從對比中可以看到：
在ResNet訓練中，256塊TPU v4將時長縮短到1.82分鐘；
但是Nvidia A100A100-SXM4-40GB想要達到這一水平，至少需要768塊加速。
在BERT的訓練中，256塊TPU v4也將時長縮短到1.82分鐘；
同樣256塊Nvidia A100-SXM4-40GB，僅能把訓練時長縮短到3.36分鐘。
并且從公布的數(shù)據(jù)來看，4096塊第三代TPU組成的TPU v3 pod就可以將BERT訓練壓縮到只有23秒！
關(guān)于TPU
簡單來說，TPU就是谷歌開發(fā)的一種可以加速機器學習的芯片。
不同于GPU，TPU是一種ASIC芯片，即應(yīng)用型專用集成電路（Application-Specific Integrated Circuit），是一種專為某種特定應(yīng)用需求而定制的芯片。
為什么要研發(fā)TPU呢？
其實是因為谷歌自身的許多產(chǎn)品和服務(wù)，比如谷歌圖像搜索、谷歌翻譯，都需要運用深度學習神經(jīng)網(wǎng)絡(luò)。
這就對算力有了更高的需求，一般的GPU、CPU很難維持。
所以，TPU應(yīng)運而生。
第一代TPU被應(yīng)用到了大名鼎鼎的AlphaGo上，在2015年和李世英對戰(zhàn)時，就是部署了48個TPU。
到了第二代TPU，它被引入了Google Cloud，應(yīng)用在谷歌計算引擎（Google Compute Engine ，簡稱GCE）中，也稱為Cloud TPU。
配置了TPU v2的AlphaGo，僅用了4塊TPUv2，便擊敗當時的世界圍棋冠軍柯潔。
2018年，谷歌發(fā)布第三代TPU，性能提升到第二代的2倍。
每個Pod的性能提高了8倍，且每個pod最多可含1024個芯片。
而第四代TPU，直到2021年才正式和大家見面。
參考鏈接：
[1]https://spectrum.ieee.org/tech-talk/computing/hardware/heres-how-googles-tpu-v4-ai-chip-stacked-up-in-training-tests
[2]https://mlcommons.org/en/training-normal-07/
[3]https://cloud.google.com/blog/products/ai-machine-learning/google-breaks-ai-performance-records-in-mlperf-with-worlds-fastest-training-supercomputer
- 4o-mini華人領(lǐng)隊也離職了，這次不怪小扎2025-08-19
- 宇樹機器人“撞人逃逸”火到國外，王興興回應(yīng)：下次不遙控了2025-08-16
- 突破Claude-4編程上限！自進化Agent框架拿下新SOTA，已開源2025-08-19
- 讓OpenAI只領(lǐng)先5天，百川發(fā)布推理新模型，掀翻醫(yī)療垂域開源天花板2025-08-11
相關(guān)閱讀
谷歌佩奇支持的Kitty Hawk中止Flyer飛車計劃 將專注打造Heaviside
據(jù)國外媒體報道，谷歌聯(lián)合創(chuàng)始人拉里·佩奇支持的初創(chuàng)公司Kitty Hawk日前宣布，將中止Flyer飛車計劃，專注打造新款飛行汽車Heaviside。
谷歌將在7月啟用Chrome反通知垃圾郵件系統(tǒng)
谷歌今天宣布，計劃在2020年7月12日推出Chrome 84，并于今年夏天在Chrome中啟用新的反通知垃圾郵件系統(tǒng)。
