Keras之父，離職谷歌

金磊 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

剛剛，谷歌官方宣布了一條重磅消息：

Keras之父Fran?ois Chollet，正式離職。

這篇文章由谷歌兩位VP（包括谷歌剛挖來的華人Bill Jia）共同撰寫，表達(dá)了對(duì)這位在谷歌長(zhǎng)達(dá)9年零3個(gè)月的AI大佬，在工作上的認(rèn)可及離職的惋惜。

從內(nèi)容上來看，谷歌先是肯定了Keras這個(gè)深度學(xué)習(xí)框架目前取得的成績(jī)——

已經(jīng)成為人工智能發(fā)展的基石，用戶數(shù)量超過200萬，簡(jiǎn)化了復(fù)雜的工作流程，讓尖端技術(shù)變得唾手可得。

并且這項(xiàng)技術(shù)已然得到了廣泛地應(yīng)用，從Waymo的自動(dòng)駕駛，到Y(jié)ouTube、Netflix和Spotify的推薦等。

不過雖然Fran?ois已離職，但他承諾將繼續(xù)參與Keras未來的發(fā)展，還將繼續(xù)支持JAX、TensorFlow和PyTorch上的工作。

而谷歌的Keras團(tuán)隊(duì)，則將繼續(xù)與Fran?ois的開源社區(qū)保持合作。

至于Fran?ois最新的動(dòng)向，谷歌和其本人截至目前并沒有透露。

而網(wǎng)友們對(duì)于Fran?ois的離職卻展開了一番激烈的討論。

例如從Keras的發(fā)展現(xiàn)狀來看，有人認(rèn)為它在谷歌已經(jīng)不香了：

我曾在某處看到，未來TensorFlow可能不會(huì)得到積極開發(fā)，谷歌內(nèi)部轉(zhuǎn)向了JAX；TensorFlow幾乎已經(jīng)輸給了 PyTorch。

針對(duì)谷歌在官宣中對(duì)Keras給出的評(píng)價(jià)，有網(wǎng)友表示：

若是在2018年，這是事實(shí)；但現(xiàn)在，PyTorch的受歡迎程度遠(yuǎn)高于TensorFlow，其中很大一部分原因與LLM有關(guān)。

而從Fran?ois個(gè)人動(dòng)向方面來看，有網(wǎng)友猜測(cè)他可能被Anthropic挖了墻角……

Keras：為人類設(shè)計(jì)的深度學(xué)習(xí)

Keras最早可以追溯到2015年，是由Fran?ois發(fā)布的一個(gè)開源神經(jīng)網(wǎng)絡(luò)庫(kù)。

它最初的目的是提供一個(gè)高級(jí)深度學(xué)習(xí)API，用來簡(jiǎn)化深度學(xué)習(xí)模型的構(gòu)建和實(shí)驗(yàn)過程。

因?yàn)樵贙eras出現(xiàn)之前，深度學(xué)習(xí)開發(fā)通常需要直接使用底層庫(kù)（如Theano），用戶需要編寫大量復(fù)雜代碼才能構(gòu)建一個(gè)基礎(chǔ)的神經(jīng)網(wǎng)絡(luò)模型。

而Keras的出現(xiàn)可謂是改變了這一局面。

它通過模塊化和直觀的API讓深度學(xué)習(xí)的構(gòu)建流程大大簡(jiǎn)化，極大地降低了進(jìn)入深度學(xué)習(xí)領(lǐng)域的門檻。

正如它官方給自己的定位那般：

為人類設(shè)計(jì)的深度學(xué)習(xí)。

Keras一開始是獨(dú)立于具體計(jì)算引擎的高級(jí)庫(kù)，支持Theano、Microsoft CNTK和TensorFlow作為其底層后端。

在技術(shù)上，Keras采用模塊化的設(shè)計(jì)，用戶可以通過組合不同類型的層（如全連接層、卷積層、循環(huán)層）來快速搭建復(fù)雜的模型。

模型的訓(xùn)練、驗(yàn)證和測(cè)試過程通過統(tǒng)一的接口實(shí)現(xiàn)，開發(fā)過程可以說是非常順暢。

Keras提供了Sequential API用于線性堆疊模型層，后來又引入了Functional API，來支持復(fù)雜的非線性網(wǎng)絡(luò)結(jié)構(gòu)和多輸入多輸出模型的構(gòu)建。

這些特性讓Keras不僅適合簡(jiǎn)單的原型設(shè)計(jì)，還能夠應(yīng)對(duì)實(shí)際生產(chǎn)中的復(fù)雜需求。

但隨著TensorFlow的快速發(fā)展，二者之間的關(guān)系變得越來越緊密。

到了2017年，Keras被谷歌選擇成為TensorFlow官方的高級(jí)API。

在TensorFlow 2.0于2019年發(fā)布之后，Keras完全集成到了TensorFlow中，成為其默認(rèn)的模型構(gòu)建工具。

這標(biāo)志著Keras從一個(gè)獨(dú)立的高級(jí)庫(kù)轉(zhuǎn)變?yōu)門ensorFlow的一部分。

這樣做的好處當(dāng)然是有的。

首先，Keras可以無縫調(diào)用TensorFlow的底層功能，從而提供更高的性能和可擴(kuò)展性。

其次，TensorFlow提供了諸如GPU加速、TPU支持、分布式訓(xùn)練等高性能特性，整合后的Keras也能夠輕松利用這些特性。

這種轉(zhuǎn)變不僅增強(qiáng)了Keras的功能，還使得它更適用于生產(chǎn)環(huán)境的大規(guī)模應(yīng)用。

然而，隨著整合的推進(jìn)，Keras作為獨(dú)立庫(kù)的角色逐漸淡化，tf.keras成為TensorFlow官方高級(jí) API，也成為深度學(xué)習(xí)社區(qū)的標(biāo)準(zhǔn)選擇之一。

除此之外，作為深度學(xué)習(xí)框架演變的縮影——TensorFlow和PyTorch之間的競(jìng)爭(zhēng)，也一定程度上波及到了Keras的發(fā)展。

PyTorch是由Facebook AI Research在2016年推出。

它的核心優(yōu)勢(shì)在于動(dòng)態(tài)計(jì)算圖（Dynamic Computational Graph），可以讓代碼執(zhí)行得更加靈活，開發(fā)者可以像編寫普通Python代碼一樣進(jìn)行模型的構(gòu)建和調(diào)試。

相比之下，早期的TensorFlow采用靜態(tài)計(jì)算圖（Static Computational Graph），盡管執(zhí)行效率較高，但在模型開發(fā)階段的靈活性和調(diào)試便利性方面遜色于PyTorch。

這種技術(shù)差異使得PyTorch特別受到研究人員的青睞，尤其是在實(shí)驗(yàn)和快速迭代等工作中。

為了縮小與PyTorch在靈活性方面的差距，TensorFlow 2.0引入了與其類似的動(dòng)態(tài)圖功能，通過Eager Execution和 tf.function 提供了更為靈活的開發(fā)體驗(yàn)。

這一演變使得TensorFlow在保持高性能優(yōu)化的同時(shí)，也具備了PyTorch式的開發(fā)靈活性。

但此舉似乎并未完全彌補(bǔ)與PyTorch在用戶體驗(yàn)上的差距。

當(dāng)然，Keras這邊也是在不斷迭代優(yōu)化。

例如在去年年底，Keras發(fā)布了3.0版本，被譽(yù)為改變了機(jī)器學(xué)習(xí)游戲規(guī)則。

不僅支持TensorFlow、PyTorch、Jax三大框架作為后端，還能在它們之間無縫切換，甚至混合使用。

Fran?ois當(dāng)時(shí)在自己的社交賬號(hào)中概述了這樣做的四大好處，包括：

• 始終讓模型獲得最佳性能
• 解鎖多個(gè)生態(tài)系統(tǒng)
• 在開源社區(qū)擴(kuò)大影響力
• 使用任何來源的數(shù)據(jù)pipeline

不過即便如此，像Cohere機(jī)器學(xué)習(xí)總監(jiān)Nils Reimers也給Keras敲了個(gè)警鐘：

希望歷史不要重演。

Reimers認(rèn)為，Keras最初從支持單個(gè)后端（Theano）開始，陸續(xù)添加了Tensorflow、MXNet和CNTK等多后端。

這引發(fā)了一系列問題：

• 某些功能只在特定后端可用
• 各個(gè)后端的計(jì)算結(jié)果存在不一致：在一個(gè)后端上運(yùn)行正常的代碼，在另一個(gè)后端可能產(chǎn)生不同結(jié)果
• 對(duì)于開源軟件開發(fā)者來說體驗(yàn)糟糕：你剛完成了一個(gè)自定義的 Keras層想要分享？你是否愿意為其他后端重新實(shí)現(xiàn)和優(yōu)化它呢？
• 調(diào)試問題：代碼在一個(gè)后端上表現(xiàn)完美，但在另一個(gè)后端的最新版本上卻頻繁出錯(cuò)…

隨著時(shí)間推移，這些問題愈發(fā)嚴(yán)重：某些模塊只能在 Theano 上運(yùn)行良好，某些只適用于Tensorflow，還有一些模塊可以在MXNet上進(jìn)行推理，但無法訓(xùn)練…

我希望這一次的多后端能有更好的表現(xiàn)，但這無疑仍是一個(gè)挑戰(zhàn)。

80后法國(guó)AI大牛

提到Keras之父，F(xiàn)ran?ois Chollet這個(gè)名字在AI圈里可以說是家喻戶曉。

他出生于1989年10月20日，從履歷上來看，他在2012年取得巴黎綜合理工學(xué)院工程碩士學(xué)位之后，并沒有選擇繼續(xù)深造，而是前往美國(guó)就職。

Fran?ois先后分別在FreshPlanet和Thunder分別擔(dān)任軟件工程師和機(jī)器學(xué)習(xí)架構(gòu)師；最后于2015年加入谷歌，直至今天。

在與國(guó)外知名訪談博主Lex Fridman交流過程中，F(xiàn)ran?ois也回顧了Keras誕生的故事。

在2014年，那時(shí)候最受歡迎的深度學(xué)習(xí)庫(kù)還是用C++編寫的Caffe（賈揚(yáng)清出品），當(dāng)時(shí)Caffe要比Theano更受歡迎。

而到了年底，F(xiàn)ran?ois突然對(duì)循環(huán)神經(jīng)網(wǎng)絡(luò)產(chǎn)生了濃厚的興趣。

當(dāng)時(shí)，這還是一個(gè)相對(duì)小眾的領(lǐng)域，于是他便開始尋找適合的工具進(jìn)行探索。

在參與Kaggle比賽期間，F(xiàn)ran?ois嘗試了諸如Torch7和Theano等工具，也使用過Caffe，但當(dāng)時(shí)Caffe并沒有提供理想的循環(huán)神經(jīng)網(wǎng)絡(luò)解決方案，例如缺少可重復(fù)使用的開源LSTM實(shí)現(xiàn)。

于是乎，F(xiàn)ran?ois便有了一個(gè)想法，自己動(dòng)手構(gòu)建一個(gè)框架。

他最初的想法是主要集中在LSTM和RNN的實(shí)現(xiàn)上，且使用Python來編寫。

期間一個(gè)非常重要的決定是——模型將通過Python代碼來定義。

這可以說是與當(dāng)時(shí)的主流想法是背道而馳，因?yàn)橄馛affe、Theano這樣的庫(kù)通常使用YAML等靜態(tài)配置文件來定義模型。

但其實(shí)有些庫(kù)是用代碼定義模型的，例如Torch7（但不是Python）。

而在Fran?ois此前的工作實(shí)踐中，scikit-learn這個(gè)開源深度學(xué)習(xí)庫(kù)深得他的心意，因此他從中獲取了大量的靈感。

用他的話來說就是，Keras幾乎就是為神經(jīng)網(wǎng)絡(luò)打造的scikit-learn。

有意思的是，Keras這個(gè)名字，還是Fran?ois他在發(fā)布當(dāng)天臨時(shí)定下來的。

并且Fran?ois還坦言：

幾個(gè)月后我加入谷歌，其實(shí)跟Keras沒有任何關(guān)系。

我當(dāng)時(shí)加入了一個(gè)研究團(tuán)隊(duì)，專注于圖像分類和計(jì)算機(jī)視覺領(lǐng)域，因此最初在谷歌的工作主要是進(jìn)行計(jì)算機(jī)視覺研究。

剛加入谷歌時(shí)，我接觸到了TensorFlow的早期內(nèi)部版本，它吸引我的原因在于它是Theano的改進(jìn)版。那一刻，我就意識(shí)到必須把Keras移植到這個(gè)全新的TensorFlow上。

而后，也就是有了Keras與TensorFlow集成的故事。

至于除了這次離職的動(dòng)作之外，F(xiàn)ran?ois上一次步入大眾的視頻，還是一次訪談。

在這次訪談中，他表示打算用100萬美元搞AGI競(jìng)賽。

至于原因，是因?yàn)樗X得現(xiàn)有的AI技術(shù)，尤其是LLM，主要依賴于記憶和模仿人類數(shù)據(jù)中的模式，在新情境下的新推理和技能獲取方面表現(xiàn)不佳。

其實(shí)早在2019年，F(xiàn)ran?ois就提出了ARC-AGI ——唯一衡量AGI能否有效獲取新技能并解決開放式問題的評(píng)估標(biāo)準(zhǔn)。

目前，最好的AI系統(tǒng)在ARC基準(zhǔn)測(cè)試中的得分為34%，而人類包括兒童在內(nèi)均能輕松得分85%。

因此ARC Prize鼓勵(lì)開源合作，以提高新想法的產(chǎn)生率，增加發(fā)現(xiàn)AGI的機(jī)會(huì)，并確保這些新想法得到廣泛傳播。

至于Fran?ois下一步的動(dòng)向，量子位也將繼續(xù)保持關(guān)注。

參考鏈接：
[1]https://developers.googleblog.com/en/farewell-and-thank-you-for-the-continued-partnership-francois-chollet/
[2]https://news.ycombinator.com/item?id=42130881
[3]https://time.com/7012823/francois-chollet/
[4]https://en.wikipedia.org/wiki/Fran%C3%A7ois_Chollet
[5]https://www.linkedin.com/in/fchollet/
[6]https://keras.io/keras_3/