安妮 一璞 發(fā)自 凹非寺

量子位 出品 | 公眾號(hào) QbitAI

檢測(cè)號(hào)稱(chēng)人類(lèi)健康頭號(hào)殺手癌癥，現(xiàn)在實(shí)現(xiàn)了質(zhì)的飛躍。

一個(gè)偏遠(yuǎn)小鎮(zhèn)的鄉(xiāng)村診所，現(xiàn)在也有機(jī)會(huì)用AI，采用人機(jī)結(jié)合的方式，篩查出難度極高的淋巴結(jié)轉(zhuǎn)移的乳腺癌、前列腺癌了。

谷歌這項(xiàng)潛力無(wú)限的研究，登上了Nature Medicine。

和人類(lèi)費(fèi)時(shí)費(fèi)力取材切片固定染色找癌細(xì)胞不同，這臺(tái)智能顯微鏡能從海量細(xì)胞中自動(dòng)尋找癌細(xì)胞病灶，完成實(shí)時(shí)檢測(cè)。

并且，這臺(tái)顯微鏡加入AR技術(shù)，可將診斷結(jié)果直接疊加到顯微鏡原來(lái)的圖像中。

此前觀察癌細(xì)胞，效果是繁雜累眼的：

而谷歌的顯微鏡，開(kāi)掛了：

層層鎖定，一招制敵！

相比從前天荒地老的顯微鏡下地毯式搜查，AI能瞬間抓捕癌細(xì)胞，堪比生物界的安防攝像頭。

而需要這樣大的運(yùn)算量，竟然還能在本地完成。無(wú)需聯(lián)網(wǎng)、無(wú)需接入云端，在終端即可完成。

是不是需要很高大上的設(shè)備？

nonono，只需將普通光學(xué)顯微鏡略加改裝，加入攝像頭連接計(jì)算機(jī)，就能完成乳腺癌、前列腺癌的識(shí)別。設(shè)備簡(jiǎn)單，能夠快速?gòu)?fù)制。

可離線，可實(shí)時(shí)，而且算法模型穩(wěn)定、硬件成本兼具性?xún)r(jià)比，整個(gè)工作高度自動(dòng)化……在一個(gè)醫(yī)療AI普遍處于大哥大的時(shí)代，谷歌AI邁出了類(lèi)似安卓智能機(jī)的一步。

甚至有網(wǎng)友直言：

比起人類(lèi)我更信任這個(gè)機(jī)器。

這是臺(tái)能救命的顯微鏡。

準(zhǔn)確率超90%

在這臺(tái)顯微鏡下，以淋巴結(jié)和前列腺結(jié)節(jié)的樣本，分別在10倍放大和20倍放大下做實(shí)驗(yàn)，發(fā)現(xiàn)可以成功的標(biāo)注出有癌細(xì)胞的地方。

從ROC曲線圖上可以看出，10倍顯微鏡下淋巴結(jié)檢測(cè)AUC達(dá)到了0.92，20倍顯微鏡下淋巴結(jié)檢測(cè)AUC達(dá)到了0.97，10倍顯微鏡下前列腺結(jié)節(jié)檢測(cè)AUC達(dá)到了0.93，20倍顯微鏡下前列腺結(jié)節(jié)檢測(cè)AUC達(dá)到了0.92。

最后，無(wú)論是追求準(zhǔn)確率、精確率還是召回率，四個(gè)實(shí)驗(yàn)中所有數(shù)值結(jié)果都超過(guò)了0.9。

另外，除了癌癥之外，各種其他的也能顯示出來(lái)，比如黃體酮受體染色計(jì)數(shù)、有絲分裂計(jì)數(shù)、細(xì)胞計(jì)數(shù)、微生物檢測(cè)……等等。

而這，也意味著除了診斷疾病之外，這項(xiàng)成果還能用在生物學(xué)研究、法醫(yī)鑒定等多個(gè)領(lǐng)域。

顯微鏡構(gòu)造

整個(gè)AR顯微鏡包含三個(gè)部分：顯微鏡本體、深度學(xué)習(xí)算法、跑算法的計(jì)算機(jī)。

先來(lái)看顯微鏡本體。本體就是一個(gè)普通的明場(chǎng)光學(xué)顯微鏡，這里用到的是Nikon Eclipse Ni-U。

△?Nikon Eclipse Ni-U顯微鏡

看起來(lái)跟中學(xué)生物課堂上用的差不多是不是？現(xiàn)在，給這臺(tái)顯微鏡加裝兩個(gè)模塊。

一個(gè)模塊是攝像頭，可以捕捉當(dāng)前顯微鏡視野內(nèi)的高分辨率圖像。

另一個(gè)模塊是為顯示器，可以為攝像頭捕捉到的原始圖像增加數(shù)字信息，進(jìn)行疊加。

攝像頭模塊拍下的圖像，在經(jīng)過(guò)深度學(xué)習(xí)算法處理后，就可以不算自動(dòng)篩查、找到病灶，交給顯示器。

計(jì)算機(jī)方面，AR顯微鏡包含一塊高速圖像采集卡BitFlow CYT，還有一塊英偉達(dá)Titan Xp GPU。

針對(duì)每張顯微鏡視野圖像，需要經(jīng)過(guò)幾個(gè)過(guò)程：先把當(dāng)前視野拍下來(lái)，之后將圖像轉(zhuǎn)換為RGB像素值，在圖像上運(yùn)行深度學(xué)習(xí)算法，之后找到病灶。

實(shí)時(shí)不卡頓

因?yàn)樽畲笙薅鹊睦玫搅瞬煌挠布?lái)完成不同的任務(wù)，所以，這個(gè)過(guò)程成本更低，比傳統(tǒng)的全片掃描儀（whole slide scanners）成本低一兩個(gè)數(shù)量級(jí)。

并且，整套系統(tǒng)可以方便的遷移到各種普通顯微鏡上。

神經(jīng)網(wǎng)絡(luò)使用的是1000×1000的尺寸，但顯微鏡視野更大，達(dá)到了5120×5120，因此，需要滑動(dòng)窗口來(lái)逐步處理整張大圖。

為了提高速度，研究團(tuán)隊(duì)將完全卷積網(wǎng)絡(luò)（FCN）應(yīng)用到了InceptionV3深度學(xué)習(xí)構(gòu)架中，組成了InceptionV3-FCN，減少了75%的計(jì)算量。

△?InceptionV3-FCN

△?修改InceptionV3

并且，改造之后，延遲也降低了，從2126ms降到了296ms，F(xiàn)PS從0.94提高到了6.84。之后，再用其他軟件方法優(yōu)化，延遲最終降為了37ms，F(xiàn)PS也高達(dá)27，基本上不卡了。

谷歌AI大手筆

這一次，是Google Brain團(tuán)隊(duì)的又一次大手筆研究，谷歌AI總負(fù)責(zé)人、深度學(xué)習(xí)大牛Jeff Dean也位列作者行列。

共同一作共三位，分別為：

Po-Hsuan Cameron Chen，博士畢業(yè)于普林斯頓大學(xué)神經(jīng)科學(xué)研究所，此前還在國(guó)立臺(tái)灣大學(xué)獲得了電子工程學(xué)學(xué)士學(xué)士，主要研究大腦工作原理。

Krishna Gadepalli，畢業(yè)美國(guó)北開(kāi)來(lái)羅納大學(xué)，入職谷歌12年。

此外，還有Google Health部門(mén)的研究人員Robert MacDonald。

這篇論文是今年6月19日向Nature提交的，7月2日確定被接收了，從提交到接收只經(jīng)歷了18天，接收速度令網(wǎng)友感嘆了一把。

此前，也不是沒(méi)有過(guò)智能顯微鏡的研究。

Global Good基金會(huì)投資的中國(guó)顯微鏡制造公司Motic，曾經(jīng)推出過(guò)一款智能顯微鏡EasyScan Go，可用于診斷瘧疾。但其樣本檢測(cè)需要20分鐘，在向縮短至10分鐘邁進(jìn)。

在去年的騰訊全球合作伙伴大會(huì)上，騰訊AI Lab也發(fā)布了一款智能顯微鏡，醫(yī)生不能從顯微鏡中實(shí)時(shí)看到AI反饋，需要與電腦連接后，從電腦顯示屏中讀取顯微鏡中的圖像和AI輔診意見(jiàn)。

但即便是在國(guó)內(nèi)走在前列的騰訊覓影，目前也還處在頂級(jí)定點(diǎn)醫(yī)院的合作狀態(tài)，還達(dá)不到谷歌AI這樣的端到端、可復(fù)制，開(kāi)箱即用。

所以具備實(shí)時(shí)診斷、AI+AR可在顯微鏡視野中直接疊加、還能診斷轉(zhuǎn)移病灶的能力……谷歌的這臺(tái)顯微鏡當(dāng)前看起來(lái)已經(jīng)萬(wàn)事俱備，只欠FDA批準(zhǔn)的東風(fēng)了。

先別走，拿上代碼！

先別走，谷歌智能顯微鏡，你也有機(jī)會(huì)自己動(dòng)手DIY一個(gè)，官方已經(jīng)放出了其中的模型架構(gòu)和工具代碼。

深度學(xué)習(xí)架構(gòu)代碼可獲?。?/p>

https://github.com/google-research/google-research/tree/master/nopad_inception_v3_fcn

相機(jī)抓取器驅(qū)動(dòng)程序BitFlow：

Home (new)

此外，還需要用到TensorFlow、OpenCV、Scipy等基礎(chǔ)工具，這里就不提供了。

最后，附上Nature論文地址：

https://www.nature.com/articles/s41591-019-0539-7.epdf?author_access_token=BI9AOTsesmNoV2lSdpucn9RgN0jAjWel9jnR3ZoTv0PDGU3ZwysZtsN41a2fOgaoj4PRxjTvAHjSFrKF_S_mq4QNNV8dNoxAjytIQuVz9vdjplLQHUSEPiIo392MzIJY8fqxLKHC5vIwNpLLEoXMnA%3D%3D

— 完 —

誠(chéng)摯招聘

量子位正在招募編輯/記者，工作地點(diǎn)在北京中關(guān)村。期待有才氣、有熱情的同學(xué)加入我們！相關(guān)細(xì)節(jié)，請(qǐng)?jiān)诹孔游还娞?hào)(QbitAI)對(duì)話界面，回復(fù)“招聘”兩個(gè)字。

量子位 QbitAI · 頭條號(hào)簽約作者

?’?’ ? 追蹤AI技術(shù)和產(chǎn)品新動(dòng)態(tài)