4個(gè)Shell小技巧，幫你提高機(jī)器學(xué)習(xí)生產(chǎn)效率
這些技巧更重要的是讓你的思維從瑣碎小事中解脫出來。
曉查 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI
在機(jī)器學(xué)習(xí)的實(shí)踐過程中，用好Shell能幫你很多節(jié)省時(shí)間。
最近，有位來自ETHZ的學(xué)生分享了一些Shell小技巧。對程序員來說，這些技巧更重要的是讓你的思維從瑣碎小事中解脫出來，大大提高了工作效率。
下面就是他分享的4個(gè)tips。由于本文中涉及到的shell腳本過多，你可以去文末地址中查看所有腳本的源代碼。
抓取遠(yuǎn)程文件
當(dāng)你在遠(yuǎn)程服務(wù)器上監(jiān)視程序運(yùn)行時(shí)，如果想把一個(gè)遠(yuǎn)程文件抓取到本地查看，通常你會(huì)怎么做？
記下文件路徑，打開終端，用rsync之類的工具同步到本地，再到文件瀏覽器中查看。
實(shí)際上不必這么麻煩。只需要事先寫好幾個(gè)shell腳本，就可以避免重復(fù)的機(jī)械勞動(dòng)。
在這里強(qiáng)烈推薦iTerm 2，它比Mac自帶的終端要強(qiáng)大得多，可以指定某個(gè)觸發(fā)關(guān)鍵詞執(zhí)行某個(gè)相應(yīng)的命令。
iTerm 2下載地址：https://www.iterm2.com/
先在遠(yuǎn)程服務(wù)器上設(shè)置一個(gè)腳本t。當(dāng)我們輸入r awesome_video.mp4時(shí)，它會(huì)搜索awesome_video.mp4文件所在路徑，并連同主機(jī)名以字符串rtransfer <host> <path>的形式打印出來。
rtransfer作為iTerm2的觸發(fā)關(guān)鍵詞，解析出主機(jī)和路徑，然后調(diào)用另一個(gè)本地腳本t2。腳本t2將這個(gè)視頻文件傳輸?shù)脚R時(shí)目錄，然后在該目錄中打開Finder。
使用iTerm 2觸發(fā)關(guān)鍵詞功能調(diào)用腳本，可以大大提升效率，而你要做的只是在前期花費(fèi)時(shí)間定制腳本。
遠(yuǎn)程訪問TensorBoard
除了抓取遠(yuǎn)程文件，另一個(gè)讓人痛苦的是訪問遠(yuǎn)程服務(wù)器上的TensorBoard實(shí)例。你可以設(shè)置SSH端口轉(zhuǎn)發(fā)，但是哪個(gè)端口對應(yīng)哪個(gè)服務(wù)器？它們都在Docker容器中。
ngrok可以讓你把訪問本地端口變成訪問URL，比如輸入ngrok http 6006后，它會(huì)為你生成一個(gè)URL網(wǎng)址http://683acac3.ngrok.io，你可以在這個(gè)地址中查看TensorBoard實(shí)例。
結(jié)合腳本n，以更快的速度啟動(dòng)ngrok，然后用腳本tb打開Web瀏覽器，啟動(dòng)TensorBoard，在十秒內(nèi)就能從運(yùn)行目錄轉(zhuǎn)到顯示圖形。
ngrok有個(gè)缺點(diǎn)是它一次只能允許一個(gè)會(huì)話，因此在使用前需要?dú)⑺郎弦粋€(gè)ngork進(jìn)程。如果你忘記在另外一臺(tái)服務(wù)器上殺死ngrok，可能會(huì)比較麻煩。
ngrok下載地址：https://ngrok.com/
用tbplot代替TensorBoard繪圖
對于運(yùn)行大量metrics的情形，我們需要等待較長時(shí)間讓TensorBoard加載所有圖形。如果使用tbplot腳本，速度會(huì)快很多，并且能直接生成圖像文件。
tbplot實(shí)際上調(diào)用的是Matplotlib，缺點(diǎn)是目前只能生成標(biāo)量圖。
tbplot下載地址：https://github.com/mrahtz/tbplot
自動(dòng)化崩潰監(jiān)測
運(yùn)行代碼時(shí)，最耗費(fèi)精力的事情就是是擔(dān)心遇到了錯(cuò)誤并崩潰，因此需要不斷檢查他們的運(yùn)行情況。
當(dāng)程序出現(xiàn)問題時(shí)，通過警報(bào)自動(dòng)監(jiān)控可以緩解這種擔(dān)憂。一般可以把警報(bào)發(fā)送到郵箱中，為了避免這么麻煩，可以使用sqs-alerts，它依靠AWS AWS Simple Queue服務(wù)存儲(chǔ)和接收消息。
在每臺(tái)遠(yuǎn)程機(jī)器上，使用cron運(yùn)行一個(gè)腳本，監(jiān)控日志并在檢測到運(yùn)行中斷時(shí)向隊(duì)列發(fā)送消息。然后在本地機(jī)器上運(yùn)行一個(gè)服務(wù)來監(jiān)控隊(duì)列，并在收到消息時(shí)彈出警報(bào)。
sqs-alerts下載地址：https://github.com/mrahtz/sqs-alerts
最后，本文使用的所有shell腳本都可以在以下地址中找到：
https://github.com/mrahtz/dotfiles/tree/master/.local/bin
相關(guān)閱讀
Python之路點(diǎn)燃編程圈：源于不爽C語言，單槍匹馬搞副業(yè)，如今吞噬世界
Python is eating the world.
-e1609566530967-300x175.jpg)
首個(gè)ML的生物醫(yī)藥大型數(shù)據(jù)集，3行代碼就能運(yùn)行丨哈佛MIT斯坦福等出品
自帶模型評(píng)估、數(shù)據(jù)拆分、數(shù)據(jù)處理
