谷歌推網(wǎng)頁爬蟲新標準，開源robots.txt解析器
來自谷歌的生日禮包
魚羊 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI
對于接觸過網(wǎng)絡爬蟲的人來說 robots.txt 絕不陌生，這一存放于網(wǎng)站根目錄下的 ASCII 碼文件標明了網(wǎng)站中哪些內(nèi)容是可以抓取的，哪些內(nèi)容又是禁止抓取的。
今年，robots.txt 就滿 25 周歲了， 為了給這位互聯(lián)網(wǎng)MVP慶祝生日，谷歌再度出手，開源 robots.txt 解析器，試圖推助機器人排除協(xié)議（REP）正式成為互聯(lián)網(wǎng)行業(yè)標準。
非標準的標準
機器人排除協(xié)議（Robots Exclusion Protocol）是荷蘭軟件工程師 Martijn Koster 在1994 提出的一項標準，其核心就是通過 robots.txt 這樣一個簡單的文本文件來控制爬蟲機器人的行為。
REP 以其簡單高效征服了互聯(lián)網(wǎng)行業(yè)，有超過 5 億個網(wǎng)站都在使用 robots.txt，可以說它已經(jīng)成為了限制爬蟲的事實標準，像 Googlebot 在抓取網(wǎng)頁時就會瀏覽 robots.txt 來確保其不冒犯網(wǎng)站的特別聲明。
然而，在為互聯(lián)網(wǎng)行業(yè)服務了25年之后，REP 仍然只是一個非官方的標準。
這可帶來了不少麻煩。
比如拼寫錯誤。有很多人會忽視 robots.txt 規(guī)則中的冒號，而把 Disallow 拼成 Dis Allow 這種讓爬蟲抓瞎的情況也不是沒有出現(xiàn)過。
此外，REP本身并沒有涵蓋所有的情況，比如出現(xiàn)服務器錯誤 500 時，爬蟲是啥都可以抓還是啥也不能抓？
對于網(wǎng)站所有者來說，模糊的事實標準使得正確地書寫規(guī)則變成了一件難事。這就夠讓人頭疼的了，更別提并非所有的爬蟲都尊重 robots.txt 這件事了。
來自谷歌的生日禮
REP 的尷尬，以搜索起家的谷歌看在眼里。于是在 REP 誕生25周年之際，谷歌大筆一揮，獻上一份厚禮，宣布將與 REP 原作者 Martijn Koster、網(wǎng)站管理員和其他搜索引擎合作，向互聯(lián)網(wǎng)工程任務組（IETF）提交規(guī)范化使用 REP 的草案，努力助其成為真正的官方標準！
為此，谷歌還開源了其用于抓取網(wǎng)絡的工具之一——?robots.txt 解析器，來幫助開發(fā)人員構建自己的解析器，以期創(chuàng)建更多的通用格式，促進標準的完善。
此番開源的 C++ 庫已存在20年之久，涵蓋了谷歌生產(chǎn)歷程中經(jīng)歷的許多有關 robots.txt 文件的案例。開源軟件包中還包含了一個測試工具，可以幫助開發(fā)者們測試一些規(guī)則。
谷歌表示，他們希望幫助網(wǎng)站所有者和開發(fā)者們在互聯(lián)網(wǎng)中創(chuàng)造出更多驚人的體驗，而不是成天擔心怎么去限制爬蟲。
草案內(nèi)容目前尚未全面公布，但大致會聚焦于以下幾個方向：
- 任何基于 URI 的傳輸協(xié)議都可以使用 robots.txt。不局限于 HTTP，還包括 FTP 和 CoAP。
- 開發(fā)人員必須至少解析 robots.txt 的前 500 KiB。定義最大文件大小來確保打開文件不會花太長時間，以減輕服務器的壓力。
- 新的最大緩存時間或緩存指令值為24小時，使網(wǎng)站所有者可以隨時靈活地更新 robots.txt，并且爬蟲不會使用 robots.txt 請求超載網(wǎng)站。
- 當先前可訪問的 robots.txt 文件由于服務器故障而變得不可訪問時，在長時間內(nèi)不會對已知的不允許頁面進行抓取。
網(wǎng)友評論
谷歌此番開源再次引起熱議。
有網(wǎng)友表示，谷歌作為搜索行業(yè)的領軍人物，大多數(shù)的搜索引擎都愿意緊隨其后，他們愿做先鋒統(tǒng)一行業(yè)標準是一件很有意義的事情。
還有網(wǎng)友對谷歌愿意開源 robots.txt 解析器感到既興奮又驚奇，谷歌將來還會開源與搜索相關的其他模塊嗎？想想都有點刺激呀。
而 Martijn Koster 本人也說出了一些網(wǎng)友的心聲：谷歌真是棒呆了！
傳送門
開源地址：https://github.com/google/robotstxt
—?完?—
相關閱讀
谷歌開源縮放模型EfficientNets：ImageNet準確率創(chuàng)紀錄，效率提高10倍
文章已經(jīng)被ICML 2019收錄。
o3并非獨門秘技，谷歌已發(fā)背后關鍵機制，方法更簡單、成本更低
DeepSeek-Coder通過重復采集5個樣本，性能優(yōu)于GPT-4o，而成本卻僅為后者的三分之一。
