AppleBot：蘋果有自己的網絡爬蟲是真的

蘋果剛剛在網站上放出了傳言已久的“AppleBot”的一些技術細節，證實了傳聞已久的蘋果有自己的網絡信息抓取服務的確是真的。
網絡爬蟲，或者叫網絡信息抓取服務，是指按照一定的規則，自動抓取WWW網上信息的程序或者腳本，是搜索引擎的關鍵組件。一直以來大家都認為蘋果是利用了Bing或者Google等第三方搜索引擎來提供Siri、Spotlight等的搜索服務的。但是去年11月時開發者Jan Moesen發現了有大量的web信息被17.0.0.0/8地址段的爬蟲抓取，根據對地址段歸屬的查詢發現這是屬於蘋果的地址段，再加上蘋果又終止了與Google就Safari默認搜索引擎的交易，從而引發了對蘋果有自己網絡爬蟲的猜測。

現在蘋果有限公佈了這一名為“AppleBot”的網絡爬蟲的細節，相當於證實了之前的傳言：

引用Applebot是蘋果的網絡爬蟲，用於包括Siri、Spotlight Suggestions在內的產品上。它遵守通常的robots.txt規則並沿用相關元標籤。所用地址段為17.0.0.0。

可以看出，蘋果的爬蟲跟Google的運作方式類似。因為裏面提到爬蟲指令裏面若沒有提到Applebot的話將遵循Googlebot指令規則。

目前尚不清楚蘋果的網絡爬蟲啟用了多久。同時由於網絡爬蟲只是搜索引擎的一部分，未必就代表蘋果在做自己的搜索引擎。

原創文章，作者：boxi


資料來源：36Kr