一淘網(wǎng)蜘蛛(EtaoSpider)為一淘網(wǎng)抓取工具。”被各大電子商務購物網(wǎng)站屏蔽。拒絕一淘網(wǎng)抓取其商品信息及用戶產(chǎn)生的點評內容。被禁止的原因首先應該是它們之間沒有合作互利的關系,還有就是EtaoSpider爬蟲是一個抓取最瘋狂的蜘蛛。統(tǒng)計發(fā)現(xiàn)EtaoSpider爬蟲的一天爬行量比“百度蜘蛛:Baiduspider”“360蜘蛛:360Spider”“SOSO蜘蛛:Sosospider”等主流蜘蛛爬蟲多幾倍,并且是遠遠的多。重點是EtaoSpider被抓取只會消耗你的網(wǎng)站資源,它不會給你帶來訪問量,或者其它對你有利用的。
中文成語詞典可用一個詞來形容,這個詞留給大家想吧。
不過對于國內網(wǎng)站來說不會帶來什么流量,可以選擇robots.txt協(xié)議禁止。
User-agent: EtaoSpider
Disallow: /
如果還是禁止不了,可以選擇nginx規(guī)則禁止訪問,如下:
if ($http_user_agent ~* "EtaoSpider") {
return 403;
}