雅虎中國：http://misc.yahoo.com.cn/help.html

雅虎英文：http://help.yahoo.com/help/us/ysearch/slurp

1)Yahoo!搜索蜘蛛名稱：Yahoo! Slurp。

2)Yahoo!搜索引擎廣告蜘蛛：Yahoo!-AdCrawler。 用來抓取Yahoo!搜索引擎廣告登陸頁網(wǎng)頁

如果某個網(wǎng)站在谷歌網(wǎng)站下沒有很好的收錄，在雅虎下也不會有很好的收錄和爬行。雅虎蜘蛛的數(shù)量龐大，但平均的效率不是很高，相應的搜索結(jié)果質(zhì)量不高。

不過對于國內(nèi)網(wǎng)站來說不會帶來什么流量，可以選擇robots.txt協(xié)議禁止。

User-agent: Yahoo Slurp

Disallow: /

如果還是禁止不了，可以選擇nginx規(guī)則禁止訪問，如下：

if ($http_user_agent ~* "Yahoo") {

 return 403;

}