亚洲中文字幕黄网站,偷窥国产亚洲女爱视频在线,2021免费的一级片,狠狠狠狼鲁亚洲综合网,精品国产欧美,免费看美女乱轮黄色片,午夜成人在线视频

Mail.RU_Bot

Mail.RU_Bot是Mail.Ru(俄羅斯最大的互聯(lián)網(wǎng)門戶之一)搜索引擎的網(wǎng)絡(luò)爬蟲。這個(gè)網(wǎng)絡(luò)爬蟲被用于抓取和索引網(wǎng)頁(yè)內(nèi)容,以支持Mail.Ru搜索引擎的運(yùn)行。Mail.Ru_Bot的主要作用是幫助Mail.Ru搜索引擎發(fā)現(xiàn)和收錄新的網(wǎng)頁(yè)內(nèi)容,并在用戶進(jìn)行搜索時(shí)提供相關(guān)的搜索結(jié)果。

不過對(duì)于國(guó)內(nèi)網(wǎng)站來說不會(huì)帶來什么流量,可以選擇robots.txt協(xié)議禁止。

User-agent: Mail.RU_Bot

Disallow: /

如果還是禁止不了,可以選擇nginx規(guī)則禁止訪問,如下:

if ($http_user_agent ~* "Mail.RU_Bot") {

 return 403;

}


補(bǔ)充糾錯(cuò)
上一蜘蛛: Coccocbot-web
下一蜘蛛: DigitalPebble