MediavBot是一個(gè)網(wǎng)絡(luò)爬蟲程序,通常被用于抓取網(wǎng)頁內(nèi)容并建立搜索引擎的索引。這種爬蟲程序可能由媒體公司、搜索引擎或其他組織開發(fā)和使用。
MediavBot可能被用于抓取特定類型的網(wǎng)頁內(nèi)容,例如新聞、媒體信息或其他與媒體相關(guān)的內(nèi)容。它可以自動(dòng)訪問網(wǎng)站上的頁面,收集其中的信息,并進(jìn)行索引以支持后續(xù)的檢索和展示。
不過對于國內(nèi)網(wǎng)站來說不會帶來什么流量,可以選擇robots.txt協(xié)議禁止。
User-agent: MediavBot
Disallow: /
如果還是禁止不了,可以選擇nginx規(guī)則禁止訪問,如下:
if ($http_user_agent ~* "MediavBot") {
return 403;
}