MegaIndex.ru蜘蛛是一個提供反向鏈接查詢的網(wǎng)站的蜘蛛，因此它爬網(wǎng)站主要是分析鏈接，官網(wǎng)：http://MegaIndex.ru，并沒有什么作用。遵循robots協(xié)議。

可以通過robots.txt協(xié)議選擇禁止。

User-agent: MegaIndex.ru

Disallow: /