DeuSu 是我的個(gè)人項(xiàng)目。它是一個(gè)擁有獨(dú)立索引的搜索引擎。創(chuàng)建搜索索引,超過(guò)十億個(gè)網(wǎng)頁(yè)要爬。DeuSu機(jī)器人軟件用來(lái)做這個(gè)。

目前的(幾乎)所有請(qǐng)求DeuSu機(jī)器人來(lái)自ip地址85.93.91.84和130.180.122.35。唯一的例外是一些非常小的測(cè)試,我不使用這兩種服務(wù)器,但實(shí)際上我用我的電腦在家里。

不過(guò)對(duì)于國(guó)內(nèi)網(wǎng)站來(lái)說(shuō)不會(huì)帶來(lái)什么流量，可以選擇robots.txt協(xié)議禁止。

User-agent: Deusu

Disallow: /

如果還是禁止不了，可以選擇nginx規(guī)則禁止訪(fǎng)問(wèn)，如下：

if ($http_user_agent ~* "Deusu") {

 return 403;

}