BUbiNG是一個開源的網(wǎng)絡(luò)爬蟲系統(tǒng)，由意大利Pisa大學(xué)的研究團隊開發(fā)。它是專門為大規(guī)模抓取和索引互聯(lián)網(wǎng)內(nèi)容而設(shè)計的，具有高效性能和可擴展性。

BUbiNG的特點包括多線程抓取、分布式架構(gòu)、針對大規(guī)模數(shù)據(jù)集的優(yōu)化等。它可以用于構(gòu)建搜索引擎、數(shù)據(jù)挖掘項目、信息檢索系統(tǒng)等應(yīng)用，能夠快速而有效地抓取互聯(lián)網(wǎng)上的大量信息。

不過對于國內(nèi)網(wǎng)站來說不會帶來什么流量，可以選擇robots.txt協(xié)議禁止。

User-agent: BUbiNG

Disallow: /

如果還是禁止不了，可以選擇nginx規(guī)則禁止訪問，如下：

if ($http_user_agent ~* "BUbiNG") {

 return 403;

}