CriteoBot是由數(shù)字營銷公司Criteo開發(fā)的網(wǎng)絡爬蟲程序。Criteo是一家專注于個性化廣告的公司，他們的CriteoBot用于收集網(wǎng)站上的商品信息和用戶行為數(shù)據(jù)，以便為其個性化廣告和推薦系統(tǒng)提供支持。

CriteoBot會定期訪問參與其廣告網(wǎng)絡的網(wǎng)站，并抓取商品頁面的信息、價格、描述以及用戶瀏覽和購買行為等數(shù)據(jù)。這些數(shù)據(jù)將被用于Criteo的廣告投放和推薦系統(tǒng)，幫助優(yōu)化廣告展示以及增強用戶體驗。

不過對于國內網(wǎng)站來說不會帶來什么流量，可以選擇robots.txt協(xié)議禁止。

User-agent: CriteoBot

Disallow: /

如果還是禁止不了，可以選擇nginx規(guī)則禁止訪問，如下：

if ($http_user_agent ~* "CriteoBot") {

 return 403;

}