Pinterestbot是由社交圖片分享平臺(tái)Pinterest使用的網(wǎng)絡(luò)爬蟲程序。Pinterestbot的主要任務(wù)是抓取網(wǎng)頁(yè)內(nèi)容和圖片信息,以建立和維護(hù)Pinterest平臺(tái)上的圖像數(shù)據(jù)庫(kù),并支持用戶在平臺(tái)上進(jìn)行圖片搜索和瀏覽。
Pinterestbot會(huì)定期訪問(wèn)互聯(lián)網(wǎng)上的網(wǎng)頁(yè),抓取其中的圖片和相關(guān)信息,然后將這些內(nèi)容整合到Pinterest的數(shù)據(jù)庫(kù)中。這樣,當(dāng)用戶在Pinterest上搜索特定的圖片或主題時(shí),就可以得到相關(guān)的搜索結(jié)果并瀏覽相關(guān)的圖片內(nèi)容。
不過(guò)對(duì)于國(guó)內(nèi)網(wǎng)站來(lái)說(shuō)不會(huì)帶來(lái)什么流量,可以選擇robots.txt協(xié)議禁止。
User-agent: Pinterestbot
Disallow: /
如果還是禁止不了,可以選擇nginx規(guī)則禁止訪問(wèn),如下:
if ($http_user_agent ~* "Pinterestbot") {
return 403;
}