百度蜘蛛(Baiduspider)爬取
進行網站日志分析的時候,常見到很多不同IP段的百度蜘蛛,為了方便大家更好的進行日志分析,下面列舉了百度不同IP段常見蜘蛛的一些詳情情況
220.181.108.95:這個是百度抓取首頁的公用IP,如是220.181.108段的話,根本來說你的網站會每天隔夜快照
220.181.108.92:同上98%抓取首頁,大概還會抓取其他(不是指內頁)220.181段屬于權重IP段此段爬過的文章或首頁根本24小時放出來。
220.181.108.91:屬于綜合的,重要抓取首頁和內頁或其他,屬于權重IP段,爬過的文章或首頁根本24小時放出來。
220.181.108.75:重點抓取更新文章的內頁到達90%,8%抓取首頁,2%其他。權重IP段,爬過的文章或首頁根本24小時放出來。
220.181.108.86:公用抓取首頁IP權重段,普通前往代碼是30400代表未更新。
220.181.108.89:公用抓取首頁IP權重段,普通前往代碼是30400代表未更新。
220.181.108.94:公用抓取首頁IP權重段,普通前往代碼是30400代表未更新。
220.181.108.97:公用抓取首頁IP權重段,普通前往代碼是30400代表未更新。
220.181.108.80:公用抓取首頁IP權重段,普通前往代碼是30400代表未更新。
220.181.108.77:公用抓首頁IP權重段,普通前往代碼是30400代表未更新。
220.181.108.83:公用抓取首頁IP權重段,普通前往代碼是30400代表未更新。
下面的百度蜘蛛IP造訪,準備抓取你東西,抓取網頁的百度蜘蛛。
60.172.229.61
61.129.45.72
百度競價蜘蛛
61.135.165.134
117.34.74.66
118.122.188.194
119.63.196.9
125.39.78.185
站長工具模仿的百度蜘蛛。
61.147.98.146
61.188.39.16
113.98.254.245
117.21.220.245
117.28.255.42
60.28.22.0-60.28.22.255 天津市 百度蜘蛛
61.135.162.0-61.135.169.255 北京市 百度蜘蛛
61.135.186.0-61.135.190.255 北京市 百度蜘蛛
119.188.14.13-119.188.14.35 山東省濟南市 百度蜘蛛
123.125.66.0-123.125.71.255 北京市 百度蜘蛛
159.226.50.0-159.226.50.255 北京市 百度蜘蛛
162.105.207.0-162.105.207.255 北京市 百度蜘蛛
180.149.133.0-180.149.133.255 北京市 百度蜘蛛
202.108.249.0-202.108.250.255 北京市 百度蜘蛛
220.181.19.0-220.181.19.255 北京市 百度蜘蛛
220.181.32.0-220.181.38.255 北京市 百度蜘蛛
220.181.108.0-220.181.108.255 北京市 百度蜘蛛
————————————————
版權聲明:本文為CSDN博主「樂逍遙?」的原創文章,遵循 CC 4.0 BY-SA 版權協議,轉載請附上原文出處鏈接及本聲明。