? ? 一、搜索引擎蜘蛛
? ? 搜索引擎蜘蛛又稱網(wǎng)頁(yè)爬蟲。目的：抓取高質(zhì)量的網(wǎng)頁(yè)內(nèi)容。下面講幾個(gè)常見的搜索引擎蜘蛛分類：
? ? 1.1 Baiduspider（百度蜘蛛）
? ? 百度公司還有其它幾個(gè)蜘蛛：Baiduspider-news（新聞）、Baiduspider-mobile（wap）、Baiduspider-image（圖片）、Baiduspider-video（視頻），站長(zhǎng)經(jīng)常見到的是Baiduspider和Baiduspider-image。
? ? 1.2 Googlebot（谷歌蜘蛛）
? ? 還發(fā)現(xiàn)一個(gè)Googlebot-Mobile，看名字應(yīng)該是抓取wap內(nèi)容的。
? ? 1.3 360Spider（360蜘蛛）
? ? 它是一個(gè)很“勤奮抓爬”的蜘蛛。
? ? 1.4 Sogou News Spider（搜狗蜘蛛）
? ? 還包括如下這些：Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou News Spider、Sogou Orion spider，看最權(quán)威的百度的robots.txt http://www.baidu.com/robots.txt 就為Sogou搜狗蜘蛛費(fèi)了不少字節(jié)，占了一大塊領(lǐng)地。
? ? 其它還有很多蜘蛛就不過多介紹，SEO優(yōu)化主要針對(duì)這四個(gè)就可以，有興趣可閱讀搜索引擎蜘蛛大全這篇文章。
