優(yōu)化電商網(wǎng)站的抓取預(yù)算，可能會(huì)影響谷歌的網(wǎng)絡(luò)爬蟲(chóng)訪問(wèn)制定頁(yè)面的頻率，這也意味著更新內(nèi)容會(huì)更快地出現(xiàn)在谷歌搜索結(jié)果中。對(duì)于谷歌來(lái)說(shuō)，抓取預(yù)算也就是該公司的搜索引擎爬蟲(chóng)Googlebot能夠并想要抓取的指定站點(diǎn)上的頁(yè)面數(shù)量。Googlebot在業(yè)內(nèi)也稱(chēng)為谷歌機(jī)器人或探測(cè)器，被用來(lái)抓取網(wǎng)站內(nèi)容，然后再將其編入到索引數(shù)據(jù)庫(kù)中。
需要注意的是，Googlebot抓取網(wǎng)站頁(yè)面的頻率并不影響該頁(yè)面在指定搜索查詢(xún)中的排名。但優(yōu)化抓取預(yù)算可能會(huì)引導(dǎo)Googlebot發(fā)現(xiàn)網(wǎng)站上較為重要的內(nèi)容。反過(guò)來(lái)，這可能會(huì)影響其中一些頁(yè)面的排名，尤其是在沒(méi)有索引的情況下。
2017年，谷歌的研究人員Gary Illyes描述了谷歌是如何決定一個(gè)指定網(wǎng)站的抓取預(yù)算的，即包含三個(gè)部分：抓取限制、抓取需求和其他因素。
抓取限制——為了不降低用戶(hù)訪問(wèn)網(wǎng)站的體驗(yàn)，谷歌限制了指定網(wǎng)站的最大抓取頻率，如果有跡象表明Googlebot正在影響網(wǎng)站的性能，它就會(huì)放慢抓取速度，減少訪問(wèn)網(wǎng)站頁(yè)面的頻率。這可能意味著有些頁(yè)面根本沒(méi)有索引，相反，如果Googlebot得到服務(wù)器的快速響應(yīng)，它可能會(huì)增加訪問(wèn)的頻率和強(qiáng)度。
抓取需求——即使抓取速度沒(méi)有受到限制，如果沒(méi)有索引的需求，Googlebot的活躍程度也會(huì)降低。索引需求可以采取兩種形式，對(duì)于流行的網(wǎng)站而言，谷歌會(huì)想要確保它已經(jīng)索引到了最新的內(nèi)容。
其次，谷歌不希望索引陳舊。因此如果Googlebot訪問(wèn)一個(gè)站點(diǎn)已經(jīng)有一段時(shí)間了，即使它不受歡迎，也會(huì)有相對(duì)較大的抓取需求。
其他因素——內(nèi)容質(zhì)量和網(wǎng)站結(jié)構(gòu)也很重要。建議避免低質(zhì)量的內(nèi)容、某些類(lèi)型的分面導(dǎo)航、重復(fù)或類(lèi)似的內(nèi)容。低質(zhì)量的頁(yè)面將會(huì)消耗抓取預(yù)算的很大一部分，這將搶占網(wǎng)站上的有價(jià)值的頁(yè)面抓取活動(dòng)。
如何優(yōu)化抓取預(yù)算？
用于優(yōu)化抓取預(yù)算的方法也有助于搜索引擎的優(yōu)化。以下是五個(gè)技巧，可以幫助你的電商網(wǎng)站優(yōu)化爬行預(yù)算。即使你的網(wǎng)站沒(méi)有抓取預(yù)算問(wèn)題，這些方法也同樣有利于seo。
1、優(yōu)先考慮Googlebot抓取的內(nèi)容。讓Googlebot屏蔽網(wǎng)站的部分內(nèi)容，例如一些政策頁(yè)面、感謝頁(yè)面、廣告著陸頁(yè)等等。反之，盡可能的增加包含在谷歌索引中的產(chǎn)品頁(yè)面數(shù)量。因此，使用robots.txt和nofollow指令可能對(duì)爬行預(yù)算優(yōu)化大有幫助。
2、確保擁有一個(gè)優(yōu)秀的網(wǎng)站地圖。網(wǎng)站地圖是谷歌發(fā)現(xiàn)URL的主要方式之一。雖然不能保證谷歌會(huì)抓取或索引指定的頁(yè)面，但是網(wǎng)站地圖可以為你提供幫助。你的網(wǎng)站地圖應(yīng)該是一致的，對(duì)于大型網(wǎng)站而言則應(yīng)該是動(dòng)態(tài)的。
3、減少錯(cuò)誤和重定向鏈。當(dāng)Googlebot訪問(wèn)網(wǎng)站上的一個(gè)頁(yè)面時(shí)，會(huì)收到一個(gè)狀態(tài)碼200（意思是一切正常）或者一個(gè)永久重定向碼301。但是要確保一個(gè)重定向不會(huì)導(dǎo)致鏈中的另一個(gè)重定向。
4、提高網(wǎng)站性能。如果谷歌機(jī)器人密集地抓取服務(wù)器，則說(shuō)明其效率正在下降，那么它的速度就會(huì)減慢，在這種情況下，在指定時(shí)間內(nèi)抓取的URL數(shù)量肯定會(huì)減少，因此提高網(wǎng)站性能與爬行預(yù)算優(yōu)化密不可分。
5、保持更新。應(yīng)該定期更新和整理，為產(chǎn)品細(xì)節(jié)頁(yè)面、博客文章和陳舊的內(nèi)容增加新內(nèi)容。
（編譯/雨果網(wǎng) 宋淑湲）
【特別聲明】未經(jīng)許可同意，任何個(gè)人或組織不得復(fù)制、轉(zhuǎn)載、或以其他方式使用本網(wǎng)站內(nèi)容。轉(zhuǎn)載請(qǐng)聯(lián)系：editor@cifnews.com
