大家好，我是外貿(mào)老司機Allan。shopify入門小白或者對獨立站和跨境電商感興趣的朋友們，歡迎關(guān)注我，這里將持續(xù)分享更多運營干貨哦~
今天，我們將向你展示如何利用內(nèi)部鏈接、robots.txt 文件和 XML 站點地圖來幫助 Google 更快、更有效地抓取你的 Shopify 商店并為其編制索引。
Shopify 和 robots.txt：你需要知道的一切
簡單地說，robots.txt 是一個簡單的文本文件，它告訴 Google 你網(wǎng)站的哪些頁面要抓取，哪些不要抓取。
一般來說，seo 不需要 robots.txt 文件。但是，擁有 robots.txt 有幾個不容忽視的好處：
- 它可以防止 Googlebot（和其他搜索引擎抓取工具）抓取和索引包含敏感信息的頁面（例如，登錄/注冊頁面、帳戶頁面等）。
- 它可以防止 Googlebot 抓取和索引沒有 SEO 權(quán)重的頁面和資源（例如，“謝謝”頁面、預覽頁面、pdf 文件（例如，產(chǎn)品手冊）等）。
- 它可以防止 Googlebot 抓取薄內(nèi)容頁面或包含重復內(nèi)容的頁面。
- 它可以幫助搜索引擎更輕松地找到你的站點地圖（robots.txt 文件包含指向站點地圖的鏈接）。
- 它可以幫助 Google 更快、更有效地抓取你的網(wǎng)站并將其編入索引。
- 它可以優(yōu)化你的抓取預算（通過確保 Google 不會抓取不應抓取和編入索引的網(wǎng)頁）。
你需要了解的有關(guān) Shopify 和 robots.txt 的信息：
圖片來源：Final Straw的 robots.txt 文件
在我們進一步討論之前，讓我們解釋一下每個指令（即 robots.txt 文件中的每一行）的含義：
- “User-agent”指令指定指令適用于哪個爬蟲。換句話說，如果在“User-agent”指令（例如“User-agent：Googlebot”）中指定了用戶代理，則該用戶代理（例如“Googlebot”）應遵循說明，但不同的代理（例如，“Bingbot” - Bing 的爬蟲）應該繼續(xù)尋找更具體的指令。如果未指定用戶代理（如上述情況），則所有搜索引擎機器人（或爬蟲程序）都應遵循這些說明。
- “允許”指令僅適用于 Googlebot。它告訴 Googlebot 它可以訪問特定網(wǎng)頁或子文件夾，即使其父頁面或子文件夾可能被禁止。
- “禁止”指令告訴搜索引擎機器人不要抓取和索引哪些頁面。
- “站點地圖”指令將搜索引擎機器人指向你的 XML 站點地圖的位置。
- “Host”指令包含你主頁的 URL（即你的主域名）。
現(xiàn)在你對 robots.txt 的工作原理有了更好的了解，以下是你需要了解的有關(guān) robots.txt 文件和 Shopify 的信息：
- Shopify 會自動生成你的 robots.txt 文件。
- 你的 robots.txt 文件位于你網(wǎng)站主域名的根目錄中。要訪問它，只需在主頁的 URL 中添加“/robots.txt”，例如“https://www.yourshopifystore.com/robots.txt”
- 你的 robots.txt 文件由 Shopify 維護。這意味著你無法編輯其內(nèi)容。但是，如果你不希望 Google 訪問你的 robots.txt 文件中未禁止的特定頁面，你可以使用“noindex”元標記隱藏它們 - 一行代碼告訴搜索引擎不要索引特定的頁。實現(xiàn)“noindex”元標記需要技術(shù)知識，因為你需要自定義 theme.liquid 布局文件。
如果你不精通技術(shù)并且不熟悉 Shopify Liquid，最好聯(lián)系Shopify 專家并請求幫助。
此外，你可以使用像Smart SEO這樣的 Shopify SEO 應用程序——Smart SEO只需單擊一下按鈕即可將“noindex”標簽添加到頁面。
- 你可以通過注冊一個免費的Google Search Console帳戶來監(jiān)控你的 robots.txt 文件阻止了哪些頁面。
如果你注意到你的結(jié)賬頁面已被你的 robots.txt 文件阻止，不必擔心 - 它不需要為 SEO 排名。此外，通過不抓取你的結(jié)帳頁面，搜索引擎機器人有更多時間抓取你網(wǎng)站上更重要的頁面（例如，你的主頁、類別頁面、產(chǎn)品頁面、博客和文章頁面等）。
但是，如果你的 robots.txt 文件阻止了直接影響你的底線的頁面（即類別頁面、產(chǎn)品頁面等），你應該擔心。通常，發(fā)生這種情況的幾率幾乎為 0%（因為 Shopify 會自動創(chuàng)建和管理你的 robots.txt 文件）。如果是這樣，請立即聯(lián)系 Shopify 支持團隊。
Shopify 和 sitemap.xml：你需要知道的一切
你的 XML 站點地圖為 Googlebot（和其他搜索引擎機器人）提供有關(guān)你?Shopify 商店中的網(wǎng)頁和資源（例如媒體文件、pdf 等）的信息?；旧?，它是你網(wǎng)站上最重要的頁面和資源的綜合列表。你的站點地圖還包含有關(guān)你的網(wǎng)頁的重要信息（例如，它們上次修改的時間、包含的圖像數(shù)量、它們與其他頁面或資源的關(guān)系等）。
站點地圖的目的是幫助 Google 更快、更有效地抓取你的網(wǎng)站。
與 robots.txt 文件類似，擁有站點地圖并不是絕對必要的 - Google 將能夠在沒有其幫助的情況下抓取你的網(wǎng)站（尤其是在你制定了強大的內(nèi)部鏈接策略的情況下）。但是，擁有站點地圖肯定會讓你受益。特別是在以下情況下：
- 如果你有一個大型目錄商店。想象一下，必須互連 1000 多個（甚至 100 個）產(chǎn)品頁面……不可能，對吧？
- 如果你的 Shopify 商店是新的，并且它的反向鏈接和互連仍然很少。
- 如果你的 Shopify 商店包含大量媒體文件，例如視頻和圖像。
- 如果你上傳了大量 pdf 文件（例如，產(chǎn)品手冊或說明）。
- 如果你發(fā)了很多文章。
- 此外，擁有站點地圖意味著 Googlebot（和其他搜索引擎抓取工具）會更頻繁地抓取你的網(wǎng)站。
你需要了解的有關(guān) Shopify 和 XML 站點地圖的信息：
圖片來源：Rebel Nell的站點地圖以上就是 Shopify 商店的典型站點地圖的外觀 - 有一個父站點地圖鏈接到產(chǎn)品、產(chǎn)品系列、博客和頁面的其他站點地圖（或子站點地圖）。這種分類有助于 Google 更輕松地導航和抓取你的 Shopify 商店。
每個附加站點地圖都包含一個廣泛的頁面列表。例如，Rebel Nell 的產(chǎn)品站點地圖，包含所有 Rebel Nell 產(chǎn)品頁面的鏈接，以及圖像信息、頁面上次修改時間、頁面修改頻率等。
以下是你需要了解的有關(guān) sitemap.xml 文件和 Shopify 的信息：
- Shopify 會自動為你的商店生成一個 sitemap.xml 文件。它包含指向你所有產(chǎn)品、產(chǎn)品圖片、頁面、集合和博客文章的鏈接。
如果你使用的是 Basic Shopify 計劃，那么只有你商店的主域具有生成的站點地圖文件并且可以被搜索引擎發(fā)現(xiàn)。如果你使用的是 Shopify、Advanced Shopify 或 Shopify Plus 計劃，那么你可以使用國際域功能來創(chuàng)建特定于區(qū)域或特定于國家的域。當你使用國際域時，將為你的所有域生成站點地圖文件。你的所有域都可以被搜索引擎發(fā)現(xiàn)，除非它們重定向到你的主域。
來源：Shopify，查找并提交你的站點地圖- 你的站點地圖位于你?Shopify 商店域的根目錄中，即你可以通過將“/sitemap.xml”添加到你主頁的 URL（例如，“https://www.yourshopifystore.com/sitemap.xml”）來找到它。注意：你還可以在 robots.txt 文件中找到站點地圖的位置 - 它是在“站點地圖”指令中指定的。
- Shopify 每次更新商店時都會自動更新站點地圖（例如，每次添加新產(chǎn)品或發(fā)布新博客文章時）。
- 你無法手動編輯站點地圖。如果你希望從商店的站點地圖中排除某個頁面，你只能通過 Shopify API（通過代碼）來完成。如果你不精通技術(shù)，有一些應用程序可以為你提供幫助。比如smart SEO，只需單擊一下按鈕，你就可以排除不想出現(xiàn)在站點地圖中的頁面。該APP會向它們添加 noindex 標簽，并將它們從你的站點搜索頁面中排除。
圖片來源：smart SEO內(nèi)部截圖
請注意每個產(chǎn)品旁邊的復選框 - 如果選中了復選框，則產(chǎn)品的狀態(tài)設置為“活動”。這意味著該產(chǎn)品包含在站點地圖中。如果你想從站點地圖中排除產(chǎn)品，你需要做的就是從復選框中刪除復選標記。
Smart SEO 的評分為 ? 4.9。它有一個免費版本和一個專業(yè)計劃，每月收費 4.99 美元（提供 7 天免費試用）。
如何將你的站點地圖提交到 Google Search Console：為什么這很重要以及如何去做
你可以隨時將你的 sitemap.xml 文件提交到 Google Search Console。這不是絕對必要的 - 即使你不提交，Google 也能找到你的站點地圖。
那為什么我們還是需要去提交呢？因為將你的站點地圖提交到 Google Search Console 將有助于 Googlebot 更快地抓取你的網(wǎng)頁和資源并將其編入索引。此外，將你的站點地圖提交到 Google Search Console 將提高你的排名，提升你的內(nèi)部鏈接工作，并最終擴大你的覆蓋范圍。也就是說，提交你的站點地圖將為你帶來更多曝光率并帶來更多銷售機會。
如何將站點地圖提交到 Google Search Console：
- 確保你的網(wǎng)站不受密碼保護 - 如果有密碼的話，Google 將無法訪問你的站點地圖。
- 創(chuàng)建一個免費的Google Search Console帳戶。
- 使用 Google Search Console 驗證你的域并確認你是 Shopify 商店的所有者。注意：如果你的網(wǎng)站受密碼保護，你將無法驗證你的域名。
- 將你的 sitemap.xml 文件提交到 Google Search Console。按照此處列出的步驟操作 → Shopify，查找并提交你的站點地圖
使用Smart SEO，你可以輕松地將站點地圖提交給 Google，而無需經(jīng)過使用 Search Console 的手動過程。但是你仍然需要一個具有經(jīng)過驗證的站點屬性的 Google Search Console 帳戶。
結(jié)論
今天，我們討論了搜索的工作原理。我們解釋了抓取、索引和排名之間的區(qū)別，以及shopify SEO技術(shù)與這些過程中的每一個的關(guān)系。
此外，我們還向你展示了如何通過以下方式幫助 Google 更快、更有效地抓取你的 Shopify 商店并將其編入索引：
- 創(chuàng)建強大的內(nèi)部鏈接策略
- 擁有無可挑剔的 robots.txt 文件
- 擁有無可挑剔的 sitemap.xml 文件并將其提交到 Google Search Console
如果你還有其他問題，請在下面給我們留言！
在下一篇文章中，我們將重點介紹網(wǎng)站架構(gòu)。更具體地說，我們將向你展示如何創(chuàng)建低深度頁面層次結(jié)構(gòu)、邏輯 URL 結(jié)構(gòu)和直觀的網(wǎng)站導航——這些是構(gòu)建技術(shù)優(yōu)化網(wǎng)站的關(guān)鍵步驟（而且，它有助于抓取和索引）。所以，請繼續(xù)關(guān)注！
（來源：公眾號：Allan說跨境電商獨立站）
?
