抓取效率低：为什么你的新产品上线一周还不被收录？

对比 Google Search Console (GSC) 后台数据，如果你发现「已发现 - 当前未编入索引」的数量呈指数级增长，通常不是内容质量问题，而是抓取预算（Crawl Budget）被 Shopify 默认生成的数万个冗余 Tag 页面耗尽了。对于日均访客在 1000 左右的独立站，如果任由蜘蛛抓取 /collections/all/* 下的各种筛选组合，真正的商品详情页可能几周都排不上队。

深度诊断：识破 Shopify 的索引黑洞

点击进入【索引 -> 网页】，重点查看排出的页面。老手会直接寻找带有 ?pr_prod_strat= 或 ?_pos= 等参数的 URL。这些是内部搜索或联想推荐生成的临时链接，它们在结构上属于“稀薄内容”。当蜘蛛陷入这些路径时，宝贵的抓取额度就被浪费在这些毫无意义的参数组合上，导致权重无法向高转化页面集中。

实操解决方案：Robots.txt 权限精准收回策略

不要在 theme.liquid 里写简单的 noindex，那解决不了抓取动作本身。你需要直接向搜索引擎下达“禁入令”：

  • 进入 Shopify 后台：Online Store > Themes > Actions > Edit Code
  • 新建 robots.txt.liquid 模版（如果尚未创建）。
  • 在 User-agent: * 目录下，强制加入以下逻辑：

关键配置代码：

Disallow: /collections/*/*
Disallow: /blogs/*/tagged/*
Disallow: /*?q=*
Disallow: /apple-app-site-association

特别是在处理多币种或瀑布流筛选插件时，建议把 ?view= 类参数一并屏蔽。为了进一步提升权重传递，建议参考 跨境电商技术实操指南 中的 Canonical 标签设置规范，确保唯一入口的权威性。

进阶分析：配置前后的抓取效能对比

优化效果不能凭感觉。在修改后的 48-72 小时内，必须紧盯 GSC 中的“抓取统计信息”。

衡量维度 优化前状态 优化后目标
平均抓取时间 1500ms+ (因冗余路径过多) < 500ms (精简路径)
已收录页面占比 < 40% 且存在大量“已排除” > 85% 有效覆盖核心产品
抓取错误率 常见 4xx/5xx 重定向循环 错误率降至 0.01% 以下

避坑指南：老手常挂在嘴边的三条铁律

修改 Robots.txt 是重器，不可盲目。第一，绝对不要屏蔽 /assets/ 路径，这会导致蜘蛛无法抓取 CSS/JS，直接判定你的页面移动端不友好。第二，屏蔽前先在 GSC 的 robots.txt 测试工具中运行一次，确认你没把正在跑广告的 Landing Page 给误伤了。第三，如果使用了多站点域名（如 subfolders），必须确保主域和子域的抓取逻辑一致，否则会导致权重分配紊乱。

验证指标：判断操作是否奏效

点开 GSC 报表后，直接拉到最底部的“按抓取目的划分的抓取统计信息”。如果“发现”类的抓取占比开始下降，而“刷新”类的比例上升，说明蜘蛛终于开始认真复爬你的旧产品页，而不是在抓取新垃圾路径了。这就是 SEO 的本质：减少噪音，让蜘蛛只听你最想传递的生意经。