在 Google Search Console (GSC) 后台,如果你发现“已发现 - 当前未编目”的 URL 数量持续攀升,这通常意味着 Google 已经知道页面存在,但认为该页面不值得立即分配抓取额度 (Crawl Budget)。在独立站运营中,单纯依靠等待蜘蛛抓取是极其被动的,尤其是对于电商这种 SKU 频繁变动的站点,收录速度直接决定了流量的爆发上限。

搜索引擎不抓取不代表爬虫没来,而是被你的无效路径挡住了。点开【设置 - 抓取统计信息】,如果发现大量 404 或 301 重定向,Google 会迅速下调对该站点的信任度。

  • URL 冗余:Shopify 默认的 collections 路径经常产生重复内容。
  • 内部链接孤岛:深层产品页在首页点击深度超过 3 次,蜘蛛很难触达。
  • 内容稀薄:只有一张图加几个尺寸选项的详情页会被算法自动过滤。

既然常规路径走不通,就必须调用针对 Job Posting 和 Broadcast Event 开发的 Indexing API(实测对普通电商详情页同样有效)。你可以通过 Google Cloud Console 创建服务账号,获取 JSON 密钥后,配合 GitHub 上的开源工具或 Rank Math 的插件进行自动化推送。

  1. 进入 Google Cloud Platform,新建项目并启用 Indexing API。
  2. 创建 Service Account,角色权限设置为“所有人”。
  3. 下载 JSON 格式的关键密钥。
  4. 在 GSC 的【设置 - 用户和权限】中,将该服务账号的邮箱添加为“完全权限”所有者。
  5. 通过 Python 脚本或集成工具,批量推送待收录的 URL 列表。
推送方式 生效时间 抓取量限制 推荐场景
Sitemap 提交 7-15 天 无限制 日常存量更新
API 强制推送 24-48 小时 200条/日(基础额度) 新品上线/核心分类页

千万不要把所有 URL 一次性全部通过 API 推送。官方文档虽然说这个 API 主要用于高时效性内容,但在实测中,过度频繁的调用会导致站点被标记为 Spam。建议优先推送转化率排名前 20% 的产品页和对应的 SEO 分类页。另外,务必在调用前检查页面的 Canonical 标签,防止由于 URL 规范化问题导致抓取重复。

直接拉取 GSC 的报表,关注【编制索引 - 网页】中的曲线图。如果“未编目”曲线开始下降,且“已编目”曲线斜率增大,说明你的 SEO 抓取瓶颈 已经突破。更直接的指标是:在 Google 搜索框输入 site:yourdomain.com,通过“过去 24 小时”的时间筛选,检查是否有新页面出现。