robots.txt 优化

当你发现搜索进店流量莫名停滞，大概率是冗余的 Tag 页面浪费了有限的抓取预算。本文拆解 Shopify 自动化结构导致的索引黑洞，提供直接可用的 robots.txt 修改指令，挽回 40% 的有效抓取频率。