我真服了，这百度蜘蛛（Baiduspider）是不是程序员的KPI没完成就随便写的啊？妈的，我新站上线，标题描述关键词写得跟狗屎一样自己都看不下去就急着提交了，结果你猜怎么着？它在第一个礼拜把我那个测试用的、只有一行“hello world”的404页面抓了三百多遍，而我精心伪原创了半天的核心栏目页一次都没来！我盯着服务器日志里那一串串404状态码和可怜的200，抽了半包烟都没想明白这玩意儿的优先级算法是跟谁学的。
然后你去看百度搜索资源平台，那个“抓取诊断”功能，有时候能成功有时候就超时，反馈的信息跟没说一样，完全不知道它到底卡在哪个环节——是服务器响应慢了？还是我nginx配置里哪个header让它不爽了？甚至我有理由怀疑它是不是看我的域名不顺眼。最骚的操作是，我有个老站，之前被K得差不多了，我就把内容全删了301到一个新站，结果大哥它隔三差五还来抓取我那个已经返回410的旧地址，乐此不疲，跟tm缅怀青春一样，你说这流量浪费得冤不冤？
所以啊，别信那些教程说的什么“提交了就会抓”，你得把它当个祖宗哄着。首先，服务器稳定性是命根子，你要是用个超售的VPS，隔三差五打不开，蜘蛛来几次都吃闭门羹，它立马把你拉进“不靠谱名单”，下次来的间隔就越来越长，直到把你忘掉。其次，网站结构别搞太深，什么“首页/频道/分类/年份/月份/文章ID”，这种路径对蜘蛛来说就是迷宫，扁平化结构和合理的面包屑导航能救命，让它在三层之内找到所有内容。还有，那些JS渲染的、图片懒加载的复杂页面，对蜘蛛来说可能就是一片空白，你得确保核心内容在HTML源代码里就能直接看到。
最后说个血泪教训，robots.txt和sitemap这两个文件千万别写错！我上次手滑在robots里把“Disallow: /admin”写成了“Disallow: /”，好家伙，整个站直接对蜘蛛关了门，等我发现的时候已经在沙盒里蹲了一个月了，流量曲线比我心电图还平。真的，想靠百度吃饭，先得学会怎么伺候好这只时灵时不灵的“瞎眼蜘蛛”。
