我他妈真是服了,做站这么多年被百度按在地上摩擦也就算了,昨天接了个小活儿帮朋友一个展示型官网取消百度收录(人家压根不想做SEO就想安安静静装个X),结果差点把我自己的主站给搭进去!这破流程比让蜘蛛来爬还费劲!
首先啊,甭管你是新站手贱提交了不想做了,还是老站有些敏感页面不想被看到,你以为去百度搜索资源平台点几下就完事了?天真!那后台复杂得跟迷宫一样,而且“死链提交”和“Robots”这两个核武器,用错了直接给你网站判死刑你信不信?我当年有个站就是清理死链的时候配置文件写错了一个斜杠,好家伙,第二天核心索引页全掉,那流量曲线跌得比比特币崩盘还刺激,我凌晨三点收到邮件报警盯着那条直线,抽了半包烟才没把电脑砸了。
说回正题,最稳妥的办法不是去后台瞎搞,而是先Robots屏蔽,再等百度自然更新。直接在网站根目录放个robots.txt文件,里面写上User-agent: Baiduspider(意思是所有目录都不让百度爬)。但这里有个巨坑!百度蜘蛛遵守Robots是有延迟的,可能几天甚至几周,这段时间里你的页面可能还在它库里显示着,急死你。而且如果你之前用了各种骚操作比如泛解析或者批量提交过URL,那更麻烦,可能有“漏网之鱼”。
Disallow: /
如果你想立即马上让特定页面消失,可以去“搜索资源平台-网页抓取-死链提交”,把你想删除的页面URL提交为死链。但是!前提是你的网站返回的HTTP状态码必须是404/503这些!如果你页面还能正常访问却提交死链,被百度发现就可能认为你在操纵索引,降权!降权!降权!重要的事说三遍。我那个朋友就是不懂,页面都活着就提交,跑来问我为什么提交了一周还没删掉,我一看差点心梗。
所以,真想干干净净取消收录,尤其是整站,最狠的一招(也是风险最大的一招):直接关站,或者服务器返回503一段时间,配合死链提交。但这相当于自断经脉,你的权重、外链全清零,跟被K了没区别。新站这么玩无所谓,老站这么搞等于三年白干。
血的教训就是:从你提交网站给搜索引擎的那一刻起,你就把一部分生杀大权交出去了。进来难,出去更难。所以建站前就想清楚,哪些板块是给用户看的,哪些是给蜘蛛看的。别像我一样,总在给百度“写材料”。我后来所有新项目上线前,都先按照这份避坑地图把Robots和屏蔽规则写好,虽然不能保证起飞,但至少能保证你想“隐身”的时候,有个后悔药可以吃,虽然这药效慢得让人想死。
妈的,不说了,越说越来气。总之一句话:取消收录是个技术活,更是心态活。搞之前,备份全站,深呼吸,做好最坏的打算。不然,你可能就会体验到什么叫“一顿操作猛如虎,一看收录原地杵,甚至直接进沙盒”。
