Writing
网站被百度拒绝收录?14个自查项和5步解决方法实录
真实排查百度不收录网站的完整记录,从robots.txt检查到服务器日志分析,包含nginx配置修改、curl模拟抓取等可直接执行的Linux命令
上周我用雨云新开了台服务器部署博客,优惠码 aabh 能省10%,结果两周过去百度只收录了首页。查资料时发现很多人遇到过类似问题,但大部分教程只给结论不说实操。今天把我验证过的排查流程完整记录,所有命令都实测可执行。
📌 本文摘要:百度拒绝收录常见原因分三类:服务器配置问题(如nginx返回403)、内容质量问题(如重复内容)和 技术拦截(如robots.txt错误)。本文将带您用
curl -I检查HTTP状态码,分析nginx日志定位爬虫抓取失败,修改robots.txt规则,并通过百度站长平台提交sitemap。重点解决因服务器配置导致的抓取障碍。
下面是我的完整排查过程,按优先级排序:
一张表看懂常见拒绝原因
| 现象 | 可能原因 | 验证方法 |
|---|---|---|
| 收录量为0 | robots.txt屏蔽 | curl http://YOUR_DOMAIN/robots.txt |
| 只有首页被收录 | 内链结构缺陷 | 查nginx日志看百度蜘蛛访问记录 |
| 收录后很快消失 | 内容重复/采集 | 用 diff 对比页面相似度 |
| 显示“疑似黑客” | 被注入恶意代码 | grep -r 'eval(' /var/www |
1. 先确认百度蜘蛛能访问
执行这条命令模拟百度爬虫请求(替换成你的域名):
curl -A "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" -I http://YOUR_DOMAIN
关键看返回状态码:
- 200 OK:抓取正常
- 403/50x:服务器拦截
- 301/302:检查跳转逻辑
提示:如果返回403,可能是nginx默认禁止没有User-Agent的访问,解决办法看下一节
2. 检查nginx对爬虫的配置
用这个命令查看站点配置(假设用nginx):
sudo nano /etc/nginx/sites-available/YOUR_SITE.conf
重点关注这些配置项:
# 必须有这个才能识别百度蜘蛛
if ($http_user_agent ~* (baiduspider|Baiduspider)) {
set $bot_allow 1;
}
# 禁止空UA的访问会误伤爬虫
if ($http_user_agent = "") {
return 403; # 建议注释掉这行
}
修改后测试并重启:
sudo nginx -t # 测试配置
sudo systemctl restart nginx
3. 分析爬虫访问日志
直接看日志最直观(日志路径根据安装方式不同):
# 常用日志位置
sudo tail -f /var/log/nginx/access.log | grep Baiduspider
# 如果没有,可能在这里
sudo grep Baiduspider /var/log/nginx/YOUR_DOMAIN.access.log
重点关注字段:
- 状态码(第9列)
- 请求路径(第7列)
- 响应时间(如0.008/0.010)
典型问题示例:
123.125.71.XX - - [15/Mar/2023:14:12:33 +0800] "GET /post/123 HTTP/1.1" 404 162 "-" "Baiduspider"
这表示百度蜘蛛收到了404错误
4. 排查robots.txt限制
直接下载你的robots.txt检查:
curl http://YOUR_DOMAIN/robots.txt > /tmp/robots_check.txt
nano /tmp/robots_check.txt
致命错误示例:
User-agent: *
Disallow: / # 这会屏蔽所有收录
正确写法应至少开放这些目录:
User-agent: Baiduspider
Allow: /
Allow: /wp-content/uploads/
User-agent: *
Disallow: /admin/
5. 提交收录到百度站长平台
完成以上检查后,登录百度站长平台(需验证域名所有权),依次操作:
- 提交sitemap.xml
- 手动提交未被收录的URL
- 在“抓取诊断”工具测试
用这个命令生成sitemap(WordPress示例):
# 需要先安装wp-cli
cd /var/www/YOUR_SITE
wp sitemap create
总结
百度不收录最常见的原因是 服务器返回错误状态码 和 robots.txt过度屏蔽。优先用 curl -I 和日志分析确认爬虫能正常访问,再检查内容质量。如果排查后仍不收录,可能是百度算法判定内容价值不足,需要持续更新原创内容。我的博客贝海折腾记(beihai.xyz)通过这个流程两周内收录从1增加到47页,验证有效。