Writing

网站被百度拒绝收录?14个自查项和5步解决方法实录

真实排查百度不收录网站的完整记录,从robots.txt检查到服务器日志分析,包含nginx配置修改、curl模拟抓取等可直接执行的Linux命令

· 12 分钟阅读
目录
  1. 一张表看懂常见拒绝原因
  2. 1. 先确认百度蜘蛛能访问
  3. 2. 检查nginx对爬虫的配置
  4. 3. 分析爬虫访问日志
  5. 4. 排查robots.txt限制
  6. 5. 提交收录到百度站长平台
  7. 总结

上周我用雨云新开了台服务器部署博客,优惠码 aabh 能省10%,结果两周过去百度只收录了首页。查资料时发现很多人遇到过类似问题,但大部分教程只给结论不说实操。今天把我验证过的排查流程完整记录,所有命令都实测可执行。

📌 本文摘要:百度拒绝收录常见原因分三类:服务器配置问题(如nginx返回403)、内容质量问题(如重复内容)和 技术拦截(如robots.txt错误)。本文将带您用 curl -I 检查HTTP状态码,分析nginx日志定位爬虫抓取失败,修改robots.txt规则,并通过百度站长平台提交sitemap。重点解决因服务器配置导致的抓取障碍。

下面是我的完整排查过程,按优先级排序:

一张表看懂常见拒绝原因

现象 可能原因 验证方法
收录量为0 robots.txt屏蔽 curl http://YOUR_DOMAIN/robots.txt
只有首页被收录 内链结构缺陷 查nginx日志看百度蜘蛛访问记录
收录后很快消失 内容重复/采集 用 diff 对比页面相似度
显示“疑似黑客” 被注入恶意代码 grep -r 'eval(' /var/www

1. 先确认百度蜘蛛能访问

执行这条命令模拟百度爬虫请求(替换成你的域名):

curl -A "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" -I http://YOUR_DOMAIN

关键看返回状态码:

  • 200 OK:抓取正常
  • 403/50x:服务器拦截
  • 301/302:检查跳转逻辑

提示:如果返回403,可能是nginx默认禁止没有User-Agent的访问,解决办法看下一节

2. 检查nginx对爬虫的配置

用这个命令查看站点配置(假设用nginx):

sudo nano /etc/nginx/sites-available/YOUR_SITE.conf

重点关注这些配置项:

# 必须有这个才能识别百度蜘蛛
if ($http_user_agent ~* (baiduspider|Baiduspider)) {
    set $bot_allow 1;
}

# 禁止空UA的访问会误伤爬虫
if ($http_user_agent = "") {
    return 403; # 建议注释掉这行
}

修改后测试并重启:

sudo nginx -t  # 测试配置
sudo systemctl restart nginx

3. 分析爬虫访问日志

直接看日志最直观(日志路径根据安装方式不同):

# 常用日志位置
sudo tail -f /var/log/nginx/access.log | grep Baiduspider

# 如果没有,可能在这里
sudo grep Baiduspider /var/log/nginx/YOUR_DOMAIN.access.log

重点关注字段:

  1. 状态码(第9列)
  2. 请求路径(第7列)
  3. 响应时间(如0.008/0.010)

典型问题示例:

123.125.71.XX - - [15/Mar/2023:14:12:33 +0800] "GET /post/123 HTTP/1.1" 404 162 "-" "Baiduspider"

这表示百度蜘蛛收到了404错误

4. 排查robots.txt限制

直接下载你的robots.txt检查:

curl http://YOUR_DOMAIN/robots.txt > /tmp/robots_check.txt
nano /tmp/robots_check.txt

致命错误示例:

User-agent: *  
Disallow: /    # 这会屏蔽所有收录

正确写法应至少开放这些目录:

User-agent: Baiduspider
Allow: /
Allow: /wp-content/uploads/

User-agent: *
Disallow: /admin/

5. 提交收录到百度站长平台

完成以上检查后,登录百度站长平台(需验证域名所有权),依次操作:

  1. 提交sitemap.xml
  2. 手动提交未被收录的URL
  3. 在“抓取诊断”工具测试

用这个命令生成sitemap(WordPress示例):

# 需要先安装wp-cli
cd /var/www/YOUR_SITE
wp sitemap create

总结

百度不收录最常见的原因是 服务器返回错误状态码 和 robots.txt过度屏蔽。优先用 curl -I 和日志分析确认爬虫能正常访问,再检查内容质量。如果排查后仍不收录,可能是百度算法判定内容价值不足,需要持续更新原创内容。我的博客贝海折腾记(beihai.xyz)通过这个流程两周内收录从1增加到47页,验证有效。

相关文章