网站改版后如何解决404页面抓取错误的问题

网站改版后如何解决404页面抓取错误的问题

　　网站改版都是希望网站可以很好的进行优化，但是对于网站改版的不同阶段，搜索引擎会对网站进行不同的要求。一般网站改版后，对网站的优化都会造成一些影响，这个时候，就进行有效地控制，减少改版造成的404页面过多情况。如果搜索引擎对网站的404错误页面抓取过多，就会导致网站有可能被降权，这对以后网站权重的恢复也会造成很大的影响。下面具体的跟大家分析下404页面的解决情况。

　　1、利用日志分析工具找到404错误抓取页面

　　想要知道搜索引擎有没有到网站抓取，到网站抓取多少页面，抓取了哪些页面。这时就需要对网站的日志进行分析。对于网站日志的看法比较困难，就可以使用光年日志进行转化。首先利用FTP下载好最近几天的网站LOG日志，当然，想更多的分析，那么多下载一段时间的LOG日志也可以，利用日志分析工具新建任务分析各个阶段的百度蜘蛛抓取情况。

　　2、利用百度站长死链提交工具进行死链提交

　　对于404页面同，百度搜索引擎是如何进行理解的呢?事实上，对于404页面。百度搜索引擎认为404状态码代表‘Not Found'，spider更新时会认为该页面已失效，此时呢将在索引库中删除，短期内spider再次发现该url不再会抓取。但是如果通过网站日志就可以发现，对于404页面，百度蜘蛛还是会进行抓取的，这也是为什么网站改版以后，百度蜘蛛还是会对404错误页面进行一些抓取。

　　3、利用robots.txt和nofollow标签引导蜘蛛抓取

　　网站存在错误页面时，百度蜘蛛就会抓取 到一部分的错误页面。浪费了蜘蛛抓取资源，而对于网站的正确页面抓取就会减少一部份。这就造成页面的资源丢失。这时站长就需要对百度蜘蛛进行一些引导，让蜘蛛抓取想让他抓的一些页面，对于一些404页面进行robots限制抓取，对于网站中一些不参与排名的链接实行nofollow，引导蜘蛛抓取重要页面。

【网站改版后如何解决404页面抓取错误的问题】相关文章：

如何解决美甲的掉落问题01-17

如何解决高尔夫右曲球的问题07-18

如何解决餐饮后厨管理-解决餐饮后厨管理的10大妙招08-30

如何解决qq群文件无法下载问题04-21

如何在Excel表里解决姓名中空格的问题03-03

专四作文预测范文：如何解决人才流失的问题04-12

如何解决亚伟速录机打字出现不上字问题03-22

如何解决绩效管理工作中可能遇到的问题11-16

企业沟通存在的问题和解决对策05-07

国学教育存在的问题与解决方法04-23