易势科技为您提供专业的沈阳seo，沈阳网站优化，沈阳搜索引擎优化等服务。

案例：

我曾经为一家电子商务网站提供SEO顾问服务，网站每日新增商品由商家发布，商品发布后便成为一个有效的商品，并会出现到网站平台的商品检索结果以及商品列表中， 同时，平台运营方需要对商品进行审核，对于没有审核通过的商品则进行删除操作；于是，会出现一些情况：新增商品页面被百度爬虫抓取，但随之该页面被删除。

由于网站在百度的权重比较高，几乎每日新增商品页都会很快收录，因此，在这批新收录的商品页面中有一定比例的页面很快不存在了，即：一批刚被收录的页面又向百度Spider返回了404状态码，简单以蔽之，“让百度收了再让百度删”，我觉得百度可能会“很生气，后果很严重”。

为解决这个问题，我之前采取了如下方法：

既然将商家发布的商品包含两种状态：已审核和未审核，那么就为商品页面设计2种URL规则，如果商品未审核，则使用第1套URL规则，同时，利用robots协议限制百度Spider爬虫抓取这些页面；如果商品已审核，那么就与已有商品一样，使用第2套URL规则。这样就可以确保百度Spider抓取到的商品页面都是有效页面，不会由于商品审核不通过而单日内出现大量404页面。

是否可以利用403状态码来解决该问题？思路如下：

判断商品是否通过平台运营方审核，是的话，页面就返回200，否的话，就返回403；对于正常的商品页面，可以确保百度Spider正常抓取；对于新增商品，百度新发现的URL是返回403的，当再次回访这些页面时，由于商品已经审核通过，返回的状态码由403变成了200，则百度仍可抓取到；方法仍然有待实验，毕竟之间存在一个时间差以及百度对于返回403的页面是否存在收录效果不佳的风险。

对于301状态码，在以往的SEO交流中，大家一致认为百度对301并不感冒，而且反应速度超级慢，Lee在帖子中也证实了这一点，但无论怎样，301仍然是其推崇的一种规范的处理方式，宗旨，做网站优化，良好的规范是必要的。