因为搜索引擎不能一次抓取网站中的所有页面,网站中的页面数量会不断改变,内容也会不断更新,所以搜索引擎也需要保护和更新抓取的页面,以便及时获取页面中的较新信息,抓取更多的新页面。
一、定期抓取
定期抓取也称为周期性抓取,即搜索引擎周期性地对网站中现已抓取的页面进行全面更新。更新的时分,把抓取到的新页面替换原有的旧页面,删除不存在的页面,并存储新发现的页面。周期性更新针对的是悉数已抓取的页面,因此更新周期会比较长。
二、增量抓取
增量抓取是通过对已抓取的页面进行守时监控,实现对页面的更新及保护。可是,对网站中的每个页面都进行守时监控是不现实的。根据重要页面携带重要内容的思维以及80/20规律,搜索引擎只需对网站中部分重要页面进行守时的监控,即可获取网站中相对重要的信息。
增量抓取只针对网站中某些重要的页面,而非所有已经抓取的页面,这也是为什么搜索引擎对重要页面的更新周期会更短的原因。例如,内容经常更新的页面,搜索引擎也会经常对其进行更新,从而可以及时发现新内容、新链接,并删除不存在的信息。
以上就是巨推传媒带给大家的信息,巨推传媒是一家综合型互联网营销生态服务商,具有全面的网站代运营服务,如果你想了解更多关于网站代运营、网站代运营公司的信息,可以微信沟通(微信2696584379),或电话联络(400-606-5558),我们提供给您最优质的服务。