网站和搜索引擎的更新频率
时间:2021-9-24
互联网是一个时时在变化的大存储器,网站每天有无数的页面被更新创建,无数用户在网站上面发布内容沟通联系,要返回最有用的内容,百度搜索引擎就要抓取最新的页面,但是由于页面数量巨大,搜索引擎蜘蛛更新一次数据库中的页面要花很长的时间,搜索引擎刚诞生时,这个抓取更新周期往往以月为单位计算,这也就是谷歌在2003年以前,每个月有一次大更新的原因所在。
现在主流搜索引擎比如说百度已经能在几天之内更新重要页面,权重高的网站上的新文件,几小时甚至几分钟就能会被快速收录,不过这种快速收入和更新也只能局限于高权重网站,就像迅美我们的网站,发布文章之后基本上半小时之内就会被百度收录,但很多页面,几个月不被重新挖掘,更新也是常见的。
要返回最好的结果,搜索引擎也必须抓取尽量全面的页面,这就需要解决很多技术问题,一些网站并不有利于搜索引擎的蜘蛛抓取和爬行,比如网站链接结构的缺陷,大量使用flash,JS脚本,或者把内容放在用户必须登录以后才能访问的部分,这都将增大了搜索引擎抓取内容的难度。