前面我们说过页面的权重高有利于被抓取,那么搜索引擎在抓取前怎么知道这个页面的权重高低讷?
蜘蛛除了要进行预判之外,还要对链接、与首页的距离、历史数据等因素外、短的、层次浅的URL也可能被直观认为在网站上的权重是相对比较高的。
振国谈谈如何吸引蜘蛛来抓取网站页面,哪些页面被认为比较重要的呢?下面振国就从以下几个方面来讲解影响因素:
1、网站和页面权重
质量高资格老的网站被认为权重就比较高
这种网站上的页面被爬行的深度也会比较高,所以会有更多内容页面会被收录
2、页面更新度
蜘蛛每次爬行都会把页面数据存储起来
如果第二次爬行发现页面与第一次收录的完全一样,就说明页面是没有更新的
只要蜘蛛多次对页面更新频率进行分析后,对于不经常更新的页面,蜘蛛就不会经常去抓取
如果页面内容经常更新,蜘蛛就会频繁地访问这种页面,页面上就会出现新的链接,蜘蛛就会更快的去跟踪抓取新页面
3、导入链接
只要是链接无论是外部链接还是内部链接都是会被蜘蛛抓取的
要想被蜘蛛抓取就必须有导入链接进入页面,否则蜘蛛根本就没有机会知道页面的存在
高质量的导入链接也经常使页面上的导出链接被爬行深度增加
4、与首页点击距离
一个网站权重最高的地方就是首页,大部分外部链接都是指向的首页,而且蜘蛛访问最频繁的也是首页
距离首页越近的距离,页面权重也就越高,被蜘蛛爬行到的机会也就越大
5、URL结构
上一篇:成都百度贴吧发帖的注意事项这三点
下一篇:哦!原来在成都做网站营销和网站推广还有这么大的区别啊?