欢迎访问昌盛网络公司,我们是专业的seo网络优化推广服务公司,专做网站优化排名,定制高端网站建设,9年的seo优化经验,让你网站有排名有咨询,专业的事交给专业的人来做,选择我们靠谱。
首页 > seo优化推广 > 搜索引擎的地址库介绍
搜索引擎的地址库介绍

  为了避免重复爬行和抓取网址,搜索引擎会建立一个地址库,记录已经被发现、但还没有抓取的页面,以及已经被抓取的页面。蜘蛛在页面上发现链接后并不是马上就去访问,而是将URL存入地址库,然后统一安排抓取。

  地址库中的URL有几个来源:

  1、 人工录入的种子网站。

  2、 蜘蛛抓取页面后,从HTML中解析出新的链接URL,与地址库中的数据进行对比,如果是地址库中没有的网址,就存入待访问地址库。

  3、 站长通过搜索引擎网页提交表格提交进来的网址。

  4、 站长通过XML网站地图、站长平台提交的网址。

  蜘蛛按重要性从待访问地址库中提取URL,访问并抓取页面,然后把这个URL从待访问地址库中删除,放进已访问地址库中。

  大部分主流搜索引擎都提供一个表格,让站长提交网址。不过这些提交来的网址都只是存入地址库而已,是否收录还要看页面重要性如何。搜索引擎所收录的绝大部分页面是自己跟踪链接得到的。可以提交页面作用微科其微,搜索引擎更喜欢自己沿着链接发现新页面。

  此文章“搜索引擎的地址库介绍来源于网络收集、整理,如有涉及版权问题请与本网站联系删除!”当前文章地址:http://www.0seo0.com/news/155.html,更多相关昆明seo网站优化文章请到http://www.0seo0.com/news/阅读查看!

上一篇:灰色行业在推广上是如何操作的
下一篇:蜘蛛对页面文件的存储和内容检测
相关文章
昆明seo优化公司服务热线
0871-63312249
18583200156
地址:云南省昆明市官渡区
负责人:邱经理
服务QQ:5755765
座机:0871-63312249
邮箱:5755765@qq.com
邮编:650000
在线咨询
5755765
在线咨询
1175062249