为了避免重复爬行和抓取网址，搜索引擎会建立一个地址库，记录已经被发现、但还没有抓取的页面，以及已经被抓取的页面。蜘蛛在页面上发现链接后并不是马上就去访问，而是将URL存入地址库，然后统一安排抓取。

　　地址库中的URL有几个来源：

　　1、 人工录入的种子网站。

　　2、 蜘蛛抓取页面后，从HTML中解析出新的链接URL，与地址库中的数据进行对比，如果是地址库中没有的网址，就存入待访问地址库。

　　3、 站长通过搜索引擎网页提交表格提交进来的网址。

　　4、 站长通过XML网站地图、站长平台提交的网址。

　　蜘蛛按重要性从待访问地址库中提取URL，访问并抓取页面，然后把这个URL从待访问地址库中删除，放进已访问地址库中。

　　大部分主流搜索引擎都提供一个表格，让站长提交网址。不过这些提交来的网址都只是存入地址库而已，是否收录还要看页面重要性如何。搜索引擎所收录的绝大部分页面是自己跟踪链接得到的。可以提交页面作用微科其微，搜索引擎更喜欢自己沿着链接发现新页面。

　　此文章“搜索引擎的地址库介绍来源于网络收集、整理，如有涉及版权问题请与本网站联系删除！”当前文章地址：http://www.0seo0.com/news/155.html，更多相关昆明seo网站优化文章请到http://www.0seo0.com/news/阅读查看！