如何使用开源工具构造小型搜索引擎(9)

使用开源引擎Lucene搭建小型搜索引擎

信息的搜集- 信息的搜集-网页的维护与更新批量搜集每次搜集替换上一次的内容

增量搜集开始时搜集一批， 往后：1、搜集新出现的网页；2、搜集在上次搜集后有改变的网页； 3、删除上次搜集后不存在的网页 如：北大天网

比较： 定期批量重采非常简单，但是浪费带宽，周期也长； 增量采集可以节省带宽，网页更新周期相对较短，但是系统的复杂 性增大。9

2011-6-3