网站建设

网页去重。据统计, 互联网中完全相同网页所占例超过20%。对于重复的网页我们没必要多次处理。所以, 在搜索引擎的实现中进行网页去重是很有必要的。网页去重操作工作流程如下:

1) 对于给定的网页抽取文档主题内容, 以此构建特征集合;

2) 根据特征集合信息完成信息指纹计算;

3) 根据Jaccard相似度来确定网页是否重复。