分布爬虫的难点_CDA答疑社区

詹惠儿

2019-01-08 阅读量: 774

分布爬虫的难点

然而，模块由于以下几个因素而变得复杂：

与URL前沿和重复消除模块不同，无法基于主机名对文档指纹/带状疱疹进行分区。没有什么能阻止相同（或高度相似）的内容出现在不同的Web服务器上。因此，指纹/带状疱疹的集合必须基于指纹/木瓦的某些属性（例如，通过使指纹模数为节点的数量）在节点之间划分。这种局部性不匹配的结果是大多数“内容被发现？”测试导致远程过程调用（尽管可以批量查找请求）。