2018-12-25
阅读量:
881
如何理解DNS？
DNS解析是Web爬行中众所周知的瓶颈。由于域名服务的分布式特性，DNS解析可能需要在互联网上进行多次请求和往返，需要几秒甚至更长时间。马上，这会危及我们每秒获取数百个文档的目标。标准的补救措施是介绍缓存：我们最近执行DNS查找的URL很可能在DNS缓存中找到，从而无需转到Internet上的DNS服务器。但是，遵守礼貌限制会限制缓存命中率。
相反，最初联系的DNS服务器可能会递归调用其他DNS服务器来完成翻译。）对于更复杂的URL，例如en.wikipedia.org/wiki/ Domain_Name_System，负责DNS解析的爬虫组件提取主机名 -在本例中为en.wikipedia.org - 并查找主机en.wikipedia.org的IP地址。
0.0000
0
3
关注作者
收藏
评论(0)
发表评论
暂无数据
推荐帖子
CDA持证人阿涛哥
2024-10-29
0条评论
CDA持证人阿涛哥
2024-04-14
0条评论
CDA持证人阿涛哥
2024-04-01
1条评论
