热线电话:13121318867

登录
2020-06-15 阅读量: 891
爬取各城市大气质量
获取网页信息思维过程
(1)确定要获取信息所在网站
(2)解析网址
(3)明确应使用什么函数爬数
(4)明确所要数据在网址全部数据中的什么位置
(5)创建参数表或自定义函数,批量或灵活爬取所要信息

(一)首先以爬取北京市大气质量为例

1.首先知道要爬网页的网址:http://www.air-level.com/air/beijing/

#蓝色为固定部分,红色为可变部分

2.进入PBD,主页--获取数据--从Web--在导航器输入网址

3.获取到的信息包含两个表,一个含标题,一个不含,根据需求选择自己需要的表

4.主页--转换数据--进入PQ

5.可以看到爬取到整个网页的信息是这样的

6.进入高级编辑器,l可以查看b爬数所用到的函数,也可设置我们所需要的数据

7.下面就得到北京市大气质量数据

(二)根据自定义函数爬取各城市大气质量数据

1.PQ--主页--新建源--空查询

2.进入高级编辑器,自定义函数

3.在返回的参数中输入任意城市名--调用

即可获取到对应城市的大气质量数据

0.0000
0
关注作者
收藏
评论(0)

发表评论

暂无数据