2020-06-15
阅读量:
5097
在Power BI中爬取各城市大气质量数据
获取网页信息思维过程
(1)确定要获取信息所在网站
(2)解析网址
(3)明确应使用什么函数爬数
(4)明确所要数据在网址全部数据中的什么位置
(5)创建参数表或自定义函数,批量或灵活爬取所要信息
(一)首先以爬取北京市大气质量为例
1.首先知道要爬网页的网址:http://www.air-level.com/air/beijing/
#蓝色为固定部分,红色为可变部分
2.进入PBD,主页--获取数据--从Web--在导航器输入网址


3.获取到的信息包含两个表,一个含标题,一个不含,根据需求选择自己需要的表


4.主页--转换数据--进入PQ

5.可以看到爬取到整个网页的信息是这样的

6.进入高级编辑器,l可以查看b爬数所用到的函数,也可设置我们所需要的数据


7.下面就得到北京市大气质量数据

(二)根据自定义函数爬取各城市大气质量数据
1.PQ--主页--新建源--空查询

2.进入高级编辑器,自定义函数


3.在返回的参数中输入任意城市名--调用

即可获取到对应城市的大气质量数据






