大家好,我是曹鑫老师,今天要给大家分享的是网上数据的自动批量搜集整理,大家更熟悉的名字是「爬虫」。
扫码预约九宫格数据
线下体验店
在课程开始之前,我要先说一段免责声明:这次课程对于数据抓取的相关知识,只做学术探讨,不要利用抓取到的数据做有损访问网站商业利益的事情,比如你也建立一个同样业务的网站;也不要对访问网站的服务器造成压力,影响正常用户的访问。以上也是大家以后在进行数据采集的时候需要注意的。那我们继续讲技术,数据采集对于我们日常的工作有什么帮助呢?我举个例子。
比如当我们来到CDA官网的直播公开课页面,我们可以看到这里有很多的课程,每个课程的组成部分是一致的,包含了它的主题海报、标题内容、授课老师的介绍和头像,同时我还可以翻页到下一页,看到更多的往期公开课,这种构造相信你在很多网站都看到过,你就要联想到,今天学到的内容,也差不多能应用到类似的网站去。
接下来,如果想要把这些内容全部整理到一张Excel表里面,你该怎么办?第一反应是不是:那就去挨个复制标题,复制老师的名字,复制介绍内容,一个个粘贴到Excel表里?没错,这是我们要做的,但真要拿着鼠标去挨个点,敲着键盘 `Ctrl+C`、 `Ctrl+V`,未免也太累了,这就是日常工作中比较典型的场景:任务操作一点不难,但需要不断重复操作,费时费力。
如果掌握了 Python 数据采集,我会怎么来解决这个重复操作的任务呢?我先给你演示一下效果。代码不难,就这么一段,你现在看肯定一头雾水,不要着急,我一段段带你来阅读理解。
点击`Shift+回车`,我们运行一下代码看看:
1. 浏览器自动打开指定的页面,也就是直播公开课的第一页。
2. Anaconda 中,星号表示该代码区域正在运行,而在代码区域下方会输出打印的结果。
3. 紧接着循环获取数据,代码获取到了第一页的内容,并整理成表格打印出来。
4. 然后,浏览器自动翻页到第二页,又一次获取第二页的内容,并整理成表格打印出来。
5. 继续,第三页,同样的输出。
6. 最后,输出了一个 Excel 文件,我们打开看一下,全部页数我需要的数据都整理好了。
我们想要的效果实现了,有几个好处:
1. 我只点了一下鼠标移动到代码区域;敲了一下键盘 `Shift+回车`启动程序,接下来我就不用再点鼠标或者敲键盘了,全部交给 Python 程序
2. 我现在是获取3页,我要获取10页,100页,1000页,我只要改一下循环这里的数字,让它循环10次、100次甚至是1000次,再也不用多花更多时间和体力,始终就是一点一运行,剩下的体力活全部交给 Python 。
一旦掌握了数据采集技术,类似的重复性工作你都可以自动化完成。
下面是分享给大家的代码,可以自行操作试试哦。
# 调用包 from selenium import webdriver from lxml import etree import pandas as pd # 启动浏览器打开指定网页 browser = webdriver.Chrome('/Users/davidfnck/Downloads/chromedriver') url = 'https://www.cda.cn/open.html' browser.get(url) # 先创建一个汇总的数据空表 df_all = pd.DataFrame() # 循环获取每一页 for i in range(3): page_no = i+1 # 获取页面源码解析 html = etree.HTML(browser.page_source) # 获取数据 ## 标题 title_list = html.xpath('/html/body/div[3]/div[2]/ul/li/a/div/h2/text()') ## 讲师 teacher_list = html.xpath('/html/body/div[3]/div[2]/ul/li/a/div/div/h4/text()') ## 介绍 intro_list = html.xpath('/html/body/div[3]/div[2]/ul/li/a/div/div/p/text()') ## 图片 pic_list = html.xpath('/html/body/div[3]/div[2]/ul/li/a/img/@src') ## 链接 link_list = html.xpath('/html/body/div[3]/div[2]/ul/li/a/@href') # 组合成字典,生成数据表 all_dict = {'标题':title_list, '讲师':teacher_list, '介绍':intro_list, '海报':pic_list, '链接':link_list } df = pd.DataFrame(all_dict) # 输出结果 print(f'第{page_no}页的输出结果:') print(df.head(3)) # 新表拼接到旧表的结尾 df_all = df_all.append(df) # 点击翻页 browser.find_element_by_xpath('/html/body/div[3]/div[2]/div/a[4]').click() # 数据表写入输出 Excel df_all.to_excel('./CDA_Live_公开课_多页.xlsx') print('最终结果的Excel已经生成')
当下企业数字化转型正快速发展,在越来越严苛的外部监管及越来越激烈的市场竞争驱动下,各行各业都在急迫地对数据进行最大化的价值挖掘。然而,大多数企业在推动落地时,都会遇到诸多问题。快速了解“数据从治理到分析”的落地流程与产出效果,以最低成本实现团队协同,快速解决深奥数据问题,成为越来越多企业加大数字化转型投入的核心动力。
CDA数据分析师作为专注于数字化人才培养及服务的教育品牌, 一直致力于大数据在产、学、 研的融合应用。以“培养企业需要的专业数字化人才, 搭建引领数字化时代的企业人才梯队” 为使命, 为DT时代数字化人才的数据能力提升及企业数字化转型提供标准化、 高效率、 可落地的数据应用侧解决方案。成立15年来, 始终在总结凝练先进数字化商业数据策略及技术应用实践, 以实际行动提升了数字化人才的职业素养与能力水平, 以建设高质量生态圈层促进了行业的持续快速发展。
CDA数据分析师携手华矩科技,以数据治理与数据分析为特色,联合开设九宫格数据体验店北京分店并对外运营。
图-CDA&华矩联合的九宫格数据·数据治理与分析体验店
体验内容
在数据治理与分析体验店,您可以从技术、业务、管理三大方面全方位体验数据治理与分析。
而CDA数据分析师与华矩科技的强强联合,也赋予了数据治理与分析体验店更多特色体验,主要包括:
体验店的亮点优势
区别于以往很重的数据治理咨询与实施,华矩科技首创的九宫格数据体验店模式让用户可以更轻更快地了解与体验数据治理,并在体验店获得场景模拟,团队协同和报告输出。主要包括:
开放免费体验科目
新店试业期间,九宫格数据·数据治理与分析体验店数个技术场景科目免费体验,从数据预处理、数据探查与诊断、数据清洗规则与标准化设计、数据集成、数据优化、数据质量监控到数据分析和数据挖掘等全流程场景,了解数据从产生到处理到应用的相关逻辑与实操路径,实现一个闭环体验并赋能个人技能习得或团队项目预演。
体验预约须知
1. 体验店开放地点
广州店:广州市天河区体育东路122号羊城商贸中心西塔1010
深圳店:深圳市福田区新闻路华丰大厦303
北京店:北京市海淀区高梁桥斜街59号院1号楼13层1306
2. 体验店开放时间
周一至周五 9:00-18:00
3. 体验预约流程
填写预约申请表单——后台审核体验资格——沟通确认体验时间地点——上门体验
4. 体验内容说明
每个场景科目均包含高级顾问辅导与自由实操环节,以确保用户了解操作方法并能自主操作获得结果。如需更多操作原理与数据治理与分析理论方法,敬请关注体验店后续推出的培训课程。
5. 温馨提示
新店开业期间针对既定科目场景开放免费体验,限时限量,请尽快预约体验。
不同科目体验涉及不同时长,敬请注意体验期间差旅住宿餐饮等费用需自理。
*该活动最终解释权归九宫格数据·数据治理与分析体验店所有。
码上预约体验,开启不一样的数据治理之旅
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14