
对于科学研究:人类动力学研究,计量社会学,复杂网络,数据挖掘,理论计量学、应用计量学、或是各个论文中对数据整理都异常重要。
而网络爬虫是收集相关数据的利器,它可以抓取某个网站或者某个应用的内容,提取有用的价值以及各种数据。也可以模拟用户在浏览器或者App应用上的操作,实现自动化的程序。
而因为Python的脚本特性,以及其不仅易于配置,而且对字符的处理也非常灵活,加上Python有丰富的网络抓取模块,所以网络爬虫经常与Python联系在一起。
“工欲善其事,必先利其器”,当您的实证分析中有了一手的准确数据,就好像伐木人有了一把锋利的斧子,那么您的实证效率会呈现几何级的增长!这把利器就是Python爬虫:
Python爬虫学术应用_3月北京现场班
时间:2019年3月22-25日 (四天)
地点:北京市海淀区丹龙大厦附近
安排:上午9:00-12:00,下午1:30-4:30,答疑4:30-5:00
费用:3600元 / 3000元(学生价仅限全日制本科生及硕士在读);食宿自理
讲师介绍:
阎老师,长期从事数据分析的理论研究、教学和实践工作。长期关注各类统计软件的发展和国内外各行业的应用情况,一直保持着与统计应用前沿的密切接触,在数据挖掘应用、市场研究应用等领域经验丰富。
擅长企业数据分析和企业诊断,参与多项国家级、省级课题的科研工作,曾任多家电商企业的运营顾问和培训师,积累了大量实战经验。
课程导引:
在了解爬虫的过程中,由于对这项技术缺乏系统了解,“小白”们难免会被纷繁生僻的知识点折腾地眼花缭乱、晕头转向。有的人打算先搞懂基本原理和工作流程,有的人计划从软件的基本语法入门,也有人打算弄懂了网页文档再来……在学习抓取网络信息的道路上,许多人因为中途掉进陷阱最终无功而返。因此,掌握正确的方法的确非常重要。
这一门课的目的,就是希望能够通过通俗易懂的讲解,令没有编程基础的研究人员通过学习,能够学会爬取主流网站的内容并整理成为可为后续分析提供依据的数据资料。在这门课结束之后,我们能够爬取豆瓣的评论内容、学术论文、淘宝的销售数据、房价的变化趋势,还能对股票市场进行分析和预测。
课程大纲:
为了能够完整地呈现Python数据采集的方法和过程,这门课将分为四大部分——
一、Python快速入门
在写爬虫之前,我们需要了解一些有关工具的基础知识。所以,第一天的授课内容是关于Python基础的,是后续课程中读懂并编写爬虫程序的铺垫。其中包括了Python的数据结构、变量类型、循环和控制语句、Numpy和Pandas包的基本功能。有基础的老师可以跳过这一部分直接进入第二部分。
第1章 认识Python
1. Python的数据结构与函数
2. Python的循环与控制流
3. Python的基本扩展库
二、初识爬虫
在这一部分中,我们将正式接触爬虫,我们也将感受到每天都在使用的浏览器究竟藏着哪些细节。为了能够得到清洁的数据,我们不得不忽略网页精致的外观和编排,刻意绕开浏览器的帮助来分离和理解数据。页源里除了我们认识的文字,那些标签都有着怎样的含义?如何把网页内容“请”到我们的分析工具中来?爬取数据有怎样的规律可循?这些都是第二部分将要呈现的内容。
第2章 重新认识网络
1. 什么是Web前端
2. HTML的结构
第3章 创建爬虫
1. 什么是爬虫
2. Python爬虫的环境搭建
3. 爬虫三部曲——获取、解析、保持
小例子:创建第一个爬虫
三、页面解析
在之前的课程中,我们已经知道了要怎样繁复的工程才堆砌出绚丽的网页,但这其中大部分的内容是我们并不需要的。如何穿越层层与我们无关的标签和HTML属性抽取到清洁的数据内容?如何使用更简洁高效的方式达到目的?大名鼎鼎的“正则”究竟是什么?这些是4-6章要重点讲授的内容。
第4章 复杂HTML解析
1. 正则表达式
2. 一个名叫“心灵鸡汤”的扩展库
3. 导航树
4. 突破反爬虫的限制
案例1:静态页面爬虫
第5章 动态渲染页面的爬取
1. Ajax和动态HTML
2. 无界面浏览器PhantomJS
3. 自动化测试库Selenium
案例2:动态爬虫
第6章 Scrapy爬虫架构
1. Scrapy爬虫结构
2. 创建爬虫模块
3. 选择器
4. 构建Item Pipeline
5. 请求与相应
案例3:Scrapy爬虫
四、爬取结果的处理
到目前为止,我们处理的还都是规范数据,但现实是,我们面对更多的是样式不规范的数据,放弃不符合预期的数据并不是一个长久之计。在我们无法挑选数据时,这一章的内容就显得格外有用了。一个长句中究竟包含了哪些有效信息?一条评价反映出客户怎样的态度?接下来的内容将介绍一些工具和方法,帮助我们控制或筛选进入视线的数据,为后续的数据分析做准备。
第7章 数据清洗
1. 清洗结构化数据
2. 清洗非结构化数据
3. 数据标准化
案例4:计算词频
第8章 自然语言处理入门
1. 获取文本语料
2. 加工原始文本
3. 从文本中提取信息
案例5:情感分析
优惠信息:
现场班老学员9折优惠;
同一单位三人以上同时报名9折优惠;
以上优惠不叠加。
报名流程:
1. 点击“我要报名”,网上提交报名信息;
2. 订单缴费;
3. 缴费确认,开课前一周发送软件准备,电子版讲义;
4. 现场领取发票及邀请函。
联系方式:
魏老师
QQ:2881989714
Tel:010-68478566
Mail:vip@pinggu.org
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
全球第一!上交AI智能体炼成Kaggle特级大师登顶OpenAI MLE-bench 编辑:KingHZ 好困 【新智元导读】刚刚,由上海交通大学人 ...
2025-07-02探索最优回归方程:数据背后的精准预测密码 在数据分析和统计学的广阔领域中,回归分析是揭示变量之间关系的重要工具,而回 ...
2025-07-02CDA 证书:银行招聘中的 “黄金通行证” 在金融科技飞速发展的当下,银行正加速向数字化、智能化转型,海量数据成为 ...
2025-07-02CDA 数据分析师报考条件全解析:开启数据洞察之旅 在当今数字化浪潮席卷全球的时代,数据已成为企业乃至整个社会发展的核心驱 ...
2025-07-01深入解析 SQL 中 CASE 语句条件的执行顺序 在 SQL 编程领域,CASE语句是实现条件逻辑判断、数据转换与分类的重要工 ...
2025-07-01SPSS 中计算三个变量交集的详细指南 在数据分析领域,挖掘变量之间的潜在关系是获取有价值信息的关键步骤。当我们需要探究 ...
2025-07-01CDA 数据分析师:就业前景广阔的新兴职业 在当今数字化时代,数据已成为企业和组织决策的重要依据。数据分析师作为负责收集 ...
2025-06-30探秘卷积层:为何一个卷积层需要两个卷积核 在深度学习的世界里,卷积神经网络(CNN)凭借其强大的特征提取能力 ...
2025-06-30探索 CDA 数据分析师在线课程:开启数据洞察之旅 在数字化浪潮席卷全球的当下,数据已成为企业决策、创新与发展的核心驱 ...
2025-06-303D VLA新范式!CVPR冠军方案BridgeVLA,真机性能提升32% 编辑:LRST 【新智元导读】中科院自动化所提出BridgeVLA模型,通过将 ...
2025-06-30LSTM 为何会产生误差?深入剖析其背后的原因 在深度学习领域,LSTM(Long Short-Term Memory)网络凭借其独特的记忆单元设 ...
2025-06-27LLM进入拖拽时代!只靠Prompt几秒定制大模型,效率飙升12000倍 【新智元导读】最近,来自NUS、UT Austin等机构的研究人员创新 ...
2025-06-27探秘 z-score:数据分析中的标准化利器 在数据的海洋中,面对形态各异、尺度不同的数据,如何找到一个通用的标准来衡量数据 ...
2025-06-26Excel 中为不同柱形设置独立背景(按数据分区)的方法详解 在数据分析与可视化呈现过程中,Excel 柱形图是展示数据的常用工 ...
2025-06-26CDA 数据分析师会被 AI 取代吗? 在当今数字化时代,数据的重要性日益凸显,数据分析师成为了众多企业不可或缺的角色 ...
2025-06-26CDA 数据分析师证书考取全攻略 在数字化浪潮汹涌的当下,数据已成为企业乃至整个社会发展的核心驱动力。数据分析师作 ...
2025-06-25人工智能在数据分析的应用场景 在数字化浪潮席卷全球的当下,数据以前所未有的速度增长,传统的数据分析方法逐渐难以满足海 ...
2025-06-25评估模型预测为正时的准确性 在机器学习与数据科学领域,模型预测的准确性是衡量其性能优劣的核心指标。尤其是当模型预测结 ...
2025-06-25CDA认证:数据时代的职业通行证 当海通证券的交易大厅里闪烁的屏幕实时跳动着市场数据,当苏州银行的数字金融部连夜部署新的风控 ...
2025-06-24金融行业的大数据变革:五大应用案例深度解析 在数字化浪潮中,金融行业正经历着深刻的变革,大数据技术的广泛应用 ...
2025-06-24