京公网安备 11010802034615号
经营许可证编号:京B2-20210330
对于科学研究:人类动力学研究,计量社会学,复杂网络,数据挖掘,理论计量学、应用计量学、或是各个论文中对数据整理都异常重要。
而网络爬虫是收集相关数据的利器,它可以抓取某个网站或者某个应用的内容,提取有用的价值以及各种数据。也可以模拟用户在浏览器或者App应用上的操作,实现自动化的程序。
而因为Python的脚本特性,以及其不仅易于配置,而且对字符的处理也非常灵活,加上Python有丰富的网络抓取模块,所以网络爬虫经常与Python联系在一起。
“工欲善其事,必先利其器”,当您的实证分析中有了一手的准确数据,就好像伐木人有了一把锋利的斧子,那么您的实证效率会呈现几何级的增长!这把利器就是Python爬虫:
Python爬虫学术应用_3月北京现场班
时间:2019年3月22-25日 (四天)
地点:北京市海淀区丹龙大厦附近
安排:上午9:00-12:00,下午1:30-4:30,答疑4:30-5:00
费用:3600元 / 3000元(学生价仅限全日制本科生及硕士在读);食宿自理
讲师介绍:
阎老师,长期从事数据分析的理论研究、教学和实践工作。长期关注各类统计软件的发展和国内外各行业的应用情况,一直保持着与统计应用前沿的密切接触,在数据挖掘应用、市场研究应用等领域经验丰富。
擅长企业数据分析和企业诊断,参与多项国家级、省级课题的科研工作,曾任多家电商企业的运营顾问和培训师,积累了大量实战经验。
课程导引:
在了解爬虫的过程中,由于对这项技术缺乏系统了解,“小白”们难免会被纷繁生僻的知识点折腾地眼花缭乱、晕头转向。有的人打算先搞懂基本原理和工作流程,有的人计划从软件的基本语法入门,也有人打算弄懂了网页文档再来……在学习抓取网络信息的道路上,许多人因为中途掉进陷阱最终无功而返。因此,掌握正确的方法的确非常重要。
这一门课的目的,就是希望能够通过通俗易懂的讲解,令没有编程基础的研究人员通过学习,能够学会爬取主流网站的内容并整理成为可为后续分析提供依据的数据资料。在这门课结束之后,我们能够爬取豆瓣的评论内容、学术论文、淘宝的销售数据、房价的变化趋势,还能对股票市场进行分析和预测。
课程大纲:
为了能够完整地呈现Python数据采集的方法和过程,这门课将分为四大部分——
一、Python快速入门
在写爬虫之前,我们需要了解一些有关工具的基础知识。所以,第一天的授课内容是关于Python基础的,是后续课程中读懂并编写爬虫程序的铺垫。其中包括了Python的数据结构、变量类型、循环和控制语句、Numpy和Pandas包的基本功能。有基础的老师可以跳过这一部分直接进入第二部分。
第1章 认识Python
1. Python的数据结构与函数
2. Python的循环与控制流
3. Python的基本扩展库
二、初识爬虫
在这一部分中,我们将正式接触爬虫,我们也将感受到每天都在使用的浏览器究竟藏着哪些细节。为了能够得到清洁的数据,我们不得不忽略网页精致的外观和编排,刻意绕开浏览器的帮助来分离和理解数据。页源里除了我们认识的文字,那些标签都有着怎样的含义?如何把网页内容“请”到我们的分析工具中来?爬取数据有怎样的规律可循?这些都是第二部分将要呈现的内容。
第2章 重新认识网络
1. 什么是Web前端
2. HTML的结构
第3章 创建爬虫
1. 什么是爬虫
2. Python爬虫的环境搭建
3. 爬虫三部曲——获取、解析、保持
小例子:创建第一个爬虫
三、页面解析
在之前的课程中,我们已经知道了要怎样繁复的工程才堆砌出绚丽的网页,但这其中大部分的内容是我们并不需要的。如何穿越层层与我们无关的标签和HTML属性抽取到清洁的数据内容?如何使用更简洁高效的方式达到目的?大名鼎鼎的“正则”究竟是什么?这些是4-6章要重点讲授的内容。
第4章 复杂HTML解析
1. 正则表达式
2. 一个名叫“心灵鸡汤”的扩展库
3. 导航树
4. 突破反爬虫的限制
案例1:静态页面爬虫
第5章 动态渲染页面的爬取
1. Ajax和动态HTML
2. 无界面浏览器PhantomJS
3. 自动化测试库Selenium
案例2:动态爬虫
第6章 Scrapy爬虫架构
1. Scrapy爬虫结构
2. 创建爬虫模块
3. 选择器
4. 构建Item Pipeline
5. 请求与相应
案例3:Scrapy爬虫
四、爬取结果的处理
到目前为止,我们处理的还都是规范数据,但现实是,我们面对更多的是样式不规范的数据,放弃不符合预期的数据并不是一个长久之计。在我们无法挑选数据时,这一章的内容就显得格外有用了。一个长句中究竟包含了哪些有效信息?一条评价反映出客户怎样的态度?接下来的内容将介绍一些工具和方法,帮助我们控制或筛选进入视线的数据,为后续的数据分析做准备。
第7章 数据清洗
1. 清洗结构化数据
2. 清洗非结构化数据
3. 数据标准化
案例4:计算词频
第8章 自然语言处理入门
1. 获取文本语料
2. 加工原始文本
3. 从文本中提取信息
案例5:情感分析
优惠信息:
现场班老学员9折优惠;
同一单位三人以上同时报名9折优惠;
以上优惠不叠加。
报名流程:
1. 点击“我要报名”,网上提交报名信息;
2. 订单缴费;
3. 缴费确认,开课前一周发送软件准备,电子版讲义;
4. 现场领取发票及邀请函。
联系方式:
魏老师
QQ:2881989714
Tel:010-68478566
Mail:vip@pinggu.org
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
做产品立项、写商业计划书、规划市场进入策略时,"市场调研"和"竞品分析"几乎总是被绑在一起说,甚至被当成同一件事。但实际 ...
2026-11-19 在做数据治理、搭数据中台或者梳理数据库表结构时,"主数据"和"参考数据"是被提及频率最高、也最容易被混为一谈的两个概念。 ...
2026-11-19“纲举目张,执本末从。”若想在数据分析领域有所收获,一套合适的学习教材至关重要。一套优质且契合需求的学习教材无疑是那关键 ...
2026-11-19一、什么是本体 在知识图谱和语义建模里,本体(Ontology)是对一个领域内概念、属性、关系和实例的形式化描述。它回答三个问题 ...
2026-11-18一、K-S 曲线解决什么问题 风控评分卡、客户流失模型、欺诈识别模型建好之后,最核心的一个问题是:模型能不能把"会变坏"和"不会 ...
2026-11-18核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-11-18核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-11-18产品上线之后,真正回答"用户是谁、想要什么、卡在哪里"的,往往不是调研问卷,而是用户留下的一条条行为记录。点击、浏览、停留 ...
2026-11-17在日常数据库开发与报表查询中,日期格式几乎是最高频的"打交道"对象:页面上要展示 yyyy-MM-dd,接口要返回 ISO 8601 字符串, ...
2026-11-17核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-11-17一、销售行业为什么离不开大数据分析 销售行业的本质是"把合适的产品,在合适的时间,卖给合适的人,并持续复购"。传统销售靠经 ...
2026-11-16一、什么是频数分布 拿到一批连续数据(员工年龄、商品价格、考试分数、订单金额),最想先看的往往不是平均值,而是数据集中在 ...
2026-11-16教育部办公厅关于成立全国数据职业教育教学指导委员会(2026—2030年)的通知 教职成厅函〔2026〕25号 各省、自治区、直辖市教 ...
2026-11-16CDA数据分析师 出品 作者:李诗怡 基础与单表查询 四大类语言 · 数据库基础 · DQL 单表查询 ” 一、SQL 四大类语言与数据 ...
2026-11-13核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-11-13一、问题从哪来 财务分析里算增长率,常规公式所有人都会写: 增长率本年数上年数上年数 这个公式在"上年为正"时完全成立。但一 ...
2026-11-12一、什么是加权聚类 普通聚类默认"每个样本、每个指标都同等重要":距离公式里每个样本权重都是 1,每个指标在距离计算里占比相 ...
2026-11-12“纲举目张,执本末从。”若想在数据分析领域有所收获,一套合适的学习教材至关重要。一套优质且契合需求的学习教材无疑是那关键 ...
2026-11-12一、需求从哪来 做 Excel 报表时,"从一个透视表取数据"这个需求通常有三种来源: 汇总页引用:明细透视表在另一个 sheet,汇总 ...
2026-11-11一、透视表的价值在哪 一句话概括:数据透视表把"写公式汇总"变成了"拖字段看结果"。 传统做法要写 SUMIFS、COUNTIFS,改一个维 ...
2026-11-11