cda

数字化人才认证

您的位置:首页 > 课程列表 > Python爬虫及文本分析学术应用

Python爬虫及文本分析学术应用

Python爬虫及文本分析学术应用

难度系数:

课程系列:A3

周期:随报随学,提供答疑

课程信息:

现场班老学员九折优惠

  • WHAT 课程简介

    Python爬虫及文本分析学术应用:本课程致力于讲授完整的结构化数据、文本数据的获取、存储、读取、处理和分析过程,我们期望课程可以帮助到广大的用户,包括所有想要使用python编程语言实现数据获取和文本分析的在校师生、以及致力于将数据分析与挖掘的价值广泛运用到实际场景的商业人士。
  • WHY 学习目标

    包括Python编程基础,Python爬虫学术应用和Python文本分析实战,通过该课程的学习,我们的学员将不再单一依靠开源公开数据网站的数据,适当摆脱对国家统计年鉴、wind数据库、知网数据的依赖,能够从更多元的渠道获取数据,使用python更高效的处理数据,并用更前沿的技术分析和挖掘数据信息,为我们的科研工作减轻中间工作负担。
  • WHO 学习对象和基础

    从事经济学、资源环境、地理科学、城市、人口、房地产、数理统计、管理科学、计量经济等方面研究的教师、研究员
    相关领域的硕士、博士研究生
    不要求学过Python操作

01概述 爬虫与文本分析概述

01-01结构化数据/文本数据的获取方法概述
01-02高效的编程语言实现结构化数据处理与文本分析的价值

02编程基础

02-01python编程基础(标准数据类型,控制流,自定义函数,类,os文件处理模块)
02-02python重要数据科学计算库(Numpy,Pandas,Matplotlib,Pyecherts,wordcloud)

03数据获取

03-01爬虫基础(网络爬虫简介,爬虫的基本原理,HTML 简介,数据存储)
03-02网页抓取(使用 Urllib网页抓取,requests实战)
03-03BeautifulSoup4(简介,安装,BS 对象的种类,遍历文档树,搜索文档树)
03-04Xpath(什么是Xpath,Xpath开发工具,Xpath常用规则)
03-05动态渲染页面抓取(Selenium的安装,基本使用,声明浏览器对象,访问页面,定位元素,节点交互,动作链,执行 JavaScript,获取节点信息,延时等待,前进后退,Cookies,选项卡管理,异常处理)
03-06爬虫实战(网站的爬取,基电商评价文本爬取)

04数据存储与读取

04-01可供读取数据类型介绍(excel、pdf、txt、html、mysql数据库文件介绍)
04-02数据的存储(将数据存储到excel表,txt文本,word文档)
04-03数据的读取(python批量读取多个多子表excel,python读取txt文件,word文档)

05数据处理

05-01正则表达式(什么是正则表达式,正则表达式匹配规则,re模块的使用)
05-02文本处理常用方法(字符串的不变性,排序行,段落格式化,二进制转化为ASCII,重复字词过滤,提取邮件地址,提取URL地址,大写转换,符号化,删除停用词,同义词与反义词处理,文本翻译,单词替换,拼写检查,WordNet接口,语料访问,标记单词,块和裂口,块分类,文本分类,双字母组,文字改写,文字换行,频率分布,文字摘要,词干算法,约束搜索)
05-03结构化数据处理--数据清洗(numpy数值计算要点串讲,Pandas数据处理串讲,python统计图表展示)

06文本分析实战

06-01重要的库(jieba库简介)
06-02关键词提取(关键词任务概述,TF-IDF算法原理,相似文章推荐原理介绍,实例:红楼梦文本分析的实现,文件与词库的读取,完成分词与词云图的绘制)
06-03文本分类(新闻素材介绍,新闻内容的关键词提取,词向量转化与ngram模型,朴素贝叶斯算法完成新闻分类)

硬核服务

  • 朝九晚九全程跟班答疑

    助教线上服务时间由原先的上课期间答疑调整为课程持续期间答疑,包括中途休息时间;同时,每日答疑时间由原先的“朝九晚六”调整为“朝九晚九”,全面覆盖同学晚自习时间。
  • 一对一督学

    每个班级、每位同学、每月都会进行至少一次一对一辅导,询问同学学习状态、解决学员学习问题;同时,针对每个模块测试结果后10%的学员进行额外辅导,以确保学员能够跟上学习进度。
  • 定期直播串讲

    对于重难点知识和同学普遍反应的问题,助教将进行每周1-2次的晚自习串讲,串讲时常为2小时左右,且相关内容需要重新制作、有别于课程内容,帮助同学攻克重难点知识。
  • 有问必答

    助教线上服务要求有问必答,并能真正做到解决所有课程中遇到的问题。在原先每个班一个助教+一个班主任的配置下,调整为每个班2名助教+项目服务团队的模式,以确保快速、高质量的解决线上提问。
  • 出勤率和进度监督

    在课程持续期间,助教还需实时统计学员出勤情况,监督课堂纪律,跟进学习进度。除正常答疑外,服务团队会与班级同学保持沟通、给予正确指引,从而营造积极学习氛围。
  • 作业与测试

    在远程授课期间,每个课程会安排相关课后作业,确保同学课下能够进行适当练习,提升同学实时参与感、保证当日学习效果。除了作业,服务团队还会组织学员进行阶段性测试,以考试性质为主,主要考察学员对本阶段知识掌握程度。

来自业界的数据领袖团队

  • 陈远翔

    北京邮电大学副教授

    2015年-2017年在北京大学做博士后研究。主要研究方向包括光无线融合技术,智能信号处理,以及基于人工智能的信号处理技术。发表SCI/EI学术论文80余篇,其中第一或通讯作者论文40余篇,申请发明专利4项。主持国家自然科学基金面上项目,国家重点研发计划子课题,国家自然科学基金青年项目及博士后基金等多个国家级和省部级项目。IEEE、OSA会员,OpticsExpress, IEEE Photonics Technology Letters,PhotonicsJournal,Applied Optics等多个SCI期刊审稿人。

几乎所有行业

都稀缺独当一面的CDA数据分析师®人才

在招聘市场上,越来越多的企业要求持CDA数据分析师®证书

GROWN

开启数据科学家成长之路

考核通过后,可获得CDA数据分析师中英文双证书,其中中文证书由中国成人教育协会数据分析教育培训专业委员会监制,英文证书由CDA INSTITUTE 认证。
“CDA数据分析师认证”是一套科学化,专业化,国际化的人才考核标准,共分为CDA LEVELⅠ ,LEVEL Ⅱ,LEVEL Ⅲ三个等级,涉及行业包括互联网、金融、咨询、电信、零售、医疗、旅游等,涉及岗位包括大数据、数据分析、市场、产品、运营、咨询、投资等。该标准符合当今全球数据科学技术潮流,可以为各行业企业和机构提供数据人才参照标准。
  • CDA LEVEL I

    人人皆需的职场数据思维与通用数据技能

    面向范围

    • 零基础就业转行者、应届毕业生
    • 产品、运营、营销等业务岗与研发、技术岗在职者
    • 企业创始人、经理人、管理咨询类岗位从业者

    岗位去向

    商业(业务)分析师初级数据分析师
    (数据)产品运营(数字)市场营销
    数据专员...

  • CDA LEVEL II

    企业数字化发展中必备的数据分析流程与技能

    面向范围

    • 产品、运营、营销等业务部门与研发、中台、技术类部门数据分析相关岗位在职者
    • 数字化转型企业创始人与数字化流程中相关负责人

    岗位去向

    数据分析师(数据)产品运营经理
    (数字)营销经理风控建模分析师
    量化策略分析师数据治理(质量)...

  • CDA LEVEL III

    企业数字化发展中必备的高级数据分析方法与技术

    面向范围

    • 业务岗与技术岗从事数据分析、数据挖掘、机器学习等技术在职提升者
    • 从事算法科学、深度学习等工作的科研人员、分析师与工程师等

    岗位去向

    高级数据分析师机器学习工程师
    算法工程师数据科学家
    首席数据官...

EXAM

CDA认证报考开放化

CDA认证LEVELⅠ 对于考生的学历、专业、技能等没有限制性报考条件,在与全球计算机化考试服务商Pearson VUE达成深度合作后LEVELⅠ更是随报随考机制。
查看CDA认证报考流程 

VALUE

CDA证书的价值

  • 共识性CONSENSUS
    CDA数据分析师标准由中国成人教育协会数据分析教育培训专业委员会监制,国际范围内的数据科学领域的行业专家、学者及知名企业共同制定并于每年更新,逐步推动数据人才标准的行业共识。
  • 专业性speciality
    CDA认证是根据数据科学专业岗位设立的科学化,专业化,国际化的人才考核标准。考试与国际知名考试服务机构Pearson VUE合作,随报随考、专家命题、评分公平、流程严格,更具含金量。
  • 权益性rights
    CDA持证人自动纳入为CDA会员并享有系列特殊权益。证书皆绑定考生真实身份,可在CDA认证考试中心查询,证书确保唯一性与防伪性,持证人还可获得电子徽章,加入到Linkedin个人档案中。证书三年审核一次,保证持证人的实力与权益。

RIGHTS

CDA持证人的权益

  • 会员资格

    吸纳为CDA Institute、CDA数据分析师俱乐部会员,活动中具有优先报名参与权

  • 职业发展

    可优先获得CDA内部就业及职业发展推荐

  • 免费CDA活动

    免费参与CDAS行业峰会等各项活动,CDA持证人享受特权位置

  • 兼职机会

    有机会加入CDA数据分析教学、研发等项目

  • 黄金会员

    免费享有AIU人工智能学院1个月黄金会员,内含国外前沿数据科学学习等海量资源

  • 免费资源

    经管之家论坛学习资源、优秀文献资料免费下载权

  • Q:学员课下如何与老师进行互动?

    A:CDA数据分析员课程每期都会建立QQ群和微信群,工作日有老师和助教负责答疑;同时学员单独给老师发邮件或者在论坛讨论区以帖子的形式向老师提问,老师会在工作日的48小时内回复。
  • Q:学员课下如何与老师进行互动?

    A:CDA数据分析员课程每期都会建立QQ群和微信群,工作日有老师和助教负责答疑;同时学员单独给老师发邮件或者在论坛讨论区以帖子的形式向老师提问,老师会在工作日的48小时内回复。

OK