请运行体会下面的代码你就会明白： for (i in 1:3){ assign(paste("a", i, sep = ""), i:10) }

对于Python爬虫难与不难的问题, 我的观点是

关键看你想要用爬虫来做一些什么事情... 1. 如果你的目的是: 从一个常见的小型网站, 例如xx企业网站, xx博客, xx政府网站上面, 把一些需要的数据提取出来, 爬虫是很简单的. 在掌握Python基础的情况下(后面有讲需要哪些内容), 大概经过三四天的学习, 就可以轻松的达成. 2. 如果你的目的是: 从一些大型的, 知名网站上面批量的提取大量数据. 例如, 你想从知乎上面提取一千万用户信息, 想从实时抓取微博热点数据用于舆论分析, 想要从天猫上面批量获取用户评论信息等. 难度就会指数级上升了. 最起码,如何处理任务队列, 如何多线程, 如何识别验证码, 如何爬取动态网站, 如何操作数据库等等这些内容都是你绕不开的难点. 1. 如果你的目的是: 成为专业的爬虫工程师, 甚至爬虫架构师, 将爬虫技术应用于商业活动. 那么难度就可以参考同等级薪水的专业程序员了. 验证码识别, 防止ip封杀, 编写分布式爬虫, 应对网站不断更新的反爬系统, 破解加密数据, 防止封杀等等的相关知识非常多. 下面再来说一下爬虫所需要的基础知识 对于第一级别的爬虫学习者而言: Python基础方面所需知识 基础数据结构这部分, 对于字符串的操作方法, 以及列表和字典的操作方法一定要熟悉. 再详细点说, 判断, 循环, 切片, 文件读写, 简单的编码常识这些总得会吧? 爬取数据时, 首先要明白的是, 从网页上提取出来的源代码, 从根本上来讲都是"字符串", 很长, 很乱的字符串而已. 最终从网页中提取出来的数据, 也都是以字符串的格式存在的, 因此字符串的操作可以说是核心中的核心了. 了解了以上这些基础知识, 再结合 BeautifulSoup 解析库, 就已经可以爬出很多网站的内容了. HTML代码 基础知识方面, 如果懂得基础的HTML代码, 对于学习爬虫会非常有帮助. 为啥? 因为网站源码都是一些HTML代码嘛 HTML是一个树形的层级结构. 退一步讲, 即使你完全不了解每个HTML标签是什么含义, 但对于这种层级结构一定要有很深的认知, 否则是没有办法写好爬虫的. 浏览器开发者工具 浏览器上F12打开开发者工具, 界面非常复杂, 不比一个大型软件差了, 想要彻底掌握它还是需要一些时间的. 对于爬虫的开发必不可少, 和HTML是相辅相成的关系. 解析库 也就是具体用什么规则去解析HTML代码, 从中提取你需要的内容. 理论上来讲, 爬虫解析库只要掌握一种就可以了, BeautifulSoup, Xpath, 任选一种看你喜欢. 下面是对于第二级别的开发者 正则表达式 如果在复杂一点, 可能就需要你掌握"正则表达式", 字符串处理Real 重要的一门技术, 主要是用于字符串的规则匹配的. 不需要多么精通, 最起码几个简单的 . * ? \d 等规则需要会写会用. 掌握了正则表达式, 再复杂的内容, 也可以游刃有余. 数据库 这里对应的是上面的第二等级学习了, 如果是第一级别的比较少量的数据, 个人认为没有必要非得存到数据库里面. 简单的存成文本格式, csv, txt, json等就可以了. 如果是对于数据量比较大, 比较复杂的数据可能需要保存到数据库中, 爬到的数据一般表关系比较弱, 个人推荐使用NoSQL, 例如mongdb等. Selenium爬取动态网站 现在动态加载的网站越来越多了, 没办法, 很多时候就是等上自动化测试的内容. 利用Selenium可以实现和真实开启网站一样的效果, 真正达到无所不能爬的境界. 俗话说兴趣是最好的老师, 培养点兴趣比啥都重要, 我想如果对爬虫真的有兴趣的话, 这些都是不难的! 好的, Python爬虫基础方面的内容大概就介绍这些啦, 码文不易, 觉得不错的小伙伴给点个赞!

感谢分享

个人觉得文科生要学好，思维模式的改变很重要

CDA是真正做培训，教给学员有价值的知识

1.巩固数学和统计技能。一个好的数据分析师必须能够理解数据告诉你的内容，做到这一点，你必须有扎实的基本线性代数，对算法和统计技能的理解。在某些特定场合可能需要高等数学，但这是一个好的开始场合。 2.了解机器学习的概念。机器学习是下一个新兴词，却和大数据有着千丝万缕的联系。机器学习使用人工智能算法将数据转化为价值，并且无需显式编程。 3.学习代码。数据分析师必须知道如何调整代码，以便告诉计算机如何分析数据。从一个开放源码的语言如python那里开始吧。 4.了解数据库、数据池及分布式存储。数据存储在数据库、数据池或整个分布式网络中。以及如何建设这些数据的存储库取决于你如何访问、使用、并分析这些数据。如果当你建设你的数据存储时没有整体架构或者超前规划，那后续对你的影响将十分深远。 5.学习数据修改和数据清洗技术。数据修改是将原始数据到另一种更容易访问和分析的格式。数据清理有助于消除重复和“坏”数据。两者都是数据分析师工具箱中的必备工具。 6.了解良好的数据可视化和报告的基本知识。你不必成为一个平面设计师，但你确实需要深谙如何创建数据报告，便于外行的人比如你的经理或CEO可以理解。 7.添加更多的工具到您的工具箱。一旦你掌握了以上技巧，是时候扩大你的数据科学工具箱了，包括Hadoop、R语言和Spark。这些工具的使用经验和知识将让你处于大量数据科学求职者之上。 8.练习。在你在新的领域有一个工作之前，你如何练习成为数据分析师?使用开源代码开发一个你喜欢的项目、参加比赛、成为网络工作数据分析师、参加训练营、志愿者或实习生。最好的数据分析师在数据领域将拥有经验和直觉，能够展示自己的作品，以成为应聘者。 9.成为数据分析相关社区的一员。跟着同行业中的思想领袖，阅读行业博客和网站，参与，提出问题，并随时了解时事新闻和理论。