对于Python的框架中一些会话程序的管理

2017-10-14

对于Python的框架中一些会话程序的管理 Django, Bottle, Flask,等所有的python web框架都需要配置一个SECRET_KEY。文档通常推荐我们使用随机的值，但我很难发现他有任何文字说明，因为这样容易被破解(本地攻击 ...

我用 Python 爬取了全国 4500 个热门景点，告诉你国庆哪里去不得？

2017-09-21

我用 Python 爬取了全国 4500 个热门景点，告诉你国庆哪里去不得？ 金秋九月，丹桂飘香，在这秋高气爽，阳光灿烂的收获季节里，我们送走了一个个暑假余额耗尽哭着走向校园的孩子们，又即将迎来一年一度伟大祖 ...

我用Python爬了上市公司财务报表，跟巴菲特学习如何炒股

2017-09-08

我用Python爬了上市公司财务报表，跟巴菲特学习如何炒股 沃伦·巴菲特( Warren Buffett)，全球著名的投资商。从事股票、电子现货、基金行业。在 2017 年 7 月 17 日，《福布斯富豪榜》发布，沃伦·巴菲特以净资 ...

Python多线程、异步＋多进程爬虫实现代码

2017-09-01

Python多线程、异步＋多进程爬虫实现代码 这篇文章主要介绍了Python多线程、异步＋多进程爬虫实现代码,需要的朋友可以参考下 安装Tornado 省事点可以直接用grequests库，下面用的是tornado的异步client。 异 ...

Python的Django REST框架中的序列化及请求和返回

2017-08-29

Python的Django REST框架中的序列化及请求和返回 序列化Serialization 1. 设置一个新的环境 在我们开始之前， 我们首先使用virtualenv要创建一个新的虚拟环境，以使我们的配置和我们的其他项目配置彻底分开。&n ...

深入浅析python中的多进程、多线程、协程

2017-08-25

深入浅析python中的多进程、多线程、协程 我们都知道计算机是由硬件和软件组成的。硬件中的CPU是计算机的核心，它承担计算机的所有任务。 操作系统是运行在硬件之上的软件，是计算机的管理者，它负责资源的管 ...

python构建自定义回调函数详解

2017-08-20

python构建自定义回调函数详解 在工作中，回调函数使用的场景是非常多的，下面我们就来通过例子程序来详细了解利用了Python的属性机制构建了一个自定义回调函数的使用 回调函数用起来比较爽。特别是在js ...

浅析Python中的多进程与多线程的使用

2017-08-10

浅析Python中的多进程与多线程的使用 在批评Python的讨论中，常常说起Python多线程是多么的难用。还有人对 global interpreter lock(也被亲切的称为“GIL”)指指点点，说它阻碍了Python的多线程程序同时运行。 ...

【渤天(上海)电子商务有限公司】招聘数据分析师

2017-08-08

【渤天(上海)电子商务有限公司】招聘数据分析师 在华美资独资公司：专业致力于汽车行业与公共关系服务的美资跨国集团，在全球12个国家24个地区(北美区 ,欧洲区, 亚太区)开展战略合作伙伴业务。Percepta成立于2000年 ...

python解决网站的反爬虫策略总结

2017-07-27

python解决网站的反爬虫策略总结 本文详细介绍了网站的反爬虫策略，在这里把我写爬虫以来遇到的各种反爬虫策略和应对的方法总结一下。 从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。这里我们只 ...

用python抓取摩拜单车API数据并做可视化分析

2017-05-16

摩拜是最早进入成都的共享单车，每天我从地铁站下来的时候，在 APP 中能看到很多单车，但走到那里的时候，才发现车并不在那里。有些车不知道藏到了哪里；有些车或许是在高楼的后面，由于有 GPS 的误差而找不到了；有 ...

大数据时代,这项收集数据的技能不可少

2017-04-14

大数据时代,这项收集数据的技能不可少 大数据是未来的“新石油”。《人类简史：从动物到上帝》的作者尤瓦尔·赫拉利说：大数据将是人类自由意志的终结，数据主义将取代以往的宗教和人文主义，成为未来的信仰。 ...

SAS—freq、means过程

2017-04-02

SAS—freq、means过程 SAS—freq、means过程　proc means过程 means过程是SAS提供的一个数据汇总过程，单个或多个变量的简单的描述性统计分析。 means过程语法： proc means <data = 数据集名><选项> ...

大数据时代，这项收集数据的技能不可少

2017-01-23

大数据时代，这项收集数据的技能不可少 大数据是未来的“新石油”。《人类简史：从动物到上帝》的作者尤瓦尔·赫拉利说：大数据将是人类自由意志的终结，数据主义将取代以往的宗教和人文主义，成为未来的信仰。 ...

从零开始学数据分析，新手教程攻略

2016-10-14

从零开始学数据分析，新手教程攻略 所有从底层数据工作者往上发展的基本路径： 1. 第一阶段(一般岗位叫数据专员) 基本学会excel(VBA最好学会;会做透视表;熟练用筛选、排序、公式)，做好PPT。这样很多传统 ...

从零开始学数据分析，什么程度可以找工作？

2016-07-19

从零开始学数据分析，什么程度可以找工作？ 基本答一下吧，但是不是很准确，只了解大致情况（杭州），带有某种行业自黑。 一、第一阶段（一般岗位叫数据专员） 基本学会excel（VBA最好学会；会做透视表； ...

从零学数据分析，什么程度可以找工作？

2016-07-13

基本答一下吧，但是不是很准确，只了解大致情况（杭州），带有某种行业自黑。 丨一、第一阶段（一般岗位叫数据专员） 基本学会excel（VBA最好学会；会做透视表；熟练用筛选、排序、公式），做好PPT。这样很多传统 ...

数据挖掘有哪些工作流程？

2016-05-27

数据挖掘有哪些工作流程？ 数据挖掘工作流程： 一、收集数据 收集数据一般是补充外部数据，包括采用爬虫和接口，获取，补充目前数据不足部分。Python scrapy,requests是很好的工具。 二、准备数据 ...

Python 爬虫的工具列表

2016-03-26

Python 爬虫的工具列表 这个列表包含与网页抓取和数据处理的Python库 网络 通用 urllib -网络库(stdlib)。 ...

网站常见的反爬虫及其应对方法

2016-02-03

来源 | BSDR 常见的反爬虫 这几天在爬一个网站，网站做了很多反爬虫工作，爬起来有些艰难，花了一些时间才绕过反爬虫。在这里把我写爬虫以来遇到的各种反爬虫策略和应对的方法总结一下。 从功能上来讲， ...