京公网安备 11010802034615号
经营许可证编号:京B2-20210330
作者:小K
来源:麦叔编程
❝
Python三分钟第132篇让大家从协程爬虫和计算密集型和IO密集型两个主题中选取一个来讲解,很多小伙伴表示太难了。
小孩子才做选择,不能全要吗?
❞
感谢大家的支持,今天的Python三分钟给大家介绍下计算密集型和IO密集型。
这个知识比较偏硬件,如果掌握这两个知识点,相信大家在异步、并发、并行编程会有更大的进步。
❝
今天的文章也不会出现任何代码,也适合不会Python的同学食用。
❞
CPU密集型也叫计算密集型,这部分工作基本上都是都是CPU完成的。
例如用电脑计算1亿个数的平均数。
CPU密集表示某任务有着大量的运算且没有阻塞(休息时间),CPU始终全速运行。
最直观的体现形式是任务开启后,CPU温度将急剧上升,散热风扇运转速度也会变快。
与CPU密集型不同,IO密集型工作基本是由磁盘等储存设备完成的。
IO是输入、输出的缩写(Input、Output)。
像我们用U盘往电脑拷贝大型文件,那是最经典的IO密集型任务。
这个问题不太好回答,要从实际情况进行分析,如果爬虫需要突破对方服务器的安全措施(反爬),可能也会涉及大量的解密计算。
这样的爬虫应该要被分到CPU密集型任务里去的。
如果就像上篇文章中的协程爬虫那样,只是负责发送请求和接收请求,CPU参与度不高。
这样的爬虫应该要被分到IO密集型任务里去的。
但是协程爬虫存在大量的计算任务,那。。。。。没啥必要用协程了。
❝
如果Baidu的服务器响应速度能再快一点,我相信我们的协程爬虫速度也会更快一点。
❞
说到计算密集型就不得不提Python的GIL(全局解释器锁)。
因为GIL的存在,CPython解释器只能运行在一个进程之中,CPython没有真正的多进程,所以硬件上CPU核心再怎么多也没什么用,CPython只能用到一个核。
计算密集型是CPython的软肋。
但是CPython在处理IO密集型任务还是非常棒的,尤其引入了协程之后。
如果你对GIL的概念一知半解,请留言GIL,我将会专门开一期对其讲解。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在企业数字化运营、业务流程管理与精细化管控体系中,流程运营是串联各项业务环节、保障工作落地、提升运转效率的核心载体。无论 ...
2026-09-16在数据分析与统计学研究中,卡方检验是分析分类变量关联性与差异性的重要方法,广泛应用于市场调研、行为统计、社会调查、商业数 ...
2026-09-16 很多数据分析师每天盯着GMV、DAU、转化率,但当被问到“什么是指标”“指标和维度有什么区别”“如何定义指标值的计算规则和 ...
2026-09-16CDA数据分析师 出品 作者:李诗怡 定义: 用户增长核心分析框架,刻画用户从接触产品到自发推荐的全生命周期,五个递进环节构建 ...
2026-09-15在数字化营销与精细化用户运营时代,企业传统的广撒网式营销模式成本高、转化率低,已无法适配精准商业竞争需求。客户画像作为大 ...
2026-09-15 很多数据分析师精通描述性统计,能熟练计算均值、中位数、标准差,但当被问到“用500个样本如何推断10万用户的真实满意度” ...
2026-09-15在MySQL数据库数据查询与数据分析中,GROUP BY与ORDER BY是使用频率极高的核心关键字。二者语法结构相似,常搭配使用,但核心功 ...
2026-09-14随着数字化治理、智慧运营、数字孪生技术的普及,数字体征成为衡量业务状态、系统运行、城市治理与企业经营健康度的核心体系。数 ...
2026-09-14 很多数据分析师沉迷于复杂的模型和算法,却忽略了数据分析的一项基础能力——描述性统计。事实上,大量商业分析问题,用描述 ...
2026-09-14在MySQL数据库运维与开发实践中,经常出现一种典型现象:数据库实际存储的数据量很小,数据表条数少、文件体积低,但服务器整体 ...
2026-09-11 很多数据分析师能熟练计算均值、标准差,但当被问到“总体和样本有什么区别”“参数和统计量有什么关系”“数据级别的高低如 ...
2026-09-11CDA数据分析师 出品 作者:李诗怡 定义: 将同一时间段内因具备相同属性或共同经历的用户划分为群体,分析其留存与生命周期价值 ...
2026-09-11在零售、商超、餐饮、线下门店等实体商业运营中,客流与销售额是衡量门店经营状态的两大核心指标。销售额是门店经营的最终结果, ...
2026-09-10在数据可视化体系中,柱形图是最基础、应用最广泛的图表类型,其中**累计柱形图(堆积柱状图)**是兼顾整体总量与内部结构的核心 ...
2026-09-10 许多数据分析师精通Excel函数和SQL查询,但当面对一张上万行的销售明细表,要快速回答“哪个地区销量最高”“哪款产品增长最 ...
2026-09-10在Python Pandas数据分析中,DataFrame是承载结构化数据的核心载体,数据清洗、数据修正、条件赋值、字段更新等实操场景,都离不 ...
2026-09-09 很多数据分析师掌握了Excel函数、会写SQL查询,但当被问到“数据从哪里来”“数据加工有哪些步骤”“如何使用分析工具连接数 ...
2026-09-09卡方检验(Chi-Square Test)是统计学中针对分类数据的经典显著性检验方法,核心用于判断两个离散分类变量是否相互独立、数据实 ...
2026-09-09CDA数据分析师 出品 作者:李诗怡 1. 销售漏斗阶段判断 题目:销售漏斗模型中,通过广告、社交媒体等方式触达品牌信息(如浏览品 ...
2026-09-07在Python数据分析中,Pandas库的DataFrame是最核心、最常用的结构化数据表对象,类似于Excel的二维表格,具备规整的行列结构、字 ...
2026-09-07