数据分析师主要做哪些方面

2023-06-15

数据分析师主要做哪些方面？ 一、数据收集 数据收集是数据分析的第一步，也是基础。数据分析师需要了解数据来源，确定收集数据的方法，并保证数据质量和数量。在工作中，数据分析师需要与数据工程师 ...

如何分析大规模数据？

2023-06-15

随着互联网和技术的发展，我们现在拥有了比以往任何时候都更多的数据。这些数据可以来自不同的来源，包括社交媒体、电子商务、科学实验室、医疗保健系统、政府机构等等。然而，只有通过分析和理解这些大规模数据，我 ...

如何处理大量的数据？

2023-06-15

大数据已经成为现代社会不可避免的一部分，无论是企业还是政府机构，都需要处理大量的数据以支持其运营和决策。处理大量的数据可以带来许多挑战，包括数据收集、存储、处理和分析等方面。在本文中，我们将探讨如何处 ...

requests模块的response.text与response.content有什么区别？

2023-04-25

requests模块是Python语言中一个用于发送HTTP请求的第三方库。该模块提供了丰富和易用的API，可让开发人员快速构建网络应用程序。在使用requests模块时，我们经常会遇到response.text和response.content两个方法，本 ...

scrapy 抓取的中文结果乱码，请问如何解决？

2023-04-10

抓取网页数据是现代网络爬虫的主要功能之一，然而在处理中文字符时常常会遇到乱码问题。本篇文章将介绍如何使用Scrapy框架抓取中文数据，并解决可能出现的乱码问题。 Scrapy是一个Python编写的开源网络爬虫框架，支 ...

scrapy在爬网页的时候是自动采用多线程的吗？

2023-04-07

Scrapy是一个用于Python编程语言的开源网络爬虫框架。在对网页进行抓取时，Scrapy会自动采用异步I/O和多线程技术，以提高爬取效率。在本文中，我们将就Scrapy的多线程实现进行详细介绍，并探讨其优缺点。 Scrapy使用 ...

scrapy-redis 和 scrapy 有什么区别？

2023-04-07

Scrapy和Scrapy-Redis是两个优秀的网络爬虫框架，其中Scrapy是Python中最受欢迎的爬虫框架之一，而Scrapy-Redis则是对Scrapy进行了扩展以支持分布式爬取。本文将详细介绍这两个框架的区别。 任务分配 Scrapy默认使 ...

怎么理解大数据分析师？

2023-04-07

大数据分析师是指能够利用大数据技术和工具，从海量、复杂、多样的数据中提取有价值的信息，为企业或组织提供数据支持和决策建议的专业人才。大数据分析师怎么理解，可以参考以下几个方面： ...

Python数据分析使用教程

2022-10-21

关于Python数据分析，其实网上能够找到的学习资源很多，主要分为两类： 一类是提供各种资源的推荐，比如书单、教程、以及学习的先后顺序； 另一类是提供具体的学习内容，知识点或实际案例。 但很多繁 ...

资深数据分析师来聊一聊数据挖掘

2022-10-19

一、数据挖掘的层次 一直想整理下对数据挖掘不同层次的理解，这也是这两年多的时间里面，和很多金融领域、互联网做数据相关工作的小伙伴，聊天交流的一些整理和归纳。大概可以分为四类。 (一)纯粹的数据 ...

常见的数据分析工具

2022-09-19

Step1：Excel学习掌握 所用的工具正是职场中最常用的Excel！ ①重点函数学习 重点是了解各种函数：Vlookup、sum，count，sumif，countif，find，if，left/right，时间日期函数、文本函数 ②数据透视 ...

难怪协程爬虫那么快，原来是因为

2022-08-10

作者：小K 来源：麦叔编程 ❝ Python三分钟第132篇让大家从协程爬虫和计算密集型和IO密集型两个主题中选取一个来讲解，很多小伙伴表示太难了。 小孩子才做选择，不能全要吗？ ❞ ...

学了协程之后，感觉有了无数个分身

2022-08-05

作者：小K 来源：麦叔编程 ❝ 上次的关于进程、线程和协程的文章，很多粉丝留言表示想看协程的实际案例。 ❞ ❝ 那么今天就来结合代码实际讲一个协程的实际应用。 ...

Python高效实现滑块验证码自动操纵

2022-02-17

CDA数据分析师 出品作者：CDALevel Ⅰ 持证人岗位：数据分析师 行业：大数据 众所周知，规范性的网络爬虫可以帮助Decision-maker在低成本下获得想要的信息，不仅如此，做科研、写论文、包括现在的 ...

教你对抓取的文本进行分词、词频统计、词云可视化和情感分析

2022-02-09

作者：Python进阶者 来源：Python爬虫与数据挖掘 前言 前几天有个叫【小明】的粉丝在问了一道关于Python处理文本可视化+语义分析的问题。 他要构建语料库，目前通过Python网络爬虫抓到的数据存在一个c ...

使用Python分析网易云歌曲评论信息，我发现了这些有趣的规律（CDA干货内容分享）

2022-01-14

来源：Python爬虫与数据挖掘 前几天有个学生娃子找我帮忙做点可视化的作业，作业内容包括采集网易云音乐热评评论内容，数据量1W作业足够，然后就是做点数据分析相关的工作即可。这份大作业里边有网络爬虫，有数 ...

盘点两种方法来判断一个列表里面，按关键词进行筛选，留下包含有关键词的论文题目

2022-01-13

作者：Python进阶者 来源：Python爬虫与数据挖掘 前言 前几天才哥群里有个粉丝提问，忘记是谁了，过去有段时间，当时没来得及截图，不知道谁问的了，不过题目当时记下来了，如下图所示。 看上去 ...

使用Python分析网易云歌曲评论信息，我发现了这些有趣的规律（CDA官网干货内容分享）

2022-01-11

来源：Python爬虫与数据挖掘 前几天有个学生娃子找我帮忙做点可视化的作业，作业内容包括采集网易云音乐热评评论内容，数据量1W作业足够，然后就是做点数据分析相关的工作即可。这份大作业里边有网络爬虫，有数 ...

手把手教你对文本文件进行分词、词频统计和可视化【CDA内容分享】

2021-12-06

今天CDA给大家分享的内容：手把手教你对文本文件进行分词、词频统计和可视化 作者： Python进阶者 来源：Python爬虫与数据挖掘 大家好！我是Python进阶者。 前言 前几天一个在校大学生问了一些 ...

我，一名国企数据人，决定在35岁开启自己的转型之路

2021-12-13

大家好，2017年我有幸成为CDA持证人，就此开启了自己数据人转型之路,一路学思维、学技术，并成为了我们公司数字化转型的推行负责人，以下是这几年工作中的一些思考。供同行参考，指正！ 思考一：企业为什么要 ...