使用pytorch时，训练集数据太多达到上千万张，Dataloader加载很慢怎么办?

2023-03-14

随着深度学习模型的日益复杂，训练集数据规模也越来越大。对于使用PyTorch进行训练的用户来说，一个常见的问题是当训练集数据量过大时，Dataloader加载速度变得很慢，这会显著影响模型的训练效率和性能。 那么当我 ...

数据分析之数据挖掘入门指南

2022-10-25

数据分析 探索性数据分析（Exploratory Data Analysis，EDA）是指对已有数据在尽量少的先验假设下通过作图、制表、方程拟合、计算特征量等手段探索数据的结构和规律的一种数据分析方法。 常用的第三方库 ...

数据分析师之数据挖掘入门

2022-10-19

数据分析 探索性数据分析（Exploratory Data Analysis，EDA）是指对已有数据在尽量少的先验假设下通过作图、制表、方程拟合、计算特征量等手段探索数据的结构和规律的一种数据分析方法。 常用的第三方库 ...

Hadoop招聘面试常见的问题和答案详解

2022-10-18

Q1.什么是 Hadoop? Hadoop 是一个开源软件框架，用于存储大量数据，并发处理/查询在具有多个商用硬件(即低成本硬件)节点的集群上的那些数据。总之，Hadoop 包括以下内容： HDFS(Hadoop Distributed File Sys ...

实战 | 如何用 Python 自动化监控文件夹完成服务部署

2022-07-06

作者：星安果 来源：AirPython 最近在部署前端项目的时候，需要先将前端项目压缩包通过堡垒机上传到应用服务器的 /tmp 目录下，然后进入应用服务器中，使用 mv 命令将压缩文件移动到 Nginx 项目设定目录，最 ...

5 分钟，使用内网穿透快速实现远程手机桌面

2022-06-01

来源：AirPython 大家好，我是安果！ 又比如你想远程管控儿童使用手机的内容，控制他们使用手机娱乐的时长 下面将聊聊远程控制手机的一种方案，供有需要的小伙伴参考 在操作之前，我们需要做如 ...

爬虫福音：GitHub 超火爆开源 IP 代理池

2022-04-12

作者：闲欢 来源：Python 技术 经常有粉丝在后台留言，问：大佬，运行你的爬虫程序怎么报错了？ 我让他把报错信息发过来，看过之后一声叹息。 大多数粉丝是直接拿着代码就开始运行，然后就是等待结果 ...

我从高效的数据科学家那里学到的15个习惯

2022-03-14

麦迪逊·亨特，地球科学学士学位本科生 当涉及到进入数据科学领域时，你需要使用书中的每一个技巧来给自己一个优势，推动你越过终点线。 那么，为什么不尝试效仿行业中最好的人的习惯呢？ 这篇 ...

超越回购：GitHub促进人工智能和机器学习领域的职业发展

2022-03-14

作者：PerceptiLabs联合创始人兼首席执行官马丁·伊萨克森。 长期以来，版本控制工具一直是信息工作者的主要工具，尤其是那些需要在代码库上存储和协作的地方，同时维护完整的更改历史的开发人员。 多年 ...

Mongodb数据库转换为表格文件的库

2022-03-10

作者：Python进阶者 来源：Python爬虫与数据挖掘 前言 大家好，我是吴老板。今天给大家分享一个可将Mongodb数据库里边的文件转换为表格文件的库，这个库是我自己开发的，有问题可以随时咨询我。 M ...

什么！竟然有人把图片从 1M 优化到 1024kb（CDA内容分享）

2022-01-12

来源：Python 技术 同时还声称，这样的工作看似简单，却蕴含着高技术含量，工程师连续两天两夜守在电脑前，终于攻下难关。 今天咱们就单纯来讨论下图像压缩这件事。 都知道，咱 Python 是有很多 ...

干货 | 数据分析实战案例——用户行为预测

2021-12-22

CDA数据分析师 出品 作者：CDA教研组 编辑：Mika 案例介绍 背景：以某大型电商平台的用户行为数据为数据集，使用大数据处理技术分析海量数据下的用户行为特征，并通过建立逻辑回归模型、随机森林 ...

2000字详解，当Pandas遇上超大规模的数据集该如何处理呢？（CDA内容分享）

2021-12-14

2000字详解，当Pandas遇上超大规模的数据集该如何处理呢？（cda干货分享）

2021-12-13

作者：俊欣 来源：关于数据分析与可视化 大家好，又是新的一周。大家一般会用Pandas模块来对数据集进行进一步的分析与挖掘关键信息，但是当我们遇到数据集特别特别大的时候，内存就会爆掉，今天小编就来分享 ...

矩阵分析法，做商业决策必备的经典分析思维

2021-11-26

众所周知，无论是一个国家还是一个企业，在制定决策策略的时候，都不会询问每一个人的意见，对于国家而言，通常会收集各行各业代表的意见；对于企业而言，则是会选择一些有代表性的人员来进行意见调研。 同 ...

实用 | 利用 aardio 配合 Python 快速开发桌面应用

2021-10-18

作者：星安果 1. 前言 我们都知道 Python 可以用来开发桌面应用，一旦功能开发完成，最后打包的可执行文件体积大，并且使用 Python 开发桌面应用周期相对较长 2. Aardio 介绍 它是一款免费的 ...

CDA Level Ⅲ 数据分析认证考试模拟题库

2021-10-11

嗨喽，各位同学又到了公布CDA数据分析师认证考试Level Ⅲ的模拟试题时间了，今天给大家带来的是模拟试题（一）中的91-95题。(材料题） 不过，在出题前，要公布上一期Level Ⅲ 中86-90题的答案，大家一起来看！ ...

CDA Level Ⅲ 数据分析认证考试模拟题库（第十六期）

2021-08-27

嗨喽，各位同学又到了公布CDA数据分析师认证考试Level Ⅲ的模拟试题时间了，今天给大家带来的是模拟试题（一）中的81-85题。(多选题） 不过，在出题前，要公布上一期Level Ⅲ 中76-80题的答案，大家一起来看！ ...

命运多舛的东京奥运会开幕在即，用可视化带你纵览120年奥运史

2021-07-19

CDA数据分析师 出品 作者：Mika 【导读】 今天带大家用数据可视化解读120 年奥运变迁史。 几经波折，东京奥运会终于即将迎来开幕的时刻，距离7月23日东京奥运会开幕只有不到一周的时间了。 这 ...

快看，教你怎么上班摸鱼

2021-07-14

来源：数据STUDIO 作者：云朵君 工作中，当你需要对某个文件夹或多个文件夹内的大量类似文件做相同操作（增删改查）时，你还在拼命加班做一个没有感情的工具人嘛？掌握以下几个操作，瞬间完成任务，然后你就 ...