大数据处理技术之数据清洗

2019-03-19

我们在做数据分析工作之前一定需要对数据进行观察并整理，这是因为挖掘出来的数据中含有很多无用的数据，这些数据不但消耗分析的时间，而且还会影响数据分析结果，所以我们需要对数据进行清洗。在这篇文 ...

数据清洗的方法有哪些？

2019-03-08

现如今，科技得到了空前发展，正是由于这个原因，很多科学技术得到大幅度的进步。就在最近的几年里，出现了很多的名词，比如大数据、物联网、云计算、人工智能等。其中大数据的热度是最高的，这是因为现 ...

数据分析中数据清洗对象有哪些？

2018-12-07

在数据分析中数据分析获取是一个非常重要的事情，为了保证数据分析出一个很好的结果，需要一个干净的数据，干净的数据能够提高数据分析的效率，所以，数据清洗是一个很重要的工作，通过数据的清洗，就能 ...

R语言中数据清洗、整理的方法

2018-07-19

R语言中数据清洗、整理的方法 数据的清理 如同列夫托尔斯泰所说的那样：“幸福的家庭都是相似的，不幸的家庭各有各的不幸”，糟糕的恶心的数据各有各的糟糕之处，好的数据集都是相似的。一份好的，干净而整洁的 ...

数据挖掘中常用的数据清洗方法

2018-03-01

数据挖掘中常用的数据清洗方法 对于数据挖掘来说，80%的工作都花在数据准备上面，而数据准备，80%的时间又花在数据清洗上，而数据清洗的工作，80%又花在选择若干种适当高效的方法上。用不同方法清洗的数据，对 ...

spss-数据清洗-处理重复数据

2018-01-08

spss-数据清洗-处理重复数据 数据导入之后就需要对数据进行清洗。数据清洗主要是对多余重复的数据筛选清除，将缺失的数据补充完整，将错误的数据纠正或者删除。接下来操作如何将重复数据处理操作。 ...

python数据清洗系列之字符串处理详解

2017-11-30

python数据清洗系列之字符串处理详解 数据清洗是一项复杂且繁琐(kubi)的工作，同时也是整个数据分析过程中最为重要的环节。有人说一个分析项目80%的时间都是在清洗数据，这听起来有些匪夷所思，但在实际的工作 ...

spss-数据清洗-处理重复数据

2017-03-03

spss-数据清洗-处理重复数据 数据导入之后就需要对数据进行清洗。数据清洗主要是对多余重复的数据筛选清除，将缺失的数据补充完整，将错误的数据纠正或者删除。接下来操作如何将重复数据处理操作。 步骤一： ...

使用R语言进行数据清洗

2016-12-05

使用R语言进行数据清洗 数据清洗是整个数据分析过程中一个非常重要的环节。数据清洗的目的有两个，第一是通过清洗让数据可用。第二是让数据变的更适合进行后续的分析工作。本篇文章将介绍几种简单的使用R进行数 ...

机器学习基础与实践之数据清洗！

2016-07-04

想写这个系列很久了，最近刚好项目结束了闲下来有点时间，于是决定把之前学过的东西做个总结。之前看过一些机器学习方面的书，每本书都各有侧重点，机器学习实战和集体智慧编程更偏向与实战，侧重于对每个算法的实际 ...

数据清洗经验分享：什么是数据清洗 如何做好数据清洗

2019-10-28

数据清洗经验分享：什么是数据清洗 如何做好数据清洗 大数据本身是一座金矿、一种资源，沉睡的资源是很难创造价值的，它必须经过清洗、分析、建模、可视化等过程加工处理之后，才真正产生价值。 数据加工、 ...

数据分析:数据清洗的一些梳理

2016-03-18

数据分析:数据清洗的一些梳理 数据清洗， 是整个数据分析过程中不可缺少的一个环节，其结果质量直接关系到模型效果和最终结论。在实际操作中，数据清洗通常会占据分析过程的50%—80%的时间。国外有些学术机构会 ...

数据分析师：数据清洗经验_数据分析师考试

2015-06-28

数据分析师：数据清洗经验_数据分析师考试 平时习惯了在某些特定的数据集合上做实验，简单的tokenization、预处理等步骤就足够了。但是在数据越来越大的年代，数据清洗越来越重要，也越来越复杂。看到Ph ...

机器学习中的数据清洗与特征处理综述_数据分析师考试

2015-06-28

机器学习中的数据清洗与特征处理综述_数据分析师考试 日常生活工作中，处处都会与数据打交道，但你知道数据是会“说谎”的，即你看到的数据结果并不是事实。本文介绍一些常见的说谎场景以及如何避免。 ...

机器学习中的数据清洗与特征处理综述

2015-06-03

机器学习中的数据清洗与特征处理综述 背景 随着美团交易规模的逐步增大，积累下来的业务数据和交易数据越来越多，这些数据是美团做为一个团购平台最宝贵的财富。通过对这些数据的分析和挖掘，不仅 ...

【CDA干货】LSTM预测结果波动：成因解析、影响评估与优化策略

2026-04-08

长短期记忆网络（LSTM）作为循环神经网络（RNN）的重要改进模型，凭借其独特的门控机制（遗忘门、输入门、输出门），有效解决了传统RNN在处理长序列数据时的梯度消失或梯度爆炸问题，已广泛应用于时间序列预测、自然 ...

【CDA干货】基于3σ原则的数据异常值处理：原理、实操与应用

2026-04-08

在数据分析全流程中，数据质量是决定分析结论可靠性的核心前提，而异常值作为数据集中的“异类”，往往会干扰统计检验、模型训练的结果，导致结论失真。无论是学术研究中的实验数据、企业运营中的业务数据，还是日常 ...

解析数据分析核心：从基础概念到CDA数据分析师的价值赋能

2026-04-08

在数字经济飞速发展的今天，数据已渗透到各行各业的核心场景，成为解读趋势、优化决策、创造价值的核心载体。而数据分析，作为挖掘数据价值的核心手段，早已从专业领域走向普及，成为企业发展和个人成长的必备能力。 ...

【CDA干货】Python数据处理与图形可视化：核心模块实操指南

2026-04-07

在数据分析全流程中，数据处理是基础，图形可视化是核心呈现手段——前者负责将杂乱无章的原始数据转化为干净、规范、可分析的格式，后者则将抽象的数据规律转化为直观、易懂的图形，两者相辅相成，共同支撑数据分析 ...

【CDA干货】数据分析实操：科学调整数据以减小p值的核心方法与逻辑

2026-04-07

在数据分析与统计推断中，p值是衡量假设检验结果显著性的核心指标，其本质是在原假设（通常为“无效应”“无差异”）成立的前提下，观察到当前样本数据或更极端结果的概率[2]。p值越小，说明数据与原假设的矛盾程度 ...