大数据处理之道(预处理方法）

2018-02-28

大数据处理之道(预处理方法） 一：为什么要预处理数据？ （1）现实世界的数据是肮脏的（不完整，含噪声，不一致） （2）没有高质量的数据，就没有高质量的挖掘结果（高质量的决策必须依赖于高 ...

【上海数道信息科技有限公司】招聘数据分析师

2018-01-23

【上海数道信息科技有限公司】招聘数据分析师 上海数道信息科技有限公司成立于2014年，公司位于浦东张江高科技园区。我们是一群来自于中科院、IBM、SPSS、SKF、TalkingData组成的工业大数据专业团队，专注于工业互联 ...

数据挖掘总结之主成分分析与因子分析

2018-01-12

数据挖掘总结之主成分分析与因子分析 主成分分析与因子分析 1）概念： 主成分分析概念：主成分分析是把原来多个变量划为少数几个综合指标的一种统计分析方法。主成分分析（PCA）是一种数据降维技巧，它能 ...

数据分析工作的思考与总结

2017-12-24

数据分析工作的思考与总结 1.什么是数据分析? 基于现有的业务知识和统计学基础知识及基本思想的理解与掌握，通过数据库及统计分析工具对数据的调取与处理、分析，达到对现有问题or主题的探索与剖析，最终 ...

【川北真空科技(北京)有限公司】招聘数据分析师

2017-12-23

【川北真空科技(北京)有限公司】招聘数据分析师 CBVAC品牌创立于2002年。产业隶属于真空行业，是专业从事真空产品研发、设计、生产、销售和服务的综合性高新技术企业。成功研制中国第一台涡旋干式真空泵、中国第一台 ...

数据挖掘笔记-聚类-Canopy-原理与简单实现

2017-12-10

数据挖掘笔记-聚类-Canopy-原理与简单实现 Canopy聚类算法是一个将对象分组到类的简单、快速、精确地方法。每个对象用多维特征空间里的一个点来表示。这个算法使用一个快速近似距离度量和两个距离阈值 T1>T2来 ...

数据分析中非常实用的自编函数和代码模块整理

2017-12-04

数据分析中非常实用的自编函数和代码模块整理 搞了接近四个周的模型开发工作，今天整理代码文件，评分卡模型基本告一段落了。那么在模型开发或者是我们日常的数据分析工作中，根据我们具体的业务需求，经常会重 ...

缺失数据处理-插值法

2017-12-04

缺失数据处理-插值法 在数据挖掘中，原始海量的数据中存在着大量不完整、不一致、有异常、偏离点的数据。这些问题数据轻则影响数据挖掘执行效率，重则影响执行结果。因此数据预处理工作必不可少，而其中常见工 ...

数据分析中的缺失值处理

2017-12-01

数据分析中的缺失值处理 没有高质量的数据，就没有高质量的数据挖掘结果，数据值缺失是数据分析中经常遇到的问题之一。当缺失比例很小时，可直接对缺失记录进行舍弃或进行手工处理。但在实际数据中，往往 ...

数据探索之缺失值处理及代码实现

2017-11-30

数据探索之缺失值处理及代码实现 在数据挖掘中，前期数据预处理，会涉及到很多缺失值的处理问题。 现以python代码实现为例，看如何具体处理的。 所需python包 from pandas import Series, DataFrame import pan ...

【长沙合珏信息科技有限公司】招聘数据分析师

2017-11-24

【长沙合珏信息科技有限公司】招聘数据分析师 长沙合珏信息科技有限公司成立于2014年3月,注册资金2000万元。公司主要业务涵盖软件开发、软件技术服务、信息系统集成服务、信息技术咨询服务；网络集成系统建设、维护 ...

经典大数据问题分析

2017-11-11

经典大数据问题分析 第一部分、十道海量数据处理面试题 1、海量日志数据，提取出某日访问百度次数最多的那个IP。 此题，在我之前的一篇文章算法里头有所提到，当时给出的方案是：IP的数目还是有限的，最 ...

大数据:电信行业的战略方向

2017-10-19

大数据:电信行业的战略方向 随着IT和通信技术全面融入社会生活，每天产生的海量数据中蕴藏了巨大价值，数据正在成为企业的战略资产。从海量数据中获得新的认知、方法，从而创造新的价值，是各行业，尤其是 ...

【李宁（中国）体育用品有限公司】招聘数据分析师

2017-08-27

【李宁（中国）体育用品有限公司】招聘数据分析师 　李宁（中国）体育用品有限公司是国内著名的体育运动装备提供商，同时，李宁品牌也越来越受到国际市场的关注。李宁公司成立至今，历经20年发展，已经成为一个多品 ...

大数据的产业链分析

2017-08-13

大数据的产业链分析 大数据的产业链分析大数据完整的产业链构成如下图所示，可分为标准与规范、数据安全、数据采集、数据存储与管理、数据分析与挖掘、数据运维以及数据应用几个环节，覆盖了数据从产生到应用的 ...

数据挖掘案例—ReliefF和K-means算法的医学应用

2017-07-13

数据挖掘案例—ReliefF和K-means算法的医学应用 数据挖掘方法的提出，让人们有能力最终认识数据的真正价值，即蕴藏在数据中的信息和知识。数据挖掘 (DataMiriing)，指的是从大型数据库或数据仓库中提取人 ...

R语言字符串的处理（解析+案例）

2017-07-10

R语言字符串的处理（解析+案例） 数据分析师的日常工作就是数据预处理，数据预处理最经常遇到的问题就是字符串的处理，这部分很难，我以前看过一些R的书和一些技术博客，现在依旧发现有些细节做不好，下面我就 ...

【上海洪朴信息科技有限公司】招聘数据分析师

2017-07-08

【上海洪朴信息科技有限公司】招聘数据分析师 上海洪朴信息科技有限公司，由大数据领域中有丰富工作经验的归国博士、教授、技术专家组建而成，是专业从事大数据分析和应用的创新型公司。公司正在处于发展上升期，为 ...

工业大数据技术的潜力和前景

2017-05-23

工业大数据技术的潜力和前景 数据是工业互联网的核心，即通过工业数据全周期的感知、采集和集成应用，形成基于数据的系统性智能，实现机器弹性生产、运营管理优化、生产协同组织与商业模式创新，推动工业智能 ...

做好数据挖掘模型必读的9条高端经验总结

2017-05-19

做好数据挖掘模型必读的9条高端经验总结 数据挖掘是利用业务知识从数据中发现和解释知识(或称为模式)的过程，这种知识是以自然或者人工形式创造的新知识。 当前的数据挖掘形式，是在20世纪90年代实践领 ...