数据科学专业问答社区，好文章，一字千金--CDA答疑社区

热线电话：13121318867

登录

291294878

HDFS读写数据的过程有哪些？

读：1、跟namenode通信查询元数据，找到文件块所在的datanode服务器2、挑选一台datanode（就近原则，然后随机）服务器，请求建立socket流3、datanode开始发送数据（从磁盘里面读取数据放入流，以packet为单位来做校验）4、客户端以packet为单位接收，现在本地缓存，然后写入目标文件写：1、根namenode通信请求上传文件，namenode检

0.0000

0

0

0

关注作者

收藏

wangjuju123

python错误解析（三）

代码如下:>>> seq = [1, 2, 3, 4] >>> sep = ' ' >>> sep.join(seq) Traceback (most recent call last): File "", line 1, in sep.join(seq) TypeError: sequence item 0:

0.0000

0

1

0

关注作者

收藏

809669515

使用python创建RFM模型

RFM是客户分析及衡量客户价值的重要模型之一，其中的R表示最近一次消费(Recency)，F表示消费频率(Frequency)，M表示消费金额(Monetary)。依据这三个指标RFM可以将客户动态分组，并进一步指导客户运营的下一步工作。本篇文章使用python的聚类算法创建一个粗糙的RFM模型。 1. 开始前的准备工作首先是开始前的准备工作，这里除了常用的numpy和pandas以外，

96.2725

3

1

0

关注作者

收藏

809669515

RFM模型分析

会员的价值体现在持续不断的为企业带来稳定的销售和利润，同时也为企业策略的制定提供数据支持。所以零售企业总是想尽一切办法去吸引更多的人成为会员，并且尽可能提高他们的忠诚度。忠诚度高的顾客表现为经常光顾购买，有较高的价格忍耐度，愿意支付更高的价格，也愿意向其他人推荐，对品牌满意度较高等。会员忠诚度高不一定会员价值就高，还得看他的实际消费金额，也就是消费力。忠诚度高、消费力强的顾客才是企业最优质的会员顾

0.0000

0

2

0

关注作者

收藏

809669515

划分训练集、测试集的三种方法

一、为什么要分开训练集与测试集在机器学习中，我们是依靠对学习器的泛化误差进行评估的方法来选择学习器。具体方法如下：我们需要从训练集数据中产出学习器，再用测试集来测试所得学习器对新样本的判别能力，以测试集上的测试误差作为泛化误差的近似，来选取学习器。通常我们假设训练集、测试集都是从样本集中独立同分布采样得到，且测试集、训练集中的样本应该尽可能互斥（测试集中的样本尽量不在训练集中有出现、尽量不

0.0000

0

1

0

关注作者

收藏

wangjuju123

常见的聚类算法

1. K-Means(K均值)聚类算法步骤： (1) 首先我们选择一些类/组，并随机初始化它们各自的中心点。中心点是与每个数据点向量长度相同的位置。这需要我们提前预知类的数量(即中心点的数量)。 (2) 计算每个数据点到中心点的距离，数据点距离哪个中心点最近就划分到哪一类中。 (3) 计算每一类中中心点作为新的中心点。 (4) 重复以上步骤，直到每一类中心在每次迭代后变化不大为止。也可

57.9135

1

1

0

关注作者

收藏

809669515

机器学习中训练集，验证集，测试集比例配比

当数据量比较小时，可以使用 7 ：3 训练数据和测试数据(西瓜书中描述常见的做法是将大约 2/3 ~ 4/5 的样本数据用于训练，剩余样本用于测试）或者 6： 2 : 2 训练数据，验证数据和测试数据当数据量非常大时，可以使用 98 : 1 : 1 训练数据，验证数据和测试数据传统机器学习阶段（数据集在万这个数量级），一般分配比例为6：2：2而大数据时代，这个比例就不太适用

57.9135

1

0

0

关注作者

收藏

wangjuju123

忘记数据库密码怎么办？？

一、问题描述很多用户在安装mysql数据库时会忽略一个初使密码的弹窗或者设置了后面许久不用会忘记，从而在后面使用时需要密码又不记得时大部分人会选择重装。这里有一个不需要重装就可以重置密码的方法。二、方法描述在windows中 1、以系统管理员身份运行cmd 2、停止mysqlnet stop mysql.3、切换到MySQL安装路径下：D:\WAMP\MySQL-5.6.36\bin

57.9135

1

1

0

关注作者

收藏

kejiayuan0806

MySQL限制查询LIMIT的使用

LIMIT 子句可以被用于强制 SELECT 语句返回指定的记录数。语法：SELECT columns FROM table LIMIT [offset,] rows | rows OFFSET offset;LIMIT 接受一个或两个数字参数。参数必须是一个整数常量。1、第一个参数指定第一个返回记录行的偏移量2、第二个参数指定返回记录行的最大数目3、如果只给定一个参数，表示返回最大的

57.9135

1

2

0

关注作者

收藏

kejiayuan0806

MySQL中UNION联合查询

UNION联合查询要求1、由两条或两条以上SELECT语句组成，语句之间用UNION操作符分隔。2、每条SELECT语句必须包含相同的字段、表达式或聚集函数,各个字段不需要以相同的次序列出。3、字段的数据类型必须兼容：类型不必完全相同，但必须是DBMS可以隐含转换的类型，如不同的数值类型或不同的日期类型。 UNION操作符合并的结果集不会允许重复值，如果需要保留重复值，可以使用UNIO

57.9135

1

4

0

关注作者

收藏

kejiayuan0806

如何处理分类中的训练数据集不均衡问题

什么是数据不均衡？在分类中，训练数据不均衡是指不同类别下的样本数目相差巨大。举两个例子：①在一个二分类问题中，训练集中class 1的样本数比上class 2的样本数的比值为60:1。使用逻辑回归进行分类，最后结果是其忽略了class 2，将所有的训练样本都分类为class 1。②在三分类问题中，三个类别分别为A，B，C，训练集中A类的样本占70%，B类的样本占25%，C类的样本占5%。最

0.0000

0

2

0

关注作者

收藏

291294878

spark集群运算的模式？

Spark 有很多种模式，最简单就是单机本地模式，还有单机伪分布式模式，复杂的则运行在集群中，目前能很好的运行在 Yarn和 Mesos 中，当然 Spark 还有自带的 Standalone 模式，对于大多数情况 Standalone 模式就足够了，如果企业已经有 Yarn 或者 Mesos 环境，也是很方便部署的。standalone(集群模式)：典型的Mater/slave模式，不过也能

0.0000

0

6

0

关注作者

收藏

291294878

什么是Hadoop？

Hadoop是一个开源软件框架，用于存储大量数据，并发处理/查询在具有多个商用硬件（即低成本硬件）节点的集群上的那些数据。总之，Hadoop包括以下内容：　　HDFS（Hadoop Distributed File System，Hadoop分布式文件系统）：HDFS允许你以一种分布式和冗余的方式存储大量数据。例如，1 GB（即1024 MB）文本文件可以拆分为16 * 128MB文件，并存储在

0.0000

0

0

0

关注作者

收藏

啊啊啊啊啊吖

R中randomforest变种列表

randomForest 原创者 Leo Breiman原创性论文集，及R中randomForest变种列表很多人，用完randomForest ,觉得它很多不可思议的地方，因此想着改善。但是，没有成功的，大量所谓改善的"randomforest"变种，至今没有一个能超越Leo Breiman 原创！！！要用好randomForest ，请读读Leo Breiman的原创性论文，任

0.0000

0

1

0

关注作者

收藏

啊啊啊啊啊吖

很详细的饼图/扇形图学习技术贴，R来实现

pie(x, labels = names(x), edges = 200, radius = 0.8, clockwise = FALSE, init.angle = if(clockwise) 90 else 0, density = NULL, angle = 45, col = NULL, border = NULL, lty = NULL, main = NULL, .

0.0000

0

1

0

关注作者

收藏

PGC123

安装graphviz配置环境变量失败

在环境变量path里加入：C:\Program Files (x86)\Graphviz2.38\bin;失败。常见原因有两个：1、路径中包含了特殊字符导致了环境变量全部（或部分）失效，测试方法使用命令 echo %path%来查看一下在环境变量中配置的path有哪些生效（只要输出的部分就是生效的部分）。2、如果路径保存不了有可能是因为系统安全软件阻止了此次修改，解决方法：关掉所有杀毒软件，再

0.0000

0

3

0

关注作者

收藏

291294878

分类任务解决流程有哪些（分类算法）？

1. 任务：以新闻分类为例2. 特征表示：X={昨日，是，国内，投资，市场……}3. 特征选择：X={国内，投资，市场……}4. 模型选择：朴素贝叶斯分类器 • P(X)：待分类对象自身的概率，可忽略• P(yi)：每个类别的先验概率，如P(军事)• P(X|yi)：每个类别产生该对象的概率• P(xi|yi)：每个类别产生该特征的概率，如P(苹果|科技) 5. 训练数据准备

0.0000

0

1

0

关注作者

收藏

kejiayuan0806

主成分分析和因子分析区别与联系

主成分分析（Principal components analysis，PCA）基本原理：利用降维（线性变换)的思想，在损失很少信息的前提下把多个指标转化为几个不相关的综合指标（主成分)，即每个主成分都是原始变量的线性组合，且各个主成分之间互不相关，使得主成分比原始变量具有某些更优越的性能（主成分必须保留原始变量90%以上的信息），从而达到简化系统结构，抓住问题实质的目的。因子分析（Factor

761.1603

13

3

0

关注作者

收藏

291294878

聚类算法基础知识有哪些？

1. 层次聚类 vs 非层次聚类– 不同类之间有无包含关系2. 硬聚类 vs 软聚类– 硬聚类：每个对象只属于一个类– 软聚类：每个对象以某个概率属于每个类3. 用向量表示对象– 每个对象用一个向量表示，可以视为高维空间的一个点– 所有对象形成数据空间（矩阵）– 相似度计算：Cosine、点积、质心距离4. 用矩阵列出对象之间的距离、相似度 5. 用字典保存上述矩阵（节省空

0.0000

0

2

0

关注作者

收藏

291294878

spark的七个参数分别是什么？

• num-executors：该作业总共需要多少executor进程执行建议：每个作业运行一般设置5-~100个左右较合适 • executor-memory：设置每个executor进程的内存， num-executors* executor-memory代表作业申请的总内存量（尽量不要超过最大总内存的1/3~1/2）建议：设置4G~8G较合适

0.0000

0

2

0

关注作者

收藏

<1…393394395…404>

CDA考试动态

CDA报考指南