数据科学专业问答社区，好文章，一字千金--CDA答疑社区

热线电话：13121318867

登录

291294878

kafka的副本管理怎么解释？

每个broker可以划分为多个partition，partiton可以多于broker数，每个partition有多个副本。为了更好的做负载均衡，Kafka尽量将所有的Partition均匀分配到整个集群上。Kafka分配副本的算法如下：1）将所有Broker（假设共n个Broker）和待分配的Partition排序2）将第i个Partition分配到第（i mod n）个Bro

0.0000

0

0

0

关注作者

收藏

啊啊啊啊啊吖

使用mgcv包做面板数据的非参数广义可加模型的估计

R语言怎么使用mgcv包做面板数据的非参数广义可加模型的估计？ library(mgcv) set.seed(0) n

0.0000

0

3

0

关注作者

收藏

wangjuju123

SQL登录中常见的各类错误

一.233错误已成功与服务器建立连接，但是在登录过程中发生错误。(provider:命名管道提供程序，error:0-管道的另一端上无任何进程。)(MicrosoftSQL Server,错误:233) 1.打开“Microsoft SQL Server --配置工具--SQLServer 配置管理器” 2. "SQLServer 网络配置"--"MSSQLSERVER的协议

0.0000

0

1

0

关注作者

收藏

809669515

MySQL函数大全及用法示例

1、字符串函数ascii(str) 返回字符串str的第一个字符的ascii值(str是空串时返回0) mysql> select ascii('2'); 　　-> 50 mysql> select ascii(2); 　　-> 50 mysql> select ascii('dete'); 　　-> 100 ord(str) 如果字符串str句首是单字

5.7278

1

6

0

关注作者

收藏

809669515

MySQL Workbench常用快捷键及修改快捷键的方法

常用快捷键：1、执行整篇sql脚本：【Ctrl】【Shift】【Enter】2、执行当前行：【Ctrl】【Enter】3、注释/取消注释：【Ctrl】【/】4、格式化sql语句（美化sql语句）：【Ctrl】【B】 5、（貌似和输入法有冲突）自动补全：【Ctrl】【Space】，还可以使用edit->Auto-complete手动展示补全。如果有冲突可以去下面的文件找到Au

0.0000

0

0

0

关注作者

收藏

zxq997

中介效应检验方法有哪些？

检验中介效应是否存在，其实就是检验A到B，B到C的路径是否同时具有有显著性意义。为了讲解更有效率，我们以最简单的模型为例，进行说明，如下如所示，图中路径上的符号代表路径系数（回归系数）。做中介效应检验的方法目前有四种：逐步回归法；系数乘积检验法；差异系数检验法和Bootstrapping。严格意义上来说，它们的分析原理都是一致的，检验W2和W3路径是否同时有意义（通畅），区别在于判断有意

0.0000

1

2

0

关注作者

收藏

809669515

mysql常见错误代码解释

130 ：文件格式不正确。（还不是很清楚错误的状况）145 ：文件无法打开。 1005：MYSQL创建表失败 1006：MYSQL创建数据库失败 1007：MYSQL数据库已存在，创建数据库失败 1008：MYSQL数据库不存在，删除数据库失败 1009：MYSQL不能删除数据库文件导致删除数据库失败 1010：MYSQL不能删除数据

14.9302

1

1

0

关注作者

收藏

zxq997

因子分析的解析

鉴于主成分分析现实含义的解释缺陷，统计学斯皮尔曼又对主成分分析进行扩展。因子分析在提取公因子时，不仅注意变量之间是否相关，而且考虑相关关系的强弱，使得提取出来的公因子不仅起到降维的作用，而且能够被很好的解释。因子分析与主成分分析是包含与扩展的关系。首先解释包含关系。如下图所示，在SPSS软件“因子分析”模块的提取菜单中，提取公因子的方法很多，其中一种就是主成分。由此可见，主成分只是因子分析的一

0.0000

0

4

0

关注作者

收藏

809669515

mysql8.0窗口函数rank,dense_rank等区别

*RANK：跳跃排序DENSE_RANK：连续排序row_number：没有重复值的排序[记录相等也是不重复的]可以进行分页使用。案例：root@my3308.sock-8.0.11>[test]>select * from window_test; ------ -------- --------- ------- | id | name | subject | score

0.0000

0

3

0

关注作者

收藏

809669515

mysql8.0窗口函数rank,dense_rank等区别

*RANK：跳跃排序DENSE_RANK：连续排序row_number：没有重复值的排序[记录相等也是不重复的]可以进行分页使用。案例：root@my3308.sock-8.0.11>[test]>select * from window_test; ------ -------- --------- ------- | id | name | subject | score

0.0000

0

3

0

关注作者

收藏

zxq997

时间序列的平稳性

通俗介绍四种时间序列分析法之前，需要先回顾前面介绍的一个知识点，平稳时间序列和非平稳时间序列，AR/MA/ARMA用于分析平稳时间序列，ARIMA通过差分可以用于处理非平稳时间序列。平稳时间序列和非平稳时间序列如下面两幅图所示：左边的图是工业生产中的温度时间序列，它是围绕一个常数上下波动的，也就是计算时间序列所有数值的平均值，会等于这个常数。工业生产中对液面、压力、温度的控制过程；某地

0.0000

0

1

0

关注作者

收藏

zxq997

偏相关分析系数的解析。

在实际生活中，一个事物的变化往往会受到多个事物的影响，而非完全的二元相关关系，因此这就使得二元变量相关系数不能真真反映两个变量间的线性相关程度。那么当两个变量的取值受到其它变量影响时，可以利用偏相关分析对其它变量进行控制，以输出控制其它变量影响后的相关系数，这就是偏相关分析过程。偏相关分析就是在分析两个变量之间的线性相关关系时控制可能对其产生影响的变量，以便于使分析结果更准确可靠。偏相关分析

0.0000

0

0

0

关注作者

收藏

291294878

Hive如何进行采样

当数据量特别大时，对全体数据进行处理存在困难时，抽样就显得尤其重要了。抽样可以从被抽取的数据中估计和推断出整体的特性，是科学实验、质量检验、社会调查普遍采用的一种经济有效的工作和研究方法。Hive支持桶表抽样和块抽样，下面分别学习。桶表抽样所谓桶表指的是在创建表时使用CLUSTERED BY子句创建了桶的表。TABLESAMPLE子句允许用户编写用于数据抽样而不是整个表的查询，该子句出现F

0.0000

0

2

0

关注作者

收藏

291294878

处理离线数据的流程？

一般来说离线分析都是这个流程。各流程概述：1. 数据采集：定制开发采集程序，或使用开源框架FLUME2. 数据预处理：定制开发mapreduce程序运行于hadoop集群3. 数据仓库技术：基于hadoop之上的Hive4. 数据导出：基于hadoop的sqoop数据导入导出工具5. 数据可视化：定制开发web程序或使用kettle等产品6. 整个过程的流程调度：hadoop

35.1788

2

0

0

关注作者

收藏

291294878

Hbase的rowkey(行键)的设计原则？

owkey长度原则rowkey是一个二进制码流，可以是任意字符串，最大长度 64kb ，实际应用中一般为10-100bytes，以 byte[]形式保存，一般设计成定长。建议越短越好，不要超过16个字节，原因如下：1. 数据的持久化文件HFile中是按照KeyValue存储的，如果rowkey过长，比如超过100字节，1000w行数据，光rowkey就要占用100*1000w=10

0.0000

0

2

0

关注作者

收藏

291294878

Hbase和Hive的差别是什么？

Hbase和Hive在大数据架构中处在不同位置，Hbase主要解决实时数据查询问题，Hive主要解决数据处理和计算问题，一般是配合使用。一、区别：1.Hbase： Hadoop database 的简称，也就是基于Hadoop数据库，是一种NoSQL数据库，主要适用于海量明细数据（十亿、百亿）的随机实时查询，如日志明细、交易清单、轨迹行为等2.Hive：Hive是Hadoop数据仓库，严格来

35.8263

3

0

0

关注作者

收藏

291294878

Hive有哪几种文件格式，分别有什么特点？

TextFile：Hive默认格式，数据不做压缩，磁盘开销大，数据解析开销大。可结合Gzip、Bzip2、Snappy等使用（系统自动检查，执行查询时自动解压），但使用这种方式，hive不会对数据进行切分，从而无法对数据进行并行操作。SequenceFile：SequenceFile是Hadoop API 提供的一种二进制文件，它将数据以的形式序列化到文件中。这种二进制

0.0000

0

4

0

关注作者

收藏

291294878

Spark RDD、DataFrame和DataSet的区别

RDD优点:1. 编译时类型安全，编译时就能检查出类型错误2. 面向对象的编程风格，直接通过类名点的方式来操作数据缺点:1. 序列化和反序列化的性能开销，无论是集群间的通信, 还是IO操作都需要对对象的结构和数据进行序列化和反序列化.2. GC的性能开销，频繁的创建和销毁对象, 势必会增加GC DataFrameDataFrame引入了schema和off-heap• sche

0.0000

0

1

0

关注作者

收藏

291294878

数据库和数据仓库的区别？OLTP和OLAP的区别？

数据库（DataBase，DB）：数据库是计算机应用系统中的一种专门管理数据资源的系统。管理数据库的软件称为数据库管理系统（DataBase Management System，DBMS），如SYBASE、DB2、ORACLE、MySQL、ACCESS等。数据仓库（DataWareHouse，DWH）：是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。在数据库已经大量存在的情况下

0.0000

0

0

0

关注作者

收藏

291294878

怎么解释朴素贝叶斯分类？

公式： 1. 分类是指，根据一些给定的特征，对物品进行分类，或对行为进行预测，即求上式的最大值。2. 贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯公式为基础，故统称为贝叶斯分类。而朴素朴素贝叶斯分类是贝叶斯分类中最简单，也是常见的一种分类方法。3. 朴素一词的来源，是指假设各个特征之间相互独立。朴素贝叶斯的完整解释如下：假设某个体有n项特征（Feature），分别为F1、

0.0000

0

2

0

关注作者

收藏

<1…519520521…531>

CDA考试动态

CDA报考指南