大数据-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

PGC123

聚类算法有哪些？特点是什么？

聚类算法有哪些？特点是什么？答：常见的聚类算法有 K-means聚类算法、层次聚类算法、SOM聚类算法、FCM聚类算法。四种聚类算法中，在运行时间及准确度方面综合考虑，k-means和FCM相对优于其他。但是，各个算法还是存在固定缺点：k-means聚类算法的初始点选择不稳定，是随机选取的，这就引起聚类结果的不稳定，本实验中虽是经过多次实验取的平均值，但是具体初始点的选择方法还需进一步研

0.0000

0

0

0

关注作者

收藏

PGC123

订单量下降什么因素影响？

订单量下降会有什么因素影响？答：这种问题需要基于对业务的理解。内部原因：经营问题，设计问题；外部原因：天气原因，整个大环境影响，其他竞争对手采取行动等

0.0000

0

4

0

关注作者

收藏

PGC123

如何判断一个模型的好坏？

如何判断一个模型的好坏？答：一个模型的好坏主要从如下方面判断：1。是否具备清晰的概念、足够的准确性2。计算效率与表现形式3。可移植性（推广应用价值）4。易用性

0.0000

0

6

0

关注作者

收藏

PGC123

老师面试题看看怎么做，题一

老师面试题看看怎么做，题一一个统计总体（）A、只能有一个标志 B、只能有一个指标、C、可以有多个标志 D、可以有多个指标答：选D因为一个总体是可以有多个指标的，比如方差，均值等。

0.0000

0

2

0

关注作者

收藏

PGC123

Spark Streaming 和kafka整合后读取消息

问题：Spark Streaming 和kafka整合后读取消息报错：OffsetOutOfRangeException解决方案：如果和kafka消息中间件结合使用，请检查消息体是否大于默认设置1m，如果大于，则需要设置fetch.message.max.bytes=1m，这里需要把值设置大些

100.0000

1

1

0

关注作者

收藏

PGC123

问题：ERROR XSDB6: Another instance of Derby may have already booted the database /home/bdata/data/metastore_db.在使用Hive on Spark模式操作hive里面的数据时，报以上错误，原因是因为HIVE采用了derby这个内嵌数据库作为数据库，它不支持多用户同时访问,解决办法就是把derb

22.5489

1

2

0

关注作者

收藏

PGC123

spark-shell 找不到hadoop so问题解决

问题：spark-shell 找不到hadoop so问题解决[main] WARN org.apache.hadoop.util.NativeCodeLoader - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable在Spark的con

100.0000

1

3

0

关注作者

收藏

PGC123

Spark在发布应用的时候，出现连接不上master问题

问题：Spark在发布应用的时候，出现连接不上master问题，如下15/11/19 11:35:50 INFO AppClient$ClientEndpoint: Connecting to master spark://s1:7077...15/11/19 11:35:50 WARN ReliableDeliverySupervisor: Association with remote s

22.5489

1

2

0

关注作者

收藏

PGC123

spark-shell提交应用如何解决依赖库

问题：spark-shell提交Spark Application如何解决依赖库spark-shell的话，利用--driver-class-path选项来指定所依赖的jar文件，注意的是--driver-class-path后如果需要跟着多个jar文件的话，jar文件之间使用冒号(:)来分割。

100.0000

1

0

0

关注作者

收藏

PGC123

Worker节点中的work目录占用许多磁盘空间

问题：Worker节点中的work目录占用许多磁盘空间目录地址：/home/utoken/software/spark-1.3.0-bin-hadoop2.4/work这些是Driver上传到worker的文件，需要定时做手工清理，否则会占用许多磁盘空间

22.5489

1

1

0

关注作者

收藏

PGC123

Shuffle临时文件过多

问题：No Space Left on the device（Shuffle临时文件过多）由于Spark在计算的时候会将中间结果存储到/tmp目录，而目前linux又都支持tmpfs，其实就是将/tmp目录挂载到内存当中。那么这里就存在一个问题，中间结果过多导致/tmp目录写满而出现如下错误No Space Left on the device解决办法第一种：修改配置

0.0000

0

4

0

关注作者

收藏

PGC123

多Master如何配置

问题：多Master如何配置因为涉及到多个Master，所以对于应用程序的提交就有了一点变化，因为应用程序需要知道当前的Master的IP地址和端口。这种HA方案处理这种情况很简单，只需要在SparkContext指向一个Master列表就可以了，如spark://host1:port1,host2:port2,host3:port3，应用程序会轮询列表。

0.0000

0

1

0

关注作者

收藏

PGC123

配置spark.deploy.recoveryMode选项

问题：配置spark.deploy.recoveryMode选项为ZOOKEEPER 如果不设置spark.deploy.recoveryMode的话，那么集群的所有运行数据在Master重启是都会丢失，可参考BlackHolePersistenceEngine的实现。

0.0000

0

2

0

关注作者

收藏

PGC123

Operation category READ

问题：Operation category READ is not supported in state standby org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category READ is not supported in state stan

0.0000

0

4

0

关注作者

收藏

PGC123

长时间等待无反应，并且看到服务器上面的web界面有内存和核心

长时间等待无反应，并且看到服务器上面的web界面有内存和核心数，但是没有分配，如下图或者日志信息显示：16/01/15 14:18:56 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are regist

43.9833

1

2

0

关注作者

收藏

PGC123

spark SQL日志过多怎么办？

问题: spark-sql 登录日志过多原因: spark的日志级别设置为了INFO。解决办法: 将日志级别改成WARN就行了。进入到spark目录/conf文件夹下，此时有一个log4j.properties.template文件，我们执行如下命令将其拷贝一份为lo

23.7978

1

4

0

关注作者

收藏

PGC123

使用spark SQL的时候报错

问题: 使用spark sql的时候报错:javax.jdo.JDOFatalInternalException: Error creating transactional connection factory 原因:可能是没有添加jdbc的驱动解决办法: Spark 中如果没有配置连接驱动，在spark/c

0.0000

0

3

0

关注作者

收藏

PGC123

namenode没有成功启动

问题: hadoop成功配置之后，namenode没有成功启动。原因:可能是hadoop的集群的配置不正确解决方案: 先检查logs/文件目录下的日志，然后再检查hadoop/etc/hadoop 的主要配置文件是否正确配置。

0.0000

0

2

0

关注作者

收藏

PGC123

Hadoop警告问题

问题: Hadoop警告:Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 原因:Apache提供的hadoop本地库是32位的，而在64位的服务器上就会有问题，因此需要自己编译64位的版本。解决办法:

0.0000

0

4

0

关注作者

收藏

PGC123

bash:...： is a directory

问题：bash:...： is a directory 原因:可能是/etc/profile 配置未能成功配置解决办法: 确认配置文件没有问题之后，发现环境变量后面多了空格，将环境变量后面的空格去掉之后就好了。

0.0000

0

3

0

关注作者

收藏

<1…363738…75>

CDA考试动态

CDA报考指南