数据科学专业问答社区，好文章，一字千金--CDA答疑社区

热线电话：13121318867

登录

291294878

Hbase的rowkey(行键)的设计原则？

owkey长度原则rowkey是一个二进制码流，可以是任意字符串，最大长度 64kb ，实际应用中一般为10-100bytes，以 byte[]形式保存，一般设计成定长。建议越短越好，不要超过16个字节，原因如下：1. 数据的持久化文件HFile中是按照KeyValue存储的，如果rowkey过长，比如超过100字节，1000w行数据，光rowkey就要占用100*1000w=10

0.0000

0

2

0

关注作者

收藏

291294878

Hbase和Hive的差别是什么？

Hbase和Hive在大数据架构中处在不同位置，Hbase主要解决实时数据查询问题，Hive主要解决数据处理和计算问题，一般是配合使用。一、区别：1.Hbase： Hadoop database 的简称，也就是基于Hadoop数据库，是一种NoSQL数据库，主要适用于海量明细数据（十亿、百亿）的随机实时查询，如日志明细、交易清单、轨迹行为等2.Hive：Hive是Hadoop数据仓库，严格来

35.8263

3

0

0

关注作者

收藏

291294878

怎么解释朴素贝叶斯分类？

公式： 1. 分类是指，根据一些给定的特征，对物品进行分类，或对行为进行预测，即求上式的最大值。2. 贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯公式为基础，故统称为贝叶斯分类。而朴素朴素贝叶斯分类是贝叶斯分类中最简单，也是常见的一种分类方法。3. 朴素一词的来源，是指假设各个特征之间相互独立。朴素贝叶斯的完整解释如下：假设某个体有n项特征（Feature），分别为F1、

0.0000

0

2

0

关注作者

收藏

809669515

python爬虫常见报错小结及解决方法

首先声明下面的报错是在使用BeautifulSoup的基础上的 **(1).list index out of range ** 这种情况基本就是你获取的列表为空，所以在选取第x各元素([x])时就会报错。 (2).requests 要对返回的状态码做判断 r=requests.get(url) if r.status_code==200: (3).异常异常是指程序中的例外，违例情

0.0000

0

2

0

关注作者

收藏

809669515

MySQL嵌套子查询报错解决方法

MySQL中，写SQL语句的时候，遇到You can't specify target table '表名' for update in FROM clause这样的错误，它的意思是说，不能先select出同一表中的某些值，再update这个表(在同一语句中)，即不能依据某字段值做判断再来更新某字段的值。实例如下语句：update t_user set password =(select t

0.0000

0

0

0

关注作者

收藏

809669515

Python连接MySQL数据库locahost无法连接

引进MySQLdb模块后db=MySQLdb.connect(user="root",passwd="pas",host="localhost",db="crawlerdb",port=3306)会出现意想不到的问题，提示无法连接到MySQL Server，但命令行和NaviCat都是正常的这应该是python无法正确解析locahost，这时候在Navicat中将root用户的主机名

0.0000

0

4

0

关注作者

收藏

809669515

用 Python 连接 MySQL 的几种方式详解

每个学 Python 的都有必要学好一门数据库，不管你是做数据分析，还是网络爬虫，Web 开发、亦或是机器学习，你都离不开要和数据库打交道，而 MySQL 又是最流行的一种数据库，这篇文章介绍 Python 操作 MySQL 的几种方式，你可以在实际开发过程中根据实际情况合理选择。1、MySQL-pythonMySQL-python 又叫 MySQLdb，是 Python 连接 MySQL 最

0.0000

0

1

0

关注作者

收藏

809669515

mysql第二次安装失败的解决方法

6 重新安装一次制面板中将名字与mysql有关的逐一的卸载。2 然后找到mysql安装目录将mysql文件夹全部删掉，即使是空的文件夹也要删掉。3 打开C:\ProgramData，找到MySQL文件夹，并将其删除（关键的一步），C:\ProgramData这个目录默认是隐藏的，不能直接看到这个目录，可以直接在c盘的搜索框中复制C:\ProgramData这个路径找到MySQL文件夹删掉。

0.0000

0

3

0

关注作者

收藏

PGC123

交叉验证有哪些方法？适用场景是什么？

交叉验证有哪些方法？适用场景是什么？1）留出法将原始数据集分为三部分：训练集、验证集和测试集，方法简单，用于训练的数据偏少2）k 折交叉验证（k-fold cross validation）k 折交叉验证通过对 k 个不同分组训练的结果进行平均来减少方差，因此模型的性能对数据的划分就不那么敏感。数据量小的时候，k 可以设大一点，这样训练集占整体比例就比较大，不过同时训练的模型个数也增

0.0000

0

2

0

关注作者

收藏

809669515

MySql数据库导入sql文件失败

问题描述：SqlYog导入数据文件问题，一直提醒：There was an error while executing a query.The query and the error message has been logged at:C:\Users\liang\AppData\Roaming\SQLyog\sqlyog.err.Please click on "Open Error

0.0000

0

3

0

关注作者

收藏

809669515

mysql ERROR 1130 问题解决方案

当连接mysql数据库的时候，出现ERROR 1130 (HY000): Host ‘xxxx’ is not allowed to connect to this MySQL server的问题。本地localhost也不行，重新安装mysql数据库又怕原来的数据库无法还原。出现这种问题可能是非法关机、删除root用户等导致的，mysql数据库user表中没有root用户，如果localho

0.0000

0

2

0

关注作者

收藏

809669515

mysql ERROR 1045 (28000):解决方案

ERROR 1045 (28000): Access denied for user 'ODBC'@'localhost' (using password: NO)ERROR 1045 (28000): Access denied for user 'ODBC'@'localhost' (using password: YES)找到配置文件my.ini ，然后将其打开，可以选择用记事本打开

0.0000

0

5

0

关注作者

收藏

809669515

spss无法打开的解决方案

我们的spss无法打开最常见的原因是平行配置不正确，打不开有好几个是这个原因，针对这种情况，其实解决方法很简单，请看下面步骤。第一种方法：右键点击“计算机”弹出一个窗口，点击“管理”，然后我们进入管理界面。在管理界面之中，我们找到最下角的“服务与应用程序-服务”进入我们的服务日志界面。第二种方法：我们得进入应用程序的服务日志，左键

5.6893

2

2

0

关注作者

收藏

PGC123

ERROR system error 5( 拒接访问)

win10安装RStudio时报错出现：Fatal error :ERROR system error 5( 拒接访问) 这是执行权限的问题，解决方案打开文件所在目录，找到文件\bin，例如我的是：D:\RStudio-1.0.153\bin找到：RStudio.exe 然后右键选择管理员身份运行, 即可解决问题。

0.0000

0

0

0

关注作者

收藏

zxq997

数据分析的基本类型。

数据分析的前提是需要明确等待分析数据的特点和形态，根据数据本质的属性，确定一个有效的数据分析策略。从不同的视角，数据有不同的类型，下面介绍最常用的两种数据分类方式。首先，数据被分为总体数据与样本数据。如果能够直接获取全部的数据，当然最好，但是，由于各种客观原因，研究者无法或不便于获取全体研究对象的整体数据。于是基于某一规则抽取具有代表性的一些数据，以这些数据作为研究样本并开展研究。其次，数

112.8577

2

3

0

关注作者

收藏

809669515

SPSS乱码解决方法总结

乱码问题的诊断：把下载的SPSS数据放在其他的电脑上看是否是乱码，如果在其他电脑上打开是正常的，可以确定是操作系统或者SPSS软件设置的原因。SPSS数据打开数据出现乱码可能存在以下的几种情况：一，目前软件版本过低，目标数据是由高版本软件生成的，这样建议您升级软件版本（下载地址：https://pan.baidu.com/s/1hrmiDCC )。问卷星导出的spss数据，在14.0以上

374.1343

4

2

0

关注作者

收藏

291294878

如何确定map的个数？

（1）一个文件HDFS中的file，占用3个block块，每块默认64M，这个是物理切分。（2）运行map的时候，根据配置文件进行split切分，这是逻辑切分。（3）一个split就会对应运行一个map。 hdfs-site.xml中设置 dfs.block.size n0

101.7633

1

3

0

关注作者

收藏

291294878

常用的多维分析操作。

（1）多维分析基础——聚集函数聚集就是对细节数据进行综合的过程。最常用的五种聚集函数：求和（sum）、计数（count）、最大值（max）、最小值（min）、平均值（average），还有求中间值（median）、排序（rank）。（2）切片：slice就是在数据方体的某一维上选定一个维成员的动作，即限定多维数组某一个维度只取一个特定的值。比如地区维，选定“北京”这一个维成员，这样就得到

101.7633

1

0

0

关注作者

收藏

291294878

数据库的局限性有哪些？

传统的数据库在操作型数据处理上取得了巨大的成功，但是在分析型数据处理上却遇到了瓶颈。主要有以下几个原因：(1) 数据的分散。操作型数据处理往往只需要涉及一个部门业务或者一个系统的数据，因此现在企业的数据是分散在各个操作型数据库，而分析型操作往往面向整个企业、跨部门进行。(2) 数据不一致的问题。从各个操作型数据库中抽取数据会存在数据不一致的问题，比如同名异义、异名同义、单位不统一、字长不一致

0.0000

0

4

0

关注作者

收藏

291294878

列出数据清理的最佳实践?

1）按不同的属性排序数据2）对于大数据集，逐步清理并改进数据，直到获得良好的数据质量3）对大型数据集，可以先将其分解为小数据集，使用更少的数据将增加迭代速度4）要处理常见的清理任务，请创建一组实用程序函数/工具/脚本。它可能包括基于CSV文件或SQL数据库重映射值，或者正则表达式搜索和替换，消除所有不匹配正则表达式的值5）如果在数据清理方面存在问题，请按照估计的频率进行安排并解决问题6）

0.0000

0

1

0

关注作者

收藏

<1…395396397…404>

CDA考试动态

CDA报考指南