数据科学专业问答社区，好文章，一字千金--CDA答疑社区

热线电话：13121318867

登录

291294878

hive如何创建动态分区表？

如果用上述的静态分区，插入的时候必须首先要知道有什么分区类型，而且每个分区写一个load data，太烦人。使用动态分区可解决以上问题，其可以根据查询得到的数据动态分配到分区里。其实动态分区与静态分区区别就是不指定分区目录，由系统自己选择。0）开启动态分区功能set hive.exec.dynamic.partition=true;//使用动态分区set hive.exec.dynamic

296.3047

2

2

0

关注作者

收藏

291294878

数据库的局限性有哪些？

传统的数据库在操作型数据处理上取得了巨大的成功，但是在分析型数据处理上却遇到了瓶颈。主要有以下几个原因：(1) 数据的分散。操作型数据处理往往只需要涉及一个部门业务或者一个系统的数据，因此现在企业的数据是分散在各个操作型数据库，而分析型操作往往面向整个企业、跨部门进行。(2) 数据不一致的问题。从各个操作型数据库中抽取数据会存在数据不一致的问题，比如同名异义、异名同义、单位不统一、字长不一致

0.0000

0

4

0

关注作者

收藏

291294878

列出数据清理的最佳实践?

1）按不同的属性排序数据2）对于大数据集，逐步清理并改进数据，直到获得良好的数据质量3）对大型数据集，可以先将其分解为小数据集，使用更少的数据将增加迭代速度4）要处理常见的清理任务，请创建一组实用程序函数/工具/脚本。它可能包括基于CSV文件或SQL数据库重映射值，或者正则表达式搜索和替换，消除所有不匹配正则表达式的值5）如果在数据清理方面存在问题，请按照估计的频率进行安排并解决问题6）

0.0000

0

1

0

关注作者

收藏

291294878

散列表是什么?散列表冲突是什么?如何避免?

在计算中，哈希表(散列表)是键值对的映射，这是一个用于实现关联数组的数据结构。它使用散列函数来计算一个时隙阵列的索引，从中可以获取所需的值。当两个不同的键散列到相同的值时，发生散列表冲突。两个数据不能存储在阵列的同一个插槽中。为了避免散列表碰撞，有很多技巧，这里列出两个：　　·分离链接：它使用数据结构来存储散列到同一个插槽的多个项目。　　·线性探测：在找到查找位置的index的in

0.0000

0

2

0

关注作者

收藏

291294878

F1值是什么？

Fβ是统计学中用来衡量二分类模型精确度的一种指标。它同时兼顾了分类模型的准确率和召回率。可以看作是模型准确率和召回率的一种加权平均，它的最大值是1，最小是0。物理意义就是将准确率和召回率这两个分值合并为一个分值，在合并的过程中，召回率的权重是准确率的β倍： F1分数认为召回率和准确率同等重要，F2分数认为召回率的重要程度是准确率的2倍，而F0.5分数认为召回率的重要程度是准确率的一半。

0.0000

0

3

0

关注作者

收藏

291294878

解释一下层次聚类算法？

根据层次分解的顺序是自底向上的还是自上向下的，层次聚类算法分为凝聚的层次聚类算法和分裂的层次聚类算法。凝聚型层次聚类的策略是先将每个对象作为一个簇，然后合并这些原子簇为越来越大的簇，直到所有对象都在一个簇中，或者某个终结条件被满足。绝大多数层次聚类属于凝聚型层次聚类，它们只是在簇间相似度的定义上有所不同。采用最小距离的凝聚层次聚类算法流程：　(1) 将每个对象看作一类，计算两两之间的最小

0.0000

0

2

0

关注作者

收藏

809669515

python 读取文件乱码问题

一、问题：python读取文件时会遇到乱码的问题二、解决方法：1、已utf-8格式打开文档f = open(r'E:\Python\liaotian.txt','r',encoding='utf-8')f.seek(0,0)for each_line in f: print(each_line)f.close()2、以二进制打开文件，然后对读取的内容进行utf-8

0.0000

0

2

0

关注作者

收藏

PGC123

MySQL5.7.23安装包安装时总是安装MySQL8.0

下载的MySQL5.7.23安装包，但是安装时总是安装MySQL8.0是怎么回事呢？由于之前安装过程中选错选项，并且没有彻底删除干净的原因(主要是安装日志文件)。解决方法是将MySQL相关的东西删除干净并清理注册表,然后再重新安装即可。

0.0510

2

1

0

关注作者

收藏

PGC123

如何对list中的item进行随机重排

可以使用shuffle()函数，例如：Import randomLt =[1,2,3,4,5,6,7,8]Random.shuffle(Lt)此时再查看lt顺序已然被打乱。

0.0199

1

4

0

关注作者

收藏

809669515

关于如何利用MySQL Workbench导入Excel表格

关于MySQL导入Excel表格数据的方法有很多，这里使用MySQL Workbench详细介绍如何导入Excel表格数据：1、第一步：将Excel表格数据转为.csv格式文件打开另存为另存为.csv格式文件 2.通过转换编码格式为Utf-8 3.打开MySQL Workbench导入选中.csv文件导入设置数据类型和编码格式Utf-8 导入成功

0.0000

0

2

0

关注作者

收藏

PGC123

python中range()和xrange()的区别

range()和xrange()的区别是啥？为什么网上的代码range返回list,而我这里还要对结果使用list()函数才能得到list的结果？python2中 xrange 返回迭代器、range 返回的是list类型的值。但在python3中已经没有xrange 这个函数了，它已经完全被 range替代了，在python3里面range返回的是迭代器。

17.3650

2

0

0

关注作者

收藏

zxq997

excel表格分列问题

具体的设置不是在EXCEL表格里面设置，而是在分列的向导里进行列数据的格式设置。步骤：1.选中要分列的单元格的列数据2.点击数据--分列--弹出文本分列向导 3步骤之13.在3步骤之1里，选择分隔符号，点击下一步，进入3步骤之24.在3步骤之2里，勾选“其他”，在文本框里输入分隔符号，例如这里的小数点“.”5.输入后，在数据预览里会出现分列的效果，检查是否正确。正确后，点击“下一步”

0.0000

0

1

0

关注作者

收藏

PGC123

pycharm 项目的python环境为啥没pandas？

pycharm 项目的python环境为啥没pandas？我用jupyter notebook 就可以使用呀这是因为你新建项目的时候选择虚拟环境，新建的虚拟环境中只有基本的包，因此没有pandas 、numpy。两种解决方法：1、在虚拟环境中安装需要的包。这个安装方法跟平时一样，使用pip安装即可。2、更换为本地已存在的python环境。选择本地python环境的方法如下

0.0199

1

4

0

关注作者

收藏

291294878

JOIN ON后面能不能接OR？

join on后面的条件可以加and，但是不能加or。怎么理解呢？join on后面接的本来应该是一个连接条件，如果加and的话，我们可以理解为让连接条件更加严谨，但是加or的话会出现报错，因为on是最基本的连接条件，放宽连接条件的话，join就会无法完成。以下是错误示范：select t1.a,t1.b,t2.a,t2.bfrom t1left outer join t2on t1.a

0.0000

0

3

0

关注作者

收藏

PGC123

mysql密码想不起来了怎么办，试了几次也没成功

python 链接本地的MySQL数据库，但是mysql密码想不起来了怎么办，试了几次也没成功，怎么修改？在Windows下如果MySQL密码忘记可以有如下操作来重新设置1、以管理员身份运行CMD程序 2、输入命令net start 查看MySQL是否启动，启动的话执行命令 net stop mysql.3、找到Mysql安装路径（如果MySQL已经添加到系统

0.0199

1

4

0

关注作者

收藏

阿抽哥哥

Excel 如何插入复选框

1.文件——选项——自定义功能区——勾选开发工具，确定： 2.开发工具——插入——复选框——右击复选框——设置控件格式——选中区域为控制列里对应的单元格：

0.0000

0

2

0

关注作者

收藏

wangjuju123

Pycharm安装Python第三方库

除了使用easy_insatll和pip工具安装Python第三方库外还可以使用pycharm安装Python第三方库，步骤如下：1.打开pycharm，点击File,再点击settings 2.点击settings之后再点击project下面的project Interpreter将会出现如下界面： 3.接下来点击上面界面右上角的“ ”将会出现如下界面：然后在搜索框中搜索需要安装的

0.0000

0

5

0

关注作者

收藏

809669515

将Excel、TXT文件导入MySQL workbench

导入Excel文件的步骤：1.先将Excel文件另存为以逗号分隔的csv格式，可用记事本打开确认是否是以逗号为分隔符； 2.打开workbench，右键要插入的数据库，选择Table Data Import Wizard 3.导入文件，next 4.如果数据库中存在该表，则勾选图中红色数字1的圆圈；如果想重新创建表，则勾选图中红色数字2的圆圈，为了防止存在该表出现错误，建议勾

0.0000

0

4

0

关注作者

收藏

wangjuju123

Python解析JSON数据的基本方法

JSON (JavaScript Object Notation) 是一种轻量级的数据交换格式。它基于ECMAScript的一个子集。Python3 中可以使用 json 模块来对 JSON 数据进行编解码，它包含了两个函数：json.dumps(): 对数据进行编码。json.loads() : 对数据进行解码。Python的json模块提供了一种很简单的方式来编码和解码JSON数据。

0.0000

0

0

0

关注作者

收藏

啊啊啊啊啊吖

将一列的字符串中包含的数字提取到另一列

aTXT中是factor类型，里面有文字和数字，如“混2”，我想让“混”赋值到STRU中，“2”赋值到FLOOR中，如何实现呢？数字不是只有一位，可能一位也可能两位，不定长度的。library("dplyr")library("stringr")myData %>% mutate(TXT = as.character(TXT), FLOOR = str_ex

0.0000

0

0

0

关注作者

收藏

<1…521522523…531>

CDA考试动态

CDA报考指南