大数据-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

291294878

hive表关联查询，如何解决数据倾斜的问题?

倾斜原因：map输出数据按key Hash的分配到reduce中，由于key分布不均匀、业务数据本身的特、建表时考虑不周、等原因造成的reduce 上的数据量差异过大。1)、key分布不均匀;2)、业务数据本身的特性;3)、建表时考虑不周;4)、某些SQL语句本身就有数据倾斜;如何避免：对于key为空产生的数据倾斜，可以对其赋予一个随机值。解决方案1>.参数调节：

9.7428

1

2

0

关注作者

收藏

PGC123

pandas如何判断缺失数据？

我想知道以后读取有缺失值的数据，怎么判断是哪里缺失了？比如只是在文本随便写的数据。首先pandas读取任何数据都要知道数据的格式信息，其他软件工具也是一样的，只有知道数据的分隔方式才能将数据中的元素准确的定位对应到dataframe中的索引。比如读csv文件，那一定要给pandas传达信息就是数据都是以逗号分隔的，不然pandas读取数据失败。如果用read_csv()来读取不是以逗号分隔的

0.0000

0

4

0

关注作者

收藏

PGC123

大数据用Linux系统选哪个呢?

大数据平台一般都装在Linux上，市场常见的Linux发行版有ubuntu、centos两种，这两个各有各的特点Ubuntu：Ubuntu近些年的粉丝越来越多，Ubuntu有着漂亮的用户界面，完善的包管理系统，强大的软件源支持，丰富的技术社区，Ubuntu还对大多数硬件有着良好的兼容性，包括最新的图形显卡等等。这一切让Ubuntu越来越向大众化方向发展。但别忘了：你所需要的只是一个简约、稳定

0.0000

0

2

0

关注作者

收藏

PGC123

学习大数据用什么虚拟机软件好？

就目前而言，VMware Workstation是使用最为广泛、功能最为强大的虚拟机软件，主要用于IT开发和系统管理、云计算等商业环境，操作界面友好功能强大。缺点是次软件属于商业版需要付费的，但是网上可以搜到不花钱就能用的😉。而开源虚拟软件Oracle VM VirtualBox，则在所有免费虚拟机软件中表现较为突出，成为大多数教学、实验等非商业环境中的首选。我们在选择虚拟机软件时可以根据自

0.0000

0

0

0

关注作者

收藏

PGC123

信息安全方向大数据会用到什么东西？

最近有面试，安全方向的，这与大数据的哪些东西有关呢？信息安全主要是能实时的识别有风险的访问来。数据来源一般是网站的访问日志：如ip、访问时间、访问什么内容等信息，这涉及日志的采集需要用到flume kafka的相关知识。对风险的识别应该是实时的，一旦发生立刻做出反应才会降低风险，因此需要实时性高的处理大数据的框架，常用的是storm、以及最近很火的flink等。还要了解机器学习

72.8088

1

2

0

关注作者

收藏

PGC123

数据分析的基本流程是什么？

数据分析主要有那几步呢？数据分析应用的行业场景非常多，因此没有非常标准的流程，具体场景具体职位可能都有所不同。总的来说数据分析大致分6个流程：1、需求分析分析整理需求这部很重要，只有理解了需求才能在对的方向做对的事。2、数据获取根据需求搜集各个渠道数据3、数据清理将各个渠道数据清理、合并4、特征提取结合业务在数据中提取变量、特征5、训练建模将提取特征的

72.8088

1

2

0

关注作者

收藏

PGC123

标准方程法与梯度下降法的区别

这两个方法都是旨在获取使代价函数值最小的参数θ，两个方法各有优缺点：1、梯度下降算法优点：当训练集很大的时候（百万级），速度很快。缺点：需要调试出合适的学习速率α、需要多次迭代、特征值数量级不一致时需要特征缩放。2、标准方程法优点：不需要α、不需要迭代、不需要特征缩放，直接解出结果。缺点：运算量大，当训练集很大时速度非常慢。因此，当训练集很大

17.3451

1

3

0

关注作者

收藏

PGC123

mysql 1175错误，怎么解决？

用mysql workbench 更新一个表的时候报如下异常：使用安全更新模式的时候update语句必须使用一个关键字列属性来限定更新的范围。如果不使用关键字列来限定范围或更新所有记录的时候就不能用安全更新模式。解决办法是执行以下语句设置为非安全更新模式.SET SQL_SAFE_UPDATES=0;

0.0000

0

1

0

关注作者

收藏

PGC123

mysql加载数据报错

向MySQL加载数据时报错，是因为版本不兼容吗？a通过报错信息发现加载数据的代码有问题，正常MySQL加载本地数据语法如下：load data local infile 'D:/data/t2.csv' into table t2 fields terminated by ',' ignore 1 lines; 这个报错是因为没有加local关键字，如果指

0.0000

0

0

0

关注作者

收藏

PGC123

pandas如何替换dataframe中的字符

pandas如何替换dataframe中的字符？我有个数据，里面有缺失值用'\N'替代了，如何将'\N'变为缺失值？pandas中的缺失值用numpy的nan来代替，但是他是浮点型的因此需要首先将dataframe的数据转换为字符型然后再替换，不然数据中的整形会变为浮点型。在pandas中整体替换dataframe可以使用dataframe的自带函数replace或者高级函数apply_

0.0000

0

0

0

关注作者

收藏

PGC123

SQL与MySQL的区别？

SQL与mysql之间有区别吧？从本质上来说两者完全不是同一个物种，SQL是一种标准化的结构化查询语句，而MySQL属于数据库管理系统，是用来存储管理数据的系统软件，他们有着本质的区别。数据库管理系统还有Oracle、SQLserver等，这些都兼容SQL语句。

0.1902

1

1

0

关注作者

收藏

PGC123

sorted函数key参数怎么用？

sorted(iterable, /, *, key=None, reverse=False)，这个key怎么用？sorted函数是用来排序的，key的用法比较高级，当自己定义一个函数时排序规则是根据iterable的每个元素经函数处理后的返回值大小来排序的，升序降序则是由参数reverse决定的，默认是False 生序排序。举个栗子：一个列表是lst = [1,2,3,4,5,6,7] ,

0.0000

0

1

0

关注作者

收藏

PGC123

pandas中日期字符串怎么变时间？

遇到一个数据，里面都是字符串类型的时间数据，怎么变成时间类型并且与当前时刻做差？1、字符串转时间from datetime import datetime #使用datetime.strptime将字符串转换为datetime类型date = ['2018-10-21','2018-10-22'] datetime2 = [datetime.strptime(x,'%Y-%m-%d')

0.0000

0

3

0

关注作者

收藏

PGC123

python的map/reduce函数

python 的map与reduce函数怎么用？跟Hadoop的mapreduce框架有关系吗？python的map与reduce 与 Hadoop的mapreduce的思想是一样的都是参照了谷歌的mapreduce论文思想。1、map()函数map()函数接收两个参数，一个是函数，一个是Iterable，map将传入的函数依次作用到序列的每个元素，并把结果作为新的Iterator返回。

0.0000

0

1

0

关注作者

收藏

PGC123

左连接右连接内连接？啥没看懂

按照连接条件合并两个表，返回满足条件的行。SELECT FROM AINNER JOIN B ON A.Key = B.Key; 左连接：结果中除了包括满足连接条件的行外，还包括左表的所有行SELECT FROM ALEFT JOIN B ON A.Key = B.Key; 右连接：结果中除了包括满足连接条件的

0.0000

0

2

0

关注作者

收藏

PGC123

数据库与数据仓库的区别

招聘信息上有时会对数据库技术有要求，有时还要求会数据仓库，这俩有啥区别？要想区分这两我们首先要知道什么叫事务性处理，什么叫分析型处理？事务性处理：指对数据库联机的日常操作，通常是对一个或者一组记录的查询修改，例如火车票系统、购物网站系统等。这些系统有个共同特点：要求相应用户速度快、对数据的安全性、完整性以及事物吞吐量要求很高。分析性处理：指对数据的分析查询操作，通常是对海量的历史数据查

0.0000

0

2

0

关注作者

收藏

PGC123

yield 怎么用？

看别人代码时看到yield,这关键字是干啥的？yield是python中比较高级的用法，用来构造生成器：generator 。什么是生成器？创建一个包含百万个元素的列表，占用很大的存储空间，而且后面的元素有可能不经常用到。生成器不是马上构建出所有元素，而是根据公式推算出下一个元素，用到哪算到哪，如果元素很多时这样很节省内存空间。如果一个函数定义中包含yield关键字，那么这个函数就不

0.0000

0

3

0

关注作者

收藏

PGC123

python中同步迭代索引和索引对应值的函数是？

遇到一个python题目，python中同步迭代索引和索引对应值的函数是？描述enumerate() 函数用于将一个可遍历的数据对象(如列表、元组或字符串)组合为一个索引序列，同时列出数据和数据下标，一般用在 for 循环当中。语法以下是 enumerate() 方法的语法:enumerate(sequence, [start=0])参数sequence -- 一个序列、迭代器或其他

0.0000

0

0

0

关注作者

收藏

PGC123

pandas中怎么对数据框进行拼接？

由于需要整合两份不同的数据，所以需要使用数据合并的方法。在这之前，一直使用R来对数据框进行操作,python怎么操作？python中的数据框是pandas中的dataframe数据类型、跟R中的很像。首先如果要使用pandas库中的函数，在python的前面需要载入这个库：import pandas as pdpandas拼接数据框有三个方法1、append比较常用方便快捷的拼

0.0000

0

3

0

关注作者

收藏

PGC123

python的sorted函数

排序也是在程序中经常用到的算法。无论使用冒泡排序还是快速排序，排序的核心是比较两个元素的大小。如果是数字，我们可以直接比较，但如果是字符串或者两个dict呢？直接比较数学上的大小是没有意义的，因此，比较的过程必须通过函数抽象出来。Python内置的sorted()函数就可以对list进行排序：>>> sorted([36, 5, -12, 9, -21])[-21, -12, 5, 9, 3

0.0000

0

4

0

关注作者

收藏

<1…707172…75>

CDA考试动态

CDA报考指南