数据科学专业问答社区，好文章，一字千金--CDA答疑社区

热线电话：13121318867

登录

PGC123

数据分布在100台电脑中，如何高效统计出这批数据的top10

海量数据分布在100台电脑中，想个办法高效统计出这批数据的TOP10答：方案1: 在每台电脑上求出TOP10，可以采用包含10个元素的堆完成(TOP10小，用最大堆，TOP10大，用最小堆)。比如求TOP10大，我们首先取前10个元素调整成最小堆，如果发现，然后扫描后面的数据，并与堆顶元素比较，如果比堆顶元素大，那么用该元素替换堆顶，然后再调整为最小堆。最后堆中的

66.5673

1

1

0

关注作者

收藏

PGC123

hive分区代码如何写？

写出将 text.txt 文件放入 hive 中 test 表‘2018-10-10’ 分区的语句，test 的分区字段是 l_date。答： LOAD DATA LOCAL INPATH '/your/path/test.txt' OVERWRITE INTO TABLE test PARTITION (l_date='2018-10-10')

43.5548

1

2

0

关注作者

收藏

PGC123

hive字符串面试题

写出hive中split、coalesce及collect_list函数的用法（可举例）。答： Split将字符串转化为数组。split('a,b,c,d' , ',') ==> ["a","b","c","d"]COALESCE(T v1, T v2, …) 返回参数中的第一个非空值；如果所有值都为 NULL，那么返回NULL。collect_list列出该字段所有的值，不去重

33.9132

1

2

0

关注作者

收藏

PGC123

关于null的问题

简要描述数据库中的 null，说出null在hive底层如何存储，并解释selecta.* from t1 a left outer join t2 b on a.id=b.id where b.id is null; 语句的含义答： null与任何值运算的结果都是null, 可以使用is null、is not null函数指定在其值为null情况下的取值。null在hive底层默认是

0.0000

0

4

0

关注作者

收藏

PGC123

hive表关联查询，如何解决数据倾斜的问题?

倾斜原因：map输出数据按key Hash的分配到reduce中，由于key分布不均匀、业务数据本身的特、建表时考虑不周、等原因造成的reduce 上的数据量差异过大。1)、key分布不均匀;2)、业务数据本身的特性;3)、建表时考虑不周;4)、某些SQL语句本身就有数据倾斜;如何避免：对于key为空产生的数据倾斜，可以对其赋予一个随机值。解决方案1>.参数调节：hive.map

0.0000

0

5

0

关注作者

收藏

dreamhappy2012

怎么借助dict函数生成一个字典对象？

问、怎么借助dict函数生成一个字典对象？答： In [15]: dict(A=1,B=2,C=3)Out[15]: {'A': 1, 'B': 2, 'C': 3}In [16]: dict([("A",1),("B",2),("C",3)])Out[16]: {'A': 1, 'B': 2, 'C': 3}

0.0000

0

1

0

关注作者

收藏

dreamhappy2012

字典对象怎么直接生成？

问、字典对象怎么直接生成？答：>>> dic1 = {'zhangsan':'zhangsan@126.com',... 'lisi':'lisi@163.com',... 'wangwu':'wangwu@126.com',... 'zhaoliu':'zhangliu@126.com'}

0.0000

0

5

0

关注作者

收藏

dreamhappy2012

什么是字典（dict）对象

问、什么是字典（dict）对象答：•字典类似于你通过联系人名字查找地址和联系人详细情况的地址簿，即，我们把键（名字）和值（详细情况）联系在一起。注意，键必须是唯一的，就像如果有两个人恰巧同名的话，你无法找到正确的信息。•注意，你只能使用不可变的对象（比如字符串数值布尔对象元组）来作为字典的键，但是键对应的值可以是可以是可变对象，也可以是不可变对象。基本说来就是，你应该只使用简单的对象作

43.5548

1

3

0

关注作者

收藏

dreamhappy2012

元组对象的拆包

问、元组对象的拆包答：>>> a=(1,2,(3,4))>>> b,c,d=a>>> b1>>> c2>>> d(3, 4)>>> >>> a=(1,2,(3,4))>>> b,c,(d1,d2)=a>>> b1>>> c2>>> d13>>> d24

0.0000

0

2

0

关注作者

收藏

dreamhappy2012

元组对象index属性？

问、元组对象index属性：答：计算某个值第一次出现对应的索引>>> tuple1=(1,2,3,1)>>> tuple1.index(1)0如果没找到对应值则返回一个错误提示

0.0000

0

5

0

关注作者

收藏

dreamhappy2012

元组对象count属性：计算某个值出现了多少次。

问、元组对象count属性：计算某个值出现了多少次。答：>>> tuple1=(1,2,3,1)>>> tuple1.count(1)2

43.5548

1

1

0

关注作者

收藏

zxq997

对似然比检验和Wald测试的理解

似然比检验似然比检验提供了用于比较一个模型（例如，完整模型）下的数据的可能性与另一个更受限制的模型（例如，截距模型）下的数据的可能性的手段。a其中' p ' 是逻辑模型预测概率。下一步是计算这两个对数似然之间的差异。 a两个可能性之间的差异乘以因子2，以便使用标准显着性水平（Chi2检验）评估统计显着性。测试的自由度将等于模型下估计的参数数量的差异（例如，完整和截距）。 Wald

0.3660

1

2

0

关注作者

收藏

zxq997

矩阵QR分解学习分享

A为m×n矩阵可以进行QR分解，A=QR，其中：Q'Q＝I，在R中可以用函数qr()进行QR分解，例如：> A=matrix(1:16,4,4)> qr(A)$qr[,1] [,2] [,3] [,4][1,] -5.4772256 -12.7801930 -2.008316e 01 -2.738613e 01[2,] 0.3651484 -3.2659863 -6.531973e

0.3660

1

0

0

关注作者

收藏

zxq997

如果两件事同时发生概率应当如何计算呢，例如天气=下雪且星期几=2？不难想到，这个概率应该等于两件事情都为真的次数除以所有事件发生的总次数。简单来计算一下：只有一个样本点满足天气=下雪且星期几=2，所以这个概率应当是1/7。这种联合事件的概率一般用逗号隔开的变量来表示： P(天气=雪天，星期几=2)。一般地，对事件X和Y来说，对应的联合概率应该记为P(X, Y )。读者可能还看到过一些形如

0.0000

0

1

0

关注作者

收藏

zxq997

怎么实现矩阵里的转置

import pandas as pdimport numpy as npimport matplotlib.pyplot as plts=pd.Series([1,3,5,np.nan,6,8])dates=pd.date_range('20130101',periods=6)df=pd.DataFrame(np.random.rand(6,4),index=dates,columns

43.5548

1

1

0

关注作者

收藏

W11YA

bin()， hex(), oct()

把一个数字转换成二进制、十六进制、八进制字符串In [204]: print bin(20), hex(16), oct(9)0b10100 0x10 011

0.0000

0

3

0

关注作者

收藏

W11YA

sum(sequence[, start])

sum(sequence[, start]) 对一个数字序列求和，start为起始位置，默认从0开始In [175]: sum([1,2,3,4])Out[175]: 10

35.1908

1

2

0

关注作者

收藏

W11YA

round(number[, ndigits])

round(number[, ndigits]) 返回一个数的四舍五入值，给出ndigits则四舍五入到第n位小数In [170]: round(3.45)Out[170]: 3.0In [171]: round(3.55)Out[171]: 4.0In [172]: round(3.55345, 3)Out[172]: 3.553

0.0000

0

3

0

关注作者

收藏

W11YA

pow(x, y[, z]) 返回x的y次幂，如果有参数z则返回幂除以z的余数（对z取模）In [166]: pow(2,3)Out[166]: 8In [167]: pow(2,3,5)Out[167]: 3

0.0000

0

2

0

关注作者

收藏

W11YA

max(iterable[, key])

max(iterable[, key]) 返回一个序列的最大元素In [157]: max([(1,2,3), (4,5,6), (23,4,1,)], key=lambda a: a[-1])Out[157]: (4, 5, 6)In [158]: max(1,2,3,4,4,5)Out[158]: 5In [159]: max([(1,2,3), (4,5,6), (23,4,1,

35.1908

1

0

0

关注作者

收藏

<1…339340341…530>

CDA考试动态

CDA报考指南