关于numpy概念的简单理解

2020-07-06

numpy是Python中科学计算的基础包。它是一个Python库，提供多维数组对象，各种派生对象(如掩码数组和矩阵)，以及用于数组快速操作的各种API，有包括数学、逻辑、形状操作、排序、选择、输入输出、离散傅立叶变换、 ...

分析20万条弹幕告诉你，8.9分的高分剧《隐秘的角落》到底好看在哪儿？

2020-06-30

最近这部《隐秘的角落》彻底火了，目前在豆瓣高达8.9分，有45万余人进行了评论。 一时间剧中张东升那句「爬山」、「你说我还有机会吗」 承包了6月份的梗。各种表情包和段子齐飞。 ...

SQL:窗口函数的简介和分类

2020-06-29

函数大家都知道，那么窗口函数呢?窗口是标准的SQL术语，用来描述SQL语句内OVER子句划定的内容，这个内容就是窗口函数的作用域。下面就跟小编一起来看窗口函数的具体内容吧。 窗口函数是 SQL 中一类特别的函数， ...

哪些数据库是行存储？哪些是列存储？有什么区别？

2020-06-28

作者：Alex Petrov 来源：大数据DT(ID：hzdashuju) 内容摘编自《数据库系统内幕》 导读：本文带你了解面向列与面向行的数据库。 大多数数据库系统存储一组数据记录，这些记录由表中的列和行组成。 ...

EXCEL数据透视表的制作方法

2020-06-24

数据透视表堪称是EXCEL最强大的功能了，是一种交互式的表，可以进行某些计算，如求和与计数等。所进行的计算与数据跟数据透视表中的排列有关。之所以称为数据透视表，是因为可以动态地改变它们的版面布置，以便按 ...

从Hadoop到ClickHouse，现代BI系统有哪些问题？如何解决？

2020-06-24

导读：一次机缘巧合，在研究BI产品技术选型的时候，我接触到了ClickHouse，瞬间就被其惊人的性能所折服。这款非Hadoop生态、简单、自成一体的技术组件引起了我极大的好奇。那么ClickHouse好在哪呢?本文带你做一个 ...

SQL结构化查询语言分类

2020-06-24

SQL是数据分析常用的一种工具，今天跟小编一起来学习一下SQL结构化查询语言都有哪些分类吧。 结构化查询语言(英语：Structural Query Language，缩写：SQL)，是一种特殊目的之编程语言，用于数据库中的标准数据 ...

机器学习数据降维方法：PCA主成分分析

2020-06-16

PCA在机器学习中很常用，是一种无参数的数据降维方法。PCA步骤： 将原始数据按列组成n行m列矩阵X 将X的每一行（代表一个属性字段）进行零均值化，即减去这一行的均值 求出协方差矩阵 求 ...

pandas数据处理：常用却不甚了解的函数，pd.read_excel()

2020-06-01

人们经常用pandas处理表格型数据，时常需要读入excel表格数据，很多人一般都是直接这么用：pd.read_excel(“文件路径文件名”),再多一点的设置可能是转义一下路径中的斜杠，一旦原始的excel表不是很规整，这 ...

数据管理框架中的元数据管理是什么？

2020-05-14

大数据时代下，凭借数据管理框架中的重要管理职能，元数据管理也越来越频繁的出现在大家的视野中。 元数据及应用也是数据仓库的重要组成部分，它是描述数据的数据（data about data)，描述数据的属性信息，可以帮助 ...

如何用Python实现数据透视表？解除你对透视表的疑惑！

2020-05-09

相信接触过Excel的小伙伴都知道，Excel有一个非常强大的功能“数据透视表”，使用数据透视表可以自由选择不同字段，用不同的聚合函数进行汇总，并建立交叉表格，用以从不同层面观察数据。这么强大的功能，在Python ...

R语言dplyr包学习笔记（详细版）

2020-05-07

R语言dplyr包主要用于数据清洗和整理，主要功能有：行选择、列选择、统计汇总、窗口函数、数据框交集等是非常高效、友好的数据处理包，学清楚了，基本上数据能随意玩弄，对的，随意玩弄，简直大大提高数据处理及分 ...

千亿数据优化，如何绕过数据倾斜这头拦路虎？

2020-04-21

作者：dantezhao 前言： 数据倾斜是大数据领域绕不开的拦路虎，当你所需处理的数据量到达了上亿甚至是千亿条的时候，数据倾斜将是横在你面前一道巨大的坎。 迈的过去，将 ...

一文读懂非关系型数据库（NoSQL）

2020-04-20

NoSQL(NoSQL = Not Only SQL )，意即\"不仅仅是SQL\"。 现代计算系统每天在网络上都会产生庞大的数据量。这些数据有很大一部分是由关系型数据库管理系统（RDBMSs）来处理，其严谨成熟的数学理 ...

HBase 的表结构

2020-04-17

HBase 是一个NoSQL数据库，用于处理海量数据，可以支持10亿行百万列的大表，下面就了解一下数据是如何存放在HBase表中的 关系型数据库的表结构 为了更好的理解HBase表的思路，先回顾 ...

转行还是得趁早——数据分析师职场图鉴，全方位为您梳理

2020-04-09

随着大数据和人工智能时代的到来，传统企业开始向数据化和智能化转型。由此，数据分析师相关岗位的需求量逐年递增，近两年呈现出供不应求的状况，在未来很长一段时间这种需求还将继续保持下去。作为过 ...

Python数据分析入门教程(五)：数据运算

2020-03-31

两列相加的具体实现如下图所示： 两列相乘的具体实现如下图所示： ...

Python数据分析入门教程(四)：数值操作

2020-03-30

作者 | CDA数据分析师 我们把菜品挑选出来以后，就可以开始切菜了。比如要做凉拌黄瓜丝，把黄瓜找出来以后，那就可以把黄瓜切成丝了。 一、数值替换 数值替换就是将数 ...

Python数据分析入门教程(二)：数据预处理

2020-03-27

作者 | CDA数据分析师 从菜市场买来的菜,总有一些不太好的，所以把菜买回来以后要先做一遍预处理，把那些不太好的部分扔掉。现实中大部分的数据都类似于菜市场的菜品，拿到以后都要 ...

Python数据分析基础入门(一)：获取数据源

2020-03-27

作者 | CDA数据分析师 俗话说，巧妇难为无米之炊。不管你厨艺有多好，如果没有食材，也做不出香甜可口的饭菜来，所以想要做出饭菜来，首先要做的就是要买米买菜。而数据分析就好比是做饭， ...