五种大数据处理架构

2018-03-02

五种大数据处理架构 大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限，但这种计算 ...

影响数据检索效率的几个因素

2018-01-01

影响数据检索效率的几个因素 数据检索有两种主要形态。第一种是纯数据库型的。典型的结构是一个关系型数据，比如 mysql。用户通过 SQL 表达出所需要的数据，mysql 把 SQL 翻译成物理的数据检索动作返回结果。 ...

大并发大数据量请求的处理方法

2017-12-28

大并发大数据量请求的处理方法 大并发大数据量请求一般会分为几种情况： 1.大量的用户同时对系统的不同功能页面进行查找，更新操作 2.大量的用户同时对系统的同一个页面，同一个表的大数据量进行查询操作 3.大 ...

大数据量快速处理的架构设计

2017-12-27

大数据量快速处理的架构设计 在业务数据的处理过程中，经常会遇到夜间批次处理大量的数据，而且会有时效的要求。特别是当应用系统跑了2年以上时，就会有大表或者特大表的操作了，数据量达到百万甚至上亿。 这 ...

大数据量的数据库表设计技巧

2017-12-26

大数据量的数据库表设计技巧 即使是一个非常简单的数据库应用系统，它的数据量增加到一定程度也会引起发一系列问题。如果在设计数据库的时候，就提前考虑这些问题，可以避免由于系统反映迟缓而引起的用户抱怨。 ...

面向大数据的分布式调度

2017-12-25

面向大数据的分布式调度 大数据的分布式调度是在进行数据ETL过程中起到了总体的承上启下的角色，整个数据的生产、交付、消费都会贯穿其中，本文从调度、分布式调度的特征展开，再对大数据调度个性化特征的一些 ...

SPSS回归分析：自动线性模型

2017-11-19

SPSS回归分析：自动线性模型 一、自动线性模型（分析-回归-自动线性建模） 1、 目标（分析-回归-自动线性建模-构建选项） 2、基本（分析-回归-自动线性建模-构建选项） 自动准备 ...

SPSS分类分析：最近邻元素分析

2017-11-15

SPSS分类分析：最近邻元素分析 一、最近邻元素分析（分析-分类-最近邻元素） 1、概念：根据个案间的相似性来对个案进行分类。类似个案相互靠近，而不同个案相互远离。因此，通过两个个案之间的距离 ...

基于大数据分析的异常检测方法及其思路实例

2017-11-05

基于大数据分析的异常检测方法及其思路实例 1 概述 随着人类社会信息化程度的不断深入，信息系统产生的数据也在呈几何级数增长。对这些数据的深入分析可以得到很多有价值的信息。由于数据量太大以及数据属性 ...

当你学会抄菜的时候，你就学会了大数据

2017-11-03

当你学会抄菜的时候，你就学会了大数据 最近在学习数仓跟BI，突然发现，结合自己所学会抄的菜。试着把学过的大数据重新理解一番，希望各位都能来一起讨论，共同进步。 走进厨房   走进厨房后，相信大 ...

大数据时代：传统BI还能走多远

2017-10-26

大数据时代：传统BI还能走多远 从事BI多年，经历了经营分析系统的大建设，大发展时期，也有幸处在大数据与传统BI系统的交替之际，因此特别来谈谈，传统BI还能走多远？ 技术为业务服务，因此这里不谈技术 ...

手机定位在大数据中的应用

2017-10-21

手机定位在大数据中的应用 巨大规模的人口流动及其在空间的重新分布，势必会引起一系列的社会经济后果，如人力资源分布的变化；对城镇建设、国土开发格局的影响；学校、医疗、交通灯公共设施配置的需求增加；传 ...

Python中常用操作字符串的函数与方法总结

2017-09-04

Python中常用操作字符串的函数与方法总结 这篇文章主要介绍了Python中常用操作字符串的函数与方法总结,包括字符串的格式化输出与拼接等基础知识,需要的朋友可以参考下 例如这样一个字符串 Python，它就是几 ...

从数据分析的角度看用户忠诚度

2017-08-30

从数据分析的角度看用户忠诚度 一、什么是用户忠诚度                        & ...

【广州友爱生物科技有限公司】招聘数据分析师

2017-08-26

【广州友爱生物科技有限公司】招聘数据分析师 本公司为支付宝签约城市服务商，服务于支付宝旗下，主要拓展当面付业务，目前核心服务区域为广州，现以合伙人制度招贤纳士，共赢未来！我们是阿里O2O的明星战队，我们是 ...

R语言的常用函数速查

2017-07-21

R语言的常用函数速查 基本 一、数据管理 vector：向量 numeric：数值型向量 logical：逻辑型向量character；字符型向量 list：列表 data.frame：数据框c：连接为向量或列表 length：求长度 subset：求子集 ...

R语言之数据管理

2017-07-08

R语言之数据管理 数据挖掘最重要的一环就是如何管理你的数据，因为原始数据一般都不能直接用来进行分析，需要对原始数据进行增加衍生变量、数据分箱、数据标准化处理；对因子型变量进行哑变量处理；数据抽样和 ...

SQL调优-表统计信息未及时更新导致查询超级慢

2017-06-19

SQL调优-表统计信息未及时更新导致查询超级慢 某日同事丢给我一个看上去复杂的查询（实际就涉及两张表，套来套去）说只是换了日期条件，但一个查询5秒出数据，一个根本查不出来。现在整理下解决过程，及涉及的 ...

大数据环境下该如何优雅地设计数据分层

2017-06-11

大数据环境下该如何优雅地设计数据分层 最近出现了好几次同样的对话场景： 问：你是做什么的？ 答：最近在搞数据仓库。 问：哦，你是传统行业的吧，我是搞大数据的。 答：...... 发个牢骚，搞大数据的 ...

为什么数据管理工作很难成功

2017-06-10

为什么数据管理工作很难成功 大数据时代的到来，大家开始将数据当成资产，数据管理的意义也越来越大，但很多企业的数据管理工作，都难言成功，为什么？首先来看下数据管理的定义： 数据管理，即对 ...