如何通俗地理解Hive的工作原理？

2023-03-23

Hive是一个基于Hadoop的数据仓库工具，可以让用户通过类SQL语言查询和分析大规模的分布式数据集。下面将介绍Hive的工作原理及其通俗易懂的解释。 首先，我们需要了解Hadoop和MapReduce的概念。Hadoop是一个开源的分 ...

大数据零基础学习

2022-11-07

虽说人生没有白走的路，新的一年来到，会的还是原来的知识，人的身价就摆在那里，无论怎么折腾，也不会拿到更好的offer。所以在年轻还有拼劲的时候多学学知识，寻找自身的不足，查漏补缺非常重要。今天小编给大家 ...

Hadoop招聘面试常见的问题和答案详解

2022-10-18

Q1.什么是 Hadoop? Hadoop 是一个开源软件框架，用于存储大量数据，并发处理/查询在具有多个商用硬件(即低成本硬件)节点的集群上的那些数据。总之，Hadoop 包括以下内容： HDFS(Hadoop Distributed File Sys ...

干货 | 你想知道的数据仓库知识，这里都有！

2020-11-19

数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrate）、稳定的（Non-Volatile）、反映历史变化的（Time Variant）数据集合，用于支持管理决 ...

大数据是什么？怎么学？这里有答案

2018-08-27

大数据是什么？怎么学？这里有答案 首先给大家介绍什么叫大数据，大数据最早是在2006年谷歌提出来的，百度给他的定义为巨量数据集合，辅相成在今天大数据技术随着互联网的发展，更加迅速的成长，小到个人，企业 ...

企业该如何做大数据的分析挖掘？这里有一份参考指南

2018-08-23

企业该如何做大数据的分析挖掘？这里有一份参考指南 现如今已经进入大数据时代，各种系统、应用、活动所产生的数据浩如烟海，数据不再仅仅是企业存储的信息，而是成为可以从中获取巨大商业价值的企业战略 ...

用机器学习检测异常点击流

2018-08-18

用机器学习检测异常点击流 本文内容是我学习ML时做的一个练手项目，描述应用机器学习的一般步骤。该项目的目标是从点击流数据中找出恶意用户的请求。点击流数据长下图这样子，包括请求时间、IP、平台等特征： ...

从三个方向去预测大数据发展的未来趋势

2018-08-17

从三个方向去预测大数据发展的未来趋势 技术的发展，让这个世界每天都在源源不断地产生数据，随着大数据概念被提出，这个技术逐渐发展成为一个行业，并被不断看好。那么大数据行业的未来发展如何？三个方向预测 ...

基于Spark的机器学习经验

2018-07-19

基于Spark的机器学习经验 如何基于spark做机器学习 Spark发展到1.5版本，算是全平台了，实时批计算，批处理，算法库，SQL，hadoop能做的，基本他都能做，而且做的比Hadoop好。 当然，这里我要提及的是，S ...

大数据的五大神话

2018-07-14

大数据的五大神话 尽管大数据正在被广泛的讨论，目前看来，其仍然是一个很大的谜一样的神话。事实上，围绕大数据的误解似乎已经达到了神话般的境界。如下便是五大神话。    1、大数据仅仅是海量 ...

什么是大数据？如何成为大数据的技术大牛

2018-07-13

什么是大数据？如何成为大数据的技术大牛 其实大数据并不是一种概念，而是一种方法论。简单来说，就是通过分析和挖掘全量的非抽样的数据辅助决策。大数据可以实现的应用可以概括为两个方向，一个是精准化定制， ...

大数据市场面面观

2018-06-21

大数据市场面面观 大数据的价值已经逐渐被用户认可。作为新概念，大数据在给一些初创公司带来机遇的同时，也为大型的传统IT厂商提出了新课题，在远未饱和的市场中如何将自身的利益最大化？因此我们看到包括甲骨 ...

大数据存储平台之异构存储实践深度解读

2018-06-09

大数据存储平台之异构存储实践深度解读 经常做数据处理的伙伴们肯定会有这样一种体会：最近一周内的数据会被经常使用到，而比如最近几周的数据使用率会有下降，每周仅仅被访问几次;在比如3月以前的数据使用率会 ...

云计算环境中的数据挖掘存储管理设计

2018-05-01

云计算环境中的数据挖掘存储管理设计 1.引言     Hadoop提供了一个基于HDFs的简单数据库HBase，它的设计思想和数据模型都与Google开发的模型简化的大规模分布式数据库BigTabIe极为相似。HBase不 ...

大数据正在改变制造过程的三种方式

2018-04-09

大数据正在改变制造过程的三种方式 如今，从电子商务和健康护理到金融科技和体育行业，大数据的应用无处不在。官方的统计数据也反映了这一观点：到2020年，全球大数据市场规模预计将超过570亿美元。 制造业 ...

大数据项目为何失败

2018-03-19

大数据项目为何失败 在大数据方面，关于内存计算以及开源Hadoop等，宝立明也发表过很多独特的见解。在厂商的发言人当中，宝立明也是为数不多能够将技术深入浅出解释清楚的人之一。他近期在DataInformed网站上发 ...

【北京天宏微网科技有限公司】招聘数据分析师

2018-03-13

【北京天宏微网科技有限公司】招聘数据分析师     职位月薪：7000-14000元/月     工作地点：北京     发布日期：最新     工作性质：全职  &nbs ...

大数据分析整体技术流程及架构

2018-03-02

大数据分析整体技术流程及架构 本文对项目中所用到的大数据分析整体流程技术及其架构进行简要的总结，以供大家在大数据分析平台对数据处理流程更加明确 1.1数据处理流程 该项目是一个纯粹的数据分析项目 ...

五种大数据处理架构

2018-03-02

五种大数据处理架构 大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限，但这种计算 ...

不同大数据分析的存储选择

2018-01-23

不同大数据分析的存储选择 近来大数据分析这个词正逐渐成为IT界流行的一个术语，以代指有关大数据本身的猜想，通俗说来即成堆数据背后问题的答案。然而，如果我们能够从足够的数据点入手比对及交叉分析，或许能 ...