Hadoop数据倾斜产生的原因是什么？如何进行处理？

2020-07-20

大数据处理时我们经常会遇到数据倾斜的问题，尤其是在数据量过大时，数据倾斜可能会导致各种各样的问题。Hadoop数据倾斜主要表现为：ruduce阶段卡在99.99%，而且是一直99.99%不能结束。 具体来说就是：mapreduc ...

数据倾斜解决优化方法有哪些？

2020-07-02

数据分析时，数据量大不可怕，可怕的是数据倾斜。当出现数据倾斜时，小量任务耗时远高于其它任务，从而使得整体耗时过大，未能充分发挥分布式系统的并行计算优势。下面小编就给大家分享几种数据倾斜优化的方法，希 ...

数据倾斜是什么，产生原因有哪些？

2020-06-30

数据倾斜是数据挖掘过程中的常见问题，尤其是在需要处理的数据量过于庞大时，我们可能会需要花费几周甚至更长时间去处理。小编今天就来跟大家分享一下数据倾斜的表现以及产生原因，希望对各位小伙伴有所帮助。 ...

千亿数据优化，如何绕过数据倾斜这头拦路虎？

2020-04-21

作者：dantezhao 前言： 数据倾斜是大数据领域绕不开的拦路虎，当你所需处理的数据量到达了上亿甚至是千亿条的时候，数据倾斜将是横在你面前一道巨大的坎。 迈的过去，将 ...

数据分析中如何处理大规模数据集？

2023-09-25

处理大规模数据集是现代数据分析中的一项重要任务。随着技术的进步，我们可以轻松地收集和存储大量数据，但是如何高效地处理这些数据仍然是一个挑战。在本文中，我将介绍一些常用的方法和技术，帮助您处理大规模数据 ...

如何优化大规模数据处理的性能？

2023-08-02

随着数据的爆炸式增长，大规模数据处理已成为许多企业和组织的关键挑战之一。高效处理海量数据不仅可以提高数据分析和决策过程的速度，还能帮助发现潜在的商业机会。本文将介绍几个优化大规模数据处理性能的关键策略 ...

如何实现高性能数据并行处理？

2023-07-06

标题：高性能数据并行处理：实现大规模数据处理的关键要素 导言： 随着数据量的不断增长，高性能数据并行处理成为了处理大规模数据的重要手段。在本文中，我们将探讨实现高性能数据并行处理的关键要素，并介绍一些常 ...

大数据工程师的必备技能有哪些

2022-11-07

1、大数据平台 目前很火，数据源头，各种炫酷新技术，搭建Hadoop、Hive、Spark、Kylin、Druid、Beam~，前提是你要懂Java，很多平台都是用Java开发的。 目前很多企业都把数据采集下来了，对于传统的业务数据 ...

谈谈那些数据人的必备技能

2017-09-03

谈谈那些数据人的必备技能 谨以此文献给对数据有热情，想长期从事此行业的年轻人，希望对你们有所启发，并快速调整思路和方向，让自己的职业生涯有更好的发展。 根据数据应用的不同阶段，我将从数据底层到最 ...

什么样的SQL引擎能挑战运营、报表、分析三位一体化？

2016-05-14

什么样的SQL引擎能挑战运营、报表、分析三位一体化？ 近几十年，企业级的IT架构最常见的是把业务运营和分析分开。业务运营系统包括ERP、CRM、安全事件管理、和企业自己开发的交易系统。 这些的核心特质是 ...

大数据市场应用与趋势调研报告

2016-02-21

大数据市场应用与趋势调研报告 大数据被认为是继信息化和互联网后整个信息革命的又一次高峰。然而，大数据不是口号，需要更多的企业付诸实践，从单调的数据中挖掘出潜在价值。 年初的一项调查曾指出，28%的 ...

数据分析面试题:如何从10亿查询词找出出现频率最高的10个?

2015-12-28

数据分析面试题:如何从10亿查询词找出出现频率最高的10个? 1． 问题描述 在大规模数据处理中，常遇到的一类问题是，在海量数据中找出出现频率最高的前K个数，或者从海量数据中找出最大的前K个数，这类问题通 ...

shuffle在Spark及Hadoop中的作用大吗？

2020-05-13

shuffle是一个能产生奇迹的地方，不管是在 Spark 还是 Hadoop 中，它们的作用都是至关重要的。 在Spark中，一般在执行reduceByKey、groupByKey、sortByKey、countByKey、join、cogroup等操作时 ...

Hadoop常见问题解答

2018-07-23

Hadoop常见问题解答 （1）Hadoop适不适用于电子政务？为什么？ 电子政务是利用互联网技术实现政府组织结构和工作流程的重组优化，建成一个精简、高效、廉洁、公平的政府运作信息服务平台。因此电子政务 ...

机器学习模型评价(Evaluating Machine Learning Models)-主要概念与陷阱

2017-07-24

机器学习模型评价(Evaluating Machine Learning Models)-主要概念与陷阱 本文主要解释一些关于机器学习模型评价的主要概念，与评价中可能会遇到的一些陷阱。如训练集-验证集二划分校验（Hold-out validation） ...

从底层到应用，那些数据人的必备技能

2017-04-13

从底层到应用，那些数据人的必备技能 谨以此文献给对数据有热情，想长期从事此行业的年轻人，希望对你们有所启发，并快速调整思路和方向，让自己的职业生涯有更好的发展。 根据数据应用的不同阶段，我将从数 ...

2016年终盘点大数据篇：跨越巅峰，迈向成熟

2017-02-19

2016年终盘点大数据篇：跨越巅峰，迈向成熟 大数据技术在2016年继续取得高速的发展，并且在大数据相关的每个细分的环节，都有不同的创新的点。让我们来看看这一年，大数据技术的一些重要进展和趋势。 大数据 ...

2015年大数据市场应用与趋势调研

2016-01-22

2015年大数据市场应用与趋势调研 即将逝去的2015年，被认为是具有跨时代意义的“大数据元年”。在这一年，数据比以往任何时候都要宝贵，甚至成为可以与石油资源相媲美的新能源，大数据被认为是继信息化和互联网 ...

开源大数据查询分析引擎现状

2015-06-04

开源大数据查询分析引擎现状 大数据查询分析是云计算中核心问题之一，自从Google在2006年之前的几篇论文奠定云计算领域基础，尤其是GFS、Map-Reduce、 Bigtable被称为云计算底层技术三大基石。GFS、Map- ...

大数据总体规划：是时候了_数据分析师培训

2015-04-10

大数据总体规划：是时候了_数据分析师培训 你的大数据战略是什么?不确定吗?你并不孤独。 　　大数据战略最常见的问题之一是很多人并不清楚何为“大数据”。他们不能明确它的意义，以及它涉及什么 ...