大数据的初期大家都在拼什么?拼集群规模,节点数量,拼存储能力,拼调度能力。此时企业展示技术能力的时候一般都会强调什么集群规模过万,存储能力过百P,每天执行数十万的job。
在大数据初期,人们基本不太在意,数据的存储成本,执行性能和响应速度。更在意的的是构建初始的大数据环境,让数据更大,以及对大数据的掌控能力。
随着这方面的技术越来越成熟,人们会对数据的时效性,查询响应时间要求越来越高。在这个时期出现了许多预处理技术,比方说storm,hbase等,以及一些对性能优化的一些处理方法比如说基于嵌套列存储技术的google dremel,apache drill,impala等,但这些仅仅能在某一领域满足人们的时效性要求,通用性不强,只能说是预处理技术和列存储,并不能满足通用的低延迟的即席查询要求。
目前开源的mdrill技术以及腾讯自主研发的hermer目前的索引的索引量只能达到千亿规模,万亿规模以上的成功案例还没有,纠其原因有两点
其一是索引存储在本地硬盘,他对容灾,异常的恢复的处理逻辑,进程异常后的任务迁移成本制约了其索引规模的大小。
其二是受限其调度系统的实现,管理的事情太多,既要管理索引,又要管理心跳,也要维护容灾,导致调度系统的机器规模上不来。
索引管理,容灾心跳管理,计算资源管理三者将来必须分离。否则万亿以上的目标别想。
其三内嵌过多的来源代码,比如说jstorm,solr等等,他们的架构制约了拓展性。
随着yarn技术的趋于成熟以及在hdfs中的索引技术的成熟和性能的提升,低延迟的万亿规模的索引技术有了希望。
第一,yarn分配的资源不在像之前那样还要维护索引状态,存储位置,仅仅负责对索引的检索和写入,单独的索引管理将以服务的形式独立出来,yarn的资源不在固定的处理某个索引,而是听从索引管理服务的安排。这样的放权也给外部更多的灵活的空间
第二,索引与editlog直接存放在hdfs,容灾交给成熟的hdfs去管理,也不要再说索引在hdfs中性能差了,那是过去,现在性能还是不错的。
第三,独立的索引管理,让索引更灵活。
将索引从原有的进程中抽出,每个进程可以处理多个索引,提升进程的利用率。单独的索引管理,针对不同的业务,更容易灵活的变通。
第四,基于这个版本的大索引不在像之前单独对外提供服务,会更加的开放,对外提供了很多拓展功能,现有的hive以及spark可以很方便的通过类似 inputformat的方式直接使用大索引。同时可以方便的将hdfs,hbase,hive,实时的消息队列比如说kafka,metaq等系统方便的导入导出。
试想下,spark在利用上这个大索引后,一个几万亿的数据,几秒钟就返回结果,而且还支持了很多的复杂查询,是不是很值得期待呢。
同志们,我们尝试的已经够多,是时候开启新的大索引技术之路,求更多的战友组队。
“梦想还是要有的”,大索引未来我看好你哦。(文章来源:CDA数据分析师)
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14