闲谈大数据和算法 知道这些让你受益无穷
本篇总结一下自己对大数据算法认知的过程。正文包含两部分:自己对算法的认知过程和对大数据算法的理解。
写这篇博客的原因有很多,总的来讲有下面几点:
自己在算法的路上一直懵懵懂懂,现在刚刚有了一点点头绪,赶快做个记录。
梳理清楚自己的思路,后续会有一个算法学习的一到两年的计划,这算是个引子。
谈起算法大家都只会想到经典算法和机器算法,除此之外还有很多有意思的算法,特别是为了解决大数据量问题的算法,这些很容易被忽略掉,但是我认为这才算是大数据算法。
0x01 认知过程
1. 算法没什么用
刚入坑的时候,一直以为大数据工程师就是安装一下 Hadoop,写写 MR 程序,运维一下集群就够了,虽说算法很重要,但是工作中没有什么感觉。
我在很长一段时间也抱着一种算法只是起到在面试中起到区分度作用的知识点而已。(现在想来,其实这个观点也没什么错,大部分的开发工作的确用不到自己写的算法。)
2. 经典算法的魅力
做了一段时间大数据运维后,接到了一个优化调度系统的任务,就和 Gim 老司机在一起设计重构调度系统的方案,在这个过程中复习了很多图论相关的知识点,从此开始对算法产生了极大的兴趣并一发不可收拾,随后重新学习了一遍树相关的内容,自己动手实现了什么2-3树、avl树、红黑树这些数据结构。
其实,感兴趣的一个主要原因就是发现,这些东西基本构建了我们整个的计算机体系。比如文件系统、数据库的索引,学会这些总感觉以后就不会丢饭碗了。
3. 机器学习代表了一切
再接着,机器学习一下子就火了起来,世界上只剩下了两种算法:机器学习算法和非机器学习算法。身边的朋友和同学,凡是和数据开发相关的,都称自己想转做机器学习。笔者也不能免俗,开始准备跟着浪潮走一波。但是一没场景,二是兴趣不大,当有一天我突然意识到自己在学机器学习累的时候居然想玩玩 Linux 放松心情的时候,就暂时放弃了转向机器学习的这个想法。以后我会用到它,可能还会用的很深,但是现在不会全身心地转向它。
4. 深度学习又是一波浪潮
感触最深的是在 17 年 5 月份,看到了一份招聘要求,招的 title 是人工智能平台架构师,具体的要求是除了数据平台要求的东西外加了一些深度学习平台的东西。
这时候就感到,当浪潮到来的时候,你可以不转向它,但是要包容它。所以,顺便学了一波深度的东西,入了个门,大概知道我以后需要做些什么。(半年后的今天基本已经忘完了)
5. 还有很多有趣的算法
随着工作的深入,系统在性能上遇到了很多了瓶颈,我们要做一系列的调整来应对,比如敏感信息的加密、集群文件的压缩、负载均衡策略的选择,这时候就不得不深入学习一下加密算法、压缩算法、负载均衡算法的原理。
这些算法一直都在,但是仍然可以在现在的大数据场景下发挥极大的作用。
6. 分布式算法
在这之前,我对自己从事的工作一直有一点心虚,感觉除了写写 MR,管一下集群貌似没什么技术含量太深的东西,能拿得出手的也就是各个系统的架构和对他们的熟悉程度。 后来无意间在 Mooc 发现了一门云计算原理的课,然后就对这一块产生了极大的兴趣。
随着学习的深入,发现这块的水还是相当深的,我们称这些为分布式算法,它包含了这么一大堆内容:
2PC、Gossip 这一大堆协议;DHT、Paxo、Raft 这一大堆算法、还有一些乱七八糟的原理。
这块学的还是很皮毛,后面会有详细的学习计划。
7. 大数据算法到底是什么?
在工作和学习中遇到了这么多算法,再加上一段时间的思考,我会在想,大数据的算法到底是什么样子的?
经典算法暂且不论,压缩和加密算法也一直都有。
那么机器学习呢?总感觉有些地方不对劲,应该说是机器学习是使用了大数据,但是他不是为了解决大数据的各种问题的,真正的大数据问题还要有大数据的算法来解决。
分布式算法也不完全算是,虽说大数据工程师都要用到分布式系统,但是他们解决的问题场景不太一样的。分布式算法要解决时钟、一致性问题这些问题。大数据场景的算法不太一样。
然后我们要想一下大数据场景有什么问题?
大数据场景的问题
数据量大,这是一个最明显的特点,它带来的问题就是处理这些数据成了很大的麻烦。Hadoop 是一个突破性的项目,然后在这之外我们还会有一些场景要解决。
集合中不同元素的个数, 比如独立访客(Unique Visitor,简称UV)统计,换成 Sql 来写的话就是 count(distinct user_id),假设有 1000 亿的数据放在这里,需要极快地算出来,可以允许一点点不精确,我们该怎么做?
也就是,我们在很多场景下,会在允许一定牺牲一定的准确度地情况下来快速地算出结果。这一些算法有极大的应用场景。比如 Redis 会用到 Hyperloglog 来做基数统计。
这样的一批算法,我认为算是大数据算法中的一部分,内容比较多,有专门的博客展开来专门讲,比如 Bitmap、Roaring Bitmap、Hyperloglog等。
0x02 算法技能一览
在这里做一个小总结,画一下我认为大数据工程师需要掌握、熟悉和了解的算法。很多其实在工作中都会经常遇到。
学习优先级?
关于这些算法学习的优先级该怎么判定?这个就不装x了,居士自己其实也会有不少迷茫,没办法说哪个更重要,不过如果真是要学的话可以大致有一些参考。
基础的数据结构和算法没什么好说的,属于基本功,理应具备。
其它算法里面的加密、压缩、调度这些算法,如果不是需要深入搞得话,不必急着深入学,用到了就了解一些。
分布式算法和大数据算法建议偏工程的童鞋尽早学一下,工作中写程序用不到也无所谓,早学没坏处。很多大数据组件的核心位置都有这些算法的身影。
数据挖掘相关算法,对于数据挖掘的童鞋来讲肯定是必学的,对于数据开发转到数据挖掘的童鞋来讲,如果有了比较明确的转行计划,就开始深入地学,如果是观望状态,可以先搞一些和工作相关度比较高的算法玩一玩,有项目机会也能快速上手。
0XFF 总结
有时候感觉自己写程序可能永远也不需要写什么算法,但是不得不承认,算法的思维能让自己受益无穷。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14