小白学数据分析--怎么看待数据处理
本来这算不上一篇文章,但是我仍旧写了,除了解决一个小问题还要说点其他的关于数据分析的想法,首先先解决一个小问题。
第一部分
问题描述:处理游戏帐号信息时发现有重复的帐号,比如帐号A有N个重复项,希望留下1个重复帐号,但是要把剩下N-1个删除重复帐号删除。具体的原数据(**)模拟如下:
而我们希望得到的最终处理数据格式如右侧一列(绿色)所示。针对这个处理,其实有很多方法,可以参看小蚊子的《谁说菜鸟不会数据分析》,比如使用条件筛选就能搞定,今天不谈这个方法,说说另一种思路。
首先我们对于原数据进行排序,怎么排序都OK,重要的是重复项会在一起,如下图所示:
之后我们使用IF和Exact函数嵌套使用,解决这个问题,操作如下:
增加一列,叫做标识项,并写下公式=if(exact(A2,A3),1,2),关于Exact()和if()函数的使用介绍这里不再累术,自行查阅Excel函数帮助文档就OK了,具体公式如下图显示:
这里公式的秘密和为什么不解释了,估计大家看到这里都明白了,下面我们要继续操作,解决问题,之后选中第一行,快捷键“Crtl+Shift+L”打开自动筛选功能,筛选标识项为“1”的数据,如下图:
之后,选择这几行数据,然后删除,之后打开再次打开筛选,选择全部,结果数据如下所示:
但是到了这样这一步,其实已经完成了,可是很多人还是有疑问,那些空白行怎么办啊,我们需要数据都是像最开始的那个绿色的格式最好了,这样有空白的位置不好,至于这个问题,这里不回答了,大家自己想一想,其实很简单,非常容易解决。期待大家的答案。
第二部分
这一部分,其实还是想发一些牢骚和学习数据分析的建议,作为数据分析师,首先是先把数据处理和优化工作做好,当然这之前必须要进行商业理解,把问题搞明白,才能后期把数据提取出来,进而才能借助模型、算法进行数据处理,模型发布,评估,分析,这是一个完整的CRISP-DM,数据处理优化要用去整体流程80%的时间,因此快速有效掌握数据提取,处理方法很关键,其意义不仅仅在于效率效能的提升,最关键的是锻炼思维和形成一套自己的方法。
你说的有点夸大了吧?
很多人会有这个疑问,很正常,大多数情况下,我们喜欢把数据需求明确,然后让DBA同志帮助我们取数据,解决数据处理过程,但是往往需求理解的差异,导致了后续CRISP-DM全部错误,而且相当不容易发现,所以很多时候我们要自己来做,一个DMA同时也要会一点SQL,数据量非常大时自己倒入数据库,练习一下SQL操作。
当然这是适用于那些学过计算机的人,很多DMA是没怎么学过SQL,因此就会基本上借助Excel、SPSS解决数据处理,这个时候其实非常关键,早期我喜欢拿着网上的文档或者什么宝典来解决问题,发现没用,因为你看了你也记不住,你也不会用,只有当问题摆在面前时,你才有需求,要学习,但是往往又不能找到合适的答案,所以很多人借助别人力量解决,但是解决完了,你仍旧不会,下次问题摆在你面前,你还是不会。
所以,请不要逃避问题,有问题才是你学习Excel,数据处理的最佳时期和机会,不要小看摆渡,如果你能从浩瀚的搜索中找到解决你问题的办法,这是一种能力,如果借助那个答案,你有新的更好的解决之道这就是提升了。这是一种学习能力,通过问题学习。
其二,表述问题,找到自己的习惯。在搜索上如何把自己的问题表述出来,寻找答案,这是你的本事,就像你要求助于他人解决这个问题时,你依然要别人先理解你的需求,才能解决一样,在这一个问题肯定有很多的办法来解决,但不是每个办法都适合你,但是总有一个适合你,因此找到自己解决这种问题的习惯,以后越用越好,融会贯通。
其三,你要学会排列组合。这个排列组合不是真的排列组合,其实是说,日常我们在进行数据处理时,基本上80%以上的工作只需要20%左右的函数和方法就可以搞定了,比如vlookup,sumif,countif,if,条件筛选,排序等等,这也是符合幂律分布的。所以,尽管我们面临不同的问题和需求,但是通过这些公式的嵌套,组合,最后基本上都能解决我们的数据处理和分析需求,而如何优化,组合这就是看你的能力和发挥了,难道你说这不是一种锻炼吗?DMA的工作不仅仅是对得出来分析结果进行分析,在这个过程中,你如何应对产生的一系列问题都将有助于你发散思维,解决最后的分析。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14