在软件开发、信息安全和数据分析的长期职业生涯中,我观察到,除非得到非常好的管理,否则大型、复杂和压倒性的项目可能无法满足风险承担者的需求。相比之下,我参与的大多数成功的数据分析项目在范围、规模、团队规模和时间表上都很小。它们通常需要几天、几周或几个月的时间来完成,而不是需要几年的时间,并且通常满足最终用户的需求。
健全的管理、敏捷实践、熟练的实践者、强大的工具、标准和指导方针可以结合起来创建一个数据分析生态系统,从而导致短的项目生命周期和有用的解决方案。以下各节描述了我的团队开发并成功利用的一些组织、项目和数据分析属性和技术。当我们在大型企业的风险管理和内部审计功能中构建数据分析程序时,您也可以将这些技术应用到您的工作环境中。
在我从事软件开发和数据分析的34年中,我观察到了许多管理和领导风格,有好的也有坏的。我最近在与一位经理一起工作时茁壮成长,这位经理创建了一个框架,并指导我们的团队在一家大型企业中建立了一个成功的部门数据分析程序。根据经验和观察,以下是他和其他模范领导者为帮助个人、团队和项目取得成功而发挥的一些属性和行动:
几年前,我参加了一个数据分析会议,会上一位演讲者描述了她作为数据科学家所需的一些技能。她说,要有效地完成工作,需要200多项技能。事实上,创建成功的数据分析解决方案需要分析师具备许多才能。要雇用和培养具备所需技能和知识的分析师,您和您的管理层可以考虑以下步骤:
大型团队的复杂项目可能会陷入困境,除非经过专业的管理。试图保持每个项目的规模和范围较小,并将团队的规模限制在一到三个最终用户和一个首席数据分析师,这可能有助于项目的成功。团队可以将数据分析师添加到复杂的项目中,这将从分工或互补技能中受益。对于大型或复杂的项目,您可能希望指派一名项目经理与团队一起工作,以确定和管理任务、时间表、风险和问题。最后,在需要的时候,在项目的业务领域中寻找主题专家。
项目团队,尤其是在软件开发中,经常将敏捷开发方法,如Scrum或看板,应用到他们的项目中,以组织任务并快速移动。我的团队有效地使用了在Microsoft OneNote中开发的看板板,以便在频繁的即席会议上在团队和经理之间跟踪和交流任务。它由一页上的三栏组成。每个任务在开始时从准备工作转移到工作中,在完成时从工作中转移到完成。
在整个项目生命周期中与最终用户、队友和经理的对话对于建立和坚持其商定的和简明的范围、目标和时间表至关重要。通过保持项目紧凑,我成功地完成了一周到三个月的项目。
如果一个项目很大很复杂,可以考虑把它分成一些较小的子项目,每个子项目都有有限的范围、目标和时间表。
一些研究人员发现,当多任务处理时,人类的表现会受到影响。给个人分配大量的项目或任务可能会适得其反。此外,虽然技能和任务多样性是可以提高个人满意度和绩效的工作组成部分(见工作特征理论),但分配给员工的项目或任务的数量应该合理,以允许员工成功并完成所有这些项目或任务。
在一个运作良好的团队中工作可以提供许多好处,例如:
有效的团队合作的好处是毫无疑问的。另一方面,某些类型的工作,如数据分析、编程和写作,通常最好由半自主工作的个人完成,通常由团队成员提供输入。他们的工作需要专注和有限的干扰。
数据分析员应该为自己配备强大的、多功能的数据分析工具,以满足他们的需求。通过这种方法,分析人员可以利用每个工具的特性并开发能力和最佳实践。以下各节描述了我的当前团队在其数据分析项目中使用的每个软件包。
AlteryX Designer-根据AlteryX的网站,设计器可以用来“自动化分析的每一步,包括数据准备、混合、报告、预测分析和数据科学。”虽然单用户许可成本数千美元,但它是一个强大的数据分析和数据科学工具。我的团队使用它来创建和运行输入数据、转换和准备数据以及以多种格式输出数据的工作流。分析人员使用它快速、轻松地创建功能强大、运行迅速的工作流。
Tableau-Tableau软件创建了一个强大的,也许是最流行的商业智能和数据可视化平台。我的团队使用Tableau Desktop连接到数据源并开发可视化工作表和仪表板。然后,我们将可视化发布到Tableau服务器,终端用户在那里查看并与它们交互。
Python-Python是一种用户友好且功能强大的编程语言,深受数据分析师和数据科学家的欢迎。与数据科学家中流行的以统计数据为中心的R语言不同,Python是一种通用语言。它是自由和容易学习。分析人员可以使用免费的库来扩展Python的功能,比如NumPyandTensorFlow。
SQL-结构化查询语言(SQL)是用于实现、操作和查询存储在关系数据库管理系统(RDBMS)中的结构化数据的标准语言。它包括多个子语言。通过其数据查询语言(DQL),分析人员可以从数据库表中查询和检索数据。RDMS数据库存储了世界各地企业的大量数据集。
Microsoft SQL Server Management Studio(SSMS)-SSMS是Microsoft的集成开发环境(IDE),用于管理和查询在其SQL Server RDBMS中实现的数据库。我使用SSMS创建和运行SQL代码来查询包含所需数据的数据库。
Rapid SQL-Rapid SQL是一种类似SSMS的IDE,用于开发SQL查询以访问存储在Oracle、SQL Server、DB2和SAP Sybase数据库中的数据。我使用快速SQL从DB2或Oracle数据库中获取数据。
Microsoft Visual Studio-Visual Studio是Microsoft的旗舰集成开发环境(IDE)。我使用Visual Studio Professional创建用Python和其他编程语言编写的应用程序。它的编辑器功能强大,带有颜色编码的语法。Visual Studio Community 2019是IDE的免费版本,可以满足您的需求。来自Microsoft的Visual Studio代码(VS Code)是另一种受程序员和数据分析师欢迎的免费IDE。
Microsoft Excel-Excel当然是一个无处不在、有用、功能强大、有时是不可或缺的工具。我使用Excel工作簿作为项目数据源和输出来创建小型数据集,执行必要的数据清理和计算,等等。像Excel这样的电子表格应用程序是任何数据分析或数据科学商店中的重要工具。
在数据分析项目中应用简明的标准和指导方针可以提高工作产品的生产率、维护和共享。以下是指导我工作的标准和指导方针。
命名标准-如何将文件夹、文件、数据库表、列和字段等项标准化,以便于一致地命名它们,并在许多产品的集合中查找工作产品。
文件夹结构标准和模板-对所有项目使用标准文件夹结构可以轻松设置新项目和查找文件夹和文件。我的团队使用以下文件夹结构模板来组织和存储所有数据分析项目的工作产品:
文件夹结构根据每个项目的需要展开和收缩。
编码标准-编码标准适用于编程,就像语法适用于英语散文一样。它们帮助我们清晰一致地组织和传达思想。我工作过的数据分析和软件开发团队从文档化的编码约定中受益。在项目中应用这些标准可以使每个代码模块的原始编码器更容易编写,任何团队成员也更容易阅读、理解、增强和维护。下面是我的团队用来指导其工作的一些编码标准的描述。
可视化样式指南-虽然编码标准可以帮助程序员理解、编写和维护代码,但可视化样式指南可以帮助数据分析师开发一致、有用和有意义的可视化。它们还可以通过提供一致的、设计良好的、易于理解的和用户友好的可视化,使数据分析项目的最终用户受益。以下是我的团队采用的一些视觉风格指南。
建立一个有效的数据分析团队并不容易,它定期构建和交付数据分析解决方案,为最终用户提供洞察力并帮助他们做出决策。但是,应用我在软件开发和数据分析的长期职业生涯中所学到、采用和开发的一些经验教训和有效实践可能会帮助您取得成功。
数据分析咨询请扫描二维码
CDA持证人已遍布在世界范围各行各业,包括世界500强企业、顶尖科技独角兽、大型金融机构、国企事业单位、国家行政机关等等,“CDA数据分析师”人才队伍遵守着CDA职业道德准则,发挥着专业技能,已成为支撑科技发展的核心力量。 ...
2022-03-18CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01