
由品牌娱乐网人工智能主管泰勒·福克曼
我知道你在想什么--“我当然知道怎么编码,你疯了吗?”
你每天在Jupyter笔记本上写成百上千行的代码。很明显,你可以编码。这并不像是在手工或在Excel中训练机器学习模型(尽管这是可能的)。
那我能说什么呢?
我不想告诉你,但大多数编码数据科学家都不认为是真正的编程。您正在使用编程语言作为工具来探索数据和构建模型。但是你创建的程序并不是你真正考虑的东西,只要它完成了工作。
您的代码通常很杂乱,甚至可能无法按顺序运行(多亏了笔记本)。您可能从未编写过任何单元测试,并且对如何编写好的、可重用的函数知之甚少。
但是,随着数据科学越来越多地嵌入到实际产品中,这种类型的代码将无法削减它。你不能信任糟糕的代码,把你不能信任的代码放到产品中会导致大量的技术债务和糟糕的用户体验。
“好吧,好吧,但是,我是数据科学家,不是软件工程师”,你说。我构建模型,清理代码是其他人的问题。虽然这在一些公司可能奏效,但就目前而言,我坚信更好的模式是让数据科学家学习如何编写更好的代码。你可能永远不会成为一名精英级别的软件工程师,但数据科学家可以写出可以信任的代码,并通过一些工作投入生产。
当学习如何升级代码时,从如何编写函数开始。大多数代码只是一系列函数(或潜在的类),如果您能够学会编写相当好的函数,这将大大提高您的代码质量。
您的职能至少应:
虽然有很多关于如何编写干净函数的书,但这三个项目是一个很好的开始。
你永远不应该有一个感觉它试图做的不仅仅是一件事的函数。一些迹象表明您的功能可能做得太多:
只做一件事的函数很重要,因为它使您的代码更容易理解、管理和测试(稍后将详细介绍测试)。
任何发布到生产中的函数都应该有一个文档字符串,该字符串应该描述函数的功能,给出关于输入参数的信息,并可能提供一些如何使用函数的简单示例。将来,当您有了文档化的函数时,您会感谢自己,而其他人也会更容易理解您的代码。
最后,请使用易懂和有用的变量名。太多的数据科学家对使用“a”、“a1”和“a2”这样的变量名感到很不高兴。在实验时,简短的、无用的变量名更快地键入,但在将代码投入生产时,请确保您的变量名有助于其他人理解您的代码。
数据科学家经常使用打印语句来显示正在发生的事情的信息。但是,在生产中,如果不再需要这些打印语句,则应该删除它们,或者将它们转换为日志语句。
日志记录应该是从代码中传递信息和错误的方式。Loguru是一个很好的Python库,可以让日志记录变得更加简单。它会自动处理日志记录的大部分烦人部分,感觉更像是使用打印语句。
编程中的样式指南用于使许多人更容易地处理相同的代码,但使代码看起来更像是由一个人编写的。
这有什么关系?
当您有一个一致的风格时,它使导航和理解代码变得更加容易。令人惊讶的是,当使用样式指南时,发现bug会容易得多。遵循编写代码的标准方式将使您更容易在代码和其他代码中导航。这意味着您不必花太多时间来理解代码是如何格式化的,而是可以专注于代码的功能以及它是否正确和良好地完成了它。
PEP8可能是Python使用最广泛的样式指南。不过,外面有很多。另一个流行的风格指南来源是谷歌,因为他们已经公开了他们的内部风格指南。
重要的是你选择了一个并努力坚持下去。一种简单的方法是使IDE能够检查样式错误,并设置样式检查,以便在没有遵循样式指南的情况下阻止推送代码。您还可以通过使用自动格式化程序来进一步提交,该程序将自动为您格式化代码。这些代码允许您编写任何您想要的代码,然后在运行时自动格式化您的代码以符合标准。对于Python来说,一个流行的是黑色。
我发现大多数数据科学家害怕测试,因为他们不知道如何开始测试。
事实上,许多数据科学家已经运行我称之为临时测试。我发现对于一个数据科学家来说,在他们的笔记本中快速地运行一些新功能的“理智检查”是很常见的。您通过一些简单的测试用例,并确保函数按预期运行。
软件工程师称之为过程单元测试。
然而,唯一的区别是,数据科学家通常会删除这些临时测试,然后继续前进。相反,您需要保存它们,并确保每次在推送代码之前都运行它们,以确保没有任何损坏。
要开始使用Python,我将使用Pytest。使用pytest,您可以轻松地创建测试并一次运行它们以确保它们通过。一个简单的入门方法是使用一个名为“tests”的目录,在该目录中有以“test”开头的Python文件。例如,可以使用“test_addition.py”
# content of test_addition.py def add(x, y): return x + y def test_add(): assert add(3, 2) == 5
通常,您将在另一个Python文件中拥有您的实际函数,并将其导入到您的测试模块中。您也不需要测试Python加法,但这只是一个非常简单的示例。
在这些测试模块中,您可以保存所有功能的“健全检查”。通常良好的做法是不仅测试常见情况,而且测试边缘情况和潜在错误情况。
注意:有许多不同类型的测试。我认为单元测试是数据科学家开始测试的最佳测试。
最后,但并非最不重要的,在我们的列表中,要写出更好的代码,最重要的事情是代码审查。
代码审查是指在您将代码提交给主分支之前,另一个擅长在您的域中编写代码的人对您的代码进行审查。此步骤确保遵循最佳实践,并希望捕获任何错误代码或bug。
审查您的代码的人最好至少和您一样擅长编写代码,但是即使让更初级的人审查您的代码仍然是非常有益的。
懒惰是人类特有的行为,很容易让这种懒惰潜入我们的代码中。知道有人将审查您的代码是花时间编写好代码的巨大激励。这也是我发现的最好的改进方法。让一个更有经验的同事检查您的代码并给出改进方法的建议是无价的。
为了使那些审查您的代码的人更容易,尽量减少新代码的数量。小型的、频繁的代码审查工作得很好。不经常的、巨大的代码审查是可怕的。没有人希望被发送1000行代码来审查。这些评论往往会提供更糟糕的反馈,因为这个人不能花必要的时间一次真正理解这么多代码。
我希望这篇文章启发了您花时间学习如何编写更好的代码。这不一定很难,但它需要时间和努力来提高。
如果你遵循这5条建议,我相信你会注意到你的代码质量有了很大的提高。
你未来的自己和你的同事会感谢你的。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
剖析 CDA 数据分析师考试题型:解锁高效备考与答题策略 CDA(Certified Data Analyst)数据分析师考试作为衡量数据专业能力的 ...
2025-07-04SQL Server 字符串截取转日期:解锁数据处理的关键技能 在数据处理与分析工作中,数据格式的规范性是保证后续分析准确性的基础 ...
2025-07-04CDA 数据分析师视角:从数据迷雾中探寻商业真相 在数字化浪潮席卷全球的今天,数据已成为企业决策的核心驱动力,CDA(Certifie ...
2025-07-04CDA 数据分析师:开启数据职业发展新征程 在数据成为核心生产要素的今天,数据分析师的职业价值愈发凸显。CDA(Certified D ...
2025-07-03从招聘要求看数据分析师的能力素养与职业发展 在数字化浪潮席卷全球的当下,数据已成为企业的核心资产,数据分析师岗位也随 ...
2025-07-03Power BI 中如何控制过滤器选择项目数并在超限时报错 引言 在使用 Power BI 进行数据可视化和分析的过程中,对过滤器的有 ...
2025-07-03把握 CDA 考试时间,开启数据分析职业之路 在数字化转型的时代浪潮下,数据已成为企业决策的核心驱动力。CDA(Certified Da ...
2025-07-02CDA 证书:银行招聘中的 “黄金通行证” 在金融科技飞速发展的当下,银行正加速向数字化、智能化转型,海量数据成为银行精准 ...
2025-07-02探索最优回归方程:数据背后的精准预测密码 在数据分析和统计学的广阔领域中,回归分析是揭示变量之间关系的重要工具,而回 ...
2025-07-02CDA 数据分析师报考条件全解析:开启数据洞察之旅 在当今数字化浪潮席卷全球的时代,数据已成为企业乃至整个社会发展的核心驱 ...
2025-07-01深入解析 SQL 中 CASE 语句条件的执行顺序 在 SQL 编程领域,CASE语句是实现条件逻辑判断、数据转换与分类的重要工 ...
2025-07-01SPSS 中计算三个变量交集的详细指南 在数据分析领域,挖掘变量之间的潜在关系是获取有价值信息的关键步骤。当我们需要探究 ...
2025-07-01CDA 数据分析师:就业前景广阔的新兴职业 在当今数字化时代,数据已成为企业和组织决策的重要依据。数据分析师作为负责收集 ...
2025-06-30探秘卷积层:为何一个卷积层需要两个卷积核 在深度学习的世界里,卷积神经网络(CNN)凭借其强大的特征提取能力 ...
2025-06-30探索 CDA 数据分析师在线课程:开启数据洞察之旅 在数字化浪潮席卷全球的当下,数据已成为企业决策、创新与发展的核心驱 ...
2025-06-303D VLA新范式!CVPR冠军方案BridgeVLA,真机性能提升32% 编辑:LRST 【新智元导读】中科院自动化所提出BridgeVLA模型,通过将 ...
2025-06-30LSTM 为何会产生误差?深入剖析其背后的原因 在深度学习领域,LSTM(Long Short-Term Memory)网络凭借其独特的记忆单元设 ...
2025-06-27LLM进入拖拽时代!只靠Prompt几秒定制大模型,效率飙升12000倍 【新智元导读】最近,来自NUS、UT Austin等机构的研究人员创新 ...
2025-06-27探秘 z-score:数据分析中的标准化利器 在数据的海洋中,面对形态各异、尺度不同的数据,如何找到一个通用的标准来衡量数据 ...
2025-06-26Excel 中为不同柱形设置独立背景(按数据分区)的方法详解 在数据分析与可视化呈现过程中,Excel 柱形图是展示数据的常用工 ...
2025-06-26