京公网安备 11010802034615号
经营许可证编号:京B2-20210330
由品牌娱乐网人工智能主管泰勒·福克曼
我知道你在想什么--“我当然知道怎么编码,你疯了吗?”
你每天在Jupyter笔记本上写成百上千行的代码。很明显,你可以编码。这并不像是在手工或在Excel中训练机器学习模型(尽管这是可能的)。
那我能说什么呢?
我不想告诉你,但大多数编码数据科学家都不认为是真正的编程。您正在使用编程语言作为工具来探索数据和构建模型。但是你创建的程序并不是你真正考虑的东西,只要它完成了工作。
您的代码通常很杂乱,甚至可能无法按顺序运行(多亏了笔记本)。您可能从未编写过任何单元测试,并且对如何编写好的、可重用的函数知之甚少。
但是,随着数据科学越来越多地嵌入到实际产品中,这种类型的代码将无法削减它。你不能信任糟糕的代码,把你不能信任的代码放到产品中会导致大量的技术债务和糟糕的用户体验。
“好吧,好吧,但是,我是数据科学家,不是软件工程师”,你说。我构建模型,清理代码是其他人的问题。虽然这在一些公司可能奏效,但就目前而言,我坚信更好的模式是让数据科学家学习如何编写更好的代码。你可能永远不会成为一名精英级别的软件工程师,但数据科学家可以写出可以信任的代码,并通过一些工作投入生产。
当学习如何升级代码时,从如何编写函数开始。大多数代码只是一系列函数(或潜在的类),如果您能够学会编写相当好的函数,这将大大提高您的代码质量。
您的职能至少应:
虽然有很多关于如何编写干净函数的书,但这三个项目是一个很好的开始。
你永远不应该有一个感觉它试图做的不仅仅是一件事的函数。一些迹象表明您的功能可能做得太多:
只做一件事的函数很重要,因为它使您的代码更容易理解、管理和测试(稍后将详细介绍测试)。
任何发布到生产中的函数都应该有一个文档字符串,该字符串应该描述函数的功能,给出关于输入参数的信息,并可能提供一些如何使用函数的简单示例。将来,当您有了文档化的函数时,您会感谢自己,而其他人也会更容易理解您的代码。
最后,请使用易懂和有用的变量名。太多的数据科学家对使用“a”、“a1”和“a2”这样的变量名感到很不高兴。在实验时,简短的、无用的变量名更快地键入,但在将代码投入生产时,请确保您的变量名有助于其他人理解您的代码。
数据科学家经常使用打印语句来显示正在发生的事情的信息。但是,在生产中,如果不再需要这些打印语句,则应该删除它们,或者将它们转换为日志语句。
日志记录应该是从代码中传递信息和错误的方式。Loguru是一个很好的Python库,可以让日志记录变得更加简单。它会自动处理日志记录的大部分烦人部分,感觉更像是使用打印语句。
编程中的样式指南用于使许多人更容易地处理相同的代码,但使代码看起来更像是由一个人编写的。
这有什么关系?
当您有一个一致的风格时,它使导航和理解代码变得更加容易。令人惊讶的是,当使用样式指南时,发现bug会容易得多。遵循编写代码的标准方式将使您更容易在代码和其他代码中导航。这意味着您不必花太多时间来理解代码是如何格式化的,而是可以专注于代码的功能以及它是否正确和良好地完成了它。
PEP8可能是Python使用最广泛的样式指南。不过,外面有很多。另一个流行的风格指南来源是谷歌,因为他们已经公开了他们的内部风格指南。
重要的是你选择了一个并努力坚持下去。一种简单的方法是使IDE能够检查样式错误,并设置样式检查,以便在没有遵循样式指南的情况下阻止推送代码。您还可以通过使用自动格式化程序来进一步提交,该程序将自动为您格式化代码。这些代码允许您编写任何您想要的代码,然后在运行时自动格式化您的代码以符合标准。对于Python来说,一个流行的是黑色。
我发现大多数数据科学家害怕测试,因为他们不知道如何开始测试。
事实上,许多数据科学家已经运行我称之为临时测试。我发现对于一个数据科学家来说,在他们的笔记本中快速地运行一些新功能的“理智检查”是很常见的。您通过一些简单的测试用例,并确保函数按预期运行。
软件工程师称之为过程单元测试。
然而,唯一的区别是,数据科学家通常会删除这些临时测试,然后继续前进。相反,您需要保存它们,并确保每次在推送代码之前都运行它们,以确保没有任何损坏。
要开始使用Python,我将使用Pytest。使用pytest,您可以轻松地创建测试并一次运行它们以确保它们通过。一个简单的入门方法是使用一个名为“tests”的目录,在该目录中有以“test”开头的Python文件。例如,可以使用“test_addition.py”
# content of test_addition.py def add(x, y): return x + y def test_add(): assert add(3, 2) == 5
通常,您将在另一个Python文件中拥有您的实际函数,并将其导入到您的测试模块中。您也不需要测试Python加法,但这只是一个非常简单的示例。
在这些测试模块中,您可以保存所有功能的“健全检查”。通常良好的做法是不仅测试常见情况,而且测试边缘情况和潜在错误情况。
注意:有许多不同类型的测试。我认为单元测试是数据科学家开始测试的最佳测试。
最后,但并非最不重要的,在我们的列表中,要写出更好的代码,最重要的事情是代码审查。
代码审查是指在您将代码提交给主分支之前,另一个擅长在您的域中编写代码的人对您的代码进行审查。此步骤确保遵循最佳实践,并希望捕获任何错误代码或bug。
审查您的代码的人最好至少和您一样擅长编写代码,但是即使让更初级的人审查您的代码仍然是非常有益的。
懒惰是人类特有的行为,很容易让这种懒惰潜入我们的代码中。知道有人将审查您的代码是花时间编写好代码的巨大激励。这也是我发现的最好的改进方法。让一个更有经验的同事检查您的代码并给出改进方法的建议是无价的。
为了使那些审查您的代码的人更容易,尽量减少新代码的数量。小型的、频繁的代码审查工作得很好。不经常的、巨大的代码审查是可怕的。没有人希望被发送1000行代码来审查。这些评论往往会提供更糟糕的反馈,因为这个人不能花必要的时间一次真正理解这么多代码。
我希望这篇文章启发了您花时间学习如何编写更好的代码。这不一定很难,但它需要时间和努力来提高。
如果你遵循这5条建议,我相信你会注意到你的代码质量有了很大的提高。
你未来的自己和你的同事会感谢你的。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在企业数据化运营体系中,同比、环比分析是洞察业务趋势、评估运营效果的核心手段。同比(与上年同期对比)可消除季节性波动影响 ...
2025-12-19在数字化时代,用户已成为企业竞争的核心资产,而“理解用户”则是激活这一资产的关键。用户行为分析系统(User Behavior Analys ...
2025-12-19在数字化转型的深水区,企业对数据价值的挖掘不再局限于零散的分析项目,而是转向“体系化运营”——数据治理体系作为保障数据全 ...
2025-12-19在数据科学的工具箱中,析因分析(Factor Analysis, FA)、聚类分析(Clustering Analysis)与主成分分析(Principal Component ...
2025-12-18自2017年《Attention Is All You Need》一文问世以来,Transformer模型凭借自注意力机制的强大建模能力,在NLP、CV、语音等领域 ...
2025-12-18在CDA(Certified Data Analyst)数据分析师的时间序列分析工作中,常面临这样的困惑:某电商平台月度销售额增长20%,但增长是来 ...
2025-12-18在机器学习实践中,“超小数据集”(通常指样本量从几十到几百,远小于模型参数规模)是绕不开的场景——医疗领域的罕见病数据、 ...
2025-12-17数据仓库作为企业决策分析的“数据中枢”,其价值完全依赖于数据质量——若输入的是缺失、重复、不一致的“脏数据”,后续的建模 ...
2025-12-17在CDA(Certified Data Analyst)数据分析师的日常工作中,“随时间变化的数据”无处不在——零售企业的每日销售额、互联网平台 ...
2025-12-17在休闲游戏的运营体系中,次日留存率是当之无愧的“生死线”——它不仅是衡量产品核心吸引力的首个关键指标,更直接决定了后续LT ...
2025-12-16在数字化转型浪潮中,“以用户为中心”已成为企业的核心经营理念,而用户画像则是企业洞察用户、精准决策的“核心工具”。然而, ...
2025-12-16在零售行业从“流量争夺”转向“价值深耕”的演进中,塔吉特百货(Target)以两场标志性实践树立了行业标杆——2000年后的孕妇精 ...
2025-12-15在统计学领域,二项分布与卡方检验是两个高频出现的概念,二者都常用于处理离散数据,因此常被初学者混淆。但本质上,二项分布是 ...
2025-12-15在CDA(Certified Data Analyst)数据分析师的工作链路中,“标签加工”是连接原始数据与业务应用的关键环节。企业积累的用户行 ...
2025-12-15在Python开发中,HTTP请求是与外部服务交互的核心场景——调用第三方API、对接微服务、爬取数据等都离不开它。虽然requests库已 ...
2025-12-12在数据驱动决策中,“数据波动大不大”是高频问题——零售店长关心日销售额是否稳定,工厂管理者关注产品尺寸偏差是否可控,基金 ...
2025-12-12在CDA(Certified Data Analyst)数据分析师的能力矩阵中,数据查询语言(SQL)是贯穿工作全流程的“核心工具”。无论是从数据库 ...
2025-12-12很多小伙伴都在问CDA考试的问题,以下是结合 2025 年最新政策与行业动态更新的 CDA 数据分析师认证考试 Q&A,覆盖考试内容、报考 ...
2025-12-11在Excel数据可视化中,柱形图因直观展示数据差异的优势被广泛使用,而背景色设置绝非简单的“换颜色”——合理的背景色能突出核 ...
2025-12-11在科研实验、商业分析或医学研究中,我们常需要判断“两组数据的差异是真实存在,还是偶然波动”——比如“新降压药的效果是否优 ...
2025-12-11