数据科学和机器学习可以以不同程度的效率和生产力进行实践。无论应用领域或专业，数据科学家--初学者或经验丰富的专业人员--都应努力提高他/她在典型数据科学任务的所有方面的效率,

• 统计分析，
• 可视化，
• 模型选择，特征工程，
• 代码质量测试，模块化，
• 并行处理，
• 轻松的Web应用程序部署

这意味着执行所有这些任务，

• 以较高的速度
• 通过更快的调试
• 以同步的方式
• 通过充分利用任何和所有可用的硬件资源

在这个过程中你应该期望学到什么？

让我们假设有人正在教授“生产性数据科学”课程或写一本关于它的书--使用Python作为语言框架。对这样一门课程或一本书的典型期望应该是什么？

本课程/书应该面向那些希望超越执行数据科学和机器学习任务的标准方式并利用Python数据科学生态系统的全部范围以获得更高生产力水平的人。

应该教读者如何在标准流程中寻找低效和瓶颈，以及如何跳出框框思考。

重复性数据科学任务的自动化是阅读本书的读者将培养的一个关键心态。在许多情况下，他们还将学习如何扩展现有的编码实践，以便在Python生态系统中已经存在但在任何标准数据科学中都没有教授的高级软件工具的帮助下高效率地处理更大的数据集。

这不应该是一个常规的Python烹饪书教学标准库，如Numpy或Pandas。

相反，它应该关注一些有用的技术，比如如何测量ML模型的内存占用和执行速度、质量测试数据科学管道、模块化应用程序开发的数据科学管道，等等。它还应该包括Python库，这些库非常适合于自动化和加速任何数据科学家的日常任务。

此外，它应该涉及帮助数据科学家处理大型复杂数据集的工具和包，而不是遵循标准的Python数据科学技术智慧。

一些需要掌握的具体技巧

为了把事情具体化，让我们总结一些学习和实践生产性数据科学需要掌握的具体技能。我也尝试着加入一些有代表性的文章的链接，作为每一项技能的参考。

1. 如何为data Science/ML编写快速高效的代码，以及如何度量它们的速度和效率(参见本文)
2. 如何构建模块化的、有表现力的数据科学管道以提高生产率(参见本文)
3. 如何为数据科学和ML模型编写测试模块(参见本文)
4. 如何有效地处理大型和复杂的数据集（这在传统的DS工具中是很困难的）
5. 如何充分利用GPU和多核处理器来完成各种数据科学和分析任务，而不仅仅是专门的深度学习建模(参见本文)
6. 如何为data Science/ML思想或模型调优的演示开发快速GUI应用程序(请参阅本文)，或者如何在应用程序级别轻松（快速）部署ML模型和数据分析代码(请参阅本文)

一本关于这个主题的理想的书将…

1. 教授如何在标准数据科学代码中查找低效和瓶颈以及如何跳出框框来解决这些问题。
2. 教授如何编写模块化、高效的数据分析和机器学习代码，以提高多种情况下的生产力--探索性数据分析、可视化、深度学习等。
3. 涵盖范围广泛的附带主题，如软件测试、模块开发、GUI编程、ML模型部署作为web-app，这些对于初露头角的数据科学家来说是非常宝贵的技能，在任何一本标准的数据科学书籍中都很难找到。
4. 包括并行计算（例如DASK、Ray)、可伸缩性（例如VAEX、Modin)和GPU驱动的数据科学堆栈(Rapids)。
5. 向读者展示并引导他们了解数据科学工具的更大且不断扩展的Python生态系统，这些工具与软件工程和生产级部署的更广泛方面相联系。

一个具体的例子：GPU驱动的分布式数据科学

虽然GPU和分布式计算的使用在学术界和企业界被广泛讨论用于核心AI/ML任务，但他们发现它们在常规数据科学和数据工程任务中的应用很少覆盖。然而，使用GPU进行常规的日常统计分析或其他数据科学任务将大大有助于成为众所周知的“高效数据科学家”。

例如，theRAPIDS软件库套件和Apis让您--一个普通的数据科学家（不一定是深度学习从业者）--可以选择和灵活地完全在GPU上执行端到端数据科学和分析管道。

即使使用一个普通的GPU，这些库在速度上也比普通的Python库有了显著的提高。当然，对于生产性数据科学工作流，我们应该尽可能地采用这些方法。

类似地，有极好的开源机会可以超越Python语言的单核特性的限制，在不偏离典型的数据科学家角色的情况下接受并行计算范例。

摘要

我们讨论了生产性数据科学工作流的实用程序和核心组件。我们想像一个关于这个主题的理想课程或书籍会给读者提供什么。我们提到了一些具体的例子，并说明了这些好处。在要掌握的技能的上下文中还提供了一些相关的资源。

您可以查看作者的GitHub存储库以获取机器学习和数据科学方面的代码、思想和资源。如果你和我一样，对人工智能/机器学习/数据科学充满热情，请在LinkedIn上添加我或在Twitter上关注我。