贡献#
本项目是社区共同努力的成果,由来自世界各地的众多贡献者共同塑造。有关 scikit-learn 的历史和人员的更多信息,请参阅关于我们。它托管在 scikit-learn/scikit-learn。scikit-learn 的决策过程和治理结构在Scikit-learn 治理和决策中列出。
Scikit-learn 在添加新算法和功能时是有选择的。这意味着贡献和帮助项目的最佳方式是开始处理已知问题。请参阅贡献方式,了解如何做出有意义的贡献。
贡献方式#
有许多方式可以为 scikit-learn 做出贡献。其中包括
在您的博客和文章中引用 scikit-learn,从您的网站链接到它,或者只是给它点星以表示“我使用它”;这有助于我们推广项目
通过提交问题报告在使用此包时遇到的困难,并为您认为相关的其他用户报告的问题“点赞”(详见提交错误报告或功能请求)
改进文档
代码贡献
有许多无需编写代码即可贡献的方式,我们对这些贡献的重视程度与代码贡献同样高。如果您有兴趣进行代码贡献,请记住,scikit-learn 自 2007 年成立以来已发展成为一个成熟而复杂的项目。为项目代码做出贡献通常需要高级技能,如果您是开源贡献新手,这可能不是一个好的起点。在这种情况下,我们建议您遵循新贡献者中的建议。
新贡献者#
我们建议新贡献者从阅读本贡献指南开始,特别是贡献方式、自动化贡献策略。
接下来,我们建议新贡献者通过以下方式获取 scikit-learn 和开源的基础知识
-
确认报告的问题可以重现并提供最小可重现代码(如果缺失),这可以帮助您了解不同的用例和用户需求
调查问题的根本原因将帮助您熟悉 scikit-learn 代码库
审查其他开发者的拉取请求将帮助您了解贡献的要求和期望质量
改进文档可以帮助您加深对模型和函数背后的统计概念以及 scikit-learn API 的了解
如果您在建立基础知识后希望进行代码贡献,我们建议您从寻找您感兴趣的问题开始,该问题位于您作为用户已经熟悉或具有背景知识的领域。我们建议从小型的拉取请求开始,并遵循我们的拉取请求清单。有关处理哪些问题和停滞的 PR 的预期礼仪,请阅读停滞的拉取请求、停滞和未认领的问题以及标记为“Needs Triage”的问题。
我们很少使用“good first issue”标签,因为很难对新贡献者做出假设,而且这些问题通常比最初预期的更复杂。尽管如此,检查是否有“good first issues”仍然很有用,但请注意,根据您之前的经验,解决这些问题可能仍然很耗时。
对于经验丰富的 scikit-learn 贡献者,标记为“Easy”的问题可能是一个很好的入手点。
自动化贡献策略#
向 scikit-learn 贡献需要人工判断、上下文理解以及熟悉 scikit-learn 的结构和目标。它不适合 AI 工具的自动化处理。
请勿提交由完全自动化工具生成的问题或拉取请求。维护者保留自行决定关闭此类提交并阻止任何负责它们的账户的权利。
在以您的名义提交由 AI 工具进行的所有代码或文档更改之前,请审查它们,并确保您理解所有更改并能根据请求进行解释。请勿提交您未亲自审查、理解和测试的任何 AI 生成代码,因为这会浪费维护者的时间。
请勿在问题、PR 或评论的描述中粘贴 AI 生成的文本,因为这会使审阅者更难评估您的贡献。如果您不是英语母语者,我们很乐意将其用于改进语法。
如果您使用了 AI 工具,请在您的 PR 描述中说明。
违反此策略的 PR 将在未经审查的情况下关闭。
提交错误报告或功能请求#
我们使用 GitHub Issues 来跟踪所有错误和功能请求;如果您发现错误或希望实现某个功能,请随时提出问题。
如果您在使用此包时遇到问题,请随时向错误跟踪器提交工单。也欢迎您发布功能请求或拉取请求。
建议您在提交之前检查您的问题是否符合以下规则
如果您正在提交算法或功能请求,请验证该算法是否满足我们的新算法要求。
如果您正在提交错误报告,我们强烈建议您遵循如何提交好的错误报告中的指南。
当功能请求涉及 API 原则更改或依赖项或支持版本更改时,必须由SLEP支持,该 SLEP 必须作为拉取请求提交到增强提案,使用SLEP 模板,并遵循Scikit-learn 治理和决策中概述的决策过程。
如何提交好的错误报告#
当您向GitHub提交问题时,请尽力遵循这些指南!这将使我们更容易为您提供良好的反馈。
理想的错误报告包含一个简短的可重现代码片段,这样任何人都可以轻松重现错误。如果您的片段超过大约 50 行,请链接到Gist或 GitHub 仓库。
如果无法包含可重现的代码片段,请具体说明涉及哪些 **估计器和/或函数以及数据的形状**。
如果发生异常,请**提供完整的堆栈跟踪**。
请包括您的**操作系统类型和版本号**,以及您的**Python、scikit-learn、numpy 和 scipy 版本**。此信息可以通过运行以下命令找到
python -c "import sklearn; sklearn.show_versions()"请确保所有**代码片段和错误消息都采用适当的代码块格式**。有关详细信息,请参阅创建和突出显示代码块。
如果您想帮助整理问题,请阅读有关错误分类和问题整理的内容。
贡献代码和文档#
贡献 scikit-learn 的首选方式是分叉 GitHub 上的主仓库,然后提交“拉取请求”(PR)。
要开始,您需要
如果您想贡献文档,请确保您在提交 PR 之前能够在本地构建它。
注意
为了避免重复工作,强烈建议您搜索问题跟踪器和PR 列表。如果对重复工作有疑问,或者如果您想处理非平凡功能,建议您首先在问题跟踪器中提出问题,以获取核心开发者的反馈。
找到要处理的问题的一个简单方法是在搜索中应用“help wanted”标签。这列出了所有尚未认领的问题。如果您想处理此类问题,请留言说明您计划如何解决,然后开始处理。如果在过去 2-3 周内,其他人已经表示他们将处理该问题,请让他们完成工作,否则将其视为停滞,并接手。
为了保持代码库的质量并简化审查过程,任何贡献都必须符合项目的编码指南,特别是
不要修改不相关的行,以使 PR 专注于其描述或问题中说明的范围。
只编写有价值的内联注释,避免说明显而易见的事情:解释“为什么”而不是“是什么”。
**最重要的是**:不要贡献您不理解的代码。
开发工作流#
接下来的步骤描述了修改代码和提交 PR 的过程
将您的
main分支与upstream/main分支同步,更多详细信息请参阅 GitHub 文档git checkout main git fetch upstream git merge upstream/main
创建一个功能分支来保存您的开发更改
git checkout -b my_feature并开始进行更改。始终使用功能分支。永远不要在
main分支上工作是好习惯!在您的计算机上,使用 Git 进行版本控制,在您的功能分支上开发功能。编辑完成后,使用
git add添加更改的文件,然后使用git commitgit add modified_files git commit
注意
pre-commit 在您执行
git commit时可能会自动重新格式化您的代码。发生这种情况时,您需要再次执行git add,然后执行git commit。在某些更罕见的情况下,您可能需要手动修复问题,使用错误消息找出需要更改的内容,然后执行git add,然后执行git commit,直到提交成功。然后使用以下命令将更改推送到您的 GitHub 账户
git push -u origin my_feature按照这些说明从您的 fork 创建拉取请求。这将向潜在的审阅者发送通知。如果您的拉取请求在几天后没有收到关注(尽管不保证即时回复),您可能需要考虑向discord的开发频道发送消息以获得更多可见性。
保持您的本地功能分支与 scikit-learn 主仓库的最新更改同步通常很有帮助
git fetch upstream
git merge upstream/main
随后,您可能需要解决冲突。您可以参考有关使用命令行解决合并冲突的 Git 文档。
拉取请求清单#
在 PR 合并之前,需要得到两名核心开发人员的批准。不完整的贡献——您预期在收到完整审查之前还需要做更多工作——应标记为草稿拉取请求,并在成熟时更改为“准备审查”。草稿 PR 可能有助于:表明您正在进行某项工作以避免重复工作,请求对功能或 API 进行广泛审查,或寻求协作者。草稿 PR 通常受益于在 PR 描述中包含任务列表。
为了简化审查过程,我们建议您的贡献在标记 PR 为“准备审查”之前符合以下规则。**加粗**的规则尤其重要
**为您的拉取请求提供一个有用的标题**,总结您的贡献内容。这个标题在合并后通常会成为提交消息,因此它应该为后代总结您的贡献。在某些情况下,“修复
”就足够了。“修复 # ”绝不是一个好标题。 **确保您的代码通过测试**。整个测试套件可以使用
pytest运行,但通常不建议这样做,因为它需要很长时间。通常只运行与您的更改相关的测试就足够了:例如,如果您更改了sklearn/linear_model/_logistic.py中的某些内容,运行以下命令通常就足够了pytest sklearn/linear_model/_logistic.py以确保 doctest 示例正确pytest sklearn/linear_model/tests/test_logistic.py运行特定于该文件的测试pytest sklearn/linear_model测试整个linear_model模块pytest doc/modules/linear_model.rst确保用户指南示例正确。pytest sklearn/tests/test_common.py -k LogisticRegression运行我们所有的估计器检查(特别是对于您更改的估计器LogisticRegression)。
可能还有其他测试会失败,但它们会被 CI 捕获,因此您无需在本地运行整个测试套件。有关如何高效使用
pytest的指南,请参阅有用的 pytest 别名和标志。**确保您的代码已正确注释和文档化**,并且**确保文档正确渲染**。要构建文档,请参阅我们的文档指南。CI 也会构建文档:请参阅GitHub Actions 上生成的文档。
**测试是接受增强功能的必要条件**。错误修复或新功能应提供非回归测试。这些测试验证修复或功能的正确行为。通过这种方式,代码库上的进一步修改被保证与所需行为一致。在错误修复的情况下,在 PR 提交时,非回归测试应对
main分支中的代码库失败,并对 PR 代码通过。如果您的 PR 可能会影响用户,您需要添加一个描述您的 PR 更改的更改日志条目。有关更多详细信息,请参阅README。
遵循编码指南。
在适用时,使用
sklearn.utils模块中的验证工具和脚本。有关可供开发者使用的实用程序列表,请参阅开发者实用程序页面。拉取请求通常会解决一个或多个其他问题(或拉取请求)。如果合并您的拉取请求意味着应该关闭其他一些问题/PR,您应该使用关键字创建指向它们的链接(例如,
Fixes #1234;允许多个问题/PR,只要每个问题/PR 前面都有一个关键字)。合并后,这些问题/PR 将由 GitHub 自动关闭。如果您的拉取请求仅与某些其他问题/PR 相关,或者它只部分解决了目标问题,请在不使用关键字的情况下创建指向它们的链接(例如,Towards #1234)。PR 通常应通过性能和效率基准(参见监控性能)或通过使用示例来证实更改。示例还向用户说明了库的功能和复杂性。有关参考,请查看examples/目录中的其他示例。示例应演示新功能在实践中为何有用,如果可能,将其与 scikit-learn 中可用的其他方法进行比较。
新功能会带来一些维护开销。我们期望 PR 作者至少在最初参与他们提交的代码的维护。新功能需要通过用户指南中的叙述性文档和简短代码片段进行说明。如果相关,请在文献中添加参考文献,如果可能,附带 PDF 链接。
用户指南还应包括算法的预期时间复杂度和空间复杂度和可伸缩性,例如“此算法可以扩展到大量样本 > 100000,但在维度上不可伸缩:
n_features预计低于 100”。
您还可以查看我们的代码审查指南,以了解审阅者会期望什么。
您可以使用以下工具检查常见的编程错误
具有良好单元测试覆盖率(至少 80%,最好 100%)的代码,检查方式如下
pip install pytest pytest-cov pytest --cov sklearn path/to/tests
另请参阅测试和改进测试覆盖率。
使用
mypy运行静态分析mypy sklearn这不应在您的拉取请求中产生新的错误。在少数 mypy 不支持的情况下,可以使用
# type: ignore注释作为一种变通方法,特别是,导入 C 或 Cython 模块时,
具有装饰器的属性。
包含带有基准脚本和分析输出的性能分析的贡献可获得额外加分(参见监控性能)。另请查看如何优化速度指南,了解有关分析和 Cython 优化的更多详细信息。
注意
scikit-learn 代码库的当前状态不符合所有这些指南,但我们期望对所有新贡献强制执行这些约束将使整体代码库质量朝着正确的方向发展。
另请参阅
有关开发工作流的两个文档非常详细且更深入的指南,请访问Scipy 开发工作流和Astropy 开发者工作流部分。
持续集成 (CI)#
Azure Pipelines 用于在 Linux、Mac 和 Windows 上测试 scikit-learn,具有不同的依赖项和设置。
CircleCI 用于构建文档以供查看。
Github Actions 用于各种任务,包括构建 wheels 和源分发。
提交消息标记#
请注意,如果最新提交消息中出现以下标记之一,则会执行以下操作。
提交消息标记 |
CI 执行的操作 |
|---|---|
[ci skip] |
CI 完全跳过 |
[cd build] |
运行 CD(构建 wheels 和源分发) |
[lint skip] |
Azure 管道跳过 linting |
[scipy-dev] |
使用我们的依赖项(numpy、scipy 等)开发版本进行构建和测试 |
[free-threaded] |
使用 CPython 3.14 free-threaded 进行构建和测试 |
[pyodide] |
使用 Pyodide 进行构建和测试 |
[azure parallel] |
并行运行 Azure CI 作业 |
[float32] |
通过设置 |
[all random seeds] |
使用 |
[doc skip] |
文档不构建 |
[doc quick] |
文档构建,但不包括示例图库绘图 |
[doc build] |
文档构建,包括示例图库绘图(非常耗时) |
请注意,默认情况下,文档会构建,但只执行由拉取请求直接修改的示例。
解决锁定文件中的冲突#
这是一个 bash 片段,有助于解决环境和锁定文件中的冲突
# pull latest upstream/main
git pull upstream main --no-rebase
# resolve conflicts - keeping the upstream/main version for specific files
git checkout --theirs build_tools/*/*.lock build_tools/*/*environment.yml \
build_tools/*/*lock.txt build_tools/*/*requirements.txt
git add build_tools/*/*.lock build_tools/*/*environment.yml \
build_tools/*/*lock.txt build_tools/*/*requirements.txt
git merge --continue
这会将 upstream/main 合并到我们的分支中,自动优先处理冲突的环境和锁定文件的 upstream/main(这已经足够了,因为我们之后会重新生成锁定文件)。
请注意,这只修复了环境和锁定文件中的冲突,您可能还有其他冲突需要解决。
最后,我们必须通过运行以下命令为 CI 重新生成环境和锁定文件
python build_tools/update_environments_and_lock_files.py
停滞的拉取请求#
由于贡献功能可能是一个漫长的过程,一些拉取请求看起来不活跃但未完成。在这种情况下,接手它们对项目来说是一项巨大的服务。接手的一个好礼仪是
确定 PR 是否停滞
如果拉取请求已被我们识别为其他贡献者的候选,则可能会带有“stalled”或“help wanted”标签。
要决定一个不活跃的 PR 是否停滞,请询问贡献者她/他是否计划在不久的将来继续处理该 PR。如果在 2 周内未能以推动 PR 前进的活动回复,则表明 PR 停滞,并将导致该 PR 被标记为“help wanted”。
请注意,如果一个 PR 之前收到的评论在一个月内没有回复,则可以安全地假设该 PR 已停滞,并将等待时间缩短至一天。
冲刺结束后,将向冲刺期间打开的未合并 PR 的参与者通报后续情况,并且这些 PR 将被标记为“冲刺”。标记为“冲刺”的 PR 可以由冲刺负责人重新分配或宣布停滞。
**接手停滞的 PR**:要接手 PR,在停滞的 PR 上评论您正在接手并从新 PR 链接到旧 PR 非常重要。新 PR 应通过从旧 PR 拉取来创建。
停滞和未认领的问题#
一般来说,可供认领的问题将带有“help wanted”标签。然而,并非所有需要贡献者的问题都会带有此标签,因为“help wanted”标签并非总是与问题的状态保持同步。贡献者可以使用以下指南找到仍可认领的问题
标记为“Needs Triage”的问题#
“Needs Triage”标签表示问题尚未确认或完全理解。它向 scikit-learn 成员发出信号,要求澄清问题、讨论范围并决定下一步行动。欢迎您加入讨论,但根据我们的行为准则,请在移除“Needs Triage”标签、对解决问题达成明确共识并就如何解决问题给出一些方向之前,不要打开 PR。
视频资源#
这些视频逐步介绍了如何为 scikit-learn 贡献,是文本指南的绝佳补充。请务必仍然查看我们的指南,因为它们描述了我们最新的工作流程。
注意
2021 年 1 月,scikit-learn GitHub 仓库的默认分支名称从 master 更改为 main,以使用更具包容性的术语。这些视频是在分支重命名之前创建的。对于正在观看这些视频以设置其工作环境并提交 PR 的贡献者,master 应替换为 main。
文档#
我们欢迎对文档的深思熟虑的贡献,并乐意审查以下领域的补充内容
**函数/方法/类文档字符串:** 也称为“API 文档”,它们描述对象的功能并详细说明任何参数、属性和方法。文档字符串与 sklearn/ 中的代码一起存在,并根据 doc/api_reference.py 生成。要添加、更新、删除或弃用 API 参考 中列出的公共 API,这里是需要查看的地方。
**用户指南:** 这些提供了有关 scikit-learn 中实现的算法的更详细信息,通常位于根目录 doc/ 和 doc/modules/ 中。
**示例:** 这些提供了完整的代码示例,可能演示 scikit-learn 模块的使用、比较不同算法或讨论它们的解释等。示例位于 examples/ 中。
**其他 reStructuredText 文档:** 这些提供了各种其他有用的信息(例如,贡献 pandas 指南),并位于 doc/ 中。
编写文档字符串的指南#
您可以使用
pytest测试文档字符串,例如,假设RandomForestClassifier文档字符串已修改,以下命令将测试其文档字符串合规性pytest --doctest-modules sklearn/ensemble/_forest.py -k RandomForestClassifier部分的正确顺序是:Parameters(参数),Returns(返回),See Also(另请参阅),Notes(注意),Examples(示例)。有关其他可能部分的信息,请参阅numpydoc 文档。
在文档化参数和属性时,这里有一些格式良好的示例
n_clusters : int, default=3 The number of clusters detected by the algorithm. some_param : {"hello", "goodbye"}, bool or int, default=True The parameter description goes here, which can be either a string literal (either `hello` or `goodbye`), a bool, or an int. The default value is True. array_parameter : {array-like, sparse matrix} of shape (n_samples, n_features) \ or (n_samples,) This parameter accepts data in either of the mentioned forms, with one of the mentioned shapes. The default value is `np.ones(shape=(n_samples,))`. list_param : list of int typed_ndarray : ndarray of shape (n_samples,), dtype=np.int32 sample_weight : array-like of shape (n_samples,), default=None multioutput_array : ndarray of shape (n_samples, n_classes) or list of such arrays总的来说,请记住以下几点
使用 Python 基本类型。(
bool而不是boolean)使用括号定义形状:
array-like of shape (n_samples,)或array-like of shape (n_samples, n_features)对于具有多个选项的字符串,请使用方括号:
input: {'log', 'squared', 'multinomial'}一维或二维数据可以是
{array-like, ndarray, sparse matrix, dataframe}的子集。请注意,array-like也可以是list,而ndarray明确仅是numpy.ndarray。当使用“类似框架”的特性(例如列名)时,请指定
dataframe。指定列表的数据类型时,使用
of作为分隔符:list of int。当参数支持提供形状和/或数据类型详细信息的数组以及此类数组的列表时,您可以使用array-like of shape (n_samples,) or list of such arrays之一。指定 ndarray 的 dtype 时,例如在定义形状后使用
dtype=np.int32:ndarray of shape (n_samples,), dtype=np.int32。您可以将多个 dtype 指定为集合:array-like of shape (n_samples,), dtype={np.float64, np.float32}。如果想提及任意精度,请使用integral和floating,而不是 Python dtypeint和float。当int和floating都受支持时,无需指定 dtype。当默认值为
None时,只需在末尾指定default=None。请务必在文档字符串中说明参数或属性为None的含义。
在文档字符串中为相关的类/函数添加“See Also”(另请参阅)。
文档字符串中的“See Also”应每行一个引用,带冒号和解释,例如
See Also -------- SelectKBest : Select features based on the k highest scores. SelectFpr : Select features based on a false positive rate test.
“Notes”部分是可选的。它旨在提供有关函数/类/类方法/方法的特定行为的信息。
也可以向属性添加
Note,但在这种情况下需要使用.. rubric:: Note指令。在“Example”部分添加一两个**代码片段**,以展示如何使用它。代码应该可以原样运行,即应包含所有必需的导入。此部分应尽可能简洁。
编写用户指南和其他 reStructuredText 文档的指南#
在数学和算法细节之间保持良好的折衷,并向读者直观地介绍算法的功能,这一点很重要。
首先对算法/代码在数据上所做的事情进行简洁、粗略的解释。
强调该功能的有用性及其推荐应用。考虑包含算法的复杂度(\(O\left(g\left(n\right)\right)\)),如果可用的话,因为“经验法则”可能非常依赖机器。仅当这些复杂度不可用时,才可提供经验法则。
加入相关图片(从示例生成),以提供直观感受。
包含一两个简短的代码示例,以演示该功能的用法。
介绍任何必要的数学方程,然后提供参考文献。通过推迟数学方面的内容,文档对于主要对理解该功能的实际含义而不是其底层机制感兴趣的用户来说,变得更易于访问。
编辑 reStructuredText (
.rst) 文件时,尽可能将行长度保持在 88 个字符以下(例外情况包括链接和表格)。在 scikit-learn reStructuredText 文件中,文本周围的单反引号和双反引号都将呈现为内联字面量(通常用于代码,例如
list)。这是由于我们设置的特定配置。现在应该使用单反引号。信息过多会使用户难以访问他们感兴趣的内容。使用下拉菜单通过以下语法对其进行因子分解
.. dropdown:: Dropdown title Dropdown content.
上面的片段将产生以下下拉菜单
下拉菜单标题#
下拉菜单内容。
默认情况下可以使用下拉菜单隐藏的信息是
低层次部分,如
References、Properties等(例如参见检测错误权衡 (DET)中的子部分);深入的数学细节;
特定用例的叙述;
总的来说,可能只对想要超越给定工具实用性的用户感兴趣的叙述。
不要将下拉菜单用于低级别部分
Examples,因为它应该对所有用户可见。确保Examples部分紧随主要讨论之后,并且中间折叠的部分最少。请注意,下拉菜单会破坏交叉引用。如果合理,请将引用与提及它的文本一起隐藏。否则,不要使用下拉菜单。
编写参考文献的指南#
当书目参考文献带有 arxiv 或 Digital Object Identifier 识别号时,请使用 sphinx 指令
:arxiv:或:doi:。例如,请参阅 谱聚类图 中的参考文献。有关文档字符串中的“References”部分,请参阅
sklearn.metrics.silhouette_score作为示例。要交叉引用 scikit-learn 文档中的其他页面,请使用 reStructuredText 交叉引用语法
**部分:** 要链接到文档中的任意部分,请使用引用标签(参见Sphinx 文档)。例如
.. _my-section: My section ---------- This is the text of the section. To refer to itself use :ref:`my-section`.
您不应修改现有的 sphinx 引用标签,因为这会破坏现有的交叉引用和指向 scikit-learn 文档特定部分的外部链接。
**词汇表:** 链接到常用术语和 API 元素词汇表中的术语
:term:`cross_validation`
**函数:** 要链接到函数的文档,请使用函数的完整导入路径
:func:`~sklearn.model_selection.cross_val_score`
然而,如果文档中您上方有
.. currentmodule::指令,您只需要使用指定当前模块后的函数路径即可。例如.. currentmodule:: sklearn.model_selection :func:`cross_val_score`
**类:** 要链接到类的文档,请使用类的完整导入路径,除非文档中上方有
.. currentmodule::指令(参见上方):class:`~sklearn.preprocessing.StandardScaler`
您可以使用任何文本编辑器编辑文档,然后按照构建文档的说明生成 HTML 输出。生成的 HTML 文件将放置在 _build/html/ 中,并可在网络浏览器中查看,例如通过打开本地 _build/html/index.html 文件或运行本地服务器
python -m http.server -d _build/html
构建文档#
在提交拉取请求之前,请检查您的修改是否引入了新的 sphinx 警告,通过在本地构建文档并尝试修复它们。
首先,请确保您已正确安装开发版本。除此之外,构建文档还需要安装一些额外的包
pip install sphinx sphinx-gallery numpydoc matplotlib Pillow pandas \
polars scikit-image packaging seaborn sphinx-prompt \
sphinxext-opengraph sphinx-copybutton plotly pooch \
pydata-sphinx-theme sphinxcontrib-sass sphinx-design \
sphinx-remove-toctrees
要构建文档,您需要进入 doc 文件夹
cd doc
在绝大多数情况下,您只需要生成不带示例画廊的网站即可
make
文档将生成在 _build/html/stable 目录中,并可在网络浏览器中查看,例如通过打开本地 _build/html/stable/index.html 文件。要同时生成示例图库,您可以使用
make html
这将运行所有示例,这需要一段时间。您还可以根据文件名只运行几个示例。以下是运行所有文件名中包含 plot_calibration 的示例的方法
EXAMPLES_PATTERN="plot_calibration" make html
您可以使用正则表达式处理更高级的用例。
如果您打算在离线环境下查看文档,请设置环境变量 NO_MATHJAX=1。要构建 PDF 手册,请运行
make latexpdf
Sphinx 版本
虽然我们尽力使文档在尽可能多的 Sphinx 版本下构建,但不同版本往往表现略有不同。为了获得最佳结果,您应该使用与我们在 CircleCI 上使用的版本相同的版本。查看此GitHub 搜索以了解确切版本。
GitHub Actions 上生成的文档#
当您在拉取请求中更改文档时,GitHub Actions 会自动构建它。要查看 GitHub Actions 生成的文档,只需转到您的 PR 页面底部,查找“Check the rendered docs here!”项,然后点击旁边的“details”即可。
测试和改进测试覆盖率#
高质量的单元测试是 scikit-learn 开发过程的基石。为此,我们使用 pytest 包。测试是适当命名的函数,位于 tests 子目录中,用于检查算法的有效性和代码的不同选项。
在文件夹中运行 pytest 将运行相应子包的所有测试。有关更详细的 pytest 工作流程,请参阅拉取请求清单。
我们期望新功能的代码覆盖率至少达到 90% 左右。
监控性能#
本节深受 pandas 文档的启发。
在对现有代码库提出更改时,重要的是要确保它们不会引入性能回归。Scikit-learn 使用asv benchmarks来监控选定常见估计器和函数的性能。您可以在scikit-learn benchmark page上查看这些基准。相应的基准套件可以在asv_benchmarks/目录中找到。
要使用 asv 的所有功能,您需要 conda 或 virtualenv。有关详细信息,请查看 asv 安装网页。
首先,您需要安装 asv 的开发版本
pip install git+https://github.com/airspeed-velocity/asv
并将您的目录更改为 asv_benchmarks/
cd asv_benchmarks
基准测试套件已配置为针对您本地的 scikit-learn 克隆运行。确保它已更新
git fetch upstream
在基准测试套件中,基准测试按照与 scikit-learn 相同的结构进行组织。例如,您可以比较 upstream/main 和您正在处理的分支之间特定估计器的性能
asv continuous -b LogisticRegression upstream/main HEAD
该命令默认使用 conda 创建基准测试环境。如果您想使用 virtualenv,请使用 -E 标志。
asv continuous -E virtualenv -b LogisticRegression upstream/main HEAD
您还可以指定要进行基准测试的整个模块
asv continuous -b linear_model upstream/main HEAD
您可以将 HEAD 替换为任何本地分支。默认情况下,它只会报告更改至少 10% 的基准测试。您可以通过 -f 标志控制此比例。
要运行完整的基准测试套件,只需删除 -b 标志
asv continuous upstream/main HEAD
然而,这可能需要长达两个小时。 -b 标志还接受正则表达式,用于运行更复杂的基准测试子集。
要运行基准测试而不与另一个分支进行比较,请使用 run 命令
asv run -b linear_model HEAD^!
您还可以使用当前 Python 环境中已安装的 scikit-learn 版本运行基准测试套件
asv run --python=same
当您以可编辑模式安装 scikit-learn 以避免每次运行基准测试时都创建新环境时,这特别有用。默认情况下,使用现有安装时不会保存结果。要保存结果,您必须指定提交哈希
asv run --python=same --set-commit-hash=<commit hash>
基准测试按机器、环境和提交进行保存和组织。要查看所有已保存的基准测试列表
asv show
并查看特定运行的报告
asv show <commit hash>
当您正在处理拉取请求并运行基准测试时,请在 github 上报告结果。
基准测试套件支持额外的可配置选项,这些选项可以在 benchmarks/config.json 配置文件中设置。例如,基准测试可以为 n_jobs 参数的提供值列表运行。
有关如何编写基准测试以及如何使用 asv 的更多信息,请参阅asv 文档。
保持向后兼容性#
弃用#
如果任何可公开访问的类、函数、方法、属性或参数被重命名,我们仍将在两个版本中支持旧名称,并在其被调用、传递或访问时发出弃用警告。
弃用类或函数
假设函数 zero_one 被重命名为 zero_one_loss,我们将在 zero_one 上添加装饰器 utils.deprecated,并从该函数中调用 zero_one_loss。
from sklearn.utils import deprecated
def zero_one_loss(y_true, y_pred, normalize=True):
# actual implementation
pass
@deprecated(
"Function `zero_one` was renamed to `zero_one_loss` in 0.13 and will be "
"removed in 0.15. Default behavior is changed from `normalize=False` to "
"`normalize=True`"
)
def zero_one(y_true, y_pred, normalize=False):
return zero_one_loss(y_true, y_pred, normalize)
还需要将 zero_one 从 API_REFERENCE 移至 DEPRECATED_API_REFERENCE,并将 zero_one_loss 添加到 doc/api_reference.py 文件中的 API_REFERENCE,以反映 API 参考 中的更改。
弃用属性或方法
如果要弃用属性或方法,请在属性上使用装饰器 deprecated。请注意,如果存在 property 装饰器,deprecated 装饰器应放置在其之前,以便正确渲染文档字符串。例如,将属性 labels_ 重命名为 classes_ 可以按如下方式完成:
@deprecated(
"Attribute `labels_` was deprecated in 0.13 and will be removed in 0.15. Use "
"`classes_` instead"
)
@property
def labels_(self):
return self.classes_
弃用参数
如果参数必须弃用,则必须手动引发 FutureWarning 警告。在以下示例中,k 被弃用并重命名为 n_clusters。
import warnings
def example_function(n_clusters=8, k="deprecated"):
if k != "deprecated":
warnings.warn(
"`k` was renamed to `n_clusters` in 0.13 and will be removed in 0.15",
FutureWarning,
)
n_clusters = k
当更改发生在类中时,我们会在 fit 中进行验证并发出警告。
import warnings
class ExampleEstimator(BaseEstimator):
def __init__(self, n_clusters=8, k='deprecated'):
self.n_clusters = n_clusters
self.k = k
def fit(self, X, y):
if self.k != "deprecated":
warnings.warn(
"`k` was renamed to `n_clusters` in 0.13 and will be removed in 0.15.",
FutureWarning,
)
self._n_clusters = self.k
else:
self._n_clusters = self.n_clusters
如这些示例所示,警告消息应始终同时给出弃用发生的版本和旧行为将被移除的版本。如果弃用发生在 0.x-dev 版本中,消息应说明弃用发生在 0.x 版本中,移除将在 0.(x+2) 版本中,以便用户有足够的时间使其代码适应新行为。例如,如果弃用发生在 0.18-dev 版本中,消息应说明它发生在 0.18 版本中,旧行为将在 0.20 版本中移除。
警告消息还应包含对更改的简要解释,并向用户指出替代方案。
此外,应在文档字符串中添加弃用说明,其中包含与上述弃用警告相同的信息。使用 .. deprecated:: 指令。
.. deprecated:: 0.13
``k`` was renamed to ``n_clusters`` in version 0.13 and will be removed
in 0.15.
更重要的是,弃用需要一个测试,以确保在相关情况下发出警告,而在其他情况下不发出警告。警告应在所有其他测试中被捕获(例如,使用 @pytest.mark.filterwarnings),并且示例中不应有警告。
更改参数的默认值#
如果参数的默认值需要更改,请将默认值替换为特定值(例如,"warn"),并在用户使用默认值时引发 FutureWarning。以下示例假设当前版本为 0.20,我们将 n_clusters 的默认值从 5(0.20 的旧默认值)更改为 10(0.22 的新默认值)。
import warnings
def example_function(n_clusters="warn"):
if n_clusters == "warn":
warnings.warn(
"The default value of `n_clusters` will change from 5 to 10 in 0.22.",
FutureWarning,
)
n_clusters = 5
当更改发生在类中时,我们会在 fit 中进行验证并发出警告。
import warnings
class ExampleEstimator:
def __init__(self, n_clusters="warn"):
self.n_clusters = n_clusters
def fit(self, X, y):
if self.n_clusters == "warn":
warnings.warn(
"The default value of `n_clusters` will change from 5 to 10 in 0.22.",
FutureWarning,
)
self._n_clusters = 5
与弃用类似,警告消息应始终同时给出更改发生的版本和旧行为将被移除的版本。
文档字符串中的参数说明需要通过添加 versionchanged 指令以及旧的和新的默认值进行相应更新,指向更改生效的版本。
.. versionchanged:: 0.22
The default value for `n_clusters` will change from 5 to 10 in version 0.22.
最后,我们需要一个测试,以确保在相关情况下发出警告,而在其他情况下不发出警告。警告应在所有其他测试中被捕获(例如,使用 @pytest.mark.filterwarnings),并且示例中不应有警告。
代码审查指南#
审查作为 PR 贡献给项目的代码是 scikit-learn 开发的关键组成部分。我们鼓励任何人开始审查其他开发人员的代码。代码审查过程通常对所有参与者都具有高度教育意义。如果这是您希望使用的功能,并且可以批判性地回应 PR 是否满足您的需求,则尤其适合。虽然每个拉取请求都需要两位核心开发人员签署,但您可以通过提供反馈来加快此过程。
注意
客观改进和主观挑剔之间的区别并不总是很清楚。审阅者应记住,代码审查主要是为了降低项目风险。在审查代码时,应旨在防止可能需要错误修复、弃用或撤销的情况。关于文档:拼写错误、语法问题和消除歧义最好立即解决。
任何代码审查中需要涵盖的重要方面#
以下是任何代码审查中需要涵盖的一些重要方面,从高层问题到更详细的检查清单。
我们是否希望将其纳入库中?它是否可能被使用?作为 scikit-learn 用户,您是否喜欢此更改并打算使用它?它是否在 scikit-learn 的范围之内?维护新功能的成本是否值得其收益?
代码是否与 scikit-learn 的 API 一致?公共函数/类/参数是否命名良好且设计直观?
所有公共函数/类及其参数、返回类型和存储属性是否按照 scikit-learn 约定命名并清晰记录?
用户指南中是否描述了任何新功能,并附有示例?
每个公共函数/类都经过测试吗?是否测试了合理的参数集、它们的值、值类型和组合?测试是否验证代码是正确的,即它是否执行文档所说的操作?如果更改是错误修复,是否包含非回归测试?这些测试验证修复或功能的正确行为。通过这种方式,可以保证对代码库的进一步修改与预期行为一致。在错误修复的情况下,在 PR 时,非回归测试应该对
main分支中的代码库失败,并对 PR 代码通过。测试是否通过持续集成构建?如果合适,请帮助贡献者理解测试失败的原因。
测试是否覆盖了每一行代码(请参阅构建日志中的覆盖率报告)?如果不是,缺少覆盖率的行是否是合理的例外?
代码是否易于阅读且冗余度低?变量名称是否应改进以提高清晰度或一致性?是否应添加注释?是否应删除无用或多余的注释?
对于相关设置,代码是否可以轻松重写以实现更高的效率?
代码是否与以前的版本向后兼容?(或者是否需要弃用周期?)
新代码是否会增加对其他库的任何依赖?(这不太可能被接受)
文档是否正确渲染(有关更多详细信息,请参阅文档部分),并且图表是否具有指导性?
审阅的标准回复 包含审阅者可能提出的一些常见评论。
沟通指南#
审查开放的拉取请求 (PR) 有助于推动项目向前发展。这是熟悉代码库的好方法,并应激励贡献者继续参与项目。[1]
每一个 PR,无论好坏,都是一种慷慨的行为。以积极的评论开始将有助于作者感到受到奖励,您的后续评论可能会被更清晰地听到。您也可能会感觉良好。
如果可能,从大问题开始,以便作者知道他们已被理解。抵制立即逐行查看或以小的普遍性问题开始的诱惑。
不要让完美成为优秀的敌人。如果您发现自己提出了许多不属于代码审查指南的小建议,请考虑以下方法:
避免提交这些;
将它们标记为“Nit”,以便贡献者知道不处理也可以;
在随后的 PR 中跟进,出于礼貌,您可能希望让原始贡献者知道。
不要急于求成,花时间使您的评论清晰并证明您的建议的合理性。
您是项目的代表。每个人都会有糟糕的一天,在这种情况下,您应该休息一下:尽量花些时间并保持离线。
阅读现有代码库#
阅读和消化现有代码库始终是一项艰巨的任务,需要时间和经验才能掌握。尽管我们通常尝试编写简单的代码,但考虑到项目的庞大规模,理解代码起初可能令人望而生畏。以下是一些可能有助于使此任务更轻松、更快速的技巧(不分先后)。
熟悉 scikit-learn 对象的 API:了解 fit、predict、transform 等的用途。
在深入阅读函数/类的代码之前,请先通读文档字符串,并尝试了解每个参数/属性的作用。停下来思考一分钟“如果我必须自己完成,我会怎么做?”也可能会有所帮助。
最棘手的事情通常是识别哪些代码部分是相关的,哪些不是。在 scikit-learn 中,执行了**大量**的输入检查,尤其是在 fit 方法的开头。有时,只有一小部分代码在执行实际工作。例如,查看
LinearRegression的fit方法,您可能要查找的只是对scipy.linalg.lstsq的调用,但它埋藏在多行输入检查和各种参数的处理中。由于使用了继承,某些方法可能在父类中实现。所有估计器至少继承自
BaseEstimator和一个Mixin类(例如ClassifierMixin),该类根据估计器的性质(分类器、回归器、转换器等)启用默认行为。有时,阅读给定功能的测试会为您提供其预期用途的想法。您可以使用
git grep(见下文)查找为某个功能编写的所有测试。特定功能/类的多数测试都放在模块的tests/文件夹下。您经常会看到这样的代码:
out = Parallel(...)(delayed(some_function)(param) for param in some_iterable)。这使用 Joblib 并行运行some_function。out然后是一个可迭代对象,其中包含some_function每次调用返回的值。我们使用 Cython 编写快速代码。Cython 代码位于
.pyx和.pxd文件中。Cython 代码具有更多 C 语言风格:我们使用指针,执行手动内存分配等。在这里,具备一些 C / C++ 的基本经验是必不可少的。有关更多信息,请参阅 Cython 最佳实践、约定和知识。掌握您的工具。
配置
git blame以忽略将代码样式迁移到black然后ruff的提交。git config blame.ignoreRevsFile .git-blame-ignore-revs在 black 的文档中了解更多关于避免破坏 git blame 的信息。