并行#

sklearn.utils.parallel.Parallel(n_jobs=default(None), backend=default(None), return_as='list', verbose=default(0), timeout=None, pre_dispatch='2 * n_jobs', batch_size='auto', temp_folder=default(None), max_nbytes=default('1M'), mmap_mode=default('r'), prefer=default(None), require=default(None), **backend_kwargs)[source]#

joblib.Parallel 的调整,用于传播 scikit-learn 配置。

joblib.Parallel 的子类确保 scikit-learn 的活动配置(线程本地)在并行任务执行期间传播到并行工作器。

API 未改变,您可以参考 joblib.Parallel 文档以获取更多详细信息。

在 1.3 版本中添加。

__call__(iterable)[source]#

分派任务并返回结果。

参数:
iterable可迭代对象

包含应被消费的 (delayed_function, args, kwargs) 元组的可迭代对象。

返回:
results列表

任务结果列表。

dispatch_next()[source]#

分派更多数据进行并行处理

此方法旨在由多进程回调并发调用。我们依赖 `dispatch_one_batch` 的线程安全性来防止未受保护的迭代器被并发消费。

dispatch_one_batch(iterator)[source]#

预取下一批任务并分派它们。

批次的有效大小在此处计算。如果没有更多作业可分派,则返回 False,否则返回 True。

迭代器消费和分派受同一锁保护,因此调用此函数应是线程安全的。

format(obj, indent=0)[source]#

返回对象的格式化表示。

print_progress()[source]#

仅在部分时间内显示并行执行的进程,由 `self.verbose` 控制。