并行#
- 类 sklearn.utils.parallel.Parallel(n_jobs=default(None), backend=default(None), return_as='list', verbose=default(0), timeout=None, pre_dispatch='2 * n_jobs', batch_size='auto', temp_folder=default(None), max_nbytes=default('1M'), mmap_mode=default('r'), prefer=default(None), require=default(None), **backend_kwargs)[source]#
对
joblib.Parallel
的调整,用于传播 scikit-learn 配置。此
joblib.Parallel
的子类确保 scikit-learn 的活动配置(线程本地)在并行任务执行期间传播到并行工作器。API 未改变,您可以参考
joblib.Parallel
文档以获取更多详细信息。在 1.3 版本中添加。
- __call__(iterable)[source]#
分派任务并返回结果。
- 参数:
- iterable可迭代对象
包含应被消费的 (delayed_function, args, kwargs) 元组的可迭代对象。
- 返回:
- results列表
任务结果列表。
- dispatch_next()[source]#
分派更多数据进行并行处理
此方法旨在由多进程回调并发调用。我们依赖 `dispatch_one_batch` 的线程安全性来防止未受保护的迭代器被并发消费。