我的luigi.cfg文件中包含以下行（在所有节点，调度程序和工作程序上）：
[core]
parallel-scheduling: true
但是，当我在luigi调度程序上监视CPU利用率（带有约4000个任务的图形，处理约100个工人的请求）时，它仅利用调度程序上的单个内核，单个luigid线程经常达到100％的CPU利用率。 。我的理解是，此配置变量应并行执行任务调度。
消息来源建议，此标志确实应在调度程序上使用多个内核。在https://github.com/spotify/luigi/blob/master/luigi/interface.py#L194中，将调用https://github.com/spotify/luigi/blob/master/luigi/worker。 py＃L498.complete()并行检查任务的状态。
我缺少让Luigi调度程序利用其所有内核的功能吗？
我只是知道这个名字parallel-scheduling有点混乱。它不影响调度程序。只有工人。设置该选项后，工作人员将并行执行调度阶段。
到目前为止，尚无办法为中央调度程序使用多个内核。
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
我来说两句