上传者: 42127783
|
上传时间: 2022-03-09 22:07:42
|
文件大小: 9KB
|
文件类型: -
tqdm-多进程
使用队列,tqdm-multiprocess 支持多个工作进程,每个进程都有多个 tqdm 进度条,通过主进程清晰地显示它们。 工作进程还可以访问单个全局 tqdm 以进行聚合进度监控。
日志记录也从子进程重定向到主进程中的根记录器。
当前不支持 tqdm(iterator),您需要使用总数初始化您的工作器 tqdms 并手动更新。
由于默认 Python 多进程队列的性能限制,您需要不经常更新全局和工作进程 tqdms 以避免淹没主进程。 我将尝试在某个时候实现一个无锁环缓冲区,看看是否可以改进。
安装
pip install tqdm-multiprocess
用法
TqdmMultiProcessPool创建一个具有所需进程数的标准 python 多处理池。 在幕后,它使用带有事件循环的 async_apply 来监视 tqdm 和日志记录队列,允许工作进程将