s3-bucket-loader:用于将大量文件快速加载或复制到 S3 的实用程序，可选择通过 yas3fs 或任何其他 S3 文件系统抽象； 以及从 s3 存储桶到存储桶（mirroringcopy）-源码

s3-bucket-loader 该项目源于需要将大量文件（数百 GB）快速导入（和备份）到 AWS S3 存储桶中，最终目的是通过 S3 分布式文件系统管理该存储桶； 。 由于单线程甚至有限的多线程复印机需要的时间太长，以传统方式（即 rsync 或从源到目的地复制）的最初尝试很快变得不切实际。 s3-bucket-loader 利用简单的 master/worker 范例来获得规模经济，将许多文件从 sourceA 复制到 targetB。 “sourceA”和“targetB”可以是两个 S3 存储桶，或一个文件系统到 S3 存储桶（通过 S3 文件系统抽象，如 yas3fs 或 s3fs 等）。 即使这是使用 S3 作为最终目标进行编码的，它也可以用于其他目标以及其他共享文件系统。 您可以将给定文件集导入 S3 的速度（在这种情况下通过 yas3fs）仅受您想在工作硬件上花费