s3-bucket-loader
该项目源于需要将大量文件(数百 GB)快速导入(和备份)到 AWS S3 存储桶中,最终目的是通过 S3 分布式文件系统管理该存储桶; 。 由于单线程甚至有限的多线程复印机需要的时间太长,以传统方式(即 rsync 或从源到目的地复制)的最初尝试很快变得不切实际。
s3-bucket-loader 利用简单的 master/worker 范例来获得规模经济,将许多文件从 sourceA 复制到 targetB。 “sourceA”和“targetB”可以是两个 S3 存储桶,或一个文件系统到 S3 存储桶(通过 S3 文件系统抽象,如 yas3fs 或 s3fs 等)。 即使这是使用 S3 作为最终目标进行编码的,它也可以用于其他目标以及其他共享文件系统。 您可以将给定文件集导入 S3 的速度(在这种情况下通过 yas3fs)仅受您想在工作硬件上花费
1