该案例主要是针对大文件的去重排序项目,目前支持GB乃至TB级别的数据量,项目思路是针对大文件进行分治的项目,大文件分化成多个小文件,然后再进行排序和去重,目前是在linux系统上进行运行
2022-09-27 20:59:53 230B 大文件 GB级别 TB级别 大文件去重
1