thinkphp5-使用SimHash进行海量内容数据查重

TXT文件数据查重去重工具是采用微软C#语言开发，使用多线程对数据进行查重去重处理，处理100万的数据不到1.5秒，软件界面简洁美观，操作简单，软件大小只有70KB，软件提示友好，比如在操作日志上会实时显示正在处理那个文件，还会将重复的数据显示在重复数据列表中，同时软件还支持一次处理一个或多个文件，对文件的大小没有限制，软件会自动按照原来的文件名在程序同目录下生成没有重复数据的文件，当然最关键的还是免费、免费、永久免费，没有任何套路。