该案例主要是针对大文件的去重排序项目，目前支持GB乃至TB级别的数据量，项目思路是针对大文件进行分治的项目，大文件分化成多个小文件，然后再进行排序和去重，目前是在linux系统上进行运行

主要介绍了Python实现对文件进行单词划分并去重排序操作,涉及Python文件读取、字符串遍历、拆分、排序等相关操作技巧,需要的朋友可以参考下

深度学习作为一个新的机器学习方向，被应用到计算机视觉领域上成效显著.为了解决分布式的尺度不变特征转换（Scale-Invariant Feature Transform，SIFT）算法效率低和图像特征提取粗糙问题，提出一种基于深度学习的SIFT图像检索算法.算法思想：在Spark平台上，利用深度卷积神经网络（Convolutional Neural Network，CNN）模型进行SIFT特征抽取，再利用支持向量机（Support Vector Machine，SVM）对图像库进行无监督聚类，然后再利用自适应的图像特征度量来对检索结果进行重排序，以改善用户体验.在Corel图像集上的实验结果显示，与传统SIFT算法相比，基于深度学习的SIFT图像检索算法的查准率和查全率大约提升了30个百分点，检索效率得到了提高，检索结果图像排序也得到了优化.

前几天上面有一个小任务是对于大数据txt文件，以行为单位去重排序，刚写完，就放了上来，有图形化界面，注释很全面。 有对于小文件的考虑，也有对于大文件的考虑。

商品实时推荐系统 1.系统架构v2.0 1.1系统架构图 1.2模块说明 a。在日志数据模块（flink-2-hbase）中，又主要分为6个Flink任务： 用户-产品浏览历史->实现基于协同过滤的推荐逻辑 通过Flink去记录用户浏览过这个类目下的某些产品，为后面的基于项目的协同过滤做准备实时的记录用户的评分到Hbase中，为后续离线处理做准备。 数据存储在Hbase的p_history表 用户-兴趣->实现基于碱性的推荐逻辑 根据用户对同一个产品的操作计算兴趣度，计算规则通过操作间隔时间（如购物-浏览实现基于标签的

一、改善：加强运算速度，尤其是百万级以上数据，运行速度明显加强。 二、新增：支持上下显示框中的内容分别导出。 三、新增：支持上下显示框中的内容直接复制，这个功能特别适合小批量数据直接复制处理。 四、改善：“导入文件”去除提醒功能，可以省略一步，直接导入文件。 五、新增：按号码段导出，可以自定义按前N位进行统计并导出，导出后可以详细查看每个号码段情况及条数。 六、新增：按重复次数直接导出，方便一步到位找出重复的数据。 七、改善：过滤功能改善工作原理，新原理如下：如窗口文件中有3个A，而外部文件中有1个A，则过滤后在窗口文件中还将保留2个A。如要完全过滤重复，则只需要过滤前将窗口文件先进行“消除重号”，然后再进行过滤号码就可以了。 八、新增：在提取号码功能中，新增可以提取或从文件导入中提取邮件。号码魔方不仅可以处理手机号码，同样也可以处理邮件、电话等，同样可以实现过滤重复等功能。 九、改善：由于小灵通即将退市，因此从5.0版本起，将不再将小灵通纳入手机处理范围中。