MatchModels:2019中国高校计算机大赛-大数据挑战赛第15名WriteUp-源码

2019中国高校计算机大赛-大数据挑战赛WriteUp 赛题： 我们是最终排名第15名的改革春风吹满地队伍，对方法和模型进行了简单的整理。 传统模型 查询和标题去重 训练词向量以及词频统计是query和title需做去重处理 图特征 计划生成无向图以及权重图。无向图规模最大建立一亿三千万数据量的图，生成图的过程把query和title都转换成一个Int32的ID值，减少内存消耗。 技巧：利用Pickle保存，读取图是加速的，文件的体积也是最小的。 无向图特征-最大完全子图max_clique ：最大完全子图的大小（特征效果提升不明显，舍弃！）。 无向图特征-边连接数max_degrees ：统计每个字节的边连接数 无向图特征-最大连通子图规模max_components ：统计每个实例最大连通子图规模 无向图特征——pagerank值：根据Google的pagerank算法计算每个节点