上百节课详细讲解,需要的小伙伴自行百度网盘下载,链接见附件,永久有效。
⽬标:
了解反爬⾍项⽬的背景各⼤售票⽹⽹站对外提供了购票,查票⻔户,吸引正常⽤户的同时,也吸引了⼤量的爬⾍⽤户,爬⾍会造成企业内的服务器负载较⾼,但是转化率极低,企业为了解决这个问题,需要⼀个反爬⾍系统,进⾏爬⾍的识别最终屏蔽爬⾍。
项⽬介绍:
1.反爬⾍项⽬总体价绍,主要包括(背景、需求、流程、架构、openresty介绍、lua语法学习)
2.Lua采集数据写⼊kafka,搭建项⽬框架、Streaming读取kafka数据、链路统计功能实现
3.实现数据预处理的数据清洗、脱敏、拆分、分类(⻜⾏类型/操作类型,单程/往返)、解析等功能
4.实现数据预处理的数据历史爬⾍、结构化、数据推送、数据预处理监控、前端读取后端数据等功能
5.读取预处理后的数据、进⾏封装、分别统计⼋个指标的数据
6.根据已经算出的⼋项指标结果,进⾏爬⾍识别、剔除⾮爬⾍数据、写⼊Redis,写⼊HDFS,Redis数据恢复等
7.爬⾍分析性能的计算与监控、离线指标分析