CNVDSpider
Crawl CNVD shared vulnerabilities with js
完整教程查看
写论文需要用到的数据,然而,该页面有反爬机制,无法抓取全部数据,因此,使用js绕过反爬,实现效果如下:
可以直接到GitHub查看,欢迎留言点赞打赏提issue点star
环境
windows 10
Chrome浏览器
Sublime Text 3代码编辑器
前期准备
注册该网页账号并登陆即可
需求分析
首先,我们需要该漏洞库的全部漏洞数据,但是,使用python书写爬虫会被反爬机制识别到,从而无法自动大量下载数据
这里,发现该网页有共享的
因此,我们考虑从这里做文章
然鹅,一个个点击下载也十分耗时,因此,考虑使用js脚本进行下载
这里有两个思路:
一是分别控制脚本挨个点击链接并翻页
二是直接请求每个链接获得数据
这里采用第二种思路,通过查看链接发现其均为https://
1