本项目是我的毕业设计项目。本人技术水平有限，写出来的东西bug很多，功能也非常不完善，承蒙老师照顾，答辩勉强通过。这个爬虫是针对特定站点的主题爬虫。具备多线程爬取、页面主题相关度计算、子链接主题相关度预测等功能。此外，还包含了一个简单的搜索引擎模块，用于对爬取结果的快速检索。
功能不算很完善，请谨慎下载。
2021-04-24 17:22:32
277KB
1
这是基于python爬虫技术编程写的欧洲外贸数据爬虫系统，实现全球海关、关单、外贸数据的爬取。框架采用python多线程技术+request+代理IP池,实现了每天几十亿家采购商供应商外贸和关单数据实时采集和更新。
2021-04-22 19:01:43
42.31MB
1
这是基于python爬虫技术编程写的关单数据爬虫系统，实现全球海关、关单、外贸数据的爬取。框架采用python多线程技术+request+代理IP池,实现了每天几十亿家采购商供应商外贸和关单数据实时采集和更新。
2021-04-22 19:01:40
42.31MB
1
这是基于python爬虫技术编程写的外贸电商数据爬虫系统，实现全球海关、关单、外贸数据的爬取。框架采用python多线程技术+request+代理IP池,实现了每天几十亿家采购商供应商外贸和关单数据实时采集和更新。
2021-04-22 18:04:13
42.31MB
1
这是基于python爬虫技术编程写的中国关单数据爬虫系统，实现全球海关、关单、外贸数据的爬取。框架采用python多线程技术+request+代理IP池,实现了每天几十亿家采购商供应商外贸和关单数据实时采集和更新。
2021-04-22 18:00:58
42.31MB
1
这是基于python爬虫技术编程写的美国关单数据爬虫系统，实现全球海关、关单、外贸数据的爬取。框架采用python多线程技术+request+代理IP池,实现了每天几十亿家采购商供应商外贸和关单数据实时采集和更新。
2021-04-22 15:05:33
42.31MB
1
这是基于python爬虫技术编程写的全球外贸数据爬虫系统，实现全球海关、关单、外贸数据的爬取。框架采用python多线程技术+request+代理IP池,实现了每天几十亿家采购商供应商外贸和关单数据实时采集和更新。
2021-04-22 15:02:02
42.31MB
1