1架构图.......................1 2爬虫.........................2 2.1流程.......................2 2.2Scheduler..................3 2.3TaskMaster.................3 2.4Workers....................3 2.5Fetcher....................4 2.6Parser.....................4 2.7Handler....................4 2.8VisitedTableManager........5 3Task队列.....................5 4Visited表....................5 5爬虫监控管理平台.............6 6模块.........................6 6.1Scheduler..................6 6.2TaskMaster.................7 6.3Fetcher....................9 6.4Worker.....................10 6.5Parser.....................10 6.6Filter.....................12 6.7Handler....................13 7Task队列.....................14 8Visited表....................15

一个Java实现的爬虫工具。 用到的技术：网络编程、数据库技术、自动化、通用编程。 想要共同学习的朋友可以使用资源中附有的源码和流程图，这样可以帮助你快速理解代码。 代码也许并不是最优化的，但十分易于理解。 对于附带的分析器。功能主要为对爬取到的数据进行初步分析。同样附带源码，并且设计为拥有可拓展性，有兴趣的朋友可以自行拓展其功能 两者都打包为了jar文件，可以直接通过命令行运行

使用java实现一个可视化的音乐下载器，主要采用的技术是java的URL类和Swing可视化包，界面比较简洁，可以下载网络上的大部分歌曲

Java爬取的2011年到2020年全国各地各省市的详细的天气数据资源的详细代码，详细到每个省，每个市。有时间、天气状况、最高气温、最低气温、风向、风力。

（1）编写界面，输入一个网址，能够爬取该网址上所有的HTML源代码。 （2）对网址中的文本进行提取。 （3）建立敏感词库，用文本文件保存。 （4）将该网址所对应的文本中的敏感词提取并高亮显示。 （5）编写文本文件，可以存入多个网址；程序可爬取这些网址中的文本内容，将敏感词记录存入另一个文件，格式自定。 （6）编写一个主界面,整合上述功能。

本项目源自于windows系统的小说下载爬虫，但是用电脑程序爬小说比较麻烦，所以将程序做成轻量化的Android APP程序，下载小说更加方便。

在url地址输入地址就行,每隔几秒自动爬取

java爬虫（视频爬虫源码)；可以支持爬各大视频网站；支持：优酷、土豆、酷6、6间房、搜狐、新浪 等视频网站的 视屏提取;只需要输入网站的URL 即可提取当前页面的所有视频；

crawler4j 爬虫jar包，直接引进项目中即可使用。

包括java编写的爬虫和用java代码实现的分词，以及Lda算法实现的相关代码！