之前写过一篇爬取小说的博客，但是单线程爬取速度太慢了，之前爬取一部小说花了700多秒，1秒两章的速度有点让人难以接受。
所以弄了个多线程的爬虫。
这次的思路和之前的不一样，之前是一章一章的爬，每爬一章就写入一章的内容。这次我新增加了一个字典用于存放每章爬取完的内容，最后当每个线程都爬取完之后，再将所有信息写入到文件中。
之所以用字典是因为爬完之后需要排序，字典的排序比较方便
为了便于比较，这次选择的还是之前博客里面相同的小说，不清楚的可以看看那篇博客：
python爬虫实例之小说爬取器
下面就上新鲜出炉代码：
import threading
import time
from bs4 impo
2021-10-04 22:59:43
63KB
1
小说的一个智能爬取，包括表格库，lxml库的合理运用
多线程的运用。
压缩包中还有各种拆分后的详细demo
可以帮助你们更好理解
2021-09-16 15:36:30
52.64MB
1
用scrapy框架爬虫爬取小说导入数据库并用django框架搭建自己的小说网站
2021-03-21 09:09:34
16.02MB
1