该代码不需要selenium，直接使用requests大规模爬取指定商品的评论，并保存到csv中，效率高，同时使用多线程进一步提高效率。
2022-02-16 02:16:35
3KB
1
原创，未经授权请勿转载！
开发基于python3.7（非Python2）；
IDE是pycharm2019社区版（足够用了）；
重点告诫！本文章仅供Python交流学习！
严重警告！请勿用于非法用途！
友情提醒！爬虫爬得好，牢饭吃得早！
侵删！侵删！侵删！重要的事情要说三遍。
产品需求:
1、 代码可以将笔趣阁完本小说分栏（共800多部）每本小说的简介和章节链接爬取下来，存入本地的csv文件或者mysql数据库；
2、 如果在csv文件翻看简介的时候，遇到感兴趣的小说时，可以实现代码快捷下载，将对应的小说一键下载到本地；
（ps：1的话，这个分栏可以爬，那么所有的分栏都可以爬了，只是这样对人家
2021-12-29 20:04:35
109KB
1
leetcode题库
你需要修改的地方：
dir.MakeDir.py中的path，表示你希望题目存储的地址
（可选）如果你是
会员用户可在promblem.Problem_Dtail中的ck里填入你的cookie以爬取力扣会员专享题。
你需要了解：
爬取的题目形式为html，包含html标签方便进行渲染。当然如果你觉得不妥可以自行修改（problem.Problem_detal中）
由于发现leetcode没有反爬，本项目并未使用代理请求。
项目介绍
main.py项目入口
dir.Makedir.py创建存放对应标签题目的所有文件夹
label.Label_Dic.py获取力扣题库中所有题目类型标签与对应的英文名（dic）
label.Label_List.py获取所有标签名（List）
problem.Problem_Url_Queue通过传参（标签英文名字）获取对应标签里的所有题目
problem.Problem_detal.py请求获取题目详情并以txt文件形式存储题目
leetcode爬取结果示例图
2021-11-30 09:25:02
2.11MB
1
之前写过一篇爬取小说的博客，但是单线程爬取速度太慢了，之前爬取一部小说花了700多秒，1秒两章的速度有点让人难以接受。
所以弄了个多线程的爬虫。
这次的思路和之前的不一样，之前是一章一章的爬，每爬一章就写入一章的内容。这次我新增加了一个字典用于存放每章爬取完的内容，最后当每个线程都爬取完之后，再将所有信息写入到文件中。
之所以用字典是因为爬完之后需要排序，字典的排序比较方便
为了便于比较，这次选择的还是之前博客里面相同的小说，不清楚的可以看看那篇博客：
python爬虫实例之小说爬取器
下面就上新鲜出炉代码：
import threading
import time
from bs4 impo
2021-10-04 22:59:43
63KB
1
今天刚看完崔大佬的《python3网络爬虫开发实战》，顿时觉得自己有行了，准备用appium登录QQ爬取列表中好友信息，接踵而来的是一步一步的坑，前期配置无数出错，安装之后连接也是好多错误，把这些错误解决之后，找APPactivity的值又让我绕了一大圈，找到值后又在权限上无法授权。
正当我手足无措的准备放弃的时候，我突然看到Charles，可以直接对APP抓包，在配置上有事一步一个坑后，当我准备抓取抖音视频评论的时候一堆乱码，我反手就是一巴掌
为了避免这种尴尬，以及我突然想写博客的心情，我决定还是为大家在进行一次简易爬虫展示，总体程序我会利用多线程的方式来充分利用CPU的空闲时间，其中我也
2021-08-24 11:41:01
1.59MB
1