我们爬取的是诗词名句网的三国演义,这个会爬了其余都同理了
(你需要一点css定位基础,因为里面用到了bs4数据解析。不过不会也没事按照我给的格式去做照样可以的)
准备阶段:
我们指定爬取的网站,UA伪装,还有创建了一个本地的fiction.txt文件,待会爬取到的小说写到这里面。(如果你没有bs4,和requests库你需要在你的dos命令行下输入 pip install bs4 回车
pip install requests 回车)
from bs4 import BeautifulSoup
import requests
url = 'http://shicimingju.com/book
1