基于Python的网络爬虫之内涵段子批量爬取采集教程含源代码.pdf

下面我们一起尝试一下爬取内涵段子吧 http://www.neihan8.com/article/list_5_1.html 打开之后，不难看到里面一个一个灰常有内涵的段子，当你进行翻页的时候，注意url地址的变化。 你会发现规律： 第一页url: http://www.neihan8.com/article/list_5_ 1 .html 第二页url: http://www.neihan8.com/article/list_5_ 2 .html 第三页url: http://www.neihan8.com/article/list_5_ 3 .html 第四页url: http://www.neihan8.com/article/list_5_ 4 .html 这样我们的url规律找到了，要想爬取所有的段子，只需要传递一个参数即可。