下面我们一起尝试一下爬取内涵段子吧
http://www.neihan8.com/article/list_5_1.html
打开之后,不难看到里面一个一个灰常有内涵的段子,当你进行翻页的时候,注意url地址的变化。
你会发现规律:
第一页url: http://www.neihan8.com/article/list_5_ 1 .html
第二页url: http://www.neihan8.com/article/list_5_ 2 .html
第三页url: http://www.neihan8.com/article/list_5_ 3 .html
第四页url: http://www.neihan8.com/article/list_5_ 4 .html
这样我们的url规律找到了,要想爬取所有的段子,只需要传递一个参数即可。