上传者: 38681286
|
上传时间: 2021-11-02 17:49:56
|
文件大小: 134KB
|
文件类型: -
微博热搜的爬取较为简单,我只是用了lxml和requests两个库
url= https://s.weibo.com/top/summary?Refer=top_hot&topnav=1&wvr=6
1.分析网页的源代码:右键–查看网页源代码.
从网页代码中可以获取到信息
(1)热搜的名字都在的子节点里
(2)热搜的排名都在的里(注意置顶微博是没有排名的!)
(3)热搜的访问量都在的子节点里
2.requests获取网页
(1)先设置url地址,然后模拟浏