python爬虫模拟抓取网页内容，采集网页的内容，这里主要是模拟抓取新浪微博中的内容，里面包括了[源码] 爬取客户端微博信息、[源码] 爬取移动端个人信息 关注id和粉丝id (速度慢)、[源码] 爬取移动端微博信息 (强推)等多个例子，关于运行本例子的几点说明：
1.先安装Python环境，作者是Python 2.7.8
2.再安装PIP或者easy_install
3.通过命令pip install selenium安装selenium，它是自动测试、爬虫的工具
4.然后修改代码中的用户名和密码，填写你自己的用户名和密码
5.运行程序，自动调用Firefox浏览器登陆微博
注意：手机端信息更加精致简单，而且没有动态加载的一些限制，但是如微博或粉丝id只显示20页，这是它的缺点；而客户端可能存在动态加载，如评论和微博，但是它的信息更加完整。
注意事项：
输入：
明星用户id列表，采用URL 用户id进行访问（这些id可以从一个用户的关注列表里面获取）
SinaWeibo_List_best_1.txt
输出：
微博信息及用户基本信息
SinaWeibo_Info_best_1.txt
Megry_Result_Best.py
该文件用户整理某一天的用户微博信息，如2018年4月23日
爬取客户端信息，但是评论是动态加载，还在研究中
weibo_spider2.py
2022-06-28 14:16:34
112KB
1
利用HtmlAgilityPack可以轻松获取网页内容，但是无法获取动态加载的内容，
通过webBrowser模拟浏览器，获取网页内容。
大致思路：
1、webBrowser加载网页
（如有Ajax动态加载分页的网站，需要配合页面动作，直到页面加载完成，如：滚动条操作）
2、加载完成后获取webBrowser.Document
（配合使用webBrowser_DocumentCompleted和Application.DoEvents()）
3、解析网页内容
2022-06-14 14:00:15
585KB
1
java根据json规则抓取网页内容，方便页面变动的维护，可以根据需要自定义规则或源码，json规则与jquery相似
2022-02-05 22:26:24
1.17MB
1
jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。
2021-10-28 20:06:41
357KB
1
节点抓取 v.0.1.2
用于抓取网页内容的可配置节点包。
入门
您可以使用以下命令安装此插件：
npm install node-scrape --save
用法
的最小设置如下：
var scraper = require('node-scrape');
var config = {
params: {
id: [1,2,3,4]
}
collections: [{
name: 'mydata',
group: '#someid > .some-class > table tr',
elements: {
name: {
query: '> td > a'
},
link: {
query: '> td > a',
attr: 'href'
2021-06-17 22:04:08
7KB
1