随着微博用户的迅猛增长，越来越多的人希望从用户的行为和微博内容中挖掘有趣的模式。针对如何对微博数据进行有效合理的采集，提出了基于微博API的分布式抓取技术，通过模拟微博登录自动授权，合理控制API的调用频次，结合任务分配控制器高效地获取微博数据。该分布式抓取技术还结合时间触发和内存数据库技术实现重复控制，避免了数据的重复爬取和重复存储，提高了系统的性能。本分布式抓取技术具有可扩展性高、任务分配明确、效率高、多种爬取策略适应不同的爬取需求等特点。新浪微博数据爬取实例验证了该技术的可行性。

这是新浪微博爬虫，采用python+selenium实现。 免费资源，希望对你有所帮助，虽然是傻瓜式爬虫，但是至少能运行。同时rar中包括源码及爬取的示例。 参考我的文章： http://blog.csdn.net/eastmount/article/details/50720436 [python爬虫] Selenium爬取新浪微博内容及用户信息 http://blog.csdn.net/eastmount/article/details/51231852 [Python爬虫] Selenium爬取新浪微博客户端用户信息、热点话题及评论 (上) 主要爬取内容包括： 新浪微博手机端用户信息和微博信息。 用户信息：包括用户ID、用户名、微博数、粉丝数、关注数等。 微博信息：包括转发或原创、点赞数、转发数、评论数、发布时间、微博内容等。 安装过程： 1.先安装Python环境，作者是Python 2.7.8 2.再安装PIP或者easy_install 3.通过命令pip install selenium安装selenium，它是自动测试、爬虫的工具 4.然后修改代码中的用户名和密码

能够对微博进行爬取，爬取相关的内容及评论。

采用selenium模块从微博爬取的旅游信息数据，有代码和数据。

这是新浪微博爬虫，采用python+selenium实现。 免费资源，希望对你有所帮助，虽然是傻瓜式爬虫，但是至少能运行。同时rar中包括源码及爬取的示例。 参考我的文章： http://blog.csdn.net/eastmount/article/details/50720436 [python爬虫] Selenium爬取新浪微博内容及用户信息 http://blog.csdn.net/eastmount/article/details/51231852 [Python爬虫] Selenium爬取新浪微博客户端用户信息、热点话题及评论 (上) 主要爬取内容包括： 新浪微博手机端用户信息

爬取微博数据，分析各地区情感数据，并用html可视化

前几天，杨超越编程大赛火了，大家都在报名参加，而我也是其中的一员。 在我们的项目中，我负责的是数据爬取这块，我主要是把对于杨超越 的每一条评论的相关信息。 数据格式：{“name”:评论人姓名,”comment_time”:评论时间,”comment_info”:评论内容,”comment_url”:评论人的主页} 以上就是我们需要的信息。 爬虫前的分析： 以上是杨超越的微博主页，这是我们首先需要获取到的内容。 因为我们需要等到这个主页内这些微博详情页 的链接，但是我们向下刷新，会发现微博的主页信息是ajax动态加载出来的， 这张图片就是我们向下刷新获取到 的新的链接，这个就是我们需要获取

爬网微博 新浪微博的数据采集主要有两种方法，基于新浪微博API和基于网络爬虫的页面解析。本系统采用基于网络爬虫的页面解析方法，基于网络爬虫的微博信息采集可以突破API开放接口限制，不间断地爬取信息。网络爬虫根据顺序URL列队获取URL地址，并下载其指向页面至本地，再利用DOM树进行网页解析。利用XPath可以定位放置关键信息的DOM位置，最后取下XPath特征官方中的内容。 政务微博分析 根据需求说明需要采集的数据属性如下： 微博内容 是否原创 转发内容 发布时间 转发数 评论数 点赞数 设备源 微博ID 对于抓取到的页面原始代码分析不同属性对应的标签分别提取数据。最后将采集到的数据保存为csv格式，供数据分析使用。 人工选择微博账号 根据事件发生的时间爬取事件发生前后一个月全部三个月的微博，以实现自动采集数据，根据微博账号爬取PageId，将PageId作为爬取数据的URL的一个分段拼接

注意：登录的是http://m/weibo.cn，界面示例如下 关于UId import random import urllib.request import json import re import requests import time id=(input(请输入要抓的微博uid:))\nna='a' iplist=['112.228.161.57:8118','125.126.164.21:34592','122.72.18.35:80','163.125.151.124:9999','114.250.25.19:80'] proxy_addr=163.125.151.12

主要介绍了Python网络爬虫之爬取微博热搜的相关知识，非常不错，具有一定的参考借鉴价值,需要的朋友可以参考下