微博爬虫，一个基于Scrapy框架的轻量微博爬虫，Sina Weibo Spider.zip

老版本 注册机 对所有邮箱都可注册 绝对nb

Java通过访问的ip获取城市信息，根据城市信息查询天气信息

很久之前的android 新浪微博源码,时间太久,应该是完整的:)给热爱学习的孩子 :) http://blog.csdn.net/mkrcpp/article/details/12995615

[TOC] Introduction 最近需要新浪微博的数据做研究，苦于找不到满意的数据，新浪微博的API对数据的获取有限制，也找不到合适的爬虫代码，遂自己实现了一个爬取新浪微博的爬虫。 爬取的数据是 新浪微博搜索某一个话题，得到的微博数据，下面是爬取到的有关苹果手机的微博示例： 之前也爬取过 ，但是好久没有再练手了，发现遗忘了很多知识点，加上新浪微博对爬虫的嗅觉异常灵敏，导致中间遇到了非常多的坑，不过好在大多数的问题，都已经解决了。所以今天索性总结一下，如果以后再写爬虫，可以拿来参考。 另外，我不是写爬虫的专家，对python的语法也不是很熟悉，也没有用scrapy这种爬虫工具（感觉用不到，因为爬虫的思想还是很简单的），所以写出来的爬虫应该比不上专业的水准，最后我会共享该程序的源码。 本文涉及的主要知识点有如下几个，其顺序大概是我写爬虫的步骤： 选择合适的爬取源 分析生成要爬取网站的u

新浪微博互动预测 介绍 比赛的详细信息可以在找到竞争主要是分析用户在中国微博平台上发布的行为和消息，并预测每条消息的转发，评论和喜欢的次数。 该项目主要使用python和pandas。 这项比赛的第二阶段仍在进行中。 这是我为第1阶段构建的数据基准线。 设计 这是一个自行设计的数据基准线。 主要思想是模块化数据项目的流程。 用户编写方法来生成功能，其存储数据帧中大熊猫在功能的文件夹，并feature.log会自动记录所有现有的功能和它们的参数。 用户可以在Train方法中组合不同的功能并选择不同的模型，模型将存储在models文件夹中，模型的信息将存储在train.log中。 用户选择不同的功能和参数组合进行测试，结果将存储在结果文件夹中，而测试信息将存储在test.log中 笔记本文件夹中的Ipython笔记本用于播放数据，迭代地查看日志。 该代码位于weiboPredict

微博公众意见数据集 不断更新新浪微博舆论数据集（仅用于研究） 更新：一站式科研数据服务平台已全面启动！！ 只需单击几下即可实现数据采集，数据分析和数据应用。 欢迎尝试与合作 :clapping_hands: :clapping_hands: :clapping_hands: 介绍 新浪微博是中国最大的公共社交媒体平台。 最新和最受欢迎的社交活动将尽快在微博上公开和讨论。 因此，建立一个实时，全面的微博舆情数据集具有重要意义。 目前，在给定指定关键词和指定期限的情况下，微博推文数据集的构建方法有两种：（1）应用微博提供的高级搜索API； （2）遍历所有微博用户，收集指定时间段的所有推文，然后使用指定的关键字过滤推文。 但是，对于第一种方法，由于微博搜索API的限制，一次搜索的结果最多包含1000条推文，这使得构建大型数据集变得困难。 至于第二种方法，尽管我们可以构建几乎没有遗漏的大规模数据集，但是遍历数十亿微博用户需要非常长的时间和大量的带宽资源。 另外，大量的微博用户

intro 新浪新闻，腾讯新闻，搜狐新闻，澎湃新闻。 短期目前旨在爬取所有新闻门户网站的新闻，每个门户网站爬虫开箱即用，并自动保存到同目录下的 csv/excel 文件中，禁止将所得数据商用。 长期目标是打造一个信息流聚合平台，或者进行更高层面的比如社会舆情、新闻地理可视化等的处理。 集成该爬虫的网站已上线，体验地址： 项目长期维护，欢迎 star，项目更多信息欢迎关注个人微信公众号 【月小水长】 how to use 每个文件夹下的代码就是对应平台的新闻爬虫 py 文件直接运行 pyd 文件需要，假设为 pengpai_news_spider.pyd 将 pyd 文件下载到本地，新建项目，把 pyd 文件放进去 项目根目录下新建 runner.py，写入以下代码即可运行并抓取 import pengpai_news_spider pengpai_news_spider.main() to

sina微博asp接口，asp接入sina微博。 接入sina微博开放平台，已经做好的asp版本demo。修改config.asp里面的Const App_Key 、 Const App_Secret 即可测试。

这是sina提供的微博开发API，内有简单的例子提供帮助。