美团，饿了么，百度外卖三大外卖平台的店铺，菜品数据爬虫源码 百度外卖： 1，TakeAwayService.java根据起始的gps坐标（百度加密后的），进行地图的重定向，用redis进行了一个深度的递归归，逻辑如下： （1）当前坐标内可获取到的商家经纬度，取最大最小经纬度组成的四点入金额redis； （2）多线程方式pop redis中的坐标做步骤1的逻辑处理，将获取的所有商家id入库； （3）当步骤二中的商家id没有获取到，或者获取到的所有商家id均落在之前已获取的商家列表中，这两种方式都将为递归的结束标志； 2，GetShopInfoByIdThread.java是获取商铺信息及店铺id补充：百度外卖因为对坐标进行了特定的加密，所以对于上述步骤1的初始坐标的录入，对地图进行了遍历方式的切割，以相隔5公里的坐标点作为起点，相互补充获取全量数据 饿了么： 主要两种方式介绍全量shopi

可以用作APP机器人等一切应用上。 一万个资源全是200X200的分辨率，拿去享受吧！

链家APP爬虫数据爬虫 支持坐标转换

python自动抓取yahoo finance上的SPY、APPL等期权数据，需要安装xlwt、xlrd、xlutils三个包。抓取到的数据自动生成.xls文件。

119城市距离Python爬虫及源数据，使用python爬虫得到119个城市的相互距离。

评价我的主管 永久免费开源的导师评估数据，数据爬虫，无需编程基础的展示网页以及新信息补充平台 如果你对编程没有了解，只想检索数据 我写了一个简单的UI方便检索，可以通过如下方式访问： 在线浏览：可以直接访问该，打开即可在线浏览数据。网页前端加载出来之后，要加载一个20MB左右的js数据文件，由于网络原因可能速度比较慢，所以会有一小段时间拖放列表里没有数据，请耐心等待。 离线浏览：点击右上方代码按钮中的下载ZIP，下载文件，然后打开html/index.html立即浏览数据。由于调用了bootstrap和jquery ，所以打开的时候最好保持网络连接（不打开也行啦，就是UI可能有点乱）。 小提示： 如果对GitHub不太熟悉，请直接选择在线浏览。 如果考虑到各种不可抗因素，离线浏览的方式更加安全（毕竟也不知道github有没有不能访问的一天）。 手机应用 为了支持离线浏览，也可以转换成相关的

为了快速地获取到海量微博中的数据,根据微博网页的特点,提出了一种基于Python爬虫程序设计方法.通过模拟登录新浪微博,实时抓取微博中指定用户的微博正文等内容;该工具利用关键词匹配技术,匹配符合规定条件的微博,并抓取相关内容;最后使用该工具对部分微博数据作了一个关于雾霾问题的分析.实验结果表明:本程序具有针对性强、数据采集速度快、易嵌入开发、简单等优点,为不善于编程的研究者提供了快速获取微博的方法,有利于对微博的后续数据挖掘研究.

爬取获取的Q房网南京二手房数据，仅供参考。本数据集看用来做数据挖掘与分析，通过已有的房屋所处地区、房屋所在板块以及均价，可以恩熙出南京那个板块的小区房价变动趋势最明显。

这是基于python爬虫技术编程写的外贸电商数据爬虫系统，实现全球海关、关单、外贸数据的爬取。框架采用python多线程技术+request+代理IP池,实现了每天几十亿家采购商供应商外贸和关单数据实时采集和更新。

这个软件是通过scrapy爬虫框架结合代理IP池再加上request模拟请求技术以及验证码识别技术，可以做到日更新采集全国新工商信息。采集的数据自动存储在mysql数据库表里，可下载全量1.8亿多企业工商基本信息和36维度的详细信息.支持sql和excel导出数据包格式。