美团,饿了么,百度外卖三大外卖平台的店铺,菜品数据爬虫源码
百度外卖:
1,TakeAwayService.java根据起始的gps坐标(百度加密后的),进行地图的重定向,用redis进行了一个深度的递归归,逻辑如下: (1)当前坐标内可获取到的商家经纬度,取最大最小经纬度组成的四点入金额redis; (2)多线程方式pop redis中的坐标做步骤1的逻辑处理,将获取的所有商家id入库; (3)当步骤二中的商家id没有获取到,或者获取到的所有商家id均落在之前已获取的商家列表中,这两种方式都将为递归的结束标志; 2,GetShopInfoByIdThread.java是获取商铺信息及店铺id补充:百度外卖因为对坐标进行了特定的加密,所以对于上述步骤1的初始坐标的录入,对地图进行了遍历方式的切割,以相隔5公里的坐标点作为起点,相互补充获取全量数据
饿了么:
主要两种方式介绍全量shopi
2021-06-04 15:47:03
52KB
系统开源
1