这是基于python爬虫技术编程写的外贸企业爬虫系统，实现全球海关、关单、外贸数据的爬取。框架采用python多线程技术+request+代理IP池,实现了每天几十亿家采购商供应商外贸和关单数据实时采集和更新。

2016年，是大数据从概念到务实落地的一年。在过去的一年内，互联网行业、电信行业、金融行业、房地产行业、汽车行业、娱乐行业、教育行业、零售行业、能源行业、医药行业、政府机关等都在不同程度的接触和实施大数据。很多正在实施大数据的企业或机构并不成功，为什么？他们实施大数据都存在共同的问题，最为典型和严重的是三个问题是：很多企业业务部门不了解大数据，也不了解大数据的应用场景和价值，因此难以提出大数据的准确需求。由于业务部门需求不清晰，大数据部门又是非盈利部门，企业决策层担心投入比较多的成本，导致了很多企业在搭建大数据部门时犹豫不决，或者很多企业都处于观望尝试的态度，从根本上影响了企业在大数据方向的发