Python爬虫、mysql、neo4j

python爬取电影天堂

利用python实现一个简单的淘宝商品信息爬取

Learn web scraping and crawling techniques to access unlimited data from any web source in any format. With this practical guide, you’ll learn how to use Python scripts and web APIs to gather and process data from thousands—or even millions—of web pages at once. Ideal for programmers, security professionals, and web administrators familiar with Python, this book not only teaches basic web scraping mechanics, but also delves into more advanced topics, such as analyzing raw data or using scrapers for frontend website testing. Code samples are available to help you understand the concepts in practice. Learn how to parse complicated HTML pages Traverse multiple pages and sites Get a general overview of APIs and how they work Learn several methods for storing the data you scrape Download, read, and extract data from documents Use tools and techniques to clean badly formatted data Read and write natural languages Crawl through forms and logins Understand how to scrape JavaScript Learn image processing and text recognition

全国地铁站点数据包含城市、站名、经纬度、线路

可通过GUI获取用户输入的城市名，查询出输入城市n天的天气预报数据，再显示输出

该代码使用python开发，实现了喜马拉雅的音乐获取，并适当的增加了一些文件处理知识，是一个完整的小型项目，代码逻辑清楚，且已经包括了运行环境的配置要求，可以直接运行。

简易python爬虫的开发，对国家统计局区划、城乡规划代码进行抓取。 所谓简易，一方面是因为是单线程爬虫，不涉及python的多进程、多线程编程，另一方面是因为不包括“URL管理器”的模块（负责存储已爬取、未爬取的url序列，控制爬虫不多爬、不漏爬），而是用了循环体的结构，依次爬取省、市、区、街道的页面。 爬虫主要分为4个模块： 1. 主控制器（spider_main.py），负责对其他模块进行调用，控制整个爬取过程 2. 下载器（html_downloader.py），负责请求指定的url，将响应结果返回主控制器 3. 解析器（html_parser.py），负责调用beautifulsoup4对请求到的html代码进行解析，拼装需要的数据集合 4. 数据库控制器（mysql_handler.py），负责执行数据库操作

利用python爬虫获取民政部官网上的县级行政区划完整名单

119城市距离Python爬虫及源数据，使用python爬虫得到119个城市的相互距离。