Learn web scraping and crawling techniques to access unlimited data from any web source in any format. With this practical guide, you’ll learn how to use Python scripts and web APIs to gather and process data from thousands—or even millions—of web pages at once. Ideal for programmers, security professionals, and web administrators familiar with Python, this book not only teaches basic web scraping mechanics, but also delves into more advanced topics, such as analyzing raw data or using scrapers for frontend website testing. Code samples are available to help you understand the concepts in practice. Learn how to parse complicated HTML pages Traverse multiple pages and sites Get a general overview of APIs and how they work Learn several methods for storing the data you scrape Download, read, and extract data from documents Use tools and techniques to clean badly formatted data Read and write natural languages Crawl through forms and logins Understand how to scrape JavaScript Learn image processing and text recognition

全国地铁站点数据包含城市、站名、经纬度、线路

可通过GUI获取用户输入的城市名，查询出输入城市n天的天气预报数据，再显示输出

该代码使用python开发，实现了喜马拉雅的音乐获取，并适当的增加了一些文件处理知识，是一个完整的小型项目，代码逻辑清楚，且已经包括了运行环境的配置要求，可以直接运行。

简易python爬虫的开发，对国家统计局区划、城乡规划代码进行抓取。 所谓简易，一方面是因为是单线程爬虫，不涉及python的多进程、多线程编程，另一方面是因为不包括“URL管理器”的模块（负责存储已爬取、未爬取的url序列，控制爬虫不多爬、不漏爬），而是用了循环体的结构，依次爬取省、市、区、街道的页面。 爬虫主要分为4个模块： 1. 主控制器（spider_main.py），负责对其他模块进行调用，控制整个爬取过程 2. 下载器（html_downloader.py），负责请求指定的url，将响应结果返回主控制器 3. 解析器（html_parser.py），负责调用beautifulsoup4对请求到的html代码进行解析，拼装需要的数据集合 4. 数据库控制器（mysql_handler.py），负责执行数据库操作

利用python爬虫获取民政部官网上的县级行政区划完整名单

119城市距离Python爬虫及源数据，使用python爬虫得到119个城市的相互距离。

城市公交、地铁数据反映了城市的公共交通，研究该数据可以挖掘城市的交通结构、路网规划、公交选址等。但是，这类数据往往掌握在特定部门中，很难获取。互联网地图上有大量的信息，包含公交、地铁等数据，解析其数据反馈方式，可以通过Python爬虫采集。闲言少叙，接下来将详细介绍如何使用Python爬虫爬取城市公交、地铁站点和数据。 首先，爬取研究城市的所有公交和地铁线路名称，即XX路，地铁X号线。可以通过图吧公交、公交网、8684、本地宝等网站获取，该类网站提供了按数字和字母划分类别的公交线路名称。Python写个简单的爬虫就能采集，可参看WenWu_Both的文章，博主详细介绍了如何利用python爬取

scrapy，selenium，requests，随机请求头 的一些用法操作，自动创建记录表，删掉记录表运行后程序会重新记录

中国大学MOOC课程信息爬取，包括（课程的参加人数和评分）基本是所有的中国大学MOOC课程信息数据