1. 基本介绍： config.py：配置信息文件 generate_task2db.py:从12306网站上下载train_list和station_name信息，对数据进行初步处理。生成两类任务：车次时刻表信息抓取任务(train_crawler.py)与车次经停靠站点信息（path_stations_crawler.py）。_id（主键）：任务抓取url参数。车次时刻表信息抓取任务，对应起始站代码和终点站代码；车次经停靠站点信息抓取任务，对应车次序号train_no、起始站代码和终点站代码。status: 任务执行状态。以0作为任务抓取的初始状态值，表示UN_PROCESSED，1表示PROCESSING,2表示PROCESSED train_crawler.py: 车次时刻表信息抓取爬虫。 path_stations_crawler.py: 经停靠站台信息抓取爬虫。 get_pa

Python之scrapy爬虫文件，包括案例分析，具体讲解

python书籍信息爬虫示例，供大家参考，具体内容如下 背景说明 需要收集一些书籍信息，以豆瓣书籍条目作为源，得到一些有效书籍信息，并保存到本地数据库。 获取书籍分类标签 具体可参考这个链接： https://book.douban.com/tag/?view=type 然后将这些分类标签链接存到本地某个文件，存储内容如下 https://book.douban.com/tag/小说 https://book.douban.com/tag/外国文学 https://book.douban.com/tag/文学 https://book.douban.com/tag/随笔 https://

网页反反爬技术大全--对抗python爬虫扒网页

本书从Python 3.6.4的安装开始，详细讲解了Python从简单程序延伸到Python网络爬虫的全过程。本书从实战出发，根据不同的需求选取不同的爬虫，有针对性地讲解了几种Python网络爬虫。 本书共10章，涵盖的内容有Python3.6语言的基本语法、Python常用IDE的使用、Python第三方模块的导入使用、Python爬虫常用模块、Scrapy爬虫、Beautiful Soup爬虫、Mechanize模拟浏览器和Selenium模拟浏览器、Pyspider爬虫框架、爬虫与反爬虫。本书所有源代码已上传网盘供读者下载。 本书内容丰富，实例典型，实用性强。适合Python网络爬虫初学者、Python数据分析与挖掘技术初学者，以及高等院校和培训学校相关专业的师生阅读。 胡松涛，高级工程师，参与多个Linux开源项目，github知名代码分享者，活跃于国内著名的多个开源论坛。

python爬虫疫情案例分析，从案例掌握网页爬取，网页解析，数据分析展示功能。欢迎对爬虫感兴趣的朋友进行下载。

Python爬虫100例教程导航帖（已完结）.docx Python爬虫100例教程导航帖（已完结）.docx Python爬虫100例教程导航帖（已完结）.docx 大纲清单

python爬虫无头浏览器技术selenium 自动抢piao， 源代码+注释讲解功能点， 123某6抢piao， 无头浏览器技术， selenium

数据挖掘与数据管理

数据挖掘与数据管理