`Selenium`是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，类型像我们玩游戏用的按键精灵，可以按指定的命令自动操作，不同是Selenium 可以直接运行在浏览器上，它支持所有主流的浏览器（包括PhantomJS这些无界面的浏览器）。 `Selenium `可以根据我们的指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏，或者判断网站上某些动作是否发生。

1.利用爬虫工具完成基于搜索的最新银行新闻的一个获取工作 2.首先在网页上搜索银行新闻 3.根据出现的银行新闻条目获取相应的网址链接 4.逐一爬取 5.解决了抓取过程中的乱码问题 6.解决了基于搜索的爬虫 7.xpach 定位

dddd_ocr也是一个用于识别验证码的开源库，又名带带弟弟ocr，爬虫界大佬sml2h3开发，识别效果也是非常不错，对一些常规的数字、字母验证码识别有奇效。

scrapy提供了强大的数据爬取功能，简单易于实现，方便初学者开发，是一个不错的选择

很好的一个文档，中文的。

2022年数学建模美赛数据爬取 使用Python Scrapy技术 爬取的mead湖的水文数据

在B站上学到的若干爬虫程序,自动登录，破解验证码，使用了requests/selenium/re/time等模块

首先通过爬虫获取灯谜的数据，灯谜数据来源于汉谜网，然后用保存为csv或者表格数据，并用用tk做界面进行展示

python爬虫爬取了招聘职业有python需求的一部分工作

实验：CentOS7配置Python爬虫环境.docx，该实验给出了配置Python爬虫环境的详细过程，每一步骤都有文字说明和截图 一、实验目的：熟悉爬虫和Python常用爬虫库，在CentOS7上掌握用于存储爬取的数据的MySQL、MongoDB数据库的配置方法。 二、实验内容：爬虫的原理、Python常用爬虫库、配置MySQL数据库、配置MongoDB数据库 三、实验环境：Google浏览器、CentOS7.5、MySQL8.0.28、MongoDB5.0.6 四、实验步骤 五、实验结果