Scrapy是一个强大的Python爬虫框架，它提供了许多高级功能，包括自动处理HTTP请求、解析HTML文档、管理网络延迟以及——如题目所示——图片抓取。本文将深入探讨Python Scrapy如何实现图片爬取，并通过一个具体的代码实例来展示其工作原理。
我们需要创建一个Scrapy Spider。在Scrapy项目中，Spider是负责抓取网页内容的核心组件。以下是一个名为`ImgSpider`的简单示例：
```python
class ImgSpider(scrapy.Spider):
name = 'img'
start_urls = ['http://www.521609.com/daxuemeinv/']
url = 'http://www.521609.com/daxuemeinv/list8%d.html'
pageNum = 1
def parse(self, response):
li_list = response.xpath('//[@id="content"]/div[2]/div[2]/ul/li')
for li in li_list:
img_src = 'http://www.521609.com' + li.xpath('./a[1]/img/@src').extract_first()
item = ImgproItem()
item['src'] = img_src
yield item
```
在这个Spider中，`parse`方法解析了响应（`response`），提取了每个图片的URL，并将其放入一个`Item`对象中。`Item`是Scrapy中的一个类，用于封装爬取的数据。在这个例子中，我们创建了一个`ImgproItem`，其中包含一个字段`src`，用于存储图片URL。
接着，我们需要配置Scrapy以处理图片。在Scrapy的设置文件（通常是`settings.py`）中，增加`IMAGES_STORE = './imgsLib'`，这告诉Scrapy图片应该保存在当前目录下的`imgsLib`文件夹里。
我们需要创建一个自定义的图片处理管道（Pipeline）。Scrapy的Pipeline机制允许我们在数据从Spider到最终存储或导出的过程中进行预处理。对于图片下载，我们需要继承Scrapy的`ImagesPipeline`类，并重写其中的几个关键方法：
```python
from scrapy.pipelines.images import ImagesPipeline
class ImgproPipeline(ImagesPipeline):
def get_media_requests(self, item, info):
yield scrapy.Request(item['src'])
def file_path(self, request, response=None, info=None):
name = request.url.split('/')[-1]
print('正在下载：', name)
return name
def item_completed(self, results, item, info):
return item
```
`get_media_requests`方法负责生成下载图片的请求；`file_path`定义了图片文件在本地存储时的文件名；`item_completed`方法在图片下载完成后被调用，这里我们只是简单地返回`item`，意味着这个`item`的处理已完成，可以交给下一个Pipeline处理。
总结来说，Python Scrapy的图片爬取原理主要涉及以下几个步骤：
1. Spider解析网页并提取图片URL。
2. 将图片URL放入Item对象并提交给Pipeline。
3. 配置Scrapy的图片存储位置。
4. 自定义Pipeline继承`ImagesPipeline`，重写相关方法处理图片下载。
5. 图片下载完成后，保存至指定路径，并更新Item状态。
这个过程使得Scrapy能够高效地抓取和存储网页中的图片，为数据分析、网站备份或其他需要大量图片的应用提供了便利。通过灵活配置和扩展，Scrapy的图片爬取功能可以适应各种复杂的网页结构和需求。
2024-11-06 13:54:52
40KB
1
这段代码主要用于从网站 “https://yesmzt.com” 上抓取并下载图片。它使用了以下技术：
请求库（Requests）：用于发送 HTTP 请求到网站并获取响应。
XPath 和 lxml 库：用于解析 HTML 文档并提取所需的数据。
AES 加密和解密：用于处理网站上的加密数据。这部分代码使用了 Crypto.Cipher 库中的 AES 模块和 Crypto.Util.Padding 库中的 unpad 函数。
哈希函数（Hashing）：用于生成特定的密钥，这部分代码使用了 hashlib 库中的 md5 函数。
Base64 编码和解码：用于处理二进制数据，这部分代码使用了 base64 库。
代码的主要流程如下：
首先，它会获取特定页面上的所有图片 ID（get_id_list 函数）。
然后，对于每个 ID，它会发送一个请求到服务器以获取加密的图片 URL 数据（get_img_url_list 函数）。
这些加密数据会被解密（decrypt 函数），得到实际的图片 URL 列表。
最后，代码会下载每个 URL 对应的图片并保存到本地
2024-08-20 16:03:53
4KB
1
可以根据输入的关键字和页码数批量爬取淘宝图片下载到本地指定目录。
2018.5.10 只要淘宝网站不做大的的更新，可以一直使用。
2022-10-03 15:20:37
6.01MB
1
输入文章地址自动爬取，爬取文章内所有图片按序依次生成数字序号的图片文件（图片格式不变），文章文字内容生成单独的.txt文字文档
2021-08-03 09:30:25
4KB
1