一、选取网址进行爬虫 本次我们选取pixabay图片网站 url=https://pixabay.com/ 二、选择图片右键选择查看元素来寻找图片链接的规则 通过查看多个图片路径我们发现取src路径都含有 https://cdn.pixabay.com/photo/ 公共部分且图片格式都为.jpg 因此正则表达式为 re.compile(r'^https://cdn.pixabay.com/photo/.*?jpg$') 通过以上的分析我们可以开始写程序了 #-*- coding:utf-8 -*- import re import requests import os fro

在公司做分布式深网爬虫，搭建了一套稳定的代理池服务，为上千个爬虫提供有效的代理，保证各个爬虫拿到的都是对应网站有效的代理IP，从而保证爬虫快速稳定的运行，当然在公司做的东西不能开源出来。不过呢，闲暇时间手痒，所以就想利用一些免费的资源搞一个简单的代理池服务。 1、问题 代理IP从何而来？ 刚自学爬虫的时候没有代理IP就去西刺、快代理之类有免费代理的网站去爬，还是有个别代理能用。当然，如果你有更好的代理接口也可以自己接入。 　　免费代理的采集也很简单，无非就是：访问页面页面 —> 正则/xpath提取 —> 保存 如何保证代理质量？ 可以肯定免费的代理IP大部分都是不能用的，不然别人为什么还提

遇到反爬虫策略时ip代理池的获取和随机生成是一个很好的应对策略，该代码已经保存为相应的模块，在写爬虫程序是可以知己import用上

python爬取小说与图片源码案例，附送一个自写的视频程序

基于Python和Echarts职位画像系统，用Scrapy抓取招聘数据，使用Django+echarts完成数据可视化

Python3爬虫、数据清洗与可视化配套资源代码和数据集 零一 韩要宾 黄园园 Python技术入门读物，通过实战教初学者

基于python爬虫对百度贴吧进行爬取的课程设计

爬取豆瓣电影排名程序，包含非常详细的注释，基本每句程序都有，最后保存到EXCEL表中，分为两个文件夹，一个是库函数文件，一个是主函数文件，最后还有一个已爬取成功的EXCEL表。

python爬虫 利用python爬虫实现淘宝爬取网页，来源来自中国大学慕课嵩天老师的课程，自己精心修改。

python实现豆瓣短评的爬虫程序，并经过数据预处理和JieBa分词，统计词频，最终生成次云.zip