爬虫学习笔记（主要涉及scrapy，request，xpath，selenium等）.md

我们的需求是利用xpath爬取链家租房房源数据，并将数据通过pandas保存到Excel文件当中 下面我们看一下链家官网的房源信息（以北京为例） 如图所示，我们通过筛选得到北京租房信息 那么我们需要将房屋所在地区、小区名、户型、面积、朝向、价格等信息通过爬虫提取出来。 思路步骤： 1.通过翻阅我们查看到总共页数一共是100页，那么我们需要通过format方法获取到这100个url地址列表url_list； 2.遍历url列表，分别发送请求，获得响应html_str； 3.利用xpath得到element对象，对element对象采用xpath方法得到每个房屋element组成的列表det_d

最近在研究爬虫，爬取好多网站的数据，下面就以爬取图片网站照片为例，来让大家学习，希望大家多交流。总的来说爬虫不难，会python的简单语法，会xpath提取网页需要的信息，就可以很快的爬取网站的图片，同时也希望以此来激起大家学习的兴趣。 文章导航一、环境二、源码三、部分源码分析3.1 获取网站html网页数据源码3.2 返回网页源码信息数据3.3 提取网页中自己需要的信息–有多少页3.4 循环进入某一页3.5 创建文件夹，循环进入每一个图片的第二层页面 一、环境 **目标网站：**图片网 **环境：**Python3.0以上版本 windows亲测可以，linux下应该也是没有问题 **第

python中用到的小插件

jaxen-1.1-beta-6.jar, Xpath解析xml的库

Python爬虫解析XPATH讲义

xpath解析爬取当当网TOP500的图书数据。

Xpath个人免费版.rar

XPath 是一门在 XML 文档中查找信息的语言。 XPath 是 XSLT 中的主要元素。 XQuery 和 XPointer 均构建于 XPath 表达式之上

XPath Helper：chrome爬虫网页解析工具 Chrome插件图文教程 爬虫使用xpath方法的小助手，安装了xPath helper后就能轻松获取HTML元素的xPath，程序员就再也不需要通过搜索html源代码，定位一些id去找到对应的位置去解析网页了