NCrawler是一款国外的开源网络爬虫软件，遵循LGPL许可协议。其HTML处理使用的是htmlagilitypack开源库，采用xpath的方式处理定位网页元素，十分方便。同时其采用HttpWebRequest异步的方式获取网页，采集效率较高。

使用PHP脚本模拟登陆，获取网站信息并输出到excel文件的脚本。 详见：http://blog.csdn.net/taylor_tao/article/details/7385118

爬取天气 首先这串代码是我爬取天气网的相关信息，用到的有lxml和requests，用requests获取网页内容通过etree和xpath提取其中的相关信息，keyword是要输入的城市名字，可以随意修改目前已存在的城市，如果大家有什么问题欢迎留言。 import requests from lxml import etree def get_weather(keyword): url = 'https://www.tianqi.com/tianqi/search?keyword=' + keyword\n headers = {\n 'User-Agent': 'M

详细介绍c#开发的网络爬虫代码的源文件.入门级学者可下载学习

房地产是促进我国经济持续增长的基础性、主导性产业，二手房市场是我国房地产市场不可或缺的组成部分。由于二手房的特殊性，目前市场上实时监测二手房市场房价涨幅的情况较少，影响二手房价的因素错综复杂，价格并非呈传统的线性变化。         本项目利用Python实现某一城市二手房相关信息的爬取，并对爬取的原始数据进行数据清洗，存储到数据库中，通过 flask 搭建后台，分析影响二手房房价的各类因素，并构建递归决策树模型，实现房价预测建模。

Java网络爬虫(蜘蛛)源码_zhizhu

最新小红书x-s参数x-t参数、爬虫、python、小红书、反爬虫

Chrome插件-XPath Helper 完成Bing每日壁纸的小爬虫.zip。XPath是一个辅助我们写爬虫的小插件, 我们可以用XPath辅助我们完成一个Bing壁纸的小爬虫

这是一个C#实现的Web网页/网络爬虫程序（也叫网络蜘蛛或网络蚂蚁），它可以自动的对一个网站上的网页进行遍历，并自动下载。大多用于搜索引擎的前期数据获取，当然，也可以用来分析获取Email了

本Python爬虫教学视频，全集共51天课程，整套课程以Python语言为核心，通过各种经典案例的讲解，很好的演示了python爬虫如何抓取数据的全过程，非常值得Python爬虫工程师和想掌握python爬虫技术的同学借鉴学习。 Python爬虫实战学习day1 1Python爬虫的基本概念 2Fiddler简介 3网页信息简介 4读取网页三种方法 5正则表达式回顾 6抓取智联招聘 7抓取51job 8作业 Python爬虫实战学习day2 1response网络详细信息 2agent代{过}{滤}理解决网站屏蔽3agent也可以冒充手机或者ipad浏览器4get模拟百度5get模拟智联招聘6get小结7post通信8postogi 9get与post小结 10综合应用模拟android手机浏览器11本地代{过}{滤}理12代{过}{滤}理密码验证13下载14重定向 15加密网址的访问16debug调试17readcookie 18save与Loadcookie19人人网cookie模拟登陆