用Perl脚本来抓去 天涯论坛 的帖子，呵呵 看帖子方便多了[网络爬虫]

python爬虫程序源代码-淘宝和天猫微信公众号乌云知乎爬虫.zip

这是一个C#实现的Web网页/网络爬虫程序（也叫网络蜘蛛或网络蚂蚁），它可以自动的对一个网站上的网页进行遍历，并自动下载。大多用于搜索引擎的前期数据获取，当然，也可以用来分析获取Email了

爬虫python入门 个获取知乎用户主页信息的多线程Python爬虫程序。 简介： * 使用[Requests](http://www.python-requests.org/en/master/)模拟HTTP请求/响应，[Beautiful Soup 4](https://www.crummy.com/software/BeautifulSoup/)提取页面信息。 * 使用Python内置的Thread多线程和IP代理提升爬取速度，并绕过知乎的反爬虫机制。 * 使用Python内置的query作为消息队列。 * 用csv文件存储数据。 ## 环境依赖 * beautifulsoup4 * requests ## 使用方法 在项目路径下输入以安装需要的模块： ```shell $ pip install -r requirments.txt ``` 打开proxy.py文件，在""处填写代理隧道验证信息： ```python # 代理隧道验证信息 proxyUser = "" proxyPass = "" ``` （笔者使用一个IP代理隧道，若需要使用普通IP代理，

网络爬虫 用于获取 Coursera、EdX 和 Udacity 数据的爬虫程序 要求 Python 2.7 具有以下库： 刮痧 要求 JSON 运行爬虫 Coursera 要从 Coursera 收集数据，请运行： python coursera/scrape_coursera.py edX 要从 edX 收集数据，请导航到edx/目录并运行： scrapy crawl edx 优达学城 要从 Udacity 收集数据，请导航到udacity/目录并运行： scrapy crawl udacity

主要介绍了python 写的一个爬虫程序源码,需要的朋友可以参考下

该程序可以爬取谷歌图片，需要链接vnp，python语言，需要配置必要的安装包，建议在anaconda环境下使用。

Visual Studio 2010 +Sqlserver2008 table.sql 数据库表脚本,数据库名请自建. 数据库连接串在web.config中修改 注意:项目中WebUI网站本地是部署在iis中的,打开解决方案后,请手工添加网站. 网站后台管理用户名admin,密码admin 使用框架及插件: ligerui 后台管理界面框架 kindeditor 富文本编辑器 uploadify 文件上传js插件 主要功能: 网站设置 公告管理 广告管理 资讯管理 展会管理 网上展厅 爬虫管理 后台管理还有网站爬虫特色功能,自动抓取其他网站内容 爬虫配置文件在admin/webcrawler/config.xml

用java代码实现对新浪新闻的部分模块进行自动爬取，导出保存为TXT文本。

豆瓣电影相关数据集有12W，用户的影评有40W，还有爬虫程序：两个csv和一个db数据库，爬了几天了，在此分享给大家，可以做推荐系统使用，希望可以帮助到大家