实现百度搜索图片下载到指定文件夹，获取网页源代码，可以自己下载，改一下网页的accept，referer，Method 参数等就可以获取到如淘宝京东或其他网页的图片。

本人java小白一个，写的代码可能不会很规范，欢迎交流(*^▽^*)

描述：由C#编写的多线程异步抓取网页的网络爬虫控制台程序 功能：目前只能提取网络链接，所用的两个记录文件并不需要很大。网页文本、图片、视频和html代码暂时不能抓取，请见谅。 但需要注意，网页的数目是非常庞大的，如下代码理论上大概可以把整个互联网网页链接都抓下来。 但事实上，由于处理器功能和网络条件（主要是网速）限制，一般的家用电脑最多能胜任12个线程左右的抓取任务，抓取速度有限。可以抓取，但需要时间和耐心。 当然，这个程序把所有链接抓下来是可能的，因为链接占系统空间并不多，而且有记录文件的帮助，已抓取网页的数量可以堆积下去， 甚至可以把所有的互联网网络链接都存取下来，当然，最好是分批次。建议设置maxNum为500-1000左右，慢慢累积下去。 另外因为是控制台程序，有时候显示字符过多会系统会暂停显示，这时候只要点击控制台按下回车键就可以了。程序假死的时候，可以按回车键（Enter）试试。 /// 使用本程序，请确保已创建相应的记录文件，出于简化代码的考虑，本程序做的并不健壮，请见谅。 /// 默认的文件创建在E盘根目录“已抓取网址.txt”和“待抓取网址.txt”这两个文本文件中，使用者需要自行创建这两个文件，注意后缀名不要搞错。 这两个文件里面的链接基本都是有效链接，可以单独处理使用。 本爬虫程序的速度如下： 10线程最快大概500个链接每分钟 6-8线程最快大概400-500个链接每分钟 2-4线程最快大概200-400个链接每分钟 单线程最快大概70-100个链接每分钟 之所以用多线程异步抓取完全是出于效率考虑，本程序多线程同步并不能带来速度的提升，只要抓取的网页不要太多重复和冗余就可以，异步并不意味着错误。

Web Scraper 爬虫 网页抓取 Chrome插件，可以在chrome中选择离线安装。 点击谷歌浏览器右上角的自定义及控制按钮，在下拉框中选择工具选项，然后点击扩展程序来启动Chrome浏览器的扩展管理器页面。 在打开的谷歌浏览器的扩展管理器中用户可以看到一些已经安装程序的Chrome插件，或者一个Chrome插件也没有。 找到自己已经下载好的Chrome离线安装文件xxx.crx，然后将其从资源管理器中拖动到Chrome的扩展管理界面中，这时候用户会发现在扩展管理器的中央部分中会多出一个”拖动以安装“的插件按钮。 松开鼠标就可以把当前正在拖动的插件安装到谷歌浏览器中去，但是谷歌考虑用户的安全隐私，在用户松开鼠标后还会给予用户一个确认安装的提示。 用户这时候只需要点击添加按钮就可以把该离线Chrome插件安装到谷歌浏览器中去，安装成功以后该插件会立即显示在浏览器右上角（如果有插件按钮的话），如果没有插件按钮的话，用户还可以通过Chrome扩展管理器找到已经安装的插件。

超级简单网页抓取源码，js加载完成抓取源码，抓取动态加载页面的源码。适合初学者，很简单。看懂很容易。页面加载完成抓取源码 适合新手，赚点资源分但是内容绝对有效简单明了。

蓝天采集器是一款免费的数据采集发布软件，可部署在云端服务器，几乎能采集所有类型的网页，无缝对接各类CMS建站程序，免登陆实时发布数据，软件实现定时定量全自动采集发布，无需人工干预！是大数据、云时代网站数据自动化采集发布的最佳云端爬虫软件。 关于软件： SkyCaiji（蓝天数据采集发布系统），致力于网站数据自动化采集发布，使数据采集便捷化、智能化、云端化。系统可部署在云端服务器，实现移动化办公。 数据采集： 自定义采集规则（支持正则、XPATH、JSON等）精准匹配任意信息流，几乎能采集所有类型的网页，绝大多数文章类型页面内容可实现智能识别。 内容发布： 无缝耦合各类CMS建站程序，实现免登陆导入数据，支持自定义数据发布插件，也可以直接导入数据库、存储为Excel文件、生成API接口等。 自动化及云平台： 软件实现定时定量全自动采集发布，无需人工干预！内置云平台，用户可分享及下载采集规则，发布供求信息以及社区求助、交流等。

基于Python2.7，主要功能是监控两个网站的商品价格，当满足一定条件的时候向指定邮箱发送通知，有界面模块、邮件模块、日志模块、文件读写模块、网页监控模块组成。网页监控用的Beautiful Soup，界面用的WXPython，邮件使用搜狐的sendcloud免费版（直接使用163邮箱不稳定），日志用的logging。压缩包含有源码、软件需求文档、wxPython实战(中文版）高清.pdf。2分应该不高吧^_^

python爬取网页的表格内容, 并存入csv文件, 网页地址:http://app.finance.ifeng.com/data/stock/yjyg.php?symbol=000001

其中包括获取公司黄页（公司名称），通过公司名称查公司详细信息。是通过小网站获取，大网站反扒太强，由于开发时间太长，老账号丢失，现在重新上传，其中包括开发过程，版本更新，动态获取ip等内容，但是有免费ip大多不靠谱，建议使用付费ip资源。由于公司黄页太多，可根据行业、地区等条件优先爬取关注的公司信息。

Python基础练习文件源码，里面有py文件，代码注释等等 大概有 Break退出循环语句 continue跳过本次循环继续下次循环 count计算次数 def自定义函数 Dic字典 difference差异对比 Do----While循环语句 Find查找函数 Format格式化 For循环语句 If--else语句 list列表 Mkdir新建文件夹函数 None无对象 OS系统 Pass占位符 Pass跳过语句 Print大全 Python下载网站 replace替换 Set交集 Set我有你没有 Set抛出重复 Sort排序 Split拆分函数 Time时间函数（延时休眠） Turtle画画 Type字符串类型 Update打碎字符串 white写入文件 XY轴图表 列出当前文件夹所有文件目录 发送邮件 坐标图表 字母大小写 字符串函数 字符串格式化 打开文件夹-打开文件 文件之间导入带出 是否包含字符 是否存在文件夹 最大值函数 查找字符串出现位置 测试文件 爬虫 生成二维码 生成索引号 生成随机数 类型转换 素描画 读取文件 运算符 进制 阅读代码 随机数字+字母组合（指定长度） 饼图 验证收费功能