python爬虫爬取的yijos题库，可直接导入oj平台，本资源进用于学习研究，切勿进行任何形式的商业用途

一个小项目(注释真的很多撒)，支持以下几种方式，自己下载index.m3u8，给出网页基址然后自动下载ts，或者直接给出视频网页的地址（一般情况下，视频每一集的网页地址是有规律的，其视频所在标签会给出相应的m3u8文件的地址，需要调整一下程序），之后自行下载index.m3u8文件之后全自动后续。（不排除index.m3u8文件和ts文件不在同一个网址下，但是这样无聊的人估计很稀少。。。）程序具有加载进度条，可以看到下载的进程。

自带简易界面的图片下载小工具，输入需下载的图片的关键字即可，会自动在D盘生成一个pics文件夹存放图片。简便好用，需要者自行下载。

这是新浪微博爬虫，采用python+selenium实现。 免费资源，希望对你有所帮助，虽然是傻瓜式爬虫，但是至少能运行。同时rar中包括源码及爬取的示例。 参考我的文章： http://blog.csdn.net/eastmount/article/details/50720436 [python爬虫] Selenium爬取新浪微博内容及用户信息 http://blog.csdn.net/eastmount/article/details/51231852 [Python爬虫] Selenium爬取新浪微博客户端用户信息、热点话题及评论 (上) 主要爬取内容包括： 新浪微博手机端用户信息和微博信息。 用户信息：包括用户ID、用户名、微博数、粉丝数、关注数等。 微博信息：包括转发或原创、点赞数、转发数、评论数、发布时间、微博内容等。 安装过程： 1.先安装Python环境，作者是Python 2.7.8 2.再安装PIP或者easy_install 3.通过命令pip install selenium安装selenium，它是自动测试、爬虫的工具 4.然后修改代码中的用户名和密码

中国大学mooc上的爬取淘宝页面商品已经因为淘宝的维护而无法爬取 比如，只出现个表头： 这是我按照嵩天老师代码学习，遇到的问题。 原代码如下： import requests import re def getHTMLText(url): try: r= requests.get(url,timeout=30) r.raise_for_status() r.encoding = r.apparent_encoding return r.text except: return "" def parseP

源码和打包的exe，python爬虫爬取网易歌单并以GUI图形化界面显示出来

python爬虫-爬取豆瓣评分前250的电影信息

一个Java实现的爬虫工具。 用到的技术：网络编程、数据库技术、自动化、通用编程。 想要共同学习的朋友可以使用资源中附有的源码和流程图，这样可以帮助你快速理解代码。 代码也许并不是最优化的，但十分易于理解。 对于附带的分析器。功能主要为对爬取到的数据进行初步分析。同样附带源码，并且设计为拥有可拓展性，有兴趣的朋友可以自行拓展其功能 两者都打包为了jar文件，可以直接通过命令行运行

资源内容是利用Python的爬虫技术，自动爬取和批量下载与Python相关的招聘数据，资源内附完整的爬虫代码，并且转成了exe应用程序

爬取特定网址音乐排行榜并导出到excel