最为基本的python爬虫项目，适合于初学者学习python爬虫

自动抓取网页视频，批量下载m3u8视频ts文件，并自动合成一个MP4格式视频文件

codersgirlfriend python语言的爬虫项目，在（相亲网站，社交网站等）抓取未来女朋友的联系方式（qq，email）。自己动手，丰衣足食。 打算以pyspider为主框架，当然可以用scrapy等自己习惯的工具库。 妈妈再也不用担心我们屌丝一辈子啦！ O(∩_∩)O哈哈~

供爬虫新手学习的22个实用爬虫案例，非常实用，随便改改就可以实用，不会的评论区评论喔！

最近呆在家里闲着没事干，学习了几天pyhton爬虫，有了一个初步的了解，便打算模拟登录一下正方教务系统获取一下成绩信息，方便以后可以快速地查成绩，心疼几秒教务系统/滑稽。首先要获取教务系统的网址，在浏览器访问网址：http://210.38.137.126:8016/，观察登录界面： 验证码识别： 登录需要用户名、密码和验证码，首先要解决的是验证码的问题，识别验证码的方法无非两种，人工识别和第三方自动识别，为了方便以后的操作，我选择了一个叫云打码的第三方平台，有需要的可以百度搜索注册一个，价格挺便宜的，具体使用方法平台有详细的说明，在这里就不多复述了，嫌麻烦的可以先采用第一种方法，无论哪种方

爬取中文医学图谱中的实体关系实体，用于知识图谱模型的构建

News_recommend 本次项目是基于大数据计算引擎的新闻推荐系统--"今日小站"，包含了爬虫，新闻网站（前端和后端），推荐系统（Spark）。 前端效果： 一.爬虫 开发环境： pycharm+python3 软件架构： mysql+scrapy+splash 项目描述： 爬虫项目负责重复爬取今日头条首页新闻，去除重复新闻，存入mysql。 二.新闻网站： 开发环境： IntelliJ IDEA + maven + git + linux 软件架构： mysql + springboot 项目描述： 今日小站是基于springboot框架搭建的web项目，用户在网站完成注册登录后，网站会记录用户的浏览行为。同时网站也会把推荐结果呈现给用户。 三.推荐系统： 开发环境： IntelliJ IDEA + maven + git + linux 软件架构： zookeeper + flu

基于Spark的新闻推荐系统，包含爬虫项目、web网站以及spark推荐系统.zip

大数据简历 内含三个项目： 项目一：联通大数据项目 项目名称： 移动终端上网数据实时分析处理系统； 开发环境： IDEA+eclipse+maven+jdk 系统架构： hadoop+zookeeper+flume+Spark+hive+mysql+sqoop+Oracle 项目二：联通大数据项目 项目名称： 信令数据实时分析处理系统； 开发环境： IDEA+eclipse+maven+jdk 系统架构： hadoop+zookeeper+Spark+hive+mysql+sqoop+Oracle 项目三：网络爬虫 项目名称： 爬取电商网站商品信息 开发环境： eclipse+mysql+maven+jdk+svn 系统架构： hadoop+zookeeper+httpclient+htmlcleaner+hbase+redis+solr+flume+kafka+storm

python爬虫项目开发实战高清pdf加源代码包含各章节的源代码，适合新手入门练习，包会