使用python3.6、scrapy环境、mysql。里面有每一步的注解，适合初学者步入中级的程序员们

Scrapy爬虫框架笔记

python爬虫scrapy框架实现音乐网站信息爬取,代码完整,代码可读性强,适合作为爬虫框架初学体验

MOOC_Scrapy 基于Scrapy的小爬虫，主要包括： 各个学科频道下的所有科目的基本信息(包括课程二级界面的评分信息) 指定关键词的搜索页面课程信息 爬取数据的存储和两种可视化库的小试水( & ) 主要目的是写一个走Ajax接口的爬虫练手（和交作业:sad_but_relieved_face:，初期的测试都是从零开始查看XHR信息，再fiddler抓包和模拟POST，测试完成再开写。 可视化试了 和 ，都各有各的优缺点，dash的页面写的真的很戳 （当时还没学完web基础！）数据分析意义其实感觉不是很大，尽量多花了几张图熟悉库操作而已。 ps ：cookie文件内容如失效请自行替换

运行scrapy，可获得虎扑NBA新闻前十页信息以及现役所有NBA球员信息，还有flask把获取的数据渲染出来

【2017-08-03】在win7下运行，运行环境这里没有涉及，请自行安装scrapy，mysql支持库，采集豆瓣页面存在mysql数据库，并下载图片到本地，存json文件，字段过滤，截取，适合初学者，并不高深。

此处准备使用Scrapy爬虫框架对 http://books.toscrape.com/（一个专门用来被爬取的网站）上书籍的相关信息进行爬取。 相关信息包括：书名、价格、评价等级、库存量、产品编码、评价数量。 首先进行页面分析： 这里补充一下，通常现在的浏览器都会对html文本进行一定的规范化, 所以在使用Chrome等浏览器自带的XPath路径的时候, 有可能会导致读取失败。 虽然很多时候用view命令加载出的页面和浏览器打开的是一样的，但是前者是Scrapy爬虫下载的页面，后者是由浏览器下载的页面，有时它们是不同的。 在进行页面分析时，使用view命令更加可靠： 在命令提示符窗口输入 s

Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改，下面这篇文章主要给大家介绍了关于Python抓取框架Scrapy爬虫入门之页面提取的相关资料，文中通过示例代码介绍的非常详细，需要的朋友可以参考下。

1. Cmd命令行创建项目 创建项目命令： scrapy startproject [项目名] Items定义要爬取的东西；spiders文件夹下可以放多个爬虫文件；pipelines爬虫后处理的文件，例如爬取的信息要写入数据库；settings项目设置 2. Scrapy常用模板 Scrapy-般通过指令管理爬虫项目，常用的指令有: （1） startproject创建爬虫项目 basic基础模板（最常用）；crawl通用爬虫模板；csvfeed爬取csv格式的模板；xmlfeed爬取xml格式的模板 （2） genspider -I查看爬虫模板 （3）genspider -t模版

Scrapy是python下的一个爬虫框架，挺不错的！ 官网：http://scrapy.org/ 压缩包中文件列表： 【1】. Scrapy源码包：Scrapy-0.10.2.tar.gz 【2】. Scrapy documentation release 0.12.0 【3】. Scrapy轻松定制网络爬虫