运行scrapy，可获得虎扑NBA新闻前十页信息以及现役所有NBA球员信息，还有flask把获取的数据渲染出来

【2017-08-03】在win7下运行，运行环境这里没有涉及，请自行安装scrapy，mysql支持库，采集豆瓣页面存在mysql数据库，并下载图片到本地，存json文件，字段过滤，截取，适合初学者，并不高深。

此处准备使用Scrapy爬虫框架对 http://books.toscrape.com/（一个专门用来被爬取的网站）上书籍的相关信息进行爬取。 相关信息包括：书名、价格、评价等级、库存量、产品编码、评价数量。 首先进行页面分析： 这里补充一下，通常现在的浏览器都会对html文本进行一定的规范化, 所以在使用Chrome等浏览器自带的XPath路径的时候, 有可能会导致读取失败。 虽然很多时候用view命令加载出的页面和浏览器打开的是一样的，但是前者是Scrapy爬虫下载的页面，后者是由浏览器下载的页面，有时它们是不同的。 在进行页面分析时，使用view命令更加可靠： 在命令提示符窗口输入 s

Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改，下面这篇文章主要给大家介绍了关于Python抓取框架Scrapy爬虫入门之页面提取的相关资料，文中通过示例代码介绍的非常详细，需要的朋友可以参考下。

1. Cmd命令行创建项目 创建项目命令： scrapy startproject [项目名] Items定义要爬取的东西；spiders文件夹下可以放多个爬虫文件；pipelines爬虫后处理的文件，例如爬取的信息要写入数据库；settings项目设置 2. Scrapy常用模板 Scrapy-般通过指令管理爬虫项目，常用的指令有: （1） startproject创建爬虫项目 basic基础模板（最常用）；crawl通用爬虫模板；csvfeed爬取csv格式的模板；xmlfeed爬取xml格式的模板 （2） genspider -I查看爬虫模板 （3）genspider -t模版

Scrapy是python下的一个爬虫框架，挺不错的！ 官网：http://scrapy.org/ 压缩包中文件列表： 【1】. Scrapy源码包：Scrapy-0.10.2.tar.gz 【2】. Scrapy documentation release 0.12.0 【3】. Scrapy轻松定制网络爬虫

1、Scrapy的简介。 主要知识点：Scrapy的架构和运作流程。 1搭建开发环境： 主要知识点：Windows及Linux环境下Scrapy的安装。 2、Scrapy Shell以及Scrapy Selectors的使用。 3、使用Scrapy完成网站信息的爬取。 主要知识点：创建Scrapy项目(scrapy startproject)、定义提取的结构化数据(Item)、编写爬取网站的 Spider 并提取出结构化数据(Item)、编写 Item Pipelines 来存储提取到的Item(即结构化数据)。

使用scrapy框架对csdn热榜前100的标题热词爬虫，并且统计关键词词频。注意一下，该项目是2021年10月开发，如果页面有变动，xpath需要稍微调整。

通过爬虫获取豆瓣正在热映的电影，以及相关信息，如电影名、导演、发行时间、主演等等。注意代码编写时间为2021年10月，如果页面变动，xpath需要调整。

scrapy练手实战项目，由简入深，适合入门练习。