Python网络爬虫实习报告材料.doc

Python网络爬虫实习报告 目录 一、选题背景 - 2 - 二、爬虫原理 - 2 - 三、爬虫历史和分类 - 2 - 四、常用爬虫框架比较 - 5 - 五、数据爬取实战（豆瓣网爬取电影数据） - 6 - 1分析网页 - 6 - 2爬取数据 - 7 - 3数据整理、转换 - 10 - 4数据保存、展示 - 12 - 5技术难点关键点 - 12 - 六、总结 - 14 - 选题背景 爬虫原理 爬虫历史和分类 常用爬虫框架比较 Scrapy框架:Scrapy框架是一套比较成熟的Python爬虫框架，是使用Python开发的快速、 高层次的信息爬取框架，可以高效的爬取web页面并提取出结构化数据。Scrapy应用范围 很广，爬虫开发、数据挖掘、数据监测、自动化测试等。 Crawley框架:Crawley也是Python开发出的爬虫框架，该框架致力于改变人们从互联网中 提取数据的方式。 Portia框架:Portia框架是一款允许没有任何编程基础的用户可视化地爬取网页的爬虫框 架。 newspaper框架:newspaper框架是一个用来提取新闻、文章以及内容分析的Python爬虫框 架。 P