PySpider:一个国人编写的强大的网络爬虫系统并带有强大的WebUI。采用Python语言编写,分布式架构,支持多种数据库后端,强大的WebUI支持脚本编辑器,任务监视器,项目管理器以及结果查看器。在线示例:http://demo.pyspider.org/你已经安装好了Pyspider和MySQL-python(保存数据)如果你还没安装的话,请看看我的前一篇文章,防止你也走弯路。Pyspider框架学习时走过的一些坑我所遇到的一些错误:首先,本爬虫目标:使用Pyspider框架爬取V2EX网站的帖子中的问题和内容,然后将爬取的数据保存在本地。V2EX中大部分的帖子查看是不需要登录的,当然
1