Python爬虫学习之基于Scrapy的网络爬虫.pdf

【建立目标】 　　同样在做任何事情之前都需要明确目标，那这次我们的目标是爬取一些技术性的文章并存储到数据库中。这就需要有目标网址和数据库结构，数据库我们选择使用MySql，目标网站我们找了一个叫脚本之家的内容站。我们这里首先准备好一张用于存储文章的表结构： 　　CREATE TABLE `articles` ( 　　`id` mediumint(8) AUTO_INCREMENT NOT NULL, 　　`title` varchar(255) DEFAULT NULL, 　　`content` longtext, 　　`add_date` int(11) DEFAULT 0, 　　`hits` int(11) DEFAULT '0', 　　`origin` varchar(500) DEFAULT '', 　　`tags` varchar(45) DEFAULT '', 　　PRIMARY KEY (`id`), 　　KEY `add_date` (`add_date`) 　　) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_unicode_ci;