本文通过C++实现了一个基于广度优先算法的多线程爬虫程序。本论文阐述了网络爬虫实现中的一些问题：为何使用广度优先的爬行策略，以及如何实现广度优先爬行；为何要使用多线程，以及如何实现多线程；系统实现过程中的数据存储；网页信息解析等。
2021-11-06 16:14:24
264KB
1
类似天眼查-企业工商分布式爬虫系统（含爬虫端+mongdb数据库+前端展示系统）
2021-11-06 15:56:30
41.17MB
1
完整版基于java编程语言的网络爬虫系统的设计与实现-毕业设计论文 共63页.rar
2021-10-01 09:04:26
307KB
基于Python Scrapy实现的网易云音乐music163数据爬取爬虫系统 含全部源代码
基于Scrapy框架的网易云音乐爬虫，大致爬虫流程如下：
- 以歌手页为索引页，抓取到全部歌手；
- 从全部歌手页抓取到全部专辑；
- 通过所有专辑抓取到所有歌曲；
- 最后抓取歌曲的精彩评论。
数据保存到`Mongodb`数据库，保存歌曲的歌手，歌名，专辑，和热评的作者，赞数，以及作者头像url。
抓取评论者的头像url，是因为如果大家喜欢，可以将他做web端。
### 运行：
```
$ scrapy crawl music
```
#!/usr/bin/python
#-*-coding:utf-8-*-
import time
from pprint import pprint
from scrapy.spider import BaseSpider
from scrapy.selector import HtmlXPathSelector
from scrapy.http import Request
from woaidu_crawler.items import WoaiduCrawlerItem
from woaidu_crawler.utils.select_result import list_first_item,strip_null,deduplication,clean_url
class WoaiduSpider(BaseSpider):
name = "woaidu"
start_urls = (
'http://www.woaidu.org/sitemap_1.html',
)
def parse(self,response):
response_selector = HtmlXPathSelector(response)
next_link = list_first_item(response_selector.select(u'//div[@class="k2"]/div/a[text()="下一页"]/@href').extract())
if next_link:
next_link = clean_url(response.url,next_link,response.encoding)
yield Request(url=next_link, callback=self.parse)
for detail_link in response_selector.select(u'//div[contains(@class,"sousuolist")]/a/@href').extract():
if detail_link:
detail_link = clean_url(response.url,detail_link,response.encoding)
yield Request(url=detail_link, callback=self.parse_detail)
def parse_detail(self, response):
woaidu_item = WoaiduCrawlerItem()
response_selector = HtmlXPathSelector(response)
woaidu_item['book_name'] = list_first_item(response_selector.select('//div[@class="zizida"][1]/text()').extract())
woaidu_item['author'] = [list_first_item(response_selector.select('//div[@class="xiaoxiao"][1]/text()').extract())[5:].strip(),]
woaidu_item['book_description'] = list_first_item(response_selector.select('//div[@class="lili"][1]/text()').extract()).strip()
woaidu_item['book_covor_image_url'] = list
2021-07-10 21:02:57
20KB