京东商品推荐系统 数据爬虫部分 本项目用来抓取京东商城的食品区域的商品信息、评价信息和用户数据，数据库采用Mysql。 爬虫的核心模块采用，主要实现了JDPageProcessor类，继承自PageProcessor。 采用XPath和CSS Selector两种模式抽取网页信息。如抽取商品页面用户链接信息： String aHref = html.xpath("div[@class='item']/div[@class='user']/div[@class='u-icon']/a/@href").toString(); 采用的是Xpath抽取方式，过程：提取html中class为item的div中的class为user的div中的class为u-icon中的超链接。`

动态网页爬取

这是基于Python语言的爬虫，使用Selenium获取C站个人博客主页网页源码，通过Scrapy分析统计数据的节点结构，并保存在Django项目的SQLite数据库中。

Mac环境, scrapy爬取, 要安装谷歌浏览器及其插件, 插件已在压缩包里, 在代码里修改下插件的路径即可

毕业设计大全源码 What is weixin_crawler? weixin_crawler是一款使用Scrapy、Flask、Echarts、Elasticsearch等实现的微信公众号文章爬虫，自带分析报告和全文检索功能，几百万的文档都能瞬间搜索。weixin_crawler设计的初衷是尽可能多、尽可能快地爬取微信公众的历史发文 如果你想先看看这个项目是否有趣，这段不足3分钟的介绍视频一定是你需要的： 主要特点 使用Python3编写 爬虫框架为Scrapy并且实际用到了Scrapy的诸多特性，是深入学习Scrapy的不错开源项目 利用Flask、Flask-socketio、Vue实现了高可用性的UI界面。功能强大实用，是新媒体运营等岗位不错的数据助手 得益于Scrapy、MongoDB、Elasticsearch的使用，数据爬取、存储、索引均简单高效 支持微信公众号的全部历史发文爬取 支持微信公众号文章的阅读量、点赞量、赞赏量、评论量等数据的爬取 自带面向单个公众号的数据分析报告 利用Elasticsearch实现了全文检索，支持多种搜索和模式和排序模式，针对搜索结果提供了趋

啥都先不说，上代码： import requests, re, json, sqlite3, datetime, time class BilibiliRank: def __init__(self, name): self.set = MyDB(name) self.name = name def save(self, data): table = 'Rank{}'.format(str(datetime.date.today()).replace('-', '')) columns = ['mid', 'aut

爬虫豆瓣top250,Scrpay框架源文件

数据获取及可视化源码Jupiter版（东京奥运会奖牌榜为例），仅供学习

用Python编写的Cryptocurrency历史市场价格数据爬虫

基于Python Scrapy实现的网易云音乐music163数据爬取爬虫系统 含全部源代码 基于Scrapy框架的网易云音乐爬虫，大致爬虫流程如下： - 以歌手页为索引页，抓取到全部歌手； - 从全部歌手页抓取到全部专辑； - 通过所有专辑抓取到所有歌曲； - 最后抓取歌曲的精彩评论。 数据保存到`Mongodb`数据库，保存歌曲的歌手，歌名，专辑，和热评的作者，赞数，以及作者头像url。 抓取评论者的头像url，是因为如果大家喜欢，可以将他做web端。 ### 运行： ``` $ scrapy crawl music ``` #!/usr/bin/python #-*-coding:utf-8-*- import time from pprint import pprint from scrapy.spider import BaseSpider from scrapy.selector import HtmlXPathSelector from scrapy.http import Request from woaidu_crawler.items import WoaiduCrawlerItem from woaidu_crawler.utils.select_result import list_first_item,strip_null,deduplication,clean_url class WoaiduSpider(BaseSpider): name = "woaidu" start_urls = ( 'http://www.woaidu.org/sitemap_1.html', ) def parse(self,response): response_selector = HtmlXPathSelector(response) next_link = list_first_item(response_selector.select(u'//div[@class="k2"]/div/a[text()="下一页"]/@href').extract()) if next_link: next_link = clean_url(response.url,next_link,response.encoding) yield Request(url=next_link, callback=self.parse) for detail_link in response_selector.select(u'//div[contains(@class,"sousuolist")]/a/@href').extract(): if detail_link: detail_link = clean_url(response.url,detail_link,response.encoding) yield Request(url=detail_link, callback=self.parse_detail) def parse_detail(self, response): woaidu_item = WoaiduCrawlerItem() response_selector = HtmlXPathSelector(response) woaidu_item['book_name'] = list_first_item(response_selector.select('//div[@class="zizida"][1]/text()').extract()) woaidu_item['author'] = [list_first_item(response_selector.select('//div[@class="xiaoxiao"][1]/text()').extract())[5:].strip(),] woaidu_item['book_description'] = list_first_item(response_selector.select('//div[@class="lili"][1]/text()').extract()).strip() woaidu_item['book_covor_image_url'] = list