爬取电影天堂最新的电影数据 - xpath 爬取腾讯招聘的职位数据 - xpath 爬取中国天气网全国天气并生成饼状图 - bs4 爬取古诗词网的数据 - re 爬取糗事百科上的段子数据 - re 多线程爬虫 多线程爬取斗图吧的表情图并下载到本地 - xpath + threading 使用 itchat 发送表情到指定的人和微信群 多线程爬取百思不得姐的文字和图片信息并写入到csv中 Selenium 自动化爬虫 爬取拉勾网的职位信息 - selenium + requests + lxml 爬取 Boss 直聘网的职位信息 - selenium + lxml Scrapy 框架爬虫 爬取糗事百科的段子保存到 JSON 文件中 爬取微信小程序论坛的数据 登录豆瓣网并修改个性签名 下载汽车之家的高清图片到本地 爬取简书网所有文章数据 爬取房天下所有房的数据，包含新房、二手房 feapder feapder AirSpider实例 Node.js 爬虫 使用 puppeteer 爬取简书文章并保存到本地 其他 使用 Python 定位到女朋友的位置

美国签证预约时间自动化爬取+推送通知 包含国内以及国外各种地区，目前包含： CGI系统：中国，柬埔寨，新加坡，韩国，越南，巴拿马，澳大利亚，日本，尼泊尔，泰国 AIS系统：英国，加拿大，阿联酋，厄瓜多尔，法国，塞尔维亚，土耳其，希腊，哥伦比亚，墨西哥 总览 整体逻辑为前端服务器定时向蠕虫服务器发送数据请求，拉取到其本地，更新数据库，推送通知。 爬虫服务器使用Django编译，代码位于文件夹下，CGI系统使用纯请求拉取数据，AIS系统由于有recaptcha2，使用请求和Selenium/ xdotool混合模式拉取数据（感谢 ） 前端服务器采用nginx部署，使用python和爬虫服务器进行交互（详见lite_visa.py），和用户交互使用静态html或php 前端服务器采用Nginx部署，使用FastAPI前进行分离，使用python和爬虫服务器进行交互（详见 ），使用mongo存储

引入 在通过scrapy框架进行某些网站数据爬取的时候，往往会碰到页面动态数据加载的情况发生，如果直接使用scrapy对其url发请求，是绝对获取不到那部分动态加载出来的数据值。但是通过观察我们会发现，通过浏览器进行url请求发送则会加载出对应的动态加载出的数据。那么如果我们想要在scrapy也获取动态加载出的数据，则必须使用selenium创建浏览器对象，然后通过该浏览器对象进行请求发送，获取动态加载的数据值。 1.案例分析： – 需求：爬取网易新闻的国内、国际、军事、无人机板块下的新闻数据 – 需求分析：当点击国内超链进入国内对应的页面时，会发现当前页面展示的新闻数据是被动态加载出来的，

财经新闻爬虫 这是一个建立在 Scrapy 框架之上的通用新闻爬虫。 此实现基于具有不同规则的相同蜘蛛。 所以为了实现这一点，我制作了spider.py，它从json文件中获取规则。 实现这一点的另一种方法是为不同的站点设置多个蜘蛛并同时运行这些蜘蛛。 我不知道哪个更好，但我想从每个站点获取相同的信息，所以我遵循了爬行的第一个原则。 安装 尝试创建一个单独的虚拟环境 $ pip install virtualenv # look for documentation on setting up virtual environment $ pip install virtualenvwrapper # setup the PATH variable # open ~/.bashrc or ~/.profile or ~/.bash_profile and a

数据抓包(网络爬虫)-正方教务管理系统登录-附件资源

该项目是用Scrapy对豆瓣读书的Top250排行榜进行爬取，我们先是对首页发送请求，得到详情页地址，然后向详情页发送请求，在从详情页中解析书名，作者，出版年月，页数，价格，出版方，ISBN，出版社，丛书，评分，副标题，译者，原作名，装帧等字段，最后用·MySQl进行存储

解压后，如果node_modules里面你文件路径与你电脑的路径不符，你可以删除了node_modules这个文件然后在运行一下npm install就可以了

Python 豆瓣书评 bs4多页爬虫 jieba中文分词 tf-idf向量化 kmeans聚类+统计词频 +停用词 douban图书评价 浏览器多页爬虫 jupyter notebook numpy pandas sklearn 数据分析 数据挖掘

航空爬虫

Scrapy：Python的爬虫框架。抓取：汽车之家、瓜子、链家 等数据信息。初窥Scrapy Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。