b站全称哔哩哔哩,是中国最大的ACG动漫网站,也是中国目前事实上最大的线上宅文化社区。 其中动漫通常以一个季度播出,因而被称为番剧。涉及题材范围广,有奇幻,日常,战斗等。一部番剧上线后,在一段时间内追番人数将上升并维持在某个值内,因此追番人数能够反应观看人数。观看后观众可进行打分,范围在0到10之间,打分分数将作为评价一部番剧重要的依据。分析历年动漫数据,可以了解到b站ACG和动漫文化发展状况 本资源主要爬取总榜获得各个动漫粗略信息以及直达链接,再访问每个动漫对应链接获取详细信息。 资源中包含了爬虫代码、数据处理代码、数据分析代码,也包含了爬取数据集、可视化结果图,同时资源中也提供了一个对本项目进行简单介绍的readme文件,其中包含了对爬虫细节以及数据处理、数据分析、数据可视化的详细介绍。 本资源可以作为python爬虫入门的参考资源进行学习。
2024-04-28 14:09:43 3.57MB python 爬虫 数据分析
1
1.项目利用Python爬虫技术,通过网络爬取验证码图片,并通过一系列的处理步骤,包括去噪和分割,以实现对验证码的识别和准确性验证。 2.项目运行环境:Python环境:需要Python 2.7配置,在Windows环境下下载Anaconda完成Python所需的配置,下载地址为https://www.anaconda.com/,也可以下载虚拟机在Linux环境下运行代码。 3.项目包括4个模块:数据爬取、去噪与分割、模型训练及保存、准确率验证。用request库爬虫抓取验证码1200张,并做好标注。图片爬取成功后进行去噪与分割。处理数据后拆分训练集和测试集,训练并保存。模型保存后,可以被重新使用,也可以移植到其他环境中使用。 4.准确率评估:测试结果精度达到99%以上。 5.项目博客:https://blog.csdn.net/qq_31136513/article/details/131571160
2024-04-28 10:40:57 23.11MB python 爬虫 机器学习 验证码识别
1
标题:基于Sanic实现的jsRpc框架 简介:该博客资源是关于一个基于Sanic框架实现的jsRpc(JavaScript Remote Procedure Call)框架的详细说明和示例代码。该框架提供了一种简单而高效的方式来实现跨平台的远程过程调用。 描述: 这个博客资源详细介绍了如何使用Sanic框架构建一个强大而灵活的jsRpc框架,以便在不同的前端和后端应用之间进行远程过程调用。jsRpc是一种基于JavaScript的远程过程调用协议,可以让前端和后端应用之间进行无缝的通信和数据交换。 该博客资源包含以下内容: 介绍了什么是jsRpc以及它的特点和优势; 详细解释了Sanic框架的基本原理和设计思路; 提供了一个完整的示例代码,演示了如何在Sanic框架下实现一个简单的jsRpc服务端和客户端; 解释了如何处理jsRpc请求和响应,以及如何进行异常处理和错误处理; 提供了一些最佳实践和常见问题的解答。 通过学习这个博客资源,你将能够深入了解Sanic框架和jsRpc协议的工作原理,并掌握如何使用它们构建高效的跨平台应用程序。无论你是前端开发者还是后端开发者,都可以
2024-04-28 09:11:53 431KB javascript Python 爬虫
1
一键批量导出微信公众号所有历史文章,同时下载文章图片、视频、音乐音频和留言评论及阅读量,可保存pdf、word和html文档,可按时间段搜索微信公众号最新文章,可一键同步文章到网站,功能超多
2024-04-26 14:42:38 32.83MB 爬虫
1
项目说明 爬取新浪微博用户数据,为用户画像、情感分析和关系建模等提供结构化数据。 项目依赖的第三方库 HTTPClient Jsoup :解析HTML fastjson 程序核心逻辑: 在 useVersion2014/WeiboCrawler3.main() 中,WeiboCrawler3的实例对象crawler调用crawl()爬取原始数据后存在文件里,剩余代码再解析磁盘上的文件进行抽取和转换得到最后的数据。 crawl()是执行爬取动作的具体函数 String html = crawl.getHTML(url) //根据url获取网址 crawler.isVerification(html) //判断是否需要输入验证码 如果连接超时重新连接 新浪微博模拟登录逻辑 Sina.main() Sina.login(username,passwprd) preLogin(encodeAcco
2024-04-22 22:49:14 185KB Java
1
该资源包括一个python实现的爬取招聘信息的爬虫代码,代码可以爬取所有行业的招聘信息(只要修改网址即可(同一个网站的不同界面)),还报错爬取饿 3 万多条计算机后端的10个热门城市的招聘信息。
1
人民日报的爬取数据集
2024-04-21 22:46:51 31.76MB 数据集
1
爬虫(Web Crawler)是一种自动化程序,用于从互联网上收集信息。其主要功能是访问网页、提取数据并存储,以便后续分析或展示。爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。 爬虫的工作流程包括以下几个关键步骤: URL收集: 爬虫从一个或多个初始URL开始,递归或迭代地发现新的URL,构建一个URL队列。这些URL可以通过链接分析、站点地图、搜索引擎等方式获取。 请求网页: 爬虫使用HTTP或其他协议向目标URL发起请求,获取网页的HTML内容。这通常通过HTTP请求库实现,如Python中的Requests库。 解析内容: 爬虫对获取的HTML进行解析,提取有用的信息。常用的解析工具有正则表达式、XPath、Beautiful Soup等。这些工具帮助爬虫定位和提取目标数据,如文本、图片、链接等。 数据存储: 爬虫将提取的数据存储到数据库、文件或其他存储介质中,以备后续分析或展示。常用的存储形式包括关系型数据库、NoSQL数据库、JSON文件等。 遵守规则: 为避免对网站造成过大负担或触发反爬虫机制,爬虫需要遵守网站的robots.txt协议,限制访问频率和深度,并模拟人类访问行为,如设置User-Agent。 反爬虫应对: 由于爬虫的存在,一些网站采取了反爬虫措施,如验证码、IP封锁等。爬虫工程师需要设计相应的策略来应对这些挑战。 爬虫在各个领域都有广泛的应用,包括搜索引擎索引、数据挖掘、价格监测、新闻聚合等。然而,使用爬虫需要遵守法律和伦理规范,尊重网站的使用政策,并确保对被访问网站的服务器负责。
2024-04-15 17:07:04 99KB python 爬虫 数据收集
1
爬虫(Web Crawler)是一种自动化程序,用于从互联网上收集信息。其主要功能是访问网页、提取数据并存储,以便后续分析或展示。爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。 爬虫的工作流程包括以下几个关键步骤: URL收集: 爬虫从一个或多个初始URL开始,递归或迭代地发现新的URL,构建一个URL队列。这些URL可以通过链接分析、站点地图、搜索引擎等方式获取。 请求网页: 爬虫使用HTTP或其他协议向目标URL发起请求,获取网页的HTML内容。这通常通过HTTP请求库实现,如Python中的Requests库。 解析内容: 爬虫对获取的HTML进行解析,提取有用的信息。常用的解析工具有正则表达式、XPath、Beautiful Soup等。这些工具帮助爬虫定位和提取目标数据,如文本、图片、链接等。 数据存储: 爬虫将提取的数据存储到数据库、文件或其他存储介质中,以备后续分析或展示。常用的存储形式包括关系型数据库、NoSQL数据库、JSON文件等。 遵守规则: 为避免对网站造成过大负担或触发反爬虫机制,爬虫需要遵守网站的robots.txt协议,限制访问频率和深度,并模拟人类访问行为,如设置User-Agent。 反爬虫应对: 由于爬虫的存在,一些网站采取了反爬虫措施,如验证码、IP封锁等。爬虫工程师需要设计相应的策略来应对这些挑战。 爬虫在各个领域都有广泛的应用,包括搜索引擎索引、数据挖掘、价格监测、新闻聚合等。然而,使用爬虫需要遵守法律和伦理规范,尊重网站的使用政策,并确保对被访问网站的服务器负责。
2024-04-15 14:56:00 183KB 爬虫 python 数据收集