只为小站
首页
域名查询
文件下载
登录
天翼云应知+从业者+解决方案+高级解决方案
天翼云应知+从业者+解决方案+高级解决方案
2024-04-20 18:28:08
745KB
1
基于Python3 实现的爬取知网数据的爬虫,可根据知网高级检索进行搜索,提供文献基本信息、文献下载、文献摘要等详细信息爬取功能
知网 * 通过发送解析包形式抓取数据,相比于使用selenium等方式性能稍高一些。 * 可使用知网高级检索功能进行搜索,更高效检索文献。 * 可根据网络及知网反爬虫情况选择性开启详细信息抓取及下载caj文献功能。 * 利用excel表格快速查看所需文献摘要等信息,可根据excel提供下载链接选择性下载,防止下载过快导致知网反爬。 # 使用方法 ## 安装依赖 >在验证码处理部分使用了`tesserocr`,不过验证效果目前不是很好,所以默认开启手动识别验证码。 > >如果本地没有安装`tesseract`,可以先安装这个,再执行`pip install tesserocr`。或者将`CrackVerifyCode.py`文件第15、63、64行注释后再执行安装命令。 ```shell pip install -r requirements.txt ```
2024-04-10 11:33:29
19KB
爬虫
1
某资源社网站同款xiuno模板知乎蓝魔改版源码附多个插件.zip
模板比较简介,适合做各种论坛,而且非常美观简洁! 文件里面有两个一个是xiuno程序一个是模板插件,模板是原版,无毒!!无后门。 搭建教程: 环境要求 PHP7.1+MySQL5.6 设置伪静态代码在下面,运行安装:域名/install/运行该目录进行数据库安装、连接、设置后台账户和密码 code location ~* \.(htm)$ { rewrite "^(.*)/(.+?).htm(.*?)$" $1/index.php?$2.htm$3 last; } 搭建就完成了,首次搭建先在后台把所有的插件卸载,再重新安装,安装完再清缓存
2024-04-09 20:18:40
5.86MB
1
代码项目“生成”微博、知乎、豆瓣、简书等网站界面截图.zip
这是一个可以生成 twitter.com,weibo.com,zhihu.com,douban.com,jianshu.com和其他网站的屏幕截图的网站,但是该网站的目的是告诉(不懂编程的人)普通的人们:不要相信那些容易在网上看到的“截图”! 网站本身的存在,告诉(浏览本网站的用户)人们一件事:所有网站的页面截图都可以非常容易地伪造,且足以乱真! 那么这个人以后看到其他任何截图时,他会想到本网站的存在,然后就会下意识地怀疑截图的真实性了!
2024-03-31 19:54:15
1.8MB
截图生成
1
使用nodejs puppeteer库实现知乎和quora爬虫.zip
爬虫(Web Crawler)是一种自动化程序,用于从互联网上收集信息。其主要功能是访问网页、提取数据并存储,以便后续分析或展示。爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。 爬虫的工作流程包括以下几个关键步骤: URL收集: 爬虫从一个或多个初始URL开始,递归或迭代地发现新的URL,构建一个URL队列。这些URL可以通过链接分析、站点地图、搜索引擎等方式获取。 请求网页: 爬虫使用HTTP或其他协议向目标URL发起请求,获取网页的HTML内容。这通常通过HTTP请求库实现,如Python中的Requests库。 解析内容: 爬虫对获取的HTML进行解析,提取有用的信息。常用的解析工具有正则表达式、XPath、Beautiful Soup等。这些工具帮助爬虫定位和提取目标数据,如文本、图片、链接等。 数据存储: 爬虫将提取的数据存储到数据库、文件或其他存储介质中,以备后续分析或展示。常用的存储形式包括关系型数据库、NoSQL数据库、JSON文件等。 遵守规则: 为避免对网站造成过大负担或触发反爬虫机制,爬虫需要遵守网站的robots.txt协议,限制访问频率和深度,并模拟人类访问行为,如设置User-Agent。 反爬虫应对: 由于爬虫的存在,一些网站采取了反爬虫措施,如验证码、IP封锁等。爬虫工程师需要设计相应的策略来应对这些挑战。 爬虫在各个领域都有广泛的应用,包括搜索引擎索引、数据挖掘、价格监测、新闻聚合等。然而,使用爬虫需要遵守法律和伦理规范,尊重网站的使用政策,并确保对被访问网站的服务器负责。
2024-03-18 09:59:54
69KB
爬虫
python
数据收集
1
python爬虫-爬虫项目实战之知乎爬虫+断点续爬尝试.zip
python爬虫 python爬虫_爬虫项目实战之知乎爬虫+断点续爬尝试
2024-03-15 15:46:33
20KB
python
爬虫
爬虫项目
1
不可不知大2000个文化常识
不可不知大2000个文化常识,包括了古今中外的文化常识,再也不用担心别人说:“没文化真可怕了”
2024-03-12 12:25:04
28.01MB
2000文化常识
1
Android-Android仿知乎日报新闻详情页新闻客户端必备功能
News app necessary function / 新闻客户端必备功能
2024-03-01 17:20:20
121KB
Android开发-其它控件
1
微机原理及应用(黄冰覃伟年黄知超著)课后答案
微机原理及应用(黄冰覃伟年黄知超著)课后答案
2024-02-27 13:36:55
7.76MB
1
建设工程招标评标模型研究及应用
目前,招投标制度在建设工程中广泛实施,它是一种富有竞争性的采购方式,评标是其中重要环节。文章针对评标模型的应用研究问题,构建基于熵权的未确知测度模型对投标单位进行综合评判,将老方法运用于新领域,为评标工作提供一种新方法。对模型中权重的计算方法进行改进,采用运用熵权与主观权重相结合的综合权重。结果表明,未确知测度评价模型在工程评标中的应用具有一定的可行性与实用性。
2024-01-15 15:15:25
603KB
建设工程
未确知测度模型
1
个人信息
点我去登录
购买积分
下载历史
恢复订单
热门下载
2021华为芯片研发岗位笔试题
scratch版 我的世界.sb2
RX560 bios合集(请务必注意显存品牌和大小以及是否需要6pin!)含刷新工具.zip
2019年秋招—华为硬件工程师笔试题目.pdf
python爬虫数据可视化分析大作业.zip
简易示波器-精英板.zip
python大作业--爬虫(完美应付大作业).zip
CUDA并行程序设计 GPU编程指南-中文扫描539页完整版pdf+高质量英文完整591页原版非扫描pdf
基于Servlet+jsp+mysql开发javaWeb学生成绩管理系统
随机森林用于分类matlab代码
凯斯西储大学(CWRU)轴承数据集(含数据包+整理Python程序+使用说明)
matlab时频分析工具箱+安装方法+函数说明+最新版tftb.
中国地面气候资料日值数据集(V3.0)2010-2019.rar
粒子群算法优化3-5-3多项式工业机器人时间最优轨迹规划算法matlab代码
机械臂避障路径规划仿真 蚁群算法 三维路径规划
最新下载
西门子Smart200PLC外接电子手轮控制伺服跟随,可调速
海康威视DS-7816NB-K2固件升级包 V3.4.104_190417.rar
G1SNIPERB6.F4a,技嘉 G1.Sniper B6-CF官方可用板载NVME插槽且作为启动盘BIOS
爱思唯尔word版本双栏,官网模板
CASIO fx-991ES 说明书
中国银监会银行业金融机构监管数据标准化规范
数据结构课程设计南航.7z
serial_port_plotter_Win_1.3.0,串口虚拟示波器
南航 数据结构 课程设计 大二.zip
mastercam出mach3代码的后处理文件
其他资源
ISO26262 功能安全文档模板
bin.rar
Matpower8机28节点程序设计代码.zip
程序员计算器(Java实现)
hadoop3\bin
OpenGL虚拟教室
图像颜色特征提取程序
C++生成二维随机点
西安电子科技大学信号与系统习题册&答案
java计算器(仿win10)
一个OpenGL实例,旋转,三维,树,雪花……源代码
吴恩达机器学习视频百度网盘(视频+PPT+个人笔记+作业)
一款基于Litepal的登录注册app(可完美移植)
《EXCEL VBA 范例应用大全1001例》光盘资源
彩票代购合买全套源码
java swing 多选下拉框 支持动态加载数据
大话移动通信.pdf
自动控制系统中的SAMA图
【cocos2d-x+vs2010】雷电源码
信息学奥赛一本通-教程PPT课件(第五版)第5章 数组(C++版).ppt
SplashScreen.scale-200_contrast-standard11.png
1615024XX hy.zip
prusa i3 2月份更新教程.rar
交换交叉立方网络在MM 模型下的条件诊断度研究
RTFEditor.zip
带有非线性扰动的不确定时滞系统鲁棒预测控制
文件查找命令
腾讯·企鹅智库 - 2019-2020中国互联网趋势报告