在B站上学到的若干爬虫程序,自动登录，破解验证码，使用了requests/selenium/re/time等模块

爬取指定城市气象数据python代码

最简洁最易懂python爬虫案例，根据给定的网址来获取网页详细信息，得到的html就是网页的源代码。

用于BERT预训练，Bidirectional Encoder Representation from Transformers

使用python对51job的招聘信息进行爬虫，使用python对职位信息输出词云，词频统计图，使用jieba库进行分词，然后使用gensim的word2vec进行词向量训练，然后使用sklearn的k-means算法进行聚类。压缩包内有代码，数据，简单的小论文文档，代码来源于网络，论文自己写的，水平一般。代码在anaconda的spyder开发环境可以正常运行。

在链家网站的已成交数据中按照广州各区进行房源信息的爬取，包括小区名、成交日期、区名、成交价格、楼型、装修风格等信息，并包含数据的部分（对数据的列进行的分隔和单位的去除）预处理和数值化过程。

蜘蛛演示 网络爬虫 概念： 网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取骨骼信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁蚁，自动索引，模拟程序或蠕虫。 爬虫的具体步骤： 1，数据采集，经过一定的逻辑和策略，循环抓取网页上的数据，工作过程就像Ctrl + a-> Ctrl + c-> Ctrl + v； 2，解析，分析采集到的数据集，使用一定的规则或语法，提取相关的信息； 3，存储，将提取出的信息以我们想要的方式存储到数据库中，方便后续使用。 Web魔术师： WebMagic是一个简单的灵活的Java爬虫框架，项目代码分为核心和扩展两部分。核心部分（webmagic-core）是一个精简的，可以的爬虫实现，而扩展部分则包括一些便利的，实用性的功能。（ WebMagic的结构分为下载器，PageProc

Python期末作业

主要介绍了python爬虫 execjs安装配置及使用,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

XSS漏洞是攻击Web应用程序、获取用户隐私数据的常见漏洞。传统的XSS漏洞检测工具并没有对AJAX Web应用程序进行针对性的检测，在检测精度方面与实际情况存在巨大差距。针对这种情况，对AJAX技术下XSS漏洞的特点进行了分析，提出了一种基于网络爬虫与页面代码行为的动态检测方法。实验结果表明，提出的方法在节省人力、时间成本与漏洞检测方面有较好的表现。