OnlyFans DataScraper（Python 3.9.X） 影片教学 观看制作的此视频，或按照以下教程进行操作（谢谢）： （视频的身份验证部分已过时。config.json中不再包含身份验证） 必修教程 提交问题之前，请阅读此页面底部的 。 通过Docker运行应用 生成并运行映像，并安装适当的目录： docker build -t only-fans . && docker run -it --rm --name onlyfans -v ${PWD}/.settings:/usr/src/app/.settings -v ${PWD}/.profiles:/usr/src/app/.profiles -v ${PWD}/.sites:/usr/src/app/.sites only-fans 在本地运行应用 您需要为deephash模块安装C ++ Build Tools

:desktop_computer: Imdb-Web-Scraper :desktop_computer: 在imdb网站中对电影进行网络抓取 请安装以下配件： 从下载chromdriver 点安装枕头 点安装Selenium 点安装枕头 点安装请求 如何操作工具： :glowing_star: 第一步： 打开命令行或pycharm并运行scraper.py： :glowing_star: 第二步： 在搜索框中输入要搜索的电影，然后单击搜索按钮 :glowing_star: 第三步： Google chrom浏览器将打开，并且开始网络抓取过程，请等待几分钟，直到该过程完成并操作movie.txt文件 :glowing_star: 第四步： 程序完成后，转到Scraper.py文件夹，然后输入已对所有电影详细信息进行操作的movie.txt文件

Goodreads刮板机 这些Python脚本可用于从Goodreads收集书评和元数据。 我们之所以开发这种Goodreads Scraper的动机是因为Goodreads API难以使用，并且不提供对评论全文的访问权限。 相反，Goodreads抓取工具使用网络抓取库和来收集数据。 我们使用此Goodreads Scraper收集了文章“ The Goodreads'Classics'：对读者，亚马逊和众包文学批评的计算研究”的数据。 为了允许其他人重现（近似）本文中使用的数据，我们包括了一个文件，其中包含我们分析的144本经典书的144个Goodreads图书ID（ goodreads_classics.txt ）。 您可以使用这些ID如下所述通过Goodreads Scraper收集相应的评论和元数据。 注意：对Goodreads网站的更新可能会破坏此代码。 我们不保证刮板在

github-scraper 在GitHub用户存储库和GitHub.io页面的预定义列表中搜索敏感或个人信息。 概述 这个 python 包主要处理在公共 github 存储库上查找敏感数据。 此敏感信息包括密码，API密钥，加密（AES，RSA）密钥和加密货币密钥。 单用户 该工具用于抓取单个用户的存储库以防止意外泄露的秘密。 这可以通过命令行或脚本运行（请参阅顶级目录中的演示脚本或参阅下面的主要功能部分以了解命令行用法） 集团数据收集 此工具还可用作分析 github 文件中机密的用户名列表的一种方式 识别机密的第一步是收集用户名列表。 下面的“抓取用户名”部分详细介绍了此功能。 由于依赖关系，这是唯一使用 Javascript 的部分。 python 库的其余部分将引用在 ./usernames 中创建的这个用户名列表 主要功能： 命令行使用 python3 git

Web Scraper 爬虫 网页抓取 Chrome插件，可以在chrome中选择离线安装。 点击谷歌浏览器右上角的自定义及控制按钮，在下拉框中选择工具选项，然后点击扩展程序来启动Chrome浏览器的扩展管理器页面。 在打开的谷歌浏览器的扩展管理器中用户可以看到一些已经安装程序的Chrome插件，或者一个Chrome插件也没有。 找到自己已经下载好的Chrome离线安装文件xxx.crx，然后将其从资源管理器中拖动到Chrome的扩展管理界面中，这时候用户会发现在扩展管理器的中央部分中会多出一个”拖动以安装“的插件按钮。 松开鼠标就可以把当前正在拖动的插件安装到谷歌浏览器中去，但是谷歌考虑用户的安全隐私，在用户松开鼠标后还会给予用户一个确认安装的提示。 用户这时候只需要点击添加按钮就可以把该离线Chrome插件安装到谷歌浏览器中去，安装成功以后该插件会立即显示在浏览器右上角（如果有插件按钮的话），如果没有插件按钮的话，用户还可以通过Chrome扩展管理器找到已经安装的插件。

nsfw_data_scraper：脚本集合以聚集图像数据，目的是训练NSFW图像分类器

亚马逊刮板Python 描述 使用此软件包，您可以在上搜索产品并提取一些有用的信息（评分，评论数）。 我写了一篇法国博客文章 要求 的Python 3 点3 安装 pip3 install -U amazonscraper 命令行工具amazon2csv.py 安装软件包后，可以在终端中使用amazon2csv.py命令。 将搜索请求传递给命令（以及可选的最大产品数量）后，它将返回结果为csv： amazon2csv.py --keywords= " Python programming " --maxproductnb=2 Product title,Rating,Number of customer reviews,Product URL,Image URL,ASIN "Python Crash Course: A Hands-On, Project-Based Intro

烂番茄刮刀 从烂番茄 API 中尽可能多地抓取数据。

PPBC中国植物图像库爬虫 最近在做一个课设需要大量花卉植物的图片来做训练集，于是写了一个爬虫，从中国植物图像库抓图。 使用前需要在上找到所需植物的种（Species），例如: 被子植物门 Angiospermae >> 白花丹科 Plumbaginaceae >> 白花丹属 Plumbago >> 白花丹 Plumbago zeylanica 找到白花丹种的网址如下 网址末端可找到sp号26094，这个便是白花丹的唯一标识。 可获取多个sp号后一起爬取，具体设置在ppbc.py文件中可以找到。 scrapy自带缩略图功能，但不是等比例压缩，重写PicscrapyPipeline部分函数，在使用Pipeline爬图的同时用PIL等比例压缩，保存原图和压缩图，图片按编号顺序命名、按花卉名称分文件夹保存。 Scrapy版本： 1.5.0 Python版本：3.6.4

甜 一个现代的快速python库，可从Twitter非官方API快速删除推文和用户。 该工具可帮助您按搜索词组来删除推文，按ID来分类推文，按用户名来分类用户。 它使用Twitter API，网站上使用相同的API。 图书馆创建的启示 我曾经使用过twint来删除推文，但是它存在许多错误，并且无法正常工作。 该代码不容易理解。 所有任务都有一个配置，用户必须知道确切的参数。 最后一个重要的事实是Api可以更改-Twitter是API所有者，更改取决于它。 当某些事情不起作用并且用户必须将错误报告为问题时，这很烦人。 图书馆的主要优势 简单的代码-这些代码不仅是我的，每个用户都可以为该库做出