书虫
一个偏爱文档类网站的爬虫扩展。目前专门设计为用于抓取，所以不一定能在其它网站上正常工作。
使用方法
在这之前，先确保你的 Chrome 浏览器能正常打开 （下面称作“远程服务器”）。
下载代码库
启动 nodejs 程序：node app（稍后会说明为什么）
在 Chrome 的扩展程序页面（chrome://extensions/）勾选开发者模式，然后点击加载正在开发的扩展程序并指向代码库下的 /crx 文件夹
点击背景页，在Console面板内输入c()
完成之后（我花了大约7分钟），代码库下会多出一个chrome文件夹，此时你就可以在浏览器中输入http://localhost:12345/extensions/来阅读文档了。
将它用于其它网站
见
工作原理
传统的爬虫是基于对 html 字符串进行正则表达式解析来获取页面上的资源的，而书虫则是利用了浏览器里面的XMLHttp
2021-07-11 13:03:33
7KB
1
环境
1、确保json库、requests库可以正常导入
craw_fund_code.py
该文件会将爬取到的基金代码以及名称输出到当前目录中，文件名为all_fund_code_name_type.txt
fund_data_crawler.py
1、该文件会读取all_fund_code_name_type.txt，然后依次对每个基金进行爬取。基金路径为本目录下的fund_data文件夹中。
2、由于爬取的基金数量众多，由于网络连接的原因，往往中间会报错超时错误，这里笔者也没有很好的解决，需要手动retrigger一下脚本。
2021-07-07 19:58:18
109KB
1
游戏商店抓取工具
从Google Play商店抓取应用程序评论并将其写入xml文件。
该应用程序使用JSoup和json-simple来解析响应。
2021-07-05 16:36:18
100KB
1
Blockchaininfo_crawler
一个blockchain.info网络爬虫，用于收集数据以供我的主人分析。
2021-07-03 18:03:27
16KB
1
一个简单的 Python 维基百科爬虫。
运行： celery worker -A crawler.tasks --loglevel=info -Q fetch_queue -n 'fetcher' celery worker -A crawler.tasks --loglevel=info -Q parse_queue -n 'parser'
用于监控：celery -A crawler.tasks 花 --broker=amqp://guest:guest@localhost:5672// --broker_api=http://guest:guest@localhost:15672/api/
rabbitmq-plugins 启用 rabbitmq_management
花： RabbitMQ：
为什么只有维基百科 => 几乎可以保证健全的 HTML
2021-06-29 19:23:50
4KB
1
通过python来实现"语象观察"
“语象观察”是钱刚老师之前在做的一个研究项目，之前曾经在公众号“尽知天下事”（现已被封）上发布。我对这种通过数据来发掘有价值的内容的数据新闻很感兴趣，算是弥补自己文笔不行还想从事新闻传媒的曲线救国道路吧。
不过作为一个对电脑方面感兴趣但很小白的我来说，所有的步骤想起来都很简单，但实操起来无从下手，不过决心还是很坚定的，决定要做到现在基本完成将近10个月。
一步步找问题，找解决办法，和一次次试验。念念不忘，必有回响。目前我已经实现了所有我最初的设想功能。
一：获取人民日报的数据
分析数据，第一步是要获取人民日报的数据。利用爬虫每月爬取人民日报当月内容为txt文件，爬虫这部分代码来源于CSDN用户@机灵鹤，帮助我解决了最难的变成问题，非常感谢。
1、代码如下：
import requests
import bs4
import os
import datet
2021-06-10 10:03:57
380KB
1