dongfangyanbao:使用 scrapy-selenium 爬取爬取东方财富网的所有个股研报信息

上传者: 42181693 | 上传时间: 2022-04-08 19:59:38 | 文件大小: 1.96MB | 文件类型: ZIP
东方财富网个股研报信息爬虫说明文档 介绍 东方财富网爬虫是一个基于Scrapy-Selenium框架爬取东方财富网的个股研报标题、个股信息以及收益的爬虫。 代码说明 运行环境 Windows 10 专业版 Python 3.5/Scrapy 1.5.0/MongoDB 3.4.7 依赖包 Requests Pymongo Selenium 3.11.0 Faker(随机切换User-Agent) 爬取结果 在东方财富网上总共爬取了16791条个股研报信息。结果由爬虫先存储在MongoDB中,再导出为Excle文件。部分数据如下截图:

文件下载

资源详情

[{"title":"( 18 个子文件 1.96MB ) dongfangyanbao:使用 scrapy-selenium 爬取爬取东方财富网的所有个股研报信息","children":[{"title":"dongfangyanbao-master","children":[{"title":"部分研报信息.PNG <span style='color:#111;'> 157.30KB </span>","children":null,"spread":false},{"title":"dfyanbao","children":[{"title":"dfyanbao","children":[{"title":"settings.py <span style='color:#111;'> 3.16KB </span>","children":null,"spread":false},{"title":"pipelines.py <span style='color:#111;'> 638B </span>","children":null,"spread":false},{"title":"middlewares.py <span style='color:#111;'> 2.79KB </span>","children":null,"spread":false},{"title":"items.py <span style='color:#111;'> 507B </span>","children":null,"spread":false},{"title":"__pycache__","children":[{"title":"__init__.cpython-35.pyc <span style='color:#111;'> 146B </span>","children":null,"spread":false},{"title":"middlewares.cpython-35.pyc <span style='color:#111;'> 2.90KB </span>","children":null,"spread":false},{"title":"pipelines.cpython-35.pyc <span style='color:#111;'> 949B </span>","children":null,"spread":false},{"title":"items.cpython-35.pyc <span style='color:#111;'> 567B </span>","children":null,"spread":false},{"title":"settings.cpython-35.pyc <span style='color:#111;'> 611B </span>","children":null,"spread":false}],"spread":true},{"title":"spiders","children":[{"title":"__init__.py <span style='color:#111;'> 161B </span>","children":null,"spread":false},{"title":"__pycache__","children":[{"title":"dongfang.cpython-35.pyc <span style='color:#111;'> 1.76KB </span>","children":null,"spread":false},{"title":"__init__.cpython-35.pyc <span style='color:#111;'> 154B </span>","children":null,"spread":false}],"spread":true},{"title":"dongfang.py <span style='color:#111;'> 1.47KB </span>","children":null,"spread":false}],"spread":true}],"spread":true},{"title":"东方财富网个股研报0611.csv <span style='color:#111;'> 1.42MB </span>","children":null,"spread":false},{"title":"scrapy.cfg <span style='color:#111;'> 259B </span>","children":null,"spread":false}],"spread":true},{"title":"东方财富网个股研报.xlsx <span style='color:#111;'> 1.27MB </span>","children":null,"spread":false},{"title":"README.md <span style='color:#111;'> 725B </span>","children":null,"spread":false}],"spread":true}],"spread":true}]

评论信息

  • wx379483464 :
    不能用。。。建议不要下
    2022-03-01

免责申明

【只为小站】的资源来自网友分享,仅供学习研究,请务必在下载后24小时内给予删除,不得用于其他任何用途,否则后果自负。基于互联网的特殊性,【只为小站】 无法对用户传输的作品、信息、内容的权属或合法性、合规性、真实性、科学性、完整权、有效性等进行实质审查;无论 【只为小站】 经营者是否已进行审查,用户均应自行承担因其传输的作品、信息、内容而可能或已经产生的侵权或权属纠纷等法律责任。
本站所有资源不代表本站的观点或立场,基于网友分享,根据中国法律《信息网络传播权保护条例》第二十二条之规定,若资源存在侵权或相关问题请联系本站客服人员,zhiweidada#qq.com,请把#换成@,本站将给予最大的支持与配合,做到及时反馈和处理。关于更多版权及免责申明参见 版权及免责申明