东方财富网个股研报信息爬虫说明文档 介绍 东方财富网爬虫是一个基于Scrapy-Selenium框架爬取东方财富网的个股研报标题、个股信息以及收益的爬虫。 代码说明 运行环境 Windows 10 专业版 Python 3.5/Scrapy 1.5.0/MongoDB 3.4.7 依赖包 Requests Pymongo Selenium 3.11.0 Faker(随机切换User-Agent) 爬取结果 在东方财富网上总共爬取了16791条个股研报信息。结果由爬虫先存储在MongoDB中，再导出为Excle文件。部分数据如下截图:

PYthon 从东方财富网下载内外盘期货数据的代码，下载后保存为CSV文件，方便下一次调用。 目前代码主要下载5分钟K线数据（约30日以内数据），以及日线级别（上市以来数据）

第三方库：snownlp、tushare、pandas、numpy、matplotlib getData：从东方财富网旗下的股吧论坛爬取数据 SQL：用到的数据库操作函数 quantilizeSentiment：量化情绪指数，生成excel文件便于后面进行情绪指数和股票价格涨幅相关度的量化分析（股票价格历史数据来自tusharepro网站，可以免费获取） result：传入某只股票代码，返回情绪指数结果（主要关注此文件即可，其他爬虫分析之类的我后面放到云上，爬取的数据都放入云数据库中） analyze：进行情绪指数和股票价格涨幅相关度分析、数据可视化 爬取后的数据存储在云端数据库中： db = pymysql.connect(host="116.62.46.214",user="dfcf",password="iJHPFZnRjXacNi6p",db="dfcf",port=3306) 接口说明（重点！！！）： 函数： def data(share_code):#计算情绪指数 传参：share_code 股票代码（例如：zssh000001）上证指数 返回参数：result 情绪指数 例如： if __name__ == '__main__': result=data('zssh000001') #传入股票代码参数 print(result) #打印情绪指数结果 实现功能：根据传入的股票代码到东方财富网旗下的股吧对应的某股票分论坛爬取当天的用户评论信息，并将爬取的数据存储到MySQL中，之后再将数据进行统计并计算出该股票当天的市场情感趋势。 执行流程 1、输入股票代码 2、清空数据库上一天的评论信息 3、使用爬虫爬取当天东方财富网股吧论坛中该股票的股民评论信息并进行数据清洗过滤，筛选出有效信息，存入MySQL数据库 4、使用金融情感计算模型进行文本数据分析 5、得出该股票当日的情绪指数 6、返回情绪指数值 计算情绪指数具体算法实现 借助自然语言处理中的情感分类技术。按照正常的处理流程，需要搭建模型、准备语料库、训练模型、测试模型然后得到一个情感分类的模型。但这里，时间有限，所以直接使用现有的模型。snownlp是一个中文的开源的自然语言处理的Python库，可以进行分词、情感分类等。在本项目中可以直接使用它来量化出某一日市场投资者的整体情绪。量化的方法有许多种，可以将某一日所有的评论情绪得分得分相加再求评价，也可以求某一日情绪得分大于0.5的评论所占的比例。 项目所采用的方法： 将情绪得分>0.6的评论当作积极评论，小于0.4的评论当作消极评论。 设置变量neg和pos，存储某一日市场的积极情绪因子和消极情绪因子。关于neg和pos的计算方法，以neg为例： 初始化为0，若某一日的某一评论comment的情绪得分<0.4 neg=neg+1+log（该条评论的点赞数+该条评论作者的粉丝数+1，2），其中log（x,2)表示以2为低的x的对数。考虑该条评论的点赞数和该条评论作者的粉丝数是因为考虑到不同的评论的质量不同。取对数是为了让数据更加平滑，防止极值过大。+1是为了防止该条评论的点赞数和该条评论作者的粉丝数都为0。 计算某一日市场的总体情绪得分score。设计的模型是： score=log((pos/(pos+neg+0.0001)-0.5)*(该日评论总数+1)) (pos/(pos+neg+0.0001)-0.5)的意思是计算市场的情绪倾向，**大于0表明市场积极情绪情绪较强，越接近0.5越强。小于0反之。**后面的(该日评论总数+1)，是因为某一日投资者的评论越多，代表市场投资者情绪的波动越大。

东方财富网爬虫.rar

在东方财富网上爬取各大上市公司的近年来的所有研报，并下载至本地。需要添加一个txt文档，里面保存各上市公司代码，格式为600001，600003……。

从百度股票爬取个股信息，将结果存储到文件中。 (1) 从东方财富网http://quote.eastmoney.com/stocklist.html抓取所有的股票代码。 (2)分 析 百 度 股 票 中 个 股 的 网 址 构 成 为 ：https://gupiao.baidu.com/stock/股票代码，将第一步获取的股票代码构建为个股的网址，抓取个股的交易数据。 (3) 将各个股票的信息存储至文件中

Python爬虫抓取东方财富网股票数据并实现MySQL数据库存储，很有参考借鉴意义