生意参谋-市场大盘，市场排行爬虫脚本，采用pyppeteer+PIL方式处理数值图片问题，人工登录，并将爬取结果保存为csv文件
脚本截取：
import asyncio
from pyppeteer import launch
from PIL import Image
import pytesseract
import datetime
import time
import pandas as pd
async def main():
start_time = datetime.datetime.now()
print('浏览器初始化……')
browser = await launch(headless=False, args=['--disable-infobars',f'--window-size=1366,768'])
page = await browser.newPage()
await page.setViewport({'width': 1366, 'height': 768})
await page.goto('https://login.taobao.com/member/login.jhtml?redirectURL=https://www.taobao.com/') #从淘宝登录
await page.evaluate(
'''() =>{ Object.defineProperties(navigator,{ webdriver:{ get: () => false } }) }''')
await asyncio.sleep(30) #人工输入账号密码登录
print('开始登录……')
await page.goto('https://sycm.taobao.com/mc/mq/overview?cateFlag=2&cateId=50022270&dateType=week') #登录后跳转到生意参谋
await asyncio.sleep(10)
#await page.click('#content-container > div.ebase-metaDecorator__root > div > div.ebase-FaCommonFilter__root > div > div > div > div > div.ebase-FaCommonFilter__top > div.ebase-FaCommonFilter__right > div > div > div.oui-date-picker-particle-button > button.ant-btn.oui-canary-btn.ant-btn-primary.ant-btn-sm > span')
await page.evaluate(
'''() =>{ Object.defineProperties(navigator,{ webdriver:{ get: () => false } }) }''')
#uvHits = await page.waitForSelector('#sycm-mc-mq-cate-trend > div.oui-card-content.alife-one-design-sycm-indexes-trend-card-content > div > div.alife-one-design-sycm-indexes-trend-index-container > div > div > div:nth-child(1) > div.alife-one-design-sycm-indexes-trend-index-item-multiple-line-selectable.alife-one-design-sycm-indexes-trend-index-item-uvHits.active > div > div.oui-index-cell-indexValue.oui-num > div > div:nth-child(2) > img')
#await uvHits.screenshot({'path': 'uvHits.png'})
#await asyncio.sleep(3)
print('开始爬取市场大盘……')
2021-10-02 14:05:57
34KB
[TOC]
零、版本信息
版本：v1.0.20200424
启动方式：scrapy crawl spider.name
说明：阅读前可以点击原网址查看爬取的目标样式！成功抓取的数据样式在data_temp文件夹内。
本程序从天天基金网采集数据，目前包含下面5个爬虫，基本上涵盖了整个基金市场情况。可以根据实际需要，有选择性的爬取即可。
一、北向资金每日流向
二、北向资金每日前20大交易股
三、基金公司情况
四、基金排名每日涨跌情况
五、大盘（上证指数、深圳成指、创业板指）每日涨跌情况
一、北向资金每日流向
文件名：beixiang.py （上海MarketType=1, 深圳MarketType=3）
字段含义
爬取基本上按照原网址格式，理解起来简单。根据天天基金网提示，值得注意的有两点。1、当日资金流入today_in包含两个部分：已经成交的和已申报未成交的。2、当日净买额today_ne
2021-09-05 20:59:26
1.13MB
1
一：项目介绍
koalas-RPC 个人作品，提供大家交流学习，有意见请私信，欢迎拍砖。客户端采用thrift协议，服务端支持netty和thrift的TThreadedSelectorServer半同步半异步线程模型，支持动态扩容，服务上下线，权重动态，可用性配置，页面流量统计等，QPS统计，TP90,TP99,TP95等丰富可视化数据，持续为个人以及中小型公司提供可靠的RPC框架技术方案。
1：为什么要写这个RPC
市面上常见的RPC框架很多，grpc，motan，dubbo等，但是随着越来越多的元素加入，复杂的架构设计等因素似使得这些框架和spring一样，虽然号称是轻量级，但是用起来却是让我们很蹩脚，大量的配置，繁杂的API设计，其实，我们根本用不上这些东西！！！ 我也算得上是在很多个互联网企业厮杀过，见过很多很多的内部RPC框架，有些优秀的设计让我非常赞赏，有一天我突然想着，为什
2021-08-30 21:55:49
183KB
1
零售行业2018年2月5日周报：前段上涨无基本面支撑，大盘弱势下暴跌是必然，把握极少量超跌个股.pdf
2021-07-16 14:03:58
368KB