QT版采集工具 ，产品级别，多线程采集数据，存储数据，快速导出数据，任务分配调度清晰，界面美观大方！在QTCN上搜标题又详细介绍哦

抓取指定报文转化为netflow数据。 steps:./configure make make install ./sofflowd -i +接口名 -n ip:port (将报文发送到ip:port ) 前提：保证gcc已安装。

70+Wgg抓取Facebook,twitter,pinterest,linkedin,google+社交数据

抓取小米官网手机信息，放到excel中，对手机名称进行过滤，读取红米手机，放到另一个excel中，供学习使用

jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。

主要介绍了Python学习笔记之抓取某只基金历史净值数据案例,结合具体实例形式分析了Python基于selenium库的数据抓取及mysql交互相关实现技巧,需要的朋友可以参考下

爬取视频热度排行的 从本地记录里获取曾经爬取过的视频号，视频数据 bilibili.py，结合了PHP实现的。 　　* 只需输入一个大模块名，如游戏模块名为'game'，自行会爬取下面几个小类，并按播放数、硬币数等排行分别爬取 　　* 已解析出数据接口，直接获取视频数据，不使用webDriver，爬取速度提升数十倍,并且不会丢失数据。 　　* @TODO 对爬取到的视频做日期归类（待完成） 　　* 目前爬取的信息有：up主id、up主名、视频AV号、播放数、收藏数、弹幕数、视频描述、硬币数(获取不稳定，少数会获取不到) 　　 * 分享数(同上)

本项目是上市公司爬取类源代码，JAVA开发，maven构建，主要功能，从分发端获取采集任务（已经上传），启动本项目的代码，登录网上银行，采集不同银行的信息和流水信息，共业务部门评估。

淘宝，天猫店主必备工具： 软件功能： 1)通过 关键词 - 产品ID 批量查询 该产品在【淘宝】的排名情况。例如第几页。 2)通过 关键词 - 掌柜名称 批量查询 该店铺下面含此关键词的产品在【淘宝】的排名情况。 3)通过 关键词 - 产品ID 批量查询 该产品在【天猫】的排名情况。例如第几页。 4)通过 关键词 - 掌柜名称 批量查询 该店铺下面含此关键词的产品在【天猫】的排名情况。 5)批量查询同行产品的下架时间。 6)取淘宝下拉词和下拉词对应的联想词"（您是不是想找:）"这类词。 做过淘宝的人都知道，如果不清楚自己的热卖产品在搜索某个关键词时，排在哪个位置，简直是不可想像的。 一个成功的淘宝店主，至少对本店比较热门的产品排在搜索结果第几页，应该是比较清楚的。反之，一个失败的淘宝店主，只会埋头上传产品，或者毫无目的刷销量，刷信誉，刷流量。事实上，28理论在淘宝上也是一样成立的，也就是说：淘宝上赚钱的人大约占2成，不赚钱或亏钱的人大约占8成。一个店假如有100件产品，真正带来利润和热卖的最多是20多件，而不可能每件都热卖。所以做淘宝的人大忌就是胡子眉毛一把抓，今天看到别人这个卖的好，赶快上架，明天看到那个卖的好，再上架，永远追着别人的脚步，而没有自己的主打核心产品。 为什么要使用关键字查询软件? 因为要了解您的产品对应某个关键词的排名。关键词越热门，假如您的排名越靠前的话，肯定这款是重点优化对象，对于优化，或者提高转化率也应该是非常有帮助的。

上市公司新闻文本分析与分类预测 简介 上市公司新闻文本分析与分类预测的基本步骤如下： 从新浪财经、每经网、金融界、中国证券网、证券时报网上，爬取上市公司（个股）的历史新闻文本数据（包括时间、网址、标题、正文） 从Tushare上获取沪深股票日线数据（开、高、低、收、成交量和持仓量）和基本信息（包括股票代码、股票名称、所属行业、所属地区、PE值、总资产、流动资产、固定资产、留存资产等） 对抓取的新闻文本按照，去停用词、加载新词、分词的顺序进行处理 利用前两步中所获取的股票名称和分词后的结果，抽取出每条新闻里所包含的（0支、1支或多支）股票名称，并将所对应的所有股票代码，组合成与该条新闻相关的股票代码列表，并在历史数据表中增加一列相关股票代码数据 从历史新闻数据库中抽取与某支股票相关的所有新闻文本，利用该支股票的日线数据（比如某一天发布的消息，在设定N天后如果价格上涨则认为是利好消息，反之则是