一般我们使用python的第三方库requests及框架scrapy来爬取网上的资源，但是设计javascript渲染的页面却不能抓取，此 时，我们使用web自动化测试化工具Selenium+无界面浏览器PhantomJS来抓取javascript渲染的页面，下面实现一个简单的爬取

ansible-phantomjs 二进制 phantomjs 安装程序。 phantomjs 安装到 /usr/local/bin，因此需要一次 sudo 来复制下载的二进制文件。 仅在 phantomjs 不存在或安装了不同版本时才执行。 用法 - hosts: servers vars: phantomjs_version: "1.9.2" phantomjs_url: "https://phantomjs.googlecode.com/files/phantomjs-1.9.2-linux-x86_64.tar.bz2" roles: - nicolai86.ansible-phantomjs

phantomjs-2.1.1-windows

phantomjs aarch64 组件包，操作如下 1.解压 2.cp -r phantomjs /usr/local/bin/ 3.ln -s /usr/local/bin/phantomjs/bin/phantomjs /usr/bin/ 测试 phantomjs -v

打开网站直接运行test.aspx，近期在做url生成长图，网上查了下资料c#太少了，都是winform的，为了让.net 同学可以快速上手指定url生成长图少走弯路，或者做爬虫提供思路，把我研究的结果发给大家，直接使用，相互交流，共同进步！

NReco PhantomJS，无头浏览器的C#简单封装，相对于更常用的Selenium Phantomjs封装，优点是向下支持到VS2010。

使用Selenium爬网站数据

爬虫简介： WebCollector是一个无须配置、便于二次开发的JAVA爬虫框架（内核），它提供精简的的API，只需少量代码即可实现一个功能强大的爬虫。 爬虫内核： WebCollector致力于维护一个稳定、可扩的爬虫内核，便于开发者进行灵活的二次开发。内核具有很强的扩展性，用户可以在内核基础上开发自己想要的爬虫。源码中集成了Jsoup，可进行精准的网页解析。2.x版本中集成了selenium，可以处理javascript生成的数据。

本文主要介绍了C#使用Selenium+PhantomJS抓取数据的方法步骤，具有很好的参考价值，下面跟着小编一起来看下吧

搜索网上资料，很难获取到开放式基金历史成分股，比例及数量，以及现金替代的数据，这些数据对于计算ETF的盘中净值相当重要，本代码通过爬取基金公司的网站获取相关的信息。