大数据技术之ClickHouse

基于Spark的新闻推荐系统，包含爬虫项目、web网站以及spark推荐系统.zip

spark 读取sftp文件 下面是用法 // Construct Spark dataframe using file in FTP server DataFrame df = spark.read(). format("com.springml.spark.sftp"). option("host", "SFTP_HOST"). option("username", "SFTP_USER"). option("password", "****"). option("fileType", "json"). load("/ftp/files/sample.json") // Write dataframe as CSV file to FTP server df.write(). format("com.springml.spark.sftp"). option("host", "SFTP_HOST"). option("username", "SFTP_USER"). option("password", "****"). option("fileType", "json"). save("/ftp/files/sample.json");

采用java实现的spark的wordcount单词技术的程序.可以跑通。

本例子是让新手熟悉了解如果用idea开发程序，提交到spakr集群上读取hdfs数据这么一个流程。博客讲解链接：https://blog.csdn.net/cuicanxingchen123456/article/details/83573838

Spark原著中文版

基于Linux平台下的Hadoop和Spark集群搭建研究.pdf

spark整合hbase，cdh提供的HBaseContext类。 这个包的下载链接//download.csdn.net/download/qq_27957917/12315208

使用spark读取hbase中的数据，并插入到mysql中

Zeek分析工具（ZAT） ZAT Python软件包支持使用Pandas，scikit-learn和Spark处理和分析Zeek数据 安装 $ pip install zat 入门 在Raspberry Pi上安装！ 最近的改进 大日志文件的更快/更小熊猫的数据帧： 更好的熊猫数据框到矩阵（ndarray）支持：数据 从Zeek日志到Parquet的可扩展转换： 大大改进了Spark Dataframe类：从 更新/改进的笔记本： 影片介绍 为什么要ZAT？ Zeek已经拥有灵活，强大的脚本语言，为什么我应该使用ZAT？ 卸载：应该从Zeek卸载运行诸如统计，状态机，机器学习等复杂任务，以便Zeek可以专注于高效处理大量网络流量。 数据分析：我们有大量的支持类，可以帮助从原始Zeek数据过渡到Pandas，scikit-learn和Spark等软件包。 我们还提供了一些示例笔记本，这些笔记本逐步显示了如何从这里到达那里。 分析笔记本 文献资料 关于SuperCowPowers 该公司的成立是为了让其开发人员能够跟随他们对Python的热情，流数据管道并享受数据分析的乐