Spark-Redis
一个使用在读写数据的库。
Spark-Redis可从Spark作为RDD访问Redis的所有数据结构-字符串,哈希,列表,集合和排序集合。 它还支持使用DataFrames和Spark SQL语法进行读写。
该库可以与Redis独立数据库以及集群数据库一起使用。 与Redis群集一起使用时,Spark-Redis会意识到其分区方案,并会根据重新分片和节点故障事件进行调整。
Spark-Redis还支持Spark流(DStream)和结构化流。
版本兼容性和分支
该库具有多个分支,每个分支对应于一个受支持的不同Spark版本。 例如,“ branch-2.3”可与
1