Apache Spark Kinesis使用者
使用Apache Spark使用AWS Kinesis流化并将数据保存在Amazon Redshift上的示例项目
来自以下内容的代码:
用法示例
您需要在您的环境上设置Amazon Credentials。
export AWS_ACCESS_KEY_ID= " "
export AWS_ACCESS_KEY= " "
export AWS_SECRET_ACCESS_KEY= " "
export AWS_SECRET_KEY= " "
依存关系
必须包含在--packages标志中。
org.apache.spark:spark-streaming-kinesis-asl_2.10:1.6.1
设置
如何在本地运行Kinesis?
几个月前,我使用Kinesalite(amazin项目来模拟Amazon Kinesis)创建了
1