上传者: 38577922
|
上传时间: 2022-02-10 19:14:54
|
文件大小: 34KB
|
文件类型: -
idmapping(用户唯一标识)真实数据第一天数据生成
/**
* 处理真实数据
* 1.创建spark环境
* 2.导入数据
* 3.处理数据:我们只用到一个applog的日志数据,web和wx_App的数据也是一样的数据处理!
* a.解析json
* b.生成tuple
* 4.保存结果
* 5.关流
*/
object idmapping_tabay {
def main(args: Array[String]): Unit = {
//1.1.创建spark环境
val spark: SparkSession = SparkSes