史上最全的大数据面试题-大数据开发者必看 史上最全的大数据面试题-大数据开发者必看全文共9页,当前为第1页。史上最全的大数据面试题-大数据开发者必看全文共9页,当前为第1页。【某公司笔试面试题】 1\使用mr,spark ,spark sql编写word count程序 【Spark 版本】 val conf=new SparkConf().setAppName("wd").setMaster("local[1]") val sc=new SparkContext(conf,2) //加载 val lines=sc.textFile("tructField("name",DataTypes.StringType,true)") val paris=lines.flatMap(line=>line.split("^A")) val words=paris.map((_,1)) val result=words.reduceByKey(_+_).sortBy(x=>x._1,false) //打印 result.foreach( wds=>{ println("单词:"+wds._1+"
2022-06-21 17:06:20
52KB
文档资料