史上最全的大数据面试题-大数据开发者必看.docx

史上最全的大数据面试题-大数据开发者必看 史上最全的大数据面试题-大数据开发者必看全文共9页，当前为第1页。史上最全的大数据面试题-大数据开发者必看全文共9页，当前为第1页。【某公司笔试面试题】 1\使用mr，spark ,spark sql编写word count程序 【Spark 版本】 val conf=new SparkConf().setAppName("wd").setMaster("local[1]") val sc=new SparkContext(conf,2) //加载 val lines=sc.textFile("tructField("name",DataTypes.StringType,true)") val paris=lines.flatMap(line=>line.split("^A")) val words=paris.map((_,1)) val result=words.reduceByKey(_+_).sortBy(x=>x._1,false) //打印 result.foreach( wds=>{ println("单词："+wds._1+"