Spark—SparkCore（三）

一、Sp a rk 广播 变量和累加器

1、广播 变量

1）、广播 变量 理解图

2）、广播 变量 使用

val conf = new SparkConf()
conf.setMaster("local").setAppName("brocast")
val sc = new SparkContext(conf)
val broadCast = sc.broadcast(list)
val lineRDD = sc.textFile("./words.txt")
lineRDD.filter { x =&gt; broadCast.value.contains(x) }.foreach { println }
sc.stop()

3)、注意事项

能不能将一个RDD使用广播变量广播出去？

不能，因为RDD是不存储数据的。可以将RDD的结果广播出去。

广播变量只能在Dr i v e r端定义，不能在Ex e cutor端定义。

在Dri ver端可以修改广播变量的值，在Executor端无法修改广播变量的值。

2、累加器

1）、累加器理解图

2）、累加器的使用

val conf = new SparkConf()
conf.setMaster("local").setAppName("accumulator")
val sc = new SparkContext(conf)
val accumulator = sc.accumulator(0)
sc.textFile("./words.txt").foreach { x =&gt; {accumulator.add(1) } }
println(accumulator.value)
sc.stop()

3)、注意事项

累加器在Dri ver端定义赋初始值，累加器只能在Dri ver端读取，在Excutor端更新。

二、Spark weibui 界面

1、Spar kUI界面 介绍

可以指定提交Appli cat ion的名称

./spark-shell --master  spark://node1:7077 --name myapp

2、配置 historyServer

1）、临时配置，对本次提交的应用程序起作用

./spark-shell --master spark://node1:7077 
--name myapp1
--conf spark.eventLog.enabled=true
 --conf spark.eventLog.dir=hdfs://node1:9000/spark/test

停止程序，在Web Ui中Comp leted Appli cat ions 对应的Appli cationID中能查看 history。

2）、spark–default.c onf配置文件中配置HistoryServer，对所有提交的Appli cation都起作用

在客户端节点，进入../spar k-1.6.0/conf/ spar k-defa ul ts.conf 最后加入:

//开启记录事件日志的功能
spark.eventLog.enabled           true
//设置事件日志存储的目录
spark.eventLog.dir                    hdfs://node1:9000/spark/test
//设置HistoryServer加载事件日志的位置
spark.history.fs.logDirectory   hdfs://node1:9000/spark/test
//日志优化选项,压缩日志
spark.eventLog.compress         true