Spark配置参数

以下是整理的Spark中的一些配置参数，官方文档请参考Spark Configuration。

Spark提供三个位置用来配置系统：

• Spark属性：控制大部分的应用程序参数，可以用SparkConf对象或者Java系统属性设置；
• 环境变量：可以通过每个节点的 conf/spark-env.sh脚本设置。例如IP地址、端口等信息；
• 日志配置：可以通过log4j.properties配置；

Spark属性

Spark属性控制大部分的应用程序设置，并且为每个应用程序分别配置它。这些属性可以直接在SparkConf上配置，然后传递给SparkContext。SparkConf允许你配置一些通用的属性（如master URL、应用程序名称等等）以及通过set()方法设置的任意键值对。例如，我们可以用如下方式创建一个拥有两个线程的应用程序。

val conf = new SparkConf()
             .setMaster("local[2]")
             .setAppName("CountingSheep")
             .set("spark.executor.memory", "1g")
             .set("spark.cores.max","6")
val sc = new SparkContext(conf)

文章参考：http://blog.javachen.com/2015/06/07/spark-configuration.html ；