Spark搭建记录(2018.11.2)
建立在Hadoop的基础上。
Spark版本:2.1.3.
在官网上下的直接编译好的文件。
Spark装之前需要装Scala。我的Scala版本是2.11.6。
然后解压spark压缩包,修改conf目录下的spark-env.sh(备份到github)。 修改slaves文件。
注意启动后报错,需要加入JAVA_HOME环境变量,也在spark-env.sh中.
Spark编译记录
在官网下载Spark源码,安装maven(我安装的版本是3.3.9) ,添加maven镜像(已备份),修改dev目录下的make-distribution.sh文件,将Spark,Hadoop,Scala版本都换为自己的。
然后用README里的命令编译。