因Linkis 1.5.0使用了Scala 2.12.17,故需下载Spark源码进行适配Scala 2.12.17编译。
以下具体修改点,仅供参考。
- pom.xml
- dev/make-distribution.sh
Linux系统可以直接编译,如果使用Windows系统,可以使用Git软件自带的git-bash.exe进行编译,命令如下:git clone https://github.com/apache/spark.git git checkout -b v2.4.7 v2.4.7 ./dev/make-distribution.sh --tgz -Pyarn -Pscala-2.12 -Phadoop-2.7 -Phive -Phive-thriftserver -Pconnect -Dmaven.test.skip=true
编译目标文件为:spark-2.4.7-bin-2.7.2.tgz