Spark 2.4.7编译


因Linkis 1.5.0使用了Scala 2.12.17,故需下载Spark源码进行适配Scala 2.12.17编译。
以下具体修改点,仅供参考。

  1. pom.xml
    Spark-pom-1.png
    Spark-pom-2.png
  2. dev/make-distribution.sh
    Spark-tgz-2.png
    Linux系统可以直接编译,如果使用Windows系统,可以使用Git软件自带的git-bash.exe进行编译,命令如下:

    git clone https://github.com/apache/spark.git
    git checkout -b v2.4.7 v2.4.7
    ./dev/make-distribution.sh --tgz -Pyarn -Pscala-2.12 -Phadoop-2.7 -Phive -Phive-thriftserver -Pconnect -Dmaven.test.skip=true

    编译目标文件为:spark-2.4.7-bin-2.7.2.tgz
    Spark-tgz-1.png

,

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注