Apache Linkis 1.5.0适配CDP 7.1.7编译


请参照文章WDS编译环境先进行环境准备。
以下表格为目标适配环境,所使用的数据底座是CDP 7.1.7。

组件 版本 发行版 版本
Supervisord 3.4.0 不可用 不适用
cdp_data_analytics_studio 1.4.2.7.1.7.2010-1 38741610 CDH 7.1.7
cloudera-opdb-replication 1.0.0.7.1.7.2010-1 38741610 CDH 7.1.7
Cloudera Manager Agent 7.7.1 38419853.el7 不适用
Cloudera Manager Management Daemon 7.7.1 38419853.el7 不适用
cpx 1.0.0.7.1.7.2010-1 38741610 CDH 7.1.7
cruise_control 2.0.100.7.1.7.2010-1 38741610 CDH 7.1.7
Hadoop 3.1.1.7.1.7.2010-1 38741610 CDH 7.1.7
HDFS 3.1.1.7.1.7.2010-1 38741610 CDH 7.1.7
HttpFS 3.1.1.7.1.7.2010-1 38741610 CDH 7.1.7
hadoop-kms 3.1.1.7.1.7.2010-1 38741610 CDH 7.1.7
MapReduce 2 3.1.1.7.1.7.2010-1 38741610 CDH 7.1.7
YARN 3.1.1.7.1.7.2010-1 38741610 CDH 7.1.7
HBase 2.2.3.7.1.7.2010-1 38741610 CDH 7.1.7
Lily HBase Indexer 1.5.0.7.1.7.2010-1 38741610 CDH 7.1.7
hbase_connectors 1.0.0.7.1.7.2010-1 38741610 CDH 7.1.7
hbase_filesystem 1.0.0.7.1.7.2010-1 38741610 CDH 7.1.7
Hive 3.1.3000.7.1.7.2010-1 38741610 CDH 7.1.7
HCatalog 3.1.3000.7.1.7.2010-1 38741610 CDH 7.1.7
Hue 4.5.0.7.1.7.2010-1 38741610 CDH 7.1.7
Impala 3.4.0.7.1.7.2010-1 38741610 CDH 7.1.7
Java 8 openjdk version "1.8.0_232" 不可用 不适用
Kafka 2.5.0.7.1.7.2010-1 38741610 CDH 7.1.7
kafka_connect_ext 0.0.1.7.1.7.2010-1 38741610 CDH 7.1.7
knox 1.3.0.7.1.7.2010-1 38741610 CDH 7.1.7
kudu 1.15.0.7.1.7.2010-1 38741610 CDH 7.1.7
Oozie 5.1.0.7.1.7.2010-1 38741610 CDH 7.1.7
Parquet 1.10.99.7.1.7.2010-1 38741610 CDH 7.1.7
schemaregistry 0.10.0.7.1.7.2010-1 38741610 CDH 7.1.7
search 1.0.0.7.1.7.2010-1 38741610 CDH 7.1.7
Solr 8.4.1.7.1.7.2010-1 38741610 CDH 7.1.7
spark 2.4.7.7.1.7.2010-1 38741610 CDH 7.1.7
spark_atlas_connector 0.1.0.7.1.7.2010-1 38741610 CDH 7.1.7
Sqoop 1.4.7.7.1.7.2010-1 38741610 CDH 7.1.7
streams_messaging_manager 2.1.0.7.1.7.2010-1 38741610 CDH 7.1.7
streams_messaging_manager_ui 0.0.1.7.1.7.2010-1 38741610 CDH 7.1.7
streams_replication_manager 1.0.0.7.1.7.2010-1 38741610 CDH 7.1.7
tez 0.9.1.7.1.7.2010-1 38741610 CDH 7.1.7
zeppelin 0.8.2.7.1.7.2010-1 38741610 CDH 7.1.7
ZooKeeper 3.5.5.7.1.7.2010-1 38741610 CDH 7.1.7

适配主要内容如下:

  1. hadoop

    Linkis 1.5.0默认使用hadoop 3.3.4,修改为3.1.1.7.1.7.2010-1。

  2. zookeeper

    Linkis 1.5.0默认使用3.5.9,修改为3.5.5.7.1.7.2010-1。

  3. spark

    Linkis 1.5.0默认使用3.2.1,修改为2.4.7。但由于spark 2.4.7目前提供下载的版本是基于scala 2.11编译的,需要下载源码,使用scala 2.12.17进行编译。编译完成后,进行安装,将使用这个客户端将作业提交到集群上运行。具体编译过程请参考文章-Spark 2.4.7编译

  4. hbase

    Linkis 1.5.0默认使用2.5.3,修改为2.2.6。

  5. flink

    Linkis 1.5.0默认使用1.16.2,修改为1.12.2。

以下具体修改点,仅供参考。

  1. pom.xml

    pom-1.png

    pom-2.png

    pom-4.png

    pom-5.png

    pom-6.png

    pom-7.png

    pom-8.png

  2. linkis-engineconn-plugins/flink/flink-shims/pom.xml

    flink-1.png

  3. linkis-engineconn-plugins/jdbc/pom.xml

    jdbc-1.png

  4. linkis-computation-governance/linkis-manager/linkis-label-common/src/main/java/org/apache/linkis/manager/label/conf/LabelCommonConfig.java

    label-1.png

    label-2.png

  5. linkis-engineconn-plugins/hbase/hbase-core/src/main/assembly/distribution.xml

    hbase-1.png

    hbase-2.png

  6. linkis-engineconn-plugins/hive/src/main/scala/org/apache/linkis/engineplugin/hive/executor/HiveEngineConcurrentConnExecutor.scala

    hive-1.png
    以下为后端编译命令

    git clone https://github.com/apache/linkis.git
    git checkout -b release-1.5.0 origin/release-1.5.0
    mvn -N install
    mvn clean install -P spark-2.4 -P hadoop-2.7 -D maven.test.skip=true -D maven.wagon.http.ssl.insecure=true -D maven.wagon.http.ssl.allowall=true

    编译目标文件:linkis-dist\target\apache-linkis-1.5.0-bin.tar.gz
    以下为前端编译命令

    cd linkis-web
    nvm use v16.20.0
    npm install
    npm run build

    编译目标文件:linkis-web\apache-linkis-1.5.0-web-bin.tar.gz

,

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注