请参照文章WDS编译环境先进行环境准备。
以下表格为目标适配环境,所使用的数据底座是CDP 7.1.7。
| 组件 | 版本 | 发行版 | 版本 |
|---|---|---|---|
| Supervisord | 3.4.0 | 不可用 | 不适用 |
| cdp_data_analytics_studio | 1.4.2.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
| cloudera-opdb-replication | 1.0.0.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
| Cloudera Manager Agent | 7.7.1 | 38419853.el7 | 不适用 |
| Cloudera Manager Management Daemon | 7.7.1 | 38419853.el7 | 不适用 |
| cpx | 1.0.0.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
| cruise_control | 2.0.100.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
| Hadoop | 3.1.1.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
| HDFS | 3.1.1.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
| HttpFS | 3.1.1.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
| hadoop-kms | 3.1.1.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
| MapReduce 2 | 3.1.1.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
| YARN | 3.1.1.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
| HBase | 2.2.3.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
| Lily HBase Indexer | 1.5.0.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
| hbase_connectors | 1.0.0.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
| hbase_filesystem | 1.0.0.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
| Hive | 3.1.3000.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
| HCatalog | 3.1.3000.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
| Hue | 4.5.0.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
| Impala | 3.4.0.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
| Java 8 | openjdk version "1.8.0_232" | 不可用 | 不适用 |
| Kafka | 2.5.0.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
| kafka_connect_ext | 0.0.1.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
| knox | 1.3.0.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
| kudu | 1.15.0.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
| Oozie | 5.1.0.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
| Parquet | 1.10.99.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
| schemaregistry | 0.10.0.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
| search | 1.0.0.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
| Solr | 8.4.1.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
| spark | 2.4.7.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
| spark_atlas_connector | 0.1.0.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
| Sqoop | 1.4.7.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
| streams_messaging_manager | 2.1.0.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
| streams_messaging_manager_ui | 0.0.1.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
| streams_replication_manager | 1.0.0.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
| tez | 0.9.1.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
| zeppelin | 0.8.2.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
| ZooKeeper | 3.5.5.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
适配主要内容如下:
-
hadoop
Linkis 1.5.0默认使用hadoop 3.3.4,修改为3.1.1.7.1.7.2010-1。
-
zookeeper
Linkis 1.5.0默认使用3.5.9,修改为3.5.5.7.1.7.2010-1。
-
spark
Linkis 1.5.0默认使用3.2.1,修改为2.4.7。但由于spark 2.4.7目前提供下载的版本是基于scala 2.11编译的,需要下载源码,使用scala 2.12.17进行编译。编译完成后,进行安装,将使用这个客户端将作业提交到集群上运行。具体编译过程请参考文章-Spark 2.4.7编译。
-
hbase
Linkis 1.5.0默认使用2.5.3,修改为2.2.6。
-
flink
Linkis 1.5.0默认使用1.16.2,修改为1.12.2。
以下具体修改点,仅供参考。
-
pom.xml







-
linkis-engineconn-plugins/flink/flink-shims/pom.xml

-
linkis-engineconn-plugins/jdbc/pom.xml

-
linkis-computation-governance/linkis-manager/linkis-label-common/src/main/java/org/apache/linkis/manager/label/conf/LabelCommonConfig.java


-
linkis-engineconn-plugins/hbase/hbase-core/src/main/assembly/distribution.xml


-
linkis-engineconn-plugins/hive/src/main/scala/org/apache/linkis/engineplugin/hive/executor/HiveEngineConcurrentConnExecutor.scala

以下为后端编译命令git clone https://github.com/apache/linkis.git git checkout -b release-1.5.0 origin/release-1.5.0 mvn -N install mvn clean install -P spark-2.4 -P hadoop-2.7 -D maven.test.skip=true -D maven.wagon.http.ssl.insecure=true -D maven.wagon.http.ssl.allowall=true编译目标文件:linkis-dist\target\apache-linkis-1.5.0-bin.tar.gz
以下为前端编译命令cd linkis-web nvm use v16.20.0 npm install npm run build编译目标文件:linkis-web\apache-linkis-1.5.0-web-bin.tar.gz