请参照文章WDS编译环境先进行环境准备。
以下表格为目标适配环境,所使用的数据底座是CDP 7.1.7。
组件 | 版本 | 发行版 | 版本 |
---|---|---|---|
Supervisord | 3.4.0 | 不可用 | 不适用 |
cdp_data_analytics_studio | 1.4.2.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
cloudera-opdb-replication | 1.0.0.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
Cloudera Manager Agent | 7.7.1 | 38419853.el7 | 不适用 |
Cloudera Manager Management Daemon | 7.7.1 | 38419853.el7 | 不适用 |
cpx | 1.0.0.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
cruise_control | 2.0.100.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
Hadoop | 3.1.1.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
HDFS | 3.1.1.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
HttpFS | 3.1.1.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
hadoop-kms | 3.1.1.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
MapReduce 2 | 3.1.1.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
YARN | 3.1.1.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
HBase | 2.2.3.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
Lily HBase Indexer | 1.5.0.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
hbase_connectors | 1.0.0.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
hbase_filesystem | 1.0.0.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
Hive | 3.1.3000.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
HCatalog | 3.1.3000.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
Hue | 4.5.0.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
Impala | 3.4.0.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
Java 8 | openjdk version "1.8.0_232" | 不可用 | 不适用 |
Kafka | 2.5.0.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
kafka_connect_ext | 0.0.1.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
knox | 1.3.0.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
kudu | 1.15.0.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
Oozie | 5.1.0.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
Parquet | 1.10.99.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
schemaregistry | 0.10.0.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
search | 1.0.0.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
Solr | 8.4.1.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
spark | 2.4.7.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
spark_atlas_connector | 0.1.0.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
Sqoop | 1.4.7.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
streams_messaging_manager | 2.1.0.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
streams_messaging_manager_ui | 0.0.1.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
streams_replication_manager | 1.0.0.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
tez | 0.9.1.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
zeppelin | 0.8.2.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
ZooKeeper | 3.5.5.7.1.7.2010-1 | 38741610 | CDH 7.1.7 |
适配主要内容如下:
-
hadoop
Linkis 1.5.0默认使用hadoop 3.3.4,修改为3.1.1.7.1.7.2010-1。
-
zookeeper
Linkis 1.5.0默认使用3.5.9,修改为3.5.5.7.1.7.2010-1。
-
spark
Linkis 1.5.0默认使用3.2.1,修改为2.4.7。但由于spark 2.4.7目前提供下载的版本是基于scala 2.11编译的,需要下载源码,使用scala 2.12.17进行编译。编译完成后,进行安装,将使用这个客户端将作业提交到集群上运行。具体编译过程请参考文章-Spark 2.4.7编译。
-
hbase
Linkis 1.5.0默认使用2.5.3,修改为2.2.6。
-
flink
Linkis 1.5.0默认使用1.16.2,修改为1.12.2。
以下具体修改点,仅供参考。
-
pom.xml
-
linkis-engineconn-plugins/flink/flink-shims/pom.xml
-
linkis-engineconn-plugins/jdbc/pom.xml
-
linkis-computation-governance/linkis-manager/linkis-label-common/src/main/java/org/apache/linkis/manager/label/conf/LabelCommonConfig.java
-
linkis-engineconn-plugins/hbase/hbase-core/src/main/assembly/distribution.xml
-
linkis-engineconn-plugins/hive/src/main/scala/org/apache/linkis/engineplugin/hive/executor/HiveEngineConcurrentConnExecutor.scala
以下为后端编译命令git clone https://github.com/apache/linkis.git git checkout -b release-1.5.0 origin/release-1.5.0 mvn -N install mvn clean install -P spark-2.4 -P hadoop-2.7 -D maven.test.skip=true -D maven.wagon.http.ssl.insecure=true -D maven.wagon.http.ssl.allowall=true
编译目标文件:linkis-dist\target\apache-linkis-1.5.0-bin.tar.gz
以下为前端编译命令cd linkis-web nvm use v16.20.0 npm install npm run build
编译目标文件:linkis-web\apache-linkis-1.5.0-web-bin.tar.gz