Sloth

DSS_LINKIS 整合流程

felix9ia ... 2021-11-30 大约 5 分钟

# DSS_LINKIS 整合流程

分为搭建 DSS_LINKIS 和 Schedulis

# DSS_LINKIS 搭建过程

TBC

# 配置细节

如果编辑模式下的左侧的工具栏的列表请求不回来，需要调整 /etc/nginx/nginx.conf 配置。

http {
		types_hash_max_size 4096;
}
1
2
3

如果要更新 spark 的版本，需要配置/DSS-Linkis/dss/conf/dss.properties

wds.linkis.spark.engine.version=2.4.8
1

配置环境变量

export JAVA_HOME=/usr/java/jdk1.8.0_231-amd64
export PATH=$PATH:$JAVA_HOME/bin
export HADOOP_HOME=/home/hadoop/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HIVE_HOME=/home/hadoop/hive-2.3.3
export PATH=$PATH:$HIVE_HOME/bin:$HIVE_HOME/conf
export SPARK_HOME=/home/hadoop/spark-2.4.8-bin-hadoop2.7
#export SPARK_HOME=/home/hadoop/spark-2.4.3-bin-without-hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
export SPARK_DIST_CLASSPATH=$(hadoop classpath)
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/conf
#export SCALA_HOME=/home/hadoop/scala-2.11.12
export SCALA_HOME=/home/hadoop/scala-2.12.15
export PATH=$PATH:$SCALA_HOME/bin
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

# 启动

  • Eureka http://172.15.0.25:20303/
  • Hadoop http://172.15.0.25:8088/
  • HDFS http://172.15.0.25:50070/
  • DSS http://172.15.0.25:8901/

# Schedulis 搭建与配置过程

梳理 schedulis_deploy_cn.md (opens new window) 的步骤中的普通版部署模式中的有用的步骤

  1. 请基于 Linux 操作系统操作（建议 CentOS）

  2. 创建新用户 hadoop， 并为该用户赋予 root 权限,用于部署schedulis

  3. 准备好 MySQL（版本5.5+） 的客户端和服务端

    如果你的MySQL在其他的机器，就不用安装了。

  4. 请确保已安装并且正确配置 JDK（版本1.8+）

  5. 配置集群各节点之间的免密码登录

    如果是单机的话，就没必要了

  6. 请准备一台已经正确安装和配置 Maven（版本3.3+） 和 Git 的机器，用来编译代码

    纯粹没必要，因为不需要编译

  7. hdp_wtss_deploy_script.sql 在你 MySQL 所在的机器上执行一遍就行了，其他的步骤不需要

  8. 去 release-0.6.1 (opens new window) 里下载schedulis_0.6.1_exec.zip (opens new window) 和 schedulis_0.6.1_web.zip (opens new window) 两个 zip 文件，新建 /appcom/Install/AzkabanInstall 赋予 775 权限， 把两个 zip 文件复制到里面并解压

  9. 把仓库里的bin/construct里面的执行依赖包execute-as-user 复制到azkaban-exec-server的lib下，并且更新权限

    sudo chown root execute-as-user
sudo chmod 6050 execute-as-user
    1
    2

  10. 配置plugins/jobtypes/commonprivate.properties

    此配置文件存放于 ExecServer 安装包下的 plugins/jobtypes 目录下 此配置文件主要设置程序启动所需要加载的一些 lib 和 classpath

    hadoop.home=$HADOOP_HOME
hadoop.conf.dir=$HADOOP_HOME/etc/hadoop
hive.home=$HIVE_HOME
spark.home=$SPARK_HOME

#azkaban.native.lib 请修改成ExecServer 安装目录下 lib 的所在绝对路径
execute.as.user=true
azkaban.native.lib=/appcom/Install/AzkabanInstall/wtss_exec/bin
    1
    2
    3
    4
    5
    6
    7
    8

  11. 配置plugins/jobtypes/common.properties

    需要配置，否则启动不起来

    #配置集群 Hive 的元数据库（密码用 base64 加密）
job.datachecker.jdo.option.name="job"
job.datachecker.jdo.option.url=jdbc:mysql://host:3306/db_name?useUnicode=true&characterEncoding=UTF-8
job.datachecker.jdo.option.username=username
job.datachecker.jdo.option.password=password

#配置 Schedulis 的数据库地址（密码用 base64 加密）
msg.eventchecker.jdo.option.name="msg"
msg.eventchecker.jdo.option.url=jdbc:mysql://host:3306/db_name?useUnicode=true&characterEncoding=UTF-8
msg.eventchecker.jdo.option.username=username
msg.eventchecker.jdo.option.password=password


#此部分依赖于第三方脱敏服务mask，暂未开源，将配置写为和job类型一样即可（密码用 base64 加密） 

bdp.datachecker.jdo.option.name="bdp"
bdp.datachecker.jdo.option.url=jdbc:mysql://host:3306/db_name?useUnicode=true&characterEncoding=UTF-8
bdp.datachecker.jdo.option.username=username
bdp.datachecker.jdo.option.password=password
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19

  12. 配置 conf/azkaban.properties

    #项目 MySQL 服务端地址（密码用 base64 加密）
mysql.port=3306
mysql.host=
mysql.database=
mysql.user=
mysql.password=
mysql.numconnections=100

#此 server id 请参考1的 host.properties，改配置会在服务启动的时候自动从host.properties中拉取
executor.server.id=8

#Web Sever url相关配置， eg: http://localhost:8081
azkaban.webserver.url=http://webserver_ip:webserver_port
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13

  13. 新建 host.properties, vi /appcom/config/wtss-config/host.properties

    主机名=ServerId
    1

  14. plugins/alerter/WeBankIMS/conf/plugin.properties

  15. 配置 conf/global.properties

    该配置文件存放在 ExecServer 安装包下的 conf 目录下，该配置文件主要存放一些 Executor 的全局属性

    #azkaban.native.lib，执行项目的 lib 目录，请修改成本机解压后的 ExecServer 安装包下 lib 的所在路径
execute.as.user=true
azkaban.native.lib=/appcom/Install/AzkabanInstall/wtss-exec/lib
    1
    2
    3

  16. 配置 plugins/jobtypes/linkis/private.properties

    下载jobtype插件的依赖和配置，链接：https://pan.baidu.com/s/1FuSBdgdTAHL1PxUXnfbLBw 提取码：0cpo；解压最新版本的zip，该配置文件存放在 ExecServer 安装包下的 plugins/jobtypes/linkis 目录下，主要是设置 jobtype 所需的 lib 所在位置

    #将该值修改为 ExecServer 安装包目录下的 /plugins/jobtypes/linkis/extlib
jobtype.lib.dir=/appcom/Install/AzkabanInstall/wtss-exec/plugins/jobtypes/linkis/lib
    1
    2

  17. plugins/jobtypes/linkis/plugin.properties

    #将该值修改为 Linkis 的gateway地址
wds.linkis.gateway.url=http://127.0.0.1:9001
    1
    2

  18. 配置 WebServer

    #项目 MySQL 配置（密码用 base64 加密）
database.type=mysql
mysql.port=
mysql.host=
mysql.database=
mysql.user=
mysql.password=
mysql.numconnections=100

#Azkaban jetty server properties
jetty.port=8081
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11

  19. 新建日志目录

    /appcom/logs/azkaban，把文件所属权转给 hadoop用户，赋予775权限

# 启动服务

注意事项：启动的时候一定要切换到 bin 的上一层目录，因为上层目录有一些文件是被依赖的。

对数据库进行初始化完毕，以及修改完以上的配置文件后，就可以启动了

进入 ExecutorServer 安装包路径，注意不要进到 bin 目录下，执行成功会有 success 字样

./bin/start-exec.sh
1

进入 WebServer 安装包路径，注意不要进到 bin 目录下，之后访问 http://webserver_ip:8080 即可。在跳出的登陆界面输入默认的用户名和密码 superadmin: Abcd1234

./bin/start-web.sh
1

# 联动

参考 SchedulisAppConn插件安装文档.md (opens new window) 中的 3. 安装Schedulis AppConn，执行安装。

sh ${DSS_HOME}bin/appconn-install.sh

# 执行appcon-install安装脚本后，输入对应的appconn名称
# 按照提示输入对应schedulis服务对应的IP，和PORT
>> schedulis
>> 127.0.0.1
>> 8089
1
2
3
4
5
6
7

# 参考

wedatasphere (opens new window)

DataSphere Studio v0.8 使用教程 (opens new window)

Linkis1.0.2 安装及使用指南 (opens new window)

Linkis1.0常见问题和解决办法 (opens new window)

DataSphere 常见问题和解决办法 (opens new window)

Schedulis (opens new window)

Schedulis AppConn安装说明 (opens new window)

ES 数据归档