(随记)部署海豚调度器

Sal Lv1

本地部署启动海豚调度器(DolphinScheduler)的常见问题及解决方法

csdn链接https://blog.csdn.net/Stupid696/article/details/147416128

在公司实习的时候,老大叫我拉海豚调度器源码下来跑一下,一开始叫我做Seatunnel引擎我就已经绷不住了,我只是个实习生啊喂。无语,不过还是被我跑出来了。

在部署海豚调度器(DolphinScheduler)的过程中,有几个比较值得关注的点,官方文档没写清楚该怎么本地部署加二次开发,光是找建表语句和读文档查配置我就弄了好久。分享其中较为头疼的几个问题吧。希望能帮到未来想对海豚调度器部署或二次开发的人。假设你已完成海豚调度器源码的拉取,此处不再对该步骤进行详细说明。

一、部署中面临的主要问题

  1. 如何正确初始化数据库。
  2. 怎样准确配置Zookeeper。
  3. 项目中存在许多类文件名称过长的情况,建议将代码拉取至文件夹名较短的目录(或路径较短的位置),否则在开发过程中易出现文件丢失问题。本文主要围绕前两个问题展开探讨。

二、Zookeeper部署步骤

  1. 下载Zookeeper:下载3.8.0版本的Zookeeper,下载链接为:https://archive.apache.org/dist/zookeeper/zookeeper-3.8.0/apache-zookeeper-3.8.0-bin.tar.gz
  2. 解压与配置文件处理:下载完成后解压文件,进入解压后的conf文件夹,复制一份zoo_sample.cfg文件,并将其重命名为zoo.cfg,放置在该目录下。



alt text


  1. 创建文件夹:在Zookeeper文件夹下创建datalog两个文件夹。



    alt text



  1. 修改配置文件参数:打开zoo.cfg文件,修改dataDir的值为刚刚创建的data文件夹的路径,例如dataDir=F:\d\apache-zookeeper-3.8.0-bin\data ;同时,clientPort保持默认的2181即可(该端口是客户端连接的端口),maxClientCnxns用于设置最大客户端连接数,可根据实际需求调整。



    alt text



  1. 启动Zookeeper:打开bin目录下的zkServer.cmdzkCli.cmd,即可启动Zookeeper服务。若在本地成功部署Zookeeper,那么在海豚调度器的配置文件中无需再对Zookeeper的配置信息进行修改。

三、数据库配置步骤

  1. 创建数据库:使用SQL语句创建数据库,执行

    CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

  2. 创建数据表:运行相应的SQL脚本,路径为dolphinscheduler-dao/src/main/java/resources/org.apache.dolphinscheduler.dao.mapper/sql/upgrade,根据实际使用的数据库类型,选择dolphinscheduler_h2.sqldolphinscheduler_mysql.sqldolphinscheduler_postgresqlsql脚本执行。这里我们用的是mysql,那么就直接运行mysql的脚本

alt text

  1. 修改数据库链接信息:由于后端涉及workerapimaster三个服务模块,需在对应的yaml文件中修改数据库的链接信息,具体修改方式因项目结构而异,此处不做详细阐述。若出现找不到JDBC驱动器的问题,可在pom文件中添加8.0版本以上的mysql connector依赖。此外,项目需使用Java8进行编译。

  2. 最后,请记得启用mysql配置

    alt text

  • 标题: (随记)部署海豚调度器
  • 作者: Sal
  • 创建于 : 2025-04-22 14:27:09
  • 更新于 : 2025-04-23 15:02:48
  • 链接: https://redefine.ohevan.com/posts/50540/
  • 版权声明: 本文章采用 CC BY-NC-SA 4.0 进行许可。
评论