(随记)部署海豚调度器

本地部署启动海豚调度器(DolphinScheduler)的常见问题及解决方法
csdn链接:https://blog.csdn.net/Stupid696/article/details/147416128
在公司实习的时候,老大叫我拉海豚调度器源码下来跑一下,一开始叫我做Seatunnel引擎我就已经绷不住了,我只是个实习生啊喂。无语,不过还是被我跑出来了。
在部署海豚调度器(DolphinScheduler)的过程中,有几个比较值得关注的点,官方文档没写清楚该怎么本地部署加二次开发,光是找建表语句和读文档查配置我就弄了好久。分享其中较为头疼的几个问题吧。希望能帮到未来想对海豚调度器部署或二次开发的人。假设你已完成海豚调度器源码的拉取,此处不再对该步骤进行详细说明。
一、部署中面临的主要问题
- 如何正确初始化数据库。
- 怎样准确配置Zookeeper。
- 项目中存在许多类文件名称过长的情况,建议将代码拉取至文件夹名较短的目录(或路径较短的位置),否则在开发过程中易出现文件丢失问题。本文主要围绕前两个问题展开探讨。
二、Zookeeper部署步骤
- 下载Zookeeper:下载3.8.0版本的Zookeeper,下载链接为:https://archive.apache.org/dist/zookeeper/zookeeper-3.8.0/apache-zookeeper-3.8.0-bin.tar.gz。
- 解压与配置文件处理:下载完成后解压文件,进入解压后的
conf
文件夹,复制一份zoo_sample.cfg
文件,并将其重命名为zoo.cfg
,放置在该目录下。
- 创建文件夹:在Zookeeper文件夹下创建
data
和log
两个文件夹。
- 修改配置文件参数:打开
zoo.cfg
文件,修改dataDir
的值为刚刚创建的data
文件夹的路径,例如dataDir=F:\d\apache-zookeeper-3.8.0-bin\data
;同时,clientPort
保持默认的2181
即可(该端口是客户端连接的端口),maxClientCnxns
用于设置最大客户端连接数,可根据实际需求调整。
- 启动Zookeeper:打开
bin
目录下的zkServer.cmd
和zkCli.cmd
,即可启动Zookeeper服务。若在本地成功部署Zookeeper,那么在海豚调度器的配置文件中无需再对Zookeeper的配置信息进行修改。
三、数据库配置步骤
创建数据库:使用SQL语句创建数据库,执行
CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
。创建数据表:运行相应的SQL脚本,路径为
dolphinscheduler-dao/src/main/java/resources/org.apache.dolphinscheduler.dao.mapper/sql/upgrade
,根据实际使用的数据库类型,选择dolphinscheduler_h2.sql
、dolphinscheduler_mysql.sql
或dolphinscheduler_postgresqlsql
脚本执行。这里我们用的是mysql,那么就直接运行mysql的脚本
修改数据库链接信息:由于后端涉及
worker
、api
和master
三个服务模块,需在对应的yaml
文件中修改数据库的链接信息,具体修改方式因项目结构而异,此处不做详细阐述。若出现找不到JDBC驱动器的问题,可在pom
文件中添加8.0版本以上的mysql connector
依赖。此外,项目需使用Java8进行编译。最后,请记得启用mysql配置:
- 标题: (随记)部署海豚调度器
- 作者: Sal
- 创建于 : 2025-04-22 14:27:09
- 更新于 : 2025-04-23 15:02:48
- 链接: https://redefine.ohevan.com/posts/50540/
- 版权声明: 本文章采用 CC BY-NC-SA 4.0 进行许可。