Apache Doris (四) :Doris分布式部署(一) FE部署及启动

2023-10-27

目录

1.Apache Doris下载

2.节点划分

3. 节点配置

​​​​​​​4. FE部署及启动

​​​​​


进入正文之前,欢迎订阅专题、对博文点赞、评论、收藏,关注IT贫道,获取高质量博客内容!


部署Apache Doris时需要分别部署FE、BE、Broker。然后再建立FE,BE两者关系。

Apache Doris 中部署多FE的思路为先在一台节点上配置部署一个FE并启动,相当于是启动Doris服务,然后配置更多的FE节点,添加到Doris服务中给该Doris的FE进行扩容,最终形成多节点FE。FE又分为Leader、Follwer和Observer三种角色,多节点FE中首先启动的FE节点自动为Leader,部署完成一个FE节点后,按照集群划分将其他Follower和Observer节点加入到FE中即可。

部署BE时我们也需要部署FE完成后,然后配置BE各个节点并启动,通过对应命令将多个BE节点添加到Apache Doris集群中即可,即创建了FE、BE两者关系。

Broker的部署是可选的,如果需要从第三方存储系统导入数据,需要部署相应的 Broker,默认提供了读取 HDFS 、对象存储的 fs_broker。Borker以插件的形成独立于Doris集群,部署时也需部署完成FE和BE后,将各个Broker节点添加到 Doris集群中。

1.Apache Doris下载

先前Apache Doris需要自己手动编译源码进行部署安装,现在Apache Doris官方提供了对应编译好的安装包,可以直接下载进行部署。Apache Doris 下载地址为:https://doris.apache.org/zh-CN/download/。这里我们下载最新1.2.1版本。

由于 Apache 服务器文件大小限制,1.2 版本的二进制程序被分为三个包:

 

apache-doris-fe-1.2.1-bin-x86_64.tar.xz
apache-doris-be-1.2.1-bin-x86_64.tar.xz
apache-doris-dependencies-1.2.1-bin-x86_64.tar.xz

 其中新增的 apache-doris-dependencies 包含用于支持 JDBC 外表和 JAVA UDF 的jar包,以及 Broker 和 AuditLoader。下载后,需要将其中的 java-udf-jar-with-dependencies.jar 放到 be/lib 目录下。

2.节点划分

根据Doris官方建议,部署Doris时FE和BE分开部署,这里我们部署Doris集群时部署3个Follower(Leader和Follow统称为Follower)、2个Observer、3个BE、5个Broker,共使用5台节点完成,每个节点的使用4core和4G内存,角色和节点分布如下:

节点IP

节点名称

FE(Follower)

FE(Observer)

BE

Broker(可选)

192.168.179.4

node1

192.168.179.5

node2

192.168.179.6

node3

192.168.179.7

node4

192.168.179.8

node5

3. 节点配置

首先在部署Doris各个节点上按照如下步骤进行设置。

1. 设置文件句柄数

在node1~node5各个节点上配置/etc/security/limits.conf文件如下内容,设置系统最大打开文件句柄数:

# 打开limits.conf文件,vim /etc/security/limits.conf 
* soft nofile 65536
* hard nofile 65536

注意各个节点配置完成后,如果是ssh连接到各个节点需要重新打开新的ssh窗口生效或者重新启动机器生效。查看生效命令如下:

#查看可以打开最大文件描述符的数量,默认是1024
ulimit -n

2. 时间同步

在node1~node5各节点上进行时间同步。首选在各个节点上修改本地时区及安装ntp服务:

yum -y install ntp
rm -rf /etc/localtime
ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
/usr/sbin/ntpdate -u pool.ntp.org

然后设置定时任务自动同步时间,设置定时任务,每10分钟同步一次,配置/etc/crontab文件,实现自动执行任务。建议直接crontab -e 来写入定时任务。使用crontab -l 查看当前用户定时任务。

#各个节点执行 crontab -e 写入以下内容
*/10 * * * *  /usr/sbin/ntpdate -u pool.ntp.org >/dev/null 2>&1

#重启定时任务   
service crond restart

#查看日期
date

​​​​​​​​​​​​​​3. 关闭Swap分区

在node1~node5各个节点上关闭Swap分区。各个节点上修改/etc/fstab文件,注释掉带有swap的行。如下:

#注释掉swap 行 ,vim /etc/fstab
...
#/dev/mapper/centos-swap swap swap    defaults        0 0
...

以上配置完成后,需要重启机器生效,如果不想重启机器可以在各个节点上执行“swapoff  -a”临时关闭swap分区。执行后,可以通过“free -m”命令查看swap是否已经关闭。

4. 调大单个进程的虚拟内存区域数量

BE 启动脚本会通过 /proc/sys/vm/max_map_count 检查数值是否大于200W,否则启动失败。只需要在部署BE的节点上设置“sysctl -w vm.max_map_count=2000000”调大即可,这里在node1~node5节点上都做设置。

#限制单个进程的虚拟内存区域数量(临时设置)
sysctl -w vm.max_map_count=2000000

 以上是临时设置,当节点重启后会失效,可以在/etc/sysctl.conf中加入vm.max_map_count=2000000做永久设置。在node1~node5节点上配置/etc/sysctl.conf进行永久设置:

#vim /etc/sysctl.conf (追加参数,永久设置)
...
vm.max_map_count=2000000
...

设置成功后,重启机器,可以通过cat /proc/sys/vm/max_map_count 命令检查此值为200W。

​​​​​​​​​​​​​​4. FE部署及启动

下面我们首先在node1节点上部署Doris FE,然后再对Doris进行FE扩容,最终形成3台节点的FE。

1. 创建doris部署目录

在node1~node5节点上创建“/software/doris-1.2.1”方便后续操作。

#各个节点创建目录/software/doris-1.2.1
mkdir -p /software/doris-1.2.1

​​​​​​​2.上传安装包并解压

在node1节点上传“apache-doris-fe-1.2.1-bin-x86_64.tar.xz”安装包到doris-1.2.1目录并解压。

#在node1节点上进行解压
[root@node1 ~]# tar -xvf /software/doris-1.2.1/apache-doris-fe-1.2.1-bin-x86_64.tar.xz 

#node1节点上对解压的文件进行改名
[root@node1 ~]# cd /software/doris-1.2.1/&&mv apache-doris-fe-1.2.1-bin-x86_64 apache-doris-fe

​​​​​​​​​​​​​​3. 修改fe.conf配置文件

在node1节点上修改/software/doris-1.2.1/apache-doris-fe/conf/fe.conf配置文件,这里我们主要修改两个参数:priority_networks 及 meta_dir。

  • priority_networks:指定FE唯一的IP地址,必须配置,尤其当节点有多个网卡时要配置正确。
  • meta_dir:元数据目录,可以不配置,默认是Doris FE安装目录下的doris-meta目录,如果指定其他目录需要提前创建好目录。在生成环境中建议目录放在单独的磁盘上。
# vim /software/doris-1.2.1/apache-doris-fe/conf/fe.conf
...
meta_dir = /software/doris-1.2.1/apache-doris-fe/doris-meta
priority_networks = 192.168.179.4/24 #注意不同节点IP配置不同
...

​​​​​​​​​​​​​​4. 启动FE

在node1节点FE安装目录下执行如下命令,完成FE的启动。

#启动FE 
[root@node1 ~]# cd /software/doris-1.2.1/apache-doris-fe/bin
[root@node1 ~]# ./start_fe.sh --daemon

FE进程启动进入后台执行,日志默认存放在 FE解压目录log/ 下。如启动失败,可以通过查看 log/fe.log 或者 log/fe.out 查看错误信息。

​​​​​​​5. 访问 FE

启动Doris FE后,我们可以通过Doris FE 提供的Web UI 来检查是否启动成功,在浏览器中输入:http://node1:8030,看到如下页面代表FE启动成功。用户名为root,密码为空。登录FE后可以查看frontends来查看FOLLOWER信息:

 

 

通过以上可以看到在node1上启动的Follower成为Leader。

6.停止FE

如果想要停止FE,可以指定如下命令,这里不再进行演示。

#进入/software/doris-1.2.1/apache-doris-fe/bin目录,执行如下命令:
./stop_fe.sh

​​​​​

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Apache Doris (四) :Doris分布式部署(一) FE部署及启动 的相关文章

随机推荐

  • Qt程序的发布

    QT相关技术问题 一 QT程序的发布 1 在程序中运行debug或者release 占用较少的内存 之后 复制release中的exe文件 放在新的文件夹中 比如 我的第一个QtAPP发布 2 部署环境设置 部署依赖 找到安装目录下的win
  • Lattice学习总结中……

    1 Lattice官网 http www latticesemi com 2 需要注册一下 sign in 按要求填写一下 3 注册完之后 在官网的首页 Products 下载Lattice的设计环境 ispLEVER classic 4
  • C++ STL --哈希表

    目录 1 unordered系列关联式容器 1 1 unordered map 1 1 1 unordered map的文档介绍 1 1 2 unordered map的接口说明 1 2 unordered set 1 3 在线OJ 2 底
  • java grid动态行合并,CSS Grid布局:合并单元格布局

    CSS Grid布局 网格单元格布局 一文中通过一些简单的实例介绍了如何给容器定义网格 并且怎么使用网格线或者网格区域来实现单元格这样的简单的布局 在文章结尾之处也提到过 这样的单元格如同表格一样 仅仅一个个独立的单元格是无法满足一些复杂的
  • nestjs 优秀的ORM框架sequelize操作数据库

    奉上最新代码 nestjs服务demo代码 gitee地址 github地址 nodejs的ORM sequelize 笔者在使用koa2开发后端服务的时候用的ORM框架是sequelize 觉得挺好用的 也做了分享 node从入门到放弃系
  • 安卓psp模拟器哪个好_更完美!安卓PSP模拟器PPSSPP 0.9.9发布

    PConline 资讯 最好的安卓PSP模拟器PPSSPP 0 9 9新版发布下载了 PPSSPP是最强的PSP模拟器 在PC 安卓和iOS上均有对应版本 笔者曾经简单介绍过PPSSPP安卓版的用法 详情可以点此查看PPSSPP教程 现在
  • HiveSQL:求累计访问量

    数据 userId visitDate visitCount u01 2017 1 21 5 u02 2017 1 23 6 u03 2017 1 22 8 u04 2017 1 20 3 u01 2017 1 23 6 u01 2017
  • 10个常见的Redis面试"刁难"问题

    导读 在程序员面试过程中Redis相关的知识是常被问到的话题 作为一名在互联网技术行业打击过成百上千名的资深技术面试官 本文作者总结了面试过程中经常问到的问题 十分值得一读 作者简介 钱文品 老钱 互联网分布式高并发技术十年老兵 目前任掌阅
  • docker搭建测试(项目)管理平台jira

    1 下载镜像 使用docker下载jira和mysql的镜像 docker pull cptactionhank atlassian jira software docker pull mysql 5 6 docker images 查看是
  • Font shape `OMX/cmex/m/n‘ in size <10.53937> not available (Font) size <10.95> substituted.

    Latex在写公式时 报如下错误 Font shape OMX cmex m n in size lt 10 53937 gt not available Font size lt 10 95 gt substituted 解决方案 在 b
  • Web指纹识别技术研究与优化实现(CMS)

    本文通过分析web指纹的检测对象 检测方法 检测原理及常用工具 设计了一个简易的指纹搜集脚本来协助发现新指纹 并提取了多个开源指纹识别工具的规则库并进行了规则重组 开发了一个简单快捷的指纹识别小工具TideFinger 并实现了一套在线的指
  • python爬虫实践-01-携程酒店评论的爬取

    0 关键 携程网其最大的特点就是 基本上所有的有效数据都是通过Ajax异步请求获取的 本博客的主要内容为 构造Ajax请求 获得返回的reviews数据 由于返回的数据为JSON格式 很好分析 判定是否爬完酒店评论 直接获取评论数目 想要通
  • Dorado下拉框多选(ListDropDown)

    最终样式如下图 这里是通过ListDropDown下拉框做出的效果 1 在ListDropDown的Entity属性添加下拉内容 并且设置红色框的属性为false 该控件的onClose事件 var value arg selectedVa
  • ESP32-C3 学习测试 蓝牙 篇(四、GATT Server 示例解析)

    了解了蓝牙 GATT 相关概念 趁热打铁 分析一下官方示例 GATT Server 的应用程序架构 目录 前言 一 GATT Server 示例分析 1 1 初始化 1 2 回调函数 gatts event handler gap even
  • 软件技术基础知识忏悔录C#&.NET篇(一)

    为何开始 人已是大三之年 虽是身在985 心里却没有半分985的底气 自从大二分流以来 自己几乎是没再系统的学过什么 除了几位知识还算渊博的老师教了较为详细的数据库 数据结构的知识之外 其他老师大抵都是迷迷糊糊的念些大家都知道的大条话 然后
  • 开源许可协议:GPL、LGPL、AGPL、MPL和BSD、MIT、Apache

    概述 一 开源许可证的分类 开源许可证分为2种类型 宽松型和著作权型 1 宽松型 Permissive 该类许可证往往只要求被许可方保留原作品的版权信息 对用户施加的限制较少 衍生软件可以成为私有软件 如Apache MIT BSD系列许可
  • 基于Session实现登录流程

    流程一 发送短信验证码 用户在提交手机号后 会校验手机号是否合法 如果不合法 则要求用户重新输入手机号 如果手机号合法 后台此时生成手机号对应的验证码 后台先得到验证码 同时将验证码保存到session中 然后再通过短信的方式 测试中输出到
  • 2020年网络安全国赛解析(仅个人想法)

    A 1任务一登录安全加固 请对服务器Log Web Data 按要求进行相应的设置 提高服务器的安全性 1 密码策略 Log Web Data a 最小密码长度不少于8个字符 windows 打开本地安全策略 开始菜单 管理工具 管理 本地
  • 关于nlohmann::json的简单使用

    nlohmann json的使用非常简单 只需要包含 hpp文件即可 这是它的官网https github com nlohmann json 简单使用 include json hpp include
  • Apache Doris (四) :Doris分布式部署(一) FE部署及启动

    目录 1 Apache Doris下载 2 节点划分 3 节点配置 4 FE部署及启动 进入正文之前 欢迎订阅专题 对博文点赞 评论 收藏 关注IT贫道 获取高质量博客内容 部署Apache Doris时需要分别部署FE BE Broker