在ubuntu内核中启用cgroup cpu实时运行时

我正在尝试在 Ubuntu 18.04 上运行的 docker 容器中使用实时调度。

我已经按照给定的方法安装了实时内核here https://stackoverflow.com/questions/51669724/install-rt-linux-patch-for-ubuntu。我选择了内核版本 5.2.9 及其相关的 rt 补丁。

的输出uname -a确认实时内核已正确安装并运行：

Linux myLaptop 5.2.9-rt3 #1 SMP PREEMPT RT ...

要运行我的容器，我发出以下命令：

docker run --cpu-rt-runtime=95000 \
    --ulimit rtprio=99 \
    --ulimit memlock=102400 \
    --cap-add=sys_nice \
    --privileged \
    -it \
    myimage:latest

但是，我得到的输出是：

docker: Error response from daemon: Your kernel does not support cgroup cpu real-time runtime.

我发现这可能与失踪有关CONFIG_RT_GROUP_SCHED正如问题中详细说明的here https://github.com/oracle/docker-images/issues/937。事实上，如果我运行提供的脚本这一页 https://github.com/moby/moby/blob/master/contrib/check-config.sh检查内核与 Docker 的兼容性，我得到：

- CONFIG_RT_GROUP_SCHED: missing

这似乎证实了 Docker 正在使用它进行实时调度，但内核中并未提供，尽管已修补为实时。

从那时起，我试图寻找解决方案，但徒劳无功。我不太熟悉内核配置，不知道是否需要使用特定选项来编译它，以及选择哪一个来添加缺少的选项CONFIG_RT_GROUP_SCHED.

预先非常感谢您的建议和帮助。

当谈论实时 Linux 时，有不同的方法，从单内核方法（例如PREEMPT_RT https://wiki.linuxfoundation.org/realtime/start) to 双内核方法 https://linuxgizmos.com/real-time-linux-explained/（例如Xenomai https://en.wikipedia.org/wiki/Xenomai）。您可以将具有实时功能的 Docker 与所有这些 Docker 结合使用（显然您的主机的内核必须匹配）来生成具有实时功能的系统，但方法有所不同。在你的情况下，你混合了两种不同的方法：你安装了PREEMPT_RT在遵循指南的同时对照组 https://docs.docker.com/config/containers/resource_constraints/#configure-the-realtime-scheduler哪些不兼容PREEMPT_RT.

By defaultLinux 内核可以用不同级别的抢占能力进行编译（参见例如雷根扎尼等人。 - “实时 Linux 内核：PREEMPT_RT 调查” https://re.public.polimi.it/retrieve/handle/11311/1076057/344112/paper.pdf#page=8):

• PREEMPT_NONE没有办法强制抢占
• PREEMPT_VOLUNTARY在某些位置可以进行抢占以减少延迟
• PREEMPT抢占可以发生在内核的任何部分（不包括自旋锁 https://en.wikipedia.org/wiki/Spinlock和其他关键部分）

这些可以与以下功能相结合对照组（cgroups简称） https://man7.org/linux/man-pages/man7/cgroups.7.html通过设置CONFIG_RT_GROUP_SCHED=y在内核编译期间 https://stackoverflow.com/a/56189862/9938686，它为某个（用户定义的）组的进程保留一定比例的 CPU 时间。

PREEMPT_RT发展自PREEMPT是一组旨在使内核完全可抢占的补丁，即使在关键部分也是如此（PREEMPT_RT_FULL）。为此目的，例如自旋锁很大程度上被互斥体取代 https://wiki.linuxfoundation.org/realtime/documentation/technical_details/sleeping_spinlocks。 截至 2021 年，它正在并将可供公众使用，无需修补内核。就像声明的那样here https://wiki.linuxfoundation.org/realtime/documentation/known_limitations PREEMPT_RT目前无法编译CONFIG_RT_GROUP_SCHED因此不能与对照组一起使用（请参阅这里进行比较 https://stackoverflow.com/questions/62932857/difference-between-config-rt-group-sched-and-preempt-rt）。据我所读，这是由于高延迟峰值 https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux_for_real_time/8/html-single/optimizing_rhel_8_for_real_time_for_low_latency_operation/index#further_considerations，我已经通过对照组观察到了这一点cyclicytests https://wiki.linuxfoundation.org/realtime/documentation/howto/tools/cyclictest/start.

这意味着您可以either编译你的内核（参见Ubuntu手册 https://help.ubuntu.com/lts/installation-guide/amd64/install.en.pdf#page=98详情）

• Without PREEMPT_RT但与CONFIG_RT_GROUP_SCHED (see 这个帖子 https://stackoverflow.com/q/56189710/9938686了解详情）并遵循Docker 实时指南与控制组 https://docs.docker.com/config/containers/resource_constraints/#configure-the-realtime-scheduler以及我的帖子here https://stackoverflow.com/a/70597953/9938686。根据我的经验，这虽然具有相当高的延迟峰值，但这对于实时系统来说是不可取的，因为最坏情况的延迟比平均延迟重要得多。

• With PREEMPT_RT没有CONFIG_RT_GROUP_SCHED（也可以从 Debian 软件包安装，例如this one https://packages.debian.org/buster/linux-image-rt-amd64）。在这种情况下，使用选项执行 Docker 就足够了--privileged --net=host，或 Docker-compose 等效项privileged: true network_mode: host. Then Docker 内部的任何进程都可以设置实时优先级rtprio（例如通过调用::pthread_setschedparam https://man7.org/linux/man-pages/man3/pthread_getschedparam.3.html从代码内部或使用chrt https://askubuntu.com/a/51285从命令行）。

  如果你是不使用root作为 Docker 内的用户 https://medium.com/jobteaser-dev-team/docker-user-best-practices-a8d2ca5205f4此外，您还必须为自己提供一个属于以下组的用户名您主机上的实时权限 (see $ ulimit -r）。这可以通过配置来完成PAM 限制 https://wiki.gentoo.org/wiki/Project:Sound/How_to_Enable_Realtime_for_Multimedia_Applications (/etc/security/limits.conf文件）相应地（如描述here https://serverfault.com/questions/487602/linux-etc-security-limits-conf-explanation）通过复制该部分@realtime用户组并创建一个新组（例如@some_group）或添加用户（例如some_user） 直接地：

  @some_group     soft    rtprio          99
  @some_group     soft    priority        99
  @some_group     hard    rtprio          99
  @some_group     hard    priority        99
  

  在此背景下rtprio是非特权进程允许的最大实时优先级。这hardlimit 是实际的限制soft限制可以设置为。这hard限制由超级用户设置并由内核强制执行。用户不能将其代码提升为比当前代码更高的优先级运行hard限制。这soft另一方面， limit 是受以下限制的默认值hard限制。有关更多信息，请参阅例如here https://linux.die.net/man/5/limits.conf.

我将后一个选项用于具有实时功能的机器人应用程序，并且无法观察到使用和不使用 Docker 之间的延迟差异。你可以找到一个如何设置指南PREEMPT_RT以及用于在我的 Github 上构建它的自动化脚本 https://github.com/2b-t/docker-realtime.