是否可以提交一系列不同的工作来进行 slurm ?

2024-02-20

例如,我有一个名为myScript那个过程one输入文件,我有一个文件名列表。也就是说,我需要运行

$ myScript <filename>

对于存储在 a 中的文件名列表filenames.txt.

分配我在 Slurm 中找到的工作的唯一方法是指定-n参数,它会复制您的命令或批处理脚本。但请注意,我需要将一个可变参数传递到每次运行中。在 Slurm 中可以这样做吗?

我目前的解决方案是发射大量sbatch脚本,每个都有一个指定的<filename>。然而,这样squeue将显示我的很多工作,但恐怕其他用户会对此不悦。


一种选择是使用作业数组。准备一个两行提交(未经测试)脚本,如下所示:

#! /bin/bash
#SBATCH --array=1-<number of lines in filenames.txt>
myScript "$(tail -n+$SLURM_ARRAY_TASK_ID filenames.txt | head -n1)"

并提交sbatch mySubmissionScript.sh。它将创建一个作业数组 http://www.schedmd.com/slurmdocs/job_array.html文件中每行一个作业,正在运行myScript在行写入的文件上SLURM_ARRAY_TASK_ID。你只需要更换<number of lines in filenames.txt>文件中的实际行数由下式给出wc -l filenames.txt例如。

作业数组在 Slurm 的输出中以压缩形式显示squeue命令,所有挂起的作业仅显示为一行。您还可以限制同时运行的作业数量

--array=1-16%4

然后,Slurm 一次只允许该阵列中的 4 个作业。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

是否可以提交一系列不同的工作来进行 slurm ? 的相关文章

随机推荐

  • 如何每 x 秒调用一个函数并更新状态(React)

    我在这方面遇到了很多麻烦 我尝试了各种方法 我想在单击开始按钮后每秒调用一个函数 然后在单击停止按钮后暂停它 我不断出现我无法解释的奇怪行为 我怎样才能在没有课程的情况下做出反应 我有 triid 的东西 const simulation
  • 是否可以使用 System.IO.Packaging.Package 压缩文件夹并稍后向其中添加文件/文件夹?

    我想知道我们是否可以使用 net 类 ZipPackage http msdn microsoft com en us library system io packaging zippackage aspx将文件夹压缩到file zip文件
  • QTableView - 限制所选项目的数量?

    问题就在标题里 没有函数 QTableView set Max Number SelectedItems int 当所选项目的数量为 2 时 我想禁用项目选择 Thanks 您可以通过以下方式禁用选择 connect ui gt table
  • 如何在碰撞后实现超时/冷却

    我一直在做一个pygame两名玩家尝试将球击入网中的游戏 我的游戏中有一个增强功能 但是 我想要一些增强垫 当它们被收集时 我会获得 3 增强 在我下面的代码中 有一个巨大的黄色物体 当有人将鼠标悬停在它上面时 他们会得到提升 但他们可以永
  • 从 URL 安装 conda 包

    在康达 有没有办法直接从 URL 安装包 如下所示 conda install url https anaconda org conda forge pytest 3 4 0 download linux 64 pytest 3 4 0 p
  • 如何让日期时间对象感知(而不是幼稚)

    我需要做什么 我有一个不了解时区的日期时间对象 我需要向其中添加一个时区 以便能够将其与其他时区感知的日期时间对象进行比较 我不想在不知道这一遗留情况的情况下将整个应用程序转换为时区 我尝试过的 首先 演示一下问题 Python 2 6 1
  • Liquibase 无法启动,因为在“迁移文件:类路径”中找不到更改日志

    当我启动应用程序时 它失败并显示以下消息 指出更改日志文件的类路径不存在 Description Liquibase failed to start because no changelog could be found at Migrat
  • 获取今天的 NSDate,时间为 00:00:00

    我正在 Xcode 中编写一个类别 它将扩展当前的 NSDate 类 我想添加两种我经常使用的方法 但不知何故我无法让它们正常工作 目前我有这个代码 NSDate today NSCalendar gregorian NSCalendar
  • Spring Boot中如何设置嵌入式tomcat的日志级别?

    Spring Boot中如何设置嵌入式tomcat的日志级别 特别是我需要查看tomcat集群相关的日志 我将以下行添加到 application properties 中 但 tomcat 似乎只记录 INFO 级别日志 logging
  • Flutter调试release模式,release模式下启用日志

    根据文档我知道 调试信息被删除 调试已禁用 但是我们可以以某种方式强制打印日志 或者在发布模式下进行调试吗 生产应用程序 我正在使用 Android Studio 例如 在 AS 中开发 Android 应用程序时 我们可以打印日志 and
  • PHP lambda 函数和范围

    下面的函数接受一个数组并检查其键和值是否与指定的数据类型匹配 我似乎对之前工作的内部 lambda 函数遇到了一些问题 我正在运行 PHP v5 3 6 他们最后在 v5 3 4 下工作 他们抱怨未传递的变量不在范围内 如果我将该变量重述为
  • 如何使用 uiview 和 uibutton 检测对 Uitableview 单元格的点击?

    我创建了一个表视图 并将自定义 uiview 添加到单元格的内容视图中 uiview 有一个 uibutton 但是 我可以在创建单元格时将 uibutton 添加到内容视图中 我想获取桌面视图上的点击事件来执行某些操作 我还希望 uibu
  • 如何映射或嵌套 Python 2.7 函数生成器?

    如果我在 Python 2 7 中有一个非常简单 尽管可能非常复杂 的函数生成器 如下所示 def accumulator x yield 0 while True x yield x 可以这样使用 gt gt gt a accumulat
  • 如何在firebird sql语句中使用非ascii字符串文字?

    我想在 firebird sql 查询中使用非 ascii 字符串文字 所以我用了火焰知更鸟首先看看它是否有效 我用过这样的东西 SELECT NAME FROM TABLE1 WHERE NAME 我也尝试过 SELECT NAME FR
  • 在 C++ 中传递变量“名称”

    我目前仅使用以下模板作为检查 NULL 指针的方法 如果为 NULL 则将错误消息打印到日志文件 然后返回 false template lt typename T gt static bool isnull T t std string
  • 关于“Hello World”Android 教程的菜鸟问题

    刚刚开始学习 Android 开发和 Java 所以 这是我正在使用的代码 package com example helloandroid import android app Activity import android os Bun
  • 如何让 Eclipse 运行我的所有 Groovy 单元测试?

    我有一个 Eclipse 项目 其中有许多用 Groovy 编写的单元测试 我可以使用 Eclipse 的 GUnit 运行配置在每个单独的类中运行测试 我打开此配置 选择 运行单个测试 单选按钮 然后选择我要运行其测试的类 这工作正常 但
  • Doxygen 速度慢

    Doxygen 在我们的代码库上运行大约需要 12 小时 这主要是因为有大量代码需要处理 约 150 万行 然而 我们很快就无法进行夜间文档更新 因为它们花费的时间太长 我们已经不得不减少图表深度以将其缩短至 12 小时 我已经尝试过标准方
  • 如何在nodejs中将UUID存储为字母数字

    Node uuid提供了一个优秀的包来生成uuid https github com broofa node uuid https github com broofa node uuid Generate a v4 random id uu
  • 是否可以提交一系列不同的工作来进行 slurm ?

    例如 我有一个名为myScript那个过程one输入文件 我有一个文件名列表 也就是说 我需要运行 myScript