对 sas 数据集进行分区以进行批处理的最快方法是什么?

2023-12-14

我有一个大型 sas 数据集(1.5m obs,~250 个变量),我需要将其拆分为几个大小相等的较小 sas 数据集以进行批处理。每个数据集需要包含所有变量,但仅包含一部分观测值。最快的方法是什么?


您可以执行以下操作:

%macro splitds(inlib=,inds=,splitnum=,outid=);

  proc sql noprint;
    select nobs into :nobs
    from sashelp.vtable
    where libname=upcase("&inlib") and memname=upcase("&inds");
  quit;
  %put Number of observations in &inlib..&inds.: &nobs;

  data %do i=1 %to &splitnum.;
         &outid.&i
       %end;;
    set &inds.;
    %do j=1 %to (&splitnum.-1);
      %if &j.=1 %then %do;
        if
      %end;
      %else %do;
        else if
      %end;
                _n_<=((&nobs./&splitnum.)*&j.) then output &outid.&j.;
    %end;
    else output &outid.&splitnum.;
  run;
%mend;

将 MYLIB.MYDATA 拆分为 10 个名为 NEWDATA1 - NEWDATA10 的数据集的示例调用如下:

%splitds(inlib=mylib,inds=mydata,splitnum=10,outid=newdata);
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

对 sas 数据集进行分区以进行批处理的最快方法是什么? 的相关文章

  • Google Translation API id 因请求过多而阻止 IP 地址

    我正在设置一个Django从 API 请求产品数据的视图 使用以下命令解析它们BeautifulSoup 应用googletrans模块并将响应保存到我的 Postgresql 数据库中 昨天一切都工作正常 直到突然 Google 阻止了对
  • 将 SAS 数据集中的观测值读入数组

    这个问题与大型机上的 SAS 相关 尽管我相信在这种情况下没有什么区别 我有以下 SAS 数据集 Obs DATO T ALLOC T FRESP 1 19328 647 1804 2 19359 654 1797 3 19390 662
  • SAS中是否有相当于R函数表的?

    在 R 中 函数table使用交叉分类因素构建列联表 是否有一个等效的 SAS PROC 可以重现此 R 函数的结果 Example x lt data frame x rep 1 2 times 5 y rep 1 2 each 5 ou
  • Spark作业是什么?

    我已经完成了 Spark 安装并执行了一些设置主节点和工作节点的测试用例 也就是说 我对 Spark 上下文 而不是 SparkContext 中的作业到底意味着什么感到非常困惑 我有以下问题 工作与驱动程序有多么不同 应用程序本身是驱动程
  • 批量执行R脚本

    我无法从 Windows 命令行获取脚本 输入以下命令 C Program Files RStudio bin rstudio exe CMD BATCH vanilla slave E myfile R 打开 Rstudio 和相关脚本
  • 转置逗号分隔字段

    我有一个如下所示的数据集 并且正在使用 SAS Enterprise Guide 6 3 data have input id state cards 134 NC NY SC 145 AL NC NY SC run 我有另一个数据集 其中
  • SAS Do 循环:在循环内使用循环变量来创建滞后变量

    我想创建包含给定变量的滞后值的变量 以实现大量滞后 我怎么能这样做呢 我尝试以下操作 data out set in do i 1 to 50 let j i lag j Lag j x end run 如何获取循环变量i进入宏变量j或者如
  • SAS 全球日期比较

    我正在尝试进行日期比较 但没有得到正确的结果 有谁知道发生了什么事吗 macro ttt let check start 28APR2014 if check start d lt 25may2014 d then let true 1 e
  • 在 SAS 中生成数组的所有唯一排列

    在 SAS 中 如果我有一个如下所示的字符串或数组 array x 4 1 A B C D 我需要生成元素的所有 独特 排列 如下所示 ABCD ABC BCD ACD ABD AB AC AD BC BD CD A B C D SAS中有
  • 如何读取从 Access 导入的 SAS 数据集(不符合 SAS 命名约定)

    我已使用 Libname 将 Access DB 导入 SAS 库名称 accdb c mydata base accdb DB 中的所有表现在都在 accdb 库中 但 Access DB 中的表名称与 SAS 数据集命名约定不匹配 我的
  • sas 宏 & 符号

    let test one let one two put test put test put test put test put test 出色地 我完全被这些 符号打败了 我不明白为什么他们在宏变量之前需要这么多 符号 有什么技巧可以掌握
  • 在从一个表中提取的循环内调用执行以执行宏

    我目前有以下情况 macro sqlloop event id lots of code mostly proc sql segments mend 生成一个输出表 名为export table2 我需要能够为另一个表 名为 vars 中的
  • 将多个文件从每个可能的 EOL 转换为 CRLF

    我的文件包含所有可以想象到的 EOL 我想一次性将它们标准化 而不是像我们谈论几千个那样一个接一个地进行 我知道如何手动完成它们 所以请不要解释 我认为所有可能的情况是 从最常见到最不常见 CRLF LF CR CRLF CRCR CRLF
  • Pandas dataframe:每批行的操作

    我有一个熊猫数据框df我想计算每批行的一些统计信息 例如 假设我有一个batch size 200000 对于每批batch sizerows 我想要一列的唯一值的数量ID我的数据框 我怎样才能做这样的事情呢 这是我想要的一个例子 prin
  • 停止 SAS 执行

    快速提问 是否有一种单行 或相当短的 方法可以从窗口环境中取消进一步 SAS 语句的执行 这些是methods http www2 sas com proceedings sugi31 063 31 pdf我知道 但它们会让人厌烦 尤其是在
  • Office 2010 中的 SAS DDE 问题

    当我运行 Office 2007 时 我的 SAS DDE 脚本可以很好地填充 保存并关闭 Excel 文件 我最近更新到 Office 2010 总体工作正常 但 Excel 在保存对话框中停止 我必须手动单击 保存 而以前我不需要这样做
  • SAS 随机采样

    在 SAS 中 我创建了一个程序 该程序将从数据集中随机获取 50 个观测值 并计算观测值的平均值 data subset drop i samplesize samplesize 50 obsleft totobs do i 1 to s
  • Spring Batch-如何将文件本身作为项目处理?

    我是春季批量开发的新手 我有以下要求 将有一个带有 zip 文件的 s3 源 每个 zip 文件将包含多个 pdf 文件和 xml 文件 例如 100 个 pdf 和 100 个 xml 文件 xml 文件将包含有关 pdf 的数据 Bat
  • 将 SQL Server 2008 查询分成多个批次

    我正在尝试准备一些数据供第三方删除 不幸的是他们只能批量处理 2000 条记录的数据 我有 100k 条记录 可能需要多次分割和导出这些数据 所以我想以某种方式自动化该过程 有没有一种相当简单的方法可以使用 SQL Server 2008
  • 从字符串列表创建 TfRecords 并在解码后在张量流中提供图形

    目的是创建 TfRecords 数据库 给定 我有 23 个文件夹 每个文件夹包含 7500 个图像 以及 23 个文本文件 每个文件有 7500 行描述单独文件夹中 7500 个图像的特征 我通过以下代码创建了数据库 import ten

随机推荐

  • 获取 List 中不同值的列表

    在 C 中 假设我有一个名为Note具有三个字符串成员变量 public class Note public string Title public string Author public string Text 我有一个类型列表Note
  • 如何使 zsh 在 mac 10.9 上使用 python 2.7.6 而不是 Apple 预装的 2.7.5

    如何使 Mac 上的 zsh 使用 usr local bin python 中的 python 2 7 6 而不是 usr bin python 中的 python 2 7 5 无需在我要运行的脚本之前输入 usr local bin p
  • Windows 程序:如何监听命令行参数?

    我正在尝试对基于商业 Windows 的 IDE 的构建系统进行逆向工程 以便我可以使用 make 来构建我的项目 启动一个程序来执行任务 我需要知道在运行该程序时将哪些命令行参数传递给该程序 但是 Windows 进程查看器不显示命令行参
  • T-SQL 将单词拆分为字符

    我到处搜索 但在任何地方都找不到这个实现 假设我有一句话 QWERTY 我想获得这张表 Q W E R T Y Or for QWERTY AnotherWord我想获得 Q W E R T Y space character here A
  • 是什么原因导致“请求在等待太长时间而无法尝试满足您的请求后被中止”?

    是什么原因导致 请求在等待太长时间而无法尝试满足您的请求后被中止 这似乎是某种内部超时的结果 但我不知道这是在哪里配置的 我们当前正在使用自动缩放 该错误是由于任务队列中的任务数量临时增加而导致的 自动缩放不应该创建更多实例来处理该请求吗
  • 如何捕获两个标签之间的字符串

    我正在编写一个小书签以增强我的工作流程 我的部分工作是获取要放入电子邮件中的正确信息 我喜欢 JavaScript 和 jQuery 所以我正在研究一种使用这个库让我的工作更轻松的方法 我的目标是一个具有特别奇怪标记的网站 我需要捕获匹配的
  • 从 valueEventListener java 返回值

    我试图返回一个布尔值 但返回的值始终为 false 即本例中的 0 检查变量是一个实例变量 按下按钮时将调用以下函数 private boolean checkAnswerSubmission DatabaseReference answe
  • DAX、PowerBI 中的 RANKX() 问题

    我正在学习 DAX 并对 PowerBI 中的 RANKX 感到困惑 这是我的数据 这是我的措施 Rank RANKX ALL RankDemo Sub Category CALCULATE SUM RankDemo My Value 这是
  • 在类中调用 self 有什么作用?

    我注意到 Pytorch Lightning 的文档中提到 您可以通过调用从同一个类中的另一个方法调用前向方法self x 我无法找到任何有关其工作原理的信息 我一直以为你会使用调用该方法self forward 显然 它调用了forwar
  • 如何获取sql server 2005中两个日期之间的月份数

    我的 sql server 2005 表中有一个列应该保存员工的工作月数 由于我还有员工的聘用日期 因此我希望 months In Service 列成为计算列 现在如果我使用DATEDIFF month DateEngaged GETDA
  • 类模板参数推导不适用于别名模板

    考虑下面粘贴的代码 我定义了一个非常简单的类 编译器为其生成隐式推导指南 因此可以在没有显式模板参数的情况下构造它 然而 模板参数推导does not用于从简单的别名模板构造对象 该模板仅直接转发到目标类 template lt typen
  • 处理 php 中的新行

    我有 html 表单 用户可以将文本放入文本区域 我将文本区域的内容保存到MySQL数据库中 在TEXT类型的字段中 然后我在应用程序中的某个位置需要加载该文本并将其放入数组中 其中每个索引将是文本的一行
  • 如何在 CommandButton 单击时隐藏 p:panel

    我想实现这里写的东西 如何在命令按钮单击上隐藏和显示 p panel但看来 hide 不再可用 正确的做法是什么 I tried toggle 但它并没有隐藏它 我真的需要一些吗panelVisibile支持 bean 的属性和使用visi
  • 在 Numba 优化的 Python 中将类对象作为函数参数传递

    我想将一个类对象传递给一个函数 我可以让它工作 但我想知道是否有一种类型可以分配它 我有一个 最小 的例子来说明我正在尝试做的事情 spec a float64 b float64 jitclass spec class SOMETHING
  • subprocess.Popen - 没有这样的文件或目录[重复]

    这个问题在这里已经有答案了 Code import subprocess process subprocess Popen echo 5 Error Traceback most recent call last File test py
  • 权限拒绝:无法附加文件,文件需要导出提供程序,或 grantUriPermission(),API 29

    我一直在尝试从外部存储共享一张图像 但它在 API 29 中不起作用 错误消息是 权限拒绝 文件需要导出提供程序或 grantUriPermission 当我谷歌它时 这似乎是旧版本的问题 我不知道为什么 29 API 会出现这个问题 我已
  • 如何将 SharePoint 2013 Web 部件直接嵌入到 aspx 布局页面中作为该布局的默认 Web 部件

    我正在使用 SharePoint 2013 并且有一个自定义母版页和几个 aspx 布局页面 所有要部署的页面都被复制到 站点设置 中的 母版页和页面布局 部分 这些 aspx 页面包含 Web 部件区域 但如何在 Web 部件区域内的 a
  • 输入文本字符数限制

    我希望我的文本框只允许数字 并且也有字符限制 目前 我的数字正在工作 现在我在弄清楚如何限制字符方面遇到问题 这是我所拥有的 JS app directive numbersonly function return restrict A l
  • 有没有办法为 gnuplot 中的最后一个条目添加标签?

    我想使用 gnuplot 进行实时绘图 数据附加到我用于绘图的文件中 并使用 replot 进行实时绘图 我还想为绘制的最新条目添加标签 从而了解最新的值是多少 有没有办法做到这一点 如果你在unixoid系统上 你可以使用tail从文件中
  • 对 sas 数据集进行分区以进行批处理的最快方法是什么?

    我有一个大型 sas 数据集 1 5m obs 250 个变量 我需要将其拆分为几个大小相等的较小 sas 数据集以进行批处理 每个数据集需要包含所有变量 但仅包含一部分观测值 最快的方法是什么 您可以执行以下操作 macro splitd