程序员经验分享-hwhale

在 R 中哪些包可以快速加载更大的数据

2023-12-10

在 R 中，数据通常加载到 RAM 中。 是否有任何软件包可以将数据加载到磁盘而不是 RAM 中


查看bigmemory包，以及相关包，例如bigtabulate, bigalgebra, biganalytics， 和更多。还有ff，尽管我发现它不像bigmemory套房。这bigmemory据报道，套件的部分动机是由于使用困难ff。我喜欢它，因为它只需对我的代码进行很少的更改即可访问bigmatrix对象：它可以以与标准矩阵几乎完全相同的方式进行操作，因此我的代码非常可重用。

还通过 NetCDF4 支持 HDF5，例如RNetCDF and ncdf。这是一种流行的、多平台、多语言的方法，用于高效存储和访问大型数据集。

如果您需要基本的内存映射功能，请查看mmap包裹。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

r

在 R 中哪些包可以快速加载更大的数据 的相关文章

  • R - 在浏览器中获取帮助而不是内置的 R 帮助程序

    我见过 R help 的两种不同行为 当你输入 density例如 帮助已在您的默认浏览器中打开 帮助在内置 R 帮助程序中打开 R 中的窗口 我目前有第二种行为 但我想在浏览器中打开帮助 我可以轻松地在这两种行为之间切换吗 无需重新安装

  • 在 R 中进行 Cox 回归后，将预测危险比列添加到数据帧中

    在 R 中运行 Cox PH 回归后 我需要在数据框中添加预测风险比的列 数据框是面板数据 其中 numgvkey 如果公司标识符 和年龄是时间标识符 您可以从此链接下载一小部分日期 https drive google com file

  • 用于清除工作空间和转储存储的 R 全局函数

    我希望创建一个全局函数来清除我的工作区并转储我的内存 我将我的函数称为 cleaner 并希望它执行以下代码 remove list ls gc 我尝试在全局环境中创建该函数 但是当我运行它时 控制台仅打印该函数的文本 在我要获取的函数文件

  • 使用底格里斯河从纬度/经度获取人口普查区

    我有相对较多的坐标 我想获取其人口普查区 除了 FIPS 代码 我知道我可以使用以下命令查找各个纬度 经度对call geolocator latlon 已完成here https stackoverflow com questions 5

  • 如何让R使用所有处理器？

    我有一台运行 Windows XP 的四核笔记本电脑 但查看任务管理器 R 似乎一次只使用一个处理器 如何让 R 使用全部四个处理器并加速我的 R 程序 我有一个基本系统 我使用它在 for 循环上并行化我的程序 一旦您了解需要做什么 此方

  • 限制数据框中所有单元格的字符串长度？

    您好 有没有一种方法可以限制 data frame 中所有列的字符串文本大小 而不必循环遍历每一列并一次使用 str trunc 之类的东西 例如下面的数据框 我可以将所有文本大小限制为仅 5 个字符 而不必一次只执行一列吗 如果有 50

  • R 中的发散积分可在 Wolfram 中求解

    我知道我以前问过同样的问题 但由于我是新来的 这个问题问得不好而且不可重现 因此我在这里尝试做得更好 如果我只编辑旧的 可能没有人会读它 我有一个想要积分的二重积分 ff lt function g t exp 16 g exp 8 t t

  • R：将 readRDS 应用于 .Rds 文件名的列表对象

    我有几个包含数据帧对象的 Rds 文件 我想对每个文件应用一个函数并将数据帧绑定到单个数据帧中 但是 当我尝试从文件名列表中读取多个 Rds 文件时 我收到错误 FUN X i 中的错误 从连接读取时出错 readRDS 不适用于列表吗 R

  • 在另一个 Rmd 中运行选定的块

    我已经在源 Rmd 文件中运行了分析 并且希望仅使用few来自源的块 我已经看到了一些关于从源 Rmd 中提取所有块的答案来自另一个 Rmd 中的 Rmd 文件的源代码 https stackoverflow com questions 4

  • 根据另一列中的键累积一列中的值时出现问题

    我有一个看起来像这样的数据框 我需要使用 PROJ ID 列中的字符串创建一个新的值列 并形成 PROJ NAME 列中的值字符串 这里提供的解决方案 根据 r 中另一列的键累积一列中的值 https stackoverflow com q

  • 仅保留百分比的尾随零

    给出以下示例 library pander tableAbs lt Titanic 1 1 tablePct lt round prop table tableAbs 100 2 table lt cbind tableAbs tableP

  • R：表格格式

    我有一个包含以下列的 Excel 文件 Column1 Column2 Column3 ab bb 0 5 ab bc 0 1 ab cd 0 7 ab dd 0 8 ac bb 0 2 ac bg 0 8 ac ee 0 8 ac dd

  • 为什么这些数字不相等？

    下面的代码显然是错误的 有什么问题 i lt 0 1 i lt i 0 05 i 1 0 15 if i 0 15 cat i equals 0 15 else cat i does not equal 0 15 i does not eq

  • 有没有一种简单的方法来判断存储在一个列表中的许多数据帧是否包含相同的列？

    我有一个包含许多数据框的列表 df1 lt data frame A 1 5 B 2 6 C LETTERS 1 5 df2 lt data frame A 1 5 B 2 6 C LETTERS 1 5 df3 lt data frame

  • R：将 JSON 时间格式转换为 POSIX

    我有一个 JSON 字符串 并将其放入数据框中 我能够做到这一点 但我在使用 apply 函数之一将所有时间字符串转换为 POSIX 格式时遇到问题 See here https stackoverflow com questions 90

  • ggplot散点图中的图例问题

    我想使用 ggplot 创建显示方法比较数据的散点图 绘图应包含原始数据 理想线和带误差的拟合线 图例应显示理想线和拟合线的线型 线宽 线颜色 我可以获得大部分我想要的东西 但是图例存在以下问题 图例显示每种线型有 2 条线 为什么 如何解

  • 如何在R中同时对三个字段进行网络分析

    如何在 R 中同时对三个字段进行网络分析 下面是示例数据以及desired output在最后一栏中 df lt data frame stringsAsFactors FALSE id 1 c ABC ABC BCD CDE DEF EF

  • 使用predictNLS围绕R中的拟合值创建置信区间？

    我想使用 R 中 propogate 包中的 PredictNLS 围绕一大组拟合值构建置信区间 作为示例 我将使用它们在函数描述中引用的数据集 https rdrr io github anspiess propagate man pre

  • ggplot2、R 中的单条形条形图

    我有以下数据和代码 gt ddf var1 var2 1 aa 73 2 bb 18 3 cc 9 gt gt dput ddf structure list var1 c aa bb cc var2 c 73L 18L 9L Names

  • 具有 dplyr、tidyverse 和 broom 的相关矩阵 - P 值矩阵

    全部 我想使用以下方法从相关矩阵中获取 p 值dplyr 和 或扫帚包 并同时测试多个变量 我知道其他方法 但 dplyr 对我来说似乎更简单 更直观 此外 dplyr 需要关联每个变量以获得特定的 p 值 这使得该过程更容易 更快 我检查

随机推荐

  • Heroku：将 NewRelic 与 heroku 部署结合使用：war 方法

    Heroku允许选择直接部署一个Java war 文件使用heroku deploy war 在这种情况下 Procfile 由heroku 自动管理 一 如何使用NewRelic有这样的设置吗 Heroku DevCenter 上 New

  • EditText setError() 带图标但不带弹出消息

    I want to to have some validation for my EditText wherein I want to show icon that comes when you put editText setError

  • Math.Pow（等等）实际上是如何工作的

    所以我在谷歌上搜索了很长时间 但几乎什么也没找到 我发现了一些关于 Math Pow 可能实现的信息this url 但它们不准确 例如这段代码 public static double PowerA double a double b i

  • 如何从 Rich Edit Win API 获取 RTF 格式的文本？

    对不起我疯狂的英语 我想获取 RTF 格式的 Rich Edit 中的所有文本 而不是变量的纯文本 我尝试使用 EM STREAMOUT 的 SendMessage 直接将 Rich Edit 写入文件 但无法将内容保存到特定变量 例如 L

  • 如何将多个材质谷歌图表添加到一页？

    这个问题之前已经被问过 但对于旧的corechartAPI 我没有遇到过问题 不是新的Material图表 例如 以下代码将按预期创建两个图表 var data Year Sales Expenses Profit 2014 1000 40

  • git Push 原始头？

    我对 git repo 下的文件做了一些更改 我使用提交了文件git commit 然后我尝试使用git push origin master返回的Everything up to date I typed git push origin

  • dispatch_sync(dispatch_get_global_queue(xxx), task) 是同步还是异步

    正如Apple的文档所说 dispatch get global queue 是一个并发队列 而dispatch sync是串行的意思 那么任务是异步处理还是同步处理 您对队列是什么以及异步与同步的含义感到困惑 队列是可以运行块的实体 这些

  • 通过消除空值来合并 Apache Spark 中的行

    我有一个像下面这样的 Spark 数据框 id 1 2 3 sf 1 sf 2 sf 3 2 null null null 102 202 302 4 null null null 104 204 304 1 null null null

  • numpy 索引：尾随省略号不应该是多余的吗？

    在尝试正确理解 numpy 索引规则时 我偶然发现了以下内容 我曾经认为索引中的尾随省略号没有任何作用 是不是很琐碎 但事实并非如此 Python 3 5 2 default Nov 11 2016 04 18 53 GCC 4 8 5 o

  • 如何手动构建 AVDepthData

    我想构建自己的深度图并保存带有深度信息的图像 例如肖像照片 所以首先我需要生成 AVDepthData 在挖掘了它的构建方式之后 我尝试重现它 func buildDepth let info AnyHashable Any kCGImag

  • 如何访问 xsl:output 属性中的 xsl:param？

    我想允许转换器在样式表中设置一个参数来指定需要多少个缩进空间 我已经尝试了 Dimitre Novatev 在答案中的所有建议here无济于事

  • ThisWorkbook 运行时错误 438

    我有一个 VBA 将唯一值从 Sheet1 复制并粘贴到 Sheet3 上 但是 当我运行 VBA 时 出现运行时错误 438 我的 VBA 看起来像这样 Sub UniqueList Application ScreenUpdating

  • Spring Kafka 中的 Kafka 消费者/生产者测试

    我目前正在研究我正在使用的 Kafka 模块spring kafka卡夫卡通信的抽象 我能够从实际实现的角度集成生产者和消费者 但是 我不确定如何测试 特别是集成测试 消费者周围的业务逻辑 KafkaListener 我试着跟随spring

  • 在 PyCharm 上导入 NLTK 时出错

    我试图在 PyCharm 中导入 NLTK 并收到以下错误 我使用的是 Mac OS 10 5 8 和 Python 2 7 6 可能发生什么事 我对编程完全陌生 如果我缺少一些基本的东西 我很抱歉 安装软件包失败 安装软件包 nltk 时

  • 在 R 包中包含 Shiny 应用程序：传输输入参数

    我正在尝试将 Shiny 应用程序作为 R 包的一部分运行 我按照 Dean Attali 网站上列出的说明进行操作 https deanattali com 2015 04 21 r package shiny app 如该网站所示 我在

  • postgresql 中的字符串文字和转义字符

    尝试将转义字符插入表中会导致警告 例如 create table EscapeTest text varchar 50 insert into EscapeTest text values This is the first part n

  • Firebase Storage getDownloadURL 背后的目的是什么

    根据这些docs 我明白一旦我们在存储中拥有了 firebase 路径 我们就可以通过调用来获取下载网址getDownloadUrl 在这条路径上的ref 我的问题是所有文档都建议首先获取下载网址 然后根据这些图像下载文件数据 但是我们可以

  • Ionic 找不到模块“../providers/auth-service/auth-service”

    我正在尝试在 ionic Angular 3 3 0 中创建登录 注册 我收到错误无法找到模块 providers auth service auth service 在login ts 文件中 请帮忙 auth service ts im

  • 选择具有给定 id 的元素的更快方法

    我有个问题 假设我们有以下 html 标签 div I am a div div 他的div存在于dom上 它不是由javascript生成的 如果我想在 javascript 中多次使用这个 div 哪种方法更好 将其存储在如下变量中 v

  • 在 R 中哪些包可以快速加载更大的数据

    在 R 中 数据通常加载到 RAM 中 是否有任何软件包可以将数据加载到磁盘而不是 RAM 中 查看bigmemory包 以及相关包 例如bigtabulate bigalgebra biganalytics 和更多 还有ff 尽管我发现它

热门标签