程序员经验分享-hwhale

使用 pytables 或 pandas 删除表或节点后释放 hdf5 磁盘内存

2023-12-10

我将 HDFStore 与 pandas / pytables 一起使用。

删除表或对象后，hdf5 文件大小不受影响。当添加额外的对象来存储时，这个空间似乎会被重用，但如果浪费大量空间，这可能会成为一个问题。

我在 pandas 或 pytables API 中没有找到任何可用于恢复 hdf5 内存的命令。

您知道有什么机制可以改进 hdf5 文件中的数据管理吗？


see here

你需要ptrepack它会重写该文件。

ptrepack --chunkshape=auto --propindexes --complevel=9 --complib=blosc in.h5 out.h5

作为示例（这也会压缩文件）。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

python

pandas

HDF5

pytables

使用 pytables 或 pandas 删除表或节点后释放 hdf5 磁盘内存 的相关文章

随机推荐

  • 使用 WEKA API 定义聚类的输入数据

    我想对由纬度和经度指定的点进行聚类 我在用WEKA API问题在于Instances instances new Instances 40 01 1 02 那么 如何在不使用 ARFF 文件的情况下指定输入数据呢 我只想将数组读入Insta

  • 如何将JSON字符串解析为Map？

    我正在使用Java 我有一个如下所示的 JSON 字符串 4562 a foo1 b 56 c 1342 4563 a foo2 b 57 c 1343 我想将 JSON 字符串中的所有数据存储到 Map 中 怎么做 您需要使用杰克逊图书馆

  • 如何关闭Form1并打开Form2

    在Form1中 当进度条完成时 然后在timer tick事件的else部分中 我编写了以下代码 frmLogin login new frmLogin login Show timer1 Enabled false this Hide 所

  • 如何在 JPQL 中执行复杂的 LEFT JOIN 条件？

    我正在使用 JPQL 从 Play Framework 进行模型查询 我想知道 JPQL 是否支持 LEFT JOIN 的 复杂 ON 条件 在我的一个例子中 有 2 个表 应用程序 应用程序列表 AggregationHistory 每个

  • Jackson Mapper 序列化空对象而不是 null

    说我有课 Foo public class Foo private Bar bar and Bar public class Bar private String fizz private String bang EDIT 澄清一下 我不拥

  • 我想在 Fortran 中实现一个小而快速的定性数据类型

    这是有关在 Fortran 中实现定性数据类型的一系列问题的一部分 背景 这个主题涉及到一个叫做复杂系统的循环分析例如 人们可能会在 Puccia C J 和 Levins R 1986 中读到相关内容 复杂系统的定性建模 循环分析和时间平

  • 将 ListFragment 替换为 ViewPager 中带有选项卡的 Fragment

    我尝试在我的应用程序中设置以下导航 实际情况 ViewPager Tabs 在列表之间滑动 列表片段A 列表片段B 期望条件 ViewPager 选项卡 ListFragment A onListItemSelected 将 ListFra

  • 将 JarEntry 转换为文件

    我正在使用一个需要 File 作为参数的库 我想要传递的文件是我想要与我的应用程序一起打包的文件 作为 jar 的一部分 有什么方法可以将从 jar 中获取的 JarEntry 转换为可以传递的 File 对象吗 如果没有 我必须暂时将资源

  • 如何在 chromium 的 gn 文件中包含共享库？

    Q1 我有一个测试 所以有一些我需要使用的功能 我已经调查了一段时间但没有答案 有人可以建议如何在 chromium 项目的 gn 文件中包含共享库吗 非常感谢 以下是我的 gn 文件的内容 import third party WebKi

  • 在nodeJS中执行redis eval命令运行Lua脚本

    在 Redis 中 我通过 CLI 运行 Lua 脚本 如下所示 redis cli eval debug script lua key1 key2 key3 key4 arg1 arg2 所以 我的 Lua 脚本接受 4 个键和 2 个参

  • Java 位操作长整型 - 计数设置和未设置位

    我有一个很长的号码 现在我想要的是以下 以伪代码给出 int cnt1 0 int cnt2 0 for each two bits of that long if the two bits 11 then cnt1 else cnt2 P

  • 以编程方式在 Windows Phone 7 中打开 docx

    我想在Windows Phone 7中开发一个用于打印服务的应用程序 在该应用程序中 用户可以选择要打印的文件 有没有办法以编程方式在WP7中打开docx xlsx等 我知道 iPhone 中的 WebView 支持查看多种文件类型 WP7

  • 确定 24 小时日期时间是否在间隔内

    希望你能帮忙 有一个包含日期时间的数据框 我想确定时间结果是否发生在几个小时后 gt 16 00 是否有捷径可寻 计划将时间转换为秒 然后这样做 但假设有一种更简单的方法可以通过 R 来做到这一点 datetimes lt c 2013 0

  • 如何避免mailto的烦恼？

    我正在开发一个网站 希望我的用户能够尽可能轻松地提供反馈 我知道一种方法 但我一直讨厌它 a href Click Here to be annoyed a JavaScript 或 HTML 中有没有一种方法可以让我的用户无需经历很多麻烦

  • 在 Watin 新版本 2.1 中访问框架时出错

    访问时抛出以下错误ie Frames在新版本的 Watin 2 1 中 错误详情 无法使用已与其底层 RCW 分离的 COM 对象 System Runtime InteropServices InvalidComObjectExcepti

  • 使用 xyz 坐标和 jzy3d 构建 3D 曲面图

    我一直在寻找一种将 coord x y z 列表发送到 jzy3d 的方法 但没有成功 我发现的唯一方法是使用带有 coord3d 列表和 镶嵌器 列表的 构建器 但它实际上不起作用 事实上我真的不明白 Tessellator 的含义 这是

  • 按自定义订单排序

    我想知道如何按自定义顺序而不是按字母顺序对数组进行排序 想象一下你有这个数组 对象 var somethingToSort type fruit name banana type candy name twix type vegetable

  • 管理 @NamedNativeQuery 和架构

    我有很多EntityManager 我拥有的每个模式一个 我使用entity mappings文件来映射 EM 与模式 有用 当我使用 NamedQuery它的工作就像一个魅力 但当我使用 NamedNativeQuery不使用架构 我必须

  • 如何更改 Firebird 上的 CHECK 约束？

    我有一个像这样的 Firebird 表 CREATE TABLE events event VARCHAR 6 NOT NULL CHECK event IN deploy revert fail change id CHAR 40 NOT

  • 使用 pytables 或 pandas 删除表或节点后释放 hdf5 磁盘内存

    我将 HDFStore 与 pandas pytables 一起使用 删除表或对象后 hdf5 文件大小不受影响 当添加额外的对象来存储时 这个空间似乎会被重用 但如果浪费大量空间 这可能会成为一个问题 我在 pandas 或 pytabl

热门标签