pickle pandas DataFrame 的最快方法是什么?

2024-01-08

使用 Pandas 内置方法或pickle.dump?

标准的pickle方法如下所示:

pickle.dump(my_dataframe, open('test_pickle.p', 'wb'))

Pandas 内置方法如下所示:

my_dataframe.to_pickle('test_pickle.p')

感谢 @qwwqwwq 我发现 pandas 有一个内置的to_pickle数据帧的方法。我做了一个快速时间测试:

In [1]: %timeit pickle.dump(df, open('test_pickle.p', 'wb'))
10 loops, best of 3: 91.8 ms per loop

In [2]: %timeit df.to_pickle('testpickle.p')
10 loops, best of 3: 88 ms per loop

所以看起来内置的只是稍微好一点(对我来说,这很有用,因为这意味着可能不值得重构代码来使用内置) - 希望这对某人有帮助!

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

pickle pandas DataFrame 的最快方法是什么? 的相关文章

  • OpenCV Python cv2.mixChannels()

    我试图将其从 C 转换为 Python 但它给出了不同的色调结果 In C Transform it to HSV cvtColor src hsv CV BGR2HSV Use only the Hue value hue create
  • 如何在flask中使用g.user全局

    据我了解 Flask 中的 g 变量 它应该为我提供一个全局位置来存储数据 例如登录后保存当前用户 它是否正确 我希望我的导航在登录后在整个网站上显示我的用户名 我的观点包含 from Flask import g among other
  • 从字符串中删除识别的日期

    作为输入 我有几个包含不同格式日期的字符串 例如 彼得在16 45 我的生日是1990年7月8日 On 7 月 11 日星期六我会回家 I use dateutil parser parse识别字符串中的日期 在下一步中 我想从字符串中删除
  • 使用 on_bad_lines 将 pandas.read_csv 中的无效行写入文件

    我有一个 CSV 文件 我正在使用 Python 来解析该文件 我发现文件中的某些行具有不同的列数 001 Snow Jon 19801201 002 Crom Jake 19920103 003 Wise Frank 19880303 l
  • 基于代理的模拟:性能问题:Python vs NetLogo & Repast

    我正在 Python 3 中复制一小段 Sugarscape 代理模拟模型 我发现我的代码的性能比 NetLogo 慢约 3 倍 这可能是我的代码的问题 还是Python的固有限制 显然 这只是代码的一个片段 但 Python 却花费了三分
  • 以编程方式停止Python脚本的执行? [复制]

    这个问题在这里已经有答案了 是否可以使用命令在任意行停止执行 python 脚本 Like some code quit quit at this point some more code that s not executed sys e
  • Python pickle:腌制对象不等于源对象

    我认为这是预期的行为 但想检查一下 也许找出原因 因为我所做的研究结果是空白 我有一个函数可以提取数据 创建自定义类的新实例 然后将其附加到列表中 该类仅包含变量 然后 我使用协议 2 作为二进制文件将该列表腌制到文件中 稍后我重新运行脚本
  • OpenCV 无法从 MacBook Pro iSight 捕获

    几天后 我无法再从 opencv 应用程序内部打开我的 iSight 相机 cap cv2 VideoCapture 0 返回 并且cap isOpened 回报true 然而 cap grab 刚刚返回false 有任何想法吗 示例代码
  • Python 函数可以从作用域之外赋予新属性吗?

    我不知道你可以这样做 def tom print tom s locals locals def dick z print z name z name z guest Harry print z guest z guest print di
  • 如何加速Python中的N维区间树?

    考虑以下问题 给定一组n间隔和一组m浮点数 对于每个浮点数 确定包含该浮点数的区间子集 这个问题已经通过构建一个解决区间树 https en wikipedia org wiki Interval tree 或称为范围树或线段树 已经针对一
  • Python 的“zip”内置函数的 Ruby 等价物是什么?

    Ruby 是否有与 Python 内置函数等效的东西zip功能 如果不是 做同样事情的简洁方法是什么 一些背景信息 当我试图找到一种干净的方法来进行涉及两个数组的检查时 出现了这个问题 如果我有zip 我可以写这样的东西 zip a b a
  • Pygame:有没有简单的方法可以找到按下的任何字母数字的字母/数字?

    我目前正在开发的游戏需要让人们以自己的名义在高分板上计时 我对如何处理按键有点熟悉 但我只处理过寻找特定的按键 有没有一种简单的方法可以按下任意键的字母 而不必执行以下操作 for event in pygame event get if
  • python获取上传/下载速度

    我想在我的计算机上监控上传和下载速度 一个名为 conky 的程序已经在 conky conf 中执行了以下操作 Connection quality alignr wireless link qual perc wlan0 downspe
  • 如何在Python中对类别进行加权随机抽样

    给定一个元组列表 其中每个元组都包含一个概率和一个项目 我想根据其概率对项目进行采样 例如 给出列表 3 a 4 b 3 c 我想在 40 的时间内对 b 进行采样 在 python 中执行此操作的规范方法是什么 我查看了 random 模
  • 为字典中的一个键附加多个值[重复]

    这个问题在这里已经有答案了 我是 python 新手 我有每年的年份和值列表 我想要做的是检查字典中是否已存在该年份 如果存在 则将该值附加到特定键的值列表中 例如 我有一个年份列表 并且每年都有一个值 2010 2 2009 4 1989
  • 有人用过 Dabo 做过中型项目吗? [关闭]

    Closed 这个问题是基于意见的 help closed questions 目前不接受答案 我们正处于一个新的 ERP 风格的客户端 服务器应用程序的开始阶段 该应用程序是作为 Python 富客户端开发的 我们目前正在评估 Dabo
  • Scrapy:如何使用元在方法之间传递项目

    我是 scrapy 和 python 的新手 我试图将 parse quotes 中的项目 item author 传递给下一个解析方法 parse bio 我尝试了 request meta 和 response meta 方法 如 sc
  • 在 Qt 中自动调整标签文本大小 - 奇怪的行为

    在 Qt 中 我有一个复合小部件 它由排列在 QBoxLayouts 内的多个 QLabels 组成 当小部件调整大小时 我希望标签文本缩放以填充标签区域 并且我已经在 resizeEvent 中实现了文本大小的调整 这可行 但似乎发生了某
  • Python 类继承 - 诡异的动作

    我观察到类继承有一个奇怪的效果 对于我正在处理的项目 我正在创建一个类来充当另一个模块的类的包装器 我正在使用第 3 方 aeidon 模块 用于操作字幕文件 但问题可能不太具体 以下是您通常如何使用该模块 project aeidon P
  • NotImplementedError:无法将符号张量 (lstm_2/strided_slice:0) 转换为 numpy 数组。时间

    张量流版本 2 3 1 numpy 版本 1 20 在代码下面 define model model Sequential model add LSTM 50 activation relu input shape n steps n fe

随机推荐

  • @cacheput 没有更新现有的缓存

    我正在使用 Spring 4 和 Hazelcast 3 2 我正在尝试使用以下代码向现有缓存添加新记录 不知何故 缓存没有得到更新 同时我也没有看到任何错误 下面是供参考的代码片段 注意 可缓存工作正常 只有缓存输出不起作用 请阐明这一点
  • MyBatis 基于 XML + 注解的配置

    是否可以在应用程序中同时为 MyBatis 提供基于 XML 注解的配置 我问这个问题的原因是因为在我的应用程序中我使用的是基于注释的方法 但在其中一种情况下 我需要使用 IN 子句 可以使用
  • 是否可以在 Blazor 上单击元素外部以将其关闭?

    有点重复在 Blazor 上单击 div 或元素外部以将其关闭的事件 https stackoverflow com questions 61369498 event for click outside a div or element t
  • 匿名班级问题

    我对这一行有一点疑问 匿名类不能定义构造函数 那么 为什么我们还可以定义一个匿名类 语法如下 new class name argument list class body 您没有在匿名类中定义构造函数 而是从超类调用构造函数 您无法为匿名
  • 在 PHP 中将 JPG/GIF 图像转换为 PNG?

    可能重复 使用 PHP 将 jpg 图像转换为 gif png 和 bmp 格式 https stackoverflow com questions 755781 convert jpg image to gif png bmp forma
  • 获取两个值之间的 n 个不同的随机数,其总和等于给定数

    我想在总和为给定数字的范围内找到不同的随机数 注意 我在 stackoverflow 中发现了类似的问题 但是他们并没有完全解决这个问题 即他们不考虑范围的负下限 如果我希望随机数之和等于 1 我只需生成所需的随机数 计算总和并将每个随机数
  • 批处理文件删除早于指定日期的文件[重复]

    这个问题在这里已经有答案了 如何创建批处理文件来删除早于指定日期的文件 这似乎不起作用 DELOLD BAT echo off SET OLDERTHAN 1 IF NOT DEFINED OLDERTHAN GOTO SYNTAX for
  • 如何防止多个 Toast 重叠

    我一直在使用一个常见的 myToast 我使用 myToast cancel 在发出新的 toast 之前 对于 Android v2 3 及更早版本 这非常有效 当需要发送新的 Toast 时 如果旧的 Toast 仍在屏幕上 则会取消
  • SQL Server 2008 R2:从视图中包含的表中删除重复行

    创建表dup1 CREATE TABLE dup1 cola VARCHAR 10 colb VARCHAR 10 插入记录 INSERT INTO dup1 VALUES 1 2 INSERT INTO dup1 VALUES 1 2 I
  • Delphi XE2:禁用组件上的 vcl 样式

    我正在尝试按照有关禁用表单上控件上的颜色的示例进行操作 TStyleManager Engine RegisterStyleHook ClrMeans TwwDBComboDLG TEditStyleHook 但在注册或取消注册第 3 方控
  • C++ find 返回字符串变量 text 中的最后一个单词。字符串 getFirstWord(文本)

    我试图转到字符串的末尾 返回直到最后一个空格 然后前进直到单词的末尾并将该单词存储在空字符串中 不允许使用数组或指针 string getLastWord string text string lastword int last text
  • 检测重叠周期的算法[重复]

    这个问题在这里已经有答案了 我必须检测两个时间段是否重叠 每个期间都有开始日期和结束日期 我需要检测我的第一个时间段 A 是否与另一个时间段 B C 重叠 就我而言 如果 B 的开头等于 A 的结尾 则它们不重叠 反之亦然 我发现了以下案例
  • 对话框内的引导箱对话框

    我最近被分配到一个使用 bootbox 的项目 我当前的问题之一是在打开一个对话框后打开另一个对话框 问题是打开第二个对话框后背景阴影不会覆盖第一个对话框 有没有办法打开第二个对话框覆盖第一个对话框 EDIT function Confir
  • 有浮动工具提示的 Flot 示例吗?

    我目前正在研究一个Flot http code google com p flot 图形 即API http flot googlecode com svn trunk API txt尽管高级使用的示例没有得到广泛记录 但总体而言似乎非常强
  • 如何将图像放入 AlertDialog 中?安卓

    我不知道如何将图像放入 AlertDialog 中 我有这段代码 但我认为这是不可能的 AlertDialog Builder alert new AlertDialog Builder MessageDemo this ImageView
  • 为新用户授予默认权限或默认组

    默认行为似乎是新用户没有权限 也没有组 然而 我不想手动授予每个新用户基本权限 并且我假设他们不想等我这样做 我应该如何为新用户分配默认权限 已经提出了一些类似的问题 但对于一般情况没有明确的答案 Django默认用户权限 https st
  • @layout 引用的自定义 xml 属性

    我想用自己的 xml 属性创建一个自定义视图 我想指定一个标题布局 该布局将在我的自定义 xml 视图中膨胀 如下所示
  • plotly 3d 表面 - 将立方体更改为矩形空间

    我想要一个不在立方体中的 3D 图 因为我的 z 数据比 x 和 y 轴的比例小 10 倍 如何设置才能使 3D 绘图不是立方体 而是矩形 我希望 x y z 轴也具有相同的比例 也就是说 在此示例中 x 和 y 的范围是从 0 到 100
  • 如何以编程方式获取 aws ebs 定价?

    是否可以以编程方式下载 aws ebs 定价 我能够下载整个 AWS 服务索引文件 但没有看到列出的 Amazon EBS 我下载了 AmazonEC2 定价信息 它有 PricePerUnit 对于 EC2 实例来说意味着 但没有专门显示
  • pickle pandas DataFrame 的最快方法是什么?

    使用 Pandas 内置方法或pickle dump 标准的pickle方法如下所示 pickle dump my dataframe open test pickle p wb Pandas 内置方法如下所示 my dataframe t