替换 dask 数据框分区

2023-12-09

我可以将 dask 数据帧分区替换为我单独创建的另一个具有相同行数和相同结构的 dask 数据帧分区吗? 如果是,怎么办?

是否可以使用不同的行数?


您可以使用以下命令将分区添加到 Dask 数据帧的开头或结尾dd.concat功能。

您可以通过切换到延迟对象,将延迟对象插入到列表中,然后切换回 dask 数据帧,在数据帧中的任何位置插入新分区

list_of_delayed = dask_df.to_delayed()
new_partition = dask.delayed(pd.read_csv)(filename)
list_of_delayed[i] = new_partition
new_dask_df = dd.from_delayed(list_of_delayed, meta=dask_df._meta)

它可以具有不同的行数,但必须具有相同的列和数据类型

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

替换 dask 数据框分区 的相关文章

随机推荐