将文件夹的多个 csv 文件加载到一个数据框中

2024-03-08

我有多个 csv 文件保存在一个具有相同列布局的文件夹中,并希望将其作为 pandas 中的数据框加载到 python 中。

这个问题确实与此类似thread. https://stackoverflow.com/questions/38330524/speed-up-the-process-of-import-multiple-csv-into-python-dataframe

我正在使用以下代码:

import glob
import pandas as pd
salesdata = pd.DataFrame()
for f in glob.glob("TransactionData\Promorelevant\*.csv"):
    appenddata = pd.read_csv(f, header=None, sep=";")
    salesdata = salesdata.append(appenddata,ignore_index=True)

是否有更好的解决方案与另一个包?

这需要很多时间。

Thanks


我建议使用列表理解concat http://pandas.pydata.org/pandas-docs/stable/generated/pandas.concat.html:

import glob
import pandas as pd

files = glob.glob("TransactionData\Promorelevant*.csv")
dfs = [pd.read_csv(f, header=None, sep=";") for f in files]

salesdata = pd.concat(dfs,ignore_index=True)
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

将文件夹的多个 csv 文件加载到一个数据框中 的相关文章

  • 更改自动插入 tkinter 小部件的文本颜色

    我有一个文本框小部件 其中插入了三条消息 一条是开始消息 一条是结束消息 一条是在 单位 被摧毁时发出警报的消息 我希望开始和结束消息是黑色的 但被毁坏的消息 参见我在代码中评论的位置 插入小部件时颜色为红色 我不太确定如何去做这件事 我看
  • SQL Alchemy 中的 NULL 安全不等式比较?

    目前 我知道如何表达 NULL 安全的唯一方法 SQL Alchemy 中的比较 其中与 NULL 条目的比较计算结果为 True 而不是 NULL 是 or field None field value 有没有办法在 SQL Alchem
  • Spark的distinct()函数是否仅对每个分区中的不同元组进行洗牌

    据我了解 distinct 哈希分区 RDD 来识别唯一键 但它是否针对仅移动每个分区的不同元组进行了优化 想象一个具有以下分区的 RDD 1 2 2 1 4 2 2 1 3 3 5 4 5 5 5 在此 RDD 上的不同键上 所有重复键
  • feedparser 在脚本运行期间失败,但无法在交互式 python 控制台中重现

    当我运行 eclipse 或在 iPython 中运行脚本时 它失败了 ascii codec can t decode byte 0xe2 in position 32 ordinal not in range 128 我不知道为什么 但
  • python pandas 中的双端队列

    我正在使用Python的deque 实现一个简单的循环缓冲区 from collections import deque import numpy as np test sequence np array range 100 2 resha
  • 当玩家触摸屏幕一侧时,如何让 pygame 发出警告?

    我使用 pygame 创建了一个游戏 当玩家触摸屏幕一侧时 我想让 pygame 给出类似 你不能触摸屏幕两侧 的错误 我尝试在互联网上搜索 但没有找到任何好的结果 我想过在屏幕外添加一个方块 当玩家触摸该方块时 它会发出警告 但这花了很长
  • 如何将 numpy.matrix 提高到非整数幂?

    The 运算符为numpy matrix不支持非整数幂 gt gt gt m matrix 1 0 0 5 0 5 gt gt gt m 2 5 TypeError exponent must be an integer 我想要的是 oct
  • ExpectedFailure 被计为错误而不是通过

    我在用着expectedFailure因为有一个我想记录的错误 我现在无法修复 但想将来再回来解决 我的理解expectedFailure是它会将测试计为通过 但在摘要中表示预期失败的数量为 x 类似于它如何处理跳过的 tets 但是 当我
  • Python - 在窗口最小化或隐藏时使用 pywinauto 控制窗口

    我正在尝试做的事情 我正在尝试使用 pywinauto 在 python 中创建一个脚本 以在后台自动安装 notepad 隐藏或最小化 notepad 只是一个示例 因为我将编辑它以与其他软件一起使用 Problem 问题是我想在安装程序
  • 通过数据框与函数进行交互

    如果我有这样的日期框架 氮 EG 00 04 NEG 04 08 NEG 08 12 NEG 12 16 NEG 16 20 NEG 20 24 datum von 2017 10 12 21 69 15 36 0 87 1 42 0 76
  • Python:计算字典的重复值

    我有一本字典如下 dictA unit1 test1 alpha unit1 test2 beta unit2 test1 alpha unit2 test2 gamma unit3 test1 delta unit3 test2 gamm
  • VSCode:调试配置中的 Python 路径无效

    对 Python 和 VSCode 以及 stackoverflow 非常陌生 直到最近 我已经使用了大约 3 个月 一切都很好 当尝试在调试器中运行任何基本的 Python 程序时 弹出窗口The Python path in your
  • 如何从没有结尾的管道中读取 python 中的 stdin

    当管道来自 打开 时 不知道正确的名称 我无法从 python 中的标准输入或管道读取数据 文件 我有作为例子管道测试 py import sys import time k 0 try for line in sys stdin k k
  • glpk.LPX 向后兼容性?

    较新版本的glpk没有LPXapi 旧包需要它 我如何使用旧包 例如COBRA http opencobra sourceforge net openCOBRA Welcome html 与较新版本的glpk 注意COBRA适用于 MATL
  • 对输入求 Keras 模型的导数返回全零

    所以我有一个 Keras 模型 我想将模型的梯度应用于其输入 这就是我所做的 import tensorflow as tf from keras models import Sequential from keras layers imp
  • 如何使用google colab在jupyter笔记本中显示GIF?

    我正在使用 google colab 想嵌入一个 gif 有谁知道如何做到这一点 我正在使用下面的代码 它并没有在笔记本中为 gif 制作动画 我希望笔记本是交互式的 这样人们就可以看到代码的动画效果 而无需运行它 我发现很多方法在 Goo
  • AWK:递归下降 CSV 解析器

    响应一个BASH 中的递归下降 CSV 解析器 https codereview stackexchange com questions 11727 need some advice or help with translation and
  • Python:元类属性有时会覆盖类属性?

    下面代码的结果让我感到困惑 class MyClass type property def a self return 1 class MyObject object metaclass MyClass a 2 print MyObject
  • 改变字典的哈希函数

    按照此question https stackoverflow com questions 37100390 towards understanding dictionaries 我们知道两个不同的字典 dict 1 and dict 2例
  • Pandas 与 Numpy 数据帧

    看这几行代码 df2 df copy df2 1 df 1 df 1 values 1 df2 ix 0 0 我们的教练说我们需要使用 values属性来访问底层的 numpy 数组 否则我们的代码将无法工作 我知道 pandas Data

随机推荐

  • 如何检查 MongoDB 中是否存在密钥

    我正在尝试检查 MongoDB 集合中是否存在某个键 基本上 我需要将字符串数组映射到特定的键 如果该键存在 我想通过添加新值来更新列表 否则创建一个具有初始值的新键 如果添加新键 则最初只会添加 1 个值 我在网上找到了一些例子 尽管我无
  • Pandas 系列到字典的矢量化查找

    问题陈述 pandas 数据框列系列 same group需要根据两个现有列的值从布尔值创建 row and col 如果行中的两个单元格在字典中具有相似的值 相交值 则该行需要显示 Truememberships 否则为 False 无相
  • Prolog 中的否定作为失败是一种程序行为吗?

    我有一个关于否定即失败在 Prolog 语言中 这是一个理论性多于实践性的问题 因为我清楚这个例子是如何工作的 所以我有以下 Prolog 程序 Fatti che specificano quali esseri sono degli a
  • NFCISO15693Tag 自定义命令“缺少所需的权利”

    在iOS13测试版中 当我尝试使用 NFCISO15693Tag api 时customCommandWithRequestFlag customCommandCode customRequestParameters completionH
  • 如何在 Angular Material 中固定垫选择面板的位置

    我有一个使用 Angular Material 组件的项目 我想自定义 mat select 我想实现选择输入 其中 mat select panel 看起来像本机 html 选择中的下拉菜单 我仅使用 CSS 样式就取得了很好的效果 但有
  • Bootbox.confirm可以同步工作吗?

    在aspx页面中 有一个像这样的asp linkbutton
  • 是否可以编写一个 Rust 宏“has_trait!(,|)”?

    我想匹配 例如一个ident的类型来实现某种特征 我该怎么做 这是 不完整 代码的基本思想 macro rules has trait t ty x ident gt fn trait test let a vec 1 2 3 let b
  • 如何从Python中的请求模块中完全删除任何日志记录

    如何从 Python 中的 requests 模块中完全删除任何日志记录 我什至不需要设置 临界 级别 像这样 import logging requests log logging getLogger requests requests
  • 如何使用一个查询获取包含子列表的列表?

    我想打印数据库表中的项目列表 并与每个项目一起打印一个相关子项目的小列表 最多 10 个项目 例如 我有这两个表 ITEMS id integer name string SUBITEMS id integer name string it
  • 如何输出带双引号的字符串?

    我需要输出一个字符串 它基本上是一个java代码 我有这样的事情 web if url contains mp4 我需要单引号 将是双引号 而不是在 html 代码中 有可能做到吗 new str str replace web 您可以选择
  • 防止其他人强制推送到我的 Git 存储库

    有没有办法阻止除了我之外的任何人强制推送到我的 Git 存储库之一 特别是在 Github 中 据我了解 受保护的分支可以完全防止强制推送 但只要我是这样做的人就可以了 每当 GitHub 存储库出现保护问题时 最可靠的强制执行方法就是拥有
  • 如果 CDN 失败,jquery-tools 会回退

    如果 Google 的 CDN 失败 我将使用 来回退并在本地提供 jquery 如下这个线程 https stackoverflow com questions 1014203 best way to use googles hosted
  • 基于容器元素在 AngularJS 指令内自动调整 SVG 大小

    我将一个角度指令放置在动态大小的元素内 该指令本身由一个基于元素大小计算的 SVG 组成 我正在尝试使 SVG 根据容器的大小自动调整大小和重绘 我最初尝试过这样的事情 我的指令 js angular module myModule dir
  • “foreach”是否会导致 Linq 重复执行?

    我第一次使用 NET 中的实体框架 并且一直在编写 LINQ 查询以便从我的模型中获取信息 我想从一开始就养成良好的编程习惯 因此我一直在研究编写这些查询并获取结果的最佳方法 不幸的是 在浏览 Stack Exchange 时 我似乎遇到了
  • 从 Geany 运行 Node.js 服务器

    一个简单的问题 是否可以配置 Geany IDE 以便可以使用 运行 按钮直接从 Geany 运行 Node js 服务器 当在 JS 文件中时 转到Build gt Set Build Commands 应该有一个章节标题Execute
  • KnockoutJS:如何将一个 observableArray 添加到另一个 observableArray?

    我想将选择元素中的选定选项添加到绑定表中 视图模型具有 addItem 函数 该函数使用 ko utils arrayPushAll 将 selectedItems 数组添加到 linkedItems 数组中 但是当我单击 添加 按钮 调用
  • 按字母顺序对对象数组进行排序

    我正在尝试按字母顺序对对象数组进行排序 为了使事情简单 我使用下面的示例 在我的打字稿中 我通过拼接来插入和删除数组对象中的项目 Array cars id 1 items name car1 description this is car
  • 如何使用 Rijndael 在 iOS 中加密 C# 中的解密字符串

    我正在尝试使用 Objective C 和 C 加密和解密字符串 两者在本机代码中都工作正常 但是当我尝试解密 C 中的字符串时 它在 iOS 中被加密 我收到一些错误 这是我在目标c中使用的代码 NSData AES256EncryptW
  • javascript 在 onload 中选择文本区域中的文本

    使用 JavaScript 加载页面时 如何自动选择文本区域中的文本 JSFiddle 演示 http jsfiddle net kjy112 V85mC 你可以这样做 HTML
  • 将文件夹的多个 csv 文件加载到一个数据框中

    我有多个 csv 文件保存在一个具有相同列布局的文件夹中 并希望将其作为 pandas 中的数据框加载到 python 中 这个问题确实与此类似thread https stackoverflow com questions 3833052