pandas数据读取与清洗视频05-批量读取excel文件并合并

本系列课程适用人群：

1. python零基础数据分析的朋友；
2. 在校学生；
3. 职场中经常要处理各种数据表格，或大量数据（十万级以上）的朋友；
4. 喜欢图表可视化的朋友；

系列视频目前可在B站观看，会定期更新，欢迎大家吐槽！

本节概要：python提升办公效率重要技能之一

视频地址：python批量读取数据

本节代码：

# 导入工具包并简写为pd
import pandas as pd
# 导入os工具包
import os
# 设置读取文件的默认路径
os.chdir('D:/python/课件/data/数据合并/')


# =============================================================================
# 批量读取数据
# =============================================================================

# 获取文件夹相关信息，os.walk()方法返回3个结果，其中files最终要。root, dirs, files只是自定义的变量名称，可写成别的名
for root, dirs, files in os.walk('.'):
    print(files)  
 
# 定义一个空的dataframe，读取的每个表中的数据都添加到此变量中
data = pd.DataFrame()  

# 遍历所有文件
for i in files:  # 依次读取files文件中的元素
    # 读取第i个文件,"."为上面设置的默认路径，i为文件名称。组合在一起正好为文件路径
    datai = pd.read_csv('./' + i)   
    # 计算文件行数
    datai_len = len(datai)
    # 读取的文件添加到data变量中
    data = data.append(datai)   # 添加到总的数据中
    # print中格式化写法。%i表示此处为一整数，整数的值为引号外面%后面的变量，按顺序获取。其他写法 %s：字符串  %f：小数
    print('文件%i列, 读取%i行数据,名称：%s'%(len(datai.columns),datai_len,i)) 
    
# =============================================================================
# # 保存为excel到电脑
# =============================================================================
data.to_excel('D:/python/课件/data/合并后的数据.xlsx')