使用复制命令和清单文件将 parquet 格式文件加载到 Amazon Redshift 时出错

2024-04-05

我正在尝试使用清单文件加载镶木地板文件并出现以下错误。

查询:124138由于内部错误而失败。文件 'https://s3.amazonaws.com/sbredshift-east/data/000002_0 https://s3.amazonaws.com/sbredshift-east/data/000002_0版本号无效:)

这是我的复制命令

从 's3://sbredshift-east/manifest/supplier.manifest' 复制测试表 IAM_ROLE 'arn:aws:iam::123456789:角色/MyRedshiftRole123' 拼花地板格式 显现;

这是我的清单文件

**{  
   "entries":[  
      {  
         "url":"s3://sbredshift-east/data/000002_0",
         "mandatory":true,
         "meta":{  
            "content_length":1000
         }
      }
   ]
}**

我可以通过指定文件名使用复制命令加载相同的文件。

从 's3://sbredshift-east/data/000002_0' IAM_ROLE 'arn:aws:iam::123456789:role/MyRedshiftRole123' 复制测试表,格式为 PARQUET;

信息:加载到表“供应商”已完成,800000 条记录已成功加载。 复制

我的副本声明中可能有什么问题?


当 content_length 值错误时会发生此错误。您必须指定正确的内容长度。你可以检查它执行s3 ls命令。

aws s3 ls s3://sbredshift-east/data/
2019-12-27 11:15:19        539 sbredshift-east/data/000002_0

539(文件大小)应与清单文件中的 content_lenght 值相同。

我不知道为什么他们在直接复制命令中不需要它时使用这个元值。

˙\_(ツ)_/˙

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

使用复制命令和清单文件将 parquet 格式文件加载到 Amazon Redshift 时出错 的相关文章

随机推荐