S3分块上传异常

2023-12-01

使用 S3-MultiPartAPI 我得到一个异常:

"{"您建议的上传内容小于允许的最小大小"}"

我用 11MB 和 7MB 的 2 个文件进行了测试。 1MB 就可以正常工作。

FileStream fs = new FileStream(foo, FileAccess.ReadWrite);

fs.CopyTo(new S3Tools.S3CopyMemoryStream("bar", new byte[Buffersize + Buffersize/2], TransferUtility));

我将配置 utilityConfig.MinSizeBeforePartUpload 设置为 2。

public class S3CopyMemoryStream : MemoryStream
    {
        private string _key;
        private byte[] _buffer;
        private S3TransferUtility _transferUtility;
        public StartUploadS3CopyFileStreamEvent StartUploadS3FileStreamEvent { get; set; }

        public int WriteCount { get; private set; }
        public bool EndOfPart { get; private set; }
        public bool InitiatingPart { get; private set; }
        public string UploadPartId { get; set; }
        public List<PartETag> PartETagCollection { get; set; }

        public S3CopyMemoryStream WithS3CopyFileStreamEvent(StartUploadS3CopyFileStreamEvent doing)
        {
            S3CopyMemoryStream s3CopyStream = new S3CopyMemoryStream(this._key, this._buffer, this._transferUtility);

            s3CopyStream.StartUploadS3FileStreamEvent = new S3CopyMemoryStream.StartUploadS3CopyFileStreamEvent(CreateMultiPartS3Blob);

            return s3CopyStream;
        }

        public S3CopyMemoryStream(string key, byte[] buffer, S3TransferUtility transferUtility)
            : base(buffer)
        {
            InitiatingPart = true;
            EndOfPart = false;
            WriteCount = 1;
            PartETagCollection = new List<PartETag>();
            QueueWithIncompleteParts = new Queue<int>();

            _buffer = buffer;
            _key = key;
            _transferUtility = transferUtility;
        }

        public delegate void StartUploadS3CopyFileStreamEvent(S3TransferUtility transferUtility, string key, S3CopyMemoryStream stream);          

        public override bool CanSeek
        {
            get { return false; }
        }

        public override void Write(byte[] array, int offset, int count)
        {
            base.Write(array, offset, count);

            if(Position >= Buffersize)
            {
                if (WriteCount > 1)
                    InitiatingPart = false;
                StartUploadS3FileStreamEvent.Invoke(_transferUtility, _key, this);

                WriteCount++;
                base.Flush();
                base.Seek(0, SeekOrigin.Begin);
                base.Flush();

            }              
        }

        public override void Close()
        {
            if(WriteCount > 1)
                InitiatingPart = false;

            EndOfPart = true;
            StartUploadS3FileStreamEvent.Invoke(_transferUtility, _key, this);
            base.Close();
        }

    }

这是上传事件。在这一行中我得到了例外。

CompleteMultipartUploadResponse 完成MultipartUploadResponse = TransferUtility.S3Client.CompleteMultipartUpload(completeMultipartUploadRequest);

 static internal void CreateMultiPartS3Blob(S3TransferUtility transferUtility, string key, S3CopyMemoryStream stream)
    {

        if (stream.InitiatingPart)
        {
            InitiateMultipartUploadRequest initiateMultipartUploadRequest =
                new InitiateMultipartUploadRequest()
                    .WithBucketName(transferUtility.BucketName)
                    .WithKey(key);


            InitiateMultipartUploadResponse initiateResponse =
                transferUtility.S3Client.InitiateMultipartUpload(initiateMultipartUploadRequest);
            stream.UploadPartId = initiateResponse.UploadId;

        }


            UploadPartRequest uploadPartRequest =
                new UploadPartRequest()
                    .WithBucketName(transferUtility.BucketName)
                    .WithKey(key)
                    .WithPartNumber(stream.WriteCount)
                    .WithPartSize(stream.Position)
                    .WithUploadId(stream.UploadPartId)
                    .WithInputStream(stream) as UploadPartRequest;

            UploadPartResponse response = transferUtility.S3Client.UploadPart(uploadPartRequest);
            PartETag etag = new PartETag(response.PartNumber, response.ETag);
            stream.PartETagCollection.Add(etag);



        if (stream.EndOfPart)
        {

            CompleteMultipartUploadRequest completeMultipartUploadRequest =
                new CompleteMultipartUploadRequest()
                    .WithBucketName(transferUtility.BucketName)
                    .WithKey(key)
                    .WithPartETags(stream.PartETagCollection)
                    .WithUploadId(stream.UploadPartId);

            CompleteMultipartUploadResponse completeMultipartUploadResponse =
                transferUtility.S3Client.CompleteMultipartUpload(completeMultipartUploadRequest);
            string loc = completeMultipartUploadResponse.Location;

        }

    }

有什么建议吗?问题是什么?


请求使用当前位置的流,因此我必须在上传之前将位置设置为零。

首先思考而不是发布.. *g

问候

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

S3分块上传异常 的相关文章

  • 如何将 std::string& 转换为 C# 引用字符串

    我正在尝试将 C 函数转换为std string参考C 我的 API 如下所示 void GetStringDemo std string str 理想情况下 我希望在 C 中看到类似的东西 void GetStringDemoWrap r
  • BASIC 中的 C 语言中的 PeekInt、PokeInt、Peek、Poke 等效项

    我想知道该命令的等效项是什么Peek and Poke 基本和其他变体 用 C 语言 类似PeekInt PokeInt 整数 涉及内存条的东西 我知道在 C 语言中有很多方法可以做到这一点 我正在尝试将基本程序移植到 C 语言 这只是使用
  • 调用 McAfee 病毒扫描引擎

    我收到客户的请求 要求使用他们服务器上的 McAfee 病毒扫描将病毒扫描集成到应用程序中 我做了一些调查 发现 McScan32 dll 是主要的扫描引擎 它导出各种看起来有用的函数 我还发现提到了 McAfee Scan Engine
  • STL 迭代器:前缀增量更快? [复制]

    这个问题在这里已经有答案了 可能的重复 C 中的预增量比后增量快 正确吗 如果是 为什么呢 https stackoverflow com questions 2020184 preincrement faster than postinc
  • 在 xaml 中编写嵌套类型时出现设计时错误

    我创建了一个用户控件 它接受枚举类型并将该枚举的值分配给该用户控件中的 ComboBox 控件 很简单 我在数据模板中使用此用户控件 当出现嵌套类型时 问题就来了 我使用这个符号来指定 EnumType x Type myNamespace
  • std::list 线程push_back、front、pop_front

    std list 线程安全吗 我假设不是这样 所以我添加了自己的同步机制 我认为我有正确的术语 但我仍然遇到问题 每个函数都由单独的线程调用 Thread1 不能等待 它必须尽可能快 std list
  • 随着时间的推移,添加到 List 变得非常慢

    我正在解析一个大约有 1000 行的 html 表 我从一个字符串中添加 10 个字符串 td 每行到一个list td
  • C++ 多行字符串原始文字[重复]

    这个问题在这里已经有答案了 我们可以像这样定义一个多行字符串 const char text1 part 1 part 2 part 3 part 4 const char text2 part 1 part 2 part 3 part 4
  • 如何获取 EF 中与组合(键/值)列表匹配的记录?

    我有一个数据库表 其中包含每个用户 年份组合的记录 如何使用 EF 和用户 ID 年份组合列表从数据库获取数据 组合示例 UserId Year 1 2015 1 2016 1 2018 12 2016 12 2019 3 2015 91
  • 结构体的内存大小不同?

    为什么第一种情况不是12 测试环境 最新版本的 gcc 和 clang 64 位 Linux struct desc int parts int nr sizeof desc Output 16 struct desc int parts
  • 为什么这个字符串用AesCryptoServiceProvider第二次解密时不相等?

    我在 C VS2012 NET 4 5 中的文本加密和解密方面遇到问题 具体来说 当我加密并随后解密字符串时 输出与输入不同 然而 奇怪的是 如果我复制加密的输出并将其硬编码为字符串文字 解密就会起作用 以下代码示例说明了该问题 我究竟做错
  • C# xml序列化必填字段

    我需要将一些字段标记为需要写入 XML 文件 但没有成功 我有一个包含约 30 个属性的配置类 这就是为什么我不能像这样封装所有属性 public string SomeProp get return someProp set if som
  • C# 动态/expando 对象的深度/嵌套/递归合并

    我需要在 C 中 合并 2 个动态对象 我在 stackexchange 上找到的所有内容仅涵盖非递归合并 但我正在寻找能够进行递归或深度合并的东西 非常类似于jQuery 的 extend obj1 obj2 http api jquer
  • 为什么 isnormal() 说一个值是正常的,而实际上不是?

    include
  • 在 WPF 中使用 ReactiveUI 提供长时间运行命令反馈的正确方法

    我有一个 C WPF NET 4 5 应用程序 用户将用它来打开某些文件 然后 应用程序将经历很多动作 读取文件 通过许多插件和解析器传递它 这些文件可能相当大 gt 100MB 因此这可能需要一段时间 我想让用户了解 UI 中发生的情况
  • 相当于Linux中的导入库

    在 Windows C 中 当您想要链接 DLL 时 您必须提供导入库 但是在 GNU 构建系统中 当您想要链接 so 文件 相当于 dll 时 您就不需要链接 为什么是这样 是否有等效的 Windows 导入库 注意 我不会谈论在 Win
  • C++ 继承的内存布局

    如果我有两个类 一个类继承另一个类 并且子类仅包含函数 那么这两个类的内存布局是否相同 e g class Base int a b c class Derived public Base only functions 我读过编译器无法对数
  • DotNetZip:如何提取文件,但忽略zip文件中的路径?

    尝试将文件提取到给定文件夹 忽略 zip 文件中的路径 但似乎没有办法 考虑到其中实现的所有其他好东西 这似乎是一个相当基本的要求 我缺少什么 代码是 using Ionic Zip ZipFile zf Ionic Zip ZipFile
  • 指针和内存范围

    我已经用 C 语言编程有一段时间了 但对 C 语言还是很陌生 有时我对 C 处理内存的方式感到困惑 考虑以下有效的 C 代码片段 const char string void where is this pointer variable l
  • 从 mvc 控制器使用 Web api 控制器操作

    我有两个控制器 一个mvc控制器和一个api控制器 它们都在同一个项目中 HomeController Controller DataController ApiController 如果我想从 HomeController 中使用 Dat

随机推荐