将 AVAssetWriter 与原始 NAL 单元结合使用

我在 iOS 文档中注意到AVAssetWriterInput你可以通过nil为了outputSettings字典来指定输入数据不应重新编码。

用于对附加到输出的媒体进行编码的设置。传递 nil 来指定不应重新编码附加的样本。

我想利用此功能来传递原始 H.264 NAL 流，但我在将原始字节流调整为CMSampleBuffer我可以传递给 AVAssetWriterInputappendSampleBuffer方法。我的 NAL 流仅包含 SPS/PPS/IDR/P NAL (1, 5, 7, 8)。我尚未找到有关如何将预编码的 H264 数据与 AVAssetWriter 一起使用的文档或结论性答案。生成的视频文件无法播放。

我怎样才能正确地将NAL单元打包成CMSampleBuffers？我需要使用起始代码前缀吗？长度前缀？我是否需要确保每次只放置一个 NALCMSampleBuffer？我的最终目标是使用 H264/AAC 创建 MP4 或 MOV 容器。

这是我一直在玩的代码：

-(void)addH264NAL:(NSData *)nal
{
    dispatch_async(recordingQueue, ^{
        //Adapting the raw NAL into a CMSampleBuffer
        CMSampleBufferRef sampleBuffer = NULL;
        CMBlockBufferRef blockBuffer = NULL;
        CMFormatDescriptionRef formatDescription = NULL;
        CMItemCount numberOfSampleTimeEntries = 1;
        CMItemCount numberOfSamples = 1;


        CMVideoFormatDescriptionCreate(kCFAllocatorDefault, kCMVideoCodecType_H264, 480, 360, nil, &formatDescription);
        OSStatus result = CMBlockBufferCreateWithMemoryBlock(kCFAllocatorDefault, NULL, [nal length], kCFAllocatorDefault, NULL, 0, [nal length], kCMBlockBufferAssureMemoryNowFlag, &blockBuffer);
        if(result != noErr)
        {
            NSLog(@"Error creating CMBlockBuffer");
            return;
        }
        result = CMBlockBufferReplaceDataBytes([nal bytes], blockBuffer, 0, [nal length]);
        if(result != noErr)
        {
            NSLog(@"Error filling CMBlockBuffer");
            return;
        }
        const size_t sampleSizes = [nal length];
        CMSampleTimingInfo timing = { 0 };
        result = CMSampleBufferCreate(kCFAllocatorDefault, blockBuffer, YES, NULL, NULL, formatDescription, numberOfSamples, numberOfSampleTimeEntries, &timing, 1, &sampleSizes, &sampleBuffer);

        if(result != noErr)
        {
            NSLog(@"Error creating CMSampleBuffer");
        }
        [self writeSampleBuffer:sampleBuffer ofType:AVMediaTypeVideo];
    });
}

请注意，我正在打电话CMSampleBufferSetOutputPresentationTimeStamp在样本缓冲区内writeSampleBuffer方法与我认为在我实际尝试附加它之前的有效时间。

任何帮助表示赞赏。

我设法在 VLC 中播放视频，但在 QuickTime 中却不行。我使用与上面发布的代码类似的代码将 H.264 NAL 放入 CMSampleBuffers 中。

我有两个主要问题：

1. 我没有正确设置 CMSampleTimingInfo （正如我上面的评论所述）。
2. 我没有正确打包原始 NAL 数据（不确定记录在哪里，如果有的话）。

为了解决#1，我设置timing.duration = CMTimeMake(1, fps);其中 fps 是预期帧速率。然后我设置timing.decodeTimeStamp = kCMTimeInvalid;意味着样本将按解码顺序给出。最后我设置了timing.presentationTimeStamp通过计算绝对时间，我也使用了startSessionAtSourceTime.

为了解决#2，通过反复试验，我发现以下面的形式给出我的 NAL 单位是有效的：

[7 8 5] [1] [1] [1]..... [7 8 5] [1] [1] [1]..... (repeating)

其中每个 NAL 单元都以 32 位起始码为前缀，等于0x00000001.

大概出于同样的原因，它无法在 QuickTime 中播放，我仍然无法将生成的 .mov 文件移动到相册（ALAssetLibrary method videoAtPathIsCompatibleWithSavedPhotosAlbum未能说明“电影无法播放”。希望对正在发生的事情有想法的人可以发表评论。谢谢！