将 H.264 I 帧放入 AVSampleBufferDisplayLayer 但不显示视频图像

在详细回顾了 WWDC2014、Session513 后，我尝试在 IOS8.0 上编写我的应用程序来解码和显示一个实时 H.264 流。首先，我成功构建了H264参数集。当我得到一个带有 4 位起始代码的帧时，就像“0x00 0x00 0x00 0x01 0x65 ...”一样，我将其放入 CMblockBuffer 中。然后我使用预览 CMBlockBuffer 构造一个 CMSampleBuffer。之后，我将 CMSampleBuffer 放入 AVSampleBufferDisplayLayer 中。一切正常（我检查了返回的值），除了 AVSampleBufferDisplayLayer 不显示任何视频图像。由于这些 API 对每个人来说都是相当陌生的，所以我找不到任何机构可以解决这个问题。

我将给出关键代码如下，如果您能帮忙找出视频图像无法显示的原因，我将不胜感激。多谢。

(1)AVSampleBufferDisplayLayer初始化。 dsplayer 是我的主视图控制器的 objc 实例。

    @property(nonatomic,strong)AVSampleBufferDisplayLayer *dspLayer;

if(!_dspLayer)
{
    _dspLayer = [[AVSampleBufferDisplayLayer alloc]init];
    [_dspLayer setFrame:CGRectMake(90,551,557,389)];
    _dspLayer.videoGravity = AVLayerVideoGravityResizeAspect;
   _dspLayer.backgroundColor = [UIColor grayColor].CGColor;
    CMTimebaseRef tmBase = nil;
    CMTimebaseCreateWithMasterClock(NULL,CMClockGetHostTimeClock(),&tmBase);
    _dspLayer.controlTimebase = tmBase;
    CMTimebaseSetTime(_dspLayer.controlTimebase, kCMTimeZero);
    CMTimebaseSetRate(_dspLayer.controlTimebase, 1.0);

     [self.view.layer addSublayer:_dspLayer];

}

(2)在另一个线程中，我得到一个 H.264 I 帧。 //构造h.264参数集ok

    CMVideoFormatDescriptionRef formatDesc;
    OSStatus formatCreateResult =
    CMVideoFormatDescriptionCreateFromH264ParameterSets(NULL, ppsNum+1, props, sizes, 4, &formatDesc);
    NSLog([NSString stringWithFormat:@"construct h264 param set:%ld",formatCreateResult]);

//构造cmBlockbuffer。 //databuf指向H.264数据。以“0x00 0x00 0x00 0x01 0x65 ........”开头

    CMBlockBufferRef blockBufferOut = nil;
    CMBlockBufferCreateEmpty (0,0,kCMBlockBufferAlwaysCopyDataFlag, &blockBufferOut);
    CMBlockBufferAppendMemoryBlock(blockBufferOut,
                                    dataBuf,
                                    dataLen,
                                    NULL,
                                    NULL,
                                    0,
                                    dataLen,
                                    kCMBlockBufferAlwaysCopyDataFlag);

//构造cmsamplebuffer ok

    size_t sampleSizeArray[1] = {0};
    sampleSizeArray[0] = CMBlockBufferGetDataLength(blockBufferOut);
    CMSampleTiminginfo tmInfos[1] = {
        {CMTimeMake(5,1), CMTimeMake(5,1), CMTimeMake(5,1)}
    };
    CMSampleBufferRef sampBuf = nil;
    formatCreateResult = CMSampleBufferCreate(kCFAllocatorDefault,
                         blockBufferOut,
                         YES,
                         NULL,
                         NULL,
                         formatDesc,
                         1,
                         1,
                         tmInfos,
                         1,
                         sampleSizeArray,
                         &sampBuf);

//放入AVSampleBufferdisplayLayer，仅一帧。但我在视图中看不到任何视频帧

    if([self.dspLayer isReadyForMoreMediaData])
    {
    [self.dspLayer enqueueSampleBuffer:sampBuf];
    }
    [self.dspLayer setNeedsDisplay];

您的 NAL 单元起始代码 0x00 0x00 0x01 或 0x00 0x00 0x00 0x01 需要替换为长度标头。

这在您所指的 WWDC 会议中明确指出，附件 B 起始代码需要替换为符合 AVCC 长度的标头。您基本上是在此处即时从附件 B 流格式重新复用为 MP4 文件格式（当然是简化的描述）。

为此，您在创建参数集时调用的是“4”，因此您需要为 VCL NAL 单元添加 4 字节长度的前缀。这就是为什么您将其指定为 AVCC 格式，长度标头可以更短。

无论您在 CMSampleBuffer 中放入什么内容都可以，如果内容可以解码，则不会进行完整性检查，只需满足任意数据与定时信息和参数集相结合所需的参数即可。

基本上，根据您输入的数据，VCL NAL 单元的长度是 1 字节。解码器无法获取完整的 NAL 单元并因错误而退出。

还要确保当您使用创建参数集时，PPS/SPS 没有添加长度字节，并且附件 B 起始代码也被删除。

另外，我建议不要使用 AVSampleBufferDisplayLayer，而是通过 VTDecompressionSession，这样您就可以执行颜色校正或像素着色器内所需的其他操作。