从 TangoService_connectOnFrameAvailable 保存帧

如何通过 TangoService_connectOnFrameAvailable() 保存帧并在我的计算机上正确显示它？作为此参考页 https://developers.google.com/project-tango/apis/c/struct_tango_image_buffer提到，像素以 HAL_PIXEL_FORMAT_YV12 格式存储。在 TangoService_connectOnFrameAvailable 的回调函数中，我像这样保存框架：

static void onColorFrameAvailable(void* context, TangoCameraId id, const TangoImageBuffer* buffer) 
{
  ...
  std::ofstream fp;
  fp.open(imagefile, std::ios::out | std::ios::binary );
  int offset = 0;
  for(int i = 0; i < buffer->height*2 + 1; i++) {
    fp.write((char*)(buffer->data + offset), buffer->width);
    offset += buffer->stride;
  }
  fp.close();
}

然后删除第一行中的元数据并显示我运行的图像：

$ dd if="input.raw" of="new.raw" bs=1 skip=1280
$ vooya new.raw

I was careful to make sure in vooya that the channel order is yvu. The resulting output is:

我在保存图像并显示它时做错了什么？

根据马克·穆林的回复更新：

int offset = buffer->stride; // header offset
// copy Y channel
for(int i = 0; i < buffer->height; i++) {
  fp.write((char*)(buffer->data + offset), buffer->width);
  offset += buffer->stride;
}
// copy V channel
for(int i = 0; i < buffer->height / 2; i++) {
  fp.write((char*)(buffer->data + offset), buffer->width / 2);
  offset += buffer->stride / 2;
}
// copy U channel
for(int i = 0; i < buffer->height / 2; i++) {
  fp.write((char*)(buffer->data + offset), buffer->width / 2);
  offset += buffer->stride / 2;
}

现在显示了下图，但仍然存在一些伪影；我想知道这是来自 Tango 平板电脑相机还是我对原始数据的处理……有什么想法吗？

不能确切地说你做错了什么，而且探戈图像中经常有伪影 - 你的图像是新的，但我经常看到淡蓝色作为一种颜色，其中眩光似乎会烦扰更深的系统，并且当它开始与更深层的系统失去同步时在负载下的深度系统中，您经常会看到看起来像闪亮网格的东西（我认为是红外模式） - 最后，任何使用 openCV 等处理图像的理性尝试都失败了，所以我手写了解码器一些帮助所以这里线程 https://stackoverflow.com/questions/27159916/getting-color-data-in-unity

也就是说，给定 imagebuffer 包含指向 Tango 原始数据的指针，并且从回调中接收到的数据填充各种其他变量（例如高度和步幅），那么此逻辑将创建 RGBA 映射 - 是的，我优化了数学它，所以它有点难看 - 它速度较慢但功能相当的双胞胎被列在第二位。我自己的经验表明，尝试在回调中正确进行解码是一个可怕的想法（我相信 Tango 能够出于纯粹恶意的原因而失去与闪光灯的深度同步），所以我的运行在渲染阶段。

Fast

uchar* pData = TangoData::cameraImageBuffer;
uchar* iData = TangoData::cameraImageBufferRGBA;
int size = (int)(TangoData::imageBufferStride * TangoData::imageBufferHeight);
float invByte = 0.0039215686274509803921568627451;  // ( 1 / 255)

int halfi, uvOffset, halfj, uvOffsetHalfj;
float y_scaled, v_scaled, u_scaled;
int uOffset = size / 4 + size;
int halfstride = TangoData::imageBufferStride / 2;
for (int i = 0; i < TangoData::imageBufferHeight; ++i)
{
    halfi = i / 2;
    uvOffset = halfi * halfstride;
    for (int j = 0; j < TangoData::imageBufferWidth; ++j)
    {
        halfj = j / 2;
        uvOffsetHalfj = uvOffset + halfj;
        y_scaled = pData[i * TangoData::imageBufferStride + j] * invByte;
        v_scaled = 2 * (pData[uvOffsetHalfj + size] * invByte - 0.5f) * Vmax;
        u_scaled = 2 * (pData[uvOffsetHalfj + uOffset] * invByte - 0.5f) * Umax;
        *iData++ = (uchar)((y_scaled + 1.13983f * v_scaled) * 255.0);;
        *iData++ = (uchar)((y_scaled - 0.39465f * u_scaled - 0.58060f * v_scaled) * 255.0);
        *iData++ = (uchar)((y_scaled + 2.03211f * u_scaled) * 255.0);
        *iData++ = 255;
    }
}

可以理解

for (int i = 0; i < TangoData::imageBufferHeight; ++i)
{
    for (int j = 0; j < TangoData::imageBufferWidth; ++j)
    {
        uchar y = pData[i * image->stride + j];
        uchar v = pData[(i / 2) * (TangoData::imageBufferStride / 2) + (j / 2) + size];
        uchar u = pData[(i / 2) * (TangoData::imageBufferStride / 2) + (j / 2) + size + (size / 4)];
        YUV2RGB(y, u, v);
        *iData++ = y;
        *iData++ = u;
        *iData++ = v;
        *iData++ = 255;
    }
}