多媒体视频处理的一些基本概念

2023-11-01


1.

    在最早的电影里面,一幅静止的图像被称做一"帧(Frame)",影片里的画面是每一秒钟有24帧,为什么是24帧,这个数字是怎么来的,因为人类眼睛的视觉暂留现象正好符合每秒24帧的标准,所以用多也没有意义还会浪费电影胶片,增加成本,所以就是24帧。

 

2.帧与包

    打个比方,我们在邮局邮寄产品时,虽然产品本身带有自己的包装盒,但是在邮寄的时候只用产品原包装盒来包装显然是不行的。必须把内装产品的包装盒放到一个邮局指定的专用纸箱里,这样才能够邮寄。这里,产品包装盒相当于数据包,里面放着的产品相当于可用的数据,而专用纸箱就相当于帧,且一个帧中只有一个数据包。

 

3. NTSC制式

    NTSC(NationalTelevision System Committee)制式是1952年由美国国家电视制定委员会制定的彩色电视广播标准。美国、加拿大、以及中国台湾、韩国、菲律宾等国家采用的是这种制式。这种制式的彩色带宽为3.58Mhz,伴音带宽为6.0Mhz,每秒30帧画面

 

4. PAL制式

    PAL(PhaseAlternating Line),是1965年制定的电视制,主要应用于中国、香港、中东地区和欧洲一带。这种制式的彩色带宽为4.43Mhz伴音带宽为6.5Mhz,每秒25帧画面,还有一种是SECAM制式德国地区采用的制式,应用比较少。

 

5. 为何NTSC制为每秒30帧,而PAL制式每秒25帧?

    这是因为采用NTSC的国家的市电为110V60HZ,所以电视里的场频信号直接就取样了交流电源的频率60HZ,因为两场组成一帧,所以60除以2等于30正好就是电视的帧数了,而我国的市电为220V50HZ,所以原因同上就是每秒25帧了。

 

7.逐行与隔行

    电视的每帧画面是由若干条水平方向的扫描线组成的、PAL制为625行/帧,NTSC制为525行/帧。如果这一帧画面中所有的行是从上到下一行接一行地连续完成的,或者说扫描顺序是1、2、3……525,我们就称这种扫描方式为逐行扫描。

    实际上,普通电视的一帧画面需要由两遍扫描来完成,第一遍只扫描奇数行,即第l、3、5……525行,第二遍扫描则只扫描偶数行,即第2、4、6……524行,这种扫描方式就是隔行扫描。一幅只含奇数行或偶数行的画面称为一“场(Field)”,其中只含奇数行的场称为奇数场或前场(Top Field), 只含偶数行的场称为偶数场或后场(Bottom Field)。也就是说一个奇数场加上一个偶数场等于一帧(一幅图象)。

 

8.NALU

      NALU(Network Abstract Layer Unit):H264标准中的比特流是以NAL为单位,每个NAL单元包含一个RBSP(rawbyte sequence payload,原始字节序列载荷),NALU的头信息定义了RBSP所属类型。类型一般包括序列参数集(SPS)、图像参数集(PPS)、增强信息(SEI)、条带(Slice)等,其中,SPS和PPS属于参数集,两标准采用参数集机制是为了将一些主要的序列、图像参数(解码图像尺寸、片组数、参考帧数、量化和滤波参数标记等)与其他参数分离,通过解码器先解码出来。此外,为了增强图像的清晰度,AVS-M添加了图像头(Picturehead)信息。读取NALU流程中,每个NALU前有一个起始码0x000001,为防止内部0x000001序列竞争,H.264编码器在最后一字节前插入一个新的字节——0x03,所以解码器检测到该序列时,需将0x03删掉,而AVS-M只需识别出起始码0x000001。

 

9.主码流与次码流

  hi3515中,大小码流使用相同的源图像,大码流直接由源图像编码得到,小码流由源图像缩小后编码得到 ,小码流编码图像支持的最大尺寸为 CIF。

    主码流用于本地存储,子码流适用于图像在低带宽网络上传输。


10.ES流、PES流、PS流以及TS流

  ES流(Elementary Stream)由三部分组成:

     1)经MPEG-2视频编码器编码后的图像数据流;

     2)经MPEG-2音频编码器编码后的声音数据流;

     3)其他编码数据流;

   PES流(Packetized ElementaryStream):PES流是ES流经过PES打包器处理后形成的数据流,在这个过程中完成了将ES流分组、打包、加入包头信息等操作(对ES流的第一次打包)。PES流的基本单位是PES包。

   节目流(Program Stream简称PS)与传输流(Transport Stream简称TS)是数字视频系统中的两类数据码流,由MPEG-2系统层定义,H.264采用与MPEG-2相同的系统层,因而也采用PS/TS两类码流,TS流与PS流的区别在于TS流的包结构是固定长度的,而PS流的包结构是可变长度的。PS包由于长度是变化的,一旦丢失某一PS包的同步信息,接收机就会进入失步状态,从而导致严重的信息丢失事件。而TS码流由于采用了固定长度的包结构,当传输误码破坏了某一TS包的同步信息时,接收机可在固定的位置检测它后面包中的同步信息,从而恢复同步,避免了信息丢失。因此在信道环境较为恶劣、传输误码较高时一般采用TS码流,而在信环境较好、传输误码较低时一般采用PS码流。

 

11.视频输入接口模式

Hi3520/Hi3515 芯片支持多种视频接口协议,且提供灵活多样的配置与各种外围codec 对接。支持的接口时序包括 ITU-R BT.656、ITU-R BT.601、ITU-R BT.1120、digital camera等。

4 个视频输入设备都能支持 ITU-R BT.656接口模式,但只有设备 0 和设备2才支持其他几种接口模式。支持 BT.656接口模式时,又能支持几种不同的多路复用工作模式,例如 54M2D154M 4CIF以及 108M 4D1

 

12.视频输入通道

视频输入通道与物理上的实际视频采集通道一一对应,视频输入通道归属于视频输入设备,视频输入设备的接口模式决定了此设备下能支持的通道个数,一个设备最大支持 4 个通道,依次用 ViChn0、ViChn1、ViChn2、ViChn3 标示;除了有多路复用功能的 BT.656接口模式能支持多个通道,其他接口模式时每个设备下只能支持1个通道。

 

13.分辨率

分辨率主要有以下 3 种概念:

−  设备分辨率指该设备的输出有效像素点数,由设备时序决定。

−  显示分辨率指画面在显示设备上的有效显示区域。

−  图像分辨率指图像本身的有效像素点数。

 

14.通道优先级

当同一输出设备上有多个通道同时输出显示时,按照优先级顺序对输出图像进行叠加。当各个通道的画面有重叠区域时,优先级高的图像显示在上层。如果各个通道优先级一致,则通道号越大的默认优先级越高。

 

15.通道组

    通道组是指芯片能够同时处理的编码通道的集合,相当于一个容器。一个通道组最多可同时包含1路主码流(H.264/MJPEG)、1路次码流(H.264/MJPEG) ,或者仅包含1路 JPEG抓拍(即 JPEG抓拍时,不允许包含任何其他通道) ,或者 1 路MPEG4 编码通道。

 

16. Overlay Region

    视频叠加区域,针对码流里打的叠加区域,即通常所说的码流OSD,即往视频上打字/Logo。同时,还有视频遮挡区域和软件视频叠加区域的选择。

 

17.宏块

将图像划分为 16*16(以像素为单位)大小的块,每一块称为一个宏块。


18.移动侦测(Motion Detection

    又称运动检测,是检测正在视频编码的图像是否发生亮度变化以及相应的运动向量。移动侦测功能以宏块为最小单位,计算指定图像的宏块在指定图像间隔内的亮度变化和运动向量。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

多媒体视频处理的一些基本概念 的相关文章

  • ffprobe查看多媒体流音视频详情

    ffprobe查看多媒体流音视频详情 ffprobe是一个简单的多媒体流解析器 可以查看多媒体流音视频详情 1 ffprobe简介 ffprobe从多媒体流中收集信息 并以人机可读的方式进行打印 例如 它可以用来检查多媒体流使用的容器的格式
  • 使用Python,OpenCV给原视频每一帧画面添加素描漫画版小窗口,并生成新视频

    使用Python OpenCV给原视频每一帧画面添加素描漫画版小窗口 并生成新视频 主要涉及3部分 使用python 进行视频帧率 总帧数获取 使用moviepy 进行视频音频提取 并合并音频视频 遍历视频流每一帧 并对其进行简易漫画绘制
  • ffmpeg命令行示例

    在视频上覆盖一张照片 ffmpeg i video mkv i image png filter complex 0 v 1 v overlay out map out out mkv 生成5s的lavfi红色的视频 ffmpeg filt
  • Python-Opencv 基本操作(一)

    下面完整代码在github仓库 传送门 文章目录 一 在图片上画线 二 图像通道BGR转换RGB 三 画矩形框 四 图片变形 五 opencv转换到PIL 六 利用opencv播放视频 七 PIL转换到Opencv 八 合成图片通道 九 给
  • 用Python做一个简单的视频播放器

    相关文件 关注小编 私信小编领取就好啦 开发工具 Python版本 3 7 8 相关模块 pyqt5模块 以及一些python自带的模块 搭建环境 安装Python并添加到环境变量 pip安装需要的相关模块即可 原理介绍 这里我们主要利用P
  • UCF101动作识别数据集简介绍及数据预处理

    文章目录 一 数据集简介 二 数据集获取及解压缩 1 数据下载 2 数据集解压缩 三 数据集划分 四 数据集预处理 1 生成pkl文件 2 直接对视频文件处理 一 数据集简介 UCF101是一个现实动作视频的动作识别数据集 收集自YouTu
  • FFmpeg安装与使用+Java API/SpringBoot项目使用

    目录 下载安装 介绍与简单使用 在项目中的使用 配置文件 工具类 使用 下载安装 Download FFmpeg 解压到指定文件夹 介绍与简单使用 FFmpeg是一个开源的跨平台视频和音频处理工具 可以处理各种格式的音视频文件 FFmpeg
  • python使用socket高效传输视频数据帧(连续发送图片)

    遇到的问题 网上找了一些代码 都是只能建立一次socket传输一张图片 然后断开重新连重新传 而建立一次socket代价不小 反复建立会非常消耗系统资源 因此尝试自己通过一次socket连续传输多张图片 代码问题记录 需要代码的可以直接文末
  • 多媒体视频处理的一些基本概念

    1 帧 在最早的电影里面 一幅静止的图像被称做一 帧 Frame 影片里的画面是每一秒钟有24帧 为什么是24帧 这个数字是怎么来的 因为人类眼睛的视觉暂留现象正好符合每秒24帧的标准 所以用多也没有意义还会浪费电影胶片 增加成本 所以就是
  • I帧、P帧和B帧的特点

    I帧 帧内编码帧 I帧特点 1 它是一个全帧压缩编码帧 它将全帧图像信息进行JPEG压缩编码及传输 2 解码时仅用I帧的数据就可重构完整图像 3 I帧描述了图像背景和运动主体的详情 4 I帧不需要参考其他画面而生成 5 I帧是P帧和B帧的参
  • 02FFMPEG的AVInputFormat结构体分析

    02FFMPEG的AVInputFormat结构体分析 概述 该结构体位于libavformat库中的avformat h中 1 AVInputFormat结构体 对于FFmpeg没给注释的 我尽量找对应的注释 确实没有的证明我们不需要知道
  • 发现一个xdotool,是个神器

    xdotool是linux下 类似 按键精灵 的工具 在一些自动测试时 经常用到 以上为xdotool正常使用 比如说 模拟击键a xdotool key a 模拟两个键alt tab xdotool key alt Tab 自动输入wor
  • 50 亿观众的 “云上奥运”,顶级媒体背后的数智化力量

    东京 2020 奥运会即将闭幕 本届奥运会由于疫情限制 东京地区赛事以无观众的空场形式举行 在无法亲临现场的情况下 全球观众首次以 云上 方式观看奥运 云上奥运 该如何保证赛事的生动性和现场感 缩短观众与赛场之间的距离 随时随地捕捉精彩赛事
  • 颜色空间之RGB与YUV

    此篇是我在学习中做的归纳与总结 其中如果存在版权或知识错误或问题请直接联系我 欢迎留言 PS 本着知识共享的原则 此篇博客可以转载 但请标明出处 RGB CIE1931 RGB系统选择了700nm R 546 1nm G 435 8nm B
  • 01FFMPEG的AVFormatContext结构体分析和输出时AVFormatContext的初始化(包含有输入和无输入的AVFormatContext)

    01FFMPEG的AVFormatContext结构体分析和输出时AVFormatContext的初始化 包含有输入和无输入的AVFormatContext 提醒 接下来对所有源码的分析都是针对于目前最新版本的avformat5 8源码 概
  • ffmpeg视频抽帧

    ffmpeg视频抽帧 1 抽帧分类 2 解决方案 ffmpeg 参考 之前的博客介绍了 Python中线程化方式读取帧 效率超高 这篇博客将介绍如何使用ffmpeg进行视频抽帧 视频抽帧 1 抽帧分类 2 解决方案 ffmpeg 参考 1
  • Java调用ffmpeg进行视频.H264抽帧,并保存为图片

    Java调用ffmpeg进行视频 H264抽帧 并保存为图片 1 需求 2 解决 3 源码 参考 1 需求 对视频 D data 01 test H264进行抽帧并保存为图片 图片命名为1 jpg 2 jpg 图片保存在D data 01
  • 标准差(Standard Deviation), 标准误差(Standard error),变异系数 (Coefficient of Variance )的区别与联系

    标准差 Standard Deviation 中文环境中又常称均方差 是离均差平方的算术平均数的平方根 用 表示 标准差是方差的算术平方根 标准差能反映一个数据集的离散程度 平均数相同的两组数据 标准差未必相同 标准误差 Standard
  • 分享5个免费、高清、无版权视频素材网站,果断收藏!

    现在各种短视频和自媒体是越来越火了 创作者们对于自己作品的版权也愈发重视 稍不留神你的视频可能就侵权了 例如使用 未经授权的视频素材 都是会涉及到侵权的 其实现在有很多无版权的视频素材网站 可以满足大家一定的创作需求 下面给大家分享5个免费
  • moviepy 生成的视频只有声音没有图像

    问题描述 PDF转成视频 用moviepy 将图片生成视频的时候 生成的视频 有些播放器 播放只有声音没有图像 解决方案 查看源码后发现在 ffmpeg writer py 文件里面有一段这样的代码 if codec libx264 and

随机推荐

  • windows installer服务坏了修复方法

    昨天 经过一轮破解window 2003server后 因为是盗版的所以打不了sp2补丁 老是说密钥无效 后来还得多谢朋友的帮助 改了注册后 就可以成功的打上了sp2补丁 然后装上正版的SqlServer 2005 装着装着突然安装界面不见
  • php-cgi.exe系统错误 无法启动程序,因为计算机中丢失api-ms-win-crt-conio-l1-1-0.dll 解决此问题

    下载地址 http www jb51 net dll api ms win crt conio l1 1 0 dll html download 安装 gt 解压 gt 获得dll文件 如下 解决此问题 1 Windows 95 98 Me
  • QGIS+PyUIC+PyQt5 ImportError: DLL load failed 解决方法

    软件环境 QGIS下载地址 https qgis org downloads https qgis org downloads QGIS OSGeo4W 3 16 5 1 Setup x86 64 exe PyCharm下载地址 https
  • IDEA使用Maven创建SpingMVC项目

    IDEA使用Maven创建SpingMVC项目 1 新建Maven Project 并且选择webapp原型 然后next 2 这里的GroupId和ArtifactID随意填写 但是ArtifactID最好和你的项目一名一致 然后next
  • 二分 AcWing 790. 数的三次方根

    二分 AcWing 790 数的三次方根 原题链接 AcWing 790 数的三次方根 算法标签 二分 代码 include
  • Multisim 14.0安装包+详细安装步骤

    Multisim是美国国家仪器 NI 有限公司推出的以Windows为基础的仿真工具 适用于板级的模拟 数字电路板的设计工作 它包含了电路原理图的图形输入 电路硬件描述语言输入方式 具有丰富的仿真分析能力 安装步骤 1 选择下载的软件压缩包
  • C++ stack用法

    C 库以提供 模板 为主 所谓模板 是指不必预先制定类型的函数或类 我们可以借助STL 标准模板库 Standard Template Library STL 提供的高效算法来管理数据 为应对多种需求 STL为用户提供了多种名为容器 Con
  • chatgpt赋能python:Title:Python编程中的空格怎么用?详细教程!

    Title Python编程中的空格怎么用 详细教程 Introduction Python编程的空格使用一直是令人困惑的话题之一 但它却是Python语言中非常重要的一部分 空格在Python程序中用来表示代码块的开始和结束 因此不同的空
  • python中的堆(Heap)

    python中的堆 Heap 堆 Heap 是一种特殊的完全二叉树数据结构 有两种类型 大顶堆和小顶堆 在大顶堆中 父节点的值大于或等于其子节点的值 而在小顶堆中 父节点的值小于或等于其子节点的值 特点 堆是一种完全二叉树 意味着当除最后一
  • 软件测试之白盒测试、自动化测试练习题报告

    一 白盒测试 1 代码走查 2 代码编写及测试 二 自动化测试 总结 今天下午熟背白盒测试的代码 第一题进行详细分析 背完之后 写第一题代码 运行测试 写入报告中 花时间15分钟以内 在编译的时候 出现错误 都是小细节的错误 手抖多敲一个字
  • 谁还在AI焦虑?

    时至今日 人们对GPT 为首的诸多AI 大有热情消退的迹象 与2个月前相比 简直恍如隔世 这也进步一部印证了 山洞隐喻 人类始终对未知充满恐惧和焦虑 曾经人们忧心忡忡 整天讨论AI 取代人类工作之后 大家应该何去何从 AI入侵人类社会 大家
  • PooledConnection has already been closed.

    PooledConnection has already been closed java sql SQLException PooledConnection has already been closed 数据库链接被关闭 排查被关闭的原
  • 何恺明团队最新力作RegNet:超越EfficientNet,GPU上提速5倍,这是网络设计新范式

    鱼羊 十三 发自 凹非寺量子位 报道 公众号 QbitAI 大神 组团 出奇招 踢馆各路神经网络 还是熟悉的团队 还是熟悉的署名 Facebook AI实验室 推陈出新挑战新的网络设计范式 嗯 熟悉的Ross 熟悉的何恺明 他们带来全新的
  • 九十四.深入递归(一)

    题一 走楼梯 有个小孩正上楼梯 楼梯有n阶台阶 小孩一次可以上1阶 2阶 3阶 请实现一个方法 计算小孩有多少种上楼的方式 为了防止溢出 请将结果Mod 1000000007 给定一个正整数int n 请返回一个数 代表上楼的方式数 保证n
  • 查询与进程调度(CFS)相关信息

    目录 查询与进程相关的调度信息 查看CFS调度信息 CPU相关的信息 CFS就绪队列的总运行时间 实时队列与deadline调度的相关信息 所有进程相关的信息 查询与进程相关的调度信息 进程的nice值 优先级 调度策略 vruntime等
  • fastdfs安装部署整理

    一 fastdfs环境搭建 下面准备 2 个环境模拟部署并测试 准备工作 主服务器 192 168 100 10 从服务器 192 168 100 11 步骤1 了解 fastDFS 原理 这次是最简单的 storage 同步 不涉及多 t
  • SQL Part 1 --- 简单的SQL查询

    SQL 简单的SQL查询 SQL中的数据类型 SQL中的表 Tables 简单的SQL查询 简单SQL查询的执行步骤 在查询中链接多个表 复杂SQL查询的执行步骤 Banking Example SQL中的数据类型 Characters C
  • spring security oauth2——AbstractAuthenticationProcessingFilter

    AbstractAuthenticationProcessingFilter的作用 abstractAuthenticationProcessingFilter的职责也就非常明确 处理所有HTTP Request和Response对象 并将
  • 通过zipkin来追踪调用链

    最近被一个问题困扰了两天 一个接口突然就特别慢 差不多要两分多钟才能返回 找问题一直没有头绪 项目采用的是springcloud微服务框架 服务之间的调用链特别的多 就算是看日志也不知道看哪一个日志 很难定位到问题所在 后来问同事 同事说看
  • 多媒体视频处理的一些基本概念

    1 帧 在最早的电影里面 一幅静止的图像被称做一 帧 Frame 影片里的画面是每一秒钟有24帧 为什么是24帧 这个数字是怎么来的 因为人类眼睛的视觉暂留现象正好符合每秒24帧的标准 所以用多也没有意义还会浪费电影胶片 增加成本 所以就是