需求
在媒体库中，是要求能动态改变编码的分辨率和帧率的，思路是重启编码器，设置编码器新的分辨率，帧率参数来满足要求。所以输入到编码器中的视频流分辨率，帧率应该与设置的分辨率参数是一致的。
但是不能通过改变视频采集的分辨率来实现，否则可能会造成摄像头重启，导致图像会黑一下。往往是在送入编码器之前应该有专门进行分辨率，码率适配的功能类。输入的是视频采集的原始分辨率和帧率，输出的是满足于编码器的编码分辨率和帧率。
VideoAdapter类
分辨率的适配
webrtc中VideoAdapter类就是实现这里的功能的，决定缩放比例的核心函数FindScale
Fraction FindScale(int input_width,
int input_height,
int target_pixels,
int max_pixels,
bool variable_start_scale_factor) {
// This function only makes sense for a positive target.
RTC_DCHECK_GT(target_pixels, 0);
RTC_DCHECK_GT(max_pixels, 0);
RTC_DCHECK_GE(max_pixels, target_pixels);
const int input_pixels = input_width * input_height;
// Don't scale up original.
if (target_pixels >= input_pixels)
return Fraction{1, 1};
Fraction current_scale = Fraction{1, 1};
Fraction best_scale = Fraction{1, 1};
if (variable_start_scale_factor) {
// Start scaling down by 2/3 depending on |input_width| and |input_height|.
if (input_width % 3 == 0 && input_height % 3 == 0) {
// 2/3 (then alternates 3/4, 2/3, 3/4,...).
current_scale = Fraction{6, 6};
}
if (input_width % 9 == 0 && input_height % 9 == 0) {
// 2/3, 2/3 (then alternates 3/4, 2/3, 3/4,...).
current_scale = Fraction{36, 36};
}
}
// The minimum (absolute) difference between the number of output pixels and
// the target pixel count.
int min_pixel_diff = std::numeric_limits<int>::max();
if (input_pixels <= max_pixels) {
// Start condition for 1/1 case, if it is less than max.
min_pixel_diff = std::abs(input_pixels - target_pixels);
}
//720p为16:9,宽高各自缩放对应的比率,宽高比率还是16:9
//宽，高各自按比例计算，算法会依次取3/4，1/2，3/8，1/4，3/16，1/8进行计算，选择一个适合的分辨率
// Alternately scale down by 3/4 and 2/3. This results in fractions which are
// effectively scalable. For instance, starting at 1280x720 will result in
// the series (3/4) => 960x540, (1/2) => 640x360, (3/8) => 480x270,
// (1/4) => 320x180, (3/16) => 240x125, (1/8) => 160x90.
while (current_scale.scale_pixel_count(input_pixels) > target_pixels) {
if (current_scale.numerator % 3 == 0 &&
current_scale.denominator % 2 == 0) {
// Multiply by 2/3.乘以 2/3
current_scale.numerator /= 3;
current_scale.denominator /= 2;
} else {
// Multiply by 3/4.乘以 3/4
current_scale.numerator *= 3;
current_scale.denominator *= 4;
}
//根本宽，高的比例计算像素
int output_pixels = current_scale.scale_pixel_count(input_pixels);
if (output_pixels <= max_pixels) {
int diff = std::abs(target_pixels - output_pixels);
if (diff < min_pixel_diff) {
min_pixel_diff = diff;
best_scale = current_scale;
}
}
}
best_scale.DivideByGcd();
return best_scale;
}
struct Fraction {
//分子
int numerator;
//分母
int denominator;
void DivideByGcd() {
//获取最大公约数
int g = cricket::GreatestCommonDivisor(numerator, denominator);
numerator /= g;
denominator /= g;
}
// Determines number of output pixels if both width and height of an input of
// |input_pixels| pixels is scaled with the fraction numerator / denominator.
int scale_pixel_count(int input_pixels) {
//宽，高各自按比例计算，计算总像素数
return (numerator * numerator * input_pixels) / (denominator * denominator);
}
};
int GreatestCommonDivisor(int a, int b) {
RTC_DCHECK_GE(a, 0);
RTC_DCHECK_GT(b, 0);
int c = a % b;
while (c != 0) {
a = b;
b = c;
c = a % b;
}
return b;
}
VideoAdapter并不支持放大，只能缩小。主要功能在FindScale中实现，它的功能是根据targer_pixel_count来决定最佳比例，有两点注意:
- 宽，高各自按比例缩小
- 并不改变原始的宽宽比，比如720P(1280*720,16:9)，是按16:9的宽高比进行缩放
帧率的适配
帧率的是适配也是只能从大到小，核心功能在VideoAdpater类的KeepFrame方法，实现思路比较简单根据目标帧率来计算时间间隔，再根据时间间隔来采取丢帧的策略来达到目的帧率
局限
webrtc中分辨率的动态改变，是webrtc中内部决策的，可能影响分辨率改变的是网络环境，机器性能等，对外部业务来说也是个黑盒子。并且分辨率的变化是保持宽高比的，比如采集的分辨率为720P(16:9)，需要变为VGA(640 * 480->4:3)，在webrtc而是缩放成最解决这个分辨率，宽高比为16:9的值，为640 * 360。
很多场景和业务对媒体库支持动态改变分辨率范围是有要求的，比如要是支持720P,VGA,CIF这样范围并且能相互变换，显然它们的宽高比是不一致的，VideoAdpater现有逻辑是无法满足这样的要求的。所以媒体库中会对VideoAapter进行改造，使它能支持指定分辨率的放大，缩小。
