知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】5745098
(24)【登録日】2015年5月15日
(45)【発行日】2015年7月8日
(54)【発明の名称】ビデオデータ品質評価方法およびビデオデータ品質評価デバイス
(51)【国際特許分類】
H04N 17/00 20060101AFI20150618BHJP
【ＦＩ】
H04N17/00
【請求項の数】21
【全頁数】46
(21)【出願番号】特願2013-552096(P2013-552096)
(86)(22)【出願日】2012年3月30日
(65)【公表番号】特表2014-509128(P2014-509128A)
(43)【公表日】2014年4月10日
(86)【国際出願番号】CN2012073317
(87)【国際公開番号】WO2012139467
(87)【国際公開日】20121018
【審査請求日】2013年8月2日
(31)【優先権主張番号】201110090022.8
(32)【優先日】2011年4月11日
(33)【優先権主張国】CN
(73)【特許権者】
【識別番号】504277388
【氏名又は名称】▲ホア▼▲ウェイ▼技術有限公司
(74)【代理人】
【識別番号】100146835
【弁理士】
【氏名又は名称】佐伯 義文
(74)【代理人】
【識別番号】100140534
【弁理士】
【氏名又は名称】木内 敬二
(72)【発明者】
【氏名】▲孫▼ 李娜
(72)【発明者】
【氏名】高 山
(72)【発明者】
【氏名】▲謝▼ 清鵬
【審査官】
秦野 孝一郎
(56)【参考文献】
【文献】
特開２００９−２７３０１０（ＪＰ，Ａ）
【文献】
米国特許出願公開第２００９／０２４４２８９（ＵＳ，Ａ１）
【文献】
特開２００９−１８８９６９（ＪＰ，Ａ）
【文献】
特表２００９−５１８９１５（ＪＰ，Ａ）
【文献】
特表２０１１−５１０５６２（ＪＰ，Ａ）
【文献】
特開２００９−２７３０１３（ＪＰ，Ａ）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｈ０４Ｎ １７／００
(57)【特許請求の範囲】
【請求項1】
ビデオデータ品質評価方法であって、
ビデオデータパケットのパケットヘッダ情報に従ってビデオデータの圧縮歪みパラメータを獲得するステップと、
前記ビデオデータパケットの前記パケットヘッダ情報に従ってフレーム障害歪みパラメータを獲得するステップと、
前記圧縮歪みパラメータおよび前記フレーム障害歪みパラメータに従ってビデオ品質パラメータを計算するステップと、
を具備し、
前記ビデオ品質パラメータは、前記圧縮歪みパラメータと前記フレーム障害歪みパラメータの差であり、
前記フレーム障害歪みパラメータを前記獲得するステップは、
前記ビデオデータパケットのパケットヘッダからのビデオパラメータを解析して、障害のあるフレームの割合、障害のあるフレームの平均障害度、および障害頻度を導き出すステップと、
前記ビデオデータの前記圧縮歪みパラメータを獲得するステップと、
前記圧縮歪みパラメータ、障害のあるフレームの前記割合、障害のあるフレームの前記平均障害度、および前記障害頻度を使用することによって前記ビデオデータのフレーム障害歪みパラメータを計算するステップと、
を具備し、
前記フレーム障害歪みパラメータは、0から、前記圧縮歪みパラメータと最低品質値の差までの範囲内にあり、
前記ビデオ品質パラメータは、障害のあるフレームの前記割合、障害のあるフレームの前記平均障害度、および前記障害頻度のうちのいずれか1つが増加するにつれて前記最低品質値まで低下することを特徴とするビデオデータ品質評価方法。
ビデオデータパケットのパケットヘッダ情報に従ってビデオデータの圧縮歪みパラメータを獲得するステップと、
前記ビデオデータパケットの前記パケットヘッダ情報に従ってフレーム障害歪みパラメータを獲得するステップと、
前記圧縮歪みパラメータおよび前記フレーム障害歪みパラメータに従ってビデオ品質パラメータを計算するステップと、
を具備し、
前記ビデオ品質パラメータは、前記圧縮歪みパラメータと前記フレーム障害歪みパラメータの差であり、
前記フレーム障害歪みパラメータを前記獲得するステップは、
前記ビデオデータパケットのパケットヘッダからのビデオパラメータを解析して、障害のあるフレームの割合、障害のあるフレームの平均障害度、および障害頻度を導き出すステップと、
前記ビデオデータの前記圧縮歪みパラメータを獲得するステップと、
前記圧縮歪みパラメータ、障害のあるフレームの前記割合、障害のあるフレームの前記平均障害度、および前記障害頻度を使用することによって前記ビデオデータのフレーム障害歪みパラメータを計算するステップと、
を具備し、
前記フレーム障害歪みパラメータは、0から、前記圧縮歪みパラメータと最低品質値の差までの範囲内にあり、
前記ビデオ品質パラメータは、障害のあるフレームの前記割合、障害のあるフレームの前記平均障害度、および前記障害頻度のうちのいずれか1つが増加するにつれて前記最低品質値まで低下することを特徴とするビデオデータ品質評価方法。
【請求項2】
前記ビデオデータの前記圧縮歪みパラメータを前記獲得するステップは、
ビデオストリームのビットレート、フレームレート、およびビデオコンテンツ複雑度を獲得するステップと、
前記ビデオストリームの前記ビットレート、前記フレームレート、および前記ビデオコンテンツ複雑度に従って前記圧縮歪みパラメータを計算するステップと、
を具備し、
前記圧縮歪みパラメータは、前記ビットレートが増加するにつれて最大値まで増加し、また前記ビデオコンテンツ複雑度が増加するにつれて低下し、
或るビットレートの下で、前記圧縮歪みパラメータは、前記フレームレートが増加するにつれて低下することを特徴とする請求項1に記載の方法。
ビデオストリームのビットレート、フレームレート、およびビデオコンテンツ複雑度を獲得するステップと、
前記ビデオストリームの前記ビットレート、前記フレームレート、および前記ビデオコンテンツ複雑度に従って前記圧縮歪みパラメータを計算するステップと、
を具備し、
前記圧縮歪みパラメータは、前記ビットレートが増加するにつれて最大値まで増加し、また前記ビデオコンテンツ複雑度が増加するにつれて低下し、
或るビットレートの下で、前記圧縮歪みパラメータは、前記フレームレートが増加するにつれて低下することを特徴とする請求項1に記載の方法。
【請求項3】
前記フレーム障害歪みパラメータは、以下の式、
Qframedistortion=(Qencoding-a1)×f(x, y, FLF)
に従って計算され、
Qframedistortionは、前記フレーム障害歪みパラメータを表し、
Qencodingは、前記圧縮歪みパラメータを表し、
a1は、定数であるとともに、ビデオシーケンスの最低品質を表し、
f(x, y, FLF)は、障害のあるフレームの割合x、障害のあるフレームの平均障害度y、および前記障害頻度によって形成される関数を表し、
前記関数は、0≦f(x, y, FLF)＜1という関係を満たすとともに、障害のあるフレームの前記割合x、障害のあるフレームの前記平均障害度y、およびFLFにおける前記障害頻度のうちのいずれか1つが増加するにつれて増加するとともに、1に無限に近づくことを特徴とする請求項1に記載の方法。
Qframedistortion=(Qencoding-a1)×f(x, y, FLF)
に従って計算され、
Qframedistortionは、前記フレーム障害歪みパラメータを表し、
Qencodingは、前記圧縮歪みパラメータを表し、
a1は、定数であるとともに、ビデオシーケンスの最低品質を表し、
f(x, y, FLF)は、障害のあるフレームの割合x、障害のあるフレームの平均障害度y、および前記障害頻度によって形成される関数を表し、
前記関数は、0≦f(x, y, FLF)＜1という関係を満たすとともに、障害のあるフレームの前記割合x、障害のあるフレームの前記平均障害度y、およびFLFにおける前記障害頻度のうちのいずれか1つが増加するにつれて増加するとともに、1に無限に近づくことを特徴とする請求項1に記載の方法。
【請求項4】
前記f(x, y, FLF)は、x、y、FLFによって形成される二次の多項式、またはべき関数の組み合わせもしくは指数関数の組み合わせであることを特徴とする請求項3に記載の方法。
【請求項5】
ビデオコンテンツ時間複雑度を獲得するステップをさらに具備し、
前記フレーム障害歪みパラメータは、前記ビデオコンテンツ時間複雑度が増加するにつれて増加することを特徴とする請求項1に記載の方法。
前記フレーム障害歪みパラメータは、前記ビデオコンテンツ時間複雑度が増加するにつれて増加することを特徴とする請求項1に記載の方法。
【請求項6】
前記フレーム障害歪みパラメータは、以下の式、
Qframedistortion=(Qencoding-a1)×f(x, y, FLF, σ)
に従って計算され、
Qframedistortionは、前記フレーム障害歪みパラメータを表し、
Qencodingは、前記圧縮歪みパラメータを表し、
a1は、定数であるとともに、ビデオシーケンスの最低品質を表し、
f(x, y, FLF, σ)は、障害のあるフレームの割合x、障害のあるフレームの平均障害度y、および障害頻度によって形成される関数を表し、
前記関数は、0≦f(x, y, FLF, σ)＜1という関係を満たすとともに、障害のあるフレームの前記割合x、障害のあるフレームの前記平均障害度y、およびFLFにおける前記障害頻度のうちのいずれか1つが増加するにつれて増加するとともに、1に無限に近づき、さらに前記ビデオコンテンツ時間複雑度が増加するにつれて増加することを特徴とする請求項5に記載の方法。
Qframedistortion=(Qencoding-a1)×f(x, y, FLF, σ)
に従って計算され、
Qframedistortionは、前記フレーム障害歪みパラメータを表し、
Qencodingは、前記圧縮歪みパラメータを表し、
a1は、定数であるとともに、ビデオシーケンスの最低品質を表し、
f(x, y, FLF, σ)は、障害のあるフレームの割合x、障害のあるフレームの平均障害度y、および障害頻度によって形成される関数を表し、
前記関数は、0≦f(x, y, FLF, σ)＜1という関係を満たすとともに、障害のあるフレームの前記割合x、障害のあるフレームの前記平均障害度y、およびFLFにおける前記障害頻度のうちのいずれか1つが増加するにつれて増加するとともに、1に無限に近づき、さらに前記ビデオコンテンツ時間複雑度が増加するにつれて増加することを特徴とする請求項5に記載の方法。
【請求項7】
前記f(x, y, FLF, σ)は、x、y、FLF、σによって形成される二次の多項式、またはべき関数の組み合わせもしくは指数関数の組み合わせであることを特徴とする請求項6に記載の方法。
【請求項8】
ビデオデータ品質評価方法であって、
ビデオデータパケットのパケットヘッダ情報に従ってビデオデータの圧縮歪みパラメータを獲得するステップと、
前記ビデオデータパケットの前記パケットヘッダ情報に従ってフレーム障害歪みパラメータを獲得するステップと、
前記圧縮歪みパラメータおよび前記フレーム障害歪みパラメータに従ってビデオ品質パラメータを計算するステップと、
を具備し、
前記ビデオ品質パラメータは、前記圧縮歪みパラメータと前記フレーム障害歪みパラメータの差であり、
前記ビデオデータの前記圧縮歪みパラメータを前記獲得するステップは、
ビデオストリームのビットレート、フレームレート、およびビデオコンテンツ複雑度を獲得するステップと、
前記ビデオストリームの前記ビットレート、前記フレームレート、および前記ビデオコンテンツ複雑度に従って前記圧縮歪みパラメータを計算するステップと、
を具備し、
前記圧縮歪みパラメータは、前記ビットレートが増加するにつれて最大値まで増加し、また前記ビデオコンテンツ複雑度が増加するにつれて低下し、
或るビットレートの下で、前記圧縮歪みパラメータは、前記フレームレートが増加するにつれて低下することを特徴とするビデオデータ品質評価方法。
ビデオデータパケットのパケットヘッダ情報に従ってビデオデータの圧縮歪みパラメータを獲得するステップと、
前記ビデオデータパケットの前記パケットヘッダ情報に従ってフレーム障害歪みパラメータを獲得するステップと、
前記圧縮歪みパラメータおよび前記フレーム障害歪みパラメータに従ってビデオ品質パラメータを計算するステップと、
を具備し、
前記ビデオ品質パラメータは、前記圧縮歪みパラメータと前記フレーム障害歪みパラメータの差であり、
前記ビデオデータの前記圧縮歪みパラメータを前記獲得するステップは、
ビデオストリームのビットレート、フレームレート、およびビデオコンテンツ複雑度を獲得するステップと、
前記ビデオストリームの前記ビットレート、前記フレームレート、および前記ビデオコンテンツ複雑度に従って前記圧縮歪みパラメータを計算するステップと、
を具備し、
前記圧縮歪みパラメータは、前記ビットレートが増加するにつれて最大値まで増加し、また前記ビデオコンテンツ複雑度が増加するにつれて低下し、
或るビットレートの下で、前記圧縮歪みパラメータは、前記フレームレートが増加するにつれて低下することを特徴とするビデオデータ品質評価方法。
【請求項9】
ビデオデータ品質評価方法であって、
ビデオデータパケットのパケットヘッダ情報に従ってビデオデータの圧縮歪みパラメータを獲得するステップと、
前記ビデオデータパケットの前記パケットヘッダ情報に従ってフレーム障害歪みパラメータを獲得するステップと、
前記圧縮歪みパラメータおよび前記フレーム障害歪みパラメータに従ってビデオ品質パラメータを計算するステップと、
を具備し、
前記ビデオ品質パラメータは、前記圧縮歪みパラメータと前記フレーム障害歪みパラメータの差であり、
前記フレーム障害歪みパラメータを前記獲得するステップは、
ビデオデータパケットのパケットヘッダから、ビデオシーケンスの各ビデオセグメント内でビデオセグメント内の各基準フレームのビット誤り伝播による影響を受けるフレームの数および障害割合、ならびに前記ビデオセグメント内のパケットロスがある非基準フレームの数およびパケットロス障害割合を獲得するステップと、
前記ビデオデータの前記圧縮歪みパラメータを獲得するステップと、
前記ビデオセグメント内の各基準フレームのビット誤り伝播による影響を受けるフレームの数および前記障害割合を使用することによって基準フレームのパケットロス障害によって生じる歪みを計算するステップであって、前記基準フレームの前記パケットロス障害によって生じる前記歪みは、ビット誤り伝播による影響を受けるフレームの数と前記障害割合のうちのいずれか1つが増加するにつれて増加するステップと、
パケットロスがある非基準フレームの数および前記パケットロス障害割合を使用することによって、非基準フレームのパケットロス障害によって生じる歪みを計算するステップと、
前記基準フレームの前記パケットロス障害によって生じる前記歪みと前記非基準フレームの前記パケットロス障害によって生じる前記歪みを組み合わせて前記フレーム障害歪みパラメータを得るステップと、
を備えることを特徴とするビデオデータ品質評価方法。
ビデオデータパケットのパケットヘッダ情報に従ってビデオデータの圧縮歪みパラメータを獲得するステップと、
前記ビデオデータパケットの前記パケットヘッダ情報に従ってフレーム障害歪みパラメータを獲得するステップと、
前記圧縮歪みパラメータおよび前記フレーム障害歪みパラメータに従ってビデオ品質パラメータを計算するステップと、
を具備し、
前記ビデオ品質パラメータは、前記圧縮歪みパラメータと前記フレーム障害歪みパラメータの差であり、
前記フレーム障害歪みパラメータを前記獲得するステップは、
ビデオデータパケットのパケットヘッダから、ビデオシーケンスの各ビデオセグメント内でビデオセグメント内の各基準フレームのビット誤り伝播による影響を受けるフレームの数および障害割合、ならびに前記ビデオセグメント内のパケットロスがある非基準フレームの数およびパケットロス障害割合を獲得するステップと、
前記ビデオデータの前記圧縮歪みパラメータを獲得するステップと、
前記ビデオセグメント内の各基準フレームのビット誤り伝播による影響を受けるフレームの数および前記障害割合を使用することによって基準フレームのパケットロス障害によって生じる歪みを計算するステップであって、前記基準フレームの前記パケットロス障害によって生じる前記歪みは、ビット誤り伝播による影響を受けるフレームの数と前記障害割合のうちのいずれか1つが増加するにつれて増加するステップと、
パケットロスがある非基準フレームの数および前記パケットロス障害割合を使用することによって、非基準フレームのパケットロス障害によって生じる歪みを計算するステップと、
前記基準フレームの前記パケットロス障害によって生じる前記歪みと前記非基準フレームの前記パケットロス障害によって生じる前記歪みを組み合わせて前記フレーム障害歪みパラメータを得るステップと、
を備えることを特徴とするビデオデータ品質評価方法。
【請求項10】
前記基準フレームの前記パケットロス障害によって生じる前記歪みを前記計算するステップは、
各基準フレームのパケットロス障害によって生じる歪み、
を計算するステップであって、
a1は、定数であるとともに、ビデオの最低の点数を表し、
x1は、この基準フレームより後にあり、さらに前記ビデオセグメントの終わりより前にあるフレームの数を表し、
x2は、この基準フレームの前記パケットロス障害割合を表し、
func1(x1)は、この基準フレームのフレーム全体が失われた、またはフレームヘッダが失われた場合、前記ビデオセグメントに生じる歪み影響係数を表すとともに、func1(x1)は、x1が増加するにつれて増加する必要があり、
func2(x2)は、前記フレームの様々なパケットロス障害割合によって生じる様々な主観的歪み度影響係数を表すとともに、func2(x2)は、x2が増加するにつれて増加する必要があるステップと、
前記ビデオセグメント内の障害のある基準フレームのパケットロス障害歪みを組み合わせて、前記基準フレームの前記パケットロス障害によって生じる前記歪みを得るステップと、
を備えることを特徴とする請求項9に記載の方法。
各基準フレームのパケットロス障害によって生じる歪み、
【数1】
a1は、定数であるとともに、ビデオの最低の点数を表し、
x1は、この基準フレームより後にあり、さらに前記ビデオセグメントの終わりより前にあるフレームの数を表し、
x2は、この基準フレームの前記パケットロス障害割合を表し、
func1(x1)は、この基準フレームのフレーム全体が失われた、またはフレームヘッダが失われた場合、前記ビデオセグメントに生じる歪み影響係数を表すとともに、func1(x1)は、x1が増加するにつれて増加する必要があり、
func2(x2)は、前記フレームの様々なパケットロス障害割合によって生じる様々な主観的歪み度影響係数を表すとともに、func2(x2)は、x2が増加するにつれて増加する必要があるステップと、
前記ビデオセグメント内の障害のある基準フレームのパケットロス障害歪みを組み合わせて、前記基準フレームの前記パケットロス障害によって生じる前記歪みを得るステップと、
を備えることを特徴とする請求項9に記載の方法。
【請求項11】
前記非基準フレームの前記パケットロス障害によって生じる前記歪みは、以下の式、
Dnon_ref=func(Bdist_percent_i, M)
に従って計算され、
Dnon_refは、非基準フレームのパケットロス障害によって生じる歪みを表し、
Bdist_percent_iは、障害のあるロケーションと人間の目が注目する領域の間の距離を表し、
Mは、パケットロスがある非基準フレームの数を表し、
パケットロスがある非基準フレームの数が多いほど、前記障害のあるロケーションは人間の目が注目する前記領域に近づくとともに前記非基準フレームの前記パケットロス障害は、より大きくなることを特徴とする請求項10に記載の方法。
Dnon_ref=func(Bdist_percent_i, M)
に従って計算され、
Dnon_refは、非基準フレームのパケットロス障害によって生じる歪みを表し、
Bdist_percent_iは、障害のあるロケーションと人間の目が注目する領域の間の距離を表し、
Mは、パケットロスがある非基準フレームの数を表し、
パケットロスがある非基準フレームの数が多いほど、前記障害のあるロケーションは人間の目が注目する前記領域に近づくとともに前記非基準フレームの前記パケットロス障害は、より大きくなることを特徴とする請求項10に記載の方法。
【請求項12】
ビデオコンテンツ時間複雑度を獲得するステップをさらに備える方法であって、
前記フレーム障害歪みパラメータは、前記ビデオコンテンツ時間複雑度が増加するにつれて増加することを特徴とする請求項10に記載の方法。
前記フレーム障害歪みパラメータは、前記ビデオコンテンツ時間複雑度が増加するにつれて増加することを特徴とする請求項10に記載の方法。
【請求項13】
前記基準フレームの前記パケットロス障害によって生じる前記歪みを前記獲得するステップは、
各基準フレームのパケットロス障害によって生じる歪み、
を計算するステップであって、
a1は、定数であるとともに、ビデオの最低の点数を表し、
x1は、この基準フレームより後にあり、さらに前記ビデオセグメントの終わりより前にあるフレームの数を表し、
x2は、この基準フレームの前記パケットロス障害割合を表し、
func1(x1・σ)は、ビット誤りによって伝播するフレームの数および前記ビデオコンテンツ時間複雑度に関連する関数であり、さらにfunc1(x1)は、x1およびσが増加するにつれて増加する必要があり、
func2(x2)は、前記フレームの様々なパケットロス障害割合によって生じる様々な主観的歪み度影響係数を表し、さらにfunc2(x2)は、x2が増加するにつれて増加する必要があるステップと、
前記ビデオセグメント内の障害のある基準フレームのパケットロス障害歪みを組み合わせて、前記基準フレームの前記パケットロス障害によって生じる前記歪みを得るステップと、
を備えることを特徴とする請求項12に記載の方法。
各基準フレームのパケットロス障害によって生じる歪み、
【数2】
a1は、定数であるとともに、ビデオの最低の点数を表し、
x1は、この基準フレームより後にあり、さらに前記ビデオセグメントの終わりより前にあるフレームの数を表し、
x2は、この基準フレームの前記パケットロス障害割合を表し、
func1(x1・σ)は、ビット誤りによって伝播するフレームの数および前記ビデオコンテンツ時間複雑度に関連する関数であり、さらにfunc1(x1)は、x1およびσが増加するにつれて増加する必要があり、
func2(x2)は、前記フレームの様々なパケットロス障害割合によって生じる様々な主観的歪み度影響係数を表し、さらにfunc2(x2)は、x2が増加するにつれて増加する必要があるステップと、
前記ビデオセグメント内の障害のある基準フレームのパケットロス障害歪みを組み合わせて、前記基準フレームの前記パケットロス障害によって生じる前記歪みを得るステップと、
を備えることを特徴とする請求項12に記載の方法。
【請求項14】
前記非基準フレームの前記パケットロス障害によって生じる前記歪みは、以下の式、
に従って計算され、
Dnon_refは、非基準フレームのパケットロス障害によって生じる歪みを表し、
Bdist_percent_iは、障害のあるロケーションと人間の目が注目する領域の間の距離を表し、
Mは、パケットロスがある非基準フレームの数を表し、
σは、前記ビデオコンテンツ時間複雑度を表し、
パケットロス障害を有する非基準フレームの数が多いほど、前記障害のあるロケーションは人間の目が注目する前記領域に近づき、前記ビデオコンテンツ時間複雑度σが大きくなり、さらに歪み値が大きくなることを特徴とする請求項12に記載の方法。
【数3】
Dnon_refは、非基準フレームのパケットロス障害によって生じる歪みを表し、
Bdist_percent_iは、障害のあるロケーションと人間の目が注目する領域の間の距離を表し、
Mは、パケットロスがある非基準フレームの数を表し、
σは、前記ビデオコンテンツ時間複雑度を表し、
パケットロス障害を有する非基準フレームの数が多いほど、前記障害のあるロケーションは人間の目が注目する前記領域に近づき、前記ビデオコンテンツ時間複雑度σが大きくなり、さらに歪み値が大きくなることを特徴とする請求項12に記載の方法。
【請求項15】
ビデオデータ品質評価装置であって、
ビデオデータパケットのパケットヘッダ情報に従ってビデオデータの圧縮歪みパラメータを獲得するように構成された圧縮歪み計算ユニットと、
前記ビデオデータパケットの前記パケットヘッダ情報に従ってフレーム障害歪みパラメータを獲得するように構成されたフレーム障害歪み計算ユニットと、
前記圧縮歪みパラメータおよび前記フレーム障害歪みパラメータに従ってビデオ品質パラメータを計算するように構成された組み合わせユニットと、
を備え、
前記ビデオ品質パラメータは、前記圧縮歪みパラメータと前記フレーム障害歪みパラメータの差であり、
前記フレーム障害歪み計算ユニットは、
前記ビデオデータパケットのパケットヘッダからのビデオパラメータを解析して障害のあるフレームの割合、障害のあるフレームの平均障害度、および障害頻度を導き出すように構成されたパラメータ抽出ユニットと、
前記ビデオデータの前記圧縮歪みパラメータを獲得するように構成された歪み獲得ユニットと、
前記圧縮歪みパラメータ、障害のあるフレームの前記割合、障害のあるフレームの前記平均障害度、および前記障害頻度を使用することによって前記ビデオデータの前記フレーム障害歪みパラメータを計算するように構成された計算ユニットと、
を備え、
前記フレーム障害歪みパラメータは、0から、前記圧縮歪みパラメータと最低品質値の差までの範囲内にあり、
前記ビデオ品質パラメータは、障害のあるフレームの前記割合、障害のあるフレームの前記平均障害度、および前記障害頻度のうちのいずれか1つが増加するにつれて最低品質値まで低下することを特徴とするビデオデータ品質評価装置。
ビデオデータパケットのパケットヘッダ情報に従ってビデオデータの圧縮歪みパラメータを獲得するように構成された圧縮歪み計算ユニットと、
前記ビデオデータパケットの前記パケットヘッダ情報に従ってフレーム障害歪みパラメータを獲得するように構成されたフレーム障害歪み計算ユニットと、
前記圧縮歪みパラメータおよび前記フレーム障害歪みパラメータに従ってビデオ品質パラメータを計算するように構成された組み合わせユニットと、
を備え、
前記ビデオ品質パラメータは、前記圧縮歪みパラメータと前記フレーム障害歪みパラメータの差であり、
前記フレーム障害歪み計算ユニットは、
前記ビデオデータパケットのパケットヘッダからのビデオパラメータを解析して障害のあるフレームの割合、障害のあるフレームの平均障害度、および障害頻度を導き出すように構成されたパラメータ抽出ユニットと、
前記ビデオデータの前記圧縮歪みパラメータを獲得するように構成された歪み獲得ユニットと、
前記圧縮歪みパラメータ、障害のあるフレームの前記割合、障害のあるフレームの前記平均障害度、および前記障害頻度を使用することによって前記ビデオデータの前記フレーム障害歪みパラメータを計算するように構成された計算ユニットと、
を備え、
前記フレーム障害歪みパラメータは、0から、前記圧縮歪みパラメータと最低品質値の差までの範囲内にあり、
前記ビデオ品質パラメータは、障害のあるフレームの前記割合、障害のあるフレームの前記平均障害度、および前記障害頻度のうちのいずれか1つが増加するにつれて最低品質値まで低下することを特徴とするビデオデータ品質評価装置。
【請求項16】
ビデオデータ品質評価装置であって、
ビデオデータパケットのパケットヘッダ情報に従ってビデオデータの圧縮歪みパラメータを獲得するように構成された圧縮歪み計算ユニットと、
前記ビデオデータパケットの前記パケットヘッダ情報に従ってフレーム障害歪みパラメータを獲得するように構成されたフレーム障害歪み計算ユニットと、
前記圧縮歪みパラメータおよび前記フレーム障害歪みパラメータに従ってビデオ品質パラメータを計算するように構成された組み合わせユニットと、
を備え、
前記ビデオ品質パラメータは、前記圧縮歪みパラメータと前記フレーム障害歪みパラメータの差であり、
前記圧縮歪み計算ユニットは、
ビデオストリームのビットレート、フレームレート、およびビデオコンテンツ複雑度を獲得するように構成されたパラメータ抽出ユニットと、
前記ビデオストリームの前記ビットレート、前記フレームレート、前記ビデオコンテンツ複雑度に従って前記圧縮歪みパラメータを計算するように構成された計算ユニットと、
を備え、
前記圧縮歪みパラメータは、前記ビットレートが増加するにつれて最大値まで増加し、また前記ビデオコンテンツ複雑度が増加するにつれて低下し、
或るビットレートの下で、前記圧縮歪みパラメータは、前記フレームレートが増加するにつれて低下することを特徴とするビデオデータ品質評価装置。
ビデオデータパケットのパケットヘッダ情報に従ってビデオデータの圧縮歪みパラメータを獲得するように構成された圧縮歪み計算ユニットと、
前記ビデオデータパケットの前記パケットヘッダ情報に従ってフレーム障害歪みパラメータを獲得するように構成されたフレーム障害歪み計算ユニットと、
前記圧縮歪みパラメータおよび前記フレーム障害歪みパラメータに従ってビデオ品質パラメータを計算するように構成された組み合わせユニットと、
を備え、
前記ビデオ品質パラメータは、前記圧縮歪みパラメータと前記フレーム障害歪みパラメータの差であり、
前記圧縮歪み計算ユニットは、
ビデオストリームのビットレート、フレームレート、およびビデオコンテンツ複雑度を獲得するように構成されたパラメータ抽出ユニットと、
前記ビデオストリームの前記ビットレート、前記フレームレート、前記ビデオコンテンツ複雑度に従って前記圧縮歪みパラメータを計算するように構成された計算ユニットと、
を備え、
前記圧縮歪みパラメータは、前記ビットレートが増加するにつれて最大値まで増加し、また前記ビデオコンテンツ複雑度が増加するにつれて低下し、
或るビットレートの下で、前記圧縮歪みパラメータは、前記フレームレートが増加するにつれて低下することを特徴とするビデオデータ品質評価装置。
【請求項17】
ビデオデータ品質評価装置であって、
ビデオデータパケットのパケットヘッダ情報に従ってビデオデータの圧縮歪みパラメータを獲得するように構成された圧縮歪み計算ユニットと、
前記ビデオデータパケットの前記パケットヘッダ情報に従ってフレーム障害歪みパラメータを獲得するように構成されたフレーム障害歪み計算ユニットと、
前記圧縮歪みパラメータおよび前記フレーム障害歪みパラメータに従ってビデオ品質パラメータを計算するように構成された組み合わせユニットと、
を備え、
前記ビデオ品質パラメータは、前記圧縮歪みパラメータと前記フレーム障害歪みパラメータの差であり、
ビデオコンテンツ時間複雑度を獲得するように構成されたビデオコンテンツ時間複雑度抽出ユニットをさらに備え、
前記フレーム障害歪みパラメータは、前記ビデオコンテンツ時間複雑度が増加するにつれて増加することを特徴とするビデオデータ品質評価装置。
ビデオデータパケットのパケットヘッダ情報に従ってビデオデータの圧縮歪みパラメータを獲得するように構成された圧縮歪み計算ユニットと、
前記ビデオデータパケットの前記パケットヘッダ情報に従ってフレーム障害歪みパラメータを獲得するように構成されたフレーム障害歪み計算ユニットと、
前記圧縮歪みパラメータおよび前記フレーム障害歪みパラメータに従ってビデオ品質パラメータを計算するように構成された組み合わせユニットと、
を備え、
前記ビデオ品質パラメータは、前記圧縮歪みパラメータと前記フレーム障害歪みパラメータの差であり、
ビデオコンテンツ時間複雑度を獲得するように構成されたビデオコンテンツ時間複雑度抽出ユニットをさらに備え、
前記フレーム障害歪みパラメータは、前記ビデオコンテンツ時間複雑度が増加するにつれて増加することを特徴とするビデオデータ品質評価装置。
【請求項18】
ビデオデータ品質評価装置であって、
ビデオデータパケットのパケットヘッダ情報に従ってビデオデータの圧縮歪みパラメータを獲得するように構成された圧縮歪み計算ユニットと、
前記ビデオデータパケットの前記パケットヘッダ情報に従ってフレーム障害歪みパラメータを獲得するように構成されたフレーム障害歪み計算ユニットと、
前記圧縮歪みパラメータおよび前記フレーム障害歪みパラメータに従ってビデオ品質パラメータを計算するように構成された組み合わせユニットと、
を備え、
前記ビデオ品質パラメータは、前記圧縮歪みパラメータと前記フレーム障害歪みパラメータの差であり、
前記フレーム障害歪み計算ユニットは、
前記ビデオデータパケットのパケットヘッダから、ビデオシーケンスの各ビデオセグメント内でビデオセグメント内の各基準フレームのビット誤り伝播による影響を受けるフレームの数および障害割合、ならびに前記ビデオセグメント内のパケットロスがある非基準フレームの数およびパケットロス障害割合を獲得するように構成されたパラメータ抽出ユニットと、
前記ビデオデータの前記圧縮歪みパラメータを獲得するように構成された歪み獲得ユニットと、
前記ビデオセグメント内の各基準フレームのビット誤り伝播による影響を受けるフレームの前記数および前記障害割合を使用することによって、基準フレームのパケットロス障害によって生じる歪みを計算するように構成された基準フレーム障害計算ユニットであって、前記基準フレームの前記パケットロス障害によって生じる前記歪みは、ビット誤り伝播による影響を受けるフレームの前記数と前記障害割合のうちのいずれか1つが増加するにつれて増加する基準フレーム障害計算ユニットと、
パケットロスがある非基準フレームの前記数および前記パケットロス障害割合を使用することによって、非基準フレームのパケットロス障害によって生じる歪みを計算するように構成された非基準フレーム障害計算ユニットと、
前記基準フレームの前記パケットロス障害によって生じる前記歪みと前記非基準フレームの前記パケットロス障害によって生じる前記歪みを組み合わせて、前記フレーム障害歪みパラメータを得るように構成された組み合わせユニットと、
を備えることを特徴とするビデオデータ品質評価装置。
ビデオデータパケットのパケットヘッダ情報に従ってビデオデータの圧縮歪みパラメータを獲得するように構成された圧縮歪み計算ユニットと、
前記ビデオデータパケットの前記パケットヘッダ情報に従ってフレーム障害歪みパラメータを獲得するように構成されたフレーム障害歪み計算ユニットと、
前記圧縮歪みパラメータおよび前記フレーム障害歪みパラメータに従ってビデオ品質パラメータを計算するように構成された組み合わせユニットと、
を備え、
前記ビデオ品質パラメータは、前記圧縮歪みパラメータと前記フレーム障害歪みパラメータの差であり、
前記フレーム障害歪み計算ユニットは、
前記ビデオデータパケットのパケットヘッダから、ビデオシーケンスの各ビデオセグメント内でビデオセグメント内の各基準フレームのビット誤り伝播による影響を受けるフレームの数および障害割合、ならびに前記ビデオセグメント内のパケットロスがある非基準フレームの数およびパケットロス障害割合を獲得するように構成されたパラメータ抽出ユニットと、
前記ビデオデータの前記圧縮歪みパラメータを獲得するように構成された歪み獲得ユニットと、
前記ビデオセグメント内の各基準フレームのビット誤り伝播による影響を受けるフレームの前記数および前記障害割合を使用することによって、基準フレームのパケットロス障害によって生じる歪みを計算するように構成された基準フレーム障害計算ユニットであって、前記基準フレームの前記パケットロス障害によって生じる前記歪みは、ビット誤り伝播による影響を受けるフレームの前記数と前記障害割合のうちのいずれか1つが増加するにつれて増加する基準フレーム障害計算ユニットと、
パケットロスがある非基準フレームの前記数および前記パケットロス障害割合を使用することによって、非基準フレームのパケットロス障害によって生じる歪みを計算するように構成された非基準フレーム障害計算ユニットと、
前記基準フレームの前記パケットロス障害によって生じる前記歪みと前記非基準フレームの前記パケットロス障害によって生じる前記歪みを組み合わせて、前記フレーム障害歪みパラメータを得るように構成された組み合わせユニットと、
を備えることを特徴とするビデオデータ品質評価装置。
【請求項19】
前記基準フレームの前記パケットロス障害によって生じる前記歪みを前記計算するように構成された基準フレーム障害計算ユニットは、
各基準フレームのパケットロス障害によって生じる歪み、
を計算するように構成されている歪み計算ユニットであって、
a1は、定数であるとともに、ビデオの最低の得点を表し、
x1は、この基準フレームより後にあり、さらに前記ビデオセグメントの終わりより前にあるフレームの数を表し、
x2は、この基準フレームのパケットロス障害割合を表し、
func1(x1)は、この基準フレームのフレーム全体が失われた、またはフレームヘッダが失われた場合、前記ビデオセグメントに生じる歪み影響係数を表すとともに、func1(x1)は、x1が増加するにつれて増加する必要があり、
func2(x2)は、前記フレームの様々なパケットロス障害割合によって生じる様々な主観的歪み度影響係数を表すとともに、func2(x2)は、x2が増加するにつれて増加する必要があるユニットと、
前記ビデオセグメント内の障害のある基準フレームのパケットロス障害歪みを組み合わせて、前記基準フレームの前記パケットロス障害によって生じる前記歪みを得る、パケットロス障害歪みを組み合わせユニットと、
を備えることを特徴とする請求項18に記載の装置。
各基準フレームのパケットロス障害によって生じる歪み、
【数4】
a1は、定数であるとともに、ビデオの最低の得点を表し、
x1は、この基準フレームより後にあり、さらに前記ビデオセグメントの終わりより前にあるフレームの数を表し、
x2は、この基準フレームのパケットロス障害割合を表し、
func1(x1)は、この基準フレームのフレーム全体が失われた、またはフレームヘッダが失われた場合、前記ビデオセグメントに生じる歪み影響係数を表すとともに、func1(x1)は、x1が増加するにつれて増加する必要があり、
func2(x2)は、前記フレームの様々なパケットロス障害割合によって生じる様々な主観的歪み度影響係数を表すとともに、func2(x2)は、x2が増加するにつれて増加する必要があるユニットと、
前記ビデオセグメント内の障害のある基準フレームのパケットロス障害歪みを組み合わせて、前記基準フレームの前記パケットロス障害によって生じる前記歪みを得る、パケットロス障害歪みを組み合わせユニットと、
を備えることを特徴とする請求項18に記載の装置。
【請求項20】
前記非基準フレームの前記パケットロス障害によって生じる前記歪みは、以下の式、
Dnon_ref=func(Bdist_percent_i, M)
に従って計算され、
Dnon_refは、非基準フレームのパケットロス障害によって生じる歪みを表し、
Bdist_percent_iは、障害のあるロケーションと人間の目が注目する領域の間の距離を表し、
Mは、パケットロスがある非基準フレームの数を表し、
パケットロスがある非基準フレームの数が多いほど、前記障害のあるロケーションは人間の目が注目する前記領域に近づき、さらに前記非基準フレームの前記パケットロス障害は、より大きくなることを特徴とする請求項19に記載の装置。
Dnon_ref=func(Bdist_percent_i, M)
に従って計算され、
Dnon_refは、非基準フレームのパケットロス障害によって生じる歪みを表し、
Bdist_percent_iは、障害のあるロケーションと人間の目が注目する領域の間の距離を表し、
Mは、パケットロスがある非基準フレームの数を表し、
パケットロスがある非基準フレームの数が多いほど、前記障害のあるロケーションは人間の目が注目する前記領域に近づき、さらに前記非基準フレームの前記パケットロス障害は、より大きくなることを特徴とする請求項19に記載の装置。
【請求項21】
ビデオコンテンツ時間複雑度を獲得するように構成されたビデオコンテンツ時間複雑度抽出ユニットをさらに備え、
前記フレーム障害歪みパラメータは、前記ビデオコンテンツ時間複雑度が増加するにつれて増加することを特徴とする請求項18に記載の装置。
前記フレーム障害歪みパラメータは、前記ビデオコンテンツ時間複雑度が増加するにつれて増加することを特徴とする請求項18に記載の装置。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、参照により全体が本明細書に組み込まれている、2011年4月11日に中華人民共和国国家知識産権局に出願した、「VIDEO DATA QUALITY ASSESSMENT METHOD AND APPARATUS」という名称の中国特許出願第201110090022.8号の優先権を主張するものである。
【0002】
本発明は、デジタル信号処理技術の分野に関し、さらに詳細には、ビデオデータ品質評価方法およびビデオデータ品質評価装置に関する。
【背景技術】
【0003】
ネットワーク技術の発展とともに、ビデオオンデマンド、ネットワークテレビ、およびテレビ電話などのサービスが、ブロードバンドネットワークの主要なサービスとなっており、さらにこれらのサービスは、第3世代(3G、the 3rd Generation)ワイヤレスネットワークの主要なサービスとなる。ビデオ信号の格納プロセス中、または伝送プロセス中に占有されるリソースを減らすために、送信端においてビデオ信号に対して圧縮処理が実行され、さらに、その後、そのビデオ信号が受信端に送信され、さらに受信端が、そのビデオ信号を、伸張処理を介して回復して、さらに、その後、そのビデオ信号を再生する。
【0004】
ネットワークビデオ品質は、伝送チャネルのサービス品質、チャネルパケットロスや遅延などに起因して生じたビデオデータロスにおける様々な位置ロスが、ビデオの主観的な品質に大きな影響を与える、ビデオ符号化/復号端におけるパラメータと伝送チャネルの間の適応条件、ならびにチャネル遅延およびジッタによってもたらされるビデオ再バッファリングまたはビデオジッタなどの多くの複雑な要因によって影響される。ネットワークビデオのサービス品質を確実にするために、ネットワークビデオサービスの品質が監視されて、調整およびメンテナンスを時間内に実行するとともに、ビデオサービスの通常の動作を確実にする、対応する対策がとられるようにする必要がある。
【0005】
ネットワークビデオ品質評価は、ネットワークビデオアプリケーションにおける不可欠で重要な技術である。しかし、人間の目で観察することによって実行される主観的品質評価は、時間とエネルギーを消費し、さらにネットワークビデオアプリケーションの場合、明らかに実行不可能である。最も一般的で客観的なビデオ品質評価方法でさえ、ネットワークビデオのアプリケーション環境には適用可能でない。元の基準ビデオに対する要求の度合いに応じて、従来技術における客観的ビデオ品質評価方法は、一般に、次の3種類、すなわち、完全基準の客観的ビデオ品質評価、低い基準の客観的ビデオ品質評価、および基準のない客観的ビデオ品質評価に分けられる。
【0006】
実際の製品アプリケーションにおいて、アルゴリズムの複雑度が、考慮される必要のある要因である。リアルタイムの監視および評価が、低い計算能力を有する端末デバイス(ネットワークデバイスまたは試験デバイス)上でサポートされ、さらに実行される必要がある。チャネル帯域幅が限られているため、ビデオ受信端は、通常、要求される基準ビデオシーケンスを獲得することができず、さらに、一般に、ネットワークにおいて伝送されるビデオストリームは、基準ビデオなしの品質評価方法を使用することによって評価される必要がある。
【0007】
基準ビデオなしの品質評価モデルは、ネットワーク情報、ネットワークデータパケット、およびビデオストリーム自身の情報を使用することによってビデオストリームの品質を評価することが可能である。ビデオストリームが完全に解析され得る場合、評価は、比較的正確である。しかし、ビデオストリームの解析は、非常に複雑であるため、ビデオ品質評価は、リアルタイムで実行され得ない、または低い計算能力を有する端末デバイス(ネットワークデバイスまたは試験デバイス)に適用可能でない。
【0008】
或るビデオ品質評価方法において、ビデオ品質TOT_MOSpredにおける符号化品質Qualencoding、ビデオ再バッファリングQualbuff、およびネットワークパケットロスQualplの影響が以下のとおり考慮される。TOT_MOSpred=func(Qualencoding, Qualbuff, Qualpl)
【0009】
符号化品質におけるビットストリームxおよび符号化タイプの影響が、以下のとおり考慮される。Qualencoding=c0-c1・e-λ・x
ただし、c0、c1、およびλは、定数であり、さらに異なる符号化フォーマットの下で異なる値を有し得る。
【0010】
ネットワークパケットロス品質は、パケットロス率を使用することによって計算され、さらにスライディングウインドウ内の平均パケットロス率がまず、以下のとおり計算される
【0011】
【数1】
【0012】
最大パケットロス率PLRuおよびPLRlが事前設定され、以下のとおり、スライディングウインドウ内のパケットロス率がPLRuより大きい場合、ビデオ品質が最悪であると考えられ、さらにパケットロス率がPLRlより小さい場合、この時点におけるパケットロスは、ビデオ品質に全く影響を与えないと考えられる。PLRi=min(PLRj, PLRu)であり、さらにPLRi=max(PLRj, PLRl)である。
【0013】
或る期間内のパケットロスの品質は、以下のとおりである。
【0014】
【数2】
【0015】
ビデオ再バッファリングの品質影響における或る期間内のビデオ再バッファリングの回数、再バッファリング持続時間、および初期バッファリング持続時間の影響が考慮され、さらにモデルは、以下のとおりである。Qualbuff=C0+C1・INIT_PERC+C2・BUF_PERC+C3・BUF_FRQ
【0016】
最終的なビデオ品質は、以下のとおりである。TOT_MOSpred=Qualpl-Qualbuff
【0017】
前述のビデオ品質評価方法において、パケットロス率は、RTPパケットのパケットヘッダ情報を使用することによって計算され、さらにビデオ品質は、そのパケットロス率を使用することによって計算され、その結果、複雑度が低減され、この方法においてパケットロス率だけしか考慮されないため、計算は単純であるが、精度は低い。
【発明の概要】
【課題を解決するための手段】
【0018】
本発明の或る実施形態によれば、ビデオデータ品質評価方法が、ビデオデータの圧縮歪みパラメータを獲得すること、
フレーム障害歪みパラメータを獲得すること、および
圧縮歪みパラメータおよびフレーム障害歪みパラメータに従ってビデオ品質パラメータを計算し、ビデオ品質パラメータは、圧縮歪みパラメータとフレーム障害歪みパラメータの差であることを含む。
【0019】
本発明の別の実施形態によれば、ビデオデータ品質評価方法が、ビデオデータの圧縮歪みパラメータを獲得すること、
ビデオデータ再バッファリングパラメータを獲得すること、および
ビデオデータの圧縮歪みパラメータおよびビデオデータ再バッファリングパラメータに従ってビデオ品質パラメータを計算し、ビデオ品質パラメータは、ビデオデータの圧縮歪みパラメータとビデオデータ再バッファリングパラメータの差であることを含む。
【0020】
本発明の別の実施形態によれば、ビデオデータ品質評価装置が、ビデオデータの圧縮歪みパラメータを獲得するように構成された圧縮歪み計算ユニットと、
フレーム障害歪みパラメータを獲得するように構成されたフレーム障害歪み計算ユニットと、
圧縮歪みパラメータおよびフレーム障害歪みパラメータに従ってビデオ品質パラメータを計算するように構成され、ビデオ品質パラメータは、圧縮歪みパラメータとフレーム障害歪みパラメータの差である、組み合わせユニットとを含む。
【0021】
このソリューションにおいて提供されるビデオ品質評価モデルは、ビデオビットストリームペイロードを解析する必要はなく、単にデータパケットのパケットヘッダ情報を使用することによってビデオストリームを評価し、したがって、計算複雑度が低く、さらに評価がリアルタイムで実施され得る。その一方で、ビデオのものであり、一般的な伝送されるデータパケットの特徴とは異なる特徴がさらに考慮に入れられ、したがって、結果は、パケットロス影響計算中にデータパケットのパケットロス率を直接に使用することによって得られる結果と比べて、より正確である。
【0022】
本発明の実施形態における、または従来技術における技術的ソリューションをより明瞭に説明するのに、以下に、それらの実施形態、または従来技術を説明するのに必要な添付の図面を簡単に概説する。以下の説明における添付の図面は、本発明のいくつかの実施形態を示すに過ぎず、当業者は、創造的な取り組みなしに、添付の図面に従って他の図面をさらに得ることができる。
【図面の簡単な説明】
【0023】
【図1a】本発明の実施形態の主要なアプリケーションシナリオを示す図である。
【図1b】本発明の実施形態の主要なアプリケーションシナリオを示す図である。
【図1c】本発明の実施形態の主要なアプリケーションシナリオを示す図である。
【図1d】本発明の実施形態の主要なアプリケーションシナリオを示す図である。
【図1e】本発明の実施形態の主要なアプリケーションシナリオを示す図である。
【図2】本発明によるビデオデータ品質評価方法の計算モデルを示す概略図である。
【図3】本発明によるビデオデータ品質評価方法の或る実施形態を示す図である。
【図4】本発明によるビデオデータの圧縮歪みパラメータを獲得することの或る実施形態を示す概略の流れ図である。
【図5】本発明によるビデオデータ品質評価方法の別の計算モデルを示す概略図である。
【図6】本発明によるビデオデータの圧縮歪みパラメータを獲得することの別の実施形態を示す概略の流れ図である。
【図7】Iフレーム符号化ビットの数に対する符号化レートBrの比である比Rの関係を示す概略図である。
【図8】ビデオセグメントの中のIフレームの符号化ビットの数に対するPフレームの符号化ビットの平均数の比である比Tの関係を示す概略図である。
【図9】本発明によるビデオデータ品質評価方法の別の計算モデルを示す概略図である。
【図10】本発明によるビデオデータ品質評価方法の別の実施形態を示す概略の流れ図である。
【図11】本発明によるビデオデータ品質評価方法の別の計算モデルを示す概略図である。
【図12】本発明によるビデオデータ品質評価方法の別の実施形態を示す概略の流れ図である。
【図13】本発明によるビデオデータ品質評価方法の別の計算モデルを示す概略図である。
【図14】本発明によるビデオデータ品質評価方法の別の計算モデルを示す概略図である。
【図15】本発明によるビデオデータ品質評価方法の別の実施形態を示す概略の流れ図である。
【図16】本発明によるビデオデータ品質評価方法の別の計算モデルを示す概略図である。
【図17】本発明によるビデオデータ品質評価方法の別の計算モデルを示す概略図である。
【図18】本発明による再バッファリングパラメータを獲得することの別の実施形態を示す概略の流れ図である。
【図19】本発明によるビデオデータ品質評価装置の実施形態を示す概略の構造図である。
【図20】本発明によるビデオデータ品質評価装置の別の実施形態を示す概略の構造図である。
【図21】本発明によるフレーム障害歪み計算ユニットの実施形態を示す概略の構造図である。
【図22】本発明による圧縮歪み計算ユニットの実施形態を示す概略の構造図である。
【図23】本発明によるフレーム障害歪み計算ユニットの別の実施形態を示す概略の構造図である。
【発明を実施するための形態】
【0024】
本発明の実施形態における技術的ソリューションを、本発明の実施形態における添付の図面を参照して明瞭に以下説明する。明らかに、説明される実施形態は、本発明の実施形態のすべてではなく、一部分に過ぎない。創造的な取り組みなしに本発明の実施形態に基づいて当業者によって得られる他のすべての実施形態は、本発明の保護範囲に含まれるものとする。
【0025】
基準のないビデオ品質評価モデルが、ネットワーク情報、ネットワークデータパケット、およびビデオストリーム自体の情報を使用することによってビデオストリームの品質を評価することが可能である。ビデオストリームが完全に解析され得る場合、この評価は、比較的正確である。しかし、ビデオストリームを解析することは、非常に複雑であるため、ビデオ品質評価は、リアルタイムで実行され得ず、低い計算能力を有する端末デバイス(ネットワークデバイスまたは試験デバイス)に適用可能でもない。
【0026】
このソリューションにおいて提供されるビデオ品質評価モデルは、ビデオビットストリームペイロードを解析する必要はなく、データパケットのパケットヘッダ情報を使用することだけによってビデオストリームを評価し、したがって、複雑度が大幅に低減され、さらに評価がリアルタイムで実施され得る。その一方で、ビデオのものであり、一般的な伝送されるデータパケットの特徴とは異なる特徴がさらに考慮に入れられ、したがって、結果は、パケットロス影響計算中にデータパケットのパケットロス率を直接に使用することによって得られる結果と比べて、より正確である。
【0027】
図1を参照すると、本発明のいくつかの主要なアプリケーションシナリオが示されている。送信端によって送られたビデオRTPストリームが、伝送ネットワークを通り、さらにビデオ品質監視が、ネットワーク中間ノードおよび受信端において実行され得る。図1(a)におけるビデオ品質監視が、ネットワークにおいて展開され、さらにあらかじめ知られているネットワーク伝送層情報、符号化情報、および端末装置情報が入力され、図1(b)におけるビデオ品質監視が、端末装置において展開され、さらにあらかじめ知られているネットワーク伝送層情報、符号化情報、および端末装置情報が入力され、図1(c)におけるビデオ品質監視が、ネットワークにおいて展開され、さらにネットワーク伝送層情報、あらかじめ知られている符号化情報、ならびに端末装置によって統計を集めることを介して獲得され、さらにプロトコルを介してフィードバックされた情報が入力が入力され、図1(d)におけるビデオ品質監視が、ネットワークにおいて展開されるが、入力されるのは、端末装置によって統計を集めることを介して獲得され、さらにプロトコルを介してフィードバックされた情報、端末装置によって統計を集めることを介して獲得された情報、およびあらかじめ知られている符号化情報であり、さらに図1(e)におけるビデオ品質監視が、端末装置において展開され、さらにあらかじめ知られているネットワーク伝送層情報、端末装置情報、および符号化情報が入力される。
【0028】
このソリューションで提供されるビデオ評価モデルは、3つの部分、すなわち、圧縮歪みモデル、パケットロス歪みモデル、および再バッファリング影響モデルを含む。圧縮歪みは、ビデオ符号化圧縮に起因して生じる歪みであり、さらに圧縮歪み品質は、異なるビデオストリームが、異なる符号化タイプの場合に異なるビットレートに符号化される際の基本品質であり、さらにパケットロス歪みは、ビデオフレームの障害によって生じるビット誤り歪みおよびビット誤り伝播歪みであり、ただし、ビデオフレームの障害は、ネットワークチャネルにおいて伝送されるビデオストリームデータパケットの損失またはジッタに起因する遅延パケットロスによって生じる。歪みの度合いおよび歪み値は、符号化の基本品質に依存し、さらに再バッファリング影響が、再生する端末装置バッファの中のビデオフレームの数が、アンダーフローしきい値未満であるために生じ、このことは、特に、画像の1つのフレームの表示時間が長過ぎることとして表面化する。再バッファリング影響モデルとパケットロス歪みモデルは、独立した2つの部分であり、さらに別々に計算され得る。
【0029】
ビデオデータ品質MOS_Vは、圧縮歪みパラメータQencoding、フレーム障害歪みパラメータQframedistortion、および再バッファリング歪みパラメータQrebufferに関係があり得る。MOS_Vは、以下のとおり表され得る。MOS_V=func(Qencoding, Qframedistortion, Qrebuffer) 式(1)
【0030】
特定のビデオデータ品質は、様々な方法で得られることが可能である。1つの方法では、ビデオ品質パラメータは、圧縮歪みパラメータとフレーム障害歪みパラメータの差であり、別の方法では、ビデオ品質パラメータは、圧縮歪みパラメータとビデオデータ再バッファリングパラメータの差であり、別の方法では、ビデオ品質パラメータは、圧縮歪みパラメータからフレーム障害歪みパラメータを引き、さらにその後、ビデオデータ再バッファリングパラメータを引くことによって得られる差である。つまり、ビデオデータ品質は、以下の式のうちの1つを介して計算される。MOS_V=Qencoding-Qframedistortion
MOS_V=Qencoding-Qrebuffer
MOS_V=Qencoding-Qframedistortion-Qrebuffer
【0031】
図2を参照すると、IPデータパケットのパケットヘッダ情報を使用することによって、さらに事前に獲得されたパラメータ情報も参照して、評価のために要求される直接に入力されるパラメータが推定され、圧縮歪みパラメータおよびパケットロス歪みパラメータが計算され、さらに最終ビデオシーケンス品質が得られる。或る実施形態において、ビデオデータの圧縮歪みパラメータが獲得され、フレーム障害歪みパラメータが獲得され、さらにビデオ品質パラメータが、圧縮歪みパラメータおよびフレーム障害歪みパラメータに従って計算され、ただし、ビデオ品質パラメータは、圧縮歪みパラメータとフレーム障害歪みパラメータの差である。ビデオシーケンス品質は、ビデオデータの圧縮歪みパラメータからフレーム障害歪みパラメータを引くことによって得られる。Qsequence=Qencoding-Qframedistortion 式(2)
【0032】
図3を参照すると、以下を含む、本発明におけるビデオデータ品質評価方法の或る実施形態が示されている。
【0033】
S301 ビデオデータパケットのパケットヘッダから障害のあるフレームの割合、障害のあるフレームの平均障害度、および障害頻度を導き出す。
【0034】
ビデオデータ品質評価方法において、フレーム障害によって生じる歪みが計算される。最初に、フレーム境界が、RTPデータパケットのMarkerビット、またはTSパケットのpayload_unit_start_indicatorビットに従って獲得される必要があり、各ビデオフレームの障害条件が、データパケットのタイムスタンプやシーケンス番号などの情報に従って獲得され、さらに同時に、フレームタイプ(I/IDRフレーム、Pフレーム、Bフレーム、および非I/IDRシナリオ切り換えフレーム)が、フレームサイズ(符号化されたデータ量)に従って推測され、さらに以下の情報が、統計を集めることを介して獲得される。(1)障害のあるフレームの割合(x)：格付けされる必要があるシーケンスの中のフレームの総数に対する障害のあるフレーム(パケットロスがあるフレーム、およびビット誤り伝播による影響を受けるフレームを含む)の割合、
(2)障害のあるフレームの平均障害度(y)：障害のあるフレームの平均障害割合
(3)或る期間内の障害頻度(FLF)：障害頻度は、パケットロスイベントの頻度、つまり、決められた持続時間内のパケットロスイベントの数とも呼ばれ、ただし、パケットロスイベントの歪みは、I/IDRフレームまたはシナリオ切り換えフレームで終わり、一部のアプリケーションシナリオにおいて歪み終了境界を知ることができない場合、隣接する障害のあるフレームが1つの障害に入るようにカウントされ、さらに障害頻度に関して、或る期間内の障害の数についての統計が直接に収集され得る。
【0035】
S302 ビデオデータの圧縮歪みパラメータを獲得する。
【0036】
ビデオデータの圧縮歪みパラメータは、ビデオ符号化圧縮歪みのビデオ基本品質が考慮に入れられることを示し、さらにこのパラメータは、複数の方法を介して獲得されることが可能であり、例えば、従来技術における計算方法が使用されることが可能であり、さらにこの実施形態における後段で説明される方法が使用されることも可能である。
【0037】
S303 圧縮歪みパラメータ、障害のあるフレームの割合、障害のあるフレームの平均障害度、および障害頻度を使用することによってビデオデータのフレーム障害歪みパラメータを計算し、ただし、フレーム障害歪みパラメータは、0から、圧縮歪みパラメータと最低品質値の差までの範囲内にあり、さらにビデオフレーム障害歪みパラメータは、障害のあるフレームの割合、障害のあるフレームの平均障害度、および障害頻度のうちのいずれか1つが増加するにつれて最低品質値まで低下する。
【0038】
或る実施形態において、ビデオデータのフレーム障害歪みパラメータは、以下の式を介して計算される。Qframedistortion=(Qencoding-a1)×f(x, y, FLF) 式(3)
【0039】
式(3)において、a1は、ビデオシーケンスの最低品質を表し(例えば、格付けが5段階の格付けシステムである場合、最低品質は、1であり得る)、f(x, y, FLF)は、障害のあるフレームの割合、障害のあるフレームの平均障害度、および障害頻度によって形成される関数を表し、ただし、この関数は、0≦f(x, y, FLF)<1という関係を満たし、さらにf(x, y, FLF)の値は、障害のあるフレームの割合、障害のあるフレームの平均障害度、および障害頻度のうちのいずれかの変数の値が増加するにつれて増加して、1に無限に近づく。つまり、x、y、またはFLFが小さい場合、歪みは目に見えず、さらにx、y、またはFLFが或る度合いまで増加すると、点数は、最低まで直接に低下する。具体的な計算式は、前述の規則を満たす任意の形態であり得る。f(x, y, FLF, σ)が、x、y、FLF、σによって形成される二次の多項式、またはべき関数の組み合わせもしくは指数関数の組み合わせであり得る。
【0040】
或る実施形態において、f(x, y, FLF)は、以下の式を使用することによって計算され得る。
【0041】
【数3】
【0042】
式(4)において、a1、a4、b4、a5、b5は、定数であり、さらに異なる符号化タイプ、異なるビデオ解像度(および表示倍率)、および異なるビデオコンテンツカテゴリの下で異なる値を有する。特定の物理的意味は、以下のとおり説明される。a1：ビデオシーケンスの最低品質(例えば、格付けが5段階の格付けシステムである場合、最低品質は、1であり得る)を表す。
a4：主観的に許容できるビデオコンテンツ障害割合を表す。
b4：そのビデオコンテンツ障害割合のこのタイプのビデオに向う人間の目の主観的感覚の敏感度を表す。
a5：主観的に許容できる障害頻度を表す。
b5：その障害頻度のこのタイプのビデオに向う人間の目の主観的感覚の敏感度を表す。
【0043】
特に、ビデオコンテンツカテゴリを知ることができない場合、前述のパラメータ値は、統計上のデフォルトの値を使用することが可能である。
【0044】
一部のアプリケーションシナリオにおいて、例えば、端末デバイス(ネットワークデバイスまたは試験デバイス)の計算能力が低過ぎる場合、この実施形態にかかわる各式の演算結果は、テーブルルックアップを介して置き換えられてもよい。
【0045】
他の実施形態において、f(x, y, FLF)は、以下の式を別々に使用することによって計算され得る。f(x, y, FLF)=(a4・(x・y)2+b4・x・y+c4)・(a5・FLF2+b5・FLF+c5) 式(5)
、ただし、a4、b4、c4、a5、b5、c5は、定数であり、
f(x, y, FLF)=(a4・x2+b4・x+c4)・(a5・y2+b5・y+c5)・(a6・FLF2+b6・FLF+c6) 式(6)
、ただし、a4、b4、c4、a5、b5、c5、a6、b6、c6は、定数であり、
【0046】
【数4】
【0047】
または
【0048】
【数5】
【0049】
、ただし、a4、b4、a5、b5は、定数であり、さらに
【0050】
【数6】
【0051】
または
【0052】
【数7】
【0053】
、ただし、a4、b4、a5、b5、a6、b6は、定数である。
【0054】
さらに、一部のアプリケーションシナリオにおいて、H.264プロトコルを介して符号化されたビデオストリームに関して、NALヘッダと関係する情報が解析され得る場合、複雑度は、過度に増大せず、さらにフレームが基準フレームであるかどうかの情報が正確に得られることが可能であり、すると、フレームタイプおよびパケットロス分布条件が、フレームサイズとの関係でより正確に推測され得る。
【0055】
このソリューションにおいて提供されるビデオ品質評価モデルは、ビデオビットストリームペイロードを解析する必要はなく、データパケットのパケットヘッダ情報を使用することだけによってビデオストリームを評価し、したがって、複雑度が大幅に低減され、さらに評価がリアルタイムで実施され得る。その一方で、ビデオのものであり、一般的な伝送されるデータパケットの特徴とは異なる特徴がさらに考慮に入れられ、したがって、結果は、パケットロス影響計算中にデータパケットのパケットロス率を直接に使用することによって得られる結果と比べて、より正確である。
【0056】
図4を参照すると、以下を含む、ビデオデータの圧縮歪みパラメータを獲得することの実施形態が示されている。
【0057】
S401 ビデオストリームのビットレートおよびフレームレートを獲得する。
【0058】
符号化タイプ、ビデオ解像度(および表示倍率)、およびビデオコンテンツカテゴリが知られている場合、ビデオストリームのビットレートおよびフレームレートが、毎秒のデータパケットのデータ量やタイムスタンプなどの情報に従って計算され、またはチャネル情報伝送の様態で獲得され得る。
【0059】
S402 ビデオストリームのビットレートおよびフレームレートに従ってビデオ圧縮歪みパラメータを計算し、ただし、圧縮歪みパラメータは、ビットレートが増加するにつれて最大値まで増加し、さらに或るビットレートの下で、圧縮歪みパラメータは、フレームレートが増加するにつれてわずかに低下する。
【0060】
或る実施形態において、ビデオ圧縮歪みパラメータは、以下の式に従って計算される。
【0061】
【数8】
【0062】
式(9)で、Frは、フレームレートを表し、Brは、ビットレートを表し、a1、a2、a3は、定数であり、さらに異なる符号化タイプ、異なるビデオ解像度(および表示倍率)、および異なるビデオコンテンツカテゴリの下で異なる値を有する。例えば、ビデオ圧縮歪みパラメータは、5段階の格付けシステムを採用し、a1は、一般に1であり、さらにa2は、解像度および表示倍率に関係する。一般に、解像度が小さいほど、a2は小さく、さらに解像度が大きくなると、a2は、4に近づき得る、または4と等しくなり得る。a3の値は、主に、func(Fr, Br)につれて変化し、さらに符号化タイプおよびビデオ解像度に特に関係する。特定の物理的な意味は、以下のとおり説明される。a1：ビデオシーケンスの最低品質を表し(例えば、格付けが5段階の格付けシステムである場合、最低品質は、1であり得る)、
a1+a2：ビデオシーケンスが達し得る最高の品質を表し、さらにa1+a2の値は、解像度(および表示倍率)に関係し(例えば、格付けが5段階の格付けシステムである場合、最高の品質は、5であり得る)、
a3：特定の符号化タイプ、特定のビデオ解像度(および表示倍率)、特定のフレームレート、および特定のビデオコンテンツカテゴリの下における圧縮歪み低下係数を表し、
func(Fr, Br)：不定のフレームレートの下でビットレートに対して行われる調整であり、ただし、func(Fr, Br)は、Brが増加するにつれて増加するとともに、Frが低下するにつれて増加し、フレームレートが或る特定のフレームレートの1/2に低下した場合、同一のビットレートの下で符号化されたビデオ単一フレームの品質は向上するが、ビデオ品質は、時間領域歪みのために低下し、この式は、線形モデルであっても、非線形モデルであっても、線形モデルと非線形モデルの組み合わせであってもよい。
【0063】
特に、ビデオコンテンツカテゴリを知ることができない場合、前述のパラメータ値は、統計上のデフォルトの値(例えば様々な種類のパラメータ値の平均、または或る特定の種類のパラメータ値)を使用することが可能である。
【0064】
一部のアプリケーションシナリオにおいて、例えば、端末デバイス(ネットワークデバイスまたは試験デバイス)の計算能力が低過ぎる場合、この実施形態にかかわる各式の演算結果は、テーブルルックアップを介して置き換えられてもよい。
【0065】
図5を参照すると、ビデオコンテンツカテゴリ情報が、前もって獲得され得ない場合、またはカテゴリが十分に正確ではない場合、より正確な圧縮歪み品質を得るために、様々なビデオコンテンツを正確に表すビデオコンテンツ複雑度(λによって表され、この実施形態において与えられるビデオコンテンツ複雑度は、ビデオ符号化の複雑さの度合いを表すのに使用され、さらにビデオの時間複雑度および空間的複雑度、つまり、ビデオのコンテンツ複雑度に関する一様な記述子であり、高い時間複雑度とも呼ばれる激しい動きと、高い空間的複雑度とも呼ばれる豊かな空間の詳細とを有するビデオのコンテンツ複雑度は、比較的高い一方で、低い時間複雑度とも呼ばれる穏やかな動きと、低い空間的複雑度とも呼ばれる単純な空間の詳細とを有するビデオのコンテンツ複雑度は、比較的低い)がまず、計算されることが可能であり、次に、圧縮歪みパラメータの第1の実施形態のモデルに関する計算が実行される。
【0066】
図6を参照すると、以下を含む、ビデオデータの圧縮歪みパラメータを獲得することの或る実施形態が示されている。
【0067】
S601 ビデオストリームのビットレートおよびフレームレートを獲得する。
【0068】
符号化タイプ、ビデオ解像度(および表示倍率)、およびビデオコンテンツカテゴリが知られている事例において、ビデオストリームのビットレートおよびフレームレートは、毎秒のデータパケットのデータ量やタイムスタンプなどの情報に従って計算され、またはチャネル情報伝送の様態で獲得され得る。
【0069】
S602 ビデオコンテンツ複雑度を獲得する。
【0070】
S603 ビデオストリームのビットレート、フレームレート、およびビデオコンテンツ複雑度に従ってビデオ圧縮歪みパラメータを計算し、ただし、圧縮歪みパラメータは、ビットレートが増加するにつれて最大値まで増加し、さらに或るビットレートの下で、圧縮歪みパラメータは、フレームレートが増加するにつれてわずかに低下し、さらにビデオコンテンツ複雑度が増加するにつれて低下する。
【0071】
或る実施形態において、ビデオ圧縮歪みパラメータは、以下の式に従って計算される。
【0072】
【数9】
【0073】
数(10)において、a1、a2は、定数であり、さらに詳細は、圧縮歪みパラメータの第1の実施形態における詳細と同一である。func(λ)は、ビデオコンテンツ複雑度に関係する関数であり、この関数の値は、λが増加するにつれて増加し、ただし、特定の提示形態は、線形形態であっても、非線形形態であっても、線形形態と非線形形態の組み合わせであってもよい。
【0074】
ビデオストリームにおけるビデオコンテンツ複雑度λが変更されると、類似したλ値を有する隣接する複数のビデオセグメント(ビット誤り終了境界で分けられ、さらに、一般に、1つのGOPが1つのビデオセグメントである)におけるλの値の平均が、計算のために使用され、さらにビデオストリーム全体の点数を得る組み合わせが、さらに実行される。
【0075】
具体的には、ビデオコンテンツ複雑度を計算するための2つの方法が存在し得る。
【0076】
第1の方法において、大量のビットストリームデータに対する統計解析実験の後、Iフレーム符号化ビットの数RI(または複数のビデオセグメントのIフレーム符号化ビットの平均数)に対する符号化レートBrの比Rが、或る程度、ビデオコンテンツの特徴を反映し得ることが見出される。R=Br/Rr 式(11)
【0077】
図7を参照すると、一般に、Rの値は、動きが次第に激しくなるシーケンスの中で次第に大きくなり、Rの値は、空間的複雑度が次第に高くなるシーケンスの中で次第に小さくなり、さらに比較的穏やかな動きと、低い空間的複雑度とを有するシーケンスの中のRの値は、前述の2つの条件における値の中間にあるとともに、比較的高い空間的複雑度を有するシーケンスの中のRの値に近い。さらに、Rの値およびビットレートは、ほぼ線形の規則関係を示す。
【0078】
前述の規則によれば、しきい値αが設定され、さらにRとαの差の絶対値が、ビデオコンテンツ複雑度を表すのに使用され、ただし、しきい値αとビットレートBrは、線形関係を示し、さらにαの値は、比較的穏やかな動きと、低い空間的複雑度とを有するシーケンスの中のRの値に近い。
【0079】
【数10】
【0080】
特に、フレームレートFrとGOP長が様々な組み合わせを有する場合、λを計算するのにフレームレートおよびGOP長を一緒に加えることが考慮されることも可能である。
【0081】
第2の方法において、大量のビットストリームデータに対する統計解析実験の後、ビデオセグメントの中のIフレーム符号化ビットRIの数(または複数のビデオセグメントのIフレーム符号化ビットの平均数)に対するPフレーム符号化ビットRPの平均数の比Tが、或る程度、ビデオコンテンツの特徴を反映し得ることが見出される。T=RP/RI 式(13)
【0082】
図8を参照すると、一般に、Tの値は、動きが次第に激しくなるシーケンスの中で次第に大きくなり、Tの値は、空間的複雑度が次第に高くなるシーケンスの中で次第に小さくなり、さらに比較的穏やかな動きと、低い空間的複雑度とを有するシーケンスの中のTの値は、前述の2つの条件における値の中間にあるとともに、比較的高い空間的複雑度を有するシーケンスの中のTの値に近い。さらに、Tの値およびビットレートは、ほぼ線形の規則関係を示す。
【0083】
前述の規則によれば、しきい値βが設定され、さらにTとβの差の絶対値が、ビデオコンテンツ複雑度を表すのに使用され、ただし、しきい値βとビットレートBrは、線形関係を示し、さらにβの値は、比較的穏やかな動きと、低い空間的複雑度とを有するシーケンスの中のTの値に近い。
【0084】
【数11】
【0085】
特に、フレームレートFrとGOP長が様々な組み合わせを有する場合、λを計算するのにフレームレートおよびGOP長を一緒に加えることが考慮されることも可能である。
【0086】
特に、一部のアプリケーションシナリオにおいて、ビデオコンテンツ複雑度(λ)が、チャネル情報伝送によって獲得され得る場合、計算プロセスは、省略されてもよく、さらに圧縮歪み品質は、この実施形態において説明されるモデル式を直接に使用することによって正確に計算される。
【0087】
一部のアプリケーションシナリオにおいて、例えば、端末デバイス(ネットワークデバイスまたは試験デバイス)の計算能力が低過ぎる場合、この実施形態にかかわる各式の演算結果は、テーブルルックアップを介して置き換えられてもよい。
【0088】
図9を参照すると、ビデオコンテンツカテゴリ情報が、前もって獲得され得ない場合、またはカテゴリが十分に正確ではない場合、より正確なパケットロス歪み品質を得るために、様々なビデオコンテンツを正確に表すビデオコンテンツ時間複雑度(σによって表され、この実施形態において与えられるビデオコンテンツ時間複雑度は、ビデオシーケンスの動きの強度を表すのに使用され、動きが激しいほど、ビデオコンテンツ時間複雑度は高く、さらに動きが穏やかであるほど、ビデオコンテンツ時間複雑度は低い)がまず、計算されることが可能であり、次に、図3に対応する実施形態におけるパケットロス歪みモデルに関する計算が実行される。
【0089】
図10を参照すると、以下を含む、本発明におけるビデオデータ品質評価方法の別の実施形態が示されている。
【0090】
S1001 ビデオデータパケットのパケットヘッダから障害のあるフレームの割合、障害のあるフレームの平均障害度、障害頻度、およびビデオコンテンツ時間複雑度を導き出す。
【0091】
ビデオデータ品質評価方法において、フレーム障害によって生じる歪みが計算される。最初に、フレーム境界が、RTPデータパケットのMarkerビット、またはTSパケットのpayload_unit_start_indicatorビットに従って獲得される必要があり、各ビデオフレームの障害条件が、データパケットのタイムスタンプやシーケンス番号などの情報に従って獲得され、さらに同時に、フレームタイプ(I/IDRフレーム、Pフレーム、Bフレーム、および非I/IDRシナリオ切り換えフレーム)が、フレームサイズ(符号化されたデータ量)に従って推測され、さらに以下の情報が、統計を集めることを介して獲得される。(1)障害のあるフレームの割合(x)：格付けされる必要があるシーケンスの中のフレームの総数に対する障害のあるフレーム(パケットロスがあるフレーム、およびビット誤り伝播による影響を受けるフレームを含む)の数の割合、
(2)障害のあるフレームの平均障害度(y)：障害のあるフレームの平均障害割合
(3)或る期間内の障害頻度(FLF)：障害頻度は、パケットロスイベントの頻度、つまり、決められた持続時間内のパケットロスイベントの数とも呼ばれ、ただし、パケットロスイベントの歪みは、I/IDRフレームまたはシナリオ切り換えフレームで終わり、一部のアプリケーションシナリオにおいて歪み終了境界を知ることができない場合、隣接する障害のあるフレームが1つの障害に入るようにカウントされ、さらに障害頻度に関して、或る期間内の障害の数についての統計が直接に収集され得る。
【0092】
ビデオコンテンツ時間複雑度σが、以下の2つの方法を使用することによって計算を介して獲得され得る。
【0093】
【数12】
【0094】
、ただし、c4、c5は、定数である。
【0095】
特に、フレームレートFrとGOP長が様々な組み合わせを有する場合、σを計算するのにフレームレートおよびGOP長を一緒に加えることが考慮されることも可能である。
【0096】
S1002 ビデオデータの圧縮歪みパラメータを獲得する。
【0097】
ビデオデータの圧縮歪みパラメータは、ビデオ符号化圧縮歪みのビデオ基本品質が考慮に入れられることを示し、さらにこのパラメータは、複数の方法を介して獲得されることが可能であり、例えば、従来技術における計算方法が使用されることが可能であり、さらにこの実施形態における後段で説明される方法が使用されることも可能である。
【0098】
S1003 圧縮歪みパラメータ、障害のあるフレームの割合、障害のあるフレームの平均障害度、障害頻度、およびビデオコンテンツ時間複雑度を使用することによってビデオデータのフレーム障害歪みパラメータを計算し、ただし、フレーム障害歪みパラメータは、0から、圧縮歪みパラメータと最低品質値の差までの範囲内にあり、さらにビデオフレーム障害歪みパラメータは、障害のあるフレームの割合、障害のあるフレームの平均障害度、および障害頻度のうちのいずれか1つが増加するにつれて最低品質値まで低下し、さらにビデオコンテンツ時間複雑度が増加するにつれて増加する。ビデオシーケンスの品質は、ビデオデータの圧縮歪みパラメータからフレーム障害歪みパラメータを引くことによって得られる。Qsequence=Qencoding-Qframedistortion 式(16)
【0099】
或る実施形態において、ビデオデータのフレーム障害歪みパラメータは、以下の式を使用することによって計算される。Qframedistortion=(Qencoding-a1)×f(x, y, FLF, σ) 式(17)
【0100】
式(17)において、a1は、ビデオシーケンスの最低品質を表し(例えば、格付けが5段階の格付けシステムである場合、最低品質は、1であり得る)、f(x, y, FLF, σ)は、障害のあるフレームの割合、障害のあるフレームの平均障害度、障害頻度、およびビデオコンテンツ複雑度によって形成される関数を表し、ただし、この関数は、0≦f(x, y, FLF, σ) ≦1という関係を満たし、さらにf(x, y, FLF, σ)の値は、障害のあるフレームの割合、障害のあるフレームの平均障害度、および障害頻度のうちのいずれかの変数の値が増加するにつれて増加して、1に無限に近づき、さらにビデオコンテンツ複雑度が増加するにつれて増加する。つまり、x、y、またはFLFが小さい場合、歪みは目に見えず、ビデオコンテンツ複雑度が低いほど、歪みは目立たない一方で、x、y、またはFLFが或る度合いまで増加すると、点数は、最低まで直接に低下する。ビデオコンテンツ時間複雑度が高いほど、歪みはより容易に見出され得る。
【0101】
或る実施形態において、f(x, y, FLF, σ)は、以下の式を使用することによって計算される。
【0102】
【数13】
【0103】
式(18)において、a1、b4、b5は、定数であり、さらに異なる符号化タイプ、異なるビデオ解像度(および表示倍率)、および異なるビデオコンテンツカテゴリの下で異なる値を有する。func1(σ)およびfunc2(σ)は、ビデオコンテンツ時間複雑度に関係する関数であり、さらにfunc1(σ)およびfunc2(σ)の値は、σの値が増加するにつれて減少し、ただし、特定の提示形態は、線形形態であっても、非線形形態であっても、線形形態と非線形形態の組み合わせであってもよい。a1：ビデオシーケンスの最低品質を表し(例えば、格付けが5段階の格付けシステムである場合、最低品質は、1であり得る)、
b4：そのビデオコンテンツ障害割合のこのタイプのビデオに向う人間の目の主観的感覚の敏感度を表し、
b5：その障害頻度のこのタイプのビデオに向う人間の目の主観的感覚の敏感度を表す。
【0104】
特に、一部のアプリケーションシナリオにおいて、ビデオコンテンツ時間複雑度(σ)が、チャネル情報伝送によって獲得され得る場合、計算プロセスは、省略されてもよく、さらにパケットロス歪み品質は、この実施形態において説明されるモデル式を直接に使用することによって正確に計算される。
【0105】
一部のアプリケーションシナリオにおいて、例えば、端末デバイス(ネットワークデバイスまたは試験デバイス)の計算能力が低過ぎる場合、この実施形態にかかわる各式の演算結果は、テーブルルックアップを介して置き換えられてもよい。
【0106】
様々な実施形態において、f(x, y, FLF, σ)は、以下の式を別々に使用することによって計算され得る。f(x, y, FLF, σ)=(a4・(x・y)2+b4・x・y+c4)・(a5・FLF2+b5・FLF+c5)・func(σ) 式(19)
、ただし、a4、b4、c4、a5、b5、c5は、定数であり、さらに異なる符号化タイプ、異なるビデオ解像度(および表示倍率)、および異なるビデオコンテンツカテゴリの下で異なる値を有し、func(σ)は、ビデオコンテンツ時間複雑度に関係する関数であり、さらにfunc(σ)の値は、σの値が増加するにつれて増加し、さらに特定の提示形態は、線形形態であっても、非線形形態であっても、線形形態と非線形形態の組み合わせであってもよい。
f(x, y, FLF, σ)=(a4・x2+b4・x+c4)・(a5・y2+b5・y+c5)・(a6・FLF2+b6・FLF+c6)・func(σ) 式(20)
、ただし、a4、b4、c4、a5、b5、c5、a6、b6、c6は、定数であり、さらに異なる符号化タイプ、異なるビデオ解像度(および表示倍率)、および異なるビデオコンテンツカテゴリの下で異なる値を有し、func(σ)は、ビデオコンテンツ時間複雑度に関係する関数であり、さらにfunc(σ)の値は、σの値が増加するにつれて増加し、さらに特定の提示形態は、線形形態であっても、非線形形態であっても、線形形態と非線形形態の組み合わせであってもよい。
【0107】
【数14】
【0108】
または
【0109】
【数15】
【0110】
、ただし、b4、b5は、定数であり、さらに異なる符号化タイプ、異なるビデオ解像度(および表示倍率)、および異なるビデオコンテンツカテゴリの下で異なる値を有し、func1(σ)およびfunc2(σ)は、ビデオコンテンツ時間複雑度に関係する関数であり、さらにfunc1(σ)およびfunc2(σ)の値は、σの値が増加するにつれて減少し、さらに特定の提示形態は、線形形態であっても、非線形形態であっても、線形形態と非線形形態の組み合わせであってもよく、さらに
【0111】
【数16】
【0112】
または
【0113】
【数17】
【0114】
ただし、b4、b5、b6は、定数であり、さらに異なる符号化タイプ、異なるビデオ解像度(および表示倍率)、および異なるビデオコンテンツカテゴリの下で異なる値を有し、func1(σ)、func2(σ)、およびfunc3(σ)は、ビデオコンテンツ時間複雑度に関係する関数であり、さらにfunc1(σ)、func2(σ)、およびfunc3(σ)の値は、σの値が増加するにつれて減少し、さらに特定の提示形態は、線形形態であっても、非線形形態であっても、線形形態と非線形形態の組み合わせであってもよい。
【0115】
さらに、一部のアプリケーションシナリオにおいて、H.264プロトコルを介して符号化されたビデオストリームに関して、NALヘッダと関係する情報が解析され得る場合、複雑度は、過度に増大せず、さらにフレームが基準フレームであるかどうかの情報が正確に得られることが可能であり、すると、フレームタイプおよびパケットロス分布条件が、フレームサイズとの関係でより正確に推測され得る。
【0116】
このソリューションにおいて提供されるビデオ品質評価モデルは、ビデオビットストリームペイロードを解析する必要はなく、データパケットのパケットヘッダ情報を使用することだけによってビデオストリームを評価し、したがって、複雑度が大幅に低減され、さらに評価がリアルタイムで実施され得る。その一方で、ビデオのものであり、一般的な伝送されるデータパケットの特徴とは異なる特徴がさらに考慮に入れられ、したがって、結果は、パケットロス影響計算中にデータパケットのパケットロス率を直接に使用することによって得られる結果と比べて、より正確である。
【0117】
図11を参照すると、データパケットのパケットヘッダ情報を使用することによって、さらに事前に獲得されたパラメータ情報を参照して、評価のために要求される直接入力パラメータが一緒に推測され、圧縮歪みモデルおよびパケットロス歪みモデルが計算され、さらに最終ビデオシーケンス品質が得られる。モデルの入力パラメータは、前述の実施形態における長期間におけるビデオシーケンスまたは統計情報ではなく、短いビデオセグメント(ビット誤り終了フレームを境界とし、さらに、一般に、GOPである)の特定の障害情報である。最初に、ビデオセグメントを分けるビット誤り終了境界(例えば、I/IDRフレームまたはシナリオ切り換えフレーム)が検出され、さらに、その後、そのビデオセグメントに対して品質評価が実行されて、長期間におけるビデオストリームのビデオシーケンスまたは品質を得るようにする。
【0118】
図12を参照すると、以下を含む、本発明のビデオデータ品質評価方法の別の実施形態が示されている。
【0119】
S1201 ビデオシーケンスの各ビデオセグメント内でビデオセグメント内の各基準フレームのビット誤り伝播による影響を受けるフレームの数および障害割合、ならびにビデオセグメント内のパケットロスがある非基準フレームの数およびパケットロス障害割合を獲得する。
【0120】
パケットロス歪みモデルは、実際には、フレーム障害によってビデオセグメントに生じる歪みを計算する。ビデオセグメントは、ビデオシーケンス全体の短いセクションであり、さらに固定長または可変長を有するセクションであることが可能であり、さらに、一般に、GOPである。最初に、フレーム境界が、RTPデータパケットのMarkerビット、またはTSパケットのpayload_unit_start_indicatorビットに従って獲得される必要があり、各ビデオフレームのパケットロス障害条件が、データパケットのタイムスタンプやシーケンス番号などの情報に従って獲得され、さらに同時に、フレームタイプ(I/IDRフレーム、Pフレーム、Bフレーム、および非I/IDRシナリオ切り換えフレーム)が、さらに/またはこれらのフレームが基準フレームであるかどうかが、フレームサイズ(符号化されたデータ量)に従って推測されて、ビデオセグメント境界が得られる。以下の情報が、統計を集めることを介して獲得される。(1)ビデオセグメント内の各基準フレームのロケーション(ビット誤り伝播による影響を受けるフレームの数)、および障害割合、および
(2)ビデオセグメント内のパケットロスがある非基準フレームの数およびパケットロス障害割合
【0121】
S1202 ビデオセグメント内の各基準フレームのビット誤り伝播による影響を受けるフレームの数および障害割合を使用することによって、基準フレームのパケットロス障害によって生じる歪みを計算し、ただし、基準フレームのパケットロス障害によって生じる歪みは、ビット誤り伝播による影響を受けるフレームの数と障害割合のうちのいずれか1つが増加するにつれて増加する。
【0122】
或るビデオセグメント内の或る基準フレームがパケットロスを有する場合、そのビデオセグメントに対する影響は、圧縮歪みモデル、つまり、圧縮歪みパラメータ、そのビデオセグメント内のその基準フレームの相反位置(reciprocal position)(ビット誤りによって伝播するフレームの数)、および基準フレームのパケットロス障害割合によって計算される基本点数(Qencoding)によって主に算出される。特定のモデル式は、以下のとおりである。
【0123】
【数18】
【0124】
式(23)で、Qencoding_iは、第iのビデオセグメントの圧縮歪みパラメータであり、a1は、定数であるとともに、ビデオの最低の点数を表し、x1は、この基準フレームより後にあり、さらにビデオセグメントの終わりより前にあるフレームの数、つまり、ビット誤りによって伝播するフレームの数を表し、x2は、この基準フレームのパケットロス障害割合を表し、func1(x1)は、この基準フレームのフレーム全体が失われた、またはフレームヘッダが失われた場合、ビデオセグメントに生じる歪み影響係数を表し、さらにfunc2(x2)は、フレームの様々なパケットロス障害割合によって生じる様々な主観的歪み度影響係数を表す。
【0125】
func1(x1)は、x1が増加するにつれて増加する必要があり、func1(x1)のモデルは、非線形であっても、線形であってもよく、さらに以下の式が例とされる。
【0126】
【数19】
【0127】
式(24)において、a11、b11は、定数である。当然、func1(x1)は、前述の式とは異なる別の線形形態と非線形形態の組み合わせであることも可能である。
【0128】
func2(x2)は、x2が増加するにつれて増加する必要があり、func2(x2)のモデルは、非線形であっても、線形であってもよく、さらに以下の式が例とされる。
【0129】
【数20】
【0130】
式(25)において、a12、b12、c12、d12は、定数である。無論、func2(x2)は、前述の式とは異なる別の線形形態と非線形形態の組み合わせであることも可能である。
【0131】
ビデオセグメントの中の複数の基準フレームにパケットロスがある場合、そのビデオセグメントに対する影響要素には、ビデオセグメント上の各基準フレームのパケットロス障害の主観的歪み度(Dref_i)、およびパケットロス障害を有する基準フレームの数(N)が主に含まれる。特定の式は、以下のとおりである。Dref=func(Dref_i, N) 式(26)
【0132】
パケットロス障害を有するフレームの数Nが増加するにつれて、パケットロス障害を有する各基準フレームに関して計算される歪み値Dref_iが次第に大きくなると、前述の式に従って計算されるDrefの値も次第に大きくなる。特定のモデルは、線形であっても、非線形であってもよく、さらに、当然、線形モデルと非線形モデルの組み合わせであってもよい。
【0133】
S1203 パケットロス障害を有する非基準フレームの数およびパケットロス障害割合を使用することによって、非基準フレームのパケットロス障害によって生じる歪みを計算する。
【0134】
ビデオセグメント内の1つまたは複数の非基準フレームにパケットロスがある場合、そのビデオセグメント上の影響要素には、パケットロス障害を有する非基準フレームの数(M)、および非基準フレームのパケットロス障害度(Bdist_percent_i)が主に含まれる。特定のモデル式は、以下のとおりである。Dnon_ref=func(Bdist_percent_i, M) 式(27)
【0135】
前述の式において、Bdist_percent_iは、障害のあるロケーションと人間の目が注目する領域の間の距離を表し、Mは、パケットロスがある非基準フレームの数を表し、パケットロス障害を有する非基準フレームの数が多いほど、障害のあるロケーションは人間の目が注目する領域に近づくとともに、歪み値がより大きくなる。特定のモデルは、線形であっても、非線形であってもよく、さらに、当然、線形モデルと非線形モデルの組み合わせであってもよい。
【0136】
S1204 基準フレームのパケットロス障害によって生じる歪みと、非基準フレームのパケットロス障害によって生じる歪みを組み合わせて、パケットロス(フレーム障害)によって生じる歪み(Dsegment)を獲得し、ただし、この歪みは、ビデオフレーム障害歪みパラメータ(Qframedistortion)であり、さらにビデオセグメントの品質Qsegmentが、圧縮歪みパラメータ(Qencoding)からビデオフレーム障害歪みパラメータを引くことによって得られる。Qframedistortion-Dsegment 式(28)
Qsegment=Qencoding-Dsegment 式(29)
【0137】
ビデオフレーム障害歪みパラメータは、基準フレームのパケットロス障害によって生じる歪み(Dref)、および非基準フレームのパケットロス障害によって生じる歪み(Dnon_ref)を使用することによる計算を介して得られる。Dsegment=func(Dref, Dnon_ref) 式(30)
【0138】
基準フレームのパケットロス障害によって生じる歪みは、ビデオセグメントに対してより大きい影響を与える一方で、非基準フレームのパケットロス障害によって生じる歪みは、ビデオセグメントに対してより小さい影響を与える。前述の式の特定の形態が、様々なアプリケーションシナリオに従って、または加重平均もしくは非線形組み合わせを介する符号化の様態に従って獲得され得る。
【0139】
特に、ビデオコンテンツカテゴリを知ることができない場合、この実施形態において説明されるパラメータ値は、統計上のデフォルトの値(例えば、様々な種類のパラメータ値の平均、または特定の種類のパラメータ値)を使用することが可能である。
【0140】
一部のアプリケーションシナリオにおいて、例えば、端末デバイス(ネットワークデバイスまたは試験デバイス)の計算能力が低過ぎる場合、この実施形態にかかわる各式の演算結果は、テーブルルックアップを介して置き換えられてもよい。
【0141】
前述の実施形態において、ビデオデータの圧縮歪みパラメータは、ビデオ符号化圧縮歪みのビデオ基本品質が考慮に入れられることを示し、さらにこのパラメータは、複数の方法を介して得られることが可能であり、例えば、従来技術の計算方法が使用されることが可能であり、さらに前述の実施形態において述べた方法が使用されることも可能である。例えば、図4に対応する方法、および図6に対応する方法が、使用されることも可能である。
【0142】
図13および図14を参照すると、ビデオコンテンツカテゴリ情報が、前もって獲得され得ない場合、またはカテゴリが十分に正確ではない場合、より正確なパケットロス歪み品質を得るために、様々なビデオコンテンツを正確に表すビデオコンテンツ時間複雑度(計算方法は、図10に対応する実施形態において説明される方法と同一である)がまず、計算されることが可能であり、次に、図12に対応する実施形態におけるパケットロス歪みモデルに関する計算が実行される。同時に、圧縮歪みモデルが、第1の実施形態において述べたモデルを使用することによって計算されることが可能であり、さらに特定のパラメータ値は、統計上のデフォルトの値を使用することが可能である。
【0144】
ビデオフレーム障害歪みパラメータは、ビデオコンテンツ時間複雑度が増加するにつれて増加する。ビデオコンテンツ時間複雑度の影響が、基準フレームおよび非基準フレームのパケットロス障害によって生じる歪みに加えられ、基準フレームのパケットロス障害によって生じる歪みは、ビデオコンテンツ時間複雑度が増加するにつれて増加し、さらに非基準フレームのパケットロス障害によって生じる歪みもまた、ビデオコンテンツ時間複雑度が増加するにつれて増加する。
【0145】
基準フレームのパケットロス障害によって生じる歪みに対するビデオコンテンツ時間複雑度σの影響は、以下のとおり表現される。
【0146】
【数21】
【0147】
式(31)で、a1は、定数であるとともに、ビデオの最低の得点を表し、さらにfunc1(x1, σ)は、特定の形態が以下のとおりであり得る、ビット誤りによって伝播するフレームの数およびビデオコンテンツ時間複雑度に関連する関数である。
【0148】
【数22】
【0149】
式(32)で、a11、b11は、定数であり、func(σ)は、func1(x1, σ)が、σが増加するにつれて増加することが確実にされ得る限り、線形モデルであっても、非線形モデルであってもよく、さらに線形モデルと非線形モデルの組み合わせであってもよい。また、func1(x1, σ)は、他の形態をとることも可能である。
【0150】
非基準フレームのパケットロス障害によって生じる歪みに対するビデオコンテンツ時間複雑度σの影響は、以下のとおり表現される。
【0151】
【数23】
【0152】
前述の式において、パケットロスがある非基準フレームの数が多いほど、障害のあるロケーションは人間の目が注目する領域に近づき、ビデオコンテンツ時間複雑度σが大きくなり、さらに歪み値が大きくなる。特定のモデルは、線形であっても、非線形であってもよく、さらに線形モデルと非線形モデルの組み合わせであってもよい。
【0153】
特に、一部のアプリケーションシナリオにおいて、ビデオコンテンツ時間複雑度(σ)が、チャネル情報伝送によって獲得され得る場合、パケットロス歪み品質もまた、この実施形態におけるモデル式を使用することによって正確に計算され得る。
【0154】
一部のアプリケーションシナリオにおいて、例えば、端末デバイス(ネットワークデバイスまたは試験デバイス)の計算能力が低過ぎる場合、この実施形態にかかわる各式の演算結果は、テーブルルックアップを介して置き換えられてもよい。
【0155】
パケットロス歪みパラメータは、図4に対応する方法を介して得られる。
【0156】
図16を参照すると、ビデオシーケンス品質が計算される際、ビデオコンテンツ複雑度を考慮して計算される圧縮歪みモデルと、ビデオコンテンツ時間複雑度を考慮して計算されるパケットロス歪みモデルが一緒に組み合わされる。
【0157】
特に、一部のアプリケーションシナリオにおいて、ビデオコンテンツ複雑度(λ)およびビデオコンテンツ時間複雑度(σ)が、チャネル情報伝送によって獲得され得る場合、圧縮歪み品質およびパケットロス歪み品質もまた、この実施形態において説明されるモデル式を用いて正確に計算され得る。
【0158】
前述の実施形態において、ビデオデータ品質が計算される際、フレーム障害度およびビット誤り拡大によって生じる影響と、様々なビデオコンテンツに対するパケットロス障害の影響を考慮に入れることによって、評価結果がより正確である。
【0159】
図17を参照して、本発明は、再バッファリングパラメータを獲得するための方法をさらに提供し、さらに再バッファリング影響評価モデルが、前述の実施形態において述べた圧縮歪みモデルおよびパケットロス歪みモデルを参照してビデオシーケンス品質を計算することが可能である。ビデオデータの圧縮歪みパラメータが獲得され、さらに、その後、ビデオデータ再バッファリングパラメータが獲得され、ビデオ品質パラメータは、圧縮歪みパラメータとビデオデータ再バッファリングパラメータの差である。パケットロス障害が同時に存在する場合、ビデオ品質パラメータは、圧縮歪みパラメータからフレーム障害歪みパラメータを引き、さらに、その後、ビデオデータ再バッファリングパラメータを引くことによって得られる差である。再バッファリングの影響は、パケットロスなどの別の障害事実に依存するのではなく、再バッファリング持続時間、再バッファリング終了時点から格付け時点までの持続時間、および隣り合う2つの再バッファリングの間の間隔に関係する。再バッファリングが行われると、ビデオシーケンスの品質は低下する(このことは、Qstopとして記録される)。再バッファリングが終了すると、ビデオが再生され始め、さらにビデオシーケンスの品質が、徐々に回復する(このことは、Qrecとして記録される)。前回の再バッファリングから現在の再バッファリングまでの間隔中に別の再バッファリングが存在する場合、前回の再バッファリングは、現在の再バッファリングに対して或る影響を有し得る(この2つの再バッファリングの間の相互影響は、Qcorとして記録される)。
【0160】
図18を参照すると、本発明における再バッファリングパラメータを獲得するための方法の或る実施形態が、以下を含む。
【0161】
S1801 ビデオデータパケットのパケットヘッダから各再バッファリング持続時間、再バッファリング回復持続時間、および再バッファリング間隔を獲得する。
【0162】
S1802 各再バッファリング持続時間を使用することによって再バッファリング品質低下を計算し、再バッファリング品質低下は、再バッファリング持続時間が増加するにつれて線形に、または非線形に増加する。
【0163】
1回の再バッファリングの再バッファリング持続時間は、t1として記録され、さらに再バッファリング品質低下は、以下のとおりである。Qstop=func(t1) 式(34)
【0164】
前述の式で、再バッファリング持続時間t1が長いほど、より大幅に品質は低下する。特定の形態は、以下のとおりである。
【0165】
【数24】
【0166】
式(35)で、a8は、定数である。また、再バッファリング品質低下モデルは、前述の規則を満たす、別の線形の式であっても、非線形の式であっても、別の線形の式と非線形の式の組み合わせであってもよい。
【0167】
別の実施形態において、特定の形態は、以下のとおりであり得る。
【0168】
【数25】
【0169】
、ただし、a8、b8、c8は、定数である。
【0170】
S1803 再バッファリング回復持続時間を使用することによって再バッファリング品質回復を計算し、ただし、再バッファリング品質回復は、再バッファリング回復持続時間が増加するにつれて線形に、または非線形に増加する。
【0171】
再バッファリング終了時点から格付け時点までの回復持続時間は、t2として記録され、さらに再バッファリング品質回復は、以下のとおりである。Qrec=func(t2) 式(37)
【0172】
前述の式において、回復持続時間t2が長いほど、品質はより高く回復する(、再バッファリング品質回復が、再バッファリングが行われない時の元の品質を超えないことが確実にされなければならない)。特定の形態は、以下のとおりであり得る。
【0173】
【数26】
【0174】
式(38)で、a9、b9、c9は、定数である。また、再バッファリング品質回復モデルは、前述の規則を満たす、別の線形の式であっても、非線形の式であっても、別の線形の式と非線形の式の組み合わせであってもよい。
【0175】
別の実施形態において、特定の形態は、以下のとおりであり得る。
【0176】
【数27】
【0177】
、ただし、a9、b9は、定数である。
【0178】
S1804 再バッファリング間隔を使用することによって再バッファリング品質影響を計算し、ただし、再バッファリング品質影響は、再バッファリング間隔が増加するにつれて線形に、または非線形に低下する。
【0179】
現在の再バッファリングの前の間隔中に別の再バッファリングが存在する場合、この時点がt3として記録され、さらに隣り合う2つの再バッファリングの間の相互品質影響は、以下のとおりである。Qcor=func(t3) 式(39)
【0180】
前述の式において、回復持続時間t3が長いほど、相互品質影響は、より小さくなる。特定の形態は、以下のとおりであり得る。Qcor=a10・t3+b10 式(39)
【0181】
式(39)で、a10、b10は、定数である。隣り合う2つの再バッファリングの相互品質影響は、前述の規則を満たす、別の線形の式であっても、非線形の式であっても、別の線形の式と非線形の式の組み合わせであってもよい。
【0182】
別の実施形態において、特定の形態は、以下のとおりであり得る。
【0183】
【数28】
【0184】
、ただし、a10、b10、c10は、定数である。
【0185】
S1805 再バッファリング品質低下、再バッファリング品質回復、および再バッファリング品質影響を組み合わせて、再バッファリングパラメータを得る。
【0186】
再バッファリング影響モデルは、以下のとおりである。Qrebuffer=func(Qstop, Qrec, Qcor,) 式(41)
【0187】
格付け時点より前の各再バッファリングの影響が、前述のモデルを使用することによって計算され、さらに特定の格付け時点は、各ビデオセグメントが終わった後の時点、各再バッファリングの後にビデオが再生され始める時点、またはビデオシーケンスが終了する時点であり得る。各再バッファリング影響の特定のモデルは、以下の式のとおりであり得る。Qrebuffer_i=Qstop_i-Qrec_i-Qcor_i 式(42)
【0188】
別の実施形態において、特定の形態は、以下のとおりであり得る。
【0189】
【数29】
【0190】
S1806 圧縮歪みパラメータと再バッファリングパラメータを組み合わせて、ビデオシーケンスの品質を得る。
【0191】
ビデオシーケンスの品質は、ビデオデータの圧縮歪みパラメータから再バッファリングパラメータを引くことによって得られる。Qsequence=Qencoding-Qrebuffer 式(43)
【0192】
パケットロスが同時に生じた場合、ビデオシーケンスの品質は、ビデオデータの圧縮歪みパラメータからフレーム障害歪みパラメータおよび再バッファリングパラメータを引くことによって得られる。Qsequence=Qencoding-Qrebuffer-Qframedistortion 式(44)
【0193】
一部のアプリケーションシナリオにおいて、例えば、端末デバイス(ネットワークデバイスまたは試験デバイス)の計算能力が低過ぎる場合、この実施形態にかかわる各式の演算結果は、テーブルルックアップを介して置き換えられてもよい。
【0194】
この実施形態において、再バッファリングパラメータが、或る期間内の複数の再バッファリングの相互影響を考慮して計算される場合、評価結果は、より正確である。
【0195】
前述の実施形態による方法におけるプロセスのすべて、または一部分が、関係のあるハードウェアに命令するコンピュータプログラムによって実施され得ることが当業者には理解されよう。このプログラムは、コンピュータ可読記憶媒体の中に格納され得る。このプログラムが実行されると、それらの実施形態による方法のプロセスが実行される。記憶媒体は、磁気ディスク、光ディスク、読み取り専用メモリ(Read-Only Memory、ROM)、またはランダムアクセスメモリ(Random Access Memory、RAM)などであり得る。
【0196】
前述の方法実施形態に関連して、本発明は、ビデオデータ品質評価装置をさらに提供し、さらにこの装置は、端末デバイス内、ネットワークデバイス内、または試験デバイス内に配置され得る。ビデオデータ品質評価装置は、ハードウェア回路を使用することによって、またはソフトウェアとハードウェアの協働を介して実施され得る。例えば、図19を参照すると、ビデオデータ品質評価が、ビデオデータ品質評価装置を呼び出すようにプロセッサを使用することによって実施される。ビデオデータ品質評価装置は、前述の方法実施形態における様々な方法および手順を実行することが可能である。
【0197】
図20を参照すると、ビデオデータ品質評価装置の或る実施形態が、ビデオデータの圧縮歪みパラメータを獲得するように構成された圧縮歪み計算ユニット2001と、
フレーム障害歪みパラメータを獲得するように構成されたフレーム障害歪み計算ユニット2002と、
圧縮歪みパラメータおよびフレーム障害歪みパラメータに従ってビデオ品質パラメータを計算するように構成され、ただし、ビデオ品質パラメータは、圧縮歪みパラメータとフレーム障害歪みパラメータの差である組み合わせユニット2003とを含む。
【0198】
図21を参照すると、フレーム障害歪み計算ユニット2002が、ビデオデータパケットのパケットヘッダから障害のあるフレームの割合、障害のあるフレームの平均障害度、および障害頻度を導き出すように構成されたパラメータ抽出ユニット2101と、
ビデオデータの圧縮歪みパラメータを獲得するように構成された歪み獲得ユニット2102と、
圧縮歪みパラメータ、障害のあるフレームの割合、障害のあるフレームの平均障害度、および障害頻度を使用することによってビデオデータのフレーム障害歪みパラメータを計算するように構成され、ただし、フレーム障害歪みパラメータは、0から、圧縮歪みパラメータと最低品質値の差までの範囲内にあり、さらにビデオフレーム障害歪みパラメータは、障害のあるフレームの割合、障害のあるフレームの平均障害度、および障害頻度のうちのいずれか1つが増加するにつれて最低品質値まで低下する計算ユニット2103とを含む。
【0199】
図22を参照すると、或る実施形態において、圧縮歪み計算ユニット2102が、ビデオストリームのビットレートおよびフレームレートを獲得するように構成されたパラメータ抽出ユニット2201と、
ビデオストリームのビットレートおよびフレームレートに従ってビデオ圧縮歪みパラメータを計算するように構成され、ただし、圧縮歪みパラメータは、ビットレートが増加するにつれて最大値まで増加し、さらに或るビットレートの下で、圧縮歪みパラメータは、フレームレートが増加するにつれて低下する計算ユニット2202とを含む。
【0200】
図22を参照すると、別の実施形態において、圧縮歪み計算ユニット2102が、ビットストリームのビットレート、フレームレート、およびビデオコンテンツ複雑度を獲得するように構成されたパラメータ抽出ユニット2201と、
ビットストリームのビットレート、フレームレート、およびビデオコンテンツ複雑度に従ってビデオ圧縮歪みパラメータを計算するように構成され、ただし、圧縮歪みパラメータは、ビットレートが増加するにつれて最大値まで増加し、さらにビデオコンテンツ複雑度が低下するにつれて低下し、さらに或るビットレートの下で、圧縮歪みパラメータは、フレームレートが増加するにつれて低下する計算ユニット2202とを含む。
【0201】
さらに、ビデオデータ品質評価装置が、ビデオコンテンツ時間複雑度を獲得するように構成されたビデオコンテンツ時間複雑度抽出ユニットもさらに含み、ただし、
ビデオフレーム障害歪みパラメータは、ビデオコンテンツ時間複雑度が増加するにつれて増加する。
【0202】
図23を参照すると、別の実施形態において、フレーム障害歪み計算ユニット2002が、以下を含む。
【0203】
パラメータ抽出ユニット2301が、ビデオデータパケットのパケットヘッダから、ビデオシーケンスの各ビデオセグメント内でビデオセグメント内の各基準フレームのビット誤り伝播による影響を受けるフレームの数および障害割合、ならびにビデオセグメント内のパケットロスがある非基準フレームの数およびパケットロス障害割合を獲得するように構成される。
【0204】
歪み獲得ユニット2302が、ビデオデータの圧縮歪みパラメータを獲得するように構成される。
【0205】
基準フレーム障害計算ユニット2303が、ビデオセグメント内の各基準フレームのビット誤り伝播による影響を受けるフレームの数および障害割合を使用することによって、基準フレームのパケットロス障害によって生じる歪みを計算するように構成され、ただし、基準フレームのパケットロス障害によって生じる歪みは、ビット誤り伝播による影響を受けるフレームの数と障害割合のうちのいずれか1つが増加するにつれて増加する。
【0206】
基準フレームのパケットロス障害によって生じる歪みを計算することは、各基準フレームのパケットロス障害によって生じる歪み、すなわち、
【0207】
【数30】
【0208】
を計算し、ただし、a1は、定数であるとともに、ビデオの最低の得点を表し、x1は、この基準フレームより後にあり、さらにビデオセグメントの終わりより前にあるフレームの数を表し、x2は、この基準フレームのパケットロス障害割合を表し、func1(x1)は、この基準フレームのフレーム全体が失われた、またはフレームヘッダが失われた場合、ビデオセグメントに生じる歪み影響係数を表すとともに、func1(x1)は、x1が増加するにつれて増加する必要があり、さらにfunc2(x2)は、フレームの様々なパケットロス障害割合によって生じる様々な主観的歪み度影響係数を表すとともに、func2(x2)は、x2が増加するにつれて増加する必要があること、およびビデオセグメント内の障害のある基準フレームのパケットロス障害歪みを組み合わせて、基準フレームのパケットロス障害によって生じる歪みを得ることを含む。
【0209】
非基準フレーム障害計算ユニット2304が、パケットロスがある非基準フレームの数およびパケットロス障害割合を使用することによって、非基準フレームのパケットロス障害によって生じる歪みを計算するように構成される。
【0210】
非基準フレームのパケットロス障害によって生じる歪みは、以下の式に従って計算される。Dnon_ref=func(Bdist_percent_i, M)
、ただし、Dnon_refは、非基準フレームのパケットロス障害によって生じる歪みを表し、Bdist_percent_iは、障害のあるロケーションと人間の目が注目する領域の間の距離を表し、さらにMは、パケットロスがある非基準フレームの数を表し、さらにパケットロスがある非基準フレームの数が多いほど、障害のあるロケーションは、人間の目が注目する領域に近づき、さらに非基準フレームのパケットロス障害は、大きくなる。
【0211】
組み合わせユニット2305が、基準フレームのパケットロス障害によって生じる歪みと非基準フレームのパケットロス障害によって生じる歪みを組み合わせて、フレーム障害歪みパラメータを得るように構成される。
【0212】
本発明の実施形態と関係する例示的な論理ブロック、モジュール、および回路は、以下の装置、すなわち、汎用プロセッサ、デジタルシグナルプロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)もしくは他のプログラマブル論理装置、ディスクリートのドアロジックもしくはトランジスタロジック、ディスクリートのハードウェア構成要素、または前述の機能を実施するように設計され、さらに構成された任意の組み合わせによって構築される、または実施されることが可能である。汎用プロセッサは、マイクロプロセッサであり得るが、別の選択は、プロセッサが任意の通常のプロセッサ、コントローラ、マイクロコントローラ、または状態マシンであってもよいことである。また、プロセッサは、計算装置の組み合わせとして、さらに、例えば、DSPとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサの組み合わせ、1つまたは複数のマイクロプロセッサとDSPコアの組み合わせ、または他の任意のそのような構成として構築されることも可能である。
【0213】
以上の説明は、単に本発明のいくつかの実施形態に過ぎず、当業者は、本発明の趣旨および範囲を逸脱することなく、本出願の開示に従って本発明に様々な変形および変更を行うことができる。
【符号の説明】
【0214】
2001 圧縮歪み計算ユニット2002 フレーム障害歪み計算ユニット
2003、2305 組み合わせユニット
2101、2201、2301 パラメータ抽出ユニット
2102 歪み獲得ユニット
2103、2202 計算ユニット
2303 基準フレーム障害計算ユニット
2304 非基準フレーム障害計算ユニット