知財求人 - 知財ポータルサイト「IP Force」
特許5964852ビデオ信号の符号化及び伝送の間のビデオ信号の品質を評価するための方法及び装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】5964852
(24)【登録日】2016年7月8日
(45)【発行日】2016年8月3日
(54)【発明の名称】ビデオ信号の符号化及び伝送の間のビデオ信号の品質を評価するための方法及び装置
(51)【国際特許分類】
H04N 17/00 20060101AFI20160721BHJP
H04N 19/44 20140101ALI20160721BHJP
H04N 19/85 20140101ALI20160721BHJP
H04N 19/89 20140101ALI20160721BHJP
【ＦＩ】
H04N17/00 A
H04N19/44
H04N19/85
H04N19/89
【請求項の数】16
【全頁数】30
(21)【出願番号】特願2013-542418(P2013-542418)
(86)(22)【出願日】2011年9月2日
(65)【公表番号】特表2014-500677(P2014-500677A)
(43)【公表日】2014年1月9日
(86)【国際出願番号】EP2011065188
(87)【国際公開番号】WO2012076202
(87)【国際公開日】20120614
【審査請求日】2014年8月19日
(31)【優先権主張番号】10194578.0
(32)【優先日】2010年12月10日
(33)【優先権主張国】EP
(73)【特許権者】
【識別番号】597149146
【氏名又は名称】ドイッチェ テレコム アーゲー
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100064908
【弁理士】
【氏名又は名称】志賀 正武
(74)【代理人】
【識別番号】100089037
【弁理士】
【氏名又は名称】渡邊 隆
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(72)【発明者】
【氏名】アレクサンダー・ラーケ
(72)【発明者】
【氏名】マリー−ネージュ・ガルシア
(72)【発明者】
【氏名】ペーター・リスト
(72)【発明者】
【氏名】サヴァス・アルジロポウロス
(72)【発明者】
【氏名】ベルンハルト・ファイテン
【審査官】
益戸 宏
(56)【参考文献】
【文献】
特開２００８−３０１０２６（ＪＰ，Ａ）
【文献】
特開２００９−２７３０１０（ＪＰ，Ａ）
【文献】
特開２０１０−０１１１１２（ＪＰ，Ａ）
【文献】
国際公開第２０１０／０５１８３４（ＷＯ，Ａ１）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｈ０４Ｎ １７／００
Ｈ０４Ｎ １９／００
(57)【特許請求の範囲】
【請求項1】
送信されたビデオ信号シーケンスの品質を受信機側で評価するための方法であって、
ａ）受信された入力ビデオビットストリームを復号化する前に獲得し、それをビデオビットストリームアナライザに供給する段階と、
ｂ）測定時間窓の間に、獲得されたパケットヘッダから、前記パケットのペイロードを分析または復号化することなく、前記ビットストリームアナライザによって、１つまたは複数の特徴を抽出する段階と、
ｃ）前記１つまたは複数の特徴から、パケット損失に起因する信号劣化の時空間的な範囲の推定値を表すと共に、測定窓内のグループオブピクチャー（ＧＯＰ）の数“Ｎ”、及び影響されたグループオブピクチャー（ＧＯＰ）“ｋ”で発生する損失の時空間的な範囲“ｘｌ＿ｋ”に基づく単一のパラメータ“ｘｗｐＳＥＱ”を、関係式“ｘｗｐＳＥＱ＝Σｘｌ＿ｋ／Ｎ”を使用して計算する段階であって、グループオブピクチャー（ＧＯＰ）“ｋ”で発生する前記損失の前記時空間的な範囲“ｘｌ＿ｋ”が、損失事象“ｉ”に起因する、影響を受けたフレーム内の障害のあるピクセルの割合“ｘｌ＿ｉ”、前記ＧＯＰの始まりと比較した損失の位置“ｔ＿ｉ”、及び前記ＧＯＰ“ｋ”の長さ“Ｔ＿ｋ”に基づいて、関係式“ｘｌ＿ｋ＝Σｘｌ＿ｉ−Σｘｌ＿ｉ＊ｔ＿ｉ／Ｔ＿ｋ”を使用して計算され、前記計算することが、前記ＧＯＰ“ｋ”の時間的な複雑さまたは時空間的な複雑さを表す補正係数“α１，ｋ”を更に考慮し、前記補正係数により、パラメータ“ｘｗｐＳＥＱ”に対するＧＯＰ“ｋ”における損失の寄与度“ｘｌ＿ｋ”が、関係式“ｘｗｐＳＥＱ＝Σα１，ｋ＊ｘｌ＿ｋ／Ｎ”または“ｘｗｐＳＥＱ＝Σα１，ｋ＊ｘｌ＿ｋ＊Ｔ＿ｋ／ΣＴ＿ｋ”を使用して補正される段階と、
ｄ）判定された前記パラメータを品質評価モジュールに供給する段階と、
ｅ）パケット損失に起因する信号劣化の時空間的な範囲の推定値を表す前記単一のパラメータ“ｘｗｐＳＥＱ”だけに基づいて、及びビデオ解像度情報と使用されたビデオコーデックに基づいて、前記品質評価モジュールによって、パケット損失に起因する品質尺度“Ｑｔｒａｎｓ”を計算する段階と
を含むことを特徴とする方法。
ａ）受信された入力ビデオビットストリームを復号化する前に獲得し、それをビデオビットストリームアナライザに供給する段階と、
ｂ）測定時間窓の間に、獲得されたパケットヘッダから、前記パケットのペイロードを分析または復号化することなく、前記ビットストリームアナライザによって、１つまたは複数の特徴を抽出する段階と、
ｃ）前記１つまたは複数の特徴から、パケット損失に起因する信号劣化の時空間的な範囲の推定値を表すと共に、測定窓内のグループオブピクチャー（ＧＯＰ）の数“Ｎ”、及び影響されたグループオブピクチャー（ＧＯＰ）“ｋ”で発生する損失の時空間的な範囲“ｘｌ＿ｋ”に基づく単一のパラメータ“ｘｗｐＳＥＱ”を、関係式“ｘｗｐＳＥＱ＝Σｘｌ＿ｋ／Ｎ”を使用して計算する段階であって、グループオブピクチャー（ＧＯＰ）“ｋ”で発生する前記損失の前記時空間的な範囲“ｘｌ＿ｋ”が、損失事象“ｉ”に起因する、影響を受けたフレーム内の障害のあるピクセルの割合“ｘｌ＿ｉ”、前記ＧＯＰの始まりと比較した損失の位置“ｔ＿ｉ”、及び前記ＧＯＰ“ｋ”の長さ“Ｔ＿ｋ”に基づいて、関係式“ｘｌ＿ｋ＝Σｘｌ＿ｉ−Σｘｌ＿ｉ＊ｔ＿ｉ／Ｔ＿ｋ”を使用して計算され、前記計算することが、前記ＧＯＰ“ｋ”の時間的な複雑さまたは時空間的な複雑さを表す補正係数“α１，ｋ”を更に考慮し、前記補正係数により、パラメータ“ｘｗｐＳＥＱ”に対するＧＯＰ“ｋ”における損失の寄与度“ｘｌ＿ｋ”が、関係式“ｘｗｐＳＥＱ＝Σα１，ｋ＊ｘｌ＿ｋ／Ｎ”または“ｘｗｐＳＥＱ＝Σα１，ｋ＊ｘｌ＿ｋ＊Ｔ＿ｋ／ΣＴ＿ｋ”を使用して補正される段階と、
ｄ）判定された前記パラメータを品質評価モジュールに供給する段階と、
ｅ）パケット損失に起因する信号劣化の時空間的な範囲の推定値を表す前記単一のパラメータ“ｘｗｐＳＥＱ”だけに基づいて、及びビデオ解像度情報と使用されたビデオコーデックに基づいて、前記品質評価モジュールによって、パケット損失に起因する品質尺度“Ｑｔｒａｎｓ”を計算する段階と
を含むことを特徴とする方法。
【請求項2】
前記段階ｃ）において判定された前記単一のパラメータ“ｘｗｐＳＥＱ”が、更に、スライシングの構成及びパケット損失の隠蔽のような、メディアストリームに関するメタ情報から計算される
ことを特徴とする請求項１に記載の方法。
ことを特徴とする請求項１に記載の方法。
【請求項3】
前記影響を受けたフレーム内の前記障害のあるピクセルの割合“ｘｌ＿ｉ”が、現在の影響を受けたフレーム内の失われたパケット及び正しく受信されたパケットの数“ｎｐ”によって除算された、現在の影響を受けたフレーム内のパケット損失事象“ｉ”のために失われたビデオパケットの数“ｎｌｐ＿ｉ”に基づいて、関係式“ｘｌ＿ｉ＝ｎｌｐ＿ｉ／ｎｐ”を使用して計算される
ことを特徴とする請求項１または請求項２に記載の方法。
ことを特徴とする請求項１または請求項２に記載の方法。
【請求項4】
前記影響を受けたフレーム内の前記障害のあるピクセルの割合“ｘｌ＿ｉ”が、現在の影響を受けたフレーム内の失われたバイト及び正しく受信されたバイトの数“ｂｐ”によって除算された、現在の影響を受けたフレーム内の損失事象“ｉ”に起因して失われたビデオのバイトの数“ｂｌｐ＿ｉ”に基づいて、関係式“ｘｌ＿ｉ＝ｂｌｐ＿ｉ／ｂｐ”を使用して計算される
ことを特徴とする請求項１または請求項２に記載の方法。
ことを特徴とする請求項１または請求項２に記載の方法。
【請求項5】
前記影響を受けたフレーム内の前記障害のあるピクセルの割合“ｘｌ＿ｉ”が、現在のフレームを含むパケットの数“ｎｐ”、損失事象“ｉ”において失われる現在の影響を受けたフレーム内の失われたビデオパケットの数“ｎｌｐ＿ｉ”、フレーム当たりのスライスの数“ｎｓｃ”、及び、スライス当たりのパケットの推測の数“ｎｐ／ｎｓｃ”に基づいて、関係式“ｘｌ＿ｉ＝１／ｎｐ＊［（ｎｌｐ＿ｉ−１）＋（ｎｐ／ｎｓｃ＋１）／２］”を使用して計算される
ことを特徴とする請求項１または請求項２に記載の方法。
ことを特徴とする請求項１または請求項２に記載の方法。
【請求項6】
前記影響を受けたフレーム内の前記障害のあるピクセルの割合“ｘｌ＿ｉ”が、現在のフレームを含むパケットのバイトにおける全体のサイズ“ｂｐ”、現在の影響を受けたフレーム内の損失事象“ｉ”に起因して失われたビデオのバイトの数“ｂｌｐ＿ｉ”、及び、スライス当たりのパケットまたはバイトの推測の数“ｎｐ／ｎｓｃ”に基づいて、関係式“ｘｌ＿ｉ＝１／ｂｐ＊［（ｂｌｐ＿ｉ−１）＋（ｎｐ／ｎｓｃ＋１）／２］”を使用して計算される
ことを特徴とする請求項１または請求項２に記載の方法。
ことを特徴とする請求項１または請求項２に記載の方法。
【請求項7】
前記影響を受けたフレーム内の前記障害のあるピクセルの割合“ｘｌ＿ｉ”が、現在のフレームを含むパケットの数“ｎｐ”、結合された損失事象“ｉｊ”に属するビデオパケットの数“ｎｌｐ＿ｉｊ”、損失事象“ｉｊ”の間に発見される現在の影響を受けたフレーム内のビデオパケットの数“ｎｆｐ＿ｉｊ”、フレーム当たりのスライスの数“ｎｓｃ”、及び、スライス当たりのパケットの推測の数“ｎｐ／ｎｓｃ”に基づいて、関係式“ｘｌ＿ｉ＝１／ｎｐ＊｛［（ｎｌｐ＿ｉｊ−１）＋（ｎｐ／ｎｓｃ＋１）／２］−［ｎｆｐ＿ｉｊ＊（ｎｆｐ＿ｉｊ＋１）／２］）｝”を使用して計算される
ことを特徴とする請求項１または請求項２に記載の方法。
ことを特徴とする請求項１または請求項２に記載の方法。
【請求項8】
前記影響を受けたフレーム内の前記障害のあるピクセルの割合“ｘｌ＿ｉ”が、連続的に失われたビデオトランスポートストリームのパケットの数“ｎｌｐ＿ｉ”、現在の影響を受けたフレーム内の失われたパケット及び正しく受信されたパケットの数“ｎｐ”、フレーム当たりのスライスの数“ｎｓｃ”、及び、損失によって影響を受けたフレームにおける損失伝播を反映する修正項“１／（２＊ｎｓｃ）”に基づいて、関係式“ｘｌ＿ｉ＝ｎｌｐ＿ｉ／ｎｐ＋１／（２＊ｎｓｃ）”を使用して計算される
ことを特徴とする請求項１または請求項２に記載の方法。
ことを特徴とする請求項１または請求項２に記載の方法。
【請求項9】
前記影響を受けたフレーム内の前記障害のあるピクセルの割合“ｘｌ＿ｉ”が、連続的に失われたトランスポートストリームのパケットにおけるビデオのバイトの数“ｂｌｐ＿ｉ”、及び、現在の影響を受けたフレームに含まれるビデオのバイトの総数“ｂｐ”、フレーム当たりのスライスの数“ｎｓｃ”、及び、損失によって影響を受けたフレームにおける損失伝播を反映する修正項“１／（２＊ｎｓｃ）”に基づいて、関係式“ｘｌ＿ｉ＝ｂｌｐ＿ｉ／ｂｐ＋１／（２＊ｎｓｃ）”を使用して計算される
ことを特徴とする請求項１または請求項２に記載の方法。
ことを特徴とする請求項１または請求項２に記載の方法。
【請求項10】
前記影響を受けたフレーム内の前記障害のあるピクセルの割合“ｘｌ＿ｉ”が、結合された損失事象“ｉｊ”に属するビデオトランスポートストリームのパケットの数“ｎｌｐ＿ｉｊ”、現在の影響を受けたフレーム内の失われたパケット及び正しく受信されたパケットの数“ｎｐ”、結合された損失事象“ｉｊ”の損失部分の間で発見されるビデオトランスポートストリームのパケットの数“ｎｆｐ＿ｉｊ”、フレーム当たりのスライスの数“ｎｓｃ”、及び、損失によって影響を受けたフレームにおける損失伝播を反映する修正項“１／（２＊ｎｓｃ）”に基づいて、関係式“ｘｌ＿ｉ＝ｎｌｐ＿ｉｊ／ｎｐ＋１／（２＊ｎｓｃ）−ｎｆｐ＿ｉｊ／（２＊ｎｐ）”を使用して計算される
ことを特徴とする請求項１または請求項２に記載の方法。
ことを特徴とする請求項１または請求項２に記載の方法。
【請求項11】
フレーム当たりに１つのスライスが使用される場合に、損失事象“ｉ”の寄与度“ｘｌ＿ｉ”が、最初に失われたパケットと前記フレームの終わりとの間の空間領域として計算される
ことを特徴とする請求項１または請求項２に記載の方法。
ことを特徴とする請求項１または請求項２に記載の方法。
【請求項12】
前記段階ｃ）が、前記ＧＯＰ“ｋ”の前記時間的な複雑さまたは時空間的な複雑さを表す補正係数“α２，ｉ”を更に考慮し、前記補正係数により、“ｘｌ＿ｋ”パラメータに対する、ＧＯＰ“ｋ”におけるフレーム“ｔ＿ｉ”に位置するそれぞれの損失事象“ｉ”の寄与度“ｘｌ＿ｉ”が、関係式“ｘｌ＿ｋ＝Σα２，ｉ＊ｘｌ＿ｉ−Σα２，ｉ＊ｘｌ＿ｉ＊ｔ＿ｉ／Ｔ＿ｋ”を使用して補正され、ここで、“Ｔ＿ｋ”がＧＯＰ“ｋ”の長さであり、
前記補正係数“α２，ｉ”は損失事象“ｉ”によって影響を受けた前記グループオブピクチャーにおける前記フレームの前記時間的な位置によって決まる
ことを特徴とする請求項１から請求項１１のいずれか一項に記載の方法。
前記補正係数“α２，ｉ”は損失事象“ｉ”によって影響を受けた前記グループオブピクチャーにおける前記フレームの前記時間的な位置によって決まる
ことを特徴とする請求項１から請求項１１のいずれか一項に記載の方法。
【請求項13】
前記段階ｅ）が、損失事象を有するグループオブピクチャーの数“Ｎｇｌ”を、“β＿ｋ＝ｈ（Ｎｇｌ，ｘｌ＿ｋ）”の場合に、関係式“ｘｗｐＳＥＱ＝Σβ＿ｋ＊ｘｌ＿ｋ／Ｎ”を使用して更に考慮する
ことを特徴とする請求項１から請求項１２のいずれか一項に記載の方法。
ことを特徴とする請求項１から請求項１２のいずれか一項に記載の方法。
【請求項14】
変数が、それぞれのフレームにおける影響された領域の推測の位置を獲得する損失事象ごとに保存されると共に、損失事象“ｉ”の寄与度“ｘｌ＿ｉ”を補正するために、または、前記段階ｃ）による全体のパラメータに対する前記シーケンスの所定の時間的な部分の寄与度を補正するために使用される
ことを特徴とする請求項１から請求項１３のいずれか一項に記載の方法。
ことを特徴とする請求項１から請求項１３のいずれか一項に記載の方法。
【請求項15】
フリージングが、パケット損失隠蔽タイプとして使用されると共に、前記段階ｃ）による前記パラメータが、請求項１から請求項１２のいずれか一項に記載の方法により、そして関係式“ｘｌ＿ｋ＝（Ｔ＿ｋ−ｔ＿ｉ）／Ｔ＿ｋ”を使用して計算された、前記シーケンスにおけるフリージング事象の全体の重み付けされた時間的な継続期間のことを指し、ここで、“ｔ＿ｉ”は前記ＧＯＰの始まりと比較した損失の位置であり、“Ｔ＿ｋ”は前記ＧＯＰ“ｋ”の長さである
ことを特徴とする請求項１から請求項１４のいずれか一項に記載の方法。
ことを特徴とする請求項１から請求項１４のいずれか一項に記載の方法。
【請求項16】
送信されたビデオ信号シーケンスの品質を受信機側で評価するための装置であって、
受信された入力ビデオビットストリームを復号化する前に獲得すると共に、測定時間窓の間に、獲得された前記入力ビデオビットストリームの獲得されたパケットヘッダから、前記パケットのペイロードを分析または復号化することなく、１つまたは複数の特徴を抽出するように構成されるビデオビットストリームアナライザと、
前記１つまたは複数の特徴から、パケット損失に起因する信号劣化の時空間的な範囲の推定値を表すと共に、測定窓内のグループオブピクチャー（ＧＯＰ）の数“Ｎ”、及び影響されたグループオブピクチャー（ＧＯＰ）“ｋ”で発生する損失の時空間的な範囲“ｘｌ＿ｋ”に基づく単一のパラメータ“ｘｗｐＳＥＱ”を、関係式“ｘｗｐＳＥＱ＝Σｘｌ＿ｋ／Ｎ”を使用して計算するための手段であって、グループオブピクチャー（ＧＯＰ）“ｋ”で発生する前記損失の前記時空間的な範囲“ｘｌ＿ｋ”が、損失事象“ｉ”に起因する、影響を受けたフレーム内の障害のあるピクセルの割合“ｘｌ＿ｉ”、前記ＧＯＰの始まりと比較した損失の位置“ｔ＿ｉ”、及び前記ＧＯＰ“ｋ”の長さ“Ｔ＿ｋ”に基づいて、関係式“ｘｌ＿ｋ＝Σｘｌ＿ｉ−Σｘｌ＿ｉ＊ｔ＿ｉ／Ｔ＿ｋ”を使用して計算され、前記計算することが、前記ＧＯＰ“ｋ”の時間的な複雑さまたは時空間的な複雑さを表す補正係数“α１，ｋ”を更に考慮し、前記補正係数により、パラメータ“ｘｗｐＳＥＱ”に対するＧＯＰ“ｋ”における損失の寄与度“ｘｌ＿ｋ”が、関係式“ｘｗｐＳＥＱ＝Σα１，ｋ＊ｘｌ＿ｋ／Ｎ”または“ｘｗｐＳＥＱ＝Σα１，ｋ＊ｘｌ＿ｋ＊Ｔ＿ｋ／ΣＴ＿ｋ”を使用して補正される手段と、
判定された前記パラメータを受信するように構成されると共に、パケット損失に起因する信号劣化の時空間的な範囲の推定値を表す前記単一のパラメータ“ｘｗｐＳＥＱ”だけに基づいて、及びビデオ解像度情報と使用されたビデオコーデックに基づいて、パケット損失に起因する品質尺度“Ｑｔｒａｎｓ”を計算するように構成される品質評価モジュールと
を備えることを特徴とする装置。
受信された入力ビデオビットストリームを復号化する前に獲得すると共に、測定時間窓の間に、獲得された前記入力ビデオビットストリームの獲得されたパケットヘッダから、前記パケットのペイロードを分析または復号化することなく、１つまたは複数の特徴を抽出するように構成されるビデオビットストリームアナライザと、
前記１つまたは複数の特徴から、パケット損失に起因する信号劣化の時空間的な範囲の推定値を表すと共に、測定窓内のグループオブピクチャー（ＧＯＰ）の数“Ｎ”、及び影響されたグループオブピクチャー（ＧＯＰ）“ｋ”で発生する損失の時空間的な範囲“ｘｌ＿ｋ”に基づく単一のパラメータ“ｘｗｐＳＥＱ”を、関係式“ｘｗｐＳＥＱ＝Σｘｌ＿ｋ／Ｎ”を使用して計算するための手段であって、グループオブピクチャー（ＧＯＰ）“ｋ”で発生する前記損失の前記時空間的な範囲“ｘｌ＿ｋ”が、損失事象“ｉ”に起因する、影響を受けたフレーム内の障害のあるピクセルの割合“ｘｌ＿ｉ”、前記ＧＯＰの始まりと比較した損失の位置“ｔ＿ｉ”、及び前記ＧＯＰ“ｋ”の長さ“Ｔ＿ｋ”に基づいて、関係式“ｘｌ＿ｋ＝Σｘｌ＿ｉ−Σｘｌ＿ｉ＊ｔ＿ｉ／Ｔ＿ｋ”を使用して計算され、前記計算することが、前記ＧＯＰ“ｋ”の時間的な複雑さまたは時空間的な複雑さを表す補正係数“α１，ｋ”を更に考慮し、前記補正係数により、パラメータ“ｘｗｐＳＥＱ”に対するＧＯＰ“ｋ”における損失の寄与度“ｘｌ＿ｋ”が、関係式“ｘｗｐＳＥＱ＝Σα１，ｋ＊ｘｌ＿ｋ／Ｎ”または“ｘｗｐＳＥＱ＝Σα１，ｋ＊ｘｌ＿ｋ＊Ｔ＿ｋ／ΣＴ＿ｋ”を使用して補正される手段と、
判定された前記パラメータを受信するように構成されると共に、パケット損失に起因する信号劣化の時空間的な範囲の推定値を表す前記単一のパラメータ“ｘｗｐＳＥＱ”だけに基づいて、及びビデオ解像度情報と使用されたビデオコーデックに基づいて、パケット損失に起因する品質尺度“Ｑｔｒａｎｓ”を計算するように構成される品質評価モジュールと
を備えることを特徴とする装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ビデオ信号の符号化、伝送、及び復号化の後で生じるビデオ信号の品質を評価するための方法及び装置に関係する。本発明は、特に、ビデオ信号が伝送の間にパケット損失によって損なわれる場合の、ビデオ信号の知覚品質（perceived quality）の評価及びモデル化に焦点を合わせる。
【背景技術】
【0002】
多数のビデオ配給サービスの間では、ＩＰベースの（IP-based）ビデオは、それが、例えば、ＩＰＴＶ（インターネットプロトコルテレビ：Internet protocol TV）のために使用されるので、ますます重要になっており、そして、アナログ伝送方式または非ＩＰベースの伝送方式にますます取って代わっている。そのサービスの高いレベルの品質を維持することは、コンテンツプロバイダと顧客の両方に対する放送プロバイダの重要な責務である。大規模なビデオ配給網では、それらが、例えば、ＩＰＴＶサービスに関連しているので、十分に自動化された品質監視プローブ（quality monitoring probe）だけがこの要求を満たすことができる。
【0003】
非インタラクティブストリーミングビデオ（non-interactive streaming video：非対話形式ストリーミングビデオ）（ＩＰＴＶ、ＶｏＤ）または静的なビデオ（ＤＶＤ）のようなビデオサービスのユーザの高い満足度合い（high degree of satisfaction）を達成するために、そのような監視プローブは、技術的性能インジケータの他に、更に、サービスのユーザがある監視期間の間に認識するビデオ品質の推定値を提供する必要がある。
【0004】
この目的に対して、ユーザによって認識されるビデオ品質の有益な推定値を提供すると共に、従って、ユーザの技術的なモデルである技術的なビデオ品質モデルが開発されている。例えば、それらのモデルは、ユーザ側で受け取られたビデオと、品質が劣化していないオリジナルのビデオとの間の類似度（degree of similarity）を出力することができる。更に、より洗練された解決策を表している、人間視覚システム（Human Visual System）が、技術システムを用いてモデル化され得る。最後に、そのようなモデルは、ユーザによって与えられた評定（rating）に対応する品質の推定値を提供するであろうと共に、それは、多数の主観的品質検査の結果に関して技術的モデルを調整する（train）ことによって達成される。
【0005】
ビデオ品質モデル、及び、従って測定システムは、一般的に下記のように分類される。
【0006】
「品質モデルタイプ」・“Full Reference”法（ＦＲ法）：基準信号が必要とされる。
・“Reduced-Reference”法（ＲＲ法）：ソース信号（source signal：源信号）から抽出された部分的な情報が必要とされる。
・“No-Reference”法（ＮＲ法）：基準信号が必要とされない。
【0007】
「入力パラメータタイプ」・信号／媒体ベース（signal/media-based）：復号化された画像（ピクセル情報）が必要とされる。
・パラメータベース（parameter-based）：ビットストリームレベル情報が必要とされる。情報は、パケットヘッダのみの構文解析（parsing）を必要とするパケットヘッダ情報から、一部分を越えて、ビットストリームの完全な復号化まで、分類することができる。
【0008】
「アプリケーションのタイプ」・ネットワーク計画（Network Planning）：最も良い可能な実装を確認するために、モデルまたは測定システムが、計画段階におけるサービスの実装の前に使用される。
・サービス監視（Service Monitoring）：そのモデルが、サービス動作の間に使用される。
【0009】
ビデオ品質モデルのタイプの関連情報は、参考文献［１］、［２］、または［３］（非特許文献１、２、または３）において発見され得る。
【0010】
ＩＰＴＶの状況（context：事情）では、主要な歪みは、画像圧縮（video compression）及びビデオパケット損失（video packet loss）によって引き起こされる。ビデオパケット損失の場合には、認識されるビデオ品質（perceived video quality：知覚ビデオ品質）に影響を与える要素は、下記のようになる。
【0011】
ａ）失われたパケットの量
【0012】
ｂ）パケット損失の分布（distribution）であって、それは、例えば、ある損失バーストにおける失われたパケットの平均数と、そのようなバーストの分布の観点から示され得る。
【0013】
ｃ）ＧＯＰ構造（GOP-structure）であって、ＧＯＰ構造は、下記のｉ）からｉｉｉ）を含む。ｉ）ＧＯＰ長さ、すなわち、復号化されるべき以前のフレーム及び更なるフレームを必要としないフレーム、いわゆる“キーフレーム（key-frame）”または“Ｉ−フレーム（I-frame）”の間の距離。１つのグループオブピクチャー（ＧＯＰ）は、１つのＩ−フレーム、及びビデオシーケンスの次のＩ−フレームまでの全てのフレームをカバーする。
ｉｉ）予測された（Ｐ−）フレーム、及び双方向性の（Ｂ−）フレームである、各ＧＯＰにおけるＢ−フレーム及びＰ−フレームの数、及び再区分（repartition）。
ｉｉｉ）ＧＯＰ“タイプ”：ｏｐｅｎ−ＧＯＰ（開いたＧＯＰ）またはｃｌｏｓｅｄ−ＧＯＰ（閉じたＧＯＰ）；ＧＯＰが開いているとき、１つのＧＯＰに属するフレームが、次のＧＯＰもしくは前のＧＯＰからの基準フレームを用いて符号化され得る。；ＧＯＰが閉じているとき、現在のＧＯＰが提供する基準フレームのみが、現在のＧＯＰのフレームを符号化するための基準として使用され得る。
【0014】
ｄ）パケット損失によって損なわれたフレームのフレームタイプ。もし損失がＩ−フレームまたはＰ−フレームにおいて発生するならば、その損失は、通常は次の（基準の）Ｉ−フレームまで、障害のある（impaired：損なわれた）フレームを参照する全てのフレームに伝搬され、一方、もし損失がＢ−フレームにおいて発生するならば、階層Ｂ−フレームの符号化の場合を除いて、その損失は、伝搬されない。階層符号化の場合には、Ｂ−フレームのいくらかは、更に、他のＢ−フレームのための基準フレームとして使用される。基準Ｂ−フレームにおける損失は、従って、従属するＢ−フレームに伝搬される。
【0015】
ｅ）フレーム当たりのパケットの数。この数は、ビデオのビットレート及び時空間的な複雑さによって決まる。ビットレートが高くなるほど、フレームを送信するために、更に多くのパケットが必要とされる。ビデオの時空間的な複雑さは、フレームの間でのパケットの分布に影響を与え、基本的に、ビデオの時空間的な複雑さが高くなるほど、（もし、空間的に予測された／イントラ予測されたマクロブロックが情報を獲得するのに必要とされるならば）更に多くのパケットがＩ−フレーム、またはＰ‐フレーム及びＢ−フレームのために必要とされると共に、ビデオの時空間的な複雑さが高くなるほど、更に多くのパケットがＰ−フレーム及びＢ−フレームを送信するのに必要とされる。言い換えると、フレーム当たりのパケットの数が多くなるほど、パケットに含まれるピクセルの対応する量が少なくなる。ある損失の確率を考慮すると、フレームがより多くのパケットを含むほど、このフレームにおいてパケット損失を受ける確率は更に高くなるであろうと共に、このフレームが基準フレームであるならば、その損失が伝搬される確率は更に高くなるであろう。
【0016】
ｆ）パケット損失の隠蔽（packet-loss-concealment）、すなわち損失を隠蔽するために復号器（decoder：デコーダ）において実施される戦略。パケット損失の隠蔽は、スライシング（slicing）もしくはフリージング（freezing）の観点から、おおざっぱに分類され得る。スライスは、独立して復号化され得るビデオフレームの領域として定義される。従って、もしそれがパケット損失によって影響を受けるならば、その復号器は、この領域を、（空間的に、もしくは時間的に）隣接した正しく受信された領域のデータで満たす。スライシングは、復号器が同期化点（synchronization-point）として使用するであろうスライス−ヘッダ（slice-header）を導入する符号器によって実施される必要がある。パケット損失及びフリージングタイプの損失隠蔽の場合には、最後の正しく受信されたビデオフレームが、通常は、次の完全な（intact：無傷の）Ｉ−フレームまたは別の完全な基準フレームが到着するまで繰り返され、それから影響を受けたフレームが予測される。放送サービスにおいて、フリージングは、誤ったフレームを読み飛ばすことを含む。非放送サービスにおいて、失われたパケットは再送され得ると共に、遅れた受信の後でさえも、最後まで再生（play out）され得る。これは、再バッファリング（re-buffering）と考えられ得ると共に、欠けている情報は、読み飛ばされない。後者の場合がこの発明によって考察されない点に注意が必要である。
【0017】
ｇ）もしスライシングがパケット損失の隠蔽として使用されるならば、フレーム当たりのスライスの数は、符号化ステージで選択される（図２を参照）。パケット損失の場合、及びスライシングがパケット損失の隠蔽として使用されるならば、この数は、損失の空間的な範囲に影響を与える。実際には、パケット損失がスライスにおいて発生するならば、その損失は、次のスライスまで、すなわち復号器が次の利用可能なスライスヘッダに基づいて再同期化できるまで、伝搬される。その結果、フレーム当たりのスライスの数を増やすことは、損失の空間的な範囲を減少させる。しかしながら、同じくこれは、スライスヘッダの数を増大させ、従って、任意の全体のビットレートにおける符号化効率を減少させる。これは、符号化効率とパケット損失に対するロバスト性（robustness）との間にトレードオフが存在することを反映する。
【0018】
ｈ）符号器によって使用されるレート制御タイプ、すなわち固定ビットレート符号化対可変ビットレート符号化。具体的には、コンテンツの時空間的な複雑さと共に符号器によって使用されるレート制御のタイプ（固定ビットレート符号化または可変ビットレート符号化）は、バイトへの時空間的な情報のマッピング（mapping）、別の表現では、任意の時空間的領域のために必要とされるパケットの数に強く影響を及ぼす。本発明は、固定ビットレート符号化及び可変ビットレート符号化の両方の場合を対象とするが、しかし、強固な可変ビットレート符号化の場合においてヘッダ情報に基づいて損失事象の時空間的な範囲を推定することの減少した有効性に起因して、この発明において説明された技術的なユーザモデルによって提供される品質予測は、実際の知覚に近くないであろう。
【0019】
品質推定方法は、ビデオ信号の符号化（圧縮）に関連する品質（Ｑｃｏｄ）と、伝送の間のパケット損失による品質（Ｑｔｒａｎｓ）の個別の推定を一般的にサポートする。品質推定方法は、圧縮の品質及び伝送品質に関係する推定値を結合するための２つのアプローチの内の１つを一般的に使用する。等式（１）及び（２）は、２つの異なるアプローチを例証すると共に、それぞれの値の範囲は、代表的な実施を表す。
【0020】
【数1】
【0021】
ここで、“Ｑ０”は、基本の品質、または基本の品質の関数を表す。ここで、基本の品質は、符号化、伝送、及び復号化の前のビデオの知覚品質（perceived quality）のことを指す。
【0022】
参考文献［４］（非特許文献４）に記載されるように、文献では、パケット損失による品質（Ｑｔｒａｎｓ）は、一般的に、ビットレート及びパケット損失レート（packet-loss-rate）から推定される。パケット損失の分布（packet-loss-distribution）を考慮するために、参考文献［５］（非特許文献５）に記載されるような、バーストの密度（burst density）及びバーストの継続期間（burst duration）のようなビデオシーケンスの中の損失の再区分（repartition）、または参考文献［６］（非特許文献６）に記載されるような、連続的に（in a row）失われたパケットの数が、更に考察される。代りに、参考文献［７］（非特許文献７）に記載されるようなパケット損失周波数（すなわち、任意の時間期間内のパケット損失事象の数）を記述するパラメータが提案された。それらのパラメータは、ネットワークの計画（network planning）の場合には役に立つが、しかし、サービスの監視（service monitoring）の場合には不十分であるかもしれない。例えば、それらが、パケットの総数、及び損失によって影響を受けたフレームにおける損失パケットの数を考慮しないので、それらは、影響を受けたフレームが損なわれる割合を記録しない。それらは、従って、損失の実際の空間的な範囲が分からない。更に、それらは、損失によって影響を受けたフレームのタイプを考慮しないと共に、従って、時間的な伝搬、そして従って損失の継続期間が分からない。
【0023】
損失の時間的な継続期間を記述するパラメータは、参考文献［８］（特許文献１）において提案されたが、しかし、このパラメータは、パケット損失の隠蔽として、フリージングのみをカバーする。スライシングが適用される場合の損失によって影響を受けるフレームにおける領域を推定するために、興味深い提案が参考文献［１０］（非特許文献８）において行われている。ここで、提案されたアプローチは、本発明において提案されるような品質予測には適用されないと共に、単に本発明が扱ういくらかのサブケースの内の１つをカバーする。参考文献［９］（特許文献２）では、方法が、参考文献［１０］（非特許文献８）と同様ではあるが、しかし幾分異なる文脈におけるアプローチを用いて提案される。それは、フレーム当たりの損失の空間的な範囲、及びフレームタイプを記述するパラメータを使用すると共に、それらのパラメータに基づいてフレームの品質を計算する。フレームタイミング、及び損失の伝搬は、しかしながら、損失によって誘発された歪みを記述するための１つの単一のパラメータの観点からは、明示的に考察されない。
【先行技術文献】
【特許文献】
【0024】
【特許文献1】欧州特許出願公開第２１１２８３５号
【特許文献2】国際公開第２００９／０１２３０２号（米国特許出願公開第２００９／００４１１１４号）
【非特許文献】
【0025】
【非特許文献1】“A. Takahashi”、“D. Hands”、及び“V. Barriac”、“Standardization Activities in the ITU for a QoE Assessment of IPTV”、IEEE Communication Magazine, ２００８年
【非特許文献2】“S. Winkler”及び“P. Mohandas”、“The Evolution of Video Quality Measurement: From PSNR to Hybrid Metrics”、IEEE Trans. Broadcasting、２００８年
【非特許文献3】“A. Raake”、“M.N. Garcia”、“S. Moeller”、“J. Berger”、“F. Kling”、“P. List”、“J. Johann”、及び“C. Heidemann”、“T-V-MODEL: Parameter-based prediction of IPTV quality”、“ICASSP”の講演録、２００８年
【非特許文献4】“O. Verscheure”、“P. Frossard”、及び“M. Hamdi”、“User-Oriented QoS Analysis in MPEG-2 Video Delivery”、Real-Time Imaging 5, ３０５〜３１４頁、（１９９９年）
【非特許文献5】“F. You”，“W. Zhang”、“J. Xiao”、“Packet Loss Pattern and Parametric Video Quality Model for IPTV”、“Eighth EEEE/ACIS International Conference on Computer and Information Science”の講演録、８２４〜８２８頁、２００９年
【非特許文献6】“M.-N. Garcia”及び“A. Raake”、“Parametric Packet-Layer Video Quality Model For IPTV”、“Tenth International Conference on Information Science, Signal Processing and their Applications (ISSPA)”の講演録、２０１０年
【非特許文献7】“K. Yamagishi”及び“T. Hayashi”、“Parametric Packet-Layer Model for Monitoring Video Quality of IPTV Services”、IEEE ICC 2008, CQ04-3、１１０〜１１４頁、北京市、中国、２００８年
【非特許文献8】“P. Frossard”、“O. Verscheure”、“Joint Sourc/FEC Rate Selection for Quality-optimal MPEG-2 Video Delivery”、IEEE Trans. Image Proc.、Vol. 10、No. 12、２００１年１２月
【発明の概要】
【発明が解決しようとする課題】
【0026】
それでもなお、知覚的に適正なユーザモデルは、損失の記述（description of the loss）と、知覚の劣化の量の観点からの質的影響（quality impact）との間の量的なマッピングを使用する必要がある。本発明のモデルでは、損失の空間的な範囲及び損失の継続期間の組み合わせが知覚品質（perceived quality）に影響を与えると仮定されている。その結果、本発明は、正確にそして明確に損失の空間的な範囲及び損失の継続期間を記述するパラメータ、そして、任意の測定窓から構成されるビデオシーケンスの品質に、このパラメータを割り当てるモデルを定義する。
【課題を解決するための手段】
【0027】
本発明の方法は、スライシングまたはフリージングがパケット損失の隠蔽として使用される場合に、伝達効率の特性を示す項（term）の品質“Ｑｔｒａｎｓ”の推定に焦点を合わせる。本発明の方法は、ビデオストリームにおける圧縮に関連する品質“Ｑｃｏｄ”の推定のための異なる方法と結合され得る。スライシングの場合に“Ｑｔｒａｎｓ”を決定する方法を適用するときに包含されるステップが図８において示されたフローチャートを用いて例証される。
【0028】
本発明の方法は、軽量（light-weight）のパラメータを有するパラメータベースのビデオ品質モデルであり、従って、例えばセットトップボックスまたはホームゲートウェイのようなエンドユーザ装置で実施され得るサービス監視に適当な技術的解決法を提供する。図１において示されたように、入力として、そのモデルは、ビットストリームから抽出されたパラメータを受け取る。原理上は、本発明の方法が組み込まれる測定システムは、ネットワークにおけるさまざまな位置に配置され得る。しかしながら、ユーザ装置のより近くにプローブが配置されるほど、よりユーザサイドにおける実際の品質を代表するのは、予測された品質である。パラメータは、ペイロードに対するアクセスを必要とせず、従って、ビットストリームの部分的復号化または完全復号化のいずれも必要としない。その結果、その方法は、暗号化されたストリームのための品質予測のために使用され得ると共に、ここで、ペイロードに対するアクセスは、ネットワークにおける測定位置では可能でない。パケットヘッダの軽量のパージング（light-weight parsing）は、モデルに送られるべきパラメータにアクセスすることに対して十分である。暗号化されないデータのように、もし更に深いパージング（parsing）が許されるならば、そのパラメータは、更に、部分的復号化または完全復号化に基づいてビットストリームから抽出された追加のパラメータと独立して、または追加のパラメータと一緒に、使用され得る点に注意が必要である。
【0029】
本発明の方法は、伝送処理のパラメータを詳細に考察する。本発明の「背景技術」の項において、要素のリストが列挙されると共に、そのような要素は、パケット損失の場合には、認識されるビデオ品質（perceived video quality：知覚ビデオ品質）に影響を与える。それらの要素は、更に、パケット損失に起因する質的影響を示すことに適当であり、従って、パラメータベースのビデオ品質モデルの入力パラメータの観点から使用され得る。しかしながら、パラメータの対応するリストは長く、そのようなモデルの柔軟性を減少させ、そして、符号器を設定するたびにそれらのパラメータが調整されなければならないので、パケット損失の分布またはＧＯＰ構造が変更され、それは、誤った品質予測を生成することの危険を増大させる。
【0030】
本発明に関して、代替パラメータが導入され、それは、品質モデルに使用されるべき入力パラメータの数を著しく減少させる。この単一のパラメータは、通常使用されるそれぞれのパラメータに基づいて起こり得る損失の空間的な範囲及び継続期間のより一般的な記述を実施する。
【0031】
パケット損失をもたらすと共に、スライシングまたはフリージングがパケット損失の隠蔽として適用される場合のリンクを通して送信されたビデオ信号シーケンスの品質（等式（１）または（２）における“Ｑｔｒａｎｓ”）を受信機側で評価するための方法及び装置を提供することが、本発明の目的である。本発明は、品質に割り当てられる劣化の大きさを記録する１つの単一のパラメータを使用する。本発明の目的は、請求項の特徴によって達成される。
【0032】
第１の特徴によれば、本発明は、送信されたビデオ信号シーケンスの品質を受信機側で評価するための方法であって、ａ）受信された入力ビデオビットストリームを復号化する前に獲得し、それをビデオビットストリームアナライザに供給する段階と、ｂ）測定時間窓の間に、獲得された前記入力ビデオビットストリームのパケットヘッダから、前記ビットストリームアナライザによって、１つまたは複数の特徴を抽出する段階と、ｃ）前記１つまたは複数の特徴から、及び任意に、スライシングの構成のようなメディアストリームに関して知られているメタ情報から、パケット損失に起因する信号劣化の大きさを表す単一のパラメータ“ｘｗｐＳＥＱ”を判定する段階と、ｄ）判定された前記パラメータを品質評価モジュールに供給する段階と、ｅ）パケット損失に起因する信号劣化の大きさを表す前記単一のパラメータ“ｘｗｐＳＥＱ”に基づいて、及びビデオ解像度情報と使用されたビデオコーデックに基づいて、前記品質評価モジュールによって、パケット損失に起因する品質尺度“Ｑｔｒａｎｓ”を計算する段階とを含む方法を提供する。
【0033】
前記段階ｃ）において判定された前記単一のパラメータ“ｘｗｐＳＥＱ”は、損失の空間的な範囲及び継続期間を表す。好ましくは、前記単一のパラメータ“ｘｗｐＳＥＱ”は、測定窓内のグループオブピクチャー（ＧＯＰ）の数“Ｎ”、及び影響されたグループオブピクチャー（ＧＯＰ）“ｋ”で発生する損失の時空間的な範囲“ｘｌ＿ｋ”に基づいている。
【0034】
グループオブピクチャー（ＧＯＰ）“ｋ”で発生する前記損失の前記時空間的な範囲“ｘｌ＿ｋ”は、損失事象に起因する、影響を受けたフレーム内の障害のある（impaired：損なわれた）ピクセルの割合“ｘｌ＿ｉ”、前記ＧＯＰの始まりと比較した損失の位置“ｔ＿ｉ”、及び前記ＧＯＰの長さ“Ｔ＿ｋ”に基づいて計算され得る。
【0035】
前記影響を受けたフレーム内の前記障害のあるピクセルの割合“ｘｌ＿ｉ”は、好ましくは、現在の影響を受けたフレーム内の失われたパケット及び正しく受信されたパケットの数によって除算された、現在の影響を受けたフレーム内のパケット損失事象“ｉ”のために失われたビデオパケットの数に基づいて計算される。
【0036】
前記影響を受けたフレーム内の前記障害のあるピクセルの割合“ｘｌ＿ｉ”は、同様に、現在の影響を受けたフレーム内の失われたバイト及び正しく受信されたバイトの数によって除算された、現在の影響を受けたフレーム内のパケット損失事象“ｉ”に起因して失われたビデオのバイトの数に基づいて計算され得る。
【0037】
別の実施例によれば、前記影響を受けたフレーム内の前記障害のあるピクセルの割合“ｘｌ＿ｉ”は、現在のフレームを含むパケットの数、損失事象“ｉ”において失われる現在の影響を受けたフレーム内の失われたビデオパケットの数、フレーム当たりのスライスの数、及び、スライス当たりのパケットの推測の数に基づいて計算される。
【0038】
同様に、好ましくは、前記影響を受けたフレーム内の前記障害のあるピクセルの割合“ｘｌ＿ｉ”は、現在のフレームを含むパケットのバイトにおける全体のサイズ、現在の影響を受けたフレーム内の損失事象“ｉ”に起因して失われたビデオのバイトの数、及び、スライス当たりのパケットまたはバイトの推測の数に基づいて計算される。
【0039】
その代わりに、前記影響を受けたフレーム内の前記障害のあるピクセルの割合“ｘｌ＿ｉ”は、現在のフレームを含むパケットの数、２つ以上の損失事象がそのフレームにおいて発生する場合には、結合された損失事象“ｉｊ”に属するビデオパケットの数、損失事象“ｉｊ”の間に発見される現在の影響を受けたフレーム内のビデオパケットの数、フレーム当たりのスライスの数、及び、スライス当たりのパケットの推測の数に基づいて計算される。
【0040】
方法は、更に、代替案を含み、前記影響を受けたフレーム内の前記障害のあるピクセルの割合“ｘｌ＿ｉ”は、連続的に失われたビデオトランスポートストリームのパケットの数、フレーム当たりのスライスの数、及び、損失によって影響を受けたフレームにおける損失伝播を反映する修正項に基づいて計算される。
【0041】
また更なる実施例において、前記影響を受けたフレーム内の前記障害のあるピクセルの割合“ｘｌ＿ｉ”は、連続的に失われたトランスポートストリームのパケットにおけるビデオのバイトの数、及び、現在の影響を受けたフレームに含まれるビデオのバイトの総数に基づいて計算される。
【0042】
その代わりに、前記影響を受けたフレーム内の前記障害のあるピクセルの割合“ｘｌ＿ｉ”は、結合された損失事象“ｉｊ”に属するビデオトランスポートストリームのパケットの数、結合された損失事象“ｉｊ”の損失部分の間で発見されるビデオトランスポートストリームのパケットの数、フレーム当たりのスライスの数、及び、損失によって影響を受けたフレームにおける損失伝播を反映する修正項に基づいて計算される。
【0043】
代替実施例は、フレーム当たりに１つのスライスが使用される場合に対処する。ここで、損失事象“ｉ”の寄与度（contribution）“ｘｌ＿ｉ”は、好ましくは、最初に失われたパケットと前記フレームの終わりとの間の空間領域として計算される。
【0044】
前記方法は、前記段階ｃ）において、前記ビデオシーケンスの時空間的な複雑さを表す補正係数を更に考慮し、前記補正係数により、全体のパラメータに対するそれぞれの損失事象“ｉ”の寄与度“ｘｌ＿ｉ”が補正される。前記補正係数は、好ましくは、グループオブピクチャーごとに計算されたビデオの時間的な複雑さによって決まる。その代わりに、前記補正係数は、損失事象“ｉ”によって影響を受けたグループオブピクチャーにおけるフレームの時間的な位置によって決まる。更に、前記補正係数は、損失事象“ｉ”によって影響を受けたグループオブピクチャーにおけるフレームの時間的な位置、及びグループオブピクチャーごとに計算されたビデオの時間的な複雑さによって決まり得る。
【0045】
本発明において、前記段階ｅ）は、損失事象を有するグループオブピクチャーの数を更に考慮し得る。
【0046】
更に、好ましくは、変数が、それぞれのフレームにおける影響された領域の推測の位置を獲得する損失事象ごとに保存されると共に、損失事象“ｉ”の寄与度“ｘｌ＿ｉ”を補正するために、または、前記段階ｃ）による前記全体のパラメータに対する前記シーケンスの所定の時間的な部分の寄与度を補正するために使用される。
【0047】
好ましい実施例によれば、フリージングがパケット損失隠蔽タイプとして使用される場合には、前記段階ｃ）による前記パラメータは、本発明の方法のいずれかにより計算された、前記シーケンスにおける前記フリージングの全体の重み付けされた時間的な継続期間のことを指す。
【0048】
第２の特徴によれば、本発明は、送信されたビデオ信号シーケンスの品質を受信機側で評価するための装置であって、受信された入力ビデオビットストリームを復号化する前に獲得すると共に、測定時間窓の間に、獲得された前記入力ビデオビットストリームのパケットヘッダから、１つまたは複数の特徴を抽出するように構成されるビデオビットストリームアナライザと、前記１つまたは複数の特徴から、及び任意に、スライシングの構成のようなメディアストリームに関して知られているメタ情報から、パケット損失に起因する信号劣化の大きさを表す単一のパラメータ“ｘｗｐＳＥＱ”を判定するための手段と、判定された前記パラメータを受信するように構成されると共に、パケット損失に起因する信号劣化の大きさを表す前記単一のパラメータ“ｘｗｐＳＥＱ”に基づいて、及びビデオ解像度情報と使用されたビデオコーデックに基づいて、パケット損失に起因する品質尺度“Ｑｔｒａｎｓ”を計算するように構成される品質評価モジュールとを備える装置を提供する。
【0049】
本発明の第１の特徴の上記の好ましい実施例は、同様に、本発明の第２の特徴の好ましい実施例である。
【図面の簡単な説明】
【0050】
【図1】図１は、圧縮及び伝送歪みに関連した品質の推定の一般的なフレームワークのブロック図を示す。特に、それは、サービス監視の際の、圧縮による劣化（Ｑｃｏｄ）及び伝送による劣化（Ｑｔｒａｎｓ）の場合に認識されるビデオ品質を推定するための一般的なフレームワークを示す。失われたパケットの数及びフレームタイプなどのようなパラメータは、ビットストリームから抽出されると共に、“ｘｗｐＳＥＱ”パラメータを計算し、そしてパケット損失に起因する質的影響“Ｑｔｒａｎｓ”を予測するために使用される。
【図2】図２は、パケット損失及びパケット損失の隠蔽としてのスライシングの場合のフレーム当たりのスライスの数の影響を示す。特に、それは、フレーム当たりに３つのスライスの場合（中央の図）及びマクロブロックの行当たりに１つのスライスの場合（右側の図）に、任意のフレームにおいてどのように損失が次のスライスまで伝搬するかを示す。マクロブロックは、１６×１６のピクセルブロックである。フレームがどのくらいのパケットから成るかに応じて、そしてどのくらいのスライスがフレームのために使用されるかに応じて、異なる領域がもたらされる。
【図5】図５は、パケット損失によって影響を受けた任意のＧＯＰにおける動きのタイプに応じた損失伝搬のさまざまな変種を示す。それは、（ａ）損失の減衰または損失の拡大を考慮しない場合、（ｂ）損失の減衰を考慮する場合、（ｃ）損失の拡大を考慮する場合のエラー伝搬の例を示す。
【図6】図６は、連続的に失われた“ｎｌｐ＿ｉ＝２”個のパケット、及び１つのスライスを送るために必要とされる４個のパケットの例に関するスライス断片化（slice fragmentation）の場合に、どのように損失事象“ｉ”の時空間的な範囲“ｘｌ＿ｋ”が計算され得るかを示す。上側の図面に関して、フレームに対する全てのスライスが、それらが構成されるパケットの観点から、１つのスライスが他のスライスと離れて描写される点に注意が必要である。更に、図示するために、理想化された状況が全体のフレームに対するスライス当たりのパケットの等しい数で仮定される点に注意が必要である。
【発明を実施するための形態】
【0051】
「１． スライシング」「１．１ 損失の時空間的な範囲“ｘｌ＿ｋ”−ＧＯＰ“ｋ”あたりの、そしてシーケンス（ｘｗｐＳＥＱ）あたりの劣化」
本発明は、スライシングに関して最初に記述される。フリージングのための方法は、スライシングのためのサブケース（sub-case）として、後で示される。
【0052】
損失の空間的な範囲及び継続期間は、影響を受けたフレームにおける連続的に失われたパケットの数、影響を受けたフレームにおけるパケットの数、フレーム当たりのスライスの数、及び、影響を受けたフレームのフレームタイプから計算される。
【0053】
従って、“Ｑｔｒａｎｓ”は、等式（３）のように書かれ得る。
【0054】
下記において全ての計算が復号器の入力レベルにおけるビットストリームに関して行われ、従って、それらのフレームは、表示の順序ではなく符号化される順序に従う点に注意が必要である（図３を参照）。
【0055】
【数2】
【0056】
ここで、“ｆ”は、例えば対数関数であり、そして“ｘｗｐＳＥＱ”は下記式（４）のようである。
【0057】
【数3】
【0058】
ここで、・“Ｎ”は、測定窓内のグループオブピクチャー（ＧＯＰ）の数である。
・“ｘｌ＿ｋ”は、グループオブピクチャー（ＧＯＰ）“ｋ”で発生する損失の時空間的な範囲であり、下記式（５）のようである。
【0059】
【数4】
【0060】
ここで、・“ｉ”は、新しい損失事象（すなわち、損失伝搬に起因しない）のインデックスである。もし（階層型符号化の場合の基準Ｂ−フレームでない）Ｂ−フレームにおいて損失事象が発生するならば、その損失は伝搬せず、従って、損失事象は、“ｘｌ＿ｋ”の計算において無視される。
・“ｔ＿ｉ”は、新しい損失事象が発生するフレームの（ＧＯＰの始まりと比較した）インデックスである。
・“Ｔ＿ｋ”は、一般的にフレームの数の観点から表されたＧＯＰ“ｋ”の継続期間または長さである。
・“ｘｌ＿ｉ”は、損失事象“ｉ”に起因する、影響を受けたフレーム内の障害のある（impaired：損なわれた）ピクセルの割合である。
【0061】
“ｘｌ＿ｉｊ”を損失事象“ｉ”からの個別の寄与度（contribution）とし、“ｘｌ＿ｉｗ”を“ｗ＜ｉ”であるあらゆる以前の損失事象“ｗ”からの個別の寄与度とする。原則として、１つのＧＯＰ“ｋ”におけるいくらかの損失事象に関する【数5】
【0062】
【数6】
【0063】
ここで、“ｘｌ＿ｋｉ”は、ＧＯＰ“ｋ”における現在の損失事象“ｉ”までに累積された関連する空間領域である。
【0064】
代替実施例において、そしてＧＯＰの長さがとても異なっている場合に、各ＧＯＰの継続期間は、等式（４）において明白に考察され得ると共に、下記式（５ａ２）をもたらす。
【0065】
【数7】
【0066】
ここで、“Ｔｋ”は、シーケンスの全体の継続期間であり、それは、フレームの数によって表され得る。
【0067】
本発明の別の実施例は、階層Ｂ−フレーム（hierarchical B-frame）が使用される場合に有効である。この場合、基準Ｂ−フレームにおける損失事象は、次の完全なＰ−フレームが到着するまで伝搬すると仮定されることができ、一方その損失は、それぞれのＢ−フレームの後に続くＢフレーム、またはそれぞれのＢ−フレームに先行するＢ−フレームの両方に影響を及ぼす。その結果、各損失事象“ｉ”からの個々の寄与度“ｘｌ＿ｉ”は、下記式（５ｂ）のように、各項目（entry：エントリ）が各損失事象の空間的な範囲の特性を示すベクトル“ｘｌ＿ｋ”に集められ、そしてそれぞれの継続期間は、下記式（５ｂ２）のように、ベクトル“ｔ＿ｋ”に集められる。
【0068】
【数8】
【0069】
ここで、“Ｔｐ＿ｉ”は、損失によって影響を受けた基準Ｂ−フレームに続くＰフレームの、ＧＯＰ“ｋ”におけるフレームの位置である。また、伝送の順序におけるフレーム−インデックスが仮定される。
【0070】
その場合に、等式（５）または（５ａ）に基づいた“ｘｌ＿ｋ”の計算は、下記式（５ｃ）のように、ベクトル“ｘｌ＿ｋ”と“ｔ＿ｋ”のスカラー積（skalar product）を必要とするか、【数9】
【0071】
「１．１．１ 損失事象“ｉ”の時空間的な範囲への寄与度“ｘｌ＿ｉ”の判定」「１．１．１．１ パケット当たりに１つのスライス」
用いられたパケット化（packetization)スキームに応じて、障害のあるピクセルの推測の割合“ｘｌ＿ｉ”を判定するためのさまざまな方法が存在する。
【0072】
例えば、パラメータ“ｘｌ＿ｉ”は、下記式（６）のように計算され得る。
【0073】
【数10】
【0074】
ここで、・“ｎｌｐ＿ｉ”は、現在の影響を受けたフレームにおけるパケット損失事象“ｉ”のために失われたビデオパケットの数である。
・“ｎｐ”は、現在の影響を受けたフレームにおける（失われたパケット＋正しく受け取られたパケット）の数である。
・“ｘｌ＿ｉ”は、損失事象において失われたパケットに対応する、現在の影響を受けたフレームにおける障害のあるピクセルの推測の割合である。
【0075】
この実施例は、パケット化が、１つのＩＰ−パケットが正確に１つのスライスを含むような方法で行われる場合（すなわち、Ｈ．２６４ビデオコーデックの場合の１つのネットワーク概要レイヤユニット（NALU：Network Abstraction Layer Unit））を表す。この場合、それらのスライスは、一般的に、バイトにおけるネットワークのＭＴＵサイズに対応するように選択される。従って、パケット損失は、スライス損失に対応すると共に、“ｎｌｐ”個のパケットの損失は、“ｎｌｐ”個のスライスの損失に対応する。この場合、損失によって影響を受けた領域は、そのフレームが構成されるパケットの数によって除算された（割られた）、失われたパケットの数として計算される。そのフレームが構成されるパケットの数が、失われたパケットの数に受け取られたパケットの数を加えたものに対応することは、明らかである。
【0076】
代替実施例によれば、参考文献［１０］（非特許文献８）に示されたように、基準フレームにおける失われた領域が、任意のフレームに関して必要とされるバイトの推測の数によって除算された（割られた）、失われたバイトの推測の数として、下記式（６ａ）のように推定され得る。
【0077】
【数11】
【0078】
ここで、・“ｂｌｐ＿ｉ”は、現在の影響を受けたフレームにおける損失事象“ｉ”に起因して失われたビデオのバイトの数である。
・“ｂｐ”は、現在の影響を受けたフレームにおける（失われたバイト＋正しく受け取られたバイト）の数である。
・“ｘｌ＿ｉ”は、損失事象“ｉ”によって失われたバイトに対応する、現在の影響を受けたフレームにおける障害のあるピクセルの推測の割合である。
【0079】
「１．１．１．２ トランスポートストリームのないフレーム当たりのスライスの固定数」次に、スライスが固定量のピクセルを含むような方法で、パケット化が行われる場合が考察される。例えば、これは、ＭＴＵサイズに割り当てるように強要されないスライスを有するＩＰ／ＵＤＰ／ＲＴＰベースの伝送の場合である。現在のフレームに影響を与える任意の損失事象において、“ｎｌｐ＿ｉ”個のパケットが連続的に失われると仮定されている。パケット化が他の場合は“サイズ（パケット）＝ｍｉｎ（ＭＴＵ，スライス）”のパケットを生じると予測されるので、２つの場合、すなわち、ａ）パケットサイズがスライスサイズより大きい場合、ｂ）パケットサイズがスライスサイズに等しいか、もしくはスライスサイズより小さい場合、が識別され得る。場合ａ）では、整数のスライスが各パケット含まれると共に、スライスの断片化が行われないことになると仮定され得る。この場合ａ）は、概念的に（conceptually）、パケット当たりに１つのスライスが存在した前の説明に非常に類似している。同様に、等式（６）及び（６ａ）を参照すると、１つのパケットに整数のスライスが含まれるこの場合ａ）では、損失事象“ｉ”によって失われたピクセルの相対量は、全体のフレームが構成されるパケットの数によって除算された、失われたパケットの相対数“ｎｌｐｉ”に対応する。
【0080】
場合ｂ）では、スライスの断片化を有し、等式（６）は、下記式（６ｂ）のように書き直される必要がある。
【0081】
【数12】
【0082】
ここで、・“ｎｐ”は、現在のフレームを含むパケットの数である。
・“ｎｌｐ＿ｉ”は、以前と同様に、損失事象“ｉ”において失われる現在の影響を受けたフレームにおける失われたビデオパケットの数である。
・“ｎｓｃ”は、フレーム当たりのスライスの数である。
・“ｎｐ／ｎｓｃ”は、スライス当たりのパケットの推測の数である。
【0083】
この場合は、図６において例証される。概略図は、一例のスライスの構造と比較した損失の位置に応じた、“ｎｌｐ＿ｉ”個の連続的に失われたパケットを有する損失事象によって影響を受ける空間領域の割合を示す。等式（６ｂ）、及びこの特許における同様に他の等式は、平均動作（average behavior）を計算することによって得ることができる。
【0084】
等式（６）及び（６ａ）を参照すると、この場合の代替実施例では、前の場合と同様に、パケット数を利用する代りに、これらのパケットに含まれるそれぞれのバイトの数が使用され得る。その場合には、下記式（６ｃ）のようになる。
【0085】
【数13】
【0086】
ここで、・“ｂｐ”は、現在のフレームを含むパケットのバイトにおける全体のサイズである。
・“ｂｌｐ＿ｉ”は、現在の影響を受けたフレームにおける損失事象“ｉ”に起因して失われたビデオのバイトの数である。
・“ｎｐ／ｎｓｃ”は、スライス当たりのパケットの推測の数である。
【0087】
１つのスライスだけがフレーム当たりに使用されているならば、そのフレームにおける損失事象の正確な位置は知られ得る。この場合、“ｘｌ＿ｉ”は、最初に失われたパケットとフレームの終わりとの間の空間領域に対応する。
【0088】
【数14】
【0089】
ここで、“ｓａｐ＿ｉ”は、損失によって影響を受けた表面（surface）であり、“ｓｆ”は、全体のフレームの表面（surface）である。
【0090】
本願明細書において以前に説明されたように、パケットサイズ及び／またはペイロードサイズに基づいて“ｓａｐ＿ｉ”及び“ｓｆ”を計算することは、当業者には明白である。
【0091】
２つの続いて起こる損失事象“ｉ”及び“ｊ”の最初の失われたパケット“ｐ＿ｉ”及び“ｐ＿ｊ”が、スライスのために必要とされるパケットの推測の数以上のパケットの数であるすき間（gap：空隙）“ｇａｐ＿ｌ＿ｉｊ≧ｎｐ／ｎｓｃ”によって分割される場合にだけ、２つの損失事象は続いて起こると考えられることに注意しなければならない。他の場合は、２つの損失事象は、２つの損失事象の間で発見された“ｎｆｐ＿ｉｊ”個のパケットによって特徴付けられる１つの単一の結合された損失事象“ｉｊ”の一部として、ここでは扱われる。この場合において、式（６ｂ）は、下記式（６ｅ）のようになる。
【0092】
【数15】
【0093】
ここで、・“ｎｐ”は、現在のフレームを含むパケットの数である。
・“ｎｌｐ＿ｉｊ”は、（現在の影響を受けたフレームの）２つのパケット損失事象“ｉ”と“ｊ”との間に含まれるすき間（gap：空隙）における発見されたパケットに加えて、更に全ての失われたパケットである、結合された損失事象“ｉｊ”に属するビデオパケットの数である。
・“ｎｆｐ＿ｉｊ”は、損失事象“ｉｊ”の間に発見された、現在の影響を受けたフレームにおけるビデオパケットの数である。ここで、結合された損失事象は、“１”が失われたパケットに対応し、“０”が発見されたパケットに対応する場合に、“１．．．０．０．．１”の形式の損失事象である。従って、損失事象は、損失を有して（損失によって）始まって、次に発見された“ｎｆｐ＿ｉｊ”個のパケットがあり、そして損失を有して（損失によって）終わる。
・“ｎｓｃ”は、フレーム当たりのスライスの数である。
・“ｎｐ／ｎｓｃ”は、スライス当たりのパケットの推測の数である。
【0094】
式（６ｅ）が、更に、ビデオフレームの各々失われた部分及び発見された部分のバイトにおけるサイズの観点から表され得ることは明白である。
【0095】
「１．１．１．３ トランスポートストリームを有するフレーム当たりのスライスの固定数」パケット化がトランスポートストリーム（ＴＳ）パケットを包含する場合、ビデオパケットは、ビデオペイロードを有するＴＳ−パケットに対応する。この場合、以前の場合と同様に、各スライスは、一般的に、それぞれのビデオフレームにおける固定の空間領域に対応する。ここでは、同様に、１つからいくつかのパケットが、任意のフレームに関するビデオの空間的な、または時間的な複雑さに応じて、それぞれのスライスを送信することを要求され得る。
【0096】
上記の「背景技術」欄の要素ｇ）において言及されたように、スライスにおいて損失事象が存在するならば、失われたパケットに対応するピクセル領域から次のスライスまでの全ピクセル領域が損なわれる。
【0097】
この場合、連続的に失われた“ｎｌｐ＿ｉ”個のパケットの損失事象“ｉ”があるとき、平均して、半分のスライスが、影響を受けたフレームにおける事象“ｉ”で失われたパケットの数に対応する障害のあるピクセルの割合に加えて失われる。これは、等式（６）を等式（７）に修正することによって、反映することができる。
【0098】
【数16】
【0099】
ここで、・“ｎｌｐ＿ｉ”は、連続的に失われたビデオＴＳ−パケットの数である。
・“ｎｓｃ”は、フレーム当たりのスライスの数である。
・“１／（２＊ｎｓｃ）”は、従って、損失によって影響を受けたスライスにおける損失伝播を反映する修正項である。
【0100】
状況は、どのように損失事象がフレームに対して、そしてスライスの一例のセットと比較して配置されるかに応じて、失われた“ｎｌｐ＿ｉ”個のパケットの任意の損失事象によって影響を受けた空間領域が示される、図７において例証される。ここでは、空間的な割合が、全体のフレームが“１”の割合に対応するように、フレームが構成されるパケットの全体の数と比較して表される。等式（７）は、フレームの始まりと比較した損失事象の始まりの位置に関して示されたカーブを統合して、平均して影響を受ける領域を計算する場合に従う。任意の例が、失われたパケットに含まれる空間領域が１つのスライスより小さい場合に関して選択されるが、しかし、それが１つのスライスより大きい場合に同じ関係が同様に適用されるということが容易に示され得る。
【0101】
代替実施例では、パケットの数よりむしろバイトにおけるパケットサイズが使用され得る。
【0102】
【数17】
【0103】
ここで、・“ｂｌｐ＿ｉ”は、連続的に失われたＴＳ−パケットにおけるビデオのバイトの数である。
・“ｂｐ”は、現在の影響を受けたフレームに含まれるビデオのバイトの総数である。
【0104】
他のパケット化の場合と同様に、２つの損失事象“ｉ”及び“ｊ”の開始点は、バイトにおける１つのスライス、またはＴＳ−パケットの数より小さく、相互に離れているかもしれない。この場合、本発明は、２つの損失事象を、２つの連続する失われたパケット“ｎｌｐ＿ｉ”及び“ｎｌｐ＿ｊ”（またはそれぞれ“ｂｌｐ＿ｉ”及び“ｂｌｐ＿ｊ”）の間で発見された“ｎｆｐ”個のパケットまたはサイズ“ｂｆｐ”のパケットを有する１つの単一の損失事象として考察することを示唆する。この場合、以前に示された類似の実施例のように、２つの損失実行（loss run）の間で発見された“ｎｆｐ＿ｉ”個のパケットが、それぞれのフレームにおける障害のあるピクセルの割合を減少させることになり、それは、下記式（７ｂ）によって説明され得る。
【0105】
【数18】
【0106】
ここで、以前の定義に加えて、下記のように定義される。・“ｎｌｐ＿ｉｊ”は、２つの損失事象の間（ここでは、２つの損失事象“ｉ”、“ｊ”の間の１つのすき間（gap：空隙）だけを仮定する）で発見されたパケットを含む結合された損失事象“ｉｊ”に属するビデオＴＳ−パケットの数である。
・“ｎｆｐ＿ｉｊ”は、結合された損失事象“ｉｊ”の損失部分の間で発見されたビデオＴＳ−パケットの数である。
・“ｎｓｃ”は、フレーム当たりのスライスの数である。
・“１／（２＊ｎｓｃ）”は、従って、損失によって影響を受けたスライスにおける損失伝播を反映する修正項である。
【0107】
特定の場合では、ほんの少しの、すなわち例えば、１つ、２つ、または３つのスライスが、フレーム当たりに使用され、フレームに属する一連のパケットに関する損失事象の位置が考慮される場合には、“ｘｌ＿ｉ”の計算は、更に厳密であり得る。これは、そのフレームにおける失われたパケットのあとに続く全てのピクセル情報が品質劣化したと考察され得る、フレーム当たりに１つのスライスの場合に、特に有意義である。そのような場合、等式（７）は、等式（７ｃ）になる。
【0108】
【数19】
【0109】
ここで、“ｎｄｐ＿ｉ”は、フレームにおける最初の失われたパケットからフレームの終わりまでのパケットの数である。
【0110】
一般的に、トランスポートストリームの場合、もし損失事象“ｉ”によって失われたビデオパケットの数がフレームに属するパケットの仮定した数を越えるならば、あるいは、もし（例えば失われたバイトの推測の数から仮定された）影響を受けた領域がフレームの領域を越え、そして従って損失事象が次のフレームにまで及ぶならば、次のフレームに関する影響を受けた損失領域のそれぞれの検討が行われる必要がある。例えば、そのような計算は、等式（７）、（７ａ）、（７ｂ）、または（７ｃ）を用いて、影響を受けた（その後の）フレームに対して行われ得る。
【0111】
フレームにおける損失の位置を明白に考慮することの他の特徴は、第１．３．２欄で説明される。
【0112】
「１．２ 品質モデル」ここで、前述の場合の全てに関して、本発明に従うと、下記式（８）を得る。
【0113】
【数20】
【0114】
等式（８）において、係数“ａ”及び“ｂ”の値は、ビデオ解像度及び採用されたビデオコーデックによって決まる。任意の解像度及びビデオコーデックに関して、係数の１つのセットだけで、そのモデルは、様々なビットレート、（時空間的な複雑さの点から見た）ビデオコンテンツのタイプ、ＧＯＰ構造の選択、パケット損失レート及び分布（packet loss rate and distribution）、及びフレーム当たりのスライスの数をカバーする。
【0115】
好ましくは、係数が、目標値として知覚テストの格付けを使用して、最小２乗誤差曲線フィッティング手順において獲得されることに注意が必要である。例えばｘ２６４符号器の実装に対応するＨ．２６４ビデオコーデックによるＨＤ解像度（１９２０×１０８０ピクセル）に対して、“ａ＝７．７９”及び“ｂ＝０．００２”を得る。
【0116】
「１．３ モデルの改良」「１．３．１ エラー伝搬の間に損失の影響を受けた領域の振る舞い」
もし１つのパケット損失がＧＯＰ“ｋ”の時刻“ｔ＿ｉ”において基準Ｐ−フレームまたはＩフレームに発生するならば、そのエラーは、次のＩ−フレームまで伝搬される。時刻“ｔ＿ｉ”で最初に影響を受けたフレームにおける障害のあるピクセルの数、及び次のＩ−フレームまでの従属するフレームにおける障害のあるピクセルの数は、一定であると考えられる。言い換えると、損失の空間的な範囲は、伝搬している間一定であると考えられる（図５（ａ）を参照）。この仮定は、厳密ではないが、大部分の場合に存在する。実際には、ビデオには動きがあるので、そして、符号化処理の性質に起因して、損失の空間的な範囲は、１つの従属のフレームから別の従属のフレームでは、変化している（図５（ｂ）を参照）。この空間的な範囲の拡大（図５（ｃ））または減衰（図５（ｂ））は、動きの量及び時間的な複雑さによって決まる。もしその動きが混沌としているならば、例えばもし画像のさまざまな部分がさまざまな方向に移動するならば、その損失は、全フレームを横断して伝搬し得る（図５（ｃ））が、しかしもし障害のあるオブジェクトの動きが首尾一貫していると共に速いならば、障害のあるオブジェクトは、次のＩ−フレームより前にピクチャから姿を消すであろう（図５（ｂ））。この特徴は、等式（９ａ）、（９ａ２）、及び（９ｂ）において示されるように、等式（４）及び全ての関連する等式における“ｘｌ＿ｋ”に補正係数“α１，ｋ”を挿入することによって、及び／または、等式（５）及び全ての関連する等式における“ｘｌ＿ｉ”に補正係数“α２，ｉ”を挿入することによって、調整され得る。
【0117】
【数21】
【0118】
もしくは、等式（５ａ）に関連すると下記式（９ａ２）のようになる。
【0119】
【数22】
【0120】
補正係数“α１，ｋ”は、ビデオの時間的な複雑さ“ｔｃｏｍｐ”によって決まる。時間的な複雑さは、ＧＯＰ“ｋ”ごとに計算される。
【0121】
補正係数“α２，ｉ”は、損失事象“ｘｌ＿ｉ”ごとに適用されると共に、損失事象“ｉ”によって影響を受けたフレームの時間的な位置によって、すなわち“ｔ＿ｉ”によって、及びビデオの時間的な複雑さ“ｔｃｏｍｐ”によって決まる。補正係数は、従って、等式（１０ａ）及び（１０ｂ）のように書かれ得る。
【0122】
【数23】
【0123】
ここで、・“ｔｃｏｍｐ”は、ＧＯＰの時間的な複雑さであり、例えばＩ−フレーム、Ｐ−フレーム、及びＢ−フレームのフレームサイズの関数になる。
・“ｔ＿ｉ”は、新しい損失事象が発生する、ＧＯＰにおけるフレームの位置である。
【0124】
従って、・“α１”は、“ｔｃｏｍｐ”の関数になる。
・“α２”は、“ｔ＿ｉ”と“Ｔ”との間のフレームの位置、及び“ｔｃｏｍｐ”の関数になる。
【0125】
補正係数“α１，ｋ”及び“α２，ｉ”は、各損失事象に関して、及び広い範囲のビデオコンテンツに関して、等式（６）（または、上記で提供された“ｘｌ＿ｉ”を計算できる他の等式のいずれか）を使用して計算された“ｘｌ＿ｉ”の値と、障害のあるピクセルの実際の数とを比較することによって、以前のステージ（オフライン）において統計的に獲得され得る。障害のあるピクセルの実際の数は、パケット損失を有する符号化されたビデオとパケット損失がない符号化されたビデオとを、フレームごとに比較することによって、例えば計算される。この数は、“ｔ＿ｉ”、“ｔｃｏｍｐ”、及び“ｘｌ＿ｉ”の値と共に、各損失事象に関して保存される。従って、障害のあるピクセルの実際の数と、様々な“ｔｃｏｍｐ”及び“ｔ＿ｉ”の値に対する“ｘｌ＿ｉ”との間のマッピングを有し、それは、当業者に知られている発見的解決法（heuristic approach）を用いて得られる必要がある。従って、各“ｔ＿ｉ”と“ｔｃｏｍｐ”の値に関して、どれだけ“ｘｌ＿ｉ”が減衰されるべきか、あるいは拡大されるべきかがわかる。
【0126】
エラーの可視性が、コンテンツの時空間的な複雑さによって決まる点に注意が必要である。例えば、低い時間的複雑さのコンテンツに関して、そしてスライシングがパケット損失の隠蔽の一部分として使用される場合に、この損失の隠蔽は、非常によく機能し得ると共に、損失によって誘発されたエラーは可視的ではない可能性がある。そのエラーは、高い量の細部を有する空間領域で発生する場合に、同様に可視的ではない可能性がある。結果として、代替実施例では、補正係数“α１，ｋ”及び“α２，ｉ”は、エラーの可視性が、ビデオシーケンスの時間的な、そして空間的な複雑さに基づいて計算されるべきであることを、更に、示すであろう。この場合、等式（９ａ）及び（９ａ２）が使用され得ると共に、補正係数“α１，ｋ”は、ビデオの時空間的な複雑さ“ｓｔｃｏｍｐ”によって決まる。時空間的な複雑さは、ＧＯＰ“ｋ”ごとに計算されると共に、等式（１０ａ）は、下記式（１０ａ２）のようになる。
【0127】
【数24】
【0128】
ここで、“ｓｔｃｏｍｐ”は、ＧＯＰの時空間的な複雑さであり、例えばＩ−フレーム、Ｐ−フレーム、及びＢ−フレームのフレームサイズの関数になる。
【0129】
例えば、等式（５ｂ２）及び（５ｃ）を参照すると、当業者は、階層Ｂ−フレーム符号化が使用される場合に、等式（９ａ）から（１０ａ２）によって表された特徴を、損失のわずかに異なる時間積分と容易に結合することができるであろう。
【0130】
「１．３．２ 損失事象によって影響を受けた空間領域」上記で導入された同じ重み係数を使用して、損失事象“ｉ”によって引き起こされたフレーム内の劣化の位置が、明白に考慮されることができる。これは、さまざまな理由において意味があり得る。
【0131】
Ｉ）見る人（viewer)の注意は、主としてフレームの中央に集中すると予測される。この効果は、見る人の注意を引き付けそうである可視的なエラーの発生によって減少する。しかしながら、フレームのあるエラーにおいて発生する可視的なエラーは、フレームの他の領域におけるエラーより、品質に対する更に強い影響をもたらす可能性がある。この特徴は、良く知られており、この特許において行われた発明は、下記で概説されるような空間的な位置の表現を使用する適切な方法で上記において導入された係数“α１”または“α２”を使用して、どのようにこの影響が“ｘｌ＿ｋ”及び“ｘｗｐＳＥＱ”の計算に含まれ得るかにある。
【0132】
ＩＩ）いくらかの損失事象が１つのＧＯＰにおいて類似した空間的な位置で発生する場合に、影響を受けた空間領域がこれらの損失事象からの個々の寄与度の累算に対応しないことが有り得る。その代りに、その影響が結合され、従ってＧＯＰ“ｋ”に関してその結果生じる“ｘｌ＿ｋ”が、全ての損失事象が異なる空間領域に影響を及ぼす場合より低いことが有り得る。この影響が場面における時間的な複雑さと相互に作用するので、劣化の位置が場面における動きによって動き回るとき、それはあまり表されないであろうと共に、追加のコンテンツの従属関係（content-dependency）が存在する。全てのこれらの特徴は、上記で導入された重み係数“α２”を適切に選択することによって処理され得る。
【0133】
ＩＩＩ）例えば(統計の結果、より弱い部分が常により影響を受けることになる）フレーム当たりに１つのスライスを有するビデオ送信に関する場合のように、いくらかのＧＯＰが同じような空間位置において劣化を示す場合に、その結果生じる劣化はさまざまな空間領域でさまざまなＧＯＰが劣化する場合と異なるであろう、ということが仮定され得る。例えば、視覚的注意（visual attention）は、損失を有し、従ってこの場合に質的影響がより顕著である可能性が非常に高い再発した（re-occuring）領域に集中するであろう。例えば、この影響は、重み係数“α１”の適切な選択によってモデル化され得る。
【0134】
これらの場合（Ｉ）〜（ＩＩＩ）の全てに関して、フレーム“ｊ”における損失事象“ｉ”によって引き起こされた劣化の空間位置、及び異なるＧＯＰ“ｋ”に関して累積された空間領域を記録することが必要とされる。本願明細書の先の部分において概説された同じ考察に基づいて、フレームにおける垂直方向の位置、フレームの全体サイズ（または空間的な範囲）と比較した損失領域の全体サイズ、及び、従って、損失によって影響を受けない、フレームの終わりにおける領域のサイズの点から、その位置が、フレーム“ｊ”の始まりからの損失事象“ｉ”の距離を使用することによって追跡され得ることは明白である。
【0135】
本発明の一実施例では、フレーム及びＧＯＰにおける損失に起因する劣化の位置を記録するために、下記のアプローチが行われる。
【0136】
上記と同様に、“ｘｌ＿ｋ”は、損失事象“ｉ”によって影響を受けた領域の空間的な範囲とする。ここで、上記と同様にパケットサイズまたはパケット数の情報から抽出される下記の割合を更に導入する。・“ｘｆｏｕｎｄＢ＿ｉ”は、損失事象“ｉ”によって影響を受けていない、フレーム“ｊ”の始まりにおける相対的な空間領域である。“ｘｆｏｕｎｄＢ＿ｉ”が０に等しくなり得る点に注意が必要である。
・“ｘｆｏｕｎｄＥ＿ｉ”は、損失事象“ｉ”によって影響を受けていない、フレーム“ｊ”の終わりにおける相対的な空間領域である。“ｘｆｏｕｎｄＥ＿ｉ”が０に等しくなり得る点に注意が必要である。
・“ｓｌｌ＿ｉ”は、各走査線（line）に、フレームのそれぞれの部分が損失事象“ｉ”の一部を含むかどうか、そして、必要に応じて、フレームのそれぞれの部分のどの範囲が損失事象“ｉ”の一部を含むか、に関する情報を含む列ベクトルである。この目的のために、フレーム“ｊ”は、“Ｍ”がベクトル“ｓｌｌ＿ｉ”の次元の数に対応する、Ｍ個の等しい大きさの水平走査線に分割される。
【0137】
ここで、本発明の一実施例において、ベクトル“ｓｌｌ＿ｉ”の項目（entry：エントリ）は、下記のように計算され得る。・“ｓＢ＿ｉ”は、Ｍ個の走査線へのラインサンプリングの観点からの、損失によって影響を受けていない、フレームの始まりにおける割合であると共に、全体のフレームサイズと比較して表される。
・“ｓＥ＿ｉ”は、Ｍ個の走査線へのラインサンプリングの観点からの、損失によって影響を受けていない、フレームの終わりにおける割合であると共に、全体のフレームサイズと比較して表される。
【0138】
更に、下記式（１０ｃ）及び（１０ｄ）のように表される。
【0139】
【数25】
【0140】
その場合に、“ｓｌｌ＿ｉ”は、下記式（１０ｅ）のように表される。
【0141】
【数26】
【0142】
式（１０ｅ）の更に簡単な表現は、下記式（１０ｆ）のように表される。
【0143】
【数27】
【0144】
ここで、係数“α１”及び“α２”は、下記式（１０ｇ）及び（１０ｈ）のように、これらのベクトル“ｓｌｌ＿ｉ”の関数として計算され得る。
【0145】
【数28】
【0146】
ここで、等式（１０ｈ）は、任意のＧＯＰ“ｋ”に関する、全ての“ｓｌｌ＿ｉ”の総和を包含し得る。その場合に、“ｓｌｌ＿ｉ”によって示された“Ｍ”個のビン（bin）における値の分布は、任意のＧＯＰに影響する異なる損失事象“ｉ”が類似の（similar）領域もしくは異なる（dissimilar）領域に影響を与えたかどうかの指標であり得る。その結果、値の広がりが小さいほど、それらの損失は、ある領域により集中すると共に、個々の事象のより低い重み付け（weighting）をもたらす。
【0147】
等式（１０ｆ）に関して、任意のＧＯＰ“ｋ”について合計された“ｓｌｌ＿ｉｋ”は、ＧＯＰを越えて累積され得ると共に、異なる領域もしくは類似の領域がさまざまな影響を受けたＧＯＰに関して影響を受けるかどうかの指標を提供する。従って、ＧＯＰの寄与度は、より高く、もしくは、より低く、重み付けされ得る。
【0148】
当業者は、上述のように、容易にこれらの方法を、場面に含まれる動きの観点からの追加の重み付け（weighting）の寄与度、または適切な重み付けによって処理され得る特徴のあらゆる他のものと結合することができるであろう。
【0149】
「１．３．３ 影響を受けたＧＯＰの数に起因する影響」モデルの予測を向上させる追加の方法は、損失事象を有するＧＯＰの数を入力パラメータとして挿入することである。実際には、等式（４）において見られ得るように、そのモデルは、今までのところ、大きな空間領域を有する単一の長い損失事象の質的影響（quality impact）と、（空間領域の観点からの）いくらかのより短くより小さな損失事象の質的影響を区別しない。ここで、いくらかの小さな損失事象が単一のより大きな損失事象より更に品質を劣化させると仮定するが、しかし、この差異は、損失事象それ自身の空間的な範囲によって決まる。その結果、等式（１１）において示されたように、補正係数“β”を等式（４）に挿入する。
【0150】
【数29】
【0151】
ここで、・“Ｎｇｌ”は、測定窓内に損失事象を有するＧＯＰの数である。
・“ｘｌ＿ｋ”は、ＧＯＰ“ｋ”において発生する損失の時空間的な範囲である（等式（５）及び（９）、そして全ての関連する等式を参照）。
【0152】
それは、更に、式（５ａ）において与えられるような、異なる長さのＧＯＰを含む（４）の形式と結合され得ると共に、下記式（１１ａ）をもたらす。
【0153】
【数30】
【0154】
“α”と同様に、“β＿ｋ”は、以前のステージにおいて、同じ知覚品質を獲得したビデオシーケンスのセットの“ｘｗｐＳＥＱ”の値を比較することによって、そして、各“ｘｗｐＳＥＱ”及び知覚品質の値に関して、“Ｎｇｌ”パラメータ及び“ｘｌ＿ｋ”パラメータを保存することによって、統計的に獲得され得る。本発明は人間の被験者の知覚プロセスの技術的なモデルと考えられ得るので、知覚品質が主観テストを行なうことによって以前に獲得される点に注意が必要である。“β”の値は、等式（１１）を使用して計算された“ｘｗｐＳＥＱ”と知覚品質との間の最も良いマッピング（mapping：関数）を獲得するために調整される。
【0155】
「２． フリージング」今までのところ、方法は、スライシングがパケット損失隠蔽タイプとして使用されたと仮定して説明された。しかしながら、もし測定窓のＧＯＰが同じ長さを持っているならば、“ｘｗｐＳＥＱ”パラメータは、フリージングがパケット損失隠蔽タイプとして使用される場合に、同様に有効である。実際には、上記の「背景技術」欄の要素ｆ）において言及されたように、フリージングの場合には、もしフレームがパケット損失によって影響を受けるならば、最後の損なわれていない（unimpaired）フレームが次のＩ−フレームまでフリーズ（freeze）する。“ｘｗｐＳＥＱ”において示された損失の空間的な範囲は、このパラメータによってカバーされた損失の時間的な特徴に反して、持続しない。
【0156】
これは、“Σ（ｘｌ＿ｉ）”を“１”に強制する（と共に、等式（５ａ）を反映する）ことによって、等式（５）において反映され得ると共に、等式（１２）をもたらす。
【0157】
【数31】
【0158】
等式（１２）において、“ｘｌ＿ｋ”は、ＧＯＰ“ｋ”の継続期間と比較したＧＯＰにおける損失の継続期間を表す。
【0159】
式（４）または式（５ａ）または関連する等式の他のいずれかと共に式（１２）を使用する場合に、等しい長さのＧＯＰと異なる長さのＧＯＰの両方の場合が考察され得る。更に、前の項において概説されるように、コンテンツの時空間的な複雑さの観点からのフリージング関連のパラメータの修正は、劣化をスライスする場合のように実施され得る。
【0160】
本発明が詳細に図及び前述の記述において例証されて説明された一方、そのような例証及び記述は、実例であるか、または代表的であり、限定的でないと考えられるべきである。変更及び修正が、当業者によって、特許請求の範囲内で行われ得るということが理解されることになる。特に、本発明は、上記及び下記で説明された異なる実施例が提供する特徴のあらゆる組み合わせを有する更なる実施例をカバーする。
【0161】
更に、請求項において、単語“含む”は、他の要素及びステップを排除しないと共に、単数で記載されたものは複数の場合を除外しない。単一のユニットが、請求項において暗唱されたいくらかの特徴の機能を遂行し得る。特性（attribute）または値に関連して、用語“本質的に”、“約”、“おおよそ”等は、特に、それぞれ、正確に特性を、または正確に値を、更に定義する。請求項における引用符号（reference sign）は、範囲を限定すると全く解釈されるべきでない。
【0162】
「参考文献のリスト」［１］“A. Takahashi”、“D. Hands”、及び“V. Barriac”、“Standardization Activities in the ITU for a QoE Assessment of IPTV”、IEEE Communication Magazine, ２００８年
［２］“S. Winkler”及び“P. Mohandas”、“The Evolution of Video Quality Measurement: From PSNR to Hybrid Metrics”、IEEE Trans. Broadcasting、２００８年
［３］“A. Raake”、“M.N. Garcia”、“S. Moeller”、“J. Berger”、“F. Kling”、“P. List”、“J. Johann”、及び“C. Heidemann”、“T-V-MODEL: Parameter-based prediction of IPTV quality”、“ICASSP”の講演録、２００８年
［４］“O. Verscheure”、“P. Frossard”、及び“M. Hamdi”、“User-Oriented QoS Analysis in MPEG-2 Video Delivery”、Real-Time Imaging 5, ３０５〜３１４頁、（１９９９年）
［５］“F. You”，“W. Zhang”、“J. Xiao”、“Packet Loss Pattern and Parametric Video Quality Model for IPTV”、“Eighth EEEE/ACIS International Conference on Computer and Information Science”の講演録、８２４〜８２８頁、２００９年
［６］“M.-N. Garcia”及び“A. Raake”、“Parametric Packet-Layer Video Quality Model For IPTV”、“Tenth International Conference on Information Science, Signal Processing and their Applications (ISSPA)”の講演録、２０１０年
［７］“K. Yamagishi”及び“T. Hayashi”、“Parametric Packet-Layer Model for Monitoring Video Quality of IPTV Services”、IEEE ICC 2008, CQ04-3、１１０〜１１４頁、北京市、中国、２００８年
［８］“Q. Huynh-Thu”、“Quan”、及び“B. Pernot”、“Method and apparatus for generation of a video quality parameter”、欧州特許出願公開第２１１２８３５号
［９］“A. Clark”、“Method and system for viewer quality estimation of packet video streams”、米国特許出願公開第２００９／００４１１１４号、国際公開第２００９／０１２３０２号
［１０］“P. Frossard”、“O. Verscheure”、“Joint Sourc/FEC Rate Selection for Quality-optimal MPEG-2 Video Delivery”、IEEE Trans. Image Proc.、Vol. 10、No. 12、２００１年１２月