特許第6087779号(P6087779)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ KDDI株式会社の特許一覧

特許6087779客観画質評価装置、自動監視装置、客観画質評価方法、およびプログラム
<>
  • 特許6087779-客観画質評価装置、自動監視装置、客観画質評価方法、およびプログラム 図000008
  • 特許6087779-客観画質評価装置、自動監視装置、客観画質評価方法、およびプログラム 図000009
  • 特許6087779-客観画質評価装置、自動監視装置、客観画質評価方法、およびプログラム 図000010
  • 特許6087779-客観画質評価装置、自動監視装置、客観画質評価方法、およびプログラム 図000011
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6087779
(24)【登録日】2017年2月10日
(45)【発行日】2017年3月1日
(54)【発明の名称】客観画質評価装置、自動監視装置、客観画質評価方法、およびプログラム
(51)【国際特許分類】
   H04N 19/85 20140101AFI20170220BHJP
   H04N 17/04 20060101ALI20170220BHJP
【FI】
   H04N19/85
   H04N17/04 A
【請求項の数】8
【全頁数】18
(21)【出願番号】特願2013-205132(P2013-205132)
(22)【出願日】2013年9月30日
(65)【公開番号】特開2015-70539(P2015-70539A)
(43)【公開日】2015年4月13日
【審査請求日】2016年2月2日
(73)【特許権者】
【識別番号】000208891
【氏名又は名称】KDDI株式会社
(74)【代理人】
【識別番号】100122426
【弁理士】
【氏名又は名称】加藤 清志
(72)【発明者】
【氏名】河村 圭
(72)【発明者】
【氏名】内藤 整
【審査官】 岩井 健二
(56)【参考文献】
【文献】 特開2011−199380(JP,A)
【文献】 特表2005−510098(JP,A)
【文献】 特開2005−142900(JP,A)
【文献】 Osamu SUGIMOTO and Sei NAITO,NO REFERENCE METRIC OF VIDEO CODING QUALITY BASED ON PARAMETRIC ANALYSIS OF VIDEO BITSTREAM,18th IEEE International Conference on Image Processing (ICIP),IEEE,2011年 9月,pp.3333-3336
【文献】 杉本修,内藤整,ビットストリーム情報参照型No Reference客観画質評価方式の性能評価,電子情報通信学会2011年総合大会講演論文集 基礎・境界,電子情報通信学会,2011年 3月,AS-3-7,pp.S-51 - S-52
【文献】 渡辺敬志郎,岡本淳,符号化ビットストリーム情報を用いた映像品質客観評価法の有効性検証,電子情報通信学会2010年総合大会講演論文集,電子情報通信学会,2010年 3月,通信講演論文集2,pp.443
【文献】 渡辺敬志郎,岡本淳,符号化ビットストリーム情報による映像品質客観評価法に関する一検討,電子情報通信学会技術研究報告,日本,電子情報通信学会,2010年 1月,Vol.109,No.373,pp.133-136
【文献】 市ヶ谷敦郎 他,MPEG2 TS 品質モニター装置の開発,電子情報通信学会2002年通信ソサイエティ大会講演論文集,電子情報通信学会,2002年 8月,論文集2,p.419
(58)【調査した分野】(Int.Cl.,DB名)
H04N 19/00 − 19/98
H04N 17/00 − 17/06
(57)【特許請求の範囲】
【請求項1】
参照画像を用いることなく映像の主観画質を推定する客観画質評価装置であって、
処理ブロックの属するスライスの符号化タイプと、当該処理ブロックの量子化スケールと、当該処理ブロックにおける動きベクトルと、当該処理ブロックの参照フレームを示す参照フレーム情報と、を圧縮ビットストリームから取得するマクロブロック層パラメータ解析手段と、
量子化スケールを記憶する量子化スケールバッファと、
前記マクロブロック層パラメータ解析手段により取得された動きベクトルおよび参照フレーム情報で示された画素ブロックにおける量子化スケールを、前記量子化スケールバッファから読み出す量子化スケール導出手段と、
前記処理ブロックにおける予測残差の変換係数が量子化によりゼロである場合には、前記量子化スケール導出手段により読み出された量子化スケールを選択し、前記処理ブロックにおける予測残差の変換係数が量子化によりゼロではない場合には、前記マクロブロック層パラメータ解析手段により取得された量子化スケールを選択する量子化スケール選択手段と、
前記マクロブロック層パラメータ解析手段により取得されたスライスの符号化タイプごとに、前記量子化スケール選択手段により選択された量子化スケールの統計処理を行う量子化スケール計算手段と、
前記量子化スケール計算手段による統計処理の結果に基づいて、客観評価値を算出する特徴量統合手段と、を備え、
前記量子化スケールバッファは、前記量子化スケール選択手段により選択された量子化スケールを記憶することを特徴とする客観画質評価装置。
【請求項2】
前記量子化スケール選択手段は、前記処理ブロックにおける予測残差の変換係数が量子化によりゼロであるか否かを、前記圧縮ビットストリームに含まれるcoded block flagに基づいて判断することを特徴とする請求項1に記載の客観画質評価装置。
【請求項3】
前記量子化スケール選択手段は、前記処理ブロックにおける予測残差の変換係数が量子化によりゼロであるか否かを、当該処理ブロックが予測残差の変換係数を符号化しないブロックであるか否かに基づいて判断することを特徴とする請求項1に記載の客観画質評価装置。
【請求項4】
前記量子化スケール計算手段は、前記量子化スケールの統計処理として、当該量子化スケールの平均値をフレームまたはシーケンスごとに求めることを特徴とする請求項1から3のいずれかに記載の客観画質評価装置。
【請求項5】
前記量子化スケール計算手段は、前記量子化スケールの統計処理として、当該量子化スケールの最大値または最小値を予め定められた数のフレームごとに求め、その結果の平均値をシーケンスごとに求めることを特徴とする請求項1から3のいずれかに記載の客観画質評価装置。
【請求項6】
請求項1から5のいずれかに記載の客観画質評価装置と、
前記客観画質評価装置による主観画質の推定結果を監視する監視手段と、を備えることを特徴とする自動監視装置。
【請求項7】
マクロブロック層パラメータ解析手段、量子化スケールバッファ、量子化スケール導出手段、量子化スケール選択手段、量子化スケール計算手段、および特徴量統合手段を備え、参照画像を用いることなく映像の主観画質を推定する客観画質評価装置における客観画質評価方法であって、
前記マクロブロック層パラメータ解析手段が、処理ブロックの属するスライスの符号化タイプと、当該処理ブロックの量子化スケールと、当該処理ブロックにおける動きベクトルと、当該処理ブロックの参照フレームを示す参照フレーム情報と、を圧縮ビットストリームから取得する第1のステップと、
前記量子化スケールバッファが、量子化スケールを記憶する第2のステップと、
前記量子化スケール導出手段が、前記第1のステップにより取得された動きベクトルおよび参照フレーム情報で示された画素ブロックにおける量子化スケールを、前記量子化スケールバッファから読み出す第3のステップと、
前記量子化スケール選択手段が、前記処理ブロックにおける予測残差の変換係数が量子化によりゼロである場合には、前記量子化スケール導出手段により読み出された量子化スケールを選択し、前記処理ブロックにおける予測残差の変換係数が量子化によりゼロではない場合には、前記マクロブロック層パラメータ解析手段により取得された量子化スケールを選択する第4のステップと、
前記量子化スケール計算手段が、前記第1のステップにより取得されたスライスの符号化タイプごとに、前記第4のステップにより選択された量子化スケールの統計処理を行う第5のステップと、
前記特徴量統合手段が、前記第5のステップによる統計処理の結果に基づいて、客観評価値を算出する第6のステップと、を備え、
前記第2のステップでは、前記量子化スケールバッファは、前記第4のステップにより選択された量子化スケールを記憶することを特徴とする客観画質評価方法。
【請求項8】
マクロブロック層パラメータ解析手段、量子化スケールバッファ、量子化スケール導出手段、量子化スケール選択手段、量子化スケール計算手段、および特徴量統合手段を備え、参照画像を用いることなく映像の主観画質を推定する客観画質評価装置における客観画質評価方法を、コンピュータに実行させるためのプログラムであって、
前記マクロブロック層パラメータ解析手段が、処理ブロックの属するスライスの符号化タイプと、当該処理ブロックの量子化スケールと、当該処理ブロックにおける動きベクトルと、当該処理ブロックの参照フレームを示す参照フレーム情報と、を圧縮ビットストリームから取得する第1のステップと、
前記量子化スケールバッファが、量子化スケールを記憶する第2のステップと、
前記量子化スケール導出手段が、前記第1のステップにより取得された動きベクトルおよび参照フレーム情報で示された画素ブロックにおける量子化スケールを、前記量子化スケールバッファから読み出す第3のステップと、
前記量子化スケール選択手段が、前記処理ブロックにおける予測残差の変換係数が量子化によりゼロである場合には、前記量子化スケール導出手段により読み出された量子化スケールを選択し、前記処理ブロックにおける予測残差の変換係数が量子化によりゼロではない場合には、前記マクロブロック層パラメータ解析手段により取得された量子化スケールを選択する第4のステップと、
前記量子化スケール計算手段が、前記第1のステップにより取得されたスライスの符号化タイプごとに、前記第4のステップにより選択された量子化スケールの統計処理を行う第5のステップと、
前記特徴量統合手段が、前記第5のステップによる統計処理の結果に基づいて、客観評価値を算出する第6のステップと、を備え、
前記第2のステップでは、前記量子化スケールバッファは、前記第4のステップにより選択された量子化スケールを記憶するためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、客観画質評価装置、自動監視装置、客観画質評価方法、およびプログラムに関する。
【背景技術】
【0002】
従来、デジタル映像を蓄積したり伝送したりする際に、圧縮符号化による情報量の削減が行われる。圧縮符号化の圧縮形式には、可逆圧縮と非可逆圧縮とが存在するが、デジタル映像の圧縮符号化では、非可逆圧縮が行われることが多い。非可逆圧縮とは、符号化情報(エンコードされたビットストリーム)を復号した際に符号化前の原画像を完全には再構築できないが、視覚的な劣化を十分に抑える、すなわち画質を十分に高く保つという条件のもとで、情報量を削減する圧縮形式である。非可逆圧縮の典型的な例としては、MPEG-2や、H.264/AVCや、H.265/HEVCなどがある(例えば、非特許文献1、2、9参照)。
【0003】
非可逆圧縮では、情報量を削減するために、符号化側で処理ブロックごとに予測残差の変換係数を量子化する。この量子化の際に用いた量子化スケールは、サイド情報として復号側に伝送される。量子化スケールは、H.264/AVCではマクロブロックごとに、H.265/HEVCでは符号化単位(Coding Unit)ごとに変更可能であり、この変更についてもサイド情報として復号側に伝送される。
【0004】
ところで、上述の量子化により予測残差の変換係数がゼロになった場合に、例えばH.264/AVCにおけるスキップモードやH.265/HEVCにおけるマージモードのように量子化スケールを復号側に伝送しないことや、信頼できないデータを量子化スケールとして復号側に伝送することがある。このような場合には、復号側では、伝送された量子化スケールは、処理ブロックの復号には用いられず、後続のブロックにおいて量子化スケールを導出する際に用いられる。このため、量子化により予測残差の変換係数がゼロになっても、符号化側で利用した量子化スケールについて、上述のように復号側に伝送しなかったり、上述のように信頼できないデータで復号側に伝送したりしても、復号はされる。
【0005】
ここで、インターブロックにおける予測において用いられる動き補償について、以下に説明する。動き補償とは、参照フレーム情報および動きベクトルを用いて、処理ブロックの画素値を予測する技術である。この動き補償では、まず、符号化済みのフレームを、予め定められたフレーム数だけ参照フレームとして蓄積しておく。次に、符号化対象である処理ブロックについて、参照フレーム群のうち1フレームまたは2フレームについて水平および垂直方向に1/4画素精度で平行移動させた画素値または画素値の平均値を、予測画素とする。なお、参照フレームの添字は、参照フレーム情報と呼ばれ、水平および垂直方向の移動量は、動きベクトルと呼ばれ、これら参照フレーム情報および動きベクトルは、サイド情報として符号化されて復号側に伝送される。
【0006】
以上の非可逆圧縮では、上述のように視覚的な劣化を十分に抑えた上で符号化が行われるが、圧縮率が高くなるに従って、すなわちビットレートが低下するに従って、画質の劣化が視覚的に認識されやすくなる。また、圧縮率が同一であっても、画面内の物体の精細さや動きの大きさや複雑さなどの映像の特徴によって、画質の劣化が視覚的に認識される度合いが変化する。そこで、非可逆圧縮に伴う画質劣化を定量的に測定できる技術が求められている。
【0007】
従来の画質劣化の測定では、主観評価と呼ばれる手法が用いられていた。この主観評価では、20名程度の被験者に対して映像を提示し、これら被験者のそれぞれに主観により評点を付けてもらい、これら評点に対して平均を求めるといった統計的な処理を施して得られた数値を、映像の品質として定義する。主観評価については、例えばITU-R勧告BT.500-11や、ITU-T勧告P.910に規定されている(例えば、非特許文献3、4参照)。
【0008】
しかし、主観評価は、上述の勧告が規定しているような厳しい視聴条件を満たさなければならなかったり、多数の被験者を集める必要があったりするなど、映像品質の評価を容易に行うことのできる手法ではなかった。
【0009】
そこで、映像信号を分析することによって、映像特徴量と呼ばれる映像の特徴を示す1つまたは複数の数値的指標を抽出し、映像特徴量から映像の品質を求める、客観画質評価が検討されている。客観画質評価は、主観画質評価の代わりに用いられることを目的としており、客観画質評価により求められる映像の品質は、主観画質を推定したものになる。
【0010】
客観画質評価法のフレームワークは、ITU-T J.143(例えば、非特許文献5参照)に規定されており、評価のための伝送や蓄積のどの段階の映像や情報を用いるかによって、以下の3つに分類される。
【0011】
1つ目は、FR(Full Reference)型に基づく客観画質評価法である。FR型に基づく客観画質評価法は、ITU-T勧告J.144(例えば、非特許文献6参照)や、ITU-T勧告J.267(例えば、非特許文献7参照)や、特許文献1などに示されている。非特許文献6には、標準テレビ方式(SDTV)の符号化劣化を対象とした客観画質評価法が示されており、非特許文献7および特許文献1には、マルチメディアアプリケーションで用いられる映像フォーマットを対象とした客観画質評価法が示されている。
【0012】
FR型に基づく客観画質評価法は、圧縮符号化前の原画像および復号画像のベースバンド信号、または、送信画像および受信画像のベースバンド信号を用いる。すなわち、このFR型に基づく客観画質評価法は、圧縮符号化前のベースバンド信号と、復号後のベースバンド信号と、を用いる。このため、主観画質の推定精度が3つのフレームワークの中で最も高くなる。
【0013】
2つ目は、NR(No Reference)型に基づく客観画質評価法である。NR型に基づく客観画質評価法は、例えば特許文献2に示されている。
【0014】
NR型に基づく客観画質評価法は、FR型に基づく客観画質評価法とは、原画像や送信画像を用いない点で異なる。すなわち、このNR型に基づく客観画質評価法は、圧縮符号化前のベースバンド信号を用いないので、主観画質の推定精度は、FR型より低くなる。しかし、復号後のベースバンド信号のみでの主観画質の推定が可能であるため、システム構成を簡易化できるといった利点があり、伝送映像を監視する際に有効なフレームワークである。
【0015】
3つ目は、RR(Reduced Reference)型に基づく客観画質評価法である。RR型に基づく客観画質評価法は、例えばITU-T勧告J.246(例えば、非特許文献8参照)に示されている。非特許文献8には、マルチメディアアプリケーションの映像フォーマットを前提とした客観画質評価法が示されている。
【0016】
RR型に基づく客観画質評価法は、情報量が制限された原画像または送信画像の画像特徴量と、復号画像または受信画像のベースバンド信号と、を用いる。すなわち、このRR型に基づく客観画質評価法は、NR型で用いられる復号画像または受信画像のベースバンド信号に加えて、原画像または送信画像の画像特徴量も用いる。このため、主観画質の推定精度は、FR型よりは低くなるが、NR型よりも高くなる。なお、画像特徴量は、数十から数百kbps程度の情報であり、原画像のベースバンド信号と比べて非常に情報量が少なく、映像回線とは別に用意されたデータ回線を介して送信側から受信側に伝送される。
【先行技術文献】
【特許文献】
【0017】
【特許文献1】特開2008−35357号公報
【特許文献2】特開2010−124104号公報
【特許文献3】特開2011−199380号公報
【非特許文献】
【0018】
【非特許文献1】ITU-T Recommendation H.262, "Information technology - Generic coding of moving pictures and associated audio information: Video "
【非特許文献2】ITU-T Recommendation H.264, "Advanced video coding for generic audiovisual services"
【非特許文献3】Recommendation ITU-R BT.500-11, "Methodology for the subjective assessment of the quality of television pictures"
【非特許文献4】ITU-T Recommendation P.910, "Subjective video quality assessment methods for multimedia applications"
【非特許文献5】ITU-T Recommendation J.143, "User requirements for objective perceptual video quality measurements in digital cable television"
【非特許文献6】ITU-T Recommendation J.144, "Objective perceptual video quality measurement techniques for digital cable television in the presence of a full reference "
【非特許文献7】ITU-T Recommendation J.247, "Objective perceptual multimedia video quality measurement in the presence of a full reference"
【非特許文献8】ITU-T Recommendation J.246, "Perceptual audiovisual quality measurement techniques for multimedia services over digital cable television networks in the presence of a reduced bandwidth reference"
【非特許文献9】ITU-T Recommendation H.265, "High Efficiency Video Coding"
【発明の概要】
【発明が解決しようとする課題】
【0019】
特許文献2に示されているNR型に基づく客観画質評価法によれば、復号後のベースバンド信号のみで主観画質の推定が可能である。しかし、ベースバンド信号は、情報を画素単位で有しており、膨大な情報量を有している。このため、復号後のベースバンド信号のみで主観画質を推定することは、精細な分析が可能であるものの、メモリからの読み出しやメモリへの蓄積や演算の処理に膨大なリソースを要する。そこで、復号後のベースバンド信号ではなく、圧縮ビットストリームと、圧縮ビットストリームの復号の過程で生成される中間コード情報と、のみで主観画質を推定する方法が提案されている(例えば、特許文献3参照)。
【0020】
特許文献3に示されている客観画質評価法によれば、圧縮符号化前のベースバンド信号だけでなく、復号後のベースバンド信号も用いることなく、主観画質を推定することができる。このため、ベースバンド信号に対する処理が不要であり、主観画質を推定する処理の大幅な軽量化を実現できる。
【0021】
しかし、特許文献3に示されている客観画質評価法は、上述の量子化により予測残差の変換係数がゼロになる場合について、考慮しない。このため、量子化スケールが、符号化側と復号側とで一致せず、主観画質の推定精度が低下するという課題があった。
【0022】
そこで、本発明は、上述の課題を鑑みてなされたものであり、量子化により予測残差の変換係数がゼロになる場合も考慮して、符号化映像の主観画質を推定することを目的とする。
【課題を解決するための手段】
【0023】
本発明は、上記の課題を解決するために、以下の事項を提案している。
(1) 本発明は、参照画像を用いることなく映像の主観画質を推定する客観画質評価装置(例えば、図1の客観画質評価装置1に相当)であって、処理ブロックの属するスライスの符号化タイプ(例えば、図1のスライスタイプcに相当)と、当該処理ブロックの量子化スケール(例えば、図1の量子化スケールdに相当)と、当該処理ブロックにおける動きベクトル(例えば、図1の動きベクトル情報fに相当)と、当該処理ブロックの参照フレームを示す参照フレーム情報(例えば、図1の参照フレーム情報gに相当)と、を圧縮ビットストリーム(例えば、図1のビットストリームaに相当)から取得するマクロブロック層パラメータ解析手段(例えば、図1のマクロブロック層パラメータ解析部10に相当)と、量子化スケール(例えば、図1の量子化スケールiに相当)を記憶する量子化スケールバッファ(例えば、図1の量子化スケールバッファ50に相当)と、前記マクロブロック層パラメータ解析手段により取得された動きベクトルおよび参照フレーム情報で示された画素ブロックにおける量子化スケール(例えば、図1の量子化スケールnに相当)を、前記量子化スケールバッファから読み出す量子化スケール導出手段(例えば、図1の量子化スケール導出部20に相当)と、前記処理ブロックにおける予測残差の変換係数が量子化によりゼロである場合には、前記量子化スケール導出手段により読み出された量子化スケールを選択し、前記処理ブロックにおける予測残差の変換係数が量子化によりゼロではない場合には、前記マクロブロック層パラメータ解析手段により取得された量子化スケールを選択する量子化スケール選択手段(例えば、図1の量子化スケール選択部30に相当)と、前記マクロブロック層パラメータ解析手段により取得されたスライスの符号化タイプごとに、前記量子化スケール選択手段により選択された量子化スケールの統計処理を行う量子化スケール計算手段(例えば、図1の量子化スケール平均値算出部40に相当)と、前記量子化スケール計算手段による統計処理の結果に基づいて、客観評価値を算出する特徴量統合手段(例えば、図1の特徴量統合部60に相当)と、を備え、前記量子化スケールバッファは、前記量子化スケール選択手段により選択された量子化スケールを記憶することを特徴とする客観画質評価装置を提案している。
【0024】
この発明によれば、圧縮ビットストリームから、処理ブロックの属するスライスの符号化タイプと、処理ブロックの量子化スケールと、処理ブロックにおける動きベクトルと、処理ブロックの参照フレームを示す参照フレーム情報と、を取得することとした。また、処理ブロックにおける予測残差の変換係数が量子化によりゼロである場合には、取得した動きベクトルおよび参照フレーム情報で示された画素ブロックにおける量子化スケールを選択して記憶し、処理ブロックにおける予測残差の変換係数が量子化によりゼロではない場合には、取得した量子化スケールを選択して記憶することとした。
【0025】
このため、圧縮符号化前のベースバンド信号だけでなく、復号後のベースバンド信号も用いることなく、圧縮ビットストリーム内のパラメータ抽出と、量子化スケールの選択および記憶と、で量子化により予測残差の変換係数がゼロになる場合も考慮して、符号化映像の主観画質を推定することができる。
【0026】
(2) 本発明は、(1)の客観画質評価装置について、前記量子化スケール選択手段は、前記処理ブロックにおける予測残差の変換係数が量子化によりゼロであるか否かを、前記圧縮ビットストリームに含まれるcoded block flagに基づいて判断することを特徴とする客観画質評価装置を提案している。
【0027】
この発明によれば、(1)の客観画質評価装置において、処理ブロックにおける予測残差の変換係数が量子化によりゼロであるか否かを、圧縮ビットストリームに含まれるcoded block flagに基づいて判断することができる。
【0028】
(3) 本発明は、(1)の客観画質評価装置について、前記量子化スケール選択手段は、前記処理ブロックにおける予測残差の変換係数が量子化によりゼロであるか否かを、当該処理ブロックが予測残差の変換係数を符号化しないブロックであるか否かに基づいて判断することを特徴とする客観画質評価装置を提案している。
【0029】
この発明によれば、(1)の客観画質評価装置において、処理ブロックにおける予測残差の変換係数が量子化によりゼロであるか否かを、処理ブロックが予測残差の変換係数を符号化しないブロックであるか否かに基づいて判断することができる。
【0030】
(4) 本発明は、(1)から(3)のいずれかの客観画質評価装置について、前記量子化スケール計算手段は、前記量子化スケールの統計処理として、当該量子化スケールの平均値をフレームまたはシーケンスごとに求めることを特徴とする客観画質評価装置を提案している。
【0031】
この発明によれば、(1)から(3)のいずれかの客観画質評価装置において、量子化スケールの統計処理として、量子化スケールの平均値をフレームまたはシーケンスごとに求めることができる。
【0032】
(5) 本発明は、(1)から(3)のいずれかの客観画質評価装置について、前記量子化スケール計算手段は、前記量子化スケールの統計処理として、当該量子化スケールの最大値または最小値を予め定められた数のフレームごとに求め、その結果の平均値をシーケンスごとに求めることを特徴とする客観画質評価装置を提案している。
【0033】
この発明によれば、(1)から(3)のいずれかの客観画質評価装置において、量子化スケールの統計処理として、量子化スケールの最大値または最小値を予め定められた数のフレームごとに求め、その結果の平均値をシーケンスごとに求めることができる。
【0034】
(6) 本発明は、(1)から(5)のいずれかの客観画質評価装置と、前記客観画質評価装置による主観画質の推定結果を監視する監視手段(例えば、図4の間支部2に相当)と、を備えることを特徴とする自動監視装置(例えば、図4の自動監視装置AAに相当)を提案している。
【0035】
この発明によれば、(1)から(5)のいずれかの客観画質評価装置と、この客観画質評価装置による主観画質の推定結果を監視する監視手段と、を備える。このため、主観画質の推定結果の監視結果を、監視したり外部に報知したりすることができる。
【0036】
(7) 本発明は、マクロブロック層パラメータ解析手段(例えば、図1のマクロブロック層パラメータ解析部10に相当)、量子化スケールバッファ(例えば、図1の量子化スケールバッファ50に相当)、量子化スケール導出手段(例えば、図1の量子化スケール導出部20に相当)、量子化スケール選択手段(例えば、図1の量子化スケール選択部30に相当)、量子化スケール計算手段(例えば、図1の量子化スケール平均値算出部40に相当)、および特徴量統合手段(例えば、図1の特徴量統合部60に相当)を備え、参照画像を用いることなく映像の主観画質を推定する客観画質評価装置(例えば、図1の客観画質評価装置1に相当)における客観画質評価方法であって、前記マクロブロック層パラメータ解析手段が、処理ブロックの属するスライスの符号化タイプ(例えば、図1のスライスタイプcに相当)と、当該処理ブロックの量子化スケール(例えば、図1の量子化スケールdに相当)と、当該処理ブロックにおける動きベクトル(例えば、図1の動きベクトル情報fに相当)と、当該処理ブロックの参照フレームを示す参照フレーム情報(例えば、図1の参照フレーム情報gに相当)と、を圧縮ビットストリーム(例えば、図1のビットストリームaに相当)から取得する第1のステップと、前記量子化スケールバッファが、量子化スケール(例えば、図1の量子化スケールiに相当)を記憶する第2のステップと、前記量子化スケール導出手段が、前記第1のステップにより取得された動きベクトルおよび参照フレーム情報で示された画素ブロックにおける量子化スケール(例えば、図1の量子化スケールnに相当)を、前記量子化スケールバッファから読み出す第3のステップと、前記量子化スケール選択手段が、前記第1のステップにより取得された量子化スケールと、前記第3のステップにより読み出された量子化スケールと、のいずれかを選択する第4のステップと、前記量子化スケール計算手段が、前記第1のステップにより取得されたスライスの符号化タイプごとに、前記第4のステップにより選択された量子化スケールの統計処理を行う第5のステップと、前記特徴量統合手段が、前記第5のステップによる統計処理の結果に基づいて、客観評価値を算出する第6のステップと、を備え、前記第2のステップでは、前記量子化スケールバッファは、前記第4のステップにより選択された量子化スケールを記憶することを特徴とする客観画質評価方法を提案している。
【0037】
この発明によれば、圧縮ビットストリームから、処理ブロックの属するスライスの符号化タイプと、処理ブロックの量子化スケールと、処理ブロックにおける動きベクトルと、処理ブロックの参照フレームを示す参照フレーム情報と、を取得することとした。また、処理ブロックにおける予測残差の変換係数が量子化によりゼロである場合には、取得した動きベクトルおよび参照フレーム情報で示された画素ブロックにおける量子化スケールを選択して記憶し、処理ブロックにおける予測残差の変換係数が量子化によりゼロではない場合には、取得した量子化スケールを選択して記憶することとした。このため、上述した効果と同様の効果を奏することができる。
【0038】
(8) 本発明は、マクロブロック層パラメータ解析手段(例えば、図1のマクロブロック層パラメータ解析部10に相当)、量子化スケールバッファ(例えば、図1の量子化スケールバッファ50に相当)、量子化スケール導出手段(例えば、図1の量子化スケール導出部20に相当)、量子化スケール選択手段(例えば、図1の量子化スケール選択部30に相当)、量子化スケール計算手段(例えば、図1の量子化スケール平均値算出部40に相当)、および特徴量統合手段(例えば、図1の特徴量統合部60に相当)を備え、参照画像を用いることなく映像の主観画質を推定する客観画質評価装置(例えば、図1の客観画質評価装置1に相当)における客観画質評価方法を、コンピュータに実行させるためのプログラムであって、前記マクロブロック層パラメータ解析手段が、処理ブロックの属するスライスの符号化タイプ(例えば、図1のスライスタイプcに相当)と、当該処理ブロックの量子化スケール(例えば、図1の量子化スケールdに相当)と、当該処理ブロックにおける動きベクトル(例えば、図1の動きベクトル情報fに相当)と、当該処理ブロックの参照フレームを示す参照フレーム情報(例えば、図1の参照フレーム情報gに相当)と、を圧縮ビットストリーム(例えば、図1のビットストリームaに相当)から取得する第1のステップと、前記量子化スケールバッファが、量子化スケール(例えば、図1の量子化スケールiに相当)を記憶する第2のステップと、前記量子化スケール導出手段が、前記第1のステップにより取得された動きベクトルおよび参照フレーム情報で示された画素ブロックにおける量子化スケール(例えば、図1の量子化スケールnに相当)を、前記量子化スケールバッファから読み出す第3のステップと、前記量子化スケール選択手段が、前記第1のステップにより取得された量子化スケールと、前記第3のステップにより読み出された量子化スケールと、のいずれかを選択する第4のステップと、前記量子化スケール計算手段が、前記第1のステップにより取得されたスライスの符号化タイプごとに、前記第4のステップにより選択された量子化スケールの統計処理を行う第5のステップと、前記特徴量統合手段が、前記第5のステップによる統計処理の結果に基づいて、客観評価値を算出する第6のステップと、をコンピュータに実行させ、前記第2のステップでは、前記量子化スケールバッファは、前記第4のステップにより選択された量子化スケールを記憶するためのプログラムを提案している。
【0039】
この発明によれば、圧縮ビットストリームから、処理ブロックの属するスライスの符号化タイプと、処理ブロックの量子化スケールと、処理ブロックにおける動きベクトルと、処理ブロックの参照フレームを示す参照フレーム情報と、を取得することとした。また、処理ブロックにおける予測残差の変換係数が量子化によりゼロである場合には、取得した動きベクトルおよび参照フレーム情報で示された画素ブロックにおける量子化スケールを選択して記憶し、処理ブロックにおける予測残差の変換係数が量子化によりゼロではない場合には、取得した量子化スケールを選択して記憶することとした。このため、上述した効果と同様の効果を奏することができる。
【発明の効果】
【0040】
本発明によれば、量子化により予測残差の変換係数がゼロになる場合も考慮して、符号化映像の主観画質を推定することができる。
【図面の簡単な説明】
【0041】
図1】本発明の第1実施形態に係る客観画質評価装置のブロック図である。
図2】回帰分析について説明するための図である。
図3】本発明の第2実施形態に係る客観画質評価装置のブロック図である。
図4】本発明の第3実施形態に係る自動監視装置のブロック図である。
【発明を実施するための形態】
【0042】
以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素などとの置き換えが可能であり、また、他の既存の構成要素との組み合せを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
【0043】
<第1実施形態>
[客観画質評価装置1の構成および動作]
図1は、本発明の第1実施形態に係る客観画質評価装置1のブロック図である。客観画質評価装置1は、ベースバンド信号としての参照画像を用いることなく映像の主観画質を推定する。この客観画質評価装置1は、マクロブロック層パラメータ解析部10、量子化スケール導出部20、量子化スケール選択部30、量子化スケール平均値算出部40、量子化スケールバッファ50、および特徴量統合部60を備える。
【0044】
マクロブロック層パラメータ解析部10は、圧縮符号化されたビットストリームaを入力とする。このマクロブロック層パラメータ解析部10は、ビットストリームaの復号の過程で生成される中間コード情報である符号化パラメータを、ビットストリームaから求めて出力する。上述の出力される符号化パラメータには、スライスタイプcと、量子化スケールdと、残差係数有無情報eと、動きベクトル情報fと、参照フレーム情報gと、が含まれる。
【0045】
スライスタイプcは、処理ブロックの属するスライスの符号化タイプがIスライス、Pスライス、Bスライスのいずれであるかを示す。なお、SIスライスは、Iスライスと解釈し、SPスライスは、Pスライスと解釈する。
【0046】
量子化スケールdは、処理ブロックの量子化スケールを示す。
【0047】
残差係数有無情報eは、coded block flagとしてビットストリームaに含まれており、処理ブロックにおける予測残差の変換係数が量子化によりゼロであるか否かを示す。
【0048】
動きベクトル情報fは、処理ブロックにおける動きベクトルを示す。
【0049】
参照フレーム情報gは、処理ブロックの参照フレームを示し、処理ブロックが動きベクトルを有している場合に出力される。なお、処理ブロックに双予測が適用されている場合には、2つの参照フレームについての情報が、参照番号の小さい順に出力される。
【0050】
量子化スケール導出部20は、動きベクトル情報fと、参照フレーム情報gと、量子化スケールバッファ50から出力される後述の量子化スケールnと、を入力とする。この量子化スケール導出部20は、まず、参照フレーム情報gで示された参照フレームに属する画素ブロックの中から、動きベクトル情報fで示される画素ブロックを求める。次に、求めた画素ブロックにおける量子化スケールを量子化スケールnとして量子化スケールバッファ50から読み出し、量子化スケールhとして出力する。
【0051】
量子化スケール選択部30は、量子化スケールdと、残差係数有無情報eと、量子化スケールhと、を入力とする。この量子化スケール選択部30は、処理ブロックごとに、残差係数有無情報eに応じて量子化スケールdまたは量子化スケールhを選択し、量子化スケールiとして出力する。具体的には、処理ブロックにおける予測残差の変換係数が量子化によりゼロになり、かつ、この処理ブロックが動き補償ブロックである場合には、量子化スケールhを量子化スケールiとして選択する。一方、処理ブロックにおける予測残差の変換係数が量子化によりゼロにならない場合と、処理ブロックが動き補償ブロックではない場合と、の少なくともいずれかの場合には、量子化スケールdを量子化スケールiとして選択する。
【0052】
量子化スケール平均値算出部40は、スライスタイプcと、量子化スケールiと、を入力とする。この量子化スケール平均値算出部40は、シーケンス全体における量子化スケールの平均値を、Iスライス、Pスライス、およびBスライスのそれぞれのスライスタイプごとに求める。そして、シーケンス全体のうちIスライスにおける量子化スケールの平均値を、量子化スケール平均値jとして出力する。また、シーケンス全体のうちPスライスにおける量子化スケールの平均値を、量子化スケール平均値kとして出力する。また、シーケンス全体のうちBスライスにおける量子化スケールの平均値を、量子化スケール平均値mとして出力する。
【0053】
なお、上述のシーケンス全体とは、1つの動画像コンテンツの全部や、1つの動画像コンテンツの一部分や、1つ以上のフレームのことである。
【0054】
量子化スケールバッファ50は、量子化スケールiを入力とする。この量子化スケールバッファ50は、入力された量子化スケールiを、量子化スケールの最小変更単位と同じブロックサイズの精度で記憶し、適宜、量子化スケールnとして量子化スケール導出部20に供給する。
【0055】
特徴量統合部60は、量子化スケール平均値j、k、mを入力とする。この特徴量統合部60は、これら量子化スケール平均値j、k、mに基づいて、シーケンス全体のうちIスライスにおける量子化スケールの平均値と、シーケンス全体のうちPスライスにおける量子化スケールの平均値と、シーケンス全体のうちBスライスにおける量子化スケールの平均値と、を統合して、客観評価尺度Qobjを算出し、統合品質情報bとして出力する。なお、客観評価値Qobjの算出には、以下の数式(1)を用いる。
【0056】
【数1】
【0057】
数式(1)において、αQは、量子化スケール平均値jにより求めることのできるシーケンス全体のうちIスライスにおける量子化スケールの平均値のことである。また、αQは、量子化スケール平均値kにより求めることのできるシーケンス全体のうちPスライスにおける量子化スケールの平均値のことである。また、αQは、量子化スケール平均値mにより求めることのできるシーケンス全体のうちBスライスにおける量子化スケールの平均値のことである。
【0058】
また、数式(1)において、f()は、予め定められた関数のことである。このf()には、評価対象の画像フォーマットや符号化方式や符号化ビットレートなどの条件に応じて、客観評価値Qobjと主観評価値との相関が最大になる関数が選ばれる。f()に選ばれる関数の一例を、以下の数式(2)および数式(3)に示す。
【0059】
【数2】
【0060】
【数3】
【0061】
数式(2)および数式(3)において、w、w、wは、重み係数のことである。また、数式(3)において、γ1、γ2は、べき指数のことである。数式(2)におけるw、w、wや、数式(3)におけるw、w、w、γ1、γ2は、客観評価値Qobjと主観評価値との相関が最大になるように予め設定される。客観評価値Qobjと主観評価値との相関は、複数の評価映像を用いて得られた客観評価値の系列および主観評価値の系列を、回帰分析することによって求めることができる。この回帰分析について、図2を用いて以下に説明する。
【0062】
図2において、縦軸は、主観評価値を示し、横軸は、客観評価値を示す。複数の評価映像のそれぞれについて、評価映像を用いることで得られた客観評価値と主観評価値とを求め、これらを図2に示すようにプロットすると、これら客観評価値と主観評価値との関係は、回帰曲線で近似することができる。回帰曲線には、一次関数だけでなく、高次多項式やロジスティック関数などの非線形関数も適用できる。客観画質評価の目的は、主観画質の推定であり、回帰曲線による近似の精度が高くなるに従って、すなわち図2のグラフ上の各プロット点と回帰曲線との距離が近くなるに従って、主観画質の推定精度が高くなる。
【0063】
以上の客観画質評価装置1によれば、以下の効果を奏することができる。
【0064】
客観画質評価装置1は、ビットストリームaから、処理ブロックの属するスライスの符号化タイプを示すスライスタイプcと、処理ブロックの量子化スケールdと、処理ブロックにおける予測残差の変換係数が量子化によりゼロであるか否かを示す残差係数有無情報eと、処理ブロックにおける動きベクトル情報fと、処理ブロックの参照フレームを示す参照フレーム情報gと、を取得する。また、残差係数有無情報eに基づいて、処理ブロックにおける予測残差の変換係数が量子化によりゼロである場合には、動きベクトル情報fおよび参照フレーム情報gで示された画素ブロックにおける量子化スケールnを選択して記憶し、処理ブロックにおける予測残差の変換係数が量子化によりゼロではない場合には、量子化スケールdを選択して記憶する。
【0065】
このため、圧縮符号化前のベースバンド信号だけでなく、復号後のベースバンド信号も用いることなく、ビットストリームa内のパラメータ抽出と、量子化スケールの選択および記憶と、で量子化により予測残差の変換係数がゼロになる場合も考慮して、符号化映像の主観画質を推定することができる。
【0066】
また、客観画質評価装置1は、処理ブロックにおける予測残差の変換係数が量子化によりゼロであるか否かを、圧縮ビットストリームに含まれるcoded block flagに基づいて判断することができる。
【0067】
また、客観画質評価装置1は、量子化スケールの平均値を、シーケンスおよびスライスタイプごとに求めることができる。
【0068】
<第2実施形態>
[客観画質評価装置1Aの構成および動作]
図3は、本発明の第2実施形態に係る客観画質評価装置1Aのブロック図である。客観画質評価装置1Aは、図1に示した本発明の第1実施形態に係る客観画質評価装置1とは、マクロブロック層パラメータ解析部10の代わりにマクロブロック層パラメータ解析部10Aを備える点と、特徴量統合部60の代わりに特徴量統合部60Aを備える点と、空間的劣化特徴量計算部70および時間的劣化特徴量計算部80を備える点と、が異なる。なお、客観画質評価装置1Aにおいて、客観画質評価装置1と同一構成要件については、同一符号を付し、その説明を省略する。
【0069】
マクロブロック層パラメータ解析部10Aは、圧縮符号化されたビットストリームaを入力とする。このマクロブロック層パラメータ解析部10Aは、ビットストリームaの復号の過程で生成される中間コード情報である符号化パラメータを、ビットストリームaから求めて出力する。上述の出力される符号化パラメータには、スライスタイプcと、量子化スケールdと、残差係数有無情報eと、動きベクトル情報fと、参照フレーム情報gと、に加えて、直交変換係数pが含まれる。
【0070】
直交変換係数pは、処理ブロック内の各直交変換ブロック内の直交変換係数を示す。
【0071】
空間的劣化特徴量計算部70は、直交変換係数pを入力とする。この空間的劣化特徴量計算部70は、直交変換係数pを用いて処理ブロック内の空間的劣化特徴量を求め、空間的劣化特徴量qとして出力する。
【0072】
空間的劣化特徴量とは、復号画像上のブロック歪の視覚的な認識程度を示す指標のことである。ブロック歪は、MPEG-2やH.264などのブロック単位で処理を行う圧縮符号化形式において発生する画質劣化の要因の1つであり、ブロック歪による画質劣化と、主観画質の劣化と、の間には高い相関があると考えられる。このブロック歪は、画素ブロックの境界で信号値が大きく変化することによって発生し、ブロック間の直流成分が大きく変化している場合に視覚的に目立つようになる。
【0073】
そこで、本実施形態では、空間的劣化特徴量計算部70は、特許文献3に示されている空間的劣化特徴量計算部と同様に、隣接する8×8画素ブロック間の直流成分の差分二乗平均値により、空間的劣化特徴量を定義する。
【0074】
時間的劣化特徴量計算部80は、参照フレーム情報gと、直交変換係数pと、を入力とする。この時間的劣化特徴量計算部80は、参照フレーム情報gおよび直交変換係数pを用いて時間的劣化特徴量を求め、時間的劣化特徴量rとして出力する。
【0075】
時間的劣化特徴量とは、復号画像上のフリッカ妨害の視覚的な認識程度を示す指標のことである。フリッカ妨害は、動き補償予測符号化のイントラフレーム挿入の周期ごとに大きな品質変動がある場合などに検知される劣化であり、連続するフレーム間での輝度変化が急激に発生することによって知覚される。このフリッカ妨害による画質劣化と、主観画質の劣化と、の間にも高い相関があると考えられる。
【0076】
そこで、本実施形態では、時間的劣化特徴量計算部80は、特許文献3に示されている時間的劣化特徴量計算部と同様に、処理ブロック内の時間的な輝度値の変化を捉えるために、各画素ブロックにおける輝度のフレーム間差分を時間的劣化特徴量として定義する。
【0077】
特徴量統合部60Aは、量子化スケール平均値j、k、mに加えて、空間的劣化特徴量qと、時間的劣化特徴量rと、を入力とする。この特徴量統合部60Aは、これら量子化スケール平均値j、k、mと空間的劣化特徴量qと時間的劣化特徴量rとに基づいて、シーケンス全体のうちIスライスにおける量子化スケールの平均値と、シーケンス全体のうちPスライスにおける量子化スケールの平均値と、シーケンス全体のうちBスライスにおける量子化スケールの平均値と、空間的劣化特徴量および時間的劣化特徴量と、を統合して、客観評価尺度Qobjを算出し、統合品質情報bとして出力する。なお、客観評価値Qobjの算出には、以下の数式(4)を用いる。
【0078】
【数4】
【0079】
数式(4)において、SIは、空間的劣化特徴量のことであり、TIは、時間的劣化特徴量のことである。
【0080】
また、数式(4)におけるf()に選ばれる関数の一例を、以下の数式(5)および数式(6)に示す。
【0081】
【数5】
【0082】
【数6】
【0083】
以上の客観画質評価装置1Aによれば、客観画質評価装置1が奏することのできる上述の効果に加えて、以下の効果を奏することができる。
【0084】
客観画質評価装置1Aは、符号化映像の主観画質の推定に、空間的劣化特徴量および時間的劣化特徴量を用いる。このため、符号化映像の主観画質の推定精度をさらに向上することができる。
【0085】
<第3実施形態>
[自動監視装置AAの構成および動作]
図4は、本発明の第3実施形態に係る自動監視装置AAのブロック図である。自動監視装置AAは、ベースバンド信号としての参照画像を用いることなく映像の主観画質を推定して、映像品質の自動監視を行う。この自動監視装置AAは、図1に示した本発明の第1実施形態に係る客観画質評価装置1と、監視部2と、を備える。
【0086】
監視部2は、客観画質評価装置1により求められた客観評価尺度Qobjを監視する。具体的には、監視部2は、客観画質評価装置1により求められた客観評価尺度Qobjを、図示しない記憶部に記憶させる。また、この客観評価尺度Qobjに基づいて、映像品質が予め定められた品質より悪いか否かを判別し、悪いと判別した場合には、その旨を外部に報知する。
【0087】
以上の自動監視装置AAによれば、客観画質評価装置1が奏することのできる上述の効果に加えて、以下の効果を奏することができる。
【0088】
自動監視装置AAは、映像品質が予め定められた品質より悪い場合に、その旨を外部に報知することができる。
【0089】
なお、本発明の客観画質評価装置1、1Aや自動監視装置AAの処理を、コンピュータ読み取り可能な非一時的な記録媒体に記録し、この記録媒体に記録されたプログラムを客観画質評価装置1、1Aや自動監視装置AAに読み込ませ、実行することによって、本発明を実現できる。
【0090】
ここで、上述の記録媒体には、例えば、EPROMやフラッシュメモリといった不揮発性のメモリ、ハードディスクといった磁気ディスク、CD−ROMなどを適用できる。また、この記録媒体に記録されたプログラムの読み込みおよび実行は、客観画質評価装置1、1Aや自動監視装置AAに設けられたプロセッサによって行われる。
【0091】
また、上述のプログラムは、このプログラムを記憶装置などに格納した客観画質評価装置1、1Aや自動監視装置AAから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク(通信網)や電話回線などの通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
【0092】
また、上述のプログラムは、上述の機能の一部を実現するためのものであってもよい。さらに、上述の機能を客観画質評価装置1、1Aや自動監視装置AAにすでに記録されているプログラムとの組み合せで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
【0093】
以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。
【0094】
例えば、上述の第1実施形態では、量子化スケール平均値算出部40は、シーケンス全体における量子化スケールの平均値をスライスタイプごとに求めるものとした。しかし、これに限らず、例えば、シーケンス全体における量子化スケールの移動平均や、最大値や、最小値や、幾何学平均などを求めるものとしてもよい。また、シーケンス全体における量子化スケールではなく、予め定められた数のフレームごとに、上述のように平均値や移動平均などを求めるものとしてもよい。また、量子化スケールの最大値または最小値を予め定められた数のフレームごとに求め、その結果の平均値をシーケンスごとに求めるものとしてもよい。
【0095】
また、上述の各実施形態では、処理ブロックにおける予測残差の変換係数が量子化によりゼロであるか否かを、圧縮ビットストリームに含まれるcoded block flagに基づいて判断するものとした。しかし、これに限らず、例えば、処理ブロックにおける予測残差の変換係数が量子化によりゼロであるか否かを、処理ブロックが予測残差の変換係数を符号化しないブロックであるか否かに基づいて判断してもよい。
【0096】
また、上述の第2実施形態では、客観画質評価装置1Aは、空間的劣化特徴量計算部70および時間的劣化特徴量計算部80を備えるものとしたが、これに限らず、例えば、空間的劣化特徴量計算部70および時間的劣化特徴量計算部80のうちいずれか一方を備えるものとしてもよい。
【符号の説明】
【0097】
1、1A・・・客観画質評価装置
2・・・監視部
10、10A・・・マクロブロック層パラメータ解析部
20・・・量子化スケール導出部
30・・・量子化スケール選択部
40・・・量子化スケール平均値算出部
50・・・量子化スケールバッファ
60、60A・・・特徴量統合部
70・・・空間的劣化特徴量計算部
80・・・時間的劣化特徴量計算部
AA・・・自動監視装置
図1
図2
図3
図4