特許 6163288 主観的画像品質予測値生成方法、部分劣化測定方法、映像測定装置及び部分劣化測定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6163288

(24)【登録日】2017年6月23日

(45)【発行日】2017年7月12日

(54)【発明の名称】主観的画像品質予測値生成方法、部分劣化測定方法、映像測定装置及び部分劣化測定装置

(51)【国際特許分類】

   H04N 17/04 20060101AFI20170703BHJP

【ＦＩ】

   H04N17/04 A

【請求項の数】4

【全頁数】15

(21)【出願番号】特願2011-269006(P2011-269006)

(22)【出願日】2011年12月8日

(65)【公開番号】特開2012-130002(P2012-130002A)

(43)【公開日】2012年7月5日

【審査請求日】2014年11月10日

(31)【優先権主張番号】12/969,338

(32)【優先日】2010年12月15日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】391002340

【氏名又は名称】テクトロニクス・インコーポレイテッド

【氏名又は名称原語表記】ＴＥＫＴＲＯＮＩＸ，ＩＮＣ．

(74)【代理人】

【識別番号】110001209

【氏名又は名称】特許業務法人山口国際特許事務所

(72)【発明者】

【氏名】ケビン・エム・ファーガソン

【審査官】 佐野 潤一

(56)【参考文献】

【文献】 特表２００３−５２６２７１（ＪＰ，Ａ）

【文献】 特表２００８−５３３９３７（ＪＰ，Ａ）

【文献】 特開平０６−３３４７８６（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００４／０１２０５９７（ＵＳ，Ａ１）

【文献】 特表２００２−５３９６５７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １７／００−１７／０６

(57)【特許請求の範囲】

【請求項1】

１つの映像入力信号から主観的な画像品質の予測値を生成する主観的画像品質予測値生成方法であって、
１つ以上の映像フレームを１つの入力端子に受けるステップと、
１つ以上の上記映像フレームのそれぞれについて、部分劣化を集めて部分劣化差分画像を生成する部分劣化収集ステップと、
上記部分劣化差分画像を、元々受けた１つ以上の上記映像フレームにおけるそれぞれ対応する上記映像フレームと組み合わせて、疑似基準フレームを生成するステップと、
元々受けた１つ以上の上記映像フレームと上記疑似基準フレームとを比較し、主観的画像品質の予測値を生成するステップと
を具え、
上記部分劣化収集ステップが、
上記映像フレームの上記部分劣化を測定するステップと、
測定された上記部分劣化を均一の映像フレームに加えることによって、上記部分劣化差分画像を生成するステップとを有する主観的画像品質予測値生成方法。

【請求項2】

被試験映像信号の１つ以上の部分劣化を基準信号なしで測定する方法であって、
被試験映像信号の映像フレームを受けるステップと、
上記映像フレームの一部分である高周波数成分を生成するステップと、
上記映像フレームの上記高周波数成分を２乗して平均化することにより、部分平均２乗ノイズ振幅を生成するステップと、
上記部分平均２乗ノイズ振幅の所定のサンプル期間毎の最小の上記部分平均２乗ノイズ振幅を上記サンプル期間中の最小部分２乗ノイズ振幅として選択するステップと、
選択された上記最小部分２乗ノイズ振幅の帯域幅を補償するステップと、
上記帯域幅が補償された上記最小部分２乗ノイズ振幅を上記部分劣化の測定値として提供するステップと
を具える部分劣化測定方法。

【請求項3】

被試験映像信号を受ける映像入力端子と、
上記被試験映像信号の１つ以上の映像フレーム内の１つ以上の部分劣化を測定するよう構成された部分劣化測定器と、
測定された上記部分劣化を均一の映像フレームに加えることによって、部分劣化差分画像を生成する部分劣化差分画像生成器と、
上記部分劣化差分画像及び上記被試験映像信号を組み合わせて疑似基準映像信号を生成する疑似基準映像信号生成器と、
上記被試験映像信号と上記疑似基準映像信号とを比較し、主観的画像品質の予測値を生成する映像品質予測器と
を具える映像測定装置。

【請求項4】

被試験映像信号の１つ以上の部分劣化を基準信号なしで測定する部分劣化測定装置であって、
上記被試験映像信号を受ける映像入力端子と、
上記被試験映像信号の映像フレームの高周波数成分信号を生成するハイパス・フィルタ・ブロックと、
上記映像フレームの上記高周波数成分信号の２乗信号を生成する２乗信号生成ブロックと、
上記２乗信号を受けて、上記被試験映像信号の上記映像フレームの平均２乗ノイズ振幅を生成するローパス・フィルタ・ブロックと、
ローパス・フィルタ・ブロックの平均２乗ノイズ振幅から所定の測定期間毎の最小２乗ノイズ振幅を選択する最小化器と、
上記最小２乗ノイズ振幅の帯域幅を補償することによって、上記被試験映像信号のノイズの推定値出力を生成するように構成された帯域幅補償器と
を具える部分劣化測定装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、被試験映像信号の主観的画像品質の評価に関し、特に、基準となる映像信号がなくとも、被試験映像信号の主観的画像品質を予測できる装置及び方法に関する。

【背景技術】

【0002】

ネットワーク及びケーブル・テレビジョン会社のような映像放送（配信）会社は、視聴者に再放送するため、膨大な量の映像データをコンテンツ提供会社や地方テレビジョン放送局から受け取る。こうした放送会社は、映像を自分で制作していないので、通常、それを受け取る前には、その品質はわからない。しかし、低画質の映像が配信されると、エンド・ユーザは、映像制作元の品質が悪かったかどうかに関係なく、直接的には、その放送会社に映像品質が悪いことについて苦情を言ってくることが多い。こうしたことから、放送会社などには、「目の肥えた」身内の視聴者や顧客評価に沿った主観的な品質尺度で映像を評価し、点数を付けるというニーズが継続して存在している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】米国特許６９７５７７６号公報

【特許文献2】米国特許６９０７１４３号公報

【特許文献3】米国特許６４３３８１９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

映像産業は、映像の主観的な品質を予測するツールを制作しているが、こうしたツールには限界がある。一般に、こうしたツールは、例えば、映像を異なるパラメータで圧縮、伸張し、再度圧縮するなどの連続処理において、複数回の原因で映像劣化（video impairment）が生じたような場合では、これら連続処理された映像を比較するのは難しい。もっと重要なことは、一般的に、こうしたツールは圧縮や不完全なチャンネルでの伝送といった特定の処理における品質低下を測定するように設計されているので、比較のためにオリジナル映像と劣化映像の２つの映像を用意する必要がある。こうした処理の例は、米国特許６９７５７７６号公報に記載されている。しかし、放送会社が外部の映像提供会社から映像を受け取るという場合、１つの映像のみが手に入るのであって、これと比較する基準映像は手に入らない。

【0005】

映像を横に並べて比較するツールにおいても、元々の映像（基準映像）の品質が低くいために、高精度で複製しても低画質であるという状況においては、主観的な品質の測定を正確に行うのが難しいという問題に苦しんでいる。例えば、元々の映像に、ソフトネス（ぼんやり）、ノイズ、色の劣化又は色が無い、低コントラスト、輝度低下、などの低画質要因があると、極めて正確にコピーしたとしても低画質となり、エンド・ユーザから苦情を受けることになる。

【0006】

他の従来からあるツールでは、マクロブロック（macroblock：画素ブロック）境界が不連続になるブロック・ノイズ、ディテール消失（detail loss：細かい部分の消失）、ソフトネス（ぼんやり）、ノイズといった特定の画質劣化を測定し、これらを足して、視聴者の平均オピニオン評点（Mean Opinion Score：MOS）を生成する。しかし、これら方法では、知覚及び認識の両方において、人の目の応答を充分正確には表せないという点で正確さに限界がある。

【0007】

本発明の実施形態では、従来技術の上述した限界やその他の限界について言及する。

【課題を解決するための手段】

【0008】

本発明の第１観点は、単一の基準信号から主観的な画像品質の予測値を生成する主観的画像品質予測値生成方法であって、
１つ以上の映像フレームを１つの入力端子に受けるステップと、
１つ以上の上記映像フレーム内の連続する部分劣化（フレーム内の一部分の画像劣化）を測定するステップと、
連続する上記部分劣化を集め、１つ以上の上記映像フレームのそれぞれについて部分劣化差分画像を生成するステップと、
上記部分劣化差分画像を、元々受けた１つ以上の上記映像フレームにおけるそれぞれ対応する上記映像フレームと組み合わせて、疑似基準フレームを生成するステップと、
元々受けた１つ以上の上記映像フレームと上記疑似基準フレームとを比較し、主観的画像品質の予測値を生成するステップとを具えている。

【0009】

本発明の第２観点は、第１観点の主観的画像品質予測値生成方法において、連続する部分劣化を測定するステップが、１つ以上の上記映像フレーム内のノイズを測定するステップを有することを特徴としている。

【0010】

本発明の第３観点は、第１観点の主観的画像品質予測値生成方法において、連続する部分劣化を測定するステップが、１つ以上の上記映像フレームにおける現在のフレームの中の１ブロック内の劣化を測定するステップを有していることを特徴としている。

【0011】

本発明の第４観点は、第３観点の主観的画像品質予測値生成方法において、上記現在のフレームの中の１つ以上の画素における劣化を測定するステップを更に有することを特徴としている。

【0012】

本発明の第５観点は、第１観点の主観的画像品質予測値生成方法において、連続する上記部分劣化を集め、１つ以上の上記映像フレームのそれぞれについて上記部分劣化差分画像を生成するステップが、連続する上記部分劣化を均一な映像フレームに加えるステップを有することを特徴としている。

【0013】

本発明の第６観点は、第１観点の主観的画像品質予測値生成方法において、連続する上記部分劣化を集め、１つ以上の上記映像フレームのそれぞれについて上記部分劣化差分画像を生成するステップが、現在のフレームのノイズを測定するステップと、上記現在のフレーム中のノイズを均一な映像フレームに測定量だけ加えるステップと、上記ノイズを加えた映像フレームを元々の現在の映像フレームから引き算するステップとを有することを特徴としている。

【0014】

本発明の第７観点は、第１観点の主観的画像品質予測値生成方法において、主観的画像品質の予測値が平均オピニオン評点（ＭＯＳ：Mean Opinion Score）であることを特徴としている。

【0015】

本発明の第８観点は、本発明は被試験映像信号の１つ以上の部分劣化を基準信号なしで測定する方法であって、
被試験映像信号の映像データを受けるステップと、
上記映像データの一部分の高周波数部分である部分表現信号を生成するステップと、
上記映像データの上記一部分の部分平均２乗ノイズ振幅を生成するステップと、
最小部分２乗ノイズ振幅をサンプリング期間中の最小２乗ノイズ振幅として選択するステップと、
選択された上記最小部分２乗ノイズ振幅を補償するステップと、
補償された上記最小部分２乗ノイズ振幅を測上記部分劣化の測定値として提供するステップと
を具えている。

【0016】

本発明の第９観点は、第８観点の被試験映像信号の１つ以上の部分劣化を基準信号なしで測定する方法において、上記補償するステップの前において、１つ以上の最小部分２乗ノイズ振幅を平均化し、平均２乗ノイズ振幅を生成するステップを更に具えることを特徴としている。

【0017】

本発明の第１０観点は、第８観点の被試験映像信号の１つ以上の部分劣化を基準信号なしで測定する方法において、補償された振幅測定値を劣化測定値として提供する前にｄＢ測定値に変換するステップを更に具えることを特徴としている。

【0018】

本発明の第１１観点は、第８観点の被試験映像信号の１つ以上の部分劣化を基準信号なしで測定する方法において、ノイズ振幅を補償するステップが、補償時に使用する電力スペクトラム密度を選択的に受けるステップを有することを特徴としている。

【0019】

本発明の第１２観点は、第１１観点の被試験映像信号の１つ以上の部分劣化を基準信号なしで測定する方法において、選択される電力スペクトラム密度がホワイト・ノイズの電力スペクトラム密度であることを特徴としている。

【0020】

本発明の第１３観点は、第１１観点の被試験映像信号の１つ以上の部分劣化を基準信号なしで測定する方法において、選択される電力スペクトラム密度がピンク・ノイズの電力スペクトラム密度であることを特徴としている。

【0021】

本発明の第１４観点は、第８観点の被試験映像信号の１つ以上の部分劣化を基準信号なしで測定する方法において、映像データの一部分の高周波数部分である部分表現信号を生成するステップが、映像データを、ａ１＝１−ｂ０の係数を有するＩＩＲフィルタでフィルタ処理するステップを有することを特徴としている。

【0022】

本発明の第１５観点は、映像測定装置であって、
被試験映像信号を受ける映像入力端子と、
上記被試験映像信号の１つ以上のフレーム内の１つ以上の劣化を測定するよう構成された部分劣化測定器と、
上記部分劣化測定器の出力信号及び上記被試験映像信号を組み合わせて疑似基準映像信号を生成する疑似基準映像信号生成器とを具えている。

【0023】

本発明の第１６観点は、第１５観点の映像測定装置において、上記被試験映像信号及び上記疑似基準映像信号を入力信号として受けて、上記被試験映像信号の主観的画像品質の予測値を生成するフル基準映像品質予測器を更に具えることを特徴としている。

【0024】

本発明の第１７観点は、第１６観点の映像測定装置において、主観的画像品質の上記予測値に、平均オピニオン評点が含まれることを特徴としている。

【0025】

本発明の第１８観点は、第１５観点の映像測定装置において、部分劣化測定器が、上記被試験映像信号の少なくとも１つのフレームにおいて、ノイズ、モスキート・ノイズ、リングング、ぶれ、ジャーキニス、フリーズ・フレーム、ジャギー及びブロック・エフェクト（block effect：画像がブロックに分けられてモザイクのように見える現象）の内の少なくとも１つを測定するよう構成されていることを特徴としている。

【0026】

本発明の第１９観点は、被試験映像信号の１つ以上の部分劣化を基準信号なしで測定する部分劣化測定装置であって、
上記被試験映像信号を受ける映像入力端子と、
上記被試験映像信号のフレームの現在の部分の高周波数成分である部分表現信号を生成するハイパス・フィルタ・ブロックと、
このハイパス・フィルタ・ブロックから変更された映像信号を受けて、上記被試験映像信号のフレームの現在の部分のノイズ振幅を生成するローパス・フィルタ・ブロックと、
ローパス・フィルタ・ブロックの出力信号から試験期間における最小ノイズ振幅を選択する最小化器と、
上記被試験映像信号のノイズの推定値出力を生成するように構成された帯域幅補償器と
を具えている。

【0027】

本発明の第２０観点は、第１９観点の部分劣化測定装置において、最小化器から受けた複数の最小化ノイズ振幅から平均２乗振幅を生成するよう構成された平均化プロセッサを更に具えることを特徴としている。

【0028】

本発明の第２１観点は、第１９観点の部分劣化測定装置において、ハイパス・フィルタ・ブロックが、ローパス水平フィルタと、このローパス水平フィルタの出力信号を上記被試験映像信号から受けた信号と結合するよう構成されたプロセッサとを有していることを特徴としている。

【0029】

本発明の第２２観点は、第２１観点の部分劣化測定装置において、ローパス・フィルタ・ブロックがハイパス・フィルタ・ブロックのローパス水平フィルタを有することを特徴としている。

【0030】

本発明の第２３観点は、第１９観点の部分劣化測定装置において、ハイパス・フィルタ・ブロックが水平、垂直及び時間フィルタを有することを特徴としている。

【0031】

本発明の第２４観点は、第２３観点の部分劣化測定装置において、上記水平及び垂直フィルタが、ａ１＝１−ｂ０の係数を有する空間双方向ＩＩＲフィルタであることを特徴としている。

【0032】

本発明の第２５観点は、第２３観点の部分劣化測定装置において、上記時間フィルタが、ａ１＝１−ｂ０の係数を有する双方向ＩＩＲフィルタであることを特徴としている。

【0033】

本発明の目的、効果及び他の新規な点は、以下の詳細な説明を添付の特許請求の範囲及び図面とともに読むことによって明らかとなろう。

【図面の簡単な説明】

【0034】

【図1】図１は、コンテンツ・プロバイダ、放送会社及びユーザを含む本発明による映像配信システムのブロック図である。

【図2】図２は、本発明による実施形態による１つの入力映像信号を用いた画質予想システムの例のブロック図である。

【図3】図３は、本発明による実施形態によるもので、基準信号が利用できない場合における主観的画像品質予測方法の例のフローチャートである。

【図4】図４は、１つ以上の映像フレームにある部分劣化を測定するシステムの本発明の一例の実施形態によるブロック図である。

【図5】図５は、１つ以上の映像フレームにある部分劣化を測定する方法を示す本発明の一例の実施形態によるフローチャートである。

【図6】図６は、本発明の実施形態によるハイパス・フィルタの構成例を示すブロック図である。

【図7A】図７Ａは、本発明のコンセプトを説明するための基本画像である。

【図7B】図７Ｂは、図７Ａの画像に所定量のホワイト・ノイズを加えて得られる画像を示す。

【図7C】図７Ｃは、本発明の実施形態によるもので、図７Ｂの画像が直列の複数ハイパス・フィルタを通過したときに得られる画像を示す。

【図7D】図７Ｄは、本発明の実施形態によるもので、図７Ｃの画像が直列の複数ローパス・フィルタを通過したときに得られる画像を示す。

【発明を実施するための形態】

【0035】

本発明の実施形態は、基準映像がない場合において、主観的な画質を予測するためのシステム及び方法に関する。これは、１つの映像ストリームのみが測定に利用可能で、基準映像ストリームに対して映像ストリームを直接測定することが不可能なために、基準なし測定とも呼ばれる。

【0036】

図１は、映像配信システム１００のブロック図である。この例では、映画、テレビ番組などの元々のコンテンツがコンテンツ・プロバイダ１０２から配信会社１１０へ送られる。簡単のため、コンテンツはここでは映像とするが、コンテンツはどのような形式のデジタル・データでも良い。コンテンツ・プロバイダは、１枚以上のディスクに記録した１つ以上のファイルを物理的に配達することによって、上述の映画やテレビ番組などの映像の物理的なコピーを配達しても良い。しかし、物理的に配達すると、必然的に輸送遅延が生じ、また、物理メディア制作のコストも生じるので、この配達方法はもはや広くは利用されていない。もっと一般的には、衛星送信、マイクロ波送信のような地上波ビーム、又は、プロバイダ１０２と配信会社の間にブロードバンド環境があればインターネットを介して、映像が配信会社１１０に供給される。

【0037】

配信会社１１０は、映像をユーザ１２０に配信するにあたり、映像を圧縮したり、広告を挿入してつなぎ合わせたり、その他にも配信地域（ローカル）の情報を挿入するなどした映像パッケージを制作する。そして配信会社１１０は、変更された映像をユーザ１２０に送信し、ユーザ１２０は、最終製品である映像をテレビ、携帯端末その他のスクリーンで視聴する。送信は、例えば、同軸ケーブル（ケーブル・テレビなどの場合）やツイスト・ペアの電話線を用いて、無線接続やインターネットを介して行われる。

【0038】

上述のように、配信会社１１０は、そのユーザ１２０が満足する品質で映像が配信されることを望んでいる。画質を判断するため、配信会社１１０は、多くの場合、受信した映像コンテンツと配信された映像コンテンツとを比較する。コンテンツ・プロバイダ１０２から受信した映像は、配信会社１１０が圧縮その他の処理を行っているので、ユーザ１２０に配信された映像と異なっているかもしれない。しかし、コンテンツ・プロバイダ１０２から受信した映像の品質がわからなければ、エンド・ユーザ１２０の画質に対する満足を高く維持するのに、どの程度まで圧縮やその他の処理をして良いかを配信会社１１０が判断するのは難しい。このように、配信会社１１０自身にも入手した映像の品質を測定するニーズがあるが、これは当然ながら比較する基準がない。

【0039】

本発明による実施形態では、単一の入力映像源から映像品質の評価点を付ける（rate：格付けする）。アナログ映像信号ではデータの無いブランキング・インターバルがあり、この間にノイズを測定できたが、デジタル映像信号ではこうしたブランキング期間が多くの場合に無く、これがデジタル映像信号の複数フレーム内のノイズ測定を難しくする要因の１つである。図２及び図３を参照すると、プロセス１５０において、受信した映像を評価したいと考えている配信会社その他の法人又は個人が、映像入力信号１３２を受ける。プロセス１６０では、映像信号の１フレーム内の特定部分領域（１フレーム内の一部分の領域）について、ノイズ、モスキート・ノイズ、ブロック・ノイズ、ぶれ（blur）、ジャーキネス（jerkiness：再生フレームが飛び飛びとなり、動きの滑らかさが失われる現象）、フリーズ・フレーム（動きが固まってしまう現象）、ジャギー（jaggies：線や輪郭がギザギザに見える現象）、リンギングなどのような１つ以上の画質劣化を測定する。この特定部分領域は、１つ以上の画素、１つのブロック、複数のブロック、１フレーム全体などと定義しても良い。図２を参照すると、部分劣化測定器１３４は、図４から図７Ｄを参照して以下に詳細に説明する測定システムのような画質劣化を測定するためにプログラムされたハードウェア上で動作しているプロセスとしても良い。なお、部分劣化測定器１３４の名称における「部分」とは、１フレーム内の一部分の領域（local：ローカル、局所、一部分）を意味し、以下の説明に現れる「部分」も同様である。ただし、上述のように、部分が１フレーム全体にまで広がることもある。

【0040】

１つ以上の部分劣化を測定した後、プロセス１７０において、劣化生成器１３８は、測定された劣化に基いて部分劣化差分画像（以下、「差分画像」とも呼ぶ）を構築する。差分画像を生成する１つの方法は、事実上ブランク（空）のスレート（slate：灰色の石版）、つまり、完全なグレー（灰色）のフレームから始まる差分画像を生成するようにしても良い。この方法を用いると、各部分劣化が測定される度に、元々のグレー・フレームに同じ量の劣化が加えられる。例えば、部分劣化測定器１３４が元々の映像信号のある特定領域（部分）に４０ｄＢのノイズを測定したら、グレー・フレームの同じ特定領域に関し、差分画像に４０ｄＢのノイズが加えられる。同様に、ディテールが２３％損失されているのが測定されたら、２３％のディテールが生成されて、グレー・フレームから引き算される。ディテール損失は、例えば、ランダム・ノイズの発生、不正確な画像複製、エッジの変換ミス（edge mis-translation）などによって生じる。部分領域の単位（ノイズに関する画素や、ブロック関係の劣化に関するブロックなど）で、発生部分おいて測定された全ての部分劣化は、フル・フレーム（１フレーム全体、略して「フル」）の差分画像（フル差分画像）を作るために集められる。

【0041】

差分画像を生成する別の方法では、グレー・フレームを全く用いず、測定された部分劣化に基いて映像入力信号１３２から得られたオリジナル信号を改善し、結果として得られた画像がオリジナル入力映像フレームから引き算されて差分画像が生成される。この場合も、フル・フレームの差分画像（フル差分画像）は全ての部分劣化の測定結果を統合することで生成される。

【0042】

差分画像の生成が終わると、その生成方法に関係なく、プロセス１８０において、オリジナル映像入力と組み合わせて、疑似基準映像が生成される。図２を参照すると、この組合せは、映像結合器１４０で行うようにしても良い。実際的には、結合器１４０は、差異を計算するプロセスでも良く、これは差分画像をオリジナル映像から差し引いて、得られる映像が疑似基準映像である。しかし、別の方法で、オリジナル映像入力１３２と差分画像を組み合わせることも可能である。

【0043】

疑似基準映像が生成されると、オリジナル映像及び疑似基準映像が、フル基準映像品質予測器１４４に供給される。フル基準映像品質予測器１４４は、最終的な映像品質評価点を生成するために、米国特許６９７５７７６号公報に開示されたシステム及び方法を内蔵しても良い。実施形態においては、最終的な映像品質評価点に平均オピニオン評点（ＭＯＳ）が含まれる。最終出力の品質評価点は、配信会社１１０にとって入ってくる映像コンテンツをどのように処理するか判断するのに役立つ。例えば、もし入ってくる映像が既に劣化していれば、配信会社１１０は、他の映像でならば行うような圧縮をしないかもしれない。更には、もし品質が非常に悪ければ、配信会社１１０は、その映像の受取を拒否し、コンテンツ・プロバイダ１０２にもっと良い品質の映像を供給するよう要求するかもしれない。

【0044】

図４は、部分劣化測定システム２００の詳細なブロック図を示し、これは図２の部分劣化測定器１３４の実施形態の例である。部分劣化測定システム２００は、１つの映像入力を受けるか、場合によっては、１つの画像を受け、水平、垂直及び時間的周波数が共通して高い帯域における空間及び時間に関する付加ノイズの推定測定値の最小変動（minimum variance）を出力する。

【0045】

被試験映像信号の入力を受けた後、映像信号は、ハイパス・フィルタ・ブロック２１０中の１つ以上のハイパス・フィルタを通過し、これによって第１フィルタ処理が行われる。典型的には、フィルタ処理は、水平、垂直及び時間の３次元で、それぞれのハイパス・フィルタ２１２、２１４及び２１６において行われる。静止画は、時間的な変化がないので、時間的なフィルタ処理は行われない。３Ｄ（立体）映画では、フィルタ処理を４次元としても良く、Ｘ、Ｙ及びＺの各次元に１個ずつのフィルタと、これに時間フィルタを加えたものである。ハイパス・フィルタ２１０の出力信号は、映像の複数の画像の交流信号（ＡＣ）部分という部分を表したものである。よって、この出力信号は、平均すればゼロとなる。更に、３つのフィルタ２１２、２１４及び２１６それぞれのローパス・カットオフ周波数を調整することによって、測定する部分をコントロールできる。

【0046】

フィルタ・ブロック２１０の出力信号は、ローパス・フィルタ・ブロック２３０に送られる前に、２乗プロセス２２０において数学的に２乗される。フィルタ・ブロック２３０は、１つ以上のローパス・フィルタ２３２、２３４及び２３６を通して、２乗プロセス２２０の出力信号をフィルタ処理し、映像信号の部分平均２乗ＡＣ振幅を得る。この部分平均２乗ＡＣ振幅は、被試験映像信号におけるその部分の変動（local variance：部分変動又は局所変動）を表す。

【0047】

最小化プロセス２４０は、各サンプル期間について空間及び時間における最小部分変動を探し出すために、３次元空間内における測定サンプル期間毎の最小変動を決定する。例えば、サンプル期間を０．１秒としても良く、最小化プロセス２４０は各サンプル期間毎に出力信号を生成する（そして、最小化プロセス２４０はリセットされる）。最小化プロセス２４０からのサンプル期間中の最小部分変動を、複数フレーム平均化プロセス２５０において平均化し、平均２乗ノイズ（変動）振幅を生成するようにしても良い。次に、測定した帯域幅外のノイズを推定するために、平均化プロセス２５０の出力信号を帯域幅補償器２６０で補償された帯域幅にしても良い。例えば、フレームの一部分で測定されたノイズは、フレーム全体へと拡張できる。そして、帯域幅が補償されたノイズの推定値は、プロセス２７０でｄＢに変換しても良いし、帯域幅補償器２６０から直接出力しても良い。上述したプロセスのそれぞれを以下で更に詳細に説明する。

【0048】

図５は、１つ以上の映像フレームにある部分劣化を測定する方法を示す本発明の一例の実施形態によるフローチャート３００であり、被試験映像ストリームを受けるプロセス３１０から始まっている。プロセス３２０では、映像信号の各次元の交流（ＡＣ）成分が分離される。これは、別の見方をすれば、各次元の直流（ＤＣ）成分を除去するということである。上述のように、静止画は、フィルタ処理する時間成分がないので、時間的なフィルタ処理は行わない。直流成分の除去は、図４に示すように、直列に連続する複数のハイパス・フィルタに被試験映像信号を通すことによって行われる。単一のハイパス・フィルタ４１０として一般化したバージョンが、図６に示されている。ハイパス・フィルタ４１０は、最初、入力映像信号をローパス・フィルタ４１２に通し、高周波を取り除く。次に、比較／引き算器４１６がローパス・フィルタ４１２の出力信号をオリジナルの入力映像信号に対して比較し、この比較に基づいて、オリジナル入力映像信号の低周波数成分を取り除く。これによって、オリジナル入力映像信号の交流成分のみを分離したハイパス・フィルタ４１０の出力信号が生成される。

【0049】

実際的には、ハイパス・フィルタ２１２、２１４及び２１６は、双方向で固定の無限インパルス応答（ＩＩＲ）によって実現しても良い。フィルタの好適な実施形態には、（ａ１＝１−ｂ０）ＩＩＲフィルタが含まれ、これは空間フィルタは双方向（bidirectional）だが、時間フィルタは双方方向ではない。使用できるフィルタの例としては、例えば、米国特許６９０７１４３号公報に開示されているものが含まれる。ローパス・フィルタの係数は、所望の信号を通しつつ、高周波数ノイズを除去するという組合せとなるのに最も適した通過帯域となるように選択される。具体的な値は、実施する際の仕様によるが、解像度、映像源、映像処理（アップ又はダウン・サンプリング、グラフィックの挿入など）に応じて定める。フィルタを選択するにあたっては、カットオフ周波数を最初はサンプル周波数の約４分の１とし、ここから調整しながら選択するのが良い。

【0050】

実際上、部分劣化測定システム２００は、米国特許６４３３８１９号公報に開示されているようなブロック平均化処理や、ＦＩＲ（有限インパルス応答）フィルタ処理又は単方向（unidirectional）ＩＩＲフィルタを用いる移動（running）ブロック平均化処理又はシステムと比較し、計算効率と精度が大幅に改善している。

【0051】

図７Ａ、７Ｂ、７Ｃ及び７Ｄを参照すると、図７Ａは、本発明のコンセプトを説明するための基本となるテスト画像である。図７Ｂは、特に、図７Ａのテスト画像にある量のノイズを加えたものである。このため、部分劣化測定システム２００でノイズを測定したとき、最終的な答えは、測定システムの精度テストために加えられたノイズのレベルに戻れば比較できる。−２０ｄＢを少し超えるノイズが図７Ａのきれいなフレームに加えられたものが、図７Ｂとなる。図７Ｃは、図４の部分劣化測定システム２００のハイパス・フィルタ２１０の入力信号として図７Ｂの画像を用いて、その結果をグレー画像に加えたときの出力信号として見える画像である。空の部分の広い範囲における輝度の差のような低周波数の変化が、図７Ｂの画像に比較して弱まっていることに注意されたい。

【0052】

図５を参照すると、プロセス３２０で交流成分が分離された後、プロセス３３０で交流信号部分は２乗され、次にプロセス３４０で直列の複数ローパス・フィルタでフィルタ処理され、映像信号の部分平均２乗交流振幅が得られる。この部分平均２乗交流振幅は、部分変動を表す。実施形態によっては、図４のローパス・フィルタ２３２、２３４及び２３６は、ちょうどそれぞれ対応するハイパス・フィルタ２１２、２１４及び２１６の一部を構成するローパス・フィルタとしても良い。繰り返しになるが、より具体的には、例えば、ローパス水平フィルタ２３２は、図６に示すように、ハイパス・フィルタ２１２の構成要素の１つである。このように、同じローパス・フィルタが、ローパス・フィルタ・ブロック２３０でも使用される。ローパス・フィルタ・ブロック２３０の出力は、映像サンプルの空間及び時間における部分変動（local variance）である。

【0053】

図７Ｄは、７Ｃの画像をサンプルし、２乗し、ハイパス・フィルタ処理した画像のローパス・フィルタ出力を視覚的に表したものである。このように、図７Ｄは、部分変動を視覚的に表したものである。

【0054】

プロセス３５０では、３次元空間における部分変動の最小値を見つけることで、最小値を決定する。最小値を決定した後、プロセス３６０では複数フレームが平均化される。平均化プロセス３６０としては、所望の更新速度に適したものが良く、移動平均（running average）、ＩＩＲ、その他のフィルタ処理方法を含めても良い。適応型ＩＩＲ（adaptive IIR）が、平均２乗ノイズ、つまり、変動又は振幅の推定値を生成するのに最も適しているかもしれない。静止画の場合、フレームを平均した結果は、その入力信号、つまり、１つのサンプルと同じである。

【0055】

プロセス３７０では、ノイズ測定値を推定するのに使われた映像信号帯域幅のパーセント（割合）に基いて測定値を補償することにより、平均化プロセスの出力を修正する。ハイパス・フィルタ２１０の帯域幅は、ハイパス・フィルタで遮断された映像信号中の部分を補う（補償する）ために、全映像帯域幅中における割合（比率）として計算される。このパーセント（割合）は、いくつかの既知の方法で決定しても良い。例えば、複数のフィルタそれぞれの入力に対する出力という電力出力比をかけ算して合成電力出力比を生成し、この比率を平均化プロセス３６０で得られる推定出力を増加させるのに用いても良い。この割合を生成するのに、ユーザがどの電力スペクトラム密度を使用するかを選択し、これが帯域幅補償器２６０に入力される。例えば、ホワイト・ノイズの電力スペクトラム密度は実質的に周波数応答に対して一定である一方、ピンク・ノイズ（電力が周波数に反比例するノイズ）の電力スペクトラム密度は実質的に１／ｆである。ホワイト・ノイズ、ピンク・ノイズ、ブラウニアン・ノイズ（電力スペクトラム密度が実質的に１／ｆ^２）その他の選択された電力スペクトラム密度を用いることで、帯域幅補償器２６０は、正確な測定のために、測定したノイズに基いてフレーム全体にまで広げてノイズ推定値を求める（即ち、外挿する：既知のデータを基に、その既知データの範囲の外側で予想されるデータを求める）ことができる。

【0056】

最後のプロセス３８０（オプション：必要に応じて実施）では、プロセス３７０からの帯域幅補償測定値出力を、ユーザに表示するために、ｄＢのような標準的な測定値に変換するようにしても良い。なお、図４の測定回路が、図２の画質予測システムのようなもっと大きなシステムの単に一部分に過ぎないような実施形態においては、測定値を変換せずに、劣化生成器１３８へ直接送るようにしても良い。

【0057】

本発明による実施形態は、特定用途向け集積回路（ＡＳＩＣ）のようなハードウェアとして実現しても良いし、専用又は汎用プロセッサ上で実行されるプロセスのようなソフトウェアとして実現しても良い。本発明によるシステムを実現する方法は多数あり、典型的には、ある部分はＦＰＧＡのような特定のハードウェア上で動作し、他の部分は米国インテル社製プロセッサのような汎用プロセッサ上で実行されるソフトウェアとして動作するものとなる。

【0058】

本発明は、テレビ波形モニタなどのような種々の製品において実現してもよい。こうした製品は、１つ以上の映像信号を１つ以上の入力端子で受け、信号に対して多数の測定処理を実行し、モニタ上での表示に適した出力信号や、出力ファイル中のデータといった形式の出力を生成する。同様に、本発明による実施形態は、ピクチャー・クオリティ・アナライザ（画質分析装置）の機能として実現しても良く、これは１つ以上の画像を入力信号として受けて、画像に対して多数の測定処理を実行し、モニタ上での表示に適した出力信号や、出力ファイルとして記憶される。こうした波形モニタやアナライザは、キーボード、マウス、トラックパッド（指先によるタッチ操作を実現する装置）、選択ノブ、選択ボタンなどを用いて操作や選択が可能なメニューのように、ユーザのインタクティブな操作を実現する多彩な入力機能を有している。

【0059】

これまで説明は、２次元の画像又は映像信号に関して行ってきたが、本発明の実施形態は、信号及びノイズが統計的にスペクトラムが局所に分離されるような他の応用例に用いても良い。例えば、これら技術は、音声やＲＦ伝送のような単一チャンネルに用いても良い。同様に、これら方法及び技術は、空間的３次元と時間的次元とを組み合わせたもの、つまり、時間と共に変化する３次元（立体）画像のような任意の次元を有する信号に適用しても良い。

【0060】

このように、本願に記載した実施形態は種々の変更が可能であって、上述の詳細な説明は、実例を示したに過ぎず、本発明はこれらに限定されるものではない。

【符号の説明】

【0061】

１００ 映像配信システム
１０２ コンテンツ・プロバイダ
１１０ 配信会社
１２０ ユーザ
１３２ 映像入力信号
１３４ 部分劣化測定器
１３８ 劣化生成器
１４０ 結合器
１４４ フル基準映像品質予測器
２１０ ハイパス・フィルタ・ブロック
２１２ 水平フィルタ
２１４ 垂直フィルタ
２１６ 時間フィルタ
２２０ ２乗プロセス
２３０ ローパス・フィルタ・ブロック
２３２ 水平ローパス・フィルタ
２３４ 垂直ローパス・フィルタ
２３６ 時間ローパス・フィルタ
２４０ 最小化プロセス
２５０ フレーム平均化プロセス
２６０ 帯域補正器
２７０ ｄＢへの変換器
４１０ ハイパス・フィルタ
４１２ ローパス・フィルタ
４１６ 比較／引き算器

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図7C】

【図7D】