特許 6259199 タイリング又はブロックノイズ検出方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6259199

(24)【登録日】2017年12月15日

(45)【発行日】2018年1月10日

(54)【発明の名称】タイリング又はブロックノイズ検出方法及び装置

(51)【国際特許分類】

   H04N 19/86 20140101AFI20171227BHJP

   H04N 19/117 20140101ALI20171227BHJP

【ＦＩ】

   H04N19/86

   H04N19/117

【請求項の数】5

【外国語出願】

【全頁数】14

(21)【出願番号】特願2013-91295(P2013-91295)

(22)【出願日】2013年4月24日

(65)【公開番号】特開2013-229872(P2013-229872A)

(43)【公開日】2013年11月7日

【審査請求日】2016年4月20日

(31)【優先権主張番号】13/454,484

(32)【優先日】2012年4月24日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】391002340

【氏名又は名称】テクトロニクス・インコーポレイテッド

【氏名又は名称原語表記】ＴＥＫＴＲＯＮＩＸ，ＩＮＣ．

(74)【代理人】

【識別番号】110001209

【氏名又は名称】特許業務法人山口国際特許事務所

(72)【発明者】

【氏名】ダニエル・ジー・ベイカー

【審査官】 赤穂 州一郎

(56)【参考文献】

【文献】 米国特許出願公開第２０１１／０２４９８９２（ＵＳ，Ａ１）

【文献】 特開２００２−３７２９９５（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１２／００２７１０３（ＵＳ，Ａ１）

【文献】 特開２０１２−０４２４６２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００ − １９／９８

(57)【特許請求の範囲】

【請求項1】

画像中のタイリング又はブロックノイズを検出する方法であって、
上記画像に関する複数のエッジ値からなる列ベクトルを生成するステップと、
上記列ベクトルから、該列ベクトルのパワー値と、複数の所定周波数からなるグループのそれぞれに関するパワー値とを決定するステップと、
上記所定周波数のそれぞれに関するタイリング又はブロックノイズ値を生成するために上記パワー値を合成するステップと
を具え、
上記決定するステップが、
上記列ベクトルのＡＣ成分から上記パワー値を計算するステップと、
上記所定周波数のそれぞれにおいて上記列ベクトルの上記ＡＣ成分のＩ及びＱ成分に関するパワー値を計算するステップと、
上記所定周波数のそれぞれの上記Ｉ及びＱ成分に関する上記パワー値を加算し、上記所定周波数のそれぞれに関する上記パワー値を生成するステップと
を有するタイリング又はブロックノイズ検出方法。

【請求項2】

請求項１記載の方法であって、上記生成するステップが、
上記画像の水平ラインのそれぞれに沿ってエッジの値を増加させ、増加した値を有するエッジ画素を生成するステップと、
上記水平ラインのそれぞれに関する画素の和を生成するために上記水平ラインのそれぞれに沿って上記エッジ画素を加算するステップとを有し、
上記水平ラインの全てについての複数の上記画素の和が、上記列ベクトルの複数の上記エッジ値を形成する請求項１記載のタイリング又はブロックノイズ方法。

【請求項3】

請求項１記載の方法であって、上記合成するステップが、
上記列ベクトル及び上記所定周波数のそれぞれに関する上記パワー値を無次元量に変換するステップと、
上記列ベクトルに関する上記無次元量を、上記所定周波数のそれぞれに関する上記無次元量から引き算し、上記所定周波数のそれぞれに関するタイリング又はブロックノイズ値を生成するステップと
を有する請求項１記載のタイリング又はブロックノイズ方法

【請求項4】

画像中のタイリング又はブロックノイズを検出する装置であって、
上記画像に関する複数のエッジ値からなる列ベクトルを生成する手段と、
上記列ベクトルから、該列ベクトルのパワー値と、複数の所定周波数からなるグループのそれぞれに関するパワー値とを決定する手段と、
上記所定周波数のそれぞれに関するタイリング又はブロックノイズ値を生成するために上記パワー値を合成する手段と
を具え、
上記決定する手段が、
上記列ベクトルのＡＣ成分から上記パワー値を計算する手段と、
上記所定周波数のそれぞれにおいて上記列ベクトルの上記ＡＣ成分のＩ及びＱ成分に関するパワー値を計算する手段と、
上記所定周波数のそれぞれの上記Ｉ及びＱ成分に関する上記パワー値を加算し、上記所定周波数のそれぞれに関する上記パワー値を生成する手段と
を有するタイリング又はブロックノイズ検出装置。

【請求項5】

画像中のタイリング又はブロックノイズを検出する装置であって、
上記画像を表すデータを入力とし、上記画像に関する複数のエッジ値からなる列ベクトルを出力として供給する列ベクトル生成部と、
上記列ベクトルを入力とし、上記列ベクトル及び該列ベクトル内の所定周波数に関するパワー値を出力として供給するパワー決定部と、
上記列ベクトル及び上記所定周波数に関する上記パワー値を入力とし、上記所定周波数のそれぞれに関するタイリング又はブロックノイズ値を出力として供給する合成部と
を具え、
上記パワー決定部が、
上記列ベクトルのＡＣ成分を入力とし、上記列ベクトルに関する上記パワー値を出力とする第１パワー計算部と、
上記列ベクトルの上記ＡＣ成分を入力とし、上記所定周波数のそれぞれにおける上記列ベクトルのＩ及びＱ成分に関する上記パワー値を出力とする第２パワー計算部と、
上記所定周波数のそれぞれの上記Ｉ及びＱ成分に関する上記パワー値を入力とし、上記所定周波数のそれぞれに関する上記パワー値を出力とする加算部と
を有するタイリング又はブロックノイズ検出装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ビデオ圧縮技術に関し、特に、スペクトラム・パワーに基づくタイリング又はブロックノイズの検出に関する。

【背景技術】

【0002】

テレビジョン・カメラのような元々の映像源からのビデオ信号は、デジタル化されると、多量のデータに相当する。このデータを受信装置に伝送するために、ビデオ信号は、Ｈ.２６４やＭＰＥＧ２のような周知のビデオ圧縮技術のいずれかを用いて、コーダ／デコーダ（コーデック）によって圧縮される。これら圧縮技術は、ビデオ信号で表される複数のフレーム又はビデオ画像のシーケンスを複数のデータ・ブロックに分割し、各データ・ブロックを圧縮することで圧縮ビデオが生成される。しかし、圧縮ビデオの受信装置への伝送は、データのビット・レートを低くすることが必要となり、情報が失われる、つまり、圧縮は「損失の多い」プロセスである。もし損失が多くなりすぎると、その圧縮ビデオが受信装置で適当なコーデックで伸張されたときに、得られるビデオ信号は、圧縮されたときの元々のデータ・ブロックのエッジに対応して、一般にタイリング又はブロックノイズと呼ばれる視覚的なアーティファクトを有するフレーム又はビデオ画像を生成する。

【0003】

大気中又はケーブルを介しての無線周波数（ＲＦ）信号を用いた圧縮ビデオ・ストリームの送信又はインターネット・プロバイタ（ＩＰ）ネットワークを用いたデータとしての圧縮ビデオ・ストリームの送信は、時として更なるデータ損失が生じることが多い。この過渡的なデータ損失も、不完全な送信データを受信してデコードされた（つまり、いくつかの圧縮ビデオが欠落した）いくつかのフレームにおいて、視覚的に見られるブロックノイズの原因となるであろう。

【0004】

過剰な圧縮又はデータ損失の両方の場合において、タイリング又はブロックノイズが視覚的に見られるであろうし、これは視聴者にとっていらいらするものであろう。測定環境において、得られるビデオ信号の障害の酷さレベルを決定するため、現在の１つの方法では、各圧縮ブロックと右に隣接するブロックとの間（水平エッジ又はＨエッジ）と、各圧縮ブロックと下に隣接するブロックとの間（垂直エッジ又はＶエッジ）のＡＣエネルギーを用いて、各圧縮ブロック内の交流電流（ＡＣ）エネルギーを比較している。これらＨ及びＶエネルギー比が合算されて、各ブロックに関するタイリング値を生成する。これらタイリング値は、フレーム内のいくつかの領域のそれぞれにおいて、複数のタイルに渡って加算（合算）され、その画像に関するタイリング値のグリッド（格子）を形成する。典型的には、その画像又はフレームに関する最大値がタイリング値として報告される。注意すべきは、画素０，０を含む一直線上にある（align）、つまり、画像の左上角を含む一直線上にあるブロック・グリッド上で発生するタイリングのみが検出され、結果としていくつかの問題が生じることである。

【0005】

ＭＰＥＧ２圧縮コード化（符号化）処理では、ビデオ信号中の複数の画像又はフレームのシリーズが、Ｉフレームとして個別に圧縮されるか、若しくは、Ｂ又はＰフレームのように、移動動作を推定して周囲のフレームとの関係を予測することによって圧縮される。画素０，０のタイリングは、典型的には、デコーダがＩフレームを出力する場合である。しかし、その現在のデコードから生じる関連のＰ及びＢフレームがタイリングを含んでいるかもしれないが、タイルは画素０，０からフレーム内で動きベクトルによって移動する。従って、これらフレームにおけるタイリングの酷さは、適切には示されない。また、先にコード化処理／デコード化処理された画像からのタイリングがある可能性もあるが、これは、第２コード化処理の一部としてリサンプルされるか又はシフトされてクロップされ、画素０，０を含む一直線上にはないので、検出されない。最後に、もし先のコード化処理／デコード化処理で生じたタイリングがあって、画像が１０８０ｉ（インタレース）から７２０ｐ（プログレッシブ）への変換のようにリサイズ（サイズ変更）された場合、ブロック又はタイルのサイズがもはやオリジナルの圧縮処理と同じグリッド間隔ではないので、そのタイリングは、デコーダの出力では検出されないであろう。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１１−１１４６８３号公報

【特許文献2】特開２００１−２０４０２９号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

図１は、上述した現在の技術によるタイリングを検出できない結果となる典型的な状況を表す。オリジナルのビデオを表す圧縮されたＭＰＥＧ２信号は、Ｙ、Ｕ及びＶ信号のようなコンポーネント・ビデオ信号を生成するデコーダ２に入力される。デコーダ２は、デコーダからのベースバンド・ビデオを表すＹフレーム中に示されるように、タイリングを生成する。ＭＰＥＧ２は、８×８タイル（又は、場合により１６×１６タイル）に基づくので、得られるＹフレーム画像は、デコード（復号）された複数の８×８タイルを合成したものである。この状況では、Ｙフレームは、１０８０ｉビデオ信号（１０８０ライン×１９２０列）を表す。

【0008】

ケーブル・テレビジョン会社のような仲介業者は、１０８０ｉビデオ信号をリサイズし、７２０ｐビデオ信号（７２０ライン×１２８０列）を生成することがある。オリジナルの８×８タイルの境界上の目に見えるタイリング・アーティファクトは、２／３（８×８）タイルにリサイズされる。この７２０ｐビデオ信号は、ＭＰＥＧ２信号を生成するためにコード化（符号化）され、ＭＰＥＧ２信号は、エンド・ユーザのテレビジョン装置に伝送される。エンド・ユーザは、ＭＰＥＧ２信号をデコード（復号）し、視聴用の最終バージョンを生成するが、これは、デコーダからの８×８タイルはもちろんのこと、リサイズされたタイル（２／３（８×８））との両方の目に見えるアーティファクトを含んでいる。その結果は、現在の技術では検出されない目に見える２／３（８×８）タイル・アーティファクトを多数有する画像となるかもしれない。

【0009】

デコーダ出力における過剰圧縮やデータ損失が原因のデコードされた圧縮ビデオ信号中のタイリング又はブロックノイズの酷さ（障害レベル）を検出する方法が必要とされており、この方法は、位相シフトや画素０，０を含む一直線上にタイリング・パターンを揃えることには関係なく、典型的な画像リサイズ比のいくつかに対応している。

【課題を解決するための手段】

【0010】

そこで、本発明は、画像中のタイリング又はブロックノイズによって生成されるスペクトラム・シグナチャを見つけるためのブロック・エッジにおける１次元ベクトルを用いた、スペクトラム・パワー・シグナチャによるタイリング又はブロックノイズ検出処理を提供する。シグナチャとは、同一性を示す独特の特徴のことである。輝度のような画像のベースバンド成分（コンポーネント）のエッジの値を増加させ、各水平ラインに沿った画素値が合算されて、その画像に関するエッジ値の合計である１次元の列ベクトルが形成される。列ベクトルのパワーと、列ベクトル内の選択された周波数成分のパワーが求められる。続いて、これらパワーは、合成されて、次元のない（無次元）値に変換され、上記選択周波数のそれぞれに関連するタイリング又はブロックノイズ値を生成する。

【0011】

より具体的には、本発明の概念１は、画像中のタイリング又はブロックノイズを検出する方法であって、
上記画像に関する複数のエッジ値からなる列ベクトルを生成するステップと、
上記列ベクトルから、該列ベクトルのパワー値と、複数の所定周波数からなるグループそれぞれに関するパワー値とを決定するステップと、
上記所定周波数のそれぞれに関するタイリング又はブロックノイズ値を生成するために、上記パワー値を合成するステップと
を具えている。

【0012】

本発明の概念２は、上記概念１による方法であって、上記生成するステップが、
上記画像の水平ラインのそれぞれに沿ってエッジの値を増加させ、増加した値を有するエッジ画素を生成するステップと、
上記水平ラインのそれぞれに関する画素の和を生成するために、上記水平ラインのそれぞれに沿って上記エッジ画素を加算するステップとを有し、このとき、上記水平ラインの全てについての複数の上記画素の和が、上記列ベクトルの複数の上記エッジ値を形成している。

【0013】

本発明の概念３は、上記概念２による方法であって、上記生成するステップが、上記増加した値を、上記加算するステップの前に、上記エッジ画素に関する増加した値の絶対値に変換するステップを更に有している。

【0014】

本発明の概念４は、上記概念３による方法であって、上記生成するステップが、ダイナミック・レンジを減らすために、上記加算するステップの前に、上記増加した値の絶対値をクリップする（clip：切り詰める）ステップを更に有している。

【0015】

本発明の概念５は、上記概念１による方法であって、上記決定するステップが、
上記列ベクトルのＡＣ成分から上記パワー値を計算するステップと、
上記所定周波数のそれぞれにおいて上記列ベクトルの上記ＡＣ成分のＩ及びＱ成分に関するパワー値を計算するステップと、
上記所定周波数のそれぞれの上記Ｉ及びＱ成分に関する上記パワー値を加算し、上記所定周波数のそれぞれに関する上記パワー値を生成するステップと
を有している。

【0016】

本発明の概念６は、上記概念５による方法であって、上記列ベクトルのパワー値を計算するステップが、
複数の上記エッジ値から上記列ベクトルに関する平均値を求めるステップと、
上記列ベクトル中の上記エッジ値のそれぞれから上記平均値を引き算し、上記列ベクトルの上記ＡＣ成分を生成するステップと、
上記列ベクトルに関する上記パワー値を、上記列ベクトルの上記ＡＣ成分に関する値の２乗の和（合計）として生成するステップと
を有している。

【0017】

本発明の概念７は、上記概念６による方法であって、上記Ｉ及びＱ成分のパワー値を計算するステップが、
上記列ベクトルの上記ＡＣ成分をブロック・サイズ及び所定周波数に応じてダウン・コンバートし、上記所定周波数のそれぞれに関するＩ及びＱ成分を生成するステップと、
上記Ｉ及びＱ成分に関する値の２乗の和として、上記Ｉ及びＱ成分のそれぞれに関する上記パワー値を生成するステップと、
上記所定周波数のそれぞれに関する上記Ｉ及びＱ成分を加算して、上記所定周波数のそれぞれに関する上記パワー値を生成するステップと
を有している。

【0018】

本発明の概念８は、上記概念１による方法であって、上記合成するステップが、
上記列ベクトル及び上記所定周波数のそれぞれに関する上記パワー値を無次元量に変換するステップと、
上記所定周波数に関する上記無次元量のそれぞれから、上記列ベクトルに関する上記無次元量を引き算し、上記所定周波数のそれぞれに関するタイリング又はブロックノイズ値を生成するステップと
を有している。

【0019】

本発明の概念９は、画像中のタイリング又はブロックノイズを検出する装置であって、
上記画像に関する複数のエッジ値からなる列ベクトルを生成する手段と、
上記列ベクトルから、該列ベクトルのパワー値と、複数の所定周波数からなるグループそれぞれに関するパワー値とを決定する手段と、
上記パワー値を合成し、上記所定周波数のそれぞれに関するタイリング又はブロックノイズ値を生成する手段と
を具えている。

【0020】

本発明の概念１０は、上記概念９による装置であって、上記生成する手段が、
上記画像の水平ラインのそれぞれに沿ってエッジの値を増加させ、増加した値を有するエッジ画素を生成する手段と、
上記水平ラインのそれぞれに関する画素の和を生成するために、上記水平ラインのそれぞれに沿って上記エッジ画素を加算する手段とを有し、このとき、上記水平ラインの全てについての複数の上記画素の和が、上記列ベクトルの複数の上記エッジ値を形成している。

【0021】

本発明の概念１１は、上記概念１０による装置であって、上記生成する手段が、上記加算する手段に入力する前に、上記増加した値を、上記エッジ画素に関する増加した値の絶対値に変換する手段を更に有している。

【0022】

本発明の概念１２は、上記概念１１による装置であって、上記生成する手段が、ダイナミック・レンジを減らすために、上記加算する手段の前に、上記増加した値の絶対値をクリップする（clip：切り詰める）手段を更に有している。

【0023】

本発明の概念１３は、上記概念９による装置であって、上記決定する手段が、
上記列ベクトルのＡＣ成分から上記パワー値を計算する手段と、
上記所定周波数のそれぞれにおいて上記列ベクトルの上記ＡＣ成分のＩ及びＱ成分に関するパワー値を計算する手段と、
上記所定周波数のそれぞれの上記Ｉ及びＱ成分に関する上記パワー値を加算し、上記所定周波数のそれぞれに関する上記パワー値を生成する手段と
を有している。

【0024】

本発明の概念１４は、上記概念１３による装置であって、上記列ベクトルのパワー値を計算する手段が、
複数の上記エッジ値から上記列ベクトルに関する平均値を求める手段と、
上記列ベクトル中の上記エッジ値のそれぞれから上記平均値を引き算し、上記列ベクトルの上記ＡＣ成分を生成する手段と、
上記列ベクトルに関する上記パワー値を、上記列ベクトルの上記ＡＣ成分に関する値の２乗の和として生成する手段と
を有している。

【0025】

本発明の概念１５は、上記概念１４による装置であって、Ｉ及びＱ成分のパワー値を計算する手段が、
上記列ベクトルの上記ＡＣ成分をブロック・サイズ及び所定周波数に応じてダウン・コンバートし、上記所定周波数のそれぞれに関するＩ及びＱ成分を生成する手段と、
上記Ｉ及びＱ成分に関する値の２乗の和として、上記Ｉ及びＱ成分のそれぞれに関する上記パワー値を生成する手段と、
上記所定周波数のそれぞれに関する上記Ｉ及びＱ成分を加算して、上記所定周波数のそれぞれに関する上記パワー値を生成する手段と
を有している。

【0026】

本発明の概念１６は、上記概念９による装置であって、上記合成する手段が、
上記列ベクトル及び上記所定周波数のそれぞれに関する上記パワー値を無次元量に変換する手段と、
上記所定周波数に関する上記無次元量のそれぞれから、上記列ベクトルに関する上記無次元量を引き算し、上記所定周波数のそれぞれに関するタイリング又はブロックノイズ値を生成する手段と
を有している。

【0027】

本発明の概念１７は、画像中のタイリング又はブロックノイズを検出する装置であって、
上記画像を表すデータを入力とし、上記画像に関する複数のエッジ値からなる列ベクトルを出力として供給する列ベクトル生成部と、
上記列ベクトルを入力とし、上記列ベクトル及び該列ベクトル内の所定周波数に関するパワー値を出力として供給するパワー決定部と、
上記列ベクトル及び上記所定周波数に関する上記パワー値を入力とし、上記所定周波数のそれぞれに関するタイリング又はブロックノイズ値を出力として供給する合成部と
を具えている。

【0028】

本発明の概念１８は、上記概念１７による装置であって、上記列ベクトル生成部が、
上記画像を表すデータを入力とし、上記画像の上記水平ラインのそれぞれに沿ってエッジの値を増加させ、増加した値を有するエッジ画素を出力とするエッジ・フィルタと、
上記水平ラインに沿った複数の上記エッジ画素を入力とし、上記水平ラインのそれぞれに関する画素の和を出力とする加算部とを有し、
上記水平ラインの全てについての複数の上記画素の和が、上記列ベクトルの複数の上記エッジ値を形成している。

【0029】

本発明の概念１９は、上記概念１８による装置であって、上記列ベクトル生成部が、上記増加した値を入力とし、上記エッジ画素に関する上記増加した値の絶対値を出力として上記加算部に入力させる絶対値コンバータを有している。

【0030】

本発明の概念２０は、上記概念１９による装置であって、上記列ベクトル発生部は、上記加算部への入力の前に、上記増加した値の絶対値を入力とし、ダイナミック・レンジを低減するために、上記増加した値の絶対値のクリップ値を出力とするクリッパを更に有している。

【0031】

本発明の概念２１は、上記概念１７による装置であって、上記パワー決定部が、
上記列ベクトルのＡＣ成分を入力とし、上記列ベクトルに関する上記パワー値を出力とする第１パワー計算部と、
上記列ベクトルの上記ＡＣ成分を入力とし、上記所定周波数のそれぞれにおける上記列ベクトルのＩ及びＱ成分に関する上記パワー値を出力とする第２パワー計算部と、
上記所定周波数のそれぞれの上記Ｉ及びＱ成分に関する上記パワー値を入力とし、上記所定周波数のそれぞれに関する上記パワー値を出力とする加算部と
を有している。

【0032】

本発明の概念２２は、上記概念２１による装置であって、上記第１パワー計算部が、
上記列ベクトルの複数の上記エッジ値を入力とし、出力として上記エッジ値の平均値を生成するＤＣ決定部と、
上記列ベクトルの複数の上記エッジ値を第１入力とし、上記平均値を第２入力とし、上記エッジ値と上記平均値の差として上記列ベクトルの上記ＡＣ成分を生成して出力とする減算部と、
上記ＡＣ成分を入力とし、上記列ベクトルの上記ＡＣ成分に関する上記エッジ値の２乗の和として上記列ベクトルの上記パワー値を生成して出力とするパワー生成部と
を有している。

【0033】

本発明の概念２３は、上記概念２２による装置であって、上記第２パワー計算部が、
ブロック・サイズ及び上記所定周波数に応じた局部発振周波数と共に上記列ベクトルの上記ＡＣ成分を入力とし、上記所定周波数に関するＩ及びＱ成分を出力とする上記所定周波数それぞれについてのダウン・コンバータと、
上記所定周波数に関する上記Ｉ及びＱ成分を入力とし、上記Ｉ及びＱ成分の値の２乗の和として上記Ｉ及びＱ成分のそれぞれに関する上記パワー値を生成して出力とするパワー生成部と、
上記所定周波数に関する上記Ｉ及びＱ成分を入力とし、上記所定周波数に関する上記パワー値を出力とする上記所定周波数のそれぞれについての合成部と
を有している。

【0034】

本発明の概念２４は、上記概念１７による装置であって、上記合成部が、
上記所定周波数のそれぞれ及び上記列ベクトル用であって、それぞれの上記パワー値を入力とし、無次元値を出力とするコンバータと、
上記所定周波数のそれぞれ用であって、上記列ベクトル及び上記所定周波数に関する上記無次元値を入力とし、上記所定周波数に関するタイリング又はブロックノイズ値を出力とする減算部と
を有している。

【0035】

本発明の目的、効果及び他の新規な点は、以下の詳細な説明を添付の特許請求の範囲及び図面とともに読むことによって明らかとなろう。

【図面の簡単な説明】

【0036】

【図1】図１は、典型的なタイリング又はブロックノイズ・アーティファクトを生成する典型的なテレビジョン配信システムのブロック図である。

【図2】図２は、本発明によるタイリング又はブロックノイズ検出のためのシステムのブロック図である。

【図3】図３は、本発明による複数のエッジ値からなる列ベクトルに関する複数の値のグラフである。

【図4】図４は、本発明による列ベクトルの線形スペクトラム・プロットのグラフである。

【図5】図５は、本発明による列ベクトルの別の線形スペクトラム・プロットのグラフである。

【発明を実施するための形態】

【0037】

ここで説明する方法は、現在デコード化（復号化）された画像に加えて、先にコード化（符号化）／デコード化された画像の両方において、タイリングが画像０，０（オリジナル位置において）を含む一直線上にあるかどうかに関係なく、タイリング又はブロックノイズの障害レベルの検出を提供する。タイリング（８ライン・パターン）又はマクロブロッキング（１６ライン・パターン）によって生成される垂直方向の空間周波数の小さな１セット（１組）であり、高速フーリエ変換（ＦＦＴ）係数に類似するスペクトラム・シグナチャ（Signature：同一性を示す独特の特徴）を見つけるため、ベースバンド・ビデオ信号の各フレームに関する画像中の水平方向に沿った複数のエッジの絶対値を表す１次元列ベクトルが生成される。また、この方法は、以前のコード化（プリ・コード化）によるタイリング又はマクロブロッキングを別途示すために、１０８０ｉ又は１０８０ｐから７２０ｐフォーマットへの典型的な画像のリサイズ処理及びその逆方向のフォーマットのリサイズ処理が原因の２／３及び３／２周波数成分も見つける。

【0038】

ここで図２を参照すると、ＭＰＥＧ２信号のような圧縮ビデオ信号からデコードされた輝度（Ｙ）２次元画像成分のようなデコードされたベースバンド・ビデオ成分が、エッジ検出部１２に入力され、各水平ラインに沿った垂直エッジの値を増加させる。エッジ検出部１２から得られる画素についての絶対値は、オプションでクリッパ（clipper）１４に入力され、値に制限を設ける、即ち、ダイナミック・レンジを減少させ、続いて、加算部１６に入力されて、１次元（１Ｄ）列ベクトルＣＶ（ｎ）が生成され、これのＤＣ成分を除去したものが図３に表されている。従って、１０８０ｉ又は１０８０ｐ画像フレームについては、その１Ｄ列ベクトル中に１０８０個の値があり、各水平ラインに関する合計値は、つまるところ、ｎ＝０．．．，Ｎ−１である。典型的なエッジ検出部１２は、次の２Ｄフィルタ・カーネルがある。

【0039】

【数1】

【0040】

クリッパ１４は、もし利用した場合には、８ビット画像について、クリップ・レベルＣＬ＝３０を有するとしても良い。列ベクトルＣＶは、ＤＣ成分を除去する平均（Mean）除去部１８で処理するようにしても良い。つまり、ＣＶ（ｎ）−Mean（ＣＶ）、このとき、Mean（ＣＶ）＝（１／Ｎ）*ｓｕｍ（ＣＶ（ｎ））である。

【0041】

平均除去部１８から得られるＣＶは、単純スペクトラム評価部２０に入力され、これは、タイリング又はブロックノイズ係数８又は１６、若しくはリサイズ係数２／３又は３／２に対応する列ベクトル値の周波数成分を検出する。図２は、実例として、オリジナル位置のタイリング又はブロックノイズと、２／３のリサイズしているブロックノイズとを検出するスペクトラム評価部２０のみを示している。周期Ｂ及び２／３Ｂの複数の局部発振器が、複素サイン及びコサイン信号を生成するのに利用される。

【0042】

【数2】

【0043】

これらは、それぞれ対応する乗算部２２、２４、２６、２８に入力され、列ベクトルＣＶをベースバンドの実部及び虚部へとダウン・コンバートする。オリジナル位置の乗算部２２、２４からの出力は、それぞれ対応する２乗加算部３０、３２に入力され、和（合計）の２乗が生成される。

【0044】

【数3】

【0045】

同様に、プリ・コード化乗算部２６、２８からの出力は、それぞれ対応する２乗加算部３４、３６に入力され、和の２乗が生成される。

【0046】

【数4】

【0047】

Ｐｑ、Ｐｉ及びＰ’ｑ、Ｐ’ｉは、各ダウン・コンバート処理におけるベースバンド・パワーを表す。また、列ベクトルＣＶは、２乗加算部３８にも入力され、２乗の和が生成される。

【0048】

【数5】

【0049】

これは、列ベクトルのパワーの和（合計）を表す。

【0050】

和の２乗Ｐｑ、Ｐｉ及びＰ’ｑ、Ｐ’ｉのそれぞれは、それぞれに対応する加算部４２、４４に入力されるが、これらは、プロセッサ上で動作しているソフトウェア・アプリケーション４０の一部分としても良く、出力信号は対数値に変換される。これは、出力Ｐｃｖも同様である。フレーム当たりのオリジナル位置のタイリング値が、オリジナル位置の加算部４２に関する対数値と、Ｐｃｖに関する対数値とを入力とする減算部４６で生成される一方、フレーム当たりのプリ・コード化タイリング値が、プリ・コード化加算部４４に関する対数値と、Ｐｃｖに関する対数値とを入力とする減算部４８で生成される。オリジナル位置のタイリング値は、次に示すように表すことができる。

【0051】

【数6】

【0052】

そして、プリ・コード化タイリング値は、次のように表すことができる。

【0053】

【数7】

【0054】

これらの結果は、次元のない（無次元の）対数形式のパワー比率である。

【0055】

図４は、１０８０ライン画像から得られた１つの列ベクトルに関する水平エッジ・パワーの線形スペクトラム・プロットである。ｘ軸は、垂直空間周波数、簡単のため、画像の高さ当たりのサイクルを単位とする周波数である。例えば、１０８０ラインの画像における８ライン繰り返しパターンは、１０８０／８の周波数を生成し、これは、画像の高さ当たり１３５サイクルである。マーカFmb及びFmb２が、オリジリナル位置の周波数及びプリ・コード化周波数のそれぞれに関して示されている。この例では、オリジリナル位置の周波数においてのみスパイクがあって、８×８のオリジナル位置タイリング・ブロック上のタイリングを示すと共に、更に高い周波数には基本的にタイリングがないことを示している。

【0056】

図５は、別の７２０ライン画像に関する同様な線形スペクトラム・プロットであるが、ここでは、Fmb２の７２０／５.３３３、つまり、１３５サイクル／高さにおいて、かなり大きなスパイクがあり、２／３（８×８）、つまり５.３３３ラインにおいて、プリ・コード化ブロッキングが原因のタイリングの可能性を示している。７２０／１０.６６７、つまり、６７.５サイクル／高さにおいて、更に大きくさえあるスパイクがあり、プリ・コード化ブロッキングが原因の２／３（１６×１６）、つまり、１０.６６７ラインにおけるタイリングを示している。Fmb２におけるスパイクは、６７.５サイクル／高さにおけるスパイクの２次高調波であり、両方のスパイクは、
１６×１６グリッド上のプリ・コード化タイリング・アーティファクトによって作られたものであり、これは元々は１０８０ライン画像中にあったものが７２０ラインにリサイズされて、２／３（１６）、つまり、１０.６６７ライン毎に繰り返すエッジ・パターンを生成したものである。従って、どのようなプリ・コード化１６×１６タイリング・エッジも、高調波の大きなものを有するので、７２０ラインに変換された１０８０ライン画像上のプリ・コード化された１６×１６タイリング又は８×８タイリングのどちらも、Fmb２におけるスパイクによって検出可能である。小さなスパイクがFmbにおいて見られるが、相対的に小さな量のオリジナル位置の８×８タイリングを示しているに過ぎない。

【0057】

特定の周波数のみに関心があるので、スペクトラム・パワー・シグナチャを生成するためにＦＦＴを使用する必要はない。従って、本発明は、示したように、リアルタイムで動作する。大きさのみ測定するので、タイリングの結果は位相とは関係が無い、つまり、垂直シフトとは関係がない。同様に、本発明は、水平方向のサイズ変更や水平方向のクロッピングとも関係がない。上述の説明では、各水平ラインに沿ったエッジ値を表す１Ｄ列ベクトルを生成しているが、同じプロセスを適用して、画像フレーム内における画素の各垂直列に関する１Ｄ列ベクトルを生成しても良い。更に、フレームを画像の高さに沿ってセグメントに分割し、各セグメントについて別々にタイリング値を生成するようにしても良い。特定の値を超えることが示された周波数におけるスペクトラム・パワー・シグナチャの振幅は、その所定周波数と共にタイリング又はブロックノイズとして報告されるようにしても良く、このとき、この特定の値は、経験に基づいて、目に見えるアーティファクトが視聴者の目を引き始めるレベルとして定めても良い。

【0058】

このように、本発明は、画像の全域に渡って複数のエッジ値からなる１次元列ベクトルを生成し、その１Ｄ列ベクトルに関する複数の所定周波数におけるパワーを決定し、各所定周波数におけるパワーから列ベクトル・パワーを引き算して、各所定周波数に関する無次元の値へと変換されたタイリング又はブロックノイズ値を生成することによって、スペクトラム・パワー・シグナチャに基づくタイリング又はブロックノイズ検出を提供する。

【符号の説明】

【0059】

１２ エッジ検出部
１４ クリッパ
１６ 加算部
１８ 平均除去部
２０ スペクトラム評価部
２２ 乗算部
２４ 乗算部
２６ 乗算部
２８ 乗算部
３０ ２乗加算部
３２ ２乗加算部
３４ ２乗加算部
３６ ２乗加算部
３８ ２乗加算部
４０ ソフトウェア・アプリケーション
４２ 加算部
４４ 加算部
４６ 減算部
４８ 減算部

【図1】

【図2】

【図3】

【図4】

【図5】