特許 7270999 画像処理装置、画像処理方法および画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-04-28

(45)【発行日】2023-05-11

(54)【発明の名称】画像処理装置、画像処理方法および画像処理プログラム

(51)【国際特許分類】

   G06T 7/246 20170101AFI20230501BHJP

【ＦＩ】

G06T7/246

【請求項の数】 11

(21)【出願番号】P 2021092308

(22)【出願日】2021-06-01

(65)【公開番号】P2022184450

(43)【公開日】2022-12-13

【審査請求日】2022-03-03

【新規性喪失の例外の表示】特許法第３０条第２項適用 令和３年２月８日開催 筑波大学情報学群 情報メディア創成学類 卒業研究最終発表会（ＷＥＢ会議）

(73)【特許権者】

【識別番号】398034168

【氏名又は名称】株式会社アクセル

(74)【代理人】

【識別番号】110000279

【氏名又は名称】弁理士法人ウィルフォート国際特許事務所

(72)【発明者】

【氏名】小島 悠貴

(72)【発明者】

【氏名】林 慶悟

【審査官】佐藤 実

(56)【参考文献】

【文献】特開２０１９－０７０９７４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

(57)【特許請求の範囲】

【請求項1】

符号化の対象である対象画像に含まれる対象領域を二値化し、一方の画素値を有する対象領域特定画素を特定し、前記対象領域の予測に用いる参照画像における参照領域の候補となる候補領域を二値化し、前記一方の画素値を有する候補領域特定画素を特定する特定部と、
前記対象領域における前記対象領域特定画素の個数と、前記候補領域における前記候補領域特定画素の個数とに基づいて、前記候補領域を絞り込み、前記対象領域と前記絞り込まれた候補領域との類似度を評価する評価部と、
前記類似度に基づいて、前記絞り込まれた候補領域の中から前記参照領域を決定する決定部と、
を有する画像処理装置。

【請求項2】

符号化の対象である対象画像に含まれる対象領域を二値化し、一方の画素値を有する対象領域特定画素を特定し、前記対象領域の予測に用いる参照画像における参照領域の候補となる候補領域を二値化し、前記一方の画素値を有する候補領域特定画素を特定する特定部と、
前記対象領域における前記対象領域特定画素の重心位置の原点からの距離と、前記候補領域における前記候補領域特定画素の重心位置の原点からの距離とに基づいて、前記候補領域を絞り込み、前記対象領域と前記絞り込まれた候補領域との類似度を評価する評価部と、
前記類似度に基づいて、前記絞り込まれた候補領域の中から前記参照領域を決定する決定部と、
を有する画像処理装置。

【請求項3】

前記原点は、前記対象領域または前記候補領域に内接する円または楕円の中心である、
請求項２に記載の画像処理装置。

【請求項4】

前記特定部は、前記対象領域における画素値の平均値を二値化の閾値とする、
請求項１から３のいずれか一つに記載の画像処理装置。

【請求項5】

符号化対象である対象画像に含まれる対象領域を二値化し、一方の画素値を有する対象領域特定画素を特定し、
前記対象領域の予測に用いる参照画像における参照領域の候補となる候補領域を二値化し、前記一方の画素値を有する候補領域特定画素を特定し、
前記対象領域における前記対象領域特定画素の個数と、前記候補領域における前記候補領域特定画素の個数とに基づいて、前記候補領域を絞り込み、
前記対象領域と前記絞り込まれた候補領域との類似度を評価し、
前記類似度に基づいて、前記絞り込まれた候補領域の中から前記参照領域を決定する、
処理をコンピュータが実行する画像処理方法。

【請求項6】

符号化の対象である対象画像に含まれる対象領域を二値化し、一方の画素値を有する対象領域特定画素を特定し、
前記対象領域の予測に用いる参照画像における参照領域の候補となる候補領域を二値化し、前記一方の画素値を有する候補領域特定画素を特定し、
前記対象領域における前記対象領域特定画素の重心位置の原点からの距離と、前記候補領域における前記候補領域特定画素の重心位置の原点からの距離とに基づいて、前記候補領域を絞り込み、
前記対象領域と前記絞り込まれた候補領域との類似度を評価し、
前記類似度に基づいて、前記絞り込まれた候補領域の中から前記参照領域を決定する、
処理をコンピュータが実行する画像処理方法。

【請求項7】

符号化の対象である対象画像に含まれる対象領域を二値化し、一方の画素値を有する対象領域特定画素を特定し、
前記対象領域の予測に用いる参照画像における参照領域の候補となる候補領域を二値化し、前記一方の画素値を有する候補領域特定画素を特定し、
前記対象領域における前記対象領域特定画素の個数と、前記候補領域における前記候補領域特定画素の個数とに基づいて、前記候補領域を絞り込み、
前記対象領域と前記絞り込まれた候補領域との類似度を評価し、
前記類似度に基づいて、前記絞り込まれた候補領域の中から前記参照領域を決定する、
処理をコンピュータに実行させるための画像処理プログラム。

【請求項8】

符号化の対象である対象画像に含まれる対象領域を二値化し、一方の画素値を有する対象領域特定画素を特定し、
前記対象領域の予測に用いる参照画像における参照領域の候補となる候補領域を二値化し、前記一方の画素値を有する候補領域特定画素を特定し、
前記対象領域における前記対象領域特定画素の重心位置の原点からの距離と、前記候補領域における前記候補領域特定画素の重心位置の原点からの距離とに基づいて、前記候補領域を絞り込み、
前記対象領域と前記絞り込まれた候補領域との類似度を評価し、
前記類似度に基づいて、前記絞り込まれた候補領域の中から前記参照領域を決定する、
処理をコンピュータに実行させるための画像処理プログラム。

【請求項9】

符号化の対象である対象画像に含まれる対象領域を特定し、前記対象領域の予測に用いる参照画像における参照領域の候補となる候補領域を特定する特定部と、
前記対象領域および前記候補領域について、各画素を該画素の画素値で重み付けして重心を決定し、所定の原点から前記重心までの距離を評価指標として算出し、前記対象領域の評価指標の値と前記候補領域の評価指標の値とに基づいて、前記候補領域を絞り込み、前記対象領域と前記絞り込まれた候補領域との類似度を評価する評価部と、
前記類似度に基づいて、前記絞り込まれた候補領域の中から前記参照領域を決定する決定部と、
を有する画像処理装置。

【請求項10】

符号化の対象である対象画像に含まれる対象領域を特定し、
前記対象領域の予測に用いる参照画像における参照領域の候補となる候補領域を特定し、
前記対象領域および前記候補領域について、各画素を該画素の画素値で重み付けして重心を決定し、所定の原点から前記重心までの距離を評価指標として算出し、
前記対象領域の評価指標の値と前記候補領域の評価指標の値とに基づいて、前記候補領域を絞り込み、
前記対象領域と前記絞り込まれた候補領域との類似度を評価し、
前記類似度に基づいて、前記絞り込まれた候補領域の中から前記参照領域を決定する、処理をコンピュータが実行する画像処理方法。

【請求項11】

符号化の対象である対象画像に含まれる対象領域を特定し、
前記対象領域の予測に用いる参照画像における参照領域の候補となる候補領域を特定し、
前記対象領域および前記候補領域について、各画素を該画素の画素値で重み付けして重心を決定し、所定の原点から前記重心までの距離を評価指標として算出し、
前記対象領域の評価指標の値と前記候補領域の評価指標の値とに基づいて、前記候補領域を絞り込み、
前記対象領域と前記絞り込まれた候補領域との類似度を評価し、
前記類似度に基づいて、前記絞り込まれた候補領域の中から前記参照領域を決定する、処理をコンピュータに実行させるための画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は画像処理技術に関する。

【背景技術】

【0002】

動画像を圧縮する重要な技術の一つとしてフレーム間予測符号化がある。フレーム間予測符号化では、符号化するフレーム（以下「対象フレーム」ともいう）とは異なる時刻の符号化処理済のフレーム（以下「参照フレーム」ともいう）を基に対象フレームの画像を予測し、対象フレームの実際の画像と予測した画像の差分を符号化する。対象フレームと符号化処理済である参照フレームとの差分を符号化することによりフレームのデータ量を削減することができる。

【0003】

フレーム間予測符号化では、フレームを複数に分割した領域を単位として以下の（１）～（３）の処理が行われる。
（１）対象フレームを分割した領域（以下「対象領域」ともいう）に類似する領域（以下「参照領域」という）を参照フレーム内から画像マッチング技術を用いて探索する。
（２）対象領域と探索で得られた参照領域との差分を表す差分画像を求める。
（３）探索で得られた参照領域から対象領域への動きを示す動きベクトルを求める。

【0004】

このようにして圧縮された動画像のフレームを復号するとき、参照領域と差分画像と動きベクトルから対象領域の画像を復元することができる。

【0005】

上述のフレーム間予測符号化では、対象領域と参照領域の差分を小さくすればデータ量が低減できる。そのため、（１）の過程において、対象領域の画像を復元するのに適した参照領域を探索することが求められる。

【0006】

参照領域を探索する一般的な方法としては、参照フレームにおける参照領域の候補となる位置のバリエーション毎に、対象領域と参照領域の候補とでブロック内の多数の画素の画素値を比較することが行われる。しかし、この方法には、計算量が膨大となり処理負荷が大きいという問題がある。

【0007】

特許文献１には、最終的なブロックマッチングの前に予め参照領域の候補を絞り込む技術が開示されている。特許文献１の技術は、解像度変換画像と二値化画像を用いて探索範囲を限定することにより、必要なメモリ容量を削減しつつ効率的な動画像符号化を可能にするというものである。

【先行技術文献】

【特許文献】

【0008】

【文献】特開２００８－２５８７６９号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

特許文献１の技術は、二値化画像同士の相関の強さを探索範囲の絞り込みに用いる。具体的には、二値化画像同士の画素ごとの差分をとり、その差分の絶対値を積算してＭＡＥ値を算出し、そのＭＡＥ値を絞り込みの判定に用いる。

【0010】

その際、実際には画像同士が類似していてもそれらの画像が相対的に回転していると、画素ごとの差分は大きな値となる。その結果、ＭＡＥ値が大きくなり、相関が弱く算出されてしまう。

【0011】

本開示のひとつの目的は、対象領域の符号化に用いる参照領域を探索する過程において、参照領域の候補の適切な絞り込みを可能にする技術を提供することである。

【課題を解決するための手段】

【0012】

本開示のひとつの態様による画像処理装置は、符号化の対象である対象画像に含まれる対象領域を二値化し、一方の画素値を有する対象領域特定画素を特定し、前記対象領域の予測に用いる参照画像における参照領域の候補となる候補領域を二値化し、前記一方の画素値を有する候補領域特定画素を特定する特定部と、前記対象領域特定画素に基づいて算出されるスカラーの評価指標の値と、前記候補領域特定画素に基づいて算出される前記評価指標の値とに基づいて、前記候補領域を絞り込み、前記対象領域と前記絞り込まれた候補領域との類似度を評価する評価部と、前記類似度に基づいて、前記絞り込まれた候補領域の中から前記参照領域を決定する決定部と、を有する。

【0013】

本開示の他の態様による画像処理装置は、符号化の対象である対象画像に含まれる対象領域を特定し、前記対象領域の予測に用いる参照画像における参照領域の候補となる候補領域を特定する特定部と、前記対象領域の各画素の画素値に基づいて算出されるスカラーの評価指標の値と、前記候補領域の各画素の画素値に基づいて算出される前記評価指標の値とに基づいて、前記候補領域を絞り込み、前記対象領域と前記絞り込まれた候補領域との類似度を評価する評価部と、前記類似度に基づいて、前記絞り込まれた候補領域の中から前記参照領域を決定する決定部と、を有する。

【発明の効果】

【0014】

本開示の上記態様によれば、対象領域の符号化に用いる参照領域を探索する過程において、参照領域の候補の適切な絞り込みが可能になる。

【図面の簡単な説明】

【0015】

【図1】画像処理装置の機能構成を示すブロック図である。

【図2】画像処理装置のハードウェア構成を示すブロック図である。

【図3】画像処理装置による全体処理のフローチャートである。

【図4】対象画像の一例を示す図である。

【図5】参照画像の一例を示す図である。

【図6】対象領域を二値化した二値化画像の一例を示す図である。

【図7】候補領域を二値化した二値化画像の一例を示す図である。

【図8】対象領域１１０の画素構成および内接円を示す図である。

【発明を実施するための形態】

【0016】

以下、本発明の実施形態について図面を参照して説明する。

【0017】

本実施形態では、画像処理装置の一例として画像の差分符号化を行う画像符号化装置を例示する。差分符号化は、符号化の対象となる静止画フレームの画像（対象画像）と、符号化に利用する静止画フレームの画像（参照画像）から予測した画像（予測画像）との差分を符号化する符号化方式である。例えば、対象画像は、動画像において符号化の対象となっている静止画フレームの画像であり、参照画像は、動画像において既に符号化された前フレームの画像である。

【0018】

参照画像から対象画像にできるだけ近い予測画像を生成すれば、対象画像と予測画像との差分が小さくなり、その結果、符号化後のデータ量を小さくすることができる。例えば、対象画像に限りなく近い予測画像が得られれば差分がほとんどなくなり、符号化後のデータ量は小さくなる。逆に、予測が不能であれば、例えば、対象画像と参照画像との差分をそのまま符号化し、符号化後のデータ量が大きくなる。

【0019】

図１は、画像処理装置の機能構成を示すブロック図である。図２は、画像処理装置のハードウェア構成を示すブロック図である。

【0020】

図１を参照すると、画像処理装置１は、制御部１０と、記憶部２０とを備える。記憶部２０には、フレーム情報２１と、差分符号情報２２とが格納される。フレーム情報２１は、動画を構成する各フレームの画像データである。差分符号情報２２は、差分符号化により符号化された各フレームの画像データである。

【0021】

制御部１０は、記憶部２０に格納されたフレーム情報２１を用いてフレームの画像を符号化し、符号化後の画像データを差分符号情報２２として記憶部２０に記録する。

【0022】

図２を参照すると、画像処理装置１のハードウェアは一例としてコンピュータ装置４００である。コンピュータ装置４００は、制御回路４０１と、記憶装置４０２と、読書装置４０３と、記録媒体４０４と、通信インターフェイス４０５と、入出力インターフェイス４０６と、入力装置４０７と、表示装置４０８とを有している。制御回路４０１、記憶装置４０２、読書装置４０３、通信インターフェイス４０５、入出力インターフェイス４０６、および表示装置４０８はバス４１０により互いに接続される。記録媒体４０４は読書装置４０３に接続される。入力装置４０７は入出力インターフェイス４０６に接続される。また通信インターフェイス４０５はネットワーク４０９と接続される。

【0023】

制御回路４０１は、コンピュータ装置４００全体を制御する。制御回路４０１は一例としてプロセッサである。制御回路４０１は、記憶装置４０２に記録された不図示の画像処理プログラムを実行することにより、図１に示した制御部１０として動作する。

【0024】

記憶装置４０２は、制御回路４０１を制御部１０として機能させる画像処理プログラムを記憶する。また、記憶装置４０２は、制御回路４０１が動作するための各種データを記憶する。また、記憶装置４０２は、図１における記憶部２０として機能する。

【0025】

読書装置４０３は、着脱可能な記録媒体４０４からデータを読み出し、また記録媒体４０４へデータを書き込む。

【0026】

記録媒体４０４は、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリーカード、ＦＤ（Ｆｌｏｐｐｙ Ｄｉｓｋ）、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ＢＤ（Ｂｌｕ－ｒａｙ Ｄｉｓｋ：登録商標）、およびフラッシュメモリなどの非一時的記録媒体である。記録媒体４０４は、例えば、コンピュータ装置４００に与えるデータ、コンピュータ装置４００で生成されたデータ、およびコンピュータ装置４００で取得されたデータを格納する。また、記録媒体４０４は、図１に示した記憶部２０内の情報を記憶してもよい。

【0027】

通信インターフェイス４０５は、ネットワーク４０９を介してコンピュータ装置４００と不図示の他の装置とを通信可能に接続する。

【0028】

入出力インターフェイス４０６は、入力装置４０７等の各種入出力装置と接続するインターフェイスである。入出力インターフェイス４０６は、入力装置４０７から入力された信号を、バス４１０を介して制御回路４０１に出力する。また、入出力インターフェイス４０６は、制御回路４０１から出力された信号を、バス４１０を介して入出力装置に出力する。入力装置４０７は入出力装置の例である。

【0029】

入力装置４０７は、キーボード、マウス等の入力装置である。入力装置４０７は、ユーザによる情報の入力操作を受け付け、入力された情報に対応する信号を入出力インターフェイス４０６に出力する。例えば、ユーザが入力装置４０７に映像の差分符号化の開始の指示を入力すると、入力装置４０７は指示を示す信号を入出力インターフェイス４０６に出力する。

【0030】

表示装置４０８は、制御回路４０１からの制御により各種情報を画面に表示する。

【0031】

ネットワーク４０９は、コンピュータ装置４００と他の装置を通信可能に接続する。

【0032】

以下、図１の制御部１０の詳細について説明する。

【0033】

図１を参照すると、制御部１０は、参照領域決定部１１と、拡縮率算出部１５と、予測画像生成部１６と、差分符号化部１７とを含む。

【0034】

参照領域決定部１１は、記憶部２０のフレーム情報２１から符号化対象である対象画像の画像データを取得し、対象画像内にあるブロック領域（対象領域）の符号化に利用する参照画像における対象領域に類似する領域を参照領域として決定する。類似するというのは、類似の程度を示す指標の値が大きいことをいう。以下、類似の程度を示す指標を類似度ともいう。画像同士の類似度の評価方法は特に限定されないが、例えば画素値の二乗誤差和などで評価することができる。例えば、対象領域との類似度が所定の閾値を超える領域を参照領域としてもよい。あるいは対象領域との類似度が参照画像における他の領域と比べて高い領域を参照領域としてもよい。

【0035】

本実施形態では、参照領域を決定するとき、参照領域決定部１１は、参照画像内で参照領域の候補となる領域（候補領域）を順次スライドしながら、総当たりで候補領域と対象領域との類似度を算出するのではなく、予め候補領域を絞り込むことにより候補領域の個数を削減し、絞り込まれた候補領域と対象領域との類似度を算出する。

【0036】

参照領域決定部１１が候補領域を絞り込む処理の詳細は後述する。

【0037】

拡縮率算出部１５は、対象領域の参照領域に対する拡大または縮小の比率を決定する。拡大または縮小の比率を算出する方法は特に限定されない。例えば、対象領域内の複数のサブ対象領域と、各サブ対象領域に対応する参照領域内の複数のサブ参照領域との相対的な位置関係に基づく複数のベクトルを主成分分析することにより得られる主成分の固有値に基づいて、対象領域の参照領域に対する拡大または縮小の比率を決定することができる。

【0038】

予測画像生成部１６は、参照領域を拡縮率算出部１５により決定された比率で拡大または縮小した画像を用いて、参照画像から対象画像を予測した予測画像を生成する。予測画像を生成するにあたってはデコーダで再現される限り回転や拡縮を行っても構わない。予測差分は量子化などの歪みを伴っても構わない。

【0039】

差分符号化部１７は、予測画像生成部１６で生成された予測画像と対象画像との差分を符号化する。差分を符号化した符号データは記憶部２０に差分符号情報２２として記録される。

【0040】

なお、参照領域決定部１１は、参照画像内の互いに重複可能な複数の領域を候補領域とし、候補領域を所定の回転角度だけ回転させた回転候補領域と、対象領域との類似度を算出し、類似度に基づいて、複数の候補領域の中から参照領域を決定することにしてもよい。参照画像内の領域を回転させた領域と対象領域との類似度を用いて参照領域を探索するので、良好な参照領域を決定することができ、その結果、良好な差分符号化をすることができる。このとき、例えば、複数の回転角度を予め定めておき、それぞれの絞り込まれた候補領域について各回転角度だけ回転させた回転候補領域を作成し、それら複数の回転候補領域と対象領域との類似度を総当たりで算出し、最も類似度の高い回転候補領域の元の候補領域を参照領域とすることにしてもよい。また、このときの回転候補領域の回転角度が、対象領域と参照領域の相対的な回転角度であると言える。

【0041】

図３は、画像処理装置による全体処理のフローチャートである。

【0042】

図３を参照すると、まず、ステップＳ１０１にて、参照領域決定部１１は、対象画像内の対象領域に類似する参照画像内の領域を参照領域として決定する。

【0043】

図４は対象画像の一例を示す図である。図５は参照画像の一例を示す図である。ここでは、図４に示した対象画像１００内の対象領域１１０と、参照画像２００内の候補領域との類似度を算出し、類似度が最も高かった候補画像が、図５に示した参照領域２１０として決定されている。本例では、対象領域１１０と参照領域２１０との間には相対的な回転がある。

【0044】

図３を参照すると、ステップＳ１０１にはステップＳ１０２～１０４が含まれている。図１を参照すると、参照領域決定部１１は、特定部１２、評価部１３、および決定部１４を有する。特定部１２がステップＳ１０２の処理を実行し、評価部１３がステップＳ１０３の処理を実行し、決定部１４がステップＳ１０４の処理を実行する。

【0045】

ステップＳ１０２にて、特定部１２は、対象画像１００に含まれる対象領域１１０を二値化し、一方の画素値を有する対象領域特定画素を特定する。

【0046】

その際、特定部１２は、まず、対象領域１１０に含まれる画素の画素値の平均値を算出し、二値化閾値とする。

【0047】

更に、特定部１２は、対象領域１１０の各画素の画素値を二値化閾値と比較し、二値化閾値以上の画素値を有する画素を対象領域特定画素として特定する。なお、ここでは二値化閾値以上の画素値を有する画素を対象領域特定画素としたが、逆に、二値化閾値以下の画素値を有する画素を対象領域特定画素としてもよい。

【0048】

図６は、対象領域を二値化した二値化画像の一例を示す図である。対象領域１１０において、実線の円は画素値が二値化閾値以上である画素を示し、破線の円は画素値が二値化閾値より小さい画素を示している。

【0049】

更に、特定部１２は、対象領域１１０の予測に用いる参照画像２００における参照領域２１０の候補となる候補領域を二値化し、一方の画素値を有する候補領域特定画素を特定する。

【0050】

その際、特定部１２は、候補領域を二値化するのに、対象領域１１０にて対象領域特定画素を特定するときに用いた二値化閾値を用いる。

【0051】

更に、特定部１２は、候補領域の各画素の画素値を二値化閾値と比較し、二値化閾値以上の画素値を有する画素を候補領域特定画素として特定する。なお、ここでは二値化閾値以上の画素値を有する画素を候補領域特定画素としたが、逆に、二値化閾値以下の画素値を有する画素を候補領域特定画素としてもよい。

【0052】

図７は、候補領域を二値化した二値化画像の一例を示す図である。候補領域２１１において、実線の円は画素値が二値化閾値以上である画素を示し、破線の円は画素値が二値化閾値より小さい画素を示している。

【0053】

図３に戻り、ステップＳ１０３にて、評価部１３は、対象領域１１０における対象領域特定画素に基づいて算出されるスカラーの評価指標の値と、候補領域２１１における候補領域特定画素に基づいて算出される評価指標の値とに基づいて、候補領域を絞り込み、対象領域とその絞り込まれた候補領域との類似度を算出する。

【0054】

具体的には、評価部１３は、まず対象領域１１０について評価指標の値を算出する。そして、評価部１３は、複数の候補領域２１１について順次、処理を行う。すなわち、評価部１３は、複数の候補領域２１１をスライドさせながら当該候補領域２１１の評価指標を算出し、対象領域１１０の評価指標と当該候補領域２１１の評価指標に基づき、当該候補領域２１１について対象領域１１０との類似度を算出する必要があるか否か判定する。評価部１３は、必要がないと判定すれば当該候補領域２１１の処理を打ち切って次の候補領域２１１の評価に移行し、必要があると判定すれば当該候補領域２１１と対象領域１１０との類似度を算出してから次の候補領域２１１の評価に移行する。

【0055】

ここでは、評価部１３は、評価指標（特徴量）として、特定画素の個数と、特定画素の重心を示す重心ベクトルの長さとを用いるものとする。

【0056】

重心ベクトルは、対象領域１１０あるいは候補領域２１１の二値化画像の重心を示すベクトルである。二値化画像の重心は、特定画素に同一の重み付けをして算出される重心である。重心ベクトルは、所定の原点から重心に向かうベクトルである。図６および図７において、矢印が重心ベクトルを示し、矢印の後端が原点であり、矢印の先端が重心である。本実施形態では、対象領域１１０あるいは候補領域２１１に内接する円または楕円の中心を原点としている。

【0057】

ここでは、対象領域特定画素の個数を＃ｐとし、候補領域特定画素の個数を＃ｑとする。また、対象領域１１０の二値化画像の重心ベクトルの長さをδとし、候補領域２１１の二値化画像の重心ベクトルの長さをδ’とする。

【0058】

そして、評価部１３は、第１判定指標として、対象領域特定画素の個数と候補領域特定画素の個数の差すなわち｜＃ｐ－＃ｑ｜を算出する。また、評価部１３は、第２判定指標として、対象領域１１０の二値化画像の重心ベクトルの長さと候補領域２１１の二値化画像の重心ベクトルの長さとの差、すなわち｜｜δ｜－｜δ’｜｜を算出する。

【0059】

更に、評価部１３は、第１判定指標および第２判定指標をそれぞれの絞り込み閾値と比較し、第１判定指標と第２判定指標のいずれもが閾値以下である候補領域２１１を特定する。これにより、第１判定指標と第２判定指標の少なくとも一方が閾値を超えている候補領域２１１は除外されるので、候補領域２１１が絞り込まれる。

【0060】

更に、評価部１３は、絞り込まれた候補領域２１１について、対象領域１１０との類似度を算出する。対象領域１１０と絞り込まれた候補領域２１１との類似度の評価方法は特に限定されないが、例えば画素値の二乗誤差和などで評価することができる。

【0061】

図３に戻り、ステップＳ１０４にて、決定部１４は、評価部１３により算出された類似度に基づいて、絞り込まれた候補領域２１１の中から参照領域２１０を決定する。

【0062】

例えば、対象領域１１０との類似度が所定の閾値を超える、絞り込まれた候補領域２１１を参照領域２１０としてもよい。あるいは、対象領域１１０との類似度が、絞り込まれた他の候補領域２１１と比べて高い、絞り込まれた候補領域２１１を参照領域２１０としてもよい。参照領域２１０を決定するとき、参照領域決定部１１は、評価部１３により、参照画像２００内で絞り込まれた候補領域２１１について順次、対象領域１１０との類似度を算出し、決定部１４により、対象領域１１０との類似度が高い候補領域２１１を探索する。

【0063】

図３に戻り、ステップＳ１０５にて、拡縮率算出部１５は、対象領域１１０の参照領域２１０に対する拡大または縮小の比率を決定する。続いて、ステップＳ１０６にて、予測画像生成部１６は、参照領域２１０を拡縮率算出部１５により決定された比率で拡大または縮小した画像を用いて、参照画像２００から対象画像１００を予測した予測画像を生成する。続いて、ステップＳ１０７にて、差分符号化部１７は、予測画像生成部１６で生成された予測画像と対象画像１００との差分を符号化する。

【0064】

以上説明したように、本実施形態によれば、対象領域特定画素に基づいて算出される評価指標の値と、候補領域特定画素に基づいて算出される評価指標の値とに基づいて候補領域２１１を絞り込むので、対象領域１１０と候補領域２１１とに相対的な回転があっても候補の適切な絞り込みが可能である。

【0065】

なお、本実施形態では、ステップＳ１０２にて、第１判定指標と第２判定指標の双方が閾値以下である候補領域２１１に絞り込むこととしたが、これに限定されることはない。他の例として、第１判定指標と第２判定指標の少なくとも一方が閾値以下である候補領域２１１に絞り込むことにしてもよい。また、第１判定指標のみを用い、その第１判定指標が閾値以下である候補領域２１１に絞り込むことにしてもよい。また、第２判定指標のみを用い、その第２判定指標が閾値以下である候補領域２１１に絞り込むことにしてもよい。

【0066】

また、本実施形態では、第１判定指標として、対象領域特定画素の個数と候補領域特定画素の個数の差すなわち｜＃ｐ－＃ｑ｜を用いたが、これに限定されることはない。他の例として、第１判定指標を正規化した判定指標、すなわち、｜＃ｐ－＃ｑ｜／Ｎ（Ｎは対象領域１１０あるいは候補領域２１１の総画素数）を用いてもよい。また、更に百分率表現とした判定指標、すなわち、１００×（｜＃ｐ－＃ｑ｜／Ｎ）を用いてもよい。図８は、対象領域１１０の画素構成および内接円を示す図である。図８の例では、総画素数Ｎ＝８×８となっている。

【0067】

また、本実施形態では、第２判定指標として、対象領域１１０の二値化画像の重心ベクトルの長さと候補領域２１１の二値化画像の重心ベクトルの長さとの差、すなわち｜｜δ｜－｜δ’｜｜を用いたが、これに限定されることはない。他の例として、第２判定指標を正規化した判定指標、すなわち、｜｜δ｜－｜δ’｜｜／ｒ（ｒは、対象領域１１０あるいは候補領域２１１の内接円の半径）を用いてもよい。また、更に百分率表現とした判定指標、すなわち、１００×（｜｜δ｜－｜δ’｜｜／ｒ）を用いてもよい。図８の例では、内接円の半径ｒ＝３．５となっている。

【0068】

図８に示した対象領域１１０にて一例を示すと、判定指標として、１００×（｜＃ｐ－＃ｑ｜／Ｎ）と、１００×（｜｜δ｜－｜δ’｜｜／ｒ）とを用い、ある候補領域２１１についてそれら２つの判定指標がいずれも閾値＝２４以下であれば当該候補領域２１１について対象領域１１０との類似度を算出し、２つの判定指標のうちいずれか一方でも閾値＝２４を超えていたら、当該候補領域２１１は対象領域１１０に対する参照領域２１０として相応しくないものとして処理を打ち切って次の候補領域２１１に移行する。なお、個々に示した閾値＝２４は例示であり、言うまでもなく他の値であってもよい。

【0069】

また、本実施形態では、特定部１２が対象領域１１０および候補領域２１１を二値化し、二値化画像の特定画素に基づいて重心ベクトルを求めることとしたが、これに限定されることはない。他の例として、対象領域１１０および候補領域２１１のそのままの画素に基づいて重心ベクトルを求めてもよい。

【0070】

その場合、例えば、特定部１２は、対象画像１００に含まれる対象領域１１０を特定し、対象領域１１０の予測に用いる参照画像２００における参照領域２１０の候補となる候補領域２１１を特定する。評価部１３は、対象領域１１０の各画素の画素値に基づいて算出されるスカラーの評価指標（重心ベクトルの長さ）の値と、候補領域２１１の各画素の画素値に基づいて算出されるその評価指標の値とに基づいて、候補領域２１１を絞り込み、対象領域１１０と絞り込まれた候補領域２１１との類似度を評価する。

【0071】

評価指標は、対象領域１１０の各画素の画素値に基づいて算出される重心ベクトルの長さである。評価部１３は、対象領域１１０および候補領域２１１について、各画素をその画素の画素値で重み付けして重心を決定し、原点から重心に向かうベクトルを重心ベクトルとする。そして、評価部１３は、その重心ベクトルの長さを算出し、評価指標の値とする。

【0072】

そして、決定部１４は、評価部１３により算出された類似度に基づいて、絞り込まれた候補領域２１１の中から参照領域２１０を決定する。

【0073】

上述した実施形態には、以下に示す事項が含まれている。ただし、上述した実施形態に含まれる事項が以下に示すものに限定されることはない。

【0074】

（事項１）
符号化の対象である対象画像に含まれる対象領域を二値化し、一方の画素値を有する対象領域特定画素を特定し、前記対象領域の予測に用いる参照画像における参照領域の候補となる候補領域を二値化し、前記一方の画素値を有する候補領域特定画素を特定する特定部と、
前記対象領域特定画素に基づいて算出されるスカラーの評価指標の値と、前記候補領域特定画素に基づいて算出される前記評価指標の値とに基づいて、前記候補領域を絞り込み、前記対象領域と前記絞り込まれた候補領域との類似度を評価する評価部と、
前記類似度に基づいて、前記絞り込まれた候補領域の中から前記参照領域を決定する決定部と、
を有する画像処理装置。
これによれば、対象領域と候補領域のそれぞれに算出したスカラーの評価指標の値を比較して候補領域を絞り込むので、対象領域と候補領域とに相対的な回転があっても候補の適切な絞り込みが可能である。

【0075】

（事項２）
前記評価部は、前記対象領域における前記対象領域特定画素の個数と、前記候補領域における前記候補領域特定画素の個数とに基づいて、前記候補領域を絞り込む、
事項１に記載の画像処理装置。
これによれば、特定画素の個数により候補領域を絞り込むので、候補領域の適切な絞り込みが可能である。

【0076】

（事項３）
前記評価部は、前記対象領域の総画素数に対する前記対象領域特定画素の個数の割合と、前記候補領域の総画素数に対する前記候補領域特定画素の個数の割合とに基づいて、前記候補領域を絞り込む、
事項１に記載の画像処理装置。
これによれば、対象領域および候補領域における特定画素の割合により候補領域を絞り込むので、候補領域の適切な絞り込みが可能である。

【0077】

（事項４）
前記評価部は、前記対象領域における前記対象領域特定画素の重心位置の原点からの距離と、前記候補領域における前記候補領域特定画素の重心位置の原点からの距離とに基づいて、前記候補領域を絞り込む、
事項１～３のいずれか一項に記載の画像処理装置。
これによれば、対象領域および候補領域における特定画素の重心位置の原点からの距離により候補領域を絞り込むので、候補領域の適切な絞り込みが可能である。

【0078】

（事項５）
前記原点は、前記対象領域または前記候補領域に内接する円または楕円の中心である、
事項４に記載の画像処理装置。
これによれば、最大距離を大きく取ることができるので、類似度の評価の精度が向上する。

【0079】

（事項６）
前記特定部は、前記対象領域における画素値の平均値を二値化の閾値とする、
事項１に記載の画像処理装置。
これによれば、対象領域の画素値の平均値を対象領域と候補領域に共通の二値化の閾値とするので、対象領域と候補領域の特徴の差異を的確に捉えることができ、候補領域の適切な絞り込みが可能となる。例えば、対象領域と候補領域とで画素値の平均値が大きく異なる場合、対象領域の評価指標と候補領域の評価指標とがかけ離れた値となり、そのような候補領域を精度よく容易にブロックマッチングの処理対象から除外することができる。また、候補領域ではなく対象領域の画素値から二値化の閾値を決定するので、対象領域に対する複数の候補領域について共通の閾値により効率的に二値化を行うことができる。

【0080】

（事項７）
符号化の対象である対象画像に含まれる対象領域を二値化し、一方の画素値を有する対象領域特定画素を特定し、
前記対象領域の予測に用いる参照画像における参照領域の候補となる候補領域を二値化し、前記一方の画素値を有する候補領域特定画素を特定し、
前記対象領域特定画素に基づいて算出されるスカラーの評価指標の値と、前記候補領域特定画素に基づいて算出される前記評価指標の値とに基づいて、前記候補領域を絞り込み、
前記対象領域と前記絞り込まれた候補領域との類似度を評価し、
前記類似度に基づいて、前記絞り込まれた候補領域の中から前記参照領域を決定する、
処理をコンピュータが実行する画像処理方法。

【0081】

（事項８）
符号化の対象である対象画像に含まれる対象領域を二値化し、一方の画素値を有する対象領域特定画素を特定し、
前記対象領域の予測に用いる参照画像における参照領域の候補となる候補領域を二値化し、前記一方の画素値を有する候補領域特定画素を特定し、
前記対象領域特定画素に基づいて算出されるスカラーの評価指標の値と、前記候補領域特定画素に基づいて算出される前記評価指標の値とに基づいて、前記候補領域を絞り込み、
前記対象領域と前記絞り込まれた候補領域との類似度を評価し、
前記類似度に基づいて、前記絞り込まれた候補領域の中から前記参照領域を決定する、
処理をコンピュータに実行させるための画像処理プログラム。

【0082】

（事項９）
符号化の対象である対象画像に含まれる対象領域を特定し、前記対象領域の予測に用いる参照画像における参照領域の候補となる候補領域を特定する特定部と、
前記対象領域および前記候補領域について、各画素を該画素の画素値で重み付けして重心を決定し、所定の原点から前記重心までの距離を評価指標として算出し、前記対象領域の評価指標の値と前記候補領域の評価指標の値とに基づいて、前記候補領域を絞り込み、前記対象領域と前記絞り込まれた候補領域との類似度を評価する評価部と、
前記類似度に基づいて、前記絞り込まれた候補領域の中から前記参照領域を決定する決定部と、
を有する画像処理装置。
これによれば、対象領域と候補領域のそれぞれに算出した重心ベクトルの長さを比較して候補領域を絞り込むので、対象領域と候補領域とに相対的な回転があっても候補の適切な絞り込みが可能である。

【0083】

（事項１０）
符号化の対象である対象画像に含まれる対象領域を特定し、
前記対象領域の予測に用いる参照画像における参照領域の候補となる候補領域を特定し、
前記対象領域および前記候補領域について、各画素を該画素の画素値で重み付けして重心を決定し、所定の原点から前記重心までの距離を評価指標として算出し、
前記対象領域の評価指標の値と前記候補領域の評価指標の値とに基づいて、前記候補領域を絞り込み、
前記対象領域と前記絞り込まれた候補領域との類似度を評価し、
前記類似度に基づいて、前記絞り込まれた候補領域の中から前記参照領域を決定する、
処理をコンピュータが実行する画像処理方法。

【0084】

（事項１１）
符号化の対象である対象画像に含まれる対象領域を特定し、
前記対象領域の予測に用いる参照画像における参照領域の候補となる候補領域を特定し、
前記対象領域および前記候補領域について、各画素を該画素の画素値で重み付けして重心を決定し、所定の原点から前記重心までの距離を評価指標として算出し、
前記対象領域の評価指標の値と前記候補領域の評価指標の値とに基づいて、前記候補領域を絞り込み、
前記対象領域と前記絞り込まれた候補領域との類似度を評価し、
前記類似度に基づいて、前記絞り込まれた候補領域の中から前記参照領域を決定する、
処理をコンピュータに実行させるための画像処理プログラム。

【0085】

上述した実施形態は、本発明の説明のための例示であり、本発明の範囲をそれらの実施形態のみに限定する趣旨ではない。当業者は、本発明の範囲を逸脱することなしに、他の様々な態様で本発明を実施することができる。上記実施形態の装置は、ソフトウェアプログラムをプロセッサで実行することにより実現されるものとして例示したが、これに限定されることはない。制御部１０の一部または全部の機能をハードウェアで実現するものであってもよい。また、制御部１０の一部または全部の機能を専用プロセッサで実現するものであってもよい。

【符号の説明】

【0086】

１…画像処理装置、１０…制御部、１１…参照領域決定部、１２…特定部、１３…評価部、１４…決定部、１５…拡縮率算出部、１６…予測画像生成部、１７…差分符号化部、２０…記憶部、２１…フレーム情報、２２…差分符号情報、１００…対象画像、１１０…対象領域、２００…参照画像、２１０…参照領域、２１１…候補領域、４００…コンピュータ装置、４０１…制御回路、４０２…記憶装置、４０３…読書装置、４０４…記録媒体、４０５…通信インターフェイス、４０６…入出力インターフェイス、４０７…入力装置、４０８…表示装置、４０９…ネットワーク、４１０…バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】