(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022184450
(43)【公開日】2022-12-13
(54)【発明の名称】画像処理装置、画像処理方法および画像処理プログラム
(51)【国際特許分類】
G06T 7/246 20170101AFI20221206BHJP
【FI】
G06T7/246
【審査請求】有
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2021092308
(22)【出願日】2021-06-01
【新規性喪失の例外の表示】特許法第30条第2項適用申請有り 令和3年2月8日開催 筑波大学情報学群 情報メディア創成学類 卒業研究最終発表会(WEB会議)
(71)【出願人】
【識別番号】398034168
【氏名又は名称】株式会社アクセル
(74)【代理人】
【識別番号】110000279
【氏名又は名称】弁理士法人ウィルフォート国際特許事務所
(72)【発明者】
【氏名】小島 悠貴
(72)【発明者】
【氏名】林 慶悟
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096AA06
5L096DA01
5L096EA03
5L096EA15
5L096EA16
5L096EA43
5L096FA32
5L096FA54
5L096FA60
5L096FA62
5L096FA64
5L096FA67
5L096GA08
5L096GA17
5L096GA28
5L096GA51
5L096HA02
5L096JA03
5L096JA11
(57)【要約】 (修正有)
【課題】対象領域の符号化に用いる参照領域を探索する過程において、参照領域の候補の適切な絞り込みを行い、符号化に用いる参照領域を決定する画像処理装置、画像処理方法及び画像処理プログラムを提供する。
【解決手段】画像処理装置1は、符号化の対象である対象画像に含まれる対象領域を二値化し、一方の画素値を有する対象領域特定画素を特定し、対象領域の予測に用いる参照画像における参照領域の候補となる候補領域を二値化し、一方の画素値を有する候補領域特定画素を特定する特定部12と、対象領域特定画素に基づいて算出されるスカラーの評価指標の値と、候補領域特定画素に基づいて算出される前記評価指標の値とに基づいて、候補領域を絞り込み、対象領域と前記絞り込まれた候補領域との類似度を評価する評価部13と、類似度に基づいて、絞り込まれた候補領域の中から前記参照領域を決定する決定部14と、を含む参照領域決定部11を有する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
符号化の対象である対象画像に含まれる対象領域を二値化し、一方の画素値を有する対象領域特定画素を特定し、前記対象領域の予測に用いる参照画像における参照領域の候補となる候補領域を二値化し、前記一方の画素値を有する候補領域特定画素を特定する特定部と、
前記対象領域特定画素に基づいて算出されるスカラーの評価指標の値と、前記候補領域特定画素に基づいて算出される前記評価指標の値とに基づいて、前記候補領域を絞り込み、前記対象領域と前記絞り込まれた候補領域との類似度を評価する評価部と、
前記類似度に基づいて、前記絞り込まれた候補領域の中から前記参照領域を決定する決定部と、
を有する画像処理装置。
【請求項2】
前記評価部は、前記対象領域における前記対象領域特定画素の個数と、前記候補領域における前記候補領域特定画素の個数とに基づいて、前記候補領域を絞り込む、
請求項1に記載の画像処理装置。
【請求項3】
前記評価部は、前記対象領域の総画素数に対する前記対象領域特定画素の個数の割合と、前記候補領域の総画素数に対する前記候補領域特定画素の個数の割合とに基づいて、前記候補領域を絞り込む、
請求項1に記載の画像処理装置。
【請求項4】
前記評価部は、前記対象領域における前記対象領域特定画素の重心位置の原点からの距離と、前記候補領域における前記候補領域特定画素の重心位置の原点からの距離とに基づいて、前記候補領域を絞り込む、
請求項1~3のいずれか一項に記載の画像処理装置。
【請求項5】
前記原点は、前記対象領域または前記候補領域に内接する円または楕円の中心である、
請求項4に記載の画像処理装置。
【請求項6】
前記特定部は、前記対象領域における画素値の平均値を二値化の閾値とする、
請求項1に記載の画像処理装置。
【請求項7】
符号化の対象である対象画像に含まれる対象領域を二値化し、一方の画素値を有する対象領域特定画素を特定し、
前記対象領域の予測に用いる参照画像における参照領域の候補となる候補領域を二値化し、前記一方の画素値を有する候補領域特定画素を特定し、
前記対象領域特定画素に基づいて算出されるスカラーの評価指標の値と、前記候補領域特定画素に基づいて算出される前記評価指標の値とに基づいて、前記候補領域を絞り込み、
前記対象領域と前記絞り込まれた候補領域との類似度を評価し、
前記類似度に基づいて、前記絞り込まれた候補領域の中から前記参照領域を決定する、
処理をコンピュータが実行する画像処理方法。
【請求項8】
符号化の対象である対象画像に含まれる対象領域を二値化し、一方の画素値を有する対象領域特定画素を特定し、
前記対象領域の予測に用いる参照画像における参照領域の候補となる候補領域を二値化し、前記一方の画素値を有する候補領域特定画素を特定し、
前記対象領域特定画素に基づいて算出されるスカラーの評価指標の値と、前記候補領域特定画素に基づいて算出される前記評価指標の値とに基づいて、前記候補領域を絞り込み、
前記対象領域と前記絞り込まれた候補領域との類似度を評価し、
前記類似度に基づいて、前記絞り込まれた候補領域の中から前記参照領域を決定する、
処理をコンピュータに実行させるための画像処理プログラム。
【請求項9】
符号化の対象である対象画像に含まれる対象領域を特定し、前記対象領域の予測に用いる参照画像における参照領域の候補となる候補領域を特定する特定部と、
前記対象領域および前記候補領域について、各画素を該画素の画素値で重み付けして重心を決定し、所定の原点から前記重心までの距離を評価指標として算出し、前記対象領域の評価指標の値と前記候補領域の評価指標の値とに基づいて、前記候補領域を絞り込み、前記対象領域と前記絞り込まれた候補領域との類似度を評価する評価部と、
前記類似度に基づいて、前記絞り込まれた候補領域の中から前記参照領域を決定する決定部と、
を有する画像処理装置。
【請求項10】
符号化の対象である対象画像に含まれる対象領域を特定し、
前記対象領域の予測に用いる参照画像における参照領域の候補となる候補領域を特定し、
前記対象領域および前記候補領域について、各画素を該画素の画素値で重み付けして重心を決定し、所定の原点から前記重心までの距離を評価指標として算出し、
前記対象領域の評価指標の値と前記候補領域の評価指標の値とに基づいて、前記候補領域を絞り込み、
前記対象領域と前記絞り込まれた候補領域との類似度を評価し、
前記類似度に基づいて、前記絞り込まれた候補領域の中から前記参照領域を決定する、
処理をコンピュータが実行する画像処理方法。
【請求項11】
符号化の対象である対象画像に含まれる対象領域を特定し、
前記対象領域の予測に用いる参照画像における参照領域の候補となる候補領域を特定し、
前記対象領域および前記候補領域について、各画素を該画素の画素値で重み付けして重心を決定し、所定の原点から前記重心までの距離を評価指標として算出し、
前記対象領域の評価指標の値と前記候補領域の評価指標の値とに基づいて、前記候補領域を絞り込み、
前記対象領域と前記絞り込まれた候補領域との類似度を評価し、
前記類似度に基づいて、前記絞り込まれた候補領域の中から前記参照領域を決定する、
処理をコンピュータに実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は画像処理技術に関する。
【背景技術】
【0002】
動画像を圧縮する重要な技術の一つとしてフレーム間予測符号化がある。フレーム間予測符号化では、符号化するフレーム(以下「対象フレーム」ともいう)とは異なる時刻の符号化処理済のフレーム(以下「参照フレーム」ともいう)を基に対象フレームの画像を予測し、対象フレームの実際の画像と予測した画像の差分を符号化する。対象フレームと符号化処理済である参照フレームとの差分を符号化することによりフレームのデータ量を削減することができる。
【0003】
フレーム間予測符号化では、フレームを複数に分割した領域を単位として以下の(1)~(3)の処理が行われる。
(1)対象フレームを分割した領域(以下「対象領域」ともいう)に類似する領域(以下「参照領域」という)を参照フレーム内から画像マッチング技術を用いて探索する。
(2)対象領域と探索で得られた参照領域との差分を表す差分画像を求める。
(3)探索で得られた参照領域から対象領域への動きを示す動きベクトルを求める。
【0004】
このようにして圧縮された動画像のフレームを復号するとき、参照領域と差分画像と動きベクトルから対象領域の画像を復元することができる。
【0005】
上述のフレーム間予測符号化では、対象領域と参照領域の差分を小さくすればデータ量が低減できる。そのため、(1)の過程において、対象領域の画像を復元するのに適した参照領域を探索することが求められる。
【0006】
参照領域を探索する一般的な方法としては、参照フレームにおける参照領域の候補となる位置のバリエーション毎に、対象領域と参照領域の候補とでブロック内の多数の画素の画素値を比較することが行われる。しかし、この方法には、計算量が膨大となり処理負荷が大きいという問題がある。
【0007】
特許文献1には、最終的なブロックマッチングの前に予め参照領域の候補を絞り込む技術が開示されている。特許文献1の技術は、解像度変換画像と二値化画像を用いて探索範囲を限定することにより、必要なメモリ容量を削減しつつ効率的な動画像符号化を可能にするというものである。
【先行技術文献】
【特許文献】
【0008】
【発明の概要】
【発明が解決しようとする課題】
【0009】
特許文献1の技術は、二値化画像同士の相関の強さを探索範囲の絞り込みに用いる。具体的には、二値化画像同士の画素ごとの差分をとり、その差分の絶対値を積算してMAE値を算出し、そのMAE値を絞り込みの判定に用いる。
【0010】
その際、実際には画像同士が類似していてもそれらの画像が相対的に回転していると、画素ごとの差分は大きな値となる。その結果、MAE値が大きくなり、相関が弱く算出されてしまう。
【0011】
本開示のひとつの目的は、対象領域の符号化に用いる参照領域を探索する過程において、参照領域の候補の適切な絞り込みを可能にする技術を提供することである。
【課題を解決するための手段】
【0012】
本開示のひとつの態様による画像処理装置は、符号化の対象である対象画像に含まれる対象領域を二値化し、一方の画素値を有する対象領域特定画素を特定し、前記対象領域の予測に用いる参照画像における参照領域の候補となる候補領域を二値化し、前記一方の画素値を有する候補領域特定画素を特定する特定部と、前記対象領域特定画素に基づいて算出されるスカラーの評価指標の値と、前記候補領域特定画素に基づいて算出される前記評価指標の値とに基づいて、前記候補領域を絞り込み、前記対象領域と前記絞り込まれた候補領域との類似度を評価する評価部と、前記類似度に基づいて、前記絞り込まれた候補領域の中から前記参照領域を決定する決定部と、を有する。
【0013】
本開示の他の態様による画像処理装置は、符号化の対象である対象画像に含まれる対象領域を特定し、前記対象領域の予測に用いる参照画像における参照領域の候補となる候補領域を特定する特定部と、前記対象領域の各画素の画素値に基づいて算出されるスカラーの評価指標の値と、前記候補領域の各画素の画素値に基づいて算出される前記評価指標の値とに基づいて、前記候補領域を絞り込み、前記対象領域と前記絞り込まれた候補領域との類似度を評価する評価部と、前記類似度に基づいて、前記絞り込まれた候補領域の中から前記参照領域を決定する決定部と、を有する。
【発明の効果】
【0014】
本開示の上記態様によれば、対象領域の符号化に用いる参照領域を探索する過程において、参照領域の候補の適切な絞り込みが可能になる。
【図面の簡単な説明】
【0015】
【
図1】画像処理装置の機能構成を示すブロック図である。
【
図2】画像処理装置のハードウェア構成を示すブロック図である。
【
図3】画像処理装置による全体処理のフローチャートである。
【
図6】対象領域を二値化した二値化画像の一例を示す図である。
【
図7】候補領域を二値化した二値化画像の一例を示す図である。
【
図8】対象領域110の画素構成および内接円を示す図である。
【発明を実施するための形態】
【0016】
以下、本発明の実施形態について図面を参照して説明する。
【0017】
本実施形態では、画像処理装置の一例として画像の差分符号化を行う画像符号化装置を例示する。差分符号化は、符号化の対象となる静止画フレームの画像(対象画像)と、符号化に利用する静止画フレームの画像(参照画像)から予測した画像(予測画像)との差分を符号化する符号化方式である。例えば、対象画像は、動画像において符号化の対象となっている静止画フレームの画像であり、参照画像は、動画像において既に符号化された前フレームの画像である。
【0018】
参照画像から対象画像にできるだけ近い予測画像を生成すれば、対象画像と予測画像との差分が小さくなり、その結果、符号化後のデータ量を小さくすることができる。例えば、対象画像に限りなく近い予測画像が得られれば差分がほとんどなくなり、符号化後のデータ量は小さくなる。逆に、予測が不能であれば、例えば、対象画像と参照画像との差分をそのまま符号化し、符号化後のデータ量が大きくなる。
【0019】
図1は、画像処理装置の機能構成を示すブロック図である。
図2は、画像処理装置のハードウェア構成を示すブロック図である。
【0020】
図1を参照すると、画像処理装置1は、制御部10と、記憶部20とを備える。記憶部20には、フレーム情報21と、差分符号情報22とが格納される。フレーム情報21は、動画を構成する各フレームの画像データである。差分符号情報22は、差分符号化により符号化された各フレームの画像データである。
【0021】
制御部10は、記憶部20に格納されたフレーム情報21を用いてフレームの画像を符号化し、符号化後の画像データを差分符号情報22として記憶部20に記録する。
【0022】
図2を参照すると、画像処理装置1のハードウェアは一例としてコンピュータ装置400である。コンピュータ装置400は、制御回路401と、記憶装置402と、読書装置403と、記録媒体404と、通信インターフェイス405と、入出力インターフェイス406と、入力装置407と、表示装置408とを有している。制御回路401、記憶装置402、読書装置403、通信インターフェイス405、入出力インターフェイス406、および表示装置408はバス410により互いに接続される。記録媒体404は読書装置403に接続される。入力装置407は入出力インターフェイス406に接続される。また通信インターフェイス405はネットワーク409と接続される。
【0023】
制御回路401は、コンピュータ装置400全体を制御する。制御回路401は一例としてプロセッサである。制御回路401は、記憶装置402に記録された不図示の画像処理プログラムを実行することにより、
図1に示した制御部10として動作する。
【0024】
記憶装置402は、制御回路401を制御部10として機能させる画像処理プログラムを記憶する。また、記憶装置402は、制御回路401が動作するための各種データを記憶する。また、記憶装置402は、
図1における記憶部20として機能する。
【0025】
読書装置403は、着脱可能な記録媒体404からデータを読み出し、また記録媒体404へデータを書き込む。
【0026】
記録媒体404は、SD(Secure Digital)メモリーカード、FD(Floppy Disk)、CD(Compact Disc)、DVD(Digital Versatile Disk)、BD(Blu-ray Disk:登録商標)、およびフラッシュメモリなどの非一時的記録媒体である。記録媒体404は、例えば、コンピュータ装置400に与えるデータ、コンピュータ装置400で生成されたデータ、およびコンピュータ装置400で取得されたデータを格納する。また、記録媒体404は、
図1に示した記憶部20内の情報を記憶してもよい。
【0027】
通信インターフェイス405は、ネットワーク409を介してコンピュータ装置400と不図示の他の装置とを通信可能に接続する。
【0028】
入出力インターフェイス406は、入力装置407等の各種入出力装置と接続するインターフェイスである。入出力インターフェイス406は、入力装置407から入力された信号を、バス410を介して制御回路401に出力する。また、入出力インターフェイス406は、制御回路401から出力された信号を、バス410を介して入出力装置に出力する。入力装置407は入出力装置の例である。
【0029】
入力装置407は、キーボード、マウス等の入力装置である。入力装置407は、ユーザによる情報の入力操作を受け付け、入力された情報に対応する信号を入出力インターフェイス406に出力する。例えば、ユーザが入力装置407に映像の差分符号化の開始の指示を入力すると、入力装置407は指示を示す信号を入出力インターフェイス406に出力する。
【0030】
表示装置408は、制御回路401からの制御により各種情報を画面に表示する。
【0031】
ネットワーク409は、コンピュータ装置400と他の装置を通信可能に接続する。
【0032】
【0033】
図1を参照すると、制御部10は、参照領域決定部11と、拡縮率算出部15と、予測画像生成部16と、差分符号化部17とを含む。
【0034】
参照領域決定部11は、記憶部20のフレーム情報21から符号化対象である対象画像の画像データを取得し、対象画像内にあるブロック領域(対象領域)の符号化に利用する参照画像における対象領域に類似する領域を参照領域として決定する。類似するというのは、類似の程度を示す指標の値が大きいことをいう。以下、類似の程度を示す指標を類似度ともいう。画像同士の類似度の評価方法は特に限定されないが、例えば画素値の二乗誤差和などで評価することができる。例えば、対象領域との類似度が所定の閾値を超える領域を参照領域としてもよい。あるいは対象領域との類似度が参照画像における他の領域と比べて高い領域を参照領域としてもよい。
【0035】
本実施形態では、参照領域を決定するとき、参照領域決定部11は、参照画像内で参照領域の候補となる領域(候補領域)を順次スライドしながら、総当たりで候補領域と対象領域との類似度を算出するのではなく、予め候補領域を絞り込むことにより候補領域の個数を削減し、絞り込まれた候補領域と対象領域との類似度を算出する。
【0036】
参照領域決定部11が候補領域を絞り込む処理の詳細は後述する。
【0037】
拡縮率算出部15は、対象領域の参照領域に対する拡大または縮小の比率を決定する。拡大または縮小の比率を算出する方法は特に限定されない。例えば、対象領域内の複数のサブ対象領域と、各サブ対象領域に対応する参照領域内の複数のサブ参照領域との相対的な位置関係に基づく複数のベクトルを主成分分析することにより得られる主成分の固有値に基づいて、対象領域の参照領域に対する拡大または縮小の比率を決定することができる。
【0038】
予測画像生成部16は、参照領域を拡縮率算出部15により決定された比率で拡大または縮小した画像を用いて、参照画像から対象画像を予測した予測画像を生成する。予測画像を生成するにあたってはデコーダで再現される限り回転や拡縮を行っても構わない。予測差分は量子化などの歪みを伴っても構わない。
【0039】
差分符号化部17は、予測画像生成部16で生成された予測画像と対象画像との差分を符号化する。差分を符号化した符号データは記憶部20に差分符号情報22として記録される。
【0040】
なお、参照領域決定部11は、参照画像内の互いに重複可能な複数の領域を候補領域とし、候補領域を所定の回転角度だけ回転させた回転候補領域と、対象領域との類似度を算出し、類似度に基づいて、複数の候補領域の中から参照領域を決定することにしてもよい。参照画像内の領域を回転させた領域と対象領域との類似度を用いて参照領域を探索するので、良好な参照領域を決定することができ、その結果、良好な差分符号化をすることができる。このとき、例えば、複数の回転角度を予め定めておき、それぞれの絞り込まれた候補領域について各回転角度だけ回転させた回転候補領域を作成し、それら複数の回転候補領域と対象領域との類似度を総当たりで算出し、最も類似度の高い回転候補領域の元の候補領域を参照領域とすることにしてもよい。また、このときの回転候補領域の回転角度が、対象領域と参照領域の相対的な回転角度であると言える。
【0041】
図3は、画像処理装置による全体処理のフローチャートである。
【0042】
図3を参照すると、まず、ステップS101にて、参照領域決定部11は、対象画像内の対象領域に類似する参照画像内の領域を参照領域として決定する。
【0043】
図4は対象画像の一例を示す図である。
図5は参照画像の一例を示す図である。ここでは、
図4に示した対象画像100内の対象領域110と、参照画像200内の候補領域との類似度を算出し、類似度が最も高かった候補画像が、
図5に示した参照領域210として決定されている。本例では、対象領域110と参照領域210との間には相対的な回転がある。
【0044】
図3を参照すると、ステップS101にはステップS102~104が含まれている。
図1を参照すると、参照領域決定部11は、特定部12、評価部13、および決定部14を有する。特定部12がステップS102の処理を実行し、評価部13がステップS103の処理を実行し、決定部14がステップS104の処理を実行する。
【0045】
ステップS102にて、特定部12は、対象画像100に含まれる対象領域110を二値化し、一方の画素値を有する対象領域特定画素を特定する。
【0046】
その際、特定部12は、まず、対象領域110に含まれる画素の画素値の平均値を算出し、二値化閾値とする。
【0047】
更に、特定部12は、対象領域110の各画素の画素値を二値化閾値と比較し、二値化閾値以上の画素値を有する画素を対象領域特定画素として特定する。なお、ここでは二値化閾値以上の画素値を有する画素を対象領域特定画素としたが、逆に、二値化閾値以下の画素値を有する画素を対象領域特定画素としてもよい。
【0048】
図6は、対象領域を二値化した二値化画像の一例を示す図である。対象領域110において、実線の円は画素値が二値化閾値以上である画素を示し、破線の円は画素値が二値化閾値より小さい画素を示している。
【0049】
更に、特定部12は、対象領域110の予測に用いる参照画像200における参照領域210の候補となる候補領域を二値化し、一方の画素値を有する候補領域特定画素を特定する。
【0050】
その際、特定部12は、候補領域を二値化するのに、対象領域110にて対象領域特定画素を特定するときに用いた二値化閾値を用いる。
【0051】
更に、特定部12は、候補領域の各画素の画素値を二値化閾値と比較し、二値化閾値以上の画素値を有する画素を候補領域特定画素として特定する。なお、ここでは二値化閾値以上の画素値を有する画素を候補領域特定画素としたが、逆に、二値化閾値以下の画素値を有する画素を候補領域特定画素としてもよい。
【0052】
図7は、候補領域を二値化した二値化画像の一例を示す図である。候補領域211において、実線の円は画素値が二値化閾値以上である画素を示し、破線の円は画素値が二値化閾値より小さい画素を示している。
【0053】
図3に戻り、ステップS103にて、評価部13は、対象領域110における対象領域特定画素に基づいて算出されるスカラーの評価指標の値と、候補領域211における候補領域特定画素に基づいて算出される評価指標の値とに基づいて、候補領域を絞り込み、対象領域とその絞り込まれた候補領域との類似度を算出する。
【0054】
具体的には、評価部13は、まず対象領域110について評価指標の値を算出する。そして、評価部13は、複数の候補領域211について順次、処理を行う。すなわち、評価部13は、複数の候補領域211をスライドさせながら当該候補領域211の評価指標を算出し、対象領域110の評価指標と当該候補領域211の評価指標に基づき、当該候補領域211について対象領域110との類似度を算出する必要があるか否か判定する。評価部13は、必要がないと判定すれば当該候補領域211の処理を打ち切って次の候補領域211の評価に移行し、必要があると判定すれば当該候補領域211と対象領域110との類似度を算出してから次の候補領域211の評価に移行する。
【0055】
ここでは、評価部13は、評価指標(特徴量)として、特定画素の個数と、特定画素の重心を示す重心ベクトルの長さとを用いるものとする。
【0056】
重心ベクトルは、対象領域110あるいは候補領域211の二値化画像の重心を示すベクトルである。二値化画像の重心は、特定画素に同一の重み付けをして算出される重心である。重心ベクトルは、所定の原点から重心に向かうベクトルである。
図6および
図7において、矢印が重心ベクトルを示し、矢印の後端が原点であり、矢印の先端が重心である。本実施形態では、対象領域110あるいは候補領域211に内接する円または楕円の中心を原点としている。
【0057】
ここでは、対象領域特定画素の個数を#pとし、候補領域特定画素の個数を#qとする。また、対象領域110の二値化画像の重心ベクトルの長さをδとし、候補領域211の二値化画像の重心ベクトルの長さをδ’とする。
【0058】
そして、評価部13は、第1判定指標として、対象領域特定画素の個数と候補領域特定画素の個数の差すなわち|#p-#q|を算出する。また、評価部13は、第2判定指標として、対象領域110の二値化画像の重心ベクトルの長さと候補領域211の二値化画像の重心ベクトルの長さとの差、すなわち||δ|-|δ’||を算出する。
【0059】
更に、評価部13は、第1判定指標および第2判定指標をそれぞれの絞り込み閾値と比較し、第1判定指標と第2判定指標のいずれもが閾値以下である候補領域211を特定する。これにより、第1判定指標と第2判定指標の少なくとも一方が閾値を超えている候補領域211は除外されるので、候補領域211が絞り込まれる。
【0060】
更に、評価部13は、絞り込まれた候補領域211について、対象領域110との類似度を算出する。対象領域110と絞り込まれた候補領域211との類似度の評価方法は特に限定されないが、例えば画素値の二乗誤差和などで評価することができる。
【0061】
図3に戻り、ステップS104にて、決定部14は、評価部13により算出された類似度に基づいて、絞り込まれた候補領域211の中から参照領域210を決定する。
【0062】
例えば、対象領域110との類似度が所定の閾値を超える、絞り込まれた候補領域211を参照領域210としてもよい。あるいは、対象領域110との類似度が、絞り込まれた他の候補領域211と比べて高い、絞り込まれた候補領域211を参照領域210としてもよい。参照領域210を決定するとき、参照領域決定部11は、評価部13により、参照画像200内で絞り込まれた候補領域211について順次、対象領域110との類似度を算出し、決定部14により、対象領域110との類似度が高い候補領域211を探索する。
【0063】
図3に戻り、ステップS105にて、拡縮率算出部15は、対象領域110の参照領域210に対する拡大または縮小の比率を決定する。続いて、ステップS106にて、予測画像生成部16は、参照領域210を拡縮率算出部15により決定された比率で拡大または縮小した画像を用いて、参照画像200から対象画像100を予測した予測画像を生成する。続いて、ステップS107にて、差分符号化部17は、予測画像生成部16で生成された予測画像と対象画像100との差分を符号化する。
【0064】
以上説明したように、本実施形態によれば、対象領域特定画素に基づいて算出される評価指標の値と、候補領域特定画素に基づいて算出される評価指標の値とに基づいて候補領域211を絞り込むので、対象領域110と候補領域211とに相対的な回転があっても候補の適切な絞り込みが可能である。
【0065】
なお、本実施形態では、ステップS102にて、第1判定指標と第2判定指標の双方が閾値以下である候補領域211に絞り込むこととしたが、これに限定されることはない。他の例として、第1判定指標と第2判定指標の少なくとも一方が閾値以下である候補領域211に絞り込むことにしてもよい。また、第1判定指標のみを用い、その第1判定指標が閾値以下である候補領域211に絞り込むことにしてもよい。また、第2判定指標のみを用い、その第2判定指標が閾値以下である候補領域211に絞り込むことにしてもよい。
【0066】
また、本実施形態では、第1判定指標として、対象領域特定画素の個数と候補領域特定画素の個数の差すなわち|#p-#q|を用いたが、これに限定されることはない。他の例として、第1判定指標を正規化した判定指標、すなわち、|#p-#q|/N(Nは対象領域110あるいは候補領域211の総画素数)を用いてもよい。また、更に百分率表現とした判定指標、すなわち、100×(|#p-#q|/N)を用いてもよい。
図8は、対象領域110の画素構成および内接円を示す図である。
図8の例では、総画素数N=8×8となっている。
【0067】
また、本実施形態では、第2判定指標として、対象領域110の二値化画像の重心ベクトルの長さと候補領域211の二値化画像の重心ベクトルの長さとの差、すなわち||δ|-|δ’||を用いたが、これに限定されることはない。他の例として、第2判定指標を正規化した判定指標、すなわち、||δ|-|δ’||/r(rは、対象領域110あるいは候補領域211の内接円の半径)を用いてもよい。また、更に百分率表現とした判定指標、すなわち、100×(||δ|-|δ’||/r)を用いてもよい。
図8の例では、内接円の半径r=3.5となっている。
【0068】
図8に示した対象領域110にて一例を示すと、判定指標として、100×(|#p-#q|/N)と、100×(||δ|-|δ’||/r)とを用い、ある候補領域211についてそれら2つの判定指標がいずれも閾値=24以下であれば当該候補領域211について対象領域110との類似度を算出し、2つの判定指標のうちいずれか一方でも閾値=24を超えていたら、当該候補領域211は対象領域110に対する参照領域210として相応しくないものとして処理を打ち切って次の候補領域211に移行する。なお、個々に示した閾値=24は例示であり、言うまでもなく他の値であってもよい。
【0069】
また、本実施形態では、特定部12が対象領域110および候補領域211を二値化し、二値化画像の特定画素に基づいて重心ベクトルを求めることとしたが、これに限定されることはない。他の例として、対象領域110および候補領域211のそのままの画素に基づいて重心ベクトルを求めてもよい。
【0070】
その場合、例えば、特定部12は、対象画像100に含まれる対象領域110を特定し、対象領域110の予測に用いる参照画像200における参照領域210の候補となる候補領域211を特定する。評価部13は、対象領域110の各画素の画素値に基づいて算出されるスカラーの評価指標(重心ベクトルの長さ)の値と、候補領域211の各画素の画素値に基づいて算出されるその評価指標の値とに基づいて、候補領域211を絞り込み、対象領域110と絞り込まれた候補領域211との類似度を評価する。
【0071】
評価指標は、対象領域110の各画素の画素値に基づいて算出される重心ベクトルの長さである。評価部13は、対象領域110および候補領域211について、各画素をその画素の画素値で重み付けして重心を決定し、原点から重心に向かうベクトルを重心ベクトルとする。そして、評価部13は、その重心ベクトルの長さを算出し、評価指標の値とする。
【0072】
そして、決定部14は、評価部13により算出された類似度に基づいて、絞り込まれた候補領域211の中から参照領域210を決定する。
【0073】
上述した実施形態には、以下に示す事項が含まれている。ただし、上述した実施形態に含まれる事項が以下に示すものに限定されることはない。
【0074】
(事項1)
符号化の対象である対象画像に含まれる対象領域を二値化し、一方の画素値を有する対象領域特定画素を特定し、前記対象領域の予測に用いる参照画像における参照領域の候補となる候補領域を二値化し、前記一方の画素値を有する候補領域特定画素を特定する特定部と、
前記対象領域特定画素に基づいて算出されるスカラーの評価指標の値と、前記候補領域特定画素に基づいて算出される前記評価指標の値とに基づいて、前記候補領域を絞り込み、前記対象領域と前記絞り込まれた候補領域との類似度を評価する評価部と、
前記類似度に基づいて、前記絞り込まれた候補領域の中から前記参照領域を決定する決定部と、
を有する画像処理装置。
これによれば、対象領域と候補領域のそれぞれに算出したスカラーの評価指標の値を比較して候補領域を絞り込むので、対象領域と候補領域とに相対的な回転があっても候補の適切な絞り込みが可能である。
【0075】
(事項2)
前記評価部は、前記対象領域における前記対象領域特定画素の個数と、前記候補領域における前記候補領域特定画素の個数とに基づいて、前記候補領域を絞り込む、
事項1に記載の画像処理装置。
これによれば、特定画素の個数により候補領域を絞り込むので、候補領域の適切な絞り込みが可能である。
【0076】
(事項3)
前記評価部は、前記対象領域の総画素数に対する前記対象領域特定画素の個数の割合と、前記候補領域の総画素数に対する前記候補領域特定画素の個数の割合とに基づいて、前記候補領域を絞り込む、
事項1に記載の画像処理装置。
これによれば、対象領域および候補領域における特定画素の割合により候補領域を絞り込むので、候補領域の適切な絞り込みが可能である。
【0077】
(事項4)
前記評価部は、前記対象領域における前記対象領域特定画素の重心位置の原点からの距離と、前記候補領域における前記候補領域特定画素の重心位置の原点からの距離とに基づいて、前記候補領域を絞り込む、
事項1~3のいずれか一項に記載の画像処理装置。
これによれば、対象領域および候補領域における特定画素の重心位置の原点からの距離により候補領域を絞り込むので、候補領域の適切な絞り込みが可能である。
【0078】
(事項5)
前記原点は、前記対象領域または前記候補領域に内接する円または楕円の中心である、
事項4に記載の画像処理装置。
これによれば、最大距離を大きく取ることができるので、類似度の評価の精度が向上する。
【0079】
(事項6)
前記特定部は、前記対象領域における画素値の平均値を二値化の閾値とする、
事項1に記載の画像処理装置。
これによれば、対象領域の画素値の平均値を対象領域と候補領域に共通の二値化の閾値とするので、対象領域と候補領域の特徴の差異を的確に捉えることができ、候補領域の適切な絞り込みが可能となる。例えば、対象領域と候補領域とで画素値の平均値が大きく異なる場合、対象領域の評価指標と候補領域の評価指標とがかけ離れた値となり、そのような候補領域を精度よく容易にブロックマッチングの処理対象から除外することができる。また、候補領域ではなく対象領域の画素値から二値化の閾値を決定するので、対象領域に対する複数の候補領域について共通の閾値により効率的に二値化を行うことができる。
【0080】
(事項7)
符号化の対象である対象画像に含まれる対象領域を二値化し、一方の画素値を有する対象領域特定画素を特定し、
前記対象領域の予測に用いる参照画像における参照領域の候補となる候補領域を二値化し、前記一方の画素値を有する候補領域特定画素を特定し、
前記対象領域特定画素に基づいて算出されるスカラーの評価指標の値と、前記候補領域特定画素に基づいて算出される前記評価指標の値とに基づいて、前記候補領域を絞り込み、
前記対象領域と前記絞り込まれた候補領域との類似度を評価し、
前記類似度に基づいて、前記絞り込まれた候補領域の中から前記参照領域を決定する、
処理をコンピュータが実行する画像処理方法。
【0081】
(事項8)
符号化の対象である対象画像に含まれる対象領域を二値化し、一方の画素値を有する対象領域特定画素を特定し、
前記対象領域の予測に用いる参照画像における参照領域の候補となる候補領域を二値化し、前記一方の画素値を有する候補領域特定画素を特定し、
前記対象領域特定画素に基づいて算出されるスカラーの評価指標の値と、前記候補領域特定画素に基づいて算出される前記評価指標の値とに基づいて、前記候補領域を絞り込み、
前記対象領域と前記絞り込まれた候補領域との類似度を評価し、
前記類似度に基づいて、前記絞り込まれた候補領域の中から前記参照領域を決定する、
処理をコンピュータに実行させるための画像処理プログラム。
【0082】
(事項9)
符号化の対象である対象画像に含まれる対象領域を特定し、前記対象領域の予測に用いる参照画像における参照領域の候補となる候補領域を特定する特定部と、
前記対象領域および前記候補領域について、各画素を該画素の画素値で重み付けして重心を決定し、所定の原点から前記重心までの距離を評価指標として算出し、前記対象領域の評価指標の値と前記候補領域の評価指標の値とに基づいて、前記候補領域を絞り込み、前記対象領域と前記絞り込まれた候補領域との類似度を評価する評価部と、
前記類似度に基づいて、前記絞り込まれた候補領域の中から前記参照領域を決定する決定部と、
を有する画像処理装置。
これによれば、対象領域と候補領域のそれぞれに算出した重心ベクトルの長さを比較して候補領域を絞り込むので、対象領域と候補領域とに相対的な回転があっても候補の適切な絞り込みが可能である。
【0083】
(事項10)
符号化の対象である対象画像に含まれる対象領域を特定し、
前記対象領域の予測に用いる参照画像における参照領域の候補となる候補領域を特定し、
前記対象領域および前記候補領域について、各画素を該画素の画素値で重み付けして重心を決定し、所定の原点から前記重心までの距離を評価指標として算出し、
前記対象領域の評価指標の値と前記候補領域の評価指標の値とに基づいて、前記候補領域を絞り込み、
前記対象領域と前記絞り込まれた候補領域との類似度を評価し、
前記類似度に基づいて、前記絞り込まれた候補領域の中から前記参照領域を決定する、
処理をコンピュータが実行する画像処理方法。
【0084】
(事項11)
符号化の対象である対象画像に含まれる対象領域を特定し、
前記対象領域の予測に用いる参照画像における参照領域の候補となる候補領域を特定し、
前記対象領域および前記候補領域について、各画素を該画素の画素値で重み付けして重心を決定し、所定の原点から前記重心までの距離を評価指標として算出し、
前記対象領域の評価指標の値と前記候補領域の評価指標の値とに基づいて、前記候補領域を絞り込み、
前記対象領域と前記絞り込まれた候補領域との類似度を評価し、
前記類似度に基づいて、前記絞り込まれた候補領域の中から前記参照領域を決定する、
処理をコンピュータに実行させるための画像処理プログラム。
【0085】
上述した実施形態は、本発明の説明のための例示であり、本発明の範囲をそれらの実施形態のみに限定する趣旨ではない。当業者は、本発明の範囲を逸脱することなしに、他の様々な態様で本発明を実施することができる。上記実施形態の装置は、ソフトウェアプログラムをプロセッサで実行することにより実現されるものとして例示したが、これに限定されることはない。制御部10の一部または全部の機能をハードウェアで実現するものであってもよい。また、制御部10の一部または全部の機能を専用プロセッサで実現するものであってもよい。
【符号の説明】
【0086】
1…画像処理装置、10…制御部、11…参照領域決定部、12…特定部、13…評価部、14…決定部、15…拡縮率算出部、16…予測画像生成部、17…差分符号化部、20…記憶部、21…フレーム情報、22…差分符号情報、100…対象画像、110…対象領域、200…参照画像、210…参照領域、211…候補領域、400…コンピュータ装置、401…制御回路、402…記憶装置、403…読書装置、404…記録媒体、405…通信インターフェイス、406…入出力インターフェイス、407…入力装置、408…表示装置、409…ネットワーク、410…バス