特許 6068895 画像処理装置およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6068895

(24)【登録日】2017年1月6日

(45)【発行日】2017年1月25日

(54)【発明の名称】画像処理装置およびプログラム

(51)【国際特許分類】

   G06T 7/60 20170101AFI20170116BHJP

   G06T 7/13 20170101ALI20170116BHJP

   G06T 11/80 20060101ALI20170116BHJP

【ＦＩ】

   G06T7/60 180A

   G06T7/60 250A

   G06T11/80 B

【請求項の数】16

【全頁数】20

(21)【出願番号】特願2012-208501(P2012-208501)

(22)【出願日】2012年9月21日

(65)【公開番号】特開2014-63376(P2014-63376A)

(43)【公開日】2014年4月10日

【審査請求日】2015年7月30日

(73)【特許権者】

【識別番号】592217093

【氏名又は名称】株式会社ニコンシステム

(74)【代理人】

【識別番号】100072718

【弁理士】

【氏名又は名称】古谷 史旺

(74)【代理人】

【識別番号】100116001

【弁理士】

【氏名又は名称】森 俊秀

(72)【発明者】

【氏名】元吉 修二

(72)【発明者】

【氏名】森屋 健太郎

(72)【発明者】

【氏名】茂藤 優司

【審査官】 板垣 有紀

(56)【参考文献】

【文献】 特開平１１−２２４３３７（ＪＰ，Ａ）

【文献】 特開２００６−２０８３３９（ＪＰ，Ａ）

【文献】 特開２００７−１６４６４８（ＪＰ，Ａ）

【文献】 特開２０１１−２３８０４８（ＪＰ，Ａ）

【文献】 特開平０８−１１６５４０（ＪＰ，Ａ）

【文献】 特開２０１０−２２４９２４（ＪＰ，Ａ）

【文献】 前田 康男，認知症サポートの為の塗り絵の作成，第５１回 システム制御情報学会 研究発表講演会，日本，システム制御情報学会，２００７年 ５月１６日，pp.607-608

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／６０

Ｇ０６Ｔ １１／８０

(57)【特許請求の範囲】

【請求項1】

入力画像を取得する取得部と、
前記入力画像を複数の領域に分割する領域分割部と、
領域内の画像の特徴を用いて前記領域を統合する統合処理部と、を備え、
前記統合処理部は、前記入力画像上で離散的に分布し、前記特徴がそれぞれ類似する複数の第１領域をグループ化し、複数の前記第１領域をグループ単位で前記第１領域とは異なる第２領域に統合する画像処理装置。

【請求項2】

請求項１に記載の画像処理装置において、
前記統合処理部は、前記第１領域と前記特徴が類似するとともに前記第１領域に隣接していない領域を注目する前記第１領域から所定範囲内で探索し、前記探索で検出された領域を前記第１領域としてグループ化する処理を繰り返す画像処理装置。

【請求項3】

請求項１または請求項２に記載の画像処理装置において、
前記統合処理部は、前記第１領域を囲繞する背景領域を前記第２領域に設定し、複数の前記第１領域をグループ単位で前記背景領域に統合する画像処理装置。

【請求項4】

請求項３に記載の画像処理装置において、
前記統合処理部は、複数の前記第１領域をグループ単位で前記背景領域に統合した後、前記背景領域および他の第３領域に隣接するとともに、異なるグループに属する第１領域をさらに前記背景領域に統合する画像処理装置。

【請求項5】

請求項１または請求項２に記載の画像処理装置において、
前記統合処理部は、グループ化された複数の前記第１領域がそれぞれ前記特徴の異なる複数の領域に隣接するときに、グループ内の前記第１領域のうちで隣接する個数がより多い領域を前記第２領域に設定する画像処理装置。

【請求項6】

請求項１または請求項２に記載の画像処理装置において、
前記統合処理部は、グループ化された複数の前記第１領域がそれぞれ前記特徴の異なる複数の領域に隣接するときに、グループ内の前記第１領域の境界がより長く接している領域を前記第２領域に設定する画像処理装置。

【請求項7】

請求項１から請求項６のいずれか１項に記載の画像処理装置において、
前記統合処理部によって領域が統合された画像に対して、画像処理を施す画像処理部をさらに備える画像処理装置。

【請求項8】

請求項７に記載の画像処理装置において、
前記画像処理部は、前記領域分割された画像を用いて塗り絵用の元画像を生成する画像処理装置。

【請求項9】

請求項７に記載の画像処理装置において、
前記画像処理部は、前記領域分割された画像に対して、注目領域の被写体の削除、注目領域の被写体の移動、注目領域への局所的なフィルタ処理の少なくとも１つを行う画像処理装置。

【請求項10】

請求項７に記載の画像処理装置において、
前記画像処理部は、前記領域分割された画像の注目領域に対して、タグ情報を付与する画像処理装置。

【請求項11】

請求項７に記載の画像処理装置において、
前記画像処理部は、前記領域分割された画像を用いて、所定の認識対象を抽出する画像処理装置。

【請求項12】

請求項７に記載の画像処理装置において、
前記画像処理部は、前記領域分割された画像を用いて、立体画像を復元するときの対応点を探索する画像処理装置。

【請求項13】

請求項７に記載の画像処理装置において、
前記画像処理部は、それぞれ領域分割された基準画像および処理対象画像を領域単位でマッチングして、前記基準画像に対する前記処理対象画像の類否を判定する画像処理装置。

【請求項14】

請求項７に記載の画像処理装置において、
前記画像処理部は、前記領域分割された画像に対して、領域単位で圧縮率を変化させた画像圧縮を行う画像処理装置。

【請求項15】

請求項７に記載の画像処理装置において、
前記画像処理部は、前記領域分割された画像を用いて、領域単位で動きベクトルを求める画像処理装置。

【請求項16】

入力画像を取得する処理と、
前記入力画像を複数の領域に分割する領域分割処理と、
領域内の画像の特徴を用いて前記領域を統合する統合処理と、をコンピュータに実行させ、
前記統合処理では、前記入力画像上で離散的に分布し、前記特徴がそれぞれ類似する複数の第１領域をグループ化し、複数の前記第１領域をグループ単位で前記第１領域とは異なる第２領域に統合するプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置およびプログラムに関する。

【背景技術】

【0002】

従来から、画像の領域分割のために画像のエッジを検出する技術が種々提案されている。また、類似した特徴量をもち空間的に隣接した領域に画像を分割する手法として、例えば領域統合法（region unification method）が公知である（例えば、非特許文献１参照）。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】Wei-Ying Ma, et al. ”EdgeFlow: A Technique for Boundary Detection and Image Segmentation” IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL9, NO.8, AUGUST 2000

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、エッジで分割された複数の領域を統合するとき、例えば、境界近傍でパターンの違いがある場合や繰り返しのパターンを含む場合には、ユーザの認識に近い領域の統合を行うことがなお困難である。

【課題を解決するための手段】

【0005】

本発明の一例としての画像処理装置は、入力画像を取得する取得部と、入力画像を複数の領域に分割する領域分割部と、統合処理部とを備える。統合処理部は、領域内の画像の特徴を用いて領域を統合する。また、統合処理部は、入力画像上で離散的に分布し、特徴がそれぞれ類似する複数の第１領域をグループ化する。そして、統合処理部は、複数の第１領域をグループ単位で第１領域とは異なる第２領域に統合する。

【発明の効果】

【0007】

本発明によれば、ユーザの認識に近い領域の統合を行うことが比較的容易となる。

【図面の簡単な説明】

【0008】

【図1】一の実施形態での画像処理装置の構成例を示す図

【図2】（ａ）：入力画像の例を示す図、（ｂ）：領域情報の例を示す図、（ｃ）：出力画像の例を示す図

【図3】一の実形態における領域分割処理の例を示す流れ図

【図4】統合処理のサブルーチンの例を示す流れ図

【図5】（ａ）〜（ｃ）：＃２０７での処理例を示す図

【図6】（ａ）〜（ｃ）：＃２０８〜＃２１１での処理例を示す図

【図7】（ａ），（ｂ）：色成分による統合処理の例を示す図

【図8】繰り返しパターンの領域の探索例を示す図

【図9】（ａ），（ｂ）：＃２１４での処理例を示す図

【図10】（ａ）〜（ｃ）：＃２１５の第１処理の概要を示す図

【図11】（ａ），（ｂ）：＃２１５の第２処理の概要を示す図

【図12】（ａ），（ｂ）：＃２１５の第３処理の概要を示す図

【図13】画像処理の一例（注目領域の削除）を示す図

【図14】画像処理の一例（注目領域の移動）を示す図

【図15】画像処理の一例（注目領域へのフィルタ処理）を示す図

【図16】タグ情報の付与の例を示す図

【図17】認識対象の抽出処理の一例を示す図

【図18】立体画像復元時の対応点の探索例を示す図

【図19】画像の類否判定の例を示す図

【図20】画像の圧縮処理の例を示す図

【図21】動きベクトルの演算例を示す図

【図22】他の実施形態での撮像装置の構成例を示す図

【発明を実施するための形態】

【0009】

＜一の実施形態での画像処理装置の構成例＞
図１は、一の実施形態での画像処理装置の構成例を示す図である。一の実施形態では、画像処理装置の一例として、入力画像の領域分割処理を行うコンピュータを説明する。

【0010】

画像処理装置１１は、入出力Ｉ／Ｆ１２と、画像蓄積部１３と、バンドパス処理部１４と、領域分割部１６と、統合処理部１７と、領域情報蓄積部１８と、画像処理部１９と、ＣＰＵ２０と、プログラム記憶部２１を備える。

【0011】

画像処理装置１１の入出力Ｉ／Ｆ１２には、入力デバイス２２（キーボード、ポインティングデバイスなど）と、出力デバイス２３（モニタ、プリンタなど）と、データ読込部２４とが接続されている。データ読込部２４は、領域分割処理の対象となる入力画像のデータや、プログラムを外部から読み込むときに用いられる。データ読込部２４は、例えば、着脱可能な記憶媒体からデータを取得する読込デバイス（光ディスク、磁気ディスク、光磁気ディスクの読込装置など）や、公知の通信規格に準拠して外部装置と通信を行う通信デバイス（ＵＳＢインターフェース、ＬＡＮモジュール、無線ＬＡＮモジュールなど）である。

【0012】

入出力Ｉ／Ｆ１２は、入力デバイス２２やデータ読込部２４からのデータを受け付けるとともに、出力デバイス２３に対して画像のデータを出力する。

【0013】

画像蓄積部１３は、入力画像のデータを記憶する記憶媒体である。なお、図２（ａ）は入力画像の一例を示す図である。画像蓄積部１３の入力画像のデータは、ＣＰＵ２０の制御により、バンドパス処理部１４および画像処理部１９に出力される。

【0014】

バンドパス処理部１４は、入力画像に対してバンドパスフィルタ処理を施す。なお、バンドパス処理部１４の出力は領域分割部１６に接続されている。

【0015】

領域分割部１６は、入力画像を複数の領域に分割し、入力画像のエッジ画素を検出する。そして、領域分割部１６は、入力画像からエッジ画素に囲まれた閉空間（部分領域）を抽出する。なお、領域分割部１６の出力は統合処理部１７に接続されている。

【0016】

統合処理部１７は、入力画像から抽出された複数の部分領域のうち、画像の特徴が類似する領域を統合する。そして、統合処理部１７は、入力画像の領域分割結果を示すエッジ画像（領域情報）を出力する。なお、図２（ｂ）は、図２（ａ）に対応する領域情報の一例を示す図である。

【0017】

領域情報蓄積部１８は、上記の領域情報を記憶する記憶媒体である。なお、領域情報蓄積部１８の領域情報は、ＣＰＵ２０の制御により画像処理部１９に出力される。

【0018】

画像処理部１９は、領域情報による境界線を入力画像に重畳して出力画像を生成する。また、画像処理部１９は、領域情報を用いて、入力画像の部分領域ごとに各種の画像処理（例えば、領域別のぼかし処理、領域別のタグ情報の付与、画像分割、被写体抽出を伴う画像合成など）を施すこともできる。なお、図２（ｃ）は、図２（ａ），（ｂ）に対応する出力画像の一例を示す図である。

【0019】

ＣＰＵ２０は、プログラムの実行により画像処理装置１１の動作を統括的に制御するプロセッサである。

【0020】

プログラム記憶部２１は、ＣＰＵ２０の実行するプログラムや、プログラムの実行に必要となる各種のデータを記憶する。例えば、プログラム記憶部２１は、ハードディスクや不揮発性の半導体メモリなどの記憶媒体である。

【0021】

ここで、図１に示す画像処理装置１１内の機能ブロックは、ハードウェア的には任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムによって実現される。例えば、バンドパス処理部１４、ベクトル生成部、領域分割部１６、統合処理部１７、画像処理部１９は、ＡＳＩＣ(Application Specific Integrated Circuit)であってもよく、またはＣＰＵ２０によって処理されるプログラムモジュールであってもよい。なお、画像蓄積部１３および領域情報蓄積部１８は、同一のメモリ上に確保されている複数の記憶領域であってもよい。

【0022】

＜領域分割処理の説明＞
図３は、一の実施形態における領域分割処理の例を示す流れ図である。図３の流れ図の処理は、ユーザからの指示を受け付けたときに、ＣＰＵ２０がプログラムを実行することによって開始される。

【0023】

ステップ＃１０１：画像処理装置１１は、データ読込部２４を介して入力画像を取得する。入力画像のデータは、ＣＰＵ２０の制御により画像蓄積部１３に記録される。

【0024】

ステップ＃１０２：バンドパス処理部１４は、バンドパスフィルタにより、入力画像のノイズ成分を除去する。例えば、＃１０２のバンドパス処理部１４は、入力画像にローパスフィルタ処理を施す。

【0025】

ステップ＃１０３：領域分割部１６は、入力画像の領域分割処理を施す。一例として、領域分割部１６はエッジ検出処理を実行する。まず、領域分割部１６は、例えば公知の微分フィルタにより入力画像のエッジ画素を検出する。次に、領域分割部１６は、入力画像からエッジ画素で囲まれた閉空間（部分領域）を抽出する。このとき、領域分割部１６は、必要に応じて閉空間を形成していないエッジを、近傍のエッジ画素に連結されるように補間する。

【0026】

なお、＃１０３でのエッジ画素の検出は上記の例に限定されない。例えば、領域分割部１６は、入力画像の各位置で求めたエッジフロー(EdgeFlow)ベクトルを用いてエッジ画素を検出してもよい（非特許文献１参照）。なお、エッジフローベクトルによるエッジ画素の検出では、エッジフローベクトルを各ベクトルの方向に伝搬させて合成し、合成後のエッジフローベクトルが画像内で対向する位置からエッジ画素が検出される。

【0027】

また、領域分割部１６による領域分割処理は、エッジ検出以外の他の公知の手法によるものであってもよい。

【0028】

ステップ＃１０４：統合処理部１７は、部分領域の統合処理を実行する。そして、統合処理部１７は、入力画像の領域分割結果を示す領域情報を出力する。なお、一の実施形態における統合処理の動作については後述する。

【0029】

ステップ＃１０５：画像処理部１９は、領域分割処理の結果を出力する。

【0030】

例えば、画像処理部１９は、領域情報による境界線を入力画像に重畳して出力画像を生成する。そして、ＣＰＵ２０は、出力画像を出力デバイス２３に表示させる。また、画像処理部１９は、領域情報を用いて、入力画像の部分領域ごとに選択的に画像処理を施してもよい。なお、＃１０５での画像処理の例は後述する。以上で、図３の流れ図の説明を終了する。

【0031】

＜統合処理の説明＞
次に、図４の流れ図を参照しつつ、統合処理（図３の＃１０４）のサブルーチンの例を説明する。

【0032】

ステップ＃２０１：統合処理部１７は、入力画像の部分領域を、面積の大きさに応じて昇順または降順でソートする。

【0033】

ステップ＃２０２：統合処理部１７は、ソートの結果（＃２０１）を用いて、面積が小さい順に処理対象となる部分領域（注目領域）を指定する。なお、注目領域について、全ての隣接領域との間で色成分による統合処理の判定（後述の＃２０４〜＃２１１）が終了している場合、統合処理部１７は次に面積が大きい部分領域を注目領域に指定する。

【0034】

ステップ＃２０３：統合処理部１７は、現在の注目領域の面積が閾値以上であるか否かを判定する。上記要件を満たす場合（ＹＥＳ側）には＃２１２に処理が移行する。一方、上記要件を満たさない場合（ＮＯ側）には＃２０４に処理が移行する。＃２０３の処理により、面積が閾値以上となる領域については、色成分による統合処理の判定が打ち切られることとなる。

【0035】

ステップ＃２０４：統合処理部１７は、現在の注目領域（＃２０２）に隣接する全ての部分領域で色成分による統合処理の判定が完了しているか否かを判定する。

【0036】

上記要件を満たす場合（ＹＥＳ側）には＃２０２に戻って、統合処理部１７は新たな注目領域を指定する。一方、上記要件を満たさない場合（ＮＯ側）には、＃２０５に処理が移行する。

【0037】

ステップ＃２０５：統合処理部１７は、注目領域（＃２０２）に隣接する部分領域（隣接領域）を指定する。なお、＃２０５での統合処理部１７は、色成分による統合処理の判定が行われていない部分領域を隣接領域として指定する。

【0038】

ステップ＃２０６：統合処理部１７は、＃２０５で指定された隣接領域と、注目領域（＃２０２）との間で画像の特徴量のマッチングを行う。＃２０６での統合処理部１７は、注目領域全体から抽出した特徴量と、隣接領域全体から抽出した特徴量とをマッチングする。

【0039】

例えば、＃２０６での統合処理部１７は、注目領域全体の色成分ヒストグラムと、隣接領域全体の色成分ヒストグラムとを特徴量とし、２つの色成分ヒストグラムの特徴量距離を求めることでマッチングを行う。

【0040】

ここで、＃２０６の特徴量として、例えばＨＳＬヒストグラムを用いることができる。勿論、他の色成分によるヒストグラムを特徴量に用いてもよい。また、ヒストグラムの特徴量距離は、例えばＢｈａｔｔａｃｈａｙｙａ距離を用いて算出できる。なお、特徴量距離の算出には、例えば、相関、カイ二乗、ヒストグラム交差、Ｍｉｎｋｏｗｓｋｙなどの他の距離関数を用いてもよい。また、各領域の面積が相違する場合が多いため、マッチングのときには、領域の面積に応じてヒストグラムを正規化してもよい。

【0041】

ステップ＃２０７：統合処理部１７は、注目領域および隣接領域の領域全体で特徴が類似するか否かを判定する。一例として、Ｂｈａｔｔａｃｈａｙｙａ距離を用いて色成分ヒストグラムのマッチングを行った場合、統合処理部１７は、＃２０６で求めた特徴量距離が閾値以下となるときに、各領域全体で特徴が類似すると判定する。

【0042】

上記要件を満たす場合（ＹＥＳ側）には、統合処理部１７は、＃２０３で指定されている隣接領域を注目領域との統合候補領域として抽出する。その後、＃２０８に処理が移行する。一方、上記要件を満たさない場合（ＮＯ側）には＃２０４に戻って、統合処理部１７は上記動作を繰り返す。なお、＃２０７のＮＯ側の場合、注目領域と隣接領域との統合は行われない。

【0043】

ここで、図５（ａ）〜（ｃ）は、＃２０７での判定例を示す図である。図５では、各領域の外縁（エッジ）は太線で示し、領域内のパターンは無地またはハッチングで示す。＃２０７では、各領域全体で特徴が類似するか否かを判定する。図５（ａ）〜（ｃ）の例では、各領域において無地の部分とハッチングの部分がほぼ同じ比率であり、領域全体における色成分のヒストグラムを比較すると特徴量距離（Ｂｈａｔｔａｃｈａｙｙａ距離）が非常に近くなる。よって、図５（ａ）〜（ｃ）の例では、隣接領域がいずれも統合候補領域として抽出される。

【0044】

ステップ＃２０８：統合処理部１７は、統合候補領域と注目領域との境界を検出する。そして、統合処理部１７は、統合候補領域および注目領域の境界部分近傍に一定面積の局所領域を設定する。上記の局所領域は、統合候補領域および注目領域に跨って設定される（図６参照）。

【0045】

ステップ＃２０９：統合処理部１７は、それぞれ局所領域内から抽出した統合候補領域の特徴量と、注目領域との特徴量とをマッチングする。＃２０９でのマッチング処理は、＃２０６の処理と同様であるので重複説明を省略する。なお、以下の説明においても、画像の特徴の類否は、色成分ヒストグラムの特徴量距離を算出して求めるものとする。

【0046】

ステップ＃２１０：統合処理部１７は、統合候補領域および注目領域の局所領域で特徴が類似するか否かを判定する。

【0047】

上記要件を満たす場合（ＹＥＳ側）には、＃２１１に処理が移行する。一方、上記要件を満たさない場合（ＮＯ側）には＃２０４に戻って、統合処理部１７は上記動作を繰り返す。なお、＃２１０のＮＯ側の場合、統合候補領域と注目領域との統合は行われない。

【0048】

ステップ＃２１１：統合処理部１７は、統合候補領域および注目領域を１つの領域に統合する。その後、統合処理部１７は、＃２０１に戻って上記動作を繰り返す。

【0049】

ここで、図６（ａ）〜（ｃ）は、＃２０８〜＃２１１での処理例を示す図である。図６（ａ）〜（ｃ）は、図５（ａ）〜（ｃ）にそれぞれ対応している。＃２０８で設定された局所領域に注目すると、図６（ｃ）の例では局所領域内がいずれも無地の部分のみとなるので、色成分のヒストグラムを比較すると特徴量距離（Ｂｈａｔｔａｃｈａｙｙａ距離）が非常に近くなる。よって、図６（ｃ）の例は、＃２１０において局所領域での特徴が類似する（ＹＥＳ側）と判定され、＃２１１において領域が統合される。

【0050】

一方、図６（ａ），（ｂ）の例では統合候補領域側の局所領域にハッチングの部分が存在し、注目領域側の局所領域は無地の部分のみとなる。よって、図６（ａ），（ｂ）の例は、＃２１０において局所領域での特徴が類似しない（ＮＯ側）と判定される。

【0051】

上記の＃２０８〜＃２１１の処理により、領域全体では画像の特徴が類似しているが、境界近傍で画像の特徴が異なっている場合には領域が統合されないので、ユーザに違和感を与えるような領域の統合処理が抑制される。よって、ユーザの認識に近い領域の統合を行うことができる。

【0052】

なお、図７は、色成分による統合処理の例を示す図である。図７（ａ）は、薔薇の花を撮影した画像に対してエッジ検出処理を施した状態を示している。図７（ａ）では、個々の薔薇の花びらがそれぞれ独立した部分領域として抽出されている。一方、図７（ｂ）は、図７（ａ）の画像に対して色成分による統合処理を施した状態を示している。図７（ｂ）では、色の類似する薔薇の花びらの部分領域が統合され、薔薇の花全体が１つの領域として抽出されている。

【0053】

ステップ＃２１２：統合処理部１７は、色成分による統合処理後に離散的な繰り返し領域の統合処理を行う。まず、＃２１２での統合処理部１７は、各部分領域の重心を求める。なお、Ｌ字型の領域やコ字状の領域のように領域内に重心が存在しない場合には、領域内で重心に最も近い位置を重心とみなせばよい。

【0054】

ステップ＃２１３：統合処理部１７は、繰り返しパターンの領域を探索してグループ化を行う。ここで、繰り返しパターンは、入力画像上で離散的に分布し、画像の特徴がそれぞれ類似する複数の領域で構成される。

【0055】

図８は、繰り返しパターンの領域の探索例を示す図である。図８において、Ａ１〜Ａ４は特徴の類似する領域を示している。

【0056】

まず、統合処理部１７は、注目する領域（探索基準の領域）を設定する。次に、統合処理部１７は、注目する領域の重心から所定距離の範囲内で、境界が隣接しておらず、かつ画像の特徴が類似する部分領域を探索する。そして、統合処理部１７は、探索で検出された部分領域と、注目する領域とをグループ化する。その後、統合処理部１７は、探索で検出された部分領域を新たに注目する領域に設定し、上記動作を繰り返す。

【0057】

例えば、図８の例で注目する領域がＡ１のとき、Ａ１の重心から所定範囲内のＡ２，Ａ３が探索で検出され、Ａ１〜Ａ３がグループ化される。次に、注目する領域がＡ２に変更され、Ａ２の重心から所定範囲内のＡ１，Ａ３が探索で検出される。Ａ１〜Ａ３は既にグループ化されているので、注目する領域がＡ２のとき新たにグループに追加される領域はない。その後、注目する領域がＡ３に変更され、Ａ３の重心から所定範囲内のＡ１，Ａ２，Ａ４が探索で検出される。このとき、新たに検出されたＡ４がグループに追加されることとなる。したがって、Ａ１〜Ａ４がグループ化される。上記の処理により、入力画像上で離散的に分布し、画像の特徴がそれぞれ類似する複数の部分領域が繰り返しパターンの領域としてグループ化される。

【0058】

ステップ＃２１４：統合処理部１７は、繰り返しパターンの各領域が同じ背景領域のみに囲繞されている場合、繰り返しパターンの各領域をグループ単位で背景領域に統合する。一般的に繰り返しパターンは、微細な構造や模様などに由来する場合が多い。したがって、繰り返しパターンをより広い領域に同化させることで、ユーザの認識に近い領域の統合を行うことができるようになる。

【0059】

図９（ａ），（ｂ）は、＃２１４での処理例を示す図である。図９（ａ）は＃２１４の処理前の状態を示し、図９（ｂ）は＃２１４の処理後の状態を示す。また、図９において、Ａ１〜Ａ３，Ｂ１〜Ｂ３はグループ化された繰り返しパターンの領域を示し、Ｃは背景領域を示している。繰り返しパターンの領域Ａ１〜Ａ３，領域Ｂ１〜Ｂ３はいずれも背景領域Ｃにのみ接しているため、これらの領域はいずれもグループ単位で背景領域Ｃに統合される。

【0060】

ステップ＃２１５：統合処理部１７は、複数種類の領域に接している繰り返しパターンの領域を統合する。＃２１５での統合処理部１７は、以下の第１処理から第３処理のいずれかによって繰り返しパターンの領域を統合すればよい。第１処理から第３処理によっても、繰り返しパターンがより広い領域に同化するので、ユーザの認識に近い領域の統合を行うことができるようになる。

【0061】

（第１処理）
図１０（ａ）〜（ｃ）は、＃２１５の第１処理の概要を示す図である。第１処理での統合処理部１７は、繰り返しパターンの領域を段階的に統合する。

【0062】

図１０（ａ）は第１処理の開始前の状態を示している。図１０において、Ａ１〜Ａ１３は特徴が類似する繰り返しパターンの領域を示し、Ｂ，Ｃ，Ｄはそれぞれ互いに特徴が類似しない領域を示している。領域Ａ１〜Ａ６は背景領域Ｄのみに接している。領域Ａ７〜Ａ１０は領域Ｂと背景領域Ｄに接している。また、領域Ａ１１〜Ａ１３は領域Ｃと背景領域Ｄに接している。なお、領域Ａ１〜Ａ１３は、接している領域の種類に応じて３つの異なるグループ（Ａ１〜Ａ６，Ａ７〜Ａ１０，Ａ１１〜Ａ１３）に予め分類されているものとする。

【0063】

まず、統合処理部１７は、背景領域Ｄのみに接しているＡ１〜Ａ６をグループ単位で背景領域Ｄに統合する（図１０（ｂ）参照）。このとき、統合処理部１７は、背景領域Ｄに領域Ａを統合したことを示す履歴情報を保持する。次に、統合処理部１７は、上記の履歴情報に基づいて、領域Ａ７〜Ａ１０と領域Ａ１１〜Ａ１３とをそれぞれグループ単位で、領域Ａ１〜Ａ６を統合させた背景領域Ｄにさらに統合する（図１０（ｃ）参照）。上記の第１処理により、それぞれ特徴が類似し、異なるグループに属する領域Ａ１〜Ａ１３をいずれも同じ領域（背景領域Ｄ）に統合できる。

【0064】

（第２処理）
図１１（ａ），（ｂ）は、＃２１５の第２処理の概要を示す図である。第２処理での統合処理部１７は、グループ化された繰り返しパターンの領域が特徴の異なる複数の領域に隣接するときに、隣接する領域の個数の多さに応じて統合先を設定する。

【0065】

図１１（ａ）は第２処理の開始前の状態を示している。図１１において、１０個の領域Ａは特徴が類似する繰り返しパターンの領域を示し、Ｂ，Ｃはそれぞれ互いに特徴が類似しない領域を示している。なお、領域Ａはグループ化されているものとする。

【0066】

図１１（ａ）の例では、繰り返しパターンの領域Ａは、領域Ｂには８個接しており、背景領域Ｃには１０個接している。このとき、統合処理部１７は、領域Ａがより多く接している背景領域Ｃに、繰り返しパターンの領域Ａをグループ単位で統合する（図１１（ｂ）参照）。上記の第２処理により、繰り返しパターンの領域Ａをより広い領域に統合できる。

【0067】

（第３処理）
図１２（ａ），（ｂ）は、＃２１５の第３処理の概要を示す図である。第３処理での統合処理部１７は、グループ化された繰り返しパターンの領域が特徴の異なる複数の領域に隣接するときに、境界の接している長さに応じて統合先の領域を設定する。

【0068】

図１２（ａ）は第３処理の開始前の状態を示している。図１２において、４個の領域Ａは特徴が類似する繰り返しパターンの領域を示し、Ｂ，Ｃはそれぞれ互いに特徴が類似しない領域を示している。なお、領域Ａは１グループ化されているものとする。

【0069】

図１２（ａ）の例では、繰り返しパターンの領域Ａは、領域Ｂ，Ｃに境界が接しており、領域Ｂの方に境界がより長く接している。このとき、統合処理部１７は、領域Ａの境界がより長く接している領域Ｂに、繰り返しパターンの領域Ａをグループ単位で統合する（図１２（ｂ）参照）。上記の第３処理により、繰り返しパターンの領域Ａをより相関が高い領域と統合できる。

【0070】

ステップ＃２１６：統合処理部１７は、統合すべき繰り返し領域が存在するか否かを判定する。上記要件を満たす場合（ＹＥＳ側）には、＃２１３に戻って、統合処理部１７は上記動作を繰り返す。一方、上記要件を満たさない場合（ＮＯ側）には、ＣＰＵ２０は、図３の＃１０５の処理に復帰する。以上で、図４の流れ図の説明を終了する。

【0071】

＜領域情報を用いた画像処理の例＞
次に、領域情報を用いた画像処理（＃１０５）について詳述する。例えば、＃１０５でのＣＰＵ２０は、以下の（１）〜（８）の画像処理を画像処理部１９に実行させることができる。

【0072】

（１：塗り絵用の元画像の生成）
例えば、ＣＰＵ２０は、領域情報（エッジ画像）を塗り絵用の元画像として出力してもよい。なお、画像処理部１９は、必要に応じて線幅の正規化やスパイクノイズ除去などの処理をエッジ画像に施して塗り絵用の元画像を生成してもよい。

【0073】

（２：注目領域のレタッチ）
画像処理部１９は、入力画像の注目領域に対してレタッチを施してもよい。

【0074】

一例として、画像処理部１９は、注目領域の被写体を削除するとともに、削除で欠損した部分を補間する処理を行ってもよい（図１３参照）。ここで、画像の補間は、周囲の領域の画素値で単純に補間してもよいが、例えば、河合紀彦 他,「パターン類似度に基づくエネルギー最小化による画像修復」 電子情報通信学会 技術研究報告,PRMU2006-106,Dec.2006に開示の手法を適用してもよい。上記の処理により、領域分割の結果を用いて後処理工程で入力画像の被写体を選択的に削除できるので、ユーザにとって好ましい画像を得ることができる。

【0075】

また、他の一例として、画像処理部１９は、注目領域の被写体の位置を移動させる処理を行ってもよい（図１４参照）。この場合、画像処理部１９は、注目領域の被写体の位置をユーザの操作に応じて画像内で移動させる。そして、画像処理部１９は、注目領域の被写体を移動先の位置に合成するとともに、画像の欠損部分（注目領域の移動元）を補間する。上記の処理により、領域分割の結果を用いて後処理工程で入力画像上の被写体の位置を調整できるので、ユーザにとって好ましい画像を得ることができる。

【0076】

また、他の一例として、画像処理部１９は、注目領域の被写体に対して選択的にフィルタ処理を施してもよい。図１５は、注目領域の被写体（人物）にぼかしフィルタをかけた例を示している。なお、注目領域に施すフィルタは、例えばノイズ除去フィルタ、エッジ強調フィルタ、モザイクフィルタなどであってもよい。上記の処理により、領域分割の結果を用いて後処理工程で入力画像上の任意の部分に所望の画像効果を付与できるので、ユーザにとって好ましい画像を得ることができる。

【0077】

（３：注目領域へのタグ情報の付与）
画像処理部１９は、ユーザの指定した注目領域に対してタグ情報（メタデータ）を付与してもよい（図１６参照）。タグ情報は、例えば、注目領域の属性（人名、山、建物等）やユーザのコメントを記述したテキスト情報や、領域の画像サイズ、画像のデータ量、色情報、入力画像上での領域の位置、などの画像情報を含む概念である。タグ情報のうち、テキスト情報は例えばユーザによって入力され、画像情報は例えば画像処理装置１１によって生成される。なお、上記のタグ情報は、例えば、画像検索のツールや、ユーザのメモとして使用することができる。

【0078】

一の実施形態では、領域分割の結果を用いて注目領域を簡単に指定できるので、ユーザは所望の被写体の領域に効率よくタグ情報を付与できる。

【0079】

（４：認識対象の抽出処理）
画像処理部１９は、領域分割の結果を用いて、入力画像から所定の認識対象を抽出する処理を実行してもよい。この場合、画像の特徴により認識対象か否かを判別する識別器を画像処理部１９に予め準備する。上記の識別器は、例えば、ニューラルネットワークによる識別モデルや、サポートベクターマシンなどの公知のパターン認識手段で構成される。そして、画像処理部１９は、入力画像の各領域をそれぞれ識別器に入力し、領域毎に認識対象であるか否かを判定する。そして、画像処理部１９は、認識対象と判定された領域を示す表示を入力画像に重畳させて表示装置に表示させる。なお、画像内での認識対象の有無や認識対象の位置の情報は、例えば、画像のシーン認識や、類似画像の検索に用いることもできる。

【0080】

図１７は、認識対象の抽出処理の一例を示す図である。図１７では、看板を認識対象とする識別器を用いて、入力画像から看板に対応する領域を抽出し、その抽出結果の画像を表示する例を示している。なお、識別器による認識対象は上記に限定されることなく適宜変更することができる。例えば、識別器は、文字、バーコードや、特定種類の被写体（金網など）を認識対象とするものであってもよい。

【0081】

一の実施形態では、領域分割の結果を用いて領域毎に認識対象を判定することで、効率よく認識対象の抽出を行うことができる。

【0082】

（５：立体画像復元時の対応点の探索）
各々の撮影位置が異なる複数の画像から立体画像を復元するときに、画像処理部１９は、領域分割の結果を用いて画像間の対応点を探索してもよい。

【0083】

図１８は、立体画像復元時の対応点の探索例を示す図である。一般に立体画像を復元するときには、撮影位置の異なる画像間でそれぞれ対応点を求め、対応点間の位置変化から被写体の三次元形状を推定する。図１８の例では、画像処理部１９は、例えば色成分ヒストグラムのマッチング等の公知の手法によって、２画像間で同じ物体の領域を探索する。そして、画像処理部１９は、２画像間の同じ物体の領域から対応点を探索する。一の実施形態では、領域分割の結果を用いて、対応する物体の範囲内から対応点を探索するので、画像全体から対応点を探索する場合と比べて、効率よく対応点を探索できる。

【0084】

（６：画像の類否判定）
また、画像処理部１９は、領域分割の結果を用いて２画像間の類否を判定してもよい。

【0085】

図１９は、画像の類否判定の例を示す図である。ここで、類否判定の基準となる入力画像を基準画像と称し、類否を判定される入力画像を処理対象画像と称する。なお、基準画像および処理対象画像には、それぞれ領域分割処理が施されることを前提とする。

【0086】

図１９の例では、まず、基準画像の注目領域を、処理対象画像の各領域とマッチングするマッチング処理を画像処理部１９が実行する。このマッチング処理では、画像処理部１９は、対比する２領域の相関の高さを示す評価値を求めるものとする。基準画像の注目領域と処理対象画像の領域とが合致する場合、画像処理部１９は相対的に高い評価値を算出する。例えば、上記の領域間のマッチング処理は、例えばコーナーを特徴量とするマッチングや、色成分ヒストグラムによるマッチングなどの公知の手法を適用できる。

【0087】

ここで、画像処理部１９は、領域のサイズや画像の差違に応じて、上記の評価値を重み付けする。例えば、面積の大きい領域ほど画像の類否に大きな影響を与えるため、画像処理部１９は、マッチングする領域の面積が大きいほど評価値の重み係数を大きくする。また、基準画像の注目領域の位置と、処理対象画像で対応する領域の位置とが画像上で乖離している場合、物体の位置ズレを画像の類否に反映させるため、画像処理部１９は領域位置の乖離量の大きさに応じて評価値の重み係数を小さくする。

【0088】

また、画像処理部１９は、マッチング処理のときに、比較する領域の一方に対して、拡大、縮小、回転などの幾何学的変換を行ってもよい。上記の幾何学的変換により領域のマッチングが成功した場合、物体のサイズや向きの違いを画像の類否に反映させるため、画像処理部１９は幾何学的変換の度合いの大きさに応じて評価値の重み係数を小さくする。

【0089】

画像処理部１９は、基準画像の全ての領域を順次注目領域に指定し、処理対象画像の領域とのマッチング処理で算出された評価値をそれぞれ求める。そして、画像処理部１９は、求めた評価値による演算結果（例えば、領域ごとに算出した評価値の積算値をパラメータとする値）が閾値以上の場合には処理対象画像が基準画像に類似すると判定し、求めた評価値による演算結果が閾値未満の場合には処理対象画像が基準画像に類似しないと判定する。

【0090】

図１９の例において、処理対象画像１のように基準画像と類似する画像は、基準画像と多くの領域が合致するため評価値の演算結果は高い値を示す。一方、処理対象画像２のように、基準画像と大きく異なる画像は、基準画像とほとんどの領域が合致しないため、評価値の演算結果は低い値を示す。よって、一の実施形態では、上記の評価値の演算結果により、基準画像との総合的な類否を判定できる。

【0091】

（７：画像圧縮）
また、画像処理部１９は、領域分割の結果を用いて、分割された領域単位で画像の圧縮率を変化させてもよい。例えば、画像処理部１９は注目領域の画像の圧縮率を低くし、注目領域以外の画像の圧縮率を高くしてもよい（図２０参照）。上記の場合には、ユーザが注目する主要被写体の情報を保持しつつ、画像全体のデータ量を効率よく削減することができる。なお、画像の圧縮率は、ユーザの指定や、ＲＯＩ（Region of Interest）の領域内での注目度の平均値や、領域内での高周波数成分の量に応じて変更してもよい。

【0092】

（８：動きベクトルの演算）
また、画像処理部１９は、領域分割の結果を用いて、動画撮影時に分割された領域単位で被写体の動きベクトルを求めてもよい（図２１参照）。上記の場合には、通常のブロックよりも大きなサイズの領域単位でマッチングを行うことでマッチングの回数を少なくできる。また、領域の面積や形状の特徴を考慮してマッチングを行うことで、フレーム間で大きな動きがある場合にも誤検出のおそれを低減させることができる。

【0093】

＜他の実施形態の説明＞
図２２は、他の実施形態での撮像装置の構成例を示す図である。他の実施形態は、上記の一の実施形態の画像処理装置１１を電子カメラ３１に実装した例であって、電子カメラ３１の撮像部３３から画像処理装置が入力画像を取得する。

【0094】

電子カメラ３１は、撮影レンズ３２と、撮像部３３と、画像処理エンジン３４と、第１メモリ３５および第２メモリ３６と、記録Ｉ／Ｆ３７と、操作部３８とを備えている。ここで、撮像部３３、第１メモリ３５、第２メモリ３６、記録Ｉ／Ｆ３７および操作部３８は、それぞれ画像処理エンジン３４と接続されている。

【0095】

撮像部３３は、撮影レンズ３２によって結像された被写体の像を撮像（撮影）するモジュールである。例えば、撮像部３３は、光電変換を行う撮像素子と、アナログ信号処理を行うアナログフロントエンド回路と、Ａ／Ｄ変換およびデジタル信号処理を行うデジタルフロントエンド回路とを含んでいる。

【0096】

画像処理エンジン３４は、電子カメラ３１の動作を統括的に制御するプロセッサである。例えば、画像処理エンジン３４は、撮影モードにおいて、ユーザの撮影指示入力に応じて、画像を撮像部３３に撮像させる。また、画像処理エンジン３４は、プログラムの実行により、一の実施形態の画像処理装置１１におけるバンドパス処理部１４、領域分割部１６、統合処理部１７、画像処理部１９、ＣＰＵ２０として動作する。

【0097】

第１メモリ３５は、画像のデータ等を一時的に記憶するメモリであって、例えば揮発性の記憶媒体であるＳＤＲＡＭである。この第１メモリ３５は、一の実施形態の画像処理装置１１における画像蓄積部１３、領域情報蓄積部１８として動作する。

【0098】

第２メモリ３６は、画像処理エンジン３４の実行するプログラム等を記憶するメモリであって、例えばフラッシュメモリ等の不揮発性メモリである。この第２メモリ３６は、一の実施形態の画像処理装置１１におけるプログラム記憶部２１として動作する。

【0099】

記録Ｉ／Ｆ３７は、不揮発性の記憶媒体３９を接続するためのコネクタを有している。そして、記録Ｉ／Ｆ３７は、コネクタに接続された記憶媒体３９に対して画像のデータの書き込み／読み込みを実行する。上記の記憶媒体３９は、例えば、ハードディスクや、半導体メモリを内蔵したメモリカードである。なお、図２２では記憶媒体３９の一例としてメモリカードを図示する。

【0100】

操作部３８は、ユーザの操作を受け付ける複数のスイッチを有している。この操作部３８は、例えば、記録用の静止画像の撮影指示を受け付けるレリーズ釦などを含む。

【0101】

以下、他の実施形態での電子カメラ３１の動作例を簡単に説明する。一例として、他の実施形態での領域分割処理は、被写体検出や、オートフォーカス（ＡＦ）のＡＦ領域検出の前処理として実行される。

【0102】

他の実施形態の電子カメラ３１では、撮像部３３が画像を撮影する。これにより、図３の＃１０１の処理に相当する入力画像の取得が行われる。なお、入力画像は、ユーザの撮影指示に応じて取得された静止画像であってもよく、撮影モード下で所定の時間間隔ごとに取得される観測用の画像（スルー画像）であってもよい。

【0103】

そして、画像処理エンジン３４は、図３の＃１０２〜＃１０５の処理を実行し、入力画像の領域分割を行う。なお、画像処理エンジン３４は、＃１０４の部分領域の統合処理において、図４の＃２０１〜＃２１６の処理を実行する。かかる他の実施形態においても、上記の一の実施形態とほぼ同様の効果を得ることができる。

【0104】

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。

【符号の説明】

【0105】

１１…画像処理装置、１２…入出力Ｉ／Ｆ、１３…画像蓄積部、１４…バンドパス処理部、１６…領域分割部、１７…統合処理部、１８…領域情報蓄積部、１９…画像処理部、２０…ＣＰＵ、２１…プログラム記憶部、２２…入力デバイス、２３…出力デバイス、２４…データ読込部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図20】

【図21】

【図22】

【図17】

【図18】

【図19】