特許 5962491 画角調整装置、方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5962491

(24)【登録日】2016年7月8日

(45)【発行日】2016年8月3日

(54)【発明の名称】画角調整装置、方法、およびプログラム

(51)【国際特許分類】

   G06T 3/40 20060101AFI20160721BHJP

【ＦＩ】

   G06T3/40

【請求項の数】9

【全頁数】22

(21)【出願番号】特願2012-277361(P2012-277361)

(22)【出願日】2012年12月19日

(65)【公開番号】特開2014-120136(P2014-120136A)

(43)【公開日】2014年6月30日

【審査請求日】2014年9月29日

【前置審査】

(73)【特許権者】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(72)【発明者】

【氏名】広浜 雅行

(72)【発明者】

【氏名】松永 和久

(72)【発明者】

【氏名】二瓶 道大

(72)【発明者】

【氏名】中込 浩一

【審査官】 村松 貴士

(56)【参考文献】

【文献】 特開２００９−２１１１３８（ＪＰ，Ａ）

【文献】 特開平０９−２４４６１９（ＪＰ，Ａ）

【文献】 松尾賢治，“Ｇｒａｂｃｕｔ適用結果の形状類似性に着目した対話不要の画像領域分割”，情報処理学会研究報告［ＤＶＤ−ＲＯＭ］，社団法人情報処理学会，２０１０年 ４月１５日，Vol.2010-CVIM-171,No.19

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００ − ７／６０

(57)【特許請求の範囲】

【請求項1】

画像内で主要被写体が適正画角となるように該主要被写体に対する画角を調整する画角調整装置であって、
目標画角の中心位置を指定する位置指定手段と、
前記画像内の各画素値に基づいて前記主要被写体と該主要被写体以外の背景を領域分割する処理を実行しながら、前記中心位置の周囲画素については前記主要被写体の領域に領域分割する第１の領域分割処理と、当該領域分割された主要被写体の周囲の各画素については前記主要被写体の領域に領域分割する度合いを高める処理を所定の終了条件に達するまで繰り返し実行する第２の領域分割処理と、を実行する領域分割手段と、
前記第２の領域分割処理により領域分割された主要被写体を囲む外接矩形枠を基準として、前記外接矩形枠が前記画像内に収まるようにズームアップして、前記主要被写体に対する画角を調整する画角調整手段と、
を備えるとともに、
前記中心位置から前記画像の上下左右の端へ向かって伸ばした４本の線分のうち最も短い線分の長さだけ、前記中心位置から前記上下左右の方向にそれぞれ広げた大きさの矩形をズーム領域とし、該ズーム領域のアスペクト比を保った状態で画面の中央に収まるようにズームアップを実行し、該ズームアップ後の初期ズーム領域とする初期ズーム手段を更に備え、
前記画角の調整を前記初期ズーム領域に対して実行し、
前記第２の領域分割処理により領域分割された主要被写体の領域のいずれかの境界が前記初期ズーム領域の端に達したことを前記所定の終了条件とする、
ことを特徴とする画角調整装置。

【請求項2】

画像内で主要被写体が適正画角となるように該主要被写体に対する画角を調整する画角調整装置であって、
目標画角の中心位置を指定する位置指定手段と、
前記画像内の各画素値に基づいて前記主要被写体と該主要被写体以外の背景を領域分割する処理を実行しながら、前記中心位置の周囲画素については前記主要被写体の領域に領域分割する第１の領域分割処理と、当該領域分割された主要被写体の周囲の各画素については前記主要被写体の領域に領域分割する度合いを高める処理を所定の終了条件に達するまで繰り返し実行する第２の領域分割処理と、を実行する領域分割手段と、
前記第２の領域分割処理により領域分割された主要被写体を囲む外接矩形枠を基準として、前記外接矩形枠が前記画像内に収まるようにズームアップして、前記主要被写体に対する画角を調整する画角調整手段と、
を備えるとともに、
前記第１の領域分割処理として、前記画像内の各画素に付与する前記主要被写体または前記背景を示す領域ラベルを更新しながら、該領域ラベルと該各画素の画素値に基づき、前記主要被写体を示す画像から算出した前記画素値ごとの第１のヒストグラムの値が大きいほど値が小さくなる第１のコスト項と、前記背景を示す画像から算出した前記画素値ごとの第２のヒストグラムの値が大きいほど値が小さくなる第２のコスト項を含み、前記中心位置に関する周囲画素については前記第１のコスト項の値がゼロとなるエネルギー関数の最小化処理により、前記画像内で前記主要被写体と前記背景を領域分割する、
ことを特徴とする画角調整装置。

【請求項3】

前記第２の領域分割処理として、前記画像内の各画素に付与する前記主要被写体または前記背景を示す領域ラベルを更新しながら、該領域ラベルと該各画素の画素値に基づき、前記第１のヒストグラムの値が大きいほど値が小さくなる第１のコスト項と、前記第２のヒストグラムの値が大きいほど値が小さくなる第２のコスト項を含み、前記画素の画素値をビン値とする前記第１のヒストグラムの値が所定のヒストグラム閾値に比較して大きくかつ前記画素値の彩度が所定の彩度閾値に比較して大きい場合に、前記第１のコスト項がより小さくなるエネルギー関数の最小化処理により、前記画像内で前記主要被写体と前記背景を領域分割する、
ことを特徴とする請求項２に記載の画角調整装置。

【請求項4】

前記領域分割手段は、Ｇｒａｐｈ Ｃｕｔｓ法により前記エネルギー関数の最小化処理を実行する、
ことを特徴とする請求項３に記載の画角調整装置。

【請求項5】

前記位置指定手段は、ユーザーに中心位置を指定させる手段であることを特徴とする請求項１に記載の画角調整装置。

【請求項6】

前記位置指定手段は、前記画像を表示するタッチ入力機能付きディスプレイ上で、前記目標画角の中心位置を前記ユーザーにタッチ指定させる、
ことを特徴とする請求項５に記載の画角調整装置。

【請求項7】

画像内で主要被写体が適正画角となるように該主要被写体に対する画角を調整する画角調整方法であって、
目標画角の中心位置を指定する位置指定ステップと、
前記画像内の各画素値に基づいて前記主要被写体と該主要被写体以外の背景を領域分割する処理を実行しながら、前記中心位置の周囲画素については前記主要被写体の領域に領域分割する第１の領域分割処理と、当該領域分割された主要被写体の周囲の各画素については前記主要被写体の領域に領域分割する度合いを高める処理を所定の終了条件に達するまで繰り返し実行する第２の領域分割処理と、を実行する領域分割ステップと、
前記第２の領域分割処理により領域分割された主要被写体を囲む外接矩形枠を基準として、前記外接矩形枠が前記画像内に収まるようにズームアップして、前記主要被写体に対する画角を調整する画角調整ステップと、
を備えるとともに、
前記中心位置から前記画像の上下左右の端へ向かって伸ばした４本の線分のうち最も短い線分の長さだけ、前記中心位置から前記上下左右の方向にそれぞれ広げた大きさの矩形をズーム領域とし、該ズーム領域のアスペクト比を保った状態で画面の中央に収まるようにズームアップを実行し、該ズームアップ後の初期ズーム領域とする初期ズームステップを更に備え、
前記画角の調整を前記初期ズーム領域に対して実行し、
前記第２の領域分割処理により領域分割された主要被写体の領域のいずれかの境界が前記初期ズーム領域の端に達したことを前記所定の終了条件とする、
ことを特徴とする画角調整方法。

【請求項8】

画像内で主要被写体が適正画角となるように該主要被写体に対する画角を調整する画角調整方法であって、
目標画角の中心位置を指定する位置指定ステップと、
前記画像内の各画素値に基づいて前記主要被写体と該主要被写体以外の背景を領域分割する処理を実行しながら、前記中心位置の周囲画素については前記主要被写体の領域に領域分割する第１の領域分割処理と、当該領域分割された主要被写体の周囲の各画素については前記主要被写体の領域に領域分割する度合いを高める処理を所定の終了条件に達するまで繰り返し実行する第２の領域分割処理と、を実行する領域分割ステップと、
前記第２の領域分割処理により領域分割された主要被写体を囲む外接矩形枠を基準として、前記外接矩形枠が前記画像内に収まるようにズームアップして、前記主要被写体に対する画角を調整する画角調整ステップと、
を備えるとともに、
前記第１の領域分割処理として、前記画像内の各画素に付与する前記主要被写体または前記背景を示す領域ラベルを更新しながら、該領域ラベルと該各画素の画素値に基づき、前記主要被写体を示す画像から算出した前記画素値ごとの第１のヒストグラムの値が大きいほど値が小さくなる第１のコスト項と、前記背景を示す画像から算出した前記画素値ごとの第２のヒストグラムの値が大きいほど値が小さくなる第２のコスト項を含み、前記中心位置に関する周囲画素については前記第１のコスト項の値がゼロとなるエネルギー関数の最小化処理により、前記画像内で前記主要被写体と前記背景を領域分割する、
ことを特徴とする画角調整方法。

【請求項9】

画像内で主要被写体が適正画角となるように該主要被写体に対する画角を調整するコンピュータに、
請求項７または８記載の各ステップを実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像内の主要被写体に対する画角を調整する画角調整装置、方法、およびプログラムに関する。

【背景技術】

【0002】

野山や道端で見かけた花の名前を知りたくなることがある。そこで、撮影等により得た花のディジタル画像より、クラスタリング法を用いて対象物である花の画像を抽出し、その抽出された花の画像より得られる情報を特徴量とする。単数または複数の特徴量を求め、その求められた特徴量と、あらかじめデータベースに登録してある各種の植物の特徴量とを統計的手法を用いて解析して野草の種類を判別する技術が提案されている（例えば特許文献１に記載の技術）。

【0003】

また、主要被写体を含む画像をＧｒａｐｈ Ｃｕｔｓ法を用いて主要被写体と背景とに分割する従来技術が知られている（例えば非特許文献１、特許文献２に記載の技術）。領域分割を行う場合，主要被写体と背景の関係によりその境界が不明確な部分が存在する可能性があり，最適な領域分割を行う必要がある。そこで、この従来技術では、領域分割をエネルギーの最小化問題としてとらえ、その最小化手法を提案している。この従来技術では，領域分割に適合するようにグラフを作成し、そのグラフの最小カットを求めることにより、エネルギー関数の最小化を行う。この最小カットは、最大フローアルゴリズムを用いることにより、効率的な領域分割計算を実現している。

【0004】

Ｇｒａｐｈ Ｃｕｔｓ法を用いて主要被写体と背景を分割する手法では、画像内の各画素に付与する主要被写体または背景を示す領域ラベルを更新しながら、その領域ラベルと各画素の画素値に基づいて領域分割を行う手法が知られている。この場合例えば、次のようなコスト項を含むエネルギー関数が定義される。まず、主要被写体を示す画像から算出した例えばカラー画素値ごとのヒストグラムの値が大きいほど値が小さくなるコスト項が含まれる。また、背景を示す画像から算出した例えばカラー画素値ごとのヒストグラムの値が大きいほど値が小さくなるコスト項が含まれる。そして、そのエネルギー関数の最小化処理により、画像内で主要被写体と背景が領域分割される（以上、例えば非特許文献１に記載の手法）。

【0005】

また、Ｇｒａｐｈ Ｃｕｔｓ法だけでは主要被写体と背景の分割が難しい場合がある。このため、例えばいわゆるスマートフォンなどへの実装では、ユーザが、例えば撮像装置で撮像した画像に対し、認識したい物体（例えば花）が存在するおおよその領域に対して、例えばタッチパネル等の入力装置を用いて矩形枠を指定する機能が実装される。
あるいは、ユーザが、あらかじめ決められた矩形枠内に認識した物体が大きく入るようにカメラの画角を調整する。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２００２−２０３２４２号公報

【特許文献2】特開２０１１−３５６３６号公報

【非特許文献】

【0007】

【非特許文献1】Ｙ．Ｂｏｙｋｏｖ ａｎｄ Ｇ．Ｆｕｎｋａ−Ｌｅａ：“Ｉｎｔｅｒａｃｔｉｖｅ Ｇｒａｐｈ Ｃｕｔｓ ｆｏｒ Ｏｐｔｉｍａｌ Ｂｏｕｎｄａｒｙ ＆ Ｒｅｇｉｏｎ Ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ Ｏｂｊｅｃｔｓ ｉｎ Ｎ−Ｄ Ｉｍａｇｅｓ”，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ “Ｉｎｔｅｒｎａｔｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ”，Ｖａｎｃｏｕｖｅｒ，Ｃａｎａｄａ，ｖｏｌ．Ｉ，ｐ．１０５−１１２，Ｊｕｌｙ ２００１．

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかし、上述したようにユーザが矩形枠を指定する動作、およびあらかじめ決められた矩形枠内に認識した物体が大きく入るようにカメラの画角を調整する動作は、わずらわしいものであって操作性を損ねてしまうという問題点を有していた。
一方、矩形枠や画角の指定がいい加減だと、花画像などの識別精度が低下してしまうという問題点も有していた。

【0009】

本発明は、簡単な操作で主要被写体に対する画角を調整可能とすることを目的とする。

【課題を解決するための手段】

【0010】

態様の一例は、画像内で主要被写体が適正画角となるように該主要被写体に対する画角を調整する画角調整装置であって、目標画角の中心位置を指定する位置指定手段と、前記画像内の各画素値に基づいて前記主要被写体と該主要被写体以外の背景を領域分割する処理を実行しながら、前記中心位置の周囲画素については前記主要被写体の領域に領域分割する第１の領域分割処理と、当該領域分割された主要被写体の周囲の各画素については前記主要被写体の領域に領域分割する度合いを高める処理を所定の終了条件に達するまで繰り返し実行する第２の領域分割処理と、を実行する領域分割手段と、前記第２の領域分割処理により領域分割された主要被写体を囲む外接矩形枠を基準として、前記外接矩形枠が前記画像内に収まるようにズームアップして、前記主要被写体に対する画角を調整する画角調整手段と、を備えるとともに、前記中心位置から前記画像の上下左右の端へ向かって伸ばした４本の線分のうち最も短い線分の長さだけ、前記中心位置から前記上下左右の方向にそれぞれ広げた大きさの矩形をズーム領域とし、該ズーム領域のアスペクト比を保った状態で画面の中央に収まるようにズームアップを実行し、該ズームアップ後の初期ズーム領域とする初期ズーム手段を更に備え、前記画角の調整を前記初期ズーム領域に対して実行し、前記第２の領域分割処理により領域分割された主要被写体の領域のいずれかの境界が前記初期ズーム領域の端に達したことを前記所定の終了条件とする、ことを特徴とする画角調整装置である。

【発明の効果】

【0011】

本発明によれば、領域分割の精度を向上させることが可能となる。

【図面の簡単な説明】

【0012】

【図1】本発明の一実施形態に係る画角調整装置の機能ブロック図である。

【図2】図１の画角調整装置の動作説明図である。

【図3】本発明の一実施形態に係る画角調整装置のハードウェア構成例を示すブロック図である。

【図4】本実施形態による画角調整処理の全体動作を示すフローチャートである。

【図5】初期ズーム処理の説明図である。

【図6】終了判定の説明図である。

【図7】最終ズーム処理の説明図である。

【図8】重み付き有向グラフの説明図である。

【図9】ヒストグラムθの説明図である。

【図10】ｈ_uv（Ｘ_u ,Ｘ_v ）の特性図である。

【図11】ｔ−ｌｉｎｋとｎ−ｌｉｎｋを有するグラフと、領域ラベルベクトルＸおよびグラフカットとの関係を、模式的に示した図である。

【図12】データ更新１の処理を示すフローチャートである。

【図13】データ更新２の処理を示すフローチャートである。

【発明を実施するための形態】

【0013】

以下、本発明を実施するための形態について図面を参照しながら詳細に説明する。

【0014】

図１は、本発明の一実施形態に係る画角調整装置の機能ブロック図である。

【0015】

本実施形態は、画像内で主要被写体が適正画角となるように主要被写体に対する画角を調整する画角調整装置である。

【0016】

位置指定手段１０１は、目標画角の中心位置を指定する。この位置指定手段１０１は例えば、画像を表示するスマートフォンやデジタルカメラのタッチ入力機能付きディスプレイ上で、目標画角の中心位置をユーザに指等でタッチ指定させる手段である。

【0017】

第１の領域分割手段１０２は、画像内の各画素値に基づいて主要被写体と主要被写体以外の背景を領域分割する処理を実行する。そして、第１の領域分割手段１０２は、中心位置の周囲画素については主要被写体の領域に領域分割する。具体的には、第１の領域分割手段１０２は例えば、画像内の各画素に付与する主要被写体または背景を示す領域ラベルを更新しながら、領域ラベルと各画素の画素値に基づき、主要被写体を示す画像から算出した画素値ごとの第１のヒストグラムの値が大きいほど値が小さくなる第１のコスト項と、背景を示す画像から算出した画素値ごとの第２のヒストグラムの値が大きいほど値が小さくなる第２のコスト項を含み、中心位置に関する周囲画素については第１のコスト項の値がゼロとなるエネルギー関数の例えばＧｒａｐｈ Ｃｕｔｓ法による最小化処理により、画像内で主要被写体と背景を領域分割する。

【0018】

第２の領域分割手段１０３は、画像内の各画素値に基づいて主要被写体と主要被写体以外の背景を領域分割する処理を実行する。そして、第２の領域分割手段１０３は、第１の領域分割手段１０２により領域分割された主要被写体の周囲の各画素については主要被写体の領域に領域分割する度合いを高める処理を所定の終了条件に達するまで繰り返し実行する。具体的には、第２の領域分割手段１０３は例えば、画像内の各画素に付与する主要被写体または背景を示す領域ラベルを更新しながら、領域ラベルと各画素の画素値に基づき、第１のヒストグラムの値が大きいほど値が小さくなる第１のコスト項と、第２のヒストグラムの値が大きいほど値が小さくなる第２のコスト項を含み、その画素の画素値をビン値とする第１のヒストグラムの値が所定のヒストグラム閾値に比較して大きくかつその画素値の彩度が所定の彩度閾値に比較して大きい場合に、第１のコスト項がより小さくなる例えばＧｒａｐｈ Ｃｕｔｓ法によるエネルギー関数の最小化処理により、画像内で主要被写体と背景をさらに領域分割する処理を繰り返す。

【0019】

画角調整手段１０４は、第２の領域分割手段１０４により領域分割された主要被写体を囲む外接矩形枠を基準として主要被写体に対する画角を調整する。画角調整手段１０４は例えば、外接矩形枠が上下左右に一定のマージン領域を含めて画面内に収まるように、ズームアップの画角調整を行う。

【0020】

上述の構成において、以下のような初期ズーム手段を更に備えてよい。この初期ズーム手段は、目標画角の中心位置から画像の上下左右の端へ向かって伸ばした４本の線分のうち最も短い線分の長さだけ、中心位置から上下左右の方向にそれぞれ広げた大きさの矩形をズーム領域とする。そして、初期ズーム手段は、そのズーム領域のアスペクト比を保った状態で画面の中央に収まるようにズームアップの初期の画角調整を実行し、ズームアップ後の初期ズーム領域とする。
そして、図１の構成による画角の調整が、上述の初期ズーム領域に対して実行される。
このとき、領域分割された主要被写体の領域のいずれかの境界が上述の初期ズーム領域の端に達したことが前述した所定の終了条件とされる。

【0021】

図２は、図１の画角調整装置の動作説明図である。

【0022】

ユーザはまず、図２（ａ）に示されるように、例えばディスプレイ画面に花が表示されている画像上で、目標画角の中心位置２０１、すなわち主要被写体の中央をワンタッチする。

【0023】

この結果、まず第１の領域分割手段１０２が、図２（ｂ）に示される花の中心部２０２のみを主要被写体領域として抽出する。

【0024】

次に、第２の領域分割手段１０３が、図２（ｂ）の主要被写体領域２０２に対して図２（ｃ）に示されるような周囲の領域２０３内の各画素の画素値を新たな主要被写体領域として取り込んでゆくような、主要被写体と背景の領域分割処理を実行する。そして、第２の領域分割手段１０３は、この処理を、図２（ｄ）の２０４として示されるように、主要被写体の領域を少しずつ広げながら、所定の終了条件に達するまで（例えば初期ズーム領域の端に到達するまで）、繰り返し実行する。

【0025】

以上の処理の結果、ユーザは、最初に目標画角の中心位置をワンタッチするだけで、その主要被写体が画面いっぱいに収まるように自動的に画角調整が実行され、主要被写体がズームアップ等された矩形枠が自動的に設定される。
これにより、ユーザは、矩形枠の設定や画角調整のわずらわしさから解放され、操作性を向上させることが可能となる。
また、主要被写体を認識して検索するようなアプリケーションの実行において、主要被写体の識別精度を向上させることが可能となる。

【0026】

図３は、本発明の一実施形態に係る画角調整装置３０１のハードウェア構成例を示すブロック図である。

【0027】

この画角調整装置３０１は例えば、いわゆるスマートフォンなどの携帯情報端末あるいはデジタルカメラであるコンピュータシステム上に実現される。

【0028】

画像領域分割装置３０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：中央演算処理装置）３０２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３０３と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３０４を備える。また、画像領域分割装置３０１は、ソリッド記憶装置等の外部記憶装置３０５と、通信インタフェース３０６と、タッチパネルディスプレイ装置などの入力装置３０７および表示装置３０８を備える。さらに、画像領域分割装置３０１は、マイクロＳＤメモリカードやＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリカードなどの可搬記録媒体３１０をセット可能な可搬記録媒体駆動装置３０９を備える。撮像装置３１２は、静止画像やビデオ画像を撮像することのできるデジタルカメラ機構であり、レンズ、オートフォーカス駆動制御装置、露出制御装置、撮像センサ等を備える。上述の各機器３０２〜３０９および３１２は、バス３１１によって相互に接続される。

【0029】

ＲＯＭ３０３には、スマートフォンやデジタルカメラ全体の一般的な動作を制御するプログラムのほか、後述する図４、図１２、および図１３のフローチャートによって示される画像領域分割処理の制御プログラムが記憶されている。ＣＰＵ３０２は、ＲＯＭ３０３から、この制御プログラムを読み出し、ＲＡＭ３０４をワークメモリとして実行する。これにより、図１の構成を有する画角調整装置の機能が実現され、この結果、例えばユーザが、撮像装置３１２によって花などを撮像した画像上で、花がどのような画角で写っていても、花が画面いっぱいに表示されるように自動的に画角が調整される。このように画面が自動調整された画像に対して、例えば花などの主要被写体をそれ以外の背景から分割する画像領域分割処理が実行される。これにより得られた花などの主要被写体領域の画像データは、ユーザが例えば花の種類を検索するために、通信インタフェース３０６から特には図示しないインターネットを経由してインターネットに接続される画像検索サーバコンピュータに送信される。このコンピュータ上で、送られた主要被写体領域の花画像データに基づいて花のデータベースが検索される。その結果検索がヒットした花の図鑑情報が、その花の画像データとともにインターネットを経由して通信インタフェース３０６にて受信され、表示装置３０８に表示される。

【0030】

図４は、本実施形態による画角調整処理の全体動作を示すフローチャートである。このフローチャートの処理は、図１２および図１３の詳細処理を示すフローチャートの処理とともに、図３のＣＰＵ３０２が、ＲＯＭ３０３に記憶された制御プログラムを、ＲＡＭ３０４をワークメモリとして使用しながら実行する処理として実現される。

【0031】

まず、ＣＰＵ３０２は、撮像され例えばＲＡＭ３０４に記憶された画像を、図３の例えばタッチ入力機能付きディスプレイである表示装置３０８に表示し、ユーザにズーム対象領域の中心（目標画角の中心位置）へのタッチを促す。ユーザが、タッチ入力機能付きディスプレイである入力装置３０７から中心位置をタッチ入力すると、ＣＰＵ３０２は、その中心位置の画素の座標情報を例えばＲＡＭ３０４に記憶させる（以上、図４のステップＳ４０１）。

【0032】

次に、ＣＰＵ３０２は、初期ズーム処理を実行する（図４のステップＳ４０２）。図５は、初期ズーム処理の説明図である。まず、ユーザによって、目標画角の中心位置５０１が指定される。次に、ＣＰＵ３０２は、中心位置５０１から画像の上下左右の端へ向かって伸ばした４本の線分５０２のうち最も短い線分５０２（下）の長さだけ、中心位置５０１から上下左右の方向にアスペクト比を保った状態でそれぞれ広げた大きさの矩形をズーム領域とする。そして、ＣＰＵ３０２は、そのズーム領域の画面の中央に収まるようにズームアップの初期の画角調整を実行し、ズームアップ後の初期ズーム領域５０３とする。
以下の画角調整処理は、この初期ズーム領域に対して実行される。
ＣＰＵ３０２が実行するステップＳ４０２の処理は、図１での説明に関連して前述した初期ズーム手段の機能を実現する。

【0033】

次に、ＣＰＵ３０２は、ステップＳ４０２で算出した初期ズーム領域に対して、データ項の更新１の処理を実行する（図４のステップＳ４０３）。
ＣＰＵ３０２が実行するデータ項の更新１の処理は、図１の第１の領域分割手段１０２の機能の一部を実現する。
すなわち、ＣＰＵ３０２は、初期ズーム領域の画像内の各画素に付与する主要被写体または背景を示す領域ラベルを更新しながら、領域ラベルと各画素の画素値に基づき、主要被写体を示す画像から算出した画素値ごとの第１のヒストグラムの値が大きいほど値が小さくなる第１のコスト項（後述する数６式および図１２のステップＳ１２０３参照）と、背景を示す画像から算出した画素値ごとの第２のヒストグラムの値が大きいほど値が小さくなる第２のコスト項（後述する数７式および図１２のステップＳ１２０４参照）を算出する。
またこのとき、ＣＰＵ３０２は、ユーザによりタッチされた画素とその周囲の画素に関する第１のコスト項の値はゼロとなるように制御する（後述する図１２のステップＳ１２０６参照）。
ここで、周囲とは例えば、タッチされた画素位置から半径３画素以内の画素をいう。
なお、周囲には、タッチされた画素位置自身も含まれる。
ステップＳ４０３の処理の詳細は、図１２のフローチャートを用いて後述する。

【0034】

次に、ＣＰＵ３０２は、ステップＳ４０３のデータ項の更新１の処理で算出した第１および第２のコスト項を含むエネルギー関数（後述する数３式参照）を計算しながら、Ｇｒａｐｈ Ｃｕｔｓアルゴリズムを実行する（図４のステップＳ４０４）。
この処理の詳細については後述する。
この場合にＣＰＵ３０２が実行するステップＳ４０４の処理は、図１の第１の領域分割手段１０２の機能の一部を実現する。

【0035】

ステップＳ４０４の後、ＣＰＵ３０２は、終了判定を行う（図４のステップＳ４０５）。図６は、終了判定の説明図である。この終了判定における終了条件は、図６に示されるように、領域分割された主要被写体の領域６０１のいずれかの境界が初期ズーム領域の端６０２に達した場合、または主要被写体の領域が所定の誤差の範囲内で変化しなくなった場合のいずれかである。
この終了判定は、次に説明する４０６のデータ項の更新２において、主要被写体領域の周囲の背景画素が前景色に似ていて主要被写体領域と判定してしまう場合に対する対応策となっている。

【0036】

ＣＰＵ３０２は、ステップＳ４０５の終了判定処理の結果、まだ終了していないと判定した場合には、ステップＳ４０２で算出した初期ズーム領域に対して、データ項の更新２の処理を実行する（図４のステップＳ４０６）。
ＣＰＵ３０２が実行するデータ項の更新２の処理は、図１の第２の領域分割手段１０３の機能の一部を実現する。
すなわち、ＣＰＵ３０２は、初期ズーム領域の画像内の各画素に付与する主要被写体または背景を示す領域ラベルを更新しながら、領域ラベルと各画素の画素値に基づき、主要被写体を示す画像から算出した画素値ごとの第１のヒストグラムの値が大きいほど値が小さくなる第１のコスト項（後述する数６式および図１３のステップＳ１２０３参照）と、背景を示す画像から算出した画素値ごとの第２のヒストグラムの値が大きいほど値が小さくなる第２のコスト項（後述する数７式および図１３のステップＳ１２０４参照）を算出する。
またこのとき、ＣＰＵ３０２は、上記画素値をビン値とする第１のヒストグラムの値が所定のヒストグラム閾値に比較して大きくかつその画素値の彩度が所定の彩度閾値に比較して大きい場合に（後述する図１３のステップＳ１３０１参照）、第１のコスト項をより小さい値にする（後述する図１３のステップＳ１３０２からＳ１３０４参照）。
ステップＳ４０６の処理の詳細は、図１２のフローチャートを用いて後述する。

【0037】

次に、ＣＰＵ３０２は、ステップＳ４０６のデータ項の更新２の処理で算出した第１および第２のコスト項を含むエネルギー関数（後述する数３式参照）を計算しながら、Ｇｒａｐｈ Ｃｕｔｓアルゴリズムを実行する（図４のステップＳ４０４）。
この処理の詳細については後述する。
この場合にＣＰＵ３０２が実行するステップＳ４０４の処理は、図１の第２の領域分割手段１０３の機能の一部を実現する。

【0038】

その後、再び終了判定処理が実行され（図４のステップＳ４０５）、さらに上述のデータ項の更新２の処理（図４のステップＳ４０６）が繰り返し実行され、主要被写体領域が拡張されてゆく。

【0039】

ステップＳ４０５で終了が判定されると、最終ズーム処理が実行される（図４のステップＳ４０７）。図７は、最終ズーム処理の説明図である。図７に示されるように、主要被写体領域７０１の外接矩形が、上下左右に一定のマージン領域を含めて画面内に収まるように、ズームアップの画角調整が行われる。
ＣＰＵ３０２が実行するステップＳ４０７の処理は、図１の画角調整手段１０４の機能を実現する。

【0040】

以上のようにして、図２で前述したように、ユーザはステップＳ４０１で、図２（ａ）に示されるように、ズーム対象領域の中心２０１をワンタッチする。そして、ステップＳ４０３で、図２（ｂ）に示される花の中心部２０２のみが主要被写体領域として抽出される。さらに、ステップＳ４０６の繰返しにより、図２（ｂ）の主要被写体領域２０２に対して図２（ｃ）に示されるような周囲の領域２０３内の各画素の画素値を新たな主要被写体領域として取り込んでゆくような、主要被写体と背景の領域分割処理が実行される。この処理が、図２（ｄ）の２０４として示されるように、主要被写体の領域を少しずつ広げながら、ステップＳ４０５の終了判定の条件に達するまで繰り返し実行される。
そして、ユーザは、最初に目標画角の中心位置をワンタッチするだけで、ステップＳ４０７の最終ズーム処理の後、花などの主要被写体が画面いっぱいに収まるように自動的に画角調整が実行される。ユーザは、矩形枠の設定や画角調整のわずらわしさから解放され、操作性を向上させることが可能となる。

【0041】

以下に、図４のステップＳ４０３、Ｓ４０４、Ｓ４０６の処理の基礎となるＧｒａｐｈＣｕｔｓアルゴリズムについて、説明する。
いま、

【数1】

を、要素Ｘ_v が画像Ｖにおける画素ｖ（１≦ｖ≦Ｖ）に対する領域ラベルを示す領域ラベルベクトルであるとする。この領域ラベルベクトルは、例えば、画素ｖが主要被写体領域内にあれば要素Ｘ_v ＝０、背景領域内にあれば要素Ｘ_v ＝１となるバイナリベクトルである。すなわち、

【数2】

である。

【0042】

本実施形態において実行される領域分割処理は、画像Ｖにおいて、次式で定義されるエネルギー関数Ｅ（Ｘ）を最小にするような数１式の領域ラベルベクトルＸを求める処理である。

【数3】

エネルギー最小化処理が実行される結果、領域ラベルベクトルＸ上で領域ラベル値Ｘ_v ＝０となる画素ｖの集合として、主要被写体領域が得られる。なお、領域ラベルベクトルＸ上で領域ラベル値Ｘ_v ＝１となる画素ｖの集合が、背景領域となる。

【0043】

数３式のエネルギーを最小化するために、次式および図８で示される重み付き有向グラフ（以下「グラフ」と略す）を定義する。

【数4】

ここで、Ｖはノード（ｎｏｄｅ）、Ｅはエッジ（ｅｄｇｅ）である。このグラフが画像の領域分割に適用される場合は、画像の各画素が各ノードＶに対応する。また、画素以外のノードとして、次式および図８中に示される、

【数5】

と呼ばれる特殊なターミナルが追加される。このソースｓを主要被写体領域、シンクｔを背景領域に対応付けて考える。また、エッジＥは、ノードＶ間の関係を表現している。周辺の画素との関係を表したエッジＥをｎ−ｌｉｎｋ、各画素とソースｓ（主要被写体領域に対応）またはシンクｔ（背景領域に対応）との関係を表したエッジＥをｔ−ｌｉｎｋと呼ぶ。

【0044】

いま、ソースｓと各画素に対応するノードとを結ぶ各ｎ−ｌｉｎｋを、各画素がどの程度主要被写体領域らしいかを示す関係ととらえる。そして、その主要被写体領域らしさを示すコスト値を、数３式第１項に対応付けて、

【数6】

と定義する。ここで、θ（ｃ、０）は、画像の主要被写体の領域から算出したカラー画素値ｃごとのヒストグラム（出現回数）を示す関数データであり、例えば図９（ａ）に示されるように予め得られている。なお、θ（ｃ、０）の全カラー画素値ｃにわたる総和は１になるように正規化されているものとする。また、Ｉ（ｖ）は、入力画像の各画素ｖにおけるカラー（ＲＧＢ）画素値である。実際には、カラー（ＲＧＢ）画素値を輝度値に変換した値であるが、以下では説明の簡単のために「カラー（ＲＧＢ）画素値」または「カラー画素値」と記載する。数６式において、θ（Ｉ（ｖ）、０）の値が大きいほど、コスト値は小さくなる。これは、予め得られている主要被写体領域のカラー画素値の中で出現回数が多いものほど、数６式で得られるコスト値が小さくなって、画素ｖが主要被写体領域中の画素らしいことを意味し、数３式のエネルギー関数Ｅ（Ｘ）の値を押し下げる結果となる。

【0045】

次に、シンクｔと各画素に対応するノードとを結ぶ各ｔ−ｌｉｎｋを、各画素がどの程度背景領域らしいかを示す関係ととらえる。そして、その背景領域らしさを示すコスト値を、数３式第１項に対応付けて、

【数7】

と定義する。ここで、θ（ｃ、1）は、画像の背景の領域から算出したカラー画素値ｃごとのヒストグラム（出現度数）を示す関数データであり、例えば図９（ｂ）に示されるように予め得られている。なお、θ（ｃ、１）の全カラー画素値ｃにわたる総和は１になるように正規化されているものとする。Ｉ（ｖ）は、数６式の場合と同様に、入力画像の各画素ｖにおけるカラー（ＲＧＢ）画素値である。数６式において、θ（Ｉ（ｖ）、１）の値が大きいほど、コスト値は小さくなる。これは、予め得られている背景領域のカラー画素値の中で出現回数が多いものほど、数７式で得られるコスト値が小さくなって、画素ｖが背景領域中の画素らしいことを意味し、数３式のエネルギー関数Ｅ（Ｘ）の値を押し下げる結果となる。

【0046】

次に、各画素に対応するノードとその周辺画素との関係を示すｔ−ｌｉｎｋのコスト値を、数３式第２項に対応付けて、

【数8】

と定義する。ここで、ｄｉｓｔ（ｕ，ｖ）は、画素ｖとその周辺画素ｕのユークリッド距離を示しており、κは所定の係数である。また、Ｉ（ｕ）およびＩ（ｖ）は、入力画像の各画素ｕおよびｖにおける各カラー（ＲＧＢ）画素値である。画素ｖおよびその周辺画素ｕの各領域ラベル値Ｘ_u およびＸ_v が同一（Ｘ_u ＝Ｘ_v ）となるように選択された場合における数８式のコスト値は０とされて、エネルギーＥ（Ｘ）の計算には影響しなくなる。一方、画素ｖとその周辺画素ｕの各領域ラベル値Ｘ_u およびＸ_v が異なる（Ｘ_u ≠Ｘ_v ）ように選択された場合における数８式のコスト値は、例えば図１０に示される特性を有する関数特性となる。すなわち、画素ｖおよびその周辺画素ｕの各領域ラベル値Ｘ_u およびＸ_v が異なっていて、かつ画素ｖおよびその周辺画素ｕのカラー画素値の差Ｉ（ｕ）−Ｉ（ｖ）が小さい場合には、数８式で得られるコスト値が大きくなる。この場合には、数３式のエネルギー関数Ｅ（Ｘ）の値が押し上げられる結果となる。言い換えれば、近傍画素間で、カラー画素値の差が小さい場合には、それらの画素の各領域ラベル値は、互いに異なるようには選択されない。すなわち、その場合には、近傍画素間では領域ラベル値はなるべく同じになって主要被写体領域または背景領域はなるべく変化しないように、制御される。一方、画素ｖおよびその周辺画素ｕの各領域ラベル値Ｘ_u およびＸ_v が異なっていて、かつ画素ｖおよびその周辺画素ｕのカラー画素値の差Ｉ（ｕ）−Ｉ（ｖ）が大きい場合には、数８式で得られるコスト値が小さくなる。この場合には、数３式のエネルギー関数Ｅ（Ｘ）の値が押し下げられる結果となる。言い換えれば、近傍画素間で、カラー画素値の差が大きい場合には、主要被写体領域と背景領域の境界らしいことを意味し、画素ｖとその周辺画素ｕとで、領域ラベル値が異なる方向に制御される。

【0047】

以上の定義を用いて、入力画像の各画素ｖごとに、数６式によって、ソースｓと各画素ｖとを結ぶｔ−ｌｉｎｋのコスト値（主要被写体領域らしさ）が算出される。また、数７式によって、シンクｔと各画素ｖとを結ぶｔ−ｌｉｎｋのコスト値（背景領域らしさ）が算出される。さらに、入力画像の各画素ｖごとに、数８式によって、画素ｖとその周辺例えば８方向の各８画素とを結ぶ８本のｎ−ｌｉｎｋのコスト値（境界らしさ）が算出される。

【0048】

そして、理論的には、数１式の領域ラベルベクトルＸの全ての領域ラベル値の０または１の組合せごとに、各領域ラベル値に応じて上記数６式、数７式、および数８式の計算結果が選択されながら数３式のエネルギー関数Ｅ（Ｘ）が計算される。そして、全ての組合せの中でエネルギー関数Ｅ（Ｘ）の値が最小となる領域ラベルベクトルＸを選択することにより、領域ラベルベクトルＸ上で領域ラベル値Ｘ_v ＝０となる画素ｖの集合として、主要被写体領域を得ることができる。

【0049】

しかし実際には、領域ラベルベクトルＸの全ての領域ラベル値の０または１の組合せ数は、２の画素数乗通りあるため、現実的な時間でエネルギー関数Ｅ（Ｘ）の最小化処理を計算することができない。

【0050】

そこで、図４のステップＳ４０４で実行されるＧｒａｐｈ Ｃｕｔｓ法では、次のようなアルゴリズムを実行することにより、エネルギー関数Ｅ（Ｘ）の最小化処理を現実的な時間で計算することを可能にする。
図１１は、上述した数６式、数７式で定義されるｔ−ｌｉｎｋと数８式で定義されるｎ−ｌｉｎｋを有するグラフと、領域ラベルベクトルＸおよびグラフカットとの関係を、模式的に示した図である。図１１では、理解の容易化のために、画素ｖは一次元的に示されている。

【0051】

数３式のエネルギー関数Ｅ（Ｘ）の第１項の計算で、領域ラベルベクトルＸ中の領域ラベル値が０となるべき主要被写体領域中の画素では、数６式と数７式のうち、主要被写体領域中の画素らしい場合により小さな値となる数６式のコスト値のほうが小さくなる。従って、ある画素において、ソースｓ側のｔ−ｌｉｎｋが選択されシンクｔ側のｔ−ｌｉｎｋがカットされて（図１１の１１０２のケース）、数６式を用いて数３式のＥ（Ｘ）の第１項が計算された場合に、その計算結果が小さくなれば、その画素の領域ラベル値としては０が選択される。そして、そのグラフカット状態が採用される。計算結果が小さくならなければ、そのグラフカット状態は採用されず、他のリンクの探索およびグラフカットが試みられる。

【0052】

逆に、領域ラベルベクトルＸ中の領域ラベル値が１となるべき背景領域中の画素では、数６式と数７式のうち、背景領域中の画素らしい場合により小さな値となる数７式のコスト値のほうが小さくなる。従って、ある画素において、シンクｔ側のｔ−ｌｉｎｋが選択されソースｓ側のｔ−ｌｉｎｋはカットされて（図１１の１１０３のケース）、数７式を用いて数３式のＥ（Ｘ）の第１項が計算された場合に、その計算結果が小さくなれば、その画素の領域ラベル値としては１が選択される。そして、そのグラフカット状態が採用される。計算結果が小さくならなければ、そのグラフカット状態は採用されず、他のリンクの探索およびグラフカットが試みられる。

【0053】

一方、数３式のエネルギー関数Ｅ（Ｘ）の第１項の計算に係る上記グラフカット処理により、領域ラベルベクトルＸ中の領域ラベル値が０または１で連続すべき主要被写体領域内部または背景領域内部の画素間では、数８式のコスト値が０となる。従って、数８式の計算結果は、エネルギー関数Ｅ（Ｘ）の第２項のコスト値の計算には影響しない。また、その画素間のｎ−ｌｉｎｋは、数８式がコスト値０を出力するように、カットされずに維持される。

【0054】

ところが、エネルギー関数Ｅ（Ｘ）の第１項の計算に係る上記グラフカット処理により、近傍画素間で、領域ラベル値が０と１の間で変化した場合に、それらの画素間のカラー画素値の差が小さければ、数８式のコスト値が大きくなる。この結果、数３式のエネルギー関数Ｅ（Ｘ）の値が押し上げられる。このようなケースは、同一領域内で第１項の値による領域ラベル値の判定がたまたま反転するような場合に相当する。従って、このようなケースでは、エネルギー関数Ｅ（Ｘ）の値が大きくなって、そのような領域ラベル値の反転は選択されない結果となる。また、この場合には、数８式の計算結果が、上記結果を維持するように、それらの画素間のｎ−ｌｉｎｋは、カットされずに維持される。

【0055】

これに対して、エネルギー関数Ｅ（Ｘ）の第１項の計算に係る上記グラフカット処理により、近傍画素間で、領域ラベル値が０と１の間で変化した場合に、それらの画素間のカラー画素値の差が大きければ、数８式のコスト値が小さくなる。この結果、数３式のエネルギー関数Ｅ（Ｘ）の値が押し下げられる。このようなケースは、それらの画素部分が主要被写体領域と背景領域の境界らしいことを意味している。従って、このようなケースでは、これらの画素間で領域ラベル値を異ならせて、主要被写体領域と背景領域の境界を形成する方向に制御される。また、この場合には、境界の形成状態を安定化するために、それらの画素間のｎ−ｌｉｎｋがカットされて、数３式の第２項のコスト値が０にされる（図１１の１１０４のケース）。

【0056】

以上の判定制御処理が、ソースｓのノードを起点にして、順次各画素のノードをたどりながら繰り返されることにより、図１１の１１０１で示されるようなグラフカットが実行され、図４のステップＳ４０４におけるエネルギー関数Ｅ（Ｘ）の最小化処理が現実的な時間で計算される。この処理の具体的な手法としては、例えば、非特許文献１に記載されている手法を採用することができる。

【0057】

そして、各画素ごとに、ソースｓ側のｔ−ｌｉｎｋが残っていれば、その画素の領域ラベル値として０、すなわち主要被写体領域の画素を示すラベルが付与される。逆に、シンクｔ側のｔ−ｌｉｎｋが残っていれば、その画素の領域ラベル値として１、すなわち背景領域の画素を示すラベルが付与される。最終的に、領域ラベル値が０となる画素の集合として、主要被写体領域が得られる。

【0058】

図１２は、上述した動作原理に基づく図４のステップＳ４０３のデータ項の更新１の処理の詳細を示すフローチャートである。

【0059】

まず、ステップＳ４０２で得られた初期ズーム領域の画像から、カラー画素値Ｉ（Ｖ）が１つずつ読み込まれる（図１２のステップＳ１２０１）。

【0060】

次に、ステップＳ１２０１で読み込まれた画素が、図４のステップＳ４０１でユーザによってタッチ指定されたズーム対象領域の中心に関する周囲画素であるか否かが判定される（図１２のステップＳ１２０２）。

【0061】

ステップＳ１２０２の判定がＮＯの場合には、前述した数６式、数７式、および数８式に基づいて、主要被写体領域らしさを示すコスト値、背景領域らしさを示すコスト値、および境界らしさを示すコスト値が、それぞれ算出される（図１２のステップＳ１２０３、Ｓ１２０４、およびＳ１２０５）。なお、θ（ｃ、０）の初期値は、学習用に用意した複数枚（数百枚程度）の主要被写体の領域から算出される。同様に、θ（ｃ、１）の初期値は、学習用に用意した複数枚（数百枚程度）の背景の領域から算出される。

【0062】

一方、ステップＳ１２０２の判定がＹＥＳの場合には、タッチ指定された画素を含むその周囲の画素は、確実に主要被写体領域であると言える。このため、タッチ指定された画素を含むその周囲領域が確実に主要被写体領域と判定されるようにするために、主要被写体領域らしさを示すコスト値ｇ_v (Ｘ_v )が、次式のようにゼロとされる（図１２のステップＳ１２０６）。

【数9】

【0063】

また、タッチ指定された画素を含むその周囲領域が確実に主要被写体領域と判定されるようにするために、背景領域らしさを示すコスト値ｇ_v (Ｘ_v )が、次式のように値Ｋとされる。

【数10】

ここで、Ｋは、次式に示されるように、任意のピクセルの平滑化項の総和よりも大きい値を設定しておく（以上、図１２のステップＳ１２０７）。

【数11】

【0064】

さらに、タッチ指定された画素を含むその周囲領域内は全て主要被写体領域であるため、ｈ_uv（Ｘ_u ,Ｘ_v ）の値は０とされる（図１２のステップＳ１２０８）。

【0065】

以上の処理の後、画像内に処理すべき画素が残っているか否かが判定される（図１２のステップＳ１２０９）。

【0066】

処理すべき画素がありステップＳ１２０９の判定がＹＥＳならば、ステップＳ１２０１の処理に戻って、上記処理が繰り返される。

【0067】

処理すべき画素がなくなりステップＳ１２０９の判定がＮＯになると、図４のステップＳ４０３のデータ項の更新１の処理が終了する。
その後、図４のステップＳ４０４で、初期ズーム領域の画像内の全ての画素について求まったコスト値を用いて、数３式のエネルギー関数Ｅ（Ｘ）が計算されながら、Ｇｒａｐｈ Ｃｕｔｓアルゴリズムが実行され、主要被写体と背景が領域分割される。

【0068】

図１３は、前述したＧｒａｐｈ Ｃｕｔｓアルゴリズムの動作原理に基づく図４のステップＳ４０６のデータ項の更新２の処理の詳細を示すフローチャートである。このフローチャートにおいて、図１２の場合と同じ処理の部分には同じステップ番号を付してある。

【0069】

まず、ステップＳ４０２で得られた初期ズーム領域の画像から、カラー画素値Ｉ（Ｖ）が１つずつ読み込まれる（図１２のステップＳ１２０１）。

【0070】

次に、ステップＳ１２０１で読み込まれたカラー画素値Ｉ（Ｖ）が主要被写体の画素らしいか否かが、次のようにして判定される。いま、Ｓａｔ（Ｉ（Ｖ））をカラー画素値Ｉ（Ｖ）に対する彩度、θ（Ｉ（Ｖ）、０）をカラー画素値Ｉ（Ｖ）の主要被写体らしさを示すヒストグラムとしたとき、彩度Ｓａｔ（Ｉ（Ｖ））が所定の彩度閾値Ｓｔｈ以上であって、かつヒストグラムθ（Ｉ（Ｖ）、０）が所定のヒストグラム閾値θｔｈ以上か否かが判定される（図１３のステップＳ１３０１）。

【0071】

ステップＳ１３０１の判定がＮＯの場合には、図１２の場合と同様に、前述した数６式、数７式、および数８式に基づいて、主要被写体領域らしさを示すコスト値、背景領域らしさを示すコスト値、および境界らしさを示すコスト値が、それぞれ算出される（図１２のステップＳ１２０３、Ｓ１２０４、およびＳ１２０５）。

【0072】

一方、ステップＳ１３０１の判定がＹＥＳの場合には、ステップＳ１２０１で読み込まれたカラー画素値Ｉ（Ｖ）は、前回までの処理により得られている主要被写体領域の周囲の画素であって、やはり主要被写体領域である可能性が高いと言える。このため、タッチ指定された画素を含むその周囲領域が確実に主要被写体領域と判定されやすくするために、主要被写体領域らしさを示すコスト値ｇ_v (Ｘ_v )が、次のように修正される。
まず、主要被写体領域らしさを示すコスト値ｇ_v (０)が背景領域らしさを示すコスト値ｇ_v (１)よりも大きいか否かが判定される（図１３のステップＳ１３０２）。
ｇ_v (０)＞ｇ_v (１)であってステップＳ１３０２の判定がＹＥＳならば、主要被写体領域らしさを示すコスト値ｇ_v (０)が背景領域らしさを示すコスト値ｇ_v (１)の半分の値に修正される（図１３のステップＳ１３０３）。すなわち、数７式より、
ｇ_v (Ｘ_v )＝ｇ_v (０)＝ｇ_v (１)／２＝−ｌｏｇθ（Ｉ（Ｖ）、１）／２
とされる。
一方、ｇ_v (０)＞ｇ_v (１)ではなくステップＳ１３０２の判定がＮＯならば、主要被写体領域らしさを示すコスト値ｇ_v (０)が元の自身の値の半分の値に修正される（図１３のステップＳ１３０４）。すなわち、数６式より、
ｇ_v (Ｘ_v )＝ｇ_v (０)＝ｇ_v (０)／２＝−ｌｏｇθ（Ｉ（Ｖ）、０）／２
とされる。

【0073】

また、背景領域らしさを示すコスト値ｇ_v (Ｘ_v )については、前述したステップＳ１２０４によって算出される。

【0074】

ｈ_uv（Ｘ_u ,Ｘ_v ）の値は、前述したステップＳ１２０５によって算出される。

【0075】

以上の処理の後、画像内の今回処理した画素の近傍に似ている色の画素が残っているか否かが判定される（図１３のステップＳ１３０５）。似ている色とは、例えば、２５６階調のＲＧＢ値を各色１０階調へ減色した際に同じＲＧＢ値となる色とする。

【0076】

処理すべき画素がありステップＳ１３０５の判定がＹＥＳならば、ステップＳ１２０１の処理に戻って、上記処理が繰り返される。

【0077】

処理すべき画素がなくなりステップＳ１３０５の判定がＮＯになると、図４のステップＳ４０６のデータ項の更新２の処理が終了する。
その後、図４のステップＳ４０４で、初期ズーム領域の画像内の全ての画素について求まったコスト値を用いて、数３式のエネルギー関数Ｅ（Ｘ）が計算されながら、Ｇｒａｐｈ Ｃｕｔｓアルゴリズムが実行され、主要被写体と背景が領域分割される。

【0078】

以上のようにして本実施形態では、領域分割の精度を向上させることが可能となる。

【0079】

本実施形態では、主要被写体として花を例に説明したが、花に限られず、様々なオブジェクトを採用することができる。

【0080】

本実施形態では、主要被写体の検索を目的とするシステムについて説明したが、画角調整が必要となる様々なシステムに適用可能である。

【0081】

以上の実施形態に関して、更に以下の付記を開示する。
（付記１）
画像内で主要被写体が適正画角となるように該主要被写体に対する画角を調整する画角調整装置であって、
目標画角の中心位置を指定する位置指定手段と、
前記画像内の各画素値に基づいて前記主要被写体と該主要被写体以外の背景を領域分割する処理を実行し、前記中心位置の周囲画素については前記主要被写体の領域に領域分割する第１の領域分割手段と、
前記画像内の各画素値に基づいて前記主要被写体と該主要被写体以外の背景を領域分割する処理を実行し、前記第１の領域分割手段により領域分割された主要被写体の周囲の各画素については前記主要被写体の領域に領域分割する度合いを高める処理を所定の終了条件に達するまで繰り返し実行する第２の領域分割手段と、
前記第２の領域分割手段により領域分割された主要被写体を囲む外接矩形枠を基準として該主要被写体に対する画角を調整する画角調整手段と、
を備えることを特徴とする画角調整装置。
（付記２）
前記位置指定手段は、ユーザーに中心位置を指定させる手段であることを特徴とする付記１に記載の画角調整装置。
（付記３）
前記位置指定手段は、前記画像を表示するタッチ入力機能付きディスプレイ上で、前記目標画角の中心位置を前記ユーザにタッチ指定させる、
ことを特徴とする付記２に記載の画角調整装置。
（付記４）
前記中心位置から前記画像の上下左右の端へ向かって伸ばした４本の線分のうち最も短い線分の長さだけ、前記中心位置から前記上下左右の方向にそれぞれ広げた大きさの矩形をズーム領域とし、該ズーム領域のアスペクト比を保った状態で画面の中央に収まるようにズームアップを実行し、該ズームアップ後の初期ズーム領域とする初期ズーム手段を更に備え、
前記画角の調整を前記初期ズーム領域に対して実行し、
前記第２の領域分割手段により領域分割された主要被写体の領域のいずれかの境界が前記初期ズーム領域の端に達したことを前記所定の終了条件とする、
ことを特徴とする付記１ないし３のいずれかに記載の画角調整装置。
（付記５）
前記第１の領域分割手段は、前記画像内の各画素に付与する前記主要被写体または前記背景を示す領域ラベルを更新しながら、該領域ラベルと該各画素の画素値に基づき、前記主要被写体を示す画像から算出した前記画素値ごとの第１のヒストグラムの値が大きいほど値が小さくなる第１のコスト項と、前記背景を示す画像から算出した前記画素値ごとの第２のヒストグラムの値が大きいほど値が小さくなる第２のコスト項を含み、前記中心位置に関する周囲画素については前記第１のコスト項の値がゼロとなるエネルギー関数の最小化処理により、前記画像内で前記主要被写体と前記背景を領域分割する、
ことを特徴とする付記１ないし４のいずれかに記載の画角調整装置。
（付記６）
前記第２の領域分割手段は、前記画像内の各画素に付与する前記主要被写体または前記背景を示す領域ラベルを更新しながら、該領域ラベルと該各画素の画素値に基づき、前記第１のヒストグラムの値が大きいほど値が小さくなる第１のコスト項と、前記第２のヒストグラムの値が大きいほど値が小さくなる第２のコスト項を含み、前記画素の画素値をビン値とする前記第１のヒストグラムの値が所定のヒストグラム閾値に比較して大きくかつ前記画素値の彩度が所定の彩度閾値に比較して大きい場合に、前記第１のコスト項がより小さくなるエネルギー関数の最小化処理により、前記画像内で前記主要被写体と前記背景を領域分割する、
ことを特徴とする付記５に記載の画角調整装置。
（付記７）
前記第１の領域分割手段および前記第２の領域分割手段は、Ｇｒａｐｈ Ｃｕｔｓ法により前記エネルギー関数の最小化処理を実行する、
ことを特徴とする付記６に記載の画角調整装置。
（付記８）
画像内で主要被写体が適正画角となるように該主要被写体に対する画角を調整する画角調整方法であって、
目標画角の中心位置をユーザに指定させる位置指定ステップと、
前記画像内の各画素値に基づいて前記主要被写体と該主要被写体以外の背景を領域分割する処理を実行し、前記中心位置の周囲画素については前記主要被写体の領域に領域分割する第１の領域分割ステップと、
前記画像内の各画素値に基づいて前記主要被写体と該主要被写体以外の背景を領域分割する処理を実行し、前記第１の領域分割ステップにより領域分割された主要被写体の周囲の各画素については前記主要被写体の領域に領域分割する度合いを高める処理を所定の終了条件に達するまで繰り返し実行する第２の領域分割ステップと、
前記第２の領域分割ステップにより領域分割された主要被写体を囲む外接矩形枠を基準として該主要被写体に対する画角を調整する画角調整ステップと、
を実行することを備えることを特徴とする画角調整方法。
（付記９）
画像内で主要被写体が適正画角となるように該主要被写体に対する画角を調整するコンピュータに、
目標画角の中心位置をユーザに指定させる位置指定ステップと、
前記画像内の各画素値に基づいて前記主要被写体と該主要被写体以外の背景を領域分割する処理を実行し、前記中心位置の周囲画素については前記主要被写体の領域に領域分割する第１の領域分割ステップと、
前記画像内の各画素値に基づいて前記主要被写体と該主要被写体以外の背景を領域分割する処理を実行し、前記第１の領域分割ステップにより領域分割された主要被写体の周囲の各画素については前記主要被写体の領域に領域分割する度合いを高める処理を所定の終了条件に達するまで繰り返し実行する第２の領域分割ステップと、
前記第２の領域分割ステップにより領域分割された主要被写体を囲む外接矩形枠を基準として該主要被写体に対する画角を調整する画角調整ステップと、
を実行させるためのプログラム。

【符号の説明】

【0082】

１０１ 位置指定手段
１０２ 第１の領域分割手段
１０３ 第２の領域分割手段
１０４ 画角調整手段
３０１ 画角調整装置
３０２ ＣＰＵ
３０３ ＲＯＭ
３０４ ＲＡＭ
３０５ 外部記憶装置
３０６ 通信インタフェース
３０７ 入力装置
３０８ 表示装置
３０９ 可搬記録媒体駆動装置
３１０ 可搬記録媒体
３１１ バス
３１２ 撮像装置

【図1】

【図3】

【図4】

【図12】

【図13】

【図2】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】