特許 6136130 画像領域分割装置、方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6136130

(24)【登録日】2017年5月12日

(45)【発行日】2017年5月31日

(54)【発明の名称】画像領域分割装置、方法、およびプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20170522BHJP

【ＦＩ】

   G06T7/00 200Z

【請求項の数】9

【全頁数】25

(21)【出願番号】特願2012-147509(P2012-147509)

(22)【出願日】2012年6月29日

(65)【公開番号】特開2014-10682(P2014-10682A)

(43)【公開日】2014年1月20日

【審査請求日】2015年5月18日

(73)【特許権者】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】100074099

【弁理士】

【氏名又は名称】大菅 義之

(72)【発明者】

【氏名】中込 浩一

(72)【発明者】

【氏名】松永 和久

(72)【発明者】

【氏名】二瓶 道大

(72)【発明者】

【氏名】広浜 雅行

【審査官】 佐藤 実

(56)【参考文献】

【文献】 特開２０１２−０２７７１３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００ − ７／９０

(57)【特許請求の範囲】

【請求項1】

画像内で指定された画像範囲内の主要オブジェクトと該主要オブジェクト以外の背景を領域分割する装置であって、
前記画像範囲内の各画素に付与する前記主要オブジェクトまたは前記背景を示す領域ラベルを更新しながら、該領域ラベルと前記各画素の画素値に基づき、前記主要オブジェクトらしさまたは背景らしさを示すデータ項と、隣接画素間の前記領域ラベルの滑らかさを示す平滑化項と、前記データ項または前記平滑化項の少なくともいずれかに前回の領域分割の結果に応じて算出され前記各画素の位置に応じた画素位置重み値を付加する画素位置重み関数とを含むエネルギー関数の最小化処理により、前記画像内で前記主要オブジェクトと前記背景を領域分割する領域分割手段と、
前記領域分割手段により前回領域分割された前記主要オブジェクトの領域が前記画像範囲内で占める割合が増加するほど、前記画像範囲の中央から前記画像範囲の境界部分に向かって前記画素位置重み値が減少する関数を算出し、該関数を前記領域分割手段における次回の領域分割のための前記画素位置重み関数として更新する画素位置重み関数更新手段と、
を備え、
前記画素位置重み関数は、前記領域分割手段により前回領域分割された前記主要オブジェクトの領域が前記画像範囲内で占める割合が増加するほど減少する特性を有する分散値を有し、前記画像範囲の中央から前記画像範囲の境界部分に向かって前記分散値に従ってガウス関数的に前記画素位置重み値が減少する関数であり、
前記領域分割手段および前記画素位置重み関数更新手段による処理を繰り返し実行する、
ことを特徴とする画像領域分割装置。

【請求項2】

画像内で指定された画像範囲内の主要オブジェクトと該主要オブジェクト以外の背景を領域分割する装置であって、
前記画像範囲内の各画素に付与する前記主要オブジェクトまたは前記背景を示す領域ラベルを更新しながら、該領域ラベルと前記各画素の画素値に基づき、前記主要オブジェクトらしさまたは背景らしさを示すデータ項と、隣接画素間の前記領域ラベルの滑らかさを示す平滑化項と、前記データ項または前記平滑化項の少なくともいずれかに前回の領域分割の結果に応じて算出され前記各画素の位置に応じた画素位置重み値を付加する画素位置重み関数とを含むエネルギー関数の最小化処理により、前記画像内で前記主要オブジェクトと前記背景を領域分割する領域分割手段と、
前記領域分割手段により前回領域分割された前記主要オブジェクトの領域が前記画像範囲内で占める割合が増加するほど、前記画像範囲の中央から前記画像範囲の境界部分に向かって前記画素位置重み値が減少する関数を算出し、前記領域分割手段における次回の領域分割のための前記画素位置重み関数として更新する画素位置重み関数更新手段と、
を備え、
前記画素位置重み関数は、前記領域分割手段により前回領域分割された前記主要オブジェクトの領域が前記画像範囲内で占める割合が増加するほど減少する特性を有し、前記画像範囲の中央から前記画像範囲の境界部分に向かって前記画素位置重み値が減少する関数であり、
前記領域分割手段および前記画素位置重み関数更新手段による処理を繰り返し実行する、
ことを特徴とする画像領域分割装置。

【請求項3】

前記画素位置重み関数更新手段は、前記分散値として、前記主要オブジェクトの領域が前記画像範囲の境界部分に接する割合が増加するほど減少する特性を有する分散値を算出する、
ことを特徴とする請求項１に記載の画像領域分割装置。

【請求項4】

前記画素位置重み関数更新手段は、
前記分散値として、前記主要オブジェクトの領域が前記画像範囲の垂直方向の境界部分に接する割合が増加するほど減少する特性を有する第１の分散値と、前記主要オブジェクトの領域が前記画像範囲の水平方向の境界部分に接する割合が増加するほど減少する特性を有する第２の分散値を算出し、
前記画像範囲の中央から前記画像範囲の水平方向の境界部分に向かって前記第１の分散値に従ってガウス関数的に前記画素位置重み値が減少し、前記画像範囲の中央から前記画像範囲の垂直方向の境界部分に向かって前記第２の分散値に従ってガウス関数的に前記画素位置重み値が減少する関数として前記画素位置重み関数を更新する、
ことを特徴とする請求項３に記載の画像領域分割装置。

【請求項5】

前記画素位置重み関数更新手段は、前記分散値として、前記主要オブジェクトの領域が前記画像範囲内で占める面積の割合が増加するほど減少する特性を有する分散値を算出する、
ことを特徴とする請求項１に記載の画像領域分割装置。

【請求項6】

前記領域分割手段は、Ｇｒａｐｈ Ｃｕｔｓ法により前記エネルギー関数の最小化処理を実行する、
ことを特徴とする請求項１ないし５のいずれかに記載の画像領域分割装置。

【請求項7】

画像内で指定された画像範囲内の主要オブジェクトと該主要オブジェクト以外の背景を領域分割する方法であって、
前記画像範囲内の各画素に付与する前記主要オブジェクトまたは前記背景を示す領域ラベルを更新しながら、該領域ラベルと前記各画素の画素値に基づき、前記主要オブジェクトらしさまたは背景らしさを示すデータ項と、隣接画素間の前記領域ラベルの滑らかさを示す平滑化項と、前記データ項または前記平滑化項の少なくともいずれかに前回の領域分割の結果に応じて算出され前記各画素の位置に応じた画素位置重み値を付加する画素位置重み関数とを含むエネルギー関数の最小化処理により、前記画像内で前記主要オブジェクトと前記背景を領域分割する領域分割ステップと、
前記領域分割ステップにより前回領域分割された前記主要オブジェクトの領域が前記画像範囲内で占める割合が増加するほど、前記画像範囲の中央から前記画像範囲の境界部分に向かって前記画素位置重み値が減少する関数を算出し、該関数を前記領域分割ステップにおける次回の領域分割のための前記画素位置重み関数として更新する画素位置重み関数更新ステップと、
を繰り返し実行し、
前記画素位置重み関数は、前記領域分割ステップにより前回領域分割された前記主要オブジェクトの領域が前記画像範囲内で占める割合が増加するほど減少する特性を有する分散値を有し、前記画像範囲の中央から前記画像範囲の境界部分に向かって前記分散値に従ってガウス関数的に前記画素位置重み値が減少する関数である
ことを特徴とする画像領域分割方法。

【請求項8】

画像内で指定された画像範囲内の主要オブジェクトと該主要オブジェクト以外の背景を領域分割する処理を実行するコンピュータに、
前記画像範囲内の各画素に付与する前記主要オブジェクトまたは前記背景を示す領域ラベルを更新しながら、該領域ラベルと前記各画素の画素値に基づき、前記主要オブジェクトらしさまたは背景らしさを示すデータ項と、隣接画素間の前記領域ラベルの滑らかさを示す平滑化項と、前記データ項または前記平滑化項の少なくともいずれかに前回の領域分割の結果に応じて算出され前記各画素の位置に応じた画素位置重み値を付加する画素位置重み関数とを含むエネルギー関数の最小化処理により、前記画像内で前記主要オブジェクトと前記背景を領域分割する領域分割ステップと、
前記領域分割ステップにより前回領域分割された前記主要オブジェクトの領域が前記画像範囲内で占める割合が増加するほど、前記画像範囲の中央から前記画像範囲の境界部分に向かって前記画素位置重み値が減少する関数を算出し、該関数を前記領域分割ステップにおける次回の領域分割のための前記画素位置重み関数として更新する画素位置重み関数更新ステップと、
を繰り返し実行させ、
前記画素位置重み関数は、前記領域分割ステップにより前回領域分割された前記主要オブジェクトの領域が前記画像範囲内で占める割合が増加するほど減少する特性を有する分散値を有し、前記画像範囲の中央から前記画像範囲の境界部分に向かって前記分散値に従ってガウス関数的に前記画素位置重み値が減少する関数である
ことを特徴とするプログラム。

【請求項9】

画像内で指定された画像範囲内の主要オブジェクトと該主要オブジェクト以外の背景をコスト関数最適化により領域分割する方法であって、
前記画像内で、前記指定された画像範囲内の前記主要オブジェクトの領域を設定する第１ステップと、
コスト関数最適化の繰り返しにより、前記の主要オブジェクトの領域を切り抜く際に、直前の切り抜き結果と前記主要オブジェクトの領域の位置関係に応じて、次回のコスト関数最適化のデータ項・平滑化項への重み付けを適応的に変化させる第２ステップと
を繰り返し実行し、
前記第１ステップにおける前記主要オブジェクトの領域は矩形枠で表され、
前記第２ステップは、前記直前の切り抜き結果と前記主要オブジェクトの領域の前記矩形枠の接触状態に応じて、次回のコスト関数最適化のデータ項・平滑化項への重み付けを適応的に変化させることを特徴とする画像領域分割方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像内の主要オブジェクトとそれ以外の背景を領域分割する装置、方法、およびプログラムに関する。

【背景技術】

【0002】

野山や道端で見かけた花の名前を知りたくなることがある。そこで、撮影等により得た花のディジタル画像より、クラスタリング法を用いて対象物である花の画像を抽出し、その抽出された花の画像より得られる情報を特徴量とする。単数または複数の特徴量を求め、その求められた特徴量と、あらかじめデータベースに登録してある各種の植物の特徴量とを統計的手法を用いて解析して野草の種類を判別する技術が提案されている（例えば特許文献１に記載の技術）。

【0003】

また、主要オブジェクトを含む画像をＧｒａｐｈ Ｃｕｔｓ法を用いて主要オブジェクトと背景とに分割する従来技術が知られている（例えば非特許文献１、特許文献２に記載の技術）。領域分割を行う場合，主要オブジェクトと背景の関係によりその境界が不明確な部分が存在する可能性があり，最適な領域分割を行う必要がある。そこで、この従来技術では、領域分割をエネルギーの最小化問題としてとらえ、その最小化手法を提案している。この従来技術では，領域分割に適合するようにグラフを作成し、そのグラフの最小カットを求めることにより、エネルギー関数の最小化を行う。この最小カットは、最大フローアルゴリズムを用いることにより、効率的な領域分割計算を実現している。

【0004】

Ｇｒａｐｈ Ｃｕｔｓ法を用いて主要オブジェクトと背景を分割する手法では、画像内の各画素に付与する主要オブジェクトまたは背景を示す領域ラベルを更新しながら、その領域ラベルと各画素の画素値に基づいて領域分割を行う手法が知られている。この場合例えば、次のようなコスト項を含むエネルギー関数が定義される。まず、主要オブジェクトを示す画像から算出した例えばカラー画素値ごとのヒストグラムの値が大きいほど値が小さくなるコスト項が含まれる。また、背景を示す画像から算出した例えばカラー画素値ごとのヒストグラムの値が大きいほど値が小さくなるコスト項が含まれる。そして、そのエネルギー関数の最小化処理により、画像内で主要オブジェクトと背景が領域分割される（以上、例えば非特許文献１に記載の手法）。

【0005】

また、Ｇｒａｐｈ Ｃｕｔｓ法だけでは主要オブジェクトと背景の分割が難しい場合がある。このため、例えばいわゆるスマートフォンなどへの実装では、ユーザが、例えば撮像装置で撮像した画像に対し、認識したい物体（例えば花）が存在するおおよその領域に対して、例えばタッチパネル等の入力装置を用いて矩形枠を指定する機能が実装される。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２００２−２０３２４２号公報

【特許文献2】特開２０１１−３５６３６号公報

【非特許文献】

【0007】

【非特許文献1】Ｙ．Ｂｏｙｋｏｖ ａｎｄ Ｇ．Ｆｕｎｋａ−Ｌｅａ：“Ｉｎｔｅｒａｃｔｉｖｅ Ｇｒａｐｈ Ｃｕｔｓ ｆｏｒ Ｏｐｔｉｍａｌ Ｂｏｕｎｄａｒｙ ＆ Ｒｅｇｉｏｎ Ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ Ｏｂｊｅｃｔｓ ｉｎ Ｎ−Ｄ Ｉｍａｇｅｓ”，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ “Ｉｎｔｅｒｎａｔｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ”，Ｖａｎｃｏｕｖｅｒ，Ｃａｎａｄａ，ｖｏｌ．Ｉ，ｐ．１０５−１１２，Ｊｕｌｙ ２００１．

【発明の概要】

【発明が解決しようとする課題】

【0008】

ここで、花画像などの場合、ユーザが例えば矩形枠の画像範囲を指定するときには、主要オブジェクトとなる花が矩形枠内に適度に収まるように指定するのが通常である。一方、入力画像としては、例えば主要オブジェクトとなる花が他の背景物からきちんと独立している場合もあれば、主要オブジェクトとなる花に近接して葉があったり、背景となる領域にも主要オブジェクトとなる花と同じ花が群生しているような場合もある。これらの各種ケースによって領域分割のアルゴリズムが影響を受け、領域分割によって、主要オブジェクトの領域が矩形枠をはみ出すように算出されてしまったり、逆に主要オブジェクトの領域が矩形枠の中央部分の狭い領域として算出されてしまったりする。
このような場合に、従来は、主要オブジェクトとなる花が矩形枠内に適度に収まるように領域分割処理を修正する手法がなく、最終的に得られる領域分割の精度が低下してしまうという問題点を有していた。

【0009】

本発明は、誤った領域分割を修正して最終的な領域分割の精度を向上させることを目的とする。

【課題を解決するための手段】

【0010】

態様の一例では、画像内で指定された画像範囲内の主要オブジェクトと該主要オブジェクト以外の背景を領域分割する装置であって、前記画像範囲内の各画素に付与する前記主要オブジェクトまたは前記背景を示す領域ラベルを更新しながら、該領域ラベルと前記各画素の画素値に基づき、前記主要オブジェクトらしさまたは背景らしさを示すデータ項と、隣接画素間の前記領域ラベルの滑らかさを示す平滑化項と、前記データ項または前記平滑化項の少なくともいずれかに前回の領域分割の結果に応じて算出され前記各画素の位置に応じた画素位置重み値を付加する画素位置重み関数とを含むエネルギー関数の最小化処理により、前記画像内で前記主要オブジェクトと前記背景を領域分割する領域分割手段と、前記領域分割手段により前回領域分割された前記主要オブジェクトの領域が前記画像範囲内で占める割合が増加するほど、前記画像範囲の中央から前記画像範囲の境界部分に向かって前記画素位置重み値が減少する関数を算出し、該関数を前記領域分割手段における次回の領域分割のための前記画素位置重み関数として更新する画素位置重み関数更新手段と、を備え、前記画素位置重み関数は、前記領域分割手段により前回領域分割された前記主要オブジェクトの領域が前記画像範囲内で占める割合が増加するほど減少する特性を有する分散値を有し、前記画像範囲の中央から前記画像範囲の境界部分に向かって前記分散値に従ってガウス関数的に前記画素位置重み値が減少する関数であり、前記領域分割手段および前記画素位置重み関数更新手段による処理を繰り返し実行する。

【発明の効果】

【0011】

本発明によれば、誤った領域分割を修正して最終的な領域分割の精度を向上させることが可能となる。

【図面の簡単な説明】

【0012】

【図1】本発明の一実施形態に係る画像領域分割装置のハードウェア構成例を示すブロック図である。

【図2】図１の画像領域分割装置の機能的構成を示す機能ブロック図である。

【図3】本実施形態の説明図である。

【図4】本実施形態による画像領域分割処理の全体動作を示すフローチャートである。

【図5】重み付き有向グラフの説明図である。

【図6】ヒストグラムθの説明図である。

【図7】ｈ_uv（Ｘ_u ,Ｘ_v ）の特性図である。

【図8】ｔ−ｌｉｎｋとｎ−ｌｉｎｋを有するグラフと、領域ラベルベクトルＸおよびグラフカットとの関係を、模式的に示した図である。

【図9】領域分割処理を示すフローチャートである。

【図10】画素位置重み関数更新処理を示すフローチャートである。

【図11】標準偏差の算出処理の説明図である。

【図12】標準偏差の特性例を示す図である。

【図13】画素位置重み関数の説明図である。

【発明を実施するための形態】

【0013】

以下、本発明を実施するための形態について図面を参照しながら詳細に説明する。

【0014】

図１は、本発明の一実施形態に係る画像領域分割装置１０１のハードウェア構成例を示すブロック図である。

【0015】

この画像領域分割装置１０１は例えば、いわゆるスマートフォンなどの携帯情報端末であるコンピュータシステム上に実現される。

【0016】

画像領域分割装置１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：中央演算処理装置）１０２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０３と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０４を備える。また、画像領域分割装置１０１は、ソリッド記憶装置等の外部記憶装置１０５と、通信インタフェース１０６と、タッチパネルディスプレイ装置などの入力装置１０７および表示装置１０８を備える。さらに、画像領域分割装置１０１は、マイクロＳＤメモリカードやＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリカードなどの可搬記録媒体１１０をセット可能な可搬記録媒体駆動装置１０９を備える。撮像装置１１２は、静止画像やビデオ画像を撮像することのできるデジタルカメラ機構であり、レンズ、オートフォーカス駆動制御装置、露出制御装置、撮像センサ等を備える。上述の各機器１０２〜１０９および１１２は、バス１１１によって相互に接続される。

【0017】

ＲＯＭ１０３には、スマートフォン全体の一般的な動作を制御するプログラムのほか、後述する図４、図９、および図１０のフローチャートによって示される画像領域分割処理の制御プログラムが記憶されている。ＣＰＵ１０２は、ＲＯＭ１０３から、この制御プログラムを読み出し、ＲＡＭ１０４をワークメモリとして実行する。これにより、後述する図２の機能ブロックで示される画像領域分割機能が実現され、この結果、例えばユーザが、撮像装置１１２によって花などを撮像し、入力装置１０７で範囲してした画像範囲から、花などの主要オブジェクトをそれ以外の背景から分割する画像領域分割処理が実行される。これにより得られた花などの主要オブジェクト領域の画像データは、ユーザが例えば花の種類を検索するために、通信インタフェース１０６から特には図示しないインターネットを経由してインターネットに接続される画像検索サーバコンピュータに送信される。このコンピュータ上で、送られた主要オブジェクト領域の花画像データに基づいて花のデータベースが検索される。その結果検索がヒットした花の図鑑情報が、その花の画像データとともにインターネットを経由して通信インタフェース１０６にて受信され、表示装置１０８に表示される。
なお、本実施形態による画像領域分割装置１０１は、携帯情報端末上ではなく、上記サーバコンピュータ上などに実現されてもよい。

【0018】

図２は、図１の画像領域分割装置１０１の機能的構成を示す機能ブロック図である。
本実施形態における画像領域分割装置１０１は、画像内で、例えばユーザにより矩形枠指定された画像範囲内の花などの主要オブジェクトとその主要オブジェクト以外の背景を領域分割する装置として実現される。

【0019】

領域分割手段２０１は、例えばユーザにより矩形枠として指定された画像範囲内の各画素に付与する主要オブジェクトまたは背景を示す領域ラベルを更新しながら、その領域ラベルと各画素の画素値に基づき、主要オブジェクトらしさまたは背景らしさを示すデータ項２０３と、隣接画素間の領域ラベルの滑らかさを示す平滑化項２０４と、データ項２０３または平滑化項２０４の少なくともいずれかに前回の領域分割の結果に応じて算出され各画素の位置に応じた画素位置重み値を付加する画素位置重み関数２０５とを含むエネルギー関数の最小化処理により、画像内で主要オブジェクトと背景を領域分割する。この領域分割手段２０１は例えば、Ｇｒａｐｈ Ｃｕｔｓ法によりエネルギー関数の最小化処理を実行する。

【0020】

画素位置重み関数更新手段２０２は、領域分割手段２０１により前回領域分割された主要オブジェクトの領域が画像範囲内で占める割合が増加するほど、画像範囲の中央から画像範囲の境界部分に向かって画素位置重み値が減少する関数を算出し、その関数を領域分割手段２０１における次回の領域分割のための画素位置重み関数２０５として更新する。この画素位置重み関数は例えば、領域分割手段２０１により前回領域分割された主要オブジェクトの領域が画像範囲内で占める割合が増加するほど減少する特性を有する分散値を有し、画像範囲の中央から画像範囲の境界部分に向かって分散値に従ってガウス関数的に画素位置重み値が減少する関数である。

【0021】

花画像などの場合、ユーザが例えば矩形枠の画像範囲を指定するときには、主要オブジェクトとなる花が矩形枠内に適度に収まるように指定するのが通常である。一方、入力画像としては、例えば主要オブジェクトとなる花が他の背景物からきちんと独立している場合もあれば、主要オブジェクトとなる花に近接して葉があったり、背景となる領域にも主要オブジェクトとなる花と同じ花が群生しているような場合もある。これらの各種ケースによって領域分割のアルゴリズムが影響を受ける。この結果、領域分割処理によって、例えば図３（ａ）の破線３０１として示されるように、主要オブジェクトの領域が花の中央部分のみしか含まずに矩形枠の中央部分の狭い領域として算出されてしまう場合がある。逆に、例えば図３（ｂ）の破線３０２として示されるように、主要オブジェクトの領域が花の周囲の葉も含んでしまって矩形枠をはみ出すように算出されてしまう場合がある。

【0022】

本実施形態では、領域分割手段２０１における領域分割の繰返し処理ごとに、画素位置重み関数更新手段２０２において画素位置重み関数２０５が算出されて更新される。そして、領域分割手段２０１での次回の領域分割処理において、データ項２０３または平滑化項２０４の少なくともいずれかに、上記更新された画素位置重み関数２０５によって、画像範囲内での各画素の位置に応じた画素位置重み値が付加される。この画素位置重み関数２０５は、主要オブジェクトの領域が例えば矩形枠である画像範囲内で占める割合が増加するほど、画像範囲の中央から画像範囲の境界部分に向かって画素位置重み値が減少する関数として更新される。例えば、前回領域分割された主要オブジェクトの領域が画像範囲内で占める割合が増加するほど減少する特性を有する分散値を有し、画像範囲の中央から画像範囲の境界部分に向かって分散値に従ってガウス関数的に画素位置重み値が減少する関数である。

【0023】

この処理により、領域分割手段２０１での前回の領域分割処理により、例えば図３（ａ）の破線３０１として示されるように、主要オブジェクトとなる花の領域が画像範囲の中央部分の狭い領域として算出されてしまう場合には、主要オブジェクトの領域が画像範囲内で占める割合が減少する。このため、画素位置重み関数更新手段２０２が、その減少に逆行するように、画像範囲の中央からその境界付近にまで広範囲に裾が広がった画素位置重み関数２０５を算出する。この結果、領域分割手段２０１での次回の領域分割処理において、画像範囲の中央からその境界付近まで高い値となる画素位置重み値が、エネルギー関数Ｅ（Ｘ）を構成するデータ項２０３または平滑化項２０４に例えば乗算される。これにより、領域分割手段２０１で計算されるエネルギー関数が、画像範囲の中央から境界ぎりぎりの付近までは高めの値となるため、画像範囲内の中央から境界側にかなり寄った部分で主要オブジェクトの領域が領域分割されるように、フィードバック制御がかかり、正しく領域分割が行われるようになる。

【0024】

逆に、領域分割手段２０１での前回の領域分割処理により、例えば図３（ｂ）の破線３０２として示されるように、主要オブジェクトとなる花の領域が矩形枠いっぱいの領域として算出されてしまう場合には、主要オブジェクトの領域が画像範囲内で占める割合が増加する。このため、画素位置重み関数更新手段２０２が、その増加に逆行するように、画像範囲の中央からの広がりかたが少なく裾が急速に減少するガウス関数である画素位置重み関数２０５を算出する。この結果、領域分割手段２０１での次回の領域分割処理において、画像範囲の中央から急速に減少する画素位置重み値が、エネルギー関数Ｅ（Ｘ）を構成するデータ項２０３または平滑化項２０４に例えば乗算される。これにより、領域分割手段２０１で計算されるエネルギー関数が、画像範囲の中央から少しの範囲で低い値となるため、画像範囲内の中央から少しの範囲をすぎたところで領域分割が行われるように、フィードバック制御がかかり、正しく領域分割が行われるようになる。

【0025】

画素位置重み関数２０５は例えば、以下のようにして算出できる。まず、現時点で算出されている主要オブジェクトの領域が例えば矩形枠の境界部分に接する割合が増加するほど減少する特性を有する分散値が算出される。具体的には、この分散値としては、現時点で算出されている主要オブジェクトの領域が画像範囲である例えば矩形枠の垂直方向の境界部分に接する割合が増加するほど減少する特性を有する第１の分散値と、主要オブジェクトの領域が矩形枠の水平方向の境界部分に接する割合が増加するほど減少する特性を有する第２の分散値として算出できる。この場合の画素位置重み関数２０５としては、矩形枠の中央から矩形枠の水平方向の境界部分に向かって第１の分散値に従ってガウス関数的に画素位置重み値が減少し、矩形枠の中央から矩形枠の垂直方向の境界部分に向かって第２の分散値に従ってガウス関数的に画素位置重み値が減少する関数として算出、更新できる。あるいは、上述の分散値としては例えば、現時点で算出されている主要オブジェクトの領域が例えば矩形枠内で占める面積の割合が増加するほど減少する特性を有する分散値として算出できる。

【0026】

以上のようにして、領域分割手段２０１による領域分割処理と画素位置重み関数更新手段２０２による画素位置重み関数２０５の更新処理が繰り返し実行されることにより、主要オブジェクト領域と背景領域がより正確に領域分割されるように収束させることが可能となる。

【0027】

図４は、本実施形態による画像領域分割処理の全体動作を示すフローチャートである。このフローチャートの処理は、図９および図１０の詳細処理を示すフローチャートの処理とともに、図１のＣＰＵ１０２が、ＲＯＭ１０３に記憶された制御プログラムを、ＲＡＭ１０４をワークメモリとして使用しながら実行する処理として実現される。

【0028】

まず、矩形枠決定処理が実行される（図４のステップＳ４０１）。この処理では、ユーザが、例えば図１の撮像装置１１２にて撮像した画像に対して、認識したい物体（例えば花）が存在するおおよその領域に対して、例えばタッチパネル等の入力装置１０７を用いて、矩形枠を指定する。例えば、タッチパネル上での、指によるスライド動作である。

【0029】

次に、画素位置重み関数初期化処理が実行される（図４のステップＳ４０２）。この処理では、領域分割処理においてエネルギー関数のデータ項２０３および平滑化項２０４に乗算される画素位置重み関数の値が、全ての画素位置に関して均等な値（例えば“１”）に設定される。

【0030】

続いて、画像範囲内の各画素に対して、主要オブジェクトと背景を領域分割する領域分割処理（グラフカット処理）が実行される（図４のステップＳ４０３）。この領域分割処理は、図２の領域分割手段２０１の機能を実現する。この処理の詳細については、図５から図９で後述する。

【0031】

一度領域分割処理が終了した後、収束判定が行われる（図４のステップＳ４０４）。この収束判定は、以下のいずれかが満たされたときに、ＹＥＳの判定結果となる。
・繰り返し回数が一定以上になった
・前回主要オブジェクトとされた領域面積と今回主要オブジェクトとされた領域面積の差が一定以下

【0032】

ステップＳ４０４の判定で収束せず、その判定がＮＯであった場合、前回の領域分割の状況に応じて、ユーザが指定した矩形枠内の後述するコスト関数ｇ_v (Ｘ_v )が、次のようにして修正されて更新される（図４のステップＳ４０５）。ステップＳ４０３の領域分割処理によって主要オブジェクトと判定された領域のヒストグラムと、事前に用意されている後述するヒストグラムθ（ｃ，０）が、カラー画素値ｃごとに例えば一定割合で混合（加算）される。これにより、新たな主要オブジェクトらしさを示すヒストグラムθ（ｃ，０）が生成され、それに基づいて新たなコスト関数ｇ_v (Ｘ_v )が計算される（後述する数６式等を参照）。同様に、ステップＳ４０３の領域分割処理によって背景と判定された領域のヒストグラムと、事前に用意されている後述するヒストグラムθ（ｃ，１）が、カラー画素値ｃごとに例えば一定割合で混合（加算）される。これにより、新たな背景らしさを示すヒストグラムθ（ｃ，１）が生成され、それに基づいて新たなコスト関数ｇ_v (Ｘ_v )が計算される（後述する数７式等を参照）。

【0033】

次に、画素位置重み関数更新処理が実行される（図４のステップＳ４０６）。この処理は、図２の画素位置重み関数更新手段２０２の機能を実現する。この処理の詳細については、図１０から図１３で後述する。その後、図４のステップＳ４０３の領域分割処理が繰り返される。

【0034】

ステップＳ４０４の判定が収束し、その判定がＹＥＳになると、図４のフローチャートで示される領域分割処理は終了とし、現在得られている主要オブジェクト領域が最終結果として出力される。

【0035】

以下に、図４のステップＳ４０２の領域分割処理について、説明する。
いま、

【数1】

を、要素Ｘ_v が画像Ｖにおける画素ｖ（１≦ｖ≦Ｖ）に対する領域ラベルを示す領域ラベルベクトルであるとする。この領域ラベルベクトルは、例えば、画素ｖが主要オブジェクト領域内にあれば要素Ｘ_v ＝０、背景領域内にあれば要素Ｘ_v ＝１となるバイナリベクトルである。すなわち、

【数2】

である。

【0036】

本実施形態において実行される領域分割処理は、画像Ｖにおいて、次式で定義されるエネルギー関数Ｅ（Ｘ）を最小にするような数１式の領域ラベルベクトルＸを求める処理である。

【数3】

エネルギー最小化処理が実行される結果、領域ラベルベクトルＸ上で領域ラベル値Ｘ_v ＝０となる画素ｖの集合として、主要オブジェクト領域が得られる。本実施形態の例でいえば、矩形枠内の花の領域である。なお、領域ラベルベクトルＸ上で領域ラベル値Ｘ_v ＝１となる画素ｖの集合が、背景領域（矩形枠外も含む）となる。

【0037】

数３式のエネルギーを最小化するために、次式および図５で示される重み付き有向グラフ（以下「グラフ」と略す）を定義する。

【数4】

ここで、Ｖはノード（ｎｏｄｅ）、Ｅはエッジ（ｅｄｇｅ）である。このグラフが画像の領域分割に適用される場合は、画像の各画素が各ノードＶに対応する。また、画素以外のノードとして、次式および図５中に示される、

【数5】

と呼ばれる特殊なターミナルが追加される。このソースｓを主要オブジェクト領域、シンクｔを背景領域に対応付けて考える。また、エッジＥは、ノードＶ間の関係を表現している。周辺の画素との関係を表したエッジＥをｎ−ｌｉｎｋ、各画素とソースｓ（主要オブジェクト領域に対応）またはシンクｔ（背景領域に対応）との関係を表したエッジＥをｔ−ｌｉｎｋと呼ぶ。

【0038】

いま、ソースｓと各画素に対応するノードとを結ぶ各ｔ−ｌｉｎｋを、各画素がどの程度主要オブジェクト領域らしいかを示す関係ととらえる。そして、その主要オブジェクト領域らしさを示すコスト値を、数３式第１項に対応付けて、

【数6】

と定義する。ここで、θ（ｃ、０）は、画像の主要オブジェクトの領域から算出したカラー画素値ｃごとのヒストグラム（出現回数）を示す関数データであり、例えば図６（ａ）に示されるように予め得られている。なお、θ（ｃ、０）の全カラー画素値ｃにわたる総和は１になるように正規化されているものとする。また、Ｉ（ｖ）は、入力画像の各画素ｖにおけるカラー（ＲＧＢ）画素値である。実際には、カラー（ＲＧＢ）画素値を輝度値に変換した値であるが、特に言及の必要がなければ、以下では説明の簡単のために「カラー（ＲＧＢ）画素値」または「カラー画素値」と記載する。数６式において、θ（Ｉ（ｖ）、０）の値が大きいほど、コスト値は小さくなる。これは、予め得られている主要オブジェクト領域のカラー画素値の中で出現回数が多いものほど、数６式で得られるコスト値が小さくなって、画素ｖが主要オブジェクト領域中の画素らしいことを意味し、数３式のエネルギー関数Ｅ（Ｘ）の値を押し下げる結果となる。

【0039】

次に、シンクｔと各画素に対応するノードとを結ぶ各ｔ−ｌｉｎｋを、各画素がどの程度背景領域らしいかを示す関係ととらえる。そして、その背景領域らしさを示すコスト値を、数３式第１項に対応付けて、

【数7】

と定義する。ここで、θ（ｃ、1）は、画像の背景の領域から算出したカラー画素値ｃごとのヒストグラム（出現度数）を示す関数データであり、例えば図６（ｂ）に示されるように予め得られている。なお、θ（ｃ、１）の全カラー画素値ｃにわたる総和は１になるように正規化されているものとする。Ｉ（ｖ）は、数６式の場合と同様に、入力画像の各画素ｖにおけるカラー（ＲＧＢ）画素値である。数６式において、θ（Ｉ（ｖ）、１）の値が大きいほど、コスト値は小さくなる。これは、予め得られている背景領域のカラー画素値の中で出現回数が多いものほど、数７式で得られるコスト値が小さくなって、画素ｖが背景領域中の画素らしいことを意味し、数３式のエネルギー関数Ｅ（Ｘ）の値を押し下げる結果となる。

【0040】

次に、各画素に対応するノードとその周辺画素との関係を示すｎ−ｌｉｎｋのコスト値を、数３式第２項に対応付けて、

【数8】

と定義する。ここで、ｄｉｓｔ（ｕ，ｖ）は、画素ｖとその周辺画素ｕのユークリッド距離を示しており、κは所定の係数である。また、Ｉ（ｕ）およびＩ（ｖ）は、入力画像の各画素ｕおよびｖにおける各カラー（ＲＧＢ）画素値である。実際には前述したように、カラー（ＲＧＢ）画素値を輝度値に変換した値である。画素ｖおよびその周辺画素ｕの各領域ラベル値Ｘ_u およびＸ_v が同一（Ｘ_u ＝Ｘ_v ）となるように選択された場合における数８式のコスト値は０とされて、エネルギーＥ（Ｘ）の計算には影響しなくなる。一方、画素ｖとその周辺画素ｕの各領域ラベル値Ｘ_u およびＸ_v が異なる（Ｘ_u ≠Ｘ_v ）ように選択された場合における数８式のコスト値は、例えば図７に示される特性を有する関数特性となる。すなわち、画素ｖおよびその周辺画素ｕの各領域ラベル値Ｘ_u およびＸ_v が異なっていて、かつ画素ｖおよびその周辺画素ｕの輝度値の差Ｉ（ｕ）−Ｉ（ｖ）が小さい場合には、数８式で得られるコスト値が大きくなる。この場合には、数３式のエネルギー関数Ｅ（Ｘ）の値が押し上げられる結果となる。言い換えれば、近傍画素間で、輝度値の差が小さい場合には、それらの画素の各領域ラベル値は、互いに異なるようには選択されない。すなわち、その場合には、近傍画素間では領域ラベル値はなるべく同じになって主要オブジェクト領域または背景領域はなるべく変化しないように、制御される。一方、画素ｖおよびその周辺画素ｕの各領域ラベル値Ｘ_u およびＸ_v が異なっていて、かつ画素ｖおよびその周辺画素ｕの輝度値の差Ｉ（ｕ）−Ｉ（ｖ）が大きい場合には、数８式で得られるコスト値が小さくなる。この場合には、数３式のエネルギー関数Ｅ（Ｘ）の値が押し下げられる結果となる。言い換えれば、近傍画素間で、輝度値の差が大きい場合には、主要オブジェクト領域と背景領域の境界らしいことを意味し、画素ｖとその周辺画素ｕとで、領域ラベル値が異なる方向に制御される。

【0041】

以上の定義を用いて、入力画像の各画素ｖごとに、数６式によって、ソースｓと各画素ｖとを結ぶｔ−ｌｉｎｋのコスト値（主要オブジェクト領域らしさ）が算出される。また、数７式によって、シンクｔと各画素ｖとを結ぶｔ−ｌｉｎｋのコスト値（背景領域らしさ）が算出される。さらに、入力画像の各画素ｖごとに、数８式によって、画素ｖとその周辺例えば８方向の各８画素とを結ぶ８本のｎ−ｌｉｎｋのコスト値（境界らしさ）が算出される。

【0042】

そして、理論的には、数１式の領域ラベルベクトルＸの全ての領域ラベル値の０または１の組合せごとに、各領域ラベル値に応じて上記数６式、数７式、および数８式の計算結果が選択されながら数３式のエネルギー関数Ｅ（Ｘ）が計算される。そして、全ての組合せの中でエネルギー関数Ｅ（Ｘ）の値が最小となる領域ラベルベクトルＸを選択することにより、領域ラベルベクトルＸ上で領域ラベル値Ｘ_v ＝０となる画素ｖの集合として、主要オブジェクト領域を得ることができる。

【0043】

しかし実際には、領域ラベルベクトルＸの全ての領域ラベル値の０または１の組合せ数は、２の画素数乗通りあるため、現実的な時間でエネルギー関数Ｅ（Ｘ）の最小化処理を計算することができない。

【0044】

そこで、Ｇｒａｐｈ Ｃｕｔｓ法では、次のようなアルゴリズムを実行することにより、エネルギー関数Ｅ（Ｘ）の最小化処理を現実的な時間で計算することを可能にする。
図８は、上述した数６式、数７式で定義されるｔ−ｌｉｎｋと数８式で定義されるｎ−ｌｉｎｋを有するグラフと、領域ラベルベクトルＸおよびグラフカットとの関係を、模式的に示した図である。図８では、理解の容易化のために、画素ｖは一次元的に示されている。

【0045】

数３式のエネルギー関数Ｅ（Ｘ）の第１項の計算で、領域ラベルベクトルＸ中の領域ラベル値が０となるべき主要オブジェクト領域中の画素では、数６式と数７式のうち、主要オブジェクト領域中の画素らしい場合により小さな値となる数６式のコスト値のほうが小さくなる。従って、ある画素において、ソースｓ側のｔ−ｌｉｎｋが選択されシンクｔ側のｔ−ｌｉｎｋがカットされて（図８の８０２のケース）、数６式を用いて数３式のＥ（Ｘ）の第１項が計算された場合に、その計算結果が小さくなれば、その画素の領域ラベル値としては０が選択される。そして、そのグラフカット状態が採用される。計算結果が小さくならなければ、そのグラフカット状態は採用されず、他のリンクの探索およびグラフカットが試みられる。

【0046】

逆に、領域ラベルベクトルＸ中の領域ラベル値が１となるべき背景領域中の画素では、数６式と数７式のうち、背景領域中の画素らしい場合により小さな値となる数７式のコスト値のほうが小さくなる。従って、ある画素において、シンクｔ側のｔ−ｌｉｎｋが選択されソースｓ側のｔ−ｌｉｎｋはカットされて（図８の８０３のケース）、数７式を用いて数３式のＥ（Ｘ）の第１項が計算された場合に、その計算結果が小さくなれば、その画素の領域ラベル値としては１が選択される。そして、そのグラフカット状態が採用される。計算結果が小さくならなければ、そのグラフカット状態は採用されず、他のリンクの探索およびグラフカットが試みられる。

【0047】

一方、数３式のエネルギー関数Ｅ（Ｘ）の第１項の計算に係る上記領域分割（グラフカット）処理により、領域ラベルベクトルＸ中の領域ラベル値が０または１で連続すべき主要オブジェクト領域内部または背景領域内部の画素間では、数８式のコスト値が０となる。従って、数８式の計算結果は、エネルギー関数Ｅ（Ｘ）の第２項のコスト値の計算には影響しない。また、その画素間のｎ−ｌｉｎｋは、数８式がコスト値０を出力するように、カットされずに維持される。

【0048】

ところが、エネルギー関数Ｅ（Ｘ）の第１項の計算に係る上記領域分割（グラフカット）処理により、近傍画素間で、領域ラベル値が０と１の間で変化した場合に、それらの画素間の輝度値の差が小さければ、数８式のコスト値が大きくなる。この結果、数３式のエネルギー関数Ｅ（Ｘ）の値が押し上げられる。このようなケースは、同一領域内で第１項の値による領域ラベル値の判定がたまたま反転するような場合に相当する。従って、このようなケースでは、エネルギー関数Ｅ（Ｘ）の値が大きくなって、そのような領域ラベル値の反転は選択されない結果となる。また、この場合には、数８式の計算結果が、上記結果を維持するように、それらの画素間のｎ−ｌｉｎｋは、カットされずに維持される。

【0049】

これに対して、エネルギー関数Ｅ（Ｘ）の第１項の計算に係る上記領域分割（グラフカット）処理により、近傍画素間で、領域ラベル値が０と１の間で変化した場合に、それらの画素間の輝度値の差が大きければ、数８式のコスト値が小さくなる。この結果、数３式のエネルギー関数Ｅ（Ｘ）の値が押し下げられる。このようなケースは、それらの画素部分が主要オブジェクト領域と背景領域の境界らしいことを意味している。従って、このようなケースでは、これらの画素間で領域ラベル値を異ならせて、主要オブジェクト領域と背景領域の境界を形成する方向に制御される。また、この場合には、境界の形成状態を安定化するために、それらの画素間のｎ−ｌｉｎｋがカットされて、数３式の第２項のコスト値が０にされる（図８の８０４のケース）。

【0050】

以上の判定制御処理が、ソースｓのノードを起点にして、順次各画素のノードをたどりながら繰り返されることにより、図８の８０１で示されるようなグラフカットが実行され、エネルギー関数Ｅ（Ｘ）の最小化処理が現実的な時間で計算される。この処理の具体的な手法としては、例えば、非特許文献１に記載されている手法を採用することができる。

【0051】

そして、各画素ごとに、ソースｓ側のｔ−ｌｉｎｋが残っていれば、その画素の領域ラベル値として０、すなわち主要オブジェクト領域の画素を示すラベルが付与される。逆に、シンクｔ側のｔ−ｌｉｎｋが残っていれば、その画素の領域ラベル値として１、すなわち背景領域の画素を示すラベルが付与される。最終的に、領域ラベル値が０となる画素の集合として、主要オブジェクト領域が得られる。

【0052】

上述した動作原理に基づいて図４のステップＳ４０２の領域分割処理が実行されるが、本実施形態ではさらに、数３式のエネルギー関数Ｅ（Ｘ）の計算において、下記数９式に示されるように、数３式第１項のデータ項（図２の２０３に対応）に、画像範囲内での各画素の位置に応じた画素位置重み関数の値ｗ（ｘ，ｙ）（図２の２０５に対応）が乗算される。

【数9】

あるいは、数９式の代わりに、下記数１０式に示されるように、数３式第２項の平滑化項（図２の２０４に対応）に、画像範囲内での各画素の位置とその周辺画素の位置に応じた各画素位置重み値から算出される画素位置重み関数の値ｗ_uv（図２の２０６に対応）が乗算されてもよい。

【数10】

上述の数９式または数１０式のいずれかが、数３式の代わりに、エネルギー関数Ｅ（Ｘ）の計算に使用される。上述の画素位置重み関数ｗ（ｘ，ｙ）またはｗ_uvの算出手法については、後述する。

【0053】

図９は、上述した動作原理に基づく図４のステップＳ４０２の領域分割処理を示すフローチャートである。

【0054】

まず、画像から、カラー画素値Ｉ（Ｖ）が１つずつ読み込まれる（図９のステップＳ９０１）。

【0055】

次に、ステップＳ９０１で読み込まれた画素が、ユーザによって指定された矩形枠内の画素であるか否かが判定される（図９のステップＳ９０２）。

【0056】

ステップＳ９０２の判定がＹＥＳの場合には、前述した数６式、数７式、および数８式に基づいて、主要オブジェクト領域らしさを示すコスト値、背景領域らしさを示すコスト値、および境界らしさを示すコスト値が、それぞれ算出される（図９のステップＳ９０３、Ｓ９０４、およびＳ９０５）。なお、θ（ｃ、０）の初期値は、学習用に用意した複数枚（数百枚程度）の主要オブジェクトの領域から算出される。同様に、θ（ｃ、１）の初期値は、学習用に用意した複数枚（数百枚程度）の背景の領域から算出される。

【0057】

一方、ステップＳ９０２の判定がＮＯの場合には、矩形の枠外には主要オブジェクト領域はないため、そこが主要オブジェクト領域と判定されないようにするために、主要オブジェクト領域らしさを示すコスト値ｇ_v (Ｘ_v )が、次式のように一定の大きな値Ｋとされる。

【数11】

ここで、Ｋは、次式に示されるように、任意のピクセルの平滑化項の総和よりも大きい値を設定しておく（以上、図９のステップＳ９０６）。

【数12】

【0058】

また、矩形の枠外が必ず背景領域と判定されるようにするために、背景領域らしさを示すコスト値ｇ_v (Ｘ_v )が、次式のように０とされる（図９のステップＳ９０７）。

【数13】

【0059】

さらに、矩形の枠外は全て背景領域であるため、ｈ_uv（Ｘ_u ,Ｘ_v ）の値は０とされる（図９のステップＳ９０８）。

【0060】

以上の処理の後、画像内に処理すべき画素が残っているか否かが判定される（図９のステップＳ９０９）。

【0061】

処理すべき画素がありステップＳ９０９の判定がＹＥＳならば、ステップＳ９０１の処理に戻って、上記処理が繰り返される。

【0062】

処理すべき画素がなくなりステップＳ９０９の判定がＮＯになると、画像内の全ての画素について求まったコスト値を用いて、数９式または数１０式のエネルギー関数Ｅ（Ｘ）が計算されながら、Ｇｒａｐｈ Ｃｕｔｓアルゴリズムが実行され、主要オブジェクトと背景が領域分割される（ステップＳ９１０）。

【0063】

図１０は、図４のステップＳ４０６の画素位置重み関数更新処理を示すフローチャートである。この処理では、図９のステップＳ９１０において計算される数９式または数１０式のエネルギー関数Ｅ（Ｘ）における画素位置重み関数ｗ（ｘ，ｙ）またはｗ_uvが算出、更新される。

【0064】

まず、下記数１４式に従って、ｘ（水平）、ｙ（垂直）方向の標準偏差σ_x （第１の分散値に対応）、σ_y （第２の分散値に対応）が算出される（図１０のステップＳ１００１）。

【数14】

【0065】

図１１は、ステップＳ１００１の標準偏差σ_x 、σ_y の算出処理の説明図である。図１１において、Ｌy1、Ｌy2、Ｌy3等（３個に限らない）はそれぞれ、図４のステップＳ４０３の領域分割処理において主要オブジェクトの領域ラベルが付与された画素が、図４のステップＳ４０１でユーザにより指定された矩形枠のｙ（垂直）方向の境界画素と連続的に接する各画素数である。Ｌx1、Ｌx2、Ｌx3等（３個に限らない）はそれぞれ、上記主要オブジェクトの領域ラベルが付与された画素が、上記矩形枠のｘ（水平）方向の境界画素と連続的に接する各画素数である。Ｌwyは矩形枠のｙ方向の左右両辺の一辺あたりの画素数、Ｌwxは矩形枠のｘ方向の上下両辺の一辺あたりの画素数である。

【0066】

数１４式のｘ方向標準偏差σ_x の算出式で、「ΣＬyi」は矩形枠のｙ方向の左右両境界辺に対する主要オブジェクトの総接触長を示し、「２Ｌwy」は矩形枠のｙ方向の左右両境界辺の合計長を示している。従って、項「ΣＬyi／２Ｌwy」は、矩形枠のｙ方向の左右両境界辺に対する主要オブジェクトのｙ方向接触比を示している。これに負符号を付けて指数をとり、ｙ方向の境界辺長Ｌwyとｙ方向の調整用係数ｋy を乗算することにより、ｘ方向の標準偏差標準偏差σ_x が算出される。主要オブジェクト領域が矩形枠のｙ方向の左右両境界辺に多く接していると、主要オブジェクトがｘ方向に矩形枠いっぱいまで広がっていることを示している。この場合には、数１４式で算出されるｘ方向標準偏差σ_x の値は小さい値となり、主要オブジェクトの広がりを抑える方向にフィードバックをかける値となる。逆に、主要オブジェクト領域が矩形枠のｙ方向の左右両境界辺にあまりまたは全く接していないと、ｘ方向で主要オブジェクトが矩形枠に接することなく矩形枠内の中央付近の範囲で背景と分割されていることを示している。この場合には、数１４式で算出されるｘ方向標準偏差σ_x の値は大きい値となり、主要オブジェクトの広がりを増やす方向にフィードバックをかける値となる。従って、ｙ方向接触比の標準偏差に基づいて決定される画素位置重み関数２０５を、エネルギー関数Ｅ（Ｘ）に基づいてｘ方向で主要オブジェクトと背景を領域分割するときのコスト値に乗算等することにより、ｘ方向での領域分割のエラーを修正する方向にフィードバック制御をかけることが可能になると期待できる。

【0067】

同様に、数１４式のｙ方向標準偏差σ_y の算出式で、「ΣＬxi」は矩形枠のｘ方向の上下両境界辺に対する総接触長を示し、「２Ｌwx」は矩形枠のｘ方向の２つの上下両境界辺の合計長を示している。従って、項「ΣＬxi／２Ｌwx」は、矩形枠のｘ方向の上下両境界辺に対するｘ方向接触比を示している。これに負符号を付けて指数をとり、ｘ方向の境界辺長Ｌwxとｘ方向の調整用係数ｋx を乗算することにより、ｙ方向の標準偏差標準偏差σ_y が算出される。主要オブジェクト領域が矩形枠のｘ方向の左右両境界辺に多く接していると、主要オブジェクトがｙ方向に矩形枠いっぱいまで広がっていることを示している。この場合には、数１４式で算出されるｙ方向標準偏差σ_y の値は小さい値となり、主要オブジェクトの広がりを抑える方向にフィードバックをかける値となる。逆に、主要オブジェクト領域が矩形枠のｘ方向の左右両境界辺にあまりまたは全く接していないと、ｙ方向で主要オブジェクトが矩形枠に接することなく矩形枠内の中央付近の範囲で背景と分割されていることを示している。この場合には、数１４式で算出されるｙ方向標準偏差σ_y の値は大きい値となり、主要オブジェクトの広がりを増やす方向にフィードバックをかける値となる。従って、ｘ方向接触比の標準偏差に基づいて決定される画素位置重み関数２０５を、エネルギー関数Ｅ（Ｘ）に基づいてｙ方向で主要オブジェクトと背景を領域分割するときのコスト値に乗算等することにより、ｙ方向での領域分割のエラーを修正する方向にフィードバック制御をかけることが可能になると期待できる。

【0068】

図１２は、標準偏差の特性例を示す図であり、例として、ｙ方向の調整用係数ｋy ＝２、ｙ方向の境界辺長Ｌwy＝６０であるときの、ｙ方向接触比ΣＬyi／２Ｌwyに対するｘ方向の標準偏差σ_x の値を示す特性図である。この特性図から理解されるように、ｙ方向接触比ΣＬyi／２Ｌwyが増加するほどｘ方向の標準偏差σ_x が減少し、逆に、ΣＬyi／２Ｌwyが減少するほどｘ方向の標準偏差σ_x が増加する特性を有することがわかる。このような標準偏差に対応する分散値を用いて画素位置重み関数２０５を定義することにより、領域分割のエラーを修正するフィードバック制御が可能となる。

【0069】

図１０のステップＳ１００１の後、下記数１５式に従って、ｘ（水平）、ｙ（垂直）方向のガウス関数ｆ（ｘ）、ｆ（ｙ）が算出される（図１０のステップＳ１００２）。

【数15】

【0070】

数１５式におけるガウス関数ｆ（ｘ）は、図１３に示されるように、画像範囲の水平方向中央位置ｘ₀ を中心としてｘ方向分散値σ_x ² を有する関数であって、ｘ方向の中央位置ｘ₀ から画像範囲の水平方向の両端の境界辺にそれぞれ向かって漸近的に減少する関数である。

【0071】

一方、数１５式におけるガウス関数ｆ（ｙ）は、図１３に示されるように、画像範囲の垂直方向中央位置ｙ₀ を中心としてｙ方向分散値σ_y ² を有する関数であって、ｙ方向の中央位置ｙ₀ から画像範囲の垂直方向の両端の境界辺にそれぞれ向かって漸近的に減少する関数である。

【0072】

図１０のステップＳ１００２の後、下記数１６式に従って、画素位置重み関数２０５が算出される（図１０のステップＳ１００３）。

【数16】

数１６式で算出される画素位置重み関数２０５＝ｗ（ｘ，ｙ）は、図１３に示されるように、画像範囲の中央座標位置（ｘ₀ ，ｙ₀ ）から画像範囲の周囲の境界辺に向かって放射状に漸近的に減少する関数曲面となる。

【0073】

以上のようにして算出された画素位置重み関数２０５に基づいて、図４のステップＳ４０３の領域分割処理中の図９のステップＳ９１０において、前述した数９式に示されるように、エネルギー関数Ｅ（Ｘ）中の第１項のデータ項に、各画素の位置（ｘ，ｙ）に応じた画素位置重み値ｗ（ｘ，ｙ）が乗算される。

【0074】

あるいは、数９式の代わりに、前述した数１０式に示されるように、エネルギー関数Ｅ（Ｘ）中の第２項の平滑化項に、各画素ｖの位置に応じた画素位置重み値ｗ_v （ｘ，ｙ）およびその周辺画素ｕの位置に応じた画素位置重み値ｗ_u （ｘ，ｙ）の平均値として求まる画素位置重み値ｗ_uvが乗算されてもよい。

【0075】

図１１の例では、ｘ方向およびｙ方向ともに、この領域分割画像が得られている時点で主要オブジェクトに分割された領域が本来の花の周辺の葉も含んで矩形枠の境界にかなり接している。このような場合には、画素位置重み関数更新手段２０２で算出されるｘ方向分散値σ_x ² およびｙ方向分散値σ_y ² はともに比較的小さいな値となり、これらから得られる画素位置重み関数２０５、ｗ（ｘ，ｙ）（図１３参照）等は、画像範囲の中央座標位置（ｘ₀ ，ｙ₀ ）から画像範囲の周囲の境界辺に向かって放射状に比較的急峻に減少する関数となる。この結果、次回の領域分割処理における図９のステップＳ９１０では、矩形枠から同心円状に内側に少し入った画素位置でエネルギー関数Ｅ（Ｘ）のデータ項（数９式の場合）または平滑化項（数１０式の場合）が小さな値となって、本来の主要オブジェクトとなるべき花の境界位置で領域分割が行われることが期待できる。

【0076】

前述した数１４式のｘ、ｙ方向の標準偏差σ_x 、σ_y をさらに細分化し、下記数１７式に示されるように、ｘ方向左側標準偏差σｘ_Left、ｘ方向右側標準偏差σｘ_Right 、ｙ方向上側標準偏差σｙ_Top 、ｙ方向下側標準偏差σｙ_Bottomが算出され、各画素位置ごとにそれぞれの標準偏差を用いた画素位置重み関数２０５（数１５式に対応）が算出されてもよい。

【数17】

ここで、「ｉ∈LeftSide」は、主要オブジェクトの画素が左境界辺上で接触している連続画素Ｌyiの集合を示す。「ｉ∈RightSide 」は、主要オブジェクトの画素が右境界辺上で接触している連続画素Ｌyiの集合を示す。「ｉ∈TopSide 」は、主要オブジェクトの画素が上境界辺上で接触している連続画素Ｌxiの集合を示す。「ｉ∈BottomSide」は、主要オブジェクトの画素が下境界辺上で接触している連続画素Ｌyiの集合を示す。

【0077】

前述したｘ、ｙ方向の標準偏差σ_x 、σ_y は、数１４式や数１７式の代わりに、下記数１８式によって算出されてもよい。

【数18】

ここで、Ｓf は、現時点で算出されている主要オブジェクトの領域の面積（画素数）である。また、ＳR は、矩形枠の面積（画素数）である。従って、数１８式によって求まる標準偏差σは、現時点で算出されている主要オブジェクトの領域が例えば矩形枠内で占める面積の割合が増加するほど減少する特性を有する。このσにｘ方向の境界辺長Ｌwxとｘ方向の調整用係数ｋx を乗算することにより、ｘ方向の標準偏差標準偏差σ_x が算出される。また、σにｙ方向の境界辺長Ｌwyとｙ方向の調整用係数ｋy を乗算することにより、ｙ方向の標準偏差標準偏差σ_y が算出される。

【0078】

以上説明した実施形態により、領域分割手段２０１における領域分割処理において、背景領域と主要オブジェクト領域とで誤認識をする割合が減少し、領域分割の精度を向上させることが可能となる。

【0079】

上述の実施形態では、主要オブジェクトが花である場合を例に説明したが、主要オブジェクトとしては、花に限られず、様々なオブジェクトを採用することができる。

【0080】

また、上述の実施形態では、画素位置重み関数２０５として、主要オブジェクトの領域が画像範囲内で占める割合の増加または減少に逆行して減少または増加する分散値に従って画像範囲の中央から境界部分に向かってガウス関数的に画素位置重み値が減少する関数として実現される。しかしながら、本発明はこれに限られるものではなく、画素位置重み関数２０５は、主要オブジェクトの領域が画像範囲内で占める割合が増加するほど、画像範囲の中央から画像範囲の境界部分に向かって画素位置重み値が減少する関数であれば、どのような関数が採用されてもよい。

【0081】

以上の実施形態に関して、更に以下の付記を開示する。
(付記１）
画像内で指定された画像範囲内の主要オブジェクトと該主要オブジェクト以外の背景を領域分割する装置であって、
前記画像範囲内の各画素に付与する前記主要オブジェクトまたは前記背景を示す領域ラベルを更新しながら、該領域ラベルと前記各画素の画素値に基づき、前記主要オブジェクトらしさまたは背景らしさを示すデータ項と、隣接画素間の前記領域ラベルの滑らかさを示す平滑化項と、前記データ項または前記平滑化項の少なくともいずれかに前回の領域分割の結果に応じて算出され前記各画素の位置に応じた画素位置重み値を付加する画素位置重み関数とを含むエネルギー関数の最小化処理により、前記画像内で前記主要オブジェクトと前記背景を領域分割する領域分割手段と、
前記領域分割手段により前回領域分割された前記主要オブジェクトの領域が前記画像範囲内で占める割合が増加するほど、前記画像範囲の中央から前記画像範囲の境界部分に向かって前記画素位置重み値が減少する関数を算出し、該関数を前記領域分割手段における次回の領域分割のための前記画素位置重み関数として更新する画素位置重み関数更新手段と、
を備え、
前記領域分割手段および前記画素位置重み関数更新手段による処理を繰り返し実行する、
ことを特徴とする画像領域分割装置。
(付記２）
前記画素位置重み関数は、前記領域分割手段により前回領域分割された前記主要オブジェクトの領域が前記画像範囲内で占める割合が増加するほど減少する特性を有する分散値を有し、前記画像範囲の中央から前記画像範囲の境界部分に向かって前記分散値に従ってガウス関数的に前記画素位置重み値が減少する関数である、
ことを特徴とする付記１に記載の画像領域分割装置。
(付記３）
前記画素位置重み関数更新手段は、前記分散値として、前記主要オブジェクトの領域が前記画像範囲の境界部分に接する割合が増加するほど減少する特性を有する分散値を算出する、
ことを特徴とする付記２に記載の画像領域分割装置。
(付記４）
前記画素位置重み関数更新手段は、
前記分散値として、前記主要オブジェクトの領域が前記画像範囲の垂直方向の境界部分に接する割合が増加するほど減少する特性を有する第１の分散値と、前記主要オブジェクトの領域が前記画像範囲の水平方向の境界部分に接する割合が増加するほど減少する特性を有する第２の分散値を算出し、
前記画像範囲の中央から前記画像範囲の水平方向の境界部分に向かって前記第１の分散値に従ってガウス関数的に前記画素位置重み値が減少し、前記画像範囲の中央から前記画像範囲の垂直方向の境界部分に向かって前記第２の分散値に従ってガウス関数的に前記画素位置重み値が減少する関数として前記画素位置重み関数を更新する、
ことを特徴とする付記３に記載の画像領域分割装置。
(付記５）
前記画素位置重み関数更新手段は、前記分散値として、前記主要オブジェクトの領域が前記画像範囲内で占める面積の割合が増加するほど減少する特性を有する分散値を算出する、
ことを特徴とする付記２に記載の画像領域分割装置。
(付記６）
前記領域分割手段は、Ｇｒａｐｈ Ｃｕｔｓ法により前記エネルギー関数の最小化処理を実行する、
ことを特徴とする付記１ないし５のいずれかに記載の画像領域分割装置。
(付記７）
画像内で指定された画像範囲内の主要オブジェクトと該主要オブジェクト以外の背景を領域分割する方法であって、
前記画像範囲内の各画素に付与する前記主要オブジェクトまたは前記背景を示す領域ラベルを更新しながら、該領域ラベルと前記各画素の画素値に基づき、前記主要オブジェクトらしさまたは背景らしさを示すデータ項と、隣接画素間の前記領域ラベルの滑らかさを示す平滑化項と、前記データ項または前記平滑化項の少なくともいずれかに前回の領域分割の結果に応じて算出され前記各画素の位置に応じた画素位置重み値を付加する画素位置重み関数とを含むエネルギー関数の最小化処理により、前記画像内で前記主要オブジェクトと前記背景を領域分割する領域分割ステップと、
前記領域分割ステップにより前回領域分割された前記主要オブジェクトの領域が前記画像範囲内で占める割合が増加するほど、前記画像範囲の中央から前記画像範囲の境界部分に向かって前記画素位置重み値が減少する関数を算出し、該関数を前記領域分割ステップにおける次回の領域分割のための前記画素位置重み関数として更新する画素位置重み関数更新ステップと、
を繰り返し実行することを特徴とする画像領域分割方法。
(付記８）
画像内で指定された画像範囲内の主要オブジェクトと該主要オブジェクト以外の背景を領域分割する処理を実行するコンピュータに、
前記画像範囲内の各画素に付与する前記主要オブジェクトまたは前記背景を示す領域ラベルを更新しながら、該領域ラベルと前記各画素の画素値に基づき、前記主要オブジェクトらしさまたは背景らしさを示すデータ項と、隣接画素間の前記領域ラベルの滑らかさを示す平滑化項と、前記データ項または前記平滑化項の少なくともいずれかに前回の領域分割の結果に応じて算出され前記各画素の位置に応じた画素位置重み値を付加する画素位置重み関数とを含むエネルギー関数の最小化処理により、前記画像内で前記主要オブジェクトと前記背景を領域分割する領域分割ステップと、
前記領域分割ステップにより前回領域分割された前記主要オブジェクトの領域が前記画像範囲内で占める割合が増加するほど、前記画像範囲の中央から前記画像範囲の境界部分に向かって前記画素位置重み値が減少する関数を算出し、該関数を前記領域分割ステップにおける次回の領域分割のための前記画素位置重み関数として更新する画素位置重み関数更新ステップと、
を繰り返し実行させるためのプログラム。

【符号の説明】

【0082】

１０１ 画像領域分割装置
１０２ ＣＰＵ
１０３ ＲＯＭ
１０４ ＲＡＭ
１０５ 外部記憶装置
１０６ 通信インタフェース
１０７ 入力装置
１０８ 表示装置
１０９ 可搬記録媒体駆動装置
１１０ 可搬記録媒体
１１１ バス
１１２ 撮像装置
２０１ 領域分割手段
２０２ 画素位置重み関数更新手段
２０３ データ項
２０４ 平滑化項
２０５ 画素位置重み関数

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】