ホーム > 特許ランキング > カシオ計算機株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6044138
(24)【登録日】2016年11月25日
(45)【発行日】2016年12月14日
(54)【発明の名称】画像領域分割装置、方法、およびプログラム
(51)【国際特許分類】
G06T 7/00 20060101AFI20161206BHJP
【ＦＩ】
G06T7/00 200Z
【請求項の数】7
【全頁数】21
(21)【出願番号】特願2012-151913(P2012-151913)
(22)【出願日】2012年7月5日
(65)【公開番号】特開2014-16676(P2014-16676A)
(43)【公開日】2014年1月30日
【審査請求日】2015年6月3日
(73)【特許権者】
【識別番号】000001443
【氏名又は名称】カシオ計算機株式会社
(74)【代理人】
【識別番号】100074099
【弁理士】
【氏名又は名称】大菅 義之
(72)【発明者】
【氏名】広浜 雅行
(72)【発明者】
【氏名】松永 和久
(72)【発明者】
【氏名】中込 浩一
(72)【発明者】
【氏名】二瓶 道大
【審査官】
佐藤 実
(56)【参考文献】
【文献】
ファンヴェトクォク 外２名，繰り返し色分布マッチングによる画像セグメンテーション，画像の認識・理解シンポジウム(MIRU2011)，情報処理学会，２０１１年 ７月２０日，第1240−1247頁
【文献】
Carsten Rother et al.，“GrabCut”− Interactive Foreground Extraction using Iterated Graph Cuts，ACM Transactions on Graphics，ACM，２００４年，Vol.23, No.3，Pages 309-314
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｇ０６Ｔ ７／００ − ７／６０
(57)【特許請求の範囲】
【請求項1】
画像内で対象が予め枠指定された当該枠内の主要オブジェクトと該主要オブジェクト以外の背景を、主要オブジェクトらしさを示す第１のヒストグラムの値が大きいほど値が小さくなるコスト項と、背景らしさを示す第２のヒストグラムの値が大きいほど値が小さくなるコスト項を含むエネルギー関数の最小化処理により、前記枠内の前記主要オブジェクトと前記背景を領域分割する画像領域分割装置であって、
前記枠の枠上の画素値ごと、前記枠の枠外の画素値ごと、および前記枠の枠内の画素値ごとの各ヒストグラムをそれぞれ、枠上ヒストグラム、枠外ヒストグラム、および枠内ヒストグラムとして算出するヒストグラム算出手段と、
前記枠上ヒストグラムで度数値が第１の閾値に対して大きい画素値を特定画素値として抽出する特定画素値抽出手段と、
前記特定画素値での度数値が前記枠外ヒストグラム上で第２の閾値に対して大きくかつ前記枠内ヒストグラム上で第３の閾値に対して小さい場合に、前記特定画素値において前記第２のヒストグラムの度数値が前記第１のヒストグラムの度数値に対して相対的に増加するように該２つの度数値の少なくともいずれかを更新するヒストグラム更新手段と、
を備えることを特徴とする画像領域分割装置。
前記枠の枠上の画素値ごと、前記枠の枠外の画素値ごと、および前記枠の枠内の画素値ごとの各ヒストグラムをそれぞれ、枠上ヒストグラム、枠外ヒストグラム、および枠内ヒストグラムとして算出するヒストグラム算出手段と、
前記枠上ヒストグラムで度数値が第１の閾値に対して大きい画素値を特定画素値として抽出する特定画素値抽出手段と、
前記特定画素値での度数値が前記枠外ヒストグラム上で第２の閾値に対して大きくかつ前記枠内ヒストグラム上で第３の閾値に対して小さい場合に、前記特定画素値において前記第２のヒストグラムの度数値が前記第１のヒストグラムの度数値に対して相対的に増加するように該２つの度数値の少なくともいずれかを更新するヒストグラム更新手段と、
を備えることを特徴とする画像領域分割装置。
【請求項2】
前記ヒストグラム更新手段は、前記特定画素値での度数値が前記枠外ヒストグラム上で第２の閾値に対して大きくかつ前記枠内ヒストグラム上で第３の閾値に対して小さい場合に、前記特定画素値における前記第２のヒストグラムの度数値を、１よりも大きい倍数である所定数倍して更新する、
ことを特徴とする請求項１に記載の画像領域分割装置。
ことを特徴とする請求項１に記載の画像領域分割装置。
【請求項3】
前記ヒストグラム更新手段は、前記特定画素値での度数値が前記枠外ヒストグラム上で第２の閾値に対して大きくかつ前記枠内ヒストグラム上で第３の閾値に対して小さい場合に、前記特定画素値における前記第２のヒストグラムの度数値に０よりも大きい所定数を加算して更新する、
ことを特徴とする請求項１に記載の画像領域分割装置。
ことを特徴とする請求項１に記載の画像領域分割装置。
【請求項4】
前記第１のヒストグラムの初期値は、学習用の複数枚の前記主要オブジェクトを示す画像の前記画素値ごとのヒストグラムとして算出し、
前記第２のヒストグラムの初期値は、学習用の複数枚の前記背景を示す画像の前記画素値ごとのヒストグラムとして算出する、
ことを特徴とする請求項１ないし３のいずれかに記載の画像領域分割装置。
前記第２のヒストグラムの初期値は、学習用の複数枚の前記背景を示す画像の前記画素値ごとのヒストグラムとして算出する、
ことを特徴とする請求項１ないし３のいずれかに記載の画像領域分割装置。
【請求項5】
前記エネルギー関数の最小化処理は、Ｇｒａｐｈ Ｃｕｔｓ法により実行する、
ことを特徴とする請求項１ないし４のいずれかに記載の画像領域分割装置。
ことを特徴とする請求項１ないし４のいずれかに記載の画像領域分割装置。
【請求項6】
画像内で対象が予め枠指定された当該枠内の主要オブジェクトと該主要オブジェクト以外の背景を、主要オブジェクトらしさを示す第１のヒストグラムの値が大きいほど値が小さくなるコスト項と、背景らしさを示す第２のヒストグラムの値が大きいほど値が小さくなるコスト項を含むエネルギー関数の最小化処理により、前記枠内の前記主要オブジェクトと前記背景を領域分割する画像領域分割方法であって、
前記枠の枠上の画素値ごと、前記枠の枠外の画素値ごと、および前記枠の枠内の画素値ごとの各ヒストグラムをそれぞれ、枠上ヒストグラム、枠外ヒストグラム、および枠内ヒストグラムとして算出するヒストグラム算出ステップと、
前記枠上ヒストグラムで度数値が第１の閾値に対して大きい画素値を特定画素値として抽出する特定画素値抽出ステップと、
前記特定画素値での度数値が前記枠外ヒストグラム上で第２の閾値に対して大きくかつ前記枠内ヒストグラム上で第３の閾値に対して小さい場合に、前記特定画素値において前記第２のヒストグラムの度数値が前記第１のヒストグラムの度数値に対して相対的に増加するように該２つの度数値の少なくともいずれかを更新するヒストグラム更新ステップと、
を備えることを特徴とする画像領域分割方法。
前記枠の枠上の画素値ごと、前記枠の枠外の画素値ごと、および前記枠の枠内の画素値ごとの各ヒストグラムをそれぞれ、枠上ヒストグラム、枠外ヒストグラム、および枠内ヒストグラムとして算出するヒストグラム算出ステップと、
前記枠上ヒストグラムで度数値が第１の閾値に対して大きい画素値を特定画素値として抽出する特定画素値抽出ステップと、
前記特定画素値での度数値が前記枠外ヒストグラム上で第２の閾値に対して大きくかつ前記枠内ヒストグラム上で第３の閾値に対して小さい場合に、前記特定画素値において前記第２のヒストグラムの度数値が前記第１のヒストグラムの度数値に対して相対的に増加するように該２つの度数値の少なくともいずれかを更新するヒストグラム更新ステップと、
を備えることを特徴とする画像領域分割方法。
【請求項7】
画像内で対象が予め枠指定された当該枠内の主要オブジェクトと該主要オブジェクト以外の背景を、主要オブジェクトらしさを示す第１のヒストグラムの値が大きいほど値が小さくなるコスト項と、背景らしさを示す第２のヒストグラムの値が大きいほど値が小さくなるコスト項を含むエネルギー関数の最小化処理により、前記枠内の前記主要オブジェクトと前記背景を領域分割する画像領域分割装置のコンピュータを、
前記枠の枠上の画素値ごと、前記枠の枠外の画素値ごと、および前記枠の枠内の画素値ごとの各ヒストグラムをそれぞれ、枠上ヒストグラム、枠外ヒストグラム、および枠内ヒストグラムとして算出するヒストグラム算出ステップと、
前記枠上ヒストグラムで度数値が第１の閾値に対して大きい画素値を特定画素値として抽出する特定画素値抽出ステップと、
前記特定画素値での度数値が前記枠外ヒストグラム上で第２の閾値に対して大きくかつ前記枠内ヒストグラム上で第３の閾値に対して小さい場合に、前記特定画素値において前記第２のヒストグラムの度数値が前記第１のヒストグラムの度数値に対して相対的に増加するように該２つの度数値の少なくともいずれかを更新するヒストグラム更新ステップと、
して実行させるためのプログラム。
前記枠の枠上の画素値ごと、前記枠の枠外の画素値ごと、および前記枠の枠内の画素値ごとの各ヒストグラムをそれぞれ、枠上ヒストグラム、枠外ヒストグラム、および枠内ヒストグラムとして算出するヒストグラム算出ステップと、
前記枠上ヒストグラムで度数値が第１の閾値に対して大きい画素値を特定画素値として抽出する特定画素値抽出ステップと、
前記特定画素値での度数値が前記枠外ヒストグラム上で第２の閾値に対して大きくかつ前記枠内ヒストグラム上で第３の閾値に対して小さい場合に、前記特定画素値において前記第２のヒストグラムの度数値が前記第１のヒストグラムの度数値に対して相対的に増加するように該２つの度数値の少なくともいずれかを更新するヒストグラム更新ステップと、
して実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像内の主要オブジェクトとそれ以外の背景を領域分割する装置、方法、およびプログラムに関する。
【背景技術】
【0002】
野山や道端で見かけた花の名前を知りたくなることがある。そこで、撮影等により得た花のディジタル画像より、クラスタリング法を用いて対象物である花の画像を抽出し、その抽出された花の画像より得られる情報を特徴量とする。単数または複数の特徴量を求め、その求められた特徴量と、あらかじめデータベースに登録してある各種の植物の特徴量とを統計的手法を用いて解析して野草の種類を判別する技術が提案されている（例えば特許文献１に記載の技術）。
【0003】
また、主要オブジェクトを含む画像をＧｒａｐｈ Ｃｕｔｓ法を用いて主要オブジェクトと背景とに分割する従来技術が知られている（例えば非特許文献１、特許文献２に記載の技術）。領域分割を行う場合，主要オブジェクトと背景の関係によりその境界が不明確な部分が存在する可能性があり，最適な領域分割を行う必要がある。そこで、この従来技術では、領域分割をエネルギーの最小化問題としてとらえ、その最小化手法を提案している。この従来技術では，領域分割に適合するようにグラフを作成し、そのグラフの最小カットを求めることにより、エネルギー関数の最小化を行う。この最小カットは、最大フローアルゴリズムを用いることにより、効率的な領域分割計算を実現している。
【0004】
Ｇｒａｐｈ Ｃｕｔｓ法を用いて主要オブジェクトと背景を分割する手法では、画像内の各画素に付与する主要オブジェクトまたは背景を示す領域ラベルを更新しながら、その領域ラベルと各画素の画素値に基づいて領域分割を行う手法が知られている。この場合例えば、次のようなコスト項を含むエネルギー関数が定義される。まず、主要オブジェクトを示す画像から算出した例えばカラー画素値ごとのヒストグラムの値が大きいほど値が小さくなるコスト項が含まれる。また、背景を示す画像から算出した例えばカラー画素値ごとのヒストグラムの値が大きいほど値が小さくなるコスト項が含まれる。そして、そのエネルギー関数の最小化処理により、画像内で主要オブジェクトと背景が領域分割される（以上、例えば非特許文献１に記載の手法）。
【0005】
また、Ｇｒａｐｈ Ｃｕｔｓ法だけでは主要オブジェクトと背景の分割が難しい場合がある。このため、例えばいわゆるスマートフォンなどへの実装では、ユーザが、例えば撮像装置で撮像した画像に対し、認識したい物体（例えば花）が存在するおおよその領域に対して、例えばタッチパネル等の入力装置を用いて矩形枠を指定する機能が実装される。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開２００２−２０３２４２号公報
【特許文献2】特開２０１１−３５６３６号公報
【非特許文献】
【0007】
【非特許文献1】Ｙ．Ｂｏｙｋｏｖ ａｎｄ Ｇ．Ｆｕｎｋａ−Ｌｅａ：“Ｉｎｔｅｒａｃｔｉｖｅ Ｇｒａｐｈ Ｃｕｔｓ ｆｏｒ Ｏｐｔｉｍａｌ Ｂｏｕｎｄａｒｙ ＆ Ｒｅｇｉｏｎ Ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ Ｏｂｊｅｃｔｓ ｉｎ Ｎ−Ｄ Ｉｍａｇｅｓ”，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ “Ｉｎｔｅｒｎａｔｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ”，Ｖａｎｃｏｕｖｅｒ，Ｃａｎａｄａ，ｖｏｌ．Ｉ，ｐ．１０５−１１２，Ｊｕｌｙ ２００１．
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかし、花画像などの場合、上述したようにユーザが矩形枠を指定しても、矩形枠の外側つまり背景領域に同様の花が写っている場合が多い。このような場合、背景と判定された領域のデータを使って背景のヒストグラムを更新した場合、実際には主要オブジェクトの花等と同じ色のデータを使って背景のヒストグラムが更新されてしまう。これにより、次回以降、誤ったヒストグラムデータを用いて領域分割が行われてしまい、主要オブジェクトと背景の領域分割において主要オブジェクトと背景領域を誤認しやすくなって、領域分割の精度が低下してしまうという問題点を有していた。
【0009】
本発明は、領域分割の精度を向上させることを目的とする。
【課題を解決するための手段】
【0010】
態様の一例では、画像内で対象が予め枠指定された当該枠内の主要オブジェクトと該主要オブジェクト以外の背景を、主要オブジェクトらしさを示す第１のヒストグラムの値が大きいほど値が小さくなるコスト項と、背景らしさを示す第２のヒストグラムの値が大きいほど値が小さくなるコスト項を含むエネルギー関数の最小化処理により、前記枠内の前記主要オブジェクトと前記背景を領域分割する画像領域分割装置であって、前記枠の枠上の画素値ごと、前記枠の枠外の画素値ごと、および前記枠の枠内の画素値ごとの各ヒストグラムをそれぞれ、枠上ヒストグラム、枠外ヒストグラム、および枠内ヒストグラムとして算出するヒストグラム算出手段と、前記枠上ヒストグラムで度数値が第１の閾値に対して大きい画素値を特定画素値として抽出する特定画素値抽出手段と、前記特定画素値での度数値が前記枠外ヒストグラム上で第２の閾値に対して大きくかつ前記枠内ヒストグラム上で第３の閾値に対して小さい場合に、前記特定画素値において前記第２のヒストグラムの度数値が前記第１のヒストグラムの度数値に対して相対的に増加するように該２つの度数値の少なくともいずれかを更新するヒストグラム更新手段とを備える。
【発明の効果】
【0011】
本発明によれば、領域分割の精度を向上させることが可能となる。
【図面の簡単な説明】
【0012】
【図1】本発明の一実施形態に係る画像領域分割装置のハードウェア構成例を示すブロック図である。
【図3】本実施形態による画像領域分割処理の全体動作を示すフローチャートである。
【図4】重み付き有向グラフの説明図である。
【図5】ヒストグラムθの説明図である。
【図6】ｈuv（Ｘu ,Ｘv ）の特性図である。
【図7】ｔ−ｌｉｎｋとｎ−ｌｉｎｋを有するグラフと、領域ラベルベクトルＸおよびグラフカットとの関係を、模式的に示した図である。
【図8】領域分割処理を示すフローチャートである。
【図9】ヒストグラム更新処理を示すフローチャートである。
【図10】特定画素値の説明図である。
【図11】ヒストグラム更新処理に基づく領域分割処理の結果例を示す図である。
【発明を実施するための形態】
【0013】
以下、本発明を実施するための形態について図面を参照しながら詳細に説明する。
【0014】
図１は、本発明の一実施形態に係る画像領域分割装置１０１のハードウェア構成例を示すブロック図である。
【0015】
この画像領域分割装置１０１は例えば、いわゆるスマートフォンなどの携帯情報端末であるコンピュータシステム上に実現される。
【0016】
画像領域分割装置１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：中央演算処理装置）１０２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０３と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０４を備える。また、画像領域分割装置１０１は、ソリッド記憶装置等の外部記憶装置１０５と、通信インタフェース１０６と、タッチパネルディスプレイ装置などの入力装置１０７および表示装置１０８を備える。さらに、画像領域分割装置１０１は、マイクロＳＤメモリカードやＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリカードなどの可搬記録媒体１１０をセット可能な可搬記録媒体駆動装置１０９を備える。撮像装置１１２は、静止画像やビデオ画像を撮像することのできるデジタルカメラ機構であり、レンズ、オートフォーカス駆動制御装置、露出制御装置、撮像センサ等を備える。上述の各機器１０２〜１０９および１１２は、バス１１１によって相互に接続される。
【0017】
ＲＯＭ１０３には、スマートフォン全体の一般的な動作を制御するプログラムのほか、後述する図３、図８、および図９のフローチャートによって示される画像領域分割処理の制御プログラムが記憶されている。ＣＰＵ１０２は、ＲＯＭ１０３から、この制御プログラムを読み出し、ＲＡＭ１０４をワークメモリとして実行する。これにより、後述する図２の機能ブロックで示される画像領域分割機能が実現され、この結果、例えばユーザが、撮像装置１１２によって花などを撮像し、入力装置１０７で範囲指定した画像範囲から、花などの主要オブジェクトをそれ以外の背景から分割する画像領域分割処理が実行される。これにより得られた花などの主要オブジェクト領域の画像データは、ユーザが例えば花の種類を検索するために、通信インタフェース１０６から特には図示しないインターネットを経由してインターネットに接続される画像検索サーバコンピュータに送信される。このコンピュータ上で、送られた主要オブジェクト領域の花画像データに基づいて花のデータベースが検索される。その結果検索がヒットした花の図鑑情報が、その花の画像データとともにインターネットを経由して通信インタフェース１０６にて受信され、表示装置１０８に表示される。なお、本実施形態による画像領域分割装置１０１は、携帯情報端末上ではなく、上記サーバコンピュータ上などに実現されてもよい。
【0018】
図２は、図１の画像領域分割装置１０１の機能的構成を示す機能ブロック図である。本実施形態における画像領域分割装置１０１は、画像内で、例えばユーザにより矩形枠指定された画像範囲内の花などの主要オブジェクトとその主要オブジェクト以外の背景を領域分割する装置として実現される。
【0019】
領域分割手段２０１は、例えばユーザにより矩形枠指定された画像範囲内の各画素に付与する主要オブジェクトまたは背景を示す領域ラベルを更新しながら、その領域ラベルと各画素の画素値、例えばカラー画素値に基づき、主要オブジェクトを示す画像から算出した例えばカラー画素値ごとの第１のヒストグラム２０５の値が大きいほど値が小さくなるコスト項と、背景を示す画像から算出した例えばカラー画素値ごとの第２のヒストグラム２０６の値が大きいほど値が小さくなるコスト項を含むエネルギー関数の最小化処理により、画像内で主要オブジェクトと背景を領域分割する。この領域分割手段２０１は例えば、Ｇｒａｐｈ Ｃｕｔｓ法によりエネルギー関数の最小化処理を実行する。このときの第１のヒストグラムの初期値は例えば、学習用の複数枚の主要オブジェクトを示す画像の例えばカラー画素値ごとのヒストグラムとして算出される。また、第２のヒストグラムの初期値は、学習用の複数枚の背景を示す画像の例えばカラー画素値ごとのヒストグラムとして算出される。
【0020】
ヒストグラム算出手段２０２は、例えばユーザにより矩形枠指定された画像範囲の枠上の画素値ごと、画像範囲の境界外（例えば矩形枠外）の画素値ごと、および画像範囲の枠内（例えば矩形枠内）の画素値ごとの各ヒストグラムをそれぞれ、枠上ヒストグラム２０７、枠外ヒストグラム２０８、および枠内ヒストグラム２０９として算出する。
【0021】
特定画素値抽出手段２０３は、枠上ヒストグラム２０７で、度数値が第１の閾値に対して大きい例えばカラー画素値を特定画素値として抽出する。
【0022】
ヒストグラム更新手段２０４は、特定画素値での度数値が枠外ヒストグラム２０８上で第２の閾値に対して大きくかつ枠内ヒストグラム２０９上で第３の閾値に対して小さい場合に、特定画素値において第２のヒストグラム２０６の度数値が第１のヒストグラム２０５の度数値に対して相対的に増加するようにそれら２つの度数値の少なくともいずれかを更新する。この場合、ヒストグラム更新手段２０４は例えば、次のような更新処理を実行する。特定画素値における第２のヒストグラム２０６の度数値を、１よりも大きい倍数である所定数倍して更新する。あるいは、特定画素値における第２のヒストグラム２０６の度数値に０よりも大きい所定数を加算して更新する。さらには逆に、特定画素値における第１のヒストグラム２０５の度数値が小さくなるように更新してもよい。
【0023】
本特許出願の発明者は、例えば花画像などの領域分割において、例えばユーザが指定した矩形枠の枠上で発生頻度の高い例えばカラー画素値である特定画素値が、矩形枠外でも発生頻度が高く、なおかつ矩形枠内で発生頻度が高くなければ、その特定画素値は背景に属する画素値である可能性が高いとの知見を得た。この知見に基づいて、上記のような場合に、領域分割手段２０１において領域分割を行うためのエネルギー関数に使用される主要オブジェクトらしさを示す第１のヒストグラム２０５と背景らしさを示す第２のヒストグラム２０６の上記特定画素値において、第２のヒストグラム２０６の度数値が第１のヒストグラム２０５の度数値に対して相対的に増加するように、ヒストグラム更新手段２０４において、これら２つの度数値の少なくともいずれかが更新される。これにより、特定画素値を基準として主要オブジェクト領域と背景領域をより明確に領域分割することが可能となる。
【0024】
図３は、本実施形態による画像領域分割処理の全体動作を示すフローチャートである。このフローチャートの処理は、図８および図９の詳細処理を示すフローチャートの処理とともに、図１のＣＰＵ１０２が、ＲＯＭ１０３に記憶された制御プログラムを、ＲＡＭ１０４をワークメモリとして使用しながら実行する処理として実現される。
【0025】
まず、矩形枠決定処理が実行される（図３のステップＳ３０１）。この処理では、ユーザが、例えば図１の撮像装置１１２にて撮像した画像に対して、認識したい物体（例えば花）が存在するおおよその領域に対して、例えばタッチパネル等の入力装置１０７を用いて、矩形枠を指定する。例えば、タッチパネル上での、指によるスライド動作である。
【0026】
次に、ヒストグラム更新処理が実行される（図３のステップＳ３０２）。この処理では、図２に示したヒストグラム算出手段２０２、特定画素値抽出手段２０３、およびヒストグラム更新手段２０４の機能が実現される。この処理の詳細については、図９から図１１で後述する。
【0027】
続いて、画像範囲内の各画素に対して、主要オブジェクトと背景を領域分割する領域分割処理（グラフカット処理）が実行される（図３のステップＳ３０３）。この領域分割処理は、図２の領域分割手段２０１の機能を実現する。この処理の詳細については、図４から図８で後述する。
【0028】
一度領域分割処理が終了した後、収束判定が行われる（図３のステップＳ３０４）。この収束判定は、以下のいずれかが満たされたときに、ＹＥＳの判定結果となる。・繰り返し回数が一定以上になった
・前回前景とされた領域面積と今回前景とされた領域の差が一定以下
【0029】
ステップＳ３０４の判定で収束せず、その判定がＮＯであった場合、前回の領域分割の状況に応じて、ユーザが指定した矩形枠内の後述するコスト関数ｇv (Ｘv )が、次のようにして修正されてデータ更新される（図３のステップＳ３０５）。ステップＳ３０３の領域分割処理によって主要オブジェクトと判定された領域のヒストグラムと、事前に用意されている後述するヒストグラムθ（ｃ，０）が、カラー画素値ｃごとに例えば一定割合で混合（加算）される。これにより、新たな主要オブジェクトらしさを示すヒストグラムθ（ｃ，０）が生成され、それに基づいて新たなコスト関数ｇv (Ｘv )が計算される（後述する数７式等を参照）。同様に、ステップＳ３０３の領域分割処理によって背景と判定された領域のヒストグラムと、事前に用意されている後述するヒストグラムθ（ｃ，１）が、カラー画素値ｃごとに例えば一定割合で混合（加算）される。これにより、新たな背景らしさを示すヒストグラムθ（ｃ，１）が生成され、それに基づいて新たなコスト関数ｇv (Ｘv )が計算される（後述する数８式等を参照）。
【0030】
ステップＳ３０４の判定が収束し、その判定がＹＥＳになると、図３のフローチャートで示される領域分割処理は終了とし、現在得られている主要オブジェクト領域が最終結果として出力される。
【0031】
以下に、図３のステップＳ３０３の領域分割処理について、説明する。いま、
【数1】
【数2】
【0032】
本実施形態において実行される領域分割処理は、画像Ｖにおいて、次式で定義されるエネルギー関数Ｅ（Ｘ）を最小にするような数１式の領域ラベルベクトルＸを求める処理である。【数3】
【0033】
数３式のエネルギーを最小化するために、次式および図４で示される重み付き有向グラフ（以下「グラフ」と略す）を定義する。【数4】
【数5】
【0034】
いま、ソースｓと各画素に対応するノードとを結ぶ各ｔ−ｌｉｎｋを、各画素がどの程度主要オブジェクト領域らしいかを示す関係ととらえる。そして、その主要オブジェクト領域らしさを示すコスト値を、数３式第１項に対応付けて、【数6】
【0035】
次に、シンクｔと各画素に対応するノードとを結ぶ各ｔ−ｌｉｎｋを、各画素がどの程度背景領域らしいかを示す関係ととらえる。そして、その背景領域らしさを示すコスト値を、数３式第１項に対応付けて、【数7】
【0036】
次に、各画素に対応するノードとその周辺画素との関係を示すｎ−ｌｉｎｋのコスト値を、数３式第２項に対応付けて、【数8】
【0037】
以上の定義を用いて、入力画像の各画素ｖごとに、数６式によって、ソースｓと各画素ｖとを結ぶｔ−ｌｉｎｋのコスト値（主要オブジェクト領域らしさ）が算出される。また、数７式によって、シンクｔと各画素ｖとを結ぶｔ−ｌｉｎｋのコスト値（背景領域らしさ）が算出される。さらに、入力画像の各画素ｖごとに、数８式によって、画素ｖとその周辺例えば８方向の各８画素とを結ぶ８本のｎ−ｌｉｎｋのコスト値（境界らしさ）が算出される。
【0038】
そして、理論的には、数１式の領域ラベルベクトルＸの全ての領域ラベル値の０または１の組合せごとに、各領域ラベル値に応じて上記数６式、数７式、および数８式の計算結果が選択されながら数３式のエネルギー関数Ｅ（Ｘ）が計算される。そして、全ての組合せの中でエネルギー関数Ｅ（Ｘ）の値が最小となる領域ラベルベクトルＸを選択することにより、領域ラベルベクトルＸ上で領域ラベル値Ｘv ＝０となる画素ｖの集合として、主要オブジェクト領域を得ることができる。
【0039】
しかし実際には、領域ラベルベクトルＸの全ての領域ラベル値の０または１の組合せ数は、２の画素数乗通りあるため、現実的な時間でエネルギー関数Ｅ（Ｘ）の最小化処理を計算することができない。
【0040】
そこで、Ｇｒａｐｈ Ｃｕｔｓ法では、次のようなアルゴリズムを実行することにより、エネルギー関数Ｅ（Ｘ）の最小化処理を現実的な時間で計算することを可能にする。図７は、上述した数６式、数７式で定義されるｔ−ｌｉｎｋと数８式で定義されるｎ−ｌｉｎｋを有するグラフと、領域ラベルベクトルＸおよびグラフカットとの関係を、模式的に示した図である。図７では、理解の容易化のために、画素ｖは一次元的に示されている。
【0041】
数３式のエネルギー関数Ｅ（Ｘ）の第１項の計算で、領域ラベルベクトルＸ中の領域ラベル値が０となるべき主要オブジェクト領域中の画素では、数６式と数７式のうち、主要オブジェクト領域中の画素らしい場合により小さな値となる数６式のコスト値のほうが小さくなる。従って、ある画素において、ソースｓ側のｔ−ｌｉｎｋが選択されシンクｔ側のｔ−ｌｉｎｋがカットされて（図７の７０２のケース）、数６式を用いて数３式のＥ（Ｘ）の第１項が計算された場合に、その計算結果が小さくなれば、その画素の領域ラベル値としては０が選択される。そして、そのグラフカット状態が採用される。計算結果が小さくならなければ、そのグラフカット状態は採用されず、他のリンクの探索およびグラフカットが試みられる。
【0042】
逆に、領域ラベルベクトルＸ中の領域ラベル値が１となるべき背景領域中の画素では、数６式と数７式のうち、背景領域中の画素らしい場合により小さな値となる数７式のコスト値のほうが小さくなる。従って、ある画素において、シンクｔ側のｔ−ｌｉｎｋが選択されソースｓ側のｔ−ｌｉｎｋはカットされて（図７の７０３のケース）、数７式を用いて数３式のＥ（Ｘ）の第１項が計算された場合に、その計算結果が小さくなれば、その画素の領域ラベル値としては１が選択される。そして、そのグラフカット状態が採用される。計算結果が小さくならなければ、そのグラフカット状態は採用されず、他のリンクの探索およびグラフカットが試みられる。
【0043】
一方、数３式のエネルギー関数Ｅ（Ｘ）の第１項の計算に係る上記領域分割（グラフカット）処理により、領域ラベルベクトルＸ中の領域ラベル値が０または１で連続すべき主要オブジェクト領域内部または背景領域内部の画素間では、数８式のコスト値が０となる。従って、数８式の計算結果は、エネルギー関数Ｅ（Ｘ）の第２項のコスト値の計算には影響しない。また、その画素間のｎ−ｌｉｎｋは、数８式がコスト値０を出力するように、カットされずに維持される。
【0044】
ところが、エネルギー関数Ｅ（Ｘ）の第１項の計算に係る上記領域分割（グラフカット）処理により、近傍画素間で、領域ラベル値が０と１の間で変化した場合に、それらの画素間のカラー画素値（輝度値）の差が小さければ、数８式のコスト値が大きくなる。この結果、数３式のエネルギー関数Ｅ（Ｘ）の値が押し上げられる。このようなケースは、同一領域内で第１項の値による領域ラベル値の判定がたまたま反転するような場合に相当する。従って、このようなケースでは、エネルギー関数Ｅ（Ｘ）の値が大きくなって、そのような領域ラベル値の反転は選択されない結果となる。また、この場合には、数８式の計算結果が、上記結果を維持するように、それらの画素間のｎ−ｌｉｎｋは、カットされずに維持される。
【0045】
これに対して、エネルギー関数Ｅ（Ｘ）の第１項の計算に係る上記領域分割（グラフカット）処理により、近傍画素間で、領域ラベル値が０と１の間で変化した場合に、それらの画素間のカラー画素値（輝度値）の差が大きければ、数８式のコスト値が小さくなる。この結果、数３式のエネルギー関数Ｅ（Ｘ）の値が押し下げられる。このようなケースは、それらの画素部分が主要オブジェクト領域と背景領域の境界らしいことを意味している。従って、このようなケースでは、これらの画素間で領域ラベル値を異ならせて、主要オブジェクト領域と背景領域の境界を形成する方向に制御される。また、この場合には、境界の形成状態を安定化するために、それらの画素間のｎ−ｌｉｎｋがカットされて、数３式の第２項のコスト値が０にされる（図７の７０４のケース）。
【0046】
以上の判定制御処理が、ソースｓのノードを起点にして、順次各画素のノードをたどりながら繰り返されることにより、図７の７０１で示されるようなグラフカットが実行され、エネルギー関数Ｅ（Ｘ）の最小化処理が現実的な時間で計算される。この処理の具体的な手法としては、例えば、非特許文献１に記載されている手法を採用することができる。
【0047】
そして、各画素ごとに、ソースｓ側のｔ−ｌｉｎｋが残っていれば、その画素の領域ラベル値として０、すなわち主要オブジェクト領域の画素を示すラベルが付与される。逆に、シンクｔ側のｔ−ｌｉｎｋが残っていれば、その画素の領域ラベル値として１、すなわち背景領域の画素を示すラベルが付与される。最終的に、領域ラベル値が０となる画素の集合として、主要オブジェクト領域が得られる。
【0049】
まず、画像から、カラー画素値Ｉ（Ｖ）が１つずつ読み込まれる（図８のステップＳ８０１）。
【0050】
次に、ステップＳ８０１で読み込まれた画素が、ユーザによって指定された矩形枠内の画素であるか否かが判定される（図８のステップＳ８０２）。
【0051】
ステップＳ８０２の判定がＹＥＳの場合には、前述した数６式、数７式、および数８式に基づいて、主要オブジェクト領域らしさを示すコスト値、背景領域らしさを示すコスト値、および境界らしさを示すコスト値が、それぞれ算出される（図８のステップＳ８０３、Ｓ８０４、およびＳ８０５）。なお、θ（ｃ、０）の初期値は、学習用に用意した複数枚（数百枚程度）の主要オブジェクトの領域から算出される。同様に、θ（ｃ、１）の初期値は、学習用に用意した複数枚（数百枚程度）の背景の領域から算出される。
【0052】
一方、ステップＳ８０２の判定がＮＯの場合には、矩形の枠外には主要オブジェクト領域はないため、そこが主要オブジェクト領域と判定されないようにするために、主要オブジェクト領域らしさを示すコスト値ｇv (Ｘv )が、次式のように一定の大きな値Ｋとされる。【数9】
【数10】
【0054】
さらに、矩形の枠外は全て背景領域であるため、ｈuv（Ｘu ,Ｘv ）の値は０とされる（図８のステップＳ８０８）。
【0055】
以上の処理の後、画像内に処理すべき画素が残っているか否かが判定される（図８のステップＳ８０９）。
【0056】
処理すべき画素がありステップＳ８０９の判定がＹＥＳならば、ステップＳ８０１の処理に戻って、上記処理が繰り返される。
【0057】
処理すべき画素がなくなりステップＳ８０９の判定がＮＯになると、画像内の全ての画素について求まったコスト値を用いて、数３式のエネルギー関数Ｅ（Ｘ）が計算されながら、Ｇｒａｐｈ Ｃｕｔｓアルゴリズムが実行され、主要オブジェクトと背景が領域分割される（ステップＳ８１０）。
【0059】
まず、入力画像に対し図３のステップＳ３０１の矩形枠決定処理でユーザにより指定された矩形枠に関して、カラー画素値ごとの矩形枠上のヒストグラム、矩形枠外のヒストグラム、および矩形枠内のヒストグラムがそれぞれ、枠上ヒストグラム２０７、枠外ヒストグラム２０８、および枠内ヒストグラム２０９として算出される（図９のステップＳ９０１）。枠上ヒストグラム２０７の度数値をカラー画素値ｃごとにθon（ｃ，０）、枠外ヒストグラム２０８の度数値をカラー画素値ｃごとにθout （ｃ，０）、枠内ヒストグラム２０９の度数値をカラー画素値ｃごとにθin（ｃ，０）とする。
【0060】
次に、図９のステップＳ９０２からＳ９０８の一連の処理で示されるヒストグラム比較更新処理が実行される。ここでは、図９のステップＳ９０２でカラー画素値ｃが最初の画素値に対応する番号１にセットされ、その後、図９のステップＳ９０８でカラー画素値ｃを示す番号が＋１ずつされる。そして、図９のステップＳ９０７でカラー画素値ｃに対応する番号が最大番号Ｎに達したと判定されるまで、図９のステップＳ９０３からＳ９０６の処理が、各カラー画素値ｃごとに実行される。
【0061】
まず、カラー画素値ｃ中から特定画素値ｃm が取得される。具体的には、カラー画素値ｃに対応してステップＳ９０１で作成された枠上ヒストグラム２０７の度数値θon（ｃ，０）が第１の閾値θonm 以上である（θon（ｃ，０）≧θonm ）か否かが判定される（ステップＳ９０３）。すなわち、カラー画素値ｃの矩形枠上での発生頻度が高いか否かが判定される。この結果、この判定がＹＥＳならば、カラー画素値ｃは特定画素値ｃm であると判定される。図１０は、特定画素値の説明図である。例えば図１０（ａ）の１００１で示されるθon（ｃ，０）（１≦ｃ≦Ｎ）において、その値がθonm 以上となる１００２で示される範囲のカラー画素値が、特定画素値ｃm となる。なお、図１０（ｂ）に示されるように、通常のヒストグラムの代わりにＲon（ｃ，０）（１≦ｃ≦Ｎ）で示される累積ヒストグラムが用いられてもよく、この場合には、度数に関する所定閾値θonm の代わりに、累積度数に関する所定閾値Ｒonm が判定に使用される。
【0062】
カラー画素値ｃが特定画素値ｃm と判定されステップＳ９０３の判定がＹＥＳならば、カラー画素値ｃに対応してステップＳ９０１で作成された枠外ヒストグラム２０７の度数値θout （ｃ，０）が第２の閾値θout m 以上である（θout （ｃ，０）≧θout m ）か否かが判定される。すなわち、特定画素値ｃm の発生頻度が矩形枠外でも高いか否かが判定される（図９のステップＳ９０４）。
【0063】
特定画素値ｃm の発生頻度が矩形枠外でも高くステップＳ９０４の判定がＹＥＳならばさらに、カラー画素値ｃに対応してステップＳ９０１で作成された枠内ヒストグラム２０９の度数値θin（ｃ，０）が第３の閾値θinm 未満である（θin（ｃ，０）＜θinm ）か否かが判定される。すなわち、特定画素値ｃm の発生頻度が矩形枠内では低いか否かが判定される（図９のステップＳ９０５）。
【0064】
特定画素値ｃm の発生頻度が矩形枠内では低くステップＳ９０５の判定がＹＥＳならば、その特定画素値ｃm は背景に特有のカラーであって、主要オブジェクトを構成する主な色ではないと判断できる。
【0065】
この場合には、下記の数１２式に示されるように、特定画素値ｃm において、図３のステップＳ３０３で使用される背景らしさを示すヒストグラムの度数値θ（ｃ，１）（＝図２の第２のヒストグラム２０６）が、α（α＞１）倍されて更新される。【数12】
【0066】
あるいは下記の数１３式に示されるように、特定画素値ｃm において、背景らしさを示すヒストグラムの度数値θ（ｃ，１）に定数βが加算されて更新される。【数13】
【0067】
以上のようにして、特定画素値ｃm において、図３のステップＳ３０３で使用される背景らしさを示すヒストグラムの度数値θ（ｃ，１）（＝図２の第２のヒストグラム２０６）が、主要オブジェクトらしさを示すヒストグラムの度数値θ（ｃ，０）（＝図２の第１のヒストグラム２０５）に対して相対的に増加するように、θ（ｃ，１）が更新される。ここで、特定画素値ｃm において、主要オブジェクトらしさを示すヒストグラムの度数値θ（ｃ，０）のほうが小さくなるように更新処理が行われてもよい（以上、図９のステップＳ９０６）。
【0068】
今回のカラー画素値ｃに対して以下の判定がなされた場合は、ヒストグラムの更新処理は実行されず、ステップＳ９０７の処理に移行する。カラー画素値ｃが特定画素値ｃm と判定されず、ステップＳ９０３の判定がＮＯとなった場合である。または、カラー画素値ｃは特定画素値ｃm と判定されステップＳ９０３の判定はＹＥＳとなったが、特定画素値ｃm の発生頻度が矩形枠外で高くなくステップＳ９０４の判定がＮＯとなった場合である。あるいは、特定画素値ｃm の発生頻度が矩形枠外で高くステップＳ９０４の判定がＹＥＳとなったが、特定画素値ｃm の発生頻度が矩形枠内でも高くステップＳ９０５の判定がＮＯとなった場合である。
【0069】
以上の図９のステップＳ９０３からＳ９０６の一連のヒストグラム更新処理が、各カラー画素値ｃの番号（１≦ｃ≦Ｎ）ごとに繰り返し実行される。
【0070】
本実施形態では、矩形枠の枠上で発生頻度の高い例えばカラー画素値である特定画素値ｃm が、矩形枠外でも発生頻度が高く、なおかつ矩形枠内で発生頻度が高くなければ、図３のステップＳ３０３で実行される領域分割処理において、特定画素値ｃm に対する背景らしさを示すヒストグラムの度数値θ（ｃ，１）が相対的に増加するように更新される。これにより、特定画素値ｃm については背景領域に分類される確率が高められる。この結果、領域分割手段２０１における領域分割処理において、背景領域と主要オブジェクト領域とで誤認識をする割合が減少し、領域分割の精度を向上させることが可能となる。
【0071】
図１１は、上述のヒストグラム更新処理に基づく領域分割処理（グラフカット処理）の結果例を示す図である。
【0072】
入力画像として、図１１（ａ）に示されるように例えば、黄色が多くを占める一輪の花１１０１が、緑色が多くを占める背景１１０２の中に配置されている場合、花１１０１の部分を示す主要オブジェクト領域と背景１１０２の部分を示す背景領域とを領域分割した結果は、例えば図１１（ｂ）に示されるごとくとなる。図１１（ｂ）において、白色の領域が主要オブジェクト領域、黒色の領域が背景領域と判別されている。この場合、本実施形態では、図１１（ｃ）に示されるように、ユーザにより指定された矩形枠の枠上１１０３では緑色の画素値が多くを占める。従って、枠上ヒストグラム２０７において、緑色の画素値に対応する度数値が高くなって図９のステップＳ９０３の判定がＹＥＳとなり、緑色の画素値が特定画素値ｃm として抽出される。次に、緑色の画素値は矩形枠１１０３の外側でも多くを占める。従って、枠外ヒストグラム２０８において、緑色の画素値に対応する度数値が高くなって図９のステップＳ９０４の判定がＹＥＳとなる。さらに、緑色の画素値は矩形枠１１０３の内側では多くを占めてはいない。従って、枠内ヒストグラム２０９において、緑色の画素値に対応する度数値が低くなって図９のステップＳ９０５の判定がＹＥＳとなる。以上の結果、緑色の画素値において、図９のステップＳ９０６において、背景らしさを示すヒストグラムの度数値θ（ｃ，１）が、主要オブジェクトらしさを示すヒストグラムの度数値θ（ｃ，０）に対して相対的に増加するように、更新される。この結果、主要オブジェクト領域が黄色が多くを占める花１１０１の部分に良く対応するように、領域分割が実行される。
【0073】
一方、入力画像として、図１１（ｄ）に示されるように例えば、ピンク色の花の部分１１０４に対して、背景１１０５にも同様のピンク色の花が多く存在する場合、花１１０４の部分を示す主要オブジェクト領域と背景１１０５の部分を示す背景領域とを領域分割した結果は、例えば図１１（ｅ）に示されるごとくとなる。この場合、本実施形態では、図１１（ｆ）に示されるように、ユーザにより指定された矩形枠の枠上１１０６にはピンク色の画素値が多くを占める。従って、枠上ヒストグラム２０７において、ピンク色の画素値に対応する度数値が高くなって図９のステップＳ９０３の判定がＹＥＳとなり、ピンク色の画素値が特定画素値ｃm として抽出される。次に、ピンク色の画素値は矩形枠１１０３の外側でも多くを占める。従って、枠外ヒストグラム２０８において、ピンク色の画素値に対応する度数値が高くなって図９のステップＳ９０４の判定がＹＥＳとなる。しかしながら、ピンク色の画素値は矩形枠１１０３の内側でも多くを占めている。従って、枠内ヒストグラム２０９において、ピンク色の画素値に対応する度数値が高くなって図９のステップＳ９０５の判定がＮＯとなる。以上の結果、ピンク色の画素値については、背景らしさを示すヒストグラムの度数値θ（ｃ，１）が、主要オブジェクトらしさを示すヒストグラムの度数値θ（ｃ，０）に対して相対的に増加するような更新は行われない。この結果、ピンク色を基準として領域分割が行われるような状況が回避される。
【0074】
以上のようにして、本実施形態では、矩形枠内外のコスト設定が適切に行われることにより、領域分割における切抜きの精度を向上させることが可能となる。
【0075】
上述の実施形態では、主要オブジェクトが花である場合を例に説明したが、主要オブジェクトとしては、花に限られず、様々なオブジェクトを採用することができる。
【0076】
以上の実施形態に関して、更に以下の付記を開示する。（付記１）
画像内で指定された画像範囲内の主要オブジェクトと該主要オブジェクト以外の背景を領域分割する装置であって、
前記画像範囲内の各画素に付与する前記主要オブジェクトまたは前記背景を示す領域ラベルを更新しながら、該領域ラベルと前記各画素の画素値に基づき、前記主要オブジェクトを示す画像から算出した前記画素値ごとの第１のヒストグラムの値が大きいほど値が小さくなるコスト項と、前記背景を示す画像から算出した前記画素値ごとの第２のヒストグラムの値が大きいほど値が小さくなるコスト項を含むエネルギー関数の最小化処理により、前記画像内で前記主要オブジェクトと前記背景を領域分割する領域分割手段と、
前記画像範囲の枠上の画素値ごと、前記画像範囲の境界外の画素値ごと、および前記画像範囲の枠内の画素値ごとの各ヒストグラムをそれぞれ、枠上ヒストグラム、枠外ヒストグラム、および枠内ヒストグラムとして算出するヒストグラム算出手段と、
前記枠上ヒストグラムで度数値が第１の閾値に対して大きい画素値を特定画素値として抽出する特定画素値抽出手段と、
前記特定画素値での度数値が前記枠外ヒストグラム上で第２の閾値に対して大きくかつ前記枠内ヒストグラム上で第３の閾値に対して小さい場合に、前記特定画素値において前記第２のヒストグラムの度数値が前記第１のヒストグラムの度数値に対して相対的に増加するように該２つの度数値の少なくともいずれかを更新するヒストグラム更新手段と、
を備えることを特徴とする画像領域分割装置。
（付記２）
前記ヒストグラム更新手段は、前記特定画素値での度数値が前記枠外ヒストグラム上で第２の閾値に対して大きくかつ前記枠内ヒストグラム上で第３の閾値に対して小さい場合に、前記特定画素値における前記第２のヒストグラムの度数値を、１よりも大きい倍数である所定数倍して更新する、
ことを特徴とする付記１に記載の画像領域分割装置。
（付記３）
前記ヒストグラム更新手段は、前記特定画素値での度数値が前記枠外ヒストグラム上で第２の閾値に対して大きくかつ前記枠内ヒストグラム上で第３の閾値に対して小さい場合に、前記特定画素値における前記第２のヒストグラムの度数値に０よりも大きい所定数を加算して更新する、
ことを特徴とする付記１に記載の画像領域分割装置。
（付記４）
前記第１のヒストグラムの初期値は、学習用の複数枚の前記主要オブジェクトを示す画像の前記画素値ごとのヒストグラムとして算出し、
前記第２のヒストグラムの初期値は、学習用の複数枚の前記背景を示す画像の前記画素値ごとのヒストグラムとして算出する、
ことを特徴とする付記１ないし３のいずれかに記載の画像領域分割装置。
（付記５）
前記領域分割手段は、Ｇｒａｐｈ Ｃｕｔｓ法により前記エネルギー関数の最小化処理を実行する、
ことを特徴とする付記１ないし４のいずれかに記載の画像領域分割装置。
（付記６）
画像内で指定された画像範囲内の主要オブジェクトと該主要オブジェクト以外の背景を領域分割する方法であって、
前記画像範囲内の各画素に付与する前記主要オブジェクトまたは前記背景を示す領域ラベルを更新しながら、該領域ラベルと前記各画素の画素値に基づき、前記主要オブジェクトを示す画像から算出した前記画素値ごとの第１のヒストグラムの値が大きいほど値が小さくなるコスト項と、前記背景を示す画像から算出した前記画素値ごとの第２のヒストグラムの値が大きいほど値が小さくなるコスト項を含むエネルギー関数の最小化処理により、前記画像内で前記主要オブジェクトと前記背景を領域分割する領域分割ステップと、
前記画像範囲の枠上の画素値ごと、前記画像範囲の境界外の画素値ごと、および前記画像範囲の枠内の画素値ごとの各ヒストグラムをそれぞれ、枠上ヒストグラム、枠外ヒストグラム、および枠内ヒストグラムとして算出するヒストグラム算出ステップと、
前記枠上ヒストグラムで度数値が第１の閾値に対して大きい画素値を特定画素値として抽出する特定画素値抽出ステップと、
前記特定画素値での度数値が前記枠外ヒストグラム上で第２の閾値に対して大きくかつ前記枠内ヒストグラム上で第３の閾値に対して小さい場合に、前記特定画素値において前記第２のヒストグラムの度数値が前記第１のヒストグラムの度数値に対して相対的に増加するように該２つの度数値の少なくともいずれかを更新するヒストグラム更新ステップと、
を備えることを特徴とする画像領域分割方法。
（付記７）
画像内で指定された画像範囲内の主要オブジェクトと該主要オブジェクト以外の背景を領域分割する処理を実行するコンピュータに、
前記画像範囲内の各画素に付与する前記主要オブジェクトまたは前記背景を示す領域ラベルを更新しながら、該領域ラベルと前記各画素の画素値に基づき、前記主要オブジェクトを示す画像から算出した前記画素値ごとの第１のヒストグラムの値が大きいほど値が小さくなるコスト項と、前記背景を示す画像から算出した前記画素値ごとの第２のヒストグラムの値が大きいほど値が小さくなるコスト項を含むエネルギー関数の最小化処理により、前記画像内で前記主要オブジェクトと前記背景を領域分割する領域分割ステップと、
前記画像範囲の枠上の画素値ごと、前記画像範囲の境界外の画素値ごと、および前記画像範囲の枠内の画素値ごとの各ヒストグラムをそれぞれ、枠上ヒストグラム、枠外ヒストグラム、および枠内ヒストグラムとして算出するヒストグラム算出ステップと、
前記枠上ヒストグラムで度数値が第１の閾値に対して大きい画素値を特定画素値として抽出する特定画素値抽出ステップと、
前記特定画素値での度数値が前記枠外ヒストグラム上で第２の閾値に対して大きくかつ前記枠内ヒストグラム上で第３の閾値に対して小さい場合に、前記特定画素値において前記第２のヒストグラムの度数値が前記第１のヒストグラムの度数値に対して相対的に増加するように該２つの度数値の少なくともいずれかを更新するヒストグラム更新ステップと、
を実行させるためのプログラム。
【符号の説明】
【0077】
１０１ 画像領域分割装置１０２ ＣＰＵ
１０３ ＲＯＭ
１０４ ＲＡＭ
１０５ 外部記憶装置
１０６ 通信インタフェース
１０７ 入力装置
１０８ 表示装置
１０９ 可搬記録媒体駆動装置
１１０ 可搬記録媒体
１１１ バス
１１２ 撮像装置
２０１ 領域分割手段
２０２ ヒストグラム算出手段
２０３ 特定画素値抽出手段
２０４ ヒストグラム更新手段
２０５ 第１のヒストグラム
２０６ 第２のヒストグラム
２０７ 枠上ヒストグラム
２０８ 枠外ヒストグラム
２０９ 枠内ヒストグラム