特許 5872395 領域分割装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5872395

(24)【登録日】2016年1月22日

(45)【発行日】2016年3月1日

(54)【発明の名称】領域分割装置

(51)【国際特許分類】

   G06T 7/60 20060101AFI20160216BHJP

【ＦＩ】

   G06T7/60 200Z

【請求項の数】6

【全頁数】22

(21)【出願番号】特願2012-147990(P2012-147990)

(22)【出願日】2012年6月29日

(65)【公開番号】特開2014-10717(P2014-10717A)

(43)【公開日】2014年1月20日

【審査請求日】2015年3月13日

(73)【特許権者】

【識別番号】000108085

【氏名又は名称】セコム株式会社

(74)【代理人】

【識別番号】110000154

【氏名又は名称】特許業務法人はるか国際特許事務所

(72)【発明者】

【氏名】李 叶秋

(72)【発明者】

【氏名】黒川 高晴

【審査官】 真木 健彦

(56)【参考文献】

【文献】 特開２０１１−０３４１７８（ＪＰ，Ａ）

【文献】 特開２０１２−０２７７１３（ＪＰ，Ａ）

【文献】 特開２０１０−２７７４３１（ＪＰ，Ａ）

【文献】 松尾 賢治，異シードグラフカットによる拡大領域の重複現象を利用した多領域画像分割，電子情報通信学会論文誌 Ｄ，日本，社団法人 電子情報通信学会，２０１１年 ８月 １日，Vol.J94-D No.8，P.1473-1485

【文献】 永橋 知行，平滑化処理の繰返しによるグラフカットを用いた画像セグメンテーション，情報処理学会論文誌 コンピュータビジョンとイメージメディア，日本，社団法人 情報処理学会，２００８年１１月１５日，Vol.1 No.2，P.10-20

【文献】 柴 涼介，分割画像のグラフカットに基づく高速かつ省メモリな画像前景抽出，電子情報通信学会論文誌 Ｄ，日本，社団法人 電子情報通信学会，２０１２年 ３月 １日，Vol.J95-D No.3，P.628-637

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００ − ７／６０

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

所定の対象物を背景と共に撮像した画像において、それぞれが少なくとも１つの画素からなる素領域ごとに当該素領域を対象物領域と背景領域とのいずれかに帰属させることにより、前記画像を領域分割する領域分割装置であって、
前記素領域それぞれに対して当該素領域が帰属する帰属領域と複数種類の画像特徴のうち当該素領域を評価するための一部の種類の評価対象特徴とを仮決めした試行設定において、前記素領域それぞれの前記評価対象特徴が前記試行設定にて仮決めされた帰属領域に帰属することの尤もらしさの程度を表す帰属度を前記画像内にて総和して積算評価値を算出する評価値算出部と、
複数通りの前記試行設定を設定し、前記評価値算出部により算出される前記各試行設定における前記積算評価値を比較し、前記画像全体での前記尤もらしさを最大化する前記試行設定における帰属領域を領域分割結果と決定する領域分割決定部と、
を備えたことを特徴とする領域分割装置。

【請求項2】

前記領域分割決定部は、前記帰属領域を前記対象物領域とする前記素領域に対して前記評価対象特徴を第１の種類の前記画像特徴とし、且つ前記帰属領域を前記背景領域とする前記素領域に対して前記評価対象特徴を前記第１の種類とは異なる第２の種類の前記画像特徴とする前記試行設定を設定して前記積算評価値の前記比較を行うこと、を特徴とする請求項１に記載の領域分割装置。

【請求項3】

前記領域分割装置は、前記帰属度としてコストを用い、前記積算評価値で与えられるエネルギーを最小化するグラフカット法により領域分割を行うものであって、
前記領域分割決定部は、前記複数種類の画像特徴を順次、前記第１の種類の画像特徴として設定し、当該画像特徴をラベルαとするα拡張法により前記エネルギーを最小化すること、
を特徴とする請求項２に記載の領域分割装置。

【請求項4】

前記領域分割装置は、前記帰属度としてコストを用い、前記積算評価値で与えられるエネルギーを最小化するグラフカット法により領域分割を行うものであって、
前記領域分割決定部は、前記複数種類の画像特徴のうちの２つからなる組み合わせを順次、前記第１及び第２の種類の画像特徴の組として設定し、当該第１の種類の画像特徴をラベルαとし当該第２の種類の画像特徴をラベルβとするα−β交換法により前記エネルギーを最小化すること、
を特徴とする請求項２に記載の領域分割装置。

【請求項5】

前記複数種類の画像特徴は、前記素領域の色及び位置であることを特徴とする請求項１から請求項４のいずれか１つに記載の領域分割装置。

【請求項6】

さらに、前記複数種類の画像特徴それぞれの前記帰属度を前記積算評価値に寄与させる寄与度を複数通りに設定する寄与度設定部を有し、
前記評価値算出部は、前記寄与度ごとに、前記画像特徴についての前記各帰属度を前記寄与度で重み付けて前記画像内で総和して前記積算評価値を算出し、
前記領域分割決定部は、前記寄与度ごとに前記領域分割結果を求め、前記寄与度に依存しない一律の基準により前記各寄与度における前記領域分割結果の尤もらしさを評価して領域分割評価値を算出し、当該領域分割評価値が最も高い前記領域分割結果を前記複数の寄与度について統一した領域分割結果と決定すること、
を特徴とする請求項１から請求項５のいずれか１つに記載の領域分割装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、人物などの対象物を背景と共に撮像した画像を対象物領域と背景領域とに領域分割する領域分割装置に関する。

【背景技術】

【0002】

防犯等の目的で、監視画像から抽出した人物領域の形状を基に人物の姿勢を推定して異常の発生を検知することが行われている。監視画像中の人物領域は比較的小さいため、背景画素の混入や人物画素の欠損といった人物領域の抽出誤差は後段の処理に影響しやすい。そのため、人物領域の抽出精度向上が望まれる。

【0003】

人物領域などの対象物領域を高精度に抽出するための技術として、画像を対象物領域と背景領域とに分割することを画素間のリンクの切断でモデル化するグラフカット法が知られている。グラフカット法では、例えば、各画素をノードに見立てたグラフを作成して当該グラフを最小のエネルギーにて対象物領域のノード群と背景領域のノード群とに分割する切断を導出する。

【0004】

非特許文献１の技術では、領域分割のエネルギーとして、各画素の輝度値の対象物または背景としての尤もらしさに基づく輝度値（以下、色特徴）のエネルギーを利用すると共に、各画素の位置の対象物または背景としての尤もらしさに基づく形状特徴のエネルギーを利用している。すなわち、画像上に対象物の形状モデルを配置して形状モデルから近い距離に位置する画素ほど対象物の画素として尤もらしく、形状モデルから遠い距離に位置する画素ほど背景としても尤もらしいとされる。これにより対象物と背景との色特徴が似ている部分で生じやすかった誤分割を形状特徴により補うことができ、領域分割の精度が向上する。

【0005】

非特許文献１の技術では、すべての画素における色特徴のエネルギーと形状特徴のエネルギーとを加算して領域分割のエネルギーを算出していた。

【先行技術文献】

【非特許文献】

【0006】

【非特許文献1】D. Freedman and T. Zhang. Interactive graph cut based segmentationwith shape priors. In Proceedings of the IEEE Conference on Computer Vision andPattern Recognition (CVPR), volume 1, pages 755-762, 2005.

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、従来技術では２種類の特徴量がすべての画素で用いられていたため、各特徴量が適さない部位で抽出精度が低下する問題があった。

【0008】

例えば、白いシャツを着た人物が棚及び白い壁の前を歩いているとき、シャツ付近では色の特徴量が抽出に適さずに抽出精度が低下し、脚部では形状の特徴量が抽出に適さずに抽出精度が低下する。

【0009】

すなわちシャツ付近では、シャツと壁との境界以外にシャツの領域内でも壁の領域内でも色特徴のエネルギーが小さくなり得るため、シャツの一部が欠けた人物領域が抽出されたり、壁の領域を含んだ人物領域が抽出されたりしやすくなる。

【0010】

一方、脚部付近では足のエッジに対しても棚のエッジに対しても形状特徴のエネルギーが小さくなり得るため、足の一部が欠けた人物領域が抽出されたり、棚の領域を含んだ人物領域が抽出されたりしやすくなる。

【0011】

このように人物と背景との間で色が似ている部分が発生したり、人物付近に背景のエッジが存在する状況で抽出精度の低下が生じるが、人物の色は様々であり、また人物の移動によって人物周囲の背景の色やエッジは変わるため、色特徴のエネルギー及び形状特徴のエネルギーの適切な寄与率の配置を予め設定することは困難である。

【0012】

本発明は、上記問題を鑑みてなされたものであり、複数種類の画像特徴量に基づいて画像を対象物領域と背景領域とに領域分割する領域分割装置において、対象物の部位ごとに異なる精度低下要因が生じても対象物の領域を高精度に抽出できる領域抽出装置を提供することを目的とする。

【課題を解決するための手段】

【0013】

本発明に係る領域分割装置は、所定の対象物を背景と共に撮像した画像において、それぞれが少なくとも１つの画素からなる素領域ごとに当該素領域を対象物領域と背景領域とのいずれかに帰属させることにより、前記画像を領域分割するものであって、前記素領域それぞれに対して当該素領域が帰属する帰属領域と複数種類の画像特徴のうち当該素領域を評価するための一部の種類の評価対象特徴とを仮決めした試行設定において、前記素領域それぞれの前記評価対象特徴が前記試行設定にて仮決めされた帰属領域に帰属することの尤もらしさの程度を表す帰属度を前記画像内にて総和して積算評価値を算出する評価値算出部と、複数通りの前記試行設定を設定し、前記評価値算出部により算出される前記各試行設定における前記積算評価値を比較し、前記画像全体での前記尤もらしさを最大化する前記試行設定における帰属領域を領域分割結果と決定する領域分割決定部と、を備える。

【0014】

他の本発明に係る領域分割装置においては、前記領域分割決定部は、前記帰属領域を前記対象物領域とする前記素領域に対して前記評価対象特徴を第１の種類の前記画像特徴とし、且つ前記帰属領域を前記背景領域とする前記素領域に対して前記評価対象特徴を前記第１の種類とは異なる第２の種類の前記画像特徴とする前記試行設定を設定して前記積算評価値の前記比較を行う。

【0015】

さらに他の本発明に係る領域分割装置は、前記帰属度としてコストを用い、前記積算評価値で与えられるエネルギーを最小化するグラフカット法により領域分割を行うものであって、前記領域分割決定部は、前記複数種類の画像特徴を順次、前記第１の種類の画像特徴として設定し、当該画像特徴をラベルαとするα拡張法により前記エネルギーを最小化する。

【0016】

さらに他の本発明に係る領域分割装置は、前記帰属度としてコストを用い、前記積算評価値で与えられるエネルギーを最小化するグラフカット法により領域分割を行うものであって、前記領域分割決定部は、前記複数種類の画像特徴のうちの２つからなる組み合わせを順次、前記第１及び第２の種類の画像特徴の組として設定し、当該第１の種類の画像特徴をラベルαとし当該第２の種類の画像特徴をラベルβとするα−β交換法により前記エネルギーを最小化する。

【0017】

本発明の好適な態様は、前記複数種類の画像特徴が、前記素領域の色及び位置である領域分割装置である。

【0018】

別の本発明に係る領域分割装置は、さらに、前記複数種類の画像特徴それぞれの前記帰属度を前記積算評価値に寄与させる寄与度を複数通りに設定する寄与度設定部を有し、前記評価値算出部は、前記寄与度ごとに、前記画像特徴についての前記各帰属度を前記寄与度で重み付けて前記画像内で総和して前記積算評価値を算出し、前記領域分割決定部は、前記寄与度ごとに前記領域分割結果を求め、前記寄与度に依存しない一律の基準により前記各寄与度における前記領域分割結果の尤もらしさを評価して領域分割評価値を算出し、当該領域分割評価値が最も高い前記領域分割結果を前記複数の寄与度について統一した領域分割結果と決定する。

【発明の効果】

【0019】

本発明によれば、例えば、頭部では色重視の領域分割を行い、脚部では形状重視の領域分割を行う、というように１つの対象物でも部位ごとに特徴量の寄与が調整される。これにより、対象物の部位ごとに異なる精度低下要因が生じても対象物の領域を高精度に抽出できる。

【図面の簡単な説明】

【0020】

【図1】本発明の実施形態に係る画像監視装置の概略の構成を示したブロック図である。

【図2】本発明の実施形態でのグラフカット法に用いるグラフの模式図である。

【図3】初期領域設定部による処理を説明する模式図である。

【図4】図３に示す初期領域に基づいて設定される対象物シード及び背景シードの一例と、対象物画素の存在確率ρ_Ｏ及び背景画素の存在確率ρ_Ｂの一例とを示す模式図である。

【図5】対象物画素の存在確率ρ_Ｏ及び背景画素の存在確率ρ_Ｂの他の例を示す模式図である。

【図6】本発明の実施形態に係る画像監視装置の監視動作の概略を示すフロー図である。

【図7】人物領域抽出処理の概略のフロー図である。

【図8】α拡張法を説明するグラフの模式図である。

【図9】α拡張法による人物領域抽出処理での画素の帰属領域及び使用画像特徴の一例を説明する画像の模式図である。

【図10】色に関する領域評価値の算出に用いられる、対象物の輪郭画素に隣接する背景画素の集合を説明する模式図である。

【発明を実施するための形態】

【0021】

以下、本発明の領域分割装置を含んだ好適な実施の形態（以下実施形態という）の一例として、領域分割装置により監視画像上の人物領域を抽出し、人物領域の形状に基づく人物姿勢の推定により異常の発生を監視する画像監視装置１について、図面に基づいて説明する。本発明の領域分割装置は、領域分割部４１として画像監視装置１に具備され、監視画像を注目人物が写っている人物領域とそれ以外の背景領域に分割する。

【0022】

［画像監視装置１の構成］
図１は画像監視装置１の概略の構成を示したブロック図である。画像監視装置１は撮像部２、記憶部３及び出力部５が制御部４に接続されてなる。

【0023】

撮像部２は監視カメラである。撮像部２は監視空間を移動する人物を撮像するために監視空間を臨むように設置され、監視空間を所定の時間間隔で撮影する。撮影された監視空間の監視画像は順次、制御部４へ出力される。本実施形態においては、人物の位置を３次元座標で特定するために、２つの撮像部２−1，２−2が共通視野を有して設置される。これらの撮像部２のカメラパラメータは、予めのキャリブレーションにより計測して記憶部３に記憶させておく。

【0024】

記憶部３は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の記憶装置である。記憶部３は、各種プログラムや各種データを記憶し、制御部４との間でこれらの情報を入出力する。

【0025】

各種データには、追跡情報３０、人物形状モデル３１、グラフ情報３２及びカメラパラメータ（不図示）が含まれる。

【0026】

追跡情報３０は人物を追跡した結果である人物位置、人物の追跡のために生成され当該人物を特徴づける人物テンプレートなどのデータである。人物ごとの人物ＩＤに対応付けられて当該人物の人物位置及び人物テンプレートなどが記憶される。監視空間を模した３次元座標系における人物の頭部中心の座標が当該人物の人物位置として記憶される。

【0027】

人物形状モデル３１は人物の形状を模した形状データである。本実施形態では、立位の人物の頭部、胴部及び脚部の３部分それぞれを鉛直軸を回転軸とする回転楕円体で近似し、これらを上から順に鉛直方向に整列した立体形状データを予め作成して記憶させておく。

【0028】

後述する領域分割部４１は、監視画像に対して図２に示すようなグラフを生成し、当該グラフを最小のエネルギーで人物領域と背景領域とに２分割する切断をα拡張（α-expansion）法を適用したグラフカット（Graph Cut）法により導出することで監視画像から人物領域を抽出する。

【0029】

図２に示すグラフにおいて、水平面の斜視図が画素の集合である画像を模式的に表している。領域分割部４１は、例えば人物領域及び背景領域の最小単位（素領域）として１つ１つの画素をノードに設定すると共に人物領域側及び背景領域側の仮想のターミナルとしてソースＳ及びシンクＴを設定する。また各隣接ノード間のリンク（ｎ−ｌｉｎｋ）を設定し、各ノードとソースとの間及び各ノードとシンクとの間にもリンク（ｔ−ｌｉｎｋ）を設定する。さらに各リンクに当該リンクの結合度を設定する。こうして領域分割部４１は監視画像に対するグラフを生成する。本発明では特にソースとして色特徴量に関するソース（色ソースＳ_Ｃ）と色特徴量に関するソース（形状ソースＳ_Ｓ）の２種類を設ける。結合度は領域分割のために行うリンクの切断に要するコストとしてエネルギーに計上される。以下、結合度の値をコストと称する。

【0030】

領域分割部４１は各ｎ−ｌｉｎｋに、領域分割に伴い当該ｎ−ｌｉｎｋを切断するときのエッジコストを設定する。また、各ノードと色ソースＳ_Ｃとの間のｔ−ｌｉｎｋには当該ｔ−ｌｉｎｋを切断して当該ノードを背景領域に帰属させるときの色特徴量に係るコスト（背景帰属時色コスト）を設定し、各ノードと形状ソースＳ_Ｓとの間のｔ−ｌｉｎｋには当該ｔ−ｌｉｎｋを切断して当該ノードを背景領域に帰属させるときの形状特徴量に係るコスト（背景帰属時形状コスト）を設定し、各ノードとシンクＴとの間のｔ−ｌｉｎｋには当該ｔ−ｌｉｎｋを切断して当該ノードを対象物領域に帰属させるときの色特徴量に係るコスト（対象物帰属時色コスト）と当該ノードを対象物領域に帰属させるときの形状特徴量に係るコスト（対象物帰属時形状コスト）を設定する。各コストは分割が正しくないときに高くなる値であるため、監視画像を人物領域側のノードと背景領域側のノードとに２分割する際に切断されるリンクのコストの総和が領域分割のエネルギーとして定義され、エネルギーを最小化する切断がα拡張法を適用したグラフカット法により導出される。エネルギーを最小化する切断を導出することは帰属の尤もらしさを最大化する領域分割を導出することと等価である。

【0031】

グラフ情報３２は領域分割のエネルギーの基礎となるコストのデータである。隣接画素｛ｐ（ｘ_ｐ，ｙ_ｐ），ｑ（ｘ_ｑ，ｙ_ｑ）｝の組み合わせごとのエッジコストｃ_Ｅ（ｐ，ｑ）が記憶されると共に、画素ｐ（ｘ_ｐ，ｙ_ｐ）ごとに、色ソースＳ_Ｃとの間の背景帰属時色コストα_Ｃ・ｃ_Ｃ（ｐ，Ｓ_Ｃ）、形状ソースＳ_Ｓとの間の背景帰属時形状コストα_Ｓ・ｃ_Ｓ（ｐ，Ｓ_Ｓ）、シンクＴとの間の対象物帰属時色コストα_Ｃ・ｃ_Ｃ（ｐ，Ｔ）及びシンクＴとの間の対象物帰属時形状コストα_Ｓ・ｃ_Ｓ（ｐ，Ｔ）が記憶される。

【0032】

ここで、α_Ｃは領域分割のエネルギーに対する色特徴量のエネルギー（色エネルギー）の寄与度合いと、α_Ｓは領域分割のエネルギーに対する形状特徴量のエネルギー（形状エネルギー）の寄与度合いの比率（特徴比率）である。α_Ｃ，α_Ｓには０より大きな値を設定する。

【0033】

制御部４は、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置を用いて構成され、記憶部３からプログラムを読み出して実行することで人物追跡部４０、領域分割部４１、異常姿勢判定部４２等として機能する。

【0034】

人物追跡部４０は撮像部２からの監視画像を処理して、監視画像上に写っている各人物の人物位置を追跡し、当該監視画像、当該人物位置、当該人物に付与した人物ＩＤ及び当該監視画像を撮像した撮像部２に予め付与されたカメラＩＤを領域分割部４１に出力する。

【0035】

領域分割部４１は人物追跡部４０から監視画像及び各人物の人物位置を入力されると、当該監視画像を当該人物が写っている人物領域（対象物領域）とそれ以外の背景領域とに領域分割し、領域分割結果を異常姿勢判定部４２に出力する。

【0036】

領域分割部４１は、初期領域設定部４１０、分割コスト算出部４１１、エネルギー算出部４１２及び領域決定部４１３から構成される。

【0037】

以下、領域分割部４１を構成する各部について説明する。

【0038】

初期領域設定部４１０は、人物領域の初期値として監視画像上に人物領域の概略位置と概略形状とを有した初期領域を設定し、初期領域の情報を分割コスト算出部４１１に出力する。初期領域は領域分割の手がかりとなる。

【0039】

具体的には初期領域設定部４１０は、人物追跡部４０から入力された各人物の人物位置及び人物形状モデル３１を参照し、人物位置を基準にして人物形状モデル３１を監視画像上に配置することにより初期領域を設定する。そのために初期領域設定部４１０は、監視空間を模した仮想空間中の人物位置に人物形状モデル３１を配置し、配置した人物形状モデル３１をカメラパラメータを用いた座標変換により監視画像に投影し、投影した領域を初期領域に設定する。初期領域は人物ごとに設定され、さらに当該人物を複数の撮像部２により撮像している場合は各撮像部２が撮像した監視画像ごとに設定される。撮像部２とカメラパラメータと監視画像との対応関係はカメラＩＤにより特定される。

【0040】

図３は初期領域設定部４１０による処理を説明する模式図である。図３（ａ）は人物１０１が写った監視画像１００である。初期領域設定部４１０には当該監視画像１００と、当該人物１０１を追跡して得た仮想空間１１０におけるＸＹＺ座標系の人物位置１１２が入力される。入力される人物位置１１２は頭部中心座標で代表されている。図３（ｂ）は人物モデル１１３から初期領域１２１を生成する処理を説明する仮想空間１１０の模式的な斜視図であり、図３（ｃ）はその処理結果を示す模式図である。初期領域設定部４１０は、人物モデル１１３を、その頭部中心を人物位置１１２に合わせ、その下端を床面１１１に接地させて仮想空間１１０に配置し、カメラパラメータを用いて人物モデル１１３を撮像部２（カメラ１１４）の撮像面１１５のｘｙ座標系に投影する。これにより監視画像１００と同じｘｙ座標系の投影画像１２０に人物モデル１１３を投影した初期領域１２１が算出される。

【0041】

領域分割部４１は、互いに種類が異なる複数種類の画像特徴を用いて領域分割を行う。例えば領域分割部４１は対象物及び背景の色特徴と対象物の形状特徴とを領域分割に用いる。複数種類の画像特徴を用いる。そして例えば対象物と背景との色特徴が似ており色特徴による領域分割の精度が低下する対象物の部位では形状特徴を利用し、周辺に背景のエッジが多くて形状特徴による領域分割の精度が低下する対象物の部位では色特徴を利用するといったように、ノードごとに当該ノードの帰属の尤もらしさを評価するために最良の１種類の画像特徴（評価対象特徴）を選択することで、単独の画像特徴を用いた場合よりも高精度な領域分割を行う。このとき対象物と背景との間の関係は多様であり、予めノードと評価対象特徴との最良の関係を設定するのは難しい。そこで領域分割部４１は、ノードと評価対象特徴との最良の関係を監視画像ごとに動的に設定して領域分割結果を求める。

【0042】

本実施形態において領域分割部４１は、積算評価値として下記式（１）で定義されるエネルギーＥを計算する。エネルギーＥは色エネルギーＥ_Ｃ、形状エネルギーＥ_Ｓ及びエッジエネルギーＥ_Ｅの線形和で定義される。領域分割部４１は当該エネルギーＥを最小化する領域分割結果をα拡張法を適用したグラフカット法により導出する。

【0043】

【数1】

【0044】

ここで、Ａは各ノードがそれぞれ対象物領域と背景領域とのいずれに帰属するか、つまり各ノードがいずれの領域を帰属領域とするかを設定したラベル行列である。また、ｉは評価対象特徴であり、Ｃは色特徴、Ｓは形状特徴に対応するラベルである。

【0045】

すなわち式（１）の右辺第１項は、評価対象特徴が色特徴である背景画素ｐの背景帰属時色コストα_Ｃ・ｃ_Ｃ（ｐ，Ｓ_Ｃ）と、評価対象特徴が形状特徴である背景画素ｐの背景帰属時形状コストα_Ｓ・ｃ_Ｓ（ｐ，Ｓ_Ｓ）と、評価対象特徴が色特徴である人物画素ｐの対象物帰属時色コストα_Ｃ・ｃ_Ｃ（ｐ，Ｔ）と、評価対象特徴が形状特徴である人物画素ｐの対象物帰属時形状コストα_Ｓ・ｃ_Ｓ（ｐ，Ｔ）の和を表す。

【0046】

また式（１）の右辺第２項は、領域分割により切断されたｎ−ｌｉｎｋすなわち人物画素と背景画素との境界に設定されたエッジコストｃ_Ｅ（ｐ，ｑ）の和を表す。

【0047】

分割コスト算出部４１１は、初期領域を基準にして、監視画像の各画素に対し、当該画素の画像特徴が対象物領域及び背景領域それぞれに帰属することの尤もらしくなさ、すなわち尤もらしさの程度の低さを表すコスト値を画像特徴ごとに算出する。

【0048】

具体的には分割コスト算出部４１１は、初期領域内外の色を基準に、監視画像から対象物の色特徴量（対象物色特徴）及び背景の色特徴量（背景色特徴）を抽出する。そして、対象物色特徴と各画素とを比較して当該画素が対象物領域に帰属することの尤もらしくなさを表す対象物帰属時色コストｃ_Ｃ（ｐ，Ｔ）を算出し、これにα_Ｃを乗じたα_Ｃ・ｃ_Ｃ（ｐ，Ｔ）を記憶部３のグラフ情報３２に記憶させる。また、背景色特徴と各画素の色特徴とを比較して当該画素が背景領域に帰属することの尤もらしくなさを表す背景帰属時色コストを算出し、これにα_Ｃを乗じたα_Ｃ・ｃ_Ｃ（ｐ，Ｓ_Ｃ）を記憶部３のグラフ情報３２に記憶させる。

【0049】

さらに分割コスト算出部４１１は、初期領域の形状を基準に各画素の位置が対象物領域内である確率と背景領域内である確率とを設定する。そして分割コスト算出部４１１は各画素の位置が対象物領域内である確率に基づいて当該画素が対象物領域に帰属することの尤もらしくなさを表す対象物帰属時形状コストｃ_Ｓ（ｐ，Ｔ）を算出し、これにα_Ｓを乗じたα_Ｓ・ｃ_Ｓ（ｐ，Ｔ）を記憶部３のグラフ情報３２に記憶させる。また分割コスト算出部４１１は、各画素の位置が背景領域内である確率に基づいて当該画素が背景領域に帰属することの尤もらしくなさを表す背景帰属時形状コストを算出し、これにα_Ｓを乗じたα_Ｓ・ｃ_Ｓ（ｐ，Ｓ_Ｓ）を記憶部３のグラフ情報３２に記憶させる。

【0050】

また分割コスト算出部４１１は各隣接画素間に対してその輝度差に応じたエッジコストｃ_Ｅ（ｐ，ｑ）を算出して記憶部３のグラフ情報３２に記憶させる。

【0051】

以下、エッジコストｃ_Ｅ（ｐ，ｑ）の算出について説明する。

【0052】

分割コスト算出部４１１は、画素ｐとその隣接画素ｑの間に設定したｎ−ｌｉｎｋそれぞれに対して次式で表されるエッジコストｃ_Ｅ（ｐ，ｑ）を算出する。

【0053】

【数2】

【0054】

ここで、Ｉｐは画素ｐの画素値、Ｉｑは隣接画素ｑの画素値、ｄｉｓｔ（ｐ,ｑ）は画素ｐの位置と隣接画素ｑの位置との間の距離を表す。βは調整用の定数であり、事前実験等を通じて適切な値が予め設定される。すなわち分割コスト算出部４１１は各隣接画素間に対して、互いの画素値が相違するほど小さく、互いの画素値が類似するほど大きなエッジコストｃ_Ｅ（ｐ，ｑ）を設定する。

【0055】

以下、対象物シードの設定と対象物帰属時色コストｃ_Ｃ（ｐ，Ｔ）の算出について説明する。

【0056】

分割コスト算出部４１１は、監視画像における初期領域の内側の画素値から対象物の色特徴の基準とする対象物色特徴を抽出する。対象物領域を高精度に抽出するには、対象物色特徴は、対象物の一部である可能性が十分に高く、対象物を構成する色を網羅していることが望ましい。そこで、分割コスト算出部４１１は、初期領域の中心軸上の画素群を対象物シードと定め、当該対象物シードの画素値の正規化色ヒストグラムｈ_Ｏを対象物色特徴として抽出する。

【0057】

図４には図３の初期領域１２１の中心軸上に設定した対象物シード２００を例示している。対象物シード２００は対象物領域か背景物領域かが曖昧な初期領域１２１の輪郭付近を含まないように設定されている。

【0058】

分割コスト算出部４１１は、以下に示す式（３）及び式（４）に従い対象物帰属時色コストｃ_Ｃ（ｐ，Ｔ）を算出する。

【0059】

【数3】

【0060】

【数4】

【0061】

ここで、Ｉｐは画素ｐの画素値、ｈ_Ｏは対象物シードの正規化色ヒストグラムであり、ｈ_Ｏ（Ｉｐ）は画素値Ｉｐが対象物の色である確率を表す。Ｌ_Ｃ（ｐ｜оｂｊ）の値は画素ｐの色が対象物の色である確率が高いほど小さく、同確率が低いほど大きくなる。Ｋ（＞１）は大きなコスト値を表す定数であり、十分に大きな値が予め設定される。

【0062】

このように分割コスト算出部４１１は、各画素ｐとシンクＴとの間に、当該画素ｐの色が対象物らしいほど低く、当該画素ｐの色が対象物らしくないほど高い対象物帰属時色コストｃ_Ｃ（ｐ，Ｔ）を設定する。

【0063】

以下、背景シードの設定と背景帰属時色コストｃ_Ｃ（ｐ，Ｓ_Ｃ）の算出について説明する。

【0064】

分割コスト算出部４１１は、監視画像における初期領域の外側の画素値から背景の色特徴の基準とする背景色特徴を抽出する。対象物領域を高精度に抽出するには、背景シードは、背景の一部である可能性が十分に高く、対象物との境界に存在する背景の色を網羅していることが望ましい。そこで、分割コスト算出部４１１は、初期領域を所定距離だけ離れて囲む外周部の画素群を背景シードと定め、当該背景シードの画素値の正規化色ヒストグラムｈ_Ｂを背景色特徴として抽出する。具体的には、分割コスト算出部４１１は、初期領域を所定回数だけ膨張して膨張領域の周囲画素を背景シードと定める。膨張回数は初期領域の近似誤差より大きく定めることができ、例えば１０回程度とすることができる。また、α拡張法を適用したグラフカット法を用いる本実施形態では、２段階でグラフカット法を実行する。この第１段階において色特徴により抽出できなかった対象物画素を第２段階で抽出するために分割コスト算出部４１１は第１段階にて得られた対象物画素を第２段階の背景シードに加える。

【0065】

図４には初期領域１２１の輪郭から１０画素だけ離れた外周部に設定した背景シード２０１を例示している。背景シード２０１は対象物領域か背景物領域かが曖昧な初期領域１２１の輪郭付近を含まないように設定されている。

【0066】

分割コスト算出部４１１は、以下に示す式（５）及び式（６）に従い背景帰属時色コストｃ_Ｃ（ｐ，Ｓ_Ｃ）を算出する。

【0067】

【数5】

【0068】

【数6】

【0069】

ここで、ｈ_Ｂは背景シードの正規化色ヒストグラムであり、ｈ_Ｂ（Ｉｐ）は画素値Ｉｐが背景領域の色である確率を表す。Ｋ，Ｉｐは上述の通りである。Ｌ_Ｃ（ｐ｜ｂｋｇ）の値は画素ｐの色が背景の色である確率が高いほど小さく、同確率が低いほど大きくなる。

【0070】

このように分割コスト算出部４１１は、各画素ｐと色ソースＳ_Ｃとの間に、当該画素ｐの色が背景らしいほど低く、当該画素ｐの色が背景らしくないほど高い背景帰属時色コストｃ_Ｃ（ｐ，Ｓ_Ｃ）を設定する。

【0071】

以下、対象物帰属時形状コストｃ_Ｓ（ｐ，Ｔ）の算出について説明する。

【0072】

分割コスト算出部４１１は、初期領域の位置及び形状に基づいて各画素位置における対象物画素の存在確率ρ_Ｏを設定する。具体的には分割コスト算出部４１１は、対象物画素の存在確率ρ_Ｏとして初期領域の外側の画素に０、初期領域の内側で初期領域の輪郭からの距離が遠い画素ほど１に近づく値を設定する。対象物画素の存在確率ρ_Ｏの例を図４に示す。図４に示す存在確率ρ_Ｏのグラフの横軸は、図４の上部に示す初期領域１２１を含む画像にて一点鎖線で示すｘ軸方向の直線に沿った位置を画素数で表しており、縦軸がρ_Ｏである。この例ではρ_Ｏは対象物シード２００で最大値である１となり、初期領域１２１の輪郭での値０へ向けて直線的に減少し、当該輪郭より外側では０となる。

【0073】

分割コスト算出部４１１は、以下に示す式（７）及び式（８）に従いρ_Ｏを基にした対象物帰属時形状コストｃ_Ｓ（ｐ，Ｔ）を算出する。

【0074】

【数7】

【0075】

【数8】

【0076】

ここで、ρ_Ｏ（ｐ）は画像中において画素ｐの位置が対象物領域内である確率を表す。Ｋは上述の通りである。Ｌ_Ｓ（ｐ｜оｂｊ）の値は画素ｐの位置が対象物領域内である確率が高いほど小さく、同確率が低いほど大きくなる。

【0077】

すなわち、分割コスト算出部４１１は、各画素ｐとシンクＴとの間に、当該画素ｐの位置が対象物らしいほど低く、当該画素ｐの位置が対象物らしくないほど高い対象物帰属時形状コストｃ_Ｓ（ｐ，Ｔ）を設定する。

【0078】

以下、背景帰属時形状コストｃ_Ｓ（ｐ，Ｓ_Ｓ）の算出について説明する。

【0079】

分割コスト算出部４１１は、初期領域の位置及び形状に基づいて各画素位置における背景画素の存在確率ρ_Ｂを設定する。具体的には分割コスト算出部４１１は、背景画素の存在確率ρ_Ｂとして背景シード２０１の内側の画素に０、背景シード２０１の外側で背景シード２０１からの距離が遠い画素ほど１に近づく値を設定する。背景画素の存在確率ρ_Ｂの例を図４に示す。図４に示す存在確率ρ_Ｂのグラフの横軸は、図４の上部に示す初期領域１２１を含む画像にて一点鎖線で示すｘ軸方向の直線に沿った位置を画素数で表しており、縦軸がρ_Ｂである。この例ではρ_Ｂは背景シード２０１から外側へ向けて直線的に増加する。

【0080】

分割コスト算出部４１１は、以下に示す式（９）及び式（１０）に従いρ_Ｂを基にした背景帰属時形状コストｃ_Ｓ（ｐ，Ｓ_Ｓ）を算出する。

【0081】

【数9】

【0082】

【数10】

【0083】

ここで、ρ_Ｂ（ｐ）は画像中において画素ｐの位置が背景領域内である確率を表す。Ｋは上述の通りである。Ｌ_Ｓ（ｐ｜ｂｋｇ）の値は画素ｐの位置が背景領域内である確率が高いほど小さく、同確率が低いほど大きくなる。

【0084】

このように分割コスト算出部４１１は、各画素ｐとソースＳとの間に、当該画素ｐの位置が背景らしいほど低く、当該画素ｐの位置が背景らしくないほど高い背景帰属時形状コストｃ_Ｓ（ｐ，Ｓ_Ｓ）を設定する。

【0085】

なお、図４では対象物画素の存在確率ρ_Ｏと背景画素の存在確率ρ_Ｂの値を初期領域１２１と背景シード２０１とに挟まれる周囲にて共に０とする例を示したが、図５のように初期領域１２１の境界の外側及び内側にρ_Ｏ及びρ_Ｂが０より大きな値となる範囲を設定してもよい。

【0086】

このように分割コスト算出部４１１が各コストを設定することにより監視画像を領域分割するためのグラフが完成する。

【0087】

エネルギー算出部４１２（評価値算出部）は、各画素の帰属領域及び各画素の評価対象特徴を仮決めした試行設定において各画素の設定と対応するコストを当該画素の帰属度として記憶部３から読み出し、これらを画像内にて総和して当該試行設定が表す領域分割のエネルギー（積算評価値）を算出する。具体的にはエネルギー算出部４１２は式（１）に従いエネルギーＥを算出する。

【0088】

試行設定は複数通り生成され、その生成は領域決定部４１３（領域分割決定部）が行う。つまり、エネルギー算出部４１２がエネルギーＥを計算する際の式（１）における帰属領域設定Ａ及び評価対象特徴の種別ｉは領域決定部４１３により都度仮決めされる。領域決定部４１３は複数通りの試行設定におけるエネルギーＥを比較し、エネルギーＥが最小となる試行設定における帰属領域設定を検出することで、各画素の評価対象特徴が当該画素の帰属領域に帰属することの尤もらしさが画像全体として最大となる試行設定を検出し、検出した試行設定における帰属領域を領域分割結果と決定する。領域決定部４１３は、決定した領域分割結果を異常姿勢判定部４２に出力する。

【0089】

このように領域決定部４１３は、試行設定を変動させながら当該試行設定をエネルギー算出部４１２に入力してエネルギーを算出させる処理を繰り返して、エネルギーが最小となる試行設定を探索することにより、各画素の評価対象特徴と当該画素の帰属領域との尤もらしさが画像全体として最大となる領域分割結果を導出する。

【0090】

こうすることで監視画像ごとに各素領域を評価するための評価対象特徴を適応的に選択した領域分割が可能となる。これにより対象物の各部位にてそれぞれに精度低下しにくい画像特徴を選択できるので、対象物と背景との関係の多様性に適応した高精度な領域分割を行うことができる。

【0091】

エネルギーが最小となる帰属領域及び評価対象特徴はα拡張法を適用したグラフカット法により効率的に決定することができる。処理の詳細は動作の説明にて後述する。

【0092】

異常姿勢判定部４２は、領域分割部４１が抽出した各人物の人物領域の形状が異常事態の発生を示す異常姿勢であるか否かを判定し、人物領域のいずれかが異常姿勢と判定された場合に所定の異常信号を出力部５に出力する。具体的には、異常姿勢判定部４２は各人物領域の形状と予め登録してある異常姿勢パターンとの類似度を算出して予め設定したしきい値と比較し、しきい値以上の類似度が算出された人物領域を異常姿勢であると判定し、そうでなければ異常姿勢でないと判定する。例えば、両手を挙げた姿勢の形状パターンを強盗事件の発生を示す異常姿勢パターンとして予め登録しておくことができる。

【0093】

出力部５は異常姿勢判定部４２から異常信号が入力されると当該異常信号を外部に出力する外部出力装置である。例えば、出力部５は、電話網あるいはインターネットなどの広域網を介して警備センターと接続された通信回路で構成され、警備センターに異常信号を送信することによって異常事態の発生を通報する。

【0094】

［画像監視装置１の動作］
図６は画像監視装置１の監視動作の概略を示すフロー図である。図６を参照して画像監視装置１の動作を説明する。監視空間が無人であることを確認した管理者が装置に電源を投入すると、各部、各手段が初期化され動作を開始する（Ｓ１）。初期化の後は、撮像部２から制御部４へ新たな監視画像が入力されるたびに、ステップＳ２〜Ｓ７の処理がループ処理として繰り返される。

【0095】

新たな監視画像が入力されると制御部４の人物追跡部４０は、監視画像上の人物を追跡して監視画像上での当該人物の位置を特定する（Ｓ２）。人物追跡部４０は新たな監視画像にて特定した人物位置を人物ＩＤ及びカメラＩＤと対応付けて記憶部３の追跡情報３０に記憶させる。

【0096】

制御部４は、新たな監視画像上に人物が存在しているか否か、すなわち追跡情報３０に新たな監視画像にて特定した人物位置が記憶されているか否かを確認する（Ｓ３）。人物が存在しなければ（ステップＳ３にてＮＯ）、制御部４は以降の処理をスキップして処理をステップＳ１へ戻す。

【0097】

人物が存在していれば（ステップＳ３にてＹＥＳ）、制御部４は新たな監視画像から得た追跡情報３０を領域分割部４１に入力し、領域分割部４１は各人物の人物領域を抽出する（Ｓ４）。

【0098】

図７は人物領域抽出処理の概略のフロー図である。以下、図７を参照してステップＳ４の人物領域抽出処理を説明する。

【0099】

α拡張法を適用したグラフカット法では、複数のソースを有するグラフを、複数のソースのうちの１つとシンクで構成されるグラフに分けて段階的にエネルギーの最小化を行う。この際に、ソース側のｔ−ｌｉｎｋとシンク側のｔ−ｌｉｎｋには異なる種類のコストを設定する。

【0100】

本実施形態では、図２に示したグラフを、図８に示す２つのグラフ４００，４０１に分けてエネルギーの最小化を行う。図９はα拡張法による人物領域抽出処理での画素の帰属領域及び評価対象特徴の一例を説明する画像の模式図を示している。

【0101】

以下、この処理の様子を説明する。

【0102】

まず、領域分割部４１の初期領域設定部４１０は、記憶部３から人物形状モデル３１と、監視画像に対応するカメラＩＤのカメラパラメータとを読みだし、各人物の人物位置を基準にして仮想空間中に人物形状モデル３１を配置し、配置した人物形状モデル３１をカメラパラメータにより監視画像上に投影して各人物の初期領域を設定する（Ｓ１００）。

【0103】

次に、領域分割部４１の分割コスト算出部４１１は、各人物の初期領域からの距離に応じて各画素における対象物画素の存在確率ρ_Ｏと背景画素の存在確率ρ_Ｂをそれぞれ対象物形状特徴、背景形状特徴として算出する（Ｓ１０１）。

【0104】

続いて、分割コスト算出部４１１は式（２）に従って隣接画素の組み合わせごとのエッジコストｃ_Ｅ（ｐ，ｑ）を算出してグラフ情報３２に記憶させる（Ｓ１０２）。

【0105】

また、分割コスト算出部４１１は各人物の背景シードを設定して（Ｓ１０３）、人物ごとに背景シードに対する各画素の背景帰属時色コストを算出する（Ｓ１０４）。すなわち、分割コスト算出部４１１は各人物の初期領域の周辺部から正規化色ヒストグラムｈ_Ｂを背景色特徴として抽出し、人物ごとに式（５）及び式（６）に従って画素ごとの背景帰属時色コストα_Ｃ・ｃ_Ｃ（ｐ，Ｓ_Ｃ）を算出してグラフ情報３２に記憶させる。

【0106】

さらに、分割コスト算出部４１１はステップＳ１０１にて算出した人物ごとの対象物画素の存在確率ρ_Ｏそれぞれを用い、式（７）及び式（８）に従って画素ごとの対象物帰属時形状コストα_Ｓ・ｃ_Ｓ（ｐ，Ｔ）を算出してグラフ情報３２に記憶させる（Ｓ１０５）。ここまでの処理によって図８のグラフ４００、すなわち色ソースＳ_Ｃを含み形状ソースＳ_Ｓを含まない第１段階のグラフ４００が生成される。

【0107】

領域分割部４１の領域決定部４１３は、グラフ情報３２で定義されるグラフ４００にＭｉｎｉｍｕｍ Ｃｕｔ／Ｍａｘｉｍｕｍ Ｆｌｏｗアルゴリズムを適用して最小のエネルギーにて当該グラフを対象物領域のノードと背景領域のノードに２分割する帰属領域設定Ａ１を導出する（Ｓ１０６）。すなわち領域決定部４１３は帰属領域設定を微小変動させながら仮決めした当該帰属領域設定をエネルギー算出部４１２に入力して式（１）のエネルギーＥを算出させる処理を繰り返してエネルギーＥを最小化する帰属領域設定を探索し決定する。第１段階において領域決定部４１３はシンク側のｔ−ｌｉｎｋに対象物帰属時形状コストを、またソース側のｔ−ｌｉｎｋに背景帰属時色コストをそれぞれ設定して領域分割を行った。この設定により、領域決定部４１３は、帰属領域を対象物領域とする画素に対して評価特徴を色特徴とし（α拡張法におけるラベルαを色特徴のラベルＣとすることに相当）、且つ帰属領域を背景画像とする画素に対して評価対象特徴を形状特徴とする試行設定を設定してエネルギーの比較を行ったことになる。

【0108】

図９（１）は第１段階での様子を表しており、帰属領域設定５００は第１段階で導出された帰属状態Ａ１の例である。後のステップＳ１１１にて、この段階で得られた対象物領域は最終的にそのまま対象物領域の一部として採用される（図９（１）の帰属領域設定５０１）。同対象物画素は評価対象特徴を色特徴に設定して選んだということになる（図９（１）の評価対象特徴設定状態５０２）。

【0109】

分割コスト算出部４１１はグラフ情報３２のコストをリセットして第２段階に移行する。図９（２）は第２段階に移行した際の様子を示している。分割コスト算出部４１１は、ステップＳ１０６にて導出された各人物の対象物領域を第２段階のグラフ４０１における当該人物の背景シード（図９（２）にて帰属領域設定５０３で示す背景シードＢ）に加える。シードに加えた対象物領域の帰属は第２段階に影響せず、また変更されないことになる。各人物の対象物シードを設定して（Ｓ１０７）、人物ごとに対象物シードに対する各画素の対象物帰属時色コストを算出する（Ｓ１０８）。すなわち分割コスト算出部４１１は、各人物の初期領域の中央部から正規化色ヒストグラムｈ_Ｏを対象物色特徴として抽出し、式（３）及び式（４）に従って画素ごとの対象物帰属時色コストα_Ｃ・ｃ_Ｃ（ｐ，Ｔ）を算出してグラフ情報３２に記憶させる。

【0110】

続いて、分割コスト算出部４１１はステップＳ１０１にて算出した人物ごとの背景画素の存在確率ρ_Ｂそれぞれを用い、式（９）及び式（１０）に従って画素ごとの背景帰属時形状コストα_Ｓ・ｃ_Ｓ（ｐ，Ｓ_Ｓ）を算出してグラフ情報３２に記憶させる（Ｓ１０９）。ここまでの処理によって図８のグラフ４０１、すなわち形状ソースＳ_Ｓを含み色ソースＳ_Ｃを含まない第２段階のグラフ４０１が生成される。

【0111】

領域決定部４１３は、グラフ情報３２で定義されるグラフ４０１にＭｉｎｉｍｕｍ
Ｃｕｔ／Ｍａｘｉｍｕｍ Ｆｌｏｗアルゴリズムを適用して最小のエネルギーにて当該グラフを対象物領域のノードと背景領域のノードに２分割する帰属領域設定Ａ２を導出する（Ｓ１１０）。すなわち領域決定部４１３は帰属領域設定を微小変動させながら仮決めした当該帰属領域設定をエネルギー算出部４１２に入力して式（１）のエネルギーＥを算出させる処理を繰り返してエネルギーＥを最小化する帰属領域設定Ａ２を探索し決定する。

【0112】

図９（３）は第２段階での様子を表しており、帰属領域設定５０４は、この第２段階で導出された帰属領域設定Ａ２の例である。第２段階において領域決定部４１３はシンク側のｔ−ｌｉｎｋに対象物帰属時色コストを、またソース側のｔ−ｌｉｎｋに背景帰属時形状コストをそれぞれ設定して領域分割を行った。この設定により、領域決定部４１３は、帰属領域を対象物領域とする画素に対して評価特徴を形状特徴とし（α拡張法におけるラベルαを形状特徴のラベルＳとすることに相当）、且つ帰属領域を背景画像とする画素に対して評価対象特徴を色特徴とする試行設定を設定してエネルギーの比較を行ったことになる。

【0113】

領域決定部４１３は、ステップＳ１０６にて得られた対象物画素とステップＳ１１０にて得られた対象物画素とを連結して最終的な対象物領域を決定し、それ以外の領域を背景領域として決定する（Ｓ１１１）。

【0114】

図９（３）の帰属領域設定５０５は、最終的な帰属領域設定Ａの例である。第２段階で得られた対象物画素は評価対象特徴を形状特徴に設定して選んだということになる（図９（３）の状態５０６）。なお、この段階で得られた背景シード以外の背景画素（状態５０６にて“Ｓ／Ｃ”で示す画素）の評価対象特徴は当該画素に設定された対象物帰属時色コストと対象物帰属時形状コストのうち最小値を与える画像特徴とすることができる。

【0115】

以上の各段階において、領域決定部４１３は、帰属領域を対象物領域とする素領域に対して評価対象特徴を第１の種類の画像特徴とし、且つ帰属領域を背景領域とする素領域に対して評価対象特徴を第１の種類と異なる第２の種類の画像特徴とする試行設定を設定して積算評価値の比較を行った。このように異なる画像特徴を直接的に対比する設定を行うことによって各素領域にて評価すべき画像特徴を効率良く選択できるので、対象物と背景の関係の多様性に適応した高精度な領域分割を効率的に導出することができる。

【0116】

こうして領域分割部４１は、各ノードにおいていずれか１つの画像特徴を評価対象特徴に選びながらエネルギーＥを最小化する領域分割を決定する。

【0117】

以上の処理により各人物の人物領域が抽出されると、制御部４は図６のステップＳ５へ処理を進める。

【0118】

再び図６を参照して画像監視処理の続きを説明する。

【0119】

制御部４の異常姿勢判定部４２は、領域決定部４１３から入力された各人物の人物領域の形状と異常姿勢パターンとの類似度を算出して予め設定したしきい値と比較し、しきい値以上の類似度が算出された人物領域を異常姿勢であると判定し、そうでなければ異常姿勢でないと判定する（Ｓ５）。

【0120】

異常姿勢判定部４２は人物領域のいずれかが異常姿勢と判定された場合に（ステップＳ６にてＹＥＳ）、所定の異常信号を生成して出力部５に当該信号を出力する（Ｓ７）。異常信号を入力された出力部５は警備センターに異常信号を送信し、通報を行う。他方、人物領域のいずれも異常姿勢と判定されなければ（ステップＳ６にてＮＯ）、ステップＳ７の異常出力処理はスキップされる。

【0121】

以上の処理を終えると、制御部４は処理をステップＳ１に戻し、次の監視画像に対する処理が行われる。

【0122】

［変形例］
（１）上記実施形態では１つ１つの画素を素領域として領域分割を行う例を示した。しかし、ノードに対応付ける素領域は画素以外であってもよい。例えば、互いに画素値が類似する画素を予めまとめてセグメント化し、各セグメントをノードに設定して領域分割を行うこともできる。

【0123】

この場合、各セグメントに対する色コストは、当該セグメントの代表画素値（画素値の平均値、中央値または最頻値）を用いて算出する、あるいは当該セグメントを構成する画素それぞれに対する色コストを算出してそれらの色コストの代表値（コストの平均値、中央値または最大値）を当該セグメントの色コストとする。

【0124】

また各セグメントに対する形状コストは、当該セグメントと初期領域との重なり度合いを用いて算出する、あるいは当該セグメントを構成する画素に対する存在確率の代表値（存在確率の平均値、中央値または最頻値）を当該セグメントの形状コストとする。

【0125】

このようにすることで領域分割の精度を低下させずにノードを減らすことができるので、精度維持と負荷減少を両立することができる。

【0126】

（２）上記実施形態では画像特徴として色と形状とを用いる例を示したが、他の画像特徴を用いることもできる。例えば色と動き特徴量とを用いる。この場合、背景差分処理を行って各画素の背景差分値を動き特徴量とすることができる。また、オプティカルフロー分析を行って各画素の移動ベクトルの大きさを動き特徴量とすることもできる。

【0127】

（３）上記実施形態ではグラフカット法によりエネルギーを最小化する領域分割結果を導出した。別の実施形態ではグラフカット法に代えてマルコフ連鎖モンテカルロ (Markov Chain Monte Carlo：MCMC) 法、信念伝播（Belief Propagation）法、ツリー重み再配分メッセージ伝達（Tree-Reweighted Message Passing：TRW）法を用いてエネルギーを最小化する領域分割結果を導出できる。

【0128】

（４）上記実施形態では、α拡張法の第１段階にて図８のグラフ４００、第２段階にてグラフ４０１を生成してグラフカット法を行ったが、逆順とすることもできる。すなわち第１段階にて図８のグラフ４０１、第２段階にてグラフ４００を生成してグラフカット法を行ってもよい。

【0129】

（５）上記実施形態では、α拡張法により画像特徴を選択したが、α拡張法に代えてα−β交換（αβ-swap）法を利用することもできる。例えば、対象物領域の評価対象特徴をラベルαとし、背景領域の評価対象特徴の１つをラベルβとしてα−β交換法を適用することができる。上述の実施形態では画像特徴は色特徴と形状特徴との２種類であるので、ラベルαはそれらの一方であり、ラベルβはそれらの他方となる。

【0130】

（６）３種類以上の画像特徴を用いる場合にも本発明を適用することができ、その場合にも上述したα拡張法、α−β交換法、及びその他の方法を用いて領域分割結果を導出することができる。

【0131】

例えば、３種類の画像特徴Ａ，Ｂ，Ｃを用いる場合、α拡張法は画像特徴Ａ，Ｂ，Ｃを順次、ラベルαとして処理を繰り返す。すなわち、上述の画像特徴が２種類の場合には処理は２段階に行われたが、画像特徴が３種類の場合には３段階で行われる。

【0132】

また、α−β交換法では画像特徴Ａ，Ｂ，Ｃにおいて指定可能なラベルα，βの全ての組み合わせについて処理が繰り返される。例えば、画像特徴Ａを対象物領域の評価対象特徴とし、これをラベルαとする場合、画像特徴Ｂを背景領域の評価対象特徴とし、これをラベルβとする処理と、画像特徴Ｃを背景領域の評価対象特徴とし、これをラベルβとする処理とがそれぞれ行われる。

【0133】

（７）上記実施形態では、各画像特徴の特徴比率αを固定して領域分割を行ったが、別の実施形態では特徴比率αを動的に設定する。この場合、特徴比率αを複数通りに設定して各設定で領域分割を行い、各設定における領域分割結果を特徴比率に依存しない一律の基準にて評価して領域評価値（領域分割評価値）を算出し、領域評価値が最大の領域分割結果を採用することができる。

【0134】

領域評価値としては次式で定義される領域評価値Ｖを用いることができる。

【0135】

【数11】

【0136】

【数12】

【0137】

【数13】

【0138】

ここで、１／Ｖ_Ｃは色に関する領域評価値、１／Ｖ_Ｓは形状に関する領域評価値である。

【0139】

式（１２）における総和対象とする画素ｐの集合Ｅｄｇｅは対象物の輪郭画素からなる集合であり、また、Ｎ（ｐ）は対象物の輪郭画素に隣接する背景画素の集合、ｄｉｓｔは画素ｐとｑとの距離である。γは調整用の定数であり、事前実験等を通じて適切な値が予め設定される。図１０はＮ（ｐ）を説明する図であり、同図の左側に対象物の輪郭画素を含む部分画像の模式図を示している。ここで、ｎ−ｌｉｎｋのコストは図２に示すように各画素の４近傍について算出している。これに対し、Ｎ（ｐ）は図１０に示すように対象物の輪郭画素の８近傍から求めるなど、ｎ−ｌｉｎｋのコストを算出したときよりも多くの隣接画素との相違を評価するのがよい。こうすることで上述したエネルギー算出部４１２における色特徴のエネルギーによる評価よりも厳しい領域評価値を算出でき、領域分割候補間の優劣をより厳密に評価することができる。

【0140】

式（１３）におけるＭ_λは領域分割候補における対象物領域と初期領域とで画素位置が一致する画素数であり、Ｍ_０は初期領域の画素数、Ｍ_Ｓは領域分割候補の画素数である。初期領域との一致画素数Ｍ_λが増えると１／Ｖ_Ｓは高くなる。つまり、１／Ｖ_Ｓは初期領域に対する対象物領域のマッチング率である。ただし１／Ｍ_Ｓの項により、対象物領域が単に大きいだけ（例えば対象物領域が初期領域を包含する状態）で１／Ｖ_Ｓが不当に高くなることを抑制している。

【0141】

また、この場合、特徴比率α_Ｃを定数として扱い、λ＝α_Ｓ／α_Ｃとおけば特徴比率の制御を１変数にて行うことができる。すなわち、λを変えることで、各画像特徴を領域分割に寄与させる度合についての画像特徴相互間の比を変えることができる。例えば、領域分割部４１に、寄与比λを複数通りに設定する寄与比設定部を設ける。そして、エネルギー算出部４１２は、画像特徴についての各帰属評価値を寄与比λで重み付けして画像内で総和し積算評価値を算出し、領域決定部４１３は、寄与比ごとに積算評価値に基づく探索を行って領域分割結果を求める。そして、寄与比に依存しない所定基準により各寄与比での領域分割結果である帰属状態の尤もらしさを評価して領域評価値を算出し、当該領域評価値に基づいていずれかの寄与比での領域分割結果を選択する。

【0142】

このように、特徴比率を動的に決定することによって、対象物と背景の状況に適応して色特徴量と形状特徴量を領域分割に寄与させる率を適切に調整する効果がさらに高まるので、領域分割をより高精度に行うことが可能になる。

【0143】

（８）上記実施形態において初期領域は初期領域設定部４１０により自動設定される例を示したが、本発明の領域分割装置を静止画からの領域分割処理に適用する場合、初期領域設定部４１０にポインティングデバイス等を含めて構成し、人手により初期領域を設定するのが好適である。

【符号の説明】

【0144】

１ 画像監視装置、２ 撮像部、３ 記憶部、４ 制御部、５ 出力部、３０ 追跡情報、３１ 人物形状モデル、３２ グラフ情報、４０ 人物追跡部、４１ 領域分割部、４２ 異常姿勢判定部、１００ 監視画像、１０１ 人物、１１０ 仮想空間、１１１ 床面、１１２ 人物位置、１１３ 人物モデル、１１４ カメラ、１１５ 撮像面、１２０ 投影画像、１２１ 初期領域、２００ 対象物シード、２０１ 背景シード、４１０ 初期領域設定部、４１１ 分割コスト算出部、４１２ エネルギー算出部、４１３ 領域決定部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】