知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】5965764
(24)【登録日】2016年7月8日
(45)【発行日】2016年8月10日
(54)【発明の名称】映像領域分割装置及び映像領域分割プログラム
(51)【国際特許分類】
G06T 7/00 20060101AFI20160728BHJP
G06T 7/20 20060101ALI20160728BHJP
【ＦＩ】
G06T7/00 250
G06T7/20 Z
【請求項の数】5
【全頁数】28
(21)【出願番号】特願2012-164552(P2012-164552)
(22)【出願日】2012年7月25日
(65)【公開番号】特開2014-26370(P2014-26370A)
(43)【公開日】2014年2月6日
【審査請求日】2015年6月1日
【権利譲渡・実施許諾】特許権者において、実施許諾の用意がある。
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001807
【氏名又は名称】特許業務法人磯野国際特許商標事務所
(74)【代理人】
【識別番号】100064414
【弁理士】
【氏名又は名称】磯野 道造
(74)【代理人】
【識別番号】100111545
【弁理士】
【氏名又は名称】多田 悦夫
(72)【発明者】
【氏名】大久保 英彦
(72)【発明者】
【氏名】藤井 真人
【審査官】
佐藤 実
(56)【参考文献】
【文献】
市川徹 外３名，高解像度全方位ビデオカメラを用いた遠隔監視システムにおけるイベント検出，電子情報通信学会技術研究報告 ＰＲＭＵ２０００−２０１〜２２１ パターン認識・メディア理解，社団法人電子情報通信学会，２００１年 ３月 ８日，第100巻 第701号，第87−94頁
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｇ０６Ｔ ７／００ − ７／６０
(57)【特許請求の範囲】
【請求項1】
映像を構成する画素について、時空間の距離が所定値以内であって、色の差が所定値以内の画素同士をクラスタ化するクラスタ化処理部と、
前記クラスタ化処理部がクラスタ化したクラスタについて、時空間において、互いに隣接し、前記クラスタの代表色の差が所定値以内であるクラスタ同士を統合して統合領域とするクラスタ統合処理部と、
前記統合領域を構成するクラスタについて、所定の条件を満足する場合に、前記統合領域を前記クラスタ単位で再分割するクラスタ再分割処理部と、を備え、
前記クラスタ再分割処理部は、
前記統合領域ごとに、前記映像を構成するフレームの内で、前記統合領域に含まれるクラスタが、互いに隣接しない２以上のクラスタ群に分離されているフレームである分離フレームの何れかにおいて、前記統合領域に含まれるクラスタ対であって、当該クラスタ対を構成する２つのクラスタが、それぞれ異なる前記クラスタ群に含まれるクラスタ対を検出する再分割条件検出処理手段と、
前記再分割条件検出処理手段が検出したクラスタ対を、前記所定の条件を満足するクラスタとして、互いに異なる領域に再分割する再分割処理手段と、
を有することを特徴とする映像領域分割装置。
前記クラスタ化処理部がクラスタ化したクラスタについて、時空間において、互いに隣接し、前記クラスタの代表色の差が所定値以内であるクラスタ同士を統合して統合領域とするクラスタ統合処理部と、
前記統合領域を構成するクラスタについて、所定の条件を満足する場合に、前記統合領域を前記クラスタ単位で再分割するクラスタ再分割処理部と、を備え、
前記クラスタ再分割処理部は、
前記統合領域ごとに、前記映像を構成するフレームの内で、前記統合領域に含まれるクラスタが、互いに隣接しない２以上のクラスタ群に分離されているフレームである分離フレームの何れかにおいて、前記統合領域に含まれるクラスタ対であって、当該クラスタ対を構成する２つのクラスタが、それぞれ異なる前記クラスタ群に含まれるクラスタ対を検出する再分割条件検出処理手段と、
前記再分割条件検出処理手段が検出したクラスタ対を、前記所定の条件を満足するクラスタとして、互いに異なる領域に再分割する再分割処理手段と、
を有することを特徴とする映像領域分割装置。
【請求項2】
前記クラスタ化処理部が、
平均値シフト法により、前記映像をクラスタ化し、各クラスタに識別番号を付与するとともに、各クラスタの代表色を算出するクラスタ化処理手段と、
前記クラスタ同士が時空間において互いに隣接するかどうかを示す隣接状態情報を作成する隣接状態情報作成手段と、を有し、
前記クラスタ化処理手段は、平均値シフト法によるクラスタ化処理のためのパラメータとして、空間、時間及び色空間ごとに、所定のバンド幅を用いて前記映像をクラスタ化することを特徴とする請求項１に記載の映像領域分割装置。
平均値シフト法により、前記映像をクラスタ化し、各クラスタに識別番号を付与するとともに、各クラスタの代表色を算出するクラスタ化処理手段と、
前記クラスタ同士が時空間において互いに隣接するかどうかを示す隣接状態情報を作成する隣接状態情報作成手段と、を有し、
前記クラスタ化処理手段は、平均値シフト法によるクラスタ化処理のためのパラメータとして、空間、時間及び色空間ごとに、所定のバンド幅を用いて前記映像をクラスタ化することを特徴とする請求項１に記載の映像領域分割装置。
【請求項3】
前記再分割条件検出処理手段が、前記統合領域について、フレームごとに、当該フレームが前記分離フレームであるかどうかを判定し、
当該フレームが前記分離フレームである場合に、当該分離フレームにおける前記統合領域を構成するすべてのクラスタの対について、２つのクラスタがともに同一の前記クラスタ群に含まれるクラスタ対である到達可能クラスタ対であるかどうかを示す到達可能性情報を前記分離フレームごとに作成するとともに、
前記分離フレームごとに作成されたすべての到達可能性情報に基づいて、前記統合領域を構成するすべてのクラスタの対について、前記映像中に前記到達可能クラスタ対でない状態となる前記分離フレームが存在することを示す分離状態情報を作成し、
前記分離状態情報において、前記映像中に前記到達可能クラスタ対でない状態となる前記分離フレームが存在することが示されることを、前記所定の条件として、再分割するクラスタ対を検出することを特徴とする請求項２に記載の映像領域分割装置。
当該フレームが前記分離フレームである場合に、当該分離フレームにおける前記統合領域を構成するすべてのクラスタの対について、２つのクラスタがともに同一の前記クラスタ群に含まれるクラスタ対である到達可能クラスタ対であるかどうかを示す到達可能性情報を前記分離フレームごとに作成するとともに、
前記分離フレームごとに作成されたすべての到達可能性情報に基づいて、前記統合領域を構成するすべてのクラスタの対について、前記映像中に前記到達可能クラスタ対でない状態となる前記分離フレームが存在することを示す分離状態情報を作成し、
前記分離状態情報において、前記映像中に前記到達可能クラスタ対でない状態となる前記分離フレームが存在することが示されることを、前記所定の条件として、再分割するクラスタ対を検出することを特徴とする請求項２に記載の映像領域分割装置。
【請求項4】
前記再分割処理手段が、前記再分割条件検出処理手段が検出したクラスタ対が複数ある場合は、前記隣接状態情報において互いに隣接する状態を示すクラスタ対について、先に再分割処理を行うことを特徴とする請求項２又は請求項３に記載の映像領域分割装置。
【請求項5】
映像を構成する画素について、時空間の距離が所定値以内であって、色の差が所定値以内の画素同士をクラスタ化するクラスタ化処理部、
前記クラスタ化処理部がクラスタ化したクラスタについて、時空間において、互いに隣接し、前記クラスタの代表色の差が所定値以内であるクラスタ同士を統合して統合領域とするクラスタ統合処理部、
前記統合領域ごとに、前記映像を構成するフレームの内で、前記統合領域に含まれるクラスタが、互いに隣接しない２以上のクラスタ群に分離されているフレームである分離フレームの何れかにおいて、前記統合領域に含まれるクラスタ対であって、当該クラスタ対を構成する２つのクラスタが、それぞれ異なる前記クラスタ群に含まれるクラスタ対を検出する再分割条件検出処理手段、
前記再分割条件検出処理手段が検出した一対のクラスタを、互いに異なる領域に再分割する再分割処理手段、
としてコンピュータを機能させるための映像領域分割プログラム。
前記クラスタ化処理部がクラスタ化したクラスタについて、時空間において、互いに隣接し、前記クラスタの代表色の差が所定値以内であるクラスタ同士を統合して統合領域とするクラスタ統合処理部、
前記統合領域ごとに、前記映像を構成するフレームの内で、前記統合領域に含まれるクラスタが、互いに隣接しない２以上のクラスタ群に分離されているフレームである分離フレームの何れかにおいて、前記統合領域に含まれるクラスタ対であって、当該クラスタ対を構成する２つのクラスタが、それぞれ異なる前記クラスタ群に含まれるクラスタ対を検出する再分割条件検出処理手段、
前記再分割条件検出処理手段が検出した一対のクラスタを、互いに異なる領域に再分割する再分割処理手段、
としてコンピュータを機能させるための映像領域分割プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像中の被写体の領域を分割する映像領域分割装置及びそのプログラムに関する。
【背景技術】
【0002】
映像合成を目的として、映像中に撮影されている被写体を抽出するために、様々な手法が提案されている。例えば、非特許文献１には、移動する被写体を処理対象として、背景差分により移動物体の領域を大まかに検出し、濃淡が急激に変化する領域を移動物体の境界として検出することで、映像中の特定の移動物体の抽出を行う手法が開示されている。非特許文献２には、グラフカットアルゴリズムを用いて、画素単位で背景と目的物とを領域分割する手法が開示されている。
非特許文献３には、動画像の領域抽出を目的として、事前に時空間の領域分割をする手法が開示されている。この手法では、バンド幅（カーネル半径）を変えた複数回の平均値シフト法による処理を行うことにより、抽出処理を行うグラフノードの数を軽減させ、現実的なグラフカット処理のデータ量にすることが可能となる。
非特許文献４には、動画像を領域抽出を目的として、事前に時空間の領域分割をする手法が開示されている。この手法では、時空間分割領域に対して、時間フレーム単位（以下フレーム単位）の分割領域とピクセル単位の分割領域という階層をもたせることで、その処理量の低減を図ることができる。
非特許文献５には、平均値シフト法を利用した領域分割の手法が開示されている。この手法では、時空間方向及び色空間方向に対して、それぞれ独立に繰り返し重み付け平均化処理を行うための計算範囲（処理のカーネル半径＝バンド幅）を制御するパラメータを用いて、分割領域の結果を調整することができる。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】倉爪亮 他、"Fast Level Set Methodの提案とビデオ画像の移動物体のリアルタイム追跡", 情報処理学会論文誌 44(8), 2244-2254, 2003-08-15
【非特許文献2】Yuri Y. Boykov, Marie-Pierre Jolly, "Interactive graph cuts for optimal boundary & region segmentation of objects in N-D images", Computer Vision, 2001. ICCV 2001. Proceedings. Eighth IEEE International Conference, Page(s): 105 - 112 vol.1 , 2001
【非特許文献3】永橋知行, 藤吉弘亘, 金出武雄, "Spatio-temporal volumeを用いた繰り返し処理のグラフカットによるビデオセグメンテーション", 第11回画像の認識・理解シンポジウム(MIRU2008), p 570, Jul, 2008.
【非特許文献4】Jue Wang, et.al, "Interactive video cutout", SIGGRAPH '05 ACM SIGGRAPH 2005 Papers Pages 585 - 594, 2005
【非特許文献5】D. Comaniciu, P. Meer, "Mean Shift: A Robust Approach Toward Feature Space Analysis," IEEE Transactions on Pattern Analysis and Machine Intelligence, pp. 603-619, May, 2002
【発明の概要】
【発明が解決しようとする課題】
【0004】
非特許文献１に開示された手法は、特定された移動物体の抽出を行う場合は、事前に映像全体を領域分割する必要はないが、基本的に移動する物体を抽出処理の対象としており、静止物体を含めた汎用的な被写体領域の抽出に用いることは困難である。非特許文献２に開示され手法は、ピクセル単位で領域抽出を行うため、映像（動画像）に適用する場合には取り扱うデータ量が膨大になるという問題がある。
非特許文献３に開示された手法は、最も処理時間のかかる平均値シフト法による分割処理について、バンド幅を変えて複数回実行する必要があるために、多くの処理時間を要するという問題がある。更に、色情報に加えてオプティカル・フローなどの情報を組み合わせて利用する必要があるため、パラメータ調整などが難しくなるという問題がある。
非特許文献４に開示された手法は、時空間に分割された領域に対して、各フレーム単位の分割領域及びピクセル単位の分割領域という階層をもたせるため、ユーザーの指示に従って、処理対象ノードが、フレーム単位の分割領域のノードに降りていってしまう。そのためノード間の接続性、特に時間方向の接続性が低下してしまい、ユーザーが領域を指定する際に、時間方向に細かい分解能で指定する必要が生じる。そして、そのために、時空間の３次元領域を操作できる特殊なインターフェースを用いる必要がある。
非特許文献５に開示された手法は、分割領域の制御に時空間方向及び色空間方向に対してそれぞれ独立に繰り返し重み付け平均化処理を行うための計算範囲を制御するパラメータを用いるが、このパラメータは処理全体を通したグローバルなパラメータであるために、全体的な分割の粒度はコントロールできるものの、一般の映像を処理した場合の複雑な構成の時空間領域において、特定の部分を対象に改善をおこなうことはできないという問題がある。
【0005】
そこで、本発明は、処理対象となる映像と領域分割処理のための少数のパラメータを与えることで、処理するデータ量が少なく、映像中の同一の被写体領域が時空間的に細かく分割され過ぎず、映像中の異なる被写体領域が同一の領域として分割されないよう領域分割する映像領域分割装置及びそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【0006】
前記した課題を解決するために、本発明の請求項１に記載の映像領域分割装置は、クラスタ化処理部と、クラスタ統合処理部と、クラスタ再分割処理部と、を備え、前記クラスタ再分割処理部は、再分割条件検出処理手段と、再分割処理手段と、を有する構成とした。
【0007】
かかる構成によれば、映像領域分割装置は、クラスタ化処理部によって、映像を構成する画素について、時空間の距離が所定値以内であって、色の差が所定値以内の画素同士をクラスタ化する。次に、映像領域分割装置は、クラスタ統合処理部によって、前記クラスタ化処理部がクラスタ化したクラスタについて、時空間において、互いに隣接し、前記クラスタの代表色の差が所定値以内であるクラスタ同士を統合して統合領域とする。そして、映像領域分割装置は、クラスタ再分割処理部によって、前記統合領域を構成するクラスタについて、所定の条件を満足する場合に、前記統合領域を再分割する。
【0008】
ここで、映像領域分割装置は、統合領域を再分割する際に、再分割条件検出処理手段によって、前記統合領域ごとに、前記映像を構成するフレームの内で、前記統合領域に含まれるクラスタが、互いに隣接しない２以上のクラスタ群に分離されているフレームである分離フレームの何れかにおいて、前記統合領域に含まれるクラスタ対であって、当該クラスタ対を構成する２つのクラスタが、それぞれ異なる前記クラスタ群に含まれるクラスタ対を検出する。
【0009】
そして、映像領域分割装置は、再分割処理手段によって、前記再分割条件検出処理手段が検出したクラスタ対を、前記所定の条件を満足するクラスタとして、互いに異なる領域に再分割する。これによって、映像領域分割装置は、「同一の被写体領域は時空間的に細かく分割され過ぎず」、かつ「異なる被写体領域には同じ領域ＩＤが割り振られない」ように、領域分割を行う。
【0010】
請求項２に記載の映像領域分割装置は、請求項１に記載の映像領域分割装置において、前記クラスタ化処理部が、クラスタ化処理手段と、隣接状態情報作成手段と、を有するように構成した。かかる構成によれば、映像領域分割装置は、クラスタ化処理手段によって、平均値シフト法により、前記映像をクラスタ化し、各クラスタに識別番号を付与するとともに、各クラスタの代表色を算出する。また、映像領域分割装置は、隣接状態情報作成手段によって、前記クラスタ同士が時空間において互いに隣接するかどうかを示す隣接状態情報を作成する。ここで、映像領域分割装置は、クラスタ化処理手段によって、映像をクラスタ化する際に、平均値シフト法によるクラスタ化処理のためのパラメータとして、空間、時間及び色空間ごとに、所定のバンド幅を用いて前記映像をクラスタ化する。
これによって、映像領域分割装置は、映像を、時空間的に近隣にあり、かつ、色空間上での距離が近い画素の集合ごとにクラスタを形成する。
【0011】
請求項３に記載の映像領域分割装置は、請求項２に記載の映像領域分割装置において、前記再分割条件検出処理手段が、前記統合領域について、フレームごとに、当該フレームが前記分離フレームであるかどうかを判定し、当該フレームが前記分離フレームである場合に、当該分離フレームにおける前記統合領域を構成するすべてのクラスタの対について、２つのクラスタがともに同一の前記クラスタ群に含まれるクラスタ対である到達可能クラスタ対であるかどうかを示す到達可能性情報を前記分離フレームごとに作成するとともに、前記分離フレームごとに作成されたすべての到達可能性情報に基づいて、前記統合領域を構成するすべてのクラスタの対について、前記映像中に前記到達可能クラスタ対でない状態となる前記分離フレームが存在することを示す分離状態情報を作成し、前記分離状態情報において、前記映像中に前記到達可能クラスタ対でない状態となる前記分離フレームが存在することが示されることを、前記所定の条件として、再分割するクラスタ対を検出することを、前記所定の条件として、再分割するクラスタ対を検出するように構成した。
【0012】
かかる構成によれば、異なる被写体の領域であるが互いに色が類似する領域が、被写体の移動などにより、映像内で空間的に交差するような場合に、クラスタ統合処理部によって、これらの領域が一旦統合される。そして、映像領域分割装置は、前記再分割条件検出処理手段によって、このような異なる被写体の領域が統合される条件を適切に検出する。これによって、統合された異なる被写体の領域が、再度互いに異なる領域に分割される。
【0013】
請求項４に記載の映像領域分割装置は、請求項２又は請求項３に記載の映像領域分割装置において、前記再分割処理手段が、前記再分割条件検出処理手段が検出したクラスタ対が複数ある場合は、前記隣接状態情報において互いに隣接する状態を示すクラスタ対について、先に再分割処理を行うように構成した。かかる構成によれば、映像領域分割装置は、再分割処理手段によって、再分割条件に該当するクラスタ対に優先順を定めて再分割処理を行う。
これによって、映像領域分割装置は、より分割すべきであるクラスタ対から順に再分割処理を行うことができる。
【0014】
なお、本願請求項１に記載の発明に係る映像領域分割装置は、一般的なコンピュータが備えるＣＰＵ（中央演算装置）、メモリ、ハードディスクなどのハードウェア資源を、クラスタ化処理部、クラスタ統合処理部、再分割条件検出処理手段、再分割処理手段、として機能させるための映像領域分割プログラムによって実現することもできる。このプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリなどの記録媒体に記録して配布してもよい。
【発明の効果】
【0015】
請求項１又は請求項５に記載の発明によれば、色情報と少数のパラメータに基づいたクラスタ化と、クラスタ単位での領域の統合と再分割とを行って領域分割を行うため、映像中の同一の被写体領域が時空間的に細かく分割され過ぎず、映像中の異なる被写体領域が同一の領域として分割されないよう領域分割することができる。これにより、指定領域抽出のための処理データ量は、ピクセル単位の処理に比べて大幅に削減される。請求項２に記載の発明によれば、平均値シフト法により、映像を、時空間的に近隣にあり、かつ、色空間上での距離が近い画素の集合ごとにクラスタを形成するため、動画像を対象とした領域分割に好適な粒度の領域に分割することができる。
請求項３に記載の発明によれば、統合された異なる被写体の領域が、再度互いに異なる領域に分割されるため、被写体領域の指定を適切に行うことができる。
請求項４に記載の発明によれば、より分割すべきであるクラスタ対から順に再分割処理を行うため、再分割処理を適切に、かつ効率的に行うことができる。
【図面の簡単な説明】
【0016】
【図1】本発明の実施形態に係る映像領域分割装置の構成を示すブロック図である。
【図2】本発明の実施形態における映像領域分割処理の全体の流れを示すフローチャートである。
【図3】本発明の映像領域分割処理の対象となる映像の例である。
【図4】本発明の分割処理において、クラスタの隣接関係の初期状態を示すグラフである。
【図6】本発明の実施形態における再分割条件検出処理の流れを示すフローチャートである。
【図7】本発明の再分割処理において、（ａ）は第１フレームについての到達可能クラスタマトリックスを示し、（ｂ）は第４フレームについての到達可能クラスタマトリックスを示し、（ｃ）は分離クラスタマトリックスを示す。
【図8】本発明の実施形態における再分割処理の流れを示すフローチャートである。
【図9】本発明の再分割処理において、グラフカットの様子を説明する図である。
【図10】本発明の再分割処理の途中において、（ａ）は更新したグラフを示し、（ｂ）は更新した分離クラスタマトリックスを示す。
【図11】本発明の再分割処理において、（ａ）は再分割処理後のグラフを示し、（ｂ）は再分割処理後の分離クラスタマトリックスを示す。
【図12】本発明の映像領域分割処理の対象となる映像の例である。
【図14A】本発明の映像領域分割処理の対象となる撮影された映像の他の例であり、第２３フレームを示す画像である。
【図14B】本発明の映像領域分割処理の対象となる撮影された映像の他の例であり、第２７フレームを示す画像である。
【図14C】本発明の映像領域分割処理の対象となる撮影された映像の他の例であり、第３１フレームを示す画像である。
【発明を実施するための形態】
【0017】
以下、本発明の映像領域分割装置を実施するための形態について、図面を参照して詳細に説明する。まず、本発明の領域分割処理において、映像をどのように領域分割するかの指針について説明する。
本発明の映像領域分割装置は、入力として領域分割の対象となる映像と、領域分割処理のための少数のパラメータを与えることで、映像の色情報のみから被写体領域の抽出に対して適切な領域分割結果を取得できるようにするものである。
本発明において、映像の領域分割とは、時空間領域を有する映像について、ある領域に対して一意に識別する領域ＩＤ（識別番号）を割り振ること、及び、その領域ＩＤを割り振られた時空間領域を特定できるようにすることである。そして、その各領域は被写体として同一の物体領域を占めるとともに、可能な限り時空間領域として大きな領域を構成することが望まれるものである。すなわち、映像の被写体領域の抽出において適切な領域分割とは、「同じ被写体領域には同じ領域ＩＤが割り振られ、それが時空間領域として大きく構成されること」と「異なる被写体領域には同じ領域ＩＤが割り振られないこと」を満たすものである。
また、被写体領域の抽出においては、領域分割処理の結果に対して、被写体領域を特定（指定）するためにユーザーによる手動の領域指定が伴うことを前提とするものである。つまり、本発明による領域分割処理は、要求に応じてユーザーは任意の複数の被写体領域を指定するプロセスを経る。例えば、人物が写っている映像に対して、ある要求では人物全体の抽出を行うために、人物全体を指定する場合もあれば、別の要求では顔と頭だけを抽出する場合もある。つまり、領域分割処理の結果から被写体を抽出する際に、抽出する部分に汎用性があるように領域分割を行うものである。
【0018】
＜実施形態＞［映像領域分割装置の構成］
本発明の実施形態に係る映像領域分割装置１の構成について、図１を参照して説明する。図１に示すように、本実施形態に係る映像領域分割装置１は、クラスタ化処理部１０と、クラスタ統合処理部２０と、クラスタ再分割処理部３０と、を備え、領域分割処理の対象である映像と処理のためのパラメータとを入力し、入力した映像を領域分割するものである。
【0019】
クラスタ化処理部１０は、第１段階の処理として、入力された処理対象となる映像に対して、所定のパラメータを用いた平均値シフト法によるクラスタ化処理を行い、映像を過分割な状態に領域分割するものである。ここで過分割な状態とは、映像中の異なる被写体が同一の領域として分割されず、かつ、同一の被写体領域が１又は２以上の領域に分割された状態をいう。クラスタ統合処理部２０は、第２段階の処理として、隣接クラスタ間の代表色の差に基づいて第１段階の処理で過分割されたクラスタの統合処理を行うものである。
クラスタ再分割処理部３０は、最後の第３段階の処理として、第２段階の処理で統合された領域を、所定の再分割条件に基づいて、第１段階の処理で分割されたクラスタを単位として、領域の再分割をするものである。
また、本実施形態では、第３段階の処理結果である最終的な領域分割結果を、領域ＩＤ（再分割領域ＩＤ）ごとに領域を色分けした領域ＩＤ分布映像と、領域の代表色で色分けした領域代表色映像として出力できるように構成されている。
【0020】
以下、各部について、順次詳細に説明する。なお、本実施形態に係る映像領域分割装置１は、ＣＰＵ、メモリ、ハードディスクなどの記憶装置などを備えた一般的なコンピュータを用いて、各処理部として機能させることで実現することができる。
【0021】
クラスタ化処理部１０は、クラスタ化処理手段１１と、グラフ化処理手段１２と、クラスタデータ記憶手段１３と、を備えている。クラスタ化処理部１０は、領域分割処理対象となる映像と、クラスタ化処理のためのパラメータとを外部から入力し、入力した映像をクラスタ化するとともに、クラスタ化した分割領域間の隣接情報を示すグラフを作成するものである。
【0022】
クラスタ化処理手段１１は、映像とクラスタ化処理のためのパラメータとを外部から入力して、映像をクラスタ化するものである。本実施形態では、平均値シフト（Mean Shift）法を用いてクラスタ化処理を行う。本実施形態で用いる平均値シフト法による映像のクラスタ化処理は、非特許文献５に記載された手法と同様の手法を用いるものである。本実施形態においては、平均値シフト法による分割領域を制御するために、空間（フレーム内の座標で表される２次元の空間）、時間（フレーム番号又は時刻で表される１次元の空間）及び色空間（ＲＧＢ、ＨＳＶ，Ｌ＊ａ＊ｂ＊などの色の３要素で表される３次元の空間）ごとに、それぞれ独立に繰り返し重み付け平均化処理を行うための計算範囲（バンド幅（カーネル半径））を定める。すなわち、平均値シフト法によるクラスタ化処理のためのパラメータとして、それぞれ一定の空間バンド幅、時間バンド幅及び色空間バンド幅を指定することにより、時空間的に近隣にあり、かつ、色空間上での距離が近い（色が類似している）画素の集合ごとに１つのクラスタを形成し、映像を複数のクラスタに領域分割する。
なお、時空間的に近傍となる範囲は、空間バンド幅及び時間バンド幅によって定められる。また、色空間上で距離が近いかどうかは、色空間バンド幅で定められる。すなわち、クラスタの粒度（クラスタの大きさ）は、これらのバンド幅によって調整することができる。
【0023】
なお、バンド幅は、入力された映像を過分割な状態にクラスタ化するために、映像の空間解像度、時間解像度、色解像度、及び映像の内容に応じて適宜に設定することができる。例えば、映像のサイズが３２０×２４０画素、フレーム周波数が３０Ｈｚ、ＲＧＢの階調数が各色２５６階調の場合、例えば、空間バンド幅を６〜８画素程度、時間バンド幅を２フレーム程度、色空間バンド幅を８階調程度とすることができる。
【0024】
本実施形態では、クラスタ化処理手段１１は、入力した映像を、空間、時間及び色空間ごとにパラメータとして入力される３つのバンド幅を用いて、平均値シフト法によりクラスタ化する。クラスタ化処理手段１１は、クラスタごとの代表色を算出するとともに、クラスタごとにクラスタを一意に識別するクラスタＩＤを付与し、これらのデータを処理結果として、グラフ化処理手段１２に出力する。なお、クラスタの代表色とは、そのクラスタの代表的な色であり、具体的には各クラスタにおける平均値シフト処理の収束値を使用することができる。
【0025】
クラスタ化処理においては、映像中の同一の被写体については、各クラスタがなるべく時空間的に大きく構成され、かつ、１つのクラスタに映像中の異なる被写体の領域が跨らないように、パラメータであるバンド幅を設定する。すなわち、映像中の異なる被写体が同一の領域として分割されない範囲で、各クラスタができる限り時空間的に大きく構成されるようにすることが好ましい。従って、クラスタ化処理手段１１によるクラスタ化処理では、最終的に分割すべき領域の広さに比べて細かく分割された過分割の状態のクラスタに分割される。
【0026】
なお、クラスタ化処理手段１１の処理結果である各クラスタについての代表色、当該クラスタに含まれるフレーム番号及び画素領域などのクラスタについてのデータは、クラスタＩＤに対応付けて、グラフ化処理手段１２を介して、クラスタデータ記憶手段１３にクラスタデータの一部として記憶される。
【0027】
グラフ化処理手段（隣接状態情報作成手段）１２は、クラスタ化処理手段１１からクラスタごとに付与されたＩＤ及びその代表色を入力し、クラスタをノードとし、ノード間をノード間の類似度を示すエッジで接続したデータ構造である無向グラフ（以下、単に「グラフ」という）を作成する。図４にグラフの例を示す。図４において、各ノードに示した「０」〜「５」の数字はクラスタＩＤを示している。すなわち、グラフとは、本例では時空間的に隣接するクラスタ間の接続状態を示すデータである。ここで、エッジで接続されたノード（クラスタ）同士は互いに隣接していることを示し、エッジは、所定のコスト関数で定められるコストを有するものである。ノードであるクラスタ間の代表色の差が小さいほどノード間の類似度は高くなり、コスト関数で定められるコストの値は大きくなる。このコストは、後記するグラフカット処理において、このエッジを切断するために要するコストを示すものである。
【0028】
ここで、コスト関数の例について説明する。式（１）はコスト関数の例であり、式（１）のＢ｛ｍ，ｎ｝は、ノードｍとノードｎとを接続するエッジを切断するためのコストを表すものである。式（１）で算出されるコストＢ｛ｍ，ｎ｝は、ノードｍ，ｎである２つのクラスタの代表色Ｉｎ，Ｉｍの差（色差）が小さいほど大きくなる関数である。
【0029】
【数1】
【0030】
なお、式（１）において、βの分母にある〈・〉で表される部分は、映像に含まれるすべてのクラスタ代表色の色差の２乗の平均を表すものである。言い換えれば、〈・〉で表される部分は、映像に含まれるすべてのクラスタ代表色についての分散を表すものである。
【0031】
また、グラフ化処理手段１２は、グラフとともに、クラスタ間の隣接状態を示す隣接クラスタマトリックス（隣接状態情報）を作成する。図５に隣接クラスタマトリックスの例を示す。図５に示した隣接クラスタマトリックスにおいて、上端の行及び左端の列に記載されている「０」〜「５」の数字はクラスタＩＤを示しており、各行列が交差する欄に「ｎ」が記載されたクラスタＩＤで特定されるクラスタ対は、互いに隣接していることを示している。なお、グラフ化処理手段１２によってグラフ化処理を行う段階では、クラスタの統合処理が行われていない。従って、グラフ化処理手段１２は、映像中のすべてのクラスタをノードとする１つのグラフを作成する。また、グラフ化処理手段１２は、前記した隣接クラスタマトリックスにおいて、互いに隣接するクラスタ間のすべてのエッジについて、前記したコスト関数によってコストを算出する。
【0032】
グラフ化処理手段１２は、作成したグラフ（エッジのコストを含む）及び隣接クラスタマトリックスをクラスタデータ記憶手段１３に記憶する。また、グラフ化処理手段１２は、クラスタ化処理手段１１の処理結果であるクラスタのついてのデータをクラスタＩＤに対応付けてクラスタデータ記憶手段１３に記憶する。
【0033】
クラスタデータ記憶手段（分割領域データ記憶手段）１３は、クラスタ化処理手段１１の処理結果であるクラスタについてのデータ及びグラフ化処理手段１２が作成したグラフ、隣接クラスタマトリックスについてのデータを記憶する記憶装置である。クラスタデータ記憶手段１３に記憶されたデータは、クラスタ統合処理部２０の隣接クラスタ統合処理手段２１によって参照される。
【0034】
クラスタ統合処理部（統合処理部）２０は、隣接クラスタ統合処理手段２１と、統合領域データ記憶手段２２と、を備え、クラスタ化処理部１０で過分割な状態に分割されたクラスタを、色情報に基づいて統合するものである。クラスタ化処理部１０は、異なる被写体に属する領域が同一のクラスタに含まれないよう、過分割な状態にクラスタ化するため、クラスタ統合処理部２０は、細かく分割され過ぎたクラスタを大きな領域に統合するためのものである。
【0035】
隣接クラスタ統合処理手段２１は、クラスタデータ記憶手段１３から、クラスタ化処理部１０の処理結果であるクラスタについてのデータ及びクラスタの接続関係を示すデータを読み出すとともに、統合処理についてのパラメータを外部から入力して、時空間で互いに隣接し、かつ代表色が類似するクラスタを統合して、新たな分割領域として統合領域を形成するものである。このとき、隣接クラスタ統合処理手段２１は、統合するかどうかを判定するためのパラメータとして、クラスタ間の代表色の差の上限値を示す閾値を外部から入力する。この閾値は、クラスタ化処理手段１１がクラスタ化のために用いた色空間についてのバンド幅を基準にした十分に大きな値とする。例えば、この閾値を色空間バンド幅の半分程度とすることができる。これによって、クラスタ化処理手段１１によって過分割状態に分割されたクラスタを統合することができる。
【0036】
また、隣接クラスタ統合処理手段２１は、統合領域ごとに、統合領域を一意に識別する統合領域ＩＤを付与するとともに、統合領域の代表色を算出する。統合領域の代表色は、例えば、統合領域に含まれるクラスタの代表色の平均値とすることができる。また、隣接クラスタ統合処理手段２１は、第１段階で作成した全クラスタからなるグラフから、統合領域に含まれるクラスタについての情報を切出して統合領域に含まれるクラスタで構成されるグラフを作成する。なお、グラフについてのデータには、そのグラフにノードとして含まれるクラスタのＩＤのリストと、それらのクラスタ間のエッジのコストとが含まれる。隣接クラスタ統合処理手段２１は、処理結果である統合領域データとして、統合領域ごとに、グラフデータと統合領域の代表色とを、統合領域ＩＤに対応付けて統合領域データ記憶手段２２に記憶する。
【0037】
統合領域データ記憶手段２２は、隣接クラスタ統合処理手段２１の処理結果である統合領域についてのデータを、統合領域ごとに記憶する記憶装置である。統合領域データ記憶手段２２に記憶されたデータは、クラスタ再分割処理部３０の再分割条件検出処理手段３１によって参照される。
【0038】
クラスタ再分割処理部３０は、再分割条件検出処理手段３１と、再分割処理手段３２と、再分割領域データ記憶手段３３と、を備え、クラスタ統合処理部２０が統合した統合領域について、所定の再分割条件に該当するクラスタ対が含まれるかどうかを検出し、条件に該当するクラスタ対が検出された場合は、このクラスタ対を互いに異なる領域となるように再分割するものである。クラスタ統合処理部２０は、代表色が類似する隣接クラスタを統合するため、統合領域には、例えば、移動する被写体がたまたま類似する色を有する他の被写体と映像内で交差することがあると、これらの被写体の領域を統合することがある。本実施形態に係る映像領域分割装置１は、異なる被写体に属するクラスタを、同一の領域ＩＤが割当てられる領域として統合しないようにするために、一度統合した領域から、異なる被写体に属するクラスタを検出して、異なる被写体に属するクラスタ同士を互いに異なる領域に再分割するものである。
【0039】
再分割条件検出処理手段３１は、統合領域データ記憶手段２２に記憶されている統合領域データを読み出し、統合領域ごとに、所定の再分割条件に該当するクラスタ対が含まれるかどうかを検出し、検出結果を再分割処理手段３２に出力する。ここで、再分割条件とは、１つの統合領域に、異なる被写体に属するクラスタが統合されているかどうかを判断する条件のことである。
なお、再分割条件の詳細については後記する。
【0040】
再分割処理手段３２は、再分割条件検出処理手段３１が検出した検出結果を入力し、再分割条件に該当するクラスタ対を、互いに異なる領域に再分割する。再分割処理手段３２は、処理結果である再分割した領域についてのデータを再分割領域データ記憶手段３３に記憶する。なお、再分割処理手段３２は、再分割領域ごとに、再分割領域を一意に識別する再分割領域ＩＤを付与するとともに、再分割領域の代表色を算出する。代表色としては、例えば、再分割領域を構成するクラスタの代表色の平均値とすることができる。再分割処理手段３２は、処理結果である再分割領域データとして、再分割領域に含まれるクラスタのＩＤのリストと代表色とを、再分割領域ＩＤに対応付けて再分割領域データ記憶手段３３に記憶する。
【0041】
再分割処理手段３２は、再分割対象として検出されたクラスタ対を分割する際に、クラスタ対が属する統合領域についてのグラフにおいて、この統合領域に関与するノードの接続関係を調べて、このクラスタ対を分割するためのエッジの切断方法を策定する。ここで、複数のエッジ切断方法が策定できる場合は、それぞれのエッジ切断方法について、所定のコスト関数を用いて個々のエッジを切断するコストを算出し、その切断方法で切断されるエッジの切断コストの総和を算出する。そして、切断コストの総和が最も低い切断方法でエッジを切断する。このエッジ切断方法に従って、グラフが２つに分割され、再分割対象であるクラスタ対が互いに異なる２つの領域に分割される。なお、再分割処理の詳細については後記する。
【0042】
再分割領域データ記憶手段３３は、再分割処理手段３２の処理結果である再分割領域についてのデータを、再分割領域ごとに記憶する記憶装置である。再分割領域データ記憶手段３３に記憶されたデータは、例えば、外部の映像編集装置などによって、領域ＩＤ分布映像や領域代表色映像の作成のために用いられる。
【0043】
［映像領域分割装置の動作］次に、適宜図面を参照して映像領域分割装置１の動作である映像領域分割処理について説明する。
まず、図２を参照（適宜図1参照）して、映像領域分割処理の概要について説明する。
図２に示すように、映像領域分割装置１は、クラスタ化処理手段１１によって、処理対象となる映像とクラスタ処理のためのパラメータとして、空間バンド幅、時間バンド幅及び色空間バンド幅を外部から入力し、平均値シフト法による映像のクラスタ化処理を行う（ステップＳ１０）。
【0044】
映像領域分割装置１は、グラフ化処理手段１２によって、クラスタ化処理手段１１の処理結果であるクラスタデータを用いて、クラスタをノードとするグラフを作成するグラフ化処理を行う（ステップＳ１１）。グラフ化とは、クラスタ間の隣接状態を示す構造のデータを作成することである。このとき映像領域分割装置１は、グラフ化処理手段１２によって、グラフデータとして、クラスタの隣接状態を示す隣接クラスタマトリックスの作成と、隣接するクラスタ間のすべてのエッジについて、前記したコスト関数（例えば式（１））を用いてコストの算出とを行う。また、映像領域分割装置１は、グラフ化処理手段１２によって、クラスタ化処理手段１１の処理結果であるクラスタデータとグラフ化処理手段１２の処理結果であるグラフデータとを、クラスタデータ記憶手段１３に記憶する。
【0045】
次に、映像領域分割装置１は、隣接クラスタ統合処理手段２１によって、時空間で互いに隣接するクラスタを統合するためのパラメータとして、統合の可否を判定するためのクラスタ間の色差の閾値を外部から入力し、クラスタデータ記憶手段１３に記憶されているクラスタデータ及びグラフデータを参照して、クラスタの色情報である代表色と入力したパラメータとに基づいて隣接クラスタの統合処理を行う（ステップＳ１２）。このとき映像領域分割装置１は、隣接クラスタ統合処理手段２１によって、ステップＳ１１で作成したグラフから各統合領域に含まれるクラスタが関するデータを切出して、統合領域ごとのグラフを作成する。また、映像領域分割装置１は、隣接クラスタ統合処理手段２１によって、その処理結果である統合領域データを統合領域データ記憶手段２２に記憶する。
【0046】
次に、映像領域分割装置１は、クラスタ再分割処理部３０によって、統合領域データ記憶手段２２に記憶されている統合領域データを参照し、再分割処理の対象として、その中から１つの統合領域を選択する（ステップＳ１３）。映像領域分割装置１は、再分割条件検出処理手段３１によって、ステップＳ１３で選択された統合領域についてのデータを統合領域データ記憶手段２２から読み出し、選択された統合領域に含まれるクラスタの中から、所定の条件に一致するクラスタ対を検出する（ステップＳ１４）。
【0047】
映像領域分割装置１は、再分割処理手段３２によって、ステップＳ１４で再分割対象として検出されたクラスタ対を、互いに異なる領域に分割する再分割処理を行う（ステップＳ１５）。また、映像領域分割装置１は、再分割処理手段３２の処理結果である再分割領域についてのデータを、再分割領域データ記憶手段３３に記憶する。この再分割領域データ記憶手段３３に蓄積されるデータが、最終的に分割された領域のデータとなり、例えば、外部の映像編集装置などによって利用される。
【0048】
また、映像領域分割装置１は、クラスタ再分割処理部３０によって、すべての統合領域について再分割処理が終了したかを確認し（ステップＳ１６）、未処理の統合領域がある場合は（ステップＳ１６でＮｏ）、クラスタ再分割処理部３０によって次に処理する統合領域を選択する（ステップＳ１３）。一方、すべての統合領域について再分割処理が終了している場合は（ステップＳ１６でＹｅｓ）、映像領域分割装置１は、映像領域分割処理を終了する。
以上のように、映像領域分割装置１は、クラスタ化処理の際の３つのバンド幅、及びクラスタ統合処理のためのクラスタ間の色差の閾値という少数のパラメータを用いて領域分割を行うことができる。また、クラスタ単位で、時空間で隣接する領域の統合と再分割とを行うため、空間方向だけでなく、時間方向についても適切に統合された領域分割を行うことができる。
【0049】
次に、図３に示した４フレームからなる映像を例として、適宜図１及び図２を参照して映像領域分割処理の第３段階である再分割処理について詳細に説明する。図３に示した映像は、クラスタ化処理手段１１によって、すでに平均値シフト法により過分割な状態にクラスタ化され、グラフ化処理手段１２によって、クラスタの隣接状態が分析された第１段階を終了し、更に第２段階である隣接クラスタ統合処理手段２１による統合処理が終了した状態を示すものである。図３中において、数字「０」〜「５」は、それぞれクラスタＩＤを示している。この映像は、画面の中央付近に縦長の長方形の物体（例えば円柱）ＯＢＪ１が静止しており、円形の物体（例えば球体）ＯＢＪ２が、長方形の物体ＯＢＪ１の背後を画面の左側から右側に向かって通過している様子を示すものである。また、フレーム１からフレーム４に向かって順次に時間が経過するものとする。
【0050】
また、物体ＯＢＪ１の領域に相当する中央付近の矩形の各クラスタＣ０，Ｃ１，Ｃ５，Ｃ４は、互いに色が極めて類似しているものとし、背後を通過する物体ＯＢＪ２の領域に相当する円形のクラスタＣ２，Ｃ３は中央付近のクラスタＣ０，Ｃ１，Ｃ５，Ｃ４と類似する色を有するものとする。なお、図３においては、この後の、第３段階である再分割処理の説明を容易にするために、第２段階である隣接クラスタの統合処理で１つの統合領域に統合されるクラスタのみを示している。このため、他の統合領域に統合される背景（周辺領域）は、ここでは処理対象として考慮しないこととする。
すなわち、図３に表されたクラスタＣ０〜Ｃ５は、１つの統合領域に含まれる１組のクラスタ群を構成するものである。
【0051】
なお、クラスタ化処理手段１１は、映像を時空間に過分割な状態になるようにクラスタ化する。このため、同一の被写体であっても、クラスタＣ０，Ｃ１，Ｃ５のように複数のクラスタに分割される場合があり、フレームが異なる（時間が離れる）と、クラスタＣ０及びクラスタＣ４のように異なるクラスタとして分割される場合がある。また、円形の物体ＯＢＪ２についてのクラスタＣ２及びクラスタＣ３のように、本来は同一被写体であっても、画面中の位置を移動する被写体は、空間的又は／及び時間的に離れるため、異なるクラスタとして分割される場合がある。
【0052】
なお、本実施形態では、クラスタを統合処理する際に、例えば、クラスタＣ０とクラスタＣ４の統合のように、時間方向に隣接するクラスタも統合する。このため、この映像領域分割処理の結果を用いて、映像の制作や加工を行うための映像中の所望の領域を、例えば、マウスなどのポインティングデバイスを用いて動画像中から所望の被写体領域の指定を行う場合に、この手作業を容易に行うことができる。
【0054】
図４に示すように、グラフは、図３に示したクラスタＣ０〜Ｃ５を、それぞれノードＮ０〜Ｎ５とし、映像中で互いに隣接するノードＮ０〜Ｎ５間をエッジＥ０１〜Ｅ１５で接続して示したものである。なお、クラスタが隣接するとは、同一のフレーム内で隣接する場合の他に、ノードＮ０（クラスタＣ０）及びノードＮ４（クラスタＣ４）のように、時間的に隣接するフレーム内で空間的に隣接（又は重複）する場合も、互いに隣接するクラスタとして取り扱うものとする。
【0055】
また、図５に示した隣接クラスタマトリックス（隣接状態情報）は、任意の２つのクラスタ間が隣接しているかどうかを示す情報であり、マトリックス中で「ｎ」が記された組み合わせのクラスタ間が隣接していることを示している。すなわち、隣接クラスタマトリックスは、グラフにおけるノード（クラスタ）間の隣接関係だけを示した情報である。なお、隣接クラスタマトリックスは、統合処理によってクラスタの隣接状態が変化しないため、統合領域ごとに分割せずに、映像全体で１つのまま保持するようにしてもよい。
【0056】
図３に示した例では、統合処理を行うことにより、実際には異なる被写体領域であっても、あるフレーム（第２フレーム２、第３フレーム）において異なる被写体領域が隣接することがあり、かつ、その被写体領域の色が近い場合は、その領域同士も統合されてしまう。このため、前景部のクラスタのすべてが統合されてしまい分割不足の状態となっている。このように、第２段階で生成された統合領域は、色の類似したクラスタが、時空間方向に多数接続された大きな領域となる。この統合領域は、クラスタを統合したものであるので、各統合領域にはその構成要素である第１段階の分割領域であるクラスタの構成リストが生成できる。
第３段階では、各統合領域に対して、各統合領域を構成するクラスタを単位とした再分割を行うものである。
【0057】
第３段階の処理は、まず、各統合領域について、その再分割のための条件検出処理を行い、各統合領域内で再分割が必要となるクラスタ対のリストなどを作成する。次に、そのリストに基づいて、グラフカット処理を用いた再分割処理を行う。
【0058】
グラフカット（s-t min cut）処理は、画像解析などにおいて広く用いられる手法である。一般的には画素をノードとして、画素間及びソースノード、シンクノードと呼ばれる特殊なノード間をエッジで接続し、そのエッジを切断するエネルギーを最小化するエッジ切断の組合せを見つけることで領域分割などの問題を解決する手法である（例えば、非特許文献２参照）。本実施形態では、クラスタをノードとする統合領域のグラフにおいて、互いに分割するクラスタ対の２つのクラスタの一方をソースノード、他方をシンクノードとし、ソースノードとシンクノードとを分割するために切断するエッジのエネルギーの総和を最小にするエッジの切断の組合せを見つけ、切断するものである。
【0059】
（再分割条件検出処理）次に、図６及び図７を参照（適宜図１参照）して、図２におけるステップＳ１４である再分割条件検出処理の詳細について説明する。
前記したように、本実施形態における再分割処理は、クラスタを最小単位として行う。ここで、１つの統合領域に含まれる１対のクラスタに着目したときに、この統合領域を構成するクラスタが空間的に２以上のクラスタ群に分離した状態のフレームにおいて（この状態を、分離クラスタがある状態、又は分離フレームという）、着目したそのクラスタ対が統合領域に属する他の隣接クラスタを順次に経由しても互いに到達可能（接続可能）でないことを、そのクラスタ対を再分割する条件とする。互いに到達可能でないクラスタ対とは、言い換えれば、クラスタ対を構成する２つのクラスタが、その分離フレームにおいて、それぞれ異なるクラスタ群に属するクラスタ対のことである。
再分割条件検出処理は、このような条件を満たすクラスタ対の検出を行う処理である。なお、クラスタ群は、１個のクラスタから構成されていてもよく、２以上のクラスタから構成されていてもよい。
図３に示した例では、静止する物体ＯＢＪ１の領域内のクラスタＣ０，Ｃ１，Ｃ４，Ｃ５の１つと、移動する物体ＯＢＪ２の領域内のクラスタＣ２，Ｃ３の１つとからなるクラスタ対が、このような条件を満たす。
【0060】
図６に示すように、映像領域分割装置１は、再分割条件検出処理手段３１によって、まず、統合領域を構成するすべてのクラスタ対を対象とした（後記する）分離クラスタマトリックスを生成する。初期状態としてはクラスタ対の分離状態情報として何も情報がない状態とする（ステップＳ２０）。次に、映像領域分割装置１は、再分割条件検出処理手段３１によって、最初のフレームを１つ選択する（ステップＳ２１）。なお、再分割処理条件検出処理において、調査するフレームは、フレーム番号順でなくともよい。
映像領域分割装置１は、再分割条件検出処理手段３１によって、選択したフレームにおいて、分離クラスタがあるかどうかを確認する（ステップＳ２２）。
【0061】
分離クラスタがある場合は（ステップＳ２２でＹｅｓ）、映像領域分割装置１は、再分割条件検出処理手段３１によって、到達可能クラスタマトリックス（到達可能性情報）を作成する（ステップＳ２３）。ここで到達可能クラスタマトリックスとは、分離クラスタがあるフレームである分離フレームにおいて、空間的に隣接するクラスタを経由して他方のクラスタに到達可能であるクラスタ対であることを示す情報のことである。到達可能クラスタマトリックスの詳細については後記する。
【0062】
次に、映像領域分割装置１は、再分割条件検出処理手段３１によって、分離クラスタマトリックス（分離状態情報）を更新する（ステップＳ２４）。ここで分離クラスタマトリックスとは、映像中の全フレームにおいて、互いに到達可能でない状態となるフレームが存在するクラスタ対であることを示す情報のことである。すなわち、少なくとも何れか１つの分離フレームについての到達可能クラスタマトリックスにおいて、互いに到達可能でないクラスタ対であることを示す情報のことである。そして、分離クラスタマトリックスの更新とは、分離クラスタマトリックスに、新たに調査した分離フレームについて作成した到達可能クラスタマトリックスに基づいて、到達可能でないクラスタ対の情報を追加登録することである。分離クラスタマトリックスの詳細については後記する。
【0063】
また、分離クラスタがない場合（ステップＳ２２でＮｏ）及び分離クラスタマトリックス更新（ステップＳ２４）の処理後は、映像領域分割装置１は、再分割条件検出処理手段３１によって、次のフレームがあるかどうかを確認する（ステップＳ２５）。次のフレームがある場合は（ステップＳ２５でＹｅｓ）、映像領域分割装置１は、再分割条件検出処理手段３１によって、未調査のフレームを１つ選択する（ステップＳ２１）し、選択したフレームについて、到達可能クラスタマトリックス作成（ステップＳ２３）及び分離クラスタマトリックス更新（ステップＳ２４）の処理を行う。一方、次のフレームがない場合は（ステップＳ２５でＮｏ）、映像領域分割装置１は、再分割条件検出処理を終了する。
【0064】
なお、到達可能クラスタマトリックス作成（ステップＳ２３）及び分離クラスタマトリックス更新（ステップＳ２４）において、分離クラスタが検出された２つ目以降のフレームについては、対応する分離フレームごとに到達可能クラスタマトリックスをそれぞれ作成し、分離クラスタマトリックスに、映像中に互いに到達可能でない状態となるフレームが存在するクラスタ対であることを示す情報を、追加登録するものとする。以上のように、映像領域分割装置１は、再分割条件検出処理手段３１によって、すべてのフレームについて分離クラスタの有無を調査し、分離クラスタがあるフレームについて、互いに到達可能であるクラスタ対であることを示す情報と、映像中に互いに到達可能でない状態となるフレームが存在することを示す情報とを、それぞれ到達可能クラスタマトリックスと、分離クラスタマトリックスとに登録する。
【0065】
次に、図３に示した映像を例として、到達可能クラスタマトリックス作成処理と、分離クラスタマトリックス更新処理について説明する。図３に示した例における分離クラスタについて説明すると、第１フレームにおいては、クラスタＣ０，Ｃ１，Ｃ５からなるクラスタ群と、クラスタＣ２からなるクラスタ群とが、互いに隣接していない。従って、第１フレームおいては、分離クラスタがある状態（分離フレーム）である。
一方、第２フレーム及び第３フレームにおいては、すべてのクラスタで１つのクラスタ群を構成しているため、分離クラスタがない状態（分離フレームではない）である。
また、第４フレームは、クラスタＣ４，Ｃ１，Ｃ５からなるクラスタ群と、クラスタＣ３からなるクラスタ群とが、互いに隣接していないため、分離クラスタがある状態である。
【0066】
（到達可能クラスタマトリックス作成処理）まず、到達可能クラスタマトリックス作成処理について説明する。
到達可能クラスタマトリックスとは、空間的に隣接するクラスタを経由して他方のクラスタに到達可能であるクラスタ対であることを示す情報のことである。
ステップＳ２２において、分離クラスタがある場合は、映像領域分割装置１は、再分割条件検出処理手段３１によって、図７（ａ）に示すような、その分離フレームについての到達可能クラスタマトリックスを作成する。図７（ａ）に示した到達可能クラスタマトリックスにおいて、上端の行及び左端の列に記載された「０」〜「５」は、処理対象の統合領域のうち、現在処理を行っている分離フレームに含まれるクラスタのクラスタＩＤを示しており、マトリックス中に「ｖ」が記された行列に対応するクラスタ対が、互いにその分離フレーム内にて到達可能であることを示す。すなわち、あるフレームにおいて分離クラスタがある場合に、そのフレームに含まれるクラスタについて、互いに到達可能なクラスタ対であることを示す情報が到達可能クラスタマトリックスに登録される。なお、到達可能クラスタマトリックスには、任意のクラスタ対が到達可能であるかどうかを示す情報が登録されればよいため、到達可能でないクラスタ対であること示す情報を記録するようにしてもよい。
【0067】
図３に示すように、第１フレームにおいては、分離クラスタがあるため、映像領域分割装置１は、再分割条件検出処理手段３１によって、第１フレームについて到達可能クラスタマトリックス作成処理を行う（ステップＳ２３）。
【0068】
第１フレームでは、存在するクラスタはＣ０，Ｃ１，Ｃ２，Ｃ５となる。クラスタＣ０からクラスタＣ１へは、直接隣接しているため、到達可能である。クラスタＣ０からクラスタＣ５へは、隣接するクラスタＣ１を経由して到達可能である。クラスタＣ０からクラスタＣ２へは、クラスタＣ２と隣接するクラスタがないため到達可能ではない。クラスタＣ１からクラスタＣ５へは、直接隣接しているため、到達可能である。クラスタＣ１からクラスタＣ２へは、クラスタＣ２と隣接するクラスタがないため到達可能ではない。クラスタＣ５からクラスタＣ２へは、クラスタＣ２と隣接するクラスタがないため到達可能ではない。
【0069】
以上より、到達可能なクラスタ対として、クラスタＣ０とクラスタＣ１、クラスタＣ０とクラスタＣ５、及びクラスタＣ１とクラスタＣ５の３組が抽出される。図７（ａ）に示した到達可能クラスタマトリックスは、図３に示した第１フレームについて調査した結果を示している。従って、第１フレームについての到達可能クラスタマトリックスにおいて、「０」と「１」、「０」と「５」、及び「１」と「５」で示される行列要素に「ｖ」が登録される。なお、クラスタ対の順番は交換できるため、行と列とは入れ替えた行列要素にも「ｖ」が登録される。
【0070】
なお、次ステップである分離クラスタマトリックスの更新処理（ステップＳ２４）は、先にすべてのフレームについて到達可能クラスタマトリックス生成処理（ステップＳ２３）を終了してから、改めてすべてのフレームについての到達可能クラスタマトリックスを順次に参照して、分離クラスタマトリックスを更新するようにしてもよい。このため、ここでは到達可能クラスタマトリックス作成処理について、先に説明を進める。
【0071】
映像領域分割装置１は、再分割条件検出処理手段３１によって、順次に第２フレーム〜第４フレームを選択し、各フレームについて調査する。前記したように、第２フレーム及び第３フレームには分離クラスタがないため、到達可能クラスタマトリックス作成処理は行わない。そして、第４フレームには分離クラスタがあるため、到達可能クラスタマトリックス作成処理を行う。
【0072】
第４フレームにおいては、図３に示すように、存在するクラスタはＣ１，Ｃ３，Ｃ４，Ｃ５となる。クラスタＣ３は、他の何れのクラスタＣ４，Ｃ１，Ｃ５とも到達可能ではなく、クラスタＣ４とクラスタＣ１、クラスタＣ４とクラスタＣ５、及びクラスタＣ１とクラスタＣ５の３組が到達可能なクラスタ対として抽出される。従って、図７（ｂ）に示すように、第４フレームについての到達可能クラスタマトリックスにおいて、「４」と「１」、及び「４」と「５」、及び「１」と「５」で示される行列要素に「ｖ」が追加登録される。図３に示した映像例は、第４フレームが最後のフレームであるから、ここで到達可能クラスタマトリックスの作成は終了する。
【0073】
（分離クラスタマトリックス更新処理）次に、分離クラスタマトリックス更新処理について説明する。
前記したように、予め、ステップＳ２０において、統合領域を構成するすべてのクラスタ対を対象とした分離クラスタマトリックスの初期状態を生成しておく。初期状態としてはクラスタ対の分離状態情報として何も情報がない状態とする。本例では、図７（ｃ）に示す分離クラスタマトリックスにおいて、すべての要素が空欄の状態のマトリックスを生成する。
そして、ステップＳ２２において、分離クラスタがある場合は（Ｙｅｓ）、映像領域分割装置１は、再分割条件検出処理手段３１によって、図７（ｃ）に示すように、分離クラスタマトリックスを更新する。図７（ｃ）に示した分離クラスタマトリックスにおいて、上端の行及び左端の列に記載された「０」〜「５」は、処理対象の統合領域に含まれるクラスタのクラスタＩＤを示しており、マトリックス中に「ｘ」が記された行列に対応するクラスタ対（ペア）が、映像中に互いに到達可能でない状態となるフレームが存在することを示す。すなわち、あるフレームにおいて分離クラスタがある場合に、そのフレームに含まれるクラスタについて、互いに到達可能でないクラスタ対であることを示す情報が分離クラスタマトリックスに登録される。
【0074】
また、図７（ｃ）に示した分離クラスタマトリックスは、図３に示したすべてのフレームについて調査した結果を示している。第１フレームを調査した段階では、図７（ａ）に示した到達可能マトリックスの情報から、互いに到達可能でないクラスタ対として、クラスタＣ０とクラスタＣ２、クラスタＣ１とクラスタＣ２、及びクラスタＣ５とクラスタＣ２の３組が抽出される。従って、この段階では、分離クラスタマトリックスにおいて、「０」と「２」、「１」と「２」、及び「５」と「２」で示される行列要素に「ｘ」が登録される。なお、クラスタ対の順番は交換できるため、行と列とを入れ替えた行列要素にも「ｘ」が登録される。
【0075】
映像領域分割装置１は、再分割条件検出処理手段３１によって、順次に第２フレーム〜第４フレームを選択し、各フレームについて調査する。前記したように、第２フレーム及び第３フレームには分離クラスタがないため、分離クラスタマトリックス作成処理は行わない。そして、第４フレームには分離クラスタがあるため、分離クラスタマトリックス作成処理を行う。
【0076】
第４フレームにおいては、図７（ｂ）に示す到達可能マトリックスの情報から、図３に示すように、互いに到達可能でないクラスタ対として、クラスタＣ４とクラスタＣ３、クラスタＣ１とクラスタＣ３、及びクラスタＣ５とクラスタＣ３の３組が抽出される。従って、分離クラスタマトリックスにおいて、「４」と「３」、「１」と「３」、及び「５」と「３」で示される行列要素に「ｘ」が追加登録される。図３に示した映像例は、第４フレームが最後のフレームであるから、ここで分離クラスタマトリックスの作成は終了する。なお、この段階の分離クラスタマトリックスは初期値として、次の処理に用いられる。
【0077】
（再分割処理）次に、図８乃至図１０を参照（適宜図１参照）して、図２におけるステップＳ１５である再分割処理の詳細について説明する。
再分割処理は、図５に示した隣接クラスタマトリックス及び図７（ｃ）に示した分離クラスタマトリックスを用いて、統合領域ごとにグラフカット処理を行うものである。
【0078】
再分割処理においては、図８に示すように、映像領域分割装置１は、再分割処理手段３２によって、まず、処理対象である統合領域に含まれるクラスタの中から、分割すべきクラスタ対である分割対象ペアを検出する（ステップＳ３０）。ここで検出された分割対象ペアは、互いに異なる領域に再分割されるクラスタ対である。
【0079】
（分割対象ペアの検出）ここで、分割対象ペアの検出方法について説明する。
分割対象ペアを検出する条件は、図７（ｃ）に示した分離クラスタマトリックスに登録されたクラスタ対であることである。すなわち、映像中の分離クラスタがある何れかのフレームにおいて互いに到達可能でないクラスタ対を分離対象ペアとして検出する。
【0080】
図３に示した映像例においては、分離クラスタマトリックスを参照することにより、クラスタＣ０とクラスタＣ２、クラスタＣ１とクラスタＣ２、クラスタＣ１とクラスタＣ３、クラスタＣ２とクラスタＣ５、クラスタＣ３とクラスタＣ４、及びクラスタＣ３とクラスタＣ５の６組のクラスタ対が分離対象ペアとして検出される。
【0081】
次に、映像領域分割装置１は、再分割処理手段３２によって、ステップＳ３０で検出した分離対象ペアから、分割処理を行う１つのクラスタ対を選択する（ステップＳ３１）。このとき、図５に示した隣接クラスタマトリックスに登録されている互いに隣接するクラスタ対を優先的に選択する。分割されるべきクラスタの主要部分が先に分割されることで、末端部の余計な再分割がなされないために、再分割結果の領域がより大きく保たれると同時に、分割処理回数が軽減され再分割処理の効率が向上するため好ましい。ここでは、隣接クラスタマトリックスに登録されているクラスタ対であるクラスタＣ０とクラスタＣ２とのクラスタ対を選択することとする。
【0082】
次に、映像領域分割装置１は、再分割処理手段３２によって、ステップＳ３１で選択した分離対象ペアに対して、一方のクラスタをソースノード、他方のクラスタをシンクノードに割当てる（ステップＳ３２）。なお、ソースノード及びシンクノードとは、互いに分割される１対のノードのことであり、次工程の処理であるグラフカット処理Ｓ３３において、これらのノード間を直接に接続するエッジ、及び／又は他のノードを経由して間接に接続されるエッジが切断される。
【0083】
（グラフカット処理）次に、映像領域分割装置１は、再分割処理手段３２によって、ステップＳ３２で割当てたソースノード及びシンクノード間のグラフカット処理を行う（ステップＳ３３）。
グラフカット処理は、ソースノード及びシンクノード間を直接及び／又は間接に接続するエッジを切断して、ソースノードに接続されるノードと、シンクノードに接続されるノードとに分割する際に、切断するエッジのエネルギーの総和が最小となる組み合わせのエッジを切断する手法である。ここで、エッジのエネルギーとは、例えば、式（１）で示したコスト関数で計算されるコストのことである。
【0084】
図９に、ソースノードとしてクラスタＣ０であるノードＮ０を、シンクノードとしてクラスタＣ２であるノードＮ２を割当てた場合の両ノード間の切断方法について説明する。図９に示すように、ソースノードとしてＮ０を、シンクノードとしてＮ２を割り当て、隣接するエッジをそのままソースノードとシンクノード間をつなぐエッジ（ｔ−ｌｉｎｋ）とする。グラフカット処理は、このソースノードとシンクノードとを与えることで、ソースノードに属するノード群とシンクノードに属するノード群の２つに分割するための切断方法について、それを最小コストで行う切断方法を得ることができるアルゴリズムを実装した処理である。各エッジのコストは、クラスタデータ記憶手段１３に記憶されているグラフ化処理手段１２による処理結果であるグラフデータを参照して用いることができる。
【0085】
前記したように、式（１）に示したコスト関数は、クラスタの代表色の色差が小さいほど大きな値となる関数である。図３に示した映像例では、前記したように画面中央付近のクラスタＣ０，Ｃ１，Ｃ４（ノードＮ０，Ｎ１，Ｎ４）の代表色が極めて類似しているため、それらのクラスタ間のエッジＥ０１，Ｅ０４を切断するコストが非常に高くなる。このため、切断方法ＣＴ１のコスト総和が他の切断方法のコスト総和よりも小さくなると考えられる。そのため、この場合は、切断方法ＣＴ１に従ってエッジＥ０２，Ｅ１２が切断され、この統合領域のグラフから、ノードＮ２が分断される。すなわち、この統合領域は、クラスタＣ０，Ｃ１，Ｃ３，Ｃ５，Ｃ４からなるクラスタ群と、クラスタＣ２からなるクラスタ群と、の２つの領域に分割される。
図１０（ａ）は、ノードＮ２（クラスタＣ２）とノードＮ０，Ｎ１（クラスタＣ０，Ｃ１）との間のエッジＥ０２，Ｅ１２（図９参照）が切断された後の状態のグラフを示したものである。
【0086】
図８に戻って、グラフカット処理Ｓ３３を行うと、映像領域分割装置１は、再分割処理手段３２によって、分離クラスタマトリックスを更新する（ステップＳ３４）。分離クラスタマトリックス更新処理Ｓ３４では、グラフカット処理Ｓ３３によって再分割された結果に基づいて、図７（ａ）に示した分離クラスタマトリックスを更新する。すなわち、分離クラスタマトリックスに登録されたクラスタから、グラフカット処理Ｓ３３により分断されたクラスタを除外する。
【0087】
前記したように、図３に示した映像例では、分割されるのはクラスタＣ２であるから、図１０（ｂ）に示すように、分離クラスタマトリックスからクラスタＣ２が関与する情報を削除する。なお、図１０（ｂ）において、ハッチングを施した要素データが削除されたことを示している。このとき、元の統合領域についてのデータから、クラスタＣ２についてのクラスタデータも削除するものとする。図３に示した映像例では、分割されるのはクラスタＣ２のみであるが、複数のクラスタがクラスタＣ２とともに分割される場合は、統合領域データからそれらのクラスタに関するデータも削除する。
【0088】
なお、この分割によって削除された方のクラスタ群は、元の統合領域とは異なる新たな統合領域として登録される。言い換えれば、元の統合領域を２つに分割するものである。これに伴い、分離クラスタマトリックスを２つに分割する。そして、分割された新たな統合領域についても、分割対象ペアが存在しなくなるまで順次に再分割処理が行われる。
【0089】
次に、映像領域分割装置１は、再分割処理手段３２によって、図１０（ｂ）に示した更新後の分離クラスタマトリックスを参照して、分離対象ペアが残存するか確認し（ステップＳ３５）、残存しない場合は（ステップＳ３５でＮｏ）、この統合領域についての再分割処理を終了する。一方、分割対象ペアが残存する場合は（ステップＳ３５でＹｅｓ）、ステップＳ３０に戻って、映像領域分割装置１は再分割処理手段３２によって再分割処理を続ける。
【0090】
図３に示した映像例では、クラスタＣ１とクラスタＣ３、クラスタＣ３とクラスタＣ４、及びクラスタＣ３とクラスタＣ５の３組のクラスタ対が分割対象ペアとして残存している。そこで、ステップＳ３０に戻り、映像領域分割装置１は、再分割処理手段３２によって、図５に示した隣接クラスタマトリックス及び図１０（ｂ）に示した更新後の分離クラスタマトリックスを用いて、分割対象ペアの再検出を行い、分割対象ペアとなるクラスタ対をリストアップする（ステップＳ３０）。そして、映像領域分割装置１は、再分割処理手段３２によって、リストアップしたクラスタ対から１つのクラスタ対を選択する（ステップＳ３１）。
【0091】
図３に示した映像例では、分割対象ペアとして前記した３組のクラスタ対がリストアップされる。この中から、隣接クラスタマトリックスに登録されているクラスタ対である、クラスタＣ１とクラスタＣ３とのクラスタ対を分割対象ペアとして選択する（ステップＳ３１）。そして、ソースノードとしてクラスタＣ１であるノードＮ１を、シンクノードとしてクラスタＣ３であるノードＮ３を割当て（ステップＳ３２）、グラフカット処理を行う（ステップＳ３３）。
【0092】
前記した要領でグラフカット処理を行うことにより、図１０（ａ）に示したグラフにおいて、他の切断方法よりも切断するエッジのエネルギー総和の小さい切断方法ＣＴ２が選択され、エッジＥ０３，Ｅ１３が切断される。これによって、この統合領域のグラフは、図１１（ａ）に示すよう、統合処理直後の統合領域から、クラスタＣ２に加えて、更にクラスタＣ３が分断された状態となる。このグラフカット処理の結果に基づき、クラスタＣ２に加えて、クラスタＣ３に関するデータを削除する分離クラスタマトリックスの更新を行う（ステップＳ３４）。その結果、分離クラスタマトリックスは、図１１（ｂ）に示すようになる。なお、図１１（ｂ）において、ハッチングを施した要素データが削除されたことを示している。
【0093】
分離クラスタマトリックスを更新すると（ステップＳ３４）、映像領域分割装置１は、再分割処理手段３２によって、図１１（ｂ）に示した更新後の分離クラスタマトリックスを参照して、分離対象ペアが残存するか確認する（ステップＳ３５）。図１１（ｂ）に示した分離クラスタマトリックスによれば、分割対象ペアは残存してないことが確認できる（ステップＳ３５でＮｏ）。従って、映像領域分割装置１は、この統合領域についての再分割処理を終了する。
【0094】
図３に示した映像例では、この統合領域は、クラスタＣ２及びクラスタＣ３がそれぞれ独立のクラスタ群として分断され、残りのクラスタＣ０，Ｃ１，Ｃ５，Ｃ４からなるクラスタ群と合わせて、クラスタを単位とする３つの領域に再分割されたことになる。すなわち、再分割処理による分割領域の数は、クラスタ化処理によって分割された領域数より少なく、統合処理による領域数よりも多くなっている。更に、映像全体を通して見たときに、空間的に分離されることがある部分（クラスタＣ２，Ｃ３）は、それぞれ別の領域に分割されるため、適切な領域分割結果となる。
【0095】
以上説明したように、本発明の映像領域分割装置１による領域分割処理によって、入力として領域分割の対象となる映像と、領域分割処理のためのいくつかの少数のパラメータを与えることで、その色情報のみから被写体領域の抽出に対して適切な領域分割結果を取得することができる。また、ピクセル単位での取り扱いではなく、過分割な状態にクラスタ化された領域を単位として、統合と再分割とを行って領域分割が成されるため、処理するデータ量は極めて小さくなり、インタラクティブなレスポンスが可能である。統合と再分割を行うことにより、均一なパラメータでは制御の難しかった領域の粒度を適応的に制御することができ、「同一の被写体領域はなるべく時空間的に大きく構成され」、「異なる被写体領域には同じ領域ＩＤが割り振られない」ように領域分割することができる。
【0096】
また、色情報に基づいて時空間領域を分割する際に必要な前提は、同じ被写体領域は時間方向に同じ色であり続けることと、異なる被写体領域は異なる色である必要があるという点である。しかしながら、撮影しているカメラが動いていたり、被写体が映像内で動いていたりする場合、同一の被写体領域は時刻によって映像内の空間位置を変えるだけでなく、カメラの性能や物体と光源の位置関係の変化などから対象領域の色情報も変化する。このような場合においても、特に時間方向への領域情報の継承のため、第２段階の統合処理に用いる色情報の閾値として、比較的に緩い設定とすることでその継承性を向上することが可能である。
【0097】
その際に、空間的に近くにある類似した色の異なる被写体領域を同じ域に取り込む副作用がある。例えば、２人の人物がすれ違う際に交差する顔や髪の毛の領域など、色が近い物体が映像上の空間的に接近し、背面に隠れ、再度分離する際に、異なる被写体領域に同じ領域ＩＤを割り振られてしまうことを誘発しやすくなる。本発明では、統合処理によって同一の領域に統合された異なる被写体領域を、再分割して被写体ごとの領域に適切に分割することができる。
本発明は、「同一の被写体領域はなるべく時空間的に大きく構成され」、「異なる被写体領域には同じ領域ＩＤが割り振られない」ように、領域分割を行うことができる。
【0098】
なお、被写体領域の抽出を目的とした領域分割を考えると、「異なる被写体領域には同じ領域ＩＤが割り振られないこと」が満たされることはきわめて重要な要件である。これが満足されない場合、該当する領域には複数の被写体領域が含まれていることになり、後の処理でその領域を抽出領域として選択してしまうと、関係する領域すべてが選択されてしまうために、本来不必要な他の被写体領域も選択されてしまう。本発明によれば、「異なる被写体領域には同じ領域ＩＤが割り振られない」を満足するように領域分割できるため、映像制作や映像加工などにおける被写体領域の抽出処理や、映像検索における被写体領域を指定入力するための領域分割装置として好適に利用することができる。
【実施例】
【0099】
＜実施例１＞次に、本発明の実施例１として、抽象的な被写体の映像を入力映像として、映像領域分割処理を行った結果について説明する。
図１２は、実施例１で用いた映像であり、３０個のフレームからなる映像の内の、第１フレームと、第１０フレームと、第３０フレームとを示したものである。映像中には、縦長の長方形の２つの被写体ＯＢＪ１、ＯＢＪ３が画面の中央付近に並置されており、これらの被写体ＯＢＪ１，ＯＢＪ３は静止している。また、これらの被写体ＯＢＪ１、ＯＢＪ３は、ともに被写体全域でほぼ一様な赤色をしている。なお、ＯＢＪ１については、中心部において、円形の被写体ＯＢＪ２よりも小さな一部の領域で、他の部分の赤色に極めて類似するが異なる色の分布となった部分を持っている。また、円形の被写体ＯＢＪ２は、被写体全域でほぼ一様な赤色をしており、被写体ＯＢＪ１と類似した色である。また、被写体ＯＢＪ２は、第１フレームから第３０フレームにかけて、画面の左側から右側に向かって移動し、被写体ＯＢＪ１の背後を通過するものである。また、背景となる被写体ＯＢＪ４は、被写体全域が一様な黄色で経時変化はしない。
【0100】
図１２に示した映像の、第１段階から第３段階までの各段階の領域分割処理の結果として、第１０フレームに対応する画像を図１３に示す。図１３（ａ）は、第１段階の領域分割処理であるクラスタ化処理の結果示すものである。図１３（ａ）は、クラスタごとに色分けした映像である領域ＩＤ（クラスタＩＤ）分布映像を示したものである。図１３（ａ）において、異なるハッチングを施した領域は、異なるクラスタとして領域分割されていることを示す。この段階の領域分割では、被写体ＯＢＪ１が、縦方向に３つの領域に分割され、被写体ＯＢＪ２も独立した１つのクラスタとして領域分割されている。
【0101】
図１３（ｂ）は、第２段階の領域分割処理であるクラスタ統合処理の結果示すものである。図１３（ｂ）は、統合領域ごとに色分けした映像である領域ＩＤ（統合領域ＩＤ）分布映像を示したものである。図１３（ｂ）において、異なるハッチングを施した領域は、異なるクラスタとして領域分割されていることを示す。この段階の領域分割では、被写体ＯＢＪ１の領域の３つのクラスタが１つの領域に統合されているが、色が類似し、かつ、映像中で隣接する状態があるために、異なる被写体ＯＢＪ２の領域のクラスタも一緒に統合されている。
【0102】
図１３（ｃ）は、第３段階の領域分割処理であるクラスタ再分割処理の結果示すものである。図１３（ｃ）は、再分割領域ごとに色分けした映像である領域ＩＤ（再分割領域ＩＤ）分布映像を示したものである。図１３（ｃ）において、異なるハッチングを施した領域は、異なるクラスタとして領域分割されていることを示す。この最終段階の領域分割では、被写体ＯＢＪ１の領域の３つのクラスタが１つの領域に統合されたまま、異なる被写体ＯＢＪ２の領域のクラスタは異なる領域に再分割されていることが分かる。
【0103】
＜実施例２＞次に、本発明の実施例２として、ビデオカメラを用いて撮影した映像を入力映像として、映像領域分割処理を行った結果について説明する。
図１４Ａから図１４Ｃは、実施例１で用いた映像であり、図１４Ａ、図１４Ｂ及び図１４Ｃは、７４個のフレームからなる映像の内の、それぞれ第２３フレーム、第２７フレーム及び第３１フレームを示したものである。この映像において、黒い服を着た人物が画面内を右から左に向かって歩いており、白い服を着た人物が画面内を左から右に向かって歩いており、両人物は画面の中央付近で、黒い服を着た人物が手前側となるように交差する。また、両者が交差する画面中央付近の背景には、黒っぽい色の樹木があり、何れも黒っぽい両人物の頭部が、背景の樹木と交差するフレームがある。また、両人物以外の背景は、ほぼ静止している。
【0104】
図１４Ａから図１４Ｃに示した映像の、第１段階から第３段階までの各段階の領域分割処理の結果として、第２３フレームに対応する画像を図１５Ａから図１５Ｃに示す。図１５Ａは、第１段階の領域分割処理であるクラスタ化処理の結果示すものである。図１５Ａは、クラスタごとに色分けした映像である領域ＩＤ（クラスタＩＤ）分布映像を示したものである。色の濃さの異なる領域は、異なるクラスタとして領域分割されていることを示す。但し、原画像では、クラスタごとに色分けされているが、図１５Ａでは、白黒の階調画像に変換して示しているため、異なるクラスタに領域分割されているかどうか分かりにくい部分もある。なお、図１５Ｂ及び図１５Ｃも同様である。
図１５Ａに示すように、第１段階では、異なる被写体の領域が同じクラスタに領域分割されることがなく、人物のズボンや上着なども個々のクラスタからは元の形状が判別できない程度の過分割な状態に領域分割されていることが分かる。
【0105】
図１５Ｂは、第２段階の領域分割処理であるクラスタ統合処理の結果示すものである。図１５Ｂは、統合領域ごとに色分けした映像である領域ＩＤ（統合領域ＩＤ）分布映像を示したものである。図１５Ｂに示すように、類似した色のクラスタが統合され、例えば、人物のズボンや上着などの領域のクラスタが大きく統合されているのが分かる。一方、図中に矢印で示した領域である人物の頭部、手前（右側）の人物の上着、及び背景の樹木について、色が互いに類似しており、かつ、映像中で交差するフレームがあるため、これらの異なる被写体の領域のクラスタが１つの領域に統合されている。
【0106】
図１５Ｃは、第３段階の領域分割処理であるクラスタ再分割処理の結果示すものである。図１５Ｃは、再分割領域ごとに色分けした映像である領域ＩＤ（再分割領域ＩＤ）分布映像を示したものである。図１５Ｃに示すように、クラスタ再分割処理により、図１５Ｃに矢印で示した異なる被写体のクラスタが統合された領域が、被写体ごとに異なる領域に再分割されているのが分かる。また、人物のズボンなどは再び細かく過分割されることが抑制され、適切に再分割されていることが分かる。このため、特に手作業で被写体の領域指定を行うためには、より好適に領域分割されているのが分かる。
【符号の説明】
【0107】
１ 映像領域分割装置１０ クラスタ化処理部
１１ クラスタ化処理手段
１２ グラフ化処理手段（隣接状態情報作成手段）
１３ クラスタデータ記憶手段
２０ クラスタ統合処理部
２１ 隣接クラスタ統合処理手段
２２ 統合領域データ記憶手段
３０ クラスタ再分割処理部
３１ 再分割条件検出処理手段
３２ 再分割処理手段
３３ 再分割領域データ記憶手段
Ｃ０〜Ｃ５ クラスタ
Ｎ０〜Ｎ５ ノード
Ｅ０１〜Ｅ１５ エッジ
ＣＴ１、ＣＴ２ 切断方法
ＯＢＪ１〜ＯＢＪ３ 物体（被写体）