特許 5933376 プログラム、画像処理方法、及び、画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5933376

(24)【登録日】2016年5月13日

(45)【発行日】2016年6月8日

(54)【発明の名称】プログラム、画像処理方法、及び、画像処理装置

(51)【国際特許分類】

   G06T 7/60 20060101AFI20160526BHJP

   G06T 7/20 20060101ALI20160526BHJP

   G06T 1/00 20060101ALI20160526BHJP

【ＦＩ】

   G06T7/60 110

   G06T7/20 C

   G06T1/00 340B

【請求項の数】5

【全頁数】19

(21)【出願番号】特願2012-156497(P2012-156497)

(22)【出願日】2012年7月12日

(65)【公開番号】特開2014-21531(P2014-21531A)

(43)【公開日】2014年2月3日

【審査請求日】2015年6月1日

(73)【特許権者】

【識別番号】598138327

【氏名又は名称】株式会社ドワンゴ

(74)【代理人】

【識別番号】100095407

【弁理士】

【氏名又は名称】木村 満

(72)【発明者】

【氏名】柴崎 晃一

【審査官】 真木 健彦

(56)【参考文献】

【文献】 特開２００８−２５０７４６（ＪＰ，Ａ）

【文献】 特開平０８−０１５４０１（ＪＰ，Ａ）

【文献】 特開２００５−０８３７７５（ＪＰ，Ａ）

【文献】 再公表特許第２００５／０７１９３９（ＪＰ，Ａ１）

【文献】 特開２００７−２９９２１０（ＪＰ，Ａ）

【文献】 辛 貞殷，三次元人体スキャンデータからの衣服製作のための特徴点抽出，電子情報通信学会論文誌 Ｄ，日本，社団法人 電子情報通信学会，２００８年 ４月 １日，Vol.J91-D No.4，P.1103-1114

【文献】 岩井 儀雄，動画像からの人物動作計測と認識，情報処理学会論文誌 コンピュータビジョンとイメージメディア June 2002，日本，社団法人 情報処理学会，２００２年 ６月１５日，Vol.43 No.SIG4 (CVIM4)，P.24-32

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００ − ７／６０

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

コンピュータを、
動画像に含まれる第１フレーム画像及び第２フレーム画像を取得する取得部、
前記第１フレーム画像及び前記第２フレーム画像からラベル付領域を認識する認識部、
前記ラベル付領域に含まれる画素の空間的な分布の方向及び分布のサイズを求める計算部、
前記第２フレーム画像に含まれるラベル付領域の数が、前記第１フレーム画像に含まれるラベル付領域の数より少なく、前記第２フレーム画像に含まれるラベル付領域について求められた分布のサイズが、前記第１フレーム画像に含まれるラベル付領域ついて求められた分布のサイズより大きい場合、前記第２フレーム画像に含まれるラベル付領域を、当該領域の重心位置で切断する切断部、
前記第１フレーム画像に含まれるラベル付領域の重心位置と、前記第２フレーム画像に含まれるラベル付領域の重心位置と、前記切断された領域の重心位置と、に基づいて、前記第２フレーム画像に含まれるラベル付領域を、新たなラベル付領域として前記切断された領域に分割する分割部、
として機能させることを特徴とするプログラム。

【請求項2】

請求項１に記載のプログラムであって、
前記分割部が、前記第１フレーム画像に含まれるラベル付領域の重心位置と、前記切断された領域の重心位置との距離が、前記第１フレーム画像に含まれるラベル付領域の重心位置と、前記第２フレーム画像に含まれるラベル付領域の重心位置との距離より短い場合、前記切断された領域を、当該領域の重心位置と最も近い重心位置を有する前記第１フレーム画像に含まれるラベル付領域と同じラベルが付された新たなラベル付領域とみなす
ように機能させることを特徴とするプログラム。

【請求項3】

請求項１又は２に記載のプログラムであって、
前記計算部が、前記画素について主成分分析を行い、第１主成分の方向及びサイズを、それぞれ前記分布の方向及び前記分布のサイズとし、
前記切断部が、前記第２フレーム画像に含まれるラベル付領域を、当該領域の重心位置で、第２主成分に沿って切断する
ように機能させることを特徴とするプログラム。

【請求項4】

動画像に含まれる第１フレーム画像及び第２フレーム画像を取得する取得工程と、
前記第１フレーム画像及び前記第２フレーム画像からラベル付領域を認識する認識工程と、
前記ラベル付領域に含まれる画素の空間的な分布の方向及び分布のサイズを求める計算工程と、
前記第２フレーム画像に含まれるラベル付領域の数が、前記第１フレーム画像に含まれるラベル付領域の数より少なく、前記第２フレーム画像に含まれるラベル付領域について求められた分布のサイズが、前記第１フレーム画像に含まれるラベル付領域ついて求められた分布のサイズより大きい場合、前記第２フレーム画像に含まれるラベル付領域を、当該領域の重心位置で切断する切断工程と、
前記第１フレーム画像に含まれるラベル付領域の重心位置と、前記第２フレーム画像に含まれるラベル付領域の重心位置と、前記切断された領域の重心位置と、に基づいて、前記第２フレーム画像に含まれるラベル付領域を、新たなラベル付領域として前記切断された領域に分割する分割工程と、
を備えることを特徴とする画像処理方法。

【請求項5】

動画像に含まれる第１フレーム画像及び第２フレーム画像を取得する取得部と、
前記第１フレーム画像及び前記第２フレーム画像からラベル付領域を認識する認識部と、
前記ラベル付領域に含まれる画素の空間的な分布の方向及び分布のサイズを求める計算部と、
前記第２フレーム画像に含まれるラベル付領域の数が、前記第１フレーム画像に含まれるラベル付領域の数より少なく、前記第２フレーム画像に含まれるラベル付領域について求められた分布のサイズが、前記第１フレーム画像に含まれるラベル付領域ついて求められた分布のサイズより大きい場合、前記第２フレーム画像に含まれるラベル付領域を、当該領域の重心位置で切断する切断部と、
前記第１フレーム画像に含まれるラベル付領域の重心位置と、前記第２フレーム画像に含まれるラベル付領域の重心位置と、前記切断された領域の重心位置と、に基づいて、前記第２フレーム画像に含まれるラベル付領域を、新たなラベル付領域として前記切断された領域に分割する分割部と、
を備えることを特徴とする画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、領域の識別を簡易に行うのに好適なプログラム、画像処理方法、及び、画像処理装置に関する。

【背景技術】

【0002】

従来、画像に含まれる複数の物体を、異なる領域として認識する技術が知られている。例えば、特許文献１には、２値化処理した画像の画素に対して、ラベリング処理を行い、同一ラベルが付された画素の集合を一つの領域とする画像処理装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００７−２９９２１０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、認識した複数の領域が重なってしまうと、それらは一つの領域として認識されてしまうという問題があった。

【0005】

本発明は、上記のような課題を解決するもので、領域の識別を簡易に行うのに好適なプログラム、画像処理方法、及び、画像処理装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の観点に係るプログラムは、
コンピュータを、
動画像に含まれる第１フレーム画像及び第２フレーム画像を取得する取得部、
前記第１フレーム画像及び前記第２フレーム画像からラベル付領域を認識する認識部、
前記ラベル付領域に含まれる画素の空間的な分布の方向及び分布のサイズを求める計算部、
前記第２フレーム画像に含まれるラベル付領域の数が、前記第１フレーム画像に含まれるラベル付領域の数より少なく、前記第２フレーム画像に含まれるラベル付領域について求められた分布のサイズが、前記第１フレーム画像に含まれるラベル付領域ついて求められた分布のサイズより大きい場合、前記第２フレーム画像に含まれるラベル付領域を、当該領域の重心位置で切断する切断部、
前記第１フレーム画像に含まれるラベル付領域の重心位置と、前記第２フレーム画像に含まれるラベル付領域の重心位置と、前記切断された領域の重心位置と、に基づいて、前記第２フレーム画像に含まれるラベル付領域を、新たなラベル付領域として前記切断された領域に分割する分割部、
として機能させることを特徴とする。

【0007】

また、上記プログラムは、
前記分割部が、前記第１フレーム画像に含まれるラベル付領域の重心位置と、前記切断された領域の重心位置との距離が、前記第１フレーム画像に含まれるラベル付領域の重心位置と、前記第２フレーム画像に含まれるラベル付領域の重心位置との距離より短い場合、前記切断された領域を、当該領域の重心位置と最も近い重心位置を有する前記第１フレーム画像に含まれるラベル付領域と同じラベルが付された新たなラベル付領域とみなす
ように機能させることを特徴とする。

【0008】

また、上記プログラムは、
前記計算部が、前記画素について主成分分析を行い、第１主成分の方向及びサイズを、それぞれ前記分布の方向及び前記分布のサイズとし、
前記切断部が、前記第２フレーム画像に含まれるラベル付領域を、当該領域の重心位置で、第２主成分に沿って切断する
ように機能させることを特徴とする。

【0009】

本発明の第２の観点に係る画像処理方法は、
動画像に含まれる第１フレーム画像及び第２フレーム画像を取得する取得工程と、
前記第１フレーム画像及び前記第２フレーム画像からラベル付領域を認識する認識工程と、
前記ラベル付領域に含まれる画素の空間的な分布の方向及び分布のサイズを求める計算工程と、
前記第２フレーム画像に含まれるラベル付領域の数が、前記第１フレーム画像に含まれるラベル付領域の数より少なく、前記第２フレーム画像に含まれるラベル付領域について求められた分布のサイズが、前記第１フレーム画像に含まれるラベル付領域ついて求められた分布のサイズより大きい場合、前記第２フレーム画像に含まれるラベル付領域を、当該領域の重心位置で切断する切断工程と、
前記第１フレーム画像に含まれるラベル付領域の重心位置と、前記第２フレーム画像に含まれるラベル付領域の重心位置と、前記切断された領域の重心位置と、に基づいて、前記第２フレーム画像に含まれるラベル付領域を、新たなラベル付領域として前記切断された領域に分割する分割工程と、
を備えることを特徴とする。

【0010】

本発明の第３の観点に係る画像処理装置は、
動画像に含まれる第１フレーム画像及び第２フレーム画像を取得する取得部と、
前記第１フレーム画像及び前記第２フレーム画像からラベル付領域を認識する認識部と、
前記ラベル付領域に含まれる画素の空間的な分布の方向及び分布のサイズを求める計算部と、
前記第２フレーム画像に含まれるラベル付領域の数が、前記第１フレーム画像に含まれるラベル付領域の数より少なく、前記第２フレーム画像に含まれるラベル付領域について求められた分布のサイズが、前記第１フレーム画像に含まれるラベル付領域ついて求められた分布のサイズより大きい場合、前記第２フレーム画像に含まれるラベル付領域を、当該領域の重心位置で切断する切断部と、
前記第１フレーム画像に含まれるラベル付領域の重心位置と、前記第２フレーム画像に含まれるラベル付領域の重心位置と、前記切断された領域の重心位置と、に基づいて、前記第２フレーム画像に含まれるラベル付領域を、新たなラベル付領域として前記切断された領域に分割する分割部と、
を備えることを特徴とする。

【0011】

本発明のプログラムは、コンパクトディスク、フレキシブルディスク、ハードディスク、光磁気ディスク、ディジタルビデオディスク、磁気テープ、半導体メモリ等のコンピュータ読取可能な情報記録媒体に記録することができる。

【0012】

上記プログラムは、プログラムが実行されるコンピュータとは独立して、コンピュータ通信網を介して配布・販売することができる。また、上記情報記録媒体は、コンピュータとは独立して配布・販売することができる。

【発明の効果】

【0013】

領域の識別を簡易に行うのに好適なプログラム、画像処理方法、及び、画像処理装置を提供することができる。

【図面の簡単な説明】

【0014】

【図1】実施形態に係る画像処理装置が実現される典型的な情報処理装置の構成を示す図である。

【図2】実施形態に係る画像処理装置の構成を示す図である。

【図3】ラベリング処理による物体の識別の例を示す図である。

【図4】ラベリング処理による物体の識別の例を示す図である。

【図5】簡略化したラベル付領域を示す図である。

【図6】簡略化したラベル付領域を示す図である。

【図7】簡略化したラベル付領域を示す図である。

【図8】重心間距離を示す図である。

【図9】重心間距離を示す図である。

【図10】分割された衝突領域を示す図である。

【図11】実施形態に係る画像処理装置が行う処理を説明するためのフローチャートである。

【図12】実施形態に係る画像処理装置が行う処理を説明するためのフローチャートである。

【発明を実施するための形態】

【0015】

以下に本発明の実施形態を説明する。本実施形態は説明のためのものであり、本願発明の範囲を制限するものではない。したがって、当業者であればこれらの各要素もしくは全要素をこれと均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。

【0016】

以下、本発明のプログラムを実行することにより実現される画像処理装置１００について説明する。

【0017】

（１．情報処理装置の構成）
画像処理装置１００は、典型的な情報処理装置７００が有する機能を備える。情報処理装置７００は、図１に示すように、ＣＰＵ（Central Processing Unit）７０１と、ＲＯＭ（Read only Memory）７０２と、ＲＡＭ（Random Access Memory）７０３と、ＮＩＣ（Network Interface Card）７０４と、画像処理部７０５と、音声処理部７０６と、ＤＶＤ−ＲＯＭ（Digital Versatile Disc ROM）ドライブ７０７と、インターフェース７０８と、外部メモリ７０９と、コントローラ７１０と、モニタ７１１と、スピーカ７１２と、カメラ７１３を備える。

【0018】

ＣＰＵ ７０１は、情報処理装置７００全体の動作を制御し、各構成要素と接続され制御信号やデータをやりとりする。

【0019】

ＲＯＭ ７０２には、電源投入直後に実行されるＩＰＬ（Initial Program Loader）が記録され、これが実行されることにより、所定のプログラムをＲＡＭ ７０３に読み出してＣＰＵ ７０１による当該プログラムの実行が開始される。また、ＲＯＭ ７０２には、情報処理装置７００全体の動作制御に必要なオペレーティングシステムのプログラムや各種のデータが記録される。

【0020】

ＲＡＭ ７０３は、データやプログラムを一時的に記憶するためのもので、ＤＶＤ−ＲＯＭから読み出したプログラムやデータ、その他、通信に必要なデータ等が保持される。

【0021】

ＮＩＣ ７０４は、情報処理装置７００をインターネット等のコンピュータ通信網に接続するためのものであり、ＬＡＮ（Local Area Network）を構成する際に用いられる１０ＢＡＳＥ−Ｔ／１００ＢＡＳＥ−Ｔ規格やＥｔｈｅｒｎｅｔ（登録商標）規格等にしたがうものや、電話回線を用いてインターネットに接続するためのアナログモデム、ＩＳＤＮ（Integrated Services Digital Network）モデム、ＡＤＳＬ（Asymmetric Digital Subscriber Line）モデム、ケーブルテレビジョン回線を用いてインターネットに接続するためのケーブルモデム等と、これらとＣＰＵ ７０１との仲立ちを行うインターフェース（図示せず）により構成される。

【0022】

画像処理部７０５は、ＤＶＤ−ＲＯＭ等から読み出されたデータやカメラ７１３により撮影したデータをＣＰＵ ７０１や画像処理部７０５が備える画像演算プロセッサ（図示せず）によって加工処理した後、これを画像処理部７０５が備えるフレームメモリ（図示せず）に記録する。フレームメモリに記録された画像情報は、所定の同期タイミングでビデオ信号に変換され、モニタ７１１に出力される。これにより、各種のページ表示が可能となる。

【0023】

音声処理部７０６は、ＤＶＤ−ＲＯＭ等から読み出した音声データをアナログ音声信号に変換し、これに接続されたスピーカ７１２から出力させる。また、ＣＰＵ ７０１の制御の下、情報処理装置７００が行う処理の進行の中で発生させるべき音を生成し、これに対応した音声をスピーカ７１２から出力させる。

【0024】

ＤＶＤ−ＲＯＭドライブ７０７に装着されるＤＶＤ−ＲＯＭには、例えば、実施形態に係るサーバ装置１００を実現するためのプログラムが記憶される。ＣＰＵ ７０１の制御によって、ＤＶＤ−ＲＯＭドライブ７０７は、これに装着されたＤＶＤ−ＲＯＭに対する読み出し処理を行って、必要なプログラムやデータを読み出し、これらはＲＡＭ ７０３等に一時的に記憶される。

【0025】

インターフェース７０８には、外部メモリ７０９、コントローラ７１０、モニタ７１１、及びスピーカ７１２が、着脱可能に接続される。

【0026】

外部メモリ７０９には、ユーザの個人情報に関するデータなどが書き換え可能に記憶される。

【0027】

コントローラ７１０は、情報処理装置７００の各種の設定時などに行われる操作入力を受け付ける。情報処理装置７００のユーザは、コントローラ７１０を介して指示入力を行うことにより、これらのデータを適宜外部メモリ７０９に記録することができる。

【0028】

モニタ７１１は、画像処理部７０５により出力されたデータを情報処理装置７００のユーザに提示する。

【0029】

スピーカ７１２は、音声処理部７０６により出力された音声データを情報処理装置７００のユーザに提示する。

【0030】

カメラ７１３は、ユーザの指示に従い周辺の空間等を撮影し、撮影した映像を電気信号に変換する。カメラ７１３は、例えば、ＣＭＯＳ（Complimentary MOS）センサ等から構成される。

【0031】

この他、情報処理装置７００は、ハードディスク等の大容量外部記憶装置を用いて、ＲＯＭ ７０２、ＲＡＭ ７０３、外部メモリ７０９、ＤＶＤ−ＲＯＭドライブ７０７に装着されるＤＶＤ−ＲＯＭ等と同じ機能を果たすように構成してもよい。

【0032】

以下、本願発明に係るプログラムを実行することにより実現される画像処理装置１００の構成について、図１乃至１２を参照して説明する。

【0033】

（２．実施形態の画像処理装置の構成）
実施形態に係る画像処理装置１００は、図２に示すように、取得部１０１と、認識部１０２と、計算部１０３と、切断部１０４と、分割部１０５と、を備える。

【0034】

取得部１０１は、動画像に含まれる第１フレーム画像及び第２フレーム画像を取得する。

【0035】

本実施形態において、第２フレーム画像は、動画像において、第１フレーム画像の次のフレーム画像であるとする。第１フレーム画像は、例えば、図３（ａ）に示す画像である。また、第２フレーム画像は、例えば、図４（ａ）に示す画像である。

【0036】

図３（ａ）及び図４（ａ）は、それぞれ、人物２００が映しだされた画像であり、顔や手の部分が肌色であるとする。図３（ａ）では、人物２００の顔と手は離れているが、図４（ａ）では、人物２００の顔と片方の手が重なって映しだされている。

【0037】

なお、第２フレーム画像は、第１フレーム画像の次のフレーム画像でなくてもよい。例えば、第２フレーム画像は、第１フレーム画像の数秒後のフレーム画像でもよい。第１フレーム画像と第２フレーム画像との間隔は適宜設定することができる。

【0038】

本実施形態において、ＣＰＵ ７０１及び画像処理部７０５が協働して取得部１０１として機能する。

【0039】

認識部１０２は、第１フレーム画像及び第２フレーム画像からラベル付領域を認識する。

【0040】

ラベル付領域とは、ラベリング処理によりラベルが付された画素から構成される領域である。本実施形態では、ラベル付領域は、肌色の画素から構成される領域であって、所定の大きさ以上の領域であるとする。

【0041】

以下、認識部１０２がラベル付領域を認識する手順の例について説明する。

【0042】

まず、認識部１０２は、第１フレーム画像及び第２フレーム画像について２値化処理を行う。本実施形態では、肌色の領域とその他の領域が区別できるよう、２値化処理を行う。例えば、肌色の画素は白色に設定し、肌色以外の色の画素は黒色に設定する。

【0043】

例えば、図３（ａ）のフレーム画像について２値化処理を施すと、図３（ｂ）の画像が得られ、図４（ａ）のフレーム画像について２値化処理を施すと、図４（ｂ）の画像が得られる。

【0044】

そして、認識部１０２は、２値化処理が施された画像についてラベリング処理を施す。例えば、認識部１０２は、図３（ｂ）において、白色の画素が連結している領域に同一のラベルを付す。例えば、領域２０１、２０２、２０３に含まれる画素は、それぞれ、同一のラベルが付される。一方、図４（ｂ）において、領域２０４、２０５に含まれる画素は、それぞれ、同地のラベルが付される。

【0045】

認識部１０２は、各領域に含まれる画素数等から領域が所定の大きさ以上であるか否かを判断する。そして、認識部１０２は、所定の大きさ以上であると判断された領域をラベル付領域として認識する。

【0046】

例えば、領域２０３、２０５は所定の大きさ未満であったとすると、認識部１０２が認識するラベル付領域は、図３（ｂ）では領域２０１、２０２であり、図４（ｂ）では領域２０４である。

【0047】

本実施形態において、ＣＰＵ ７０１及び画像処理部７０５が協働して認識部１０２として機能する。

【0048】

計算部１０３は、ラベル付領域に含まれる画素の空間的な分布の方向及び分布のサイズを求める。

【0049】

ここで、計算部１０３は、画素について主成分分析を行い、第１主成分の方向及びサイズを、それぞれ分布の方向及び分布のサイズとする。

【0050】

ラベル付領域に含まれる画素に対し主成分分析を行うことで、ラベル付領域の姿勢（傾き）を主成分ベクトル、ラベル付領域の大きさを固有値として得ることができる。

【0051】

例えば、計算部１０３が、領域２０１、２０２に含まれる画素について主成分分析を行うと、図３（ｃ）に示すように、領域２０１について第１主成分３１１、第２主成分３２１が得られ、領域２０２について第１主成分３１２、第２主成分３２２が得られる。同様に、計算部１０３が、領域２０４に含まれる画素について主成分分析を行うと、図４（ｃ）に示すように、領域２０４について第１主成分３１４、第２主成分３２４が得られる。

【0052】

なお、図３（ｃ）の第１主成分３１１、３１２と第２主成分３２１、３２２との交点は、領域２０１、２０２の重心位置３３１、３３２、図４（ｃ）の第１主成分３１４と第２主成分３２４との交点は、領域２０４の重心位置３３４である。

【0053】

計算部１０３は、第１主成分３１１、３１２、３１４の方向及びサイズを求め、ラベル付領域に含まれる画素の分布の方向及び分布のサイズとする。

【0054】

なお、計算部１０３が分布の方向及び分布のサイズを求める手法は主成分分析を用いる手法に限らない。例えば、計算部１０３は、画素について独立主成分分析により、画素の空間的な分布の方向及び分布のサイズを求めてもよい。この場合、例えば、長手方向の主成分の方向及びサイズを、分布の方向及び分布のサイズとする。

【0055】

本実施形態において、ＣＰＵ ７０１が計算部１０３として機能する。

【0056】

切断部１０４は、第２フレーム画像に含まれるラベル付領域の数が、第１フレーム画像に含まれるラベル付領域の数より少なく、第２フレーム画像に含まれるラベル付領域について求められた分布のサイズが、第１フレーム画像に含まれるラベル付領域について求められた分布のサイズより大きい場合、第２フレーム画像に含まれるラベル付領域を、当該領域の重心位置で切断する。

【0057】

以下、切断部１０４が行う処理について、図５乃至図９を用いて説明する。

【0058】

図５乃至図９には、簡略化したラベル付領域が描画されている。領域４０１〜４０５が、それぞれラベル付領域である。図５乃至図９の領域４０１、４０２は、例えば、それぞれ図３（ｂ）の領域２０１、２０２に対応するものである。図５乃至図７の上段は第１フレーム画像、下段は第２フレーム画像を示す。図８、９は、それぞれ図５、６の第１フレーム画像と第２フレーム画像とを重ね合わせた図である。

【0059】

また、領域４０４は、領域４０１と同一の物体についてのラベル付領域であり、領域４０５は、領域４０２と同一の物体についてのラベル付領域であるとする。

【0060】

なお、第１フレーム画像及び第２フレーム画像間のラベル付領域の対応付けは、例えば、以下のように行う。

【0061】

まず、図８に示すように、領域４０１、４０２、４０４、４０５の重心位置５３１、５３２、５３４、５３５を求める。そして、第２フレーム画像に含まれるラベル付領域について、当該ラベル付領域の重心位置から最も近い第１フレーム画像に含まれるラベル付領域の重心位置を求め、求められた重心位置を有するラベル付領域と対応付ける。

【0062】

例えば、図８において、領域４０４の重心位置５３４から、領域４０１の重心位置５３１までの距離と領域４０２の重心位置５３２までの距離を求める。この場合、重心位置５３４から重心位置５３１までの距離の方が、重心位置５３４から重心位置５３２までの距離より短い。したがって、第２フレーム画像に含まれる領域４０４は、第１フレーム画像の領域４０１に対応付けられる。領域４０５についても同様の処理が行われ、第２フレーム画像に含まれる領域４０５は、第１フレーム画像の領域４０２に対応付けられる。

【0063】

なお、第１フレーム画像及び第２フレーム画像間のラベル付領域の対応付けは、上記の例に限らない。例えば、領域の縁の距離や、領域の重複の度合い等に基づいて対応付けを行ってもよい。

【0064】

領域４０１〜４０５については、計算部１０３により、第１主成分５１１〜１５、第２主成分５２１〜５２５が求められているとする。

【0065】

まず、切断部１０４は、第１フレーム画像に含まれるラベル付画像の数と第２フレーム画像に含まれるラベル付画像の数とを比較する。

【0066】

図５の第１フレーム画像は、領域４０１、４０２を含み、それらが所定の距離だけ離れている様子を示している。一方、図５の第２フレーム画像は、領域４０４、４０５を含み、領域４０４、４０５は、それぞれ第１フレーム画像の領域４０１、４０２の位置からｘ軸の負の方向に離れた位置に存在する。

【0067】

図５の第１フレーム画像及び第２フレーム画像は、それぞれ、２つのラベル付領域を含む。したがって、このような場合、切断部１０４は、第１フレーム画像に含まれるラベル付領域の数と、第２フレーム画像に含まれるラベル付領域の数とは同じであると判断する。

【0068】

図６の第１フレーム画像は、領域４０１、４０２を含み、それらが所定の距離だけ離れている様子を示している。一方、図６の第２フレーム画像は、領域４０１，４０２がそれぞれｘ軸の正の方向に移動し、領域４０１と領域４０２が重なって新たな領域４０３が生成された様子を示している。

【0069】

図６の第１フレーム画像は２つのラベル付領域を含み、図６の第２フレーム画像は、１つのラベル付領域を含む。したがって、このような場合、切断部１０４は、第２フレーム画像に含まれるラベル付領域の数が、第１フレーム画像に含まれるラベル付領域の数より少ないと判断する。

【0070】

図７の第１フレーム画像は、領域４０１、４０２を含み、それらが所定の距離だけ離れている様子を示している。一方、図７の第２フレーム画像は、領域４０４が映し出された様子を示している。

【0071】

図７の第１フレーム画像は２つのラベル付領域を含み、図７の第２フレーム画像は、１つのラベル付領域を含む。したがって、このような場合も、切断部１０４は、第２フレーム画像に含まれるラベル付領域の数が、第１フレーム画像に含まれるラベル付領域の数より少ないと判断する。

【0072】

次に、切断部１０４は、第２フレーム画像に含まれるラベル付領域の方が少ないと判断された、図６、７の第１フレーム画像及び第２フレーム画像についてラベル付領域の分布のサイズを比較する。

【0073】

すなわち、図６の第１フレーム画像に含まれる領域４０１、４０２の第１主成分５１１、５１２の大きさと、図６の第２フレーム画像に含まれる領域４０３の第１主成分５１３との大きさとを比較する。この場合、切断部１０４は、第２フレーム画像に含まれるラベル付領域について求められた分布のサイズ（第１主成分５１３の大きさ）が、第１フレーム画像に含まれるラベル付領域について求められた分布のサイズ（第１主成分５１１、５１２の大きさ）より大きいと判断する。

【0074】

一方、図７の第１フレーム画像に含まれる領域４０１、４０２の第１主成分５１１、５１２の大きさと、図７の第２フレーム画像に含まれる領域４０１の第１主成分５１４との大きさとを比較する。この場合、切断部１０４は、第２フレーム画像に含まれるラベル付領域について求められた分布のサイズ（第１主成分５１４の大きさ）は、第１フレーム画像に含まれるラベル付領域について求められた分布のサイズ（第１主成分５１１、５１２の大きさ）と同じであると判断する。

【0075】

そして、切断部１０４は、分布のサイズが大きいと判断された、図６の第２フレーム画像に含まれる領域４０３を、当該領域の重心位置で切断する。重心位置は、第１主成分５１３と第２主成分５２３の交点である。

【0076】

ここで、切断部１０４は、第２フレーム画像に含まれるラベル付領域を、当該領域の重心位置で、第２主成分に沿って切断する。

【0077】

すなわち、切断部１０４は、第１主成分５１３と第２主成分５２３の交点で第２主成分５２３に沿って切断する。切断した領域を、図９の領域４０６、４０７とする。

【0078】

なお、分布のサイズの比較において、「第１フレーム画像に含まれるラベル付領域の分布のサイズ」×α＜「第２フレーム画像に含まれるラベル付領域の分布のサイズ」、の関係を満たす場合に、切断部１０４は、第２フレーム画像に含まれるラベル付領域について求められた分布のサイズが、第１フレーム画像に含まれるラベル付領域について求められた分布のサイズより大きいと判断するようにしてもよい。ここで、係数αは、１より大きな値とする。

【0079】

例えば、図７において、第１主成分５１４のサイズが、第１主成分５１１、５１２のサイズより大きいとする。この場合、第１主成分の大きさをそのまま比較すると、切断部１０４は、第２フレーム画像に含まれるラベル付領域の分布のサイズの方が大きいと判断し、第２フレーム画像においてラベル付領域の重複（衝突）が起こっていないのにもかかわらず、領域４０４を衝突が起こった領域（衝突領域）として、当該領域の重心位置で切断してしまう。そこで、係数αを１より大きな値に設定することにより、第２フレーム画像に含まれるラベル付領域の分布のサイズが、第１フレーム画像に含まれるラベル付領域の分布のサイズより、ある程度大きくなった場合に領域を切断するようにすることができる。このような関係に基づき分布のサイズを判断することにより、フレームの変化に伴う分布のサイズの変化の誤差を吸収することができ、より正確に領域の切断を行うことができる。

【0080】

本実施形態において、ＣＰＵ ７０１及び画像処理部７０５が協働して切断部１０２として機能する。

【0081】

分割部１０５は、第１フレーム画像に含まれるラベル付領域の重心位置と、第２フレーム画像に含まれるラベル付領域の重心位置と、切断された領域の重心位置と、に基づいて、第２フレーム画像に含まれるラベル付領域を、新たなラベル付領域として切断された領域に分割する。

【0082】

ここで、分割部１０５は、第１フレーム画像に含まれるラベル付領域の重心位置と、切断された領域の重心位置との距離が、第１フレーム画像に含まれるラベル付領域の重心位置と、第２フレーム画像に含まれるラベル付領域の重心位置との距離より短い場合、切断された領域を、当該領域の重心位置と最も近い重心位置を有する第１フレーム画像に含まれるラベル付領域と同じラベルが付された新たなラベル付領域とみなす。

【0083】

図９に各領域の重心位置を示す。図９において、領域４０６と領域４０７とを合わせた領域が領域４０３である。重心位置５３１、５３２、５３３、５３６、５３７は、それぞれ、領域４０１、４０２、４０３、４０６、４０７の重心位置である。

【0084】

図９において、第１フレーム画像に含まれるラベル付領域は、領域４０１、４０２、第２フレーム画像に含まれる領域は、図６における領域４０３に相当する領域４０６、４０７を合わせた領域、切断された領域は、領域４０６及び領域４０７である。

【0085】

領域４０１の重心位置５３１と領域４０６の重心位置５３６との距離及び領域４０２の重心位置５３２と領域４０７の重心位置５３７との距離の和は、領域４０１の重心位置５３１と領域４０３の重心位置５３３との距離及び領域４０２の重心位置５３２と領域４０３の重心位置５３３との距離の和より短い。そして、領域４０６の重心位置５３６と最も近い重心位置を有する領域は領域４０１であり、領域４０７の重心位置５３７と最も近い重心位置を有する領域は領域４０２である。したがって、分割部１０５は、領域４０６に領域４０１と同じラベルを付して、新たなラベル付領域とみなし、領域４０７に領域４０２と同じラベルを付し、新たなラベル付領域とみなす。

【0086】

本実施形態において、ＣＰＵ ７０１及び画像処理部７０５が協働して分割部１０２として機能する。

【0087】

通常、図３（ａ）が第１フレーム画像であり、図４（ａ）が第２フレーム画像である場合、第１フレーム画像では、図３（ｄ）に示すように、顔と手がそれぞれ、別の領域３４１、３４２として認識されるが、第２フレーム画像では、図４（ｄ）に示すように、顔と手が重なり一つの領域３４４として認識される。

【0088】

しかし、本実施形態によれば、図１０（ｄ）に示すように、顔と手とが重なっても、それぞれ異なる領域３４５、３４６として認識することができる。

【0089】

（３．実施形態の画像処理装置の動作）
以下、実施形態に係る画像処理装置１００が行う動作について説明する。画像処理装置１００に電源が投入されると、画像処理装置１００は、図１１のフローチャートに示す処理を行う。以下、各部が行う処理について説明する。

【0090】

取得部１０１は、動画像に含まれる第１フレーム画像及び第２フレーム画像を取得する（ステップＳ１０１）。

【0091】

例えば、取得部１０１は、図３（ａ）を第１フレーム画像として、図４（ａ）を第２フレーム画像として、取得する。

【0092】

認識部１０２は、第１フレーム画像及び第２フレーム画像からラベル付領域を認識する（ステップＳ１０２）。

【0093】

例えば、認識部１０２は、図３（ａ）及び図４（ａ）について、２値化処理及びラベリング処理を施す。そして、認識部１０２は、図３（ｂ）に含まれる領域２０１、２０２、２０３のうち、所定の大きさ以上の領域である領域２０１、２０２をラベル付領域と認識し、図４（ｂ）に含まれる領域２０４、２０５のうち、所定の大きさ以上の領域である領域２０４をラベル付領域と認識する。

【0094】

計算部１０３は、ラベル付領域に含まれる画素の空間的な分布の方向及び分布のサイズを求める（ステップＳ１０３）。

【0095】

例えば、計算部１０３は、領域２０１、２０２、２０４に含まれる画素について主成分分析を行う。そして、計算部１０３は、図３（ｃ）に示すように、領域２０１について第１主成分３１１、第２主成分３２１を求め、領域２０２について第１主成分３１２、第２主成分３２２を求める。同様に、計算部１０３は、図４（ｃ）に示すように、領域２０４について第１主成分３１４、第２主成分３２４を求める。そして、計算部１０３は、第１主成分３１１、３１２、３１４の分布の方向及びサイズを求める。

【0096】

切断部１０４は、第２フレーム画像に含まれるラベル付領域の数が、第１フレーム画像に含まれるラベル付領域の数より少ないか否かを判断する（ステップＳ１０４）。切断部１０４が、第２フレーム画像に含まれるラベル付領域の数が、第１フレーム画像に含まれるラベル付領域の数より少ないと判断した場合（ステップＳ１０４；Ｙｅｓ）、次に、切断部１０４は、第２フレーム画像に含まれるラベル付領域について求められた分布のサイズが、第１フレーム画像に含まれるラベル付領域について求められた分布のサイズより大きいか否かを判断する（ステップＳ１０５）。一方、切断部１０４が、第２フレーム画像に含まれるラベル付領域の数が、第１フレーム画像に含まれるラベル付領域の数以上であると判断した場合（ステップＳ１０４；Ｎｏ）、処理は終了する。

【0097】

例えば、図３（ａ）及び図４（ａ）が第１フレーム画像及び第２フレーム画像である場合、第１フレーム画像に含まれるラベル付領域は領域２０１、２０２であり、第２フレーム画像に含まれるラベル付領域は領域２０４である。したがって、切断部１０４は、第２フレーム画像に含まれるラベル付領域の数が、第１フレーム画像に含まれるラベル付領域の数より少ないと判断する。

【0098】

ステップＳ１０５において、切断部１０４が、第２フレーム画像に含まれるラベル付領域について求められた分布のサイズが、第１フレーム画像に含まれるラベル付領域について求められた分布のサイズより大きいと判断すると（ステップＳ１０５；Ｙｅｓ）、切断部１０４は、第２フレーム画像に含まれるラベル付領域を、当該領域の重心位置で切断する（ステップＳ１０６）。一方、切断部１０４は、第２フレーム画像に含まれるラベル付領域について求められた分布のサイズが、第１フレーム画像に含まれるラベル付領域について求められた分布のサイズ以下であると判断すると（ステップＳ１０５；Ｎｏ）、処理は終了する。

【0099】

例えば、切断部１０４は、領域２０４について求められた第１主成分３１４（図４（ｃ））は、領域２０１、２０２について求められた第１主成分３１１、３１２（図３（ｃ））より大きいと判断し、領域２０４を、当該領域の重心位置で、第２主成分３２４に沿って分割する。

【0100】

次に、分割部１０５は、第１フレーム画像に含まれるラベル付領域の重心位置と、切断された領域の重心位置との距離が、第１フレーム画像に含まれるラベル付領域の重心位置と、第２フレーム画像に含まれるラベル付領域の重心位置との距離より短いか否かを判断する（ステップＳ１０７）。分割部１０５が、第１フレーム画像に含まれるラベル付領域の重心位置と、切断された領域の重心位置との距離が、第１フレーム画像に含まれるラベル付領域の重心位置と、第２フレーム画像に含まれるラベル付領域の重心位置との距離より短いと判断すると（ステップＳ１０７；Ｙｅｓ）、分割部１０５は、第２フレーム画像に含まれるラベル付領域を、新たなラベル付領域として切断された領域に分割する（ステップＳ１０８）。一方、分割部１０５が、第１フレーム画像に含まれるラベル付領域の重心位置と、切断された領域の重心位置との距離が、第１フレーム画像に含まれるラベル付領域の重心位置と、第２フレーム画像に含まれるラベル付領域の重心位置との距離以上であると判断すると（ステップＳ１０７；Ｎｏ）、処理は終了する。

【0101】

例えば、領域２０４が切断された領域の第１主成分、第２主成分、及び重心位置を、それぞれ、図１０（ｃ）の第１主成分３１５、３１６、第２主成分３２５、３２６、重心位置３３５、３３６とする。そして、分割部１０５は、重心位置３３１と重心位置３３５との距離、及び重心位置３３２と重心位置３３６との距離の和は、重心位置３３１と重心位置３３４との距離、及び重心位置３３２と重心位置３３４との距離の和より短いと判断したとする。この場合、分割部１０５は、領域２０４を重心位置３３４で切断した領域を新たなラベル付領域とする。

【0102】

そして、図４（ｄ）の領域３４４は、２つの異なる領域３４５、３４６として認識される。これにより、顔と手が重なってもそれぞれを異なる領域として判別することができる。

【0103】

本実施形態によれば、異なる領域として認識された領域が、その後、重複（衝突）してしまった場合でも、それぞれの領域を異なる領域として認識することができる。

【0104】

また、本実施形態によれば、一般的に物体の姿勢推定に用いられる主成分分析の結果を利用することにより、計算の負担を抑えながら、簡易に重複領域の分離を行うことができる。例えば、映像に含まれる手の部分を抽出し、手の上にＣＧ（Computer Graphics）を合成する場合、手が顔や他の物体と重なると、ＣＧが不適切な位置に表示されてしまう。しかしながら、本実施形態に係る発明を用いることにより、手が他の物体と重なっても、適切な位置にＣＧを表示することができる。

【0105】

なお、ステップ１０４において、ラベル付領域の数の判断において、所定の条件を設けてもよい。例えば、図４（ａ）のように、それまで別のラベル付領域と認識されていた顔と手が、１つのラベル付領域と認識される場合であっても、他の人物の手が映り込む等により当該手の領域がラベル付領域と認識されると、ラベル付領域の数は同じであると判断される。そこで、例えば、第２フレーム画像のラベル付領域の重心位置が、第１フレーム画像に含まれるラベル付領域の重心位置から所定の距離以上離れている場合、ステップＳ１０４の判断において、そのようなラベル付領域をカウントしないようにしてもよい。このように構成することにより、より正確に物体の重複（衝突）を検出できる。

【0106】

また、実施形態に係る画像処理装置１００は、図１２のフローチャートに示す処理を行ってもよい。以下、処理について説明する。

【0107】

画像処理装置１００は、カメラ７１３により周辺の空間を撮影する（ステップＳ２０１）。

【0108】

例えば、画像処理装置１００は、図４（ａ）のフレーム画像を現在撮影したとする。

【0109】

画像処理部１００は、現在撮影したフレーム画像を第２フレーム画像として選択し、現在撮影したフレーム画像の直前のフレーム画像を第１フレーム画像として選択する（ステップＳ２０２）。

【0110】

例えば、図４（ａ）のフレーム画像の直前のフレーム画像を図３（ａ）のフレーム画像とする。この場合、画像処理装置１００は、図３（ａ）のフレーム画像を第１フレーム画像、図４（ａ）のフレーム画像を第２フレーム画像として選択する。

【0111】

次に、画像処理装置１００は、選択された第１フレーム画像及び第２フレーム画像に対して図１１に示す処理を行う（ステップＳ２０３、図１１）。

【0112】

例えば、図３（ａ）のフレーム画像を第１フレーム画像、図４（ａ）のフレーム画像を第２フレーム画像として、図１１に示す処理を行い、第２フレーム画像の図４（ａ）について、図１０（ｄ）に示すように顔と手を異なる領域として認識した処理結果を得る。

【0113】

図１１に示す処理の結果、第２フレーム画像について、分割されたラベル付領域が求められ、又は、分割されないラベル付領域が求められると、画像処理装置１００は、求められたラベル付領域について所定の画像認識を行う（ステップＳ２０４）。

【0114】

例えば、これまで求められたラベル付領域の時系列データにより、各領域の軌跡を求め、当該領域に対応付けられた物体の動きを追跡する。

【0115】

そして、ステップＳ２０１に戻り、ステップＳ２０１以降の処理を繰り返す。このように処理を進めることにより、撮影しながら、リアルタイムで所定の領域の追跡を行うことができる。例えば、手を振るような動作を認識する場合、動作の途中で顔と手が重なってしまっても、手の動作を正確に追跡することができる。

【0116】

なお、本実施形態において、ラベル付領域が２個から１個へ減少した場合を例に説明したが、これに限らない。例えば、認識されたラベル付領域がｎ個（ｎは３以上）の場合であっても、重心間距離や領域の縁の距離などに基づいて、各ラベル付領域の対応付けを行い、図１１に示す処理を施して領域の分離を行うことができる。

【符号の説明】

【0117】

１００ 画像処理装置
１０１ 取得部
１０２ 認識部
１０３ 計算部
１０４ 切断部
１０５ 分割部
２００ 人物
２０１、２０２、２０３、２０４、２０５、３４１、３４２、３４４、３４５、３４６、４０１、４０２、４０３、４０４、４０５、４０６、４０７ 領域
３１１、３１２、３１４、３１５、３１６、５１１、５１２、５１３、５１４、５１５ 第１主成分
３２１、３２２、３２４、３２５、３２６、５２１、５２２、５２３、５２４、５２５ 第２主成分
３３１、３３２、３３４、３３５、３３６、５３１、５３２、５３３、５３４、５３５、５３６、５３７ 重心位置
７００ 情報処理装置
７０１ ＣＰＵ
７０２ ＲＯＭ
７０３ ＲＡＭ
７０４ ＮＩＣ
７０５ 画像処理部
７０６ 音声処理部
７０７ ＤＶＤ−ＲＯＭドライブ
７０８ インターフェース
７０９ 外部メモリ
７１０ コントローラ
７１１ モニタ
７１２ スピーカ
７１３ カメラ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】