特開 2023-146376 画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023146376

(43)【公開日】2023-10-12

(54)【発明の名称】画像処理方法

(51)【国際特許分類】

   G06V 10/26 20220101AFI20231004BHJP

   G06T 7/00 20170101ALI20231004BHJP

   G06V 20/64 20220101ALI20231004BHJP

   G06T 7/215 20170101ALI20231004BHJP

【ＦＩ】

G06V10/26

G06T7/00 C

G06V20/64

G06T7/215

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022053525

(22)【出願日】2022-03-29

(71)【出願人】

【識別番号】517146563

【氏名又は名称】エイアイビューライフ株式会社

(74)【代理人】

【識別番号】100124811

【弁理士】

【氏名又は名称】馬場 資博

(74)【代理人】

【識別番号】100187724

【弁理士】

【氏名又は名称】唐鎌 睦

(72)【発明者】

【氏名】安川 徹

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA09

5L096BA02

5L096FA59

5L096FA60

5L096FA64

5L096FA66

5L096FA69

5L096FA77

5L096GA34

5L096HA03

5L096HA05

(57)【要約】

【課題】距離画像から精度よく移動体を追従すること。
【解決手段】本発明の画像処理装置１０は、距離画像に対して、移動体を検出してラベルを付与すると共に、ラベルに対して移動体の距離画像情報である単独距離画像情報を関連付け、距離画像に基づいて所定の移動体が他の移動体と結合したと判断した場合に、所定の移動体のラベルに、単独距離画像情報を関連付けたまま、結合した移動体の結合状態における距離画像情報を結合距離画像情報として新たに関連付ける。
【選択図】図２

【特許請求の範囲】

【請求項1】

距離画像に対して、移動体を検出してラベルを付与すると共に、当該ラベルに対して移動体の距離画像情報である単独距離画像情報を関連付け、
前記距離画像に基づいて所定の移動体が他の移動体と結合したと判断した場合に、所定の移動体の前記ラベルに、前記単独距離画像情報を関連付けたまま、結合した移動体の結合状態における距離画像情報を結合距離画像情報として新たに関連付ける、
画像処理方法。

【請求項2】

請求項１に記載の画像処理方法であって、
複数の移動体が結合したと判断した場合に、当該結合した移動体のそれぞれの前記ラベルに、結合した移動体の結合状態における同一の前記結合距離画像情報を新たに関連付ける、
画像処理方法。

【請求項3】

請求項１又は２に記載の画像処理方法であって、
複数の移動体が結合したと判断した場合に、当該結合した移動体のそれぞれの前記ラベルに関連付けられている前記単独距離画像情報を、結合した時における各移動体の距離画像情報に更新する、
画像処理方法。

【請求項4】

請求項１乃至３のいずれかに記載の画像処理方法であって、
複数の移動体が結合したと判断した場合であって、当該結合した移動体の前記ラベルに前記結合距離画像情報が関連付けられている場合に、当該結合距離画像情報を、結合した移動体の結合状態における同一の距離画像情報に更新する、
画像処理方法。

【請求項5】

請求項４に記載の画像処理方法であって、
複数の移動体が結合した結合移動体に他の移動体が結合したと判断した場合に、前記結合移動体に含まれる全ての移動体の前記ラベルに関連付けられている前記結合距離画像情報を、結合した移動体の結合状態における同一の距離画像情報に更新する、
画像処理方法。

【請求項6】

請求項１乃至５のいずれかに記載の画像処理方法であって、
前記距離画像に基づいて、前記結合距離画像情報が関連付けられている移動体が複数の移動体に分離したと判断した場合に、分離前の移動体に関連付けられている前記単独距離画像情報と、分離後の移動体の距離画像情報と、に基づいて、分離後の移動体に属する単独移動体を選定する、
画像処理方法。

【請求項7】

請求項６に記載の画像処理方法であって、
分離後の移動体が複数の単独移動体からなる結合移動体である場合に、分離した移動体に属する単独移動体のそれぞれの前記ラベルに関連付けられている前記結合距離画像情報を、分離後の結合移動体の距離画像情報に更新する、
画像処理方法。

【請求項8】

請求項６又は７に記載の画像処理方法であって、
分離前の移動体に関連付けられている前記単独距離画像情報が分離後の一の移動体の距離画像情報に対応する場合に、当該一の移動体に分離前の移動体の前記ラベルと前記単独距離画像情報とを関連付け、当該ラベルに関連付けられている前記結合距離画像情報を破棄する、
画像処理方法。

【請求項9】

請求項１乃至８のいずれかに記載の画像処理方法であって、
前記距離画像に基づいて、前記結合距離画像情報が関連付けられていない移動体が複数の移動体に分離したと判断した場合に、分離前の移動体に関連付けられている前記単独距離画像情報が分離後の一の移動体の距離画像情報に対応する場合に、当該一の移動体に分離前の移動体の前記ラベルと前記単独距離画像情報とを関連付け、分離後の他の移動体に新たな前記ラベルを付与して当該ラベルに対して当該他の移動体の距離画像情報を新たな前記単独距離画像情報として関連付ける、
画像処理方法。

【請求項10】

請求項１乃至９のいずれかに記載の画像処理方法であって、
移動体の前記距離画像情報は、前記距離画像から検出できる移動体の重心位置、高さ、体積の少なくとも１つの情報を含む、
画像処理方法。

【請求項11】

距離画像に対して、移動体を検出してラベルを付与すると共に、当該ラベルに対して移動体の距離画像情報である単独距離画像情報を関連付ける手段と、
前記距離画像に基づいて所定の移動体が他の移動体と結合したと判断した場合に、所定の移動体の前記ラベルに、前記単独距離画像情報を関連付けたまま、結合した移動体の結合状態における距離画像情報を結合距離画像情報として新たに関連付ける手段と、
を備えた画像処理装置。

【請求項12】

情報処理装置に、
距離画像に対して、移動体を検出してラベルを付与すると共に、当該ラベルに対して移動体の距離画像情報である単独距離画像情報を関連付け、
前記距離画像に基づいて所定の移動体が他の移動体と結合したと判断した場合に、所定の移動体の前記ラベルに、前記単独距離画像情報を関連付けたまま、結合した移動体の結合状態における距離画像情報を結合距離画像情報として新たに関連付ける、
処理を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、距離画像から移動体を検出する処理を行う画像処理方法及び画像処理装置に関する。

【背景技術】

【0002】

近年、高齢者の人口が増加し、介護の需要が高まっている。一方で、介護には、多くの介護者が必要となり、介護者の作業負担や人件費の増加という問題が生じる。そこで、特許文献１に記載のような、距離画像センサで撮影した距離画像を用いて、被介護者といった人物を監視する監視システムが開発されている。

【0003】

特許文献１に開示の監視システムでは、距離画像からベッドの位置を抽出し、また、人物の領域を検出し、人物の動作を判別している。具体的に、ベッドの位置は、ベッドの長手方向及び短手方向における高さの度数分布から求めている。また、人物の動作は、所定の高さ位置に対する物体の位置検出することで、臥床の状態、上半身を起こした状態、起立の状態、といった人の動作を判別している。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１２－０３００４２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ここで、上述したように距離画像から人物の動作を検出する場合には、人物自体を移動体として追従する必要がある。ところが、人物といった移動体を追従する際には、複数の人物が重なったり離れたりすることで、追従している移動体の結合と分離が繰り返されることがある。このように移動体が結合や分離を繰り返すと、移動体の追従が困難となり、移動体の動作を精度よく検出することが困難となる。

【0006】

このため、本発明の目的は、上述した課題である、距離画像から移動体の追従が困難となることによって精度よく移動体の動作を検出することができない、ことを解決することにある。

【課題を解決するための手段】

【0007】

本発明の一形態である画像処理方法は、
距離画像に対して、移動体を検出してラベルを付与すると共に、当該ラベルに対して移動体の距離画像情報である単独距離画像情報を関連付け、
前記距離画像に基づいて所定の移動体が他の移動体と結合したと判断した場合に、所定の移動体の前記ラベルに、前記単独距離画像情報を関連付けたまま、結合した移動体の結合状態における距離画像情報を結合距離画像情報として新たに関連付ける、
という構成をとる。

【0008】

また、上記画像処理方法では、
複数の移動体が結合したと判断した場合に、当該結合した移動体のそれぞれの前記ラベルに、結合した移動体の結合状態における同一の前記結合距離画像情報を新たに関連付ける、
という構成をとる。

【0009】

また、上記画像処理方法では、
複数の移動体が結合したと判断した場合に、当該結合した移動体のそれぞれの前記ラベルに関連付けられている前記単独距離画像情報を、結合した時における各移動体の距離画像情報に更新する、
という構成をとる。

【0010】

また、上記画像処理方法では、
複数の移動体が結合したと判断した場合であって、当該結合した移動体の前記ラベルに前記結合距離画像情報が関連付けられている場合に、当該結合距離画像情報を、結合した移動体の結合状態における同一の距離画像情報に更新する、
という構成をとる。

【0011】

また、上記画像処理方法では、
複数の移動体が結合した結合移動体に他の移動体が結合したと判断した場合に、前記結合移動体に含まれる全ての移動体の前記ラベルに関連付けられている前記結合距離画像情報を、結合した移動体の結合状態における同一の距離画像情報に更新する、
という構成をとる。

【0012】

また、上記画像処理方法では、
前記距離画像に基づいて、前記結合距離画像情報が関連付けられている移動体が複数の移動体に分離したと判断した場合に、分離前の移動体に関連付けられている前記単独距離画像情報と、分離後の移動体の距離画像情報と、に基づいて、分離後の移動体に属する単独移動体を選定する、
という構成をとる。

【0013】

また、上記画像処理方法では、
分離後の移動体が複数の単独移動体からなる結合移動体である場合に、分離した移動体に属する単独移動体のそれぞれの前記ラベルに関連付けられている前記結合距離画像情報を、分離後の結合移動体の距離画像情報に更新する、
という構成をとる。

【0014】

また、上記画像処理方法では、
分離前の移動体に関連付けられている前記単独距離画像情報が分離後の一の移動体の距離画像情報に対応する場合に、当該一の移動体に分離前の移動体の前記ラベルと前記単独距離画像情報とを関連付け、当該ラベルに関連付けられている前記結合距離画像情報を破棄する、
という構成をとる。

【0015】

また、上記画像処理方法では、
前記距離画像に基づいて、前記結合距離画像情報が関連付けられていない移動体が複数の移動体に分離したと判断した場合に、分離前の移動体に関連付けられている前記単独距離画像情報が分離後の一の移動体の距離画像情報に対応する場合に、当該一の移動体に分離前の移動体の前記ラベルと前記単独距離画像情報とを関連付け、分離後の他の移動体に新たな前記ラベルを付与して当該ラベルに対して当該他の移動体の距離画像情報を新たな前記単独距離画像情報として関連付ける、
という構成をとる。

【0016】

また、上記画像処理方法では、
移動体の前記距離画像情報は、前記距離画像から検出できる移動体の重心位置、高さ、体積の少なくとも１つの情報を含む、
という構成をとる。

【0017】

また、本発明の一形態である画像処理装置は、
距離画像に対して、移動体を検出してラベルを付与すると共に、当該ラベルに対して移動体の距離画像情報である単独距離画像情報を関連付ける手段と、
前記距離画像に基づいて所定の移動体が他の移動体と結合したと判断した場合に、所定の移動体の前記ラベルに、前記単独距離画像情報を関連付けたまま、結合した移動体の結合状態における距離画像情報を結合距離画像情報として新たに関連付ける手段と、
を備えた、
という構成をとる。

【0018】

また、本発明の一形態であるプログラムは、
情報処理装置に、
距離画像に対して、移動体を検出してラベルを付与すると共に、当該ラベルに対して移動体の距離画像情報である単独距離画像情報を関連付け、
前記距離画像に基づいて所定の移動体が他の移動体と結合したと判断した場合に、所定の移動体の前記ラベルに、前記単独距離画像情報を関連付けたまま、結合した移動体の結合状態における距離画像情報を結合距離画像情報として新たに関連付ける、
処理を実行させる、
という構成をとる。

【発明の効果】

【0019】

本発明は、以上のように構成されることにより、距離画像から移動体の追従が容易となり、移動体の動作を精度よく検出するができる。

【図面の簡単な説明】

【0020】

【図1】本発明の実施形態１における情報処理システムの構成を示す概略図である。

【図2】図１に開示した監視サーバの構成を示すブロック図である。

【図3】図１に開示した監視サーバによる距離画像の処理の様子を示す図である。

【図4】図１に開示した監視サーバによる距離画像の処理の様子を示す図である。

【図5】図１に開示した監視サーバによる距離画像の処理の様子を示す図である。

【図6】図１に開示した監視サーバによる距離画像の処理の様子を示す図である。

【図7】図１に開示した監視サーバによる距離画像の処理の様子を示す図である。

【図8】図１に開示した監視サーバによる距離画像の処理の様子を示す図である。

【図9】図１に開示した監視サーバの処理動作を示すフローチャートである。

【図10】図１に開示した監視サーバの処理動作を示すフローチャートである。

【発明を実施するための形態】

【0021】

＜実施形態１＞
本発明の第１の実施形態を、図１乃至図１０を参照して説明する。図１乃至図２は、情報処理システムの構成を示す図である。図３乃至図１０は、情報処理システムの処理動作を説明するための図である。以下、各図を参照して、情報処理システムの構成及び動作を説明する。

【0022】

本発明における情報処理システムは、被介護者や被監視者といった監視対象となる人物Ｐの行動を監視するための情報処理システムである。そして、情報処理システムは、監視サーバ１０と、距離画像カメラＶと、監視端末３０と、携帯端末４０と、を備えて構成されている。

【0023】

上記距離画像カメラＶ（撮影装置）は、監視対象となる人物Ｐが横たわるベッドＷが配置された領域である部屋Ｒ１（第一領域）内の距離画像を撮影可能な位置に配置されている。例えば、距離画像カメラＶは、医療施設や介護施設、住宅などの部屋Ｒ１の天井に設けられ、部屋Ｒ１の大部分が画像内に収まる位置に配置されている。なお、距離画像カメラＶは、必ずしも天井に設置されていることに限定されず、壁やスタンドなど、いかなる場所に設置されていてもよい。但し、部屋Ｒ１に設置されるベッドＷは、布団などのいかなる寝床であってもよい。

【0024】

距離画像カメラＶは、画素値を距離値とした距離画像を撮影するものである。例えば、距離画像カメラＶは、赤外線レーザをターゲットに投射した際の往復の時間から距離を計測する形式のものであってもよく、いかなる方式の撮影装置であってもよい。そして、距離画像カメラＶは、一定の時間間隔で、あるいは、撮影指示を受けたタイミングで、距離画像を撮影し、かかる距離画像を後述する監視サーバ１０に送信する機能を有する。なお、後述する監視サーバ１０の機能については、上記距離画像カメラＶに搭載することもできる。つまり、距離画像カメラＶに搭載された情報処理装置にて監視サーバ１０の機能を実現してもよい。

【0025】

上記監視端末３０（監視装置）は、被介護者である人物Ｐの介護を行う介護者や、監視する監視者であるユーザＵが操作する情報処理端末である。監視端末３０は、介護者などのユーザＵが在籍する監視ルームＲ２など、人物Ｐの部屋Ｒ１（第一領域）とは離れた場所（第二領域）に設置されており、複数のユーザＵによって操作可能である。監視端末３０は、表示画面に距離画像を表示すると共に、監視に関する操作指示を入力可能とし、かかる操作指示を監視サーバ１０に送信したり、監視サーバ１０から発せられる人物Ｐの状態の通知を受信して、ユーザＵに報知する機能を有する。

【0026】

上記携帯端末４０（監視装置）は、上記ユーザＵが保持して操作するスマートフォンなどの情報処理端末である。携帯端末４０は、監視サーバ１０と無線通信を介して接続される通信可能であり、介護者などのユーザＵが在籍する監視ルームＲ２や他の被介護者の部屋など、人物Ｐの部屋Ｒ１（第一領域）とは離れた場所（第二領域）に位置し、複数のユーザＵによって操作可能である。携帯端末４０は、表示画面に距離画像を表示すると共に、監視に関する操作指示を入力可能とし、かかる操作指示を監視サーバ１０に送信したり、監視サーバ１０から発せられる人物Ｐの状態の通知を受信して、ユーザＵに報知する機能を有する。

【0027】

上記監視サーバ１０（画像処理装置）は、距離画像カメラＶからの距離画像を用いて人物Ｐの部屋における当該人物Ｐの特定の動作状態を検知する機能を主に有する。そして、監視サーバ１０は、演算装置及び記憶装置を有する１台又は複数台の情報処理装置で構成される。具体的に、監視サーバ１０は、図２に示すように、演算装置がプログラムを実行することで構築された、画像取得部１１、動作検知部１２、通知部１３、を備えている。また、監視サーバ１０は、記憶装置に形成された、判定基準記憶部１６、追従情報記憶部１７を備えている。以下、各構成について詳述するが、併せて、監視サーバ１０による距離画像の処理の様子を図３乃至図８を参照して説明すると共に、監視サーバ１０の動作を図９及び図１０のフローチャートを参照して説明する。なお、監視サーバ１０の機能については、上記距離画像カメラＶに搭載することもできる。つまり、距離画像カメラＶに搭載された情報処理装置にて監視サーバ１０の機能を実現してもよい。

【0028】

上記画像取得部１１は、上述したように距離画像カメラＶにて撮影されたベッドＷを含む部屋Ｒ１内の距離画像を、当該距離画像カメラＶから取得する。そして、取得した距離画像を動作検知部１２に渡すことで、当該距離画像は後述する処理に用いられる。なお、画像取得部１１は、常に取得した距離画像をそのまま監視端末３０や携帯端末４０に送信し、監視端末３０や携帯端末４０の表示装置に表示するよう出力してもよい。

【0029】

上記動作検知部１２（追従処理部）は、距離画像内における人物Ｐを検出する処理を行う。具体的に、動作検知部１２は、まず、時間的に前後する距離画像の差分を用いて、かかる差分が所定値よりも小さい箇所を背景部分として検出する（図９のステップＳ１）。例えば、部屋Ｒ１の距離画像において、床面や壁面、ベッドＷといった固定物が映る箇所は、背景部分として検出される。このとき、動作検知部１２は、検出した背景部分から、ベッドＷ（寝床）の領域であるベッド領域を検出する。例えば、動作検知部１２は、距離画像から、所定の高さ位置に水平方向に所定の広さをもって広がる平面を検出し、かかる平面のうち、予め記憶しているベッド情報に対応する平面領域をベッド領域として検出する。例えば、ベッド情報は判定基準記憶部１６に記憶されており、当該ベッド情報には、ベッドの広さや矩形である外形の長辺及び短辺の長さ、床面からの高さ、といった情報が含まれる。そして、動作検知部１２は、特に、ベッド領域の外形を形成する端であるエッジ部分を検出する。例えば、動作検知部１２は、ベッドＷの外形付近に位置する箇所であって、近隣する画素同士の距離値が急激に変化する直線形状の箇所を、エッジ部分として検出する。

【0030】

そして、動作検知部１２は、新たに撮影された距離画像の各画素において背景部分と距離の差分を算出し、かかる差分が所定値よりも大きい箇所に移動する物体（移動体）が存在することを検出する（図９のステップＳ２）。そして、動作検知部１２は、さらに、検出した物体の形状や大きさ等に基づいて人物Ｐを検出して、その後に順次撮影される距離画像において人物Ｐを追従する（図９のステップＳ３）。例えば、動作検知部１２は、検出した物体の形状（一例として、アスペクト比）や、物体間の位置関係や体積比（面積比）などから、頭部と胴体部との対といった複数の人体部位からなる人物Ｐを検出する。そして、例えば、動作検知部１２は、新たな距離画像に対して、人体部位の形状をパターンマッチングしたり、部位の特徴点のオプティカルフローなども用いて、同一と判断できる人物Ｐの部位（頭部や胴体部など）を追従する。このとき、動作検知部１２は、新たな距離画像に対して、直前に検出した人物Ｐの位置の近隣に存在する物体を検出して、パターンマッチングなどを用いて追従する。

【0031】

ここで、図３乃至図８を参照して、本実施形態における動作検知部１２による追従処理の具体例を説明する。なお、以下では、動作検知部１２は、図３の符号Ｔに示すように、人物Ｐの頭部及び胴体部である部位を組み合わせて１つの移動体Ｔとして認識し、かかる移動体Ｔを追従対象として追従することとしている。但し、動作検知部１２は、人物Ｐの頭部や胴体部といった各部位のみを追従対象である移動体Ｔとして追従してもよい。そして、本実施形態では、特に、距離画像上で複数の移動体Ｔが重なって１つの移動体Ｔに結合したものとして認識される場合と、距離画像上で１つとして認識されていた移動体Ｔが複数に分離したものとして認識される場合を説明する。

【0032】

まず、図４を参照して、それぞれ単独な２つの移動体Ｔが重なって１つの移動体Ｔに結合されたものとして認識される場合を説明する。図４の上側左図では、動作検知部１２により、移動体Ａ（所定の移動体）と移動体Ｂ（他の移動体）の２つの移動体が追従されていることとする（図９のステップ３）。このとき、動作検知部１２は、各移動体Ａ，Ｂにそれぞれ異なるラベルを付与し、検出された各移動体Ａ，Ｂの距離画像に基づく距離画像情報をそれぞれ算出する。例えば、各移動体Ａ，Ｂの距離画像情報としては、各移動体Ａ，Ｂ部分として抽出された距離画像を基に算出された、各移動体Ａ，Ｂの重心位置、高さ、体積、が算出される。但し、各移動体Ａ，Ｂの距離画像情報は、重心位置、高さ、体積、のうち、少なくとも１つの情報であってもよく、各移動体Ａ，Ｂ部分として抽出された距離画像から算出されるいかなる値であってもよい。そして、動作検知部１２は、各移動体Ａ，Ｂを追従する度に、ラベルに距離画像情報を関連付けて追従情報記憶部１７に記憶する。このとき、ラベルに関連付けられる距離画像情報は、単独距離画像情報として記憶される。図４の上側左図の例では、移動体Ａの情報として、ラベルＡ、単独距離画像情報（重心位置Ａ、高さＡ、体積Ａ）が関連付けられて記憶され、移動体Ｂの情報として、ラベルＢ、単独距離画像情報（重心位置Ｂ、高さＢ、体積Ｂ）が関連付けられて記憶される。なお、同様に、図４の下側左図に示すように、移動体Ｃと移動体Ｄについても、それぞれラベルと単独距離画像情報が関連付けられて記憶されることとする。

【0033】

その後、移動体Ａと移動体Ｂを追従し、図４の上側右図に示すように、移動体Ａと移動体Ｂとの距離ｄが近づき、移動体Ａと移動体Ｂとが結合して結合移動体Ｅになったと判断されたとする。このとき、動作検知部１２は、例えば、抽出した移動体Ａ，Ｂ間の距離ｄに基づいて、移動体が分離しているか、結合しているかを判断する（図９のステップＳ４）。一例として、動作検知部１２は、移動体Ａ，Ｂ同士の距離ｄが５０ｃｍ以下に近づいた場合には、これらの移動体Ａ，Ｂが１つに結合したと判断する（図９のステップＳ４で「結合」）。なお、動作検知部１２による移動体が結合したか否かの判断は、いかなる判断基準で行われてもよく、当該判断基準は、判定基準記憶部１６に記憶されていることとする。

【0034】

そして、動作検知部１２は、１つに結合した結合移動体Ｅを構成する各移動体Ａ，Ｂに、それぞれ結合移動体Ｅの距離画像情報である結合距離画像情報を新たに関連付ける処理を行う。具体的に、動作検知部１２は、まず、結合移動体Ｅに結合された各移動体Ａ，Ｂのラベルに、結合距離画像情報が関連付けられているかを調べる。すると、各移動体Ａ，Ｂにはまだ結合距離画像情報が関連付けられていないため、結合前の各移動体Ａ，Ｂは単独移動体であると判断する（図９のステップＳ５でＹｅｓ）。そして、動作検知部１２は、移動体Ａ，Ｂの結合状態における結合移動体Ｅの距離画像に基づく距離画像情報を算出し、かかる距離画像情報を結合距離画像情報として、各移動体Ａ，Ｂの各ラベルにそれぞれ関連付ける（図９のステップＳ６）。図４の上側右図の例では、結合移動体Ｅを構成する各移動体Ａ，Ｂの各ラベルＡ，Ｂに、それぞれ結合移動体Ｅの距離画像情報として、結合移動体Ｅ部分の距離画像から重心位置Ｅ、高さＥ、体積Ｅを算出し、各ラベルＡ，Ｂそれぞれに同一の結合距離画像情報（重心位置Ｅ、高さＥ、体積Ｅ）を関連付けて、追従情報記憶部１７に記憶する。

【0035】

また、動作検知部１２は、結合移動体Ｅに結合される前の各移動体Ａ，Ｂが単独移動体であるため、各ラベルＡ，Ｂに関連付けられている単独距離画像情報を、結合したときにおける各移動体Ａ，Ｂの距離画像情報に更新する（図９のステップＳ７）。つまり、動作検知部１２は、各移動体Ａ，Ｂの各ラベルＡ，Ｂに関連付けられている単独距離画像情報を、関連付けられた状態のままとし、情報の内容を更新する。図４の上側右図の例では、結合したときの移動体Ａの距離画像情報が（重心位置Ａ’、高さＡ’、体積Ａ’）と算出されると、かかる距離画像情報に、ラベルＡに関連付けられている単独距離画像情報が更新されることとなる。また、移動体Ｂについても同様に、単独距離画像情報が、結合したときの移動体Ｂの距離画像情報（重心位置Ｂ’、高さＢ’、体積Ｂ’）に更新される。なお、動作検知部１２は、結合直前の各移動体Ａ，Ｂの距離画像情報を、単独距離画像情報として更新してもよい。

【0036】

このようにして、図４の上側に示すように２つの単独移動体Ａ、Ｂが１つの結合移動体Ｅに結合した場合に、各移動体Ａ，Ｂの各ラベルＡ，Ｂに、それぞれ結合移動体Ｅの距離画像情報（重心位置Ｅ、高さＥ、体積Ｅ）が新たな結合距離画像情報として関連付けられる。また、各移動体Ａ，ＢのラベルＡ，Ｂそれぞれにもともと関連付けられていた単独距離画像情報は、結合時における各移動体Ａ，Ｂの距離画像情報にそれぞれ更新される。なお、図４の下側に示す２つの単独移動体Ｃ，Ｄが１つの結合移動体Ｆに結合した場合も同様に、各移動体Ｃ，Ｄの各ラベルＣ，Ｄに、新たな結合距離画像情報を関連付け、もともと関連付けられていた単独距離画像情報を更新する。

【0037】

次に、図５を参照して、２つの結合移動体Ｅ，Ｆが１つの結合移動体Ｇに結合されたものとして認識される場合を説明する。図５の左図では、動作検知部１２により、結合移動体Ｅと結合移動体Ｆの２つの結合移動体が追従されていることとする（図９のステップ３）。このとき、動作検知部１２は、各結合移動体Ｅ，Ｆを追従する度に、各結合移動体Ｅ，Ｆの距離画像に基づく距離画像情報をそれぞれ算出し、各結合移動体Ｅ，Ｆに属する各単独移動体Ａ，Ｂ，Ｃ，Ｄの各ラベルＡ，Ｂ，Ｃ，Ｄにそれぞれ関連付けられている結合距離画像情報を、対応する結合移動体Ｅ，Ｆについて算出した距離画像情報に更新する。例えば、動作検知部１２は、結合移動体Ｅについては、これに属する各移動体Ａ，Ｂの各ラベルＡ，Ｂにそれぞれ関連付けられている結合距離画像情報（重心位置Ｅ、高さＥ、体積Ｅ）を、結合移動体Ｅを追従する度に当該結合移動体Ｅの距離画像情報に更新する。

【0038】

その後、図５の右図に示すように、結合移動体Ｅと結合移動体Ｆとの距離ｄが近づき、結合移動体Ｅと結合移動体Ｆとが結合して新たな結合移動体Ｇになったと判断されたとする。このとき、動作検知部１２は、例えば、抽出した結合移動体Ｅ，Ｆ間の距離ｄに基づいて、移動体同士が分離しているか、結合しているかを判断する（図９のステップＳ４）。ここでは、結合移動体Ｅ，Ｆ同士の距離ｄが閾値以下に近づいたため、これらが１つに結合したと判断する（図９のステップＳ４で「結合」）。

【0039】

すると、動作検知部１２は、１つに結合した結合移動体Ｇを構成する各単独移動体Ａ，Ｂ，Ｃ，Ｄにそれぞれ関連付けられている結合距離画像情報を更新する処理を行う。具体的に、動作検知部１２は、まず、結合移動体Ｇに結合された各単独移動体Ａ，Ｂ，Ｃ，Ｄのラベルに、結合距離画像情報が関連付けられているかを調べる。すると、各単独移動体Ａ，Ｂ，Ｃ，Ｄに既に結合距離画像情報が関連付けられているため、結合前の各結合移動体Ｅ，Ｆはそれぞれ結合移動体であると判断する（図９のステップＳ５でＮｏ）。そして、動作検知部１２は、結合状態における結合移動体Ｇの距離画像に基づく距離画像情報を算出し、かかる距離画像情報を、各移動体Ａ，Ｂ，Ｃ，Ｄの各ラベルＡ，Ｂ，Ｃ，Ｄに関連付けられている結合距離画像情報として更新する（図９のステップＳ８）。図５の右図の例では、結合移動体Ｇ部分の距離画像から重心位置Ｇ、高さＧ、体積Ｇを算出し、結合移動体Ｇを構成する各単独移動体Ａ，Ｂ，Ｃ，Ｄの各ラベルＡ，Ｂ，Ｃ，Ｄに関連付けられている結合距離画像情報を、それぞれ結合移動体Ｇの距離画像情報に更新する。つまり、各ラベルＡ，Ｂ，Ｃ，Ｄ（但し、図５にはラベルＣ，Ｄを省略）それぞれに関連付けられている結合距離画像情報を、同一の距離画像情報（重心位置Ｅ、高さＥ、体積Ｅ）に更新する。なお、ここでは、各単独移動体Ａ，Ｂ，Ｃ，Ｄの各ラベルＡ，Ｂ，Ｃ，Ｄに関連付けられている単独距離画像情報は更新されない。

【0040】

このように、動作検知部１２は、単独移動体Ａ，Ｂ，Ｃ，Ｄが結合を繰り返す場合であっても、各単独移動体Ａ，Ｂ，Ｃ，Ｄの各ラベルに、それぞれが属する結合移動体の距離画像情報を関連付けて更新するだけで、単独移動体と結合移動体とを区別して追従することができる。

【0041】

なお、上記では、２つの移動体が結合する場合を例示しているが、３つ以上の移動体が同時に結合する場合にも、上述と同様の処理が適用可能である。例えば、３つの移動体が結合した場合には、結合移動体に属する全ての単独移動体のラベルに、結合移動体の距離画像情報を新たに関連付けるか更新すればよい。

【0042】

次に、図６及び図７を参照して、上述したように１つの移動体として結合されたと認識された結合移動体が、再度、２つの移動体に分離したと認識される場合を説明する。図６の左図では、動作検知部１２により、上述した結合移動体Ｇである１つの移動体が追従されていることとする（図９のステップ３）。このとき、結合移動体Ｇは、４つの単独移動体Ａ，Ｂ，Ｃ，Ｄで構成されており、各単独移動体Ａ，Ｂ，Ｃ，Ｄの各ラベルＡ，Ｂ，Ｃ，Ｄに、それぞれ結合移動体Ｇの距離画像情報（重心位置Ｇ、高さＧ、体積Ｇ）が関連付けられている。なお、各単独移動体Ａ，Ｂ，Ｃ，Ｄの各ラベルＡ，Ｂ，Ｃ，Ｄには、移動体自身の単独距離画像情報も関連付けられている。

【0043】

その後、図６の右図に示すように、結合移動体Ｇが、相互に距離ｄが離れた移動体Ｈ及び移動体Ｉに分離したと判断されたとする。例えば、動作検知部１２は、個別の物体として検出した移動体Ｈ，Ｉ間の距離ｄに基づいて、移動体が分離しているか、結合しているかを判断する（図９のステップＳ４）。一例として、動作検知部１２は、移動体Ｈ，Ｉ同士の距離ｄが５０ｃｍを超えた場合には、結合移動体Ｇが２つの移動体Ｈ，Ｉに分離したと判断する（図９のステップＳ４で「分離」）。但し、動作検知部１２による移動体が分離したか否かの判断は、いかなる判断基準で行われてもよく、当該判断基準は、判定基準記憶部１６に記憶されている。

【0044】

その後、図１０のフローチャートに示す分離処理に進む。動作検知部１２は、分離した各移動体Ｈ，Ｉの距離画像に基づく距離画像情報をそれぞれ算出する。この場合、移動体Ｈの距離画像情報（重心位置Ｈ、高さＨ、体積Ｈ）と、移動体Ｉの距離画像情報（重心位置Ｉ、高さＩ、体積Ｉ）と、を算出する。そして、動作検知部１２は、分離した各移動体Ｈ，Ｉの距離画像情報と、分離前の結合距離画像Ｇを構成する各単独移動体Ａ，Ｂ，Ｃ，Ｄの単独距離画像情報と、のマッチングを行う（図１０のステップＳ１１）。具体的に、動作検知部１２は、各単独移動体Ａ，Ｂ，Ｃ，Ｄの単独距離画像情報と、分離した各移動体Ｈ，Ｉの距離画像情報と、の比較を行い、それぞれが相互に対応するか否かを調べる。さらに、動作検知部１２は、複数の単独移動体Ａ，Ｂ，Ｃ，Ｄの組み合わせと、各移動体Ｈ，Ｉと、の比較も行い、複数の単独移動体の組み合わせが、各移動体Ｈ，Ｉに対応するかも調べる。このとき、動作検知部１２は、各移動体の距離画像情報である重心位置、高さ、体積を総合的に比較することで、移動体同士が対応するか否かを調べる。例えば、単独移動体Ａの単独距離画像情報（重心位置Ａ’、高さＡ’、体積Ａ’）と、分離した移動体Ｈから算出された距離画像情報（重心位置Ｈ、高さＨ、体積Ｈ）と、を総合的に比較して、相互に対応するか、つまり、マッチするかを調べる。あるいは、２つの単独移動体Ａ，Ｂの単独距離画像情報（重心位置Ａ’、高さＡ’、体積Ａ’）（重心位置Ｂ’、高さＢ’、体積Ｂ’）の組み合わせと、分離した移動体Ｈから算出された距離画像情報（重心位置Ｈ、高さＨ、体積Ｈ）と、を総合的に比較して、相互に対応するかを調べる。一例として、距離画像情報の各要素（重心位置、高さ、体積）にそれぞれ重み付けを行い、これらがマッチする度合いをスコア化し、スコアが閾値を超えた場合に、両移動体が相互に対応するものとして判断する。これにより、分離した各移動体Ｈ，Ｉにそれぞれ属する単独移動体Ａ，Ｂ，Ｃ，Ｄを選定する（図１０のステップＳ１２）。

【0045】

ここで、図６の例においては、上述した距離画像情報の比較により、分離した移動体Ｈは、単独移動体Ａ，Ｂの組み合わせが属する結合移動体であると判断され、分離した移動体Ｉは、単独移動体Ｃ，Ｄの組み合わせが属する結合移動体であると判断されたとする（図１０のステップＳ１３でＮｏ）。この場合、動作検知部１２は、分離後の各結合移動体Ｈ，Ｉの算出した距離画像情報を、それに属する単独移動体のラベルに関連付けられている結合距離画像情報として更新する（図１０のステップＳ８）。例えば、結合移動体Ｈについては、これに属する各単独移動体Ａ，Ｂの各ラベルＡ，Ｂに関連付けられている結合距離画像情報を、それぞれ分離後の移動体Ｈの距離画像情報（重心位置Ｈ、高さＨ、体積Ｈ）に更新する。なお、図示しないが、移動体Ｉについても同様に、これに属する各単独移動体Ｃ，Ｄの各ラベルＣ，Ｄに関連付けられている結合距離画像情報を、それぞれ分離後の移動体Ｉの距離画像情報（重心位置Ｉ、高さＩ、体積Ｉ）に更新する。

【0046】

次に、図７に示すように、結合移動体Ｈが、相互に距離ｄが離れた移動体Ａ及び移動体Ｂに分離した場合を説明する。動作検知部１２は、分離した各移動体Ａ，Ｂの距離画像に基づく距離画像情報をそれぞれ算出し、分離前の結合距離画像Ｈを構成する各単独移動体Ａ，Ｂの単独距離画像情報と、のマッチングを行う（図１０のステップＳ１１）。ここでは、分離した移動体Ａ，Ｂには、それぞれ単独移動体Ａ，Ｂが対応すると選定されたとする（図１０のステップＳ１２）。すると、分離後の各移動体Ａ，Ｂは、単独移動体であり（図１０のステップＳ１３でＹｅｓ）、分離前の移動体Ｈに属する単独移動体から選定されたものであることとなる（図１０のステップＳ１４でＹｅｓ）。この場合、動作検知部１２は、分離後の各単独移動体Ａ，Ｂに対して、分離前の単独移動体Ａ，Ｂに関連付けられているラベルＡ，Ｂと単独距離画像情報とを関連付けて引き継ぐ。このとき、動作検知部１２は、分離後の距離画像に基づいて各単独移動体Ａ，Ｂの距離画像情報を算出し、かかる距離画像情報を各移動体の単独距離画像情報として更新する（図１０のステップＳ１５）。さらに、動作検知部１２は、分離前に各単独移動体Ａ，Ｂの各ラベルＡ，Ｂに関連付けられていた結合距離画像情報を破棄する。これにより、例えば、図７に示すように、分離後の単独移動体Ａには、分離前の単独移動体ＡのラベルＡと単独距離画像情報が引き継がれつつ、当該単独距離画像情報は分離後の単独移動体Ａの距離画像情報（重心位置Ａ、高さＡ、体積Ａ）に更新され、結合距離画像情報は破棄される。

【0047】

このようにして、図７に示すように結合移動体Ｈから分離した単独移動体Ａ，Ｂは、元の単独移動体Ａ，Ｂと同一のラベルＡ，Ｂと距離画像情報を引き継ぐことができる。その結果、一度は結合したものの、元の単独移動体Ａ，Ｂとして追従を継続することができる。

【0048】

なお、上記では、結合移動体Ｈが２つの単独移動体Ａ，Ｂの結合によるものであり、かかる２つの単独移動体Ａ，Ｂが結合移動体Ｈから分離する場合を例示したが、結合移動体が３つ以上の移動体の結合によるものであり、かかる３つ以上の移動体が結合移動体から分離する場合にも、上述と同様の処理が適用可能である。その場合、例えば、分離後の３つ以上の単独移動体のそれぞれに、分離前の各単独移動体の各ラベルと単独距離画像情報とが引き継がれることとなる。

【0049】

次に、図８を参照して、結合移動体ではない１つの移動体Ａが２つの移動体Ａ，Ｂに分離する場合を説明する。図８の左図では、動作検知部１２により、１つの移動体Ａが追従されていることとする（図９のステップ３）。このとき移動体Ａには、当該移動体ＡのラベルＡと単独距離画像情報（重心位置Ａ、高さＡ、体積Ａ）が関連付けられており、結合距離画像情報は関連付けられていないこととする。

【0050】

その後、図８の右図に示すように、移動体Ａが、相互に距離ｄが離れた移動体Ａ及び移動体Ｂに分離したと判断されたとする。例えば、動作検知部１２は、個別の物体として検出した移動体Ａ，Ｂ間の距離ｄに基づいて、移動体が分離しているか、結合しているかを判断する（図９のステップＳ４）。一例として、動作検知部１２は、移動体Ａ，Ｂ同士の距離ｄが５０ｃｍを超えた場合には、移動体Ａが２つの移動体Ａ，Ｂに分離したと判断する（図９のステップＳ４で「分離」）。

【0051】

そして、動作検知部１２は、分離した各移動体Ａ，Ｂの距離画像に基づく距離画像情報をそれぞれ算出し、分離前の単独移動体Ａの単独距離画像情報と、のマッチングを行う（図１０のステップＳ１１）。ここでは、分離した移動体Ａが、分離前の単独移動体Ａとして選定されたとする（図１０のステップＳ１３でＹｅｓ，ステップＳ１４でＹｅｓ）。この場合、動作検知部１２は、分離後の単独移動体Ａに対して、分離前の単独移動体Ａに関連付けられているラベルＡと単独距離画像情報とを関連付けて引き継ぎ、さらに、単独距離画像情報を更新する（図１０のステップＳ１５）。一方、分離した移動体Ｂは、分離前の移動体には結合距離画像情報が関連付けられていないため、単独移動体ではあるものの（図１０のステップＳ１３でＹｅｓ）、分離前の単独移動体として選定されていないため（図１０のステップＳ１４でＮｏ）、新規の単独移動体であると言える。このため、動作検知部１２は、移動体Ｂに対して、新たにラベルＢを付与し、その時の移動体Ｂの距離画像情報（重心位置Ｂ、高さＢ、体積Ｂ）を新たな単独距離画像情報としてラベルＢに関連付けて記憶する。

【0052】

このようにして、図８に示すように移動体Ａから分離した移動体Ａ，Ｂの一方には、分離前の移動体Ａと同一のラベルと単独距離画像情報を引き継ぐことができ、他方には新たなラベルＢと新たな単独距離画像情報を付与できる。その結果、分離した一方の移動体Ａの追従を継続することができ、他方の移動体Ｂについても追従を行うことができる。

【0053】

なお、上記では、１つの移動体Ａが２つの移動体Ａ，Ｂに分離する場合を例示したが、１つの移動体が３つ以上の移動体に分離する場合にも上述と同様の処理が適用可能である。その場合、例えば、分離後の１つの移動体に分離前の移動体のラベルと単独距離画像情報を引き継ぎ、残りの２つ以上の移動体のそれぞれには、分離前の移動体のラベルとは異なるラベルであり、分離した移動体間においてもそれぞれ異なるラベルを付与することとなる。

【0054】

その後、動作検知部１２は、追従した各移動体Ｔに対応する人物Ｐについて、当該人物Ｐの人体部位（頭部や胴体部など）の位置関係に基づいて、かかる人物Ｐの動作状態を検出する。一例として、動作検知部１２は、頭部から検出できる人物Ｐの高さと、胴体部から検出できる重心位置と、距離画像内のベッドＷと、の位置関係に基づいて、人物Ｐの動作状態を検出し、かかる動作状態が予め設定された特定の動作状態であるか否かを判定する。このとき、動作検知部１２は、例えば、人物ＰがベッドＷの境界に位置する状態や、人物ＰがベッドＷから離れてうずくまっている状態、人物ＰがベッドＷから離れて横たわっている状態、である場合には、人物Ｐの動作状態が異常と判断できる可能性のある特定の動作状態であると判定する。なお、上述したように人物Ｐの高さ、重心位置、ベッドＷなどとの位置関係に基づいて人物Ｐの動作状態が特定の動作状態であると判断する基準は、予め判定基準記憶部１６に記憶されていることとする。

【0055】

上記通知部１３は、上述したように動作検知部１２にて人物Ｐが特定の動作状態であると判定すると、ユーザＵに対して人物Ｐが異常状態である可能性がある旨の通知を行う。例えば、通知部１３は、監視端末３０や携帯端末４０に対して、人物Ｐが異常状態である可能性があることを通知する通知情報を送信する。但し、本発明で判定する特定の動作状態は、上述した状態に限定されず、他の動作状態を特定の動作状態として判定してもよい。例えば、人物ＰがベッドＷに立つ状態（立位状態）、人物ＰがベッドＷ上に座っている状態（起き上がり状態）、を異常と判断できる可能性のある特定の動作状態として判定してもよい。

【0056】

以上のように、本発明によると、距離画像上において人物が重なったり離れたりすることで追従している移動体が結合したり分離した場合であっても、各人物を適切に追従することができる。その結果、追従後の人物の動作をより精度よく検出することができる。

【0057】

なお、上述したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されている。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。

【0058】

以上、上記実施形態等を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。

【符号の説明】

【0059】

１０ 監視サーバ
１１ 画像取得部
１２ 動作検知部
１３ 通知部
１６ 判定基準記憶部
１７ 追従情報記憶部
３０ 監視端末
４０ 携帯端末
Ｐ 人物
Ｔ 移動体
Ｕ ユーザ
Ｖ 距離画像カメラ
Ｗ ベッド

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】