特許 7090328 情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-06-16

(45)【発行日】2022-06-24

(54)【発明の名称】情報処理装置

(51)【国際特許分類】

   G01B 11/00 20060101AFI20220617BHJP

   A61B 5/00 20060101ALI20220617BHJP

   H04N 7/18 20060101ALI20220617BHJP

【ＦＩ】

G01B11/00 H

A61B5/00 102C

H04N7/18 D

【請求項の数】 8

(21)【出願番号】P 2018114219

(22)【出願日】2018-06-15

(65)【公開番号】P2019219171

(43)【公開日】2019-12-26

【審査請求日】2021-06-02

(73)【特許権者】

【識別番号】517146563

【氏名又は名称】エイアイビューライフ株式会社

(74)【代理人】

【識別番号】100124811

【弁理士】

【氏名又は名称】馬場 資博

(74)【代理人】

【識別番号】100187724

【弁理士】

【氏名又は名称】唐鎌 睦

(72)【発明者】

【氏名】安川 徹

【審査官】九鬼 一慶

(56)【参考文献】

【文献】国際公開第２０１５／１４１２６８（ＷＯ，Ａ１）

【文献】特開２０１４－１８２４０９（ＪＰ，Ａ）

【文献】特開２０１８－０６７２０３（ＪＰ，Ａ）

【文献】特開２０１２－０３００４２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ １１／００

Ｈ０４Ｎ ７／１８

Ａ６１Ｂ ５／００

(57)【特許請求の範囲】

【請求項1】

距離画像を撮影する撮影装置の設置高さの入力を受け付ける入力手段と、
寝床を含む所定領域の距離画像を取得する距離画像取得手段と、
前記距離画像に基づいて所定領域内の床面部分を検出し、当該床面部分に基づいて前記撮影装置の新たな設置高さ又は設置角度を含む設置情報を算出する算出手段と、
を備え、
前記算出手段は、前記距離画像上の前記床面部分の検出した形状に基づいて、前記距離画像上の前記床面部分が平面を形成するよう前記設置情報を算出する、
情報処理装置。

【請求項2】

距離画像を撮影する撮影装置の設置高さの入力を受け付ける入力手段と、
寝床を含む所定領域の距離画像を取得する距離画像取得手段と、
前記距離画像に基づいて所定領域内の床面部分を検出し、当該床面部分に基づいて前記撮影装置の新たな設置高さ又は設置角度を含む設置情報を算出する算出手段と、
を備え、
前記算出手段は、前記距離画像上の前記床面部分の各箇所に対する距離に基づいて、前記撮影装置から前記床面部分の各箇所に対する距離の差異が小さくなるよう前記設置情報を算出する、
情報処理装置。

【請求項3】

請求項１乃至２のいずれかに記載の情報処理装置であって、
前記算出手段は、算出した前記設置情報に従って前記撮影装置を設置した場合において当該撮影装置にて検出されうる床面高さ位置と、当該床面高さ位置を基準とした前記寝床の高さ位置と、を前記距離画像上に表示して出力する、
情報処理装置。

【請求項4】

請求項１乃至２のいずれかに記載の情報処理装置であって、
前記算出手段は、算出した前記設置情報に従って前記撮影装置を設置した場合において当該撮影装置にて検出されうる床面高さ位置と、当該床面高さ位置を基準とした前記寝床の高さ位置と、当該寝床の高さ位置を基準としたさらに高い座位の高さ位置と、前記寝床の高さ位置を基準とした前記座位の高さ位置よりもさらに高い立位の高さ位置と、を前記距離画像上に表示して出力する、
情報処理装置。

【請求項5】

情報処理装置が、
距離画像を撮影する撮影装置の設置高さの入力を受け付け、
寝床を含む所定領域の距離画像を取得し、
前記距離画像に基づいて所定領域内の床面部分を検出し、当該床面部分に基づいて新たな前記撮影装置の設置高さ又は設置角度を含む設置情報を算出する際に、前記距離画像上の前記床面部分の検出した形状に基づいて、前記距離画像上の前記床面部分が平面を形成するよう前記設置情報を算出する、
情報処理方法。

【請求項6】

情報処理装置が、
距離画像を撮影する撮影装置の設置高さの入力を受け付け、
寝床を含む所定領域の距離画像を取得し、
前記距離画像に基づいて所定領域内の床面部分を検出し、当該床面部分に基づいて新たな前記撮影装置の設置高さ又は設置角度を含む設置情報を算出する際に、前記距離画像上の前記床面部分の各箇所に対する距離に基づいて、前記撮影装置から前記床面部分の各箇所に対する距離の差異が小さくなるよう前記設置情報を算出する、
情報処理方法。

【請求項7】

情報処理装置に、
距離画像を撮影する撮影装置の設置高さの入力を受け付ける入力手段と、
寝床を含む所定領域の距離画像を取得する距離画像取得手段と、
前記距離画像に基づいて所定領域内の床面部分を検出し、当該床面部分に基づいて新たな前記撮影装置の設置高さ又は設置角度を含む設置情報を算出する際に、前記距離画像上の前記床面部分の検出した形状に基づいて、前記距離画像上の前記床面部分が平面を形成するよう前記設置情報を算出する算出手段と、
を実現させるためのプログラム。

【請求項8】

情報処理装置に、
距離画像を撮影する撮影装置の設置高さの入力を受け付ける入力手段と、
寝床を含む所定領域の距離画像を取得する距離画像取得手段と、
前記距離画像に基づいて所定領域内の床面部分を検出し、当該床面部分に基づいて新たな前記撮影装置の設置高さ又は設置角度を含む設置情報を算出する際に、前記距離画像上の前記床面部分の各箇所に対する距離に基づいて、前記撮影装置から前記床面部分の各箇所に対する距離の差異が小さくなるよう前記設置情報を算出する算出手段と、
を実現させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置及び情報処理方法に関する。

【背景技術】

【0002】

近年、高齢者の人口が増加し、介護の需要が高まっている。一方で、介護には、多くの介護者が必要となり、介護者の作業負担や人件費の増加という問題が生じる。そこで、特許文献１に記載のような、距離画像センサで撮影した画像を用いて、被介護者といった人物を監視する監視システムが多く開発されている。

【0003】

特許文献１に開示の監視システムでは、距離画像からベッドの位置を抽出し、また、人の領域を検出し、人の動作を判別している。具体的に、ベッドの位置は、ベッドの長手方向及び短手方向における高さの度数分布から求めている。また、人の動作は、所定の高さ位置に対する物体の位置を検出することで、臥床の状態、上半身を起こした状態、起立の状態、といった人の動作を判別している。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１２－０３００４２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上述した特許文献１の技術では、ベッドの位置をより正確に検出することができない、という問題が生じる。例えば、カメラは、監視領域となる部屋全体が映るように床面やベッドに対して斜め上方から撮影するよう設置されているため、距離画像カメラによるレーザの反射によっては、床面やベッドを平面として捉えることができない場合がある。すると、床面やベッド上の人物の動作を正確に検出することができない、という問題が生じる。

【0006】

このため、本発明の目的は、上述した課題である、ベッドなどの寝床の位置が正確に検出できないことによる人物の動作を正確に検出することができない、ということを解決することができる情報処理装置を提供することにある。

【課題を解決するための手段】

【0007】

本発明の一形態である情報処理装置は、
距離画像を撮影する撮影装置の設置高さの入力を受け付ける入力手段と、
寝床を含む所定領域の距離画像を取得する距離画像取得手段と、
前記距離画像に基づいて所定領域内の床面部分を検出し、当該床面部分に基づいて前記撮影装置の新たな設置高さを含む設置情報を算出する算出手段と、
を備えた、
という構成をとる。

【0008】

また、上記情報処理装置では、
前記算出手段は、前記距離画像に基づいて所定領域内の床面部分を検出し、当該床面部分に基づいて前記撮影装置の新たな設置高さ及び設置角度を含む前記設置情報を算出する、
という構成をとる。

【0009】

また、上記情報処理装置では、
前記算出手段は、前記距離画像上の前記床面部分が平面を形成するよう前記設置情報を算出する、
という構成をとる。

【0010】

また、上記情報処理装置では、
前記算出手段は、前記撮影装置から前記床面部分の各箇所に対する距離の差異が小さくなるよう前記設置情報を算出する、
という構成をとる。

【0011】

また、上記情報処理装置では、
前記算出手段は、算出した前記設置情報に従って前記撮影装置を設置した場合において当該撮影装置にて検出されうる床面高さ位置と、当該床面高さ位置を基準とした前記寝床の高さ位置と、を前記距離画像上に表示して出力する、
という構成をとる。

【0012】

また、上記情報処理装置では、
前記算出手段は、算出した前記設置情報に従って前記撮影装置を設置した場合において当該撮影装置にて検出されうる床面高さ位置と、当該床面高さ位置を基準とした前記寝床の高さ位置と、当該寝床の高さ位置を基準としたさらに高い座位の高さ位置と、前記寝床の高さ位置を基準とした前記座位の高さ位置よりもさらに高い立位の高さ位置と、を前記距離画像上に表示して出力する、
という構成をとる。

【0013】

また、本発明の一形態である情報処理方法は、
情報処理装置が、
距離画像を撮影する撮影装置の設置高さの入力を受け付け、
寝床を含む所定領域の距離画像を取得し、
前記距離画像に基づいて所定領域内の床面部分を検出し、当該床面部分に基づいて新たな前記撮影装置の設置高さを含む設置情報を算出する、
という構成をとる。

【0014】

また、本発明の一形態であるプログラムは、
情報処理装置に、
距離画像を撮影する撮影装置の設置高さの入力を受け付ける入力手段と、
寝床を含む所定領域の距離画像を取得する距離画像取得手段と、
前記距離画像に基づいて所定領域内の床面部分を検出し、当該床面部分に基づいて新たな前記撮影装置の設置高さを含む設置情報を算出する算出手段と、
を実現させる、
という構成をとる。

【発明の効果】

【0015】

本発明は、以上のように構成されることにより、寝床の位置を正確に検出することができ、かかる寝床に対する人物の動作を正確に検出することができる、情報処理装置、情報処理方法、プログラムを提供することができる。

【図面の簡単な説明】

【0016】

【図1】本発明の実施形態１における情報処理システムの構成を示す概略図である。

【図2】図１に開示した監視サーバの構成を示すブロック図である。

【図3】図１に開示した監視サーバによる画像処理の様子を示す図である。

【図4】図１に開示した情報処理システムの構成を示す概略図である。

【図5】図１に開示した監視サーバによる画像処理の様子を示す図である。

【図6】図１に開示した監視サーバの処理動作を示すフローチャートである。

【発明を実施するための形態】

【0017】

＜実施形態１＞
本発明の第１の実施形態を、図１乃至図６を参照して説明する。図１，２，４は、情報処理システムの構成を示す図である。図３，５，６は、情報処理システムの処理動作を説明するための図である。以下、各図を参照して、情報処理システムの構成及び動作を説明する。

【0018】

本発明における情報処理システムは、被介護者や被監視者といった監視対象となる人物の行動を監視するための情報処理システムであり、監視サーバ１０と、距離画像カメラＣと、携帯端末２０と、監視端末３０と、を備えて構成されている。

【0019】

上記距離画像カメラＣは、監視対象となる人物が横たわるベッドＢが配置された領域Ｒ内の距離画像を撮影可能な位置に配置されている。例えば、距離画像カメラＣは、医療施設や介護施設、宅内の一室の天井に設けられ、ベッドＢ全体が画像内に収まる位置に配置されている。なお、距離画像カメラＣは、必ずしも天井に設置されていることに限定されず、壁やスタンドなど、いかなる場所に設置されていてもよい。また、撮影されるベッドＢは、布団といった他の寝床であってもよい。

【0020】

距離画像カメラＣは、画素値を距離値とした距離画像を撮影するものである。例えば、距離画像カメラＣは、赤外線レーザをターゲットに投射した際の往復の時間から距離を計測する形式のものであってもよく、いかなる方式のものであってもよい。そして、距離画像カメラＣは、一定の時間間隔で、あるいは、撮影指示を受けたタイミングで、距離画像を撮影し、かかる距離画像を後述する監視サーバ１０に送信する機能を有する。

【0021】

上記携帯端末２０は、被介護者である人物の介護を行ったり、監視する監視者であるユーザＵが保持して操作するスマートフォンなどの情報処理端末である。携帯端末２０は、監視サーバ１０と無線通信を介して接続され通信可能であり、後述するように、監視サーバ１０に対してユーザＵの操作指示を入力することが可能である。例えば、携帯端末２０は、表示画面に、距離画像カメラＣにて撮影された距離画像を表示すると共に、監視に関する操作指示を入力可能な操作画面を表示する。かかる画面に対してユーザＵからタッチ操作によって指示が入力されることで、かかる操作指示が携帯端末２０から監視サーバ１０に送信されることとなる。また、携帯端末２０は、監視サーバ１０から発せられる被介護者である人物の異常の通知を受信して、ユーザＵに報知する機能も有する。

【0022】

上記監視端末３０は、被介護者である人物の介護を行ったり、監視する監視者であるユーザＵが操作する情報処理端末である。監視端末３０は、監視者などのユーザＵが在籍する監視ルームなどの場所に設置されており、複数のユーザＵによって操作可能である。監視端末３０は、上述した携帯端末２０と同様に、表示画面に距離画像を表示すると共に、監視に関する操作指示を入力可能とし、かかる操作指示を監視サーバ１０に送信したり、監視サーバ１０から発せられる人物の異常の通知を受信して、ユーザＵに報知する機能を有する。

【0023】

上記監視サーバ１０は、演算装置及び記憶装置を有するサーバ装置（情報処理装置）である。そして、監視サーバ１０は、図２に示すように、演算装置がプログラムを実行することで構築された、距離画像取得部１１、入力受付部１２、算出部１３、監視部１４、通知部１５、を備えている。また、監視サーバ１０は、記憶装置に形成された、高さ情報記憶部１６を備えている。以下、各構成について詳述するが、併せて監視サーバ１０の動作も図６のフローチャートを参照して説明する。

【0024】

上記距離画像取得部１１（距離画像取得手段）は、上述したように距離画像カメラＣにて撮影されたベッドＢ及び監視対象となる人物を含む距離画像を、当該距離画像カメラＣから取得する。そして、取得した距離画像を入力受付部１２、算出部１３、監視部１４に渡し、当該距離画像は後述するカメラの設置情報の算出処理や人物の監視処理に用いられる。

【0025】

上記入力受付部１２（入力手段）は、距離画像カメラＣの現在の設置高さの入力を受け付ける（図６のステップＳ１）。具体的に、入力受付部１２は、図３（ａ）に示すように、ユーザＵの携帯端末２０に対して、距離画像２１を表示すると共に、カメラの設置高さ（ｃｍ）の入力欄を表示する。そして、入力受付部１２は、かかる入力欄に入力されたカメラの現在の設置高さの数値を受け付ける。なお、入力受付部１２は、距離画像カメラＣの現在の設置角度などの他の情報の入力を受け付けてもよい。

【0026】

上記算出部１３（算出手段）は、上記入力された距離画像カメラＣの設置高さと、距離画像２１と、を用いて、距離画像カメラＣの新たな設置情報を算出する。具体的に、算出部１３は、まず、距離画像２１内から床面部分を検出する（図６のステップＳ２）。例えば、算出部１３は、距離画像２１内のうち高さが最も低い箇所を調べ、かかる箇所が段差無くなめらかに連なっている領域を床面部分として検出する。図３（ｂ）の例では、点線で示すような領域を床面部分Ａとして検出している。なお、床面部分Ａの検出方法は、いかなる方法でもよい。

【0027】

続いて、算出部１３は、検出した床面部分Ａが平面を形成するような距離画像を取得できるよう、距離画像カメラＣの新たな設置情報を算出する（図６のステップＳ３）。例えば、算出部１３は、現在取得している距離画像２１上において、検出した床面部分Ａのカメラから離れた方向に位置する部屋の奥部分の形状が曲面になっていることを検出したとする。このようなことは、距離画像カメラＣによる赤外線レーザの反射波を正確に受信できないなど様々な要因で起こりうる。このような場合では、図４に示すように、距離画像カメラＣの設置高さを、図１に示す現在の高さよりもさらに高くしたり、設置角度を床面に対して垂直方向に傾けるなどすることで、検出する床面部分Ａが広い範囲で平面となるような距離画像を取得できることが想定される。このため、算出部１３は、検出した床面部分Ａの形状が平面となる距離画像を取得できるような、距離画像カメラＣの新たな設置高さや設置角度を算出する。そして、算出部１３は、新たに算出した設置高さと設置角度の数値を、図３（ｂ）に示すように、［調整値］の「カメラの設置高さ（ｃｍ）」欄と「カメラの設置角度（°）」欄に表示する（図６のステップＳ４）。

【0028】

また、算出部１３は、他の方法で、距離画像カメラＣの新たな設置情報を算出してもよい。例えば、算出部１３は、距離画像カメラＣから床面部分Ａの各箇所に対する距離の差異が小さくなるよう、つまり、距離画像カメラＣから床面部分Ａの各箇所までの距離が均一に近づくよう、新たな設置情報を算出してもよい。通常、距離画像上において床面は、部屋の奥部分に位置する箇所ほど、距離画像カメラＣからの距離が遠くなるが、距離画像カメラＣの設置高さを、現在の高さよりもさらに高くしたり、設置角度を床面に対して垂直方向に傾けるなどすることで、床面部分Ａの各箇所までの距離の差が小さくなる。

【0029】

さらに、算出部１３による距離画像カメラＣの新たな設置情報の算出は、予め記憶されている床面部分のパターン情報に基づいて算出されてもよい。例えば、監視サーバ１０の記憶装置には、事前に取得された種々の距離画像から検出された床面部分Ａの形状パターンと、その場合の設置高さや設置角度の調整値と、が関連付けられて記憶されている。そして、実際に取得した距離画像から検出した床面部分Ａの形状が一致する形状パターンに関連付けられた調整値を取得し、かかる調整値を用いて現在の設置高さや設置角度を調整して、新たな設置高さや設置角度として算出してもよい。

【0030】

その後、上記算出部１３は、新たに算出した設置高さと設置角度で距離画像カメラＣを設置したと想定して、当該新たな設置状況の距離画像カメラＣで検出されうる床面高さ位置と、当該床面高さ位置を基準としたベッド高さ位置とを、現在の距離画像２１上に表示する（図６のステップＳ５）。このとき、算出部１３は、現在の距離画像で床面部分Ａとして検出されている高さ位置を、図５（ａ）の符号Ｌ１に示すように床面高さ位置として表示する。そして、算出部１３は、予め高さ情報記憶部１６に記憶されている床面高さからのベッド高さの数値を読出し、距離画像２１上において床面高さ位置としている高さからベッド高さの数値だけ上方の位置を、符号Ｌ２に示すようにベッド高さ位置として表示する。なお、図５（ａ）の例では、床面高さ位置Ｌ１とベッド高さ位置Ｌ２とをそれぞれ異なる色で区別し、各高さ位置の領域を囲うような線分で表示する場合を例示したが、各高さ位置を異なる色で塗りつぶすなど、いかなる方法で表示してもよい。

【0031】

また、算出部１３は、さらに、上述したベッド高さ位置Ｌ２よりも高い位置となる第一高さ位置と第二高さ位置とを、距離画像２１上に表示してもよい。例えば、第一高さ位置は、上記ベッド高さ位置Ｌ２に人物が腰掛けたときに当該人物の頭部が位置するような高さ位置（座位の高さ位置）であり、第二高さ位置は、さらに高く、上記ベッド高さ位置Ｌ２に人物が立ったときに当該人物の頭部が位置するような高さ位置（立位の高さ位置）である。なお、第一高さ位置と第二高さ位置とは、床面高さからあるいはベッド高さからの高さを表す数値にて、予め高さ情報記憶部１６に記憶されている。ここで、図５（ｂ）に示す距離画像２１では、ベッドＢの横に壁面が位置しているが、距離画像２１上における第一高さ位置Ｌ３と第二高さ位置Ｌ４とを線分で表示している。

【0032】

以上のように、距離画像カメラＣの新たな設置情報の算出が終了すると、介護者や監視者などのユーザは、必要に応じて距離画像カメラＣの設置高さや設置角度を、算出された設置情報の値に変更する。そして、その後は、距離画像カメラＣにて撮影した距離画像を用いて、以下のように人物の監視及び異常状態の検出を行う。

【0033】

上記監視部１４は、距離画像２１内における人物を検出する処理を行う。このとき、監視部１４は、まず、距離画像２１内に存在する物体を検出し、かかる物体から人物の最頂点と重心位置を検出する。そして、監視部１４は、例えば、距離画像２１内における個々の塊からなる物体を検出し、検出した物体の質量や、物体間の位置関係や体積比（面積比）などから、人物を検出する。

【0034】

そして、監視部１４は、検出された人物の最頂点と重心位置の追従を行い、距離画像２１内のベッドＢとの位置関係にも基づいて、人物の動作を判定する。

【0035】

例えば、監視部１４は、人物がベッドB上に寝ている場合（臥位）、人物がベッドＢの境界に位置する場合（境界位）、人物がベッドＢに立つ場合（立位）、人物がベッドＢ上座っている場合（起き上がり）、人物がベッドＢから離れた場合（離床）、を検知対象状態として検出する。そして、通知部１５は、上述したように距離画像２１から人物の動作から検知対象状態を検出すると、ユーザＵに対して通知を行う。

【0036】

以上のように、本発明では、距離画像カメラＣにて撮影した距離画像上の床面部分に基づいて当該距離画像カメラＣの設置状況を調整することができる。このため、調整後の距離画像からベッドＢといった寝床の位置を正確に検出することができ、その結果、かかる寝床に対する人物の動作を正確に検出することができる。

【0037】

なお、上述したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されている。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。

【0038】

以上、上記実施形態等を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。

【符号の説明】

【0039】

１０ 監視サーバ
１１ 距離画像取得部
１２ 入力受付部
１３ 算出部
１４ 監視部
１５ 通知部
１６ 高さ基準記憶部
２０ 携帯端末
２１ 距離画像
３０ 監視端末
Ｂ ベッド
Ｃ 距離画像カメラ
Ｕ ユーザ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】