特開 2020-109582 情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2020-109582(P2020-109582A)

(43)【公開日】2020年7月16日

(54)【発明の名称】情報処理装置

(51)【国際特許分類】

   G06T 7/20 20170101AFI20200619BHJP

   A61G 7/043 20060101ALI20200619BHJP

   A61G 12/00 20060101ALI20200619BHJP

   G06F 3/0481 20130101ALI20200619BHJP

   H04N 7/18 20060101ALI20200619BHJP

   G06T 7/00 20170101ALI20200619BHJP

【ＦＩ】

   G06T7/20 300A

   A61G7/043

   A61G12/00 Z

   G06F3/0481

   H04N7/18 D

   G06T7/00 C

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

【全頁数】11

(21)【出願番号】特願2019-588(P2019-588)

(22)【出願日】2019年1月7日

(71)【出願人】

【識別番号】517146563

【氏名又は名称】エイアイビューライフ株式会社

(74)【代理人】

【識別番号】100124811

【弁理士】

【氏名又は名称】馬場 資博

(74)【代理人】

【識別番号】100187724

【弁理士】

【氏名又は名称】唐鎌 睦

(72)【発明者】

【氏名】安川 徹

【テーマコード（参考）】

4C040

4C341

5C054

5E555

5L096

【Ｆターム（参考）】

4C040AA30

4C040BB01

4C341JJ01

4C341LL30

5C054CA05

5C054CE16

5C054CH02

5C054FA07

5C054FA09

5C054FC12

5C054FE11

5C054HA12

5E555AA26

5E555BA02

5E555BA87

5E555BB02

5E555BC04

5E555CA42

5E555CB02

5E555CB66

5E555CC01

5E555DA01

5E555DB53

5E555DD03

5E555DD08

5E555EA22

5E555FA00

5L096AA09

5L096BA02

5L096CA18

5L096CA24

5L096FA12

5L096FA60

5L096FA66

5L096FA67

5L096FA69

5L096FA72

(57)【要約】      （修正有）

【課題】人の動作の判別精度の向上を図ることができる情報処理装置を提供する。
【解決手段】情報処理装置は、寝床を含む所定領域の距離画像を取得する距離画像取得手段と、距離画像内における寝床を含む処理領域を設定する処理範囲設定手段と、距離画像に基づいて、設定された処理領域内の人物の動作を検出する検出手段と、を備える。そして、上記処理範囲設定手段は、寝床の外側に位置する処理領域の外縁箇所の指定を受け付けて、当該受け付けた外縁箇所の指定に応じて処理領域を設定する。
【選択図】図２

【特許請求の範囲】

【請求項1】

寝床を含む所定領域の距離画像を取得する距離画像取得手段と、
前記距離画像内における前記寝床を含む処理領域を設定する処理範囲設定手段と、
前記距離画像に基づいて、設定された前記処理領域内の人物の動作を検出する検出手段と、を備え、
前記処理範囲設定手段は、前記寝床の外側に位置する前記処理領域の外縁箇所の指定を受け付けて、当該受け付けた前記外縁箇所の指定に応じて前記処理領域を設定する、
情報処理装置。

【請求項2】

請求項１に記載の情報処理装置であって、
前記処理範囲設定手段は、外形が矩形である前記寝床の各辺を当該寝床の外側に広げた箇所の指定を前記処理領域の外縁箇所の指定として受け付ける、
情報処理装置。

【請求項3】

請求項１又は２に記載の情報処理装置であって、
前記処理範囲設定手段は、前記寝床の外形箇所から当該寝床の外側に位置する所定箇所までの距離を、前記処理領域の外縁箇所の指定として受け付ける、
情報処理装置。

【請求項4】

請求項１乃至３のいずれかに記載の情報処理装置であって、
前記処理範囲設定手段は、外形が矩形である前記寝床の４辺それぞれについて、当該寝床の辺から当該寝床の外側に位置する所定箇所までの距離を、前記処理領域の外縁箇所の指定として受け付けて、前記寝床の４辺それぞれを当該各辺から指定された距離まで広げるよう前記処理領域を設定する、
情報処理装置。

【請求項5】

請求項１乃至４のいずれかに記載の情報処理装置であって、
前記距離画像と、前記処理領域の外縁箇所の指定を入力する入力画面と、を同時に表示部に表示出力する表示処理手段を備えた、
情報処理装置。

【請求項6】

請求項１乃至４のいずれかに記載の情報処理装置であって、
前記寝床の領域と前記処理領域とを同時に、前記寝床の領域と前記処理領域とを区別して表示部に表示出力する領域表示処理手段を備えた、
情報処理装置。

【請求項7】

寝床を含む所定領域の距離画像を取得し、
前記寝床の外側に位置する処理領域の外縁箇所の指定を受け付けて、当該受け付けた前記外縁箇所の指定に応じて、前記距離画像内における前記寝床を含む前記処理領域を設定し、
前記距離画像に基づいて、設定された前記処理領域内の人物の動作を検出する、
情報処理方法。

【請求項8】

情報処理装置に、
寝床を含む所定領域の距離画像を取得する距離画像取得手段と、
前記寝床の外側に位置する処理領域の外縁箇所の指定を受け付けて、当該受け付けた前記外縁箇所の指定に応じて、前記距離画像内における前記寝床を含む前記処理領域を設定する処理範囲設定手段と、
前記距離画像に基づいて、設定された前記処理領域内の人物の動作を検出する検出手段と、
を実現させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法、プログラムに関する。

【背景技術】

【0002】

近年、高齢者の人口が増加し、介護の需要が高まっている。一方で、介護には、多くの介護者が必要となり、介護者の作業負担や人件費の増加という問題が生じる。そこで、特許文献１に記載のような、距離画像センサで撮影した画像を用いて、被介護者といった人物を監視する監視システムが多く開発されている。

【0003】

特許文献１に開示の監視システムでは、距離画像からベッドの位置を抽出し、また、人の領域を検出し、人の動作を判別している。具体的に、ベッドの位置は、ベッドの長手方向及び短手方向における高さの度数分布から求めている。また、人の動作は、所定の高さ位置に対する物体の位置検出することで、臥床の状態、上半身を起こした状態、起立の状態、といった人の動作を判別している。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１２−０３００４２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上述した特許文献１の技術では、ベッドの位置を検出しているものの、人の検出範囲を制限していないため、人の動作の判別精度の向上を図ることができない、という問題が生じる。例えば、ベッドが設置された部屋の出入口付近や窓付近も人の検出範囲であるとすると、部屋の外の物体も人として検出してしまう可能性がある。また、部屋の中に人と誤認識するような形状の物体が存在する場合もあり得る。

【0006】

このため、本発明の目的は、上述した課題である、人の動作の判別精度の向上を図ることができない、ことを解決することができる情報処理装置を提供することにある。

【課題を解決するための手段】

【0007】

本発明の一形態である情報処理装置は、
寝床を含む所定領域の距離画像を取得する距離画像取得手段と、
前記距離画像内における前記寝床を含む処理領域を設定する処理範囲設定手段と、
前記距離画像に基づいて、設定された前記処理領域内の人物の動作を検出する検出手段と、を備え、
前記処理範囲設定手段は、前記寝床の外側に位置する前記処理領域の外縁箇所の指定を受け付けて、当該受け付けた前記外縁箇所の指定に応じて前記処理領域を設定する、
という構成をとる。

【0008】

そして、上記情報処理装置では、
前記処理範囲設定手段は、外形が矩形である前記寝床の各辺を当該寝床の外側に広げた箇所の指定を前記処理領域の外縁箇所の指定として受け付ける、
という構成をとる。

【0009】

また、上記情報処理装置では、
前記処理範囲設定手段は、前記寝床の外形箇所から当該寝床の外側に位置する所定箇所までの距離を、前記処理領域の外縁箇所の指定として受け付ける、
という構成をとる。

【0010】

また、上記情報処理装置では、
前記処理範囲設定手段は、外形が矩形である前記寝床の４辺それぞれについて、当該寝床の辺から当該寝床の外側に位置する所定箇所までの距離を、前記処理領域の外縁箇所の指定として受け付けて、前記寝床の４辺それぞれを当該各辺から指定された距離まで広げるよう前記処理領域を設定する、
という構成をとる。

【0011】

また、上記情報処理装置では、
前記距離画像と、前記処理領域の外縁箇所の指定を入力する入力画面と、を同時に表示部に表示出力する表示処理手段を備えた、
という構成をとる。

【0012】

また、上記情報処理装置では、
前記寝床の領域と前記処理領域とを同時に、前記寝床の領域と前記処理領域とを区別して表示部に表示出力する領域表示処理手段を備えた、
という構成をとる。

【0013】

また、本発明の他の形態である情報処理方法は、
寝床を含む所定領域の距離画像を取得し、
前記寝床の外側に位置する処理領域の外縁箇所の指定を受け付けて、当該受け付けた前記外縁箇所の指定に応じて、前記距離画像内における前記寝床を含む前記処理領域を設定し、
前記距離画像に基づいて、設定された前記処理領域内の人物の動作を検出する、
という構成をとる。

【0014】

また、本発明の他の形態であるプログラムは、
情報処理装置に、
寝床を含む所定領域の距離画像を取得する距離画像取得手段と、
前記寝床の外側に位置する処理領域の外縁箇所の指定を受け付けて、当該受け付けた前記外縁箇所の指定に応じて、前記距離画像内における前記寝床を含む前記処理領域を設定する処理範囲設定手段と、
前記距離画像に基づいて、設定された前記処理領域内の人物の動作を検出する検出手段と、
を実現させる、
という構成をとる。

【発明の効果】

【0015】

本発明は、以上のように構成されることにより、人の動作の判別精度の向上を図ることができる。

【図面の簡単な説明】

【0016】

【図1】本発明の実施形態１における情報処理システムの構成を示す概略図である。

【図2】図１に開示した監視サーバの構成を示すブロック図である。

【図3】図１に開示した監視サーバから携帯端末に表示される領域設定画面の一例を示す図である。

【図4】図１に開示した監視サーバから携帯端末に表示される領域設定画面の一例を示す図である。

【図5】図１に開示した監視サーバから携帯端末に表示される領域設定画面の一例を示す図である。

【図6】図１に開示した監視サーバによる人物の動作判定処理の様子を示す図である。

【図7】図１に開示した監視サーバによる人物の動作判定処理の様子を示す図である。

【図8】図１に開示した監視サーバの処理動作を示すフローチャートである。

【発明を実施するための形態】

【0017】

＜実施形態１＞
本発明の第１の実施形態を、図１乃至図８を参照して説明する。図１乃至図２は、情報処理システムの構成を示す図である。図３乃至図８は、情報処理システムの処理動作を説明するための図である。以下、各図を参照して、情報処理システムの構成及び動作を説明する。

【0018】

本発明における情報処理システムは、被介護者や被監視者といった監視対象となる人物の行動を監視するための情報処理システムであり、監視サーバ１０と、距離画像カメラＣと、携帯端末２０と、監視端末３０と、を備えて構成されている。

【0019】

上記距離画像カメラＣは、監視対象となる人物が横たわるベッドＢが配置された領域Ｒ内の距離画像を撮影可能な位置に配置されている。例えば、距離画像カメラＣは、医療施設や介護施設、宅内の一室の天井に設けられ、ベッドＢ全体が画像内に収まる位置に配置されている。なお、距離画像カメラＣは、必ずしも天井に設置されていることに限定されず、壁やスタンドなど、いかなる場所に設置されていてもよい。また、撮影されるベッドＢは、布団といった他の寝床であってもよい。

【0020】

距離画像カメラＣは、画素値を距離値とした距離画像を撮影するものである。例えば、距離画像カメラＣは、赤外線レーザをターゲットに投射した際の往復の時間から距離を計測する形式のものであってもよく、いかなる方式のものであってもよい。そして、距離画像カメラＣは、一定の時間間隔で、あるいは、撮影指示を受けたタイミングで、距離画像を撮影し、かかる距離画像を後述する監視サーバ１０に送信する機能を有する。

【0021】

上記携帯端末２０は、被介護者である人物の介護を行ったり、監視する監視者であるユーザＵが保持して操作するスマートフォンなどの情報処理端末である。携帯端末２０は、監視サーバ１０と無線通信を介して接続され通信可能であり、後述するように、監視サーバ１０に対してユーザＵの操作指示を入力することが可能である。例えば、携帯端末２０は、表示画面に、距離画像カメラＣにて撮影された距離画像を表示すると共に、監視に関する操作指示を入力可能な操作画面を表示する。かかる画面に対してユーザＵからタッチ操作によって指示が入力されることで、かかる操作指示が携帯端末２０から監視サーバ１０に送信されることとなる。また、携帯端末２０は、監視サーバ１０から発せられる被介護者である人物の異常の通知を受信して、ユーザＵに報知する機能も有する。

【0022】

上記監視端末３０は、被介護者である人物の介護を行ったり、監視する監視者であるユーザＵが操作する情報処理端末である。監視端末３０は、監視者などのユーザＵが在籍する監視ルームなどの場所に設置されており、複数のユーザＵによって操作可能である。監視端末３０は、上述した携帯端末２０と同様に、表示画面に距離画像を表示すると共に、監視に関する操作指示を入力可能とし、かかる操作指示を監視サーバ１０に送信したり、監視サーバ１０から発せられる人物の異常の通知を受信して、ユーザＵに報知する機能を有する。

【0023】

上記監視サーバ１０は、演算装置及び記憶装置を有するサーバ装置（情報処理装置）である。そして、監視サーバ１０は、図２に示すように、演算装置がプログラムを実行することで構築された、距離画像取得部１１、領域指定受付部１２、領域設定部１３、監視部１４、通知部１５、を備えている。また、監視サーバ１０は、記憶装置に形成された、領域情報記憶部１６を備えている。以下、各構成について詳述する。なお、以下では、監視サーバ１０に動作も、図８のフローチャートを参照して併せて説明する。

【0024】

上記距離画像取得部１１（距離画像取得手段）は、上述したように距離画像カメラＣにて撮影されたベッドＢを含む距離画像を、当該距離画像カメラＣから取得する。そして、取得した距離画像を、領域指定受付部１２、領域設定部１３、監視部１４に渡し、当該距離画像は後述する監視領域設定処理や監視処理に用いられる。

【0025】

次に、人物の動作の監視処理を行う処理領域の設定といった監視領域設定処理を行う領域指定受付部１２及び領域設定部１３（処理範囲設定手段、表示処理手段、領域表示処理手段）について説明する。領域指定受付部１２は、ユーザＵから携帯端末２０を介して監視サーバ１０に送信された処理領域を設定する処理を行う指令を受け付けると、図３に示すような、領域設定画面５０を携帯端末２０に表示するよう出力する。このとき、領域指定受付部１２は、領域設定画面５０の下方に距離画像カメラＣから取得したベッドＢを含む領域Ｒを撮影した距離画像５２を表示し、上方に処理領域の外縁箇所の指定を入力する入力欄５１を表示する（図８のステップＳ１）。つまり、領域指定受付部１２は、携帯端末２０の表示部に、距離画像５２と、処理領域の外縁箇所の指定を入力する入力欄５１を含む入力画面と、を一画面上に同時に表示する。なお、入力画面と距離画像５２とは必ずしも一画面上に表示されなくてもよい。

【0026】

携帯端末２０に表示される上記入力画面には、図３の上方に示すように、外形が長方形（矩形）であるベッドＢの図形と、当該ベッドＢの外形を形成する４辺それぞれに対応して処理領域の外縁箇所を指定する入力欄５１と、が表示される。ここで、処理領域は、矩形であるベッドＢの外形をさらに外側に広げることが可能な矩形形状に設定可能である。このため、処理領域の外縁箇所は、ベッドＢの各辺をそれぞれどの程度の距離だけ外側に広げるか、といった距離の値で指定することができる。図３の例では、ベッドＢの外形を形成する上辺、下辺、左辺、右辺のそれぞれに対応して、各辺から外側への距離の値（例えば、ｃｍ単位）を入力可能な４つの入力欄５１が設定されている。携帯端末２０のユーザＵは、下方に表示されている距離画像５２内のベッドＢの位置を見ながら、当該ベッドＢの各辺をそれぞれどの程度広げた処理領域を設定するかを検討し、各入力欄５１に数値を入力する。例えば、図４の例では、ベッドＢの領域を含むと共に、さらにベッドＢの下辺と右辺をそれぞれ５０ｃｍ広げた領域を処理領域とするよう、当該処理領域の外縁箇所を指定した場合を示している。そして、領域指定受付部１２は、携帯端末２０に入力された処理領域の外縁箇所の指定を受け付けて、領域情報記憶部１６に記憶する（図８のステップＳ２）。なお、ベッドＢの辺からの距離が０に指定されると、当該ベッドＢの辺自体が処理領域の外縁となる。

【0027】

上記領域設定部１３は、携帯端末２０に表示された図４に示すような入力画面において、ユーザＵにて「閉じる」または「確認する」が選択されると、領域情報記憶部１６に記憶されている処理領域の外縁箇所の指定に応じて、処理領域を設定する。具体的に、領域設定部１３は、入力画面において「確認する」が選択されると（図８のステップＳ３でＹｅｓ）、図５に示すように、処理領域Ａを表示したプレビュー画面５３を生成し、領域設定画面５０を携帯端末２０に表示するよう出力する（図８のステップＳ９）。

【0028】

領域設定部１３は、プレビュー画面５３を生成する際に、まずベッドＢの領域を特定する。例えば、領域設定部１３は、距離画像に映る矩形の物体を特定して、その領域をベッドＢの領域としてもよい。このとき、領域設定部１３は、予め設定されたベッドＢの縦横の長さからなるテンプレートを記憶しており、かかるテンプレートを参照して、縦横の長さや縦横比が近似する物体の領域をベッドＢの領域としてもよい。なお、ベッドＢの領域の特定はいかなる方法であってもよい。

【0029】

そして、領域設定部１３は、ベッドＢの領域を特定した後に、当該ベッドＢの各辺に対応してそれぞれ設定された処理領域の外縁箇所までの距離だけ、当該ベッドＢの領域を広げた処理領域Ａを生成する。このとき、領域設定部１３は、ベッドＢの領域と処理領域Ａとを区別できるようにプレビュー画面５３に表示する。例えば、図５の例では、白い塗りつぶし領域がベッドＢの領域であり、斜線で示す領域がベッドＢの下辺と右辺をそれぞれ５０ｃｍ広げた領域であり、これらを併せた領域が処理領域Ａとなる。

【0030】

領域設定部１３は、図５に示す処理領域Ａのプレビュー画面５３を表示した領域設定画面５０において「戻る」が選択されると（図８のステップＳ１０でＹｅｓ）、図４に示す処理領域の外縁箇所を指定する入力画面に戻る。一方、領域設定部１３は、図５に示す処理領域Ａのプレビュー画面５３を表示した領域設定画面５０において「閉じる」が選択されると（図８のステップＳ１０でＮｏ、ステップＳ１１でＹｅｓ）、実際に距離画像において画像処理を行う対象となる処理領域Ａを設定する（図８のステップＳ５）。かかる設定により、後述するように、監視部１４によって監視処理が行われる領域が、距離画像全体のうち、ベッドＢの外形から指定された距離だけ広げられた処理領域Ａのみとなる。

【0031】

また、領域設定部１３は、図４に示すような携帯端末２０に表示された入力画面において、ユーザＵにて「閉じる」が選択された場合も（図８のステップＳ４でＹｅｓ）、入力された距離の指定に応じて、上述同様に監視部１４によって監視処理が行われる距離画像の処理領域Ａを設定する（図８のステップＳ５）。つまり、上述同様に、距離画像からベッドＢの領域を特定し、当該ベッドＢの領域をさらに各辺において指定された距離だけ広げた領域を処理領域Ａとして設定する。

【0032】

上記監視部１４（検出手段）は、取得した距離画像のうち、領域設定部１３にて設定された処理領域Ａのみを処理対象として、当該処理領域Ａ内の人物を監視する監視処理を行う（図８のステップＳ６）。特に、本実施形態では、監視部１４は、処理領域Ａ内に存在する人物Ｐを検出し、当該人物Ｐの動作を検出して、かかる動作が異常状態であるか否かを監視する。

【0033】

具体的に、監視部１４は、まず処理領域Ａ内に存在する物体を検出し、かかる物体から人物Ｐを検出する。例えば、監視部１４は、距離画像内における個々の塊からなる物体を検出し、検出した物体の質量や、物体間の位置関係や体積比（面積比）などから、人物Ｐを検出する。そして、検出した人物Ｐの最頂点と重心位置を検出し、当該人物Ｐの最頂点と重心位置の位置関係から、人物Ｐの動作を検出する。特に、本実施形態では、監視部１４は、人物ＰとベッドＢとの位置関係に基づいて当該人物Ｐの姿勢を判定する。例えば、監視部１４は、図６に示すように、人物ＰがベッドＢ上において横たわっている動作である「臥位」状態や、図７に示すように、人物ＰがベッドＢの境界に位置する「境界位」状態を検出する。なお、図６及び図７は、上図が距離画像を示しており、下図がベッドＢを側方から見た図を示している。この他、監視部１４は、人物ＰがベッドＢに立つ「立位」状態や人物ＰがベッドＢから離れる「離床」状態などの動作を検出してもよく、検出する動作は上述した各状態に限定されない。

【0034】

さらに、監視部１４は、上述したように検出した人物Ｐの動作から、当該人物Ｐが予め異常状態と設定された動作であるか否かを判定する。例えば、上述した境界位状態が異常状態として設定されている場合には、人物Ｐが境界位状態であることを検出した際に、当該人物Ｐが異常状態であると判定する（図８のステップＳ７でＹｅｓ）。そして、監視部１４は、上述したように距離画像から人物Ｐの姿勢を異常状態と判定すると、ユーザＵに対して通知を行う（図８のステップＳ８）。

【0035】

以上のように、本発明の情報処理システムでは、距離画像に対する処理領域を限定することができる。このため、例えば、ベッドが設置された領域の出入口付近や窓付近を処理領域から除いたり、人物と誤認識するような物体が存在する場所を処理領域から除いたり、さらには、人物が移動し得ない場所を処理領域から除くことができる。その結果、人物の動作の誤認識を抑制でき、人物の動作の判別精度の向上を図ることができる。また、処理領域を制限しているため、監視処理の高速化を図ることができる。

【0036】

なお、上述したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されている。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。

【0037】

以上、上記実施形態等を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。

【符号の説明】

【0038】

１０ 監視サーバ
１１ 距離画像取得部
１２ 領域指定受付部
１３ 領域設定部
１４ 監視部
１５ 通知部
１６ 領域情報記憶部
２０ 携帯端末
３０ 監視端末
Ａ 処理領域
Ｂ ベッド
Ｃ 距離画像カメラ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】