(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-02-22
(45)【発行日】2023-03-03
(54)【発明の名称】情報処理装置
(51)【国際特許分類】
H04N 7/18 20060101AFI20230224BHJP
G08B 25/04 20060101ALI20230224BHJP
G08B 25/00 20060101ALI20230224BHJP
G08B 21/02 20060101ALI20230224BHJP
G06T 7/20 20170101ALI20230224BHJP
G06T 7/00 20170101ALI20230224BHJP
【FI】
H04N7/18 D
G08B25/04 K
G08B25/00 510M
G08B21/02
G06T7/20 300Z
G06T7/00 C
(21)【出願番号】P 2018114217
(22)【出願日】2018-06-15
【審査請求日】2021-06-02
(73)【特許権者】
【識別番号】517146563
【氏名又は名称】エイアイビューライフ株式会社
(74)【代理人】
【識別番号】100124811
【氏名又は名称】馬場 資博
(74)【代理人】
【識別番号】100187724
【氏名又は名称】唐鎌 睦
(72)【発明者】
【氏名】安川 徹
【審査官】長谷川 素直
(56)【参考文献】
【文献】特開2017-228042(JP,A)
【文献】特開2000-059796(JP,A)
【文献】特開2008-015566(JP,A)
【文献】特開2016-031645(JP,A)
【文献】特開2011-002339(JP,A)
【文献】特開2006-065584(JP,A)
【文献】特開2016-170701(JP,A)
【文献】特開2016-131028(JP,A)
【文献】特開2005-004256(JP,A)
【文献】特開2006-048217(JP,A)
【文献】特開2016-144993(JP,A)
【文献】国際公開第2016/194402(WO,A1)
【文献】国際公開第2016/185738(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/18
G08B 25/00
G08B 21/02
G06T 7/20
G06T 7/00
(57)【特許請求の範囲】
【請求項1】
所定領域の距離画像を取得する距離画像取得手段と、
前記距離画像上において、当該距離画像上における所定の幅を有する出入口箇所と、当該出入口箇所における出入り方向に沿った一方向と、の指定入力を受け付ける受付手段と、
前記距離画像に基づいて、当該距離画像内の人物を検出すると共に、前記出入口箇所及び前記出入り方向に沿った一方向に対する前記人物の移動状況を検出する検出手段と、
を備
え、
前記受付手段は、前記出入り方向に沿った一方向に向かうスライド入力を受け付ける、
情報処理装置。
【請求項2】
請求項
1に記載の情報処理装置であって、
前記受付手段は、前記出入口箇所の幅方向の両端の指定入力と、前記出入口箇所における前記出入り方向に沿ったスライド入力によるスライド長さによって表される長さの指定入力を受け付け、
前記検出手段は、前記出入口箇所の幅と前記出入り方向に沿った長さとにより設定される領域内に位置する前記人物の移動状況を検出する、
情報処理装置。
【請求項3】
請求項1
又は2に記載の情報処理装置であって、
前記検出手段は、前記出入口箇所における前記出入り方向に沿った一方向に前記人物が移動した場合に、外部への通知処理を行う、
情報処理装置。
【請求項4】
請求項1乃至
3のいずれかに記載の情報処理装置であって、
前記検出手段は、前記出入口箇所における前記出入り方向に沿った一方向に前記人物が移動した場合に、タイマーを作動させ、前記タイマーの作動後、前記人物が前記出入口箇所における前記出入り方向に沿った他方向に移動しない状況が所定時間継続した場合に、外部への通知処理を行う、
情報処理装置。
【請求項5】
請求項1乃至
4のいずれかに記載の情報処理装置であって、
前記検出手段は、前記距離画像に基づいて前記人物の動作を検出すると共に、前記出入口箇所及び前記出入り方向に沿った一方向に対する前記人物の移動状況に応じて、当該人物の動作の検出処理の継続を有効又は無効とする、
情報処理装置。
【請求項6】
情報処理装置が、
所定領域の距離画像を取得し、
前記距離画像上において、当該距離画像上における所定の幅を有する出入口箇所と、当該出入口箇所における出入り方向に沿った一方向と、の指定入力を受け付け
ると共に、前記出入り方向に沿った一方向に向かうスライド入力を受け付け、
前記距離画像に基づいて、当該距離画像内の人物を検出すると共に、前記出入口箇所及び前記出入り方向に沿った一方向に対する前記人物の移動状況を検出する、
情報処理方法。
【請求項7】
情報処理装置に、
所定領域の距離画像を取得する距離画像取得手段と、
前記距離画像上において、当該距離画像上における所定の幅を有する出入口箇所と、当該出入口箇所における出入り方向に沿った一方向と、の指定入力を受け付ける
と共に、前記出入り方向に沿った一方向に向かうスライド入力を受け付ける受付手段と、
前記距離画像に基づいて、当該距離画像内の人物を検出すると共に、前記出入口箇所及び前記出入り方向に沿った一方向に対する前記人物の移動状況を検出する検出手段と、
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置及び情報処理方法に関する。
【背景技術】
【0002】
近年、高齢者の人口が増加し、介護の需要が高まっている。一方で、介護には、多くの介護者が必要となり、介護者の作業負担や人件費の増加という問題が生じる。そこで、特許文献1に記載のような、距離画像センサで撮影した画像を用いて、被介護者といった人物を監視する監視システムが多く開発されている。
【0003】
特許文献1に開示の監視システムでは、距離画像からベッドの位置を抽出し、また、人の領域を検出し、人の動作を判別している。具体的に、ベッドの位置は、ベッドの長手方向及び短手方向における高さの度数分布から求めている。また、人の動作は、所定の高さ位置に対する物体の位置を検出することで、臥床の状態、上半身を起こした状態、起立の状態、といった人の動作を判別している。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上述した特許文献1の技術では、被介護者である人物が所在している室内などの領域における詳細な位置や動作については検出することができない、という問題が生じる。例えば、人物が室内に在室している場合であっても、その後、退出してしまう可能性もあり、かかる状況を迅速に検出することができない。また、人物が室内に設置したカメラの死角に位置してしまうと、かかる存在も検出することができない、という問題が生じる。
【0006】
このため、本発明の目的は、上述した課題である、監視領域における人物の詳細な位置や動作を検出することができない、ということを解決することができる情報処理装置を提供することにある。
【課題を解決するための手段】
【0007】
本発明の一形態である情報処理装置は、
所定領域の距離画像を取得する距離画像取得手段と、
前記距離画像上における所定の幅を有する出入口箇所と、当該出入口箇所における出入り方向と、の指定を受け付ける受付手段と、
前記距離画像に基づいて、当該距離画像内の人物を検出すると共に、前記出入口箇所及び前記出入り方向に対する前記人物の移動状況を検出する検出手段と、
を備えた、
という構成をとる。
【0008】
また、上記情報処理装置では、
前記受付手段は、前記出入口箇所における前記出入り方向に沿った長さの指定を受け付け、
前記検出手段は、前記出入口箇所の幅と前記出入り方向に沿った長さとにより設定される領域内に位置する前記人物の移動状況を検出する、
という構成をとる。
【0009】
また、上記情報処理装置では、
前記検出手段は、前記出入口箇所における前記出入り方向の一方向に前記人物が移動した場合に、外部への通知処理を行う、
という構成をとる。
【0010】
また、上記情報処理装置では、
前記検出手段は、前記出入口箇所における前記出入り方向の一方向に前記人物が移動した場合に、タイマーを作動させる、
という構成をとる。
【0011】
また、上記情報処理装置では、
前記検出手段は、前記タイマーの作動後、前記人物が前記出入口箇所における前記出入り方向の他方向に移動しない状況が所定時間継続した場合に、外部への通知処理を行う、
という構成をとる。
【0012】
また、上記情報処理装置では、
前記検出手段は、前記距離画像に基づいて前記人物の動作を検出すると共に、前記出入口箇所及び前記出入り方向に対する前記人物の移動状況に応じて、当該人物の動作の検出処理の継続を有効又は無効とする、
という構成をとる。
【0013】
また、本発明の他の形態である情報処理方法は、
情報処理装置が、
所定領域の距離画像を取得し、
前記距離画像上における所定の幅を有する出入口箇所と、当該出入口箇所における出入り方向と、の指定を受け付け、
前記距離画像に基づいて、当該距離画像内の人物を検出すると共に、前記出入口箇所及び前記出入り方向に対する前記人物の移動状況を検出する、
という構成をとる。
【0014】
また、本発明の他の形態であるプログラムは、
情報処理装置に、
所定領域の距離画像を取得する距離画像取得手段と、
前記距離画像上における所定の幅を有する出入口箇所と、当該出入口箇所における出入り方向と、の指定を受け付ける受付手段と、
前記距離画像に基づいて、当該距離画像内の人物を検出すると共に、前記出入口箇所及び前記出入り方向に対する前記人物の移動状況を検出する検出手段と、
を実現させる、
という構成をとる。
【発明の効果】
【0015】
本発明は、以上のように構成されることにより、監視領域における人物の詳細な位置や動作を検出することができる、情報処理装置、情報処理方法、プログラムを提供することができる。
【図面の簡単な説明】
【0016】
【
図1】本発明の実施形態1における情報処理システムの構成を示す概略図である。
【
図2】
図1に開示した監視サーバの構成を示すブロック図である。
【
図3】
図1に開示した監視サーバによる画像処理の様子を示す図である。
【
図4】
図1に開示した監視サーバによる画像処理の様子を示す図である。
【
図5】
図1に開示した監視サーバによる画像処理の様子を示す図である。
【
図6】
図1に開示した監視サーバによる画像処理の様子を示す図である。
【
図7】
図1に開示した監視サーバによる画像処理の様子を示す図である。
【
図8】
図1に開示した監視サーバの処理動作を示すフローチャートである。
【
図9】
図1に開示した監視サーバの処理動作を示すフローチャートである。
【発明を実施するための形態】
【0017】
<実施形態1>
本発明の第1の実施形態を、
図1乃至
図9を参照して説明する。
図1乃至
図2は、情報処理システムの構成を示す図である。
図3乃至
図9は、情報処理システムの処理動作を説明するための図である。以下、各図を参照して、情報処理システムの構成及び動作を説明する。
【0018】
本発明における情報処理システムは、被介護者や被監視者といった監視対象となる人物Pの動作を監視するための情報処理システムであり、監視サーバ10と、距離画像カメラCと、携帯端末20と、監視端末30と、を備えて構成されている。
【0019】
上記距離画像カメラCは、監視対象となる人物Pが横たわるベッドBが配置された領域R内の距離画像を撮影可能な位置に配置されている。例えば、距離画像カメラCは、医療施設や介護施設、宅内の一室の天井に設けられ、ベッドB全体及び可能な限り部屋全体が画像内に収まる位置に配置されている。なお、距離画像カメラCは、必ずしも天井に設置されていることに限定されず、壁やスタンドなど、いかなる場所に設置されていてもよい。また、撮影されるベッドBは、布団といった他の寝床であってもよい。
【0020】
距離画像カメラCは、画素値を距離値とした距離画像を撮影するものである。例えば、距離画像カメラCは、赤外線レーザをターゲットに投射した際の往復の時間から距離を計測する形式のものであってもよく、いかなる方式のものであってもよい。そして、距離画像カメラCは、一定の時間間隔で、あるいは、撮影指示を受けたタイミングで、距離画像を撮影し、かかる距離画像を後述する監視サーバ10に送信する機能を有する。
【0021】
上記携帯端末20は、被介護者である人物の介護を行ったり、監視する監視者であるユーザUが保持して操作するスマートフォンなどの情報処理端末である。携帯端末20は、監視サーバ10と無線通信を介して接続され通信可能であり、後述するように、監視サーバ10に対してユーザUの操作指示を入力することが可能である。例えば、携帯端末20は、表示画面に、距離画像カメラCにて撮影された距離画像を表示すると共に、監視に関する操作指示を入力可能な操作画面を表示する。かかる画面に対してユーザUからタッチ操作によって指示が入力されることで、かかる操作指示が携帯端末20から監視サーバ10に送信されることとなる。また、携帯端末20は、監視サーバ10から発せられる被介護者である人物の動作検知の通知を受信して、ユーザUに報知する機能も有する。
【0022】
上記監視端末30は、被介護者である人物の介護を行ったり、監視する監視者であるユーザUが操作する情報処理端末である。監視端末30は、監視者などのユーザUが在籍する監視ルームなどの場所に設置されており、複数のユーザUによって操作可能である。監視端末30は、上述した携帯端末20と同様に、表示画面に距離画像を表示すると共に、監視に関する操作指示を入力可能とし、かかる操作指示を監視サーバ10に送信したり、監視サーバ10から発せられる人物の動作検知の通知を受信して、ユーザUに報知する機能を有する。
【0023】
上記監視サーバ10は、演算装置及び記憶装置を有するサーバ装置(情報処理装置)である。そして、監視サーバ10は、
図2に示すように、演算装置がプログラムを実行することで構築された、距離画像取得部11、領域特定部12、監視部13、通知部14、を備えている。また、監視サーバ10は、記憶装置に形成された、領域情報記憶部16を備えている。以下、各構成について詳述するが、併せて監視サーバ10の動作も、
図8及び
図9のフローチャートを参照して説明する。なお、監視サーバ10の機能については、上記距離画像カメラCに搭載することもできる。つまり、距離画像カメラCに搭載された情報処理装置にて監視サーバ10の機能を実現してもよい。
【0024】
上記距離画像取得部11(距離画像取得手段)は、上述したように距離画像カメラCにて撮影されたベッドBを含む室内の距離画像を、当該距離画像カメラCから取得する。そして、取得した距離画像を、領域設定部12、監視部13に渡し、当該距離画像は後述する領域設定処理や監視処理に用いられる。
【0025】
上記領域設定部12(受付手段)は、まず、ユーザUから携帯端末20を介して監視サーバ10に送信された各場所の出入口領域を設定する処理を行う指令を受け付けると、
図3(a)に示すような、距離画像21を含む出入口領域設定画面を携帯端末20に表示するよう出力する(
図8のステップS1)。なお、本実施形態では、部屋自体の出入口となるドアDの出入口領域と(
図3参照)、部屋内のトイレTの出入口領域と(
図4参照)、部屋内における距離画像カメラCにて撮影不可能ないわゆる死角の出入口領域と(
図5参照)、を設定可能であることとする。但し、本発明では、いかなる場所の出入口領域を設定するよう構成されていてもよい。
【0026】
まず、
図3を参照して、部屋自体の出入口となるドアDの出入口領域を設定する場合を説明する。領域設定部12は、ユーザUから携帯端末20を介して、距離画像21上におけるドアDの出入口箇所の幅31の指定入力を受け付ける(
図8のステップS2)。例えば、ドアDの出入口箇所の幅方向の両端を表す2点の指定を受け付ける。続いて、領域設定部12は、ユーザUから、ドアDの出入口箇所における出入り方向32の指定入力を受け付ける(
図8のステップS3)。
【0027】
ここでは、携帯端末20の表示画面上において、ユーザがタッチ操作により、部屋の内部側から外側に向かってスライド入力することで、かかる方向を表す情報を出入り方向32の入力として受け付ける。
図3(a)の符号32の例では、●印が部屋の内部側を表しており、その反対側がドアDの外側を表していることとする。このとき、さらに領域設定部12は、入力された出入り方向32を表す情報の当該出入り方向32に沿った長さの指定も受け付ける。かかる長さは、例えば、ユーザUによる出入り方向32のスライド入力時におけるスライド長さに相当する。なお、出入口箇所の幅31や出入り方向31、出入り方向の長さなどの入力方法は、上述した方法に限定されない。
【0028】
また、領域設定部12は、指定されたドアDの出入口箇所の幅31と、出入口方向32の長さと、により形成される領域30を設定する。例えば、
図3(b)の符号30の点線で示すように、出入口箇所の幅31と出入口方向32の長さとをそれぞれ縦横とする長方形の領域30を設定する。そして、領域設定部12は、以上のようにして計測及び算出によりドアDの出入口箇所の領域30を設定すると、かかる領域30と出入り方向32を表す情報を、領域情報記憶部16に記憶して登録する(
図8のステップS4)。
【0029】
その後、領域設定部12は、出入口箇所の設定が完了せず、他にも出入口箇所の設定を行う場所がある場合には(
図8のステップS5でNo)、次の出入口箇所の設定画面を携帯端末20に表示するよう出力する。そして、上述同様に、他の場所の出入口箇所の設定を繰り返す。
【0030】
ここで、
図4を参照して、部屋内のトイレTの出入口領域を設定する場合を説明する。領域設定部12は、上述同様に、距離画像21上におけるトイレTの出入口箇所の幅41と、かかる出入口箇所における出入り方向42と、の指定入力を受け付ける。ここでは、
図4(a)の符号42の例では、●印が部屋の内部側を表しており、その反対側がトイレT側を表していることとする。そして、領域設定部12は、指定されたトイレTの出入口箇所の幅41と、出入口方向42の長さと、により形成される略長方形形状の領域40を設定して、かかる領域40と出入り方向42を表す情報を、領域情報記憶部16に記憶して登録する。
【0031】
さらに、
図5を参照して、部屋内において距離画像カメラCにて撮影不可能ないわゆる死角の出入口領域を設定する場合を説明する。領域設定部12は、上述同様に、距離画像21上における死角の出入口箇所の幅51と、かかる出入口箇所における出入り方向52と、の指定入力を受け付ける。ここでは、
図5(a)の符号52の例では、●印が部屋の内部側を表しており、その反対側である部屋の隅側が死角を表していることとする。そして、領域設定部12は、指定された死角の出入口箇所の幅51と、出入口方向52の長さと、により形成される領域50を設定して、かかる領域50と出入り方向52を表す情報を、領域情報記憶部16に記憶して登録する。
【0032】
次に、上記監視部13の構成と動作について説明する。監視部13(検出手段)は、まず、距離画像21内における人物Pを検出する処理を行う。このとき、監視部13は、例えば、時間的に前後する距離画像21の差分を用いて移動する物体を検出し、さらに、移動する物体の形状(例えば、頭部P1及び胴体部P2の対に相当する物体があるか)に基づいて、人物Pとして検出する。但し、人物Pの検出は、いかなる方法で行ってもよい。
【0033】
そして、監視部13は、人物Pの動作を検出して、当該動作に応じた人物Pの検知対象状態の検出を行う。例えば、監視部13は、人物Pの高さと重心位置を検出し、当該高さと重心位置との距離画像21内における位置関係から、人物Pの動作を判定する。このとき、監視部13は、人物Pの高さと重心位置と距離画像21内のベッドBとの位置関係にも基づいて、人物Pの動作を判定し、人物が予め検知対象状態と設定された動作であるか否かを判定する。本実施形態では、検知対象状態として、例えば、人物PがベッドB上に寝ている場合(臥位)、人物PがベッドBの境界に位置する場合(境界位)、人物PがベッドBに立つ場合(立位)、人物PがベッドB上に座っている場合(起き上がり)、人物PがベッドBから離れた場合(離床)、がある。但し、本発明で判定する検知対象状態は、上述した動作に限定されず、他の動作を検知対象状態として判定してもよい。
【0034】
さらに、監視部13は、上述したように設定した各場所における出入口箇所及び出入り方向に対する、検出した人物Pの移動状況を検出する。特に、監視部13は、各場所における出入口に設定された領域30,40,50内に位置する人物Pが、出入り方向に沿ったいずれの方向に移動したかを検出する。
【0035】
そして、監視部13は、各出入口の出入口方向に沿った人物Pの移動方向に応じて、以下のような処理を行う。例えば、監視部13は、
図6(a)に示すように、ドアDの出入口箇所の設定された領域30に人物Pが位置していることを検出したとする。このとき、監視部13は、
図6(b)に示すように、出入口箇所の出入口方向32において、人物Pが室外から室内に移動することを検出したとする。この場合、監視部13は、その後の人物Pの動作を検出する処理を有効とし、当該人物Pの動作を継続的に検出して、当該動作の人物Pの検知対象状態を検出する。
【0036】
一方で、監視部13は、
図6(b)に示す矢印とは反対方向、つまり、出入口箇所の出入口方向32において、人物Pが室内から室外に移動することを検出したとする。この場合、監視部13は、人物Pの動作の検出処理を無効とし、当該人物Pの動作を継続的に検出せず、通知部14から人物Pの検知対象状態であることを通知するアラートを携帯端末20や監視端末30に出力する。
【0037】
また、監視部13は、
図7(a)に示すように、死角の出入口箇所の設定された領域50に人物Pが位置していることを検出したとする(
図9のステップS11)。このとき、監視部13は、
図7(b)に示すように、出入口箇所の出入口方向52において、人物Pが室内から死角側に移動することを検出したとする(
図9のステップS12,S13でYes)。この場合、監視部13は、人物Pの動作を継続的に検出せず、人物Pの検知対象状態であることを検知して、タイマーを作動させ(
図9のステップS14)、当該人物Pが死角から出てくるまでの時間を計測する(
図9のステップS15)。
【0038】
その後、監視部13は、人物Pが死角の出入口箇所の出入口方向52において、死角側から室内側に向かう方向に移動することを検知せず、つまり人物Pが死角から出てこない場合であって、上記タイマーによる計測時間が予め設定された時間だけ継続した場合には(
図9のステップS15でYes)、通知部14から人物Pの検知対象状態であることを通知するアラートを携帯端末20や監視端末30に出力する(
図9のステップS16)。
【0039】
なお、監視部13は、
図4(a)に示すように、トイレTの出入口箇所の設定された領域40に人物Pが位置していることを検出した場合も、上記同様に処理する。監視部13は、
図4(b)に示すように、出入口箇所の出入口方向42において、人物Pが室内の所定箇所からトイレT側に移動することを検出したとする。この場合、監視部13は、人物Pの動作を継続的に検出せず、人物Pの検知対象状態であることを検知して、タイマーを作動させ、当該人物PがトイレTから出てくるまでの時間を計測する。その後、監視部13は、人物PがトイレTの出入口箇所の出入口方向42においてトイレから出てこない場合であって、上記タイマーによる計測時間が予め設定された時間だけ継続した場合には、通知部14から人物Pの検知対象を通知するアラートを携帯端末20や監視端末30に出力する。
【0040】
以上のように、本発明によると、被介護者である人物Pが室内に存在している場合に、かかる室内においてカメラの死角に位置したり、室外に出てしまうなどの検知対象状態を迅速に検出することができ、また、介護者等に迅速に通知することができる。
【0041】
なお、上述したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されている。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。
【0042】
以上、上記実施形態等を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。
【符号の説明】
【0043】
10 監視サーバ
11 距離画像取得部
12 領域設定部
13 監視部
14 通知部
16 領域情報記憶部
20 携帯端末
21 距離画像
30 監視端末
B ベッド
C 距離画像カメラ
P 人物
U ユーザ