特表-18186042IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ コニカミノルタ株式会社の特許一覧
再表2018-186042行動検知装置および行動検知方法ならびに被監視者監視支援システム
<>
  • 再表WO2018186042-行動検知装置および行動検知方法ならびに被監視者監視支援システム 図000003
  • 再表WO2018186042-行動検知装置および行動検知方法ならびに被監視者監視支援システム 図000004
  • 再表WO2018186042-行動検知装置および行動検知方法ならびに被監視者監視支援システム 図000005
  • 再表WO2018186042-行動検知装置および行動検知方法ならびに被監視者監視支援システム 図000006
  • 再表WO2018186042-行動検知装置および行動検知方法ならびに被監視者監視支援システム 図000007
  • 再表WO2018186042-行動検知装置および行動検知方法ならびに被監視者監視支援システム 図000008
  • 再表WO2018186042-行動検知装置および行動検知方法ならびに被監視者監視支援システム 図000009
  • 再表WO2018186042-行動検知装置および行動検知方法ならびに被監視者監視支援システム 図000010
  • 再表WO2018186042-行動検知装置および行動検知方法ならびに被監視者監視支援システム 図000011
  • 再表WO2018186042-行動検知装置および行動検知方法ならびに被監視者監視支援システム 図000012
< >
(19)【発行国】日本国特許庁(JP)
【公報種別】再公表特許(A1)
(11)【国際公開番号】WO/0
(43)【国際公開日】2018年10月11日
【発行日】2020年2月13日
(54)【発明の名称】行動検知装置および行動検知方法ならびに被監視者監視支援システム
(51)【国際特許分類】
   G08B 25/00 20060101AFI20200121BHJP
   G08B 25/04 20060101ALI20200121BHJP
   G08B 21/02 20060101ALI20200121BHJP
   A61G 12/00 20060101ALI20200121BHJP
【FI】
   G08B25/00 510M
   G08B25/04 K
   G08B21/02
   A61G12/00 E
   A61G12/00 Z
【審査請求】未請求
【予備審査請求】未請求
【全頁数】33
【出願番号】特願2019-511089(P2019-511089)
(21)【国際出願番号】PCT/0/0
(22)【国際出願日】2018年2月22日
(31)【優先権主張番号】特願2017-75909(P2017-75909)
(32)【優先日】2017年4月6日
(33)【優先権主張国】JP
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT
(71)【出願人】
【識別番号】000001270
【氏名又は名称】コニカミノルタ株式会社
(74)【代理人】
【識別番号】100067828
【弁理士】
【氏名又は名称】小谷 悦司
(74)【代理人】
【識別番号】100115381
【弁理士】
【氏名又は名称】小谷 昌崇
(74)【代理人】
【識別番号】100111453
【弁理士】
【氏名又は名称】櫻井 智
(72)【発明者】
【氏名】西角 雅史
(72)【発明者】
【氏名】岡田 真和
(72)【発明者】
【氏名】将積 直樹
【テーマコード(参考)】
4C341
5C086
5C087
【Fターム(参考)】
4C341LL05
4C341LL10
5C086AA22
5C086BA07
5C086CA06
5C086CA25
5C086CA28
5C086CB36
5C086DA08
5C086DA33
5C087DD29
5C087DD30
5C087EE07
5C087FF04
5C087GG02
5C087GG08
5C087GG10
5C087GG70
5C087GG83
(57)【要約】
上述した目的を実現するために、本発明の一側面を反映した行動検知装置、行動検知方法および被監視者監視支援システムは、第1対象領域を上方から撮像することによって生成された画像に基づいて対象者における所定の行動の有無を検知し、前記第1対象領域と異なる領域を含む所定の第2対象領域に、送信波を上方から送信することによって得られた前記送信波の反射波に基づいて前記対象者における前記行動の有無を検知し、これら各検知結果に基づいて前記対象者における前記行動の有無を最終的に判定する。
【特許請求の範囲】
【請求項1】
所定の第1対象領域を上方から撮像することによって生成された画像に基づいて対象者における所定の行動の有無を検知する第1センサ部と、
前記第1対象領域と異なる領域を含む所定の第2対象領域に、所定波長の送信波を上方から送信することによって得られた前記送信波の反射波に基づいて前記対象者における前記行動の有無を検知する第2センサ部と、
前記第1センサ部の第1検知結果と前記第2センサ部の第2検知結果とに基づいて前記対象者における前記行動の有無を最終的に判定する最終判定部とを備える、
行動検知装置。
【請求項2】
対象者の位置を求める第3センサ部をさらに備え、
前記最終判定部は、前記第3センサ部で求めた前記対象者の位置に基づいて前記第1センサ部の第1検知結果および前記第2センサ部の第2検知結果のうちのいずれか一方を選択し、前記選択した一方に基づいて前記対象者における前記行動の有無を最終的に判定する、
請求項1に記載の行動検知装置。
【請求項3】
対象者の位置を求める第3センサ部と、
前記第3センサ部で求めた対象者の位置が、前記第1対象領域に予め設定された特定領域内である場合に、前記第2センサ部をオフに制御するオフ制御部をさらに備える、
請求項1または請求項2に記載の行動検知装置。
【請求項4】
前記送信波は、電磁波である、
請求項1ないし請求項3のいずれか1項に記載の行動検知装置。
【請求項5】
前記最終判定部が前記行動の有りと最終的に判定した場合、前記行動の検知を外部へ通知する通知部をさらに備える、
請求項1ないし請求項4のいずれか1項に記載の行動検知装置。
【請求項6】
所定の第1対象領域を上方から撮像することによって生成された画像に基づいて対象者における所定の行動の有無を検知する第1検知工程と、
前記第1対象領域と異なる領域を含む所定の第2対象領域に、所定波長の送信波を上方から送信することによって得られた前記送信波の反射波に基づいて前記対象者における前記行動の有無を検知する第2検知工程と、
前記第1検知工程の第1検知結果と前記第2検知工程の第2検知結果とに基づいて前記対象者における前記行動の有無を最終的に判定する最終判定工程とを備える、
行動検知方法。
【請求項7】
監視対象である被監視者に対応して設けられ、前記被監視者に関わる所定のイベントを検知するセンサ装置、前記センサ装置と通信可能に接続され、前記センサ装置で検知されて前記センサ装置から受信したイベントを管理する中央処理装置、および、前記中央処理装置と通信可能に接続され前記中央処理装置を介して前記センサ装置で検知されたイベントの通知を受ける端末装置を備え、前記被監視者を監視するための被監視者監視支援システムであって、
前記センサ装置は、前記被監視者を前記対象者とし、前記被監視者に関わる所定のイベントに前記対象者における所定の行動を含み、請求項1ないし請求項5のいずれか1項に記載の行動検知装置を備える、
被監視者監視支援システム。
【請求項8】
前記センサ装置は、前記第1センサ部で生成した画像を記憶する画像情報記憶部と、
前記第1センサ部が前記行動の有りと判定した場合に、前記判定の時点から所定の時間だけ遡った期間に対応する、前記画像情報記憶部に記憶された画像を前記管理サーバ装置へ送信し、前記第2センサ部が前記行動の有りと判定した場合に、前記判定の時点から前記所定の時間だけ遡った前記期間に対応する、前記画像情報記憶部に記憶された画像を前記管理サーバ装置へ送信する画像送信処理部とをさらに備える、
請求項7に記載の被監視者監視支援システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、対象者における所定の行動を検知する行動検知装置および行動検知方法、ならびに、前記行動検知装置を用いた被監視者監視支援システムに関する。
【背景技術】
【0002】
我が国(日本)は、高齢化社会、より詳しくは、高齢化率が26.7%(2015年10月1日現在、内閣府)を超える超高齢化社会になっている。このような高齢化社会では、病気や怪我や高齢等による看護や介護を必要とする要看護者や要介護者等は、高齢化社会ではない通常の社会で生じる要看護者や要介護者等よりもその増加が見込まれる。これら要看護者や要介護者等は、一般的には、病院や、老人福祉施設(日本の法令では老人短期入所施設、養護老人ホームおよび特別養護老人ホーム等)等の施設に入所し、その看護や介護を受ける。このような施設では、看護師や介護士等は、定期的に巡視することによってその安否や様子を確認している。この安否確認の点では、一人暮らしの独居者も前記要看護者や要介護者等と同様である。一方、近年では、独りで移動の困難な者や在宅の療養を希望する者等のために、訪問診療や往診等の在宅医療も要請されている。
【0003】
このような業界では、医療や看護や介護等のサービスを要請する者(サービス受益者)の増加に較べて、前記サービスを提供する者(サービス提供者)の増加が追いつかず、慢性的に人手不足になっている。このため、前記サービスや前記サービスに関連して生じる業務の負担を軽減するため、前記サービスや前記業務を補完する技術が求められている。このような技術の一つとして、例えば特許文献1に開示されたナースコールシステムがある。この特許文献1に開示されたナースコールシステムは、ベッドに設置されて患者が看護師を呼び出すためのナースコール子機と、ナースステーションに設置されて前記ナースコール子機による呼び出しに応答するためのナースコール親機とを有するナースコールシステムであって、ベッド上の患者をベッド上方から撮像するカメラと、前記カメラの撮像映像から、患者が上半身を起こした状態及び患者がベッド上から離れた状態のうち少なくとも一方の発生を判断して注意状態発生信号を出力する状態判断手段とを有し、前記ナースコール親機は、前記注意状態発生信号を受けて報知動作する報知手段を有する。そして、このナースコールシステムは、前記ナースコール子機からの呼び出しに応答するために看護師が携行する携帯端末と、前記注意状態発生信号を受けて、前記カメラの撮像映像を前記携帯端末に送信する通信制御手段とを有する。
【0004】
前記特許文献1に開示されたナースコールシステムは、カメラの映像から、患者が上半身を起こした状態及び患者がベッド上から離れた状態のうち少なくとも一方の発生を判断して注意状態発生信号を出力し、この注意状態発生信号を受けて看護師が携行する携帯端末へ報知する。このため、看護師は、この報知により、患者の注意状態発生を、患者から離れた場所に居ても認識でき、前記特許文献1に開示されたナースコールシステムは、便利である。しかしながら、前記特許文献1では、カメラは、患者のベッド上方から撮像するので、映像の周辺部分では、患者が小さく写ることや、撮像光学系の歪み等により、判定(検知)の精度が低下する虞がある。特に、より広い範囲を撮像するために、撮像光学系に広角レンズや魚眼レンズが用いられると、映像の周辺部分は、より大きく歪んでしまう。また、患者の居室には、例えば衝立やテーブル等の家具が配置されていることもあるため、患者のベッド上方から撮像するカメラには、前記家具によって死角が生じる場合もあり、その死角では、前記判定(検知)ができない。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2014−90913号公報
【発明の概要】
【0006】
本発明は、上述の事情に鑑みて為された発明であり、その目的は、対象者における所定の行動を検知する際の検知精度をより向上できる行動検知装置および行動検知方法、ならびに、前記行動検知装置を用いた被監視者監視支援システムを提供することである。
【0007】
上述した目的を実現するために、本発明の一側面を反映した行動検知装置、行動検知方法および被監視者監視支援システムは、第1対象領域を上方から撮像することによって生成された画像に基づいて対象者における所定の行動の有無を検知し、前記第1対象領域と異なる領域を含む所定の第2対象領域に、送信波を上方から送信することによって得られた前記送信波の反射波に基づいて前記対象者における前記行動の有無を検知し、これら各検知結果に基づいて前記対象者における前記行動の有無を最終的に判定する。
【0008】
発明の1または複数の実施形態により与えられる利点および特徴は、以下に与えられる詳細な説明および添付図面から十分に理解される。これら詳細な説明及び添付図面は、例としてのみ与えられるものであり本発明の限定の定義として意図されるものではない。
【図面の簡単な説明】
【0009】
図1】実施形態における被監視者監視支援システムの構成を示す図である。
図2】前記被監視者監視支援システムにおける、行動検知装置を備えるセンサ装置のセンサ本体部の構成を示す図である。
図3】前記センサ装置の第2センサ部の構成を示す図である。
図4】前記センサ装置の配設態様を説明するために、居室の様子を模式的に示す側面図である。
図5】居室の様子を模式的に示す上面図である。
図6】前記センサ装置の動作を示すフローチャートである。
図7図6に示すフローチャートにおける行動検知処理S12を示すフローチャートである。
図8】前記被監視者監視支援システムにおける携帯端末装置に表示される待受け画面の一例を示す図である。
図9】前記携帯端末装置に表示される監視情報画面の一例を示す図である。
図10】前記携帯端末装置に表示されるナースコール受付画面の一例を示す図である。
【発明を実施するための形態】
【0010】
以下、本発明にかかる実施の一形態を図面に基づいて説明する。しかしながら、発明の範囲は、開示された実施形態に限定されない。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。
【0011】
実施形態における被監視者監視支援システムは、監視すべき(見守るべき)監視対象(見守り対象)である被監視者(見守り対象者、対象者)Obを監視する監視者(ユーザ)の業務を支援するものである。この被監視者監視支援システムは、本実施形態では、被監視者Obに対応して設けられ、被監視者Obに関わる所定のイベントを検知するセンサ装置、前記センサ装置と通信可能に接続され、前記センサ装置で検知されて前記センサ装置から受信したイベントを管理する中央管理装置、および、前記中央管理装置と通信可能に接続され前記中央管理装置を介して前記センサ装置で検知されたイベントの通知を受ける端末装置を備える。そして、本実施形態では、前記センサ装置は、被監視者Obを対象者Obとし、被監視者Obに関わる所定の前記イベントに、対象者Obにおける所定の行動を含み、前記対象者Obにおける所定の行動を検知する行動検知装置を含む。前記端末装置は、1種類の装置であって良いが、本実施形態態では、前記端末装置は、固定端末装置と携帯端末装置との2種類の装置である。これら固定端末装置と携帯端末装置との主な相違は、固定端末装置が固定的に運用される一方、携帯端末装置が例えば看護師や介護士等の監視者(ユーザ)に携行されて運用される点であり、これら固定端末装置と携帯端末装置とは、略同様である。このような被監視者監視支援システムについて、以下、より具体的に説明する。
【0012】
図1は、実施形態における被監視者監視支援システムの構成を示す図である。図2は、前記被監視者監視支援システムにおける、行動検知装置を備えるセンサ装置のセンサ本体部の構成を示す図である。図3は、前記センサ装置の第2センサ部の構成を示す図である。図4は、前記センサ装置の配設態様を説明するために、居室の様子を模式的に示す側面図である。図5は、居室の様子を模式的に示す上面図である。図5では、センサ本体部SUaの第1配置位置P1(x1,y1)を示すために、上面図に投影されたセンサ本体部SUaが破線で示され、第2センサ部RUの第2配置位置P2(x2,y2)を示すために、上面図に投影された第2センサ部RUが破線で示されている。
【0013】
より具体的には、被監視者監視支援システムMSは、例えば、図1に示すように、1または複数のセンサ装置SU(SU−1〜SU−4)と、管理サーバ装置SVと、固定端末装置SPと、1または複数の携帯端末装置TA(TA−1、TA−2)と、構内交換機(PBX、Private branch exchange)CXとを備え、これらは、有線や無線で、LAN(Local Area Network)等の網(ネットワーク、通信回線)NWを介して通信可能に接続される。ネットワークNWは、通信信号を中継する例えばリピーター、ブリッジおよびルーター等の中継機が備えられても良い。図1に示す例では、これら複数のセンサ装置SU−1〜SU−4、管理サーバ装置SV、固定端末装置SP、複数の携帯端末装置TA−1、TA−2および構内交換機CXは、L2スイッチの集線装置(ハブ、HUB)LSaおよびアクセスポイントAPを含む有線および無線の混在したLAN(例えばIEEE802.11やIEEE802.3等のIEEE802シリーズの規格に従ったLAN等)NWによって互いに通信可能に接続されている。より詳しくは、複数のセンサ装置SU−1〜SU−4、管理サーバ装置SV、固定端末装置SPおよび構内交換機CXは、集線装置LSaに接続され、複数の携帯端末装置TA−1、TA−2は、アクセスポイントAPを介して集線装置LSaに接続されている。そして、ネットワークNWは、TCP(Transmission control protocol)およびIP(Internet protocol)等のインターネットプロトコル群が用いられることによっていわゆるイントラネットを構成する。
【0014】
構内交換機(回線切換機)CXは、ネットワークNWに接続され、携帯端末装置TA同士における発信、着信および通話等の内線電話の制御を行って前記携帯端末装置TA同士の内線電話を実施し、そして、例えば固定電話網や携帯電話網等の公衆電話網PNを介して例えば固定電話機や携帯電話機等の外線電話機TLに接続され、外線電話機TLと携帯端末装置TAとの間における発信、着信および通話等の外線電話の制御を行って外線電話機TLと携帯端末装置TAとの間における外線電話を実施するものである。構内交換機CXは、例えば、デジタル交換機や、IP−PBX(Internet Protocol Private Branch eXchange)等である。
【0015】
被監視者監視支援システムMSは、被監視者Obに応じて適宜な場所に配設される。被監視者(見守り対象者、対象者)Obは、本実施形態では、上述のサービス受益者であり、例えば、病気や怪我等によって在宅医療や看護を必要とする者や、身体能力の低下等によって介護を必要とする者や、一人暮らしの独居者等である。特に、早期発見と早期対処とを可能にする観点から、被監視者Obは、例えば異常状態等の所定の不都合な事象がその者に生じた場合にその発見を必要としている者であることが好ましい。このため、被監視者監視支援システムMSは、被監視者Obの種類に応じて、病院、老人福祉施設および住戸等の建物に好適に配設される。図1に示す例では、被監視者監視支援システムMSは、複数の被監視者Obが入居する複数の居室RMや、ナースステーション等の複数の部屋を備える介護施設の建物に配設されている。
【0016】
センサ装置SUは、ネットワークNWを介して他の装置SV、SP、TAと通信する通信機能等を備え、被監視者Obに関わる所定のイベント(事象)を、管理サーバ装置SVへ通知する装置である。前記所定のイベント(事象)は、好適には対処が必要な所定のイベントであり、例えば、本実施形態では、被監視者Obにおける予め設定された所定の行動およびナースコールである。このため、本実施形態では、センサ装置SUは、被監視者Obにおける所定の行動を検知して検知結果を前記所定のイベントの一例として管理サーバ装置SVへ通知(送信)し、ナースコールを受け付けて前記ナースコールを前記所定のイベントの他の一例として管理サーバ装置SVへ通知(送信)し、そして、端末装置SP、TAとの間で音声通話を行う装置である。このようなセンサ装置SUは、例えば、図2ないし図4に示すように、センサ本体部SUaと、第2センサ部RUとを備え、これらセンサ本体部SUaと第2センサ部RUとは、例えばPoE機能付きのL2スイッチである集線装置LS−2を介して通信可能に接続される。PoE(Power over Ethemet)機能は、イーサネットのケーブルを利用して電力を供給する機能である(Ethemet、イーサネットは、登録商標、以下同様)。センサ装置SU、すなわち、センサ本体部SUaおよび第2センサ部RUは、本実施形態では、この集線装置LSbを介して集線装置LSaに接続され、イーサネットのケーブルから電力の供給を受け、稼働する。なお、センサ本体部SUaと第2センサ部RUとは、互いにデータ交換の可能なケーブルで直接的に接続されても良い。
【0017】
センサ本体部SUaは、例えば、図2に示すように、撮像部11と、センサ側音入出力部(SU音入出力部)12と、ナースコール受付操作部13と、センサ側制御処理部(SU制御処理部)14と、センサ側通信インターフェース部(SU通信IF部)15と、センサ側記憶部(SU記憶部)16とを備える。
【0018】
撮像部11は、SU制御処理部14に接続され、SU制御処理部14の制御に従って、画像(画像データ)を生成する装置である。前記画像には、静止画(静止画データ)および動画(動画データ)が含まれる。撮像部11は、監視すべき監視対象である被監視者(対象者)Obが所在を予定している空間(所在空間、図1に示す例では配設場所の居室(部屋)RM)を監視可能に配置され、前記所在空間の一部を第1対象領域としてその上方から撮像し、前記第1対象領域を俯瞰した画像(画像データ)を生成し、前記第1対象領域の画像(対象画像)をSU制御処理部14へ出力する。好ましくは、監視対象の被監視者Ob全体を撮像できる蓋然性が高いことから、前記撮像部は、被監視者Obが横臥する寝具(例えばベッド等)における、被監視者Obの頭部が位置すると予定されている予め設定された頭部予定位置(通常、枕の配設位置)の直上から前記第1対象領域を撮像できるように配設される。センサ本体部SUaは、この撮像部11によって、前記第1対象領域を上方から撮像した画像、好ましくは前記頭部予定位置の直上から撮像した画像を取得する。
【0019】
このような撮像部11は、可視光の画像を生成する装置であって良いが、比較的暗がりでも被監視者Obを監視できるように、本実施形態では、赤外線の画像を生成する装置である。このような撮像部11は、例えば、本実施形態では、赤外の光学像を所定の結像面上に結像する結像光学系、前記結像面に受光面を一致させて配置され、前記赤外の光学像を電気的な信号に変換するエリアイメージセンサ、および、エリアイメージセンサの出力を画像処理することで赤外の画像を表すデータである画像データを生成する画像処理回路等を備えるデジタル赤外線カメラである。この撮像部11の前記結像光学系は、本実施形態では、その配設された居室RM全体を撮像できる画角を持つ広角な光学系(いわゆる広角レンズ(魚眼レンズを含む))であることが好ましい。
【0020】
SU音入出力部12は、音を入出力する回路である。すなわち、SU音入出力部12は、SU制御処理部14に接続され、SU制御処理部14の制御に従って音を表す電気信号に応じた音を生成して出力するための回路であって、外部の音を取得してセンサ装置SUに入力するための回路である。SU音入出力部12は、例えば、音の電気信号(音データ)を音の機械振動信号(音響信号)に変換するスピーカ等と、可聴領域の音の機械振動信号を電気信号に変換するマイクロフォン等とを備えて構成される。SU音入出力部12は、外部の音を表す電気信号をSU制御処理部14へ出力し、また、SU制御処理部14から入力された電気信号を音の機械振動信号に変換して出力する。
【0021】
ナースコール受付操作部13は、SU制御処理部14に接続され、ナースコールを当該センサ本体部SUaに入力するための例えば押しボタン式スイッチ等のスイッチ回路である。なお、ナースコール受付操作部13は、有線でSU制御処理部14に接続されて良く、また、例えばBluetooth(登録商標)規格等の近距離無線通信でSU制御処理部14に接続されて良い。
【0022】
SU通信IF部15は、SU制御処理部14に接続され、SU制御処理部14の制御に従って通信を行うための通信回路である。SU通信IF部15は、SU制御処理部14から入力された転送すべきデータを収容した通信信号を、この被監視者監視支援システムMSのネットワークNWで用いられる通信プロトコルに従って生成し、この生成した通信信号をネットワークNWを介して他の装置SV、SP、TAへ送信する。SU通信IF部15は、ネットワークNWを介して他の装置SV、SP、TAから通信信号を受信し、この受信した通信信号からデータを取り出し、この取り出したデータをSU制御処理部14が処理可能な形式のデータに変換してSU制御処理部14へ出力する。SU通信IF部15は、例えば、IEEE802シリーズの規格等に従った通信インターフェース回路を備えて構成される。
【0023】
SU記憶部16は、SU制御処理部14に接続され、SU制御処理部14の制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、センサ装置SUの各部を当該各部の機能に応じてそれぞれ制御するSU制御プログラムや、被監視者Obに対する監視に関する所定の情報処理を実行するSU監視処理プログラム等の制御処理プログラムが含まれる。前記SU監視処理プログラムには、所定の第1対象領域を撮像部11で上方から撮像することによって生成された画像(対象画像)に基づいて被監視者(対象者)Obにおける所定の行動の有無を検知する第1行動検知処理プログラムや、前記対象画像に基づいて被監視者(対象者)Obの位置を求める位置検出処理プログラムや、第1行動検知処理プログラムの第1検知結果と第2センサ部RUの第2検知結果とに基づいて被監視者(対象者)Obにおける前記行動の有無を最終的に判定し、前記行動有りの判定の場合に、前記行動有りの検知結果を前記所定のイベント(事象)の一例として管理サーバ装置SVへ通知する最終判定プログラムや、ナースコール受付操作部13でナースコールを受け付けた場合にその旨を前記所定のイベントの他の一例として管理サーバ装置SVへ通知し、SU音入出力部12等を用いることで端末装置SP、TAとの間で音声通話を行うナースコール処理プログラムや、撮像部11で生成した動画を、その動画を要求した端末装置SP、TAへストリーミングで配信するSUストリーミング処理プログラム等が含まれる。前記各種の所定のデータには、自機のセンサ装置識別子(センサID)、管理サーバ装置SVの通信アドレス、寝具BDの所在領域、および、自機の位置情報等の、各プログラムを実行する上で必要なデータ等が含まれる。前記センサIDは、センサ装置SUを特定し識別するための識別子である。前記位置情報は、センサ本体部SUaの第1配置位置P1および第2センサ部RUの第2配置位置P2である。SU記憶部16は、例えば不揮発性の記憶素子であるROM(Read Only Memory)や書き換え可能な不揮発性の記憶素子であるEEPROM(Electrically Erasable Programmable Read Only Memory)等を備える。そして、SU記憶部16は、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆるSU制御処理部14のワーキングメモリとなるRAM(Random Access Memory)等を含む。SU記憶部16は、前記位置情報を記憶する位置情報記憶部161を機能的に備える。第1および第2配置位置P1、P2は、例えば、後述の図5に示すように、居室RMの一角(図5に示す例では上面視にて左下角)に座標原点(0、0)を設定し、天井面CE、床面FLおよび天井面CEに平行な仮想的な平面(床面FLに平行な仮想的な平面)のうちのいずれかの平面をxy平面としたxy直交座標系を設定することで、第1および第2配置位置それぞれを前記xy平面上に射影した各位置の各座標値で表すことができる。前記xy直交座標系のx軸は、前記一方向(居室RMの長尺方向)に沿うように設定され、そのy軸は、前記他方向(居室RMの短尺方向)に沿うように設定される。位置情報記憶部161には、このxy直交座標系における第1配置位置P1の座標値(x1、y1)が予め求められて記憶され、このxy直交座標系における第2配置位置P2の座標値(x2、y2)が予め求められて記憶される。第1および第2配置位置P1、P2については、後述する。
【0024】
SU制御処理部14は、センサ本体部SUaの各部を当該各部の機能に応じてそれぞれ制御し、被監視者Obに関わる所定のイベント(事象)を、管理サーバ装置SVへ通知するための回路である。より具体的には、本実施形態では、SU制御処理部14は、被監視者Obにおける所定の行動を検知してその検知結果を前記所定のイベントの一例として管理サーバ装置SVへ通知(報知、送信)し、ナースコールを受け付けてそのナースコールを前記所定のイベントの他の一例として管理サーバ装置SVへ通知(報知、送信)し、端末装置SP、TAとの間で音声通話を行い、動画を含む画像を生成して端末装置SP、TAへ動画を配信する。SU制御処理部14は、例えば、CPU(Central Processing Unit)およびその周辺回路を備えて構成される。SU制御処理部14は、前記制御処理プログラムが実行されることによって、センサ側制御部(SU制御部)141、第1行動検知処理部142、位置検出処理部143、最終判定処理部144、ナースコール処理部146およびセンサ側ストリーミング処理部(SUストリーミング処理部)147を機能的に備える。
【0025】
SU制御部141は、センサ本体部SUaの各部を当該各部の機能に応じてそれぞれ制御し、センサ本体部SUaの全体制御を司るものである。
【0026】
第1行動検知処理部142は、所定の第1対象領域を撮像部11で上方から撮像することによって生成された対象画像に基づいて被監視者(対象者)Obにおける所定の行動の有無を検知し、その第1検知結果を最終判定処理部144へ通知するものである。より具体的には、本実施形態では、被監視者(対象者)Obにおける所定の行動は、被監視者Obが倒れた転倒であり、第1行動検知処理部142は、例えば、撮像部11で撮像した対象画像に基づいて被監視者(対象者)Obの頭部を検出し、この検出した被監視者Obにおける頭部の位置およびその大きさの時間変化に基づいて被監視者Obの転倒を検知する。より詳しくは、まず、寝具BDの所在領域を除く居室RM内における横臥姿勢の頭部の大きさであるか否かを識別するための閾値Thが前記各種の所定のデータの1つとして予めSU記憶部16に記憶される。そして、第1行動検知処理部142は、対象画像から例えば背景差分法やフレーム差分法によって被監視者Obの人物の領域として動体領域を抽出する。次に、第1行動検知処理部142は、この抽出した動体領域から、例えば円形や楕円形のハフ変換によって、また例えば予め用意された頭部のモデルを用いたパターンマッチングによって、また例えば頭部検出用に学習したニューラルネットワークによって、被監視者Obの頭部領域を抽出する。そして、第1行動検知処理部142は、この抽出した頭部の位置および大きさから転倒の有無を検知する。すなわち、第1行動検知処理部142は、この抽出した頭部の位置が寝具BDの所在領域を除く居室RM内であって、前記抽出した頭部の大きさが前記閾値Thを用いることによって或る大きさから横臥姿勢の大きさへ時間変化した場合には、転倒有りと判定し、これを除く場合には転倒無しと判定する。
【0027】
位置検知処理部143は、所定の第1対象領域を撮像部11で上方から撮像することによって生成された前記対象画像に基づいて被監視者(対象者)Obの位置を求め、この求めた被監視者(対象者)Obの位置を最終判定処理部144へ通知するものである。被監視者Obの位置は、その位置を前記xy直交座標系の前記xy平面に射影した位置の座標値で与えられる。より具体的には、例えば、位置検出処理部143は、第1行動検知処理部142と同様に、前記対象画像から被監視者Obの人物の領域として動体領域を抽出し、この抽出した動体領域の重心位置を被監視者(対象者)Obの位置として求める。また例えば、位置検出処理部143は、この抽出した動体領域から、さらに、第1行動検知処理部142と同様に、被監視者Obの頭部領域を抽出し、この頭部領域の重心位置を被監視者(対象者)Obの位置として求める。
【0028】
最終判定処理部144は、第1行動検知処理部142の第1検知結果と第2センサ部RUの第2検知結果とに基づいて被監視者(対象者)Obにおける前記行動の有無を最終的に判定し、前記行動有りの判定の場合に、前記行動有りの検知結果を前記所定のイベント(事象)の一例として管理サーバ装置SVへ通知するものである。より具体的には、本実施形態では、最終判定処理部144は、位置検出処理部143で求めた被監視者(対象者)Obの位置に基づいて第1行動検知処理部142の第1検知結果および第2センサ部RUの第2検知結果のうちのいずれか一方を選択し、この選択した一方に基づいて被監視者(対象者)Obにおける前記行動の有無を最終的に判定する。より詳しくは、最終判定処理部144は、位置検出処理部143で求めた前記被監視者(対象者)Obの位置とSU記憶部16の位置情報記憶部161に記憶された第1および第2配置位置それぞれとを比較し、この比較の結果、位置検出処理部143で求めた前記被監視者Obの位置が第2配置位置より第1配置位置に近い場合、第1行動検知処理部142の第1検知結果を選択し、この選択した前記第1検知結果に基づいて被監視者Obにおける前記行動の有無(本実施形態では転倒の有無)を最終的に判定し、前記比較の結果、位置検出処理部143で求めた被監視者Obの位置が第1配置位置より第2配置位置に近い場合、第2センサ部RUの第2検知結果を選択し、この選択した前記第2検知結果に基づいて前記対象者における前記行動の有無(本実施形態では転倒の有無)を最終的に判定する。
【0029】
そして、最終的な判定の結果、前記行動有り(本実施形態では転倒有り)の場合、最終判定処理部144は、被監視者Obに関わる所定のイベント(事象)の内容を表すイベント情報(事象情報)を収容した、前記イベントを通知するための第1イベント通知通信信号をSU通信IF部15で管理サーバ装置SVへ通知する。より詳しくは、最終判定処理部144は、自機のセンサID、前記イベントの内容を表すイベント情報、前記所定の行動の検知に用いられた対象画像を収容した通信信号(第1イベント通知通信信号)を、SU通信IF部15を介して管理サーバ装置SVへ送信する。前記イベント情報は、本実施形態では、転倒およびナースコール(NC)のうちの1または複数であり、ここでは、最終判定処理部144は、検知した転倒を前記イベント情報として第1イベント通知通信信号に収容する。前記所定の行動の検知に用いられた対象画像は、第1検知結果によって、または、第1および第2検知結果によって(すなわち、少なくとも第1検知結果によって)、最終的に前記行動有りと判定された場合には、当該第1検知結果を求める処理で用いられた対象画像そのものであり、第2検知結果によって最終的に前記行動有りと判定された場合には、当該第2検知結果に同期した第1検知結果を求める処理で用いられた対象画像である。また、前記対象画像は、静止画および動画のうちの少なくとも一方であって良く、本実施形態では、まず、静止画が報知され、ユーザの要求に応じて動画が配信される。なお、まず、動画が配信されても良く、また、静止画および動画が送信され、画面分割で静止画および動画が端末装置SP、TAに表示されても良い。なお、第1イベント通知通信信号には、前記所定の行動やナースコールの検知時刻がさらに収容されても良い。
【0030】
ナースコール処理部146は、ナースコール受付操作部13でナースコールを受け付けた場合にその旨を前記所定のイベントの他の一例として収容した第1イベント通知通信信号を管理サーバ装置SVへ通知し、SU音入出力部12等を用いることで端末装置SP、TAとの間で音声通話を行うものである。より具体的には、ナースコール処理部146は、ナースコール受付操作部13が入力操作されると、自機のセンサIDおよび前記イベント情報としてナースコールを収容した第1イベント通知通信信号をSU通信IF部15を介して管理サーバ装置SVへ送信する。そして、ナースコール処理部146は、SU音入出力部12等を用い、端末装置SP、TAとの間で例えばVoIP(Voice over Internet Protocol)によって音声通話を行う。
【0031】
SUストリーミング処理部147は、通信IF部3を介して固定端末装置SPまたは携帯端末装置TAから動画の配信の要求があった場合に、この要求のあった固定端末装置SPまたは携帯端末装置TAへ、撮像部11で生成した動画(例えばライブの動画)をストリーミング再生でSU通信IF部15を介して配信するものである。
【0032】
第2センサ部RUは、前記所在空間において、前記第1対象領域と異なる領域を含む所定の第2対象領域に、所定波長の送信波を上方から送信することによって得られた前記送信波の反射波に基づいて前記被監視者(前記対象者)Obにおける前記行動の有無を検知する装置である。第2センサ部RUは、例えば、図3に示すように、送受信部41と、第2センサ部側制御処理部(RU制御処理部)42と、第2センサ部側通信インターフェース部(RU通信IF部)43と、第2センサ部側記憶部(RU記憶部)44とを備える。
【0033】
送受信部41は、SU制御処理部14に接続され、SU制御処理部14の制御に従って、所定波長の送信波を送信し、この送信波の送信によって得られた前記送信波の反射波を受信する回路である。前記送信波は、例えば超音波等の音波であって良いが、本実施形態では、透過性の観点から、電磁波である。より具体的には、いわゆる移動体検知センサ用バンドと呼ばれる10.5GHz帯または24GHz帯のマイクロ波である。送受信部41は、前記受信した反射波の電気信号をRU制御処理部42へ出力する。
【0034】
RU通信IF部43は、SU通信IF部15と同様に、RU制御処理部42に接続され、RU制御処理部42の制御に従って通信を行うための通信回路である。
【0035】
RU記憶部16は、RU制御処理部42に接続され、RU制御処理部42の制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、第2センサ部RUの各部を当該各部の機能に応じてそれぞれ制御するRU制御プログラムや、前記第2対象領域に、送受信部41で所定波長の送信波を上方から送信することによって得られた前記送信波の反射波に基づいて前記被監視者(前記対象者)Obにおける前記行動の有無を検知する第2行動検知処理プログラム等の制御処理プログラムが含まれる。前記各種の所定のデータには、センサ本体部SUaの通信アドレス等の、各プログラムを実行する上で必要なデータ等が含まれる。RU記憶部44は、例えばROMやEEPROMやRAM等を備える。
【0036】
RU制御処理部42は、第2センサ部RUの各部を当該各部の機能に応じてそれぞれ制御し、前記送信波の反射波に基づいて前記被監視者(前記対象者)Obにおける前記行動の有無を検知し、その第2検知結果をセンサ本体部SUaへ送信するための回路である。RU制御処理部42は、例えば、CPUおよびその周辺回路を備えて構成される。RU制御処理部42は、前記制御処理プログラムが実行されることによって、第2センサ部側制御部(RU制御部)421および第2行動検知処理部422を機能的に備える。
【0037】
RU制御部421は、第2センサ部RUの各部を当該各部の機能に応じてそれぞれ制御し、第2センサ部RUの全体制御を司るものである。
【0038】
第2行動検知処理部422は、前記第2対象領域に、送受信部41で所定波長の送信波を上方から送信することによって得られた前記送信波の反射波に基づいて前記被監視者(前記対象者)Obにおける前記行動の有無を検知し、その第2検知結果をセンサ本体部SUaへ送信するものである。より具体的には、本実施形態では、被監視者(対象者)Obにおける所定の行動は、上述したように、被監視者Obが倒れた転倒であり、第2行動検知処理部422は、例えば、送受信部41による送信波の送信およびその反射波の受信に基づいて前記送信波の送信方向で対向する物体までの距離を求め、この距離の時間変化に基づいて被監視者Obの転倒を検知する。より詳しくは、まず、被監視者Obが第2対象領域に居るか否かを判定するための存否判定閾値Ths、および、被監視者Obが転倒しているか否かを判定するための転倒判定閾値Thtが前記各種の所定のデータの1つとして予めRU記憶部44に記憶される。これら存否判定閾値Thsおよび転倒判定閾値Thtとは、例えば、被監視者Obの身長等を考慮して、適宜に設定される。例えば、存否判定閾値Thは、第2対象領域において、送受信部11の配設位置(第2センサ部RUの配設位置)から、被監視者Obの胸部位置までの距離に設定され、転倒判定閾値Thtは、第2対象領域において、送受信部11の配設位置(第2センサ部RUの配設位置)から、被監視者Obの腰位置までの距離に設定される。また例えば、存否判定閾値Thは、第2対象領域において、送受信部11の配設位置(第2センサ部RUの配設位置)から、被監視者Obの身長の2/3までの距離に設定され、転倒判定閾値Thtは、第2対象領域において、送受信部11の配設位置(第2センサ部RUの配設位置)から、被監視者Obの1/3までの距離(高さ)に設定される。なお、被監視者Obに代え、人の平均的な胸部位置および腰部位置や、平均身長が用いられても良い。そして、第2行動検知処理部422は、予め設定された所定の時間間隔で、送受信部41による送信波の送信およびその反射波の受信に基づいて前記送信波の送信方向で対向する物体までの距離を求め、この求めた距離が存否判定閾値Ths以下になると、前記物体を被監視者Obとみなして被監視者Obが第2対象領域に居ると判定し、前記距離が存否判定閾値Ths以下である状態が、予め設定された第1期間(例えば、2秒や3秒等)以上継続した後に、予め設定された第2期間以内(例えば、1秒以内や2秒以内等)に前記距離が転倒判定閾値Tht以上になった場合、転倒有りと判定し、これを除く場合には転倒無しと判定する。
【0039】
送受信部41による送信波の送信およびその反射波の受信に基づいて前記送信波の送信方向で対向する物体までの距離を求める手法には、本実施形態では、いわゆるFMCW(Frequency Modulated Continuous Wave)法(周波数変調連続波法)が用いられる。このFMCW法は、周波数変調された連続波を送信波として使用し、時間遅れで受信される受信波(反射波)と送信波との周波数差(ビート周波数)から前記物体までの距離を求める方法である。周波数変移△F、変調周期T、周波数差(ビート周波数)fbおよび送信波の伝播速度cとすると、前記距離R=(fb×T×c)/(2×△F)となる。したがって、本実施形態では、送受信部41および第2行動検知処理部422からいわゆるFMCWレーダが構成されている。
【0040】
そして、このようなセンサ本体部SUaおよび第2センサ部RUを備えるセンサ装置SUでは、センサ本体部SUaと第2センサ部RUとは、互いに同期して第1および第2検知結果を得て、第2センサ部RUは、第2検知結果をセンサ本体部SUaへ送信する。この同期は、例えば、センサ本体部SUaから第2センサ部RUへ、検知のタイミングごとに、当該検知のタイミングを通知する通信信号(タイミング同期信号)を送信することによって実施できる。また例えば、前記同期は、センサ本体部SUaおよび第2センサ部RUそれぞれに、検知のタイミングの周期でトリガーを生成するトリガー回路を備え、最初の検知のタイミングでセンサ本体部SUaから第2センサ部RUへ前記トリガーの生成のタイミングを合わせる通信信号(トリガー同期信号)を送信することによって実施できる。
【0041】
ここで、前記所在空間における、センサ本体部SUaの検知範囲である第1対象領域、および、第2センサ部RUの検知範囲である第2対象領域について、説明する。
【0042】
前記所在空間は、本実施形態では、被監視者(対象者)Obの居室RMであり、居室RMの一例が図4および図5に示されている。この図4および図5に示す例では、居室RMは、一方向に比較的長い所在空間(床面が一方向に比較的長い長方形)を形成している。居室RMの一方端壁面には、一方側壁寄りに出入り口ドアDRが配設され、他方側壁寄りに洗面台WSが配設されている。居室RMの中央位置より前記一方端壁面寄りに他方側壁面に沿って寝具(ここではベッド)BDが配設されている。そして、居室RMの他方壁面側には、カーテンCTで仕切られたトイレスペースLAが形成され、トイレBEが他方側壁面に寄りに配設されている。
【0043】
このような居室RMにセンサ装置SUを配設する場合、撮像部11は、上述したように、頭部予定位置(枕PCの配置位置)の直上における天井CEに配設されることが好ましい。図4および図5に示す例では、撮像部11は、寝具BDあたりを好適に監視できるように、前記一方向(居室RMの長尺方向)では寝具BDの中央位置P1であって、前記一方向に直交する他方向(居室RMの短尺方向)では居室RMの中央位置P1における天井CEに配設されている。撮像部11は、このような第1配置位置P1(x1、y1)に配置され、適度な画角を持つ撮像光学系を用いることによって、カーテンCTがなければ、居室RM全体をカバーし、居室RM全体の対象画像を生成することは可能である。しかしながら、この場合では、撮像部11の前記撮像光学系は、比較的画角の広い(大きい)広角レンズや魚眼レンズとなる。このため、上述したように、映像の周辺部分では、被写体が小さく写ることや、撮像光学系の歪み等により、判定(検知)の精度が低下する虞がある。特に、居室RMが長尺方向の長さが短尺方向の長さの2倍以上のような比較的一方向に長い場合、画角のより広いレンズが必要となり、判定(検知)の精度がより低下する。また、図4および図5に示す例では、居室RMに仕切り用のカーテンCTが配設されているため、図4に示すように、撮像部11の視野は、カーテンCTで遮られてしまい、この結果、撮像部11は、カーテンCTによって仕切られたトイレスペースLAをカバーできず、撮像部11にとってトイレスペースLAは、死角となってしまう。その死角では、センサ本体部SUaは、前記判定(検知)ができない。そこで、本実施形態では、撮像部11の死角をカバーするために、センサ装置SUは、第2センサ部RUを備えている。この第2センサ部RUは、撮像部11の死角であるトイレスペースLAを好適に監視できるように、前記一方向(居室RMの長尺方向)ではトイレスペースLAの中央位置P2であって、前記一方向に直交する他方向(居室RMの短尺方向)では居室RMの中央位置P2における天井CEに配設されている。第2センサ部RUは、このような第2配置位置P2(x2、y2)に配置され、撮像部11の死角をカバーしている。
【0044】
上述から分かるように、撮像部11は、居室RM(所在空間)のうち、前記一方向では一方壁面からカーテンCTまでであって前記他方向では一方側壁面から他方側壁面までの領域を第1対象領域AR1として、被監視者(対象者)Obにおける所定の行動(本実施形態では転倒)を検知している。これに対し、第2センサ部RUの第2対象領域は、この第1対象領域AR1と互いに重複する重複領域を含まないように、第1対象領域AR1と互いに接するように設定されて良い。すなわち、第2センサ部RUは、居室RM(所在空間)のうち、前記一方向ではカーテンCTから他方壁面までであって前記他方向では一方側壁面から他方側壁面までの領域を第2対象領域として、被監視者Obにおける前記所定の行動を検知して良い。図4および図5に示す本実施形態の例では、第2センサ部RUの第2対象領域AR2は、第1対象領域AR1と互いに重複する重複領域AR12を含むように、第1対象領域AR1の他方壁面側に設定されている。すなわち、第2センサ部RUは、居室RM(所在空間)のうち、前記一方向ではカーテンCTの位置から前記一方壁面に所定長だけ寄った位置から他方壁面までであって前記他方向では一方側壁面から他方側壁面までの領域を第2対象領域AR2として、被監視者Obにおける前記所定の行動を検知している。本実施形態では、第2センサ部RUの送信波は、電磁波であるので、カーテンCTを越えて第2対象領域AR2を設定できる。このように重複領域AR12を設けることにより、撮像部11で撮像される周辺領域を第2センサ部RUでカバーでき、第2センサ部RUによって、前記周辺領域に対するセンサ本体部SUaの検知精度を補償できる。
【0045】
このように第1および第2対象領域AR1、ARが設定され、センサ本体部SUaの撮像部11および第2センサ部RUによって居室RM(所在空間)全体がカバーされ、被監視者Obにおける所定の行動が検知されている。
【0046】
図1には、一例として、第1ないし第4センサ装置SU−1〜SU−4が示されており、第1センサ装置SU−1は、被監視者Obの一人であるAさんOb−1の居室RM−1(不図示)に配設され、第2センサ装置SU−2は、被監視者Obの一人であるBさんOb−2の居室RM−2(不図示)に配設され、第3センサ装置SU−3は、被監視者Obの一人であるCさんOb−3の居室RM−3(不図示)に配設され、そして、第4センサ装置SU−4は、被監視者Obの一人であるDさんOb−4の居室RM−4(不図示)に配設されている。
【0047】
管理サーバ装置SVは、ネットワークNWを介して他の装置SU、TA、SPと通信する通信機能を備え、センサ装置SUから前記第1イベント通知通信信号で前記所定のイベントの通知を受けると、被監視者Obに対する監視に関する情報(監視情報)を管理し、前記所定のイベントを第2イベント通知通信信号で所定の端末装置SP、TAへ通知(再通知、報知、送信)し、クライアント(本実施形態では端末装置SP、TA等)の要求に応じたデータを前記クライアントに提供し、被監視者監視システムMS全体を管理する装置である。前記監視情報は、本実施形態では、例えば、前記第1イベント通知通信信号の送信元であるセンサ装置SUのセンサID、前記所定のイベント(センサ装置SUで検知した所定の行動の種類やセンサ装置SUで受け付けたナースコール)、被監視者Obの画像、および、前記通知を受けた時刻(通知時刻)等であり、これらは、互いに対応付けられて記憶(記録、管理)される。前記第2イベント通知通信信号には、これら監視情報が収容される。前記第2イベント通知通信信号は、例えば同報通信(ブロードキャストやマルチキャスト)で送信されて良く、また例えば、前記第1イベント通知通信信号の送信元であるセンサ装置SUに対応付けられた1または複数の端末装置SP、TAに送信されて良い。このような管理サーバ装置SVは、例えば、通信機能付きのコンピュータによって構成可能である。
【0048】
固定端末装置SPは、ネットワークNWを介して他の装置SU、SV、TAと通信する通信機能、所定の情報を表示する表示機能、および、所定の指示やデータを入力する入力機能等を備え、管理サーバ装置SVや携帯端末装置TAに与える所定の指示やデータを入力したり、管理サーバ装置SVからの通知によってセンサ装置SUで得られた前記監視情報を表示したり等することによって、被監視者監視支援システムMSのユーザインターフェース(UI)として機能する機器である。このような固定端末装置SPは、例えば、通信機能付きのコンピュータによって構成可能である。
【0049】
携帯端末装置TAは、ネットワークNWを介して他の装置SV、SP、SUと通信する通信機能、所定の情報を表示する表示機能、所定の指示やデータを入力する入力機能、および、音声通話を行う通話機能等を備え、管理サーバ装置SVやセンサ装置SUに与える所定の指示やデータを入力したり、管理サーバ装置SVからの通知によってセンサ装置SUで得られた前記監視情報を表示したり、センサ装置SUとの間で音声通話によってナースコールの応答や声かけしたり等するための機器である。このような携帯端末装置TAは、例えば、いわゆるタブレット型コンピュータやスマートフォンや携帯電話機等の、持ち運び可能な通信端末装置によって構成可能である。
【0050】
ここで、センサ装置SUは、対象者(被監視者)Obにおける、予め設定された所定の行動の有無を検知する行動検知装置を含む。撮像部11、SU制御処理部14におけるSU制御部141、第1行動検知処理部142、位置検出処理部143および最終判定処理部144、SU通信IF部15、SU記憶部16、ならびに、第2センサ部RUは、前記行動検知装置の一例に相当する。なお、撮像部11、SU制御処理部14におけるSU制御部141、第1行動検知処理部142、位置検出処理部143および最終判定処理部144、SU通信IF部15およびSU記憶部16は、行動検知本体部MDaを構成する。本実施形態では、この行動検知本体部MDaと第2センサ部RUとで、前記行動検知装置の一例が構成される。これら撮像部11、SU制御部141および第1行動検知処理部142は、所定の第1対象領域を上方から撮像することによって生成された画像に基づいて対象者における所定の行動の有無を検知する第1センサ部の一例に相当する。第2センサ部RUは、前記第1対象領域と異なる領域を含む所定の第2対象領域に、所定波長の送信波を上方から送信することによって得られた前記送信波の反射波に基づいて前記対象者における前記行動の有無を検知する第2センサ部の一例に相当する。最終判定処理部144は、前記第1センサ部の第1検知結果と前記第2センサ部の第2検知結果とに基づいて前記対象者における前記行動の有無を最終的に判定する最終判定部の一例に相当する。撮像部11、SU制御部141および位置検出処理部143は、対象者の位置を求める第3センサ部の一例に相当する。
【0051】
次に、本実施形態の動作について説明する。図6は、前記センサ装置の動作を示すフローチャートである。図7は、図6に示すフローチャートにおける行動検知処理S12を示すフローチャートである。図8は、前記被監視者監視支援システムにおける携帯端末装置に表示される待受け画面の一例を示す図である。図9は、前記携帯端末装置に表示される監視情報画面の一例を示す図である。図10は、前記携帯端末装置に表示されるナースコール受付画面の一例を示す図である。
【0052】
上記構成の被監視者監視支援システムMSでは、各装置SU(SUa、RU)、SV、SP、TAは、電源が投入されると、必要な各部の初期化を実行し、その稼働を始める。センサ装置SUにおいて、センサ本体部SUaでは、その制御処理プログラムの実行によって、SU制御処理部14には、SU制御部141、第1行動検知処理部142、位置検出処理部143、最終判定処理部144、ナースコール処理部146およびSUストリーミング処理部147が機能的に構成され、第2センサ部RUでは、その制御処理プログラムの実行によって、RU制御処理部42には、RU制御部421および第2行動検知処理部422が機能的に構成される。
【0053】
センサ装置SUは、所定のサンプリング間隔で、例えば各フレームごとに、あるいは、数フレームおきに、次のように動作することで、被監視者Obにおける所定の動作(本実施形態では転倒)の有無を検知し、ナースコールの受付の有無を判定している。
【0054】
図6において、まず、センサ本体部SUaは、SU制御処理部14の最終判定処理部144によって、その第1行動検知処理部142から第1検知結果を取得し、第2センサ部RUから第2行動検知処理部422の第2検知結果を取得し、位置検出処理部143から被監視者(対象者)Obの位置を取得する(S11)。
【0055】
より具体的には、センサ本体部SUaは、まず、SU制御処理部14のSU制御部141によって、撮像部11から1フレーム分の画像(画像データ)を前記対象画像として取得する。次に、センサ本体部SUaは、第1行動検知処理部142によって、この取得した対象画像に基づいて被監視者Obにおける所定の行動(本実施形態では転倒)の有無を検知する。そして、この検知の結果、行動有り(ここでは転倒有り)が検知された場合には、第1行動検知処理部142は、前記行動有りの第1検知結果を最終判定処理部144へ通知する。一方、前記検知の結果、行動無し(ここでは転倒無し)が検知された場合には、第1行動検知処理部142は、前記行動無しの第1検知結果を最終判定処理部144へ通知する。
【0056】
一方、第2センサ部RUは、このセンサ本体部SUaの第1検知結果の生成に同期して、RU制御処理部42の第2行動検知処理部422によって、送受信部41による送信波の送信およびその反射波の受信に基づいて前記被監視者Obにおける前記所定の行動(本実施形態では転倒)の有無を検知する。そして、この検知の結果、行動有り(ここでは転倒有り)が検知された場合には、第2行動検知処理部422は、前記行動有りの第2検知結果をセンサ本体部SUaへ送信し、最終判定処理部144へ通知する。一方、前記検知の結果、行動無し(ここでは転倒無し)が検知された場合には、第2行動検知処理部422は、前記行動無しの第2検知結果をセンサ本体部SUaへ送信し、最終判定処理部144へ通知する。
【0057】
一方、センサ本体部SUaは、位置検出処理部143によって、前記取得した対象画像に基づいて被監視者Obの位置を求め、この求めた被監視者(対象者)Obの位置を最終判定処理部144へ通知する。このように位置検出処理部143は、上述の第1行動検知処理部142で用いた対象画像に基づいて被監視者Obの位置を求めることで、第1行動検知処理部142と同期できる。
【0058】
次に、センサ本体部SUaは、最終判定処理部144によって、第1行動検知処理部142の第1検知結果と第2センサ部RUの第2検知結果と位置検出処理部143による被監視者Obの位置に基づいて前記被監視者Obにおける前記行動の有無を最終的に判定する行動検知処理を実行する(S12)。
【0059】
この行動検知処理では、より詳しくは、次のように各処理が実行される。図7において、最終判定処理部144は、まず、処理S11で取得した第1検知結果が行動有りか否かを判定する(S121)。この判定の結果、第1検知結果が前記行動有りである場合(Yes)には、最終判定処理部144は、次に処理S122を実行し、一方、前記判定の結果、第1検知結果が前記行動有りではない場合(すなわち、第1検知結果が前記行動無しである場合、No)には、最終判定処理部144は、次に処理S125を実行する。
【0060】
この処理S122では、最終判定処理部144は、処理S11で取得した第2検知結果が前記行動有りか否かを判定する。この判定の結果、第2検知結果が前記行動有りである場合(Yes)には、最終判定処理部144は、次に処理S124を実行し、一方、前記判定の結果、第2検知結果が前記行動有りではない場合(すなわち、第2検知結果が前記行動無しである場合、No)には、最終判定処理部144は、次に処理S123を実行する。
【0061】
この処理S123では、最終判定処理部144は、被監視者(対象者)Obの位置がセンサ本体部SUaより第2センサ部RUに近いか否かを判定する。より具体的には、最終判定処理部144は、前記取得した前記被監視者(対象者)Obの位置とSU記憶部16の位置情報記憶部161に記憶された第1および第2配置位置P1、P2それぞれとを比較する。この比較の結果、前記取得した前記被監視者Obの位置が第2配置位置P2より第1配置位置P1に近い場合、最終判定処理部144は、被監視者(対象者)Obの位置がセンサ本体部SUaより第2センサ部RUに近くないと判定し(No)、次に、処理S124を実行する。一方、比較の結果、前記取得した前記被監視者Obの位置が第1配置位置P1より第2配置位置P2に近い場合、最終判定処理部144は、被監視者(対象者)Obの位置がセンサ本体部SUaより第2センサ部RUに近いと判定し(Yes)、次に、処理S127を実行する。なお、この処理S123において、前記対象画像から動体領域が検出されない場合も、前記被監視者Obの位置が第1配置位置P1より第2配置位置P2に近い場合とみなす。あるいは、被監視者Obが第2対象領域AR2に居る場合には前記被監視者Obの位置が第1配置位置P1より第2配置位置P2に近くなるように第1および第2対象領域AR1、AR2が設定されている場合には、第2センサ部RUによる存否判定閾値Thsによる判定結果が用いられ、前記判定結果により、被監視者Obが第2対象領域AR2に居る場合には前記被監視者Obの位置が第1配置位置P1より第2配置位置P2に近い場合とみなしても良い。
【0062】
前記処理S125では、最終判定処理部144は、処理S11で取得した第2検知結果が前記行動有りか否かを判定する。この判定の結果、第2検知結果が前記行動有りである場合(Yes)には、最終判定処理部144は、次に処理S126を実行し、一方、前記判定の結果、第2検知結果が前記行動有りではない場合(すなわち、第2検知結果が前記行動無しである場合、No)には、最終判定処理部144は、次に処理S127を実行する。
【0063】
この処理S126では、最終判定処理部144は、被監視者(対象者)Obの位置が第2センサ部RUよりセンサ本体部SUaに近いか否かを判定する。より具体的には、最終判定処理部144は、前記取得した前記被監視者(対象者)Obの位置とSU記憶部16の位置情報記憶部161に記憶された第1および第2配置位置P1、P2それぞれとを比較する。この比較の結果、前記取得した前記被監視者Obの位置が第2配置位置P2より第1配置位置P1に近い場合、最終判定処理部144は、被監視者(対象者)Obの位置が第2センサ部RUよりセンサ本体部SUaに近いと判定し(Yes)、次に、処理S127を実行する。一方、比較の結果、前記取得した前記被監視者Obの位置が第1配置位置P1より第2配置位置P2に近い場合、最終判定処理部144は、被監視者(対象者)Obの位置が第2センサ部RUよりセンサ本体部SUaに近くないと判定し(No)、次に、処理S124を実行する。なお、この処理S126において、前記対象画像から動体領域が検出されない場合も、前記被監視者Obの位置が第1配置位置P1より第2配置位置P2に近い場合とみなす。あるいは、上述のように第2センサ部RUによる存否判定閾値Thsによる判定結果が用いられても良い。
【0064】
前記処理S124では、最終判定処理部144は、前記行動有りを最終的に判定し(前記行動有りを最終的な検知結果とし)、本行動検知処理S12を終了し、次に、処理S13を実行する。すなわち、第1および第2検知結果が共に前記行動有りである第1ケース(処理S121から処理S122を介して処理S124に至る第1ケース)では、この処理S124が実行され、第1および第2検知結果に齟齬がないので、最終判定処理部144は、前記行動有りを最終的な検知結果とする。第1検知結果が前記行動有りである一方、第2検知結果が前記行動無しであるが、被監視者Obが相対的にセンサ本体部SUaの近く居る第2ケース(処理S121から処理S122および処理S123を介して処理S124に至る第2ケース)では、距離的に被監視者Obに相対的に近いセンサ本体部SUaの第1検知結果が優先され、距離的に被監視者Obから相対的に遠い第2センサ部RUの第2検知結果が誤報と判断され、最終判定処理部144は、前記第1検知結果の前記行動有りを最終的な検知結果とする。第1検知結果が前記行動無しである一方、第2検知結果が前記行動有りであるが、被監視者Obが相対的に第2センサ部RUの近く居る第3ケース(センサ本体部SUaの撮像部11の死角で被監視者Obが撮像部11に撮像されない場合を含む。処理S121から処理S125および処理S126を介して処理S124に至る第2ケース)では、距離的に被監視者Obに相対的に近い第2センサ部RUの第2検知結果が優先され、距離的に被監視者Obから相対的に遠いセンサ本体部SUaの第1検知結果が誤報と判断され、最終判定処理部144は、前記第2検知結果の前記行動有りを最終的な検知結果とする。
【0065】
前記処理S127では、最終判定処理部144は、前記行動無しを最終的に判定し(前記行動無しを最終的な検知結果とし)、本行動検知処理S12を終了し、次に、処理S13を実行する。すなわち、第1および第2検知結果が共に前記行動無しである第4ケース(処理S121から処理S125を介して処理S127に至る第4ケース)では、この処理S127が実行され、第1および第2検知結果に齟齬がないので、最終判定処理部144は、前記行動無しを最終的な検知結果とする。第1検知結果が前記行動有りである一方、第2検知結果が前記行動無しであるが、被監視者Obが相対的に第2センサ部RUの近く居る第5ケース(処理S121から処理S122および処理S123を介して処理S127に至る第5ケース)では、距離的に被監視者Obに相対的に近い第2センサ部RUの第2検知結果が優先され、距離的に被監視者Obから相対的に遠いセンサ本体部SUaの第1検知結果が誤報と判断され、最終判定処理部144は、前記第2検知結果の前記行動無しを最終的な検知結果とする。第1検知結果が前記行動無しである一方、第2検知結果が前記行動有りであるが、被監視者Obが相対的にセンサ本体部SUaの近く居る第6ケース(処理S121から処理S125および処理S126を介して処理S127に至る第6ケース)では、距離的に被監視者Obに相対的に近いセンサ本体部SUaの第1検知結果が優先され、距離的に被監視者Obから相対的に遠い第2センサ部RUの第2検知結果が誤報と判断され、最終判定処理部144は、前記第1検知結果の前記行動無しを最終的な検知結果とする。
【0066】
図6に戻って、処理S13では、センサ装置SUは、最終判定処理部144によって、前記行動検知処理S12で被監視者Obにおける所定の行動が検知されたか否かを判定する。この判定の結果、最終的に前記行動無しと判定され、前記行動が検知されていない場合(No)には、センサ装置SUは、次に、処理S15を実行し、一方、最終的に前記行動有りと判定され、前記行動が検知されている場合(Yes)には、センサ装置SUは、次の処理S14を実行した後に、処理S15を実行する。
【0067】
この処理S14では、処理S12および処理S13で最終的に検知した所定の行動を、管理サーバ装置SVを介して所定の端末装置SP、TAへ通知するために、センサ装置SUは、最終判定処理部144によって、前記所定のイベントとして前記所定の行動の検知に関する第1イベント通知通信信号を管理サーバ装置SVへ送信する。より具体的には、最終判定処理部144は、自機のセンサID、前記所定のイベント情報(ここでは転倒)および前記イベントに関わる対象画像を収容した第1イベント通知通信信号を、SU通信IF部15を介して管理サーバ装置SVへ送信する。
【0068】
前記処理S15では、センサ装置SUは、ナースコール処理部146によって、ナースコールを受け付けているか否かを判定する。すなわち、図6に示す処理S11ないし処理S16は、前記所定のサンプリング間隔で繰り返し実行されるが、前回における処理S15の実行から今般における処理S15の実行までの間に、ナースコール受付操作部13が操作されたか否かが判定される。この判定の結果、ナースコール受付操作部13が操作されず、ナースコールを受け付けていない場合(No)には、センサ装置SUは、今回の本処理を終了し、一方、ナースコール受付操作部13が操作され、ナースコールを受け付けている場合(Yes)には、センサ装置SUは、次の処理S16を実行した後に、今回の本処理を終了する。
【0069】
この処理S16では、処理S15でその受付が判明したナースコールを管理サーバ装置SVを介して所定の端末装置SP、TAへ通知するために、センサ装置SUは、ナースコール処理部146によって、ナースコールに関する第1イベント通知通信信号を管理サーバ装置SVへ送信する。より具体的には、ナースコール処理部146は、自機のセンサIDおよび前記所定のイベント情報(ここではナースコール)を収容した第1イベント通知通信信号を、SU通信IF部15を介して管理サーバ装置SVへ送信する。
【0070】
被監視者Obにおける所定の行動の検知およびナースコールの受付の検知それぞれに関し、センサ装置SUは、以上のように動作している。
【0071】
管理サーバ装置SVは、第1イベント通知通信信号をネットワークNWを介してセンサ装置SUから受信すると、監視情報の処理を実行する。より具体的には、管理サーバ装置SVは、まず、この受信した第1イベント通知通信信号に収容されたセンサIDおよびイベント情報等の各情報を、このセンサIDを持つセンサ装置SUで監視されている被監視者Obの監視情報として記憶(記録)する。そして、管理サーバ装置SVは、例えば同報通信で、第2イベント通知通信信号を送信する。あるいは、管理サーバ装置SVは、前記受信した第1イベント通知通信信号における送信元(通知元)のセンサ装置SUに対応する通知先の端末装置SP、TAを特定し、この通知先の端末装置SP、TAへ第2イベント通知通信信号を送信しても良い。
【0072】
固定端末装置SPおよび携帯端末装置TAは、前記第2イベント通知通信信号をネットワークNWを介して管理サーバ装置SVから受信すると、位置検出この第2イベント通知通信信号に収容されたセンサIDおよびイベント情報等の各情報を、このセンサIDを持つセンサ装置SUで監視されている被監視者Obの監視情報として記憶(記録)し、前記監視情報を表示する。
【0073】
より具体的には、代表的に、携帯端末装置TAの動作について説明すると、上述したように、電源が投入され、その稼働を始めると、携帯端末装置TAでは、例えば看護師や介護士等の監視者(ユーザ)によるログイン操作が受け付けられ、自機宛の通信信号を待ち受ける待受け画面が表示される。この待受け画面51は、例えば、図8に示すように、メニューバーを表示するメニューバー領域511と、待ち受け中であることを表すメッセージ(例えば「通知はありません」)およびアイコンを表示する待受けメイン領域512と、現在時刻を表示する時刻領域513と、今日の年月日曜日を表示する年月日曜日領域514と、今、当該携帯端末装置TAにログインしているユーザ名を表示するユーザ名領域515とを備える。
【0074】
自機宛の通信信号を待ち受け中に前記第2イベント通知通信信号を受信すると、携帯端末装置TAは、この受信した第2イベント通知通信信号に収容された、被監視者Obに対する監視に関する監視情報をその記憶部に記憶(記録)し、前記受信した第2イベント通知通信信号に収容された各情報に応じた画面をその表示部に表示する。
【0075】
より詳しくは、携帯端末装置TAは、前記受信した第2イベント通知通信信号に収容された前記イベント情報が前記所定の行動である場合には、例えば図9に示す監視情報画面52をその表示部に表示し、一方、前記受信した第2イベント通知通信信号に収容された前記イベント情報が前記ナースコールである場合には、例えば図10に示すナースコール受付画面53をその表示部に表示する。
【0076】
この監視情報画面52は、被監視者Obの監視に関する前記監視情報を表示するための画面である。前記監視情報画面52は、例えば、図9に示すように、メニューバー領域511と、前記受信した第2イベント通知通信信号に収容されたセンサIDを持つセンサ装置SUの配設場所および前記センサIDを持つ前記センサ装置SUによって監視される被監視者Obの名前を表示する被監視者名領域521と、前記受信した第2イベント通知通信信号の受信時刻(または前記所定の行動の検知時刻)からの経過時間、および、前記受信した第2イベント通知通信信号に収容された前記イベント情報(前記所定の行動の検知結果)を表示する検知情報表示領域522と、前記受信した第2イベント通知通信信号に収容された画像(すなわち、前記センサIDを持つ前記センサ装置SUによって撮像された対象画像)(ここでは静止画)を表示する画像領域523と、「対応する」ボタン524と、「話す」ボタン525と、「LIVEを見る」ボタン526とを備える。
【0077】
検知情報表示領域522には、前記受信した第2イベント通知通信信号に収容された前記検知結果(本実施形態では転倒の名称)がそのまま表示されても良いが、本実施形態では、前記検知結果を象徴的に表すアイコンで表示されている。このアイコンで表示するために、その記憶部には、各行動およびその行動を象徴的に表すアイコンが互いに対応付けられて予め記憶される。図9に示す例では、検知情報表示領域522には、転倒を象徴的に表す起床アイコンが表示されている。「対応する」ボタン524は、監視情報画面52では、この監視情報画面52に表示された検知結果に対し例えば救命、看護、介護および介助等の所定の対応(対処、処置、措置)を実施する意思が当該携帯端末装置TAのユーザにある旨を、当該携帯端末装置TAに入力するためのボタンである。「話す」ボタン525は、音声通話を要求するためのボタンであって、前記センサIDの前記センサ装置SUと当該携帯端末装置TAとをネットワークNWを介して通話可能に接続する指示を入力するためのボタンである。「LIVEを見る」ボタン526は、ライブでの動画を要求するためのボタンであって、前記センサIDの前記センサ装置SUによって撮像される動画を表示させる指示を入力するためのボタンである。
【0078】
前記ナースコール受付画面53は、ナースコールの受付を表示するための画面である。このナースコール受付画面53は、例えば、図10に示すように、メニューバー領域511と、被監視者名領域521と、検知情報表示領域522と、ナースコールを受け付けた旨を表すメッセージ(例えば「ナースコールです」)を表示するナースコール受付通知表示領域531と、「対応する」ボタン524と、「話す」ボタン525とを備える。このナースコール受付画面53では、検知情報表示領域522には、前記受信した第2イベント通知通信信号の受信時刻(または前記ナースコールを受け付けた受付時刻)からの経過時間のみが表示される。なお、ナースコール受付画面53は、「LIVEを見る」ボタン526をさらに備えても良い。
【0079】
そして、このような監視情報画面52やナースコール受付画面53の表示中に、携帯端末装置TAは、入力操作を受け付けると、携帯端末装置TAは、入力操作の内容に応じた適宜な処理を実行し、そして、次の自機宛の通信信号を待ち受ける。
【0080】
例えば、携帯端末装置TAは、「対応する」ボタン524の入力操作を受け付けると、現在、その表示部に表示している被監視者Obの監視情報に対応するセンサID、イベント情報および「対応する」を受け付けた旨を表す情報(対応有意思情報)を収容した通信信号(対応有意思通知通信信号)を管理サーバ装置SVへ送信する。この対応有意思通知通信信号を受信した管理サーバ装置SVは、前記受信した対応有意思通知通信信号に収容されているセンサIDおよびイベント情報それぞれに対応付けて、対応の受付を表す対応フラグを記憶し、次に、前記受信した対応有意思通知通信信号に収容されたセンサID、イベント情報および対応有意思情報を収容した通信信号(対応有意思周知通信信号)を同報通信で端末装置SP、TAへ送信する。これによって、その表示部に表示している被監視者Obの監視情報に対応するセンサIDに関し、「対応する」を受け付けた旨が各端末装置SP、TA間で同期される。
【0081】
また例えば、携帯端末装置TAは、「話す」ボタン525の入力操作を受け付けると、現在、その表示部に表示している被監視者Obを監視するセンサ装置SUへ、音声通話を要求する旨等の情報を収容した通信信号(通話要求通信信号)を送信し、これに応じたセンサ装置SUとネットワークNWを介して音声通話可能に接続する。これによって携帯端末装置TAとセンサ装置SUとの間で音声通話が可能となる。なお、携帯端末装置TAは、音声通話の終了の指示を入力するためのボタンである図略の「終了」ボタンの入力操作を受け付けると、その表示部に表示している被監視者Obを監視するセンサ装置SUへ、音声通話の終了を要求する旨等の情報を収容した通信信号(通話終了通信信号)を送信する。これによって携帯端末装置TAとセンサ装置SUとの間での音声通話が終了される。
【0082】
また例えば、携帯端末装置TAは、「LIVEを見る」ボタン526の入力操作を受け付けると、現在、その表示部に表示している被監視者Obを監視するセンサ装置SUへ、ライブでの動画の配信を要求する旨等の情報を収容した通信信号(動画配信要求通信信号)を送信し、これに応じたセンサ装置SUとネットワークNWを介して動画のダウンロード可能に接続し、前記センサ装置SUからライブでの動画の配信を受け、この配信を受けた動画をストリーミング再生でその表示部に表示する。このライブでの動画を表示する監視情報画面52では、画像領域523に動画が表示され、そして、「LIVEを見る」ボタン526に代え図略の「LIVE終了」ボタンが表示される。これによって携帯端末装置TAには、ライブでの動画が表示される。前記図略の「LIVE終了」ボタンは、動画の終了を要求するためのボタンであって、前記センサIDの前記センサ装置SUによって撮像される動画の配信を終了(停止)させ表示を終了(停止)させる指示を入力するためのボタンである。携帯端末装置TAは、「LIVE終了」ボタンの入力操作を受け付けると、現在、その表示部に表示している被監視者Obを監視するセンサ装置SUへ、動画配信の終了を要求する旨等の情報を収容した通信信号(動画配信終了通信信号)を送信し、静止画をその表示部に表示する。これによって携帯端末装置TAは、ライブでの動画の表示を終了する。
【0083】
このような動作によって、被監視者監視システムMSは、各センサ装置SU、管理サーバ装置SV、固定端末装置SPおよび携帯端末装置TAによって、大略、各被監視者Obにおける所定の行動を検知し、ナースコールを受け付けて、各被監視者Obを監視している。
【0084】
以上説明したように、本実施形態における、行動検知装置を含むセンサ装置SU、これに実装された行動検知方法、および、被監視者監視支援システムMSは、第1センサ部を含むセンサ本体部SUaに加えて第2センサ部RUを備え、センサ本体部SUaおよび第2センサ部RUそれぞれの第1および第2検知結果に基づいて被監視者(対象者)Obにおける所定の行動(本実施形態では転倒)の有無を最終的に判定するので、第2センサ部RUによって、センサ本体部SUaの検知精度を補償でき、センサ本体部SUaの死角をカバーできる。したがって、上記行動検知装置を含むセンサ装置SU、行動検知方法および被監視者監視支援システムMSは、前記被監視者Obにおける前記所定の行動を検知する際の検知精度をより向上できる。
【0085】
上記行動検知装置を含むセンサ装置SU、行動検知方法および被監視者監視支援システムMSは、被監視者(対象者)Obの位置を求め、この被監視者Obの位置に基づいて前記第1および第2検知結果のうちのいずれか一方を選択し、この選択した一方に基づいて前記被監視者Obにおける行動の有無を最終的に判定する。前記被監視者(対象者)Obに対し距離的に相対的に近いセンサ部は、相対的に遠いセンサ部より確からしい検知結果を出力すると考えられる。上記行動検知装置を含むセンサ装置SU、行動検知方法および被監視者監視支援システムMSは、前記被監視者(対象者)Obにおける所定の行動の有無を最終的に判定する際に、前記被監視者Obの位置を考慮するので、前記被監視者Obにおける所定の行動を検知する際の検知精度をより向上できる。
【0086】
上記行動検知装置を含むセンサ装置SU、行動検知方法および被監視者監視支援システムMSは、第2センサ部RUの検知に電磁波を用いるので、例えば仕切りに使われた衝立やカーテン等を容易に透過でき、第1センサ部を含むセンサ本体部SUaの死角や周辺部分を効果的にカバーできる。したがって、上記行動検知装置を含むセンサ装置SU、行動検知方法および被監視者監視支援システムMSは、前記被監視者(対象者)Obにおける所定の行動を検知する際の検知精度をより向上できる。
【0087】
上記行動検知装置を含むセンサ装置SU、行動検知方法および被監視者監視支援システムMSは、前記被監視者(対象者)Obにおける前記行動の検知を、ネットワークNWを介して端末装置SP、TAへ通知するので、例えば監視者等のユーザは、被監視者Obから離れた所からでも、被監視者Obにおける所定の行動を認識できる。
【0088】
なお、上述の実施形態では、センサ装置SUは、1個の第2センサ部RUを備えて構成されたが、複数の第2センサ部RUを備えて構成されても良い。この場合では、最終判定処理部144は、第1センサ部を含むセンサ本体部SUaの第1検知結果と前記複数の第2センサ部RUそれぞれの複数の第2検知結果とに基づいて被監視者(対象者)Obにおける前記所定の行動の有無を最終的に判定する。あるいは、最終判定処理部144は、位置検出処理部143で求めた被監視者(対象者)Obの位置に基づいてセンサ本体部SUaの第1検知結果および前記複数の第2センサ部RUそれぞれの複数の第2検知結果のうちのいずれか一つを選択し、前記選択した一つに基づいて前記被監視者(対象者)Obにおける前記所定の行動の有無を最終的に判定する。より詳しくは、最終判定処理部144は、センサ本体部SUaおよび前記複数の第2センサ部RUの中から、位置検出処理部143で求めた被監視者(対象者)Obの位置に最も近くに配置された装置を選択し、この選択した装置の検知結果で、被監視者(対象者)Obにおける前記所定の行動の有無を最終的に判定する。
【0089】
また、上述の実施形態では、位置情報記憶部161に、第1センサ部を含むセンサ本体部SUaの第1配置位置P1(x1、y1)および第2センサ部RUの第2配置位置P2(x2、y2)を記憶し、位置検出処理部143で求めた被監視者(対象者)Obの位置と、これら記憶された第1配置位置P1(x1、y1)および第2配置位置P2(x2、y2)それぞれとを比較することで、位置検出処理部143で求めた被監視者(対象者)Obの位置により近い配置位置におけるセンサ部の検知結果を選択し、この選択した検知結果に基づいて前記被監視者(対象者)Obにおける前記所定の行動の有無を最終的に判定すしたが、次のように選択され、最終判定が実施されても良い。より具体的には、行動検知装置を含むセンサ本体部SUaは、前記第1対象領域を、前記第1検知結果を優先する第1優先領域と、前記第2検知結果を優先する第2優先領域とに切り分けて前記第1および第2優先領域のうちの少なくとも一方(例えば第1優先領域)を記憶する優先領域情報記憶部を、位置情報記憶部161に代えてさらに備える。そして、最終判定処理部144は、位置検出処理部143で求めた前記被監視者Obの位置が前記一方(の優先領域)(この例では第1優先領域)に含まれるか否かを判定し、この判定の結果、前記被監視者Obの位置が前記一方に含まれる場合、前記一方に対応する検知結果(この例では第1検知結果)を選択し、この選択した前記検知結果に基づいて前記被監視者Obにおける前記所定の行動の有無を最終的に判定し、前記判定の結果、前記被監視者Obの位置が前記一方に含まれない場合、他方(この例では第2優先領域)に対応する検知結果(この例では第2検知結果)を選択し、この選択した前記検知結果に基づいて前記対象者における前記行動の有無を最終的に判定する。これによれば、位置検出処理部143で求めた被監視者(対象者)Obの位置と、これら記憶された第1配置位置P1(x1、y1)および第2配置位置P2(x2、y2)それぞれとの各距離を算出しなくて良いので、より簡単な情報処理で前記被監視者Obにおける前記所定の行動の有無を最終的に判定できる。
【0090】
また、上述の実施形態において、センサ装置SUのセンサ本体部SUaは、図2に破線で示すように、SU制御処理部14に機能的にオンオフ制御部145をさらに備えても良い。このオンオフ制御部145は、位置検出処理部143で求めた被監視者(対象者)Obの位置が、前記第1対象領域に予め設定された特定領域内である場合に、第2センサ部RUをオフ(スリープを含む)に制御し、位置検出処理部143で求めた被監視者Obの位置が前記特定領域外である場合に、第2センサ部RUをオン(前記スリープの解除を含む)に制御するものである。前記特定領域は、予め設定され、前記各種の所定のデータの1つとしてSU記憶部16に記憶される。前記特定領域は、例えば、前記第1対象領域の中央寄りの領域であって良く、また例えば、前記特定領域は、前記第1対象領域内に配置された寝具BDの所在領域である。より具体的には、オンオフ制御部145は、まず、位置検出処理部143で求めた被監視者Obの位置が前記特定領域内であるか否かを判定する。この判定の結果、被監視者Obの位置が前記特定領域内である場合には、オンオフ制御部145は、第2センサ部RUをオフするために、第2センサ部RUのオフを指示する命令(コマンド)を収容した通信信号(オフ制御通信信号)を第2センサ部RUへ送信する。第2センサ部RUは、このオフ制御通信信号を受信すると、RU制御処理部42によって自機をオフする。一方、前記判定の結果、被監視者Obの位置が前記特定領域外である場合には、オンオフ制御部145は、第2センサ部RUをオンするために、第2センサ部RUのオンを指示する命令(コマンド)を収容した通信信号(オン制御通信信号)を第2センサ部RUへ送信する。第2センサ部RUは、このオン制御通信信号を受信すると、RU制御処理部42によって自機をオンする。このようなセンサ装置SUは、被監視者(対象者)Obが前記特定領域内にいる場合には、センサ本体部SUaで前記被監視者Obにおける前記所定の行動の有無を検知できる。特に、前記特定領域が前記第1対象領域の中央よりの領域である場合には、センサ本体部SUaでより精度良く検知できる。また、前記特定領域が寝具BDの所在領域である場合には、前記被監視者Obをセンサ本体部SUaによって効果的に監視するためにセンサ本体部SUaが寝具BDの上方に配置される蓋然性が高く、したがって、センサ本体部SUaでより精度良く検知できる。このため、第2センサ部RUをオフでき、第2センサ部RUをオフすることで、省電力化できる。
【0091】
また、上述の実施形態において、センサ装置SUは、撮像部11で生成した画像(動画)を、予め設定した第1期間分、SU記憶部16にさらに記憶し、前記第1イベント通知通信信号を送信する際に、さらに、第1および第2検知結果を生成した第1時点(タイミング)から、予め設定された所定の第2期間だけ遡った第2時点までの間の複数の画像(動画)をSU記憶部から取り出し、これら複数の画像(動画)および自機のセンサIDを収容した通信信号(イベント関連動画通知通信信号)を管理サーバ装置SVへ送信しても良い。前記第1期間は、前記第2期間以上の時間長である。前記第2期間は、適宜に設定された時間長であり、例えば、45秒や60秒や90秒や120秒等である。管理サーバ装置SVは、このイベント関連動画通知通信信号を受信すると、これに収容された複数の画像(動画)をセンサIDに対応付けて記憶(記録)する。これによれば、イベントが生じた際の様子が管理サーバ装置SVに記憶(記録)され、イベントの通知を受けたユーザは、管理サーバ装置SVから前記複数の画像(動画)を取り出すことで、イベントが生じた際の様子を確認できる。なお、この場合において、前記イベント関連動画通知通信信号は、前記イベントが前記行動(上述の実施形態では転倒)の有りである場合のみ送信されても良い。さらに、前記イベント関連動画通知通信信号は、前記イベントが前記行動(上述の実施形態では転倒)の有りである場合であって、被監視者Obの位置が撮像部11の視野内である場合のみ送信されても良い。このように送信条件を限定することで、センサ装置SUの処理の負担を低減でき、通信トラフィックを低減できる。また、この場合において、SU記憶部SUは、前記第2期間における前記複数の画像(動画)を記憶する記憶容量を持つリングバッファを備えても良い。このようなリングバッファを備えることによって、リングバッファは、自動的に、前記第1時点から前記第2時点までの複数の画像(動画)を記憶しているので、センサ装置SUは、リングバッファに記憶されている複数の画像(動画)を前記イベント関連動画通知通信信号に収容すればよいので、SU記憶部16から前記イベント関連動画通知通信信号に収容する複数の画像(動画)を選択する処理が不要となる。
【0092】
また、上述の実施形態において、最終判定処理部144は、被監視者(対象者)Obの位置に基づいて入床中であるか否かを判定し、入床中である場合には、第2検知結果が選択されてこの第2検知結果が前記行動有り(本実施形態では転倒有り)でも、明らかな誤報であるから、前記行動無し(または入床中)と最終的に判定しても良い。入床中であるか否かの判定は、例えば、被監視者Obの位置がSU記憶部16に記憶された寝具BDの所在領域内か否かによって実施される。被監視者Obの位置が寝具BDの所在領域内である場合には、最終判定処理部144は、入床中であると判定し、被監視者Obの位置が寝具BDの所在領域内ではない場合(すなわち、被監視者Obの位置が寝具BDの所在領域の外側である場合)には、最終判定処理部144は、入床中ではないと判定する。
【0093】
本明細書は、上記のように様々な態様の技術を開示しているが、そのうち主な技術を以下に纏める。
【0094】
一態様にかかる行動検知装置は、所定の第1対象領域を上方から撮像することによって生成された画像に基づいて対象者における所定の行動の有無を検知する第1センサ部と、前記第1対象領域と異なる領域を含む所定の第2対象領域に、所定波長の送信波を上方から送信することによって得られた前記送信波の反射波に基づいて前記対象者における前記行動の有無を検知する第2センサ部と、前記第1センサ部の第1検知結果と前記第2センサ部の第2検知結果とに基づいて前記対象者における前記行動の有無を最終的に判定する最終判定部とを備える。好ましくは、上述の行動検知装置において、前記第2センサ部は、複数であり、前記最終判定部は、前記第1センサ部の第1検知結果と前記複数の第2センサ部それぞれの複数の第2検知結果とに基づいて前記対象者における前記行動の有無を最終的に判定する。好ましくは、上述の行動検知装置において、前記第1対象領域と前記第2対象領域とは、互いに重複する重複領域を含む。好ましくは、上述の行動検知装置において、前記第1対象領域と前記第2対象領域とは、互いに重複する重複領域を含まないように、互いに接している。
【0095】
このような行動検知装置は、第1センサ部に加えて第2センサ部を備え、第1および第2センサ部それぞれの第1および第2検知結果に基づいて前記対象者における前記行動の有無を最終的に判定するので、第2センサ部によって、第1センサ部の検知精度を補償でき、第1センサ部の死角をカバーできる。したがって、前記行動検知装置は、前記対象者における所定の行動を検知する際の検知精度をより向上できる。
【0096】
他の一態様では、上述の行動検知装置において、対象者の位置を求める第3センサ部をさらに備え、前記最終判定部は、前記第3センサ部で求めた前記対象者の位置に基づいて前記第1センサ部の第1検知結果および前記第2センサ部の第2検知結果のうちのいずれか一方を選択し、前記選択した一方に基づいて前記対象者における前記行動の有無を最終的に判定する。好ましくは、上述の行動検知装置において、前記第1センサ部は、さらに、前記画像に基づいて前記対象者の位置を求め、前記第3センサ部となる(前記第3センサ部として機能する)。好ましくは、上述の行動検知装置において、前記第1センサ部の第1配置位置、および、前記第2センサ部の第2配置位置を記憶する位置情報記憶部をさらに備え、前記最終判定部は、前記第3センサ部で求めた前記対象者の位置と前記位置情報記憶部に記憶された第1および第2配置位置それぞれとを比較し、この比較の結果、前記第3センサ部で求めた前記対象者の位置が第2配置位置より第1配置位置に近い場合、前記第1センサ部の第1検知結果を選択し、この選択した前記第1検知結果に基づいて前記対象者における前記行動の有無を最終的に判定し、前記比較の結果、前記第3センサ部で求めた前記対象者の位置が第1配置位置より第2配置位置に近い場合、前記第2センサ部の第2検知結果を選択し、この選択した前記第2検知結果に基づいて前記対象者における前記行動の有無を最終的に判定する。好ましくは、上述の行動検知装置において、前記第1対象領域を、前記第1センサ部の第1検知結果を優先する第1優先領域と、前記第2センサ部の第2検知結果を優先する第2優先領域とに切り分けて前記第1および第2優先領域のうちの少なくとも一方(例えば第1優先領域)を記憶する優先領域情報記憶部をさらに備え、前記最終判定部は、前記第3センサ部で求めた前記対象者の位置が前記一方(の優先領域)(この例では第1優先領域)に含まれるか否かを判定し、この判定の結果、前記第3センサ部で求めた前記対象者の位置が前記一方に含まれる場合、前記一方に対応する検知結果(この例では第1検知結果)を選択し、この選択した前記検知結果に基づいて前記対象者における前記行動の有無を最終的に判定し、前記判定の結果、前記第3センサ部で求めた前記対象者の位置が前記一方に含まれない場合、他方(この例では第2優先領域)に対応する検知結果(この例では第2検知結果)を選択し、この選択した前記検知結果に基づいて前記対象者における前記行動の有無を最終的に判定する。
【0097】
このような行動検知装置は、対象者の位置を求め、この対象者の位置に基づいて前記第1および第2検知結果のうちのいずれか一方を選択し、この選択した一方に基づいて前記対象者における行動の有無を最終的に判定する。対象者に対し距離的に相対的に近いセンサ部は、相対的に遠いセンサ部より確からしい検知結果を出力すると考えられる。上記行動検知装置は、前記対象者における行動の有無を最終的に判定する際に、前記対象者の位置を考慮するので、前記対象者における所定の行動を検知する際の検知精度をより向上できる。
【0098】
他の一態様では、これら上述の行動検知装置において、対象者の位置を求める第3センサ部と、前記第3センサ部で求めた対象者の位置が、前記第1対象領域に予め設定された特定領域内である場合に、前記第2センサ部をオフに制御するオフ制御部をさらに備える。好ましくは、上述の行動検知装置において、前記第3センサ部で求めた対象者の位置が前記特定領域外である場合に、前記第2センサ部をオンに制御するオン制御部をさらに備える。好ましくは、上述の行動検知装置において、前記特定領域は、前記第1対象領域の中央寄りの領域である。好ましくは、上述の行動検知装置において、前記特定領域は、前記第1対象領域内に配置された寝具の所在領域である。
【0099】
このような行動検知装置は、対象者が特定領域内にいる場合には、第1センサ部で前記対象者における前記所定の行動の有無を検知できる。特に、前記特定領域が前記第1対象領域の中央よりの領域である場合には、第1センサ部でより精度良く検知できる。また、前記特定領域が寝具の所在領域である場合には、対象者を第1センサ部によって効果的に監視するために第1センサ部が寝具の上方に配置される蓋然性が高く、したがって、第1センサ部でより精度良く検知できる。このため、第2センサ部をオフでき、第2センサ部をオフすることで、省電力化できる。
【0100】
他の一態様では、これら上述の行動検知装置において、前記送信波は、電磁波である。好ましくは、上述の行動検知装置において、前記電磁波は、マイクロ波である。
【0101】
このような行動検知装置は、第2センサ部の検知に電磁波を用いるので、例えば仕切りに使われた衝立やカーテン等を容易に透過でき、第1センサ部の死角や周辺部分を効果的にカバーできる。したがって、前記行動検知装置は、前記対象者における所定の行動を検知する際の検知精度をより向上できる。
【0102】
他の一態様では、これら上述の行動検知装置において、前記最終判定部が前記行動の有りと最終的に判定した場合、前記行動の検知を外部へ通知する通知部をさらに備える。好ましくは、上述の行動検知装置において、前記通知部は、前記行動の検知を、ネットワークを介して端末装置へ通知する。
【0103】
このような行動検知装置は、通知部を備えるので、例えば監視者等のユーザは、対象者から離れた所からでも、対象者における所定の行動を認識できる。
【0104】
他の一態様にかかる行動検知方法は、所定の第1対象領域を上方から撮像することによって生成された画像に基づいて対象者における所定の行動の有無を検知する第1検知工程と、前記第1対象領域と異なる領域を含む所定の第2対象領域に、所定波長の送信波を上方から送信することによって得られた前記送信波の反射波に基づいて前記対象者における前記行動の有無を検知する第2検知工程と、前記第1検知工程の第1検知結果と前記第2検知工程の第2検知結果とに基づいて前記対象者における前記行動の有無を最終的に判定する最終判定工程とを備える。
【0105】
このような行動検知方法は、第1検知工程に加えて第2検知工程を備え、第1および第2検知工程それぞれの第1および第2検知結果に基づいて前記対象者における前記行動の有無を最終的に判定するので、第2検知工程によって、画像に基づく第1検知工程の検知精度を補償でき、画像の死角をカバーできる。したがって、前記行動検知方法は、前記対象者における所定の行動を検知する際の検知精度をより向上できる。
【0106】
他の一態様にかかる被監視者監視支援システムは、監視対象である被監視者に対応して設けられ、前記被監視者に関わる所定のイベントを検知するセンサ装置、前記センサ装置と通信可能に接続され、前記センサ装置で検知されて前記センサ装置から受信したイベントを管理する中央処理装置、および、前記中央処理装置と通信可能に接続され前記中央処理装置を介して前記センサ装置で検知されたイベントの通知を受ける端末装置を備え、前記被監視者を監視するための被監視者監視支援システムであって、前記センサ装置は、前記被監視者を前記対象者とし、前記被監視者に関わる所定のイベントに前記対象者における所定の行動を含み、これら上述のいずれかの行動検知装置を備える。
【0107】
これによれば、これら上述のいずれかの行動検知装置を備える被監視者監視支援システムが提供できる。上記被監視者監視支援システムは、これら上述のいずれかの行動検知装置を備えるので、前記被監視者に関わる所定のイベントの一つとしての、前記対象者における所定の行動を検知する際の検知精度をより向上できる。
【0108】
他の一態様では、上述の被監視者監視支援システムにおいて、前記センサ装置は、前記第1センサ部で生成した画像を記憶する画像情報記憶部と、前記第1センサ部が前記行動の有りと判定した場合に、前記判定の時点から所定の時間だけ遡った期間に対応する、前記画像情報記憶部に記憶された画像を前記管理サーバ装置へ送信し、前記第2センサ部が前記行動の有りと判定した場合に、前記判定の時点から前記所定の時間だけ遡った前記期間に対応する、前記画像情報記憶部に記憶された画像を前記管理サーバ装置へ送信する画像送信処理部とをさらに備える。好ましくは、上述の被監視者監視支援システムにおいて、前記画像情報記憶部は、前記期間分の画像を記憶する記憶容量以上の記憶容量を持つリングバッファである。好ましくは、上述の被監視者監視支援システムにおいて、前記画像情報記憶部は、前記期間分の画像を記憶する記憶容量を持つリングバッファである。
【0109】
このような被監視者監視支援システムは、前記第1センサ部が前記行動の有りと判定した時点から所定の時間だけ遡った期間に対応する複数の画像(動画)や、前記第2センサ部が前記行動の有りと判定した時点から前記所定の時間だけ遡った前記期間に対応する複数の画像(動画)を前記管理サーバ装置に保存できるので、第1センサ部の第1検知結果や第2センサ部の第2検知結果を、画像(動画)から検証できる。
【0110】
この出願は、2017年4月6日に出願された日本国特許出願特願2017−075909を基礎とするものであり、その内容は、本願に含まれるものである。
【0111】
本発明の実施形態が詳細に図示され、かつ、説明されたが、それは単なる図例及び実例であって限定ではない。本発明の範囲は、添付されたクレームの文言によって解釈されるべきである。
【0112】
本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および/または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。
【産業上の利用可能性】
【0113】
本発明によれば、対象者における所定の行動を検知する行動検知装置および行動検知方法、ならびに、前記行動検知装置を用いた被監視者監視支援システムが提供できる。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
【国際調査報告】