(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024169894
(43)【公開日】2024-12-06
(54)【発明の名称】見守り支援装置および見守り支援システム
(51)【国際特許分類】
G08B 21/02 20060101AFI20241129BHJP
A61B 5/00 20060101ALI20241129BHJP
G08B 25/00 20060101ALI20241129BHJP
G08B 25/04 20060101ALI20241129BHJP
【FI】
G08B21/02
A61B5/00 102C
G08B25/00 510M
G08B25/04 K
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2023086736
(22)【出願日】2023-05-26
(71)【出願人】
【識別番号】000231590
【氏名又は名称】日本精密測器株式会社
(74)【代理人】
【識別番号】100145872
【弁理士】
【氏名又は名称】福岡 昌浩
(74)【代理人】
【識別番号】100091362
【弁理士】
【氏名又は名称】阿仁屋 節雄
(74)【代理人】
【識別番号】100161034
【弁理士】
【氏名又は名称】奥山 知洋
(74)【代理人】
【識別番号】100187632
【弁理士】
【氏名又は名称】橘高 英郎
(72)【発明者】
【氏名】山崎 浩司
【テーマコード(参考)】
4C117
5C086
5C087
【Fターム(参考)】
4C117XB02
4C117XB11
4C117XC02
4C117XE43
4C117XE55
4C117XE60
4C117XE62
4C117XG05
4C117XG23
4C117XK02
4C117XK03
4C117XK14
4C117XL01
4C117XQ20
4C117XR02
5C086AA22
5C086AA49
5C086BA07
5C086CA28
5C086CB36
5C086DA33
5C086FA01
5C086FA11
5C086FA17
5C086FA18
5C087AA09
5C087AA11
5C087AA32
5C087DD03
5C087DD29
5C087DD30
5C087EE05
5C087FF01
5C087FF02
5C087FF04
5C087GG02
5C087GG08
5C087GG09
5C087GG66
5C087GG70
5C087GG83
5C087GG84
(57)【要約】
【課題】見守り対象体の状態を的確に把握できるようにしつつ、その場合であっても見守り対象体のプライバシーに配慮した簡便なシステムの構築を実現可能にする。
【解決手段】見守り支援装置10において、見守り対象体の居空間を撮像して画像データを得る撮像部11aと、前記撮像部11aで得た画像データに基づき、前記見守り対象体の状態が所定複数態様のいずれに該当するかを判定する状態判定部12aと、前記撮像部11aで得た画像データに代わって、前記状態判定部12aによる判定結果を前記見守り対象体の状態に関するステータス情報として出力する情報出力部12bと、を備える。
【選択図】
図2
【特許請求の範囲】
【請求項1】
見守り対象体の居空間を撮像して画像データを得る撮像部と、
前記撮像部で得た画像データに基づき、前記見守り対象体の状態が所定複数態様のいずれに該当するかを判定する状態判定部と、
前記撮像部で得た画像データに代わって、前記状態判定部による判定結果を前記見守り対象体の状態に関するステータス情報として出力する情報出力部と、
を備える見守り支援装置。
【請求項2】
外部からの画像要求情報を取得する情報取得部を備え、
前記情報出力部は、前記情報取得部での前記画像要求情報の取得に応じて、前記ステータス情報に代わって、または前記ステータス情報と共に、前記撮像部で得た画像データを出力するように構成されている
請求項1に記載の見守り支援装置。
【請求項3】
前記状態判定部が判定する前記所定複数態様は、少なくとも前記見守り対象体の就寝、起床、離床、離室、入床の五態様を含む
請求項1または2に記載の見守り支援装置。
【請求項4】
前記撮像部、前記状態判定部および前記情報出力部が一つの筐体に収容されて構成されるとともに、前記筐体が前記居空間の壁面または天井面への取付に対応する大きさに形成されている
請求項1または2に記載の見守り支援装置。
【請求項5】
前記撮像部で得た画像データに対して、当該画像データのフレーム間差分で動点と判定された箇所とそれ以外の箇所とを識別可能にする二値化を行う二値化処理部を備え、
前記状態判定部は、前記見守り対象体の状態判定にあたり、前記二値化処理部による二値化結果を利用するように構成されている
請求項1に記載の見守り支援装置。
【請求項6】
前記状態判定部による状態判定の対象領域となる注視領域を前記撮像部による撮像画角内に設定するとともに、前記撮像部による撮像画像を表示出力するディスプレイ画面上でのGUI操作の内容に基づいて前記注視領域の設定を行う領域設定部
を備える請求項1に記載の見守り支援装置。
【請求項7】
請求項1に記載の見守り支援装置と、
前記見守り支援装置と通信可能に接続し、当該見守り支援装置からの出力内容に基づき前記見守り対象体に関する画像表示出力を行うモニタ装置と、
を備える見守り支援システム。
【請求項8】
前記モニタ装置は、原則として、前記見守り支援装置からの前記ステータス情報に基づくアイコン画像のみを、当該ステータス情報に応じてリアルタイムで表示出力するように構成されている
請求項7に記載の見守り支援システム。
【請求項9】
前記モニタ装置は、前記アイコン画像の表示出力を、当該アイコン画像の基になる前記ステータス情報のランクに応じて相違する表示色で行うように構成されている
請求項8に記載の見守り支援システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、見守り支援装置および見守り支援システムに関する。
【背景技術】
【0002】
近年、介護需要の高まりに伴い、要介護者を見守るための見守り支援として、例えば、介護施設の居空間をカメラで撮像し、その撮像結果を用いて居空間に在する要介護者(見守り対象体)の動作を検出することが提案されている(例えば、特許文献1,2,3参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2020-91521号公報
【特許文献2】特開2016-120190号公報
【特許文献3】特開2017-126372号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述した従来の見守り支援技術では、カメラによる居空間の撮像結果である画像データをそのまま見守り支援を行う側(例えば介護スタッフが操作するコンピュータ装置の側)に出力するため、必ずしも居空間に在する要介護者(見守り対象体)のプライバシーに配慮されているとはいえず、要介護者やその家族等が抵抗を感じてしまうおそれがある。また、画像データの出力にあたり、当該画像データの送受信に対応する通信環境やデータ処理能力等が必要であり、特に見守り対象体の数が多い場合にはシステム構築の高コスト化等を招き得る。
【0005】
本発明は、見守り対象体の状態を的確に把握できるようにしつつ、その場合であっても見守り対象体のプライバシーに配慮した簡便なシステムの構築を実現可能にする技術を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の一態様は、
見守り対象体の居空間を撮像して画像データを得る撮像部と、
前記撮像部で得た画像データに基づき、前記見守り対象体の状態が所定複数態様のいずれに該当するかを判定する状態判定部と、
前記撮像部で得た画像データに代わって、前記状態判定部による判定結果を前記見守り対象体の状態に関するステータス情報として出力する情報出力部と、
を備える見守り支援装置である。
【発明の効果】
【0007】
本発明によれば、見守り対象体の状態を的確に把握できるようにしつつ、その場合であっても見守り対象体のプライバシーに配慮した簡便なシステムを構築することができる。
【図面の簡単な説明】
【0008】
【
図1】本発明の一実施形態に係る見守り支援システムの構成例を模式的に示す説明図である。
【
図2】本発明の一実施形態に係る見守り支援装置の構成例を模式的に示す機能ブロック図である。
【
図3】本発明の一実施形態に係る見守り支援装置におけるゾーン設定処理の概要を示す説明図である。
【
図4】本発明の一実施形態に係る見守り支援装置におけるデータの流れの概要を示す説明図である。
【
図5】本発明の一実施形態に係る見守り支援装置におけるステータス判定処理の概要を示す説明図である。
【
図6】本発明の一実施形態に係る見守り支援装置において二値化画像を利用して行うゾーン設定処理の概要を示す説明図である。
【
図7】本発明の一実施形態に係る見守り支援システムにおけるステータス情報の出力処理の概要を示す説明図である。
【
図8】本発明の一実施形態に係る見守り支援システムにおけるライブ画像の出力処理の概要を示す説明図である。
【発明を実施するための形態】
【0009】
以下、本発明の一実施形態について、図面を参照しながら説明する。
【0010】
<1.見守り支援システムの構成例>
まず、本実施形態に係る見守り支援システムの構成例について説明する。
【0011】
見守り支援システムは、見守り対象体を見守るために構築されたシステムである。より具体的には、見守り支援システムは、見守り対象体を見守る役割を担う者による当該見守り対象体についての見守り行為を支援するように構成されたものである。
【0012】
見守り支援システムは、例えば、介護施設に設置されて用いられる。その場合、見守り対象体は介護施設に入居する要介護者であり、見守る役割を担う者は介護スタッフである。ただし、設置場所が介護施設に限定されることはなく、例えば、一般家庭に設置されて家族による在宅介護のために用いられたり、病院に設置されて看護師が入院患者を見守るために用いられたり、保育施設に設置されて保育士が幼児を見守るために用いられたりするものであってもよい。また、見守り対象体は、人間に限定されることはなく、例えばペットや家畜等の動物であってもよい。
【0013】
ここでいう見守りとは、見守り対象体の動作や状態等について異常の有無を判断し、異常があった場合に直ちに対応できるようにすべく、見守り対象体の動作や状態等を把握することを意味する。特に、例えば介護現場では、要介護者の転倒や転落等の事故発生を防ぐためにも、見守りの重要度が高まっている。
【0014】
また、見守りは、見守る役割を担う側の人材確保や設備環境等の問題から、見守り対象体から離れた箇所で行えることが望ましい。すなわち、見守り支援システムは、見守る役割を担う者による集中管理に対応するように構築されていることが望ましい。
その一方で、見守られる側、すなわち見守り対象体については、プライバシーの保護にも配慮する必要がある。
【0015】
また、見守り支援システムは、利用者の負担軽減のために、設置や移設等が容易であり、しかも安価であることが求められる。
【0016】
本実施形態に係る見守り支援システムは、これら要請を踏まえつつ構築されたものである。以下、本実施形態に係る見守り支援システムについて、介護施設に設置されている場合を例に挙げて、その構成例を具体的に説明する。
図1は、介護施設に設置された見守り支援システムの構成例を模式的に示す説明図である。
【0017】
図1に示すように、見守り支援システム1は、本実施形態に係る見守り支援装置として機能するカメラユニット10を備えて構成されている。
【0018】
カメラユニット10は、介護施設における入居者(すなわち、見守り対象体である要介護者)の居室2に設置されている。より具体的には、カメラユニット10は、居室2の壁面または天井に取り付けられ、その居室2内の空間(すなわち、居空間)、特に入居者(要介護者)が利用するベッド3を含む空間を撮像し得るように配置される。このような配置を可能にするために、カメラユニット10は、例えば、たばこ箱程度の大きさに形成されている。つまり、カメラユニット10は、壁面等に容易に取り付けられるように、小型軽量に構成されている。
【0019】
居室2が複数ある場合、カメラユニット10は、各居室2のそれぞれに個別に設置されるものとする。つまり、見守り支援システム1は、複数の入居者のそれぞれに個別に対応するように、複数のカメラユニット10を備えて構成されている。
【0020】
なお、カメラユニット10の具体的な構成については、詳細を後述する。
【0021】
また、見守り支援システム1は、カメラユニット10に加えて、カメラユニット10との通信を行うための中継点となるゲートウエイ20と、ゲートウエイ20が接続される管理サーバ装置30と、を備えて構成されている。
【0022】
ゲートウエイ20は、カメラユニット10が複数ある場合、各カメラユニット10のそれぞれと通信を行い得るものとする。カメラユニット10との通信は、例えば無線通信が考えられるが、これに限定されることはなく、有線通信であっても構わない。ただし、無線通信であれば、通信線の配設が不要であるため、カメラユニット10を複数設置する場合であっても、その設置を容易に行えるようになる。
なお、カメラユニット10が管理サーバ装置30と直接通信を行うように構成されている場合には、ゲートウエイ20を省略しても構わない。例えば、カメラユニット10と管理サーバ装置30とが1対1で設置されている場合や、これらの間が近距離となるように設置されている場合等は、ゲートウエイ20を省略して、カメラユニット10と管理サーバ装置30とが無線等で直接通信し得るようにすることで、システム構成の簡素化を図ることができる。
【0023】
管理サーバ装置30は、介護施設におけるスタッフルーム(すなわち、介護スタッフの居室)に設置されたコンピュータ装置や介護スタッフが持ち歩くタブレット装置またはスマートホン等の情報処理端末によって構成されている。より具体的には、管理サーバ装置30は、コンピュータとしての機能を有する情報処理端末によって構成されており、その情報処理端末が有するディスプレイ画面31を利用して介護スタッフに対する情報出力を行うものである。ディスプレイ画面31を利用した情報出力には、カメラユニット10から送られる見守り対象体(要介護者)に関する情報の表示出力が含まれる。つまり、管理サーバ装置30は、ゲートウエイ20を介してカメラユニット10と通信可能に接続し、当該カメラユニット10からの出力内容に基づき見守り対象体(要介護者)に関する表示出力を行うモニタ装置として機能する。
【0024】
<2.見守り支援装置(カメラユニット)の構成例>
次に、本実施形態に係る見守り支援装置として機能するカメラユニット10について、その構成例を説明する。
図2は、本実施形態に係る見守り支援装置の構成例を模式的に示す機能ブロック図である。
【0025】
(全体構成)
図2に示すように、カメラユニット10は、大別すると、センサモジュール11と、制御モジュール12と、通信モジュール13と、を備えて構成されている。
【0026】
(センサモジュール)
センサモジュール11は、カメラユニット10が設置された居室2内の空間、すなわちその居室2の入居者(見守り対象体である要介護者)の居空間を撮像するものである。そのために、センサモジュール11は、CMOS(Complementary Metal Oxide Semiconductor)センサ等のイメージセンサ11aと、広角レンズ等の光学系11bと、赤外光等の照明光を照射する光源11cとを有し、これらが基板上に実装されて構成されている。そして、イメージセンサ11aは、例えば図示せぬフレキシブル基板(FPC)を介して、制御モジュール12と電気的に接続されている。このような構成により、センサモジュール11は、見守り対象体の居空間について、日中または夜間を問わず、動画を撮像し、その撮像結果として複数フレームで構成される画像データを得るようになっている。つまり、センサモジュール11は、見守り対象体の居空間を撮像して複数フレームで構成される画像データを得る撮像部として機能する。
【0027】
センサモジュール11におけるイメージセンサ11aは、1万画素以下の低解像度画像データを得るように構成されている。具体的には、イメージセンサ11aは、例えば64画素×64画素=4096画素の低解像度画像データを得るように構成されている。その場合に、イメージセンサ11aとして、総画素数が64画素×64画素であるものを用いることが考えられる。ただし、必ずしもこれに限定されることはなく、画素数が数百万画素~数千万画素程度の一般的な高解像度センサを用いつつ、画素を間引いて例えば64画素×64画素の低解像度画像データを得るようにしても構わない。
【0028】
センサモジュール11における光学系11bは、例えば120°の視野角を実現するように構成されている。これにより、センサモジュール11は、カメラユニット10が居室2の壁面に取り付けられる場合であっても、その居室2内の90%以上のエリアを撮像領域としてカバーできるようになっている。
【0029】
(制御モジュール)
制御モジュール12は、例えばマイクロコンピュータで構成されており、カメラユニット10における処理動作を制御するものである。制御モジュール12が行う制御処理には、センサモジュール11および通信モジュール13についての動作制御処理の他に、イメージセンサ11aから受け取った画像データに対する制御処理が含まれる。
【0030】
これらの各種制御処理について、制御モジュール12は、予めインストールされた所定プログラムを実行することによって行う。このような所定プログラムを含む各種情報を図示せぬ外部機器と授受するために、制御モジュール12には、USB(Universal Serial Bus)等のインタフェース部15が接続されていてもよい。
【0031】
所定プログラムを実行することによって、制御モジュール12は、状態判定部12a、情報出力部12b、情報取得部12c、二値化処理部12d、領域設定部12eおよび情報記憶部12fとして機能するようになっている。
【0032】
状態判定部12aは、センサモジュール11で得た画像データに基づき、当該画像データを構成するフレーム毎に、見守り対象体(具体的には画像に映った要介護者)の状態が所定複数態様のいずれに該当するかを判定し、その判定結果を見守り対象体の状態に関するステータス情報とする機能である。なお、ステータス情報および当該ステータス情報によって特定される所定複数態様の具体例については、詳細を後述する。
【0033】
情報出力部12bは、見守り対象体の状態に関するステータス情報(すなわち、状態判定部12aによる判定結果)を、通信モジュール13を通じて外部(例えば、ゲートウエイ20、管理サーバ装置30等)へ出力する機能である。ただし、情報出力部12bは、例えば、センサモジュール11で得た画像データに代わってステータス情報を出力し、または、ステータス情報に代わって、もしくはステータス情報と共に、センサモジュール11で得た画像データを出力するといったように、選択的な出力態様に対応し得るように構成されている。
【0034】
情報取得部12cは、外部(例えば、ゲートウエイ20、管理サーバ装置30等)から送られる各種情報を、通信モジュール13を通じて取得する機能である。情報取得部12cが取得する各種情報には、センサモジュール11で得た画像データの出力を要求する画像要求情報や、ディスプレイ画面上でのGUI(Graphical User Interface)操作情報等が含まれるものとする。
【0035】
二値化処理部12dは、ステータス情報の生成にあたって画像データの二値化処理を行う機能である。さらに詳しくは、二値化処理部12dは、センサモジュール11で得た画像データのフレーム間差分で動点と判定された箇所とそれ以外の箇所とを識別可能にする二値化を行うようになっている。なお、二値化処理の具体例については、詳細を後述する。
【0036】
領域設定部12eは、状態判定部12aによる見守り対象体の状態判定の対象領域となる注視領域を、センサモジュール11による撮像画角内に設定する機能である。なお、設定する注視領域の具体例については、詳細を後述する。
【0037】
情報記憶部12fは、領域設定部12eで設定された注視領域の画定情報を記憶する機能である。
【0038】
(通信モジュール)
通信モジュール13は、ゲートウエイ20がある場合には当該ゲートウエイ20との間との通信を、またゲートウエイ20がない場合には管理サーバ装置30との通信を、それぞれ確立するためのもので、例えばBluetooth(登録商標)に準拠した近距離(例えば、10m~50m程度)の無線通信を行うように構成されたものである。
【0039】
ゲートウエイ20との通信確立によって、通信モジュール13は、制御モジュール12による制御に従いつつ、ゲートウエイ20を通じて管理サーバ装置30に対する情報送信を行う。また、管理サーバ装置30との通信確立によって、通信モジュール13は、当該管理サーバ装置30に対して直接情報送信を行う。
【0040】
これと同様に、ゲートウエイ20との通信確立によって、通信モジュール13は、制御モジュール12による制御に従いつつ、ゲートウエイ20を通じて管理サーバ装置30からの情報受信を行う。また、管理サーバ装置30との通信確立によって、通信モジュール13は、当該管理サーバ装置30から直接情報受信を行う。
【0041】
なお、通信モジュール13が通信を行う際のプロトコルやデータフォーマット等は、特定の態様に限定されるものではなく、ゲートウエイ20または管理サーバ装置30との間で情報授受を行い得るものであればよい。
【0042】
(筐体)
以上に説明したセンサモジュール11、制御モジュール12および通信モジュール13は、カメラユニット10を構成する一つの筐体(ただし不図示)内に収容されている。なお、カメラユニット10を構成する筐体は、既述のように、例えば、たばこ箱程度の小型軽量の大きさで、見守り対象体である要介護者の居室2の壁面または天井面への取付に対応する大きさで形成されている。
【0043】
<3.見守り支援装置(カメラユニット)における処理動作例>
次に、上述した構成のカメラユニット10における処理動作例について説明する。
【0044】
カメラユニット10の処理動作例には、設置処置動作例と、運用処置動作例と、がある。設置処置動作例は、カメラユニット10の運用に先立って当該カメラユニットを居室2に設置する際の処理動作例である。運用処置動作例は、居室2に設置されたカメラユニットを運用する際の処理動作例である。以下、これらの処理動作例について順に説明する。
【0045】
(設置処理動作例)
カメラユニット10の設置は、当該カメラユニット10を居室2の壁面または天井に取り付けることによって行う。このとき、カメラユニット10の筐体がたばこ箱程度の小型軽量の大きさであれば、居室2の壁面または天井に容易に取り付けることができる。
【0046】
居室2の壁面または天井に取り付けることで、カメラユニット10は、居室2内の様子をイメージセンサ11aで撮像し得るようになる。このとき、例えば、センサモジュール11における光学系11bが120°の視野角を有していれば、イメージセンサ11aの撮像画角内には、居室2内の90%以上のエリアを収めることが可能となる。
【0047】
なお、カメラユニット10の設置を行う際には、当該設置とあわせて、イメージセンサ11aの撮像画角内に対して、ゾーン設定処理を行うようにしてもよい。ゾーン設定処理は、制御モジュール12の領域設定部12eとしての機能によって行われるもので、カメラユニット10のイメージセンサ11aによる撮像画角内に注視領域を設定するための処理である。注視領域とは、後述するステータス情報の生成処理を行う際に、撮像画角内で特に注視すべき領域(ゾーン)のことをいう。
【0048】
(ゾーン設定処理)
ここで、ゾーン設定処理について、詳しく説明する。
【0049】
ゾーン設定処理は、イメージセンサ11aで撮像される画像を利用して行うことが好ましい。つまり、イメージセンサ11aによる撮像結果を表示画面に出力し、表示画面上の出力画像を目視しながら、その表示画面上でゾーン設定処理を行うことが好ましい。
イメージセンサ11aによる撮像結果を出力する表示画面としては、例えば、管理サーバ装置30におけるディスプレイ画面31を用いることができる。ただし、これに限定されることはなく、例えば、カメラユニット10と通信可能な情報処理端末(具体的にはタブレット装置やスマートホン等)を用意し、その情報処理端末におけるディスプレイ画面を用いるようにしてもよい。
【0050】
以下の説明では、タッチパネル機能を有する情報処理端末のディスプレイ画面上でゾーン設定処理を行う場合を例に挙げる。
図3は、ディスプレイ画面上で行うゾーン設定処理の概要を示す説明図であり、当該ディスプレイ画面での表示出力例を示している。
【0051】
図例のように、カメラユニット10と通信可能な情報処理端末は、当該カメラユニット10のイメージセンサ11aによる撮像結果をディスプレイ画面14a上に出力する。これにより、ディスプレイ画面14a上には、カメラユニット10が設置された居室2内の様子として、イメージセンサ11aの撮像画角内の撮像画像がモニタリング表示されることになる。したがって、カメラユニット10の設置にあたり、ディスプレイ画面14a上のモニタリング表示の内容を確認することで、例えばイメージセンサ11aの撮像画角内に入居者(要介護者)が利用するベッド3が位置するように、当該設置の適切化が図れるようになる。図例の場合、イメージセンサ11aの撮像画角内に、ベッド3に加えて、室内灯4や鏡台の鏡5等が存在している。
【0052】
また、情報携帯端末のディスプレイ画面14a上には、イメージセンサ11aによる撮像画像に重ねるように、注視領域の範囲を画定する枠画像14cが表示出力される。図例の場合、イメージセンサ11aの撮像画角内における任意の四点を結ぶ枠画像14cが表示出力されている。そして、枠画像14cによって囲まれる領域(四角形のゾーン)が、注視領域の範囲となる。つまり、図例の場合、枠画像14cに囲まれる注視領域は、撮像画角内における任意の四点を特定する画定情報(以下、ゾーン位置情報ともいう。)によって画定することが可能である。
【0053】
注視領域を画定する画定情報(ゾーン位置情報)は、制御モジュール12における情報記憶部12fとしての機能によって記憶保持されることで、その制御モジュール12内に設定される。つまり、情報記憶部12fには、注視領域の画定情報が記憶保持されており、その画定情報に基づいて注視領域の範囲が画定されるとともに、当該注視領域の範囲を示す枠画像14cがディスプレイ画面14a上に表示出力されることになる。
【0054】
このような注視領域は、後述するステータス情報の生成処理を行う際に特に注視すべき領域(ゾーン)なので、見守り対象体が在している頻度の高い箇所を含むように設定されていることが望ましい。例えば、カメラユニット10が介護施設の居室2に設置される場合であれば、その居室2のベッド3を含むように、注視領域が設定されていることが望ましい。見守り対象体が在する頻度が高ければ、後述するステータス情報の生成を的確に行えるからである。具体的には、注視領域をベッド3の周りに設定することで、見守り対象体のベッド3上での動きやベッド3からの離床等を検知できるようになる。
【0055】
注視領域の範囲の設定は、ディスプレイ画面14a上の表示出力内容を参照しつつ、情報携帯端末が有する操作機能(タッチパネル機能)を利用して行うようにすると、その設定を行う作業者にとって非常に利便性および作業性に優れたものとなる。具体的には、例えばディスプレイ画面14a上に注視領域の範囲を示す枠画像14cが表示出力されている状態で、作業者(すなわち情報処理端末の操作者)が情報処理端末のタッチパネル機能を操作して、枠画像14cに対してタップ、ドラッグ、スワイプ等を行い、当該枠画像14cを所望の位置に移動させる。そして、移動後における枠画像14cの位置を特定する画定情報を、注視領域の設定結果として、カメラユニット10の情報記憶部12fに記憶保持させる。
【0056】
つまり、ゾーン設定処理に際しては、カメラユニット10による撮像画像を表示出力するディスプレイ画面14a上において、その撮像画像に重ねて、注視領域の範囲を示す枠画像14cを表示する。そして、そのディスプレイ画面14a上で直接的に操作を行う、いわゆるGUI操作によって、枠画像14cの表示位置(枠の形状および大きさを含む。)を可変させ、可変後の枠画像14cの表示位置をイメージセンサ11aの撮像画角内における注視領域として設定可能にする。
【0057】
このように、GUI操作を利用してゾーン設定処理を行うようにすれば、ディスプレイ画面14aによるモニタリング表示の内容を確認しつつ、注視領域の設定を操作者が直感的に行えるようになる。したがって、ゾーン設定処理が容易かつ簡便なものとなり、注視領域の設定を行う操作者にとっては非常に利便性が優れたものとなる。具体的には、例えば、居室2でベッド3がどのように配置されていても、ベッド3を含むように注視領域を適切に設定することが容易に実現可能となる。
【0058】
なお、以上に説明したゾーン設定処理は、カメラユニット10の設置処置動作において必須ではなく、行わないようにしても構わない。つまり、設置されたカメラユニット10を、注視領域(ゾーン)の設定を行わずに、運用開始するようにしても構わない。また、ゾーン設定処理を行う場合に、そのゾーン設定処理を、カメラユニット10の設置とあわせて行うのではなく、カメラユニット10のの運用開始後のいずれかのタイミングで行うようにしても構わない。
【0059】
また、ゾーン設定処理を行う場合に、そのゾーン設定処理については、二値化処理部12dによる二値化画像を利用して行うようにしてもよい。二値化処理部12dによる二値化画像、および、二値化画像を利用して行うゾーン設定処理については、その詳細を後述する。
【0060】
(運用処理動作例)
以上のような手順の処理動作を経てカメラユニット10を設置した後は、当該カメラユニット10の運用(すなわち、当該カメラユニット10を含む見守り支援システム1の稼働)が可能となる。以下、見守り支援システム1の稼働中におけるカメラユニット10の運用処理動作例について説明する。
【0061】
見守り支援システム1の稼働中におけるカメラユニット10の運用処理動作には、少なくとも、当該カメラユニット10による撮像処理、動き抽出処理、二値化処理、ステータス判定処理および情報出力処理が含まれる。以下、これらの各処理について順に説明する。
【0062】
(撮像処理)
見守り支援システム1の稼働中、カメラユニット10は、常時、設置された居室2内の空間(居空間)を撮像する。具体的には、カメラユニット10が撮像処理を行うことで、そのカメラユニット10におけるセンサモジュール11は、イメージセンサ11aの各画素に入射した光を電気信号に変換し、これにより居空間を撮像した動画を構成する画像データ(すなわち、複数フレームで構成される画像データ)を得る。イメージセンサ11aによる画像データの取得は、センサモジュール11が赤外光等に対応する光源11cを有することで、夜間であっても行うことができる。つまり、センサモジュール11では、昼夜を問わず、イメージセンサ11aが画像データを得ることができる。
【0063】
このとき、イメージセンサ11aは、低解像度画像データを得るように構成されている。低解像度画像データは、例えば64画素×64画素=4096画素であるといったように、数百万画素~数千万画素程度の一般的な画像データに比べると、非常に解像度が低い。そのため、低解像度画像データは、一般的な解像度の画像にモザイク処理を施したような粗い解像度の画像に対応したものとなる。このような粗い解像度の画像は、居空間にいる者の顔識別は困難であるが、後述する状態識別を行うためには十分な解像度である。つまり、イメージセンサ11aで得る低解像度画像データは、後述するステータス情報の生成を可能にしつつ、画像に映る者(具体的には、見守り対象体)のプライバシーにも配慮したものとなる。また、低解像度画像データであれば、一般的な解像度の画像データを得る場合に比べて、イメージセンサ11aの小型軽量化や低消費電力化等にも容易に対応し得るようになる。
【0064】
(動き抽出処理)
イメージセンサ11aが画像データを得ると、その画像データは、制御モジュール12へ送られて、以下のような処理が行われる。
図4は、データの流れの概要を示す説明図である。
【0065】
制御モジュール12には、動画を構成する複数フレームの画像データD1,D2,D3…が時系列に沿って順次イメージセンサ11aから送られてくる。そして、制御モジュール12は、各フレームの画像データを受け取る度に、最新のフレームである現フレームの画像データD1を、現在の状態を示す画像データD1´とする。このとき、制御モジュール12は、少なくとも、現フレームの前に受け取った前フレームの画像データD2と、さらにその前に受け取った前々フレームの画像データD3とを、一時的に保持しているものとする。後述する処理(動き抽出処理やステータス判定処理等)に利用するためである。
【0066】
イメージセンサ11aから現フレームの画像データD1を受け取ると、制御モジュール12において、状態判定部12aは、見守り対象体の動きを検出するための動き抽出処理を行う。具体的には、状態判定部12aは、現フレームの画像データD1と前フレームの画像データD2との差分を抽出する。各画像データの画角内において動く可能性があるのは、主として、見守り対象体である。そのため、抽出される差分は、見守り対象体の動きに相当すると考えることができる。このことから、抽出した差分の大きさが予め設定された閾値よりも大きければ、状態判定部12aは、例えば見守り対象体に動き(状態の変化)があったといったように、居室2内において何らかの状態変化が生じたことを認識し、その差分を各フレーム間における動き部分として抽出する。以下、この「動き部分」のことを「動点」または単に「動き」ということもある。
【0067】
(二値化処理)
そして、状態判定部12aが抽出する動き部分については、二値化処理部12dが二値化処理を行う。具体的には、例えば、動き部分の画素を「1」とし、それ以外の動いていない部分の画素を「0」とするといったように、状態判定部12aが抽出したフレーム間の差分のうち当該差分の値が閾値を越えて動点と判定された箇所と、そうでない(閾値以下で動点でないと判定された)箇所とを、別個に識別可能にする二値化を行う。これにより、その二値化後の結果である二値化データD4は、前フレームに対して動き(状態の変化)があった箇所と、それ以外の箇所(すなわち、状態の変化がなかった箇所)とについて、明確に識別することが可能なものとなる。
【0068】
つまり、二値化処理部12dは、状態判定部12aが各フレーム間の画像データD1,D2の差分に基づいて動き(状態の変化)を抽出する場合において、動きがあったと判定した画素部分とそれ以外の画素部分を識別可能にする二値化処理を行って、動きと判定した箇所の可視化を行うのである。このような二値化処理を二値化処理部12dが行えば、これにより得られる二値化データD4を利用することで、以下に説明するように、状態判定部12aによる見守り対象体の動きの判定精度の向上が図れるようになる。
【0069】
状態判定部12aが抽出する画像データD1,D2の差分は、上述のように主として見守り対象体の動き(状態の変化)によるものと考えられるが、他の要因によるものも含まれ得る。他の要因によるものとしては、例えば、居室2内の照明の点滅等といった外乱光の影響によるものが挙げられる。このような他の要因によるものが含まれていても、二値化処理部12dが二値化処理を行えば、二値化データD4を現フレームの画像データD1(すなわちライブ画像)と比較したり、または詳細を後述する注視領域との位置関係を認識したりすることで、動きと判定した箇所が見守り対象体の状態変化によるものか外乱光等の影響によるものかを区別し得るようになる。したがって、状態判定部12aによる見守り対象体の動きの判定について、外乱光等の影響による誤判定を抑制することができ、その結果として、当該判定の精度の向上が図れるようになる。
【0070】
(ステータス判定処理)
制御モジュール12において、状態判定部12aが動き抽出処理を行うと、引き続き、当該状態判定部12aは、見守り対象体の状態を判定するためのステータス判定処理を行う。ステータス判定処理を行うことによって、状態判定部12aは、見守り対象体のステータス情報を生成することになる。
【0071】
具体的には、状態判定部12aは、現フレームの画像データD1、前フレームの画像データD2および前々フレームの画像データD3と、動き抽出処理での処理結果とに基づき、見守り対象体の動き(状態の変化)があったと判定した場合には、その動きの方向を認識する。そして、これらの認識結果から、見守り対象体の状態が予め想定されている所定複数態様のいずれに該当するかを判定する。
【0072】
このとき、ゾーン設定処理によって注視領域についての画定情報(ゾーン位置情報)が情報記憶部12fに設定されていれば、状態判定部12aは、その注視領域と見守り対象体との位置関係を反映させつつ、見守り対象体の状態についての判定を行うようにしてもよい。
【0073】
図5は、ステータス判定処理の概要を示す説明図である。
図例では、所定複数態様として、ベッド3がある注視領域E内(またはゾーン設定処理が行われていない場合にはイメージセンサ11aの画角内)に見守り対象体Pが入る態様である「入床」と(
図5(a)参照)、ベッド3がある注視領域E内(またはイメージセンサ11aの画角内)から見守り対象体Pが出る態様である「離床」と(
図5(b)参照)、ベッド3上で見守り対象体Pが動き始めた態様である「起床」と(
図5(c)参照)、ベッド3上で見守り対象体Pが就寝している態様である「就寝」と(
図5(d)参照)、ベッド3上が無人の態様である「離室」と(
図5(e)参照)、の5態様が想定されている場合の例を示している。
【0074】
これらの所定複数態様が想定されている場合に、例えば、見守り対象体Pの動き(状態の変化)が有り、かつ、その動きの方向が注視領域E(またはイメージセンサ11aの画角)の外側から内側に向かっていれば、状態判定部12aは、現フレームの画像データD1を得た時点では、その見守り対象体Pの状態が「入床」に該当すると判定して、「入床」である旨のステータス情報を生成する(
図5(a)参照)。
また、例えば、見守り対象体Pの動き(状態の変化)が有り、かつ、その動きの方向が注視領域E(またはイメージセンサ11aの画角)の内側から外側に向かっていれば、状態判定部12aは、現フレームの画像データD1を得た時点では、その見守り対象体Pの状態が「離床」に該当すると判定して、「離床」である旨のステータス情報を生成する(
図5(b)参照)。
また、例えば、見守り対象体Pの動き(状態の変化)が有り、かつ、その動きが注視領域E(またはイメージセンサ11aの画角)内のみに限定されていれば、状態判定部12aは、現フレームの画像データD1を得た時点では、その見守り対象体Pの状態が「起床」に該当すると判定して、「起床」である旨のステータス情報を生成する(
図5(c)参照)。
また、例えば、「入床」または「起床」である旨のステータス情報を生成した後において、「離床」である旨のステータス情報の生成を経ることなく、見守り対象体Pの動き(状態の変化)が無ければ、状態判定部12aは、現フレームの画像データD1を得た時点では、その見守り対象体Pの状態が「就寝」に該当すると判定して、「就寝」である旨のステータス情報を生成する(
図5(d)参照)。
また、例えば、「離床」である旨のステータス情報を生成した後において、「入床」である旨のステータス情報の生成を経ることなく、見守り対象体Pの動き(状態の変化)が無ければ、状態判定部12aは、現フレームの画像データD1を得た時点では、その見守り対象体Pの状態が「離室」に該当すると判定して、「離室」である旨のステータス情報を生成する(
図5(e)参照)。
【0075】
以上のように、状態判定部12aは、見守り対象体Pの動きの有無のみならず、その動きの方向についても認識し、これらの認識結果に基づいて見守り対象体Pの状態判定を行う。したがって、状態判定部12aは、見守り対象体Pの動きの方向をも加味することで、その見守り対象体Pの状態について、従来には無い程度に木目細かく(具体的には「入床」、「離床」、「起床」、「就寝」、「離室」の5態様のいずれに該当するか)判定することができる。
【0076】
しかも、その際に、状態判定部12aは、ゾーン位置情報が情報記憶部12fに設定されていれば、そのゾーン位置情報によって画定される注視領域Eとの位置関係を反映させる。したがって、状態判定部12aは、上述した木目細かい判定を的確に行うことができる。さらには、注視領域Eとの位置関係を加味することで、判定結果である5態様のそれぞれの状態について、その状態確認の必要性(緊急性)をランク分けする、といったことが実現可能となる。具体的には、5態様の状態のうち、例えば、「離床」については緊急確認の必要性が高いAランク、「起床」および「離室」については注意を要するBランク、「入床」および「就寝」については確認を要さないCランクとする、といったランク分けを行うことが実現可能となる。
【0077】
なお、ここでは、状態判定部12aが生成するステータス情報について、見守り対象体Pの状態が上述の5態様のいずれに該当するかを識別するものである場合を例に挙げたが、これに限定されることはなく、見守り対象体Pの状態を識別するためのものであれば、他のもの(例えば、4態様以下または6態様以上の状態識別を行うためのもの)ものであっても構わない。また、ステータス情報のデータ形式についても、適宜設定されたものであれば、特に限定されるものではない。
【0078】
(情報出力処理)
状態判定部12aがステータス情報を生成すると、制御モジュール12では、当該ステータス情報の出力を情報出力部12bが行う。具体的には、情報出力部12bは、状態判定部12aが生成したステータス情報を、当該ステータス情報の生成の度に(すなわち、画像データの各フレームに対応したタイミングで)、通信モジュール13を通じて外部(例えば、ゲートウエイ20、管理サーバ装置30等)へ送信することで、当該ステータス情報の出力を行う。
【0079】
このとき、情報出力部12bは、原則として、センサモジュール11で得た画像データについては、外部への出力は行わない。つまり、情報出力部12bは、センサモジュール11で得た画像データに代わって、その画像データを基に状態判定部12aが生成したステータス情報を出力するのである。
【0080】
このように、情報出力部12bは、原則として、画像データに代わってステータス情報を外部へ出力する。したがって、センサモジュール11で得た画像データをそのまま外部へ出力する場合に比べると、外部へ出力するデータ量の削減が実現可能となり、情報出力に要する通信環境やデータ処理能力等について負荷軽減が図れるようになる。
【0081】
ただし、情報出力部12bは、必要に応じて、センサモジュール11で得た画像データを出力するようにしてもよい。例えば、外部(例えば、ゲートウエイ20、管理サーバ装置30等)から送られてきた画像要求情報を情報取得部12cで取得した場合に、情報出力部12bは、その画像要求情報に応じて、状態判定部12aが生成したステータス情報に代わって、または当該ステータス情報と共に、センサモジュール11で得た画像データを出力する。
【0082】
なお、ステータス情報または画像データの出力にあたり、情報出力部12bが通信モジュール13を通じて外部へ送信する際の送信データフォーマットや通信プロトコル等については、管理サーバ装置30の側で対応可能なものであれば、特定の態様に限定されるものではない。
【0083】
(二値化画像を利用するゾーン設定処理)
ところで、上述した一連の各処理の中では、二値化処理部12dが二値化処理を行う。この二値化処理によって得られる二値化画像を利用して、既述のゾーン設定処理を行うようにしてもよい。
【0084】
二値化画像を利用する場合、具体的には、ディスプレイ画面上において、イメージセンサ11aによる撮像画像に代わって、二値化処理部12dによる二値化画像を表示する(すなわち、二値化データD4を可視化する)とともに、これと重ねるように注視領域の範囲を示す枠画像14cを表示する。
【0085】
図6は、二値化画像を利用して行うゾーン設定処理の概要を示す説明図であり、ディスプレイ画面上での表示出力例を示している。
図例のように、ディスプレイ画面上には、カメラユニット10が設置された居室2内の様子について、イメージセンサ11aによる撮像画像を二値化処理部12dが二値化処理したものがモニタリング表示される。したがって、例えば、居室2内に見守り対象体がいない状態(イメージセンサ11aによる撮像画角内に見守り対象体が存在していない状態)でモニタリング表示を行えば、モニタリング表示される二値化画像のうち、動き(状態の変化)があると判定された箇所4´,5´は、見守り対象体の動きに起因するものではなく、室内灯4や鏡5等からの外乱光等の影響によって可視化されたものであることがわかる。そのため、モニタリング表示の内容を確認しつつ、外乱光等の影響によって動きがあると判定された箇所4´,5´を避けるように、枠画像14cの表示位置を可変させることで、注視領域の設定の適切化が図れるようになる。
【0086】
このように、GUI操作を利用したゾーン設定処理にあたり、二値化処理部12dによる二値化画像をモニタリング表示すれば、動きがあると判定された箇所のうち、見守り対象体の動きに起因しないもの(例えば、外乱光等の影響によるもの)を避けるように、枠画像14cによって画定される注視領域の範囲を設定することが可能となる。したがって、外乱光等の影響が及ぶ箇所が注視領域の範囲内に属するのを未然に防止でき、これによりゾーン設定処理の適切化が図れ、その結果として、見守り対象体の動きの判定について、より一層の精度向上が図れるようになる。
【0087】
<4.見守り支援システムにおける処理動作例>
次に、カメラユニット10を含む見守り支援システム1における処理動作例について説明する。
ここでは、主として、カメラユニット10からの送信情報を管理サーバ装置30でモニタ出力する場合の処理動作例を説明する。
【0088】
(ステータス情報についての処理)
図7は、管理サーバ装置30で行うステータス情報の出力処理の概要を示す説明図である。
【0089】
見守り支援システム1の稼働中、カメラユニット10からは、管理サーバ装置30に対し、原則として、ステータス情報が出力される。カメラユニット10からステータス情報が出力されると、管理サーバ装置30は、ゲートウエイ20を介して、そのステータス情報を受け取る。そして、管理サーバ装置30は、受け取ったステータス情報の可視画像化を行う。
【0090】
ステータス情報の可視画像化は、例えば、以下のように行う。
管理サーバ装置30には、カメラユニット10の側で生成する各種のステータス情報のそれぞれと一意に対応する複数種類のステータス表示アイコン32を含むアイコン画像郡が、予め用意されて所定メモリ領域内に保存されている。そして、カメラユニット10からステータス情報を受け取ると、管理サーバ装置30は、受け取ったステータス情報と一意に対応するステータス表示アイコン32を、所定メモリ領域内のアイコン画像郡の中から選択し、選択したステータス表示アイコン32をディスプレイ画面31で表示出力可能な状態にする。
【0091】
ステータス表示アイコン32は、ステータス情報の内容を一目で把握できるように、その内容をシンボル化した簡易な図柄のアイコン画像によって構成されている。
また、ステータス表示アイコン32は、表示する図柄のみならず、その表示色についても、ステータス情報の内容を反映させたものであることが望ましい。具体的には、既述のランク分けに応じて、アイコン画像の表示色を相違させることが考えられる。例えば、緊急確認を要するAランクにランク分けされる「離床」のアイコン画像はベース色を赤色とし、注意を要するBランクにランク分けされる「起床」のアイコン画像はベース色を黄色とし、同じくBランクにランク分けされる「離室」のアイコン画像はベース色を橙色とし、確認を要さないCランクにランク分けされる「入床」のアイコン画像はベース色を緑色とし、同じくCランクにランク分けされる「就寝」のアイコン画像はベース色を青色する、といったことが実現可能である。
【0092】
このようなステータス表示アイコン32の表示出力を行うと、ディスプレイ画面31上には、カメラユニット10からステータス情報が出力されている間、何らかのステータス表示アイコン32が表示出力される。つまり、カメラユニット10からは画像データの各フレーム毎に何らかのステータス情報が出力されるので、ディスプレイ画面31上には、見守り対象体の動作(状態遷移)の有無にかかわらずに、何らかのステータス表示アイコン32が表示出力されることになる。したがって、管理サーバ装置30を扱う介護スタッフは、ディスプレイ画面31上の表示内容を参照することで、見守り対象体の動作(状態遷移)の有無にかかわらず、見守り対象体がどのような状態にあるかを的確に把握することができる。
【0093】
しかも、画像データの各フレーム毎に何らかのステータス情報が出力されていれば、見守り対象体に何らかの動作(状態の遷移)があった場合に、そのことがフレームレートのオーダーでステータス表示アイコン32の表示に反映させ得るようになる。つまり、見守り対象体に何らかの動作(状態の遷移)があると、ステータス表示アイコン32の表示出力を瞬時に(遅延等を生じることなく)切り替えることができる。したがって、管理サーバ装置30を扱う介護スタッフは、見守り対象体の状態変化に迅速に対応(例えば、必要に応じた処置を行う等)することができる。
【0094】
このように、管理サーバ装置30の側においては、カメラユニット10からのステータス情報に基づいてステータス表示アイコン32の表示出力を行うことで、当該管理サーバ装置30を扱う介護スタッフが見守り対象体の状態を的確に把握できるようになる。その場合であっても、カメラユニット10による撮像結果をそのまま表示出力するのではなく、ステータス情報に基づくステータス表示アイコン32を表示出力するので、見守り対象体のプライバシーに配慮したものとなり、見守り対象体(要介護者)やその家族等が抵抗を感じてしまうおそれを排除することができる。
【0095】
以上のように、見守り支援システム1の稼働中、原則として、カメラユニット10からはステータス情報が出力されるので、管理サーバ装置30の側においては、そのステータス情報に応じてリアルタイムで(すなわち、状態変化があった場合には迅速に対応しつつ)ステータス表示アイコン32の表示出力を行う。つまり、管理サーバ装置30のディスプレイ画面31上には、原則として、カメラユニット10による撮像画像は表示されず、ステータス表示アイコン32のみが表示出力されることになる。
【0096】
なお、このとき、ディスプレイ画面31上には、ステータス表示アイコン32に付随させて、以下のような情報の表示出力を行うようにしてもよい。具体的には、例えば、各種ユーザインタフェース(UI)用のアイコン画像を表示出力する。これにより、管理サーバ装置30を扱う介護スタッフにとって、使い勝手の良いUIを実現することができ、非常に優れた利便性を実現することが可能となる。また、他にも、例えば、カメラユニット10が設置された居室2内の環境情報(例えば、居室2内の温度情報や湿度情報)を表示出力する。これにより、見守り対象体の状態の把握を、より一層容易かつ的確に行えるようになる。なお、環境情報の取得等は、公知技術を利用して行えばよく、ここではその詳細な説明を省略する。
【0097】
また、ステータス表示アイコン32の表示出力を行う際には、その表示出力と合わせて、必要に応じてアラーム出力を行うようにしてもよい。例えば、「離床」のアイコン画像を表示出力する等の緊急確認を要する場合には、音出力や光出力等のアラーム出力を行って、緊急確認を要する旨の報知を管理サーバ装置30を扱う介護スタッフに対して行う。これにより、管理サーバ装置30を扱う介護スタッフは、より一層迅速な対応をし得るようになる。
【0098】
ところで、見守り支援システム1が複数のカメラユニット10を備えて構成されている場合、管理サーバ装置30には、各カメラユニット10からのステータス情報が並行して送られてくる。その場合に、管理サーバ装置30は、各カメラユニット10からのステータス情報に基づくそれぞれのステータス表示アイコン32を、一覧形式で表示出力するようにしてもよい。このとき、管理サーバ装置30には、各カメラユニット10の設置箇所を認識可能な態様で、一覧形式での表示出力を行うことが望ましい。
図7の例では、カメラユニットが設置された居室A~Fのそれぞれにつき、管理サーバ装置30のディスプレイ画面31上にステータス表示アイコン32を一覧形式で表示出力する場合を示している。各カメラユニット10の設置箇所については、例えば、ステータス情報とともに送信されてくる当該カメラユニット10の識別情報に基づいて判別すればよい。
【0099】
このように、ディスプレイ画面31上にて一覧形式での表示出力を行えば、複数の見守り対象体が存在する場合であっても、それぞれの見守り対象体について容易かつ的確に状態把握を行うことが実現可能となる。しかも、一覧形式での表示出力をステータス表示アイコン32によって行うことで、シンボル化した簡易な図柄によって状態把握がされることになるので、見守り対象体の状態把握が容易化し、しかも視認性に優れることから、特に一覧形式で表示する場合に適用して非常に有用である。
【0100】
(画像データについての処理)
見守り支援システム1の稼働中、カメラユニット10からは、必要に応じて、センサモジュール11で得た画像データが出力されることもある。以下、画像データが出力される場合の処理動作を説明する。
【0101】
例えば、ディスプレイ画面31上にステータス表示アイコン32を表示出力している状況下において、そのステータス表示アイコン32が、緊急確認を要する「離床」のアイコン画像である場合を考える。その場合、管理サーバ装置30を扱う介護スタッフは、より詳細に見守り対象体の状態把握を行うべく、緊急確認を要するディスプレイ画面31上のステータス表示アイコン32に対して、タップやクリック等の所定操作を行う。そうすると、管理サーバ装置30は、所定操作がされたステータス表示アイコン32の基になったステータス情報の送信元であるカメラユニット10に対して、画像データの出力を要求する画像要求情報の送信を行う。画像要求情報を送信する際の送信データフォーマットや通信プロトコル等については、カメラユニット10の側で対応可能なものであれば、特定の態様に限定されるものではない。
【0102】
これに対して、ステータス情報の送信元であるカメラユニット10は、管理サーバ装置30から画像要求情報が送信されると、その画像要求情報を、通信モジュール13を介して、制御モジュール12の情報取得部12cが取得する。そして、情報取得部12cが画像要求情報を取得すると、この情報取得を契機(トリガー)として、制御モジュール12の情報出力部12bが、センサモジュール11で得た画像データを出力するように、管理サーバ装置30に対する出力態様を切り替える。このとき、情報出力部12bは、ステータス情報については、出力を取り止めてもよいし、画像データと共に出力するようにしてもよい。つまり、情報出力部12bは、ステータス情報に代わって、またはステータス情報と共に、センサモジュール11で得た画像データを出力する。
【0103】
このようにして、カメラユニット10から画像データが送られてくると、管理サーバ装置30は、ゲートウエイ20を介して、その画像データを受け取る。そして、管理サーバ装置30は、受け取った画像データの可視画像化を行う。具体的には、画像データにおける各画素データ(Pixel Data)に基づき、管理サーバ装置30のディスプレイ画面31で表示出力可能な可視画像を生成する。
【0104】
図8は、管理サーバ装置30で行うライブ画像の出力処理の概要を示す説明図である。
管理サーバ装置30では、カメラユニット10からの画像データの可視画像化を行うことで、図例のように、カメラユニット10が設置された居室2内のライブ画像33をディスプレイ画面31上に表示出力する。つまり、管理サーバ装置30は、画像要求情報の送信に応じてカメラユニット10から画像データが送られてくると、ディスプレイ画面31上における表示出力内容を、ステータス表示アイコン32からライブ画像33に切り替える。
【0105】
ライブ画像33は、カメラユニット10が設置された居室2内の様子をリアルタイムで表示出力する動画である。したがって、ディスプレイ画面31でライブ画像33の表示出力を行うと、管理サーバ装置30を扱う介護スタッフは、そのライブ画像33を視認することで、居室2内における見守り対象体の状態把握を、ステータス表示アイコン32で確認する場合よりも詳細かつ的確に行うことができる。その結果、介護スタッフは、例えば、必要に応じて、見守り対象体のもとへ駆けつけるといった対応を採り得るようになる。
【0106】
ディスプレイ画面31で表示出力するライブ画像33は、カメラユニット10からの画像データが1万画素以下(例えば64画素×64画素=4096画素)の低解像度画像データであれば、これに応じた解像度のものとなる。したがって、居室2内の様子をリアルタイムで表すライブ画像33を表示出力する場合であっても、そのライブ画像33が低解像度のものとなることから、モザイク処理のような解像度変換処理を要することなく、画像に映る者(具体的には、見守り対象体)のプライバシーにも配慮したものとなる。つまり、ライブ画像33を表示出力する場合であっても、見守り対象体に対するプライバシー保護効果が得られる。
【0107】
また、ディスプレイ画面31でのライブ画像33の表示出力にあたり、カメラユニット10の側でゾーン設定処理が行われている場合には、そのゾーン設定処理で設定された注視領域の範囲を示す枠画像14cを、ライブ画像33上に表示するようにしてもよい。具体的には、例えば、注視領域の画定情報(ゾーン位置情報)に基づき、注視領域の外縁を示す枠画像14cを、ライブ画像33上に重ねて表示する。このようにすれば、ライブ画像33上にて、注視領域の範囲を視認し得るようになり、見守り対象体の状態把握を行う上で好適なものとなる。
【0108】
なお、ディスプレイ画面31上に複数のステータス表示アイコン32が一覧表示されている場合には、ステータス表示アイコン32からライブ画像33への表示出力内容の切り替えを、以下のように行えばよい。
【0109】
例えば、あるステータス表示アイコン32についてタップやクリック等の所定操作があり、これに応じてカメラユニット10から画像データが送られてきた場合、ディスプレイ画面31上においては、所定操作があったステータス表示アイコン32に代わってライブ画像33を表示出力するように、表示出力内容の切り替えを行う。その場合、表示切り替え後のライブ画像33と共に、所定操作がなかった他のステータス表示アイコン32が、ディスプレイ画面31上に一覧表示されることになる。
【0110】
ただし、表示出力内容の切り替え態様がこれに限定されることはなく、例えば、
図8に示すように、表示切り替え後のライブ画像33のみをディスプレイ画面31上に表示出力するようにしてもよい。つまり、ディスプレイ画面31上において、所定操作がなかった他のステータス表示アイコン32を表示出力せずに、表示切り替え後のライブ画像33のみを拡大表示するのである。このような表示出力内容の切り替え態様であれば、特に注視したいライブ画像33がディスプレイ画面31上に拡大表示されることになるので、緊急確認を要する見守り対象体の状態を詳細に確認することができ、当該見守り対象体の状態把握を行う上で非常に好適なものとなる。
【0111】
以上のように、見守り支援システム1の稼働中は、通常時は原則として視認性に優れるステータス表示アイコン32に基づいて見守り対象体の状態を簡便かつ的確に把握できるようにしつつ、必要に応じて(例えば、管理サーバ装置30の側で所定操作があると)ライブ画像33に表示を切り替えて見守り対象体の状態を詳細に確認できるようにする、といったことが実現可能である。これにより、カメラユニット10と管理サーバ装置30との間で、通常時は原則として画像データに代わってステータス情報を授受することによるメリットを享受しつつ、必要に応じてライブ画像33への表示出力内容の切り替えを行うことで、通常時に画像データを授受しないことによるデメリットも解消し得るようになる。
【0112】
<5.本実施形態の効果>
本実施形態によれば、以下に述べる一つまたは複数の効果を奏する。
【0113】
(a)本実施形態において、カメラユニット10からは、原則として、イメージセンサ11aで得た画像データに代わって、その画像データに基づいて生成された見守り対象体の状態に関するステータス情報が出力される。したがって、ステータス情報の出力先(例えば、管理サーバ装置30)では、そのステータス情報を基に、見守り対象体がどのような状態にあるかを的確に把握することができる。しかも、見守り対象体の状態を的確に把握できるようにしつつ、その場合であっても、ステータス情報を出力することで、見守り対象体のプライバシーにも配慮したものとなり、見守り対象体等が抵抗を感じてしまうおそれを排除することができる。さらには、ステータス情報を出力することで、画像データをそのまま出力する場合に比べてデータ量の削減が実現可能となり、情報出力に要する通信環境やデータ処理能力等について負荷軽減が図れる。このことは、特に見守り対象体の数が多い場合には、非常に有用である。
【0114】
以上のように、本実施形態によれば、カメラユニット10が画像データに代わってステータス情報を出力するので、見守り対象体の状態を的確に把握できるようにしつつ、その場合であっても見守り対象体のプライバシーに配慮した簡便なシステムを構築することが実現可能となる。
【0115】
(b)本実施形態において、カメラユニット10は、外部から画像要求情報を取得した場合には、ステータス情報に代わって、またはステータス情報と共に、センサモジュール11で得た画像データを出力する。したがって、原則としてステータス情報を出力するように構成されていても、例えば、より詳細に見守り対象体の状態把握を行う必要が生じた場合には、例外的に画像データを出力することが可能となる。つまり、通常時は見守り対象体の状態把握を簡便に行えるようにしつつ、必要に応じてライブ画像33による見守り対象体の詳細な状態把握を行うといったことが実現可能となり、システム利用者にとっては非常に利便性に優れたものとなる。しかも、その場合であっても、画像データの解像度によっては、見守り対象体に対するプライバシー保護効果が得られる。
【0116】
(c)本実施形態において、ステータス情報を生成する際に判定する見守り対象体の所定複数態様としては、少なくとも見守り対象体の「就寝」、「起床」、「離床」、「離室」、「入床」の五態様を含む。これらの五態様に限定することによって、見守り対象体がとり得る状態の略全てをカバーしつつ、いずれに該当するかの判定処理の負荷軽減が図れるとともに、見守り対象体がどの状態にあるかの把握の簡便化が図れるようになる。
【0117】
(d)本実施形態において、カメラユニット10を構成する各モジュール11~13は一つの筐体内に収容されており、その筐体は居室2の壁面または天井面への取付に対応する大きさで形成されている。したがって、居室2内へのカメラユニット10の設置の自由度が向上し、これによりカメラユニット10および見守り支援システム1の汎用性を十分に確保することが可能となる。
【0118】
(e)本実施形態において、二値化処理部12dは、センサモジュール11で得た画像データに対して、当該画像データのフレーム間差分で動点と判定された箇所とそれ以外の箇所とを識別可能にする二値化を行う。つまり、各フレーム間の画像データの差分に基づいてカメラユニット10の撮像画角内における動き(状態の変化)を抽出する場合において、動きがあったと判定した画素部分とそれ以外の画素部分を識別可能にする二値化処理を行って、動きと判定した箇所の可視化を行う。そして、状態判定部12aは、見守り対象体の状態判定にあたり、二値化処理部12dによる二値化結果を利用する。これにより、状態判定部12aによる見守り対象体の状態の判定精度の向上が図れる。具体的には、動きを可視化した二値化画像を基に、例えば、二値化画像をライブ画像と比較したり、カメラ撮像画角内に設定された注視領域との位置関係を認識したりすることで、動きと判定した箇所が見守り対象体の状態変化によるものか外乱光(照明の点滅)等の影響によるものかを区別し得るようになる。したがって、外乱光等の影響による誤判定を抑制することができ、その結果として、見守り対象体の状態の判定精度の向上が図れるようになる。
【0119】
(f)本実施形態において、ディスプレイ画面14a上にはイメージセンサ11aによる撮像画像に重ねて注視領域の範囲を示す枠画像14cを表示出力するとともに、そのディスプレイ画面14a上で直接的に操作を行うGUI操作によって枠画像14cの表示位置を可変させることで注視領域の範囲設定を行う。つまり、GUI操作を利用してゾーン設定処理を行うことが可能となっている。したがって、注視領域の設定をディスプレイ画面14a上において直感的に行えるようになり、ゾーン設定処理が容易かつ簡便なものとなる。特に、本実施形態で説明したように、ディスプレイ画面14a上に二値化画像を表示すれば、見守り対象体の状態の判定精度向上の確実化が図れる。
【0120】
(g)本実施形態において、状態判定部12aによる状態判定の対象領域となる注視領域を設定する領域設定部12eは、注視領域の設定にあたり、二値化処理部12dによる二値化結果を利用する。つまり、動きと判定した箇所を可視化した二値化画像を利用して、カメラ撮像画角内における注視領域の設定(ゾーン設定処理)を行う。具体的には、二値化画像において外乱光等であると区別された箇所を避けるように、ゾーン設定を行う。したがって、外乱光等の影響が及ぶ箇所が注視領域の範囲内に属するのを未然に防止でき、見守り対象体の状態の判定精度の向上を図る上で非常に好ましいものとなる。
【0121】
(h)本実施形態において、見守り支援システム1は、カメラユニット10からの出力内容に基づき、管理サーバ装置30にて見守り対象体に関する画像表示出力を行うように構成されている。したがって、管理サーバ装置30での画像表示出力内容を視認することで、見守り対象体の動作や状態等を把握することが可能となり、見守り対象体を見守る役割を担う介護スタッフ等にとっては非常に利便性に優れたものとなる。しかも、カメラユニット10からは原則としてステータス情報が出力されるので、見守り対象体の状態を的確に把握できるようにしつつ、その場合であっても見守り対象体のプライバシーに配慮した簡便なシステムを構築することが実現可能となる。
【0122】
(i)本実施形態において、管理サーバ装置30は、見守り支援システム1の稼働中、原則として、カメラユニット10からのステータス情報に基づくステータス表示アイコン32のみを、当該ステータス情報に応じてリアルタイムで表示出力するように構成されている。したがって、視認性に優れるステータス表示アイコン32がリアルタイムで表示出力されることになり、そのステータス表示アイコン32を参照することで、管理サーバ装置30を扱う介護スタッフは、見守り対象体がどのような状態にあるかを的確に把握することができるとともに、見守り対象体の状態変化に迅速に対応(例えば、必要に応じた処置を行う等)することができる。しかも、その場合であっても、ステータス表示アイコン32の表示出力によって、見守り対象体のプライバシーに配慮したものとなり、見守り対象体(要介護者)やその家族等が抵抗を感じてしまうおそれを排除することができる。
【0123】
(j)本実施形態において、管理サーバ装置30は、ステータス表示アイコン32の表示出力を、その基になるステータス情報のランクに応じて相違する表示色で行うように構成されている。したがって、それぞれの表示色の意味を予め把握しておけば、管理サーバ装置30を扱う介護スタッフにとっては、見守り対象体の状態について、ステータス表示アイコン32の表示色に基づき、例えば緊急性を要するか否か等を的確かつ容易に判断することができるので、非常に利便性が優れたものとなる。
【0124】
<6.変形例等>
以上、本発明の実施形態について具体的に説明したが、本発明は上述の実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。
【0125】
上述の実施形態では、ステータス情報およびこれに対応するステータス表示アイコンについて、複数種類の具体例を挙げて説明したが、本発明がこれらの具体例に限定されることはない。つまり、ステータス情報およびステータス表示アイコンの種類や具体的な内容等については、特に限定されるものではなく、システムの設置環境等に応じて予め設定されたものであればよい。
【0126】
上述の実施形態では、見守り支援システム1において、主にカメラユニット10が複数である場合を例に挙げたが、本発明がこれに限定されることはなく、カメラユニット10の設置数は単数であっても複数であってもよい。また、管理サーバ装置30についても同様であり、見守り支援システム1は、複数の管理サーバ装置30を備えて構成されていてもよい。管理サーバ装置30は、単数であるか複数であるかを問わず、画像表示出力機能を有していれば、コンピュータ装置、タブレット装置、スマートホン等のいずれによって構成されていてもよく、複数の場合にはこれらが混在していてもよい。
【符号の説明】
【0127】
1…見守り支援システム、2…居室、3…ベッド、4…室内灯、5…鏡、10…カメラユニット、11…センサモジュール、11a…イメージセンサ、11b…光学系、11c…光源、12…制御モジュール、12a…状態判定部、12b…情報出力部、12c…情報取得部、12d…二値化処理部、12e…領域設定部、12f…情報記憶部、13…通信モジュール、14a…ディスプレイ画面、14c…枠画像、20…ゲートウエイ、30…管理サーバ装置、31…ディスプレイ画面、32…ステータス表示アイコン、33…ライブ画像、D1,D1´,D2,D3…画像データ、D4…二値化データ、E…注視領域、P…見守り対象体