(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0013】
以下、図面を参照して、本発明の実施形態における監視システム、及び監視方法を説明する。
図1は、本実施形態における監視システムとしての通信システム1の構成を示す概略ブロック図である。同図に示すように、通信システム1は、第1の端末装置10と、第2の端末装置20と、第1の端末装置10と第2の端末装置20とを接続するネットワーク30とを具備している。
第1の端末装置10は、例えば、高齢の親(監視対象者、被見守り者)が生活する宅内の居間に位置し(又は設置され)、被見守り者の態様を検出する。また、第1の端末装置10は、検出した態様を示す態様情報を第2の端末装置20にネットワーク30を介して送信する。
第2の端末装置20は、例えば、子世帯が生活する宅内に設置され、第1の端末装置10から受信した態様情報を出力して、被見守り者の態様を子世帯の子や孫(監視者、見守り者)に通知する。
【0014】
第1の端末装置10は、制御部11、撮像部12、通信部13、及び出力部14を備えている。制御部11は、差分算出部111、態様判定部112、及びデータ復元部113を有している。
撮像部12は、設置された居住空間内を撮像し、撮像して得られた画像データを差分算出部111に出力する。例えば、撮像部12は画角が広い光学系を備え、居室内の広い範囲を撮像できるようにする。また、撮像部12は、予め定められた時間間隔ごとに撮像して画像データを出力してもよいし、連続して撮像した動画データを差分算出部111に出力するようにしてもよい。
通信部13は、ネットワーク30を介して、制御部11から入力される各情報を第2の端末装置20に送信し、第2の端末装置20から受信する各情報を制御部11に出力する。
出力部14は、例えば、表示装置(液晶ディスプレイ)や、スピーカなどであり、制御部11からの情報を出力する。
【0015】
差分算出部111は、撮像部12から入力される画像データ又は動画データにおいて、予め定められた時間間隔において生じている変化を検出する。差分算出部111は、検出した変化を示す変化情報を態様判定部112に出力する。すなわち、差分算出部111は、撮像部12が撮像した画像から、被見守り者の活動量を検出していることになる。
態様判定部112は、差分算出部111から入力される変化情報に基づいて、被見守り者の行動の大きさや頻度を判定し、判定結果を示す態様情報を通信部13に出力する。
例えば、態様判定部112は、被見守り者の態様を3段階で判定し、「ほとんど動いていない」、「ある程度の動きが検出される」、「頻繁に動きが検出される」のいずれかを示す態様情報を出力する。「ほとんど動いていない」は、一例として、被見守り者が座って本を読んでいたり、テレビを見ていたり、寝ていたりする状態を示す。「ある程度の動きが検出される」は、一例として、被見守り者の動きが検出される状態を示す。「頻繁に動きが検出される」は、一例として、被見守り者が居室内を頻繁に移動している状態(掃除をしている場合など)を示す。具体的には、態様判定部112は、画像内の2割以上の領域が10秒間隔ごとに変化している状態が連続する場合に「頻繁に動きが検出される」と判定し、画像内の2割以上の領域が10秒間隔ごとに変化している状態が連続的にではないが検出される場合に「ある程度の動きが検出される」と判定し、画像内の2割以上の領域が検出されない場合に「ほとんど動いていない」と判定するようにしてもよい。すなわち、態様判定部112は、画像において変化(差分)が生じている時間間隔に基づいて、被見守り者の活動量を判定している。
【0016】
データ復元部113は、通信部13を介して、第2の端末装置20から受信した情報を復元し、復元した情報を出力部14から出力させる。具体的には、データ復元部113は、文字情報からなるメッセージを出力部14(ディスプレイ)に表示させたり、音声情報を出力部14(スピーカ)から出力させたりする。
【0017】
第2の端末装置20は、制御部21、通信部22、画像記憶部23、表示部24、及び入力部25を備えている。制御部21は、画像生成部211、及びデータ生成部212を有している。
通信部22は、ネットワーク30を介して、制御部21から入力される各情報を第1の端末装置10に送信し、第1の端末装置10から受信する各情報を制御部21に出力する。
画像記憶部23は、態様判定部112による判定結果に応じた画像データを予め記憶している。本実施形態では、「ほとんど動いていない」、「ある程度の動きが検出される」、「頻繁に動きが検出される」それぞれに対応する画像データであって、判定結果を示すキャラクタの画像データが記憶されている。
表示部24は、例えば、液晶ディスプレイなどであり、制御部21から入力される画像データを表示する。
入力部25は、例えば、ボタンや、タッチパネル、キーボード、マイクなどであり、第2の端末装置20を利用する利用者(見守り者)の操作に応じた情報を入力する。
【0018】
画像生成部211は、通信部22を介して、第1の端末装置10から受信した態様情報に対応する画像データを画像記憶部23から読み出し、読み出した画像データを表示部24に出力する。画像生成部211は、表示部24に画像データを表示させることにより、被見守り者の態様を見守り者に知らせる。
データ生成部212は、入力部25が入力した情報から送信データを生成し、生成した送信データを通信部22に出力する。例えば、データ生成部212は、ボタンが押下されたことを示す情報や、タッチパネルを介して表示部24に表示されているキャラクタに対する操作(タップやフリック、スワイプなど)を示す情報、キーボードから入力されたテキストを示す情報、マイクから入力される音声を示す情報などに対して、デジタル化や、情報量の圧縮、暗号化などを行うことにより送信データを生成する。
【0019】
図2は、本実施形態における通信システム1の第1の通信処理(監視処理)を示すフローチャートである。
第1の端末装置10において、通信が開始されると、撮像部12は居室内を撮像し、撮像により得られた画像データを差分算出部111に出力する(ステップS101)。
差分算出部111は、撮像部12が撮像した画像データから居室内における変化を検出して、変化情報を態様判定部112に出力する(ステップS102)。
態様判定部112は、変化情報に基づいて、居室内における被見守り者の態様を判定し、判定結果を示す態様情報を通信部13に出力する(ステップS103)。
通信部13は、ネットワーク30を介して、態様情報を第2の端末装置20に送信する(ステップS104)。
第2の端末装置20において、通信部13は、第1の端末装置10から態様情報を受信し、受信した態様情報を画像生成部211に出力する(ステップS105)。
画像生成部211は、入力された態様情報に対応する画像データを画像記憶部23から読み出すことにより、態様情報に対応する画像を生成する(ステップS106)。
画像生成部211は、読み出した画像データを表示部24に出力して、生成した画像を表示部24に表示させる(ステップS107)。
【0020】
図3は、本実施形態における第2の端末装置20に表示される画像の一例を示す図である。
図3(A)は、「ある程度の動きが検出される」状態に対応する画像であり、被見守り者が起きている状態をキャラクタによって表している。
図3(B)は、「ほとんど動いていない」状態に対応する画像であり、被見守り者がほとんど動いていない状態をキャラクタが寝ていることにより表している。
図3(C)は、「頻繁に動きが検出される」状態に対応する画像であり、被見守り者が動き回っていることをキャラクタが歩いていることにより表している。
【0021】
上述の第1の通信処理により、通信システム1は、被見守り者が生活する居室内における変化を第1の端末装置10が検出し、検出した変化に対応する画像を第2の端末装置20に表示させる。これにより、通信システム1を用いることにより、見守り者(子世帯における子や孫など)は、第2の端末装置20に備えられている表示部24を目視することで、被見守り者(高齢の親)の状態を容易に把握することができる。
また、第2の端末装置20に表示される画像は、第1の端末装置10が撮像した画像を直接用いずに、被見守り者の態様を表したキャラクタの画像であるので、被見守り者のプライバシーを保ちつつ、状態の把握をすることができる。
【0022】
図4は、本実施形態における通信システム1の第2の通信処理を示すフローチャートである。
見守り者(子や孫)が第2の端末装置20に表示された画像を見て、被見守り者(高齢の親)とのコミュニケーションを行うために第2の端末装置20に備えられている入力部25を操作すると、入力部25は操作に応じた情報を入力する(ステップS201)。見守り者が行う操作としては、例えば、ボタンを押下したり、キーボードを操作してメッセージを入力したり、マイクに向かって話したりする。
データ生成部212は、入力部25に入力された情報から送信データを生成して、通信部22に出力する(ステップS202)。
通信部22は、ネットワーク30を介して、入力された送信データを第1の端末装置10に送信する(ステップS203)。
第1の端末装置10において、通信部13は、第2の端末装置20から送信データを受信すると、受信した送信データをデータ復元部113に出力する(ステップS204)。
データ復元部113は、入力された送信データに対して、復号化や、圧縮された情報量の復元などを行うことにより、見守り者が入力した情報を復元する(ステップS205)。
データ復元部113は、復元した情報を出力部14から出力させる(ステップS206)。
【0023】
上述の第1の通信処理により、通信システム1は、被見守り者と見守り者との間のゆるやかなコミュニケーションを提供することができ、見守り者は、被見守り者の状態に応じて、メッセージを送ったり、声を掛けたりすることができる。
例えば、「頻繁に動きが検出される」状態の画像が第2の端末装置20に表示されている場合に「おばあちゃん、無理しないでね。」などの文字によるメッセージ又は音声情報を第1の端末装置10に送ったり、通常であれば「ある程度の動きが検出される」時間帯に「ほとんど動いていない」状態の画像が第2の端末装置20に表示されている場合に「おばあちゃん、大丈夫?」などの文字によるメッセージ又は音声情報を第1の端末装置10に送信することにより、声を掛けたりするコミュニケーションを図ることができる。
【0024】
なお、上述の実施形態において、被見守り者の居室に設置されている第1の端末装置10と、見守り者が利用する第2の端末装置20とが異なる構成を有する場合について説明した。しかし、これに限ることなく、被見守り者の居室に設置される端末装置と、見守り者が利用する端末装置とが同じ構成を有していてもよい。この場合、被見守り者と見守り者との双方が相手の態様を把握することができると共に、双方向のコミュニケーションを容易に図ることができる。また、この場合、端末装置は、撮像部12、出力部14、入力部25、制御部、通信部13(22)、及び画像記憶部23を備えることになる。また、制御部は、差分算出部111、態様判定部112、データ復元部113、画像生成部211、及びデータ生成部212を有することになる。
【0025】
また、上述の実施形態において、第2の端末装置20で表示する画像を生成するための判定を、第1の端末装置10における態様判定部112が行う構成について説明した。しかし、これに限ることなく、態様判定部112を第1の端末装置10に設けずに、差分算出部111が出力する変化情報を第2の端末装置20に送信し、第2の端末装置20において、変化情報を受信する間隔に応じて画像生成部211が画像データを読み出して、表示部24に表示させるようにしてもよい。
例えば、画像生成部211は、変化情報を受信してから第1の期間が経過するまで
図3(C)の画像を表示し、第1の期間が経過した後に第2の期間が経過するまで
図3(A)の画像を表示し、第2の期間が経過した後に
図3(B)の画像を表示する。すなわち、変化情報を受信してから所定の期間(第2の期間)内に新たな変化情報が受信されない場合、第2の端末装置20の表示部24に
図3(B)の画像が表示されることになる。このように、差分算出部111から変化情報が出力される頻度に応じて、第2の端末装置20に表示する画像を変化させるようにしてもよい。これにより、第1の端末装置10を簡易な構成にして、第1の端末装置10のコストを下げることができる。
【0026】
また、上述の第2の通信処理において、第1の端末装置10は、第2の端末装置20から受信した送信データを出力する構成について説明した。しかし、これに限ることなく、見守り者(子や孫)の音声情報を予め記憶している記憶部を第1の端末装置10に設け、第2の端末装置20において入力部25を構成するボタンが押下された場合に、ボタンが押下されたことを示す情報を第2の端末装置20から第1の端末装置10に送信し、データ復元部113が前述の記憶部に記憶されている音声情報を出力部14に出力して、音声を発するようにしてもよい。これにより、複雑な操作を行わずとも、声掛けを容易に行うことができる。
また、第2の端末装置20におけるボタンの押下に替えて、タッチパネルの操作することにより、第1の端末装置10から音声情報が出力されるようにしてもよい。また、タッチパネルの操作(タップや、フリック、スワイプ)に応じて出力される音声情報を変えるようにしてもよい。また、第2の端末装置20においてボタンが押下された場合に、第1の端末装置10に定型文、例えば「電話で連絡を下さい。」などを表示するようにしてもよい。
【0027】
また、上述の実施形態において、第2の端末装置20は、第1の端末装置10から受信した態様情報に応じた画像を出力する構成について説明した。しかし、これに限ることなく、画像生成部211において生成した画像データを、予め登録しておいた他の端末装置に転送するようにしてもよい。この場合、画像生成部211は、生成した画像データを通信部22に出力する。通信部22は、予め登録されている他の端末装置宛に、入力された画像データを送信する。これにより、見守り者が所有している携帯情報端末、例えば携帯電話やスマートフォンに、被見守り者の態様を示す画像を表示することができ、常に被見守り者の態様を把握することができる。
【0028】
また、上述の実施形態において、態様判定部112が態様情報を暗号化し、画像生成部211が復号して態様情報を得るようにしてもよい。これにより、被見守り者のプライバシーを保つことができる。
また、上述の実施形態において、被見守り者の態様を3段階で表す場合について説明したが、これに限ることなく、2段階や4段階以上の判定を行い、判定結果に応じた画像を第2の端末装置20に表示するようにしてもよい。なお、2段階の判定を行う場合、必ずしも活動量を検出する必要はなく、態様判定部112は活動の有無を検出するようにしてもよい。
【0029】
また、上述の実施形態において、第1の端末装置10と第2の端末装置20とは、直接通信(Peer to Peer:P2P)を行う構成を説明したが、ネットワーク30に接続されたサーバ装置を介して、通信するようにしてもよい。
また、上述の実施形態において、第1の端末装置10が差分算出部111及び態様判定部112を有する構成を説明したが、ネットワーク30に接続されたサーバ装置において差分算出部111及び態様判定部112が行う処理を行うようにしてもよい。また、画像生成部211が行う処理を前述のサーバ装置において行うようにしてもよい。これにより、第1の端末装置10及び第2の端末装置20を簡易な構成にして、第1の端末装置10及び第2の端末装置20のコストを下げることができる。また、前述のサーバ装置にて、画像に対する差分算出や、態様の判定のアルゴリズムを更新することが容易になり、より精度の高い態様の判定を行うことができ、態様の把握の精度を高めることができる。
【0030】
また、第1の端末装置10及び第2の端末装置20は、ネットワーク30に対して有線又は無線のいずれを用いて接続されていてもよい。また、ネットワーク30は、公衆回線網であってもよいし、インターネットであってもよいし、携帯電話網であってもよいし、それらを組み合わせたものであってもよい。
また、上述の実施形態にいて、第1の端末装置10は、被見守り者が生活する居室に配置される場合について説明した。しかし、これに限ることなく、被見守り者が居る場所であれば室内以外に第1の端末装置10を配置するようにしてもよい。
【0031】
なお、本発明における第1の端末装置10及び第2の端末装置20の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより第1の通信処理、第2の通信処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境(あるいは表示環境)を備えたWWWシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。更に「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。
【0032】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。更に、前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。