特許 7391536 観察システム及び観察方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-27

(45)【発行日】2023-12-05

(54)【発明の名称】観察システム及び観察方法

(51)【国際特許分類】

   G08B 25/04 20060101AFI20231128BHJP

   G06T 7/20 20170101ALI20231128BHJP

   G08B 21/02 20060101ALI20231128BHJP

   G08B 25/00 20060101ALI20231128BHJP

   G08B 25/08 20060101ALI20231128BHJP

   G08B 25/10 20060101ALI20231128BHJP

   H04M 11/00 20060101ALI20231128BHJP

   H04N 7/18 20060101ALI20231128BHJP

【ＦＩ】

G08B25/04 K

G06T7/20 300Z

G08B21/02

G08B25/00 510M

G08B25/08 A

G08B25/10 D

H04M11/00 301

H04N7/18 D

H04N7/18 K

【請求項の数】 8

(21)【出願番号】P 2019094534

(22)【出願日】2019-05-20

(65)【公開番号】P2020190823

(43)【公開日】2020-11-26

【審査請求日】2022-04-06

(73)【特許権者】

【識別番号】000001432

【氏名又は名称】グローリー株式会社

(74)【代理人】

【識別番号】100114306

【弁理士】

【氏名又は名称】中辻 史郎

(74)【代理人】

【識別番号】100148655

【弁理士】

【氏名又は名称】諏訪 淳一

(72)【発明者】

【氏名】永井 悠葵

(72)【発明者】

【氏名】盛脇 荘太郎

(72)【発明者】

【氏名】大塚 崇明

(72)【発明者】

【氏名】大野 奈津美

(72)【発明者】

【氏名】竹内 寿

【審査官】田畑 利幸

(56)【参考文献】

【文献】米国特許出願公開第２０１２／００７５４６４（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１９／００１２８９３（ＵＳ，Ａ１）

【文献】特開２００８－３０５１９２（ＪＰ，Ａ）

【文献】特開２０１４－１７４６２７（ＪＰ，Ａ）

【文献】特開２０１５－１３２９６３（ＪＰ，Ａ）

【文献】特開２０２０－０１４１０９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｂ １９／００－３１／００

Ｈ０４Ｍ １１／００－１１／１０

Ａ６１Ｇ ９／００－１５／１２

Ａ６１Ｇ ９９／００

Ｈ０４Ｎ ７／１８

Ｇ０６Ｔ ７／００－ ７／９０

(57)【特許請求の範囲】

【請求項1】

被観察者を撮像する撮像手段と、前記撮像手段に撮像された前記被観察者の映像から動作特徴を抽出する抽出手段と、抽出された前記動作特徴が異常動作に該当する場合には、前記異常動作に係る発報を受信する観察者端末と、を含む観察システムであって、
前記抽出手段により抽出された前記動作特徴が、前記異常動作に推移する可能性がある動作である異常予兆のうち、過去の異常動作に係る発報により異常動作に推移しないとされたものを除いた異常予兆に該当する場合に、前記異常予兆に係る発報を前記観察者端末に対して行うことを特徴とする観察システム。

【請求項2】

前記観察者端末は、表示部を有し、
前記異常予兆に係る発報の受信の際に、前記被観察者の映像に基づく情報を受信し、前記表示部に表示することを特徴とする請求項１に記載の観察システム。

【請求項3】

前記観察者端末は、さらに入力部を有し、
前記発報の受信の後に、前記発報が適切であったかどうかの入力を受け付けることを特徴とする請求項１又は２に記載の観察システム。

【請求項4】

前記観察者端末は、前記発報が適切であったかどうかの前記入力を受け付けた後、前記入力に基づく情報を前記抽出手段に送信し、
前記観察システムは、さらに記憶手段を有し、
前記記憶手段は、前記入力に基づく前記情報を受信した後、前記入力に基づく前記情報と、当該入力に対応する前記動作特徴とを対応づけて記憶し、
前記抽出手段は、別の発報を前記観察者端末に対して行う前に、当該発報の元となった異常予兆と類似する動作特徴を前記記憶手段に記憶された前記動作特徴から検索し、該当する前記動作特徴に対応して記憶される情報が、適切な発報に対応する情報でなかった場合に、前記発報を停止することを特徴とする請求項３に記載の観察システム。

【請求項5】

前記抽出手段は、前記動作特徴について、前記異常動作及び／又は前記異常予兆に該当するか否かを学習した学習済モデルを用いて前記発報を制御し、前記入力に基づく前記情報を前記学習済モデルの更新に用いることを特徴とする請求項３に記載の観察システム。

【請求項6】

前記撮像手段は深度情報を取得可能な三次元カメラであって、前記撮像手段もしくは前記抽出手段は、前記被観察者の顔画像に基づいて、前記被観察者が観察対象として適切かどうかの認証を行うことを特徴とする請求項１乃至５のいずれか一つに記載の観察システム。

【請求項7】

被観察者を撮像する撮像手段と、前記撮像手段に撮像された前記被観察者の映像から動作特徴を抽出し、抽出した前記動作特徴に異常予兆があった場合には、前記異常予兆に係る発報を観察者端末に対して行う抽出手段と、抽出された前記動作特徴が異常動作に該当する場合には、前記抽出手段から前記異常動作に係る発報を受信する観察者端末と、記憶手段と、を含む観察システムであって、
前記観察者端末は、前記発報が適切であったかどうかの入力を受け付けた後、前記入力に基づく情報を前記抽出手段に送信し、
前記記憶手段は、前記入力に基づく前記情報を受信した後、前記入力に基づく前記情報と、当該入力に対応する前記動作特徴とを対応づけて記憶し、
前記抽出手段は、別の発報を前記観察者端末に対して行う前に、当該発報の元となった異常予兆と類似する動作特徴を前記記憶手段に記憶された前記動作特徴から検索し、該当する前記動作特徴に対応して記憶される情報が、適切な発報に対応する情報でなかった場合に、前記発報を停止する
ことを特徴とする観察システム。

【請求項8】

被観察者を撮像する撮像手段と、前記撮像手段に撮像された前記被観察者の映像から動作特徴を抽出する抽出手段と、抽出された前記動作特徴が異常動作に該当する場合には、前記異常動作に係る発報を受信する観察者端末と、を含む観察システムにおける観察方法であって、
抽出された前記動作特徴が、前記異常動作に推移する可能性がある動作である異常予兆のうち、過去の異常動作に係る発報により異常動作に推移しないとされたものを除いた異常予兆に該当する場合に、前記異常予兆に係る発報を前記観察者端末に対して行う発報工程を有することを特徴とする観察方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、対象の観察を行う観察システム及び観察方法に関する。

【背景技術】

【0002】

従来、対象の人物の状態を観察する技術が知られている。例えば、特許文献１が開示するシステムは、老人等の被観察者の端末、医師や家族の端末、見守りサーバとからなるシステムで、要介護度に対応する緊急発報条件を設定しておき、端末に接続された観察機器（人感センサーや、ドップラーセンサー等）の検知情報が、所定の緊急発報情報に達すると被観察者と対の特定者端末（医師、家族等）に緊急発報を行う。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１７－１５１７５５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来の技術では、緊急の事態が発生するまで発報を行えないため、事後対応に終始することとなり、緊急の事態を事前に防ぐことや、早期の対応を行うことができないという問題点があった。

【0005】

本発明は、上記従来技術の問題点を解消するためになされたものであって、被観察者への早期対応を実現することを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するため、本発明は、被観察者を撮像する撮像手段と、前記撮像手段に撮像された前記被観察者の映像から動作特徴を抽出する抽出手段と、抽出された前記動作特徴が異常動作に該当する場合には、前記異常動作に係る発報を受信する観察者端末と、を含む観察システムであって、前記抽出手段により抽出された前記動作特徴が、前記異常動作に推移する可能性がある動作である異常予兆のうち、過去の異常動作に係る発報により異常動作に推移しないとされたものを除いた異常予兆に該当する場合に、前記異常予兆に係る発報を前記観察者端末に対して行うことを特徴とする。

【0008】

また、本発明は、上記発明において、前記観察者端末は、表示部を有し、前記異常予兆に係る発報の受信の際に、前記被観察者の映像に基づく情報を受信し、前記表示部に表示することを特徴とする。

【0009】

また、本発明は、上記発明において、前記観察者端末は、さらに入力部を有し、前記発報の受信の後に、前記発報が適切であったかどうかの入力を受け付けることを特徴とする。

【0010】

また、本発明は、上記発明において、前記観察者端末は、前記発報が適切であったかどうかの前記入力を受け付けた後、前記入力に基づく情報を前記抽出手段に送信し、前記観察システムは、さらに記憶手段を有し、前記記憶手段は、前記入力に基づく前記情報を受信した後、前記入力に基づく前記情報と、当該入力に対応する前記動作特徴とを対応づけて記憶し、前記抽出手段は、別の発報を前記観察者端末に対して行う前に、当該発報の元となった異常予兆と類似する動作特徴を前記記憶手段に記憶された前記動作特徴から検索し、該当する前記動作特徴に対応して記憶される情報が、適切な発報に対応する情報でなかった場合に、前記発報を停止することを特徴とする。

【0011】

また、本発明は、上記発明において、前記抽出手段は、前記動作特徴について、前記異常動作及び／又は前記異常予兆に該当するか否かを学習した学習済モデルを用いて前記発報を制御し、前記入力に基づく前記情報を前記学習済モデルの更新に用いることを特徴とする。

【0012】

また、本発明は、上記発明において、前記撮像手段は深度情報を取得可能な三次元カメラであって、前記撮像手段もしくは前記抽出手段は、前記被観察者の顔画像に基づいて、前記被観察者が観察対象として適切かどうかの認証を行うことを特徴とする。

【0013】

また、本発明は、被観察者を撮像する撮像手段と、前記撮像手段に撮像された前記被観察者の映像から動作特徴を抽出し、抽出した前記動作特徴に異常予兆があった場合には、前記異常予兆に係る発報を観察者端末に対して行う抽出手段と、抽出された前記動作特徴が異常動作に該当する場合には、前記抽出手段から前記異常動作に係る発報を受信する観察者端末と、記憶手段と、を含む観察システムであって、前記観察者端末は、前記発報が適切であったかどうかの入力を受け付けた後、前記入力に基づく情報を前記抽出手段に送信し、前記記憶手段は、前記入力に基づく前記情報を受信した後、前記入力に基づく前記情報と、当該入力に対応する前記動作特徴とを対応づけて記憶し、前記抽出手段は、別の発報を前記観察者端末に対して行う前に、当該発報の元となった異常予兆と類似する動作特徴を前記記憶手段に記憶された前記動作特徴から検索し、該当する前記動作特徴に対応して記憶される情報が、適切な発報に対応する情報でなかった場合に、前記発報を停止することを特徴とする。
また、本発明は、被観察者を撮像する撮像手段と、前記撮像手段に撮像された前記被観察者の映像から動作特徴を抽出する抽出手段と、抽出された前記動作特徴が異常動作に該当する場合には、前記異常動作に係る発報を受信する観察者端末と、を含む観察システムにおける観察方法であって、抽出された前記動作特徴が、前記異常動作に推移する可能性がある動作である異常予兆のうち、過去の異常動作に係る発報により異常動作に推移しないとされたものを除いた異常予兆に該当する場合に、前記異常予兆に係る発報を前記観察者端末に対して行う発報工程を有することを特徴とする。

【発明の効果】

【0014】

本発明によれば、被観察者への早期対応を実現することができる。

【図面の簡単な説明】

【0015】

【図1】図１は、観察システムの概念を説明するための説明図である。

【図2】図２は、観察システムの構成を示すシステム構成図である。

【図3】図３は、図１に示した撮像装置の機能構成を示す機能ブロック図である。

【図4】図４は、図１に示したサーバ装置の機能構成を示す機能ブロック図である。

【図5】図５は、図１に示した端末装置の機能構成を示す機能ブロック図である。

【図6】図６は、サーバ装置の処理手順を示すフローチャートである。

【図7】図７は、異常動作や異常予兆が発生していない場合の表示例についての説明図である。

【図8】図８は、異常動作が発生した場合の表示例についての説明図である。

【図9】図９は、修正データによる異常予兆モデルデータの更新についての説明図である。

【図10】図１０は、判定時に修正データを参照する場合についての説明図である。

【図11】図１１は、留置場の観察システムについての説明図である。

【発明を実施するための形態】

【0016】

以下、添付図面を参照して、実施の形態に係る観察システム及び観察方法を説明する。

【0017】

図１は、観察システムの概念を説明するための説明図である。図１に示した観察システムは、老人福祉施設の居室に撮像装置１０を設けており、居住者を撮像して観察を行うことができる。この観察の対象となる居住者を被観察者という。

【0018】

撮像装置１０は、時系列に撮像を行って得られた時系列の画像群（映像）をサーバ装置２０に送信する。サーバ装置２０は、撮像装置１０によって撮像された被観察者の映像から動作特徴を抽出し、異常動作の判定と異常予兆の判定を行う。

【0019】

異常動作は、転倒などの事故、体調不良を示す動作などである。抽出した動作特徴が異常動作に該当する場合には、サーバ装置２０は、観察者の端末装置３０に異常動作の報知を行う。観察者は、老人福祉施設の職員などであり、端末装置３０が異常動作の報知を受信すると、異常動作の対処にあたる。

【0020】

異常予兆は、異常動作には該当しないが、異常動作に推移する可能性がある動作である。例えば、しゃがみ込む、歩行のふらつきなどである。また、普段とは異なる動作も異常予兆として扱うことができる。抽出した動作特徴が異常予兆に該当する場合には、サーバ装置２０は、観察者の端末装置３０に異常予兆の報知を行う。観察者は、老人福祉施設の職員などであり、端末装置３０が異常予兆の報知を受信すると、異常予兆の対処にあたることで、異常の防止や早期対応を実現する。

【0021】

サーバ装置２０が異常動作や異常予兆の報知を行うことを便宜上、発報という。また、異常動作の報知を異常発報といい、異常予兆の発報を予兆発報という。

【0022】

このように、本実施の形態に係る観察システムは、被観察者を撮像し、被観察者の映像から動作特徴を抽出し、動作特徴が異常動作に該当する場合には観察者の端末装置３０に異常発報を行い、動作特徴に異常予兆があった場合には異常予兆に係る発報を端末装置３０に対して行う。このため、緊急事態の事前防止や早期対応を実現することができる。

【0023】

次に、観察システムの構成について説明する。図２は、観察システムの構成を示すシステム構成図である。図２に示したように、複数の居室にそれぞれ撮像装置１０が設けられ、撮像装置１０は所定のネットワークを介してサーバ装置２０と接続される。

【0024】

また、観察者用の端末装置３０も所定のネットワークを介してサーバ装置２０と接続される。観察者用の端末装置３０は、観察者の控え室に設置しても良いし、観察者が携行可能な携帯型の装置であってもよい。

【0025】

サーバ装置２０は、複数の撮像装置１０から撮像結果を取得し、各居室の被観察者の動作特徴を抽出し、異常動作や異常予兆に該当する場合には、対応する端末装置３０に対して発報を行う。

【0026】

図３は、図１に示した撮像装置１０の機能構成を示す機能ブロック図である。図３に示すように、撮像装置１０は、可視光カメラ１１、深度センサ１２、通信部１３、記憶部１４及び制御部１５を有する。

【0027】

可視光カメラ１１は、可視光の画像を時系列に撮像する撮像デバイスである。深度センサ１２は、赤外光を照射して反射波を受光することで深度データを取得するデバイスである。通信部１３は、サーバ装置２０と通信を行う通信インタフェースである。記憶部１４は、ハードディスク装置等の記憶デバイスであり、可視光画像データ１４ａ及び深度画像データ１４ｂなどを記憶する。

【0028】

制御部１５は、撮像装置１０を全体制御する制御部であり、可視光画像処理部１５ａ、深度画像処理部１５ｂ及び送信処理部１５ｃを有する。実際には、これらの機能部に対応するプログラムを図示しないＲＯＭや不揮発性メモリに記憶しておき、これらのプログラムをＣＰＵにロードして実行することにより、可視光画像処理部１５ａ、深度画像処理部１５ｂ及び送信処理部１５ｃにそれぞれ対応するプロセスを実行させることになる。

【0029】

可視光画像処理部１５ａは、可視光カメラ１１の撮像結果から可視光画像データ１４ａを生成し、記憶部１４に蓄積する処理を行う。深度画像処理部１５ｂは、深度センサ１２が取得した深度データを用いて深度画像データ１４ｂを生成し、記憶部１４に蓄積する処理を行う。送信処理部１５ｃは、可視光画像データ１４ａと深度画像データ１４ｂを対応づけて適宜サーバ装置２０に送信する処理を行う。

【0030】

図４は、図１に示したサーバ装置２０の機能構成を示す機能ブロック図である。図４に示すように、サーバ装置２０は、表示部２１、入力部２２、通信部２３、記憶部２４及び制御部２５を有する。

【0031】

表示部２１は、液晶ディスプレイなどの表示デバイスである。入力部２２は、キーボードやマウスなどの入力デバイスである。通信部２３は、撮像装置１０や端末装置３０と通信を行う通信インタフェースである。

【0032】

記憶部２４は、ハードディスク装置等の記憶デバイスであり、異常動作モデルデータ２４ａ、異常予兆モデルデータ２４ｂ、観察管理データ２４ｃ、画像履歴データ２４ｄ及び報知履歴データ２４ｅなどを記憶する。

【0033】

異常動作モデルデータ２４ａは、異常動作の判定に用いるデータである。この異常動作モデルデータ２４ａは、例えば学習用の動作特徴データと正解データ（異常動作であるか否かを示すデータ）とを用い、深層学習を行って生成すればよい。

【0034】

異常予兆モデルデータ２４ｂは、異常予兆の判定に用いるデータである。この異常予兆モデルデータ２４ｂは、例えば学習用の動作特徴データと正解データ（異常予兆であるか否かを示すデータ）とを用い、深層学習を行って生成すればよい。

【0035】

観察管理データ２４ｃは、居室、被観察者、撮像装置１０、観察者、端末装置３０の情報を管理するデータである。すなわち、どの居室にどの被観察者がいるか、どの撮像装置１０が設置されているか、どの観察者が担当であるか、どの端末装置３０がどこの所在するか等の管理に用いられる。

【0036】

画像履歴データ２４ｄは、撮像装置１０から受信した画像を蓄積したデータである。具体的には、撮像装置１０の識別情報、日時、可視光画像データ、深度画像データなどを関連付けて蓄積することになる。

【0037】

報知履歴データ２４ｅは、端末装置３０に対して行った報知の履歴を蓄積したデータである。具体的には、端末装置３０の識別情報、日時、報知の内容、対処の結果、報知の適否などを関連付けて蓄積することになる。なお、対処の結果や報知の適否は、端末装置３０から受信する。

【0038】

制御部２５は、サーバ装置２０を全体制御する制御部であり、判定モデル管理部２５ａ、観察管理部２５ｂ、認証処理部２５ｃ、画像合成部２５ｄ、動作特徴抽出部２５ｅ、異常動作報知部２５ｆ及び異常予兆報知部２５ｇを有する。実際には、これらの機能部に対応するプログラムを図示しないＲＯＭや不揮発性メモリに記憶しておき、これらのプログラムをＣＰＵにロードして実行することにより、判定モデル管理部２５ａ、観察管理部２５ｂ、認証処理部２５ｃ、画像合成部２５ｄ、動作特徴抽出部２５ｅ、異常動作報知部２５ｆ及び異常予兆報知部２５ｇにそれぞれ対応するプロセスを実行させることになる。

【0039】

判定モデル管理部２５ａは、異常動作モデルデータ２４ａと異常予兆モデルデータ２４ｂの管理を行う処理部である。異常動作モデルデータ２４ａ及び異常予兆モデルデータ２４ｂは、判定モデル管理部２５ａが生成しても良いし、外部から取得して記憶部１４に格納してもよい。

【0040】

また、異常発報や予兆発報を確認した観察者が異常動作や異常予兆に該当しないと判断した場合には、端末装置３０から修正データが送信される。判定モデル管理部２５ａは、修正データに基づいて異常動作モデルデータ２４ａと異常予兆モデルデータ２４ｂの修正を行い、判定の精度を向上する。

【0041】

観察管理部２５ｂは、居室、被観察者、撮像装置１０、観察者、端末装置３０の情報を観察管理データ２４ｃに登録し、適宜更新することで、観察システムの動作状態を管理する処理部である。

【0042】

認証処理部２５ｃは、被観察者の認証を行う処理部である。具体的には、被観察者の外観上の特徴を示す特徴データが観察管理データ２４ｃに登録されており、認証処理部２５ｃは、撮像装置１０から受信した可視光画像データに含まれる人物の像を検出して観察管理データ２４ｃの特徴データと比較することで、被観察者の認証を行う。

【0043】

画像合成部２５ｄは、可視光画像データと深度画像データとを合成し、観察者に対して出力する画像を生成する処理部である。具体的には、可視光画像データに含まれる被観察者の像の領域を、深度画像データに置き換えてを画像を生成する。このように、被観察者の像を深度画像に置き換えることで、被観察者の状態を正確に示しつつ、被観察者のプライバシーを守ることができる。

【0044】

動作特徴抽出部２５ｅは、撮像装置１０から受信した可視光画像データ及び深度画像データを用い、被観察者の動作の特徴を示す動作特徴を抽出する処理部である。

【0045】

異常動作報知部２５ｆは、動作特徴抽出部２５ｅによって抽出された動作特徴と、異常動作モデルデータ２４ａとを用い、動作特徴が異常動作に該当するか否かを判定する。そして、動作特徴が異常動作に該当する場合には、端末装置３０に対して異常動作の報知（異常発報）を行う。

【0046】

異常予兆報知部２５ｇは、動作特徴抽出部２５ｅによって抽出された動作特徴と、異常予兆モデルデータ２４ｂとを用い、動作特徴が異常予兆に該当するか否かを判定する。そして、動作特徴が異常予兆に該当する場合には、端末装置３０に対して異常予兆の報知（予兆発報）を行う。

【0047】

このように、動作特徴抽出部２５ｅ、異常動作報知部２５ｆ及び異常予兆報知部２５ｇが協働し、特許請求の範囲に記載した抽出手段として動作する。

【0048】

図５は、図１に示した端末装置３０の機能構成を示す機能ブロック図である。図５に示すように、端末装置３０は、表示部３１、入力部３２、通信部３３、記憶部３４及び制御部３５を有する。

【0049】

表示部３１は、液晶ディスプレイなどの表示デバイスである。入力部３２は、ボタンなどの入力デバイスである。タッチパネルディスプレイなどを用い、表示部３１と入力部３２を一体に形成してもよい。通信部３３は、サーバ装置２０と通信を行う通信インタフェースである。記憶部３４は、各種データの格納に使用可能である。

【0050】

制御部３５は、端末装置３０を全体制御する制御部であり、観察出力処理部３５ａ、報知出力処理部３５ｂ及び報知修正処理部３５ｃを有する。実際には、これらの機能部に対応するプログラムを図示しないＲＯＭや不揮発性メモリに記憶しておき、これらのプログラムをＣＰＵにロードして実行することにより、観察出力処理部３５ａ、報知出力処理部３５ｂ及び報知修正処理部３５ｃにそれぞれ対応するプロセスを実行させることになる。

【0051】

観察出力処理部３５ａは、居室の状態を出力する処理部である。具体的には、各居室の状態の一覧表示や、居室の画像の表示などが可能である。居室の状態には、不在、異常なし、異常発生、予兆ありなどを含めることができる。

【0052】

報知出力処理部３５ｂは、サーバから異常動作や異常予兆の報知を受信した場合に、表示出力や音声出力を行うことで、観察者に報知を認識させる処理部である。観察者は、報知の内容を確認し、異常動作や異常予兆への対処を行うことになる。

【0053】

報知修正処理部３５ｃは、異常発報や予兆発報を確認した観察者が異常動作や異常予兆に該当しないと判断した場合に、修正入力を受け付け、修正対象の報知と修正内容を示す修正データをサーバ装置２０に送信する処理を行う。

【0054】

図６は、サーバ装置２０の処理手順を示すフローチャートである。撮像装置１０から可視光画像データ及び深度画像データを取得すると（ステップＳ１０１）、認証処理部２５ｃは、可視光画像データに含まれる人物の像を検出して観察管理データ２４ｃの特徴データと比較することで、被観察者の認証を行う（ステップＳ１０２）。

【0055】

認証に失敗した場合には（ステップＳ１０３；Ｎｏ）、被観察者が不在であるため、そのまま処理を終了する。認証に成功したならば（ステップＳ１０３；Ｙｅｓ）、動作特徴抽出部２５ｅは、可視光画像データ及び深度画像データを用い、被観察者の動作の特徴を示す動作特徴を抽出する（ステップＳ１０４）。

【0056】

異常動作報知部２５ｆは、抽出された動作特徴と、異常動作モデルデータ２４ａとを用い、動作特徴が異常動作に該当するか否かを判定する（ステップＳ１０５）。動作特徴が異常動作に該当する場合には（ステップＳ１０６；Ｙｅｓ）、異常動作報知部２５ｆは、端末装置３０に対して異常動作の報知（異常発報）を行う（ステップＳ１０７）。

【0057】

動作特徴が異常動作に該当しなければ（ステップＳ１０６；Ｎｏ）、異常予兆報知部２５ｇは、抽出された動作特徴と、異常予兆モデルデータ２４ｂとを用い、動作特徴が異常予兆に該当するか否かを判定する（ステップＳ１０８）。動作特徴が異常予兆に該当する場合には、異常予兆報知部２５ｇは、端末装置３０に対して異常予兆の報知（予兆発報）を行う（ステップＳ１１０）。動作特徴が異常動作に該当しなければ（ステップＳ１０９；Ｎｏ）、そのまま処理を終了する。

【0058】

ステップＳ１０７又はステップＳ１１０で報知を行った後、判定モデル管理部２５ａは、端末装置３０から修正データを受信したか否かを判定する（ステップＳ１１１）。修正データを受信したならば（ステップＳ１１１；Ｙｅｓ）、判定モデル管理部２５ａは、異常動作モデルデータ２４ａや異常予兆モデルデータ２４ｂに修正データを反映し（ステップＳ１１２）、処理を終了する。また、修正データを受信していない場合には（ステップＳ１１１；Ｎｏ）、そのまま処理を終了する。

【0059】

次に、端末装置３０の表示例について説明する。図７は、異常動作や異常予兆が発生していない場合の表示例についての説明図である。図７（ａ）は、一覧表示画面であり、端末装置３０は、「異常なし」とのメッセージと、居室の選択ボタンとを表示している。一覧表示画面での「異常なし」は、どの居室でも異常動作や異常予兆が発生していないことを示す。また、居室の選択ボタンは、不在の場合と、在室で異常なしの場合とで色などの表示態様を異ならせることができる。

【0060】

一覧表示画面で居室の選択ボタンを操作すると、図７（ｂ）に示す居室画像画面に移行する。７（ｂ）では、「異常なし」とのメッセージと、部屋番号「２０２」と、居室の画像を表示している。居室画像画面での「異常なし」は、その居室で異常動作や異常予兆が発生していないことを示す。また、居室の画像は、可視光画像データにおける被観察者の像を深度画像データに置き換えて生成された画像である。

【0061】

図８は、異常動作が発生した場合の表示例についての説明図である。図８（ａ）は、一覧表示画面であり、端末装置３０は、「転倒発生」とのメッセージと、居室の選択ボタンとを表示している。一覧表示画面での「転倒発生」は、いずれか居室で異常動作の一つである転倒が発生したことを示す。また、居室の選択ボタンは、異常動作の有無で表示対応を変更可能であり、図８（ｂ）では「２０２号室」のボタンが異常動作を示す表示態様となっている。なお、異常予兆の発生時にも同様に報知することができ、異常動作と異常予兆で居室の選択ボタンの表示態様を異ならせることもできる。

【0062】

一覧表示画面で居室の選択ボタンを操作すると、図８（ｂ）に示す居室画像画面に移行する。８（ｂ）では、「転倒発生」とのメッセージと、部屋番号「２０２」と、居室の画像と、「修正」ボタンを表示している。居室画像画面での「転倒発生」は、その居室で異常動作の一つである転倒が発生したことを示す。また、「修正」ボタンの操作を受け付けると、報知が不適切であったことを示す修正データを生成して、サーバ装置２０に送信する。

【0063】

次に、修正データの反映について説明する。図９は、修正データによる異常予兆モデルデータの更新についての説明図である。図９では、サーバ装置２０が動作特徴を抽出して異常予兆判定を行った結果、動作特徴が異常予兆に該当すると判定して端末装置３０に異常予兆報知を行っている。

【0064】

異常予兆報知を確認した観察者が異常予兆に該当しないと判断すると、観察者は、端末装置３０に修正入力を行う。端末装置３０は、修正入力を受け付けて修正データを生成し、サーバ装置２０に送信する。サーバ装置２０は、修正データ用いて異常予兆モデルデータ２４ｂの更新を行う。異常予兆モデルデータ２４ｂが学習済モデルであれば、修正データを正解データとして再度学習を行うことで、異常予兆モデルデータ２４ｂを更新することができる。なお、図９では異常予兆の判定を例に説明を行ったが、異常動作モデルデータ２４ａも同様に更新することができる。

【0065】

図１０は、判定時に修正データを参照する場合についての説明図である。図１０では、サーバ装置２０が動作特徴を抽出して異常予兆判定を行った結果、動作特徴が異常予兆に該当すると判定して端末装置３０に異常予兆報知を行っている。

【0066】

異常予兆報知を確認した観察者が異常予兆に該当しないと判断すると、観察者は、端末装置３０に修正入力を行う。端末装置３０は、修正入力を受け付けて修正データを生成し、サーバ装置２０に送信する。サーバ装置２０は、修正データを受信した後、修正データと対応する動作特徴とを対応づけて記憶する。そして、以降の異常予兆判定では、異常予兆モデルデータ２４ｂに基づいて動作特徴が異常予兆に該当すると判定したときに、当該動作特徴と類似する動作特徴に対応づけられた修正データを検索し、該当する修正データが存在して適切な発報ではなかったことが示されている場合には、異常予兆の報知を停止する。なお、図１０では異常予兆の判定を例に説明を行ったが、異常動作判定にも同様に適用することができる。

【0067】

これまでの説明では、老人福祉施設で観察システムを用い、居住者を被観察者とする場合を例に説明を行ったが、例えば留置場で観察システムを用い、被留置者を被観察者とすることも可能である。

【0068】

図１１は、留置場の観察システムについての説明図である。図１１では、留置場に撮像装置１０とドップラーセンサ４０とを設置している。撮像装置１０は、可視光画像データと深度画像データとを対応づけた三次元画像をサーバ装置１２０に送信する。ドップラーセンサ４０は、マイクロ波によるセンシングを行うデバイスであり、被観察者の心拍や呼吸を検知してサーバ装置１２０に送信する。

【0069】

サーバ装置１２０は、三次元画像から得られる被観察者の動きと、心拍や呼吸などの被観察者の生体情報とを用いて異常行動を識別し、その危険度を判定し、必要に応じて観察者用の端末装置１３０に報知を行う。

【0070】

上述してきたように、本実施形態の観察システムは、被観察者を撮像し、被観察者の映像から動作特徴を抽出し、動作特徴が異常動作に該当する場合には観察者の端末装置に異常発報を行い、動作特徴に異常予兆があった場合には異常予兆に係る発報を端末装置に対して行う。このため、緊急事態の事前防止や早期対応を実現することができる。

【0071】

また、本実施形態の観察システムは、異常予兆として、異常動作に非該当であり、かつ異常動作に推移する可能性がある動作を用いる。

【0072】

また、本実施形態の観察システムでは、観察者の端末装置は表示部を有し、異常予兆に係る発報の受信の際に、被観察者の映像に基づく情報を受信し、表示部に表示することができる。

【0073】

また、本実施形態の観察システムでは、観察者の端末装置は入力部を有し、発報の受信の後に、発報が適切であったかどうかの入力を受け付けることができる。

【0074】

また、本実施形態の観察システムでは、観察者の端末装置は、発報が適切であったかどうかの入力を受け付けた後、入力に基づく情報をサーバ装置に送信し、サーバ装置が入力に基づく情報を受信した後、入力に基づく情報と、当該入力に対応する動作特徴とを対応づけて記憶し、別の発報を観察者の端末装置に対して行う前に、当該発報の元となった異常予兆と類似する動作特徴を記憶した動作特徴から検索し、該当する動作特徴に対応して記憶される情報が、適切な発報に対応する情報でなかった場合に、発報を停止する。

【0075】

また、本実施形態の観察システムは、動作特徴について、異常動作及び／又は異常予兆に該当するか否かを学習した学習済モデルを用いて発報を制御し、入力に基づく情報を学習済モデルの更新に用いることができる。

【0076】

また、本実施形態の観察システムでは、深度情報を取得可能な三次元カメラを用いて撮像を行い、被観察者の顔画像に基づいて、被観察者が観察対象として適切かどうかの認証を行うことができる。

【0077】

なお、本実施形態で図示した各構成は機能概略的なものであり、必ずしも物理的に図示の構成をされていることを要しない。すなわち、各装置の分散・統合の形態は図示のものに限られず、その全部又は一部を各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。

【0078】

例えば、本実施形態では、サーバ装置が認証を行う構成を例に説明を行ったが、被観察者の認証を撮像装置で行う構成としてもよい。また、本実施形態では、サーバ装置が動作特徴を抽出する構成を例に説明を行ったが、撮像装置が動作特徴の抽出を行う構成としてもよい。

【0079】

また、本実施形態では、時系列を考慮して動作特徴を評価し、異常動作に推移する可能性のある動作特徴を異常予兆として判定する場合を例に説明を行ったが、他の指標を用いて異常予兆の判定を行ってもよい。例えば、居室の環境と被観察者の状態を組み合わせて異常予兆の判定に用いることも可能である。具体的には、居室が散らかっており、被観察者が杖をついている場合には、転倒の危険があるとして予兆発報を行う。

【0080】

また、被観察者の行動を個人別に蓄積し、初めての行動や普段とは異なる行動をとったときに予兆発報を行ってもよい。これらの行動は、観察者によって問題なしと判断される可能性が高いが、その場合には修正入力によって以降の判定に反映させることができる。

【0081】

また、本実施形態では、老人福祉施設と留置場を例に説明を行ったが、本発明はこれに限定されるものではなく、医療施設や公共施設などに広く適用することができる。

【産業上の利用可能性】

【0082】

本発明の観察システム及び観察方法は、被観察者への早期対応の実現に有用である。

【符号の説明】

【0083】

１０ 撮像装置
１１ 可視光カメラ
１２ 深度センサ
１３、２３、３３ 通信部
１４、２４、３４ 記憶部
１４ａ 可視光画像データ
１４ｂ 深度画像データ
１５、２５、３５ 制御部
１５ａ 可視光画像処理部
１５ｂ 深度画像処理部
１５ｃ 送信処理部
２０ サーバ装置
２１、３１ 表示部
２２、３２ 入力部
２４ａ 異常動作モデルデータ
２４ｂ 異常予兆モデルデータ
２４ｃ 観察管理データ
２４ｄ 画像履歴データ
２４ｅ 報知履歴データ
２５ａ 判定モデル管理部
２５ｂ 観察管理部
２５ｃ 認証処理部
２５ｄ 画像合成部
２５ｅ 動作特徴抽出部
２５ｆ 異常動作報知部
２５ｇ 異常予兆報知部
３０ 端末装置
３５ａ 観察出力処理部
３５ｂ 報知出力処理部
３５ｃ 報知修正処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】