IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社しあわせ計画の特許一覧

特許7465606異常検知システム、異常検知方法、及び異常検知プログラム
<>
  • 特許-異常検知システム、異常検知方法、及び異常検知プログラム 図1
  • 特許-異常検知システム、異常検知方法、及び異常検知プログラム 図2
  • 特許-異常検知システム、異常検知方法、及び異常検知プログラム 図3
  • 特許-異常検知システム、異常検知方法、及び異常検知プログラム 図4
  • 特許-異常検知システム、異常検知方法、及び異常検知プログラム 図5
  • 特許-異常検知システム、異常検知方法、及び異常検知プログラム 図6
  • 特許-異常検知システム、異常検知方法、及び異常検知プログラム 図7
  • 特許-異常検知システム、異常検知方法、及び異常検知プログラム 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-04-03
(45)【発行日】2024-04-11
(54)【発明の名称】異常検知システム、異常検知方法、及び異常検知プログラム
(51)【国際特許分類】
   G08B 25/04 20060101AFI20240404BHJP
   G08B 21/02 20060101ALI20240404BHJP
   A61B 5/00 20060101ALI20240404BHJP
   A61B 5/01 20060101ALI20240404BHJP
   A61B 5/11 20060101ALI20240404BHJP
   G06Q 50/22 20240101ALI20240404BHJP
   A61G 12/00 20060101ALN20240404BHJP
【FI】
G08B25/04 K
G08B21/02
A61B5/00 102A
A61B5/01
A61B5/11 100
G06Q50/22
A61G12/00 Z
【請求項の数】 8
(21)【出願番号】P 2023122883
(22)【出願日】2023-07-27
【審査請求日】2023-10-24
【早期審査対象出願】
(73)【特許権者】
【識別番号】523286602
【氏名又は名称】株式会社しあわせ計画
(74)【代理人】
【識別番号】110002516
【氏名又は名称】弁理士法人白坂
(72)【発明者】
【氏名】岡野 裕
(72)【発明者】
【氏名】岩佐 聡夫
【審査官】石井 則之
(56)【参考文献】
【文献】特開2023-084685(JP,A)
【文献】特開2017-097445(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G08B 25/04
G08B 21/02
A61B 5/00
A61B 5/01
A61B 5/11
G06Q 50/22
A61G 12/00
(57)【特許請求の範囲】
【請求項1】
所定領域に設置された三次元センサを用い前記所定領域の内部をスキャンすることで、前記所定領域に居る人物の異常の発生を検知する異常検知システムであって、
前記三次元センサから前記所定領域の内部のスキャンデータを取得するスキャンデータ取得部と、
前記スキャンデータ取得部が取得した前記スキャンデータと、予め取得した前記所定領域に居る前記人物が正常であるときの前記所定領域のスキャンデータと、の差分に基づいて、前記所定領域に居る前記人物の異常の発生の有無を判定するスキャンデータ判定部と、
前記スキャンデータ判定部が前記所定領域に居る前記人物の異常が発生したと判定した場合に、前記所定領域の監視者に対して、前記人物に異常が発生したことを報知する報知部と、
を備え、
前記人物の異常は、前記人物が前記所定領域内で転倒したことであり、
前記所定領域に設置されたサーモグラフィーカメラを用い前記所定領域の内部を撮像することで取得した前記所定領域の内部の熱分布を熱分布データとして取得する熱分布取得部と、
前記熱分布取得部が取得した熱分布データに基づいて、前記所定領域に居る人物の体温を取得する体温取得部と、
前記体温取得部が取得した前記人物の体温が閾値を超えている場合に前記人物に異常が発生したと判定する体温判定部と、
前記所定領域の内部の気温を検知する温度センサが検知した前記所定領域の内部の気温を温度データとして取得する温度データ取得部と、
前記温度データ取得部が取得した温度データが閾値を超えている場合に前記所定領域に異常が発生したと判定する温度判定部と、
前記所定領域の内部の湿度を検知する湿度センサが検知した前記所定領域の内部の湿度を湿度データとして取得する湿度データ取得部と、
前記湿度データ取得部が取得した湿度データが閾値を超えている場合に前記所定領域に異常が発生したと判定する湿度判定部と、
前記スキャンデータ又は前記熱分布データの何れか若しくは両方を実際にリアルタイムで測定したデータである実データとし、前記人物の就寝中の生体情報と前記実データとの対応関係を予め学習した仮想生体センサモデルに新たに取得した前記実データを入力することで、ベッドのマットレスの下に、ベッド及びマットレスを用いない場合は敷布団の下に挿入して用いられ、就寝中の人物を起因とする圧力及び振動の変化を検知し解析することで、前記人物の心拍数、及び呼吸数を検知する生体センサを実際に使用する代わりに、前記人物の就寝中の生体情報に関する仮想生体情報データを取得する生体情報取得部と、
前記生体情報取得部が取得した仮想生体情報データが生体情報の閾値を超えた場合に前記人物に異常が発生したと判定する生体情報判定部と、
を更に備え、
前記報知部は、
前記体温判定部が前記異常と判定した場合に、及び、前記生体情報判定部が前記異常と判定した場合に、前記所定領域の監視者に対して、前記人物に異常が発生したことを報知し、
前記温度判定部が前記異常と判定した場合に、及び、前記湿度判定部が前記異常と判定した場合に、前記所定領域の監視者に対して、前記所定領域に異常が発生したことを報知することを特徴とする異常検知システム。
【請求項2】
前記スキャンデータ判定部は、
前記スキャンデータ取得部が取得したスキャンデータを、前記人物の異常の発生の有無と前記スキャンデータとの対応関係を予め学習したスキャンデータ学習モデルに入力することで、前記スキャンデータ取得部が取得したスキャンデータに基づいて前記人物の異常の発生の有無を判定することを特徴とする請求項1に記載の異常検知システム。
【請求項3】
前記スキャンデータ取得部が取得した前記スキャンデータと、予め取得した無人状態の前記所定領域のスキャンデータと、の差分に基づき、前記所定領域に人物が居ない場合に前記所定領域の人物の不在と判定する不在判定部と、
前記温度データ取得部が取得した温度データと前記湿度データ取得部が取得した湿度データとに基づいて、前記所定領域に居る前記人物の体感指数を算出する体感指数算出部と、
前記体感指数算出部が算出した前記人物の体感指数が閾値を超えている場合に前記所定領域に異常が発生したと判定する体感指数判定部と、
を更に備え、
前記報知部は、
前記不在判定部が前記不在と判定した場合に、前記所定領域の監視者に対して、前記所定領域の前記不在を報知し、
前記体感指数判定部が前記異常と判定した場合に、前記所定領域の監視者に対して、前記所定領域に異常が発生したことを報知することを特徴とする請求項1に記載の異常検知システム。
【請求項4】
前記所定領域に設置され、前記所定領域の内部の様子を撮像する撮像部の撮像データを取得する撮像データ取得部と、
前記スキャンデータ判定部が前記人物の前記異常が発生したと判定した場合に、前記スキャンデータ判定部が当該判定を行った時刻を判定時刻として取得する判定時刻取得部と、
前記判定時刻取得部が取得した前記判定時刻の所定時間前からの所定期間分の前記撮像データ取得部が取得した前記撮像データを記憶部に記憶する記憶制御部と、
を更に備えることを特徴とする請求項1に記載の異常検知システム。
【請求項5】
前記記憶制御部が前記記憶部に記憶した前記撮像データへアクセスするためのアクセスコードを発行するコード発行部を、
更に備え、
前記報知部は、
前記コード発行部が発行した前記アクセスコードとともに、前記所定領域の監視者に対して、前記人物の前記異常が発生したことを報知することを特徴とする請求項に記載の異常検知システム。
【請求項6】
前記撮像データ取得部が取得した前記撮像データを、前記人物の異常の発生の有無と前記撮像データとの対応関係を予め学習した撮像データ学習モデルに入力し、前記撮像データ取得部が取得した撮像データに基づいて前記人物の異常の発生の有無を判定する撮像データ判定部を、
更に備え、
前記判定時刻取得部は、
前記撮像データ判定部が前記異常が発生したと判定した場合に、前記撮像データ判定部が当該判定を行った時刻を判定時刻として取得することを特徴とする請求項に記載の異常検知システム。
【請求項7】
所定領域に設置された三次元センサを用い前記所定領域の内部をスキャンすることで、前記所定領域に居る人物の異常の発生を検知する異常検知方法であって、
コンピュータに、
前記三次元センサから前記所定領域の内部のスキャンデータを取得するスキャンデータ取得ステップと、
前記スキャンデータ取得ステップにおいて取得した前記スキャンデータと、予め取得した前記所定領域に居る前記人物が正常であるときの前記所定領域のスキャンデータと、の差分に基づいて、前記所定領域に居る前記人物の異常の発生の有無を判定するスキャンデータ判定ステップと、
前記スキャンデータ判定ステップにおいて前記所定領域に居る前記人物の異常が発生したと判定した場合に、前記所定領域の監視者に対して、前記人物に異常が発生したことを報知する報知ステップと、
を実行させて、
前記人物の異常は、前記人物が前記所定領域内で転倒したことであり、
前記所定領域に設置されたサーモグラフィーカメラを用い前記所定領域の内部を撮像することで取得した前記所定領域の内部の熱分布を熱分布データとして取得する熱分布取得ステップと、
前記熱分布取得ステップにおいて取得した前記熱分布データに基づいて、前記所定領域に居る人物の体温を取得する体温取得ステップと、
前記体温取得ステップにおいて取得した前記人物の体温が閾値を超えている場合に前記人物に異常が発生したと判定する体温判定ステップと、
前記所定領域の内部の気温を検知する温度センサが検知した前記所定領域の内部の気温を温度データとして取得する温度データ取得ステップと、
前記温度データ取得ステップにおいて取得した温度データが閾値を超えている場合に前記所定領域に異常が発生したと判定する温度判定ステップと、
前記所定領域の内部の湿度を検知する湿度センサが検知した前記所定領域の内部の湿度を湿度データとして取得する湿度データ取得ステップと、
前記湿度データ取得ステップにおいて取得した湿度データが閾値を超えている場合に前記所定領域に異常が発生したと判定する湿度判定ステップと、
前記スキャンデータ又は前記熱分布データの何れか若しくは両方を実際にリアルタイムで測定したデータである実データとし、前記人物の就寝中の生体情報と前記実データとの対応関係を予め学習した仮想生体センサモデルに新たに取得した前記実データを入力することで、ベッドのマットレスの下に、ベッド及びマットレスを用いない場合は敷布団の下に挿入して用いられ、就寝中の人物を起因とする圧力及び振動の変化を検知し解析することで、前記人物の心拍数、及び呼吸数を検知する生体センサを実際に使用する代わりに、前記人物の就寝中の生体情報に関する仮想生体情報データを取得する生体情報取得ステップと、
前記生体情報取得ステップにおいて取得した仮想生体情報データが生体情報の閾値を超えた場合に前記人物に異常が発生したと判定する生体情報判定ステップと、
を更に実行させて、
前記報知ステップにおいて、
前記体温判定ステップにおいて前記異常と判定した場合に、及び、前記生体情報判定ステップにおいて前記異常と判定した場合に、前記所定領域の監視者に対して、前記人物に異常が発生したことを報知し、
前記温度判定ステップにおいて前記異常と判定した場合に、及び、前記湿度判定ステップにおいて前記異常と判定した場合に、前記所定領域の監視者に対して、前記所定領域に異常が発生したことを報知することを特徴とする異常検知方法。
【請求項8】
所定領域に設置された三次元センサを用い前記所定領域の内部をスキャンすることで、前記所定領域に居る人物の異常の発生を検知する異常検知プログラムであって、
コンピュータに、
前記三次元センサから前記所定領域の内部のスキャンデータを取得するスキャンデータ取得機能と、
前記スキャンデータ取得機能において取得した前記スキャンデータと、予め取得した前記所定領域に居る前記人物が正常であるときの前記所定領域のスキャンデータと、の差分に基づいて、前記所定領域に居る前記人物の異常の発生の有無を判定するスキャンデータ判定機能と、
前記スキャンデータ判定機能において前記所定領域に居る前記人物の異常が発生したと判定した場合に、前記所定領域の監視者に対して、前記人物に異常が発生したことを報知する報知機能と、
を発揮させて、
前記人物の異常は、前記人物が前記所定領域内で転倒したことであり、
前記所定領域に設置されたサーモグラフィーカメラを用い前記所定領域の内部を撮像することで取得した前記所定領域の内部の熱分布を熱分布データとして取得する熱分布取得機能と、
前記熱分布取得機能において取得した前記熱分布データに基づいて、前記所定領域に居る人物の体温を取得する体温取得機能と、
前記体温取得機能において取得した前記人物の体温が閾値を超えている場合に前記人物に異常が発生したと判定する体温判定機能と、
前記所定領域の内部の気温を検知する温度センサが検知した前記所定領域の内部の気温を温度データとして取得する温度データ取得機能と、
前記温度データ取得機能において取得した温度データが閾値を超えている場合に前記所定領域に異常が発生したと判定する温度判定機能と、
前記所定領域の内部の湿度を検知する湿度センサが検知した前記所定領域の内部の湿度を湿度データとして取得する湿度データ取得機能と、
前記湿度データ取得機能において取得した湿度データが閾値を超えている場合に前記所定領域に異常が発生したと判定する湿度判定機能と、
前記スキャンデータ又は前記熱分布データの何れか若しくは両方を実際にリアルタイムで測定したデータである実データとし、前記人物の就寝中の生体情報と前記実データとの対応関係を予め学習した仮想生体センサモデルに新たに取得した前記実データを入力することで、ベッドのマットレスの下に、ベッド及びマットレスを用いない場合は敷布団の下に挿入して用いられ、就寝中の人物を起因とする圧力及び振動の変化を検知し解析することで、前記人物の心拍数、及び呼吸数を検知する生体センサを実際に使用する代わりに、前記人物の就寝中の生体情報に関する仮想生体情報データを取得する生体情報取得機能と、
前記生体情報取得機能において取得した仮想生体情報データが生体情報の閾値を超えた場合に前記人物に異常が発生したと判定する生体情報判定機能と、
を更に発揮させて、
前記報知機能において、
前記体温判定機能において前記異常と判定した場合に、及び、前記生体情報判定機能において前記異常と判定した場合に、前記所定領域の監視者に対して、前記人物に異常が発生したことを報知し、
前記温度判定機能において前記異常と判定した場合に、及び、前記湿度判定機能において前記異常と判定した場合に、前記所定領域の監視者に対して、前記所定領域に異常が発生したことを報知することを特徴とする異常検知プログラム。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、異常検知システム、異常検知方法、及び異常検知プログラムに関し、特に人物の異常を非接触により検知する異常検知システム、異常検知方法、及び異常検知プログラムに関する。
【背景技術】
【0002】
従来、看護、介護、養護、保育などの対象者を遠隔から非接触により監視するために監視カメラが用いられてきた。監視対象者の居室に監視カメラを設置し、監視対象者の居室での就寝中の様子、及び起床してからの様子を、監視カメラを通して監視する。そして、監視者は監視対象者に異常が発生したのではないかと推定した場合に、監視対象者の居室に行き、直接自分の目で見て監視対象者の状態を確認する。
【0003】
監視カメラによる監視は、監視対象者に異常が発生したことを見落とす虞があった。例えば、転倒してベッドに寄りかかって倒れている人について、監視カメラのモニタを見ている監視者は、この人が転倒して倒れていることに気が付かない虞がある。また、ベッドから転落した人とベッドに寄りかかって座っている人とを監視カメラを通して見分けることは困難であった。このように、監視カメラによる監視は、転倒したのか、転落したのか、ただしゃがんでいるのか、又は座っているのか、区別が難しい場合があった。
【0004】
近年、電波センサを用いて、監視対象者の動きを検出する心肺機能監視装置が提案されている(特許文献1参照)。この電波センサは、ドップラー効果を用い、監視対象者に電波を照射してその反射波を検出し、検出した反射波を解析することで監視対象者の動き等を検出する。
【0005】
特許文献1に開示の心肺機能監視装置は、接触することなく監視対象者の呼吸数及び心拍数を算出、監視することができるとしている。しかし、特許文献1に開示の心肺機能監視装置は、転倒、転落などの全身の動きを伴う監視対象者における異常の発生については何ら考慮されておらず、依然として監視対象者の全身の動きを伴う異常の発生については検知することができなかった。
【先行技術文献】
【特許文献】
【0006】
【文献】特開2000-83927号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
そこで、本発明は、転倒など監視対象者の異常の発生を検知することができる異常検知システム、異常検知方法、及び異常検知プログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
すなわち、第1の態様に係る異常検知システムは、所定領域に設置された三次元センサを用い所定領域の内部をスキャンすることで、所定領域に居る人物の異常の発生を検知する異常検知システムであって、三次元センサから所定領域の内部のスキャンデータを取得するスキャンデータ取得部と、スキャンデータ取得部が取得したスキャンデータと、予め取得した所定領域に居る人物が正常であるときの所定領域のスキャンデータと、の差分に基づいて、所定領域に居る人物の異常の発生の有無を判定するスキャンデータ判定部と、スキャンデータ判定部が所定領域に居る人物の異常が発生したと判定した場合に、所定領域の監視者に対して、人物に異常が発生したことを報知する報知部と、を備えることを特徴とする。
【0009】
第2の態様は、第1の態様に係る異常検知システムにおいて、異常は、人物が所定領域内で転倒したことであることとしてもよい。
【0010】
第3の態様は、第1の態様に係る異常検知システムにおいて、スキャンデータ判定部は、スキャンデータ取得部が取得したスキャンデータを、人物の異常の発生の有無とスキャンデータとの対応関係を予め学習したスキャンデータ学習モデルに入力することで、スキャンデータ取得部が取得したスキャンデータに基づいて人物の異常の発生の有無を判定することとしてもよい。
【0011】
第4の態様は、第1の態様に係る異常検知システムにおいて、スキャンデータ取得部が取得したスキャンデータと、予め取得した無人状態の所定領域のスキャンデータと、の差分に基づき、所定領域に人物が居ない場合に所定領域の人物の不在と判定する不在判定部を更に備え、報知部は、不在判定部が不在と判定した場合に、所定領域の監視者に対して、所定領域の不在を報知することとしてもよい。
【0012】
第5の態様は、第1の態様に係る異常検知システムにおいて、所定領域に設置され、所定領域の内部の様子を撮像する撮像部の撮像データを取得する撮像データ取得部と、スキャンデータ判定部が人物の異常が発生したと判定した場合に、スキャンデータ判定部が当該判定を行った時刻を判定時刻として取得する判定時刻取得部と、判定時刻取得部が取得した判定時刻の所定時間前からの所定期間分の撮像データ取得部が取得した撮像データを記憶部に記憶する記憶制御部と、を更に備えることとしてもよい。
【0013】
第6の態様は、第5の態様に係る異常検知システムにおいて、記憶制御部が記憶部に記憶した撮像データへアクセスするためのアクセスコードを発行するコード発行部を、更に備え、報知部は、コード発行部が発行したアクセスコードとともに、所定領域の監視者に対して、人物の異常が発生したことを報知することとしてもよい。
【0014】
第7の態様は、第5の態様に係る異常検知システムにおいて、撮像データ取得部が取得した撮像データを、人物の異常の発生の有無と撮像データとの対応関係を予め学習した撮像データ学習モデルに入力し、撮像データ取得部が取得した撮像データに基づいて人物の異常の発生の有無を判定する撮像データ判定部を、更に備え、判定時刻取得部は、撮像データ判定部が異常が発生したと判定した場合に、撮像データ判定部が当該判定を行った時刻を判定時刻として取得することとしてもよい。
【0015】
第8の態様は、第1の態様に係る異常検知システムにおいて、所定領域に設置されたサーモグラフィーカメラを用い所定領域の内部を撮像することで取得した所定領域の内部の熱分布を熱分布データとして取得する熱分布取得部と、熱分布取得部が取得した熱分布データに基づいて、所定領域に居る人物の体温を取得する体温取得部と、体温取得部が取得した人物の体温が閾値を超えている場合に人物に異常が発生したと判定する体温判定部と、を更に備え、報知部は、体温判定部が異常と判定した場合に、所定領域の監視者に対して、人物に異常が発生したことを報知することとしてもよい。
【0016】
第9の態様は、第1の態様に係る異常検知システムにおいて、所定領域の内部の気温を検知する温度センサが検知した所定領域の内部の気温を温度データとして取得する温度データ取得部と、温度データ取得部が取得した温度データが閾値を超えている場合に所定領域に異常が発生したと判定する温度判定部と、を更に備え、報知部は、温度判定部が異常と判定した場合に、所定領域の監視者に対して、所定領域に異常が発生したことを報知することとしてもよい。
【0017】
第10の態様は、第9の態様に係る異常検知システムにおいて、所定領域の内部の湿度を検知する湿度センサが検知した所定領域の内部の湿度を湿度データとして取得する湿度データ取得部と、湿度データ取得部が取得した湿度データが閾値を超えている場合に所定領域に異常が発生したと判定する湿度判定部と、を更に備え、報知部は、湿度判定部が異常と判定した場合に、所定領域の監視者に対して、所定領域に異常が発生したことを報知することとしてもよい。
【0018】
第11の態様は、第10の態様に係る異常検知システムにおいて、温度データ取得部が取得した温度データと湿度データ取得部が取得した湿度データとに基づいて、所定領域に居る人物の体感指数を算出する体感指数算出部と、体感指数算出部が算出した人物の体感指数が閾値を超えている場合に所定領域に異常が発生したと判定する体感指数判定部と、を更に備え、報知部は、体感指数判定部が異常と判定した場合に、所定領域の監視者に対して、所定領域に異常が発生したことを報知することとしてもよい。
【0019】
第12の態様は、第11の態様に係る異常検知システムにおいて、所定領域内の家庭用電化機器の運転及び監視を行うスマートリモコンユニットを制御するリモート制御部を、更に備え、家庭用電化機器は所定領域内の空気調和を行う空調機器であって、温度判定部、湿度判定部、及び体感指数判定部の少なくとも何れか一つが異常と判定した場合に、リモート制御部は、所定領域の内部の気温及び湿度が予め設定された気温及び湿度になるように空調機器を制御することとしてもよい。
【0020】
第13の態様は、第11の態様に係る異常検知システムにおいて、体感指数は、不快指数及び体感温度の少なくとも何れか一方であることとしてもよい。
【0021】
第14の態様は、第1の態様に係る異常検知システムにおいて、人物の就寝中の生体情報を検知する生体センサが検知した人物の生体情報を生体情報データとして取得する生体情報取得部と、生体情報取得部が取得した生体情報データが生体情報の閾値を超えた場合に人物に異常が発生したと判定する生体情報判定部と、を更に備え、報知部は、生体情報判定部が異常と判定した場合に、所定領域の監視者に対して、人物に異常が発生したことを報知することとしてもよい。
【0022】
第15の態様は、第14の態様に係る異常検知システムにおいて、生体情報取得部は、三次元センサのスキャンデータ又は所定領域に設置されたサーモグラフィーカメラを用い所定領域の内部を撮像することで取得した所定領域の内部の熱分布に関する熱分布データの何れか若しくは両方を実データとし、人物の就寝中の生体情報と当該実データとの対応関係を予め学習した仮想生体センサモデルに新たに取得した実データを入力することで、新たに取得した実データに基づいて人物の就寝中の生体情報に関する仮想生体情報データを取得し、生体情報判定部は、生体情報取得部が取得した仮想生体情報データが生体情報の閾値を超えた場合に人物に異常が発生したと判定することとしてもよい。
【0023】
第16の態様は、第14の態様に係る異常検知システムにおいて、生体情報は、人物の就寝中の心拍数及び呼吸数の少なくとも何れか一方であることとしてもよい。
【0024】
第17の態様は、第1の態様に係る異常検知システムにおいて、人物の就寝中の体動に起因する振動を検知する体動センサが検知した体動情報を体動情報データとして取得する体動情報取得部と、体動情報取得部が取得した体動情報データが、体動が無い状態が所定時間以上であった場合に人物に異常が発生したと判定する体動情報判定部と、を更に備え、報知部は、体動情報判定部が異常と判定した場合に、所定領域の監視者に対して、人物に異常が発生したことを報知することとしてもよい。
【0025】
第18の態様は、第17の態様に係る異常検知システムにおいて、体動情報取得部は、三次元センサのスキャンデータ又は所定領域に設置されたサーモグラフィーカメラを用い所定領域の内部を撮像することで取得した所定領域の内部の熱分布に関する熱分布データの何れか若しくは両方を実データとし、人物の就寝中の体動に起因する振動と当該実データとの対応関係を予め学習した仮想体動センサモデルに新に取得した実データを入力することで、新たに取得した実データに基づいて人物の就寝中の体動に起因する振動に関する仮想体動情報データを取得し、体動情報判定部は、体動情報取得部が取得した仮想体動情報データが、体動が無い状態が所定時間以上であった場合に人物に異常が発生したと判定することとしてもよい。
【0026】
第19の態様は、第12の態様に係る異常検知システムにおいて、スマートリモコンユニットに対して、所定領域に居る人物が入力した設定情報を取得する設定情報取得部と、設定情報取得部が取得した設定情報を、家庭用電化機器ごとに付与された型式番号ごとに設定情報を分別して記憶部に記憶する設定情報記憶部と、他の所定領域に居る人物に入力された型式番号に基づいて、記憶部に記憶された設定情報を検索し特定する検索部と、を更に備え、検索部によって特定された設定情報は、他の所定領域のスマートリモコンユニットの設定に用いられることとしてもよい。
【0027】
第20の態様に係る異常検知方法は、所定領域に設置された三次元センサを用い所定領域の内部をスキャンすることで、所定領域に居る人物の異常の発生を検知する異常検知方法であって、コンピュータに、三次元センサから所定領域の内部のスキャンデータを取得するスキャンデータ取得ステップと、スキャンデータ取得ステップにおいて取得したスキャンデータと、予め取得した所定領域に居る人物が正常であるときの所定領域のスキャンデータと、の差分に基づいて、所定領域に居る人物の異常の発生の有無を判定するスキャンデータ判定ステップと、スキャンデータ判定ステップにおいて所定領域に居る人物の異常が発生したと判定した場合に、所定領域の監視者に対して、人物に異常が発生したことを報知する報知ステップと、を実行させることを特徴とする。
【0028】
第21の態様に係る異常検知プログラムは、所定領域に設置された三次元センサを用い所定領域の内部をスキャンすることで、所定領域に居る人物の異常の発生を検知する異常検知プログラムであって、コンピュータに、三次元センサから所定領域の内部のスキャンデータを取得するスキャンデータ取得機能と、スキャンデータ取得機能において取得したスキャンデータと、予め取得した所定領域に居る人物が正常であるときの所定領域のスキャンデータと、の差分に基づいて、所定領域に居る人物の異常の発生の有無を判定するスキャンデータ判定機能と、スキャンデータ判定機能において所定領域に居る人物の異常が発生したと判定した場合に、所定領域の監視者に対して、人物に異常が発生したことを報知する報知機能と、を発揮させることを特徴とする。
【発明の効果】
【0029】
本発明に係る異常検知システム等は、所定領域に設置された三次元センサを用い所定領域の内部をスキャンすることで、所定領域に居る人物の異常の発生を検知する異常検知システムであって、三次元センサから所定領域の内部のスキャンデータを取得するスキャンデータ取得部と、スキャンデータ取得部が取得したスキャンデータと、予め取得した所定領域に居る人物が正常であるときの所定領域のスキャンデータと、の差分に基づいて、所定領域に居る人物の異常の発生の有無を判定するスキャンデータ判定部と、スキャンデータ判定部が所定領域に居る人物の異常が発生したと判定した場合に、所定領域の監視者に対して、人物に異常が発生したことを報知する報知部と、を備えるので、転倒など監視対象者の異常の発生を検知することができる。
【図面の簡単な説明】
【0030】
図1図1は本実施形態に係る異常検知システムの概要について説明するための図である。
図2図2は本実施形態に係る異常検知システムを含むインフラ構成図の一例である。
図3図3は本実施形態に係る異常検知システム及び監視者用端末の構成を示すブロック図の一例である。
図4図4は本実施形態に係る被監視者用端末の構成を示すブロック図の一例である。
図5図5は本実施形態に係る異常検知システムの機能的構成を示すブロック図の一例である。
図6図6は本実施形態に係る監視者用端末の表示画面の一例を示す図である。
図7図7は本実施形態に係る監視者用端末の表示画面の一例を示す図である。
図8図8は本実施形態に係る異常検知プログラムのフローチャートの一例である。
【発明を実施するための形態】
【0031】
(異常検知システム10の概要)
図1乃至図7を参照して、本発明の異常検知システム10の一実施形態について説明する。
先ず図1を参照して本実施形態に係る異常検知システム10の概要について説明する。図1は本実施形態に係る異常検知システム10の概要について説明するための図である。
【0032】
本実施形態の異常検知システム10は、ユーザが遠隔地から所定の人物に生じた異常を検知するために用いるものである。所定の人物とは、所定領域に宿泊する人、所定領域に短期長期を問わず滞在する人、又は、所定領域に居住する人など、所定領域に期間の長短を問わず留まる人物のことをいう。
【0033】
異常検知システム10のユーザは、所定の人物を観察、見守るなどの監視をする監視者である。監視者は、例えば、高齢者の介護を目的とした高齢者住宅、老人ホームなどの運営者、入院中の患者の看護を目的とした病院、その他医療施設の運営者、乳幼児、幼児の保育を目的とした保育園、幼稚園などの運営者、ホテルなどの宿泊施設を監視する運営者などである。被監視者は上記の運営者が監視の対象とする人物であり、例えば、高齢者住宅の利用者である老人、入院中の患者、保育園の乳幼児、ホテルの宿泊客などである。
なお、異常検知システム10のユーザは、上記した監視者のみならず、被監視者が他の被監視者を監視する場合もあり得る。
【0034】
異常検知システム10は、所定領域1に設置された後述の三次元センサ21(図4参照)を用い所定領域1の内部をスキャンすることで、所定領域1に居る人物の異常の発生を検知する。
所定領域1とは、被監視者が居住する空間、又は滞在する空間のことであり、例えば、居間、寝室、台所などの居室である。また、所定領域1とは、居室以外の玄関、トイレ、浴室、脱衣室、洗面所、押入れ、納戸、廊下などであってもよい。また、公園のフェンス等にセンサを配することで野外をスキャンできる場合には、所定領域は屋外であってもよい。
本実施形態では、所定領域1として図1に示す様にベッド2が設置された寝室を例に挙げて説明する。
【0035】
異常とは、所定領域1に居る人物に生じる異常、及び所定領域1の内部の生活環境の異常のことである。人物に生じる異常とは、人物の精神的、身体的に問題となることであり、具体的には、人物の怪我、病気、体調不良、及び事故などにあうことである。
生活環境の異常とは、気温、湿度、及び体感指数などの異常のことをいう。
異常とは、人物が所定領域1内で転倒したことであることとしてもよい。また、人物が所定領域1に設置されたベッド2から転落したことを、異常の発生に含めてもよい。
また、異常の発生は、異常の兆候の発生を含むものとする。異常の兆候とは、異常が発生する前触れのことである。異常の兆候の例として、ベッド2に居る人物の体の大部分がベッド2からはみ出しているが、まだベッド2から転落していない状態のことをいう。
【0036】
図1に示す様に、所定領域1には、被監視者が使用するためのベッド2、空調機器5、照明機器6が設置されている。また、所定領域1には、被監視者用端末12が設置される。床と天井との間に設置された支柱4に設けられた設置台4aに被監視者用端末12が設置される。被監視者用端末12を駆動させるために必要となる電源は、所定領域1にある配線用差込接続器から供給される。
なお、被監視者用端末12は、支柱4に設置されるのみならず、天井に固定されてもよいし、家具などの上に設置してもよい。被監視者用端末12は、内蔵する三次元センサ21から所定領域1の全域が見渡せるよう高所に設置されことが望ましい。
【0037】
ベッド2には、生体・体動センサ3が設置されている。生体・体動センサ3は、長方形のシート状でありマットレスの下に挿入されて、就寝中の被監視者の生体情報、及び体動情報を検知する。
【0038】
(異常検知システム10のインフラ構成)
図2を参照して、異常検知システム10のインフラ構成について説明する。図2は本実施形態に係る異常検知システム10を含むインフラ構成図の一例である。
異常検知システム10は、インターネットを含むネットワーク20を介して監視者が用いる監視者用端末11から接続を受ける。また、異常検知システム10は、ネットワーク20を介して、被監視者用端末12との間で交信を行い後述の各種データを取得する。異常検知システム10は、監視者が利用するための各種データを蓄積し、監視者用端末11との間で相互の交信を行う。
【0039】
監視者は、市販されている汎用のパーソナルコンピュータ(以下、PCという。)、ノートPC、タブレット型PC、又はスマートフォンなどの情報処理装置(コンピュータ)を監視者用端末11として用いて異常検知システム10にネットワーク20を介して接続し、異常検知システム10からの後述の報知を受け、その他、異常検知システム10の機能を利用する。また、監視者用端末11は、ウェブブラウザが動作し、ウェブブラウザを通じて異常検知システム10に接続し、異常検知システム10によって用意される後述の表示画面60、90(図6図7参照)を監視者用端末11のモニタに表示することができる。
【0040】
なお、汎用の情報処理装置を監視者用端末11として用いる場合のみならず、監視者用端末11は異常検知システム10から報知を受けるなど異常検知システム10の機能を利用するために専用に設けられてもよい。
【0041】
異常検知システム10は、監視者によって管理及び運営されてもよいし、監視者とは異なる、異常検知システム10の機能を管理者に提供するサービス事業を運営する運営者によって管理及び運営されてもよい。異常検知システム10は、オンプレミスにより設置されてもよいし、クラウドコンピューティングサービスのクラウドサーバであってもよい。
【0042】
オンプレミスとは、異常検知システム10の管理及び運営する者が所有する施設の構内などに物理的な機器を設置して異常検知システム10を構築し、当該システムの運用を行うことをいう。一方で、クラウドコンピューティングサービスとは、ネットワーク20を経由してコピューティングサービスを提供することをいい、例えば、GCP(登録商標)(Google Cloud Platform)、AWS(登録商標)(Amazon Web Services)、及びAZURE(登録商標)である。クラウドコンピューティングサービスを利用して異常検知システム10を構築する場合は、当該サービスのクラウドサーバの一部を利用するマルチテナント方式が採用される。
【0043】
本実施形態の異常検知システム10は、上記したオンプレミスにより設置されるものとし、サーバ、ワークステーション、パーソナルコンピュータ(以下、PCという。)、又はノートPCなどの情報処理装置(コンピュータ)が用いられる。
【0044】
異常検知システム10と監視者用端末11とは、情報処理装置(コンピュータ)の機能を備える点で共通する。異常検知システム10と監視者用端末11との相違点としては、異常検知システム10の後述のROM10b、RAM10c、及び記憶部10dは大容量のものが望ましい。また、異常検知システム10は、複数の監視者用端末11から同時にリクエスト(要求)を受けることが想定されるため、安定性及び耐久性が要求されるとともに、要求されるCPU10eの処理性能が高くる。
更に、異常検知システム10の記憶部10dは、データベースとして構成されてもよい。デーベースとは、集積され整理されて蓄積された情報群のことである。
【0045】
監視者用端末11は、図2において便宜上1台が記載されているが、2台以上の監視者用端末11がネットワーク20を介して異常検知システム10に接続しリクエスト(要求)を送信してもよい。従って、2台以上の監視者用端末11により、同一の監視対象を監視することが可能である。
【0046】
被監視者用端末12は、図2において便宜上2台(被監視者用端末A12a、被監視者用端末B12b)が記載されているが、1台または3台以上の被監視者用端末12がネットワーク20を介して異常検知システム10に接続されて交信することができる。従って、監視者用端末11は、同時に複数の所定領域1の監視をすることができる。
【0047】
また、被監視者用端末12は、1つの所定領域1に2台以上設置されてもよい。1つの所定領域1に2台以上の被監視者用端末12を、位置を変えて設置することにより、三次元センサ21、暗視機能付き撮像部22、及びサーモグラフィーカメラ23を、位置を変えて設置することとなり、1つの所定領域1に対して撮影方向及び画角などを変えて撮像することができて死角が減り、異常の発生を見逃す可能性を抑えることができる。
【0048】
(異常検知システム10及び監視者用端末11の構成)
図3を参照して、異常検知システム10及び監視者用端末11の構成について説明する。図3は本実施形態に係る異常検知システム10及び監視者用端末11の構成を示すブロック図の一例である。
【0049】
異常検知システム10及び監視者用端末11は、通信インターフェース10a、ROM(Read Only Memory)10b、RAM(Random Access Memory)10c、記憶部10d、CPU(Central Processing Unit)10e、及び、入出力インターフェース10f等を備えている。
【0050】
通信インターフェース10aは、異常検知システム10及び監視者用端末11が扱うデータについて、インターネットを含むネットワーク20を介して他の機器との間の送受信を行う機能を備える。
【0051】
記憶部10dは、異常検知システム10及び監視者用端末11の記憶装置として利用でき、例えば、ハードディスクドライブ(Hard Disk Drive)、ソリッドステートドライブ(Solid State Drive)、及びフラッシュメモリ(Flash Memory)などで構成され、更にはクラウドストレージを利用して記憶部10dを構成することもできる。また上述の通り、異常検知システム10の記憶部10dは、データベースとして構成されてもよい。記憶部10dをデータベースとして構成することで、膨大なデータを効率よく管理することができ、検索性及びアクセス性に優れ、必要な情報を素早く参照することができるようになる。
【0052】
また、異常検知システム10の記憶部10dは、後述の異常検知プログラム、異常検知システム10が動作する上で必要となるOS(Operating System)、その他の各種アプリケーション、及び当該アプリケーションによって利用される各種データなどが記憶される。
【0053】
監視者用端末11の記憶部10dは、汎用PCの基本アプリケーションとなるOS、その他の各種アプリケーション、及び当該アプリケーションによって利用される各種データなどが記憶される。
OSは、異常検知システム10及び監視者用端末11に内蔵されるアプリケーションの一種であり、異常検知システム10及び監視者用端末11の基本的な制御を司る機能を持つ。
【0054】
異常検知システム10は、後述する異常検知プログラムをROM10b若しくは記憶部10dに保存し、RAM10cなどで構成されるメインメモリに当該異常検知プログラムを取り込む。CPU10eは、当該異常検知プログラムを取り込んだメインメモリにアクセスして、当該異常検知プログラムを実行する。
【0055】
監視者用端末11は、OSをROM10b若しくは記憶部10dに保存し、RAM10cなどで構成されるメインメモリに当該OSを取り込む。CPU10eは、当該OSを取り込んだメインメモリにアクセスして、当該OSを実行する。
【0056】
入出力インターフェース10fは、異常検知システム10及び監視者用端末11の外部装置に対してデータなどの送受信を行う。外部装置とは、異常検知システム10及び監視者用端末11に対してデータなどの入出力を行う入力装置10g及び出力装置10hのことである。入力装置10gは例えばキーボード及びマウスなどのことであり、出力装置10hは例えばモニタ、プリンタ、及びスピーカなどのことである。
【0057】
(被監視者用端末12の構成)
次に図4を参照して、被監視者用端末12について説明する。図4は本実施形態に係る被監視者用端末12の構成を示すブロック図の一例である。
【0058】
被監視者用端末12は、通信インターフェース12a、ROM12b、RAM12c、記憶部12d、CPU12e、及び、入出力インターフェース12fを備えている。被監視者用端末12は、更に三次元センサ21、暗視機能付き撮像部22、サーモグラフィーカメラ23、温度センサ24、湿度センサ25、及びスマートリモコンユニット(いわゆる、スマートリモートコントロールユニット)26を備える。また被監視者用端末12は、外部装置として生体・体動センサ3を備える。
【0059】
通信インターフェース12aは、被監視者用端末12が扱うデータについて、インターネットを含むネットワーク20を介して他の機器との間の送受信を行う機能を備える。本実施形態の被監視者用端末12は、Wi-Fi(登録商標:Wireless Fidelity)による無線LANによってネットワーク20に接続される。通信インターフェース12aは、2.4GHz帯又は5GHz帯の電波を使用してデータを送受信する。
【0060】
記憶部12dは、主に取得したデータを一時的に保持しておくための記憶領域として用いられる。記憶部12dは、被監視者用端末12が取得した各種データが通信インターフェース12aによってネットワーク20を介して異常検知システム10へ送信されるまでの間のデータバッファとして用いられ、例えば、ハードディスクドライブ(Hard Disk Drive)、ソリッドステートドライブ(Solid State Drive)、及びフラッシュメモリ(Flash Memory)などで構成される。
【0061】
また、記憶部12dは、被監視者用端末12が動作する上で必要となるOS、その他の各種アプリケーション、及び当該アプリケーションによって利用される各種データなどが記憶される。
【0062】
被監視者用端末12は、OSをROM12b若しくは記憶部12dに記憶し、RAM12cなどで構成されるメインメモリに当該OSを取り込む。CPU12eは、当該OSを取り込んだメインメモリにアクセスして、当該OSを実行する。
【0063】
なお、被監視者用端末12が動作する上で必要となるOSは、その一部の機能を仮想化するものとし、現実的には当該機能を異常検知システム10のOSが担うようにしてもよい。具体的には、被監視者用端末12のOSは、異常検知システム10との通信に必要となる機能のみを有するものとし、被監視者用端末12が備える三次元センサ21、暗視機能付き撮像部22、サーモグラフィーカメラ23、温度センサ24、湿度センサ25、及び生体・体動センサ3の制御、及びこれら各種センサ、撮像部22、及びサーモグラフィーカメラ23が取得した各種データの異常検知システム10への送信に関する制御については異常検知システム10のOSが実行することとしてもよい。
【0064】
この場合、異常検知システム10は、被監視者用端末12において取得された上記の各種データの異常検知システム10への送信のタイミングを決定するとともに、どのデータを送信するかの決定を行う。
このようにすることで、複数ある被監視者用端末12のOSの更新、及び改良などを異常検知システム10のOSにおいて一括で行うことが可能となり、維持費、及び開発費などのコストを削減することが可能となるとともに、作業効率を向上させることができる。
【0065】
更に、三次元センサ21、暗視機能付き撮像部22、サーモグラフィーカメラ23、温度センサ24、湿度センサ25、及び生体・体動センサ3のハードウェアとしての更新、修復、及び改良に伴う、これら各種センサ、撮像部22、及びサーモグラフィーカメラ23に対する制御を担うOSの更新などを、異常検知システム10のOSの更新などだけで実現できるため、複数ある被監視者用端末12のOSの更新等を行わずともよくなるため、この点でも作業効率を向上させることができる。
【0066】
複数の被監視者用端末12のOSを、被監視者用端末12側で同時期に纏めて更新した場合、この期間の被監視者用端末12のセンシングが一斉に停止されるという問題が発生する。そのため、被監視者用端末12の各々のOSの更新の時期をずらして行うことが望まれるが、この作業は煩雑なものとなることが予想される。しかしながら、上記のように異常検知システム10のOSの更新を行うだけで、被監視者用端末12の制御を担うOSの更新が可能となる構成は、複数の被監視者用端末12のセンシングを一斉に停止させるという問題を解消するものとなる。
なお、被監視者用端末12のOSはいわゆるファームウェアであってもよい。
【0067】
入出力インターフェース12fは、三次元センサ21、暗視機能付き撮像部22、サーモグラフィーカメラ23、温度センサ24、湿度センサ25、スマートリモコンユニット26、及び生体・体動センサ3に対してデータなどの送受信を行う。
【0068】
三次元センサ21は、被監視者用端末12に内蔵されることで所定領域1に設置されて所定領域1の内部をスキャンする。
スキャンとは、電磁波、音波などの波動を対象物に照射し、その反射波をとらえることで対象物までの距離を測定する。そして、スキャンは、測定の対象となる所定領域1の内部から外側に向かって波動を照射することで、所定領域1の内部の形状、家具などの配置、人物の位置、姿勢など、所定領域1の内部の状況を読み取ることをいう。
【0069】
三次元センサ21の例として、三次元超音波センサ、及びLiDARが挙げられる。
三次元超音波センサとは、送信側の超音波スピーカの1素子に対し、3つの受信側マイクを用いることで三次元での物体検出を可能とするセンサである。
LiDAR(Light Detection And Ranging)とは、レーザー光を照射して、その反射光の情報をもとに対象物までの距離及び対象物の形などを計測する技術のことをいう。LiDARは、TOF(Time of Flight、飛行時間)方式とFMCW(Frequency Modulated Continuous Wave、周波数連続変調)方式の2種類があり、三次元センサ21として何れの方式を用いてもよい。TOF方式とは、レーザー光を瞬間的にパルス照射して、当該パルス波が対象物に反射されて戻ってくる時間を計測することで対象物までの距離を測定する方式のことをいう。FMCW方式とは、送信するレーザー光の周波数を変化させながら連続的に照射し、対象物に反射して返ってきた受信波の周波数から距離を測る方式のことをいう。
【0070】
暗視機能付き撮像部22は、所謂カメラであり、被監視者用端末12に内蔵されることで所定領域1に設置され、所定領域1の内部の様子を撮像し、就寝時間など所定領域1が暗い状況における所定領域1の内部を、暗視機能を用いて撮像する。
撮像部22の暗視機能は、感度を増幅する暗視補正方式と物体から放射される赤外線を可視化する方式とがあり何れを採用してもよい。暗視補正方式は、光源が少なく薄暗い状況であってもカラーの映像として撮像することができるが、完全な暗闇の状態では撮像することができないという欠点を持つ。赤外線を可視化する方式は、完全な暗闇であっても感光するが、白黒映像又は被写体から放射される赤外線の強度に応じて着色された熱分布画像として撮像することはできるが、被写体が持つ本来の色でもって撮像することは出来ない。
本実施形態の暗視機能付き撮像部22は暗視補正方式が用いられ、所定領域1における就寝時間など照明を落とす際は完全な暗闇にすることなく、照明機器6(図1参照)に組み込まれているナツメ球などの常夜灯を点灯させることで暗視補正が行える程度の光源を確保している。
【0071】
サーモグラフィーカメラ23は、被監視者用端末12に内蔵されることで所定領域1に設置され、所定領域1の内部を撮像することで取得した所定領域1の内部の熱分布を取得する。
サーモグラフィーカメラ23とは、物体から放射される赤外線の量を検出して、温度を可視化するカメラである。赤外線の量は物体の温度が高いほど多くなるので、サーモグラフィーカメラ23は非接触で温度を測定できる。サーモグラフィーカメラ23は所定領域1に居る人物の体温を非接触で測定することができる。
【0072】
温度センサ24は、被監視者用端末12に内蔵されることで所定領域1に設置され所定領域1の内部の気温を検知し測定する。
温度センサ24が測定した気温は、所定領域1に設置された空調機器5の制御に用いられる。
【0073】
湿度センサ25は、被監視者用端末12に内蔵されることで所定領域1に設置され所定領域1の内部の湿度を検知し測定する。
湿度センサ25が測定した湿度は、所定領域1に設置された空調機器5の制御に用いられる。
【0074】
スマートリモコンユニット26は、赤外線通信によるリモートコントロールを可能とする複数の家庭用電化機器を一括して制御可能とする。
スマートリモコンユニット26は、被監視者用端末12に内蔵され異常検知システム10の後述のリモート制御部48に制御されて、所定領域1に設置された空調機器5及び照明機器6を主に制御する。空調機器5は、スマートリモコンユニット26によって、運転の開始及び停止、温度及び湿度の調整、並びに、風の強さ及び向きの調整などが制御される。照明機器6は、スマートリモコンユニット26によって、照明の点灯及び消灯、並びに照度の調整などが制御される。
【0075】
スマートリモコンユニット26は、スマートスピーカ(不図示)と組み合わされることで、空調機器5及び照明機器6などスマートリモコンユニット26により制御可能とされた家庭用電化機器の音声操作が可能となる。空調機器5及び照明機器6の他、例えば、カーテンの自動開閉装置は、スマートリモコンユニット26及びスマートスピーカにより操作が可能となる。
【0076】
生体・体動センサ3は、生体センサと体動センサとが組み合わされたセンサである。生体・体動センサ3は、ベッド2のマットレスの下に、ベッド及びマットレスを用いない場合は敷布団の下に、挿入して用いられる。生体センサは、就寝中の人物を起因とする圧力及び振動の変化を検知し解析することで、当該人物の心拍数、及び呼吸数を検知する。体動センサは、就寝中の人物を起因とする圧力及び振動の変化を検知し解析することで、当該人物の体動及び離床の有無を検知する。
【0077】
生体・体動センサ3は、就寝中の人物を遠隔地から監視するのに適しており、病院、介護施設などの宿泊施設における夜間の見回りの負担の軽減、被監視対象者の状態の悪化などへの迅速な対応が可能となり、更には、健康管理及び予防処置のための記録を自動で行うことができる。
【0078】
(異常検知システム10の機能的構成)
図5を参照して、本実施形態に係る異常検知システム10の機能的構成について説明する。図5は本実施形態に係る異常検知システム10の機能的構成を示すブロック図の一例である。
【0079】
異常検知システム10は、後述する異常検知プログラムを実行することで、CPU10eに、スキャンデータ取得部31、撮像データ取得部32、不在判定部33、スキャンデータ判定部34、撮像データ判定部35、判定時刻取得部36、記憶制御部37、コード発行部38、熱分布取得部39、体温取得部40、体温判定部41、温度データ取得部42、温度判定部43、湿度データ取得部44、湿度判定部45、体感指数算出部46、体感指数判定部47、リモート制御部48、生体情報取得部49、生体情報判定部50、体動情報取得部51、体動情報判定部52、報知部53、設定情報取得部54、設定情報記憶部55、及び検索部56などの機能部を備える。
【0080】
スキャンデータ取得部31は、三次元センサ21から所定領域1の内部のスキャンデータを取得する。
スキャンデータ取得部31は、ネットワーク20を介して被監視者用端末12と交信して、三次元センサ21が所定領域1の内部をスキャンして得たスキャンデータを取得する。取得したスキャンデータは、異常検知システム10のRAM10c又は記憶部10dに記憶される。
【0081】
撮像データ取得部32は、所定領域1に設置され、所定領域1の内部の様子を撮像する撮像部22の撮像データを取得する。
撮像データ取得部32は、被監視者用端末12に内蔵された暗視機能付き撮像部22が所定領域1の内部の様子を撮像して得た撮像データを取得する。取得された撮像データは、異常検知システム10のRAM10c又は記憶部10dに記憶される。
【0082】
不在判定部33は、スキャンデータ取得部31が取得したスキャンデータと、予め取得した無人状態の所定領域1のスキャンデータと、の差分に基づき、所定領域1に人物が居ない場合に所定領域1の人物の不在と判定する。
予め取得した無人状態の所定領域1のスキャンデータは、異常検知システム10のRAM10c又は記憶部10dに予め記憶されている。
スキャンデータ取得部31が取得したスキャンデータと、予め取得した無人状態の所定領域1のスキャンデータと、の差分は、所定領域1に人物が居る場合に、三次元センサ21から照射された波動が、所定領域1の内壁に到達する前に当該人物に反射されて捉えられた反射波に基づく。従って、不在判定部33は、当該差分が有る場合に、所定領域1に人物が居ると判定し、当該差分が無い場合に所定領域1に人物が居ないと判定する。
【0083】
スキャンデータ判定部34は、スキャンデータ取得部31が取得したスキャンデータと、予め取得した所定領域1に居る人物が正常であるときの所定領域1のスキャンデータと、の差分に基づいて、所定領域1に居る人物の異常の発生の有無を判定する。
スキャンデータ判定部34は、予め取得した所定領域1に居る人物が正常であるときの所定領域1のスキャンデータとの差分に基づいて、所定領域1に居る人物の異常の発生の有無を判定するので、精度良く判定をすることができる。
予め取得した所定領域1に居る人物が正常であるときの所定領域1のスキャンデータは、三次元センサ21から照射された波動が、所定領域1に居る正常状態の人物に反射されて捉えられた反射波を含む。スキャンデータ判定部34は、スキャンデータ取得部31が取得したスキャンデータと、正常状態の人物に反射されて捉えられた反射波を含むスキャンデータとの差分に基づいて、所定領域1に居る人物の異常の発生の有無を判定する。
【0084】
スキャンデータ判定部34は、スキャンデータ取得部31が取得したスキャンデータを、人物の異常の発生の有無とスキャンデータとの対応関係を予め学習したスキャンデータ学習モデルに入力することで、スキャンデータ取得部31が取得したスキャンデータに基づいて人物の異常の発生の有無を判定することとしてもよい。
【0085】
スキャンデータ学習モデルは、アノテーションとなるメタデータが付与された学習データセットにより教師有りの機械学習がなされる。
機械学習モデルとは、与えられた大量の学習データのデータセットから、特定の特徴量に着目して汎用的なパターンを導き出して認識し、新しいデータが入力された時に認識した汎用的なパターンを用いて、新しいデータに対する答えを推定するアルゴリズムである。
【0086】
スキャンデータ学習モデルの教師有り機械学習に用いられる学習データのデータセットは次のように作成される。
異常有りのアノテーションが付された学習データは、所定領域1の人物に異常が発生した状況の所定領域1の三次元センサ21のスキャンデータに対して、人物に異常が発生したとするメタデータを付与して生成される。
異常無しのアノテーションが付された学習データは、所定領域1の人物に異常が無い状況の所定領域1の三次元センサ21のスキャンデータに対して、人物に異常が無いとするメタデータを付与して生成される。
【0087】
ここでの異常は、人物が所定領域1の内部での転倒、及び人物のベッド2からの転落であると限定してもよい。スキャンデータ学習モデルが判定する異常の範囲を限定することで、スキャンデータ学習モデルの判定精度を向上させることができる。
この場合、人物の所定領域1の内部での転倒のアノテーションが付された学習データは、所定領域1の人物が転倒した状況の所定領域1の三次元センサ21のスキャンデータに対して、人物の所定領域1の内部での転倒が発生したとするメタデータを付与して生成される。当該学習データは、転倒した場所、転倒前の姿勢、転倒後の姿勢、転倒中の姿勢、及び転倒の種類などを変化させて様々なバリエーションを持たせることで、スキャンデータ学習モデルの推定の精度が向上する。
【0088】
また、人物の所定領域1のベッド2からの転落のアノテーションが付与された学習データは、所定領域1の人物がベッド2から転落した状況の所定領域1の三次元センサ21のスキャンデータに対して、人物のベッド2からの転落が発生したとするメタデータを付与して生成される。当該学習データは、ベッド2の転落した場所、転落前の姿勢、転落中の姿勢、転落後の姿勢、及び転落の種類などを変化させて様々なバリエーションを持たせることで、スキャンデータ学習モデルの推定の精度が向上する。
スキャンデータ学習モデルは、異常検知システム10の記憶部10dに予め記憶されている。
【0089】
撮像データ判定部35は、撮像データ取得部32が取得した撮像データを、人物の異常の発生の有無と撮像データとの対応関係を予め学習した撮像データ学習モデルに入力し、撮像データ取得部32が取得した撮像データに基づいて人物の異常の発生の有無を判定する。
【0090】
撮像データ学習モデルは、教師有りの機械学習により構築され、撮像データ取得部32が取得した撮像データを動画認識して、所定領域1に居る人物の異常を検出する。
動画認識とは、動画の中から対象となる物体又は動きを見つけ出すことである。動画は複数枚の静止画から構成されているため、動画認識は、動画を構成する複数枚の静止画に対して画像認識を繰り返し行うことである。
【0091】
撮像データ学習モデルは、撮像データ取得部32が取得した撮像データを構成する静止画のそれぞれに対して画像認識を行うことで、当該撮像データに異常が含まれるか否かを判定する。撮像データ学習モデルは、異常を検出するとともに異常の種類を特定してもよいし、異常の種類は特定せずに単に所定領域1に居る人物の異常の有無を判定してもよい。
また、所定領域1の異常は、人物が所定領域1の内部での転倒、及び人物のベッド2からの転落に限定してもよい。撮像データ学習モデルが判定する異常の範囲を限定することで、撮像データ学習モデルの判定精度を向上させることができる。
【0092】
撮像データ学習モデルの構築は、学習データとなる画像データの収集、収集した画像データの前処理、画像認識を行う上で着目する特徴量の選定、前処理された画像データに対して選定された特徴量に着目して汎用的なパターンの導出、及び、導き出された汎用的なパターンの性能評価の流れで行われる。
【0093】
学習データとなる画像データの収集では、所定領域1における人物の異常が撮影された画像が収集される。撮像データ学習モデルによって異常の種類を特定する場合は、収集された画像データの各々に異常の種類を分別するためのメタデータを付与してアノテーションを行う。
【0094】
撮像データ学習モデルの判定対象となる所定領域1の異常を、人物が所定領域1の内部での転倒に限定する場合は、撮像データ学習モデルの学習データとして、所定領域1における人物の転倒が撮影された画像が収集される。
また、撮像データ学習モデルの判定対象となる所定領域1の異常を、人物が所定領域1の内部での転倒、及び人物のベッド2からの転落の二つにした場合は、所定領域1における人物の転倒が撮影された画像とベッド2から転落した人物が撮影された画像が学習データとして収集される。撮像データ学習モデルに異常の内容を転倒、転落の何れであるかの識別をさせる場合は、所定領域1における人物の転倒が撮影された画像に対して異常の種類が転倒であるとするメタデータを付与し、ベッド2から転落した人物が撮影された画像に対して異常の種類が転落であるとするメタデータを付与し、収集した画像データにアノテーションを行う。
学習データとして収集した画像データが不足する場合は、データの拡張(Data Augmentation)を行い学習データの水増しを行う。データの拡張とは、学習用の画像データに対して変換を施すことでデータを水増しする手法のことをいう。変換には、画像の回転、左右平行移動、上下平行移動、拡大、縮小、せん断、左右反転、上下反転などがある。なお、せん断とは、四角形の画像を平行四辺形に変形することをいう。
【0095】
収集した画像データの前処理は、コンピュータが学習データとして認識しやすくするために画像データを補正することをいう。具体的には、前処理では画像データの輪郭がぼやけている場合は輪郭をはっきりとさせ、斜めに歪んでいるなら回転及び傾きを補正するなどを行う。
【0096】
画像認識を行う上で着目する特徴量の選定では、学習データとして与えられた画像データから特徴点を検出し、その点の画素値及び微分値などから特徴量を導出し選定する。画像認識での特徴量を導出するためのアルゴリズムは、例えば、SIFT(Scale-Invariant Feature Transform)及びHOG(Histograms of Oriented Gradients)が挙げられる。
【0097】
前処理された画像データに対して選定された特徴量に着目して行う汎用的なパターンの導出では、与えられた学習データとなる大量の画像データから、選定された特徴量に基づいて汎用的なパターンを導き出すことで撮像データ学習モデルを構築する。
【0098】
導き出された汎用的なパターンの性能評価では、構築した撮像データ学習モデルを、認識精度、及び処理速度などの定量的評価を行う。当該性能評価では、学習データとは異なる画像データをテスト用データとして予め用意して評価を行う。
【0099】
判定時刻取得部36は、スキャンデータ判定部34が人物の異常が発生したと判定した場合に、スキャンデータ判定部34が当該判定を行った時刻を判定時刻として取得する。
判定時刻は、異常検知システム10に内蔵される内部クロックを用いて計測される。内部クロックは、インターネット上にある正確なタイムソースと同期することで精度を維持している。
【0100】
記憶制御部37は、判定時刻取得部36が取得した判定時刻の所定時間前からの所定期間分の撮像データ取得部32が取得した撮像データを記憶部10dに記憶する。
所定時間前とは、判定時刻の数秒から数十秒まえのことで、異常が発生した時点の少し前からの画像データを異常検知システム10の記憶部10dに記憶することを目的とする。
所定期間分とは例えば5分である。記憶制御部37は、例えば、判定時刻の30秒前から5分間の撮像データを記憶部10dに記憶する。監視者は、記憶部10dに記憶された5分間の撮像データを視聴することができる。
【0101】
コード発行部38は、記憶制御部37が記憶部10dに記憶した撮像データへアクセスするためのアクセスコードを発行する。
アクセスコードとは、統一資源位置指定子(Uniform Resource Locator:URL)のことである。監視者は監視者用端末11でもってアクセスコードをクリックすることで、当該アクセスコードにリンクされたURLに遷移することができて、異常検知システム10の記憶部10dに記憶された撮像データを再生することができる。
【0102】
熱分布取得部39は、所定領域1に設置されたサーモグラフィーカメラ23を用い所定領域1の内部を撮像することで取得した所定領域1の内部の熱分布を熱分布データとして取得する。
熱分布データとは、所定領域1の内部の熱分布の熱画像のデータのことをいい、熱画像は対象物の表面各部から自然に放射される赤外線エネルギーをサーモグラフィーカメラ23で検出し、画像処理され、温度値に変換した後、温度分布像として白黒輝度又は疑似カラーの色分布で表示されたものである。
監視者は、熱分布データに基づいて、所定領域1に居る人物の居場所を特定することができるとともに、当該人物の体表面温度を測定することができる。
【0103】
体温取得部40は、熱分布取得部39が取得した熱分布データに基づいて、所定領域1に居る人物の体温を取得する。
体温判定部41は、体温取得部40が取得した人物の体温が閾値を超えている場合に人物に異常が発生したと判定する。
例えば、体温の閾値を37.5℃に設定すると、体温判定部41は、体温取得部40が取得した人物の体温が37.5℃を超えている場合に人物に異常が発生したと判定する。
【0104】
温度データ取得部42は、所定領域1の内部の気温を検知する温度センサ24が検知した所定領域1の内部の気温を温度データとして取得する。
温度判定部43は、温度データ取得部42が取得した温度データが閾値を超えている場合に所定領域1に異常が発生したと判定する。
温度データの閾値は、気温の下限及び上限のことである。温度判定部43は、温度データ取得部42が取得した温度データが下限を超えて下回っている場合と温度データが上限を超えて上回っている場合に所定領域1に異常が発生したと判定する。
温度データの閾値は季節によって変更する。例えば、夏であって所定領域1の内部の気温が28℃を超えた場合に、温度判定部43は所定領域1の内部に異常が発生したと判定する。また、冬であって所定領域1の内部の気温が16℃を下回った場合に、温度判定部43は所定領域1の内部に異常が発生したと判定する。
【0105】
湿度データ取得部44は、所定領域1の内部の湿度を検知する湿度センサ25が検知した所定領域1の内部の湿度を湿度データとして取得する。
湿度判定部45は、湿度データ取得部44が取得した湿度データが閾値を超えている場合に所定領域1に異常が発生したと判定する。
湿度データの閾値は、湿度の下限及び上限のことである。湿度判定部45は、湿度データ取得部44が取得した湿度データが下限を超えて下回っている場合と湿度データが上限を超えて上回っている場合に所定領域1に異常が発生したと判定する。
湿度データの閾値は季節によって変更する。夏は湿度50~60%が最適とされ、冬は湿度40~50%が最適とされる。湿度データの閾値は、夏の場合は下限が50%であり上限が60%に設定され、冬の場合は下限が40%であり上限が50%に設定される。
【0106】
体感指数算出部46は、温度データ取得部42が取得した温度データと湿度データ取得部44が取得した湿度データとに基づいて、所定領域1に居る人物の体感指数を算出する。
体感指数とは、不快指数及び体感温度の少なくとも何れか一方である。
不快指数とは、気温と湿度の組合せで求めた体感温度を華氏の数字で表現したものである。
体感温度とは、一般に暑いとか寒いとかで表現される身体の温度に関する感覚を数量的に表そうとしたものをいう。
【0107】
不快指数(Discomfort Index:DI)は、以下の数式(1)で求められる。
【0108】
【数1】
・・・(1)
ここで、Tは乾球気温(℃)、Hは湿度(%)である。乾球気温とは、乾湿温度計(乾湿計)において乾球側の示す温度をいう。
【0109】
体感温度は、以下の数式(2)で求められる。なお、体感温度は、ミスナール体感温度(Tm)を採用する。ミスナール体感温度とは、室温、湿度、風速の3つの要素から体感温度を計算する方法である。
【0110】
【数2】
・・・(2)
【0111】
ここで、tは気温(℃)、hは湿度(%)、vは風速(m/s)、Aは風速による補正値である。本実施形態において、所定領域1は室内であることを想定しているため、風速vはゼロとし、風速による補正値Aは1.76となる。
【0112】
体感指数判定部47は、体感指数算出部46が算出した人物の体感指数が閾値を超えている場合に所定領域1に異常が発生したと判定する。
体感指数の閾値は、体感指数の下限及び上限のことである。
体感指数について不快指数を採用した場合、例えば、体感指数の閾値の下限を60にして、上限を70に設定する。不快指数60以下の環境下で人は肌寒く感じ、不快指数70以上の環境下で人は暑さを感じ始める。
【0113】
体感温度は、同じ気温でも、湿度が低いほど体感温度は低下する。例えば、夏の場合、所定領域1の内部の体感温度が28℃を超えた場合に体感指数判定部47は所定領域1に異常が発生したと判定する。また、冬の場合、所定領域1の内部の体感温度が16℃を下回った場合に体感指数判定部47は所定領域1に異常が発生したと判定する。
【0114】
リモート制御部48は、所定領域1内の家庭用電化機器の運転及び監視を行うスマートリモコンユニット26を制御する。
家庭用電化機器は所定領域1内の空気調和を行う空調機器5であって、温度判定部43、湿度判定部45、及び体感指数判定部47の少なくとも何れか一つが異常と判定した場合に、リモート制御部48は、所定領域1の内部の気温及び湿度が予め設定された気温及び湿度になるように空調機器5を制御する。
リモート制御部48は、被監視者用端末12のスマートリモコンユニット26を介して空調機器5の制御を行う。
【0115】
生体情報取得部49は、人物の就寝中の生体情報を検知する生体センサが検知した人物の生体情報を生体情報データとして取得する。
生体情報判定部50は、生体情報取得部49が取得した生体情報データが生体情報の閾値を超えた場合に人物に異常が発生したと判定する。
生体情報とは、人物の就寝中の心拍数及び呼吸数のことである。
生体センサとは、生体・体動センサ3に含まれるセンサのことである。生体情報取得部49は、ベッド2に設置された生体・体動センサ3が検知した人物の生体情報を生体情報データとして取得する。
【0116】
生体情報の閾値は、生体情報の下限及び上限のことである。
生体情報が、例えば、人物の就寝中の呼吸数である場合に呼吸数の下限の閾値を10回/分に設定する。この場合、生体情報判定部50は、終日において就寝中の心拍数が10回/分を下回った場合に人物に異常が発生したと判定する。
【0117】
生体情報が、例えば、人物の就寝中の心拍数である場合の心拍数の上限の閾値を100回/分を10分以上連続で上回った場合とし、下限の閾値を40回/分を下回った場合に設定する。この場合、生体情報判定部50は、終日において就寝中の心拍数が100回/分を10分以上連続で上回った場合、及び、終日において就寝中の心拍数が40回/分を下回った場合に、人物に異常が発生したと判定する。
【0118】
また、生体情報取得部49は、三次元センサ21のスキャンデータ又は所定領域1に設置されたサーモグラフィーカメラ23を用い所定領域1の内部を撮像することで取得した所定領域1の内部の熱分布に関する熱分布データの何れか若しくは両方を実データとし、人物の就寝中の生体情報と当該実データとの対応関係を予め学習した仮想生体センサモデルに新たに取得した実データを入力することで、新たに取得した実データに基づいて人物の就寝中の生体情報に関する仮想生体情報データを取得することとしてもよい。
【0119】
これは、生体センサ(生体・体動センサ3)を実際に使用する代わりに、生体センサを仮想センサとするものである。仮想センサとは、通常の計測機器のようにハードウェアとしての実体があるセンサとの対比で用いられる用語であり、実際のセンサでは直接の計測が困難な状態量を、比較的容易にオンライン測定される変数の測定値からリアルタイムに推定する手法のことを言い、バーチャルセンサ、ソフトセンサ、推定センサ、状態推定器、バーチャルメトロロジーなどとも呼ばれる。
仮想生体情報データとは、人物の就寝中の生体情報に関する生体情報データを仮想センサによって取得するものであり、仮想生体センサモデルに新たに取得した実データを入力して人物の就寝中の生体情報を推定して取得する仮想的な生体情報データのことをいう。
【0120】
直接の計測が困難な状態量を推定するモデルの構築は、機械学習によって構築してもよいし、統計的手法によって構築してもよい。本実施形態では、人物の就寝中の生体情報を推定するモデルの構築に機械学習を用い、人物の就寝中の生体情報と実データとの対応関係を予め機械学習した仮想生体センサモデルを構築する。実データとは、実際にリアルタイムで測定したデータのことであり、本実施形態では三次元センサ21のリアルタイムのスキャンデータ、サーモグラフィーカメラ23のリアルタイムの熱分布データ、又は、三次元センサ21のリアルタイムのスキャンデータとサーモグラフィーカメラ23のリアルタイムの熱分布データとの組み合わせのことを言う。
【0121】
生体情報が人物の就寝中の心拍数及び呼吸数である場合、上記した実データと当該心拍数及び呼吸数との相関(対応関係)を表す仮想生体センサモデルを機械学習により構築する。
仮想生体センサモデルは、例えば、過去の三次元センサ21のスキャンデータと過去の当該時点における心拍数との組み合わせからなる多数のデータセットを予め機械学習し、新たに取得された三次元センサ21のスキャンデータに基づいて心拍数を推定するものである。
また、仮想生体センサモデルは、例えば、過去のサーモグラフィーカメラ23の熱分布データと過去の当該時点における心拍数との組み合わせからなる多数のデータセットを予め機械学習し、新たに取得されたサーモグラフィーカメラ23の熱分布データに基づいて心拍数を推定するものであってもよい。
また、仮想生体センサモデルは、例えば、過去の三次元センサ21のスキャンデータとサーモグラフィーカメラ23の熱分布データとの組み合わせと、過去の当該時点における心拍数と、の組み合わせからなる多数のデータセットを予め機械学習し、新たに取得された三次元センサ21のスキャンデータとサーモグラフィーカメラ23の熱分布データとの組み合わせに基づいて心拍数を推定するものであってもよい。
【0122】
更に、仮想生体センサモデルは、例えば、過去の三次元センサ21のスキャンデータと過去の当該時点における呼吸数との組み合わせからなる多数のデータセットを予め機械学習し、新たに取得された三次元センサ21のスキャンデータに基づいて呼吸数を推定するものである。
また、仮想生体センサモデルは、例えば、過去のサーモグラフィーカメラ23の熱分布データと過去の当該時点における呼吸数との組み合わせからなる多数のデータセットを予め機械学習し、新たに取得されたサーモグラフィーカメラ23の熱分布データに基づいて呼吸数を推定するものであってもよい。
また、仮想生体センサモデルは、例えば、過去の三次元センサ21のスキャンデータとサーモグラフィーカメラ23の熱分布データとの組み合わせと、過去の当該時点における呼吸数と、の組み合わせからなる多数のデータセットを予め機械学習し、新たに取得された三次元センサ21のスキャンデータとサーモグラフィーカメラ23の熱分布データとの組み合わせに基づいて呼吸数を推定するものであってもよい。
【0123】
なお、人物の就寝中の生体情報を推定するモデル(仮想生体センサモデル)は、機械学習による構築に限定されるものではなく、統計的手法によっても構築することができる。統計的手法の例として、目的変数を心拍数とする重回帰分析により仮想生体センサモデルを構築してもよい。説明変数は、過去の三次元センサ21のスキャンデータから抽出される、例えば波形の周波数又は波高値などが選択される。また、説明変数は、過去のサーモグラフィーカメラ23の熱分布データから抽出されてもよいし、過去の三次元センサ21のスキャンデータと過去のサーモグラフィーカメラ23の熱分布データとの組み合わせの中から抽出されてもよい。
【0124】
更に、統計的手法の例として、目的変数を呼吸数とする重回帰分析により仮想生体センサモデルを構築してもよい。説明変数は、目的変数を呼吸数とする重回帰分析により仮想生体センサモデルを構築する場合と同様である。
【0125】
仮想生体センサモデルの構築において、当該モデルが線形モデルである場合、又は非線形モデルであるが線形モデルへの近似が有効な場合は、重回帰分析などの線形回帰手法により当該モデルの構築が可能となる。
また、当該モデルが非線形モデルである場合は、当該モデルの構築に機械学習を用いることが可能となる。
【0126】
生体情報判定部50は、この場合、生体情報取得部49が取得した仮想生体情報データが生体情報の閾値を超えた場合に人物に異常が発生したと判定する。
【0127】
体動情報取得部51は、人物の就寝中の体動に起因する振動を検知する体動センサが検知した体動情報を体動情報データとして取得する。
体動情報判定部52は、体動情報取得部51が取得した体動情報データが、体動が無い状態が所定時間以上であった場合に人物に異常が発生したと判定する。
体動センサとは、生体・体動センサ3に含まれるセンサのことである。体動情報取得部51は、ベッド2に設置された生体・体動センサ3が検知した人物の体動情報を体動情報データとして取得する。
体動とは、体の動きのことをいう。体動は、浅い睡眠時に覚醒が生じた際に起きる場合があり、また、睡眠中の呼吸及び嚥下に伴って体動が生じる。
体動情報判定部52は、例えば、生体・体動センサ3が体動情報を検知し取得した体動情報データにおいて、体動が無い状態が10分以上であった場合に人物に異常が発生したと判定する。
【0128】
体動情報取得部51は、三次元センサ21のスキャンデータ又は所定領域1に設置されたサーモグラフィーカメラ23を用い所定領域1の内部を撮像することで取得した所定領域1の内部の熱分布に関する熱分布データの何れか若しくは両方を実データとし、人物の就寝中の体動に起因する振動と当該実データとの対応関係を予め学習した仮想体動センサモデルに新に取得した実データを入力することで、新たに取得した実データに基づいて人物の就寝中の体動に起因する振動に関する仮想体動情報データを取得することとしてもよい。
【0129】
これは、体動センサ(生体・体動センサ3)を実際に使用する代わりに、体動センサを仮想センサとするものである。
仮想体動情報データとは、人物の就寝中の体動に起因する振動に関する体動情報データを仮想センサによって取得するものであり、仮想体動センサモデルに新たに取得した実データを入力して人物の就寝中の体動に起因する振動に関する体動情報を推定して取得する仮想的な体動情報データのことを言う。
本実施形態では、人物の就寝中の体動情報を推定するモデルの構築に機械学習を用い、人物の就寝中の体動情報と実データとの対応関係を予め機械学習した仮想体動センサモデルを構築する。
【0130】
仮想体動センサモデルは、上記した実データと人物の就寝中の体動に起因する振動との相関(対応関係)を機械学習により構築する。
仮想体動センサモデルは、例えば、過去の三次元センサ21のスキャンデータと過去の当該時点における振動の周波数、振動の強さなど振動の態様との組み合わせからなる多数のデータセットを予め機械学習し、新たに取得された三次元センサ21のスキャンデータに基づいて振動の態様(周波数、振動の強さなど)を推定するものである。
また、仮想体動センサモデルは、例えば、過去のサーモグラフィーカメラ23の熱分布データと過去の当該時点における振動の態様(周波数、振動の強さなど)との組み合わせからなる多数のデータセットを予め機械学習し、新たに取得されたサーモグラフィーカメラ23の熱分布データに基づいて振動の態様(周波数、振動の強さなど)を推定するものであってもよい。
また、仮想体動センサモデルは、例えば、過去の三次元センサ21のスキャンデータとサーモグラフィーカメラ23の熱分布データとの組み合わせと、過去の当該時点における振動の態様(周波数、振動の強さなど)と、の組み合わせからなる多数のデータセットを予め機械学習し、新たに取得された三次元センサ21のスキャンデータとサーモグラフィーカメラ23の熱分布データとの組み合わせに基づいて振動の態様(周波数、振動の強さなど)を推定するものであってもよい。
【0131】
なお、人物の就寝中の体動情報を推定するモデル(仮想体動センサモデル)は、機械学習による構築に限定されるものではなく、統計的手法によっても構築することができる。統計的手法の例として、目的変数を振動の態様(周波数、振動の強さなど)とする重回帰分析により仮想体動センサモデルを構築してもよい。説明変数は、過去の三次元センサ21のスキャンデータから抽出される、例えば振動の周波数又は振動の強さなどから選択される。また、説明変数は、過去のサーモグラフィーカメラ23の熱分布データから抽出されてもよいし、過去の三次元センサ21のスキャンデータと過去のサーモグラフィーカメラ23の熱分布データとの組み合わせの中から抽出されてもよい。
【0132】
仮想体動センサモデルの構築において、当該モデルが線形モデルである場合、又は非線形モデルであるが線形モデルへの近似が有効な場合は、重回帰分析などの線形回帰手法により当該モデルの構築が可能となるのは、仮想生体センサモデルの場合と同様である。
また、当該モデルが非線形モデルである場合は、当該モデルの構築に機械学習を用いることが可能となるのも、仮想生体センサモデルの場合と同様である。
【0133】
体動情報判定部52は、この場合、体動情報取得部51が取得した仮想体動情報データが、体動が無い状態が所定時間以上であった場合に人物に異常が発生したと判定する。
【0134】
上記したように、生体・体動センサ3を仮想センサにした場合、監視の対象となる人物のベッドなどに生体・体動センサ3を設置する必要が無いため、当該人物により生体・体動センサ3を故意または不注意により除去される虞がない。さらに、生体・体動センサ3を別途用意する必要が無いためコスト削減に寄与する。さらに、生体・体動センサ3の性能向上に関して、仮想生体センサモデル及び仮想体動センサモデルの改良を行えばよくソフトウェアの改良のみで対応することが可能となる。さらに、仮想体動センサモデルに関するソフトウェアの改良を行うことで、当該改良を監視対象となる複数の人物の居室に一括して反映させることが可能となる。
【0135】
報知部53は、スキャンデータ判定部34が所定領域1に居る人物の異常が発生したと判定した場合に、所定領域1の監視者に対して、人物に異常が発生したことを報知する。
報知部53は、ネットワーク20を介して監視者用端末11に対して人物に異常が発生したことを通知することで、所定領域1の監視者に対して異常の報知を行う。通知の手段は、プッシュ通知、電子メールによる通知、又はプッシュ通知、電子メールの着信時の着信音によるアラート音などがある。
報知部53は、以下に説明する報知についても、ネットワーク20を介して監視者用端末11に対して人物に異常が発生したことを通知することで、所定領域1の監視者に対して異常の報知を行う。
【0136】
報知部53は、不在判定部33が不在と判定した場合に、所定領域1の監視者に対して、所定領域1の人物の不在を報知する。監視者は、所定領域1の人物が不在であることに気が付くことができるとともに、就寝時間に不在である場合など、所定領域1に当該人物が居るはずの時間帯に不在であることに気が付くことで、監視者は早期に当該人物の異常に気が付くことができる。
報知部53は、コード発行部38が発行したアクセスコードとともに、所定領域1の監視者に対して、人物の異常が発生したことを報知する。報知を受けた監視者は、アクセスコードのリンクにより、記憶制御部37によって記憶部10dに記憶された撮像データに容易にアクセスすることができる。
【0137】
報知部53は、体温判定部41が異常と判定した場合に、所定領域1の監視者に対して、人物に異常が発生したことを報知する。監視者は、当該報知を受けることで、当該人物の体温に異常が発生したことに気が付くことができ、早期に当該人物の元に駆けつけて当該人物の容態などを直に確認することができる。
【0138】
報知部53は、温度判定部43が異常と判定した場合に、所定領域1の監視者に対して、所定領域1に異常が発生したことを報知する。
報知部53は、湿度判定部45が異常と判定した場合に、所定領域1の監視者に対して、所定領域1に異常が発生したことを報知する。
報知部53は、体感指数判定部47が異常と判定した場合に、所定領域1の監視者に対して、所定領域1に異常が発生したことを報知する。
監視者は、温度判定部43、湿度判定部45、若しくは体感指数判定部47が異常と判定した場合に、所定領域1に異常が発生したとの報知を受けることで、所定領域1の気温、湿度、若しくは体感指数に異常が生じたことに気が付くことができ、所定領域1に居る人物に連絡をしたり、所定領域1に出向いて異常について直に確認したりすることができ、異常事態の拡大を抑えることができる。
【0139】
報知部53は、生体情報判定部50が異常と判定した場合に、所定領域1の監視者に対して、人物に異常が発生したことを報知する。
報知部53は、体動情報判定部52が異常と判定した場合に、所定領域1の監視者に対して、人物に異常が発生したことを報知する。
監視者は、生体情報判定部50又は体動情報判定部52が異常と判定した場合に、人物の異常が発生したとの報知を受けることで、所定領域1に居る人物の生体又は体動に関する異常が生じたことに気が付くことができ、早期に当該人物の元に駆けつけて当該人物の容態などを直に確認することができる。
【0140】
異常と判定した場合のプッシュ通知、及び電子メールに記載される文章の内容は、異常の態様に合わせて予め用意される。例えば、スキャンデータ判定部34が異常と判定した場合の当該文章の内容は、「〇〇号室において、三次元センサのスキャンにより異常の発生を検知しました。」としてもよい。また、不在判定部33が異常と判定した場合の当該文書の内容は、「三次元センサのスキャンによって〇〇号室は不在であることを検知しました。」としてもよい。
【0141】
さらに、体温判定部41が異常と判定した場合の当該文章の内容は、「〇〇号室に居る人物の体温の異常を検知しました」としてもよい。温度判定部43が異常と判定した場合の当該文章の内容は、「〇〇号室の気温の異常を検知しました。」としてもよい。また、湿度判定部45が異常と判定した場合の当該文章の内容は、「〇〇号室の湿度の異常を検知しました。」としてもよい。
【0142】
さらに、体感指数判定部47が異常と判定した場合の当該文章の内容は、「〇〇号室の体感指数の異常が検知されました」としてもよい。生体情報判定部50が異常と判定した場合の当該文章の内容は、「〇〇号室に居る人物の生体情報の異常を検知しました。」としてもよい。また、体動情報判定部52が異常と判定した場合の当該文章の内容は、「〇〇号室に居る人物の体動情報の異常を検知しました。」としてもよい。
【0143】
なお、報知部53は、自動電話発信機能を備え、スキャンデータ判定部34、不在判定部33、体温判定部41、温度判定部43、湿度判定部45、体感指数判定部47、生体情報判定部50、及び体動情報判定部52のうちの何れかが異常と判定した場合に、所定領域1の監視者に電話を掛けて当該異常を報知してもよい。なお、電話は、一般電話であってもIP電話であってもよい。
また、報知部53は、電話の音声によって監視者に異常を報知するとともに、又は、電話の音声に代えて、LINE(登録商標)などのSNS(Social Networking Service)、若しくは、ショートメールのテキストメッセージでもって当該異常を報知してもよい。
【0144】
設定情報取得部54は、スマートリモコンユニット26に対して、所定領域1に居る人物が入力した設定情報を取得する。
設定情報取得部54は、所定領域1に居る人物が、既に入力し使用しているスマートリモコンユニット26の設定情報を、ネットワーク20を経由して取得する。
【0145】
スマートリモコンユニット26は、リモートコントローラの赤外線通信による遠隔操作が可能な家庭用電化機器の操作を集約することができ、センサ機能、タイマー機能、マクロ機能、及びプリセット機能などを備える。
スマートリモコンユニット26は、ネットワーク20を介して異常検知システム10からの操作を受けることができ、更には、Wi-Fi又はBluetooth(登録商標)による接続を受けて、予め登録されたPC、ノートPC、タブレット型PC、又はスマートフォンなどの情報処理装置からの操作を受け付けることができる。従って、異常検知システム10、及び上記の情報処理装置は、スマートリモコンユニット26を介して、所定領域1の家庭用電化機器を操作することができる。
【0146】
センサ機能は、温度データ取得部42、湿度データ取得部44、及び体感指数算出部46が取得した、所定領域1の気温、湿度、及び体感指数が所定の値に達したときに、家庭用電化機器の制御を行うことができ、例えば、所定領域1の気温が20℃に達したら空調機器5の運転を開始するなどの空調機器5の制御を行うように設定することができる。
【0147】
タイマー機能は、指定した時間に、家庭用電化機器の運転の開始若しくは停止をするように設定することができる機能であり、例えば、毎日朝8時に照明機器6を点灯するように設定することができ、また、毎日夜11時に照明機器6を消灯するように設定することができる。
【0148】
マクロ機能は、予め定められた順序に従って家庭用電化機器の制御の各段階を逐次進める制御であるシーケンス制御を設定するであり、例えば、所定時間になったら空調機器5の運転を開始し、その5分後に照明機器6の点灯を行うように設定することができる。また、マクロ機能は、空調機器5の運転が停止されたら、その3分後に照明機器6の消灯を行うように設定することができる。
【0149】
プリセット機能は、スマートリモコンユニット26のセンサ機能、タイマー機能、及びマクロ機能などの各種設定を行う際に使用する機能であり、家電用電化機器の型式番号を入力することで、異常検知システム10の記憶部10dなどに予め登録されている各種設定情報に基づいて、スマートリモコンユニット26の設定を行うことができる機能である。スマートリモコンユニット26は、上記したように、センサ機能、タイマー機能、及びマクロ機能を利用するための多種多様な設定をすることができ、プリセット機能を使うことで、このような多種多様な設定を行う上での煩雑さを解消することができる。
なお、家電用電化機器の型式番号とは、家電用電化機器のメーカー及び仕様などを識別するための記号、シンボル、アルファベット、数字などによる一続きの標記である。
【0150】
設定情報記憶部55は、設定情報取得部54が取得した設定情報を、家庭用電化機器ごとに付与された型式番号ごとに設定情報を分別して記憶部10dに記憶する。
設定情報取得部54が取得した設定情報は、家庭用電化機器の型式番号ごとに分別されて、更に型式番号とは異なる観点から細分化されてもよい。型式番号は、メーカー及び仕様などに基づいて家庭用電化機器を分類する。同じ型式番号で集められた設定情報は、技術的な観点である機能、目的、及び用途などによって更に細分化されてもよい。例えば。1つの照明機器6に関して設定情報取得部54が取得した設定情報について、点灯に関する設定情報、消灯に関する設定情報、明るさに関する設定情報、省エネルギーに関する設定情報、及び、他の家庭用電化機器と連携するシーケンス制御に関する設定情報などに更に細分化してもよい。
【0151】
また、設定情報取得部54が取得した設定情報を記憶する記憶部10dは、階層型データベースによって構築されてもよい。階層型データベースとは、ツリー状に関連付けられたデータを蓄積するデータベースのことをいう。当該設定情報を階層型データベースに記憶することで、上層から特定の設定情報に至るまでのルートは1つのみであるため、検索時に目的の設定情報にたどり着くまでの時間が短く検索速度に優れる。
【0152】
検索部56は、他の所定領域1に居る人物に入力された型式番号に基づいて、記憶部10dに記憶された設定情報を検索し特定する。
記憶部10dに記憶された設定情報が、型式番号ごとに区分され、更に上述したような技術的観点で細分化されていれば、型式番号に基づいて特定された設定情報の数が多くても、その下層において細分化された技術的観点に基づいて目的とする設定情報を特定することができるため、短時間で目的の設定情報にたどり着くことができる。
検索部56によって特定された設定情報は、他の所定領域1のスマートリモコンユニット26の設定に用いられる。
検索部56によって特定された設定情報は、他の所定領域1のスマートリモコンユニット26の設定に役立たせることができ、スマートリモコンユニット26の煩雑な設定を軽減することができる。
【0153】
(監視者用端末11の表示画面)
図6及ぶ図7を参照して、監視者用端末11の表示画面60、80について説明する。図6及び図7は、本実施形態に係る監視者用端末11の表示画面60、80の一例を示す図である。
図6は、監視者用端末11の表示画面60を示している。表示画面60は、生体・体動センサ3が検知した生体情報及び体動情報に基づいている。監視者用端末11はノートPCである。表示画面60は、監視対象となる各部屋の状態の一覧61を表示する。監視対象の複数の部屋の一つ一つが所定領域1に相当する。
【0154】
各部屋の状態の一覧61の例として、101号室、102号室、103号室、及び305号室を例に挙げて説明する。101号室の状態表示62は、被監視者がAaaaという人物で現在は離床中であることを示している。102号室の状態表示63は、被監視者がBbbbという人物で現在は就寝中であり、現時点の心拍数58が64(回/分)であり、呼吸数59が29(回/分)であることを示している。103号室の状態表示64は、被監視者がCcccという人物で現在は就寝中であり、現時点の心拍数58が63(回/分)であり、呼吸数59が21(回/分)であることを示している。305号室の状態表示65は、被監視者がMmmmという人物で現在は就寝時の体動中であり、現時点の心拍数58が83(回/分)であり、呼吸数59が18(回/分)であることを示している。
【0155】
次に、表示画面60の右側にある個人の状態表示窓71について説明する。
各部屋の状態の一覧61の中から選択された部屋の居る被監視者の生体情報及び体動情報が表示される。
【0156】
101号室のAaaaの生体情報及び体動情報が個人の状態表示窓71に表示されている。状態表示窓71では、上中下の三段に分かれて所定期間の生体情報及び体動情報が表示される。
【0157】
状態表示窓71の上段に、直近1時間分の状態表示72が表示される。
状態表示72は、就寝状態表示バー75、並びに、心拍数77及び呼吸数78のグラフが表示される。就寝状態表示バー75は、離床中87、体動中88、及び臥床中89の状態が時間帯ごとに識別できるように表示される。
【0158】
状態表示窓71の中段に、今月分の状態表示73が表示される。
状態表示73は、就寝状態表示グラフ76、並びに、心拍数77及び呼吸数78のグラフが表示される。就寝状態表示グラフ76は、離床中87、体動中88、及び臥床中89の状態が時間帯ごとに識別できるように表示される。
【0159】
状態表示窓71の下段に、先月分の状態表示74が表示される。
状態表示74は、就寝状態表示グラフ76、並びに、心拍数77及び呼吸数78のグラフが表示される。就寝状態表示グラフ76は、離床中87、体動中88、及び臥床中89の状態が時間帯ごとに識別できるように表示される。
【0160】
各部屋の状態の一覧61の表示を切り替えるには、ページ選択タブ70より行う。ページ選択タブ70により、例えば、現時点でアラートが示されている部屋のみを一覧表示させることができる。
また、印刷ボタン68をクリックすることで、表示画面60をプリントアウトすることができる。
【0161】
図7は、監視者用端末11に表示される各部屋の撮像データ表示画面90を示す。
撮像データ表示画面90は、各部屋の現時点の暗視機能付き撮像部22が撮像した撮像データが表示される。監視者は、撮像データ表示画面90を見ることで現時点の各部屋の様子を見ることができる。撮像データ表示91~93は、それぞれ101号室の撮像データ、102号室の撮像データ、103号室の撮像データを示している。
【0162】
次に図8を参照して、本発明の一実施形態に係る異常検知プログラムについて、異常検知方法とともに説明する。図8は本発明の一実施形態に係る異常検知プログラムのフローチャートである。異常検知方法は、異常検知プログラムに基づいて、異常検知システム10のCPU10eにより実行される。
【0163】
異常検知プログラムは、スキャンデータ取得ステップS31、撮像データ取得ステップS32、不在判定ステップS33、スキャンデータ判定ステップS34、撮像データ判定ステップS35、判定時刻取得ステップS36、記憶制御ステップS37、コード発行ステップS38、熱分布取得ステップS39、体温取得ステップS40、体温判定ステップS41、温度データ取得ステップS42、温度判定ステップS43、湿度データ取得ステップS44、湿度判定ステップS45、体感指数算出ステップS46、体感指数判定ステップS47、リモート制御ステップS48、生体情報取得ステップS49、生体情報判定ステップS50、体動情報取得ステップS51、体動情報判定ステップS52、報知ステップS53、設定情報取得ステップS54、設定情報記憶ステップS55、検索ステップS56を備える。
【0164】
異常検知プログラムは、異常検知システム10のCPU10eに対して、スキャンデータ取得機能、撮像データ取得機能、不在判定機能、スキャンデータ判定機能、撮像データ判定機能、判定時刻取得機能、記憶制御機能、コード発行機能、熱分布取得機能、体温取得機能、体温判定機能、温度データ取得機能、温度判定機能、湿度データ取得機能、湿度判定機能、体感指数算出機能、体感指数判定機能、リモート制御機能、生体情報取得機能、生体情報判定機能、体動情報取得機能、体動情報判定機能、報知機能、設定情報取得機能、設定情報記憶機能、検索機能などの各種機能を実現させる。これらの機能は図8のフローチャートに示される順に実行されるが、適宜、順番を入れ替えて実行することもできる。なお、各機能は前述の異常検知システム10の各種機能部の説明と重複するため、その詳細な説明は省略する。
【0165】
スキャンデータ取得機能は、三次元センサ21から所定領域1の内部のスキャンデータを取得する(S31:スキャンデータ取得ステップ)。
撮像データ取得機能は、所定領域1に設置され、所定領域1の内部の様子を撮像する撮像部22の撮像データを取得する(S32:撮像データ取得ステップ)。
不在判定機能は、スキャンデータ取得機能において取得したスキャンデータと、予め取得した無人状態の所定領域1のスキャンデータと、の差分に基づき、所定領域1に人物が居ない場合に所定領域1の人物の不在と判定する(S33:不在判定ステップ)。
スキャンデータ判定機能は、スキャンデータ取得機能において取得したスキャンデータと、予め取得した所定領域1に居る人物が正常であるときの所定領域1のスキャンデータと、の差分に基づいて、所定領域1に居る人物の異常の発生の有無を判定する(S34:スキャンデータ判定ステップ)。
【0166】
撮像データ判定機能は、撮像データ取得機能において取得した撮像データを、人物の異常の発生の有無と撮像データとの対応関係を予め学習した撮像データ学習モデルに入力し、撮像データ取得機能において取得した撮像データに基づいて人物の異常の発生の有無を判定する(S35:撮像データ判定ステップ)。
判定時刻取得機能は、スキャンデータ判定機能において人物の異常が発生したと判定した場合に、スキャンデータ判定機能において当該判定を行った時刻を判定時刻として取得する(S36:判定時刻取得ステップ)。
記憶制御機能は、判定時刻取得機能において取得した判定時刻の所定時間前からの所定期間分の撮像データ取得機能において取得した撮像データを記憶部10dに記憶する(S37:記憶制御ステップ)。
コード発行機能は、記憶制御機能において記憶部10dに記憶した撮像データへアクセスするためのアクセスコードを発行する(S38:コード発行ステップ)。
【0167】
熱分布取得機能は、所定領域1に設置されたサーモグラフィーカメラ23を用い所定領域1の内部を撮像することで取得した所定領域1の内部の熱分布を熱分布データとして取得する(S39:熱分布取得ステップ)。
体温取得機能は、熱分布取得機能において取得した熱分布データに基づいて、所定領域1に居る人物の体温を取得する(S40:体温取得ステップ)。
体温判定機能は、体温取得機能において取得した人物の体温が閾値を超えている場合に人物に異常が発生したと判定する(S41:体温判定ステップ)。
温度データ取得機能は、所定領域1の内部の気温を検知する温度センサ24が検知した所定領域1の内部の気温を温度データとして取得する(S42:温度データ取得ステップ)。
温度判定機能は、温度データ取得機能において取得した温度データが閾値を超えている場合に所定領域1に異常が発生したと判定する(S43:温度判定ステップ)。
【0168】
湿度データ取得機能は、所定領域1の内部の湿度を検知する湿度センサ25が検知した所定領域1の内部の湿度を湿度データとして取得する(S44:湿度データ取得ステップ)。
湿度判定機能は、湿度データ取得機能において取得した湿度データが閾値を超えている場合に所定領域1に異常が発生したと判定する(S45:湿度判定ステップ)。
体感指数算出機能は、温度データ取得機能において取得した温度データと湿度データ取得機能において取得した湿度データとに基づいて、所定領域1に居る人物の体感指数を算出する(S46:体感指数算出ステップ)。
体感指数判定機能は、体感指数算出機能において算出した人物の体感指数が閾値を超えている場合に所定領域1に異常が発生したと判定する(S47:体感指数判定ステップ)。
【0169】
リモート制御機能は、所定領域内の家庭用電化機器の運転及び監視を行うスマートリモコンユニット26を制御する(S48:リモート制御ステップ)。
生体情報取得機能は、人物の就寝中の生体情報を検知する生体センサ(生体・体動センサ3)が検知した人物の生体情報を生体情報データとして取得する(S49:生体情報取得ステップ)。
生体情報判定機能は、生体情報取得機能において取得した生体情報データが生体情報の閾値を超えた場合に人物に異常が発生したと判定する(S50:生体情報判定ステップ)。
体動情報取得機能は、人物の就寝中の体動に起因する振動を検知する体動センサ(生体・体動センサ3)が検知した体動情報を体動情報データとして取得する(S51:体動情報取得ステップ)。
体動情報判定機能は、体動情報取得機能において取得した体動情報データが、体動が無い状態が所定時間以上であった場合に人物に異常が発生したと判定する(S52:体動情報判定ステップ)。
報知機能は、スキャンデータ判定機能において所定領域1に居る人物の異常が発生したと判定した場合に、所定領域1の監視者に対して、人物に異常が発生したことを報知する(S53:報知ステップ)。
【0170】
設定情報取得機能は、スマートリモコンユニット26に対して、所定領域1に居る人物が入力した設定情報を取得する(S54:設定情報取得ステップ)。
設定情報記憶機能は、設定情報取得機能において取得した設定情報を、家庭用電化機器ごとに付与された型式番号ごとに設定情報を分別して記憶部10dに記憶する(S55:設定情報記憶ステップ)。
検索機能は、他の所定領域1に居る人物に入力された型式番号に基づいて、記憶部10dに記憶された設定情報を検索し特定する(S56:検索ステップ)
【0171】
上記した実施形態の異常検知システム10によれば、三次元超音波センサ、及びLiDARの三次元センサ21により所定領域1の内部をスキャンして得たスキャンデータと、予め取得した所定領域1に居る人物が正常であるときのスキャンデータとの差分に基づいて、異常の発生の有無を判定するので、人の転倒、及びベッド2からの転落を検知することが可能となる。
【0172】
更に、上記した実施形態の異常検知システム10によれば、スキャンデータ判定部34は、人物の異常の発生の有無とスキャンデータとの対応関係を予め学習したスキャンデータ学習モデルを用いて、異常の発生の有無を判定するため、異常の発生の有無をより精度良く行うことができる。
【0173】
更に、上記した実施形態の異常検知システム10によれば、所定領域1の内部での人物の異常の発生の有無を、三次元センサ21のスキャンデータに加えて暗視機能付き撮像部22の撮像データに基づいて判定をするため、三次元センサ21と暗視機能付き撮像部22と何れか一方を用いる場合に比べて異常の発生の有無をより精度良く行うことができる。
【0174】
更に、上記した実施形態の異常検知システム10によれば、スキャンデータ判定部34及び撮像データ判定部35が異常と判定した判定時刻の所定時間前からの所定期間分の撮像データ取得部32が取得した撮像データについて、アクセスするためのアクセスコードが発行されるため、監視者は容易に当該撮像データを視聴して、所定領域1の内部での異常の発生の有無を確認することができる。
【0175】
更に、上記した実施形態の異常検知システム10によれば、サーモグラフィーカメラ23によって撮像し取得した熱分布画像に基づいて人物の体温を測定するので、人物の体温を遠隔地から非接触で確認することができる。
【0176】
更に、上記した実施形態の異常検知システム10によれば、所定領域1の内部の気温及び湿度の異常の判定について、不快指数及び体感温度に基づいて行うので、所定領域1に居る人物の感覚に近い基準でもって判定を行うことができる。
【0177】
なお、本発明は上記した実施形態に係る異常検知システム10、異常検知方法、及び、異常検知プログラムに限定されるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、その他種々の変形例、若しくは応用例により実施可能である。
【符号の説明】
【0178】
1 所定領域
2 ベッド
3 生体・体動センサ
3a ケーブル
4 支柱
4a 設置台
5 空調機器
6 照明機器
10 異常検知システム
10a 通信インターフェース
10b ROM
10c RAM
10d 記録部
10e CPU
10f 入出力インターフェース
10g 入力装置
10h 出力装置
11 監視者用端末
12 被監視者用端末
12a 被監視者用端末A
12b 被監視者用端末B
12c 通信インターフェース
12d ROM
12e RAM
12f 記録部
12g CPU
12h 入出力インターフェース
20 ネットワーク
21 三次元センサ
22 暗視機能付き撮像部
23 サーモグラフィーカメラ
24 温度センサ
25 湿度センサ
26 スマートリモコンユニット
31 スキャンデータ取得部
32 撮像データ取得部
33 不在判定部
34 スキャンデータ判定部
35 撮像データ判定部
36 判定時刻取得部
37 記憶制御部
38 コード発行部
39 熱分布取得部
40 体温取得部
41 体温判定部
42 温度データ取得部
43 温度判定部
44 湿度データ取得部
45 湿度判定部
46 体感指数算出部
47 体感指数判定部
48 リモート制御部
49 生体情報取得部
50 生体情報判定部
51 体動情報取得部
52 体動情報判定部
53 報知部
54 設定情報取得部
55 設定情報記憶部
56 検索部
58 心拍数
59 呼吸数
60 管理者用端末の表示画面
61 各部屋の状態の一覧
62 101号室の状態表示
63 102号室の状態表示
64 103号室の状態表示
65 305号室の状態表示
67 状態表示
68 印刷ボタン
69 部屋番号
70 ページ選択タブ
71 個人の状態表示窓
72 直近1時間分の状態表示
73 今月分の状態表示
74 先月分の状態表示
75 就寝状態表示バー
76 就寝状態表示グラフ
77 心拍数のグラフ
78 呼吸数のグラフ
80 管理者用端末の表示画面
81 画面切り替えボタン
82 心拍数
83 呼吸数
84 グラフ横軸スケールの選択ボタン
85 就寝状態表示グラフ
86 心拍数のグラフ
87 離床中
88 体動中
89 臥床中
90 各部屋の撮像データの表示画面
91 101号室の撮像データ表示
92 102号室の撮像データ表示
93 103号室の撮像データ表示
【要約】
【課題】 転倒など監視対象者の異常の発生を検知することができる異常検知システム等を提供する。
【解決手段】 異常検知システムは、所定領域に設置された三次元センサを用い所定領域の内部をスキャンすることで、所定領域に居る人物の異常の発生を検知する異常検知システムであって、三次元センサから所定領域の内部のスキャンデータを取得するスキャンデータ取得部と、スキャンデータ取得部が取得したスキャンデータと、予め取得した所定領域に居る人物が正常であるときの所定領域のスキャンデータと、の差分に基づいて、所定領域に居る人物の異常の発生の有無を判定するスキャンデータ判定部と、スキャンデータ判定部が所定領域に居る人物の異常が発生したと判定した場合に、所定領域の監視者に対して、人物に異常が発生したことを報知する報知部と、を備えることを特徴とする。
【選択図】図5
図1
図2
図3
図4
図5
図6
図7
図8