特許 7665754 熱異常通知装置、熱異常通知システム、熱異常通知方法、および、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-04-11

(45)【発行日】2025-04-21

(54)【発明の名称】熱異常通知装置、熱異常通知システム、熱異常通知方法、および、プログラム

(51)【国際特許分類】

   G08B 25/00 20060101AFI20250414BHJP

   G08B 25/04 20060101ALI20250414BHJP

   G08B 25/08 20060101ALI20250414BHJP

【ＦＩ】

G08B25/00 510M

G08B25/04 K

G08B25/08 C

【請求項の数】 8

(21)【出願番号】P 2023534549

(86)(22)【出願日】2021-07-15

(86)【国際出願番号】 JP2021026646

(87)【国際公開番号】W WO2023286248

(87)【国際公開日】2023-01-19

【審査請求日】2023-08-15

(73)【特許権者】

【識別番号】000006013

【氏名又は名称】三菱電機株式会社

(74)【代理人】

【識別番号】100095407

【弁理士】

【氏名又は名称】木村 満

(74)【代理人】

【識別番号】100131152

【弁理士】

【氏名又は名称】八島 耕司

(74)【代理人】

【識別番号】100147924

【弁理士】

【氏名又は名称】美恵 英樹

(74)【代理人】

【識別番号】100148149

【弁理士】

【氏名又は名称】渡邉 幸男

(74)【代理人】

【識別番号】100181618

【弁理士】

【氏名又は名称】宮脇 良平

(74)【代理人】

【識別番号】100174388

【弁理士】

【氏名又は名称】龍竹 史朗

(72)【発明者】

【氏名】酒井 英里

【審査官】森本 康正

(56)【参考文献】

【文献】米国特許第１０８４７００９（ＵＳ，Ｂ１）

【文献】国際公開第２０１９／０２１７４２（ＷＯ，Ａ１）

【文献】特表２０２０－５２１１９３（ＪＰ，Ａ）

【文献】国際公開第２０２０／１４５１３０（ＷＯ，Ａ１）

【文献】特開平０５－０１０５６１（ＪＰ，Ａ）

【文献】特開２０１７－０１８３７９（ＪＰ，Ａ）

【文献】特開２００２－０９９６２６（ＪＰ，Ａ）

【文献】国際公開第２０２０／２１８４０９（ＷＯ，Ａ１）

【文献】登録実用新案第３１９３９２６（ＪＰ，Ｕ）

【文献】特開２０１６－１０３１７８（ＪＰ，Ａ）

【文献】国際公開第２０１９／１７６２２２（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｂ １／００－３１／００

(57)【特許請求の範囲】

【請求項1】

住居内を時系列に撮影した熱画像を取得する熱画像取得手段と、
前記熱画像取得手段により取得された時系列の前記熱画像を、熱異常を推論するための学習を行った学習済みモデルに入力して、前記熱異常に対応する緊急度及び通知範囲を推論する推論手段と、
前記推論手段が推論した前記緊急度及び前記通知範囲に従って、通知対象となるユーザ及び当該ユーザへの通知方法を決定する決定手段と、
前記決定手段が決定した前記ユーザに対し、前記通知方法を用いて、前記熱異常を通知する通知手段と、
を備える熱異常通知装置。

【請求項2】

前記住居内に設置されている連携機器から、前記ユーザが所持する携帯端末との接続履歴、若しくは、前記ユーザによる前記連携機器の操作履歴を取得する履歴取得手段と、
前記履歴取得手段が取得した前記接続履歴、若しくは、前記操作履歴に基づいて、前記ユーザが前記住居内、及び、前記住居外の何れに位置するかを推定する位置推定手段と、を更に備える、
請求項１に記載の熱異常通知装置。

【請求項3】

前記住居内に設置されている連携機器から、前記連携機器の機器状態情報を取得する機器状態情報取得手段を更に備え、
前記推論手段は、前記機器状態情報取得手段により取得された前記機器状態情報を、前記熱画像取得手段により取得された時系列の前記熱画像と共に、前記学習済みモデルに入力して、前記熱異常に対応する緊急度及び通知範囲を推論する、
請求項１に記載の熱異常通知装置。

【請求項4】

前記熱画像取得手段により取得された時系列の前記熱画像を正規化する正規化手段を更に備え、
前記推論手段は、前記正規化手段により正規化された時系列の前記熱画像を、前記学習済みモデルに入力して、前記熱異常に対応する緊急度及び通知範囲を推論する、
請求項１から３の何れか１項に記載の熱異常通知装置。

【請求項5】

住居内を時系列に撮影した熱画像と、前記熱画像に対応する緊急度及び通知範囲とを含む学習用データを取得するデータ取得手段と、
前記学習用データを用いて、熱異常を推論するための学習済みモデルを生成するモデル生成手段と、を更に備える、
請求項１から３の何れか１項に記載の熱異常通知装置。

【請求項6】

ユーザが所持する携帯端末と、住居内に設置された熱画像センサと、熱異常通知装置とがネットワークを介して通信可能に接続された熱異常通知システムであって、
前記熱異常通知装置は、
前記熱画像センサが前記住居内を時系列に撮影した熱画像を取得する熱画像取得手段と、
前記熱画像取得手段により取得された時系列の前記熱画像を、熱異常を推論するための学習を行った学習済みモデルに入力して、前記熱異常に対応する緊急度及び通知範囲を推論する推論手段と、
前記推論手段が推論した前記緊急度及び前記通知範囲に従って、通知対象となる前記ユーザ及び前記ユーザへの通知方法を決定する決定手段と、
前記決定手段が決定した前記ユーザの前記携帯端末に対し、前記通知方法を用いて、前記熱異常を通知する通知手段と、を備える、
熱異常通知システム。

【請求項7】

熱異常通知装置が実行する熱異常通知であって、
住居内を時系列に撮影した熱画像を取得する熱画像取得ステップと、
前記熱画像取得ステップにて取得された時系列の前記熱画像を、熱異常を推論するための学習を行った学習済みモデルに入力して、前記熱異常に対応する緊急度及び通知範囲を推論する推論ステップと、
前記推論ステップにて推論した前記緊急度及び前記通知範囲に従って、通知対象となるユーザ及び当該ユーザへの通知方法を決定する決定ステップと、
前記決定ステップにて決定した前記ユーザに対し、前記通知方法を用いて、前記熱異常を通知する通知ステップと、
を備える熱異常通知方法。

【請求項8】

コンピュータを、
住居内を時系列に撮影した熱画像を取得する熱画像取得部、
前記熱画像取得部により取得された時系列の前記熱画像を、熱異常を推論するための学習を行った学習済みモデルに入力して、前記熱異常に対応する緊急度及び通知範囲を推論する推論部、
前記推論部が推論した前記緊急度及び前記通知範囲に従って、通知対象となるユーザ及び当該ユーザへの通知方法を決定する決定部、
前記決定部が決定した前記ユーザに対し、前記通知方法を用いて、前記熱異常を通知する通知部、
として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、熱異常通知装置、熱異常通知システム、熱異常通知方法、および、プログラムに関する。

【背景技術】

【0002】

近年、例えば、住居における火災の発生を防止するために、各種のセンサを用いて住居内をセンシングし、何らかの異常を検知するとその異常状態をユーザへ報知する見守りシステムが知られている。例えば、特許文献１には、居住者の家族、保護者等に過度の負担をかけることなくコンロを利用する居住者を適切に見守ることのできる見守りシステムの技術が開示されている。

【0003】

特許文献１に記載の見守りシステムは、コンロ付近の熱を検知する熱センサと、住居内における居住者の位置を検知する人感センサと、コンロの異常状態を判定して携帯端末に報知する制御部とを備えている。そして、この見守りシステムは、熱センサによって、コンロの点火状態を検知すると、その点火状態が継続される経過時間の計時を開始し、人感センサにより検知した居住者の位置に応じて、比較する報知用経過時間を切り換え、異常状態の報知タイミングを適宜変更している。

【0004】

また、特許文献１に記載の見守りシステムでは、計時されている点火状態の経過時間が長くなる程、低い報知レベルから高い報知レベルへと進んで行き、その報知レベルに応じて、携帯端末へ報知する内容を変化させている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１６－１０３０８３号

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、上述した特許文献１に記載された技術では、コンロの点火状態で計時される経過時間が、比較する報知用経過時間に達したかどうかという、予め定められた機器の予め定められた異常状態にしか対応できなかった。また、報知レベルについても、点火状態の経過時間が、現在の報知レベルに規定されている報知用経過時間に達する度に、より高い報知レベルに規定されている報知用経過時間を用いるだけであり、結局の所、計時される経過時間が報知用経過時間に達したかどうかを判別するたけで、異常状態を報知していると言える。そのため、特許文献１に記載された技術では、多種類の異常状態のうちから検知した何れの異常状態に応じて、報知レベルを異ならせるようなことも実現できなかった。

【0007】

このため、より多種類の熱異常を検知可能とし、検知した熱異常を適切なユーザへ適切な通知方法にて通知することのできる技術が求められていた。

【0008】

本開示は、上述のような課題を解決するためになされたものであり、より多種類の熱異常を検知可能とし、検知した熱異常を適切なユーザへ適切な通知方法にて通知することのできる熱異常通知装置、熱異常通知システム、熱異常通知方法、および、プログラムを提供することを目的とする。

【課題を解決するための手段】

【0009】

上記目的を達成するため、本開示に係る熱異常通知装置は、
住居内を時系列に撮影した熱画像を取得する熱画像取得手段と、
前記熱画像取得手段により取得された時系列の前記熱画像を、熱異常を推論するための学習を行った学習済みモデルに入力して、前記熱異常に対応する緊急度及び通知範囲を推論する推論手段と、
前記推論手段が推論した前記緊急度及び前記通知範囲に従って、通知対象となるユーザ及び当該ユーザへの通知方法を決定する決定手段と、
前記決定手段が決定した前記ユーザに対し、前記通知方法を用いて、前記熱異常を通知する通知手段と、
を備える。

【発明の効果】

【0010】

本開示に係る熱異常通知装置では、熱画像取得手段が、住居内を時系列に撮影した熱画像を取得する。また、推論手段は、熱画像取得手段により取得された熱画像を、熱異常を推論するための学習を行った学習済みモデルに入力して、熱異常に対応する緊急度及び通知範囲を推論する。また、決定手段は、推論手段が推論した緊急度及び通知範囲に従って、通知対象となるユーザ及び当該ユーザへの通知方法を決定する。そして、通知手段は、決定手段が決定したユーザに対し、通知方法を用いて、熱異常を通知する。この結果、より多種類の熱異常を検知可能とし、検知した熱異常を適切なユーザへ適切な通知方法にて通知することができる。

【図面の簡単な説明】

【0011】

【図1】本開示の実施形態に係る熱異常通知システムの全体構成の一例を示す図

【図2】熱異常通知システムが導入された住居外にユーザがいる場合の様子を説明するための図

【図3】熱異常通知システムが導入された住居内にユーザがいる場合の様子を説明するための図

【図4A】熱画像の一例を示す図

【図4B】熱画像の他の一例を示す図

【図5】本開示の実施形態１に係る熱異常通知装置の機能ブロックの一例を示す図

【図6】学習部の詳細な構成、及び、学習部にて実行される学習フェーズを説明するための図

【図7】本開示の実施形態１に係る危険度情報の一例を示す図

【図8】ニューラルネットワークを説明するための図

【図9】本開示の実施形態１に係る熱異常通知装置にて実行される活用フェーズを説明するための図

【図10】本開示の実施形態１に係る学習処理の一例を示すフローチャート

【図11】本開示の実施形態１に係る熱異常通知処理の一例を示すフローチャート

【図12】本開示の実施形態２に係る熱異常通知装置の機能ブロックの一例を示す図

【図13】本開示の実施形態２に係る危険度情報の一例を示す図

【図14】本開示の実施形態２に係る熱異常通知装置にて実行される活用フェーズを説明するための図

【図15】本開示の実施形態２に係る熱異常通知処理の一例を示すフローチャート

【図16】本開示の実施形態３に係る熱異常通知装置の機能ブロックの一例を示す図

【図17】本開示の実施形態３に係る熱異常通知装置にて実行される活用フェーズを説明するための図

【図18】本開示の実施形態３に係る熱異常通知処理の一例を示すフローチャート

【図19】住居内に熱異常通知装置が導入された本開示の他の実施形態に係る熱異常通知システムの全体構成の一例を示す図

【発明を実施するための形態】

【0012】

以下、本開示の実施形態について、図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付す。以下では、ユーザが居住する住居内に熱異常通知システムが導入された場合について説明するが、後述するように、例えば、オフィスビルといったユーザが仕事で利用する建物内に熱異常通知システムが導入された場合においても同様に本開示を適用することができる。すなわち、以下に説明する実施形態は説明のためのものであり、本開示の範囲を制限するものではない。従って、当業者であればこれらの各要素または全要素をこれと均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本開示の範囲に含まれる。

【0013】

（実施形態１）
図１は、本開示の実施形態１に係る熱異常通知システム１の全体構成の一例を示す模式図である。この熱異常通知システム１は、熱異常通知装置１０と、熱画像センサ２０と、ユーザＵが所持する携帯端末３０と、連携機器４０とを備えている。なお、熱異常通知装置１０、熱画像センサ２０、携帯端末３０、及び、連携機器４０は、一例として、インターネットに代表されるネットワーク８０を介して通信可能に接続されている。

【0014】

このような熱異常通知システム１は、例えば、図２に示すように、ユーザＵが居住する住居Ｈ内に、熱画像センサ２０、及び、連携機器４０が設置されている。なお、熱異常通知装置１０は、例えば、ネットワーク８０上に構築されたサーバ装置により実現されている。また、図２では、携帯端末３０を所持するユーザＵが、住居Ｈ外にいる場合を示している。この場合、携帯端末３０は、例えば、移動体通信ユニットを利用してネットワーク８０と接続し、熱異常通知装置１０との通信が可能となっている。

【0015】

また、図３では、携帯端末３０を所持するユーザＵが、住居Ｈ内にいる場合を示している。この場合、携帯端末３０は、例えば、Ｗｉ－Ｆｉ、ＢＬＥ（Bluetooth（登録商標）Low Energy）、ＮＦＣ（Near field communication）等に代表される近距離無線通信ユニットを使用して、連携機器４０との通信が可能となっている。

【0016】

熱異常通知装置１０は、熱画像センサ２０が撮影した熱画像から、住居Ｈ内の熱異常を検知してユーザに通知する装置である。なお、熱異常とは、一例として、コンロの消し忘れ、ストーブの消し忘れ、アイロンの切り忘れ、コンセントの異常発熱、電気ポットの切り忘れによる空焚き、子供若しくはお年寄りの発熱等である。

【0017】

熱画像センサ２０は、例えば、住居Ｈ内において、熱異常の発生が予想される電気機器、調理機器等に向けて設置されており、住居Ｈ内における熱画像を撮影する。例えば、図２，３に示すように、住居Ｈ内に置かれたディスプレイに何らかの熱異常ＴＡが生じている場合に、熱画像センサ２０は、図４Ａに示すような熱画像を撮影する。この図４Ａに示す熱画像は、一例として、ディスプレイに接続されたコンセントの一部が発熱して白く映っている様子を示している。この他にも、熱画像センサ２０は、人物が含まれる熱画像を撮影してもよい。例えば、住居Ｈ内にてお年寄りが倒れている場合に、熱画像センサ２０は、図４Ｂに示すような熱画像を撮影する。この図４Ｂでは、一例として、室温が高い住居Ｈ内で発熱したお年寄り倒れている様子を撮影した熱画像を示している。この場合も人物の頭部、腕等が発熱して白く映っている様子が示されている。

【0018】

熱画像センサ２０は、これらのような熱画像を時系列に撮影する。そして、熱画像センサ２０は、撮影した熱画像を熱異常通知装置１０へ、順次送信する。

【0019】

図２に戻って、携帯端末３０は、ユーザＵに所持されるスマートフォン、タブレット等である。携帯端末３０は、各種通信機能が搭載されており、ユーザＵの外出と共に住居Ｈ外へと持ち運ばれた場合でも、外出先からネットワーク８０へ接続し、熱異常通知装置１０との通信が可能となっている。

【0020】

連携機器４０は、例えば、住居Ｈ内に設置されたネットワーク家電、IoT（Internet of Things）機器等である。連携機器４０は、携帯端末３０を所持するユーザＵが住居Ｈ内にいる場合に、例えば、近距離無線ユニットを使用して携帯端末３０と接続し、接続時刻を含む接続履歴を熱異常通知装置１０へ送信する。また、連携機器４０は、ユーザＵからの手動操作を受け可能であり、実際にユーザＵからの手動操作を受け付けると、例えば、操作時刻を含む操作履歴を熱異常通知装置１０へ送信する。

【0021】

なお、上述した熱画像センサ２０においても、連携機器４０と同様に、例えば、近距離無線ユニットを使用して携帯端末３０と接続可能であってもよい。この場合、熱画像センサ２０でも、携帯端末３０を所持するユーザＵが住居Ｈ内にいる場合に、近距離無線ユニットを使用して携帯端末３０と接続し、例えば、接続時刻を含む接続履歴を熱異常通知装置１０へ送信する。

【0022】

このため、例えば、住居Ｈ内の電気機器、調理機器等に発生する熱異常を検知するケースを想定すると、熱画像センサ２０、若しくは、連携機器４０から接続履歴が送られて来ていない場合、及び、連携機器４０から操作履歴が送られて来ていない場合において、熱異常通知装置１０は、ユーザＵが住居Ｈ内にいないと判別でき、例えば、熱異常をユーザＵに通知しようとする際に、携帯端末３０に向けて熱異常通知を送信することになる。

【0023】

逆に、熱画像センサ２０、若しくは、連携機器４０から接続履歴が送られて来ている場合、又は、連携機器４０から操作履歴が送られて来ている場合において、熱異常通知装置１０は、ユーザＵが住居Ｈ内にいると判別でき、例えば、熱異常をユーザＵに通知しようとする際に、連携機器４０に向けて熱異常通知を送信することも有効となる。

【0024】

以下、本開示の実施形態１に係る熱異常通知装置１０の機能ブロックについて、図５を参照して説明する。図５に示すように、熱異常通知装置１０は、熱画像取得手段の一例である熱画像取得部１１と、学習部１２と、記憶部１３と、推論手段の一例である推論部１４と、履歴取得手段の一例である宅内情報取得部１５と、位置推定手段の一例である位置推定部１６と、決定手段の一例である通知手段決定部１７と、通知手段及び通知部の一例である通信部１８と、制御部１９とを備える。なお、図５に示す機能ブロックは、例えば、ＣＰＵ（Central Processing Unit）が、ＲＡＭ（Random Access Memory）をワークメモリとして用い、ＲＯＭに記憶されているプログラムを適宜実行することにより実現される。

【0025】

熱画像取得部１１は、上述した熱画像センサ２０によって時系列に撮影された熱画像を順次取得する。

【0026】

学習部１２は、予め学習されたモデルに各種データを追加して学習を行う。例えば、学習部１２は、図６に示すように、データ取得手段の一例であるデータ取得部１２１と、モデル生成手段の一例であるモデル生成部１２２とを含んでいる。また、図６の下部は、学習部１２にて実行される学習フェーズを説明するための図である。

【0027】

学習フェーズにおいて、データ取得部１２１は、学習用データＤＴを取得する。ここで学習用データＤＴは、例えば、教師あり学習のデータであり、入力と結果とのデータの組をニューラルネットワークＮＮに入力して学習させることになる。より具体的に、本実施形態１において、学習用データＤＴは、熱画像および危険度情報を互いに関連付けたデータである。

【0028】

具体例として、危険度情報は、図７に示すような住居内の状況と、緊急度及び通知範囲とを対応付けた情報である。なお、緊急度は、通知する際の緊急度合いである。また、通知範囲は、通知する際の対象範囲である。

【0029】

図６に戻って、モデル生成部１２２は、このような熱画像および危険度情報を互いに関連付けた学習用データＤＴを用いて学習を行う。なお、モデル生成部１２２が用いる学習アルゴリズムは、例えば、教師あり学習、教師無し学習、強化学習等の公知のアルゴリズムを用いることができる。以下、一例として、ニューラルネットワークＮＮを適用した場合について説明する。

【0030】

モデル生成部１２２は、ニューラルネットワークＮＮを使用して、いわゆる教師あり学習により、学習済みモデルＬＭを生成する。ニューラルネットワークＮＮは、複数のニューロンからなる入力層、複数のニューロンからなる中間層、及び、複数のニューロンからなる出力層によって形成されている。なお、中間層は、隠れ層ともいい、１層、又は、２層以上であってもよい。

【0031】

例えば、図８に示すような３層のニューラルネットワークＮＮであれば、複数の入力が入力層（Ｘ１～Ｘ３）に入力されると、その値に重みＷ１（ｗ１１～ｗ１６）を掛けて中間層（Ｙ１～Ｙ２）に入力され、その結果にさらに重みＷ２（ｗ２１～ｗ２６）を掛けて出力層（Ｚ１～Ｚ３）から出力される。この出力結果は、重みＷ１とＷ２のそれぞれの値によって変化する。

【0032】

本開示において、ニューラルネットワークＮＮは、データ取得部１２１によって取得された熱画像および上述した図７に示すような危険度情報を互いに関連付けた学習用データＤＴに従って、いわゆる教師あり学習により、ニューラルネットワークＮＮの重みを変化させることで学習させる。

【0033】

図６に示すモデル生成部１２２は、以上のような学習フェーズを処理することで学習済みモデルＬＭを生成して出力する。このようにモデル生成部１２２によって出力された学習済みモデルＬＭは、記憶部１３に記憶され、推論部１４にて熱画像を入力した熱異常の推論に使用される。

【0034】

図５に戻って、記憶部１３は、熱画像、学習済みモデル、機器の操作データ等の各種データを記憶する。

【0035】

推論部１４は、時系列の熱画像と学習済みモデルとから、熱異常を推論する。つまり、推論部１４は、学習済みモデルを利用して得られる熱異常に対応する緊急度及び通知範囲を推論する。すなわち、上述した学習部１２、より詳細には、モデル生成部１２２が生成した学習済みモデルに、熱画像取得部１１で取得した熱画像を入力することで、熱画像から推論される緊急度及び通知範囲を出力することができる。

【0036】

なお、本開示において、学習部１２のモデル生成部１２２で学習した学習済みモデルを用いて、緊急度及び通知範囲を出力する場合について説明しているが、他の熱異常通知装置１０といった外部の装置が生成した学習済みモデルを取得し、この学習済みモデルに基づいて緊急度及び通知範囲を出力するようにしてもよい。

【0037】

宅内情報取得部１５は、連携機器４０が携帯端末３０と接続した接続履歴、または、ユーザＵからの手動操作を受け付けた操作履歴の少なくとも何れかを連携機器４０から取得する。

【0038】

位置推定部１６は、接続履歴、または、操作履歴の少なくとも何れかからユーザＵの位置を推定する。つまり、熱異常通知装置１０は、熱画像センサ２０、若しくは、連携機器４０から接続履歴が送られて来ているかいないか、及び、連携機器４０から手動操作を受け付けた操作履歴が送られて来ているかいないかの少なくとも何れかに基づいて、ユーザＵが住居Ｈ内にいるかいないかを判別する。

【0039】

通知手段決定部１７は、上述した推論部１４が、時系列の熱画像と学習済みモデルとから推論した、熱異常に対応する緊急度及び通知範囲に基づいて、通知対象とその通知方法を決定する。例えば、緊急度が「低」で通知範囲が「狭」と推論された場合に、通知手段決定部１７は、通知対象を同居家族内に決定し、通知方法を電子メール若しくはＳＮＳ（Social networking service）に決定する。また、緊急度が「高」で通知範囲が「広」と推論された場合に、通知手段決定部１７は、通知対象を病院、民間セキュリティ会社に決定し、通知方法をポップアップ表示、プッシュ通知、アラーム、電話に決定する。

【0040】

通信部１８は、例えば、各種の通信モジュールであり、例えば、上述した通知手段決定部１７が決定した通知対象に向けて、通知手段決定部１７が決定した通信方法にて、熱異常を通知する。

【0041】

制御部１９は、熱異常通知装置１０全体の制御を行う。例えば、学習部１２にて学習フェーズを処理させる場合に、制御部１９は、上述した図６に示すように、データ取得部１２１、及び、モデル生成部１２２を制御して、学習用データＤＴによる学習を実行させ、学習済みモデルＬＭを生成させる。

【0042】

以下、このようなブロック構成の実施形態１に係る熱異常通知装置１０が、時系列の熱画像と学習済みモデルとを活用して、熱異常を適切な通知対象へ適切な通知方法にて通知する活用フェーズについて、図９を参照して説明する。

【0043】

熱画像取得部１１は、熱画像センサ２０によって時系列に撮影された熱画像を順次取得する。続いて、推論部１４は、熱画像取得部１１が取得した時系列の熱画像を、記憶部１３に記憶された学習済みモデルを用いて演算することで、熱異常に対応する緊急度及び通知範囲を推論する。

【0044】

また、通知手段決定部１７は、推論部１４が推論した熱異常に対応する緊急度及び通知範囲に基づいて、通知対象とその通知方法を決定する。続いて、通信部１８は、通知手段決定部１７が決定した通知対象に向けて、通知手段決定部１７が決定した通信方法にて、熱異常を通知する。例えば、通信部１８は、携帯端末３０、若しくは、連携機器４０に熱異常通知を送信して、熱異常をユーザＵを含む通知対象に通知する。

【0045】

以下、このような構成の熱異常通知装置１０の動作について、図１０、及び、図１１を参照して説明する。図１０は、本開示の実施形態１に係る学習処理の一例を示すフローチャートである。また、図１１は、本開示の実施形態１に係る熱異常通知処理の一例を示すフローチャートである。

【0046】

最初に、図１０の学習処理について説明する。この学習処理は、学習済みモデルを生成する際に、上述した図６に示すような学習部１２にて実行される。

【0047】

まず、学習部１２は、学習用データＤＴを取得する（ステップＳ１１）。すなわち、データ取得部１２１は、熱画像及び危険度情報を互いに関連付けた学習用データＤＴを取得する。この危険度情報は、例えば、図７に示すような住居内の状況と、緊急度及び通知範囲とを対応付けた情報である。

【0048】

なお、このステップＳ１１において、データ取得部１２１が、熱画像および危険度情報を同時に取得するものとしたが、熱画像及び危険度情報を関連付けて入力できれば良く、熱画像、及び、危険度情報をそれぞれ別のタイミングで取得するようにしてもよい。また、ステップＳ１１において、携帯端末３０を所持するユーザＵの位置情報を取得してもよい。

【0049】

学習部１２は、学習処理を実行する（ステップＳ１２）。すなわち、モデル生成部１２２は、データ取得部１２１によって取得される熱画像及び危険度情報を互いに関連付けた学習用データＤＴに従って、いわゆる教師あり学習により、ニューラルネットワークＮＮを学習させ、学習済みモデルＬＭを生成する。

【0050】

学習部１２は、学習済みモデルＬＭを記憶する（ステップＳ１３）。すなわち、モデル生成部１２２は、上記のステップＳ１２にて生成した学習済みモデルＬＭを記憶部１３に記憶させる。

【0051】

続いて、図１１の熱異常通知処理について説明する。この熱異常通知処理は、学習済みモデルが記憶部１３に記憶された後に、上述した図９に示すような構成を使用した熱異常通知装置１０にて実行される。

【0052】

まず、熱画像取得部１１は、熱画像を取得する（ステップＳ２１）。つまり、熱画像取得部１１は、熱画像センサ２０によって時系列に撮影された熱画像を順次取得する。なお、このステップＳ２１が、熱画像取得ステップの一例である。

【0053】

推論部１４は、記憶部１３に記憶された学習済みモデルに熱画像を入力し、緊急度及び通知範囲を得る（ステップＳ２２）。つまり、推論部１４は、上記のステップＳ２１にて取得した時系列の熱画像を、記憶部１３に記憶された学習済みモデルを用いて演算することで、熱異常に対応する緊急度及び通知範囲を推論する。なお、このステップＳ２２が、推論ステップの一例である。

【0054】

推論部１４は、推論結果を出力する（ステップＳ２３）。つまり、推論部１４は、推論により得られた緊急度及び通知範囲を通知手段決定部１７に出力する。

【0055】

通知手段決定部１７は、緊急度及び通知範囲に基づいて、通知対象と通知方法とを決定する（ステップＳ２４）。つまり、通知手段決定部１７は、上記のステップＳ２３にて推論部１４から出力された緊急度及び通知範囲に基づいて、適切な通知対象と通知方法とを決定する。なお、このステップＳ２４が、決定ステップの一例である。

【0056】

通信部１８は、熱異常を通知する（ステップＳ２５）。つまり、通信部１８は、上記のステップＳ２４にて通知手段決定部１７が決定した通知対象に向けて、通知手段決定部１７が決定した通信方法にて、熱異常を通知する。なお、このステップＳ２５が、通知ステップの一例である。

【0057】

この結果、熱画像、及び、学習済みモデルを活用して、より多種類の熱異常を検知可能とし、検知した熱異常を適切なユーザへ適切な通知方法にて通知することができる。

【0058】

（実施形態１の変形例）
上記の実施形態１に係る熱異常通知装置１０では、熱画像を学習済みモデルに入力して、緊急度及び通知範囲を推論する例について説明したが、位置推定部１６が推定したユーザＵの位置を示す位置推定情報を学習済みモデルに更に入力して、緊急度及び通知範囲を推論するようにしてもよい。

【0059】

以下、実施形態１の変形例に係る熱異常通知装置１０について説明する。熱異常通知システム１の全体構成は、図１と同じである。熱異常通知装置１０の機能ブロック構成は、図５と同じである。推論部１４は、熱画像取得部１１が取得した時系列の熱画像と位置推定部１６が推定したユーザＵの位置を示す位置推定情報とを、記憶部１３に記憶された学習済みモデルを用いて演算することで、熱異常に対応する緊急度及び通知範囲を推論する。ユーザＵの位置推定情報を更に利用することにより、住居Ｈ内に人がいるかどうかの推定精度を高めることができる。これにより、熱異常に対応する緊急度及び通知範囲の推定精度を高めることができる。

【0060】

（実施形態２）
上記の実施形態１に係る熱異常通知装置１０では、熱画像だけを学習済みモデルに入力して、緊急度及び通知範囲を推論する場合について説明したが、熱画像及び機器状態情報を学習済みモデルに入力して、緊急度及び通知範囲を推論するようにしてもよい。

【0061】

以下、熱画像及び機器状態情報を学習済みモデルに入力して、緊急度及び通知範囲を含む危険度情報を推論することを特徴とする本開示の実施形態２に係る熱異常通知装置１０について説明する。なお、熱異常通知システム１の全体構成は、図１と同じである。

【0062】

図１２は、本開示の実施形態２に係る熱異常通知装置１０の機能ブロックを示す図である。図１２に示す熱異常通知装置１０は、熱画像取得手段の一例である熱画像取得部１１と、学習部１２と、記憶部１３と、推論手段の一例である推論部１４と、機器状態情報取得手段の一例である機器状態情報取得部５１と、位置推定手段の一例である位置推定部１６と、決定手段の一例である通知手段決定部１７、通知手段の一例である通信部１８と、制御部１９と、を備える。つまり、図１２に示す熱異常通知装置１０は、上述した図５に示す実施形態１に係る熱異常通知装置１０の宅内情報取得部１５に代えて、機器状態情報取得部５１を備えた構成となっている。なお、図１２に示す熱異常通知装置１０において、宅内情報取得部１５を残し、宅内情報取得部１５と機器状態情報取得部５１とを共存させるようにしてもよい。

【0063】

機器状態情報取得部５１は、住居Ｈ内に設置されている連携機器４０から、機器状態情報を取得する。なお、機器状態情報は、一例として、連携機器４０の機器状態情報である。

【0064】

なお、図１２に示す熱異常通知装置１０において、学習部１２は、熱画像、機器状態情報、および、危険度情報を互いに関連付けた学習用データＤＴを用いて学習を行っている。その際、図１３に示すような危険度情報を用いてもよい。この図１３に示す危険度情報は、上述した図７の危険度情報よりも、「住居内の状況」における機器を具体的に規定している。この場合も、上述した図６に示すように、モデル生成部１２２は、熱画像、機器状態情報、および、危険度情報を互いに関連付けた学習用データＤＴを用いて学習を行って学習済みモデルＬＭを生成して出力する。そして、モデル生成部１２２によって出力された学習済みモデルＬＭは、記憶部１３に記憶され、推論部１４にて熱画像及び機器状態情報を入力した熱異常の推論に使用される。

【0065】

以下、このようなブロック構成の実施形態２に係る熱異常通知装置１０が、時系列の熱画像と機器状態情報と学習済みモデルとを活用して、熱異常を適切な通知対象へ適切な通知方法にて通知する活用フェーズについて、図１４を参照して説明する。

【0066】

熱画像取得部１１は、熱画像センサ２０によって時系列に撮影された熱画像を順次取得する。一方、機器状態情報取得部５１は、住居Ｈ内に設置されている連携機器４０から、機器状態情報を取得する。なお、機器状態情報は、一例として、連携機器４０の機器状態情報である。続いて、推論部１４は、熱画像取得部１１が取得した時系列の熱画像と機器状態情報取得部５１が取得した機器状態情報とを、記憶部１３に記憶された学習済みモデルを用いて演算することで、熱異常に対応する緊急度及び通知範囲を推論する。

【0067】

また、通知手段決定部１７は、推論部１４が推論した熱異常に対応する緊急度及び通知範囲に基づいて、通知対象とその通知方法を決定する。続いて、通信部１８は、通知手段決定部１７が決定した通知対象に向けて、通知手段決定部１７が決定した通信方法にて、熱異常を通知する。例えば、通信部１８は、携帯端末３０、若しくは、連携機器４０に熱異常通知を送信して、ユーザＵを含む通知対象に熱異常を通知する。

【0068】

以下、このような構成の熱異常通知装置１０の動作について、図１５を参照して説明する。図１５は、本開示の実施形態２に係る熱異常通知処理の一例を示すフローチャートである。

【0069】

まず、熱画像取得部１１は、熱画像を取得する（ステップＳ２１）。つまり、熱画像取得部１１は、熱画像センサ２０によって時系列に撮影された熱画像を順次取得する。

【0070】

機器状態情報取得部５１は、機器状態情報を取得する（ステップＳ３１）。つまり、機器状態情報取得部５１は、住居Ｈ内に設置されている連携機器４０から、機器状態情報を取得する。なお、機器状態情報は、一例として、連携機器４０の機器状態情報である。

【0071】

推論部１４は、記憶部１３に記憶された学習済みモデルに、熱画像及び機器状態情報を入力し、緊急度及び通知範囲を得る（ステップＳ３２）。つまり、推論部１４は、上記のステップＳ２１にて取得した時系列の熱画像と、上記のステップＳ３１にて取得した機器状態情報とを、記憶部１３に記憶された学習済みモデルを用いて演算することで、熱異常に対応する緊急度及び通知範囲を推論する。例えば、高温状態の機器の熱源がアイロンやコンロといった特定の機器であるか、機器の状態によらない熱源かを、緊急度及び通知範囲の推論処理に反映することができる。

【0072】

推論部１４は、推論結果を出力する（ステップＳ２３）。つまり、推論部１４は、推論により得られた緊急度及び通知範囲を通知手段決定部１７に出力する。

【0073】

通知手段決定部１７は、緊急度及び通知範囲に基づいて、通知対象と通知方法とを決定する（ステップＳ２４）。つまり、通知手段決定部１７は、上記のステップＳ２３にて推論部１４から出力された緊急度及び通知範囲に基づいて、適切な通知対象と通知方法とを決定する。

【0074】

通信部１８は、熱異常を通知する（ステップＳ２５）。つまり、通信部１８は、上記のステップＳ２４にて通知手段決定部１７が決定した通知対象に向けて、通知手段決定部１７が決定した通信方法にて、熱異常を通知する。

【0075】

この結果、熱画像の他に熱異常に影響を与える連携機器４０の機器状態情報を推論に利用することにより、熱異常に対応する緊急度及び通知範囲の推定精度を高めることができ、より多種類の熱異常を適切なユーザへ適切な通知方法にて通知することができる。

【0076】

（実施形態３）
上記の実施形態１，２に係る熱異常通知装置１０では、熱画像センサ２０から取得した熱画像をそのまま学習済みモデルに入力する場合について説明したが、熱画像を正規化した後に、学習済みモデルに入力するようにしてもよい。

【0077】

以下、熱画像センサ２０から取得した熱画像を正規化した後に、学習済みモデルに入力することを特徴とする本開示の実施形態３に係る熱異常通知装置１０について説明する。なお、熱異常通知システム１の全体構成は、図１と同じである。

【0078】

図１６は、本開示の実施形態３に係る熱異常通知装置１０の機能ブロックを示す図である。図１６に示す熱異常通知装置１０は、熱画像取得手段の一例である熱画像取得部１１と、学習部１２と、記憶部１３と、推論手段の一例である推論部１４と、正規化手段の一例である正規化部６１と、位置推定手段の一例である位置推定部１６と、決定手段の一例である通知手段決定部１７、通知手段の一例である通信部１８と、制御部１９と、を備える。つまり、図１６に示す熱異常通知装置１０は、上述した図５に示す実施形態１に係る熱異常通知装置１０の宅内情報取得部１５に代えて、正規化部６１を備えた構成となっている。なお、図１６に示す熱異常通知装置１０において、宅内情報取得部１５を残し、宅内情報取得部１５と正規化部６１とを共存させるようにしてもよい。

【0079】

正規化部６１は、熱画像センサ２０から取得した熱画像を適宜前処理して正規化する。例えば、正規化６１は、熱画像センサ２０のレンジを広くしたり、逆に狭くしたりして、熱画像を正規化する。具体的には、３５℃～４０℃といった人体の体温が取り得る温度帯の精度を細かく、それ以外の温度帯の精度を粗くする。または、６０℃以上、といった、明らかに熱異常であり、緊急度が高くないと判断する余地がないとされる温度帯では、温度範囲内の精度を粗くして、通知精度を確保する。

【0080】

以下、このようなブロック構成の実施形態３に係る熱異常通知装置１０が、時系列の熱画像と学習済みモデルとを活用して、熱異常を適切な通知対象へ適切な通知方法にて通知する活用フェーズについて、図１７を参照して説明する。

【0081】

熱画像取得部１１は、熱画像センサ２０によって時系列に撮影された熱画像を順次取得する。そして、正規化部６１は、熱画像センサ２０から取得した熱画像を適宜前処理して正規化する。例えば、正規化６１は、熱画像センサ２０のレンジを広くしたり、逆に狭くしたりして、熱画像を正規化する。続いて、推論部１４は、正規化部６１が正規化した熱画像を、記憶部１３に記憶された学習済みモデルを用いて演算することで、熱異常に対応する緊急度及び通知範囲を推論する。

【0082】

また、通知手段決定部１７は、推論部１４が推論した熱異常に対応する緊急度及び通知範囲に基づいて、通知対象とその通知方法を決定する。続いて、通信部１８は、通知手段決定部１７が決定した通知対象に向けて、通知手段決定部１７が決定した通信方法にて、熱異常を通知する。例えば、通信部１８は、携帯端末３０、若しくは、連携機器４０に熱異常通知を送信して、ユーザＵを含む通知対象に熱異常を通知する。

【0083】

以下、このような構成の熱異常通知装置１０の動作について、図１８を参照して説明する。図１８は、本開示の実施形態３に係る熱異常通知処理の一例を示すフローチャートである。

【0084】

まず、熱画像取得部１１は、熱画像を取得する（ステップＳ２１）。つまり、熱画像取得部１１は、熱画像センサ２０によって時系列に撮影された熱画像を順次取得する。

【0085】

正規化部６１は、熱画像を正規化する（ステップＳ４１）。つまり、正規化部６１は、熱画像センサ２０から取得した熱画像を適宜前処理して正規化する。例えば、正規化６１は、熱画像センサ２０のレンジを広くしたり、逆に狭くしたりして、熱画像を正規化する。

【0086】

推論部１４は、記憶部１３に記憶された学習済みモデルに、熱画像を入力し、緊急度及び通知範囲を得る（ステップＳ２２）。つまり、推論部１４は、上記のステップＳ４１にて正規化した熱画像を、記憶部１３に記憶された学習済みモデルを用いて演算することで、熱異常に対応する緊急度及び通知範囲を推論する。

【0087】

推論部１４は、推論結果を出力する（ステップＳ２３）。つまり、推論部１４は、推論により得られた緊急度及び通知範囲を通知手段決定部１７に出力する。

【0088】

通知手段決定部１７は、緊急度及び通知範囲に基づいて、通知対象と通知方法とを決定する（ステップＳ２４）。つまり、通知手段決定部１７は、上記のステップＳ２３にて推論部１４から出力された緊急度及び通知範囲に基づいて、適切な通知対象と通知方法とを決定する。

【0089】

通信部１８は、熱異常を通知する（ステップＳ２５）。つまり、通信部１８は、上記のステップＳ２４にて通知手段決定部１７が決定した通知対象に向けて、通知手段決定部１７が決定した通信方法にて、熱異常を通知する。

【0090】

この結果、特定の温度帯の精度を高くしたり、低くしたりするように正規化した熱画像を活用して、熱異常に対応する緊急度及び通知範囲の推定精度を高めることができ、熱異常を適切なユーザへ適切な通知方法にて通知することができる。

【0091】

（他の実施形態）
上記の実施形態１～３では、上述した図２，３に示すように、熱異常通知装置１０がネットワーク８０上に構築されたサーバ装置により実現されている場合について説明したが、熱異常通知装置１０も住居Ｈ内に設置されていてもよい。

【0092】

以下、熱異常通知装置１０についても、住居Ｈ内に設置されていることを特徴とする他の実施形態に係る熱異常通知システム１について、図１９を参照して説明する。この図１９に示すように、ユーザＵが居住する住居Ｈ内に、熱異常通知装置１０、熱画像センサ２０、及び、連携機器４０が設置されている。なお、住居Ｈ内において、熱異常通知装置１０、熱画像センサ２０、携帯端末３０、及び、連携機器４０は、一例として、無線ＬＡＮに代表されるネットワーク９０を介して通信可能に接続されている。

【0093】

この場合も、より多種類の熱異常を検知可能とし、検知した熱異常を適切なユーザへ適切な通知方法にて通知することができる。

【0094】

また、上記の実施形態において、熱異常通知装置１０によって実行されるプログラムは、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＤＶＤ（Digital Versatile Disc），ＭＯ（Magneto-Optical Disk），ＵＳＢメモリ，メモリカード等のコンピュータ読み取り可能な記録媒体に格納して配布することも可能である。そして、かかるプログラムを特定の又は汎用のコンピュータにインストールすることによって、当該コンピュータを上記の実施形態における熱異常通知装置１０として機能させることも可能である。

【0095】

また、上記のプログラムをインターネットといった通信ネットワーク上のサーバ装置が有するディスク装置に格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロードするようにしてもよい。また、通信ネットワークを介してプログラムを転送しながら起動実行することによっても、上述の処理を達成することができる。さらに、プログラムの全部又は一部をサーバ装置上で実行させ、その処理に関する情報をコンピュータが通信ネットワークを介して送受信しながらプログラムを実行することによっても、上述の処理を達成することができる。

【0096】

なお、上述の機能を、ＯＳ（Operating System）が分担して実現する場合又はＯＳとアプリケーションとの協働により実現する場合等には、ＯＳ以外の部分のみを上記の記録媒体に格納して配布してもよく、また、コンピュータにダウンロードしてもよい。

【0097】

本開示は、広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能である。また、上述した実施形態は、本開示を説明するためのものであり、本開示の範囲を限定するものではない。つまり、本開示の範囲は、実施形態ではなく、請求の範囲によって示される。そして、請求の範囲内及びそれと同等の開示の意義の範囲内で施される様々な変形が、本開示の範囲内とみなされる。

【産業上の利用可能性】

【0098】

本開示は、より多種類の熱異常を検知可能とし、検知した熱異常を適切なユーザへ適切な通知方法にて通知することのできる熱異常通知装置、熱異常通知システム、熱異常通知方法、および、プログラムに好適に採用され得る。

【符号の説明】

【0099】

１ 熱異常通知システム、１０ 熱異常通知装置、１１ 熱画像取得部、１２ 学習部、１２１ データ取得部、１２２ モデル生成部、１３ 記憶部、１４ 推論部、１５ 宅内情報取得部、１６ 位置推定部、１７ 通知手段決定部、１８ 通信部、１９ 制御部、５１ 機器状態情報取得部、６１ 正規化部、２０ 熱画像センサ、３０ 携帯端末、４０ 連携機器、８０，９０ ネットワーク

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】