特許 6835926 熱画像処理方法および熱画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6835926

(24)【登録日】2021年2月8日

(45)【発行日】2021年2月24日

(54)【発明の名称】熱画像処理方法および熱画像処理装置

(51)【国際特許分類】

   G01J 5/48 20060101AFI20210215BHJP

   H04N 5/232 20060101ALI20210215BHJP

   F24F 11/523 20180101ALI20210215BHJP

【ＦＩ】

   G01J5/48 A

   H04N5/232 190

   F24F11/523

【請求項の数】10

【全頁数】46

(21)【出願番号】特願2019-178903(P2019-178903)

(22)【出願日】2019年9月30日

(62)【分割の表示】特願2015-34533(P2015-34533)の分割

【原出願日】2015年2月24日

(65)【公開番号】特開2020-79784(P2020-79784A)

(43)【公開日】2020年5月28日

【審査請求日】2019年9月30日

(31)【優先権主張番号】特願2014-40828(P2014-40828)

(32)【優先日】2014年3月3日

(33)【優先権主張国】JP

(31)【優先権主張番号】特願2014-208308(P2014-208308)

(32)【優先日】2014年10月9日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】514136668

【氏名又は名称】パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ

【氏名又は名称原語表記】Ｐａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100109210

【弁理士】

【氏名又は名称】新居 広守

(74)【代理人】

【識別番号】100137235

【弁理士】

【氏名又は名称】寺谷 英作

(74)【代理人】

【識別番号】100131417

【弁理士】

【氏名又は名称】道坂 伸一

(72)【発明者】

【氏名】楠亀 弘一

(72)【発明者】

【氏名】式井 愼一

(72)【発明者】

【氏名】中東 秀人

(72)【発明者】

【氏名】シラワン ナワット

(72)【発明者】

【氏名】米田 亜旗

(72)【発明者】

【氏名】船瀬 和記

(72)【発明者】

【氏名】清水 努

(72)【発明者】

【氏名】佐々木 映

(72)【発明者】

【氏名】赤嶺 育雄

(72)【発明者】

【氏名】八田 多代

【審査官】 櫃本 研太郎

(56)【参考文献】

【文献】 特開２００３−３１９１５８（ＪＰ，Ａ）

【文献】 特開２０１３−０８０４１３（ＪＰ，Ａ）

【文献】 特開２０１３−０６４５９４（ＪＰ，Ａ）

【文献】 特開２００１−１５３９６６（ＪＰ，Ａ）

【文献】 特開２００６−１７８８２５（ＪＰ，Ａ）

【文献】 特開平０９−２００７１４（ＪＰ，Ａ）

【文献】 特開２００４−０６２５６０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｖ ８／００−８／２６

Ｆ２４Ｆ １１／００−１１／８９

Ｇ０１Ｊ ５／１０，５／４８

Ｇ０６Ｔ １／００

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

画像取得部とプライバシー領域判定部と修正画像生成部とを備えた熱画像処理装置における熱画像処理方法であって、
前記画像取得部が対象空間の熱画像を取得し、
前記熱画像中の、所定の温度範囲を示す領域、前記領域の形状、前記領域の動きに基づき、対象物および前記対象物の位置を判定することにより、前記対象物が人またはペットであることを判定し、
前記プライバシー領域判定部は前記熱画像の前記人に該当する画素をプライバシー領域と判定し、
前記修正画像生成部は前記プライバシー領域に該当する画素を修正し、
前記修正された熱画像に基づき、前記対象空間における空気調和機の動作を制御する、
熱画像処理方法。

【請求項2】

前記所定の温度範囲は、２５℃以上４０℃以下である、
請求項１に記載の熱画像処理方法。

【請求項3】

前記所定の温度範囲における下限温度の値は、環境温度によって変化する値である、
請求項１に記載の熱画像処理方法。

【請求項4】

前記画像取得部は、取得した熱画像に関する情報を記憶しておく熱画像記憶手段を含み、
前記プライバシー領域判定部は、前記人に該当する画素のうち、熱画像中の人体の一部の領域の画素をプライバシー領域と判定し、
前記熱画像記憶手段は、前記熱画像中の人体の一部の領域における温度分布に関する情報を記憶する、
請求項１に記載の熱画像処理方法。

【請求項5】

前記プライバシー領域判定部は、顔画像識別手段を含み、
前記顔画像識別手段は取得した熱画像中において人の顔の領域を識別し、識別した顔の領域を前記人体の一部の領域とする、
請求項４に記載の熱画像処理方法。

【請求項6】

修正画像生成部は、
前記プライバシー領域判定部がプライバシー領域として判定した人体の一部の領域の形状を、別の形状に変更し、
前記温度分布に関する情報を、変更した前記別の形状の一部に重畳する、
請求項４に記載の熱画像処理方法。

【請求項7】

前記熱画像処理装置は更にモード判定手段を備え、
前記モード判定手段は、取得した熱画像から人の位置を取得し、取得した人の位置と画像取得部が取得した熱画像を撮像した熱画像センサとの距離に基づいて、少なくとも前記プライバシー領域判定部、修正画像生成部が、実行する処理モードを変更する、
請求項６に記載の熱画像処理方法。

【請求項8】

前記モード判定手段は、前記プライバシー領域判定部及び前記修正画像生成部に対して、
前記距離が所定の閾値未満のときは、請求項６に記載の処理を実行させ、
前記距離が所定の閾値以上のときは、請求項６に記載の処理を実行させない、
請求項７に記載の熱画像処理方法。

【請求項9】

前記対象空間中に人および動物が共にいると判定した場合には、人と動物のどちらを優先するのか選択し、選択した結果に応じて前記空気調和機の動作を制御する、
請求項１に記載の熱画像処理方法。

【請求項10】

対象空間の熱画像を取得する画像取得部と、
前記熱画像中の、所定の温度範囲を示す領域、前記領域の形状、前記領域の動きに基づき、対象物および前記対象物の位置を判定することにより、前記対象物が人またはペットであることを判定し、前記熱画像の前記人に該当する画素をプライバシー領域と判定するプライバシー領域判定部と、
前記プライバシー領域に該当する画素を修正する修正画像生成部と、
前記修正された熱画像に基づき、前記対象空間における空気調和機の動作を制御する制御部とを備える、
熱画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、熱画像処理方法および熱画像処理装置に関する。

【背景技術】

【0002】

熱画像センサで、室内温度分布および人位置情報を計測することで、省エネおよび快適空調に利用する技術が提案されている（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第５２８９５１８号公報

【特許文献2】特開２０１１−８０６６７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に開示される技術では、熱画像センサが取得した熱画像の認識精度が低い場合があってもユーザは確認することができないので、空気調和機が低い認識精度のまま実施する非効率な空調制御を享受しなくてはならないという問題があった。

【0005】

本発明は、上記の問題点に着目したものであり、熱画像の認識精度を高めさせることができる熱画像処理方法および熱画像処理装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示の一形態に係る熱画像処理方法は、画像取得部とプライバシー領域判定部と修正画像生成部とを備えた熱画像処理装置における熱画像処理方法であって、前記画像取得部が熱画像を取得し、前記プライバシー領域判定部は前記熱画像の特定の温度域に該当する画素をプライバシー領域と判定し、前記修正画像生成部は前記プライバシー領域に該当する画素を修正することを特徴とする。

【0007】

本開示の一形態に係るセンシング方法は、対象空間の熱画像を取得する熱画像取得ステップと、前記熱画像取得ステップにおいて取得された前記熱画像に基づいて、前記熱画像に含まれる前記対象空間内の対象物を識別する識別ステップと、前記熱画像に、前記識別ステップにおける識別結果を示す情報を付加してユーザに提示する提示ステップと、前記提示ステップにおいて提示された前記情報を付加した前記熱画像に対する応答を受け付ける受付ステップと、を含む。

【0008】

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

【0009】

本開示によれば、認識精度を高めさせることができるセンシング方法、センシングシステムおよびそれらを備える空調機器を提供することができる。

【図面の簡単な説明】

【0010】

【図1】図１は、実施の形態１におけるセンシングシステムの構成の一例を示す図である。

【図2】図２は、実施の形態１における識別部の詳細構成の一例を示す図である。

【図3】図３は、実施の形態１における受付部の詳細構成の一例を示す図である。

【図4】図４は、実施の形態１のセンシングシステムの動作の一例を示すフローチャートである。

【図5】図５は、実施の形態１のセンシングシステムの動作の一例を示すフローチャートである。

【図6A】図６Ａは、実施の形態１の実施例１における熱画像の一例を示すイメージ図である。

【図6B】図６Ｂは、実施の形態１の実施例１における熱画像の一例を示すイメージ図である。

【図7A】図７Ａは、実施の形態１の実施例２における熱画像の一例を示すイメージ図である。

【図7B】図７Ｂは、実施の形態１の実施例２における熱画像の一例を示すイメージ図である。

【図7C】図７Ｃは、実施の形態１の実施例２における熱画像の一例を示すイメージ図である。

【図8】図８は、実施の形態２におけるセンシングシステムの構成の一例を示す図である。

【図9】図９は、実施の形態２における計測部の詳細構成の一例を示す図である。

【図10】図１０は、実施の形態２のセンシングシステムの動作の一例を示すフローチャートである。

【図11】図１１は、実施の形態２の実施例１における熱画像の一例を示すイメージ図である。

【図12A】図１２Ａは、実施の形態２の実施例１における可視画像の一例を示すイメージ図である。

【図12B】図１２Ｂは、実施の形態２の実施例１における熱画像の一例を示すイメージ図である。

【図13】図１３は、実施の形態３におけるセンシングシステムの構成の一例を示す図である。

【図14】図１４は、実施の形態３のセンシングシステムの動作の一例を示すフローチャートである。

【図15】図１５は、実施の形態３の実施例２における熱画像の一例を示すイメージ図である。

【図16A】図１６Ａは、実施の形態３の実施例２における熱画像の一例を示すイメージ図である。

【図16B】図１６Ｂは、実施の形態３の実施例２における熱画像の一例を示すイメージ図である。

【図17】図１７は、実施の形態３の変形例におけるセンシングシステムの構成の一例を示す図である。

【図18】図１８は、実施の形態３の変形例におけるセンシングシステムの動作の一例を示すフローチャートである。

【図19】図１９は、実施の形態３の実施例３における熱画像の一例を示すイメージ図である。

【図20】図２０は、実施の形態４におけるセンシングシステムの構成の一例を示す図である。

【図21】図２１は、実施の形態４における識別部の詳細構成の一例を示す図である。

【図22】図２２は、実施の形態４のセンシングシステムの動作の一例を示すフローチャートである。

【図23】図２３は、実施の形態４の実施例２における熱画像の一例を示すイメージ図である。

【図24】図２４は、実施の形態４の実施例３における熱画像の一例を示すイメージ図である。

【図25】図２５は、実施の形態４の実施例４における熱画像の一例を示すイメージ図である。

【図26】図２６は、実施の形態４におけるセンシングシステムの構成の別の一例を示す図である。

【図27】図２７は、実施の形態５にかかる熱画像処理部と熱画像センサ、熱画像表示装置を示すブロック図である。

【図28】図２８は、熱画像センサ、及び、熱画像表示装置を含むシステムを示す概略図である。

【図29】図２９は、実施の形態５にかかる熱画像処理方法を示すフロー図である。

【図30】図３０は、実施の形態５にかかる別の熱画像処理方法を示すフロー図である。

【図31】図３１は、熱画像センサで取得された熱画像を示す図である。

【図32】図３２は、実施の形態５にかかる熱画像処理方法を用いて修正した修正画像を示す図（イメージ図）である。

【図33】図３３は、実施の形態５にかかる別の熱画像処理方法を用いて修正した修正画像を示す図（イメージ図）である。

【図34】図３４は、実施の形態５にかかる別の熱画像処理方法を用いて修正した修正画像を示す図（イメージ図）である。

【図35】図３５は、実施の形態５にかかる別の熱画像処理方法を用いて修正した修正画像を示す図（イメージ図）である。

【図36】図３６は、実施の形態５にかかる別の熱画像処理方法を示すフロー図である。

【図37】図３７は、顔イラストを示す図である。

【図38】図３８は、熱画像センサで取得された別の熱画像を示す図である。

【図39】図３９は、実施の形態５にかかる別の熱画像処理方法を用いて修正した修正画像を示す図（イメージ図）である。

【図40】図４０は、体イラストを示す図である。

【発明を実施するための形態】

【0011】

本開示の一態様に係るセンシング方法は、対象空間の熱画像を取得する熱画像取得ステップと、前記熱画像取得ステップにおいて取得された前記熱画像に基づいて、前記熱画像に含まれる前記対象空間内の対象物を識別する識別ステップと、前記熱画像に、前記識別ステップにおける識別結果を示す情報を付加してユーザに提示する提示ステップと、前記提示ステップにおいて提示された前記情報を付加した前記熱画像に対する応答を受け付ける受付ステップと、を含む。

【0012】

この構成により、認識精度を高めさせることができるセンシング方法を提供することができる。

【0013】

また、例えば、前記識別ステップでは、前記受付ステップにおいて受け付けた前記応答が前記識別結果に対する修正指示であった場合、前記修正指示に従って、前記熱画像に含まれる対象物の識別結果を修正するとしてもよい。

【0014】

また、例えば、前記対象物は、前記対象空間内の人間、動物、家電機器および被洗濯物の少なくとも一つを含むとしてもよい。

【0015】

また、例えば、前記識別ステップは、前記熱画像取得ステップにおいて取得された前記熱画像で表現される温度分布を判定する熱分布判定ステップと、前記熱分布判定ステップにおいて判定された温度分布に基づいて、前記対象物を判定して識別する対象物判定ステップと、前記対象物判定ステップにおいて識別された前記対象物の前記対象空間内の位置を判定する対象物位置判定ステップとを含み、前記提示ステップでは、前記識別結果を示す情報に、前記対象物および前記対象物の位置を含めて提示するとしてもよい。

【0016】

また、例えば、前記対象物判定ステップでは、前記熱画像取得ステップにおいて取得された前記熱画像中の、所定の温度範囲を示す画素群の領域を、前記対象物として判定し、前記対象物位置判定ステップでは、前記熱画像取得ステップにおいて取得された前記熱画像中の、所定の温度範囲を示す画素群の領域の位置を、前記対象物の位置として判定するとしてもよい。

【0017】

また、例えば、前記対象物判定ステップでは、前記熱画像取得ステップにおいて取得された前記熱画像中の、所定の第１温度範囲を示す画素群の領域を、人として判定し、前記熱画像取得ステップにおいて取得された前記熱画像中の、前記第１温度範囲とは異なる所定の第２温度範囲を示す画素群の領域を、動物として判定するとしてもよい。

【0018】

また、例えば、さらに、前記対象空間の温度分布を計測して前記熱画像として出力する温度分布計測ステップと、前記熱画像に基づいて、前記識別ステップにおいて識別された前記対象物を含む前記対象空間の状態を判定する状態判定ステップと、前記状態判定ステップにおいて判定された前記対象空間の状態に関連する情報であって前記ユーザに対する情報を通知する通知ステップとを含むとしてもよい。

【0019】

また、例えば、さらに、前記ユーザに対して通知すべき情報である通知情報があるかどうかを判定する通知判定ステップと、前記対象空間の湿度情報を取得する湿度情報取得ステップとを含み、前記状態判定ステップでは、前記熱画像および前記湿度情報に基づいて、前記識別ステップにおいて識別された前記対象物を含む前記対象空間の状態を判定し、前記通知ステップでは、前記通知判定ステップにおいて前記通知情報があると判断された場合に、前記通知情報を前記ユーザに対して通知するとしてもよい。

【0020】

また、例えば、さらに、前記状態判定ステップにおいて判定された前記対象空間の状態に基づいて、前記ユーザに対して通知すべき情報である通知情報があるかどうかを判定する通知判定ステップを含み、前記通知ステップでは、前記通知判定ステップにおいて前記通知情報があると判断された場合に、前記通知情報を前記ユーザに対して通知するとしてもよい。

【0021】

また、例えば、さらに、前記状態判定ステップにおいて判定された前記対象物の状態に基づいて、前記対象空間の空気環境を制御する空調制御ステップを含むとしてもよい。

【0022】

また、例えば、さらに、前記対象空間の湿度情報を取得する湿度情報取得ステップを含み、前記空調制御ステップでは、前記状態判定ステップにおいて判定された前記対象空間の状態および前記湿度情報に基づいて、前記対象空間の空気環境を制御するとしてもよい。

【0023】

また、例えば、前記空気環境は、前記対象空間の空気の温度、湿度、風速および風向の少なくとも１つを含むとしてもよい。

【0024】

また、例えば、さらに、前記対象空間の湿度情報を取得する湿度情報取得ステップと、前記熱画像および前記湿度情報に基づいて、前記識別ステップにおいて識別された前記対象物の状態を分析する分析ステップと、前記分析ステップの分析結果に基づいて、前記ユーザに対して通知すべき情報である通知情報があるかどうかを判定する通知判定ステップと、を含み、前記通知ステップでは、前記通知判定ステップにおいて前記通知情報があると判断された場合に、前記通知情報を前記ユーザに対して通知するとしてもよい。

【0025】

また、例えば、前記受付ステップでは、さらに、予め前記対象物に関する情報の登録を受け付けるとしてもよい。

【0026】

また、例えば、前記対象物に関する情報は、前記対象物の種類、体重、年齢および位置の少なくも一を含むとしてもよい。

【0027】

また、例えば、前記対象空間の湿度情報は、前記対象空間の湿度分布であり、前記湿度情報取得ステップでは、前記対象空間の湿度を計測し、計測した前記湿度と前記熱画像取得ステップにおいて取得された前記熱画像で表現される温度分布とに基づいて、前記対象空間の湿度分布を算出するとしてもよい。

【0028】

また、例えば、前記通知ステップでは、少なくとも前記温度分布に基づいて前記ユーザに生活改善方法を提案する情報である生活改善提案情報を通知するとしてもよい。

【0029】

また、本開示の一態様に係るセンシングシステムは、対象空間の熱画像を取得する熱画像取得部と、前記熱画像取得部が取得した前記熱画像に基づいて、前記熱画像に含まれる前記対象空間内の対象物を識別する識別部と、前記熱画像に、前記識別部での識別結果を示す情報を付加してユーザに提示する提示部と、前記提示部において提示された前記情報を付加した前記熱画像に対する応答を受け付ける受付部と、を備える。

【0030】

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なＣＤ−ＲＯＭ等の記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。

【0031】

以下、本開示の一態様に係るセンシング方法等について、図面を参照しながら具体的に説明する。

【0032】

なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

【0033】

つまり、以下では、本開示の一態様に係るセンシング方法等を実現するための一例である実施の形態を説明するが、各実施の形態はあくまで一例であり、以下の記載に限定されるものではない。また各実施の形態に記載のいかなる内容も、組み合わせることができるものとする。

【0034】

（実施の形態１）
［センシングシステムの構成］
以下、実施の形態１におけるセンシングシステムについて、図面を参照しながら説明する。

【0035】

図１は、実施の形態１におけるセンシングシステム１の構成の一例を示す図である。図２は、実施の形態１における識別部１２の詳細構成の一例を示す図である。図３は、実施の形態１における受付部１４の詳細構成の一例を示す図である。

【0036】

図１に示すセンシングシステム１は、最小構成部１０と、計測部１５と、状態判定部１６と、通知部１７とを備え、最小構成部１０は、熱画像取得部１１と、識別部１２と、提示部１３と、受付部１４とを備える。つまり、センシングシステム１では計測部１５と、状態判定部１６と、通知部１７とは必須の構成ではない。

【0037】

熱画像取得部１１は、対象空間の熱画像を取得する。本実施の形態では、熱画像取得部１１は、計測部１５が出力する熱画像を取得する。

【0038】

識別部１２は、熱画像取得部１１が取得した熱画像に基づいて、当該熱画像に含まれる対象空間内の対象物を識別する。ここで、対象物は、対象空間内の人間、動物、家電機器および被洗濯物の少なくとも一つを含む。また、識別部１２は、受付部１４において受け付けた応答が識別結果に対する修正指示であった場合、当該修正指示に従って、熱画像に含まれる対象物の識別を修正する。なお、識別部１２は、熱画像取得部１１が取得した熱画像に基づく対象物の識別を、センシングシステム１と通信可能なクラウドやセンシングシステム１にインストールされているアプリケーションと連係して行うとしてもよい。

【0039】

本実施の形態では、識別部１２は、例えば図２に示すように、熱分布判定部１２１と、対象物判定部１２２と、対象物位置判定部１２３とを備える。

【0040】

熱分布判定部１２１は、熱画像取得部１１で取得された熱画像で表現される温度分布を判定する。

【0041】

対象物判定部１２２は、熱分布判定部１２１で判定された温度分布に基づいて、対象物を判定して識別する。対象物判定部１２２は、熱画像取得部１１で取得された熱画像中の、所定の温度範囲を示す画素群の領域を、対象物として判定する。例えば、対象物判定部１２２は、熱画像取得部１１で取得された熱画像中の、所定の第１温度範囲を示す画素群の領域を、人として判定し、当該熱画像中の、第１温度範囲とは異なる所定の第２温度範囲を示す画素群の領域を、動物として判定するとしてもよい。

【0042】

対象物位置判定部１２３は、対象物判定部１２２で識別された対象物の対象空間内の位置を判定する。例えば、対象物位置判定部１２３は、熱画像取得部１１で取得された熱画像中の、所定の温度範囲を示す画素群の領域の位置を、対象物の位置として判定する。また、例えば、対象物位置判定部１２３は、熱画像取得部１１で取得された熱画像中の、所定の第１温度範囲を示す画素群の領域の位置を、人の位置として判定し、当該熱画像中の、第１温度範囲とは異なる所定の第２温度範囲を示す画素群の領域の位置を、動物の位置として判定するとしてもよい。

【0043】

提示部１３は、当該熱画像に、識別部１２の識別結果を示す情報を付加してユーザに提示する。なお、提示部１３は、識別結果を示す情報に、対象物および当該対象物の位置を含めて提示するとしてもよい。また、提示部１３は、ユーザが持つスマートホンなどの携帯端末に識別結果を示す情報を付加した当該熱画像を送信することで、提示するとしてもよい。

【0044】

受付部１４は、提示部１３により提示された上記の情報を付加した熱画像に対する応答を受け付ける。なお、受付部１４は、ユーザが持つスマートホンなどの携帯端末からの当該応答を受け付けるとしてもよいし、直接ユーザに指し示されることで当該応答を受け付けるとしてもよい。また、受付部１４は、予め対象物に関する情報の登録を受け付けていてもよい。これにより、センシングシステム１は熱画像中の対象物の識別を精度よく行うことができる。

【0045】

本実施の形態では、受付部１４は、例えば図３に示すように、登録受付部１４１と、位置情報受付部１４２と、修正受付部１４３とを備える。

【0046】

登録受付部１４１は、予め対象物に関する情報の登録を受け付ける。つまり、登録受付部１４１は、識別部１２が対象物を識別する前に、識別部１２が対象物の識別に利用可能な情報であって予め対象物に関する情報の登録を受け付ける。ここで、対象物に関する情報は、例えば対象物の種類、体重および年齢の少なくも一を含むとしてもよいし、実施例１および実施例２で後述するように、例えばユーザがペットを飼っていること、ペットのエサの種類など、ペットのおしっこ位置であってもよい。また、提示部１３により提示された上記の情報を付加した熱画像に対する応答として、実施例１および実施例２で後述するように、例えば、金魚などのペットの存在する領域、熱画像中のペットを示す領域を指定（登録）するとしてもよい。

【0047】

位置情報受付部１４２は、予め対象物の位置に関する情報の登録を受け付ける。なお、位置情報受付部１４２は、提示部１３により提示された上記の情報を付加した熱画像に対する応答として、対象物の位置に関する情報の登録を受け付けてもよい。

【0048】

修正受付部１４３は、提示部１３により提示された上記の情報を付加した熱画像に対する応答を受け付ける。例えば、受付部１４の受け付けた応答が識別結果に対する修正指示であった場合、識別部１２は当該修正指示に従って、熱画像に含まれる対象物の識別を修正する。

【0049】

計測部１５は、対象空間の温度分布を計測して、熱画像として出力する。

【0050】

状態判定部１６は、熱画像取得部１１が取得した熱画像に基づいて、識別部１２において識別された対象物を含む対象空間の状態を判定する。なお、状態判定部１６は、実施例１および実施例２で後述するように、例えば、対象空間に人がいない状態（留守）と判定してもよいし、対象空間中に人および動物が共に居ると判定してもよい。また、状態判定部１６は、対象物が犬である場合、犬の種類（犬種）を判定するとしてもよいし、対象物が人である場合、人の温度分布により熱中症になり易さを判定してもよいし、対象物がペットの場合ペットの状態を判定するとしてもよい。

【0051】

通知部１７は、状態判定部１６により判定された対象空間の状態に応じた情報であってユーザに対する情報を通知する。なお、通知部１７は、ユーザが持つスマートホンなどの携帯端末に当該情報を通知するとしてもよい。当該情報としては、実施例１および実施例２で後述するように、例えば対象空間に人が居ない旨（留守である旨）であってもよいし、判定された犬種に応じた季節ごとのお薦め制御内容であってもよいし、適切な空調手段であってもよいし、判定されたペットの状態などであってもよい。

【0052】

［センシングシステムの動作］
次に、上記のように構成されたセンシングシステム１の動作について説明する。

【0053】

図４は、実施の形態１のセンシングシステム１の動作の一例を示すフローチャートである。

【0054】

まず、センシングシステム１は、対象空間の熱画像を取得する（Ｓ１０）。

【0055】

次に、センシングシステム１は、Ｓ１０において取得された熱画像に基づいて、当該熱画像に含まれる対象空間内の対象物を識別する（Ｓ１１）。

【0056】

次に、センシングシステム１は、当該熱画像に、Ｓ１１における識別結果を示す情報を付加してユーザに提示する（Ｓ１２）。

【0057】

次に、センシングシステム１は、Ｓ１２において提示された上記情報を付加した当該熱画像に対する応答を受け付ける（Ｓ１３）。

【0058】

このようにして、識別結果を付加した熱画像をユーザに提示することで、ユーザは識別結果を確認できるので、ユーザは、識別結果に基づく動作を安心して享受することができる。また、識別結果が誤っていた場合には、応答としてユーザは識別結果の修正指示を行えるので、認識精度を高めさせることができる。また、ユーザは応答として識別結果の修正だけでなく、熱画像のどの領域が対象物かを学習させることができる（つまりユーザによる教育を行うことができる）ので、より熱画像に対する認識精度を高めることができる。

【0059】

次に、図４に示す動作を経た後に、センシングシステム１が行う動作について説明する。

【0060】

図５は、実施の形態１のセンシングシステム１の動作の一例を示すフローチャートである。

【0061】

まず、センシングシステム１は、対象空間の熱画像を取得する（Ｓ２０）。

【0062】

次に、センシングシステム１は、Ｓ２０において取得された熱画像に基づいて、当該熱画像に含まれる対象空間内の対象物を識別するとともに、当該対象物の位置を識別する（Ｓ２１）。

【0063】

次に、センシングシステム１は、当該熱画像に基づいて、Ｓ２１において識別した対象物を含む対象空間の状態を判定する（Ｓ２２）。

【0064】

次に、センシングシステム１は、Ｓ２２において判定された対象空間の状態に応じて情報をユーザに対して通知する（Ｓ２３）。

【0065】

以下、実施例１および実施例２を用いて、図５に示すセンシングシステム１の動作の一例について説明する。

【0066】

（実施例１：ペットエアコンの空調または見守り）
実施例１では、センシングシステム１を備えた空調機器（ペットエアコン）の動作の一例について説明する。

【0067】

図６Ａおよび図６Ｂは、実施の形態１の実施例１における熱画像の一例を示すイメージ図である。図６Ａおよび図６Ｂに示す熱画像には、温度分布が単純化して示されている。

【0068】

センシングシステム１は、図６Ａに示すような熱画像を取得した場合には、図６Ａに示す熱画像中の、所定の温度範囲を示す領域と、その領域の形状と、その領域の動きとから、対象物およびその位置を判定し、当該対象物が人であると判定することができる。同様に、センシングシステム１は、図６Ｂに示すような熱画像を取得した場合には、図６Ｂに示す熱画像中の、所定の温度範囲を示す領域と、その領域の形状と、その領域の動きとから、対象物およびその位置を判定し、当該対象物が猫であると判定することができる。

【0069】

１）留守モード、在宅モードの通知
例えば、センシングシステム１は、熱画像に基づいて、対象空間中に人がいるかいないかを判定することができる。そのため、センシングシステム１は、例えば家などの対象空間中に人がいないと判定した場合には、留守と判定し、その旨（留守、留守モードである旨等）を通知してもよい。なお、センシングシステム１は、さらに、ユーザのスマートホンなどの携帯端末と通信し、携帯端末の位置で、留守であることを判定するとしてもよい。

【0070】

なお、センシングシステム１を備えた空調機器は、判定したモード（留守モードまたは在宅モード）に従って動作するとしてもよい。

【0071】

２）お薦めの通知
例えば、センシングシステム１は、熱画像に基づいて、対象空間中に人および動物がいるかいないかを判定することができる。そのため、センシングシステム１は、対象空間中に人および動物が共にいると判定した場合には、人と動物のどちらを優先するのか選択し、その旨（在宅モードである旨等）を通知してもよい。

【0072】

なお、センシングシステム１を備えた空調機器は、対象空間中に人および動物が共にいると判定した場合には、人および動物のうち優先すると選択した方に対しするエアコン動作するとしてもよい。また、人と動物のどちらを優先するのかは、事前にセンシングシステム１に登録していてもよいし、例えば、夏は動物を優先し冬は人を優先することを予め登録してもよい。

【0073】

また、センシングシステム１を備えた空調機器は、熱画像に基づいて、対象物が犬であり、さらにその犬種が判定できる場合には、判定した犬種に応じた季節ごとのお薦め制御内容を提案（通知）するとしてもよい。さらに、センシングシステム１を備えた空調機器は、熱画像に基づいて、対象物が犬であり、その犬が舌を出している旨を判定できる場合には、対象空間が暑いと判断し、対象空間を冷やす方向の制御をしてもよい。つまり、センシングシステム１を備えた空調機器は、熱画像に基づいて、犬等の動物が舌を出しているかを判定することで、空調制御を変更してもよい。動物の舌の形状は、予めユーザが設定（登録）すればよい。なお、動物の舌は他（舌以外の部位）に比べて高温となるため、任意の閾値を設定し、閾値を超える部位を舌と判断できる。

【0074】

３）その他のお薦め（リコメンド）の通知
なお、センシングシステム１を備えた空調機器は、熱画像に基づいて、識別した対象物が人であり、その人の状態（表面温度分布）によりその人の熱中症になり易さを判定するとしてもよい。この場合には、さらに、センシングシステム１を備えた空調機器は、対策として、水を置いておくべきなどのリコメンドを通知するとしてもよいし、当該空調機器より適切な空調手段があればそれも通知するとしてもよい。熱中症になり易さの判定基準としては、人の額部の温度を用いてもよい。例えば、額部の温度が所定の値を超えた場合に熱中症になり易い状態と判断してもよい。なお、別の判定基準として、人の鼻の温度とその人額部の温度の温度差を元に、所定の温度差を下回った場合に熱中症になり易い状態と判断してもよい。

【0075】

４）ペットの状態を通知
例えば、センシングシステム１は、熱画像に基づいて、対象空間中にペット（動物）がいるかいないかを判定することができる。そのため、センシングシステム１は、対象空間中にペットがいると判定した場合には、さらに、熱画像に基づいて、ペットの状態を判定し、ログとして保存するとしてもよい。ここで、ペットの状態とは、例えば、ペットの睡眠時間であったり、ペットの起床時間であったり、これらから推定されるペットの体調であったりする。ペットの状態の判定は、ペットの移動や動きの回数、姿勢、体表面温度などについて熱画像を元に算出することで行ってもよい。

【0076】

そして、センシングシステム１は、対象空間中に居るペットの状態をユーザに通知するとしてもよい。

【0077】

５）ペットの餌やり
例えば、センシングシステム１は、熱画像に基づいて、対象空間中にペット（動物）がいるかいないかを判定することができる。そのため、センシングシステム１は、対象空間中にペットがいると判定した場合には、さらに、熱画像に基づいて、ペットの位置と、ペットのための餌やり器の位置を判定するとしてもよい。この場合、センシングシステム１は、ペットが餌やり器に近づいた場合に、餌やり器のフタをＯｐｅｎする時間等を餌やり器に通知することで、ペットに餌をあげてもよい。

【0078】

なお、センシングシステム１は、さらに、判定したペットの位置から、ペットの活動量を推定（判定）し、餌やり器のフタのＯｐｅｎ時間を調整する情報を通知することで併せて餌の量の調節を行うとしてもよい。

【0079】

６）ユーザ登録
上述したように、センシングシステム１では、熱画像に対する識別精度を向上させるため、センシングシステム１に予め対象物に関する情報の登録を行う。

【0080】

例えば、対象物（ペット）に関する情報として、ユーザがペットをかっていることを登録してもよいし、ペットの種類（犬、猫、虫、金魚）を登録するとしてもよい。また、ペットの体重、年齢を登録するとしてもよいし、例えばペットのエサの種類を登録してもよい。なお、ペットの体重が大きい場合は、ペットおよび人を区別して判定するのは難しい。そのため、センシングシステム１は、登録されたペットの体重が大きい場合には、熱画像からペットを判定することが難しい旨の警告を提示するとしてもよい。

【0081】

また、センシングシステム１を備える空調機器では、人の留守中におけるペット空調モードは選択できるとしてもよいが、人が在宅する場合にはペット空調モードまたはユーザ空調モードは選択できないとしてもよい。

【0082】

なお、ペットが金魚の場合には、熱画像の熱分布から金魚を判定できない。そのため、センシングシステム１が提示した熱画像中の金魚を含む水槽等の場所をユーザが指定するとしてもよい。この場合、センシングシステム１を備える空調機器は、ユーザが指定した場所（画素）の温度が設定範囲内になるように空調する。

【0083】

７）見守りポイント登録
センシングシステム１備える空調機器が提示した熱画像中のポイント（場所）を指定することで、ユーザが指定したポイント（場所）の温度が設定範囲以上にならないように空調するとしてもよい。ユーザが指定するポイントとしては、例えば植物、金魚、虫などを含む一定の領域が考えられる。

【0084】

８）画像登録
例えば、熱画像中のペットを認識させるために、ペットの画像を登録するとしてもよい。これにより、ペットの画像から、熱画像中のペットをより精度よく認識させることができる。さらに、センシングシステム１が提示する熱画像において、ペットを示す領域をユーザが指し示すことで、熱画像中のペットを認識させてもよい。

【0085】

９）おしっこ位置の登録
ペットに関する情報として、ペットのおしっこ位置を予め登録するとしてもよい。この場合、センシングシステム１は、予め登録した位置以外の位置で温度が上がって、その後気化熱で温度が下がったらユーザに通知するとしてもよい。

【0086】

また、センシングシステム１は、熱画像に基づき、予め登録した位置以外の位置でおしっこを検出（判定）した場合、お掃除ロボット等が動かないようにお掃除ロボット等に通知（指示）するとしてもよい。また、センシングシステム１は、予め登録した位置以外の位置でペットのおしっこを検出した場合、即座にユーザの怒りの声（例えば『コラ！！』など）やペットが不快に思う音を鳴らすとしてもよい。

【0087】

なお、センシングシステム１は、熱画像に基づいて、ペットの熱源と異なる熱源が増え、かつ、当該異なる熱源が動かないことから、ペットのおしっこを検出（判定）することができる。もちろん、センシングシステム１は、おしっこかどうかの最終判断を、識別結果を付加した熱画像をユーザに送って、ユーザの応答によりおこなってもよい。

【0088】

（実施例２：家電使用状態チェック）
次に、実施例２では、センシングシステム１を備えた空調機器の動作の一例について説明する。

【0089】

図７Ａ〜図７Ｃは、実施の形態１の実施例２における熱画像の一例を示すイメージ図である。図７Ａ〜図７Ｃに示す熱画像には、温度分布が単純化して示されている。

【0090】

センシングシステム１は、図７Ａに示すような熱画像を取得した場合には、図７Ａに示す熱画像中の、所定の温度変化を示す領域と、その領域の形状と、その領域の動きとから、対象物およびその位置を判定し、当該対象物が電話であると判定することができる。同様に、センシングシステム１は、図７Ｂに示すような熱画像を取得した場合には、図７Ｂに示す熱画像中の、所定の温度変化囲を示す領域と、その領域の形状と、その領域の動きとから、対象物およびその位置を判定し、当該対象物が空気清浄機であると判定することができる。また、同様に、センシングシステム１は、図７Ｃに示すような熱画像を取得した場合には、図７Ｃに示す熱画像中の、所定の温度変化を示す領域と、その領域の形状と、その領域の動きとから、対象物およびその位置を判定し、当該対象物がテレビであると判定することができる。

【0091】

１）対象空間の家電機器の位置と動作状態とを把握
センシングシステム１は、熱画像に基づいて、対象空間中の対象物およびその位置を識別し、その対象物の状態を判定することができる。

【0092】

電力を消費する家電機器は必ず発熱するので、熱画像中の温度変化および領域の形状等から、対象物が家電機器であり、その家電機器の種別が判定できる。これにより、センシングシステム１は、例えば室内などの対象空間で駆動中の家電機器とその位置を把握することができる。

【0093】

これにより、センシングシステム１は、ユーザが家電機器を消し忘れた場合にユーザに通知することができる。つまり、センシングシステム１は、家電機器の消し忘れの確認または防止に利用することができる。

【0094】

また、センシングシステム１は、対象物（家電機器）の温度とサイズから各家電の消費電力が推定するとしてもよい。この場合、センシングシステム１は、ユーザに省エネ行動を促進する通知を送ることができる。

【0095】

なお、センシングシステム１は、クラウドなどと通信することで、各家電機器の種別の消費電力の履歴を取得するとしてもよい。この場合には、より精度よく対象空間で駆動中の家電機器とその位置（家電ＭＡＰ）を把握することができる。そして、家電ＭＡＰができると、より高度な家電機器連携（同室のエアコンと加湿器、扇風機の連携など）が可能になる。

【0096】

２）画像を見せる価値
また、センシングシステム１は、家電機器の種別など判定結果を付加した熱画像を表示してもよい。これにより、どの家電機器が駆動中（発熱中）なのか、分かりやすいだけでなく、どの家電機器が消し忘れているかをユーザは把握することができる。ここで、センシングシステム１が宅外のユーザにその旨を通知する場合には、ユーザは、宅外からどの家電機器が消し忘れているかを把握することができる。

【0097】

また、センシングシステム１は、熱画像中の家電機器の温度とサイズから各家電機器の消費電力を概算することができるので、その概算結果をユーザに通知するとしてもよい。これにより、ユーザは、効果的な省エネ対策が立てられる。

【0098】

また、センシングシステム１は、熱画像中に基づき、家電機器の異常発熱箇所（トラッキングなどの漏電箇所）の判定もできるので、その判定結果をユーザに通知するとしてもよい。これにより、ユーザは、異常発熱箇所のある家電機器を把握することができ、異常発熱に対する対策を行うことができる。

【0099】

［実施の形態１の効果］
以上、本実施の形態によれば、認識精度を高めさせることができるセンシング方法、センシングシステムおよびそれらを備える空調機器を実現できる。

【0100】

なお、本実施の形態のセンシング方法、センシングシステムおよびそれらを備える空調機器では、熱画像に基づいて人を識別し、さらに人の位置を判定することで、対象空間内における人が移動可能な空間を把握することができるので、対象空間の間取りを把握することができる。それにより、把握した対象空間の間取りに従って、より適切な空調を行うなど、把握した対象空間の間取りに応じた動作を行うことができる。

【0101】

（実施の形態２）
［センシングシステムの構成］
以下、実施の形態２におけるセンシングシステムについて、図面を参照しながら説明する。

【0102】

図８は、実施の形態２におけるセンシングシステム１Ａの構成の一例を示す図である。図９は、実施の形態２における計測部１５Ａの詳細構成の一例を示す図である。なお、図１と同様の要素には同一の符号を付しており、詳細な説明は省略する。

【0103】

図８に示すセンシングシステム１Ａは、実施の形態１に係るセンシングシステム１に対して、通知判定部１９が追加され、最小構成部１０Ａと計測部１５Ａの構成が異なる。図８に示す最小構成部１０Ａは、図１に示す最小構成部１０に対して、湿度情報取得部１８が追加されている点で構成が異なる。

【0104】

湿度情報取得部１８は、対象空間の湿度情報を取得する。

【0105】

通知判定部１９は、ユーザに対して通知すべき情報である通知情報があるかどうかを判定する。

【0106】

状態判定部１６Ａは、熱画像および湿度情報に基づいて、識別部１２で識別された対象物を含む対象空間の状態を判定する。なお、状態判定部１６Ａは、実施例１および実施例２で後述するように、例えば、対象空間の結露しそうな場所を判定してもよいし、対象空間中の熱が漏れている場所を判定してもよいし、ユーザの生活を判定するとしてもよい。ユーザの生活とは、例えば、室内干し衣類の位置およびその乾燥状態でもよいし、ユーザの食事内容でもよい。

【0107】

通知部１７Ａは、通知判定部１９により通知情報があると判断された場合に、当該通知情報をユーザに対して通知する。例えば、通知部１７Ａは、温度分布および湿度分布に基づいてユーザに通知情報として生活改善提案情報を通知するとしてもよい。なお、生活改善提案情報は、実施例１および実施例２で後述するように、例えば、対象空間中の結露しそうな場所であってもよいし、対象空間中の熱が漏れている場所であってもよいし、結露場所または熱漏れ場所の防止策であってもよい。また、通知部１７Ａは、対象空間の空気環境を制御する空調機器に対する制御コマンド等を通知情報として、空調機器に通知するとしてもよい。

【0108】

計測部１５Ａは、対象空間の温度分布を計測して、熱画像として出力する。

【0109】

本実施の形態では、計測部１５Ａは、例えば図９に示すように、熱分布計測部１５１と、湿度情報計測部１５２とを備える。

【0110】

熱分布計測部１５１は、対象空間の温度分布を計測して前記熱画像として出力する。

【0111】

湿度情報計測部１５２は、対象空間の湿度を計測し、計測した湿度と熱画像取得部１１で取得された熱画像で表現される温度分布とに基づいて、対象空間の湿度分布を算出する。ここで、対象空間の湿度情報は、対象空間の湿度分布であってもよく、対象空間の湿度であってもよい。

【0112】

［センシングシステムの動作］
次に、上記のように構成されたセンシングシステム１Ａの動作について説明する。

【0113】

図１０は、実施の形態２のセンシングシステム１Ａの動作の一例を示すフローチャートである。

【0114】

まず、センシングシステム１Ａは、対象空間の熱画像および湿度情報を取得する（Ｓ３０）。

【0115】

次に、センシングシステム１Ａは、Ｓ３０において取得された熱画像に基づいて、当該熱画像に含まれる対象空間内の対象物を識別するとともに、当該対象物の位置を識別する（Ｓ３１）。

【0116】

次に、センシングシステム１Ａは、当該熱画像および当該湿度情報に基づいて、Ｓ３１において識別した対象物を含む対象空間の状態を判定する（Ｓ３２）。

【0117】

次に、センシングシステム１Ａは、ユーザに対して通知すべき情報である通知情報があるかどうかを判定する（Ｓ３３）。

【0118】

Ｓ３３において、ユーザに対して通知すべき情報である通知情報がある場合（Ｓ３３で通知情報あり）、センシングシステム１Ａは、Ｓ３３において判定された通知情報をユーザに対して通知する（Ｓ３４）。なお、一方、Ｓ３３において、ユーザに対して通知すべき情報である通知情報がない場合（Ｓ３３で通知情報なし）、センシングシステム１Ａは、処理を終了する。

【0119】

以下、実施例１および実施例２を用いて、図１０に示すセンシングシステム１Ａの動作の一例について説明する。

【0120】

（実施例１：室内の温度分布をユーザに見せて生活改善を促す）
実施例１では、湿度情報と、熱画像中の温度分布とに基づいて通知する生活改善提案情報の例について説明する。

【0121】

図１１は、実施の形態２の実施例１における熱画像の一例を示すイメージ図である。図１１に示す熱画像には、温度分布が単純化して示されている。

【0122】

センシングシステム１Ａは、図１１に示すような熱画像を取得した場合には、図１１に示す熱画像中の、所定の温度範囲を示す領域と、その領域の形状と、その領域の動きとから、対象物およびその位置を判定し、当該対象物が人であると判定することができる。また、センシングシステム１Ａは、図１１に示す熱画像中の比較的高い温度領域（図で高温領域）を判定することができる。

【0123】

ここで、センシングシステム１Ａは、生活改善提案情報として、冬場、結露しそうな場所を熱画像に重畳（付加）して、『カビ注意』を通知してもよい。湿度計と輻射温度計と各場所での相対湿度が算出できるので、センシングシステム１Ａは、計測部１５Ａで測定された湿度情報と温度分布とから、結露しそうな場所を判定することができる。そして、例えばセンシングシステム１Ａは、例えば相対湿度が１００％に近い場所（９０％）などを熱画像内で指し示す生活改善提案情報をユーザに通知してもよい。

【0124】

また、センシングシステム１Ａを備える空調機器は、冷房時に温度が高い場所（暖房時に温度が低い場所）は熱が漏れている場所と判定できる。この場合、センシングシステム１Ａは、生活改善提案情報として、ユーザに『熱漏れ場所』を通知したり、断熱対策を促す旨を通知したりしてもよい。

【0125】

また、センシングシステム１Ａを備える空調機器は、室外機の温度計と室内の壁温度とから各壁の断熱性を算出するなどして、部屋（対象空間）の断熱性レベル（他人の家との相対値）を判定してもよい。この場合、センシングシステム１Ａは、生活改善提案情報として、熱画像中の形状や位置情報から識別した熱漏れ場所を通知する。生活改善提案情報として、例えば、『窓から熱が逃げています』、『カーテン閉めろ』または『二重窓をお勧め』などを通知するとしてもよい。

【0126】

なお、センシングシステム１Ａを備える空調機器は、熱画像に基づき、冬の室温に対して壁、床が冷えていると判定できる場合には暖房強化するとしてもよいし、部屋内の壁および床が冷えているところに人がいれば、その方向に暖気送風するとしてもよい。

【0127】

ここで、生活改善提案情報として、カビ注意を通知する場合の例について説明する。

【0128】

図１２Ａは、実施の形態２の実施例１における可視画像の一例を示すイメージ図である。図１２Ｂは、実施の形態２の実施例１における熱画像の一例を示すイメージ図である。図１２Ｂに示す熱画像には、温度分布が単純化して示されている。

【0129】

つまり、センシングシステム１Ａを備える空調機器は、空調機器の室内機に設置されている湿度センサ（湿度情報計測部１５２）の湿度情報と図１２Ｂに示す熱画像とから、壁、床、窓際の面湿度分布を判定することができるので、部屋（対象空間）の結露を検出（判定）して注意（通知）してくれる。図１２Ａおよび図１２Ｂに示す例では、部屋（対象空間）の左隅が結露しかけている。そのため、センシングシステム１Ａを備える空調機器は、例えば「部屋（対象空間）の左隅が結露しかけています。除湿しましょうか？」など生活改善提案情報を通知する。

【0130】

また、センシングシステム１Ａを備える空調機器は、さらに、識別結果を付加した熱画像をユーザに通知するとしてもよい。ユーザが対象空間の温度分布が確認できるので、ユーザが生活改善提案を受け入れ易くなる。例えば、センシングシステム１Ａは、対象空間（室内）において窓際と他との温度差が激しすぎた場合、結露によるカビ発生を警告し、除湿を勧めたり、カーテンまたは二重窓の設置を勧めたりするなどの生活改善提案情報を通知するとしてもよい。

【0131】

（実施例２：生活状態に合わせた動作の一例）
実施例２では、センシングシステム１Ａを備える空調機器の動作の一例として、生活状態に合わせた動作の一例について説明する。なお、実施例２では、実施例１で説明した温冷感推定に基づく動作以外の例について説明する。

【0132】

センシングシステム１Ａを備える空調機器は、熱画像の温度分布から、ユーザの生活を判定し、判定した生活に合わせて動作するとしてもよい。

【0133】

１）室内干し衣類の位置および乾燥状態に合わせた空調
例えば、センシングシステム１Ａは、室内干し衣類の位置および乾燥状態を判定しながら、空調機器の除湿風を制御するとしてもよい。これにより、センシングシステム１Ａは、衣類を乾燥する機能を実現することができる。

【0134】

２）ユーザの食事に合わせた空調
例えば、センシングシステム１Ａは、熱画像の温度分布等から食事内容を把握（判定）して、空調機器の制御を行うとしてもよい。例えば、センシングシステム１Ａは、食事内容が鍋料理なら、暖房控えめとなるよう空調機器の空調を制御することができる。また、食事内容が焼肉であり、煙がでていることが把握（判定）できた場合、空調機機内のフィルタを清掃するお掃除ロボをＯＮにするよう、お掃除ロボに通知するとしてもよい。

【0135】

なお、センシングシステム１Ａは、熱画像の温度分布等からユーザが食事中であると判定した場合には、食卓を避けて送風するなど空調を制御するとしてもよい。

【0136】

３）テレビ視聴中に合わせた空調
センシングシステム１Ａは、熱画像の温度分布等から、ユーザがテレビを視聴中かどうか把握することができるので、ユーザがテレビを視聴中には、緩やかな送風となるよう（空調の音を静かにするよう）、空調機器の空調を制御するとしてもよい。

【0137】

なお、センシングシステム１Ａは、さらに、ユーザが視聴しているテレビの番組内容を取得できる場合には、番組に合わせて空調機器の空調を制御するとしてもよい。

【0138】

［実施の形態２の効果］
以上、本実施の形態によれば、認識精度を高めさせることができるセンシング方法、センシングシステムおよびそれらを備える空調機器を実現できる。

【0139】

また、本実施の形態によれば、温度分布および湿度情報に基づいて空調制御を行うことができるセンシングシステム１Ａを備える空調機器を実現できる。

【0140】

（実施の形態３）
［センシングシステムの構成］
以下、実施の形態３におけるセンシングシステムについて、図面を参照しながら説明する。

【0141】

図１３は、実施の形態３におけるセンシングシステム１Ｂの構成の一例を示す図である。なお、図１および図８と同様の要素には同一の符号を付しており、詳細な説明は省略する。

【0142】

図１３に示すセンシングシステム１Ｂは、実施の形態１に係るセンシングシステム１に対して、通知判定部１９Ｂが追加され、状態判定部１６Ｂおよび通知部１７Ｂの構成が異なる。

【0143】

状態判定部１６Ｂは、熱画像に基づいて、識別部１２で識別された対象物の状態を判定する。なお、状態判定部１６Ｂは、実施例１および実施例２で後述するように、対象物の状態として、例えば、対象空間に不審者がいる状態を判定（検知）するとしてもよいし、対象空間に転倒している人がいる状態を判定（検知）するとしてもよいし、対象空間にあるベッドから人が離脱等したことを判定するとしてもよい。

【0144】

通知判定部１９Ｂは、状態判定部１６において判定された対象物の状態に基づいて、ユーザに対して通知すべき情報である通知情報があるかどうかを判定する。

【0145】

通知部１７Ｂは、通知判定部１９Ｂにおいて通知情報があると判断された場合に、当該通知情報をユーザに対して通知する。なお、通知部１７Ｂは、状態判定部１６の判定結果を付加した熱画像、判定結果のみまたは熱画像のみを通知情報としてユーザに対して通知するとしてもよい。また、通知部１７Ｂは、当該通知情報として、実施例１および実施例２で後述するように、対象空間に不審者がいる旨や、対象空間に転倒している人がいる旨、対象空間にあるベッドから人が離脱等した旨を通知するとしてもよい。

【0146】

［センシングシステムの動作］
次に、上記のように構成されたセンシングシステム１Ｂの動作について説明する。

【0147】

図１４は、実施の形態３のセンシングシステム１Ｂの動作の一例を示すフローチャートである。

【0148】

まず、センシングシステム１Ｂは、対象空間の熱画像を取得する（Ｓ４０）。

【0149】

次に、センシングシステム１Ｂは、Ｓ４０において取得された熱画像に基づいて、当該熱画像に含まれる対象空間内の対象物を識別するとともに、当該対象物の位置を識別する（Ｓ４１）。

【0150】

次に、センシングシステム１Ｂは、当該熱画像に基づいて、Ｓ４１において識別した対象物の状態を判定する（Ｓ４２）。

【0151】

次に、センシングシステム１Ｂは、ユーザに対して通知すべき情報である通知情報があるかどうかを判定する（Ｓ４３）。

【0152】

Ｓ４３において、ユーザに対して通知すべき情報である通知情報がある場合（Ｓ４３で通知情報あり）、センシングシステム１Ｂは、Ｓ４３において判定された通知情報をユーザに対して通知する（Ｓ４４）。なお、一方、Ｓ４３において、ユーザに対して通知すべき情報である通知情報がない場合（Ｓ４３で通知情報なし）、センシングシステム１Ｂは、処理を終了する。

【0153】

以下、実施例１〜実施例３を用いて、図１４に示すセンシングシステム１Ｂの動作の一例について説明する。

【0154】

（実施例１：ホームセキュリティで見守り）
実施例１では、センシングシステム１Ｂが、不審者を検知して通知する動作の一例について説明する。

【0155】

現在、焦電型のセンサがホームセキュリティ用センサとして主に用いられている。しかし、焦電型のセンサは、誤検出が多く、確認のために無駄に現場に向かう必要があるなど課題がある。焦電型のセンサの誤検出の要因としては、ペットと人とを区別して検出できないことや、例えば外出先からのエアコン操作による温度変化などを検出してしまうこと、ファクシミリ着信時の発熱などを検出してしまうことなどが挙げられる。

【0156】

一方、熱画像センサがホームセキュリティ用センサとして用いられるようになった場合には、熱画像中の形状、サイズ、動く速度によりペットや、家電の発熱と不審者を区別して検知（判定）することができる。つまり、熱画像から、宅内等の対象空間の状態を確認できる。したがって、センシングシステム１Ｂを利用すると、熱画像を使ってユーザ留守中の侵入者を検知（判定）することができる。

【0157】

そして、センシングシステム１Ｂは、熱画像を使って、ユーザ留守中の侵入者を検知（判定）した場合には、セキュリティ事業者に不審者検知の旨を通知することができる。ここで、センシングシステム１Ｂは、セキュリティ事業者に判断材料として判断結果を付加した熱画像を通知するとしてもよい。この場合、セキュリティ事業者は熱画像を確認することにより、本当に侵入者がいるのか、ユーザが飼うペット等を検知（判定）しただけ（誤認識）なのかを判断することができる。

【0158】

例えば、センシングシステム１Ｂは、ユーザの留守中に侵入者を検知（判定）した場合には、ユーザに不審者検知の旨を通知するとしてもよい。ここで、センシングシステム１Ｂは、ユーザに判断材料として判断結果を付加した熱画像を通知するとしてもよい。

【0159】

なお、センシングシステム１Ｂは、ユーザまたはセキュリティ事業者に判断結果を付加した熱画像を通知するとしたがそれに限らない。判断材料として熱画像のみを通知するとしてもよい。また、センシングシステム１Ｂが人の在不在を判断する方法としては、熱画像を用いる場合に限らない。例えば、留守モードボタンを押圧などしてセンシングシステム１Ｂに登録するとしてもよいし、センシングシステム１Ｂがユーザのスマートホンなどの携帯端末の位置情報を用いて、判断するとしてもよい。

【0160】

（実施例２：倒れ検知で見守り）
次に、実施例２では、センシングシステム１Ｂが倒れ検知する場合の動作の一例について説明する。

【0161】

１）災害での倒れ検知
図１５は、実施の形態３の実施例２における熱画像の一例を示すイメージ図である。図１５に示す熱画像には、温度分布が単純化して示されている。

【0162】

センシングシステム１Ｂは、図１５に示すような熱画像を取得した場合には、図１５に示す熱画像中の、所定の温度範囲を示す領域と、その領域の形状と、その領域の動きとから、対象物およびその位置を判定することができる。なお、図１５に示す熱画像では、火と転倒した人とを検知（判定）することができる。

【0163】

このように、センシングシステム１Ｂは、火と転倒した人とを検知（判定）した場合には、災害発生の旨と救出が必要な人が居る旨をセキュリティ事業者等に通知するとしてもよい。

【0164】

２）高齢者の倒れ検知
図１６Ａおよび図１６Ｂは、実施の形態３の実施例２における熱画像の一例を示すイメージ図である。図１６Ａおよび図１６Ｂに示す熱画像には、温度分布が単純化して示されている。

【0165】

センシングシステム１Ｂは、図１６Ａまたは図１６Ｂに示す熱画像を取得した場合には、図１６Ａまたは図１６Ｂに示す熱画像中の、所定の温度範囲を示す領域と、その領域の形状と、その領域の動きとから、対象物およびその位置を判定することができる。図１６Ａに熱画像では、就寝中の人を判定することができ、図１６Ｂに示す熱画像では、起床中の人を判定することができる。

【0166】

このようにして、センシングシステム１Ｂは、例えば高齢者の起床、ベッドからの離脱などを判定することができる。この場合、センシングシステム１Ｂは、家族や介護事業者（介護住宅の場合）に判定結果を付加する熱画像も通知するとしてもよい。これにより、ユーザ（介護事業者、子夫婦など）は、判定結果が付加された熱画像をみて、センシングシステム１Ｂの判定結果が誤検出なのかどうか判断することができるので、通知が来るたびに、高齢者の転倒や徘徊を現場に確認しに行かなくても済む。

【0167】

なお、センシングシステム１Ｂでも、熱画像に対する識別精度を向上させるため、例えば、高齢者が利用するベッドの領域範囲を熱画像に設定するなど、対象物に関する情報の登録を行うとしてもよい。

【0168】

（変形例）
［センシングシステムの構成］
以下、実施の形態３の変形例におけるセンシングシステムについて、図面を参照しながら説明する。

【0169】

図１７は、実施の形態３の変形例におけるセンシングシステム１Ｃの構成の一例を示す図である。なお、図１および図１３と同様の要素には同一の符号を付しており、詳細な説明は省略する。

【0170】

図１７に示すセンシングシステム１Ｃは、実施の形態１に係るセンシングシステム１に対して、空調制御部２０が追加されている点で構成が異なる。

【0171】

空調制御部２０は、状態判定部１６により判定された対象物の状態に基づいて、対象空間の空気環境を制御する。ここで、空気環境は、対象空間の空気の温度、湿度、風速および風向の少なくとも１つを含む。

【0172】

なお、センシングシステム１Ｃは、対象空間の湿度情報を取得するとしてもよい。この場合、空調制御部２０は、状態判定部１６で判定された対象物の状態および湿度情報に基づいて、対象空間の空気環境を制御する。

【0173】

［センシングシステムの動作］
次に、上記のように構成されたセンシングシステム１Ｃの動作について説明する。

【0174】

図１８は、実施の形態３の変形例におけるセンシングシステム１Ｃの動作の一例を示すフローチャートである。

【0175】

まず、センシングシステム１Ｃは、対象空間の熱画像を取得する（Ｓ５０）。

【0176】

次に、センシングシステム１Ｃは、Ｓ５０において取得された熱画像に基づいて、当該熱画像に含まれる対象空間内の対象物を識別するとともに、当該対象物の位置を識別する（Ｓ５１）。なお、対象物には、実施例３〜実施例６で後述するように、例えば、対象空間中の熱源や人であってもよいし、幼児または高齢者であってもよいし、ユーザの睡眠時の布団や寝巻であってもよいし、ユーザの部位（足、頭）であってもよい。また、対象物は、実施例３〜実施例６で後述するように、例えば、洗濯物であってもよい。

【0177】

次に、センシングシステム１Ｃは、当該熱画像に基づいて、Ｓ５１において識別した対象物の状態を判定する（Ｓ５２）。なお、対象物の状態には、実施例３〜実施例６で後述するように、例えば、対象空間中の熱源と人との距離であってもよいし、人の対表面温度による熱中症状の危険性であってもよいし、ユーザの睡眠時の布団ハネや寝巻着用状況であってもよいし、ユーザの就寝位置であってもよい。また、対象物の状態には、人の位置や動作であってもよいし、人の活動量であってもよいし、ユーザの着衣量であってもよいし、洗濯物の乾燥状態であってもよい。

【0178】

次に、センシングシステム１Ｃは、状態判定部１６により判定された対象物の状態に基づいて、対象空間の空気環境の制御の変更が必要かどうかを判定する（Ｓ５３）。

【0179】

Ｓ５３において、対象空間の空気環境の制御の変更が必要である場合（Ｓ５３でＹｅｓ）、センシングシステム１Ｃは、対象空間の空気環境の制御を変更する（Ｓ５４）。なお、一方、Ｓ５３において、対象空間の空気環境の制御の変更が必要でない場合（Ｓ５３でＮｏ）、センシングシステム１Ｃは、処理を終了する。

【0180】

以下、実施例３〜実施例６を用いて、図１８に示すセンシングシステム１Ｃの動作の一例について説明する。

【0181】

（実施例３：見守りエアコン）
実施例３では、センシングシステム１Ｃを備える空調機器が、子供やお年寄りを検知して、熱中症または火傷から守る動作の一例について説明する。

【0182】

図１９は、実施の形態３の実施例３における熱画像の一例を示すイメージ図である。図１９に示す熱画像には、温度分布が単純化して示されている。

【0183】

センシングシステム１Ｃは、図１９に示すような熱画像を取得した場合には、図１９に示す熱画像中の、所定の温度範囲を示す領域と、その領域の形状と、その領域の動きとから、対象物およびその位置を判定することができる。なお、図１９に示す熱画像では、熱源と人（子供）とを検知（判定）することができる。

【0184】

例えばセンシングシステム１Ｃは、熱源と人（子供）とを検知（判定）し、人（子供）が熱源に近づいた場合に、人（子供）に警告を示す旨の通知を行うとしてよい。ここで、対象空間（同室）に人（親）が居ない場合には警告を示す旨の通知としてアラームを大きくするとしてもよい。このように、センシングシステム１Ｃは、人（子供）と熱源とを検知し、危険回避（火傷防止）のための動作を行うことができる。

【0185】

なお、センシングシステム１Ｃは、人（幼児）または人（高齢者）を検知した場合、さらに、熱画像に基づいて、人の体表面温度（対象物の状態）を判定するとしてもよい。これにより、センシングシステム１Ｃは、人（幼児）または人（高齢者）に熱中症防止のための動作を行うことができる。

【0186】

（実施例４：快眠エアコン）
実施例４では、センシングシステム１Ｃを備える空調機器（快眠エアコン）の動作の一例として、生活状態に合わせた動作の一例について説明する。

【0187】

１）睡眠時の布団ハネ、寝間着着用状況に合わせた空調
センシングシステム１Ｃは、熱画像に基づいて、例えば睡眠時の布団ハネ、寝巻着用状況を判定しながら、空調機器の空調を制御するとしてもよい。例えば、センシングシステム１Ｃは、ユーザの睡眠時に布団ハネを判定した場合には、空調機器の空調を暖房強化するよう制御するとしてもよい。

【0188】

２）体表面温度と就寝位置（足、頭）に合わせた空調
また、センシングシステム１Ｃは、熱画像に基づいて、ユーザの体表面温度と就寝位置（足、頭）とを判定しながら、空調機器の空調を制御するとしてもよい。例えば、センシングシステム１Ｃは、ユーザの就寝位置（足、頭）の判定結果に基づいて、ユーザの頭部を避けて空調機器の送風を制御するとしてもよいし、ユーザの体表面温度の判定結果に基づいて、ユーザの体温が下がりすぎないよう（冷房病防止となるよう）、空調機器の空調を制御するとしてもよい。

【0189】

３）ジェスチャに合わせた空調
また、センシングシステム１Ｃは、熱画像の温度分布を用いることで、暗闇でも人の位置や、人の状態・動作を検知（判定）することができるので、検知した結果に合わせて空調機器の空調を制御するとしてもよい。例えば、センシングシステム１Ｃは、暗闇の寝室（対象空間）のユーザのジェスチャを判定し、その判定結果に基づいて、空調機器の空調を制御するとしてもよい。つまり、センシングシステム１Ｃは、熱画像の温度分布を用いることで、ユーザのジェスチャで制御可能な暗闇リモコンとして機能するとしてもよい。

【0190】

このように、センシングシステム１Ｃ室内温度分布からユーザの生活をセンシングすることで、生活状態に合わせて空調機器の制御を行うことができる。

【0191】

なお、センシングシステム１Ｃは、熱画像の温度分布を用いることで、ユーザの就寝中の寝返りや体表温度を判定し、これらの履歴に基づいて、空調機器の空調を制御するとしてもよい。また、センシングシステム１Ｃは、上記履歴に基づいて、「今週はデトックス期です。刺激物を避けて肌ケアを重視してください。」など美容・健康のためのアドバイスをユーザに通知するとしてもよい。

【0192】

（実施例５：人の状態に合わせたエアコン）
実施例５では、センシングシステム１Ｃを備える空調機器の動作の一例として、人の状態に合わせた動作の一例について説明する。なお、実施例５では、実施例１で説明した温冷感推定に基づく動作以外の例について説明する。

【0193】

１）熱源に合わせた空調
センシングシステム１Ｃは、ユーザの状態として、ユーザが熱源の近くに居ることを判定すると、その判定結果に応じて空調機器の空調を制御するとしてもよい。例えば、センシングシステム１Ｃは、ユーザがアイロン中または調理中などユーザが熱源の近くに居ることを判定した場合には、冷房強化（暖房抑制）するように、空調機器の制御を行うとしてもよい。

【0194】

２）個人に合わせた空調
センシングシステム１Ｃは、人の状態として、ユーザ個人の好みを判定し、その判定結果に応じて空調機器の空調を制御するとしてもよい。例えば、センシングシステム１Ｃは、空調機器に対する室温設定が高めのＡさんが対象空間に居ることを判定した場合、暖房強化するよう空調機器の制御を行うとしてもよいし、ユーザ個人を識別して、好みの室温を再現するよう空調機器の制御を行うとしてもよい。

【0195】

３）活動量に応じた空調
また、センシングシステム１Ｃは、ユーザの状態として、ユーザの活動量を判定すると、その判定結果に応じて空調機器の空調を制御するとしてもよい。

【0196】

４）対象空間に居る体温が異なる人に合わせた空調
また、センシングシステム１Ｃは、ユーザの状態として、対象空間に体温の異なる人が居ることを判定した場合に、その判定結果に応じて空調機器の空調を制御するとしてもよい。例えば、センシングシステム１Ｃは、対象空間に体温の異なる人が居ることを判定した場合に、体温が低い人に向けて暖気送風を行うよう空調機器の制御を行うとしてもよい。さらに、センシングシステム１Ｃは、体温の異なる人の体表温度から暑がり、寒がりまたは冷え性であるかを判定し、判定結果に応じて、それらの人が快適に感じるように空調機器の空調を制御するとしてもよい。

【0197】

５）着衣量に合わせた空調
また、センシングシステム１Ｃは、ユーザの状態として、ユーザの着衣量を判定し、その判定結果に応じて空調機器の空調を制御するとしてもよい。例えば、センシングシステム１Ｃは、室温とユーザの温度分布とに基づいて、ユーザの着衣が肌着またはワイシャツ一枚であることを判定した場合、ユーザが快適に感じるように、暖房強化または冷房強化するなど空調機器の空調を制御するとしてもよい。なお、ユーザの着衣量は、ユーザ表面の温度分布から算出してもよい。一般的には着衣量が多いほど着衣表面の温度は室温に近づくため、着衣表面温度と室温、体温それぞれの温度差から着衣量を算出できる。

【0198】

（実施例６：乾燥状態チェッカー）
また、センシングシステム１Ｃが対象空間に干されている洗濯物の乾燥状態を確認（判定）し、乾燥終了を通知するとしてもよい。洗濯後の洗濯物は、表面の気化熱が奪われるため、（湿度、風速にもよるが）室温より５℃程度低温であり、洗濯物の乾燥が進むにつれて、室温との差が無くなっていくという関係がある。そのため、センシングシステム１Ｃは、熱画像に基づき乾燥状態を判定することができ、乾燥終了を通知することができる。また、センシングシステム１Ｃは、洗濯物の乾燥が速い部分と遅い部分を見分けることが可能であるので、乾燥が遅い部分（ズボンやシャツの裾やポケットなど）に向けて風向を調節するとしてもよい。

【0199】

［実施の形態３の効果等］
以上、本実施の形態によれば、認識精度を高めさせることができるセンシング方法、センシングシステムおよびそれらを備える空調機器を実現できる。

【0200】

また、本実施の形態によれば、温度分布に基づいて空調制御を行うことができるセンシングシステム１Ｂを備える空調機器を実現できる。

【0201】

（実施の形態４）
［センシングシステムの構成］
以下、実施の形態４におけるセンシングシステムについて、図面を参照しながら説明する。

【0202】

図２０は、実施の形態４におけるセンシングシステム１Ｄの構成の一例を示す図である。図２１は、実施の形態４における識別部１２Ｄの詳細構成の一例を示す図である。なお、図１および図８等と同様の要素には同一の符号を付しており、詳細な説明は省略する。

【0203】

図２０に示すセンシングシステム１Ｄは、実施の形態１に係るセンシングシステム１に対して、状態判定部１６がなく、通知判定部１９Ｄおよび分析部２１が追加され、識別部１２Ｄと通知部１７Ｄの構成が異なる。

【0204】

識別部１２Ｄは、熱画像取得部１１が取得した熱画像に基づいて、当該熱画像に含まれる対象空間内の対象物を識別する。本実施の形態では、識別部１２Ｄは、例えば図２１に示すように、熱分布判定部１２１と、対象物判定部１２２とを備える。熱分布判定部１２１および対象物判定部１２２は、実施の形態１で説明した通りであるので、ここでの説明を省略する。

【0205】

分析部２１は、熱画像取得部１１が取得した熱画像に基づいて、識別部１２Ｄで識別された対象物の状態を分析する。なお、分析部２１は、実施例１〜実施例３で後述するように、例えば、ユーザの日々の睡眠状態を分析してもよいし、ユーザの体脂肪を分析するとしてもよいし、ユーザのその日の体調とユーザの服装が外気温に適しているかを分析するとしてもよい。また、分析部２１は、実施例４および実施例５で後述するように、ユーザの顔の温度分布を分析することでユーザの顔の乾燥、シミまたはたるみの確認をするとしてもよいし、ユーザの冷え性タイプを分析するとしてもよい。

【0206】

通知判定部１９Ｄは、分析部２１の分析結果に基づいて、ユーザに対して通知すべき情報である通知情報があるかどうかを判定する。

【0207】

通知部１７Ｄは、通知判定部１９Ｄにより通知情報があると判断された場合に、当該通知情報をユーザに対して通知する。なお、通知部１７Ｄは、例えば、通知情報として、分析部２１の分析結果を通知してよいし、取得した熱画像を通知するとしてもよいし、分析結果を付加した熱画像を通知するとしてもよい。また、通知部１７Ｄは、ユーザに対する通知情報として生活改善提案情報を通知するとしてもよい。ここで、生活改善提案情報は、後述するように、例えば、頬筋エクササイズを薦めることや、快眠環境の提案することであってもよい。

【0208】

［センシングシステムの動作］
次に、上記のように構成されたセンシングシステム１Ｄの動作について説明する。

【0209】

図２２は、実施の形態４のセンシングシステム１Ｄの動作の一例を示すフローチャートである。

【0210】

まず、センシングシステム１Ｄは、対象空間の熱画像を取得する（Ｓ６０）。

【0211】

次に、センシングシステム１Ｄは、Ｓ６０において取得された熱画像に基づいて、当該熱画像に含まれる対象空間内の対象物を識別する（Ｓ６１）。

【0212】

次に、センシングシステム１Ｄは、当該熱画像に基づいて、Ｓ６１において識別した対象物を分析する（Ｓ６２）。

【0213】

次に、センシングシステム１Ｄは、分析部２１の分析結果に基づいて、ユーザに対して通知すべき情報である通知情報があるかどうかを判定する（Ｓ６３）。

【0214】

Ｓ６３において、ユーザに対して通知すべき情報である通知情報がある場合（Ｓ６３で通知情報あり）、センシングシステム１Ｄは、Ｓ６３において判定された通知情報をユーザに対して通知する（Ｓ６４）。なお、一方、Ｓ６３において、ユーザに対して通知すべき情報である通知情報がない場合（Ｓ６３で通知情報なし）、センシングシステム１Ｄは、処理を終了する。

【0215】

以下、実施例１〜実施例５を用いて、図２２に示すセンシングシステム１Ｄの動作の一例について説明する。

【0216】

（実施例１：健康エアコン）
実施例１では、センシングシステム１Ｄを備えた空調機器（健康エアコン）の動作の一例について説明する。

【0217】

例えば、センシングシステム１Ｄを備えた空調機器（健康エアコン）は、ユーザの日々の睡眠状態を計測（分析）して生活改善提案情報を通知するとしてもよい。

【0218】

ここで、熱画像に基づいて計測（分析）できる項目（睡眠状態）としては、１）睡眠時間、２）睡眠深度（レム・ノンレム）、３）睡眠時体温変動、４）寝返り回数、頻度および時間帯、５）布団ハネ、６）基礎体温などがある。

【0219】

センシングシステム１Ｄは、例えば、日々の睡眠状態（計測できる項目の履歴）を見える化したグラフを通知することで、ユーザに生活改善提案情報を通知することができる。センシングシステム１Ｄは、生活改善提案情報として、例えば、「今週は肌乾燥期です。長風呂は避けて部屋の湿度は高めにして下さい。」などを通知するとしてもよい。なお、睡眠リズムに伴う体温変動が確認されていることから、体温変動や体動など熱画像で取得可能な生体情報をもとにした、快眠環境の提案（生活改善提案情報）を通知するとしてもよい。

【0220】

（実施例２：体脂肪測定）
実施例２では、センシングシステム１Ｄが熱画像を用いてユーザの体脂肪測定を行う場合の動作の一例について説明する。

【0221】

図２３は、実施の形態４の実施例２における熱画像の一例を示すイメージ図である。図２３に示す熱画像には、温度分布が単純化して示されている。

【0222】

センシングシステム１Ｄは、図２３に示すような熱画像を取得し、当該対象物が人であると判定した場合には、さらに、その人における温度分布を分析することで、その人の体脂肪を測定（分析）することができる。脂肪は熱を伝え難いため、体表面の温度（裸）を基に、全身の脂肪厚み分布が計測することができる。例えば、その人の熱画像において脂肪の厚い部分は温度が低く脂肪が薄い部分は温度が高くなる。そのため、センシングシステム１Ｄは、各部位の推定脂肪厚みを重畳（付加）した熱画像を通知することで、ユーザのダイエットの危機感をあおりユーザに生活改善を促すことができる。

【0223】

（実施例３：お出かけ前チェック）
実施例３では、センシングシステム１Ｄが熱画像を用いてユーザのお出かけ前チェックを行う場合の動作の一例について説明する。

【0224】

図２４は、実施の形態４の実施例３における熱画像の一例を示すイメージ図である。図２３に示す熱画像には、温度分布が単純化して示されている。

【0225】

センシングシステム１Ｄは、図２４に示すような熱画像を取得し、当該対象物が人（ユーザ）であると判定した場合には、さらに、人（ユーザ）における温度分布を分析する。これにより、センシングシステム１Ｄは、ユーザのその日の体調とユーザの服装が外気温に適しているかを確認（分析）することができ、確認結果をユーザに通知することができる。例えば、外気温は、センシングシステム１Ｄと通信可能なクラウド等から取得すればよく、ユーザの体温は、熱画像中の顔温度から推定（分析）できる。また、ユーザの着衣量は、着衣表面温度から着衣量（断熱性）を算出することで得られる。

【0226】

また、センシングシステム１Ｄは、確認結果として、例えば、「今日の所定の地域は晴れ、気温は最低６℃、最高１４℃です。貴方の現在の着衣量は１．２ｃｌｏ（ｃｌｏは着衣量の単位とする）です。もう一枚羽織って出かけたほうがいいですよ」を通知するとしてもよいし、「体温は３７．１℃です。風邪気味なので注意してください。」などを通知するとしてもよい。

【0227】

（実施例４：顔チェックおよび美顔アドバイス）
実施例４では、センシングシステム１Ｄが熱画像を用いてユーザの顔チェックおよび美顔アドバイスを行う場合の動作の一例について説明する。

【0228】

図２５は、実施の形態４の実施例４における熱画像の一例を示すイメージ図である。図２５に示す熱画像には、温度分布が単純化して示されている。本実施例では、センシングシステム１Ｄの計測部１５は、ユーザと１ｍ程度の距離でユーザの熱分布を計測することでユーザの顔の温度分布を精度よく分析することができる。

【0229】

センシングシステム１Ｄは、図２５に示すような熱画像を取得し、当該対象物が人（ユーザ）の顔であると判定した場合には、さらに、ユーザの顔の温度分布を分析する。これにより、センシングシステム１Ｄは、ユーザの顔の乾燥、シミまたはたるみの確認を行うことができ、確認結果をユーザに通知することができる。例えば、センシングシステム１Ｄは、ユーザの顔の熱画像に基づいて、顔が低温であると分析する場合には、血流が低下しているとして、顔が乾燥、シミまたはたるみにつながることを通知する。

【0230】

また、例えば、センシングシステム１Ｄは、ユーザの顔の熱画像に基づいて、頬温度が低いと分析した場合には、確認結果として、生活改善提案情報を通知するとしてもよい。生活改善提案情報としては、例えば、「頬筋エクササイズがお勧めです。」旨の通知や、「シミ、たるみの危険度」を通知するとしてもよい。また、センシングシステム１Ｄは、頬筋エクササイズに関する情報を生活改善提案情報として通知するとしてもよい。さらに、センシングシステム１Ｄは、再度ユーザの顔の熱画像に基づいて、ユーザの顔における温度分布を分析し、顔全体が最適温度（３４℃）になった場合には、その旨を通知するとしてもよい。

【0231】

このように、ユーザは、センシングシステム１Ｄにより通知された確認結果を付加した熱画像を確認することができる。これにより、ユーザは、エクササイズ不足の部位を自分の目で判断したり、温感クリーム、化粧品または美顔器による血行促進効果が一目瞭然に判断したり、自分に合った商品を選択したりすることができる。

【0232】

（実施例５：冷え性タイプ別診断）
実施例５では、センシングシステム１Ｄがユーザの熱画像を用いてユーザの冷え性タイプを診断（分析）する場合の動作の一例について説明する。本実施例では、センシングシステム１Ｄの計測部１５は、ユーザと２ｍ程度の距離でユーザの熱分布を計測することで、ユーザの冷え性タイプを診断（分析）することができる。そして、センシングシステム１Ｄは、その診断結果をユーザの熱画像に付加して、ユーザに通知するとしてもよい。

【0233】

ここで、診断結果としては、例えば、「あなたは内臓温度低下型冷え性（隠れ冷え性）です。腹部を暖めて、生姜などを食べて、内部発熱を高めてください。」や、「あなたは抹消血管収縮型冷え性です。手足の温水冷水刺激やマッサージがお勧めです。」などがある。

【0234】

このように、ユーザは、センシングシステム１Ｄにより通知された診断結果を付加した熱画像を確認することができる。これにより、ユーザは、冷えている部位が分かりやすい上、診断結果に納得できる。

【0235】

なお、センシングシステム１Ｄを利用することで、マッサージ前後のユーザの熱画像などを比較することができるので、マッサージによる冷え性の改善効果も確認できる。

【0236】

また、センシングシステム１Ｄを利用することで、ユーザの熱画像に基づきユーザ自身またはアプリ等でユーザの身体の冷え具合等を診断することができる。

【0237】

［実施の形態４の効果等］
以上、本実施の形態によれば、認識精度を高めさせることができるセンシング方法、センシングシステムおよびそれらを備える空調機器を実現できる。

【0238】

なお、実施の形態４におけるセンシングシステムは、図２０に示す場合に限らない。以下、実施の形態４におけるセンシングシステムの別の構成について、図面を参照しながら説明する。

【0239】

図２６は、実施の形態４におけるセンシングシステム１Ｅの構成の一例を示す図である。なお、図１、図８および図２０と同様の要素には同一の符号を付しており、詳細な説明は省略する。

【0240】

図２６に示すセンシングシステム１Ｅは、図２０に示すセンシングシステム１Ｄに対して、湿度情報取得部１８が追加され、計測部１５Ａと分析部２１Ｅと通知判定部１９Ｅと通知部１７Ｅの構成が異なる。

【0241】

湿度情報取得部１８は、対象空間の湿度情報を取得する。

【0242】

分析部２１Ｅは、熱画像取得部１１が取得した熱画像と湿度情報取得部１８が取得した湿度情報とに基づいて、識別部１２Ｄで識別された対象物の状態を分析する。

【0243】

通知判定部１９Ｅは、分析部２１Ｅの分析結果に基づいて、ユーザに対して通知すべき情報である通知情報があるかどうかを判定する。

【0244】

通知部１７Ｅは、通知判定部１９Ｅにより通知情報があると判断された場合に、当該通知情報をユーザに対して通知する。

【0245】

（実施の形態５：追加の実施の形態）
本実施の形態では、熱画像センサにて得られた熱画像の画像処理方法に関して説明する。

【0246】

（本発明の一態様を得るに至った経緯）
近年、２次元熱画像（温度分布）を取得する目的で、赤外線センサを備えたエアコンなどの空気調和装置が検討されており、赤外線センサ（以降、熱画像センサと呼ぶ）を用いて、人体や発熱機器の位置を検知して空調制御に反映させる空気調和装置が商品化されている。

【0247】

また、特許文献２に示すように、撮影された熱画像をユーザに提示することで、ユーザ自身に体感温度や床温度情報を提示する空気調和装置についても提案されている。

【0248】

しかしながら、上述のように熱画像を取得し、室内人体や発熱機器の位置を検出して空気制御に反映させる空気調和装置では、熱画像センサによって取得された熱画像を熱画像センサが設置された部屋（家）の外から確認することが出来ないという課題を有していた。

【0249】

そこで、本実施の形態では、前記従来の課題を解決するもので、赤外線センサで取得された熱画像を外部から確認できる手段を提供することを目的とする。

【0250】

（本実施の形態に係る熱画像処理方法の基礎となった知見）
上記したように、例えば空気調和装置（エアコン）で取得した熱画像をユーザに提示するサービスなどが検討されている。一方で近年、室内温度の快適制御を実現すべく、エアコンに搭載する熱画像センサが取得する熱画像の解像度は向上している。高解像度化により、取得する熱画像によっては物や人の輪郭がはっきりと表現され個人の特徴を把握できてしまうことも考えられる。

【0251】

よって家の中で取得した熱画像を家の外で表示することが出来るサービスや、取得した熱画像を保有者以外の第三者に提供するなどのシステム（ビジネス）を検討する際には、たとえ熱画像といえどもプライバシーの保護が不十分な場合がある。

【0252】

以上の問題を解決すべく本熱画像処理方法では、画像取得部とプライバシー領域判定部と修正画像生成部とを備えた熱画像処理装置における熱画像処理方法であって、前記画像取得部が熱画像を取得し、前記プライバシー領域判定部は前記熱画像の特定の温度域に該当する画素をプライバシー領域と判定し、前記修正画像生成部は前記プライバシー領域に該当する画素を修正することを特徴とする。

【0253】

これによって、画像中のプライバシー保護の必要性の高い箇所のみに対して、画像を修正することが出来る。よって熱画像を利用したサービスや収集した熱画像の解析に必要な情報を低減させることなく、プライバシーの保護を強化した画像を生成できる。

【0254】

また、前記特定の温度域は、２５℃以上４０℃以下であることを特徴としてもよい。

【0255】

これにより、より適切な領域（人体温度）のみを、修正対象の領域とすることが出来る。

【0256】

また、前記特定の温度域における下限温度の値は、環境温度によって変化する値であることを特徴としてもよい。

【0257】

これにより、周囲の温度を考慮した更に適切な温度領域のみを、修正対象の領域とすることが出来る。

【0258】

また、前記画像取得部は、取得した熱画像を記憶しておく熱画像記憶手段を含み、前記プライバシー領域判定部は、前記熱画像記憶手段が記憶した計測時刻の異なる複数の熱画像を比較し、前記特定の温度域に該当する画素であって且つ異なる複数の熱画像において温度差が大きい画素の温度情報を、プライバシー領域と判定してもよい。

【0259】

これにより、機器（家電等）など、人体以外のものであって修正する必要のない箇所をプライバシー領域から除外することが出来る。よってより適切なプライバシー領域の設定が可能となる。

【0260】

また、前記画像取得部は、取得した熱画像に関する情報を記憶しておく熱画像記憶手段を含み、前記プライバシー領域判定部は、前記熱画像の特定の温度域であって、熱画像中の人体の一部の領域をプライバシー領域と判定し、前記熱画記憶手段は、前記熱画像中の人体の一部の領域における温度分布に関する情報を記憶してもよい。

【0261】

また、前記プライバシー領域判定部は、顔画像識別手段を含み、前記顔画像識別手段は取得した熱画像中において人の顔の領域を識別し、識別した顔の領域を前記人体の一部の領域としてもよい。

【0262】

また、修正画像生成部は、前記プライバシー領域判定部がプライバシー領域として判定した人体の一部の領域の形状を、別の形状に変更し、前記温度分布に関する情報を、前記変更した形状の一部に重畳することを特徴としてもよい。

【0263】

これらにより、熱画像を用いたサービスを提供する上で本来必要な温度分布等の情報を失わずに、プライバシーの保護を強化した画像を生成できる。

【0264】

また、前記熱画像処理装置は更にモード判定手段を備え、前記モード判定手段は、取得した熱画像から人の位置を取得し、取得した人の位置と画像取得部が取得した熱画像を撮像した熱画像センサとの距離に基づいて、少なくとも前記プライバシー領域判定部、修正画像生成部が、実行する処理モードを変更してもよい。

【0265】

これにより、使用者にモード選択を強いることなく、利用シーンに合わせた最適な画像生成を行うことが出来る。

【0266】

このように、本実施の形態に係る熱画像処理方法は、熱画像を取得し、熱画像の特定の温度域に該当する画素を修正することを特徴とする。

【0267】

また、本実施の形態に係る別の熱画像処理方法は、人体の一部を認識し、認識した人体の一部の形状を変えて、温度分布情報を前記変更した形状の前記人体の一部に重畳することを特徴とする。

【0268】

本実施の形態の熱画像処理方法によれば、熱画像センサで取得された熱画像を室外（屋外）に居るユーザ自身や、第三者に提示することが可能となり、画像が流出した場合にもプライバシー保護が出来る。

【0269】

以下、本実施の形態について、図面を参照しながら説明する。

【0270】

また、同じ構成要素については同じ符号を用い、説明を省略する場合もある。

【0271】

なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本実施の形態を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

【0272】

なお、以下に示す実施の形態は、あくまで一例であり本システムを限定するものではない。また各々の実施の形態を組み合わせて、本システムを構成してもよい。

【0273】

図２８に、熱画像表示装置と熱画像センサを含んだシステムの一例を示す。

【0274】

熱画像センサ２０１は少なくとも信号送信手段を備え、熱画像表示装置２０４は少なくとも信号受信手段を備え、ネットワーク２０２を介して、熱画像の画像データが熱画像センサ２０１から熱画像表示装置２０４へと送られる構成となる。

【0275】

ここで、熱画像センサ２０１はサーモパイルやボロメータなどの赤外線センサからなる温度分布計測手段であってもよい。また熱画像センサ２０１は、上記したように空気調和機に搭載されるものであってもよいし、これに限られるものではない。

【0276】

熱画像表示装置２０４は有機ＥＬなどの自発光型のディスプレイであってもよく、バックライトと液晶などの空間変調素子を備えたディスプレイであってもよい。熱画像表示装置２０４は、例えば熱画像センサ２０１を使用するユーザが保有するスマートホンやタブレットなどが考えられる。また、熱画像センサ２０１を使用するユーザ以外のユーザ（もしくは事業者）が確認可能なディスプレイ等であってもよい。

【0277】

また、熱画像センサ２０１、熱画像表示装置２０４に備えられた信号送受信手段は、Ｗｉ−Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）、ＬＴＥなどの通信方式を用いた送受信手段であってもよい。

【0278】

図２８の構成によって、熱画像センサが設置された場所から離れた場所に居るユーザや第三者に対して、熱画像を提示することが可能となる。

【0279】

また、図２８のように、ネットワーク２０２を介して熱画像表示装置２０４に熱画像の画像データを送信するシステムにおいて、熱画像表示装置２０４または熱画像センサ２０１のいずれか一方または両方が、図２７のような熱画像処理部３００を備えている。

【0280】

また、ネットワーク２０２には、サーバ２０３が接続されていてもよい。サーバ２０３が熱画像処理部３００を備えていてもよい。これによって、サーバ２０３に熱画像センサ２０１にて取得された熱画像を保管することが可能となる。またサーバ２０３にて、熱画像センサ２０１にて取得された熱画像を、画像処理によって修正することも可能となる。

【0281】

上記画像処理を行う場合、熱画像センサ２０１や熱画像表示装置２０４自身に熱画像を保存するメモリや画像処理を行う信号処理部を備えてもよいが、ネットワーク２０２に接続されたサーバ２０３を用いることで、より小型で安価な熱画像センサ２０１や熱画像表示装置２０４を用いることが可能となる。

【0282】

図２７に示すように、熱画像処理部３００は、画像取得部３０１、プライバシー領域判定部３０２、修正画像生成部３０３を備えている。

【0283】

上でも説明したが、熱画像処理部３００が備えている一部または全部の構成が、熱画像センサ２０１内に含まれていてもよいし、熱画像表示装置２０４に含まれていてもよい。またサーバ２０３がネットワーク２０２に接続されているときは、熱画像処理部３００が備えている一部または全部の構成は、サーバ２０３に含まれていてもよい。以下に熱画像処理部３００の各構成の処理について説明する。

【0284】

画像取得部３０１は、熱画像センサ２０１から熱画像を取得する。ここで画像取得部３０１は取得した熱画像を記憶しておく熱画像記憶手段（メモリ）としての機能を含んでいてもよい。

【0285】

プライバシー領域判定部３０２は、画像取得部３０１が取得した（記憶している）熱画像におけるプライバシー領域（画素）を判定する。プライバシー領域の判定方法に関しては、後述する。

【0286】

修正画像生成部３０３は、プライバシー領域判定部３０２で判定されたプライバシー領域（画素）の温度情報を修正する。または、修正画像生成部３０３は、プライバシー領域判定部３０２で判定されたプライバシー領域（画素）を非表示としてもよい。これによって修正画像生成部３０３は、取得した熱画像をプライバシー性の低い熱画像に修正する。

【0287】

修正画像生成部３０３で生成されたプライバシー性の低い画像は熱画像表示装置２０４に送信されて表示される。

【0288】

以上のように、本システムでは、熱画像処理部３００を備えることで、熱画像センサ２０１によって、撮影されているユーザにとって他人に見られたくない画像を、他人に見られても気にならない画像に修正できる。これによって、例えばサーバ２０３を運営している事業者がリサーチ等の目的で第三者（会社・個人）に提供する際に、取得した熱画像をプライバシー性の低い画像として提供できるので、プライバシーを保護することができる。また、端末（熱画像表示装置２０４）を保有する個人が取得した熱画像を、離れた場所に居る家族や他人と共有したりインターネット上に公開する、などアプリケーションへの応用も期待できる。

【0289】

第三者に熱画像を提供する用途としては、例えば、高齢者の自宅に熱画像センサを設置し、取得した熱画像を離れた家族や、病院、介護施設の職員に提供し、高齢者の生存を見守る用途などが考えられる。当該用途で、可視カメラを用いることは、高齢者のプライバシーの保護の観点から望ましくない。よって熱画像センサを用いることで、気にしない高齢者は多くなるが、図２８に示す熱画像処理部３００を備えることで、更に高齢者のプライバシーの保護が強化される。つまり、修正処理を施さなかった場合の熱画像と比較しても、よりプライバシーがより保護された状態で、高齢者の見守りが可能となる。

【0290】

また、お風呂やトイレなど、温度差が大きい環境におけるヒートショック（心筋梗塞・脳梗塞など）による転倒など、高齢者に限らず見守りのニーズがあり、お風呂、トイレともに画像センサを設置することによるプライバシーに関する課題は大きい。これに対し、本実施の形態に示す熱画像処理部を備えたシステムによれば、お風呂、トイレのユーザのプライバシーを守りながら見守ることも可能となるため望ましい。

【0291】

以下では、熱画像処理部３００の動作と、熱画像処理部３００による画像の修正のされ方について、より詳細に説明する。

【0292】

図２９は、熱画像処理部３００内の処理の一例について示したフローチャートである。

【0293】

図２９の例では、まず画像取得部３０１にて熱画像データを取得する（Ｓ７０）。

【0294】

続いて、プライバシー領域判定部３０２が画像取得部３０１に取り込まれた熱画像のデータから、２５℃から４０℃の範囲の画素を抽出する（Ｓ７１）。そして、プライバシー領域判定部３０２は該当する画素を“ぼかし範囲”と判定する（Ｓ７３）。

【0295】

続いて、修正画像生成部３０３は、その画素に本来の温度分布と異なる温度分布の情報を付与するなどしてぼかし画像を生成する（Ｓ７４）。ここでは例えば、ぼかし範囲と判定された領域の画素に対して、隣り合う画素との平均化処理を行うことでぼかし画像を生成する。

【0296】

続いて修正画像生成部３０３は、もとの熱画像の“ぼかし範囲”以外の画素と合成し、修正画像を生成する（Ｓ７５）。そして、修正画像生成部３０３は、生成した修正画像を出力する（Ｓ７６）。出力された修正画像は、熱画像表示装置２０４に送信される。

【0297】

ここで用いたプライバシー領域判定部３０２によるプライバシー領域判定方法は、『温度が２５℃から４０℃の範囲に入ること』とした。この温度は、一般的な人体温度に依存するものである。人体は、周囲の気温にかかわらず常に一定の温度を保つ。よって体温付近の温度の画素をプライバシー領域とする判断条件を用いることで、安定的に人体をぼかすことが可能となる。人体の形態、個人特定に繋がる情報を有する“人体”の領域が、そのまま表示されないことで、プライバシー保護が可能となる。

【0298】

なお、プライバシー領域の下限温度を２５℃とし、上限温度を４０℃としたが、必ずしもこの温度領域である必要はない。例えば下限温度に関して、その場所の温度（以下、環境温度）より２℃以上高い温度としてもよい。これにより、高温環境下でも、人体領域以外の領域の情報をより多く残すことが可能となる。つまり、プライバシー保護のための情報減を軽減することが可能となる。この場合、熱画像センサ設置場所の温度を計測する手段を備えていることが望ましい。

【0299】

また、環境温度をＴ℃とすると、下限温度を｛（３６＋Ｘ×Ｔ）÷（１＋Ｘ）｝℃としてもよい。つまり、３６℃（体温を想定）と環境温度の間の温度を下限温度とした。例えば、Ｘ＝１とすると、３６℃と環境温度の平均温度が下限温度となる。体温と環境温度の間の温度を境界温度とすることにより、高温環境下でも低温環境下でも、プライバシー保護による情報減を軽減することが可能となる。

【0300】

また、上記において、高温環境下と低温環境下でＸの値を変えてもよい。高温環境下ほど、Ｘを小さくすることが望ましい。低温環境下より高温環境下のほうが、ユーザの着衣量は小さいことが多く、着衣量が小さいほど着衣表面温度は、環境温度より体温に近くなるため、高温環境下ほどＸを小さくすることによって、最適な下限温度を設定できる。

【0301】

高温環境下でも低温環境下でもプライバシー保護のための情報減を抑えながら、着衣部位は安定的にプライバシー領域と判断し、プライバシー保護の安定性も高められる。

【0302】

また、下限の温度を３３℃と高めに設定してもよい。これによって、着衣部をプライバシー領域から省き、人の肌が露出している部分（画素のみ）をプライバシー領域とすることが可能となる。裸さえ表示されなければいいというユーザにとっては、最低限のプライバシー保護と最小限の情報減が両立可能となる。

【0303】

以上、いくつか下限温度を設定し、プライバシー領域判定方法を提案したが、上記方法で判定された画素のみをプライバシー領域とするのではなく、周辺の画素まで含めてプライバシー領域を設定してもよい。例えば、下限温度から上限温度の範囲に該当する画素の隣の画素もプライバシー領域としてもよい。より広範囲なプライバシー領域を設定することにより、より安定的にプライバシー保護が可能な熱画像となる。同様に、下限温度から上限温度の範囲に該当する画素の２つ隣の画素、３つ隣の画素もプライバシー領域としてもよい。

【0304】

また、図２９の例では、プライバシー領域を『ぼかす』という手段を用いて修正画像を生成したが、他の手段を用いて修正してもよい。例えば、プライバシー領域全域を『黒塗り』『白塗り』『斜線』『水玉模様』など、“非表示”（温度情報を表示しない）としてもよい。また、“一定の温度”（例えば全て３０℃に修正する）などの修正を行ってもよい。

【0305】

また、例えば、隣接する４つの画素のいずれかの温度を無作為に選択し、その温度を表示するなど、いわゆるモザイク処理を用いてもよい。

【0306】

以上による熱画像処理によって得られる修正画像の例について図を用いて示す。

【0307】

例えば、図３１に示すような熱画像を取得した場合、２５℃から４０℃の領域と、更に隣り合う画素もプライバシー領域として設定し、斜線で塗りつぶす熱画像処理を用いると、図３２のような修正画像が得られる。

【0308】

また、プライバシー領域の下限温度を３３℃とした場合は、図３３に示すように、人体の肌が露出している領域のみを斜線で塗りつぶしたような画像が得られる。

【0309】

また、人体の肌の温度も環境温度によって、多少の温度変動があるため、環境温度をもとに体表温度を推定し、下限温度を設定することがより望ましい。

【0310】

図３０は、熱画像処理部３００内の処理の一例について示したフローチャートである。図３０において、図２９と同様のステップには同一の符号を付しており、詳細な説明は省略する。

【0311】

また、図３０に示すように、プライバシー領域判定条件を『温度が２５℃から４０℃の範囲に入ること』と、『前フレームからの温度変化が１℃以上の画素』の２つの条件の両方が成り立つこととしてもよい。以下『前フレームからの温度変化が１℃以上の画素』であることの判定方法を説明する。

【0312】

ここでは画像取得部３０１が、取得した熱画像を記憶しておく熱画像記憶手段（図示せず）としての機能を含む。プライバシー領域判定部３０２は熱画像記憶手段に記憶されている計測時刻の異なる複数の熱画像を比較し、温度差が大きい画素を特定する。より具体的には、現フレームと前フレーム（現フレームより取得時刻が一つ前のフレーム）とを比較する。そしてプライバシー領域判定部３０２は、『温度が２５℃から４０℃の範囲に入ること』と、『前フレームからの温度変化が１℃以上の画素』の２つの条件の両方が成り立つ画素をプラバシー領域として決定する（Ｓ７２）。

【0313】

これにより、前フレームから物体が移動し、結果的に同じ画素の温度が１℃以上変化することで検出されるという条件を加えることで、図３４に示すように、人体以外の発熱体である家電などはプライバシー領域と判定せず、人体の画素のみをプライバシー領域とすることが可能となる。

【0314】

ここで比較対象を前フレームとしたが、数フレーム前の画像との比較であってもよく、数フレーム前から更に数フレーム前までの各フレームの画素の平均値との比較であってもよい。

【0315】

また、動く物体を除いた背景画像を画像メモリに保存し、背景差分法によって、動体を検出し、動体の領域のみをプライバシー領域としてもよい。より正確に、動体のみをプライバシー領域とすることが可能となる。

【0316】

また、上記方法で判定されたプライバシー領域が含まれる最小サイズの矩形領域をプライバシー領域としてもよい。これによって、図３５に示すように、ユーザの姿勢や体型などの情報も読み取れず、より広範囲な情報の漏洩を防ぐプライバシー保護が可能となる。

【0317】

以上、図２９、図３０に示すフローのように、プライバシー領域を判定し、プライバシー領域（画素）の温度情報を変更する、または、温度情報を非表示とする修正の例について紹介した。

【0318】

次に、図３６のフロー図に示す更に別の熱画像処理方法を示す。図３６において、図２９と同様のステップには同一の符号を付しており、詳細な説明は省略する。

【0319】

図３６に示す例では、まず、プライバシー領域判定部３０２は、熱画像センサ２０１で取得された熱画像から人体の一部（ここでは人の顔）を検出する（Ｓ８１）。そして画像取得部３０１（熱画像記憶手段）は、プライバシー領域判定部３０２が判定した人の顔の温度分布（以降、実顔温度分布と記す）を記憶する（Ｓ８２）。ここでは、画像取得部３０１（熱画像記憶手段）は、人の顔以外の領域の温度分布も含めて記憶してもよい。

【0320】

そして、修正画像生成部３０３は、実顔温度分布を図３７に示すような、顔イラストに重畳する（Ｓ８３）。実顔温度分布を重畳した顔イラストをもとの熱画像の顔の位置に上書きし修正画像とする（Ｓ８４）。

【0321】

ここでプライバシー領域判定部３０２が人の顔の領域を判定する方法は特に限定しない。プライバシー領域判定部が顔画像識別手段を含み、熱画像における顔の特徴を表す所定の条件を満たす領域を、顔の領域と識別してもよい。ここで顔の特徴を表す所定の条件とは、例えば顔形状における所定の温度条件であったり、所定の形状に関する条件などである。例えば顔の中では鼻の温度は他の顔領域の温度に比べて低く、額の温度は高いなど熱画像ならではの特徴が表れる。顔画像識別手段はこれらの特徴を利用して顔の位置を特定する。

【0322】

図３６のフローのような、熱画像処理によって、例えば図３８に示す熱画像は図３９に示す修正画像となる。

【0323】

このような、熱画像処理によって、例えば、顔の温度分布は伝えながら、誰の画像なのか分からなくすることが可能となる。

【0324】

例えば、熱画像センサでユーザ自身を撮影した熱画像を、離れた場所に居る皮膚科の医師などに提出し、顔温度が低下し、シミやシワが発生しやすい状態になっていないか、などについて相談し、顔温度を改善する顔エクササイズや、お勧め食事メニューなどのアドバイスを貰う場合に、ユーザは、自分自身の顔の形を隠しながら温度分布のみを伝えることが可能となる。

【0325】

つまり、プライバシー保護と、自身の顔温度分布情報を伝えることの両立が可能となる。

【0326】

また、別の用途として、例えば、ユーザの全身裸の熱画像を用いた『冷え性タイプ診断』などがある。冷え性には、いくつかのタイプがあり、タイプごとに対策も異なるため、全身の温度分布をもとに冷え性タイプを判定してもらうことで、より効果的な改善策をとることが可能となる。

【0327】

この場合は、図３６のフローの場合と同様に、ユーザの体の温度分布を『実体温度分布』として、図４０に示すような全身イラストに重畳することで、実際のユーザの裸熱画像を見られることなく、ユーザの体表温度分布を伝えることが可能となる。

【0328】

以上、顔や体などの肌の温度分布のみを、熱画像表示装置に表示し、形状情報を変更する例について示した。

【0329】

ここで、顔検出方法としては、例えば、背景差分によって動体を検出し、動体となる画素の内４０℃以下で、最も高温の領域を顔と判定してもよい。

【0330】

また、体温度検出方法としては、入浴後の全身温度が高い状態で全身裸熱画像を撮影し、３３℃以上の領域を体と判定してもよい。

【0331】

また、顔や体の境界線については、隣り合う画素との温度差が大きい画素を抽出し、境界線を引く方法を用いてもよい。

【0332】

また、上記で示した『実温度分布を重畳する』とは、イラスト上に実画像上の温度分布を再現する方法であればよいが、例えば、実画像上の輪郭とイラストの輪郭が一致するように各実画像の画素を引き伸ばす方法を用いてもよい。

【0333】

以上、本実施の形態の熱画像処理方法について示した。

【0334】

上記で示したように、本実施の形態の熱画像処理方法を用いることで、プライバシー領域（人体）の形状や温度分布の情報を修正しているが、例えば、修正前の本来の温度分布や形状の情報をもとに、画像認識技術を用いて個人を認識し、その人を示す名（個人名や家族での位置づけ：お父さんなど）を表示してもよい。

【0335】

プライバシーは保護しながら、情報を増やすことで、熱画像の用途を拡大することが可能となる。

【0336】

また、本実施の形態の熱画像処理方法は、いくつか用意された熱画像処理方法の中から、ユーザが自由に好みの熱画像処理方法を選択できる手段（ＵＩ）を備えていることが望ましい。

【0337】

例えば、本実施の形態にて紹介したように、プライバシー領域の判定条件や熱画像の修正方法について、ユーザ自身が選択できることが望ましい。用途によって適切なプライバシー保護と情報開示の両立が可能となる。

【0338】

また、ユーザは表示する熱画像の画素数、及び、配色を選択することも可能であることが望ましい。ユーザごとに、画素数や配色を選択することが可能となることで、個々のユーザが気になる情報開示量に調節することが可能となる。

【0339】

また、いくつかの動作モードなどを用意し、モードごとに熱画像処理の方法や表示される画素数などの情報が変わってもよい。

【0340】

例えば、美容モードでは、画素数は少なくし、色合いはグレースケールとし、形状を変える熱画像処理を行い、見守りモードでは、画素数は多くし、色合いはアイアンカラーとし、特定の温度領域の画素を非表示とする熱画像処理を行うなど、用途ごとに最適な熱画像処理や画素数、色合いの選択が可能となる。

【0341】

また、熱画像処理部３００は自動的にモードを判断するモード判定手段（図示せず）を備えていてもよい。

【0342】

モード判定手段は例えば、熱画像センサ２０１の近くに動体（人）が居る場合は、美容モードと判定して、画像取得部３０１、プライバシー領域判定部３０２、修正画像生成部３０３に図３６に示す処理を行う指示をする。一方、熱画像センサ２０１の遠くに動体（人）が居る場合は、見守りモードと判断して、画像取得部３０１、プライバシー領域判定部３０２、修正画像生成部３０３に、図２９または図３０に示す処理を行うように指示する。

【0343】

これによりユーザ自身がモード変更を行う手間が省ける。熱画像センサ２０１から動体（人）が近くに居るか遠くに居るかの判断は、例えば取得した熱画像において、プライバシー領域と判断された領域の画素数が、所定の閾値以上の場合に近くに居ると判断し、閾値未満の場合に遠くに居ると判断してもよい。また、その他のセンサ（人感センサや他の機器に搭載されているセンサ等）と連携して動体（人）が近くに居るか否かを判断してもよい。

【0344】

本実施の形態において、熱画像処理部３００は、熱画像センサ２０１に内蔵されてもよく、熱画像表示装置２０４に内蔵されてもよいが、ネットワーク２０２上にあるサーバ２０３内にあることが望ましい。これによって、熱画像センサ２０１、熱画像表示装置２０４がより小型で軽量となる。

【0345】

また、熱画像センサ２０１に内蔵される構成は、安全性が高いという観点で最も望ましい構成となる。

【0346】

また、図２８に示す熱画像センサ２０１は、単独で設置されているように記載されているが、必ずしも単独である必要はない。例えば、空気調和装置や加湿器などの家電に備えられていてもよく、洗面台や浴室などの設備に備えられていてもよい。

【0347】

また、本実施の形態の熱画像処理方法については、図２８に示すように熱画像センサと熱画像表示装置がネットワークを介して繋がっているシステム以外に、熱画像センサと熱画像表示装置が一体となっている装置に対しても用いられる。

【0348】

センサと表示装置一体型であっても、例えば、撮影した熱画像が別の第三者に見られる可能性もあり、また、第三者に確認させることで有効になる使用方法もあるため、本実施の形態に示すような熱画像処理方法を用いることが望ましい。必要な情報を残し、プライバシー保護との両立も可能となる。

【0349】

なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

【0350】

このように、本実施の形態にかかる熱画像処理方法は、熱画像に含まれるプライバシー性の高い情報を除去することが可能である。また、本実施の形態にかかる熱画像表示装置、及び、熱画像処理方法は、高齢者の見守りや、顔や体の皮膚温度分布の情報を用いた美容サービスなど様々な用途に用いることが可能となる。

【0351】

（その他の変形例）
以上、本開示の一つまたは複数の態様に係るセンシング方法、センシングシステムおよびそれらを備える空調機器、並びに、熱画像処理方法について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の一つまたは複数の態様の範囲内に含まれてもよい。例えば、以下のような場合も本開示に含まれる。

【0352】

（１）本開示では、熱画像取得部、識別部、提示部および受付部を備えたセンシングシステムおよびこれを備える空調機器について説明した。しかし、センシングシステムにおける識別部やその他の構成（提示部および受付部等）はソフトウェアとして別個の構成とすることも可能である。この場合、当該ソフトウェアを処理する主体は、空調機器に搭載される演算部であってもよいし、ＰＣ（パーソナルコンピュータ）やスマートホン等に含まれる演算部であってもよいし、センシングシステムおよびこれを備える空調機器とネットワークを介して接続されるクラウドサーバ等であってもよい。

【0353】

（２）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

【0354】

（３）上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Large Scale Integration：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。

【0355】

（４）上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。

【0356】

（５）本開示は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

【0357】

また、本開示は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータで読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。

【0358】

また、本開示は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

【0359】

また、本開示は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。

【0360】

また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

【0361】

（６）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

【0362】

本開示は、センシング方法、センシングシステムおよびそれらを備える空調機器に利用でき、特に、ペットエアコン、見守りエアコン、健康エアコン等の空調機器に搭載されるセンシング方法、センシングシステムおよびそれらを備える空調機器に利用可能である。

【符号の説明】

【0363】

１、１Ａ、１Ｂ、１Ｃ、１Ｄ、１Ｅ センシングシステム
１０、１０Ａ、１０Ｄ 最小構成部
１１ 熱画像取得部
１２、１２Ｄ 識別部
１３ 提示部
１４ 受付部
１５、１５Ａ 計測部
１６、１６Ａ、１６Ｂ 状態判定部
１７、１７Ａ、１７Ｂ、１７Ｄ、１７Ｅ 通知部
１８ 湿度情報取得部
１９、１９Ｂ、１９Ｄ、１９Ｅ 通知判定部
２０ 空調制御部
２１、２１Ｅ 分析部
１２１ 熱分布判定部
１２２ 対象物判定部
１２３ 対象物位置判定部
１４１ 登録受付部
１４２ 位置情報受付部
１４３ 修正受付部
１５１ 熱分布計測部
１５２ 湿度情報計測部
２０１ 熱画像センサ
２０２ ネットワーク
２０３ サーバ
２０４ 熱画像表示装置
３００ 熱画像処理部
３０１ 画像取得部
３０２ プライバシー領域判定部
３０３ 修正画像生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7A】

【図7B】

【図7C】

【図8】

【図9】

【図10】

【図11】

【図12A】

【図12B】

【図13】

【図14】

【図15】

【図16A】

【図16B】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】

【図39】

【図40】