特許第6962484号(P6962484)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ダイキン工業株式会社の特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】6962484
(24)【登録日】2021年10月18日
(45)【発行日】2021年11月5日
(54)【発明の名称】温度分布学習装置
(51)【国際特許分類】
   G01J 5/48 20060101AFI20211025BHJP
   G06T 7/00 20170101ALI20211025BHJP
   G01K 3/06 20060101ALN20211025BHJP
【FI】
   G01J5/48 A
   G06T7/00 350B
   !G01K3/06
【請求項の数】11
【全頁数】23
(21)【出願番号】特願2021-82694(P2021-82694)
(22)【出願日】2021年5月14日
【審査請求日】2021年6月30日
(31)【優先権主張番号】特願2020-112634(P2020-112634)
(32)【優先日】2020年6月30日
(33)【優先権主張国】JP
(73)【特許権者】
【識別番号】000002853
【氏名又は名称】ダイキン工業株式会社
(74)【代理人】
【識別番号】110000202
【氏名又は名称】新樹グローバル・アイピー特許業務法人
(72)【発明者】
【氏名】越後 富夫
(72)【発明者】
【氏名】田川 聖一
【審査官】 小澤 瞬
(56)【参考文献】
【文献】 特開平5−312381(JP,A)
【文献】 国際公開第2020/075244(WO,A1)
【文献】 特開2009−257617(JP,A)
【文献】 特開2018−49390(JP,A)
【文献】 米国特許出願公開第2020/0200423(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
F24F 11/00 − F24F 11/89
G01J 5/00 − G01J 5/62
G06N 3/00 − G06N 3/12
G06N 7/08 − G06N 99/00
(57)【特許請求の範囲】
【請求項1】
対象空間(80)の空中の少なくとも第1点の温度を含む温度分布(TD,TM)、を学習する温度分布学習装置(100)であって、
目的変数である前記温度分布と、説明変数である前記対象空間に関する熱画像(HI)と、を関連づけて学習する、学習モデル(LM)、
を備え、
前記学習モデルは、前記温度分布と前記熱画像とを含む教師データに基づいて学習する、
温度分布学習装置(100)。
【請求項2】
前記温度分布は、前記対象空間の空中の複数点の温度である、
請求項1に記載の温度分布学習装置(100)。
【請求項3】
請求項1又は2に記載の温度分布学習装置(100)の前記学習モデルを用いて、前記熱画像から、前記温度分布を推定する、温度分布推定部(30)と、
前記熱画像を取得する、取得部(20)と、
を備える、
温度分布推定装置(200)。
【請求項4】
前記温度分布推定部は、推定した前記温度分布に基づいて、当該推定した前記温度分布に含まれない、前記対象空間の空中の温度をさらに推定する、
請求項3に記載の温度分布推定装置。
【請求項5】
前記対象空間内の熱源(HS)の位置を特定する、熱源位置特定部(40)と、
前記熱源の影響による、前記熱源の周囲の温度変化を推定する、熱源影響推定部(50)と、
前記熱源影響推定部によって推定された、前記熱源の周囲の温度変化を、前記温度分布推定部によって推定された、前記対象空間の空中の温度に反映する、熱源影響反映部(60)と、
をさらに備える、
請求項4に記載の温度分布推定装置(200)。
【請求項6】
前記熱源位置特定部は、カメラ又は深度センサによって、前記熱源の位置を特定する、
請求項5に記載の温度分布推定装置(200)。
【請求項7】
前記熱源位置特定部は、人の位置を、前記熱源の位置として特定する、
請求項5又は6に記載の温度分布推定装置(200)。
【請求項8】
対象空間(80)の空中の少なくとも第1点の温度を含む温度分布(TD,TM)、を学習する温度分布学習方法であって、
目的変数である前記温度分布と、説明変数である前記対象空間に関する熱画像(HI)と、を関連づけて学習する、学習ステップ、
を備え、
前記学習ステップでは、前記温度分布と前記熱画像とを含む教師データに基づいて学習を行う、
温度分布学習方法。
【請求項9】
請求項8に記載の温度分布学習方法により、前記熱画像から、前記温度分布を推定する、温度分布推定ステップと、
前記熱画像を取得する、取得ステップと、
を備える、
温度分布推定方法。
【請求項10】
前記温度分布推定ステップでは、推定した前記温度分布に基づいて、当該推定した前記温度分布に含まれない、前記対象空間の空中の温度をさらに推定する、
請求項9に記載の温度分布推定方法。
【請求項11】
前記対象空間内の熱源(HS)の位置を特定する、熱源位置特定ステップと、
前記熱源の影響による、前記熱源の周囲の温度変化を推定する、熱源影響推定ステップと、
前記熱源影響推定ステップによって推定された、前記熱源の周囲の温度変化を、前記温度分布推定ステップにおいて推定された、前記対象空間の空中の温度に反映する、熱源影響反映ステップと、
をさらに備える、
請求項10に記載の温度分布推定方法。
【発明の詳細な説明】
【技術分野】
【0001】
温度分布学習装置に関する。
【背景技術】
【0002】
特許文献1(国際公開第2020−075244号)に示されているように、対象空間の熱画像と、空気調和機の吹出口の情報とを用いて、対象空間の温度分布を学習する技術がある。
【発明の概要】
【発明が解決しようとする課題】
【0003】
特許文献1では、対象空間に空気調和機がなければ、空気調和機の吹出口の情報が得られず、対象空間の温度分布を学習できない、という課題がある。
【課題を解決するための手段】
【0004】
第1観点の温度分布学習装置は、対象空間の空中の少なくとも第1点の温度を含む温度分布、を学習する。温度分布学習装置は、学習モデルを備える。学習モデルは、目的変数である温度分布と、説明変数である対象空間に関する熱画像と、を関連づけて学習する。学習モデルは、温度分布と熱画像とを含む教師データに基づいて学習する。
【0005】
第1観点の温度分布学習装置では、学習モデルは、目的変数である温度分布と、説明変数である対象空間に関する熱画像と、を関連づけて学習する。その結果、温度分布学習装置は、対象空間に空気調和機がなくても、対象空間の温度分布を学習することができる。なお、温度分布学習装置は、対象空間に空気調和機がある場合でも、空気調和機に関する情報を用いずに、又は、空気調和機に関する情報を併用して、対象空間の温度分布を学習することができる。
【0006】
第2観点の温度分布学習装置は、第1観点の温度分布学習装置であって、温度分布は、対象空間の空中の複数点の温度である。
【0007】
第2観点の温度分布学習装置では、温度分布は、対象空間の空中の複数点の温度である。その結果、温度分布学習装置は、対象空間に関する熱画像から、対象空間の空中の複数点の温度を推定する学習モデル、を学習することができる。
【0008】
第3観点の温度分布推定装置は、温度分布推定部と、取得部と、を備える。温度分布推定部は、第1観点又は第2観点の温度分布学習装置の学習モデルを用いて、熱画像から、温度分布を推定する。取得部は、熱画像を取得する。
【0009】
第3観点の温度分布推定装置では、温度分布推定部は、温度分布学習装置の学習モデルを用いて、熱画像から、温度分布を推定する。取得部は、熱画像を取得する。その結果、温度分布推定装置は、温度センサがなくても、熱画像から、温度分布を推定することができる。推定した温度分布は、例えば、空気調和機を制御するための判断材料として用いられる。
【0010】
第4観点の温度分布推定装置は、第3観点の温度分布推定装置であって、温度分布推定部は、推定した温度分布に基づいて、当該推定した温度分布に含まれない、対象空間の空中の温度をさらに推定する。
【0011】
第4観点の温度分布推定装置は、このような構成により、対象空間の任意の空中の温度を推定することができる。
【0012】
第5観点の温度分布推定装置は、第4観点の温度分布推定装置であって、熱源位置特定部と、熱源影響推定部と、熱源影響反映部と、をさらに備える。熱源位置特定部は、対象空間内の熱源の位置を特定する。熱源影響推定部は、熱源の影響による、熱源の周囲の温度変化を推定する。熱源影響反映部は、熱源影響推定部によって推定された、熱源の周囲の温度変化を、温度分布推定部によって推定された、対象空間の空中の温度に反映する。
【0013】
第5観点の温度分布推定装置では、熱源位置特定部は、対象空間内の熱源の位置を特定する。熱源影響推定部は、熱源の影響による、熱源の周囲の温度変化を推定する。熱源影響反映部は、熱源影響推定部によって推定された、熱源の周囲の温度変化を、温度分布推定部によって推定された、対象空間の空中の温度に反映する。その結果、温度分布推定装置は、熱源の影響が反映された、対象空間の空中の温度、を推定することができる。
【0014】
第6観点の温度分布推定装置は、第5観点の温度分布推定装置であって、熱源位置特定部は、カメラ又は深度センサによって、熱源の位置を特定する。
【0015】
第6観点の温度分布推定装置では、熱源位置特定部は、カメラ又は深度センサによって、熱源の位置を特定する。その結果、温度分布推定装置は、カメラ又は深度センサを用いて、熱源の位置を特定することができる。
【0016】
第7観点の温度分布推定装置は、第5観点又は第6観点のいずれかの温度分布推定装置であって、熱源位置特定部は、人の位置を、熱源の位置として特定する。
【0017】
第7観点の温度分布推定装置では、熱源位置特定部は、人の位置を、熱源の位置として特定する。その結果、温度分布推定装置は、人の影響が反映された、対象空間の空中の温度、を推定することができる。
【0018】
第8観点の温度分布学習方法は、対象空間の空中の少なくとも第1点の温度を含む温度分布、を学習する。温度分布学習方法は、学習ステップを備える。学習ステップは、目的変数である温度分布と、説明変数である対象空間に関する熱画像と、を関連づけて学習する。学習ステップでは、温度分布と熱画像とを含む教師データに基づいて学習を行う。その結果、温度分布学習方法は、任意の装置で実行され得る。
【0019】
第9観点の温度分布推定方法は、温度分布推定ステップと、取得ステップと、を備える。温度分布推定ステップは、第8観点の温度分布学習方法により、熱画像から、温度分布を推定する。取得ステップは、熱画像を取得する。その結果、温度分布推定方法は、任意の装置で実行され得る。
【0020】
第10観点の温度分布推定方法は、第9観点の温度分布推定方法であって、温度分布推定ステップでは、推定した温度分布に基づいて、当該推定した温度分布に含まれない、対象空間の空中の温度をさらに推定する。その結果、温度分布推定方法は、任意の装置で実行され得る。
【0021】
第11観点の温度分布推定方法は、第10観点の温度分布推定方法であって、熱源位置特定ステップと、熱源影響推定ステップと、熱源影響反映ステップと、をさらに備える。熱源位置特定ステップは、対象空間内の熱源の位置を特定する。熱源影響推定ステップは、熱源の影響による、熱源の周囲の温度変化を推定する。熱源影響反映ステップは、熱源影響推定ステップによって推定された、熱源の周囲の温度変化を、温度分布推定ステップにおいて推定された、対象空間の空中の温度に反映する。その結果、温度分布推定方法は、任意の装置で実行され得る。
【図面の簡単な説明】
【0022】
図1】温度分布学習装置及び温度分布推定装置の構成図である。
図2】温度分布学習処理の構成図である。
図3】温度分布推定処理の構成図である。
図4】温度分布学習処理時の対象空間の例を示す図である。
図5】温度分布推定処理時の対象空間の例を示す図である。
図6】グリッド平面の例を示す図である。
図7】学習精度の検証結果を示す図である。
図8】学習精度の検証結果を示す図である。
図9】温度マップを作成する過程のグリッド平面の例を示す図である。
図10】温度マップを作成する過程のグリッド平面の例を示す図である。
図11】温度マップの例を示す図である。
図12】温度マップを作成する過程のグリッド平面の例を示す図である。
図13】温度マップを作成する過程のグリッド平面の例を示す図である。
図14】温度マップを作成する過程のグリッド平面の例を示す図である。
図15】温度マップを作成する過程のグリッド平面の例を示す図である。
図16】温度マップの例を示す図である。
図17】温度分布学習処理のフローチャートである。
図18】温度分布推定処理のフローチャートである。
図19】補間処理結果の比較を示す図である。
図20】変形例1Eにおける温度分布学習処理の構成図である。
図21】変形例1Eにおける温度分布推定処理の構成図である。
図22】グリッド空間における温度分布の例を示す図である。
図23】直線上の温度を測定する方法の例を示す図である。
【発明を実施するための形態】
【0023】
(1)全体構成
図1は、温度分布学習装置100及び温度分布推定装置200の構成図である。図1に示すように、温度分布学習装置100と、温度分布推定装置200と、対象空間80の各機器81〜83とは、ネットワーク90を介して、通信可能に接続されている。本実施形態では、ネットワーク90は、インターネットである。しかし、温度分布学習装置100と、温度分布推定装置200と、対象空間80の各機器81〜83とが、通信可能に接続されてさえいれば、ネットワーク90は、インターネットに限定されない。例えば、温度分布学習装置100と、温度分布推定装置200とが、対象空間80と同一の建物内に設置されている場合、ネットワーク90は、有線又は無線LAN等であってもよい。また、温度分布学習装置100が、温度分布推定装置200に内蔵されている場合、温度分布学習装置100と、温度分布推定装置200とを接続するネットワーク90は、電子回路等であってもよい。
【0024】
(2)詳細構成
(2−1)対象空間
対象空間80は、例えば、オフィス空間である。図1に示すように、対象空間80には、サーモカメラ81、温度センサ82及び人検出カメラ83が設置されている。
【0025】
図4は、温度分布学習処理時の対象空間80の例を示す図である。また、図5は、温度分布推定処理時の対象空間80の例を示す図である。温度分布学習処理及び温度分布推定処理については、後述する。
【0026】
サーモカメラ81は、図4及び図5に示すように、対象空間80の天井から吊り上げるように設置されている。サーモカメラ81は、対象空間80の床、壁、窓、什器等の表面温度を疑似カラー表示した、熱画像HIを撮影する。熱画像HIは、グレースケール画像である。熱画像HIの各画素には、例えば、摂氏温度に関係する0から65535の整数が格納される。この整数は、例えば、少数第一位までの温度の数値を保持するために温度の実数値を10倍にしたものである。以下、温度分布学習処理において、温度分布学習装置100が取得する熱画像HIを、熱画像HI1と記載する。また、温度分布推定処理において、温度分布推定装置200が取得する熱画像HIを、熱画像HI2と記載する。
【0027】
温度センサ82は、図4に示すように、対象空間80の空中に設置されている。本実施形態では、複数の温度センサ82は、同じ高さに設置されている。当該高さは、例えば、床から100cm〜120cmである。図4には、例として、4つの温度センサ82が設置されている。温度センサ82は、設置された位置の温度を測定する。以下、複数の温度センサ82が測定した温度の組を、温度測定値TMと記載する。例えば、温度センサ82がN個ある場合、温度測定値TMは、N次元ベクトルとして表される。また、温度分布学習処理において、温度分布学習装置100が取得する温度測定値TMを、温度測定値TM1と記載する。温度分布推定処理において、温度分布推定装置200が推定する温度測定値TMを、温度測定値TM2と記載する。また、図4に示すように、温度センサ82と同じ高さにある平面を、2次元グリッドで分割したものを、グリッド平面GPと記載する。図4では、グリッド平面GPのグリッド線は、省略されている。本実施形態では、グリッド平面GPは、グリッド線によって分割された各マスに、高々1つの温度センサ82が存在するように構成される。図6は、グリッド平面GPの例を示す図である。図6では、温度センサ82は、丸印で示されている。図6に示すように、グリッド平面GPの各マスには、高々1つの温度センサ82が含まれている。
【0028】
人検出カメラ83は、図5に示すように、対象空間80の天井に設置される。本実施形態の人検出カメラ83は、全方位カメラである。人検出カメラ83は、対象空間80内の人の位置を検出し、その座標を位置データ831として出力する。本実施形態では、対象空間80内の人の位置を検出するために、人検出カメラ83を用いるが、例えば、深度センサやLiDAR(Light Detection and Ranging)を用いて、対象空間80内の人の位置を検出してもよい。
【0029】
(2−2)温度分布学習装置
温度分布学習装置100は、対象空間80の空中の少なくとも第1点の温度を含む温度分布TD、を学習する。本実施形態では、温度分布TDは、グリッド平面GPにおいて、温度センサ82が存在するマス内の代表点の温度である。学習時の代表点の温度は、対応する温度センサ82の測定値とする。学習時の代表点の温度は、例えば、シミュレーションによって算出した温度等を用いてもよい。以下、温度センサ82によって代表点の温度が測定されるマスを、「温度が定義されたマス」と記載することがある。また、マス内の代表点の温度を、「マスの温度」と記載することがある。そのため、温度分布TDは、学習のために温度が定義されたマス、の温度の分布である。本実施形態では、複数の温度センサ82が存在するため、温度分布学習装置100が学習する温度分布TDは、対象空間80の空中の複数の代表点の温度である。言い換えると、温度分布学習装置100が学習する温度分布TDは、複数の温度センサ82の温度測定値TM1である。
【0030】
以下、温度分布学習装置100が、後述する学習モデルLMを作成する処理を、温度分布学習処理と記載する。
【0031】
温度分布学習装置100は、図1に示すように、主として、学習部10を備える。
【0032】
温度分布学習装置100は、制御演算装置と記憶装置とを備える。制御演算装置には、CPU又はGPUといったプロセッサを使用できる。制御演算装置は、記憶装置に記憶されているプログラムを読み出し、このプログラムに従って所定の画像処理や演算処理を行う。さらに、制御演算装置は、プログラムに従って、演算結果を記憶装置に書き込んだり、記憶装置に記憶されている情報を読み出したりすることができる。学習部10は、制御演算装置により実現される各種の機能ブロックである。
【0033】
(2−2−1)学習部
温度分布学習装置100は、学習モデルLMを備える。学習部10は、目的変数である温度分布TDと、説明変数である対象空間80に関する熱画像HI1と、を関連づけて学習する、学習モデルLMを作成する。言い換えると、学習部10は、温度分布TDと熱画像HI1との対応を教師データとして、学習モデルLMを作成する。
【0034】
図2は、温度分布学習処理の構成図である。学習部10は、図2に示すように、学習データ11の説明変数として、図4に示すサーモカメラ81から、熱画像HI1を取得する。熱画像HI1は、所定期間における、所定の時間間隔での、対象空間80の熱画像HI1である。所定期間は、例えば、1か月である。所定の時間間隔は、例えば、5分である。学習部10は、熱画像HI1を、所定の時間間隔ごとにリアルタイムに取得してもよいし、所定期間分をまとめて取得してもよい。
【0035】
また、学習部10は、図2に示すように、学習データ11の目的変数として、図4に示す複数の温度センサ82から、温度測定値TM1を取得する。学習部10は、上記で取得した熱画像HI1と同時刻の温度測定値TM1を取得する。
【0036】
学習部10は、学習データ11を取得すると、図2に示すように、学習モデルLMを作成する。本実施形態では、学習モデルLMは、通常のニューラルネットワークである。しかし、学習モデルLMは、通常のニューラルネットワークに限定されず、他の学習モデルLMを用いてもよい。
【0037】
(2−2−2)検証
ここでは、学習モデルLMを、通常のニューラルネットワークとしたときの、学習精度を検証した。本検証では、38個の温度センサ82を、対象空間80に設置した。学習データ11の内、訓練データは、2020年4月1日の0時から、2020年4月30日の24時までの、5分間隔のデータである。テストデータは、2020年5月1日の0時から、2020年5月12日の24時までの、5分間隔のデータである。
【0038】
また、本検証では、学習モデルLMとして、3層のニューラルネットワークを用いた。入力層には、解像度が80×80である熱画像HI1を、6400次元に変形したものが入力される。出力層には、38次元ベクトルである温度測定値TM1が出力される。入力層、中間層及び出力層は、全結合されている。
【0039】
図7及び図8は、学習精度の検証結果を示す図である。図7及び図8は、ある1つの温度センサ82についての検証結果である。図7及び図8の縦軸は、予測温度と実測温度との絶対誤差である。絶対誤差は、予測温度と実測温度との差、の絶対値である、図7及び図8の横軸は、テストデータの期間の一部である。図7に示すように、2020年5月1日から2020年5月5日の間では、絶対誤差は、高々1.5℃であった。一方、図8に示すように、2020年5月9日から2020年5月12日の間では、絶対誤差は、全体的には高々1℃であるが、一部、2020年5月11日12時頃に、絶対誤差が約2.5℃となった。
【0040】
(2−3)温度分布推定装置
温度分布推定装置200は、学習モデルLM等を用いて、対象空間80の空中の温度を推定する。言い換えると、温度分布推定装置200は、対象空間80の温度マップHMを作成する。温度マップHMは、グリッド平面GPの各マスに、各マスに対応する温度を入力したものである。温度マップHMは、各マスを画素とみなすことで、各マスの温度の高低を、例えば、グレースケールの濃淡で表現した画像としても表せる。また、温度マップHMは、各マスを画素とみなすことで、各マスの温度の高低を、例えば、温度が高い順に赤、黄及び青で表現した、疑似カラー表示画像としても表せる。温度分布推定装置200は、対象空間80内の人の影響を反映した温度マップHMとして、温度マップHM4を出力する。また、温度分布推定装置200は、対象空間80内の人の影響を反映しない温度マップHMとして、温度マップHM1を出力する。対象空間80内の人の影響を反映する場合とは、グリッド平面GP上の同一マスに、人が所定時間留まっているとみなせる場合である。
【0041】
以下、温度分布推定装置200が、温度マップHMを出力する処理を、温度分布推定処理と記載する。
【0042】
温度分布推定装置200は、図1に示すように、主として、取得部20と、温度分布推定部30と、熱源位置特定部40と、熱源影響推定部50と、熱源影響反映部60と、を備える。
【0043】
温度分布推定装置200は、制御演算装置と記憶装置とを備える。制御演算装置には、CPU又はGPUといったプロセッサを使用できる。制御演算装置は、記憶装置に記憶されているプログラムを読み出し、このプログラムに従って所定の画像処理や演算処理を行う。さらに、制御演算装置は、プログラムに従って、演算結果を記憶装置に書き込んだり、記憶装置に記憶されている情報を読み出したりすることができる。取得部20と、温度分布推定部30と、熱源位置特定部40と、熱源影響推定部50と、熱源影響反映部60とは、制御演算装置により実現される各種の機能ブロックである。
【0044】
(2−3−1)取得部
取得部20は、図3に示すように、図5に示すサーモカメラ81から、熱画像HI2を取得する。取得部20は、所定の時間間隔で、熱画像HI2を取得する。所定の時間間隔は、例えば、5分である。
【0045】
(2−3−2)温度分布推定部
温度分布推定部30は、温度分布学習装置100が作成した学習モデルLMを用いて、熱画像HI2から、温度分布TDを推定する。推定する温度分布TDは、複数の温度センサ82の温度測定値TM2である。温度分布推定部30は、図3に示すように、熱画像HI2を学習モデルLMに入力し、温度測定値TM2を出力する。
【0046】
さらに、温度分布推定部30は、推定した温度分布TDに基づいて、当該推定した温度分布TDに含まれない、対象空間80の空中の温度を推定する。言い換えると、温度分布推定部30は、図3に示すように、温度測定値TM2から、温度マップHM1を作成する。温度マップHM1は、対象空間80内の人の影響を反映していない温度マップHMである。図9及び図10は、温度マップHM1を作成する過程のグリッド平面GP、の例を示す図である。
【0047】
まず、温度分布推定部30は、グリッド平面GPのマスの内、温度センサ82が含まれているマス(温度センサマス82m)に、対応する温度測定値TM2を入力する。図9には、例として、5×5のグリッド平面GPに、4つの温度センサマス82m1〜82m4が記載されている。
【0048】
次に、温度分布推定部30は、温度が入力されていないマスに温度を補間する、補間処理を行う。本実施形態の補間処理では、温度分布推定部30は、補間されるマス(補間マスIm)に、当該補間マスImに最も近い温度センサマス82m、の温度を入力する。当該補間マスImに最も近い温度センサマス82m、が複数ある場合、当該補間マスImには、これらの複数の温度の平均値を入力する。ここでいう、補間マスImに最も近い温度センサマス82mとは、グリッド平面GPのマスを、補間マスImから、縦、横又は斜めに辿ったときに、辿ったマスの数が最も少ない温度センサマス82mである。例えば、図10の補間マスIm1に最も近い温度センサマス82mは、温度センサマス82m2であるため、補間マスIm1には、温度センサマス82m2の温度である「22℃」が入力されている。また、補間マスIm2に最も近い温度センサマス82mは、温度センサマス82m1,82m2であるため、補間マスIm2には、温度センサマス82m1,82m2の温度の平均値である「21℃」が入力されている。また、補間マスIm3に最も近い温度センサマス82mは、温度センサマス82m1〜82m4であるため、補間マスIm3には、温度センサマス82m1〜82m4の温度の平均値である「22.8℃」が入力されている。なお、補間処理は、本実施形態のものに限定されず、例えば、バイリニア法、ニアレストネイバー法、バイキュービック法等、他の補間処理を行ってもよい。
【0049】
温度分布推定装置200は、温度マップHMに、対象空間80内の人の影響を反映しない場合、温度マップHM1を出力する。
【0050】
図11は、温度マップHM1の例を示す図である。図11では、各マスの温度の高低を、グレースケールの濃淡で表現している。
【0051】
(2−3−3)熱源位置特定部
熱源位置特定部40は、対象空間80内の熱源HSの位置を特定する。本実施形態では、熱源位置特定部40は、人の位置を、熱源HSの位置として特定する。また、熱源位置特定部40は、カメラ又は深度センサによって、熱源HSの位置を特定する。本実施形態では、熱源位置特定部40は、人検出カメラ83によって、人の位置を特定する。
【0052】
熱源位置特定部40は、図3に示すように、図5に示す人検出カメラ83から、対象空間80内の人(熱源HS)の位置データ831を取得する。熱源位置特定部40は、さらに温度マップHM1を取得し、位置データ831と温度マップHM1とを照らし合わせて、温度マップHM1の人が存在するマス(人のマスHSm)を特定する。このとき、熱源位置特定部40は、人を区別して、人のマスHSmを特定する。
【0053】
熱源位置特定部40は、図3に示すように、温度マップHM2を作成する。温度マップHM2は、温度マップHM1内の人のマスHSmを特定したものである。
【0054】
(2−3−4)熱源影響推定部
熱源影響推定部50は、熱源HSの影響による、熱源HSの周囲の温度変化を推定する。
【0055】
具体的には、熱源影響推定部50は、図3に示すように、温度マップHM2を更新して、温度マップHM3を作成する。温度マップHM3は、温度マップHM2に対して、人の周囲の温度変化を推定した温度マップHMである。
【0056】
熱源影響推定部50は、同一人が、温度マップHM2の同一のマスに、所定時間留まっているとみなせる場合、人のマスHSmの温度に基づいて、人の近傍領域のマス(近傍マスNRm)の温度を更新する。これは、同一人が、同一のマスに所定時間留まっていれば、当該人から放出される熱量によって、当該人の周囲の温度が変化すると考えられるためである。本実施形態では、熱源影響推定部50は、前回取得した温度マップHM2と、今回取得した温度マップHM2とを比較し、同一人が、同一のマスにいる場合に、同一人が、同一のマスに所定時間留まっているとみなす。図12及び図13は、温度マップHM3を作成する過程のグリッド平面GP、の例を示す図である。
【0057】
まず、熱源影響推定部50は、温度マップHM2の人のマスHSmの温度を、人の温度に更新する。本実施形態では、人の温度は、36℃である。図12では、人のマスHSmに、「36℃」が入力されている。
【0058】
次に、熱源影響推定部50は、熱放射マスTRmの温度を更新する。ここで、人から放出される熱量は、空気の流れが無い場合、全方位に対して均等であるとする。また、人から放出される熱量は、人からの距離の2乗に反比例させる。また、人の近傍領域の温度変化は、人から近傍領域までの距離と、近傍領域の更新前の温度と、によって生じさせる。また、近傍領域において、加わった熱量から温度変化への変換は、人の温度を超えないように、シグモイド関数等で非線形変換を行う。また、熱源HS(人)は独立なので、マルコフ性があり、熱量が加わった領域からさらに熱量が放出され、熱量を放出した領域は、温度が低下するが、元の熱源HS(人)の温度は低下しないとする。
【0059】
実際のオフィスでは、空気調和機が作動している場合、気流が発生し、全方位に均等な熱伝導にはならない。気流は、空気調和機の設置位置、オフィスの什器及び風量等によって変化する。しかし、定常状態では、気流が安定するため、熱伝導の異方性を事前に学習できる。異方性のパラメータを推定するモデルの事前学習の具体例は、人が一定時間以上滞留している場合において、空気調和機の制御パラメータと、滞留人数と、滞留時間とを説明変数とし、4または8方向の伝導熱量を決定するパラメータを目的変数として、推定モデルを訓練することである。人が現れる直前の温度の分布と、滞留後の温度の分布とから、目的変数である4または8方向の伝導熱量を決定するためのパラメータを算出し、教師データとする。学習したマスでは、人の滞留が検出されたとき、空気調和機の制御パラメータ、滞留人数及び滞留時間によって、伝導熱量が推定され、定常時からの温度を修正することができる。学習していないマスでは、周辺の学習したマスに上記説明変数を入力したときの推定値を複数求め、内挿することで、伝導熱量を算出するためのパラメータを得て、伝導熱量を決定でき、温度修正が可能になる。
【0060】
図13では、上記の条件を考慮した熱伝搬モデルによって、温度マップHM2の温度を更新している。図13では、白抜きで温度を表示しているマスを近傍マスNRmとし、簡単のため、近傍マスNRmの温度だけを更新している。
【0061】
(2−3−5)熱源影響反映部
熱源影響反映部60は、熱源影響推定部50によって推定された、熱源HSの周囲の温度変化を、温度分布推定部30によって推定された、対象空間80の空中の温度に反映する。具体的には、熱源影響反映部60は、図3に示すように、温度マップHM3を更新して、温度マップHM4を作成する。温度マップHM4は、対象空間80内の人の影響を反映した温度マップHMである。図14及び図15は、温度マップHM4を作成する過程のグリッド平面GP、の例を示す図である。
【0062】
熱源影響反映部60は、温度マップHM3の「温度センサマス82m、及び、熱源影響推定部50によって温度が更新されたマス」以外のマスを、補間マスImとみなして、再度補間処理を行う。本実施形態では、熱源影響反映部60は、温度分布推定部30が行った補間処理と同様の補間処理を行う。図14では、図13の温度マップHM3のマスの内、「温度センサマス82m1〜82m4、人のマスHSm、及び、近傍マスNRm」以外のマスを、補間マスImとみなして空にしている。図15では、補間処理によって、補間マスImが埋められている。
【0063】
温度分布推定装置200は、温度マップHMに、対象空間80内の人の影響を反映する場合、温度マップHM4を出力する。
【0064】
図16は、温度マップHM4の例を示す図である。図16では、各マスの温度の高低を、グレースケールの濃淡で表現している。
【0065】
(3)処理
(3−1)温度分布学習処理
温度分布学習処理を、図17のフローチャートを用いて説明する。
【0066】
温度分布学習装置100は、ステップS1に示すように、図4に示すサーモカメラ81から、熱画像HI1を取得する。熱画像HI1は、所定期間における、所定の時間間隔での対象空間80の熱画像HI1である。
【0067】
温度分布学習装置100は、熱画像HI1を取得すると、ステップS2に示すように、図4に示す複数の温度センサ82から、温度測定値TM1を取得する。温度測定値TM1は、取得した熱画像HI1と同時刻のものである。
【0068】
温度分布学習装置100は、温度測定値TM1を取得すると、ステップS3に示すように、熱画像HI1を説明変数とし、温度測定値TM1を目的変数として、学習モデルLMを作成する。
【0069】
(3−2)温度分布推定処理
温度分布推定処理を、図18のフローチャートを用いて説明する。
【0070】
温度分布推定装置200は、ステップS11に示すように、図5に示すサーモカメラ81から、熱画像HI2を取得する。
【0071】
温度分布推定装置200は、熱画像HI2を取得すると、ステップS12に示すように、温度分布学習装置100が作成した学習モデルLMを用いて、熱画像HI2から、温度測定値TM2を推定する。
【0072】
温度分布推定装置200は、温度測定値TM2を推定すると、ステップS13に示すように、補間処理によって、対象空間80内の人の影響を反映していない温度マップHM1、を作成する。
【0073】
温度分布推定装置200は、温度マップHM1を作成すると、ステップS14に示すように、図5に示す人検出カメラ83から、対象空間80内の人の位置データ831を取得する。
【0074】
温度分布推定装置200は、対象空間80内の人の位置データ831を取得すると、ステップS15に示すように、温度マップHM1内の人の位置を特定した温度マップHM2、を作成する。
【0075】
温度分布推定装置200は、温度マップHM2を作成すると、ステップS16に示すように、前回作成した温度マップHM2と、今回作成した温度マップHM2とを比較し、同一人が、同一のマスにいるか否かを判断する。
【0076】
温度分布推定装置200は、同一人が、同一のマスにいる場合、ステップS17に進む。温度分布推定装置200は、同一人が、同一のマスにいない場合、ステップS20に進む。
【0077】
ステップS16からステップS17に進んだ場合、温度分布推定装置200は、対象空間80内の人の周囲の温度変化を推定した温度マップHM3を作成する。
【0078】
温度分布推定装置200は、温度マップHM3を作成すると、ステップS18に示すように、対象空間80内の人の影響を反映した温度マップHM4、を作成する。
【0079】
温度分布推定装置200は、温度マップHM4を作成すると、ステップS19に示すように、温度マップHM4を出力する。
【0080】
ステップS16からステップS20に進んだ場合、温度分布推定装置200は、人の影響による周囲の温度変化はないとして、温度マップHM1を出力する。
【0081】
図18に示すように、温度分布推定処理は、取得部20が、熱画像HI2を取得する度に行われる。そのため、温度分布推定装置200は、取得部20が、熱画像HI2を取得する所定の時間間隔ごとに、温度マップHM1又は温度マップHM4を出力する。
【0082】
(4)特徴
(4−1)
対象空間に設置されたサーモカメラによる熱画像から、直接対象空間の温度分布を知ることはできない。サーモカメラは、物体表面の輻射熱から、当該物体表面の温度を測定するためである。そのため、例えば、対象空間の熱画像と、空気調和機の吹出口の情報とを用いて、対象空間の温度分布を学習する技術がある。
【0083】
しかし、対象空間に空気調和機がなければ、空気調和機の吹出口の情報が得られず、対象空間の温度分布を学習できない、という課題がある。
【0084】
本実施形態の温度分布学習装置100では、学習モデルLMは、目的変数である温度分布TDと、説明変数である対象空間80に関する熱画像HIと、を関連づけて学習する。その結果、温度分布学習装置100は、対象空間80に空気調和機がなくても、対象空間80の温度分布TDを学習することができる。なお、温度分布学習装置100は、対象空間80に空気調和機がある場合でも、空気調和機に関する情報を用いずに、又は、空気調和機に関する情報を併用して、対象空間80の温度分布TDを学習することができる。
【0085】
(4−2)
本実施形態の温度分布学習装置100では、温度分布TDは、対象空間80の空中の複数点の温度測定値TM1である。その結果、温度分布学習装置100は、対象空間80に関する熱画像HIから、対象空間80の空中の複数点の温度測定値TMを推定する学習モデルLM、を学習することができる。
【0086】
(4−3)
従来、対象空間に複数の温度センサを設置し、これらの温度センサに基づいて、対象空間の温度分布を推定する技術がある。推定された温度分布は、空気調和機の制御等に利用される。
【0087】
しかし、推定する温度分布の精度は、設置する温度センサの数量によるため、高精度な温度分布を推定するには、多数の温度センサの設置が必要である。そのため、高精度な温度分布を推定するには、対象空間が不便な空間となり、温度センサの設置コストも増加する、という課題がある。
【0088】
本実施形態の温度分布推定装置200では、温度分布推定部30は、温度分布学習装置100の学習モデルLMを用いて、熱画像HIから、温度分布TDを推定する。取得部20は、熱画像HI2を取得する。その結果、温度分布推定装置200は、温度センサ82がなくても、熱画像HI2から、温度分布TDを推定することができる。
【0089】
(4−4)
本実施形態の温度分布推定装置200では、温度分布推定部30は、推定した温度分布TDに基づいて、当該推定した温度分布TDに含まれない、対象空間80の空中の温度をさらに推定する。その結果、温度分布推定装置200は、対象空間80の任意の空中の温度を推定することができる。
【0090】
(4−5)
本実施形態の温度分布推定装置200では、熱源位置特定部40は、対象空間80内の熱源HSの位置を特定する。熱源影響推定部50は、熱源HSの影響による、熱源HSの周囲の温度変化を推定する。熱源影響反映部60は、熱源影響推定部50によって推定された、熱源HSの周囲の温度変化を、温度分布推定部30によって推定された、対象空間80の空中の温度に反映する。その結果、温度分布推定装置200は、熱源HSの影響が反映された、対象空間80の空中の温度、を推定することができる。
【0091】
対象空間80内の気流が一定である場合、構造物と空中の対象である一点の関係は、空気の熱伝導だけで表現され、距離の異なる多数の構造物表面温度から決定できる。また、多数の空中対象点の温度は、構造物からの距離、関係付ける熱伝導経路が異なるため、対象点ごとに関係付けることで推定可能となる。
【0092】
(4−6)
本実施形態の温度分布推定装置200では、熱源位置特定部40は、カメラ又は深度センサによって、熱源HSの位置を特定する。その結果、温度分布推定装置200は、カメラ又は深度センサを用いて、熱源HSの位置を特定することができる。
【0093】
(4−7)
本実施形態の温度分布推定装置200では、熱源位置特定部40は、人の位置を、熱源HSの位置として特定する。その結果、温度分布推定装置200は、人の影響が反映された、対象空間80の空中の温度、を推定することができる。
【0094】
(5)変形例
(5−1)変形例1A
本実施形態では、温度分布学習装置100は、温度分布学習処理を行った。しかし、温度分布学習処理は、温度分布学習方法として捉えてもよい。
【0095】
具体的には、温度分布学習方法は、対象空間80の空中の少なくとも第1点の温度を含む温度分布TD、を学習する。温度分布学習方法は、学習ステップを備える。学習ステップは、目的変数である温度分布TDと、説明変数である対象空間80に関する熱画像HIと、を関連づけて学習する。学習ステップでは、温度分布TDと熱画像HIとを含む教師データに基づいて学習を行う。
【0096】
学習ステップは、温度分布学習処理の学習部10の機能に相当する。また、学習ステップは、図17のステップS1〜ステップS3に相当する。
【0097】
その結果、温度分布学習方法は、任意の装置で実行され得る。
【0098】
(5−2)変形例1B
本実施形態では、温度分布推定装置200は、温度分布推定処理を行った。しかし、温度分布推定処理は、温度分布推定方法として捉えてもよい。
【0099】
具体的には、温度分布推定方法は、温度分布推定ステップと、取得ステップと、を備える。温度分布推定ステップは、温度分布学習方法により、熱画像HIから、温度分布TDを推定する。温度分布推定ステップでは、推定した温度分布TDに基づいて、当該推定した温度分布TDに含まれない、対象空間80の空中の温度をさらに推定する。取得ステップは、熱画像HIを取得する。
【0100】
温度分布推定方法は、熱源位置特定ステップと、熱源影響推定ステップと、熱源影響反映ステップと、をさらに備える。熱源位置特定ステップは、対象空間80内の熱源HSの位置を特定する。熱源影響推定ステップは、熱源HSの影響による、熱源HSの周囲の温度変化を推定する。熱源影響反映ステップは、熱源影響推定ステップによって推定された、熱源HSの周囲の温度変化を、温度分布推定ステップにおいて推定された、対象空間80の空中の温度に反映する。
【0101】
取得ステップは、温度分布推定処理の取得部20の機能に相当する。また、取得ステップは、図18のステップS11に相当する。
【0102】
温度分布推定ステップは、温度分布推定処理の温度分布推定部30の機能に相当する。また、温度分布推定ステップは、図18のステップS12及びステップS13に相当する。
【0103】
熱源位置特定ステップは、温度分布推定処理の熱源位置特定部40の機能に相当する。また、熱源位置特定ステップは、図18のステップS14及びステップS15に相当する。
【0104】
熱源影響推定ステップは、温度分布推定処理の熱源影響推定部50の機能に相当する。また、熱源影響推定ステップは、図18のステップS17に相当する。
【0105】
熱源影響反映ステップは、温度分布推定処理の熱源影響反映部60の機能に相当する。また、熱源影響反映ステップは、図18のステップS18に相当する。
【0106】
その結果、温度分布推定方法は、任意の装置で実行され得る。
【0107】
(5−3)変形例1C
本実施形態では、温度分布推定部30及び熱源影響反映部60は、温度マップHMの温度が埋められていない補間マスImに温度を補間する、補間処理を行った。本実施形態の補間処理では、補間マスImに、当該補間マスImに最も近い温度センサマス82m、の温度を入力した。当該補間マスImに最も近い温度センサマス82m、が複数ある場合、当該補間マスImには、これらの複数の温度の平均値を入力した。
【0108】
しかし、補間処理には、GAN(Generative Adversarial Network、敵対的生成ネットワーク)を応用した、DCGAN(Deep Convolutional GAN)、SRGAN(Super Resolution GAN)、TecoGAN(Temporally Coherent GAN)等を用いてもよい。その結果、温度分布推定部30及び熱源影響反映部60は、本実施形態の補間処理よりも、高精細な温度マップHMを作成することができる。
【0109】
図19は、補間処理結果の比較を示す図である。図19の左側には、38個の温度センサマス82mを有した、13×13のグリッド平面GPを記載している。温度センサマス82mは、丸印で示されている。これらの温度センサ82の温度測定値TMに基づき、本実施形態の補間処理を行って作成した温度マップHMが、右上の画像である。これに対し、TecoGANを用いて作成した温度マップHMが、右下の画像である。右下の画像は、右上の画像よりも、高精細な画像であることがわかる。
【0110】
(5−4)変形例1D
本実施形態では、学習モデルLMは、通常のニューラルネットワークであった。しかし、学習モデルLMは、特に、畳み込みニューラルネットワーク(CNN)であってもよい。CNNは、入力が画像である場合に効果を発揮するため、より予測精度の高い学習モデルLMを作成できる可能性がある。
【0111】
CNNは、例えば、ResNet(Residual Network)等を用いる。入力層には、熱画像HIが入力される。中間層の後半は、全結合層とする。出力層には、温度測定値TMが、ベクトルとして出力される。
【0112】
(5−5)変形例1E
本実施形態では、温度分布学習装置100は、サーモカメラ81から取得した熱画像HI1と、複数の温度センサ82から取得した温度測定値TM1と、を関連付けて学習した。
【0113】
しかし、温度分布学習装置100は、まず、温度測定値TM1から、補間処理によって温度マップHM0を作成し、次に、温度マップHM0と、熱画像HI1と、を関連付けて学習してもよい。
【0114】
図20は、本変形例における温度分布学習処理の構成図である。図20に示すように、学習部10は、図2と異なり、温度測定値TM1を取得すると、補間処理によって、温度マップHM0を作成する。学習部10は、温度マップHM0と、熱画像HI1と、を関連付けて学習し、学習モデルLMを作成する。
【0115】
その結果、温度分布推定装置200は、作成された学習モデルLMに、熱画像HI2を入力することで、直接、対象空間80内の人の影響を反映していない温度マップHM1、を出力することができる。
【0116】
図21は、本変形例における温度分布推定処理の構成図である。図21に示すように、温度分布推定部30は、図3と異なり、熱画像HI2を学習モデルLMに入力し、温度マップHM1を出力する。
【0117】
(5−6)
本実施形態では、グリッド平面GPにおいて、マス単位で1つの温度を定義した。しかし、一般には、グリッド空間GSにおいて、任意の単位で1つの温度を定義してもよい。図22は、グリッド空間GSにおける温度分布TDの例を示す図である。グリッド空間GSは、対象空間80を、4×4×4のブロックに分割したものである。この場合、1つの温度を定義する単位は、例えば、単位ブロックUB1のように、直線状にブロックをつなげたものであってもよい。また、1つの温度を定義する単位は、例えば、単位ブロックUB2のように、平面状にブロックをつなげたものであってもよい。また、1つの温度を定義する単位は、例えば、単位ブロックUB3のように、立方体状にブロックを積み上げたものであってもよい。
【0118】
単位ブロックUBの温度は、例えば、単位ブロックUBを構成するそれぞれのブロックに温度センサ82を設置し、それらが測定した温度の平均値として定義してもよい。また、例えば、単位ブロックUB3においては、単位ブロックUB3の中心点に温度センサ82を設置し、当該温度センサ82の測定値を、単位ブロックUB3の温度として定義してもよい。
【0119】
また、例えば、単位ブロックUB1においては、超音波USを用いて直線上の温度を測定し、測定した温度を、単位ブロックUB1の温度として定義してもよい。図23は、直線上の温度を測定する方法の例を示す図である。図23は、図22のグリッド空間GSにおいて、上下方向に積まれた4つの単位ブロックUB1の各温度を測定する方法を示している。図23には、上下方向に積まれた4つの単位ブロックUB1を、右方向から見た図が描かれている。単位ブロックUB1は、上から、単位ブロックUB11、単位ブロックUB12、単位ブロックUB13、及び単位ブロックUB14と記載する。各単位ブロックUB1には、超音波生成装置84が設置されている。具体的には、単位ブロックUB11には、前後方向の端に、それぞれ超音波生成装置84a,84b1が設置されている。単位ブロックUB12には、後方向の端に、超音波生成装置84b2が設置されている。単位ブロックUB13には、後方向の端に、超音波生成装置84b3が設置されている。単位ブロックUB14には、後方向の端に、超音波生成装置84b4が設置されている。超音波生成装置84は、直線状の超音波USを送受信することができる。具体的には、超音波生成装置84aは、超音波生成装置84b1〜84b4に対し、超音波USを送信する。超音波生成装置84b1〜84b4は、超音波生成装置84aから超音波USを受信すると、超音波生成装置84aに対し、超音波USを送信する。超音波生成装置84aと、超音波生成装置84biとの間を往復する超音波USを超音波USiとする。iは1から4の整数であり、超音波US1〜US4の種類を表す。また、超音波USiが単位ブロックUB1jを通過するときの片道の距離をlij(m)(図23には、代表してl41〜l44を記載している。)、単位ブロックUB1jにおける超音波USの速さをv(m/s)、超音波USiが往復する時間をτ(s)、とする。jは、1から4の整数であり、単位ブロックUB11〜UB14の種類を表す。このとき、距離、速さ、及び時間の関係から、以下の数1が成り立つ。
【0120】
【数1】
【0121】
数1において、τは、超音波生成装置84aによって測定可能である。また、lijは、超音波生成装置84の配置と、単位ブロックUBの定義とから、測定可能である。そのため、数1は、vについての連立方程式である。数1を、例えば、最小二乗法等によって解くと、vが求まる。一方、超音波USの速さvは、通過する単位ブロックUB1j内の空気の温度T(degC)の影響を受ける。例えば、vと、Tとの間には、以下の数2が成り立つと考えられる。
【0122】
【数2】
【0123】
そのため、数1で求めたvを、数2に代入することにより、Tが求まる。このTを、単位ブロックUB1jの温度として定義することができる。
【0124】
温度分布推定装置200は、例えば、本実施形態と同様にして、温度が定義された単位ブロックUBの温度を推定し、推定された単位ブロックUBの温度から、周りのブロックの温度を推定(補間)する。
【0125】
(5−7)
以上、本開示の実施形態を説明したが、特許請求の範囲に記載された本開示の趣旨及び範囲から逸脱することなく、形態や詳細の多様な変更が可能なことが理解されるであろう。
【符号の説明】
【0126】
20 取得部
30 温度分布推定部
40 熱源位置特定部
50 熱源影響推定部
60 熱源影響反映部
80 対象空間
100 温度分布学習装置
200 温度分布推定装置
HI 熱画像
HS 熱源
LM 学習モデル
TD 温度分布
TM 温度測定値(温度分布)
【先行技術文献】
【特許文献】
【0127】
【特許文献1】国際公開第2020−075244号
【要約】
【課題】対象空間に空気調和機がなければ、空気調和機の吹出口の情報が得られず、対象空間の温度分布を学習できない、という課題がある。
【解決手段】温度分布学習装置100は、対象空間80の空中の少なくとも第1点の温度を含む温度分布TD,TM、を学習する。温度分布学習装置100は、学習モデルLMを備える。学習モデルLMは、目的変数である温度分布TD,TMと、説明変数である対象空間80に関する熱画像HIと、を関連づけて学習する。学習モデルLMは、温度分布TD,TMと熱画像HIとを含む教師データに基づいて学習する。
【選択図】図2
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23