特許 7565509 深部体温推定装置、深部体温推定方法、及び、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-03

(45)【発行日】2024-10-11

(54)【発明の名称】深部体温推定装置、深部体温推定方法、及び、プログラム

(51)【国際特許分類】

   A61B 5/01 20060101AFI20241004BHJP

   G06T 7/00 20170101ALI20241004BHJP

   G06T 7/143 20170101ALI20241004BHJP

   G01J 5/48 20220101ALI20241004BHJP

【ＦＩ】

A61B5/01 350

G06T7/00 660A

G06T7/143

G01J5/48 A

【請求項の数】 12

(21)【出願番号】P 2023555058

(86)(22)【出願日】2022-09-21

(86)【国際出願番号】 JP2022035123

(87)【国際公開番号】W WO2023067973

(87)【国際公開日】2023-04-27

【審査請求日】2024-02-15

(31)【優先権主張番号】P 2021171170

(32)【優先日】2021-10-19

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】100109210

【弁理士】

【氏名又は名称】新居 広守

(74)【代理人】

【識別番号】100137235

【弁理士】

【氏名又は名称】寺谷 英作

(74)【代理人】

【識別番号】100131417

【弁理士】

【氏名又は名称】道坂 伸一

(72)【発明者】

【氏名】野坂 健一郎

【審査官】後藤 昌夫

(56)【参考文献】

【文献】米国特許出願公開第２０１９／０３２３８９５（ＵＳ，Ａ１）

【文献】特開２０１８－１８３５６４（ＪＰ，Ａ）

【文献】国際公開第２０２１／０６５８５３（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／０１

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／１４３

Ｇ０１Ｊ ５／４８

(57)【特許請求の範囲】

【請求項1】

人の深部体温を推定する深部体温推定方法であって、
前記人の顔を含む対象空間の放射温度分布を示す対象熱画像を取得する熱画像取得ステップと、
取得した前記対象熱画像の複数の画素のそれぞれが、前記人の１以上の顔部位のそれぞれに相当する確率を示す領域確率画像を生成する確率画像生成ステップと、
生成した前記領域確率画像に基づいて、前記対象熱画像を前記１以上の顔部位のそれぞれに対応する１以上の顔部位領域に分割する領域分割ステップと、
分割後の前記顔部位領域のうち、前記人の深部体温の推定に用いる領域を含む推定対象領域を生成する領域生成ステップと、
前記対象熱画像のうちの、生成した前記推定対象領域に対応する部分熱画像と、前記領域確率画像のうちの、生成した前記推定対象領域に対応する部分領域確率画像と、を所定分解能に変換する分解能変換ステップと、
前記所定分解能に変換された前記部分熱画像及び前記所定分解能に変換された前記部分領域確率画像を学習済みの体温推定モデルに入力して前記人の深部体温の推定値を算出させて出力する出力ステップと、を含む、
深部体温推定方法。

【請求項2】

前記分解能変換ステップでは、入力された画像を縮小する処理及び補間する処理の少なくとも一方によって前記所定分解能の画像に変換する、
請求項１に記載の深部体温推定方法。

【請求項3】

前記１以上の顔部位は、装身具であるマスクが着用された部位及び眼鏡が着用された部位の少なくとも一方を含む、
請求項１に記載の深部体温推定方法。

【請求項4】

前記出力ステップでは、前記マスクが着用されているか否かを示す着用状態を表示装置に表示させる着用状態情報を出力する、
請求項３に記載の深部体温推定方法。

【請求項5】

さらに、熱画像が前記人の顔を含む熱画像であるか、前記人の顔を含まない熱画像であるかを判定する判定ステップを含み、
前記熱画像取得ステップでは、前記人の顔を含む熱画像であると判定された熱画像を前記対象熱画像として取得する、
請求項１に記載の深部体温推定方法。

【請求項6】

前記領域生成ステップでは、
前記１以上の顔部位のうち、前記人の目の部位より上側、及び、前記人の顎の部位より下側の部位を除く部位に対応する顔部位領域の重心座標を算出し、
算出した前記重心座標を中心に有する領域を前記推定対象領域として生成する、
請求項１に記載の深部体温推定方法。

【請求項7】

前記出力ステップでは、推定された深部体温の推定値を表示装置に表示させる深部体温情報を出力する、
請求項１に記載の深部体温推定方法。

【請求項8】

前記出力ステップでは、推定された深部体温の推定値が所定値以上である場合に、警告を行うための警告情報を出力する、
請求項１に記載の深部体温推定方法。

【請求項9】

前記出力ステップは、前記所定分解能に変換された前記部分熱画像及び前記所定分解能に変換された前記部分領域確率画像に対応する画像の全ての画素の平均値を算出する処理を含む、
請求項１～８のいずれか１項に記載の深部体温推定方法。

【請求項10】

請求項１に記載の深部体温推定方法をコンピュータに実行させるための、
プログラム。

【請求項11】

人の深部体温を推定する体温推定装置であって、
前記人の顔を含む対象空間の放射温度分布を示す対象熱画像を取得する熱画像取得部と、
取得した前記対象熱画像の複数の画素のそれぞれが、前記人の１以上の顔部位のそれぞれに相当する確率を示す領域確率画像を生成する確率画像生成部と、
生成した前記領域確率画像に基づいて、前記１以上の顔部位のそれぞれに対応する１以上の顔部位領域に分割する領域分割部と、
分割後の前記顔部位領域のうち、前記人の深部体温の推定に用いる領域を含む推定対象領域を生成する領域生成部と、
前記対象熱画像のうちの、生成した前記推定対象領域に対応する部分熱画像と、前記領域確率画像のうちの、生成した前記推定対象領域に対応する部分領域確率画像と、を所定分解能に変換する分解能変換部と、
前記所定分解能に変換された前記部分熱画像及び前記所定分解能に変換された前記部分領域確率画像を学習済みの体温推定モデルに入力して前記人の深部体温の推定値を算出させて出力する出力部と、を備える、
深部体温推定装置。

【請求項12】

前記分解能変換部は、入力された画像を縮小する処理及び補間する処理の少なくとも一方によって前記所定分解能の画像に変換する、
請求項１１に記載の深部体温推定装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、人の深部体温を推定する深部体温推定装置、深部体温推定方法、及びプログラムに関する。

【背景技術】

【0002】

従来、非接触に人の体温を計測する温度測定装置が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２１－１３９７０６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記の特許文献１に開示されるような温度測定装置は、測定環境や測定部位によって測定結果が左右されやすく、その正確度の観点で適切に人の体温を測定（つまり出力）できない場合がある。そこで、本開示では、より適切に人の体温を出力可能な深部体温推定方法等を提供する。

【課題を解決するための手段】

【0005】

上記課題を解決するために、本開示の一態様に係る深部体温推定方法は、人の深部体温を推定する深部体温推定方法であって、前記人の顔を含む対象空間の放射温度分布を示す対象熱画像を取得する熱画像取得ステップと、取得した前記対象熱画像の複数の画素のそれぞれが、前記人の１以上の顔部位のそれぞれに相当する確率を示す領域確率画像を生成する確率画像生成ステップと、生成した前記領域確率画像に基づいて、前記対象熱画像を前記１以上の顔部位のそれぞれに対応する１以上の顔部位領域に分割する領域分割ステップと、分割後の前記顔部位領域のうち、前記人の深部体温の推定に用いる領域を含む推定対象領域を生成する領域生成ステップと、前記対象熱画像のうちの、生成した前記推定対象領域に対応する部分熱画像と、前記領域確率画像のうちの、生成した前記推定対象領域に対応する部分領域確率画像と、を所定分解能に変換する分解能変換ステップと、前記所定分解能に変換された前記部分熱画像及び前記所定分解能に変換された前記部分領域確率画像を学習済みの体温推定モデルに入力して前記人の深部体温の推定値を算出させて出力する出力ステップと、を含む。

【0006】

また、本開示の一態様に係るプログラムは、上記に記載の深部体温推定方法をコンピュータに実行させるためのプログラムである。

【0007】

また、本開示の一態様に係る深部体温推定装置は、人の深部体温を推定する体温推定装置であって、前記人の顔を含む対象空間の放射温度分布を示す対象熱画像を取得する熱画像取得部と、取得した前記対象熱画像の複数の画素のそれぞれが、前記人の１以上の顔部位のそれぞれに相当する確率を示す領域確率画像を生成する確率画像生成部と、生成した前記領域確率画像に基づいて、前記１以上の顔部位のそれぞれに対応する１以上の顔部位領域に分割する領域分割部と、分割後の前記顔部位領域のうち、前記人の深部体温の推定に用いる領域を含む推定対象領域を生成する領域生成部と、前記対象熱画像のうちの、生成した前記推定対象領域に対応する部分熱画像と、前記領域確率画像のうちの、生成した前記推定対象領域に対応する部分領域確率画像と、を所定分解能に変換する分解能変換部と、前記所定分解能に変換された前記部分熱画像及び前記所定分解能に変換された前記部分領域確率画像を学習済みの体温推定モデルに入力して前記人の深部体温の推定値を算出させて出力する出力部と、を備える。

【発明の効果】

【0008】

本開示によれば、より適切に人の体温を出力することが可能となる。

【図面の簡単な説明】

【0009】

【図1】図１は、実施の形態に係る深部体温推定装置の使用事例を説明する概略図である。

【図2】図２は、実施の形態に係る深部体温推定装置の機能構成を示すブロック図である。

【図3】図３は、実施の形態に係る領域生成部の動作について説明する図である。

【図4】図４は、実施の形態に係る出力部の動作について説明する図である。

【図5】図５は、実施の形態の別例に係る出力部の動作について説明する図である。

【図6】図６は、実施の形態のさらなる別例に係る出力部の動作について説明する図である。

【図7】図７は、実施の形態に係る深部体温推定装置の動作を示すフローチャートである。

【図8】図８は、実施の形態に係る深部体温推定装置の動作に伴って生成される各画像を説明する第１図である。

【図9】図９実施の形態に係る深部体温推定装置の動作に伴って生成される各画像を説明する第２図である。

【図10】図１０は、実施例に係る深部体温の推定値と、正解値との関係を示すグラフである。

【図11】図１１は、比較例に係る体温測定装置での体温の測定値と、正解値との関係を示すグラフである。

【発明を実施するための形態】

【0010】

（本開示の概要）
従来、人から発せられる放射光を受光することで、当該人の体温を測定する体温測定装置として放射温度計が知られている（例えば、特許文献１参照）。このような放射温度計は、基本的に体表面の温度を計測するのみにとどまる。体表面の温度は、外気温等の影響を受けやすく、状況によって容易に変動することが知られている。このため、この種の体温測定装置は、真の体温である深部体温との相関が低く、正確度の観点で適切に人の体温を測定（つまり出力）できない場合があるという課題があった。

【0011】

本開示における深部体温推定装置では、あらかじめ機械学習された学習済みモデルに対象の人を含む熱画像を入力して、推定による深部体温の算出をさせて推定値を出力する。このように、深部体温を推定することで、より真値に近しい体温の推定値を得ることができる。すなわち、より適切に、人の体温を出力することが可能となる。また、本開示における深部体温推定装置では、熱画像のみを用いる点で以下の利点を有している。

【0012】

熱画像には、対象の人が含まれる画像でありつつも、当該人を他人と区別するような個人情報が含まれにくい。一般に、深部体温を推定するには、深部体温に相関しやすい人の部位を特定して、その部位のみの放射温度（つまり熱画像）を用いることが望ましい。つまり、対象の人の部位を特定するために可視光画像などを組み合わせる必要がある。しかしながらこのような可視光画像には、個人情報が含まれやすく、このような可視光画像を用いることに抵抗感を感じる人も多い。この点で、熱画像のみから深部体温を推定することができれば、測定対象の人のプライバシーの観点で有用である。また、上記のように可視光画像を用いる場合においても熱画像を利用することが必須であるので、熱画像のみを用いて深部体温を推定することができれば、可視光画像を取得するための構成が不要となり、装置コストの観点でも有用である。

【0013】

本開示の第１態様に係る深部体温推定方法は、具体的には、以下の通りである。

【0014】

深部体温推定方法は、人の深部体温を推定する深部体温推定方法であって、人の顔を含む対象空間の放射温度分布を示す対象熱画像を取得する熱画像取得ステップと、取得した対象熱画像の複数の画素のそれぞれが、人の１以上の顔部位のそれぞれに相当する確率を示す領域確率画像を生成する確率画像生成ステップと、生成した領域確率画像に基づいて、対象熱画像を１以上の顔部位のそれぞれに対応する１以上の顔部位領域に分割する領域分割ステップと、分割後の顔部位領域のうち、人の深部体温の推定に用いる領域を含む推定対象領域を生成する領域生成ステップと、対象熱画像のうちの、生成した推定対象領域に対応する部分熱画像と、領域確率画像のうちの、生成した推定対象領域に対応する部分領域確率画像と、を所定分解能に変換する分解能変換ステップと、所定分解能に変換された部分熱画像及び所定分解能に変換された部分領域確率画像を学習済みの体温推定モデルに入力して人の深部体温の推定値を算出させて出力する出力ステップと、を含む。

【0015】

このような深部体温推定方法では、人の対象熱画像を取得して、この対象熱画像から当該人の深部体温を推定することができる。深部体温の推定のために、深部体温推定方法では、対象熱画像と、当該対象熱画像の各画素が人の１以上の顔部位のそれぞれに相当する確率を示す領域確率画像とを利用する。このため、ここで推定される深部体温は、熱画像の各画素における温度値の情報と、各画素が人の顔の１以上の部位のいずれに相当しうるかの情報とが加味された推定に基づいて出力される。また、推定される深部体温の推定値は、あらかじめ機械学習によって学習済みの体温推定モデルに上記の情報を入力することで出力される。体温推定モデルでは、熱画像の各画素の温度値のうち、真の深部体温値と強い相関を示す顔部位に相当する確率が高い画素の温度値に対して比較的大きな重み係数が付されることとなるので、より正確な人の深部体温を推定して出力することが可能となる。特に深部体温推定方法では、対象熱画像のみが用いられるので、可視光画像を組み合わせる例に対してプライバシーの観点や装置コストの観点で深部体温の推定値を適切に出力することができる。

【0016】

また、本開示の第２態様に係る深部体温推定方法は、分解能変換ステップでは、入力された画像を縮小する処理及び補間する処理の少なくとも一方によって所定分解能の画像に変換する、第１態様に記載の深部体温推定方法である。

【0017】

これによれば、生成した推定対象領域に対応する部分熱画像、及び、生成した推定対象領域に対応する部分領域確率画像に対して、画像を縮小する処理及び補間する処理の少なくとも一方を適用して、これらの画像の分解能を変換することができる。

【0018】

また、本開示の第３態様に係る深部体温推定方法は、１以上の顔部位が、装身具であるマスクが着用された部位及び眼鏡が着用された部位の少なくとも一方を含む、第１又は第２態様に記載の深部体温推定方法である。

【0019】

これによれば、マスクが着用された部位及び眼鏡が着用された部位を顔部位の１つとして識別できるので、マスクを着用した人及び眼鏡を着用した人に対しても、より正確な人の深部体温を推定して出力することが可能となる。

【0020】

また、本開示の第４態様に係る深部体温推定方法は、出力ステップでは、マスクが着用されているか否かを示す着用状態を表示装置に表示させる着用状態情報を出力する、第３態様に記載の深部体温推定方法である。

【0021】

これによれば、着用状態情報を利用して、表示装置によりマスクが着用されているか否かを示す着用状態を表示することができる。

【0022】

また、本開示の第５態様に係る深部体温推定方法は、さらに、熱画像が人の顔を含む熱画像であるか、人の顔を含まない熱画像であるかを判定する判定ステップを含み、熱画像取得ステップでは、人の顔を含む熱画像であると判定された熱画像を対象熱画像として取得する、第１～第４態様のいずれか１態様に記載の深部体温推定方法である。

【0023】

これによれば、例えば、人の顔を含む熱画像のみを対象熱画像として取得させることで、人の顔を含まない熱画像を対象熱画像として取得しないようにすることができる。つまり、人の顔が含まれない熱画像に対して、深部体温の推定処理を行わないようにすることができるので、処理リソースの観点で有用である。

【0024】

また、本開示の第６態様に係る深部体温推定方法は、領域生成ステップでは、１以上の顔部位のうち、人の目の部位より上側、及び、人の顎の部位より下側の部位を除く部位に対応する顔部位領域の重心座標を算出し、算出した重心座標を中心に有する領域を推定対象領域として生成する、第１～第５態様のいずれか１態様に記載の深部体温推定方法である。

【0025】

これによれば、人の目の部位より上側、及び、人の顎の部位より下側の部位を除く部位に対して、顔部位を設定し、推定対象領域を生成することができる。推定対象領域は、人の顔の大部分（例えば、全部）を含みつつ、取得タイミングが互いに異なる２以上の対象熱画像間にいて、可能な限り同じ大きさであるとよいが、上記のようにして除かれた部分は、頭髪や衣服の影響を受けて面積が安定しないので、推定対象領域の中心を決定する際に適さない。つまり、このような領域が取り除かれた状態で、推定対象領域の中心を決定することで、推定対象領域の大きさを安定化することができる。

【0026】

また、本開示の第７態様に係る深部体温推定方法は、出力ステップでは、推定された深部体温の推定値を表示装置に表示させる深部体温情報を出力する、第１～第６態様のいずれか１態様に記載の深部体温推定方法である。

【0027】

これによれば、深部体温情報を利用して、表示装置により推定された深部体温の推定値を表示することができる。

【0028】

また、本開示の第８態様に係る深部体温推定方法は、出力ステップでは、推定された深部体温の推定値が所定値以上である場合に、警告を行うための警告情報を出力する、第１～第７態様のいずれか１態様に記載の深部体温推定方法である。

【0029】

これによれば、警告情報を利用して、推定された深部体温の推定値が所定値以上であることに基づく警告をすることができる。

【0030】

また、本開示の第９態様に係る深部体温推定方法は、出力ステップが、所定分解能に変換された部分熱画像及び所定分解能に変換された部分領域確率画像に対応する画像の全ての画素の平均値を算出する処理を含む、第１～第８態様のいずれか１態様に記載の深部体温推定方法である。

【0031】

これによれば、所定分解能に変換された部分熱画像及び所定分解能に変換された部分領域確率画像に対応する画像の全ての画素の平均値に基づいて人の深部体温の推定値を出力することができる。

【0032】

また、本開示の第１０態様に係るプログラムは、上記第１～第９態様のいずれか１態様に記載の深部体温推定方法をコンピュータに実行させるためのプログラムである。

【0033】

これによれば、コンピュータを用いて上記に記載の深部体温推定方法と同様の効果を奏することができる。

【0034】

また、本開示の第１１態様に係る深部体温推定装置は、人の深部体温を推定する体温推定装置であって、人の顔を含む対象空間の放射温度分布を示す対象熱画像を取得する熱画像取得部と、取得した対象熱画像の複数の画素のそれぞれが、人の１以上の顔部位のそれぞれに相当する確率を示す領域確率画像を生成する確率画像生成部と、生成した領域確率画像に基づいて、１以上の顔部位のそれぞれに対応する１以上の顔部位領域に分割する領域分割部と、分割後の顔部位領域のうち、人の深部体温の推定に用いる領域を含む推定対象領域を生成する領域生成部と、対象熱画像のうちの、生成した推定対象領域に対応する部分熱画像と、領域確率画像のうちの、生成した推定対象領域に対応する部分領域確率画像と、を所定分解能に変換する分解能変換部と、所定分解能に変換された部分熱画像及び所定分解能に変換された部分領域確率画像を学習済みの体温推定モデルに入力して人の深部体温の推定値を算出させて出力する出力部と、を備える。

【0035】

このような深部体温推定装置は、上記に記載の深部地温推定方法と同様の効果を奏することができる。

【0036】

また、本開示の第１２態様に係る深部体温推定装置は、分解能変換部が、入力された画像を縮小する処理及び補間する処理の少なくとも一方によって所定分解能の画像に変換する、第１１態様に記載の深部体温推定装置である。

【0037】

これによれば、生成した推定対象領域に対応する部分熱画像、及び、生成した推定対象領域に対応する部分領域確率画像に対して、画像を縮小する処理及び補間する処理の少なくとも一方を適用して、これらの画像の分解能を変換することができる。

【0038】

以下、本開示の実施の形態について、図面を参照して説明する。なお、以下に説明する実施の形態は、いずれも本開示の包括的または具体的な例を示すものである。したがって、以下の実施の形態で示される、数値、構成要素、構成要素の配置位置および接続形態、並びに、ステップおよびステップの順序等は、一例であって本開示を限定する主旨ではない。よって、以下の実施の形態における構成要素のうち、本開示の最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

【0039】

また、各図は、模式図であり、必ずしも厳密に図示されたものではない。したがって、各図において縮尺などは必ずしも一致していない。各図において、実質的に同一の構成に対しては同一の符号を付しており、重複する説明は省略または簡略化する。

【0040】

（実施の形態）
［構成］
まず、実施の形態に係る深部体温推定装置の構成について、図１及び図２を用いて説明する。図１は、実施の形態に係る深部体温推定装置の使用事例を説明する概略図である。また、図２は、実施の形態に係る深部体温推定装置の機能構成を示すブロック図である。

【0041】

図１に示すように、本実施の形態における深部体温推定装置１００（図２参照）は、例えば、対象の人９９（以下単に人９９ともいう）を撮像した熱画像を取得して、人９９の深部体温を出力する装置である。深部体温推定装置１００は、例えば、深部体温推定システム５００に内蔵される。深部体温推定システム５００は、深部体温推定装置１００の他に、熱画像を撮像するための撮像装置２００（図２参照）と、出力された深部体温の推定値を表示するための表示装置３００とを含む。深部体温推定システム５００は、例えば、不特定多数の利用者が想定される公共交通機関の各座席などに設置され、当該座席を利用した人９９の深部体温を推定する。これにより、公共交通機関を利用している利用者の中から深部体温に異常がある人９９を即座に検知することができる。深部体温に異常がある状態としては、例えば、深部体温が急激に低下する低体温（所定値：３５．０℃以下）の状態や、深部体温が異常に上昇した発熱状態（所定値：３７．０℃、３７．５℃または３８．０℃以上）等が想定される。

【0042】

深部体温推定システム５００では、撮像装置２００は、人９９の特に顔を撮像する姿勢（例えば、図中の一点鎖線に挟まれたドットハッチングの画角領域を撮像する姿勢）で配置されている。そして、撮像された熱画像を深部体温推定装置１００に送信する。深部体温推定装置１００は、熱画像を受信して、当該熱画像から推定される人９９の深部体温の推定値を算出して出力する。出力された推定値は、例えば、表示装置３００などに表示される。表示装置３００は、深部体温の推定値とともに、撮像された熱画像の一部を併せて表示してもよい。このようにすることで、人９９が表示装置３００を見たときに、深部体温の推定に熱画像が利用されたことを知らせることができる。また、熱画像が表示されていることで、可視光画像などの個人情報が比較的多く含まれうる画像の取得をしていないことを暗示することができるので、人９９が個人情報を取得されたと感じる不安感を低減することができる。

【0043】

図２に示すように、深部体温推定装置１００は、熱画像取得部１０６と、領域分割部１０１と、確率画像生成部１０５と、領域生成部１０２と、分解能変換部１０３と、出力部１０４と、を備える。

【0044】

熱画像取得部１０６は、人９９の顔を含む対象空間の放射温度分布を示す対象熱画像を取得する機能部である。熱画像取得部１０６は、撮像装置２００が画角領域の空間内を撮像して出力した熱画像を受信し、この熱画像を対象熱画像として取得する。詳細は後述するが、撮像装置２００が画角領域の空間内を撮像して出力した熱画像のうち、人９９が写らない熱画像（空間熱画像）が受信された場合、熱画像取得部１０６は、この熱画像を取得しないようになっている。この結果、深部体温推定装置１００の動作が開始されないため、エネルギーコストの観点で有用である。以下、特に断りのない場合、「熱画像」と「対象熱画像」とをいずれも人９９の顔を含む対象熱画像と同義であるものとして説明する。

【0045】

熱画像取得部１０６は、プロセッサとメモリとを含むコンピュータによってあらかじめ設定されたプログラムが実行されることで実現される。また、以下に説明する領域分割部１０１、確率画像生成部１０５、領域生成部１０２、分解能変換部１０３、及び、出力部１０４もそれぞれに対して設定されたプログラムが実行されることで実現される。つまり、深部体温推定装置１００は、プロセッサとメモリと、上記の熱画像取得部１０６、領域分割部１０１、確率画像生成部１０５、領域生成部１０２、分解能変換部１０３、及び、出力部１０４のそれぞれに対応するプログラムとによって実現される。

【0046】

確率画像生成部１０５は、熱画像の複数の画素のそれぞれが、人９９の１以上の顔部位のそれぞれに相当する確率を示す領域確率画像を生成する。領域確率画像は、１つの画素に対して、１以上の顔部位のうちの第１部位に相当する確率、第２部位に相当する確率、・・・、及び、第ｎ部位に相当する確率を含む。つまり、領域確率画像は、各画素がｎ個のチャネル（画素値）を有する１つの画像とみなすこともできるし、第１部位らしさの分布である画像、第２部位らしさの分布である画像、・・・、及び、第ｎ部位らしさの分布である画像のｎ個の画像の集合とみなすこともできる。本実施の形態においては、顔部位として、額、目、鼻、頬、口、顎などの、人９９の顔に実際に存在する部位に加えて、マスク及び眼鏡などの装身具が着用された部位を含んでいる。したがって、深部体温推定装置１００では、このような装身具が着用された状態であっても、適切な深部体温の推定が可能である。また、顔部位として人９９が写っていない部分である背景部分が含まれてもよい。

【0047】

領域分割部１０１は、生成された領域確率画像に基づいて、熱画像を１以上の顔部位のそれぞれに対応する１以上の顔部位領域に分割する。領域分割部１０１は、領域確率画像の各画素において、最も確率が高い顔部位を当該画素に割り当てることで、全ての画素を１以上の顔部位のいずれかに分類する。そして、同じ顔部位に分類された画素の集合を、１つの顔部位領域として決定する。１以上の顔部位領域のそれぞれは、当該顔部位領域に分類された画素の情報（アドレス情報等）が紐づけられる。

【0048】

確率画像生成部１０５及び領域分割部１０１は、セマンティックセグメンテーションモデルを実装することで実現される。ここで実装されるセマンティックセグメンテーションモデルは、既存のいかなるものであってもよく、例えば、Ｕ－Ｎｅｔ、ＤｅｅｐＬａｂ、及び、ＭａｓｋＦｏｒｍｅｒなどが用いられる。

【0049】

領域生成部１０２は、分割後の１以上の顔部位領域のうち、人９９の深部体温の推定に用いる領域を含む推定対象領域を生成する。言い換えると、領域生成部１０２は、深部体温の推定に適さない顔部位領域を取り除くようにすることで、深部体温の推定に適さない顔部位領域の影響を抑制する。

【0050】

図３は、実施の形態に係る領域生成部の動作について説明する図である。図３では、第１部位Ｐ１、第２部位Ｐ２、第３部位Ｐ３、第４部位Ｐ４、第５部位Ｐ５、第６部位Ｐ６、第７部位Ｐ７、第８部位Ｐ８、及び、第９部位Ｐ９に分割された各顔部位領域の分布を示す顔部位領域分割画像１２と、顔部位領域分割画像１２から生成される推定対象領域Ｓｑに至る過程を示している。推定対象領域Ｓｑは、後の体温推定モデルに入力される画像の大きさを安定化させるという観点で、異なる熱画像同士において可能な限り大きさが安定化され（揃えられ）ているとよい。一方で、深部体温の推定においては、推定対象領域Ｓｑは、人９９の顔全体を含み、かつ、人９９の深部体温の推定に負の影響を与えうる背景部分が含まれることを抑制できる領域に設定されることが望ましい。したがって、以下で生成される推定対象領域Ｓｑは、熱画像間で大きさが大きく異ならないように大きさの安定化処理を経て、さらに、人９９の顔全体を含む大きさを有して生成される。

【0051】

図中の顔部位領域分割画像１２において、第１部位Ｐ１は額に相当し、第２部位Ｐ２は目に相当し、第８部位Ｐ８は顎に相当し、第９部位Ｐ９は首に相当する。まず、これらの顔部位から、推定対象領域Ｓｑの中心座標を決定する。その際、第１部位Ｐ１のように、人９９の目よりも上の部位は、頭髪の影響によって面積が変化しやすく、安定した大きさという観点で領域の中心座標の決定に不適である。また、第９部位Ｐ９のように人９９の顎よりも下の部位は、衣服の影響によって変化しやすく、安定した大きさという観点で領域の中心座標の決定に不適である。このため、本実施の形態では、第１部位Ｐ１及び第９部位Ｐ９が領域の中心座標の決定に用いられないようにして、中心座標を決定し、これを中心に有する推定対象領域Ｓｑを決定する。

【0052】

具体的には、顔部位領域分割画像１２から紙面右手向きの白抜き矢印で結ばれた領域生成用画像１２ａに示すように、１以上の顔部位のうち、人９９の目の部位より上側、及び、人９９の顎の部位より下側の部位を除く部位に対応する顔部位領域Ｃが決定される。なお、顔部位領域Ｃは、破線円内に示されている顔部位領域をマージした領域である。そして、顔部位領域Ｃの重心Ｃａが算出される。その後、領域生成用画像１２ａから紙面右手向きの白抜き矢印で結ばれた別の領域生成用画像１２ａに示すように、重心Ｃａの座標を中心に有しかつ、顔の大部分を領域内に含む大きさを有する矩形領域が推定対象領域Ｓｑとして生成される。推定対象領域Ｓｑは、例えば、元の熱画像に対応する座標情報である。

【0053】

図２に戻り、分解能変換部１０３は、熱画像のうちの、生成した推定対象領域Ｓｑに対応する部分熱画像と、領域確率画像のうちの、生成した推定対象領域Ｓｑに対応する部分領域確率画像と、を所定分解能に変換する。ここでは、所定分解能として、３２×３２画素の分解能が設定されるが、所定分解能は、どのような分解能であってもよい。分解能変換部１０３は、入力された画像を縮小する処理及び補間する処理の少なくとも一方によって所定分解能の画像に変換する。分解能変換部１０３によって分解能が揃えられることで、出力部１０４に入力される、すなわち、学習済みの体温推定モデルに入力される画像の分解能が統一される。この結果、体温推定モデルを分解能ごとに用意して分解能ごとに場合分けすること、及び、各分解能に対応可能な体温推定モデルを用意することなどが必要なくなるため、比較的処理リソースを要求しない深部体温の推定が可能となる。

【0054】

出力部１０４は、所定分解能に変換された部分熱画像及び所定分解能に変換された部分領域確率画像を学習済みの体温推定モデルに入力して人９９の深部体温の推定値を算出させて出力する。図４は、実施の形態に係る出力部の動作について説明する図である。

【0055】

図４に示すように、出力部１０４に所定分解能に変換された部分熱画像１６及び所定分解能に変換された部分領域確率画像１７が入力される。出力部１０４は、部分熱画像１６の３２×３２×温度に対応する画素値（１チャネル）の情報と、部分領域確率画像１７の３２×３２×１以上の顔部位ごとの確率に対応する画素値（例えば１１個の部位に対応する１１チャネル）の情報とを、体温推定モデルに入力する。体温推定モデルでは、「１×１ Ｃｏｎｖ Ｒｅｌｕ」において、各画素の１２チャネルの線形和を１２種類算出し、０以下の値を０に繰り上げる非線形変換を行う。その際の各チャネルに対応する１２×１２種類の重み係数が学習によって決定されている。そして、「１×１ Ｃｏｎｖ」において各重み係数で算出された１２種類の線形和同士の線形和を１種類算出する。その際の１×１２種類の重み係数が学習によって決定されている。この結果、所定分解能に変換された部分熱画像１６及び所定分解能に変換された部分領域確率画像１７に対応する３２×３２×１の画素値を有する画像が算出される。この画像に対して、「Ａｖｅ」において全ての画素の平均値を算出し、重み係数Ｗ_１をかける。重み係数Ｗ_１は学習によって決定されている。また、上記の画像に対して、「Ｍａｘ」において、全ての画素のうちの最大値を算出し、重み係数Ｗ_２をかける。重み係数Ｗ_２は学習によって決定されている。

【0056】

一方で、入力された画像に対して、「Ｄｏｗｎ Ｓａｍｐｌｉｎｇ」において、画像を低解像度化し、１６×１６×１２チャネルの画像を生成する。同様に、１６×１６×１２チャネルの画像に対して、「Ｄｏｗｎ Ｓａｍｐｌｉｎｇ」において、画像を低解像度化し、８×８×１２チャネルの画像を生成する。ここでの低解像度化の処理は、どのような処理であってもよい。例えば、４つの画素の平均値によって１つの画素の画素値を決定する方式で低解像度化の処理がされてもよい。

【0057】

そして、低解像度化された１６×１６×１２チャネルの画像及び８×８×１２チャネルの画像についても同様に「１×１ Ｃｏｎｖ Ｒｅｌｕ」、「１×１ Ｃｏｎｖ」、「Ａｖｅ」、及び、「Ｍａｘ」の処理を行い、それぞれ、重み係数Ｗ_３、重み係数Ｗ_４、重み係数Ｗ_５、及び、重み係数Ｗ_６をかける。重み係数Ｗ_３、重み係数Ｗ_４、重み係数Ｗ_５、及び、重み係数Ｗ_６はいずれも学習によって決定されている。

【0058】

その後、各重み係数がかけられた数値の合計値を算出することで、深部体温の推定値が算出される。上記のように、低解像度化処理によって、大局的な画素間の関係性を深部体温の推定結果に加味することができる。

【0059】

また、上記に記載の体温推定モデルは、一例であり、他の体温推定モデルが用いられてもよい。図５は、実施の形態の別例に係る出力部の動作について説明する図である。図５では、上記の体温推定モデルに代わって適用可能な別の体温推定モデルを有する出力部１０４ａが示されている。例えば、図５に示す出力部１０４ａが有する体温推定モデルは、上記の出力部１０４が有する体温推定モデルに対して、「Ｄｏｗｎ Ｓａｍｐｌｉｎｇ」の処理が省略されている点で異なっている。この場合、出力部１０４が有する体温推定モデルの、局所的な画素間の関係性と大局的な画素間の関係性とを併せた推定結果が得られなくなる代わりに、推定の計算処理が大幅に簡略化され、高速かつ比較的処理性能の低い簡易な構成で深部体温推定装置１００を実現することができる。なお、図中の重み係数Ｗ_１及び重み係数Ｗ_２は、上記の出力部１０４が有する体温推定モデルの重み係数Ｗ_１及び重み係数Ｗ_２とは異なる重み係数であり、学習によって決定されている。

【0060】

また、図６は、実施の形態のさらなる別例に係る出力部の動作について説明する図である。図６では、上記の体温推定モデルに代わって適用可能な別の体温推定モデルを有する出力部１０４ｂが示されている。例えば、図６に示す出力部１０４ｂが有する体温推定モデルは、熱画像を、部分領域確率画像１７の各チャンネルの画素値で重みづけした全画素平均値を算出し、１１個の部位に対応して算出される１１個の平均値のそれぞれに、対応する重み係数Ｗ_１～重み係数Ｗ_１１を乗じて線形和することにより深部体温の推定値を算出する。具体的には、図６に示すように、「Ｒｅｓｈａｐｅ ３２×３２×１ －＞ １０２４×１」及び「Ｔｒａｎｓｐｏｓｅ １０２４×１ －＞ １×１０２４」によって、所定分解能に変換された部分熱画像１６に対応する１×１０２４の情報を生成する。同様に、「Ｒｅｓｈａｐｅ ３２×３２×１１ －＞ １０２４×１１」によって、所定分解能に変換された部分領域確率画像１７に対応する１０２４×１１の情報を生成する。そして、「Ｍａｔｒｉｘ Ｍｕｌｔｉｐｌｉｃａｔｉｏｎ」において、生成した２つの情報同士を掛け合わせて各部位に相当する確率と温度との積の和（第１の和）を算出し、「Ｃｈａｎｎｅｌ－ｗｉｓｅ Ｓｕｍ」において、所定分解能に変換された部分領域確率画像１７に対応する１０２４×１１の情報から各部位に相当する確率の和（第２の和）を算出する。その後、第１の和を第２の和で除して平均化することで、１１個の部位それぞれの平均温度を算出して、対応する重み係数Ｗ_１～重み係数Ｗ_１１を乗じて線形和することにより深部体温の推定値を算出する。なお、図中の重み係数Ｗ_１～重み係数Ｗ_６は、上記の出力部１０４が有する体温推定モデルの重み係数Ｗ_１～重み係数Ｗ_６とは異なる重み係数であり、学習によって決定されている。

【0061】

また、これらの別例の他に、体温推定モデルとして、既存のいかなる深部体温の推定モデルが用いられてもよい。

【0062】

［動作］
次に、図７～図９を参照して、上記のように構成された深部体温推定装置１００及び深部体温推定システムの動作について説明する。図７は、実施の形態に係る深部体温推定装置の動作を示すフローチャートである。図８は、実施の形態に係る深部体温推定装置の動作に伴って生成される各画像を説明する第１図である。図９は、実施の形態に係る深部体温推定装置の動作に伴って生成される各画像を説明する第２図である。

【0063】

図７及び図８に示すように、まず、熱画像取得部１０６が、撮像装置２００から熱画像を受信する（ステップＳ１０１）。熱画像取得部１０６は、受信した熱画像について、当該熱画像に人９９の顔が含まれるか否かを判定する（判定ステップＳ１０２）。熱画像取得部１０６は、受信した熱画像に人の顔が含まれないと判定した場合（判定ステップＳ１０２でＮｏ）、処理を終了する。一方で、熱画像取得部１０６は、受信した熱画像に人の顔が含まれると判定した場合（判定ステップＳ１０２でＹｅｓ）、この熱画像を対象熱画像１１として取得する（熱画像取得ステップＳ１０３）。

【0064】

確率画像生成部１０５は、取得した熱画像から、領域確率画像１８を生成する（確率画像生成ステップＳ１０４）。

【0065】

次に、領域分割部１０１は、熱画像を１以上の顔部位領域に分割することで、顔部位領域分割画像１２を生成する（領域分割ステップＳ１０５）。ここで、出力部１０４は、顔部位領域分割画像１２において、マスクを着用している顔部位に対応する顔部位領域が存在するか否かにより、人９９がマスクを着用しているか否かを判定する（ステップＳ１０６）。出力部１０４は、人９９がマスクを着用していないと判定した場合（ステップＳ１０６でＮｏ）、人９９のマスクの着用状態（マスクを着用している、または、マスクを着用していない等の文字）を表示装置３００に表示させる着用状態情報を生成する（ステップＳ１０７）。その後、領域生成ステップＳ１０８に進む。一方で、出力部１０４は、人９９がマスクを着用していると判定した場合（ステップＳ１０６でＹｅｓ）、何もせずに領域生成ステップＳ１０８に進む。

【0066】

領域生成部１０２は、顔部位領域分割画像１２を用いて、推定対象領域Ｓｑを生成する（領域生成ステップＳ１０８）。その後、深部体温推定装置１００は、生成した推定対象領域Ｓｑと対象熱画像１１とを用いて、推定対象領域Ｓｑに対応する部分熱画像１４、及び、生成した推定対象領域Ｓｑと領域確率画像１８とを用いて、推定対象領域Ｓｑに対応する部分領域確率画像１５を生成する。

【0067】

そして、図７及び図９に示すように、分解能変換部１０３は、入力された画像を縮小する処理及び補間する処理の少なくとも一方によって、所定分解能に変換された部分熱画像１６及び所定分解能に変換された部分領域確率画像１７を生成する（分解能変換ステップＳ１０９）。出力部１０４は、生成された所定分解能に変換された部分熱画像１６及び所定分解能に変換された部分領域確率画像１７を体温推定モデルに入力し、深部体温の推定値を算出させる（ステップＳ１１１）。

【0068】

ここで、出力部１０４は、深部体温の推定値が所定値と比較して異常であるか否かを判定する。より具体的には、出力部１０４は、深部体温の推定値が所定値より低いか否かを判定する（ステップＳ１１２）。出力部１０４は、深部体温の推定値が所定値以上であると判定した場合（ステップＳ１１２でＮｏ）、例えば、警報を鳴らす、警告を示す文字情報の表示を行う、または、警告ランプを点灯する等の警告を行うための警告情報を生成する（ステップＳ１１２）。その後、ステップＳ１１３に進む。一方で、出力部１０４は、深部体温の推定値が所定値を下回ると判定した場合（ステップＳ１１２でＮｏ）、何もせずにステップＳ１１３に進む。

【0069】

出力部１０４は、推定された深部体温の推定値を数字として表示装置に表示させる深部体温情報を生成する（ステップＳ１１３）。そして、出力部１０４は、着用状態情報、警告情報、及び、深部体温情報のうち、生成されたものを表示装置３００へと出力する（出力ステップＳ１１４）。このようにして、簡易な構成でありながらも高い正確度で推定された深部体温が出力される。

【0070】

また、人によってマスクをしている場合や、していない場合、及び、メガネをしている場合や、していない場合等様々なケースが考えられるが、本実施の形態における深部体温推定装置１００及び深部体温推定システム５００では、マスクやメガネ等の各顔部位に対応する部分領域確率画像１７を必ず生成する。そのため出力部１０４をマスクやメガネのあり、なし等それぞれに対するモデルを用意して使い分ける必要がなく、単一のモデルで出力部１０４を構成することが可能となる。こうすることでマスクやメガネの有無のみならず、髪型の影響や顔の向きにより見えない部位がある等の場合であっても、単一のモデルでロバスト性の高い深部体温の推定を実施することができる。

【0071】

なお、表示装置３００への出力内容はこれらに限定するものではない。着用状態情報としてここではマクスの着用状態を一例として説明したがこれに限定するものではなく、メガネの着用状態の情報や、額が見えている／見えていないといった状態の情報でも構わないし、勿論着用状態情報を含めなくても構わない。また、警告情報や深部体温情報も同様であり、表示装置３００への出力に含めても含めなくても構わない。また、深部体温推定装置１００によって推定された深部体温の推定値を、表示装置３００以外の装置に出力してもよい。例えば、深部体温推定装置１００は、推定した深部体温の推定値を数値情報としてサーバなどに出力し、この数値情報を蓄積させるように構成されてもよい。つまり、この場合に出力部１０４は、深部体温の推定値の数値情報を生成して出力する。

【0072】

［実施例］
以下、上記の実施の形態に対応する実施例について、図１０及び図１１を参照して説明する。図１０は、実施例に係る深部体温の推定値と、正解値との関係を示すグラフである。また、図１１は、比較例に係る体温測定装置での体温の測定値と、正解値との関係を示すグラフである。図１０では、縦軸に、出力部から出力された深部体温の推定値を示し、横軸に深部体温に近い正解値としての接触式体温計での体温の計測値を示している。また、図１１では、放射温度計を用いた額での体温の測定値を示し、横軸に深部体温に近い正解値としての接触式体温計での体温の測定値を示している。

【0073】

図１１に示すように、放射温度計を用いた体温の測定では、正解値のバラツキが大きいことが分かる。この結果から算出されるＲＭＳＥは、０．６１０℃であり、測定値と正解値との相関が非常に低いことが分かった。一方で、図１０に示すように、上記の実施の形態における深部体温推定装置１００を用いた深部体温の推定では、正解値とでデータが直線に並んでおり、バラツキが小さいことが分かる。この結果から算出されるＲＭＳＥは、０．１５０℃であり、測定値と正解値との相関が非常に高いことが分かった。これらの結果から、上記実施の形態における深部体温の推定値が実用に耐える正確度であることが確認された。

【0074】

（その他の実施の形態）
以上、本開示に係る深部体温推定方法等について、上記実施の形態に基づいて説明したが、本開示は、上記の実施の形態に限定されるものではない。例えば、上記実施の形態において、特定の処理部が実行する処理を別の処理部が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。また、本開示では対象として一名の人に対する深部体温の推定を例に挙げて説明したが、これは複数名が対象でも構わず、推定する人数を限定するものではない。

【0075】

また、上記実施の形態において、各構成要素は、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

【0076】

また、各構成要素は、ハードウェアによって実現されてもよい。例えば、各構成要素は、回路（または集積回路）でもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。

【0077】

また、本発明の全般的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよい。また、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

【0078】

例えば、本発明は、コンピュータが実行する情報処理方法として実現されてもよいし、このような情報処理方法をコンピュータに実行させるためのプログラムとして実現されてもよいし、このようなプログラムが記録されたコンピュータ読み取り可能な非一時的な記録媒体として実現されてもよい。

【0079】

その他、各実施の形態に対して当業者が思いつく各種変形を施して得られる形態、または、本発明の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本発明に含まれる。

【産業上の利用可能性】

【0080】

人の体温計測に代わる技術として広く有用である。

【符号の説明】

【0081】

１１ 対象熱画像（熱画像）
１２ 顔部位領域分割画像
１２ａ 領域生成用画像
１４ 部分熱画像
１５ 部分領域確率画像
１６ 所定分解能に変換された部分熱画像
１７ 所定分解能に変換された部分領域確率画像
１８ 領域確率画像
９９ 人
１００ 深部体温推定装置
１０１ 領域分割部
１０２ 領域生成部
１０３ 分解能変換部
１０４ 出力部
１０５ 確率画像生成部
１０６ 熱画像取得部
２００ 撮像装置
３００ 表示装置
５００ 深部体温推定システム
Ｃ 顔部位領域
Ｃａ 重心
Ｓｑ 推定対象領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】