(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-10-23
(45)【発行日】2023-10-31
(54)【発明の名称】表面温度測定システム及び表面温度測定方法
(51)【国際特許分類】
G01J 5/48 20220101AFI20231024BHJP
G01V 8/10 20060101ALN20231024BHJP
【FI】
G01J5/48 E
G01V8/10 S
(21)【出願番号】P 2021015083
(22)【出願日】2021-02-02
【審査請求日】2023-02-28
(73)【特許権者】
【識別番号】000002945
【氏名又は名称】オムロン株式会社
(74)【代理人】
【識別番号】110002860
【氏名又は名称】弁理士法人秀和特許事務所
(72)【発明者】
【氏名】三野 宏之
(72)【発明者】
【氏名】太田 昂志
【審査官】小澤 瞬
(56)【参考文献】
【文献】特開2006-59015(JP,A)
【文献】特開2005-237861(JP,A)
【文献】特開2013-200137(JP,A)
【文献】特表2013-543133(JP,A)
【文献】特開2020-92349(JP,A)
【文献】米国特許出願公開第2012/0170612(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/00 - A61B 5/01
G01J 5/00 - G01J 5/90
(57)【特許請求の範囲】
【請求項1】
測定対象物の表面温度を測定するサーモパイル方式のサーマルセンサと、
前記サーマルセンサの光軸方向における前記サーマルセンサと前記測定対象物の間の距離、及び、前記サーマルセンサの光軸に対する前記測定対象物の位置ずれ量に基づいて、前記サーマルセンサの測定値を補正する処理ユニットと、
を備えることを特徴とする表面温度測定システム。
【請求項2】
前記サーマルセンサと共通の視野を有するカメラをさらに備え、
前記処理ユニットは、前記カメラで撮影された画像を解析することによって前記光軸に対する前記測定対象物の位置ずれ量を求める
ことを特徴とする請求項1に記載の表面温度測定システム。
【請求項3】
前記処理ユニットは、物体検出処理によって前記画像から前記測定対象物を検出し、前記画像上の検出位置に基づいて前記光軸に対する前記測定対象物の位置ずれ量を求める
ことを特徴とする請求項2に記載の表面温度測定システム。
【請求項4】
前記処理ユニットは、前記カメラで撮影された画像を解析することによって前記測定対象物の距離を求める
ことを特徴とする請求項2又は3に記載の表面温度測定システム。
【請求項5】
前記処理ユニットは、物体検出処理によって前記画像から前記測定対象物を検出し、前記画像上の検出サイズに基づいて前記測定対象物の距離を求める
ことを特徴とする請求項4に記載の表面温度測定システム。
【請求項6】
前記サーマルセンサと共通の視野を有するカメラをさらに備え、
前記処理ユニットは、前記カメラで撮影された画像と前記サーマルセンサから出力された測定値を入力として与えると前記測定対象物の距離及び位置ずれ量に応じた補正を行うように機械学習されたAIを用いて、前記サーマルセンサの測定値を補正する
ことを特徴とする請求項1に記載の表面温度測定システム。
【請求項7】
前記処理ユニットは、前記サーマルセンサから出力される温度分布画像を解析することによって前記光軸に対する前記測定対象物の位置ずれ量を求める
ことを特徴とする請求項1に記載の表面温度測定システム。
【請求項8】
前記処理ユニットは、物体検出処理によって前記温度分布画像から前記測定対象物を検出し、前記温度分布画像上の検出位置に基づいて前記光軸に対する前記測定対象物の位置ずれ量を求める
ことを特徴とする請求項7に記載の表面温度測定システム。
【請求項9】
前記処理ユニットは、前記温度分布画像を解析することによって前記測定対象物の距離を求める
ことを特徴とする請求項7又は8に記載の表面温度測定システム。
【請求項10】
前記処理ユニットは、物体検出処理によって前記温度分布画像から前記測定対象物を検出し、前記温度分布画像上の検出サイズに基づいて前記測定対象物の距離を求める
ことを特徴とする請求項9に記載の表面温度測定システム。
【請求項11】
前記処理ユニットは、前記サーマルセンサから出力される温度分布画像を入力として与えると前記測定対象物の距離及び位置ずれ量に応じた補正を行うように機械学習されたA
Iを用いて、前記サーマルセンサの測定値を補正する
ことを特徴とする請求項1に記載の表面温度測定システム。
【請求項12】
前記サーマルセンサと共通の視野を有するTOFセンサをさらに備え、
前記処理ユニットは、前記TOFセンサで得られる距離画像を解析することによって、前記測定対象物の距離、及び、前記光軸に対する前記測定対象物の位置ずれ量を求める
ことを特徴とする請求項1に記載の表面温度測定システム。
【請求項13】
サーモパイル方式のサーマルセンサにより、測定対象物の表面温度を測定するステップと、
前記サーマルセンサの光軸方向における前記サーマルセンサと前記測定対象物の間の距離、及び、前記サーマルセンサの光軸に対する前記測定対象物の位置ずれ量に基づいて、前記サーマルセンサの測定値を補正するステップと、
を含むことを特徴とする表面温度測定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、非接触により表面温度を測定するための技術に関する。
【背景技術】
【0002】
COVID-19の影響により、非接触による体温測定の需要が増加している。従来、空港等ではボロメータ方式によるサーモグラフィが利用されていたが、このシステムは非常に高価であるため、商業施設やオフィス等で導入することは難しい。そこで、商業施設やオフィス等の用途では、サーモパイル方式のサーマルセンサを用いた表面温度測定システムが広く利用されている(特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
サーモパイル方式のサーマルセンサは、画素の大きさの影響やレンズの影響により、センサと測定対象物(顔等)の相対位置に依存して出力される温度が変わる、という課題がある。このような課題を解決する方策として、特許文献1では、TOFセンサにより測定対象物までの距離を測定し、距離に基づいてサーマルセンサの出力温度を補正するというアイデアが提案されている。しかし特許文献1の方策にも次に述べるような課題が残る。
【0005】
本発明者らが実験を実施したところ、サーマルセンサの出力温度は、センサと測定対象物の間の光軸方向の距離だけでなく、光軸に対する測定対象物の位置ずれ量にも依存して変化することが判ってきた。すなわち、測定対象物が光軸上に存在する場合は正確な測定値が得られるが、測定対象物が光軸から離れると測定値が変動するのである。特許文献1の方策では、光軸に対する測定対象物の位置ずれは考慮されていないため、補正精度に限界があり、正確な表面温度を得ることができないケースがある。
【0006】
本発明は上記実情に鑑みてなされたものであって、その目的とするところは、サーモパイル方式のサーマルセンサを用いて物体の表面温度をより正確に測定可能な技術を提供することにある。
【課題を解決するための手段】
【0007】
本開示は、測定対象物の表面温度を測定するサーモパイル方式のサーマルセンサと、前記サーマルセンサの光軸方向における前記サーマルセンサと前記測定対象物の間の距離、及び、前記サーマルセンサの光軸に対する前記測定対象物の位置ずれ量に基づいて、前記サーマルセンサの測定値を補正する処理ユニットと、を備えることを特徴とする表面温度測定システムを含む。このような構成を採用することによって、サーモパイル方式のセンサを利用しつつも、測定対象物の表面温度を精度良く測定可能なシステムを実現することができる。
【0008】
前記サーマルセンサと共通の視野を有するカメラをさらに備え、前記処理ユニットは、前記カメラで撮影された画像を解析することによって前記光軸に対する前記測定対象物の位置ずれ量を求めてもよい。前記処理ユニットは、物体検出処理によって前記画像から前記測定対象物を検出し、前記画像上の検出位置に基づいて前記光軸に対する前記測定対象物の位置ずれ量を求めてもよい。前記処理ユニットは、前記カメラで撮影された画像を解
析することによって前記測定対象物の距離を求めてもよい。前記処理ユニットは、物体検出処理によって前記画像から前記測定対象物を検出し、前記画像上の検出サイズに基づいて前記測定対象物の距離を求めてもよい。
【0009】
前記サーマルセンサと共通の視野を有するカメラをさらに備え、前記処理ユニットは、前記カメラで撮影された画像と前記サーマルセンサから出力された測定値を入力として与えると前記測定対象物の距離及び位置ずれ量に応じた補正を行うように機械学習されたAIを用いて、前記サーマルセンサの測定値を補正してもよい。
【0010】
前記処理ユニットは、前記サーマルセンサから出力される温度分布画像を解析することによって前記光軸に対する前記測定対象物の位置ずれ量を求めてもよい。前記処理ユニットは、物体検出処理によって前記温度分布画像から前記測定対象物を検出し、前記温度分布画像上の検出位置に基づいて前記光軸に対する前記測定対象物の位置ずれ量を求めてもよい。前記処理ユニットは、前記温度分布画像を解析することによって前記測定対象物の距離を求めてもよい。前記処理ユニットは、物体検出処理によって前記温度分布画像から前記測定対象物を検出し、前記温度分布画像上の検出サイズに基づいて前記測定対象物の距離を求めてもよい。
【0011】
前記処理ユニットは、前記サーマルセンサから出力される温度分布画像を入力として与えると前記測定対象物の距離及び位置ずれ量に応じた補正を行うように機械学習されたAIを用いて、前記サーマルセンサの測定値を補正してもよい。
【0012】
前記サーマルセンサと共通の視野を有するTOFセンサをさらに備え、前記処理ユニットは、前記TOFセンサで得られる距離画像を解析することによって、前記測定対象物の距離、及び、前記光軸に対する前記測定対象物の位置ずれ量を求めてもよい。
【0013】
本開示は、サーモパイル方式のサーマルセンサにより、測定対象物の表面温度を測定するステップと、前記サーマルセンサの光軸方向における前記サーマルセンサと前記測定対象物の間の距離、及び、前記サーマルセンサの光軸に対する前記測定対象物の位置ずれ量に基づいて、前記サーマルセンサの測定値を補正するステップと、を含むことを特徴とする表面温度測定方法を含む。
【0014】
本発明は、上記手段の少なくとも一部を有する表面温度測定システムとして捉えてもよいし、上記処理の少なくとも一部を含む表面温度測定方法、または、かかる方法を実現するためのプログラムやそのプログラムを記録した記録媒体として捉えることもできる。なお、上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。
【発明の効果】
【0015】
本発明によれば、サーモパイル方式のサーマルセンサを用いて物体の表面温度をより正確に測定可能な技術を提供することができる。
【図面の簡単な説明】
【0016】
【
図1】
図1は、表面温度測定システムの適用例を示す図である。
【
図2】
図2は、第1実施形態の表面温度測定システムの外観を示す斜視図である。
【
図3】
図3は、第1実施形態の表面温度測定システムのハードウエア構成を示すブロック図である。
【
図4】
図4は、サーマルセンサの構成を模式的に示す断面図である。
【
図5】
図5は、第1実施形態の表面温度測定システムの機能構成を示すブロック図である。
【
図6】
図6は、第1実施形態の表面温度測定システムによる表面温度測定処理の流れを示すフローチャートである。
【
図8】
図8は、センサの光軸及び視野と測定対象物の位置関係を例示する図である。
【
図9】
図9A及び
図9Bは、表面温度測定システムの測定結果の出力例を示す図である。
【
図10】
図10は、第2実施形態の表面温度測定システムの機能構成を示すブロック図である。
【
図11】
図11は、第2実施形態の表面温度測定システムによる表面温度測定処理の流れを示すフローチャートである。
【
図12】
図12は、第3実施形態の表面温度測定システムのハードウエア構成を示すブロック図である。
【
図13】
図13は、第3実施形態の表面温度測定システムの機能構成を示すブロック図である。
【
図14】
図14は、第3実施形態の表面温度測定システムによる表面温度測定処理の流れを示すフローチャートである。
【
図15】
図15は、第4実施形態の表面温度測定システムのハードウエア構成を示すブロック図である。
【
図16】
図16は、第4実施形態の表面温度測定システムの機能構成を示すブロック図である。
【
図17】
図17は、第4実施形態の表面温度測定システムによる表面温度測定処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0017】
<適用例>
図1を参照して、本発明の適用例の一つについて説明する。
図1は、主な使用例として、感染症予防のために、商業施設やオフィスの入口に設置し入場者の体温を非接触で測定するためのシステムに本発明を適用した場合の構成例を示す。
【0018】
表面温度測定システム1は、サーモパイル方式のサーマルセンサを用いて測定対象物の表面温度を測定し、その測定結果を表示するシステムである。サーモパイル方式のサーマルセンサは、センサと測定対象物の相対位置に依存して測定値が変動する特性があるため、従来は測定精度に限界があった。そこで本システム1では、「サーマルセンサの光軸方向における、サーマルセンサと測定対象物の間の距離」と「サーマルセンサの光軸に対する測定対象物の位置ずれ量」を取得し、「距離」と「位置ずれ量」の両方に基づいてサーマルセンサの測定値を補正する。このような構成を採用することによって、サーモパイル方式のセンサを利用しつつも、測定対象物の表面温度を精度良く測定可能なシステムを実現することができる。したがって、低価格のシステムを提供することが可能となり、商業施設やオフィスをはじめとする様々な場所への導入や、途上国などへの普及を促進することができる。
【0019】
なお、
図1では、ヒトの体温測定を例示したが、本発明の適用範囲はこれに限られない。例えば、ヒト以外の生物(動植物など)の表面温度の測定、機械、建造物、製造物などの一般物体の表面温度の測定などにも本発明に係るシステムを適用可能である。
【0020】
<第1実施形態>
図2及び
図3に、第1実施形態の表面温度測定システム1の構成例を示す。
図2は、第1実施形態の表面温度測定システム1の外観を示す斜視図であり、
図3は、第1実施形態の表面温度測定システム1のハードウエア構成を示すブロック図である。
【0021】
表面温度測定システム1は、主なハードウエア構成として、サーモパイル方式のサーマルセンサ10、カメラ(画像センサ)11、処理ユニット12、表示装置13を有する。表面温度測定システム1は、専用デバイスとして設計されたものでもよいし、カメラを具備する汎用のコンピュータ装置(スマートフォン、タブレット、ノートパソコン等)にサーマルセンサ10を接続して構成されたものでもよい。
【0022】
サーマルセンサ10とカメラ11は、互いの光軸が平行(実質的に平行である状態も含む)になるように設置され、共通の視野を有している。なおサーマルセンサ10とカメラ11の視野は完全一致している必要はなく、少なくとも一部(測定対象物が存在し得る範囲を包含するエリア)が重なっていればよい。以後の説明において、サーマルセンサ10及びカメラ11の光軸方向をz方向(奥行方向)といい、光軸に垂直な平面における横方向・縦方向をそれぞれx方向・y方向という。
【0023】
(サーマルセンサ)
図4は、サーマルセンサ10の構成を模式的に示す断面図である。
【0024】
サーマルセンサ10は、赤外線センサであり、測定対象物からの放射熱エネルギー(赤外線)を集光するための光学系40と、赤外線を電気エネルギーに変換するサーモパイルチップ41と、サーモパイルチップ41から出力される電圧信号を増幅、AD変換し、温度データを出力する処理回路42とを有する。サーモパイルチップ41は、MEMS素子であり、複数の熱電対が2次元アレイ状に配置された構造を有する。
【0025】
本実施形態では、例えば、x方向,y方向の視野角がそれぞれ90°,90°であり、x方向×y方向の分解能が32ピクセル×32ピクセルの性能をもつサーマルセンサ10が用いられる。すなわち、サーマルセンサ10から出力される温度データは、32×32の2次元画像(温度分布を表す画像)となる。なお、視野角及び分解能については、システム1のアプリケーションにあわせて適宜設計すればよい。
【0026】
(カメラ)
カメラ11は、光学像を撮影するためのカメラである。例えば、CCDやCMOSなどの撮像素子を用いた高解像のカメラが用いられる。
【0027】
(処理ユニット)
処理ユニット12は、表面温度測定システム1全体の制御、各種の信号処理や画像処理、測定結果の出力処理などを実行するデバイスである。処理ユニット12は、例えば、汎用のプロセッサ(CPU等)とメモリから構成してもよいし、専用のプロセッサ(ASIC等)で構成してもよい。
【0028】
(表示装置)
表示装置13は、測定結果(すなわち測定対象物の表面温度)等の情報を出力するためのデバイスである。例えば、液晶ディスプレイや有機ELディスプレイが用いられる。
【0029】
(機能構成)
図5は、第1実施形態の表面温度測定システム1の機能構成を示すブロック図である。
【0030】
表面温度測定システム1は、機能構成として、温度データ取得部50、画像データ取得部51、対象物検出部52、距離計算部53、位置ずれ計算部54、温度補正部55、情報出力部56を有する。これらの機能は、処理ユニット12によって提供される。例えば処理ユニット12が汎用のプロセッサで構成される場合には、メモリに格納されたプログ
ラムをプロセッサが読み出し実行することで、これらの機能が実現される。なお、
図5の示す機能の一部をクラウドサーバによって実現してもよい。
【0031】
(表面温度測定方法)
図6は、第1実施形態の表面温度測定システム1による表面温度測定処理の流れを示すフローチャートである。
【0032】
ステップS60では、温度データ取得部50が、サーマルセンサ10から温度データを取得する。ここで取得される温度データは、例えば、32×32の2次元画像であり、各画素の値がサーマルセンサ10の測定値(表面温度)を表している。
【0033】
ステップS61では、画像データ取得部51が、カメラ11から画像データを取得する。ここで取得される画像データは、光学画像であり、例えば、32×32の2次元RGB画像である。本実施形態では、説明を簡単にするため、サーマルセンサ10とカメラ11の視野及び解像度が一致している(つまり、温度データの画素(x,y)と画像データの画素(x,y)が測定対象物の同じ点を表す。)と仮定する。もし両者の視野及び/又は解像度が異なる場合には、画像データ取得部51が、サーマルセンサ10の温度データに合わせて、画像データの解像度変換やトリミング(クロッピング)を行えばよい。
【0034】
なお、
図6では、温度データの取り込みの後に画像データの取り込みを実行しているが、取り込みの順番は逆でもよいし、並列処理で取り込んでもよい。温度データと画像データは同じ時刻もしくは出来る限り近いタイミングで測定されたデータであることが望ましい。
【0035】
ステップS62では、対象物検出部52が、画像データを解析し、画像のなかから測定対象物を検出する。例えば人の体温測定が目的である場合は、顔の表面温度から体温を推定する方法がよく実施されている。そこで、顔検出アルゴリズムや人体検出アルゴリズムなどに代表される物体検出処理を利用して、測定対象物としての「顔」を検出すればよい。
図7は、顔70の検出例を示している。対象物検出部52の検出結果として、顔70を囲む検出枠71の中心点の座標(xc,yc)とサイズ(w,h)が出力される。座標(xc,yc)が画像上の検出位置を表し、サイズ(w,h)が画像上の検出サイズを表す。
図8は、センサの光軸及び視野と測定対象物の位置関係を例示する図である。
【0036】
ステップS63では、距離計算部53が、画像上の検出サイズ(w,h)に基づいて、サーマルセンサ10から測定対象物までの光軸方向の距離を計算する。被写体の画像上のサイズは、カメラ11と被写体の間の距離に依存し、距離が近いほど画像上のサイズは大きく、逆に距離が遠いほど画像上のサイズは小さくなる。したがって、被写体の実際の大きさとカメラ11の光学系及び撮像素子のスペックがわかれば、画像上の検出サイズをカメラ11と被写体の間の距離に換算することが可能である。そして、カメラ11とサーマルセンサ10は近接して配置されているため、カメラ11と被写体の間の距離はサーマルセンサ10と被写体の間の距離とみなしてよい(仮に、サーマルセンサ10とカメラ11の設置位置が離れている場合は、サーマルセンサ10とカメラ11の相対的な位置関係に基づいて、カメラ11と被写体の間の距離からサーマルセンサ10と被写体の間の距離を計算すればよい。)。
【0037】
例えば、成人の平均的な顔の大きさを仮定して、予め、画像上のサイズを距離に換算するためのLUT又は関数を用意しておけば、距離計算部53は、ステップS62で得られた検出サイズ(w,h)をLUT又は関数に代入するだけで容易に距離を求めることができる。なお、性別(男性/女性)や年代(子供/大人)によって平均的な顔の大きさが異なるため、LUT又は関数を複数種類用意しておき、対象物検出部52によって性別推定
や年代推定を行い、その推定結果に基づいて距離計算に使用するLUT又は関数を変えてもよい。これにより距離の推定精度を向上することができる。
【0038】
ステップS64では、位置ずれ計算部54が、画像上の検出位置(xc,yc)に基づいて、サーマルセンサ10の光軸に対する測定対象物の位置ずれ量を計算する。被写体が光軸上に存在すれば、被写体は画像の中心にあり、被写体が光軸から離れるほど画像の中心から離れる。したがって、カメラ11の光学系及び撮像素子のスペックがわかっていれば、画像上の検出位置を光軸に対する位置ずれ量に換算することが可能である。そして、カメラ11とサーマルセンサ10は近接し且つ光軸が平行になるように配置されているため、カメラ11の光軸に対する位置ずれ量はサーマルセンサ10の光軸に対する位置ずれ量とみなしてよい(仮に、サーマルセンサ10とカメラ11の設置位置が離れているか、光軸が平行でない場合は、サーマルセンサ10とカメラ11の相対的な位置関係に基づいて、カメラ11の光軸に対する位置ずれ量からサーマルセンサ10の光軸に対する位置ずれ量を計算すればよい。)。なお、位置ずれ量の計算のためにサーマルセンサ10と測定対象物の間の距離が必要な場合は、距離計算部53の計算結果を利用すればよい。
【0039】
ステップS65では、温度補正部55が、ステップS63で計算した「距離」とステップS64で計算した「位置ずれ量」に基づいて、ステップS60で得られた温度データを補正する。サーモパイル式のサーマルセンサの特性として、サーマルセンサから測定対象物までの距離が遠いほど測定値が小さくなる傾向がある。また、サーマルセンサの光軸からの位置ずれ量が大きいほど測定値が小さくなる傾向もある。したがって、温度補正部55は、距離が遠いほど温度を高くし、且つ、位置ずれ量が大きいほど温度を高くするように、サーマルセンサ10の温度データ(測定値)を修正するとよい。
【0040】
例えば、温度補正部55は、「距離」と「位置ずれ量」の組み合わせに対する「補正量」が定義されたLUTや、「距離」と「位置ずれ量」から「補正量」を算出する関数などを用いて、温度データの補正処理を行えばよい。LUTや関数は、サーマルセンサ10を用いた測定実験の結果から作成してもよいし、サーマルセンサ10の特性に基づいて理論的に作成したものでもよい。
【0041】
ステップS66では、情報出力部56が、補正温度データを表示装置13に出力する。
図9Aに示す出力例では、ステップS61で取り込まれた画像データの上に、ステップS62の検出結果(検出枠)とステップS65で補正された温度が重畳表示されている。
図9Bのように画像から複数の測定対象物(本例では顔)が検出された場合には、測定対象物ごとに検出枠と補正温度が表示されてもよい。
【0042】
以上述べた構成によれば、測定対象物の「距離」と「位置ずれ量」の両方に基づいてサーマルセンサ10の測定値を補正するので、従来よりも精度の良い測定結果を得ることができる。
【0043】
<第2実施形態>
第2実施形態では、AI(人工知能)を用いてサーマルセンサ10の測定値を補正する。以下では、第1実施形態と異なる構成を主に説明し、第1実施形態と共通する構成については説明を割愛する。
【0044】
図10に第2実施形態の表面温度測定システム1の機能構成の一例を示す。本実施形態の表面温度測定システム1は、機能構成として、温度データ取得部50、画像データ取得部51、温度補正部100、情報出力部56を有する。第1実施形態とは温度補正部100の構成のみ相違する。
【0045】
温度補正部100は、画像データと温度データを入力として与えると、測定対象物の「距離」及び「位置ずれ量」に応じて補正された補正温度データを出力するように機械学習された学習済みモデル101を有する。機械学習手法やモデルの構造はどのようなものを用いてもよく、例えば、ディープニューラルネットワークを用いてもよい。学習フェーズにおいては、「カメラで撮影された画像データ」と「サーマルセンサから出力された測定値からなる温度データ」と「真値の温度データ」からなる学習データを用いて機械学習が行われるとよい。
【0046】
図11は、第2実施形態の表面温度測定システム1による表面温度測定処理の流れを示すフローチャートである。ステップS60~S61の処理は第1実施形態(
図6)と同じである。ステップS110では、温度補正部100が、ステップS60で取得した温度データとステップS61で取得した画像データを学習済みモデルに入力して、補正温度データを得る。ステップS66の処理は第1実施形態(
図6)と同じである。
【0047】
<第3実施形態>
第1実施形態では、カメラ11から得られた光学画像を解析することによって測定対象物の「距離」と「位置ずれ量」を求めたのに対し、第3実施形態では、サーマルセンサ10から出力される温度分布画像を解析することによって測定対象物の「距離」と「位置ずれ量」を求める。以下では、第1実施形態と異なる構成を主に説明し、第1実施形態と共通する構成については説明を割愛する。
【0048】
図12及び
図13に、第3実施形態の表面温度測定システム1の構成例を示す。
図12は、第3実施形態の表面温度測定システム1のハードウエア構成を示すブロック図であり、
図13は、第3実施形態の表面温度測定システム1の機能構成を示すブロック図である。
【0049】
本実施形態の表面温度測定システム1は、主なハードウエア構成として、サーモパイル方式のサーマルセンサ10、処理ユニット12、表示装置13を有する。また、表面温度測定システム1は、機能構成として、温度データ取得部50、対象物検出部130、距離計算部131、位置ずれ計算部132、温度補正部55、情報出力部56を有する。第1実施形態との違いは、カメラが必須の構成でない点、距離及び位置ずれの計算に温度データ(温度分布画像)を用いる点である。
【0050】
図14は、第3実施形態の表面温度測定システム1による表面温度測定処理の流れを示すフローチャートである。ステップS60の処理は第1実施形態(
図6)と同じである。ステップS140では、対象物検出部130が、ステップS60で取得した温度分布画像を解析し、画像のなかから測定対象物を検出する。一般に、顔や人体の部分は背景に比べて温度が高いため、例えばシルエット検出などのアルゴリズムを用いることによって、温度分布画像から顔や人体を検出可能である。ステップS141では、距離計算部131が、温度分布画像上の検出サイズに基づいて、サーマルセンサ10から測定対象物までの光軸方向の距離を計算する。ステップS142では、位置ずれ計算部132が、温度分布画像上の検出位置に基づいて位置ずれ量を計算する。なお、距離及び位置ずれ量の具体的な計算方法は第1実施形態で述べた方法と同じでよい。ステップS65~S66の処理は第1実施形態と同じである。
【0051】
本実施形態の構成によっても、従来よりも精度良い温度測定が可能となる。しかも、本実施形態の構成ではカメラが必須構成でなくなるため、第1実施形態よりも装置構成がシンプルとなり低コスト化も図ることができる。
【0052】
<第4実施形態>
第1実施形態では、カメラ11から得られた光学画像を解析することによって測定対象物の「距離」と「位置ずれ量」を求めたのに対し、第4実施形態では、TOFセンサで得られる距離画像を解析することによって測定対象物の「距離」と「位置ずれ量」を求める。以下では、第1実施形態と異なる構成を主に説明し、第1実施形態と共通する構成については説明を割愛する。
【0053】
図15及び
図16に、第4実施形態の表面温度測定システム1の構成例を示す。
図15は、第4実施形態の表面温度測定システム1のハードウエア構成を示すブロック図であり、
図16は、第4実施形態の表面温度測定システム1の機能構成を示すブロック図である。
【0054】
本実施形態の表面温度測定システム1は、主なハードウエア構成として、サーモパイル方式のサーマルセンサ10、TOFセンサ150、処理ユニット12、表示装置13を有する。また、表面温度測定システム1は、機能構成として、温度データ取得部50、距離画像取得部160、対象物検出部161、距離計算部162、位置ずれ計算部163、温度補正部55、情報出力部56を有する。第1実施形態との違いは、カメラが必須の構成でない点、TOFセンサを有する点、距離及び位置ずれの計算に距離画像を用いる点である。
【0055】
図17は、第4実施形態の表面温度測定システム1による表面温度測定処理の流れを示すフローチャートである。ステップS60の処理は第1実施形態(
図6)と同じである。ステップS170では、距離画像取得部160が、TOFセンサ150から距離画像データを取得する。ここで取得される距離画像データは、例えば、1024×1024の2次元画像であり、各画素の値がTOFセンサ150から被写体までの距離を表している。TOFセンサ150としては、直接TOF法のセンサを用いてもよいし、間接TOF法のセンサを用いてもよい。ステップS171では、対象物検出部161が、ステップS170で取得した距離画像を解析し、画像のなかから測定対象物を検出する。例えばシルエット検出や点群クラスタリングなどのアルゴリズムを用いることによって、距離画像から顔や人体を検出可能である。ステップS172では、距離計算部162が、サーマルセンサ10から測定対象物までの光軸方向の距離を距離画像から抽出する。ステップS173では、位置ずれ計算部163が、距離画像上の検出位置に基づいて位置ずれ量を計算する。なお、位置ずれ量の具体的な計算方法は第1実施形態で述べた方法と同じでよい。ステップS65~S66の処理は第1実施形態と同じである。
【0056】
本実施形態の構成によっても、従来よりも精度良い温度測定が可能となる。しかも、本実施形態の構成ではTOFセンサを用いるため、センサと測定対象物の間の距離を正確に知ることができ、距離による温度補正の精度を向上することができる。
【0057】
<その他>
上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。上述した実施形態の構成や処理を適宜組み合わせてもよい。例えば、第3実施形態の構成に第2実施形態の学習済みモデルを適用してもよい。この場合、サーマルセンサから出力される温度分布画像を学習済みモデルに入力すると、測定対象物の距離及び位置ずれ量に応じた補正がされた補正温度分布画像が出力されるとよい。さらには、第4実施形態の構成に第2実施形態の学習済みモデルを適用してもよい。この場合、サーマルセンサから出力される温度データとTOFセンサから出力される距離画像データを学習済みモデルに入力すると、測定対象物の距離及び位置ずれ量に応じた補正がされた補正温度データが出力されるとよい。
【0058】
<付記1>
(1) 測定対象物の表面温度を測定するサーモパイル方式のサーマルセンサ(10)と、
前記サーマルセンサ(10)の光軸方向における前記サーマルセンサ(10)と前記測定対象物の間の距離、及び、前記サーマルセンサ(10)の光軸に対する前記測定対象物の位置ずれ量に基づいて、前記サーマルセンサ(10)の測定値を補正する処理ユニット(12)と、
を備えることを特徴とする表面温度測定システム(1)。
【0059】
(2) サーモパイル方式のサーマルセンサ(10)により、測定対象物の表面温度を測定するステップ(S60)と、
前記サーマルセンサ(10)の光軸方向における前記サーマルセンサ(10)と前記測定対象物の間の距離、及び、前記サーマルセンサ(10)の光軸に対する前記測定対象物の位置ずれ量に基づいて、前記サーマルセンサ(10)の測定値を補正するステップ(S65)と、
を含むことを特徴とする表面温度測定方法。
【符号の説明】
【0060】
1:表面温度測定システム
10:サーマルセンサ
11:カメラ
12:処理ユニット
13:表示装置
40:光学系
41:サーモパイルチップ
42:処理回路
70:顔
71:検出枠
150:TOFセンサ