(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-21
(45)【発行日】2024-05-29
(54)【発明の名称】非接触体温測定装置、方法及びプログラム
(51)【国際特許分類】
G01J 5/48 20220101AFI20240522BHJP
A61B 5/01 20060101ALI20240522BHJP
【FI】
G01J5/48 E
G01J5/48 C
A61B5/01 350
(21)【出願番号】P 2020174011
(22)【出願日】2020-10-15
【審査請求日】2023-06-22
(73)【特許権者】
【識別番号】393027556
【氏名又は名称】株式会社スペクトラ
(73)【特許権者】
【識別番号】591032703
【氏名又は名称】群馬県
(74)【代理人】
【識別番号】100083116
【氏名又は名称】松浦 憲三
(74)【代理人】
【識別番号】100128635
【氏名又は名称】松村 潔
(72)【発明者】
【氏名】萩原 瑞木
(72)【発明者】
【氏名】梶原 篤
【審査官】小澤 瞬
(56)【参考文献】
【文献】特表2013-543134(JP,A)
【文献】特開2017-147498(JP,A)
【文献】特開2010-264095(JP,A)
【文献】特開2010-230392(JP,A)
【文献】特開2016-165415(JP,A)
【文献】特開2016-103786(JP,A)
【文献】中国特許出願公開第111189545(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/01
G01J 5/00 - G01J 5/90
(57)【特許請求の範囲】
【請求項1】
測定対象から可視光線の波長域の光を受光して可視画像を撮像する可視画像カメラと、
前記測定対象から放出される赤外線量を可視化した熱画像を撮像するための熱画像カメラと、
前記可視画像から顔領域を検出し、前記熱画像中の顔領域から顔温度を検出する顔温度検出部と、
前記可視画像から前記測定対象の輪郭の外部の背景領域を特定し、前記背景領域に対応する前記熱画像中の領域の温度を、前記測定対象の存する空間の環境温度として求め、前記環境温度に基づいて前記顔温度を補正する顔温度補正部と、
を備える非接触体温測定装置。
【請求項2】
前記顔温度補正部は、前記熱画像の前記背景領域内の複数の測定点における温度の代表値又は中央値を前記環境温度として求める、請求項1に記載の非接触体温測定装置。
【請求項3】
前記顔温度補正部は、前記複数の測定点のうち、前記測定点の温度の平均値からの差分絶対値が閾値以上の測定点を除外して、前記代表値を求める、請求項2に記載の非接触体温測定装置。
【請求項4】
前記顔温度補正部は、複数フレームの可視画像からそれぞれ背景領域を特定し、前記複数フレームの可視画像にそれぞれ対応する複数フレームの熱画像において前記背景領域に対応する領域の温度の時間的な代表値を、前記環境温度として求める、請求項1から3のいずれか1項に記載の非接触体温測定装置。
【請求項5】
前記顔温度補正部は、前記可視画像カメラと前記測定対象の顔との間の測定距離と、前記顔領域のサイズとの間の対応関係を示すテーブルを用いて、前記顔領域の測定距離の推定値を算出し、前記推定値が閾値以上の場合に前記顔温度に補正値を加算する、請求項1から4のいずれか1項に記載の非接触体温測定装置。
【請求項6】
前記顔温度補正部は、前記測定対象が存する空間の環境温度、湿度及び気圧のうちの少なくとも1つの情報を取得し、前記情報に基づいて前記顔温度を補正する、請求項1から5のいずれか1項に記載の非接触体温測定装置。
【請求項7】
可視画像カメラにより、測定対象から可視光線の波長域の光を受光して可視画像を撮像する工程と、
熱画像カメラにより、前記測定対象から放出される赤外線量を可視化した熱画像を撮像する工程と、
前記可視画像から顔領域を検出し、前記熱画像中の顔領域から顔温度を検出する工程と、
前記可視画像から前記測定対象の輪郭の外部の背景領域を特定し、前記背景領域に対応する前記熱画像中の領域の温度を、前記測定対象の存する空間の環境温度として求め、前記環境温度に基づいて前記顔温度を補正する工程と、
を含む非接触体温測定方法。
【請求項8】
可視画像カメラにより、測定対象から可視光線の波長域の光を受光して可視画像を撮像する機能と、
熱画像カメラにより、前記測定対象から放出される赤外線量を可視化した熱画像を撮像する機能と、
前記可視画像から顔領域を検出し、前記熱画像中の顔領域から顔温度を検出する機能と、
前記可視画像から前記測定対象の輪郭の外部の背景領域を特定し、前記背景領域に対応する前記熱画像中の領域の温度を、前記測定対象の存する空間の環境温度として求め、前記環境温度に基づいて前記顔温度を補正する機能と、
をコンピュータに実現させるための非接触体温測定プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は非接触体温測定装置、方法及びプログラムに係り、特に測定対象の表面温度を非接触で測定するための非接触体温測定装置、方法及びプログラムに関する。
【背景技術】
【0002】
従来、測定対象の表面温度を非接触で測定するための放射温度計が知られている。放射温度計の例として、測定者が手で持って測定対象の人の前額部等にかざして体温を測定するハンディタイプの非接触型体温計が知られている。このようなハンディタイプの非接触型体温計は、腋の下又は口腔で体温を測定する接触型の体温計と比較して短時間での計測が可能なため、建物の入場時等における体温の測定に広く用いられている。しかし、このようなハンディタイプの非接触型体温計の場合には、体温計1個につき1人の測定者が必要となり、測定対象を1人ずつ測定することになる。また、測定した温度データの管理等のために人手が必要となる。
【0003】
放射温度計の別の例としては、測定対象から放射される赤外線を分析して、測定対象とその周囲における熱分布を測定して可視化する赤外線サーモグラフィカメラも用いられている。このようなサーモグラフィカメラは、モニタとともに自立スタンドに取り付けられて設置され、測定範囲内に入った人の熱画像をモニタに出力する。これにより、建物の入退場時等における人の体温のモニタリングを行うことができる。
【0004】
赤外線サーモグラフィカメラ(以下、熱画像カメラともいう。)を用いた関連技術として、特許文献1には、対象動物の体温を反映する体表上の特定の位置(子牛の眼縁部)の温度を測定することによって対象動物の体温を非接触で測定する体温測定システムが開示されている。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献1に開示された体温測定システムでは、環境温度の影響によりサーモグラフィカメラの測定精度が低下することを考慮して、サーモグラフィカメラの視野内に基準熱源面を配置し、基準熱源面の温度を用いて熱画像を補正するようになっているが、以下のような問題がある。
【0007】
すなわち、上記体温測定システムにおいては、測定対象(子牛の眼縁部)の温度を精度よく測定するために、サーモグラフィカメラから測定対象までの距離が一定の距離に保たれる状態で熱画像の取得が行われるようになっているが、建物の出入口のように多数の人が入退場を繰り返す場所においては、熱画像中における測定対象の位置が一定とならず、サーモグラフィカメラの測定精度を低下させる要因となる。
【0008】
また、上記体温測定システムでは、サーモグラフィカメラの視野内に基準熱源面を配置する必要があり、その配置の自由度が制限されるし、手間もかかるので、非効率である。
【0009】
本発明はこのような事情に鑑みてなされたもので、測定対象の表面温度を高精度かつ効率的に測定することが可能な非接触体温測定装置、方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0010】
上記課題を解決するために、本発明の第1の態様に係る非接触体温測定装置は、測定対象から可視光線の波長域の光を受光して可視画像を撮像する可視画像カメラと、測定対象から放出される赤外線量を可視化した熱画像を撮像するための熱画像カメラと、可視画像から顔領域を検出し、熱画像中の顔領域から顔温度を検出する顔温度検出部と、可視画像から測定対象の輪郭の外部の背景領域を特定し、背景領域に対応する熱画像中の領域の温度を、測定対象の存する空間の環境温度として求め、環境温度に基づいて顔温度を補正する顔温度補正部とを備える。
【0011】
本発明の第2の態様に係る非接触体温測定装置は、第1の態様において、顔温度補正部は、熱画像の背景領域内の複数の測定点における温度の代表値又は中央値を環境温度として求める。
【0012】
本発明の第3の態様に係る非接触体温測定装置は、第2の態様において、顔温度補正部は、複数の測定点のうち、測定点の温度の平均値からの差分絶対値が閾値以上の測定点を除外して代表値を求める。
【0013】
本発明の第4の態様に係る非接触体温測定装置は、第1から第3の態様のいずれかにおいて、顔温度補正部は、複数フレームの可視画像からそれぞれ背景領域を特定し、複数フレームの可視画像にそれぞれ対応する複数フレームの熱画像において背景領域に対応する領域の温度の時間的な代表値を、環境温度として求める。
【0014】
本発明の第5の態様に係る非接触体温測定装置は、第1から第4の態様のいずれかにおいて、顔温度補正部は、可視画像カメラと測定対象の顔との間の測定距離と、顔領域のサイズとの間の対応関係を示すテーブルを用いて、顔領域の測定距離の推定値を算出し、推定値が閾値以上の場合に顔温度に補正値を加算する。
【0015】
本発明の第6の態様に係る非接触体温測定装置は、第1から第5の態様のいずれかにおいて、顔温度補正部は、測定対象が存する空間の環境温度、湿度及び気圧のうちの少なくとも1つの情報を取得し、情報に基づいて顔温度を補正する。
【0016】
本発明の第7の態様に係る非接触体温測定方法は、可視画像カメラにより、測定対象から可視光線の波長域の光を受光して可視画像を撮像する工程と、熱画像カメラにより、測定対象から放出される赤外線量を可視化した熱画像を撮像する工程と、可視画像から顔領域を検出し、熱画像中の顔領域から顔温度を検出する工程と、可視画像から測定対象の輪郭の外部の背景領域を特定し、背景領域に対応する熱画像中の領域の温度を、測定対象の存する空間の環境温度として求め、環境温度に基づいて顔温度を補正する工程とを含む。
【0017】
本発明の第8の態様に係る非接触体温測定プログラムは、可視画像カメラにより、測定対象から可視光線の波長域の光を受光して可視画像を撮像する機能と、熱画像カメラにより、測定対象から放出される赤外線量を可視化した熱画像を撮像する機能と、可視画像から顔領域を検出し、熱画像中の顔領域から顔温度を検出する機能と、可視画像から測定対象の輪郭の外部の背景領域を特定し、背景領域に対応する熱画像中の領域の温度を、測定対象の存する空間の環境温度として求め、環境温度に基づいて顔温度を補正する機能とをコンピュータに実現させる。
【発明の効果】
【0018】
本発明によれば、背景領域から求めた環境温度に基づいて温度補正を行うことにより、測定対象の表面温度を高精度かつ効率的に測定することができる。
【図面の簡単な説明】
【0019】
【
図1】
図1は、本発明の第1の実施形態に係る非接触体温測定装置を示すブロック図である。
【
図2】
図2は、本発明の第1の実施形態に係る非接触体温測定装置を汎用の操作端末により実現した例を示すブロック図である。
【
図3】
図3は、本発明の第1の実施形態に係る非接触体温測定方法の処理の流れを示すデータフローである。
【
図6】
図6は、入出力装置への出力の例を示す図である。
【
図7】
図7は、本発明の第2の実施形態に係る非接触体温測定装置を示すブロック図である。
【
図8】
図8は、本発明の第2の実施形態に係る非接触体温測定装置を入退出管理システムに適用した場合における処理の流れを示すフローチャートである。
【
図9】
図9は、
図8の人物検出工程を示すフローチャートである。
【発明を実施するための形態】
【0020】
以下、添付図面に従って本発明に係る非接触体温測定装置、方法及びプログラムの実施の形態について説明する。
【0021】
[第1の実施形態]
(非接触体温測定装置の構成例)
図1は、本発明の第1の実施形態に係る非接触体温測定装置を示すブロック図である。
【0022】
図1に示すように、本実施形態に係る非接触体温測定装置10は、演算装置12、電源14、可視画像カメラ16及び熱画像カメラ18を含んでいる。非接触体温測定装置10は、可視画像カメラ16及び熱画像カメラ18を用いて撮像された画像から、測定対象の人の体温を非接触で測定するための装置である。
【0023】
演算装置12は、非接触体温測定装置10の各部の動作を制御するCPU(Central Processing Unit)を含んでいる。演算装置12は、非接触体温測定装置10の各部との間で制御信号及びデータの送受信が可能となっている。演算装置12は、入出力装置20を介してユーザからの指示入力を受け付け、この指示入力に応じた制御信号を非接触体温測定装置10の各部に送信して各部の動作を制御する。
【0024】
また、演算装置12は、EEPROM(Electronically Erasable and Programmable Read Only Memory)、各種演算のための作業領域として使用されるRAM(Random Access Memory)、及び入出力装置20に出力される画像データを一時記憶するため領域として使用されるVRAM(Video Random Access Memory)を含んでいる。
【0025】
さらに、演算装置12は、例えば、HDD(Hard Disk Drive)等の磁気ディスク、若しくはSSD(Solid State Drive)又はeMMC(embedded Multi Media Card)等のフラッシュメモリ等を含む記憶装置(ストレージデバイス)を含んでいる。この記憶装置には、各種演算のための制御プログラム及び非接触体温測定プログラム等を含むデータが格納される。
【0026】
入出力装置20は、画像を表示するための表示装置と、ユーザからの指示入力を受け付ける入力装置とを含んでいる。具体的には、入出力装置20は、表示装置としての液晶モニタ(LCD:Liquid Crystal Display)と、入力装置として液晶モニタの表面に設けられたタッチパネルとを含んでいる。なお、入力装置としては、タッチパネルに代えて、文字入力等のためのキーボード及びポインティングデバイス(例えば、マウス又はトラックボール等)等を備えてもよい。
【0027】
電源14は、非接触体温測定装置10の各部に電力を供給する装置である。電源14としては、例えば、商用電源から入力された交流電流を変換して所定の直流電流を出力するAC(Alternating Current)アダプタ、又は非接触体温測定装置10に取り付け可能なバッテリ(例えば、充電式)を用いることができる。
【0028】
可視画像カメラ16は、撮像領域の物体から、可視光線の波長域(一例で波長360nm~800nm程度)の光を受光して画像(例えば、動画)を撮像する装置である。可視画像カメラ16は、例えば、CCD(Charge Coupled Device)カメラ又はCMOS(Complementary Metal Oxide Semiconductor)カメラである。
【0029】
熱画像カメラ18は、撮像領域の物体から放出される赤外線量を可視化(例えば、動画に)するための装置である。熱画像カメラ18は、撮像領域の物体から放出される赤外線を電気信号に変換して赤外線量を測定する赤外線撮像素子(量子型又は非冷却型)を含んでいる。
【0030】
可視画像カメラ16と熱画像カメラ18とは、互いの撮像範囲(画角)は略同一になるように配置されている。ここで、可視画像カメラ16と熱画像カメラ18の撮像範囲は厳密に同一である必要はない。可視画像カメラ16と熱画像カメラ18の撮像範囲は厳密に同一でなくても、画像処理(例えば、パターンマッチング等)により一致させることができる。
【0031】
可視画像カメラ16と熱画像カメラ18とは、略同一画角の画像を略同期して撮像可能となっている。ここで、可視画像カメラ16と熱画像カメラ18の撮像タイミングが完全に同期している必要はなく、測定精度に影響を与えない程度のずれは許容される。また、可視画像IMG1又は熱画像IMG2のフレームを補間することにより撮像タイミングが相互に同期したフレーム画像を生成してもよい。なお、以下の説明では、説明の簡略化のため、可視画像カメラ16と熱画像カメラ18の撮像タイミングが同期しているものとして説明する(
図4~
図6参照)。
【0032】
可視画像カメラ16は、測定対象の人の判別(人の顔又は瞳の検出)を行うのに十分な解像度の画像を所定のフレームレートで撮像可能となっている。可視画像カメラ16の解像度は、一例で800pixel×600pixel程度である。
【0033】
熱画像カメラ18は、可視画像カメラ16により撮像された可視画像からの測定対象の検出結果に基づいて、測定対象の人と、測定対象以外の背景領域(例えば、壁等)とを分離可能な程度の解像度の画像を所定のフレームレートで撮像可能となっている。熱画像カメラ18の解像度は、一例で可視画像カメラ16の解像度の10分の1程度であり、80pixel×60pixel程度である。本実施形態では、熱画像カメラ18として、可視画像カメラ16よりも低解像度のものを用いることにより、低コストかつ高精度な測定を実現することができる。
【0034】
なお、熱画像カメラ18の解像度はこれに限定されるものではなく、可視画像カメラ16と同等の解像度であってもよい。この場合、測定精度のさらなる向上を実現することができる。
【0035】
本実施形態では、可視画像カメラ16及び熱画像カメラ18を用いて撮像範囲内の人の可視画像及び熱画像をそれぞれ撮像する。演算装置12は、可視画像を処理して撮像範囲内の人の顔又は瞳を検出する。そして、演算装置12は、可視画像からの人の顔又は瞳の検出結果に基づいて、熱画像に含まれる測定対象の人の領域を背景領域から分離して、測定対象の人の体温の推定値を算出する。
【0036】
センサ22は、測定対象の人が存在する場所の気温(環境温度)、湿度又は圧力(気圧)等を測定するための装置である。センサ22は、可視画像カメラ16及び熱画像カメラ18の撮像範囲内の任意の場所に設置可能である。センサ22は、可視画像カメラ16及び熱画像カメラ18と測定対象との間の距離が短い場合には、可視画像カメラ16及び熱画像カメラ18からなるモジュールに設けられていてもよい。
【0037】
演算装置12は、センサ22による環境温度、湿度又は気圧の測定結果に基づいて、測定対象の人の体温の推定値を補正することが可能である。
【0038】
なお、センサ22は、非接触体温測定装置10に含まれていてもよいし、非接触体温測定装置10とは別の装置から測定結果を取得する構成としてもよい。例えば、演算装置12が、インターネット上に公開されている気象庁発表の地域の気象データ、又はIoT(Internet of Things)気象センサによる気象データ(温湿度、気圧等)等の情報を取得するようにしてもよい。この場合、演算装置12は、測定範囲に関する位置情報を取得して、この位置情報を用いて、インターネット上の気象データを検索するようにしてもよい。測定範囲の位置情報は、例えば、演算装置12に手動入力してもよいし、演算装置のIP(Internet Protocol)アドレス又は無線LAN(Local Area Network)等に関する情報から自動取得してもよい。また、センサ22は、非接触体温測定装置10に必須のものではなく、省略することも可能である。
【0039】
また、センサ22による測定結果は、例えば、1又は複数の非接触体温測定装置10を管理装置により遠隔操作する場合には(第2の実施形態参照)、各非接触体温測定装置10に対応するセンサ22の測定結果を管理装置に送信するようにしてもよい。
【0040】
また、演算装置12は、例えば、パーソナルコンピュータ、ワークステーション又はタブレット端末等の汎用の操作端末により実現することができる。この場合、入出力装置20は、非接触体温測定装置10に含まれていてもよい。
【0041】
(非接触体温測定装置を汎用の操作端末により実現した例)
図2は、本発明の第1の実施形態に係る非接触体温測定装置を汎用の操作端末により実現した例を示すブロック図である。
【0042】
図2に示す例では、非接触体温測定装置10Aは、操作端末30及びカメラモジュール32を含んでいる。
【0043】
操作端末30は、パーソナルコンピュータ、ワークステーション又はタブレット端末等の汎用の操作端末からなり、
図1に示した演算装置12、電源14及び入出力装置20として機能する。操作端末30は、後述の画像処理、温度(体温、顔温度)検出、顔認証及び結果出力等のためのソフトウェアがインストールされている。
【0044】
カメラモジュール32は、
図1に示した可視画像カメラ16及び熱画像カメラ18を含んでいる。カメラモジュール32は、USB(Universal Serial Bus)等のインターフェイスを介して操作端末30と接続されており、操作端末30からの電力の供給を受けたり、操作端末30との間で制御信号及びデータの伝送を行うことが可能となっている。
【0045】
画像処理、温度(体温、顔温)検出、顔認証及び結果出力等の処理は、可視画像IMG1及び熱画像IMG2等のデータをカメラモジュール32から操作端末30に伝送して、操作端末30により測定対象の温度を推定してもよい。また、カメラモジュール32で温度の推定等の各種処理を行い、その結果を操作端末30に伝送して結果を表示させてもよい。例えば、操作端末30とカメラモジュール32との間の伝送路の帯域が狭い場合等には、カメラモジュール32で温度の推定等の各種処理を行うことにより、操作端末30とカメラモジュール32との間で伝送するデータ量を節約することができる。
【0046】
(非接触体温測定方法)
次に、本発明の第1の実施形態に係る非接触体温測定方法について、
図3から
図5を参照して説明する。
図3は、本発明の第1の実施形態に係る非接触体温測定方法の処理の流れを示すデータフローである。本実施形態では、可視画像カメラ16及び熱画像カメラ18は同期して撮像範囲の画像(動画)を取得し、演算装置12は、
図3に示す処理を動画のフレームごとに行う。
【0047】
まず、演算装置12は、可視画像カメラ16及び熱画像カメラ18からそれぞれ可視画像IMG1及び熱画像IMG2を取得する。そして、演算装置12は、可視画像IMG1及び熱画像IMG2に対してそれぞれ前処理を行う(ステップS10及びS20)。なお、熱画像IMG2に対する前処理S20は、ステップS10からS16の後に行うようにしてもよいし、並行して行ってもよい。
【0048】
可視画像IMG1に対する前処理では(ステップS10)、演算装置12は、色情報等に基づいて測定範囲内の測定対象の人の概略形状(輪郭)を認識する。そして、演算装置12は、可視画像IMG1と熱画像IMG2とを比較しながら、人の部分の位置調整を行う。具体的には、演算装置12は、測定対象の人の部分の拡大縮小処理、平行移動等の処理を行う。ここで、拡大縮小率、移動量の設定は、画像認識の結果を踏まえて演算装置12が自動で行ってもよいし、手動で行ってもよい。
【0049】
また、演算装置12は、可視画像IMG1からの人の顔の検出(顔認識)を容易にするための画像調整を行う。具体的には、演算装置12は、ホワイトバランス調整、ガンマ補正、コントラスト調整等を行う。
【0050】
さらに、演算装置12は、可視画像IMG1のうち、熱画像IMG2の撮像範囲外の部分を切り取るなどの処理も行ってもよい。
【0051】
一方、熱画像IMG2に対する前処理では(ステップS20)、可視画像IMG1における測定対象に対して、熱画像IMG2における測定対象の大きさ及び位置(画角)を合わせる処理を行う。具体的には、可視画像IMG1に対する前処理と同様に、演算装置12は、拡大縮小処理、平行移動等の処理を行う。ここで、拡大縮小率、移動量の設定は、演算装置12が画像認識の結果を踏まえて自動で行ってもよいし、手動で行ってもよい。
【0052】
なお、ステップS10及びS20において、画像の位置調整を自動で行う場合、演算装置12は、可視画像IMG1及び熱画像IMG2の各画像から輪郭線の抽出を行い、両画像から抽出した輪郭線に基づいて両画像の重ね合わせを行ってもよい。具体的には、演算装置12は、それぞれの輪郭の相関が最も高くなるように両画像を重ね合わせてもよい。また、可視画像IMG1及び熱画像IMG2の各画像から人の瞳又はメガネを検出し、検出した瞳又はメガネを基準に両画像を重ね合わせてもよい。あるいは、演算装置12は、各画像から照明装置等の特徴ある特異点を検出し、その特異点を基準に各画像を重ね合わせてもよい。
【0053】
図4は可視画像IMG1の例を示しており、
図5は熱画像IMG2の例を示している。また、
図5に示す熱画像IMG2では、熱画像カメラ18によって検出された温度が色分けによって可視化されており、温度が高い方から順に赤(R)、橙(O)、黄(Y)、緑(G)、青(B)となっている。
図5では、赤(R)が縦縞、橙(O)が斜め格子、黄(Y)が格子、緑(G)が斜め縞、青(B)が横縞で表されている。なお、
図5の符号CSは、色と検出温度の対応関係を示すカラースケールである。
【0054】
図4に示す可視画像IMG1には、測定対象の人P1が1人写っている。演算装置12は、人P1と背景領域BG1との間の色(温度)の相違、又は人間の体型とのパターンマッチング等の処理を行って、人P1の輪郭を検出する。
【0055】
一方、
図5に示す熱画像IMG2には、人P1に対応する領域P2が示されている。領域P2のうち、頭部H1に対応する領域H2のうち顔及び耳の部分(すなわち、皮膚が露出している部分)は高温(赤)となっており、頭部H1に対応する領域H2のうち頭髪部分、及び胴部B1に対応する領域B2は低温(青)となっている。また、メガネに対応する領域G2は顔よりも低温(緑)となっている。
【0056】
なお、頭髪部分及び胴部の領域B2では、高温部である顔に近い領域ほど高温の領域として検出される。すなわち、実際の熱画像IMG2では、顔に近づくにつれて、頭髪部分及び胴部の領域B2の色が青、青緑、緑、黄緑のように変化する。
図5では、図示の制約上、頭髪部分及び胴部の領域B2のうち、顔に近い領域を緑としている。
【0057】
演算装置12は、熱画像IMG2における領域P2と背景領域BG2との間の色(温度)の相違、又は人間の体型とのパターンマッチング等の処理を行って、人P1に対応する領域P2の輪郭を検出する。
【0058】
次に、演算装置12は、
図3に示すように、可視画像IMG1から測定対象の人の顔を検出する(ステップS12)。ステップS12では、演算装置12は、可視画像IMG1から測定対象の人の顔の瞳又はメガネを含む瞳領域G1の検出を行って顔の有無を判定する。そして、可視画像IMG1から人の顔が検出されなかった場合には(ステップS14のNo)、その可視画像IMG1及びこれに対応する熱画像IMG2に対する処理を中止し、次に取得した可視画像IMG1に対してステップS10及びS12を繰り返す。
【0059】
一方、可視画像IMG1から人P1の顔が検出された場合には(ステップS14のYes)、演算装置12は、瞳領域G1の検出結果に基づいて顔領域F1を抽出し、可視画像IMG1における顔領域F1から顔温度(体温)の測定に用いる額領域A1の抽出を行う(ステップS16)。
【0060】
具体的には、演算装置12は、可視画像IMG1における色情報又はパターンマッチングの結果に基づいて、測定対象の人P1の瞳領域G1(例えば、両目又はメガネを含む矩形領域)を検出する(ステップS12)。ここで、瞳領域の検出は、例えば、Haar特徴ベースのCascade型分類器を用いた物体検出手法(例えば、越前功,“人間とデバイスの感度の違いを利用したプライバシー保護技術”,[online],2012年12月12日,大学共同利用機関法人国立情報学研究所,[2020年9月29日検索],インターネット〈URL:https://www.nii.ac.jp/userimg/press_20121212.pdf〉参照)を適用可能である。
【0061】
次に、演算装置12は、可視画像IMG1において瞳領域G1を縦横に所定の倍率で拡大した領域を、可視画像IMG1における顔領域F1として抽出する(ステップS16)。
【0062】
図4に示すように、可視画像IMG1における瞳領域G1の縦横のサイズをそれぞれV
G及びH
G、顔領域F1の縦横のサイズをそれぞれV
F及びH
Fとすると、瞳領域G1と顔領域F1の関係は下記の式により表される。なお、下記の式において、m及びnは、瞳領域G1からそれぞれ顔領域F1を求めるときに用いる縦横の倍率であり、倍率m及びnは実験的又は統計的に決定可能である。
【0063】
VF=m×VG
HF=n×HG
なお、瞳領域G1は、一般的に横長の矩形領域になる。このため、顔領域F1の形状(例えば、正方形又は長方形)に近づけるために、倍率mとnの関係は、一般的にm>nとなる。一例で、縦方向の倍率mは8倍、横方向の倍率nは1.5倍である。
【0064】
上記のように、本実施形態では、瞳領域G1を基準として顔領域F1を抽出するので、測定対象の人P1がマスクを着用している場合であっても、人の顔を検出することが可能になる。
【0065】
次に、演算装置12は、可視画像IMG1における顔領域F1から体温の測定に用いる額領域A1の抽出を行う(ステップS16)。演算装置12は、例えば、〔A〕瞳領域G1の上辺より上で、かつ、〔B〕顔の輪郭上端(頭部H1の上端)より下の特定の比率)の領域を額領域A1と推定する。額領域A1を推定する際の条件としては、〔C〕肌色の領域、又は〔D〕色情報に基づいて頭髪を除いた領域という条件を付加してもよい。また、額領域A1は、上記〔A〕及び〔B〕の条件を満たす矩形領域として検出するようにしてもよいし、上記〔A〕及び〔B〕の条件を満たす矩形領域を、〔C〕又は〔D〕の条件により変形した領域(例えば、楕円状の領域)としてもよい。なお、後述する顔領域の算出において、平均値からの差分絶対値が所定値以上の画素を除外する場合には、額領域A1を厳密に検出する必要はないので、〔C〕及び〔D〕の条件は必須ではない。
【0066】
次に、演算装置12は、可視画像IMG1における顔領域F1の抽出結果に基づいて、熱画像IMG2において顔領域F1に対応する領域F2を特定し、額領域A1に対応する領域A2を特定する。そして、演算装置12は、熱画像IMG2に含まれる温度情報に基づいて、領域A2の温度(以下、顔温度という。)を検出する(ステップS22)。ここで、演算装置12は、顔温度検出部として機能する。ステップS22では、可視画像IMG1における額領域A1と位置及び大きさが同じ熱画像IMG2中の領域A2から顔温度を検出する。ここで、顔温度としては、領域A2において温度が最高の画素の顔温度を採用してもよいし、領域A2内の複数の測定点における温度の代表値(例えば、平均値又は中央値等)を採用してもよい。また、顔温度の代表値を算出する際には、領域A2の画素のうち、平均値からの差分絶対値が所定値以上の画素を除外するようにしてもよい。
【0067】
なお、上記の例では、熱画像IMG2における複数の測定点の代表値(空間的な代表値)について説明したが、複数フレームの熱画像IMG2において検出された領域A2内の測定点における時間的な代表値を採用してもよい。
【0068】
次に、演算装置12は、ステップS22で検出した顔温度の温度補正を行う(ステップS24)。ここで、演算装置12は、顔温度補正部として機能する。
【0069】
〈A〉額領域A2と腋窩温の相関性に基づく顔温度の補正
ステップS24では、例えば、額領域A2と腋窩温の相関性に基づいて、ステップS22で検出した顔温度を補正する。額領域A2と腋窩温の相関性に基づく補正については、例えば、遠藤芳子,外3名,“電子体温計による腋窩体温と前額部深部温との比較検討”,[online],2009年1月,宮城大学,[2020年9月29日検索],インターネット〈URL:https://myu.repo.nii.ac.jp/?action=repository_action_common_download&item_id=225&item_no=1&attribute_id=19&file_no=1〉に記載の方法を適用可能である。
【0070】
〈B〉環境温度(周囲温度)に基づく顔温度の補正
また、熱画像IMG2から測定した顔温度には、測定対象の周囲の環境温度及び測定距離(人P1と熱画像カメラ18との間の距離)に起因する誤差が含まれ得る。このため、ステップS24では、環境温度及び測定距離に起因する誤差の補正を行うことが可能となっている。
【0071】
一般に、環境温度の推定は、装置の筐体内部等に配置した温度センサを用いて行われるが、筐体内部に配置した温度センサは、筐体内部に配置された電子回路又はモニタ等の機器の発熱による影響を受ける。そこで、本実施形態では、熱画像IMG2の背景領域BG2の検出温度から環境温度を推定する。
【0072】
具体的には、演算装置12は、可視画像IMG1から推定された測定対象の人P1の輪郭の外部の背景領域BG1に基づいて、熱画像IMG2中の背景領域BG2を特定する。そして、演算装置12は、背景領域BG2(例えば、壁等)の温度を複数の測定点で測定し、その代表値(例えば、平均値又は中央値等)を、人P1が存する空間の環境温度として採用する。ここで、環境温度を算出する際には、背景領域BG2に写り込んだ窓及び照明器具等の影響を排除するため、代表値として中央値を採用してもよい。また、統計処理により他の測定点と比較して大きく温度が異なる(例えば、平均値からの差分絶対値が閾値以上の)測定点を除外した後の平均値又は中央値等を代表値として採用することもできる。
【0073】
上記の例では、熱画像IMG2における複数の測定点の代表値(空間的な代表値)について説明したが、複数フレームの熱画像IMG2において検出された背景領域BG2内の測定点における時間的な代表値を採用してもよい。背景領域BG2内の測定点における時間的な代表値を採用する場合、可視画像IMG1から人の顔が検出されなかった場合(ステップS14のNo)の可視画像IMG1及び熱画像IMG2についても、時間的な代表値の算出に使用してもよい。
【0074】
なお、環境温度に基づく顔温度の補正には、例えば、田村照子,“サーモグラフィによる全身および区分別平均皮膚温の推定”,[online],1980年,家政学雑誌,[2020年9月29日検索],インターネット〈URL:https://www.jstage.jst.go.jp/article/jhej1951/31/6/31_6_461/_pdf〉に記載の方法を適用可能である。
【0075】
〈C〉測定距離に基づく顔温度の補正
さらに、熱画像カメラ18と測定対象の人との間の距離については、装置に取り付けた構造物(例えば、指示標識等)によって一定距離での測定を促すもの、熱画像カメラ18の前に指定位置に測定対象の人が立つように促し一定距離での測定を行うものがある。また、レーザー測距装置により距離を測定し補正を行うものもある。しかしながら、これらの装置は、移動中の測定対象の温度測定には不向きである。
【0076】
そこで、本実施形態では、可視画像カメラ16の画角と撮影した顔の輪郭から、測定対象の距離を推定し補正に用いることが可能となっている。具体的には、同じ画角のカメラで測定した場合、〔a〕顔領域の面積が大きければ距離が近くなること、〔b〕測定対象の面積が小さい(距離が遠い)場合、測定対象の温度の測定値が低くなることが実験的にわかっている。〔b〕について、測定対象の温度の測定値の誤差は1.0℃以上になることもある。
【0077】
したがって、演算装置12は、顔領域F1の面積が相対的に大きければ距離が近いと判断し、顔領域F1の面積が相対的に小さければ距離が遠いと判断して、顔温度の検出結果を所定の補正式にしたがって計算する。
【0078】
具体的には、可視画像カメラ16と測定対象の人の顔との間の測定距離と、顔領域F1のサイズ(例えば、面積、縦又は横の長さ等)との間の対応関係を示すテーブルを、演算装置12の記憶装置にあらかじめ格納しておく。そして、演算装置12は、可視画像IMG1から顔領域F1のサイズを求め、このテーブルを用いて測定距離の推定値を算出する。
【0079】
次に、演算装置12は、測定距離の推定値が閾値以上の場合に、熱画像IMG2から求められる顔温度に補正値を加算する。ここで、測定距離の閾値を複数設定して、測定距離が長くなるほど、補正値の値を大きくするようにしてもよい。
【0080】
また、測定距離が所定の閾値以上となった場合に、その顔領域F1については、顔温度の測定の対象から除外するようにしてもよい。この場合、ステップS14において、測定距離を推定し、測定距離が所定の閾値以上となった場合に、顔なしと判定するようにしてもよい。
【0081】
なお、可視画像カメラ16と測定対象の人の顔との間の距離については、可視画像カメラ16のオートフォーカス機能を用いて求めてもよいし、測距センサを設けて直接測定してもよい。
【0082】
〈D〉センサ22による測定結果に基づく顔温度の補正
また、ステップS24では、センサ22による測定結果(例えば、測定対象の人が存在する場所の気温(環境温度)、湿度又は圧力(気圧)等)に基づく温度補正を行ってもよい。
【0083】
上記のようにして補正された顔温度に関するデータは、顔温度データD1として、可視画像IMG1及び熱画像IMG2とともに演算装置12の記憶装置に記憶される。
【0084】
また、演算装置12は、測定結果を入出力装置20に出力する場合には、合成画像IMG3を作成するようにしてもよい(ステップS30)。合成画像IMG3では、例えば、可視画像IMG1と熱画像IMG2とを並べて表示するようにしてもよいし、重畳表示してもよい。合成画像IMG3を作成する場合、例えば、可視画像IMG1と熱画像IMG2の解像度又は画素数が同じになるように画像処理を行う。可視画像IMG1よりも熱画像IMG2の方が解像度が低い場合には、熱画像IMG2について補間処理を行ってもよい。例えば、可視画像IMG1の解像度が800pixel×600pixel、熱画像IMG2の解像度が80pixel×60pixelの場合には、補間処理により、熱画像IMG2の解像度を10倍にすればよい。また、出力先の表示装置の解像度が小さい場合等には、可視画像IMG1に対して間引き処理を行って解像度を下げてもよいし、可視画像IMG1の間引き処理と熱画像IMG2の補間処理を両方行うようにしてもよい。
【0085】
次に、演算装置12は、合成画像IMG3と測定結果を入出力装置20に出力して表示装置に表示させる(ステップS32)。ステップS32では、可視画像IMG1、熱画像IMG2、顔温度及び環境温度等の情報が表示装置に出力される。
【0086】
本実施形態によれば、背景領域BG2から求めた環境温度に基づいて温度補正を行うことにより、測定対象の人の体温を高精度かつ効率的に測定することができる。
【0087】
なお、本実施形態に係る非接触体温測定装置10は、例えば、建物の入退場ゲート等に設置して、演算装置12からの信号によりドアの開錠、又は警報装置の作動などを行うようにしてもよい。
【0088】
図6は、本実施形態に係る非接触体温測定装置10を入退場ゲート等に適用した場合の入出力装置20への出力(合成画像IMG3)の例を示す図である。なお、
図6における色の表現は
図5と同様である。
図6では、
図4の人P1、頭部H1、胴部B1、瞳領域G1及び顔領域F1に対応する領域にそれぞれ符号P3、H3、B3、G3及びF3を付して領域の対応関係を示している。
【0089】
図6に示す例では、可視画像IMG1と熱画像IMG2が重畳表示されており、重畳画像の右側にはカラースケールCSが表示されている。また、顔温度の測定結果と、顔温度の測定結果に基づく警報メッセージM1が表示されている。これにより、測定対象の人の体温の異常を操作者等に報知することができる。
【0090】
[第2の実施形態]
図7は、本発明の第2の実施形態に係る非接触体温測定装置を示すブロック図である。本実施形態の非接触体温測定装置10-1、10-2は、第1の実施形態と同様の構成を有しており、複数の非接触体温測定装置を区別するために枝番を付している。なお、非接触体温測定装置10-1、10-2に共通する説明については、枝番を省略して説明する。
【0091】
図7に示すように、本実施形態では、複数(
図7の例では2個)の非接触体温測定装置10-1、10-2が設置されており、非接触体温測定装置10-1、10-2による測定結果は、管理装置50により収集されて記憶可能となっている。ここで、管理装置50と、非接触体温測定装置10-1、10-2とは、例えば、USB(Universal Serial Bus)、LAN(Local Area Network)等の有線のインターフェイス、又は無線LAN、WiFi、Bluetooth(登録商標)等の無線のインターフェイスを解して接続される。
【0092】
管理装置50は、パーソナルコンピュータ、ワークステーション又はタブレット端末等の汎用の操作端末からなる。管理装置50は、CPU、EEPROM、RAM及びVRAM等の各種メモリ、ストレージデバイス及び入出力装置を含んでいる。なお、管理装置50は、演算装置12と同様の構成とすることができる。
【0093】
また、非接触体温測定装置10-1、10-2による測定結果等のデータは、例えば、インターネット回線を通じてクラウド上のサーバーで処理することも可能である。
【0094】
本実施形態では、非接触体温測定装置10を複数配置することで、例えば、学校、駅、遊興施設等、複数の出入り口を有し、多くの人が出入りするような施設に適用することが容易になる。例えば、すべての出入り口、入退場ゲートに非接触体温測定装置10を配置することで、施設に出入りする人すべての健康状態及び入退場状況を管理することが可能となる。
【0095】
また、非接触体温測定装置10から、可視画像IMG1及び熱画像IMG2等のデータを管理装置50(外部コンピュータ)に伝送し、第1の実施形態で説明した処理を管理装置50で行うことも可能である。これにより、すべての採取データを同じ基準で推定することができる。例えば、温度推定と合わせて顔認証による測定対象の特定を行うなどして、個々の非接触体温測定装置10により測定対象ごとの顔温度等の判定を繰り返した場合、機械学習などの状況により、顔温度の検出及び補正等の際の判定基準にばらつきが生じる可能性がある。しかし、個々の画像から同じ基準で推定を繰り返すことにより、機械学習の頻度が向上し推定精度の向上を図ることができる。また、この場合、採取した画像データを蓄積することも容易となる。
【0096】
(入退出管理システムへの適用例)
以下、本実施形態を施設の入退出管理システムに適用した場合について説明する。一般的な入退出管理システムでは、事前に登録した識別情報(ID)と顔等の画像情報を用いて登録された人物かどうかを判定し、入退場ゲートの解錠等を行う。しかしながら、このようなシステムは、事前の登録が必要となるため、不特定多数の入退場の管理には適さない。
【0097】
そこで、本実施形態では、可視画像カメラ16等により採取したデータから同一人物と推定される情報に自動的に固有の識別情報(ID)を割り付け、そのIDを利用してその人が施設内に滞在中か、退場済みかの判定を行う。本実施形態によれば、入場時間及び退場時間を記録することで、各人の滞在時間を知ることができる。また、同時(近い時間)に入場した時間及び場所と退場した時間及び場所から、グループで来場した人たちの構成を推測することもできる。
【0098】
また、可視画像カメラ16等により採取したデータを、例えば、1か月等の一定期間保存することで、あとから感染症などの問題が発生した場合、管理装置50に記憶されたその人の画像から行動記録を割り出し、その時近傍にいたであろう人の画像を抽出することも可能となる。このとき、管理装置50に記憶された画像と、その人の連絡先等の個人情報とが紐づけられている場合には、必要に応じて簡単に連絡をとったり、検査の要請を行うことも可能になる。
【0099】
上記のように、本実施形態では、個人情報を事前に登録する必要がなく、必要に応じて事後的に顔の可視画像IMG1等のデータと個人情報とを紐づけることが可能である。例えば、このような設備を設置した施設で何らかの問題が発生した場合、何月何日にその施設でこのような問題が発生した旨を告知し、必要であればその当事者に自主的に申告してもらえれば、当事者の滞在時間、行動場所を割り出し接触情報の絞り込みを効率的に行うことが可能となる。
【0100】
また、本実施形態に係るシステムは、健康状態に異常がある人を検知した場合、無線端末を通して係員に知らせたり、入退場ゲートを止める等のアクションに利用可能である。
【0101】
また、介護施設や病院等、特定の人物、例えば、被介護者や入院患者、施設職員等が短い周期で複数回入退場する場合には、撮像された人物の体温をその都度測定することとなるため、体調変化の時期の履歴を振り返ることができ、異常発生時の対応を迅速に行うことができる。例えば、そのような人がたびたび通る動線上に非接触体温測定装置10を複数台配置することでより正確に行動及び異常発生時点を検出することが可能となる。
【0102】
本実施形態によれば、事前に識別情報を登録する必要がないので、例えば、遊園地等の遊興施設や、ショッピングモールなどの商業施設でも、異常が発生した場合、その個人の顔の画像をもとに行動記録、又はその異常を持った人物と接触した可能性の高い人物を後から顔の画像をもとに推定できる。必要に応じて後からその顔の画像に、氏名や連絡先などの個人情報を紐付けることも可能となる。
【0103】
図8は、本発明の第2の実施形態に係る非接触体温測定装置を入退出管理システムに適用した場合における処理の流れを示すフローチャートであり、
図9は、
図8の人物検出工程を示すフローチャートである。
図8及び
図9に示す処理は、各非接触体温測定装置10を用いて採取したデータ(可視画像IMG1及び熱画像IMG2等)に基づいて、管理装置50において行うものとして説明する。
【0104】
まず、管理装置50により、各非接触体温測定装置10に対して監視開始の指示が送信されると(ステップS50)、各非接触体温測定装置10の可視画像カメラ16及び熱画像カメラ18により、それぞれの測定範囲の撮像が行われる(ステップS52)。
【0105】
次に、管理装置50により、人物の検出及び記録等の処理が行われる(ステップS54及びS56)。なお、ステップS54及びS56の処理は、各非接触体温測定装置10から送信された画像ごとに行われる。
【0106】
まず、ステップS52において取得した可視画像IMG1から人物の検出処理が行われる(ステップS54)。なお、人物の検出処理は
図3と同様である。ステップS54において、可視画像IMG1から人が検出されなかった場合には(ステップS54のNo)、ステップS52に戻り、次のフレームの可視画像IMG1について人物の検出が行われる。
【0107】
一方、ステップS54において、可視画像IMG1から人が検出された場合には(ステップS54のYes)、人物検出工程が行われる(ステップS56)。
【0108】
そして、上記の工程は、管理装置50により、各非接触体温測定装置10に対して監視終了の指示が送信されるまで(ステップS58のYes)、繰り返し実行される。
【0109】
次に、人物検出工程(ステップS56)について説明する。ステップS56では、まず、管理装置50は、可視画像IMG1から人物を検出し(ステップS70)、管理装置50のストレージデバイスに記憶されたデータの中に、ステップS70で検出した人物と同一人物のデータがあるかどうか判断する(ステップS72)。
【0110】
ステップS70で検出した人物と同一人物のデータがない場合には(ステップS72のNo)、管理装置50は、新規IDを発行し、可視画像IMG1及びこれに対応する熱画像IMG2と新規IDとを関連付けてストレージデバイスに記憶させる(ステップS74)。
【0111】
一方、ステップS70で検出した人物と同一人物のデータがある場合には(ステップS72のYes)、管理装置50は、可視画像IMG1及びこれに対応する熱画像IMG2と同一人物のIDとを関連付けて管理装置50のストレージデバイスに記憶させる(ステップS76)。
【0112】
次に、管理装置50は、
図3と同様の処理により、可視画像IMG1を用いた顔領域F1及び額領域A1の抽出と、熱画像IMG2を用いた顔温度の検出及び補正を行う。これらの検出結果は、管理装置50の入出力装置に出力可能としてもよいし、非接触体温測定装置10の入出力装置20に出力可能としてもよい。
【0113】
そして、顔温度が基準値未満の場合には、管理装置50は、その人に異常なしと判定して(ステップS78のNo)、
図8のメインフローに戻る。
【0114】
一方、顔温度が基準値以上の場合には、管理装置50は、その人に異常ありと判定して(ステップS78のYes)、その人が写っている可視画像IMG1を伝送した非接触体温測定装置10に対して報知処理を行う(ステップS80)。その結果、例えば、
図6に示すような合成画像IMG3と警報メッセージM1が報知処理の対象の非接触体温測定装置10の入出力装置20に出力される。また、非接触体温測定装置10の近くにいる係員に無線等による通知を行ってもよい。これにより、顔温度に異常が検出された人を特定することができ、その入場をゲートで止めることが可能になる。
【0115】
なお、上記の例では、
図8及び
図9に示す処理を管理装置50において行うようにしたが、本発明はこれに限定されない。例えば、各非接触体温測定装置10において、
図8及び
図9に示す処理を行い、その結果を管理装置50に伝送して記憶させるようにしてもよい。
【0116】
また、上記の各実施形態では、測定対象を人とした場合について説明したが、人以外の動物等の測定対象についても、その対象動物の体温を反映する体表上の特定の位置に基づく体温の推定を行うことにより、本発明を適用可能である。
【符号の説明】
【0117】
10、10A、10-1、10-2…非接触体温測定装置、12、12-1、12-2…演算装置、14、14-1、14-2…電源、16、16-1、16-2…可視画像カメラ、18、18-1、18-2…熱画像カメラ、20、20-1、20-2…入出力装置、22、22-1、22-2…センサ、30…操作端末、32…カメラモジュール、50…管理装置