IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 凸版印刷株式会社の特許一覧

特開2022-181356体温検知システム、体温検知方法及びプログラム
<>
  • 特開-体温検知システム、体温検知方法及びプログラム 図1
  • 特開-体温検知システム、体温検知方法及びプログラム 図2
  • 特開-体温検知システム、体温検知方法及びプログラム 図3
  • 特開-体温検知システム、体温検知方法及びプログラム 図4
  • 特開-体温検知システム、体温検知方法及びプログラム 図5
  • 特開-体温検知システム、体温検知方法及びプログラム 図6
  • 特開-体温検知システム、体温検知方法及びプログラム 図7
  • 特開-体温検知システム、体温検知方法及びプログラム 図8
  • 特開-体温検知システム、体温検知方法及びプログラム 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022181356
(43)【公開日】2022-12-08
(54)【発明の名称】体温検知システム、体温検知方法及びプログラム
(51)【国際特許分類】
   A61B 5/01 20060101AFI20221201BHJP
   G06T 7/00 20170101ALI20221201BHJP
   G01J 5/48 20220101ALI20221201BHJP
【FI】
A61B5/01 350
G06T7/00 660A
G01J5/48 D
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2021088267
(22)【出願日】2021-05-26
(71)【出願人】
【識別番号】000003193
【氏名又は名称】凸版印刷株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100139686
【弁理士】
【氏名又は名称】鈴木 史朗
(74)【代理人】
【識別番号】100169764
【弁理士】
【氏名又は名称】清水 雄一郎
(74)【代理人】
【識別番号】100147267
【弁理士】
【氏名又は名称】大槻 真紀子
(72)【発明者】
【氏名】夏堀 智子
(72)【発明者】
【氏名】橋本 賢
【テーマコード(参考)】
2G066
4C117
5L096
【Fターム(参考)】
2G066AC13
2G066BA14
2G066CA02
2G066CA16
4C117XA07
4C117XB01
4C117XD04
4C117XE23
4C117XE43
4C117XE48
4C117XJ01
4C117XJ13
4C117XK16
4C117XK17
4C117XK24
5L096BA02
5L096BA03
5L096CA02
5L096CA18
5L096DA02
5L096DA03
5L096FA06
5L096FA32
5L096FA60
5L096FA64
5L096FA66
5L096GA51
5L096JA16
(57)【要約】
【課題】検温範囲内に存在する複数の人間の体温を従来のシステムと同様の精度により測定することができ、かつ従来の非接触の検温システムに比較して安価に構成可能な体温検知システムを提供する。
【解決手段】本発明の体温検知システムは、赤外波長の光を検出し、被写体の赤外撮像画像を取得する赤外線センサユニットと、被写体のRGB(Red、Green、Blue)画像を取得するRGB撮像ユニットと、赤外撮像画像から予め設定された第1温度閾値以上の部分を、人間の体温を測定する測定領域の候補である測定候補領域として抽出する測定候補抽出部と、RGB画像から人間の顔画像領域を抽出する顔画像領域抽出部と、測定候補領域から顔画像領域に対応する領域として測定領域を選択する測定領域選択部と、測定領域の温度を人間の体表の体温である体表体温として検知する体温検知部とを備える。
【選択図】図1
【特許請求の範囲】
【請求項1】
赤外波長の光を検出し、被写体の赤外撮像画像を取得する赤外線センサユニットと、
被写体のRGB(Red、Green、Blue)画像を取得するRGB撮像ユニットと、
前記赤外撮像画像から予め設定された第1温度閾値以上の部分を、人間の体温を測定する測定領域の候補である測定候補領域として抽出する測定候補抽出部と、
前記RGB画像から人間の顔画像領域を抽出する顔画像領域抽出部と、
前記測定候補領域から前記顔画像領域に対応する領域として前記測定領域を選択する測定領域選択部と、
前記測定領域の温度を人間の体表の体温である体表体温として検知する体温検知部と
を備える体温検知システム。
【請求項2】
前記測定領域選択部が、前記顔画像領域と前記測定候補領域の各々の輪郭重心との間の距離を求めて、前記顔画像領域と最も近い距離にある前記測定候補領域を、前記測定領域として選択する
ことを特徴とする請求項1に記載の体温検知システム。
【請求項3】
過去の所定の期間に撮像した前記赤外撮像画像である過去赤外線撮像画像の各々における前記測定候補領域を除く領域である背景候補領域から、第2温度閾値以下を背景領域として選択し、当該背景領域の温度の平均値を、前記赤外撮像画像を補正する基準背景温度として求める背景温度算出部をさらに備える
ことを特徴とする請求項1または請求項2に記載の体温検知システム。
【請求項4】
前記測定候補抽出部が、前記赤外撮像画像における前記測定候補領域を除く領域である背景候補領域から、第2温度閾値以下を背景領域として選択し、当該背景領域の温度の平均値を平均背景温度として求め、当該平均背景温度から前記基準背景温度を減算し、減算結果を差分背景温度として求め、当該差分背景温度を前記赤外撮像画像の各画素に対してオフセットとして加算して補正した後、前記測定候補領域の抽出を行う
ことを特徴とする請求項3に記載の体温検知システム。
【請求項5】
前記体温検知部が、前記差分背景温度に対応して設定されている補正体温を、前記体表体温に加算し、加算結果を推定体温とする
ことを特徴とする請求項4に記載の体温検知システム。
【請求項6】
赤外線センサユニットが、赤外波長の光を検出し、被写体の赤外撮像画像を取得する赤外撮像画像取得過程と、
RGB撮像ユニットが、RGB被写体のRGB(Red、Green、Blue)画像を取得するRGB画像撮像過程と、
測定候補抽出部が、前記赤外撮像画像から予め設定された第1温度閾値以上の部分を、人間の体温を測定する測定領域の候補である測定候補領域として抽出する測定候補抽出過程と、
顔画像領域抽出部が、前記RGB画像から人間の顔画像領域を抽出する顔画像領域抽出過程と、
測定領域選択部が、前記測定候補領域から前記顔画像領域に対応する領域として前記測定領域を選択する測定領域選択過程と、
体温検知部が、前記測定領域の温度を人間の体表の体温である体表体温として検知する体温検知過程と
を含む体温検知方法。
【請求項7】
コンピュータを、
赤外波長の光を検出する赤外線センサユニットが取得した被写体の赤外撮像画像から、予め設定された第1温度閾値以上の部分を、人間の体温を測定する測定領域の候補である測定候補領域として抽出する測定候補抽出手段、
RGB撮像ユニットが取得した被写体のRGB(Red、Green、Blue)画像から、人間の顔画像領域を抽出する顔画像領域抽出手段、
前記測定候補領域から前記顔画像領域に対応する領域として前記測定領域を選択する測定領域選択手段、
前記測定領域の温度を人間の体表の体温である体表体温として検知する体温検知部手段
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、体温検知システム、体温検知方法及びプログラムに関する。
【背景技術】
【0002】
近年、感染症の集団感染やパンデミック(感染爆発、汎発流行)を防止するため、人間が集まる、すなわち人間が近接する可能性の高い場所の入口において、当該場所に侵入する人間の体温を測定する必要性が増している。
このとき、多くの人間の体温を高速に測定するため、人間の各々の体温を非接触の体温計にて人手で測定すると、却って人間の列が形成されて、人間が密集する原因となる。
このため、サーモカメラ(所謂赤外線カメラ)を用いて、複数の人間の体温を一度に測定することが行われている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2006-174919号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述した特許文献1の測定システムに用いられているサーモカメラは、入口に設置して侵入する複数の人間の各々の体温を高速に測定することができる。
しかしながら、高速に人間の顔の部分を抽出し、その部分の温度を測定する機能を持たせるため、一般的に高額な製品が多く、簡易に用いることが困難である。
一方、スクリーニングサーモカメラは、一人毎の体温を測定する構成であり、特許文献1のサーモカメラに対して低価格ではあるが、検温範囲内において測定される最高温度を体温として表示するため、体温を測定する人間の顔の部分を測定しているとは限らない。
【0005】
すなわち、スクリーニングサーモカメラは、検温範囲内における最高温度を体温として測定するため、人間以外の人間の体温より高温の熱源が検温範囲ないにあると、その熱源部分を検知してしまう。
このため、検温範囲を枠を表示するなど設定し、当該枠内に人間の顔を含めて、その枠内の物体の温度を測定する必要があり、人間が検温のために手間のかかる動作を行う必要があり、逆に検温に時間を要してしまう。
また、スクリーニングサーモカメラとして、AI(artificial intelligence)検温器を用いる場合、体温を測定するノイズとなる異物が検温範囲に入らないようにする調整機能などを搭載しているため価格が高くなってしまう。
【0006】
本発明は、このような事情に鑑みてなされたもので、検温範囲内に存在する複数の人間の体温を従来のシステムと同様の精度により測定することができ、かつ従来の非接触の検温システムに比較して安価に構成可能な体温検知システム、体温検知方法及びプログラムを提供する。
【課題を解決するための手段】
【0007】
この発明は上述した課題を解決するためになされたもので、本発明の体温検知システムは、赤外波長の光を検出し、被写体の赤外撮像画像を取得する赤外線センサユニットと、被写体のRGB(Red、Green、Blue)画像を取得するRGB撮像ユニットと、前記赤外撮像画像から予め設定された第1温度閾値以上の部分を、人間の体温を測定する測定領域の候補である測定候補領域として抽出する測定候補抽出部と、前記RGB画像から人間の顔画像領域を抽出する顔画像領域抽出部と、前記測定候補領域から前記顔画像領域に対応する領域として前記測定領域を選択する測定領域選択部と、前記測定領域の温度を人間の体表の体温である体表体温として検知する体温検知部とを備える。
【0008】
本発明の体温検知システムは、前記測定領域選択部が、前記顔画像領域と前記測定候補領域の各々の輪郭重心との間の距離を求めて、前記顔画像領域と最も近い距離にある前記測定候補領域を、前記測定領域として選択することを特徴とする。
【0009】
本発明の体温検知システムは、過去の所定の期間に撮像した前記赤外撮像画像である過去赤外線撮像画像の各々における前記測定候補領域を除く領域である背景候補領域から、第2温度閾値以下を背景領域として選択し、当該背景領域の温度の平均値を、前記赤外撮像画像を補正する基準背景温度として求める背景温度算出部をさらに備えることを特徴とする。
【0010】
本発明の体温検知システムは、前記測定候補抽出部が、前記赤外撮像画像における前記測定候補領域を除く領域である背景候補領域から、第2温度閾値以下を背景領域として選択し、当該背景領域の温度の平均値を平均背景温度として求め、当該平均背景温度から前記基準背景温度を減算し、減算結果を差分背景温度として求め、当該差分背景温度を前記赤外撮像画像の各画素に対してオフセットとして加算して補正した後、前記測定候補領域の抽出を行うことを特徴とする。
【0011】
本発明の体温検知システムは、前記体温検知部が、前記差分背景温度に対応して設定されている補正体温を、前記体表体温に加算し、加算結果を推定体温とすることを特徴とする。
【0012】
本発明の体温検知方法は、赤外線センサユニットが、赤外波長の光を検出し、被写体の赤外撮像画像を取得する赤外撮像画像取得過程と、RGB撮像ユニットが、RGB被写体のRGB(Red、Green、Blue)画像を取得するRGB画像撮像過程と、測定候補抽出部が、前記赤外撮像画像から予め設定された第1温度閾値以上の部分を、人間の体温を測定する測定領域の候補である測定候補領域として抽出する測定候補抽出過程と、顔画像領域抽出部が、前記RGB画像から人間の顔画像領域を抽出する顔画像領域抽出過程と、測定領域選択部が、前記測定候補領域から前記顔画像領域に対応する領域として前記測定領域を選択する測定領域選択過程と、体温検知部が、前記測定領域の温度を人間の体表の体温である体表体温として検知する体温検知過程とを含む。
【0013】
本発明のプログラムは、コンピュータを、赤外波長の光を検出する赤外線センサユニットが取得した被写体の赤外撮像画像から、予め設定された第1温度閾値以上の部分を、人間の体温を測定する測定領域の候補である測定候補領域として抽出する測定候補抽出手段、RGB撮像ユニットが取得した被写体のRGB(Red、Green、Blue)画像から、人間の顔画像領域を抽出する顔画像領域抽出手段、前記測定候補領域から前記顔画像領域に対応する領域として前記測定領域を選択する測定領域選択手段、前記測定領域の温度を人間の体表の体温である体表体温として検知する体温検知部手段として機能させるためのプログラムである。
【発明の効果】
【0014】
本発明によれば、検温範囲内に存在する複数の人間の体温を従来のシステムと同様の精度により測定することができ、かつ従来の非接触の検温システムに比較して安価に構成可能な体温検知システム、体温検知方法及びプログラムを提供することが可能となる。
【図面の簡単な説明】
【0015】
図1】本発明の一実施形態による体温検知システムの構成例を示すブロック図である。
図2】画像データ記憶部108に書き込まれて記憶されている画像データテーブルの構成例を示す図である。
図3】閾値記憶部109に予め書き込まれて記憶されている閾値テーブルの構成例を示す図である。
図4】基準背景温度としての階調度の算出に用いる基準背景温度算出テーブルの構成例を示す図である。
図5】測定領域選択部106が測定候補領域から顔画像領域に対応する測定領域を選択する処理を説明するための概念図である。
図6】期間と、当該期間における体表体温を脇下体温に補正するための脇下体温補正値との対応を示す脇下体温補正値テーブルの構成例を示す図である。
図7】脇下体温とその他の体表体温との温度差の関係性を示すグラフである。
図8】本実施形態による体温検知システムにより測定した脇下体温と、接触式体温計で測定した補正体温との比較を示す図である。
図9】本実施形態による赤外撮像画像及びRGB画像から、人間の脇下温度を推定する処理の動作例を示すフローチャートである。
【発明を実施するための形態】
【0016】
以下、図面を参照して、本発明の一実施形態による体温検知システムについて説明する。図1は、本発明の一実施形態による体温検知システムの構成例を示すブロック図である。
体温検知システム100は、赤外線センサユニット101、RGB(Red、Green、Blue)撮像ユニット102、背景温度算出部103、測定候補抽出部104、顔画像領域抽出部105、測定領域選択部106、体温検知部107、画像データ記憶部108、閾値記憶部109及び補正値記憶部110の各々を備えている。
【0017】
赤外線センサユニット101は、所定の画角の撮像面におけるピクセルの各々が入射光から赤外波長の光(赤外光)を検出し、赤外光の強度を上記ピクセルの階調度とした撮像画像とした赤外撮像画像を取得する(撮像する)。
そして、赤外線センサユニット101は、赤外撮像画像識別情報及び撮像した日時を付加して、取得した赤外撮像画像を画像データ記憶部108に書き込んで記憶させる。
【0018】
RGB撮像ユニット102は、入射光における色成分R、色成分G、色成分Bの波長成分を検出し、ピクセル毎に、色成分R、G及び色成分Bの各々の光の強度を示す、それぞれの階調度を有するRGB画像を取得する(撮像する)。
そして、RGB撮像ユニット102は、RGB画像識別情報及び撮像した日時を付加して、取得したRGB画像を画像データ記憶部108に書き込んで記憶させる。
【0019】
ここで、赤外線センサユニット101とRGB撮像ユニット102との各々は、赤外撮像画像、RGB画像のそれぞれの撮像するタイミングが同期しており、また、同一の被写体を撮像する撮像方向とされている。
また、同一タイミングで同期して撮像された赤外撮像画像及びRGB画像の各々は、画像データ記憶部108において、関連付けて(対応付けて)記憶されている。
【0020】
図2は、画像データ記憶部108に書き込まれて記憶されている画像データテーブルの構成例を示す図である。
背景温度閾値テーブルは、レコード毎に、赤外撮像画像識別情報、RGB画像識別情報、赤外撮像画像インデックス、調整赤外線撮像画像インデックス、RGB画像インデックス、測定候補領域位置情報、顔画像領域位置情報、体表温度及び脇下体温との各々の欄が設けられている。
赤外撮像画像識別情報は、赤外撮像画像の各々を個々に識別する識別情報である。RGB画像識別情報は、上記赤外撮像画像と同一の撮像タイミングで撮像されたRGB画像の各々を個々に識別する識別情報である。
【0021】
また、赤外撮像画像インデックスは、画像データ記憶部108において赤外撮像画像が書き込まれた記憶領域を示す情報であり、例えばアドレスである。調整赤外撮像画像インデックスは、画像データ記憶部108において調整赤外撮像画像が書き込まれた記憶領域を示す情報であり、例えばアドレスである。RGB画像インデックスは、画像データ記憶部108においてRGB画像が書き込まれた記憶領域を示す情報であり、例えばアドレスである。
【0022】
測定候補領域位置情報は、調整赤外撮像画像における測定候補領域の位置(例えば、面積重心の位置)を示す情報であり、調整赤外撮像画像の2次元座標系における座標位置を示している。顔画像領域位置情報は、RGB画像における顔画像領域の位置(例えば、顔における額の領域の中心位置)を示す情報であり、RGB画像の2次元座標系における座標位置を示している。ここで、調整赤外撮像画像における座標系の原点は調整赤外撮像画像の中心画素であり、RGB画像における座標系の原点はRGB画像の中心画素である。
RGB画像に複数の人間が撮像されている場合、顔画像領域として複数個の領域が抽出されるため、それぞれの人間に対応して顔画像領域位置情報も複数個ある。
【0023】
体表体温は、顔画像領域と対応する測定領域で測定して検知した温度であり、人間の身体の表面である額の温度である。脇下推定体温は、顔画像領域と対応する測定領域で測定した体表体温を補正して求めた、人間の身体の腋の下で測定される体温を推定した温度である。
ここで、RGB画像に複数の人間が撮像されている場合、上記顔画像領域位置情報の各々と、体表体温及び脇下推定体温のそれぞれが対応付けられている。
【0024】
図1に戻り、背景温度算出部103は、赤外撮像画像の縦方向のピクセル数及び横方向のピクセル数の各々を、RGB撮像画像の縦方向のピクセル数、横方向のピクセル数のそれぞれと合わせるリサイズの処理を行う。
そして、背景温度算出部103は、背景温度閾値(第2閾値、例えば30℃)を閾値記憶部109から読み出し、赤外撮像画像の各ピクセルの階調度が、上記背景温度閾値の示す階調度以下か否かの判定を行う。
【0025】
このとき、背景温度算出部103は、背景温度閾値以下の階調度を有するピクセルの領域を背景領域として抽出する。
そして、背景温度算出部103は、背景領域に含まれるピクセルの階調度の平均値を算出し、この平均値を平均背景階調度(平均背景温度に対応した階調度)とする。
また、背景温度算出部103は、補正値記憶部110から基準背景階調度(後述、基準背景温度に対応した階調度)を読み込む。
【0026】
背景温度算出部103は、上記平均背景階調度から、読み込んだ基準背景階調度を減算し、減算結果を差分背景階調度(平均背景温度と基準背景温度との温度差に対応した階調度)とする。
そして、背景温度算出部103は、求めた差分背景階調度を、測定候補抽出部104に対して出力する。
【0027】
図3は、閾値記憶部109に予め書き込まれて記憶されている閾値テーブルの構成例を示す図である。
図3(a)は、赤外撮像画像から背景の画像領域を抽出する際に用いる背景温度閾値(第2温度閾値)のテーブル(背景温度閾値テーブル)の構成例を示している。
ここで、背景温度閾値は、すでに述べたように、赤外撮像画像において背景と判定する、すなわち体温を測定する被写体(人間の顔の画像領域、後述する顔画像領域)の画像領域以外の画像領域を抽出する温度である背景温度に対応する階調度で示されている。
【0028】
背景温度閾値テーブルは、レコード毎に、期間と背景温度閾値(階調度)との欄が設けられている。
期間は、気温(すなわち、環境の温度)が同様な期間、あるいは季節などを示している。背景温度閾値は、期間(あるいは春夏秋冬の季節)に対応させて、環境の温度と人間の体表体温となどの関係性(統計的に求めた温度関係)に基づいて設定されている。
このため、背景温度算出部103は、赤外撮像画像を撮像した日時が含まれる上記期間における背景温度閾値(階調度)を、背景温度閾値テーブルから読み込んで、後述する基準背景階調度を用いて差分背景階調度を算出する処理を行う。
【0029】
図3(b)は、調整赤外撮像画像(後述)から顔画像領域を抽出する際に用いる顔露出温度閾値(第1温度閾値、階調度)のテーブル(顔露出温度閾値テーブル)の構成例を示している。
ここで、顔露出温度閾値は、調整赤外撮像画像において人間の顔の画像領域と判定する、すなわち体温を測定する被写体(人間の顔の画像領域、後述する顔画像領域)の画像領域を抽出する温度である顔露出温度に対応する階調度で示されている。
【0030】
顔露出温度閾値テーブルは、レコード毎に、期間と顔露出温度閾値(階調度)との欄が設けられている。
期間は、背景温度閾値テーブルと同様に、気温(すなわち、環境の温度)が同様な期間、あるいは季節などを示している。顔露出温度閾値は、期間(あるいは春夏秋冬の季節)に対応させて、環境の温度と人間の体表体温となどの関係性(統計的に求めた温度関係)に基づいて設定されている。
このため、測定候補抽出部104は、調整赤外撮像画像の生成に用いた赤外撮像画像を撮像した日時に対応して、上記期間における顔露出温度閾値を、顔露出温度閾値テーブルから読み込んで、赤外撮像画像の各画素の階調度と比較して、顔露出温度閾値以上の階調度を有する画素を顔画像領域として抽出する処理を行う(後述)。
【0031】
図4は、基準背景温度としての階調度(基準背景階調度)の算出に用いる基準背景温度算出テーブルの構成例を示す図である。基準背景温度算出テーブルは、補正値記憶部110に書き込まれて記憶されている。
背景温度算出部103は、図3(a)の背景温度閾値により求めた背景温度に対応する階調度(平均背景階調度)を、所定の期間内、例えば直近の一ヶ月間、あるいは直近の2週間など、季節が重なる過去の日時に撮像された赤外撮像画像の各々(複数枚)により平均することで、基準背景階調度を求める。
【0032】
そして、背景温度算出部103は、上記期間内で逐次更新して求めた基準背景階調度を、上記基準背景温度算出テーブルに対応付けて書き込んで記憶させる。
基準背景温度算出テーブルは、所定の期間内に設けた複数の赤外線撮像画像の各々における平均背景階調度のそれぞれが書き込まれて記憶されている。
また、背景温度算出部103は、所定の期間毎に、所定の期間に対応するように背景温度履歴における背景温度を置き換えて更新し、基準背景階調度を再計算する。
【0033】
図1に戻り、測定候補抽出部104は、背景温度算出部103から供給される、体温を測定する対象の差分背景階調度を、赤外撮像画像の各ピクセルの階調度に加算して、この加算結果を上記調整赤外撮像画像とする(調整赤外撮像画像の生成処理)。
そして、測定候補抽出部104は、閾値記憶部109の顔露出温度閾値テーブルを参照し、上述したように顔露出温度閾値を読み込む。
これにより、測定候補抽出部104は、調整赤外撮像画像の各画素の階調度と、読み込んだ顔露出温度閾値とを比較する。
【0034】
また、測定候補抽出部104は、顔露出温度閾値以上の階調度を有する画素が隣接した領域を、人間の体温を測定するための測定領域を選択するための測定候補領域として選択し、測定候補領域の調整赤外撮像画像における位置情報である測定候補領域位置情報を画像データ記憶部108に、調整赤外撮像画像(すなわち、赤外撮像画像識別情報)に対応して書き込んで記憶させる。ここで、調整赤外撮像画像における座標系の原点は、調整赤外撮像画像の中心画素に設定されている。
【0035】
一方、測定候補抽出部104は、顔露出温度閾値未満の階調度を有する画素が隣接した領域を、背景温度参照領域とする。
これにより、背景温度が高い場合や、あるいは背景温度が低い場合など、周囲の環境の温度に違いがあり、露出してその環境にさらされている人間の顔の温度が影響を受け、測定される体表体温がその環境の温度の違いに左右されることを低減することができる。
【0036】
顔画像領域抽出部105は、画像認識API(Application Programming Interface)や、OpenCV(登録商標)などのアプリケーションプログラムの一般的な画像解析により、RGB画像から顔画像領域を抽出する。
そして、顔画像領域抽出部105は、顔画像領域のRGB画像における位置情報である顔画像領域位置情報を画像データ記憶部108に、RGB画像(すなわち、RGB画像識別情報)に対応して書き込んで記憶させる。ここで、RGB画像における座標系の原点は、RGB画像の中心画素に設定されている。
【0037】
測定領域選択部106は、画像データ記憶部108の画像データテーブルを参照し、顔画像領域位置情報と測定候補領域位置情報との各々を比較し、顔画像領域に最も近い測定候補領域を、当該顔画像領域に対応した測定領域として選択する。
また、測定領域選択部106は、顔画像領域が複数個ある場合、画像領域位置情報と測定候補領域位置情報との各々の比較を、複数の顔画像領域のそれぞれに対して行ない、顔画像領域毎に測定領域の選択を行う。
【0038】
図5は、測定領域選択部106が測定候補領域から顔画像領域に対応する測定領域を選択する処理を説明するための概念図である。
図5(a)は、RGB画像を示しており、縦軸が縦方向の画素の座標値を示し、横軸が横方向の画素の座標値を示している。
顔画像領域300が顔画像領域抽出部105によりRGB画像から抽出された人間の顔の領域である。また、顔画像領域位置301は、顔画像領域300において額として認識された領域の中心位置の座標値を示している。
【0039】
図5(b)は、調整赤外撮像画像を示しており、縦軸が縦方向の画素の座標値を示し、横軸が横方向の画素の座標値を示している。
測定候補領域410、420、430、440、450及び460の各々は、測定候補抽出部104が調整赤外撮像画像から抽出した測定領域の候補である。
また、測定候補領域位置411、421、431、441、451及び461の各々は、測定候補領域410、420、430、440、450、460のそれぞれの領域における面積重心の位置の座標値を示している。
【0040】
図5(b)における顔画像位置350は、図5(a)における顔画像領域位置301を、図5(a)における当該顔画像領域位置301の座標値と同一の図5(b)の座標値に配置した顔画像位置である。
そして、測定領域選択部106は、顔画像位置350の座標値と、測定候補領域位置411、421、431、441、451及び461の各々の座標値との距離をそれぞれ求め、顔画像位置350の座標値に最も近い距離にある座標値の測定候補領域位置を抽出する。
例えば、図5(b)において、測定領域選択部106は、測定候補領域位置411の座標値と、顔画像位置350の座標値との距離が最も小さいと判定し、顔画像位置350に対応した位置、すなわち人間の額の位置と対応する測定位置として選択する。
【0041】
体温検知部107は、顔画像領域に対応した測定領域における温度の取得を行う。このとき、体温検知部107は、測定領域における温度を示す階調度の中央値を測定領域における温度を示す階調度として取得し、当該階調度を温度の単位に変換して体表体温とする。
そして、体温検知部107は、画像データ記憶部108の画像データテーブルにおける体表体温の欄に、求めた体表体温を書き込んで記憶させる。
【0042】
このとき、体温検知部107は、測定領域における画素の各々の階調度に対して、ノイズ除去の処理を行う。
すなわち、体温検知部107は、ノイズ除去を行う際、測定領域における画素の各々の階調度に対するヒストグラム拡張を行う。
体温検知部107は、例えば、温度を示す階調度が256階調で表されている場合、測定領域の各々の画素の階調度それぞれに対して、「255」を測定領域における階調度の最大値で除算した係数αを乗算し、ヒストグラム拡張を行う。
【0043】
一般的には、ヒストグラム階調は、各階調度から測定領域における最小値を減算した結果に対して、「255」を上記最大値から上記最小値を減算した差分により除算した結果を乗算して求める。
しかしながら、本実施形態においては、体温を測定する処理を行うため、最小値側の線形性を維持する目的で、最大値のみをヒストグラム拡張に用いている。
【0044】
体温検知部107は、測定領域における階調度に対するガウスぼかし(ガウシアンフィルタを用いたノイズ除去処理)を行なった後、階調度の各々を係数αにより減算して、それぞれ元の階調度をヒストグラム拡張から戻す(復元する)。
そして、体温検知部107は、測定領域の各々の画素の階調度から、階調度における中央値を抽出し、この中央値の階調度を温度の単位に変換して、体表体温とする。この体表体温は、顔画像領域の各々に対応して記憶されている。
また、体温検知部107は、体表体温を、通常の体温として用いられる脇下体温に補正する処理を行う。
【0045】
図6は、期間と、当該期間における体表体温を脇下体温に補正するための脇下体温補正値との対応を示す脇下体温補正値テーブルの構成例を示す図である。
図6において、脇下体温補正値テーブルは、レコード毎に、期間と脇下体温補正値との欄が設けられている。
ここで、期間は、気温(すなわち、環境の温度)が同様な期間、あるいは季節などを示している。脇下体温補正値は、期間(あるいは春夏秋冬の季節)に対応させて、体表体温及び脇下体温の各々の関係性(統計的に求めた温度関係)に基づいて設定されている。
例えば、脇下体温補正値は、所定の期間毎における複数の人間の脇下体温の平均値から、同一の各人間の正面領域、すなわち額で測定した体表体温の平均値を減算して求める。
【0046】
図7は、脇下体温とその他の体表体温との温度差の関係性を示すグラフである。図7のグラフにおいて、縦軸が体表体温(℃)を示し、横軸が体表体温を測定した際の周囲の環境温度(℃)を示している(湿度は環境温度を測定した際の湿度を示している)。図7のグラフは、NEC技法のVol.63、No.3、2010における「赤外線サーモグラフィによるパンデミック対策事例の紹介」より参照した。
図7において、実線は脇下の温度を接触式体温計で測定した脇下体温の環境温度による変化を示している。
【0047】
実線は、脇下体温の曲線を示しており、脇下において接触式体温計により測定しているため、環境温度の変化に影響を受けずにほぼ一定の温度を示している。
一方、点線は口腔内、破線は耳部を含む顔の側面領域、一点鎖線は額を含む顔の正面領域における非接触式体温計で測定した体表体温の温度を示す曲線である。
本実施形態の場合、額の中心の温度を測定しているため、一点鎖線に対応し、環境温度毎に脇下体温との温度が異なっている。
【0048】
これらの体表体温の各々は、複数の治験者から取得した、口腔内、顔の側面領域、顔の正面領域の体表温度の平均値である。
口腔内、顔の側面領域、顔の正面領域の体表温度の各々は、環境温度の影響を受けるため、脇下体温より低い温度として測定される。
このため、本実施形態においては、図7に示すグラフなどから、期間毎における脇下体温と顔の正面領域(額部分)の体表温度との温度差を統計的に求め、図6に示す脇下体温補正値テーブルを作成する。例えば、環境温度が25℃である場合、額で測定した体表体温が35℃であり、脇下体温が36.2℃であるため、脇下体温補正値は1.2℃となる。
【0049】
そして、体温検知部107は、赤外撮像画像を撮像した日時が憎まれる期間に対応する脇下体温補正値を補正値記憶部110の脇下体温補正値テーブルから読み出す。
体温検知部107は、赤外撮像画像の額に対応する領域から測定した体表温度に対して、読み出した脇下体温補正値を加算し、加算結果を脇下推定体温とする。
また、体温検知部107は、求めた脇下推定体温の数値を、画像データ記憶部108の画像データテーブルにおける、赤外撮像画像に対応するレコードの脇下推定体温の欄に書き込んで記憶させる。
【0050】
図8は、本実施形態による体温検知システムにより推定した脇下推定体温と、非接触式体温計で測定した補正体温との比較を示す図である。図8のグラフは、縦軸が温度(体温)を示し、横軸が被験者の番号を示している。本グラフにおいては、16人の治験者から取得した脇下推定体温と、一般的な非接触式体温計より取得した体表温度及び補正体温との各々データを用いている。
【0051】
図8において、実線が、本実施形態における体温検知システムが赤外撮像画像から求めた脇下推定体温を示している。
破線が、非接触式体温計で測定した体表体温を示している。
点線が、非接触式体温計で測定した補正体温を示している。
図8から、本実施形態により推定した脇下推定体温が、非接触式体温計で測定した補正体温とほぼ同等の温度として推定されていることが判る。
【0052】
上述した構成により、本実施形態によれば、安価な赤外線センサユニットと、RGB撮像モユニットとの各々を用いて、RGB画像において人間の顔画像領域と判定された領域に対応する領域を、赤外撮像画像における測定領域と対応させることにより、人間の額の温度である体表体温を席代撮像画像から取得することが可能となり、赤外線センサモジュールとRGB撮像モジュールとの各々を用いて、簡易にRGB画像に撮像される人間それぞれの脇下体温を、従来の非接触の検温システムに比較して安価に構成でき、かつ非接触式体温計で測定した補正体温と同等の精度で推定することができる。
【0053】
また、本実施形態によれば、周囲の環境における温度変化により、赤外撮像画像の階調度が影響を受けるため、背景温度から周囲の環境の温度変動を、基準背景温度と赤外撮像画像における背景領域の温度である背景温度との差分として差分背景温度を求め、赤外撮像画像にこの差分背景温度を加算することにより、周囲の環境の温度変動を低減しているため、背景温度の変動、すなわち環境温度の変動による体表体温の影響を低減し、脇下体温の推定の精度を向上させることができる。
【0054】
また、本実施形態によれば、調整赤外撮像画像から取得した体表体温に、季節毎に設定した脇下体温補正値を加算し、体表体温から脇下体温に補正しているため、環境温度の変動による体表体温の影響を低減し、脇下体温の推定の精度を向上させることができる。
【0055】
図9は、本実施形態による赤外撮像画像及びRGB画像から、人間の脇下温度を測定する処理の動作例を示すフローチャートである。
ステップS101:
赤外線センサユニット101は、被写体を撮像した赤外撮像画像(例えば、動画のフレームとしての画像)に対して、赤外撮像画像識別情報を付与し、当該赤外撮像画像識別情報とともに上記赤外撮像画像を画像データ記憶部108に書き込んで記憶させる。
【0056】
ステップS102:
RGB撮像ユニット102は、被写体を撮像したRGB画像(例えば、動画のフレームとしての画像)に対して、RGB画像識別情報を付与し、当該RGB画像識別情報とともに上記RGB画像を画像データ記憶部108に書き込んで記憶させる。
【0057】
ステップS103:
背景温度算出部103は、赤外撮像画像における背景領域を背景温度閾値により求め、全ての背景領域における画素の各々の階調度(温度に対応)の平均値を求め、この平均値を平均背景階調度(平均背景温度)とする。
また、背景温度算出部103は、補正値記憶部110から基準背景階調度(基準背景温度)を読み出し、平均背景階調度(平均背景温度)から基準背景階調度(基準背景温度)を減算し、減算結果を差分背景階調度(差分背景温度)とする。
測定候補抽出部104は、赤外撮像画像の各々の画素の階調度(温度)に対して、背景温度算出部103が求めた差分背景階調度(差分背景温度)を加算し、調整赤外撮像画像を生成する。
【0058】
ステップS104:
そして、測定候補抽出部104は、閾値記憶部109の顔露出温度閾値テーブルから、赤外撮像画像を撮像した日時の含まれる期間に対応する顔露出温度閾値(階調度)を読み出す。
測定候補抽出部104は、調整赤外撮像画像における画素の各々の階調度と、顔露出温度閾値とを比較し、顔露出温度閾値以上の階調度の画素の各々を抽出する。
測定候補抽出部104は、顔露出温度閾値以上の階調度の画素の各々が隣接して形成される領域のそれぞれを、測定候補領域として抽出する。
【0059】
ステップS105:
顔画像領域抽出部105は、画像認識APIなどのアプリケーションプログラムの一般的な画像解析により、RGB画像から顔画像領域を抽出する。
【0060】
ステップS106:
測定領域選択部106は、顔画像領域抽出部105が求めた顔画像領域の顔画像領域位置のRGB画像の座標系の座標値と、赤外撮像画像の座標系と同一の座標値を抽出し、抽出した座標値を当該赤外撮像画像における顔画像領域位置と設定する。
そして、測定領域選択部106は、赤外撮像画像の座標系において、設定した顔画像領域位置と、測定候補領域の各々の測定候補領域位置との間の距離をそれぞれ求める。
測定領域選択部106は、顔画像領域位置との距離が最も小さい、すなわち顔画像領域位置と最も近い測定候補領域を、顔画像領域の人間の額の温度を測定する測定領域として選択する。
【0061】
ステップS107:
体温検知部107は、選択された測定領域の画素の階調度に対して、すでに述べたガウシアンフィルタなどを用いたノイズ処理を行い、測定領域における階調度の中間値を抽出する。
そして、体温検知部107は、抽出した中間値を温度の単位に変換し、変換結果を体表温度とする。
また、体温検知部107は、補正値記憶部110の脇下体温補正値テーブルを参照し、赤外撮像画像を撮像した日時の含まれる期間に対応する脇下体温補正値を読み出す。
体温検知部107は、読み出した脇下体温補正値を体表温度に加算し、加算結果を脇下体温として取得する。
【0062】
なお、本発明における図1の体温検知システム100の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体にそれぞれ記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませて実行することにより、赤外撮像画像及びRGB画像の各々から、人間の脇下体温を測定する機能に対応する処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OS(Operating System)や周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境(あるいは表示環境)を備えたWWW(World Wide Web)システムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM(Read Only Memory)、CD-ROM(Compact Disc - Read Only Memory)等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM(Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。
【0063】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
【0064】
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【0065】
100…体温検知システム
101…赤外線センサユニット
102…RGB撮像ユニット
103…背景温度算出部
104…測定候補抽出部
105…顔画像領域抽出部
106…測定領域選択部
107…体温検知部
108…画像データ記憶部
109…閾値記憶部
110…補正値記憶部
図1
図2
図3
図4
図5
図6
図7
図8
図9