特許 6981277 検出装置、及び検出プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6981277

(24)【登録日】2021年11月22日

(45)【発行日】2021年12月15日

(54)【発明の名称】検出装置、及び検出プログラム

(51)【国際特許分類】

   A61B 5/16 20060101AFI20211202BHJP

   A61B 5/01 20060101ALI20211202BHJP

【ＦＩ】

   A61B5/16 120

   A61B5/01 100

   A61B5/01 350

   A61B5/16 110

【請求項の数】11

【全頁数】18

(21)【出願番号】特願2018-11792(P2018-11792)

(22)【出願日】2018年1月26日

(65)【公開番号】特開2019-126657(P2019-126657A)

(43)【公開日】2019年8月1日

【審査請求日】2020年12月18日

(73)【特許権者】

【識別番号】000005496

【氏名又は名称】富士フイルムビジネスイノベーション株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】特許業務法人太陽国際特許事務所

(72)【発明者】

【氏名】小松崎 一成

【審査官】 樋口 祐介

(56)【参考文献】

【文献】 特開２０１６−０５７９４４（ＪＰ，Ａ）

【文献】 特開２００７−０６８６２０（ＪＰ，Ａ）

【文献】 特開２０１７−１４４２２２（ＪＰ，Ａ）

【文献】 国際公開第２０１４／０５４２９３（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ５／００−５／０１，５／０６−５／２２

(57)【特許請求の範囲】

【請求項1】

可視画像から特定された被写体の複数の部位に対応するそれぞれの温度を、前記被写体の部位の温度を可視化した温度画像から取得する取得手段と、
前記取得手段によってそれぞれ温度が取得された前記被写体の複数の部位のうち、部位毎に予め定められている温度範囲に含まれない部位を検出する検出手段と、
を備えた検出装置。

【請求項2】

可視画像から特定された被写体の複数の部位に対応するそれぞれの温度を、前記被写体の部位の温度を可視化した温度画像から取得する取得手段と、
前記取得手段によってそれぞれ温度が取得された前記被写体の複数の部位のうち、部位毎に予め定められている温度範囲に含まれる部位を検出し、検出された部位以外の部位を前記温度範囲に含まれない部位として更に検出する検出手段と、
を備えた検出装置。

【請求項3】

前記取得手段によって取得された前記被写体の少なくとも１箇所の部位の温度から推定された前記被写体の感情を報知する報知手段を備える
請求項１又は請求項２記載の検出装置。

【請求項4】

前記報知手段は、前記取得手段によって取得された前記被写体の複数の部位のうち、前記検出手段によって検出された前記温度範囲に含まれない部位以外の部位の温度を用いて推定された前記被写体の感情を報知する
請求項３記載の検出装置。

【請求項5】

前記報知手段は、前記検出手段によって検出された前記温度範囲に含まれない部位に隣接する部位の温度を用いて推定された前記被写体の感情を報知する
請求項４記載の検出装置。

【請求項6】

前記報知手段は、前記検出手段によって検出された前記温度範囲に含まれない部位に隣接する部位の温度を用いて補間された補間後の前記温度範囲に含まれない部位の温度を用いて推定された前記被写体の感情を報知する
請求項３記載の検出装置。

【請求項7】

前記報知手段は、温度が前記温度範囲に含まれる部位の温度より、温度が補間された部位の温度における前記被写体の感情の推定に関する重み付けが低くなるように推定された前記被写体の感情を報知する
請求項６記載の検出装置。

【請求項8】

部位毎の前記温度範囲を気温に応じて補正する補正手段を備え、
前記検出手段は、前記補正手段によって補正された前記温度範囲を用いて、前記温度範囲に含まれない部位を検出する
請求項１〜請求項７の何れか１項に記載の検出装置。

【請求項9】

前記補正手段は、気温が上昇するに従って前記温度範囲の下限値及び上限値を上昇させるように前記温度範囲を補正する
請求項８記載の検出装置。

【請求項10】

前記補正手段は、気温が低下するに従って前記温度範囲の下限値及び上限値を低下させるように前記温度範囲を補正する
請求項８又は請求項９記載の検出装置。

【請求項11】

コンピュータを、請求項１〜請求項１０の何れか１項に記載の検出装置の各手段として機能させるための検出プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、検出装置、及び検出プログラムに関する。

【背景技術】

【0002】

特許文献１には、被験者から眠気推定のための温度パラメータを検出して、眠気推定を行う眠気推定装置であって、可視光線の波長域で被験者を撮影することにより得られた可視光線画像データ、及び、被験者の体表面の温度分布を測定することにより得られた体表面温度分布データを取得する取得手段と、可視光線画像データに対して画像処理を行うことで、被験者の眼の中心領域を特定する画像処理手段と、体表面温度分布データにて示される被験者の体表面温度分布のうち、眼の中心領域の温度を検出して、当該中心領域温度を用いて、眠気推定のための温度パラメータに対して補正を施す補正手段と、を備えることを特徴とする眠気推定装置が開示されている。

【0003】

特許文献２には、撮像手段と、赤外線検出手段と、撮像手段で撮像された画像から画像認識によって測定対象を認識した上で、その測定対象における体温測定部位の位置を求める測定対象決定手段と、赤外線検出手段が体温測定部位から放射される赤外線を検出するように、赤外線検出手段の測定視野を制御する測定視野制御手段と、赤外線検出手段の検出値に基づいて測定対象の体温を算出する体温算出手段と、を備える自動検温装置が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第６１１０３９６号公報

【特許文献2】特開２００５−２３７８６１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

従来から赤外線カメラで撮影された温度画像から被写体の温度を計測し、被写体の感情を測定する技術の開発が進められている。

【0006】

しかしながら、温度を測定したい被写体の部位が必ずしも露出しているとは限らず、被写体が例えばマスク、眼鏡、及び帽子といった体表を覆う物体を装着していたり、被写体の顔が髪の毛で覆われていたりする場合がある。

【0007】

赤外線カメラは、被写体から放射される赤外線の光量を計測して被写体の温度を計測するため、物体で体表が覆われている部位の温度は、物体で体表が覆われていない部位の温度より温度の計測精度が低くなることがある。

【0008】

したがって、温度画像から物体で覆われている体の部位を検出し、当該部位の体温は、被写体の感情の測定に用いないようにすることが好ましい。

【0009】

本発明は、温度画像から物体で覆われている部位を検出することができる検出装置、及び検出プログラムを提供することを目的とする。

【課題を解決するための手段】

【0010】

上記目的を達成するために、請求項１記載の検出装置の発明は、可視画像から特定された被写体の複数の部位に対応するそれぞれの温度を、前記被写体の部位の温度を可視化した温度画像から取得する取得手段と、前記取得手段によってそれぞれ温度が取得された前記被写体の複数の部位のうち、部位毎に予め定められている温度範囲に含まれない部位を検出する検出手段と、を備える。

【0011】

請求項２記載の検出装置の発明は、可視画像から特定された被写体の複数の部位に対応するそれぞれの温度を、前記被写体の部位の温度を可視化した温度画像から取得する取得手段と、前記取得手段によってそれぞれ温度が取得された前記被写体の複数の部位のうち、部位毎に予め定められている温度範囲に含まれる部位を検出し、検出された部位以外の部位を前記温度範囲に含まれない部位として更に検出する検出手段と、を備える。

【0012】

請求項３記載の発明は、前記取得手段によって取得された前記被写体の少なくとも１箇所の部位の温度から推定された前記被写体の感情を報知する報知手段を備える。

【0013】

請求項４記載の発明は、前記報知手段は、前記取得手段によって取得された前記被写体の複数の部位のうち、前記検出手段によって検出された前記温度範囲に含まれない部位以外の部位の温度を用いて推定された前記被写体の感情を報知する。

【0014】

請求項５記載の発明は、前記報知手段は、前記検出手段によって検出された前記温度範囲に含まれない部位に隣接する部位の温度を用いて推定された前記被写体の感情を報知する。

【0015】

請求項６記載の発明は、前記報知手段は、前記検出手段によって検出された前記温度範囲に含まれない部位に隣接する部位の温度を用いて補間された補間後の前記温度範囲に含まれない部位の温度を用いて推定された前記被写体の感情を報知する。

【0016】

請求項７記載の発明は、前記報知手段は、温度が前記温度範囲に含まれる部位の温度より、温度が補間された部位の温度における前記被写体の感情の推定に関する重み付けが低くなるように推定された前記被写体の感情を報知する。

【0017】

請求項８記載の発明は、部位毎の前記温度範囲を気温に応じて補正する補正手段を備え、前記検出手段は、前記補正手段によって補正された前記温度範囲を用いて、前記温度範囲に含まれない部位を検出する。

【0018】

請求項９記載の発明は、前記補正手段は、気温が上昇するに従って前記温度範囲の下限値及び上限値を上昇させるように前記温度範囲を補正する。

【0019】

請求項１０記載の発明は、前記補正手段は、気温が低下するに従って前記温度範囲の下限値及び上限値を低下させるように前記温度範囲を補正する。

【0020】

請求項１１記載の検出プログラムの発明は、コンピュータを、請求項１〜請求項１０の何れか１項に記載の検出装置の各手段として機能させる。

【発明の効果】

【0021】

請求項１、２、１１記載の発明によれば、温度画像から物体で覆われている部位を検出することができる、という効果を有する。

【0022】

請求項３記載の発明によれば、取得した温度画像に含まれる被写体の部位の温度から被写体の感情を報知することができる、という効果を有する。

【0023】

請求項４記載の発明によれば、予め定められている温度範囲に含まれない部位の温度を被写体の感情の推定に用いる場合と比較して、報知される被写体の感情の推定精度を高くすることができる、という効果を有する。

【0024】

請求項５記載の発明によれば、予め定められている温度範囲に含まれない部位の代わりに、当該部位と隣接せず離れた位置にある部位の温度を被写体の感情の推定に用いる場合と比較して、報知される被写体の感情の推定精度を高くすることができる、という効果を有する。

【0025】

請求項６記載の発明によれば、予め定められている温度範囲に含まれない部位の温度を補間せずそのまま被写体の感情の推定に用いる場合と比較して、報知される被写体の感情の推定精度を高くすることができる、という効果を有する。

【0026】

請求項７記載の発明によれば、補間した部位の温度と補間していない部位の温度における被写体の感情の推定に関する寄与度合いを同じにする場合と比較して、報知される被写体の感情の推定精度を高くすることができる、という効果を有する。

【0027】

請求項８記載の発明によれば、部位毎に予め定められている温度範囲の下限値及び上限値を変更しない場合と比較して、気温の変化による感情の推定精度の変動を抑制することができる、という効果を有する。

【0028】

請求項９記載の発明によれば、部位毎に予め定められている温度範囲の下限値及び上限値を変更しない場合と比較して、気温の上昇に伴う感情の推定精度の変動を抑制することができる、という効果を有する。

【0029】

請求項１０記載の発明によれば、部位毎に予め定められている温度範囲の下限値及び上限値を変更しない場合と比較して、気温の低下に伴う感情の推定精度の変動を抑制することができる、という効果を有する。

【図面の簡単な説明】

【0030】

【図1】第１実施形態に係る検出システムの構成例を示す図である。

【図2】第１実施形態に係る検出装置における電気系統の要部構成例を示す図である。

【図3】第１実施形態に係る検出処理の流れの一例を示すフローチャートである。

【図4】被写体における部位の特定方法の一例を示す図である。

【図5】被写体の温度画像の一例を示す図である。

【図6】感情の推定方法の一例を示す図である。

【図7】第２実施形態に係る検出システムの構成例を示す図である。

【図8】第２実施形態に係る検出装置における電気系統の要部構成例を示す図である。

【図9】第２実施形態に係る検出処理の流れの一例を示すフローチャートである。

【発明を実施するための形態】

【0031】

以下、本実施の形態について図面を参照しながら説明する。なお、機能が同じ構成要素及び処理には全図面を通して同じ符合を付与し、重複する説明を省略する。

【0032】

＜第１実施形態＞
図１は、第１実施形態に係る検出システム１の一例を示す構成図である。検出システム１は、人物の感情を検出するシステムである。ここで「感情」とは、喜怒哀楽といった基本的な感情の他、不安、緊張、ストレス、及び高揚といった人物の内面状態も含む。

【0033】

図１に示すように検出システム１は、例えば可視カメラ２、赤外線カメラ３、検出装置４、及び報知ユニット５を含む。

【0034】

可視カメラ２は、人間の可視域に含まれる波長の光を受光して、受光した各波長の光の強さから画像を生成する撮影装置の一例である。可視カメラ２で撮影される画像は、人間が見ている景色と同じになることから「可視画像２０」と呼ばれる。

【0035】

赤外線カメラ３は、物体から放射される赤外光を受光して、受光した赤外光の強度から物体の温度を計測し、計測した物体の温度を例えば色と対応付けることで物体の温度を可視化する撮影装置の一例である。赤外線カメラ３で撮影される画像は、物体の温度を表すことから「温度画像３０」と呼ばれる。

【0036】

可視カメラ２及び赤外線カメラ３は、可視カメラ２及び赤外線カメラ３のそれぞれの光軸ができるだけ接近するように近接し、かつ、可視カメラ２及び赤外線カメラ３から被写体９までのそれぞれの距離が同じになるように設置される。「光軸」とは、可視カメラ２及び赤外線カメラ３のそれぞれのレンズの中心点を通り、それぞれのレンズに対して垂直な軸である。

【0037】

また、可視カメラ２及び赤外線カメラ３は、それぞれの画角が同じになるように可視カメラ２及び赤外線カメラ３のズーム倍率が設定されている。「画角」とは、可視カメラ２及び赤外線カメラ３によって撮影される範囲をいう。

【0038】

すなわち、可視カメラ２で撮影された可視画像２０と赤外線カメラ３で撮影された温度画像３０を重ね合わせた場合に、可視画像２０に含まれる被写体９と温度画像３０に含まれる被写体９とが重なり合うように、被写体９に対して可視カメラ２及び赤外線カメラ３が設置される。

【0039】

検出装置４は可視カメラ２及び赤外線カメラ３と接続され、可視カメラ２から可視画像２０を取得すると共に、赤外線カメラ３から温度画像３０を取得する。検出装置４は、可視画像２０から被写体９の部位を特定し、特定した部位に対応する温度を温度画像３０から取得する。「部位」とは、被写体９を複数の領域に分けた場合のそれぞれの領域を表し、例えば被写体９が人間であれば、額、目元、鼻、頬、口、顎等が被写体９の部位に対応する。以降では、被写体９を人間として説明を行うが、被写体９は動物であってもよい。

【0040】

被写体９の部位には部位が取りうる温度範囲が部位毎に予め設定されており、検出装置４は、予め定められている温度範囲と部位の温度を部位毎に比較して、温度範囲に含まれない部位を検出する。

【0041】

また、検出装置４は、温度範囲に含まれない部位以外の少なくとも１箇所の部位の温度を用いて、被写体９の感情を推定する。そして、検出装置４は、推定した被写体９の感情を報知ユニット５に通知する。

【0042】

報知ユニット５は検出装置４から被写体９の感情を受け付けると、検出装置４の利用者に推定した被写体９の感情を報知する。

【0043】

図１に示した検出システム１では、可視カメラ２及び赤外線カメラ３を個別に検出装置４に接続したが、１つの筺体に可視画像２０を撮影する撮影部と温度画像３０を撮影する撮影部を備えた、いわゆる「デュアルカメラ」を検出装置４に接続してもよい。デュアルカメラでは、予め可視画像２０と温度画像３０で同じ画像が得られるようにレンズを含む光学系部材の配置が予め調整されている。したがって、デュアルカメラを用いた場合、可視カメラ２及び赤外線カメラ３をそれぞれ個別に検出装置４に接続する場合と比較して、検出システム１の設置に要する時間が短縮される。

【0044】

上述した検出システム１の検出装置４は、例えばコンピュータを用いて構成される。図２は、コンピュータ１０を用いて構成された検出装置４における電気系統の要部構成例を示す図である。

【0045】

コンピュータ１０は、本実施の形態に係る取得手段、検出手段、及び報知手段として機能するＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３、不揮発性メモリ１４、及び入出力インターフェース（Ｉ／Ｏ）１５を備える。そして、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、不揮発性メモリ１４、及びＩ／Ｏ１５がバス１６を介して各々接続されている。なお、コンピュータ１０で用いられるオペレーションシステムに制限はない。

【0046】

不揮発性メモリ１４は、不揮発性メモリ１４に供給される電力が遮断されても記憶した情報を維持する記憶装置の一例であり、例えば半導体メモリが用いられるがハードディスクであってもよい。

【0047】

Ｉ／Ｏ１５には、例えば可視カメラ２、赤外線カメラ３、報知ユニット５、及び通信ユニット６が接続される。

【0048】

報知ユニット５として、例えばＣＰＵ１１で処理された情報を視覚的に検出装置４の利用者に報知する液晶ディスプレイ、有機ＥＬ(Electro Luminescence)、又はプロジェクタ等の表示装置が用いられる。しかしながら、報知ユニット５の例はこれに限られず、例えばスピーカー、又はプリンタ等、ＣＰＵ１１で処理された情報を検出装置４の利用者に報知するものであれば、どのようなものであってもよい。

【0049】

通信ユニット６は、例えばインターネット等の通信回線と検出装置４を接続する通信プロトコルを備え、通信回線に接続される他の外部装置と検出装置４との間でデータ通信を行う。通信ユニット６における通信回線への接続形態は有線であっても無線であってもよい。

【0050】

なお、Ｉ／Ｏ１５に図２に示したユニットの他、例えばユーザの指示を受け付けてＣＰＵ１１に通知する入力ユニットといった他のユニットを接続してもよい。入力ユニットには、例えばボタン、タッチパネル、キーボード、及びマウス等が含まれる。また、必ずしもＩ／Ｏ１５に報知ユニット５及び通信ユニット６を接続する必要はない。

【0051】

次に、図３を用いて、検出システム１における検出装置４の動作について説明する。

【0052】

図３は、検出装置４が例えば図示しない入力ユニットを介して、検出装置４の利用者から被写体９の感情の測定を開始する指示を受け付けた場合に、ＣＰＵ１１によって実行される検出処理の流れの一例を示すフローチャートである。

【0053】

検出処理を規定する検出プログラムは、例えば検出装置４のＲＯＭ１２に予め記憶されている。検出装置４のＣＰＵ１１は、ＲＯＭ１２に記憶される検出プログラムを読み込み、検出処理を実行する。

【0054】

まず、ステップＳ１０において、ＣＰＵ１１は、可視カメラ２に対して可視画像２０を撮影するよう撮影指示を通知し、可視カメラ２で撮影された可視画像２０を取得して、例えばＲＡＭ１３に記憶する。

【0055】

ステップＳ２０において、ＣＰＵ１１は、赤外線カメラ３に対して温度画像３０を撮影するよう撮影指示を通知し、赤外線カメラ３で撮影された温度画像３０を取得して、例えばＲＡＭ１３に記憶する。

【0056】

なお、可視カメラ２及び赤外線カメラ３からそれぞれ取得する可視画像２０及び温度画像３０は、動画であっても静止画であってもよいが、ここでは可視画像２０及び温度画像３０は静止画として説明を行う。可視画像２０及び温度画像３０が動画である場合、ＣＰＵ１１は、可視画像２０及び温度画像３０の撮影開始タイミングが同じになるように、可視カメラ２及び赤外線カメラ３に対して撮影指示を通知する。動画は複数の静止画（「フレーム画像」と呼ばれる）によって構成されるため、可視カメラ２及び赤外線カメラ３から取得した各々の動画に含まれる同じ時刻に撮影されたフレーム画像を、それぞれ可視画像２０及び温度画像３０として扱えばよい。

【0057】

ステップＳ３０において、ＣＰＵ１１は、ステップＳ１０で取得した可視画像２０を用いて被写体９の部位を特定する。具体的には公知の画像解析手法を用いて被写体９の顔を認識し、被写体９の顔と推定される範囲を顔領域２２として設定する。更に、ＣＰＵ１１は、設定した顔領域２２を含む範囲から、例えば顔の輪郭、眉毛、目元、鼻筋、及び口元といった顔の特徴部分を示す特徴点２４を抽出する。

【0058】

図４（Ａ）は、ステップＳ３０で可視画像２０から顔の特徴点２４を抽出した一例を示す図である。設定した顔領域２２に必ずしも被写体９の顔全体が含まれるとは限られないため、ＣＰＵ１１は、顔領域２２を予め定めた範囲まで拡大した領域から顔の特徴点２４を抽出する。

【0059】

そして、ＣＰＵ１１は、抽出した特徴点２４の配置から、可視画像２０における被写体９の部位の位置を特定する。

【0060】

図４（Ｂ）は、ステップＳ３０で特定した顔の部位の一例を示す図である。図４の例では顔の部位として、額に対応する部位２６−１、右目に対応する部位２６−２、左目に対応する部位２６−３、右頬に対応する部位２６−４、鼻に対応する部位２６−５、左頬に対応する部位２６−６、口に対応する部位２６−７、及び顎に対応する部位２６−８を特定している。以降では、顔の各々の部位を区別して説明する必要がない場合、各部位を総称して「部位２６」と表すことにする。また、説明の便宜上、部位２６−１〜部位２６−８を部位ｉ（ｉ＝２６−１〜２６−８）と表す場合もある。

【0061】

なお、ＣＰＵ１１が特定する被写体９の顔の部位２６は図４（Ｂ）に示した部位２６−１〜部位２６−８に限られず、例えば眉毛といった他の部位を特定してもよい。また、例えば鼻に対応する部位２６−５を鼻翼、鼻尖、及び鼻背の各部位２６にそれぞれ分割して特定する等、図４（Ｂ）に示した各部位２６を更に細分化して特定するようにしてもよい。

【0062】

被写体９の感情は体の他の部分に比べて顔に表れやすいため、ここでは一例として顔の部位２６を特定する例について説明したが、ＣＰＵ１１は例えば手の甲等、体の他の部分の部位２６を特定するようにしてもよい。

【0063】

ＣＰＵ１１は、特定した各々の部位２６の範囲を示す情報を、例えばＲＡＭ１３に記憶する。部位２６の範囲を示す情報とは、例えば可視画像２０の左上の頂点を原点とし、可視画像２０の左右方向及び上下方向に沿った２つの軸によって表される２次元座標系の座標値が用いられる。各座標には可視画像２０の画素がそれぞれ対応付けられている。

【0064】

なお、温度画像３０にも可視画像２０と同じ２次元座標系が設定されており、各座標には温度画像３０の画素がそれぞれ対応付けられている。

【0065】

ステップＳ４０において、ＣＰＵ１１は、ステップＳ２０で取得した被写体９が含まれる温度画像３０から、ステップＳ３０で特定した被写体９の各々の部位２６の温度を取得する。具体的には、ＣＰＵ１１は、ステップＳ３０で特定した被写体９の各々の部位２６の範囲を示す情報をＲＡＭ１３から取得し、当該情報で表される範囲の温度を、対応する部位２６の温度として温度画像３０から取得する。

【0066】

部位２６に含まれる各画素の温度が同じでない場合には、例えば各画素の温度の平均値を当該部位２６の温度とするというように、予め定めた統計処理を行って部位２６の温度を取得すればよい。

【0067】

次に、ステップＳ５０において、ＣＰＵ１１は未選択の部位２６を１つ選択する。

【0068】

ステップＳ６０において、ＣＰＵ１１は、ステップＳ５０で選択した部位２６の温度が、選択した部位２６に対して予め定められている温度範囲に含まれているか否かを判定する。

【0069】

各々の部位２６の温度は、被写体９の感情に応じて変化する傾向があることが知られているが、被写体９は人間であるため体表の温度の変動範囲は限られており、各々の部位２６の温度が無制限に変化することはない。したがって、各々の部位２６の温度には上限値及び下限値が存在する。

【0070】

各々の部位２６が取りうる温度範囲は、検出システム１の実機による実験や検出システム１の設計仕様に基づくコンピュータシミュレーション等により予め設定され、例えば不揮発性メモリ１４に記憶されている。したがって、ＣＰＵ１１は不揮発性メモリ１４を参照することで、各々の部位２６が取りうる温度範囲の上限値及び下限値を取得する。

【0071】

ステップＳ５０で選択した部位２６の温度を温度Ｔ_i、ステップＳ５０で選択した部位２６が取りうる温度範囲の上限値をＴ_iH、ステップＳ５０で選択した部位２６が取りうる温度範囲の下限値をＴ_iLとした場合、Ｔ_iL≦Ｔ_i≦Ｔ_iHであれば、ステップＳ５０で選択した部位２６が部位２６毎に予め定められている温度範囲に含まれると判定され、ステップＳ７０に移行する。

【0072】

被写体９が例えばマスク、眼鏡、及び帽子といった体表を覆う物体を装着していたり、被写体９の顔が髪の毛で覆われたりする場合、物体で覆われた部位２６の温度は、被写体９の体表が露出していないため赤外線カメラ３で正しく計測されず、物体で覆われた部位２６に対して予め定められている温度範囲から外れることになる。

【0073】

すなわち、ステップＳ５０で選択した部位２６が、対応する部位２６の温度範囲に含まれる場合、例えば、図５（Ａ）に示すように、選択した部位２６が物体で覆われていないと考えられる。

【0074】

したがって、ステップＳ５０で選択した部位２６の温度は被写体９の体表温度であり、被写体９の感情の推定に有効なデータとなるため、ステップＳ７０において、ＣＰＵ１１は、ステップＳ５０で選択した部位２６を被写体９の感情の推定に用いてもよい有効部位としてＲＡＭ１３に記憶する。

【0075】

一方、ステップＳ６０の判定処理において、ステップＳ５０で選択した部位２６が部位２６毎に予め定められている温度範囲に含まれない場合、ステップＳ８０に移行する。

【0076】

この場合、ステップＳ５０で選択した部位２６の温度は被写体９の体表を覆う物体の温度と考えられる。図５（Ｂ）は、予め定められている温度範囲に含まれない部位２６を有する温度画像３０の一例を示す図である。図５（Ｂ）の例では、被写体９がサングラスをかけているため、例えば右目に対応する部位２６−２、及び左目に対応する部位２６−３の温度がそれぞれの温度範囲に含まれない。

【0077】

このように、ステップＳ５０において物体で覆われた部位２６が選択された場合、ステップＳ８０において、ＣＰＵ１１は、ステップＳ５０で選択した部位２６を被写体９の感情の推定に用いないようにする無効部位としてＲＡＭ１３に記憶する。

【0078】

そして、ステップＳ９０において、ＣＰＵ１１は、ステップＳ３０で特定した全ての部位２６をステップＳ５０で選択したか否かを判定する。未選択の部位２６が存在する場合にはステップＳ５０に移行し、ＣＰＵ１１は未選択の部位２６を１つ選択する。

【0079】

以降、ステップＳ３０で特定した全ての部位２６がステップＳ５０で選択されるまで、ステップＳ５０〜Ｓ９０の処理を繰り返し実行して、ステップＳ３０で特定した部位２６の各々を有効部位と無効部位に分類する。

【0080】

ステップＳ１００において、ＣＰＵ１１は、ステップＳ７０で有効部位として設定された部位２６の少なくとも１箇所を用いて被写体９の感情を推定する学習モデルを選択する。

【0081】

検出装置４で用いられる学習モデルに制約はなく、被写体９の部位２６の温度から被写体９の感情が推定されるものであれば、どのような学習モデルであってもよい。例えば、部位２６の温度を入力データ、感情を教師データとして、ディープラーニングによってニューロン同士を結びつける結合強度が学習されたニューラルネットワークを学習モデルとして用いてもよい。また、感情を部位２６の温度の関数として表した演算式を学習モデルとして用いてもよい。

【0082】

検出装置４の不揮発性メモリ１４には、少なくとも１箇所の部位２６の温度から感情を推定する複数の学習モデルが予め記憶されている。各々の学習モデルで感情の推定のために用いられる部位２６の種類はそれぞれで異なっており、例えば額に対応する部位２６−１、右目に対応する部位２６−２、左目に対応する部位２６−３、右頬に対応する部位２６−４、鼻に対応する部位２６−５、左頬に対応する部位２６−６、口に対応する部位２６−７、及び顎に対応する部位２６−８を入力として感情を推定する学習モデルもあれば、鼻に対応する部位２６−５を入力として感情を推定する学習モデルもある。

【0083】

したがって、ＣＰＵ１１は、ステップＳ７０で有効部位に設定された少なくとも１箇所の部位２６を用いて被写体９の感情を推定する学習モデルを不揮発性メモリ１４から選択する。

【0084】

なお、学習モデルの記憶場所は検出装置４の不揮発性メモリ１４に限られない。例えば、学習モデルを通信回線に接続される他の外部装置に記憶しておき、ＣＰＵ１１は、通信ユニット６を介して外部装置から学習モデルを取得してもよい。

【0085】

ステップＳ１１０において、ＣＰＵ１１は、ステップＳ１００で選択した学習モデルに当該学習モデルの入力として定められている部位２６の温度を入力した場合に得られる学習モデルの出力に従って、被写体９の感情を推定する。

【0086】

ステップＳ１２０において、ＣＰＵ１１は報知ユニット５を制御して、ステップＳ１１０で推定した感情を検出装置４の利用者に報知する。

【0087】

以上により、図３に示した検出処理を終了する。

【0088】

なお、図３に示した検出処理のステップＳ６０では、選択した部位２６が部位２６毎に予め定められている温度範囲に含まれる部位２６か否かを判定し、温度範囲に含まれると検出された部位２６以外の部位２６を当該温度範囲に含まれない部位２６として検出した。これに対して、ステップＳ６０において、ＣＰＵ１１は、選択した部位２６が部位２６毎に予め定められている温度範囲に含まれない部位２６か否かを判定することで、当該温度範囲に含まれない部位２６を検出してもよい。何れの判定方法を用いても、検出装置４によって温度範囲に含まれない被写体９の部位２６が検出される。

【0089】

このように第１実施形態に係る検出装置４によれば、可視画像２０を用いて特定した被写体９の部位２６の温度を温度画像３０から取得し、部位２６の温度と当該部位２６に対応付けられた温度範囲を比較することで、注目している部位２６が物体で覆われている部位２６か否かを検出する。

【0090】

また、検出装置４は、物体で覆われている部位２６以外の部位２６、すなわち、物体で覆われていない少なくとも１箇所の部位２６の温度を入力として被写体９の感情を推定する学習モデルを複数の学習モデルから選択し、選択した学習モデルに物体で覆われていない少なくとも１箇所の部位２６の温度を入力することで、被写体９の感情を推定する。

【0091】

＜第１実施形態の変形例＞
上述した実施形態では、有効部位として設定された部位２６の少なくとも１箇所の部位２６を用いて被写体９の感情を推定する学習モデルを複数の学習モデルから選択する例について説明した。しかしながら、予め用意されている複数の学習モデルの中に、有効部位として設定された部位２６の温度から被写体９の感情を推定する学習モデルが存在しない場合もあり得る。

【0092】

例えば、何れの学習モデルも被写体９の額の温度を用いる状況において、被写体９の額が髪の毛等で覆われ無効部位に設定されている場合、このままでは選択すべき学習モデルが存在しないことになる。

【0093】

このような場合、検出装置４は、学習モデルで用いられる部位２６で、かつ、無効部位と設定された部位２６（以降、「不足部位」という）に隣接する有効部位の温度を、不足部位の温度として代用し、学習モデルに入力してもよい。不足部位に隣接する有効部位の温度は他の有効部位に比べて不足部位からの距離が近いため、他の有効部位の温度よりも不足部位の温度に近い値を示す場合が多い。したがって、不足部位に隣接する有効部位の温度を、不足部位の温度の代わりに学習モデルに入力することで、被写体９の感情が推定される。

【0094】

具体的には、学習モデルが額の温度を必要とする状況で額が無効部位と設定されている場合、額に隣接する有効部位の温度、例えば右目に対応する部位２６−２、又は左目に対応する部位２６−３の温度を額の温度として学習モデルに入力し、被写体９の感情を推定してもよい。

【0095】

また、検出装置４は学習モデルにおける不足部位の温度を、不足部位に隣接する有効部位の温度から推定してもよい。具体的には、不足部位に隣接する有効部位の温度を用いて、不足部位の温度を推定する。

【0096】

例えば、学習モデルが額の温度を必要とする状況で額が無効部位と設定されている場合、検出装置４は、額に隣接する有効部位である右目に対応する部位２６−２、及び左目に対応する部位２６−３の温度を用いて、公知の補間手法、例えば最小二乗法等を行いて額の温度を推定する。

【0097】

したがって、隣接した有効部位の温度から推定した不足部位の温度を学習モデルに入力することで、被写体９の感情が推定される。

【0098】

なお、隣接した有効部位の温度から推定した不足部位の温度は、温度画像３０から直接得られた温度ではないため、温度画像３０から温度が直接得られた有効部位よりも温度の精度に関する信頼性が低くなる場合がある。

【0099】

したがって、隣接した有効部位の温度から推定した不足部位の温度と、有効部位の温度を用いて被写体９の感情を推定する学習モデルを選択した場合、検出装置４は被写体９の感情の推定に対する有効部位の温度の寄与度合い、すなわち重み付けよりも、推定した不足部位の温度の重み付けが低くなるように学習モデルを調整する。

【0100】

図６に示すように、検出装置４が学習モデルを選択し、選択した学習モデルに入力される部位２６の温度のうち、額の温度Ｔ₁が隣接した有効部位の温度から推定した温度で、他の部位２６の温度は図３のステップＳ４０で温度画像３０から直接得られた温度である場合、検出装置４は、額の温度Ｔ₁が感情の推定に与える重み付けが、他の部位２６の温度が感情の推定に与える重み付けより低くなるように、選択した学習モデルを調整する。

【0101】

例えば学習モデルがニューラルネットワークで示される場合、隣接した有効部位の温度から推定した温度が入力される入力ニューロンと、当該入力ニューロンと接続される他のニューロンとの間の結合強度を予め学習された値より低く調整することで、隣接した有効部位の温度から推定した温度が感情の推定に与える重み付けを、他の部位２６の温度が感情の推定に与える重み付けより低く調整する。

【0102】

＜第２実施形態＞
被写体９の温度は、被写体９が存在する空間の気温によって変化する傾向がある。一方、部位２６毎に設定された温度範囲は、予め定められた気温（以降、「基準温度」という）において設定された温度範囲である。したがって、基準温度と赤外線カメラ３で被写体９の温度を計測している期間の気温との差分が大きくなるにつれて、物体で覆われていない部位２６であっても無効部位として検出されることがあり、反対に物体で覆われている部位２６が有効部位として検出されることもある。

【0103】

第２実施形態では、被写体９が存在する空間の気温に応じて、部位２６毎に予め定められている温度範囲を補正する検出システム１Ａについて説明する。

【0104】

図７は第２実施形態に係る検出システム１Ａの一例を示す構成図である。図７に示す検出システム１Ａが図１に示した検出システム１と異なる点は、検出装置４が検出装置４Ａに置き換えられ、検出装置４Ａに温度計７が接続された点であり、他の構成は検出システム１と同じである。

【0105】

温度計７は、被写体９が存在する空間と同じ空間に設置される。例えば被写体９が室内に存在する場合、温度計７は被写体９が存在する室内に設置される。これにより、温度計７で被写体９が存在する空間の気温が計測される。

【0106】

上述した検出システム１Ａの検出装置４Ａは第１実施形態に係る検出装置４と同じく、例えばコンピュータを用いて構成される。図８は、コンピュータ１０を用いて構成された検出装置４Ａにおける電気系統の要部構成例を示す図である。

【0107】

本実施の形態に係るＣＰＵ１１は、取得手段、検出手段、補正手段、及び報知手段として機能する。

【0108】

図８に示す検出装置４Ａの構成例が図２に示した検出装置４の構成例と異なる点は、Ｉ／Ｏ１５に温度計７が接続された点であり、他の構成は検出装置４と同じである。これによりＣＰＵ１１は、温度計７で計測された気温を取得する。図２で既に説明したように、Ｉ／Ｏ１５に図８に示したユニットの他、例えば入力ユニットのような他のユニットを接続してもよい。また、必ずしもＩ／Ｏ１５に報知ユニット５及び通信ユニット６を接続する必要はない。

【0109】

次に、図９を用いて、検出システム１Ａにおける検出装置４Ａの動作について説明する。

【0110】

図９は、検出装置４Ａが例えば図示しない入力ユニットを介して、検出装置４Ａの利用者から被写体９の感情の測定を開始する指示を受け付けた場合に、ＣＰＵ１１によって実行される検出処理の流れの一例を示すフローチャートである。

【0111】

検出処理を規定する検出プログラムは、例えば検出装置４ＡのＲＯＭ１２に予め記憶されている。検出装置４ＡのＣＰＵ１１は、ＲＯＭ１２に記憶される検出プログラムを読み込み、検出処理を実行する。

【0112】

図９に示すフローチャートが図３に示した検出装置４の検出処理におけるフローチャートと異なる点は、ステップＳ４０とステップＳ５０の間にステップＳ４２及びステップＳ４４が追加された点であり、他の処理は検出装置４の検出処理と同じである。

【0113】

図９に示す検出処理では、ステップＳ４０で被写体９の各々の部位２６の温度を取得した後、ステップＳ４２が実行される。

【0114】

ステップＳ４２において、ＣＰＵ１１は、温度計７から被写体９が存在する空間の気温を取得する。

【0115】

ステップＳ４４において、ＣＰＵ１１は、各々の部位２６に対して予め定められている温度範囲を不揮発性メモリ１４から取得し、取得した各々の温度範囲をステップＳ４２で取得した気温に応じて補正する。

【0116】

例えば、ステップＳ４２で取得した気温が基準温度から上昇するに従って、各々の部位２６の温度も上昇する傾向があるため、ＣＰＵ１１は、各々の部位２６に対応する温度範囲の下限値及び上限値を上昇させるように、各々の部位２６に対応する温度範囲を補正する。

【0117】

また、ステップＳ４２で取得した気温が基準温度から低下するに従って、各々の部位２６の温度も低下する傾向があるため、ＣＰＵ１１は、各々の部位２６に対応する温度範囲の下限値及び上限値を低下させるように、各々の部位２６に対応する温度範囲を補正する。

【0118】

この場合、ＣＰＵ１１は、各々の部位２６に対応する温度範囲の補正量を、取得した気温と基準温度の差分に応じて一律に設定してもよいし、部位２６毎に変えてもよい。

【0119】

ステップＳ６０では、ステップＳ４４で気温に応じて補正した部位２６毎の温度範囲と、ステップＳ５０で選択した部位２６の温度を比較して、ステップＳ５０で選択した部位２６の温度が、選択した部位２６の補正された温度範囲に含まれているか否かを判定する。以降の処理は、既に図３の検出処理で説明した通りである。

【0120】

なお、被写体９の温度に影響を与える環境属性は気温に限られない。被写体９の温度は湿度によっても変化する傾向がある。例えば同じ気温であっても湿度が高いほど汗が蒸発しにくくなり、被写体９の温度が上昇する。したがって、検出装置４Ａに湿度計を接続して被写体９の存在する空間の湿度を取得し、部位２６毎の温度範囲を予め設定する際に用いられた予め定めた湿度（「基準湿度」ともいう）と、湿度計から取得した湿度との差分に応じて、気温によって補正した温度範囲を更に補正してもよい。

【0121】

このように検出装置４Ａでは、気温に応じて部位２６毎に予め定められている温度範囲を補正し、注目している部位２６が物体で覆われている部位２６か否かを検出する。

【0122】

また、検出装置４Ａは、物体で覆われている部位２６以外の部位２６、すなわち、物体で覆われていない少なくとも１箇所の部位２６の温度を入力として被写体９の感情を推定する学習モデルを複数の学習モデルから選択し、選択した学習モデルに物体で覆われていない少なくとも１箇所の部位２６の温度を入力することで、被写体９の感情を推定する。

【0123】

なお、図９の検出処理に対して、第１実施形態の変形例で説明した手法を適用して被写体９の感情を推定してもよいことは言うまでもない。

【0124】

以上、各実施の形態を用いて本発明について説明したが、本発明は各実施の形態に記載の範囲には限定されない。本発明の要旨を逸脱しない範囲で各実施の形態に多様な変更又は改良を加えることができ、当該変更又は改良を加えた形態も本発明の技術的範囲に含まれる。例えば、本発明の要旨を逸脱しない範囲で処理の順序を変更してもよい。

【0125】

また、各実施の形態では、可視カメラ２及び赤外線カメラ３で人間を撮影し、物体で覆われている部位を検出すると共に、人間の感情を検出する例について説明した。しかしながら、上述した検出システム１、１Ａの被写体９は人間等の生物に限られず、可視カメラ２及び赤外線カメラ３で生物とは異なる被写体９を撮影して、被写体９が物体で覆われている部位を検出してもよい。

【0126】

例えば鋼材を加熱して形を整える成型処理において、鋼材の表面に不純物が付着している場合、不純物で覆われた部位の温度は不純物で覆われていない部位の温度より低下することがある。したがって、可視カメラ２及び赤外線カメラ３で加熱された鋼材を撮影して、可視画像２０から鋼材の部位２６を特定し、鋼材の表面が不純物で覆われていない場合に取りうる予め定められた温度範囲に含まれない部位２６を検出するようにしてもよい。これにより、鋼材における不純物の付着位置が特定される。なお、生物以外の物体を被写体とする場合、被写体に感情は存在しないため、図３及び図９のステップＳ１００〜Ｓ１２０を実行する必要はない。

【0127】

また、各実施の形態では、一例として検出処理をソフトウエアで実現する形態について説明したが、図３及び図９に示したフローチャートと同等の処理を、例えばＡＳＩＣ（Application Specific Integrated Circuit）に実装し、ハードウエアで処理させるようにしてもよい。この場合、検出処理の高速化が図られる。

【0128】

また、上述した各実施の形態では、検出プログラムがＲＯＭ１２にインストールされている形態を説明したが、これに限定されるものではない。本発明に係る検出プログラムは、コンピュータ読み取り可能な記憶媒体に記録された形態で提供することも可能である。例えば、本発明に係る検出プログラムを、ＣＤ(Compact Disc)−ＲＯＭ、又はＤＶＤ(Digital Versatile Disc)−ＲＯＭ等の光ディスクに記録した形態で提供してもよい。また、本発明に係る検出プログラムを、ＵＳＢメモリ及びフラッシュメモリ等の半導体メモリに記録した形態で提供してもよい。更に、検出装置４、４Ａはインターネット等の通信回線を介して、通信回線に接続された外部装置から本発明に係る検出プログラムを取得するようにしてもよい。

【符号の説明】

【0129】

１（１Ａ）・・・検出システム
２・・・可視カメラ
３・・・赤外線カメラ
４（４Ａ）・・・検出装置
５・・・報知ユニット
６・・・通信ユニット
７・・・温度計
９・・・被写体
１０・・・コンピュータ
１１・・・ＣＰＵ
１２・・・ＲＯＭ
１３・・・ＲＡＭ
１４・・・不揮発性メモリ
２０・・・可視画像
２２・・・顔領域
２４・・・特徴点
２６・・・部位
３０・・・温度画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】