特許 7373777 赤外線処理システム、赤外線センサシステム、赤外線処理方法、及び、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-26

(45)【発行日】2023-11-06

(54)【発明の名称】赤外線処理システム、赤外線センサシステム、赤外線処理方法、及び、プログラム

(51)【国際特許分類】

   G01J 5/48 20220101AFI20231027BHJP

   G01J 1/42 20060101ALI20231027BHJP

   G01J 1/44 20060101ALI20231027BHJP

   H04N 5/33 20230101ALI20231027BHJP

【ＦＩ】

G01J5/48 D

G01J5/48 E

G01J1/42 B

G01J1/44 E

H04N5/33

【請求項の数】 12

(21)【出願番号】P 2021561179

(86)(22)【出願日】2020-09-16

(86)【国際出願番号】 JP2020035100

(87)【国際公開番号】W WO2021106322

(87)【国際公開日】2021-06-03

【審査請求日】2023-02-17

(31)【優先権主張番号】P 2019214469

(32)【優先日】2019-11-27

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110002527

【氏名又は名称】弁理士法人北斗特許事務所

(72)【発明者】

【氏名】須藤 良太

(72)【発明者】

【氏名】南 那由多

(72)【発明者】

【氏名】島本 延亮

(72)【発明者】

【氏名】小林 直紀

(72)【発明者】

【氏名】木田 翔也

【審査官】小澤 瞬

(56)【参考文献】

【文献】国際公開第２０１７／０７３４０１（ＷＯ，Ａ１）

【文献】特開２０１８－１８５１０８（ＪＰ，Ａ）

【文献】特開２００１－３４９７８６（ＪＰ，Ａ）

【文献】特開２０１６－５２０９６（ＪＰ，Ａ）

【文献】特開２０１９－３２１５４（ＪＰ，Ａ）

【文献】特開平８－３２０２５８（ＪＰ，Ａ）

【文献】国際公開第２０１５／０２９３７８（ＷＯ，Ａ１）

【文献】特開２０１９－５２８８９（ＪＰ，Ａ）

【文献】特開２００９－１４４７５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１３／００４８８５５（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２６Ｄ ５／００ － Ｂ２６Ｄ ５／４２

Ｇ０１Ｊ １／００ － Ｇ０１Ｊ １／６０

Ｇ０１Ｊ ５／００ － Ｇ０１Ｊ ５／９０

Ｇ０１Ｊ １１／００

(57)【特許請求の範囲】

【請求項1】

物体からの赤外線を受光する撮像素子の出力信号を処理する処理部を備え、
前記処理部は、
第１温度補正値を用いて前記撮像素子の出力信号から第１熱画像を生成する第１熱画像生成部と、
前記第１熱画像生成部で生成された前記第１熱画像から前記物体を抽出する物体抽出部と、
前記物体抽出部で抽出された前記物体に対応した第２温度補正値を用いて、前記撮像素子の出力信号から第２熱画像を生成する第２熱画像生成部と、
前記第２熱画像生成部で生成された前記第２熱画像に基づいて、前記物体抽出部で抽出された前記物体の温度を算出する物体温度算出部と、を備える、
赤外線処理システム。

【請求項2】

前記撮像素子の出力信号を記憶する第１記憶部を更に備え、
前記第２熱画像生成部は、前記第２温度補正値を用いて、前記第１記憶部に記憶された前記出力信号から前記第２熱画像を生成する、
請求項１に記載の赤外線処理システム。

【請求項3】

前記物体抽出部で抽出された前記物体に応じた複数の前記第２温度補正値を記憶する第２記憶部を備える、
請求項１又は２に記載の赤外線処理システム。

【請求項4】

前記第２熱画像生成部は、前記第２温度補正値を用いて、前記撮像素子の出力信号のうち、前記物体抽出部で抽出された前記物体に対応する出力信号のみを補正する、
請求項１～３のいずれか１項に記載の赤外線処理システム。

【請求項5】

前記第２熱画像生成部は、前記物体抽出部で抽出された前記物体の温度が閾値以上であるか否かに応じて、用いる前記第２温度補正値を変える
請求項１～４の何れか１項に記載の赤外線処理システム。

【請求項6】

前記第２熱画像生成部は、前記第２熱画像を生成するときに、前記撮像素子の出力信号に、前記物体抽出部で抽出された前記物体に対応したゲイン調整を行う、
請求項１～５の何れか１項に記載の赤外線処理システム。

【請求項7】

前記第２熱画像生成部は、前記第２熱画像を生成するとき、前記撮像素子の出力信号の電圧範囲を、抽出した前記物体に対応した電圧範囲に変更する、
請求項１～６の何れか１項に記載の赤外線処理システム。

【請求項8】

前記物体を撮像する可視カメラを更に備え、
前記物体抽出部は、前記第１熱画像の代わりに前記可視カメラの撮像画像から前記物体を抽出する、
請求項１～７の何れか１項に記載の赤外線処理システム。

【請求項9】

前記第１温度補正値及び前記第２温度補正値の少なくとも一方は、書き換え可能に記憶部に記憶されている、
請求項１～８の何れか１項に記載の赤外線処理システム。

【請求項10】

請求項１～９の何れか１項に記載の赤外線処理システムと、
前記撮像素子と、を備える、
赤外線センサシステム。

【請求項11】

物体からの赤外線を受光する複数の受光素子を有する撮像素子の出力信号を処理する処理工程を有し、
前記処理工程は、
第１温度補正値を用いて前記撮像素子の出力信号から第１熱画像を生成する第１熱画像生成工程と、
前記第１熱画像生成工程で生成された前記第１熱画像から前記物体を抽出する物体抽出工程と、
前記物体抽出工程で抽出された前記物体に対応した第２温度補正値を用いて前記撮像素子の出力信号から第２熱画像を生成する第２熱画像生成工程と、
前記第２熱画像生成工程で生成された前記第２熱画像に基づいて、前記物体抽出工程で抽出された前記物体の温度を算出する物体温度算出工程と、を含む、
赤外線処理方法。

【請求項12】

請求項１１に記載の赤外線処理方法をコンピュータシステムに実行させるための、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、赤外線処理システム、赤外線センサシステム、赤外線処理方法、及び、プログラムに関する。より詳細には、本開示は、物体からの赤外線を受光することで物体を撮像する赤外線処理システム、赤外線処理システムを用いた赤外線センサシステム、赤外線処理方法、及び、プログラムに関する。

【背景技術】

【0002】

特許文献１に記載の赤外線カメラは、赤外線センサと、補正候補特定部と、差分算出部と、補正処理部とを備えている。補正候補特定部は、赤外線センサの各画素のうちで、画素値が所定の閾値以下の画素を画像中の背景を撮像した画素とみなして、この画素を補正候補として特定する。差分算出部は、補正候補の画素のうちで、画素値が基準値と異なる画素に対して、その差分を補正係数として設定する。補正処理部は、補正係数が設定された画素の画素値をその補正係数を用いて補正して、補正した値を出力値として出力する。

【0003】

特許文献１には、赤外線カメラの検出可能な温度範囲については、特に記載されていない。一般的に、赤外線カメラの検出可能な温度範囲は、色々な物体の温度が検出できるように、広く設定されている。このため、赤外線カメラの出力信号（電圧）を温度に変換して熱画像を生成するとき、誤差が発生し易い。したがって、赤外線カメラの熱画像の温度分布には、誤差が多く含まれる。この結果、撮像対象の物体の温度を赤外線カメラの熱画像から検出するとき、精度よく検出できない。また、赤外線カメラで異なる温度の物体の温度を精度よく検出したいという要求がある。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００３－２５９２１７号公報

【発明の概要】

【0005】

本開示は、異なる温度の物体の温度を精度よく検出できる赤外線処理システム、赤外線センサシステム、赤外線処理方法、及び、プログラムを提供することを目的とする。

【0006】

本開示の一態様の赤外線処理システムは、物体からの赤外線を受光する撮像素子の出力信号を処理する処理部を備える。前記処理部は、第１熱画像生成部と、物体抽出部と、第２熱画像生成部と、物体温度算出部と、を備える。前記第１画像生成部は、第１温度補正値を用いて前記撮像素子の出力信号から第１熱画像を生成する。前記物体抽出部は、前記第１熱画像生成部で生成された前記第１熱画像から前記物体を抽出する。第２熱画像生成部は、前記物体抽出部で抽出された前記物体に対応した第２温度補正値を用いて、前記撮像素子の出力信号から第２熱画像を生成する。前記物体温度算出部は、前記第２熱画像生成部で生成された前記第２熱画像に基づいて、前記物体抽出部で抽出された前記物体の温度を算出する。

【0007】

本開示の一態様の赤外線センサシステムは、前記赤外線処理システムと、前記撮像素子と、を備える。

【0008】

本開示の一態様の赤外線処理方法は、物体からの赤外線を受光する複数の受光素子を有する撮像素子の出力信号を処理する処理工程を有する。前記処理工程は、第１熱画像生成工程と、物体抽出工程と、第２熱画像生成工程と、物体温度算出工程と、を含む。前記第１画像生成工程は、第１温度補正値を用いて前記撮像素子の出力信号から第１熱画像を生成する。前記物体抽出工程は、前記第１熱画像生成工程で生成された前記第１熱画像から前記物体を抽出する。第２熱画像生成工程は、前記物体抽出工程で抽出された前記物体に対応した第２温度補正値を用いて、前記撮像素子の出力信号から第２熱画像を生成する。前記物体温度算出工程は、前記第２熱画像生成工程で生成された前記第２熱画像に基づいて、前記物体抽出工程で抽出された前記物体の温度を算出する。

【0009】

本開示の一態様のプログラムは、前記赤外線処理方法をコンピュータシステムに実行させるためのプログラムである。

【図面の簡単な説明】

【0010】

【図1】図１は、実施形態に係る赤外線センサシステムのブロック図である。

【図2】図２Ａは、第１熱画像の一例を説明する説明図である。図２Ｂは、物体情報の一例を説明する説明図である。

【図3】図３は、同上の赤外線センサシステムのフローチャートである。

【図4】図４は、変形例３に係る赤外線センサシステムのブロック図である。

【発明を実施するための形態】

【0011】

（実施形態）
図１～図３を参照して、本実施形態に係る赤外線センサシステム１０について説明する。

【0012】

図１に示すように、赤外線センサシステム１０は、撮像対象の物体からの赤外線を受光することで物体を熱画像として撮像し、撮像対象の物体の温度を熱画像から検出するシステムである。以下の説明では、撮像対象の物体として、例えば人の顔及び胴体（衣服）が撮像され、人の顔及び胴体（衣服）の温度が検出される場合を例示する。

【0013】

赤外線センサシステム１０は、撮像素子１と、赤外線処理システム２とを備えている。

【0014】

撮像素子１は、撮像対象の物体（例えば人の顔及び胴体）からの赤外線を受光することで物体を撮像する素子である。撮像素子１は、複数の赤外線受光素子３と、基板４とを備えている。赤外線受光素子３は、基板４の一方の主面に縦横（すなわちマトリクス状）に並べられて配置されている。各赤外線受光素子３は、物体からの赤外線を受光し、受光した赤外線を、赤外線の持つ熱エネルギに応じた電圧の電気信号に変換する。複数の赤外線受光素子３は、熱画像を構成する複数の画素に１対１で対応し、各赤外線受光素子３の出力信号は、対応する画素の画素信号を構成する。撮像素子１は、複数の赤外線受光素子３で変換された上記の電気信号を出力信号として、赤外線処理システム２に出力する。

【0015】

赤外線処理システム２は、撮像素子１の出力信号から熱画像を生成し、撮像対象の物体の温度を、生成した熱画像から検出する。赤外線処理システム２は、撮像素子１の出力信号を処理する処理部２１を備えている。

【0016】

処理部２１は、入力部２１ａと、２つの出力部２１ｂ，２１ｃとを有する。入力部２１ａは、撮像素子１の出力信号（アナログ信号）を入力する。出力部２１ｂは、処理部２１において撮像素子１の出力信号から生成された熱画像（後述の第１熱画像）を外部に出力する。出力部２１ｃは、処理部２１において検出された撮像対象の物体の温度を示す温度データを外部に出力する。

【0017】

処理部２１は、信号処理部２２（第１熱画像生成部、第２熱画像生成部）と、物体抽出部２３と、物体温度算出部２４と、記憶部２５（第１記憶部、第２記憶部）とを備えている。

【0018】

記憶部２５は、各種情報及びデータを記憶可能な不揮発性の記憶部であり、例えばＳＳＤ（Solid State Drive）又はＨＤＤ（hard disk drive）などで構成されている。記憶部２５には、後述の第１温度補正値Ａ１～Ｆ１、及び、複数組の第２温度補正値Ａ２～Ｆ２が記憶されている。複数組の第２温度補正値Ａ２～Ｆ２は、撮像対象となる複数の物体に１対１に対応している。また、記憶部２５には、後述のように、撮像素子１の出力信号が元データＤ１として記憶される。

【0019】

信号処理部２２は、入力部２１ａに入力された撮像素子１の出力信号をＡＤ（アナログ・デジタル）変換して取り込む。信号処理部２２は、式１に基づいて、第１温度補正値を用いて、入力部２１ａに入力された撮像素子１の出力信号から第１熱画像を生成し、生成した第１熱画像を物体抽出部２３及び出力部２１ｂに出力する。なお、第１熱画像が出力部２１ｂに出力されることで、第１熱画像を出力部２１ｂから外部に出力可能である。なお、熱画像とは、撮像対象を温度分布で表した画像である。より詳細には、信号処理部２２は、式１に基づいて、撮像素子１の各赤外線受光素子３の出力信号（すなわち各画素の画素信号）の電圧Ｖoutを温度Ｔoに変換することで、撮像素子１の出力信号から熱画像を生成する。温度Ｔoは、熱画像において、赤外線受光素子３に対応する画素の温度を与える。

【0020】

【数1】

【0021】

なお、式１において、符号Ａ～Ｆは、温度補正値であり、符号Ｔsは、撮像対象の物体の周囲温度（背景温度とも言う）である。すなわち、式１において、温度補正値Ａ～Ｆとして第１温度補正値Ａ１～Ｆ１が代入されることで、撮像素子１の出力信号から第１熱画像が生成される。第１熱画像が生成されるときは、周囲温度（背景温度）Ｔsは、例えば予め設定された周囲温度の代表値が代入される。

【0022】

第１熱画像が生成される段階では、撮像対象の物体が特定されていない。このため、第１温度補正値は、色々な物体に対応できるように、比較的広い温度範囲（例えば－４０℃以上８５℃以下の温度範囲）に対応した温度補正値に設定されている。

【0023】

より詳細には、信号処理部２２は、撮像素子１の出力信号から第１熱画像を生成するとき、撮像素子１の出力信号をゲイン調整すると共に撮像素子１の出力信号の電圧範囲を比較的広い第１電圧範囲（後述の第２電圧範囲よりも広い電圧範囲）に調整する。第１熱画像を生成する段階では、撮像対象の物体が特定されていない。このため、信号処理部２２は、色々な物体に対応できるように、撮像素子１の出力信号のゲイン及び電圧範囲を調整する。具体的には、電圧範囲は、比較的広い範囲に調整され、ゲインも電圧範囲が比較的広い電圧範囲に調整可能なように調整される。

【0024】

また、信号処理部２２は、入力部２１ａに入力された撮像素子１の出力信号を元データＤ１として記憶部２５に記憶させる。後述のように、信号処理部２２は、物体抽出部２３の抽出処理の後、第２温度補正値Ａ２～Ｆ２を用いて撮像素子１の出力信号から第２熱画像を生成するが、その際は、記憶部２５に記憶された撮像素子１の出力信号（元データＤ１）を用いて第２熱画像を生成する。

【0025】

物体抽出部２３は、信号処理部２２で生成された第１熱画像から撮像対象の物体（例えば人の顔及び胴体（衣服））を抽出する。より詳細には、物体抽出部２３は、第１熱画像に基づいて物体の画素位置を抽出する。更に詳細には、物体抽出部２３は、第１熱画像の温度分布から、顔領域、胴体領域及び背景領域を分離する。この分離結果に基づいて、物体抽出部２３は、物体情報を生成し、生成した物体情報を信号処理部２２及び物体温度算出部２４に出力する。

【0026】

なお、顔領域は、人の顔が映る領域であり、例えば３０℃以上且つ４０℃未満の温度領域として設定されている。胴体領域は、人の胴体（すなわち衣服）が映る領域であり、例えば０℃以上且つ３０℃未満の温度領域として設定されている。背景領域（周囲領域とも言う）は、熱画像のうち、顔領域及び胴体領域以外の領域として設定されている。すなわち、物体抽出部２３は、第１熱画像のうち、３０℃以上且つ４０℃未満の温度領域を顔領域として抽出し、０℃以上且つ３０℃未満の温度領域を胴体領域として抽出し、顔領域及び胴体領域以外を背景領域として抽出する。

【0027】

なお、上記の顔の温度及び胴体（衣服）の温度は、一例である。例えば、周囲温度及び日射の条件によって衣服の温度が３０℃以上になる場合もある。この場合の衣服の温度は、例えば０℃以上且つ５０℃未満に設定されてもよい。また、衣服と顔を温度で分けることが出来ない場合は、以下の（１）又は（２）を採用してもよい。（１）車等の顔の位置があまり動かない場合は、予め、顔と認識するエリアを設定しておいて、そのエリアにある温度領域を顔と判定し、その下にある温度領域を胴体（衣服）と判定する。（２）本システム１０から物体までの距離があまり変わらない場合は、特定の大きさの温度領域を顔と判定し、その下にある温度領域を胴体（衣服）と判定する。なお、上記（１）（２）ともに顔の下に胴体があるとして胴体を特定している。上記（１）は、エリアを設定することで顔を特定し、上記（２）は、大きさを設定することで顔を特定している。

【0028】

上記の物体情報は、種類情報と、画素位置情報と、背景温度情報とを含む。種類情報は、第１熱画像から抽出された物体の種類（例えば顔又は胴体）を特定する情報である。画素位置情報は、第１熱画像における抽出された物体（例えば顔及び胴体）の画素位置を特定する情報である。背景温度情報は、背景領域の温度の情報であり、例えば、背景領域の温度の平均値である。背景温度情報は、無くてもよい。この場合は、第１熱画像と、上記の画素位置情報との組みあわせで、背景領域の温度を特定することになる。

【0029】

図２Ａ及び図２Ｂは、第１熱画像Ｇ１及び物体情報Ｊ１の一例を示す。図２Ａの例では、第１熱画像Ｇ１のうち、領域Ｒ１が顔領域であり、領域Ｒ２が胴体領域であり、領域Ｒ３が背景領域（周囲領域）である。図２Ｂの例では、物体情報Ｊ１は、種類情報及び画素位置情報として、例えば、第１熱画像Ｇ１と同じサイズの画像において、領域Ｒ１が顔領域である旨の情報、領域Ｒ２が胴体である旨の情報、及び領域Ｒ３（領域Ｒ１，Ｒ２以外の領域）が背景領域である旨の情報が付加されて構成されている。図２Ｂの例では、物体情報Ｊ１は、更に、顔の中心Ｋ１を示す情報を含んでいる。

【0030】

図１に戻って、信号処理部２２は、物体抽出部２３からの物体情報に基づいて、複数組の第２温度補正値Ａ２～Ｆ２のうち、物体抽出部２３で抽出された物体に対応した第２温度補正値Ａ２～Ｆ２を選択する。より詳細には、信号処理部２２は、物体抽出部２３で抽出された物体（顔又は胴体）の温度が第１閾値（３０℃）以上であるか否かに応じて、用いる第２温度補正値Ａ２～Ｆ２を変える。すなわち、顔領域の温度は、例えば３０℃以上４０℃以下に設定され、胴体領域（衣服領域）は、例えば０℃以上３０℃以下に設定されている。このため、物体抽出部２３で抽出された物体の温度が３０℃以上の場合は、信号処理部２２は、その物体を顔と判断して、複数の第２温度補正値Ａ２～Ｆ２のうち、顔に対応した第２温度補正値Ａ２～Ｆ２を選択する。また、物体抽出部２３で抽出された物体の温度が３０℃未満の場合は、信号処理部２２は、その物体を胴体と判断して、複数の第２温度補正値Ａ２～Ｆ２のうち、胴体（物体）に対応した第２温度補正値Ａ２～Ｆ２を選択する。

【0031】

そして、信号処理部２２は、式１に基づいて、選択した第２温度補正値（すなわち物体抽出部２３で抽出された物体に対応した第２温度補正値）Ａ２～Ｆ２を用いて、記憶部２５に記憶された元データＤ１（すなわち撮像素子１の出力信号）から第２熱画像を生成する。

【0032】

信号処理部２２は、式１に基づいて第２画像を生成するとき、温度補正値Ａ～Ｆとして、選択した第２温度補正値Ａ２～Ｆ２を用い、周囲温度Ｔsとして、物体抽出部２３からの物体情報に含まれる背景温度（周囲温度）情報を用いる。

【0033】

第２熱画像が生成される段階では、物体抽出部２３によって撮像対象の物体（例えば顔及び胴体）が特定されている。このため、第２温度補正値は、特定された物体に対応して、比較的狭い温度範囲に対応した温度補正値に設定されている。本実施形態では、第１熱画像には、撮像対象として人の顔及び胴体（衣服）が映っている。顔に対応した第２温度補正値は、温度範囲が顔の温度範囲（３０℃～４０℃）に対応した温度補正値である。胴体（衣服）に対応した第２温度補正値は、温度範囲が胴体（衣服）の温度範囲（０℃～３０℃）に対応した温度補正値である。

【0034】

信号処理部２２は、物体抽出部２３からの物体情報に基づいて、元データＤ１における顔領域及び胴体領域を特定する。そして、信号処理部２２は、元データＤ１のうちの顔領域に対応する赤外線受光素子３の出力信号に対しては、顔（物体）に対応した第２温度補正値Ａ２～Ｆ２を用いて、胴体領域に対応した赤外線受光素子３の出力信号に対しては、胴体（物体）に対応した第２温度補正値Ａ２～Ｆ２を用いて、背景領域に対応する赤外線受光素子３の出力信号に対しては、温度補正値を用いずに（すなわち補正せずに）、元データＤ１から第２熱画像を生成する。すなわち、本実施形態では、信号処理部２２は、物体に対応した第２温度補正値Ａ２～Ｆ２を用いて、撮像素子１の出力信号のうち、物体抽出部２３で抽出された物体に対応する出力信号のみを補正する。なお、第２熱画像の背景領域は、本実施形態では特に利用されないので、第２温度補正値Ａ２～Ｆ２を用いての補正は、行われない。

【0035】

信号処理部２２は、元データＤ１（すなわち撮像素子１の出力信号）から第２熱画像を生成するとき、撮像素子１の出力信号をゲイン調整すると共に撮像素子１の出力信号の電圧範囲を比較的狭い第２電圧範囲（上記の第１電圧範囲よりも狭い電圧範囲）に調整する。第２熱画像を生成する段階では、物体抽出部２３によって撮像対象の物体（例えば人及び胴体）が特定されている。このため、信号処理部２２は、第２熱画像に映る物体の温度分布の温度分解能が最大限に細かくなるように、撮像素子１の出力信号のゲイン及び電圧範囲を調整する。具体的には、ゲインは比較的大きな値（例えば最大値又は飽和値）に調整され、電圧範囲は比較的狭い電圧範囲に調整される。

【0036】

信号処理部２２は、生成した第２熱画像を物体温度算出部２４に出力する。

【0037】

物体温度算出部２４は、信号処理部２２からの第２熱画像に基づいて、物体抽出部２３で抽出された物体（例えば顔及び胴体）、すなわち撮像対象の物体の温度を算出する。より詳細には、物体温度算出部２４は、物体抽出部２３からの物体情報に含まれる物体（顔及び胴体）の画素位置情報に基づいて、第２熱画像に映る物体の画素位置を特定する。そして、物体温度算出部２４は、第２熱画像に基づいて、上記の特定された画素位置の温度を検出する。第２熱画像における物体の画素領域の温度分布の温度分解能は最大限に細かく調整されている。このため、物体温度算出部２４は、第２熱画像から、物体の温度を精度よく検出可能である。物体温度算出部２４は、検出した物体の温度を出力部２１ｂに出力する。これにより、検出された物体の温度が外部に出力される。

【0038】

次に図３に基づいて、赤外線センサシステム１０の動作を説明する。

【0039】

撮像素子１の出力信号が入力部２１ａを介して処理部２１に入力される（Ｓ１）。処理部２１では、信号処理部２２が撮像素子１の出力信号を元データＤ１として記憶部２５に記憶する（Ｓ２）。また、信号処理部２２は、第１温度補正値を用いて撮像素子１の出力信号から第１熱画像を生成し（Ｓ３）、生成した第１熱画像を物体抽出部２３に出力する。また、信号処理部２２は、第１熱画像を出力部２１ｂから外部に出力する（Ｓ４）。そして、物体抽出部２３が第１熱画像から撮像対象の物体（例えば人の顔及び胴体）を抽出し、その抽出結果に基づいて物体情報を生成する（Ｓ５）。物体抽出部２３は、生成した物体情報を信号処理部２２及び物体温度算出部２４に出力する。信号処理部２２は、物体抽出部２３からの物体情報に基づいて、複数の第２温度補正値の中から、抽出された物体に対応した第２温度補正値を選択する（Ｓ６）。

【0040】

そして、信号処理部２２は、選択した第２温度補正値（すなわち、物体抽出部２３で抽出された物体に対応した第２温度補正値）を用いて、記憶部２５に記憶された元データＤ１から第２熱画像を生成する（Ｓ７）。そして、信号処理部２２は、生成した第２熱画像を物体温度算出部２４に出力する。そして、物体温度算出部２４は、信号処理部２２からの第２熱画像に基づいて、物体抽出部２３からの物体情報で特定される物体の温度を算出する（Ｓ８）。そして、物体温度算出部２４は、検出結果（物体の温度）を出力部２１ｃに出力する（Ｓ９）。

【0041】

以上のように、本実施形態に係る赤外線センサシステム１００及び赤外線処理システム２によれば、第１温度補正値Ａ１～Ｆ１を用いて撮像素子１１の出力信号から第１熱画像を生成し、生成した第１熱画像から物体（例えば顔及び胴体）を抽出する。このため、第１温度補正値Ａ１～Ｆ１として比較的広い温度範囲に対応した温度補正値を用いることで、第１熱画像から異なる温度の物体（顔及び胴体）を適度な精度で抽出することができる。そして、第１熱画像から抽出した物体に対応した第２温度補正値Ａ２～Ｆ２を用いて、撮像素子１１の出力信号から第２熱画像を生成し、生成した第２熱画像に基づいて、抽出した物体の温度を算出する。このため、物体の温度を精度よく算出することができる。以上より、熱画像から異なる温度の物体の温度を精度よく算出することができる。

【0042】

（変形例）
以下に説明する変形例は、適宜組み合わせて適用可能である。また、赤外線処理システム２と同様の機能は、赤外線処理方法又はコンピュータプログラムで具現化されてもよい。

【0043】

一態様に係る赤外線処理方法は、物体からの赤外線を受光する複数の受光素子を有する撮像素子の出力信号を処理する処理工程を有する。上記の処理工程は、第１熱画像生成工程と、物体抽出工程と、第２熱画像生成工程と、物体温度算出工程と、を含む。第１熱画像生成工程は、第１温度補正値を用いて撮像素子１の出力信号から第１熱画像を生成する。物体抽出工程は、第１熱画像生成工程で生成された第１熱画像から物体を抽出する。第２熱画像生成工程は、物体抽出工程で抽出された物体に対応した第２温度補正値を用いて撮像素子１の出力信号から第２熱画像を生成する。物体温度算出工程は、前記第２熱画像生成工程で生成された第２熱画像に基づいて、物体抽出工程で抽出された物体の温度を算出する物体温度算出工程と、を備える。

【0044】

一態様に係るコンピュータプログラムは、上記の赤外線処理方法をコンピュータシステムに実行させるためのプログラムである。

【0045】

以下に説明する変形例では、上記の実施形態と異なる点を中心に説明する。また、以下の変形例では、上記の実施形態と同じ部分については、同じ符号を付して説明を省略する場合がある。

【0046】

（変形例１）
上記の実施形態では、信号処理部２２は、第２温度補正値を用いて、撮像素子１の出力信号のうち、物体抽出部２３で抽出された物体に対応する出力信号のみを補正するが、信号処理部２２は、第２温度補正値を用いて、撮像素子１の出力信号の全体に（すなわち物体に対応する出力信号だけでなく背景領域に対応する出力信号にも）補正を行ってもよい。つまり、第２熱画像の背景領域は、特に利用されないので、第２温度補正値を用いて、物体領域と共に背景領域を補正してもよい。

【0047】

（変形例２）
上記の実施形態において、記憶部２５に記憶された第１温度補正値及び第２温度補正値の少なくとも一方は、書き換え可能であってもよい。これにより、赤外線処理システム２の製造後（出荷後）に、第１温度補正値及び第２温度補正値の少なくとも一方を書き換えることができる。

【0048】

（変形例３）
上記の実施形態において、図４に示すように、撮像対象の物体を撮像する可視カメラ２７（例えばＣＣＤ（imagesensor）イメージセンサ）を更に備えてもよい。可視カメラ２７の撮像範囲は、撮像素子１の撮像範囲と重なっている。撮像素子１の撮像画像上の座標系と可視カメラ２７の撮像画像上の座標系は、一致している。可視カメラ２７の出力信号（撮像画像）は、処理部２１の入力部２１ｄを介して物体抽出部２３に出力される。

【0049】

本変形例では、物体抽出部２３は、可視カメラ２７の撮像画像から、撮像対象の物体を抽出する。より詳細には、物体抽出部２３は、例えば、可視カメラ２７の撮像画像を二値化処理し、二値化処理後の画像から特徴抽出を行って、撮像対象の物体を抽出し、その抽出結果に基づいて物体情報を生成する。信号処理部２２は、物体抽出部２３で生成された物体情報に基づいて、元データＤ１から第２熱画像を生成する。この場合、信号処理部２２は、上記の実施形態と同様に第１熱画像を生成し、生成した第１熱画像から、式２の計算で必要となる周囲温度Ｔsを算出する。また、物体温度算出部２４は、物体抽出部２３から物体情報（すなわち可視カメラ２７の撮像画像に映った物体の位置）に基づいて、第２熱画像から物体の温度を算出する。

【0050】

本変形例によれば、可視カメラ２７の撮像画像から物体を抽出するため、より精度よく、第２熱画像における物体の画素位置を特定できる。

【0051】

（まとめ）
第１の態様に係る赤外線処理システム（２）は、物体からの赤外線を受光する撮像素子（１）の出力信号を処理する処理部（２１）を備える。処理部（２１）は、第１熱画像生成部（２２）と、物体抽出部（２３）と、第２熱画像生成部（２２）と、物体温度算出部（２４）と、を備える。第１熱画像生成部（２２）は、第１温度補正値（Ａ１～Ｆ１）を用いて撮像素子（１）の出力信号から第１熱画像を生成する。物体抽出部（２３）は、第１熱画像生成部（２２）で生成された第１熱画像から物体を抽出する。第２熱画像生成部（２２）は、物体抽出部（２３）で抽出された物体に対応した第２温度補正値（Ａ２～Ｆ２）を用いて、撮像素子（１）の出力信号から第２熱画像を生成する。物体温度算出部（２４）は、第２熱画像生成部（２２）で生成された第２熱画像に基づいて、物体抽出部（２３）で抽出された物体の温度を算出する。

【0052】

この構成によれば、第１温度補正値（Ａ１～Ｆ１）を用いて撮像素子（１）の出力信号から第１熱画像を生成し、生成した第１熱画像から物体を抽出する。このため、第１温度補正値（Ａ１～Ｆ１）として比較的広い温度範囲に対応した温度補正値を用いることで、第１熱画像から異なる温度の物体を適度な精度で抽出することができる。そして、第１熱画像から抽出した物体に対応した第２温度補正値（Ａ２～Ｆ２）を用いて、撮像素子（１）の出力信号から第２熱画像を生成し、生成した第２熱画像に基づいて、抽出した物体の温度を算出する。このため、物体の温度を精度よく算出することができる。以上より、熱画像から異なる温度の物体の温度を精度よく算出することができる。

【0053】

第２の態様に係る赤外線処理システム（２）は、第１の態様において、撮像素子（１）の出力信号を記憶する第１記憶部（２５）を更に備える。第２熱画像生成部（２２）は、第２温度補正値（Ａ２～Ｆ２）を用いて、第１記憶部（２５）に記憶された出力信号から第２熱画像を生成する。

【0054】

この構成によれば、第２熱画像生成部（２２）は、第１記憶部（２５）に記憶された撮像素子（１）の出力信号を用いることで、第１熱画像生成部（２２）の処理後に第２熱画像を生成することができる。

【0055】

第３の態様に係る赤外線処理システム（２）は、第１又は第２の態様において、物体抽出部（２３）で抽出された物体に応じた複数の第２温度補正値（Ａ２～Ｆ２）を記憶する第２記憶部（２５）を備える。

【0056】

この構成によれば、物体抽出部（２３）で抽出された物体に応じて第２温度補正値（Ａ２～Ｆ２）を変更することができる。この結果、物体の温度を精度よく算出することができる。

【0057】

第４の態様に係る赤外線処理システム（２）では、第１～第３の態様の何れか１つの態様において、第２熱画像生成部（２２）は、第２温度補正値（Ａ２～Ｆ２）を用いて、撮像素子（１）の出力信号のうち、物体抽出部（２３）で抽出された物体に対応する出力信号のみを補正する。

【0058】

この構成によれば、第２熱画像生成部（２２）は、撮像素子（１）の出力信号のうち物体に対応する出力信号のみを補正するため、第２熱画像生成部（２２）の処理負担を軽減することができる。

【0059】

第５の態様に係る赤外線処理システム（２）では、第１～第４の態様の何れか１つの態様において、第２熱画像生成部（２２）は、物体抽出部（２３）で抽出された物体の温度が閾値以上であるか否かに応じて、用いる第２温度補正値（Ａ２～Ｆ２）を変える。

【0060】

この構成によれば、物体の温度と閾値との大小比較によって、第２熱画像生成部（２２）で用いられる第２温度補正値（Ａ２～Ｆ２）を物体に応じて変えることができる。

【0061】

第６の態様に係る赤外線処理システム（２）では、第１～第５の態様の何れか１つの態様において、第２熱画像生成部（２２）は、第２熱画像を生成するときに、撮像素子（１）の出力信号に、物体抽出部（２３）で抽出された物体に対応したゲイン調整を行う。

【0062】

この構成によれば、第２熱画像の温度分解能をより細かくできる。

【0063】

第７の態様に係る赤外線処理システム（２）では、第１～第６の態様の何れか１つの態様において、第２熱画像生成部（２２）は、第２熱画像を生成するとき、撮像素子（１）の出力信号の電圧範囲を、抽出した物体に対応した電圧範囲に変更する。

【0064】

この構成によれば、第２熱画像の温度分解能をより細かくできる。

【0065】

第８の態様に係る赤外線処理システム（２）は、第１～第７の態様の何れか１つの態様において、物体を撮像する可視カメラ（２７）を更に備える。物体抽出部（２３）は、第１熱画像の代わりに可視カメラ（２７）の撮像画像から物体を抽出する。

【0066】

この構成によれば、より精度よく、第１熱画像から物体を抽出することができる。

【0067】

第９の態様に係る赤外線処理システム（２）では、第１～第８の態様の何れか１つの態様において、第１温度補正値（Ａ１～Ｆ１）及び第２温度補正値（Ａ２～Ｆ２）の少なくとも一方は、書き換え可能に記憶部（２５）に記憶されている。

【0068】

この構成によれば、赤外線処理システム（２）の製造後（出荷後）に、第１温度補正値（Ａ１～Ｆ１）及び第２温度補正値（Ａ２～Ｆ２）の少なくとも一方を書き換えることができる。

【0069】

第１０の態様に係る赤外線センサシステム（１０）は、第１～第９の態様の何れか１つの赤外線処理システム（２）と、撮像素子（１）と、を備える。

【0070】

この構成によれば、上記の赤外線処理システム（２）を用いた赤外線センサシステム（１０）を提供できる。

【0071】

第１１の態様に係る赤外線処理方法は、物体からの赤外線を受光する複数の受光素子（３）を有する撮像素子（１）の出力信号を処理する処理工程を有する。処理工程は、第１熱画像生成工程と、物体抽出工程と、第２熱画像生成工程と、物体温度算出工程と、を含む。第１画像生成工程は、第１温度補正値（Ａ１～Ｆ１）を用いて撮像素子（１）の出力信号から第１熱画像を生成する。物体抽出工程は、第１熱画像生成工程で生成された第１熱画像から物体を抽出する。第２熱画像生成工程は、物体抽出工程で抽出された物体に対応した第２温度補正値（Ａ２～Ｆ２）を用いて、撮像素子（１）の出力信号から第２熱画像を生成する。物体温度算出工程は、第２熱画像生成工程で生成された第２熱画像に基づいて、物体抽出工程で抽出された物体の温度を算出する。

【0072】

この構成によれば、第１温度補正値（Ａ１～Ｆ１）を用いて撮像素子（１）の出力信号から第１熱画像を生成し、生成した第１熱画像から物体を抽出する。このため、第１温度補正値（Ａ１～Ｆ１）として比較的広い温度範囲に対応した温度補正値を用いることで、第１熱画像から異なる温度の物体を適度な精度で抽出することができる。そして、第１熱画像から抽出した物体に対応した第２温度補正値（Ａ２～Ｆ２）を用いて、撮像素子（１）の出力信号から第２熱画像を生成し、生成した第２熱画像に基づいて、抽出した物体の温度を算出する。このため、物体の温度を精度よく算出することができる。以上より、熱画像から異なる温度の物体の温度を精度よく算出することができる。

【0073】

第１２の態様に係るプログラムは、第１１の態様の赤外線処理方法をコンピュータシステムに実行させるためのプログラムである。

【0074】

この構成によれば、赤外線処理方法をコンピュータシステムに実行させるためのプログラムを提供することができる。

【符号の説明】

【0075】

１ 撮像素子
２ 赤外線処理システム
２１ 処理部
２２ 第２熱画像生成部
２３ 物体抽出部
２４ 物体温度算出部
２５ 記憶部（第１記憶部、第２記憶部）
２７ 可視カメラ
Ａ１～Ｆ１ 第１温度補正値
Ａ２～Ｆ２ 第２温度補正値

【図1】

【図2】

【図3】

【図4】