特開2023-170389情報出力装置、撮影装置、情報出力方法、及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023170389
(43)【公開日】2023-12-01
(54)【発明の名称】情報出力装置、撮影装置、情報出力方法、及びプログラム
(51)【国際特許分類】
G06V 10/143 20220101AFI20231124BHJP
G06T 7/254 20170101ALI20231124BHJP
H04N 7/18 20060101ALI20231124BHJP
【ＦＩ】
G06V10/143
G06T7/254 B
H04N7/18 D
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2022082106
(22)【出願日】2022-05-19
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＴＥＮＳＯＲＦＬＯＷ
(71)【出願人】
【識別番号】507200938
【氏名又は名称】株式会社タナカ技研
(74)【代理人】
【識別番号】100115749
【弁理士】
【氏名又は名称】谷川 英和
(74)【代理人】
【識別番号】100166811
【弁理士】
【氏名又は名称】白鹿 剛
(72)【発明者】
【氏名】石田 芳浩
(72)【発明者】
【氏名】石井 太
(72)【発明者】
【氏名】長谷川 隆義
【テーマコード（参考）】
5C054
5L096
【Ｆターム（参考）】
5C054CA01
5C054CC02
5C054FC12
5C054FE14
5C054GB02
5C054HA19
5L096AA13
5L096CA02
5L096DA03
5L096GA08
5L096HA02
(57)【要約】
【課題】従来の情報出力装置においては、多波長分光カメラを用いてより利便性の高い情報を得られるようにするという課題があった。
【解決手段】同一光軸で複数の各波長帯の電磁波を画像として記録可能な多波長分光カメラ９０により撮影された、記録対象とする電磁波の波長帯が互いに異なる３以上の元画像について、元画像又は元画像に基づく画像を候補画像として取得する画像取得部３１と、所定の選択条件に基づいて、３以上の候補画像のうち、２以上の使用画像を選択する選択部３４と、選択された２以上の使用画像を用いて出力情報を取得する出力情報取得部３５と、出力情報を出力する出力部４とを備え、３以上の元画像のうち少なくとも１つは、記録対象の電磁波が可視光であり、３以上の元画像のうち少なくとも２つは、記録対象の電磁波が赤外線である、情報出力装置１０により、多波長分光カメラを用いてより利便性の高い情報を得ることができる。
【選択図】図２
【解決手段】同一光軸で複数の各波長帯の電磁波を画像として記録可能な多波長分光カメラ９０により撮影された、記録対象とする電磁波の波長帯が互いに異なる３以上の元画像について、元画像又は元画像に基づく画像を候補画像として取得する画像取得部３１と、所定の選択条件に基づいて、３以上の候補画像のうち、２以上の使用画像を選択する選択部３４と、選択された２以上の使用画像を用いて出力情報を取得する出力情報取得部３５と、出力情報を出力する出力部４とを備え、３以上の元画像のうち少なくとも１つは、記録対象の電磁波が可視光であり、３以上の元画像のうち少なくとも２つは、記録対象の電磁波が赤外線である、情報出力装置１０により、多波長分光カメラを用いてより利便性の高い情報を得ることができる。
【選択図】図２
【特許請求の範囲】
【請求項1】
同一光軸で複数の各波長帯の電磁波を画像として記録可能な多波長分光カメラにより撮影された、記録対象とする電磁波の波長帯が互いに異なる３以上の元画像について、当該元画像又は当該元画像に基づく画像を候補画像として取得する画像取得部と、
所定の選択条件に基づいて、前記３以上の候補画像のうち、２以上の使用画像を選択する選択部と、
選択された前記２以上の使用画像を用いて出力情報を取得する出力情報取得部と、
前記出力情報を出力する出力部とを備え、
前記３以上の元画像のうち少なくとも１つは、記録対象の電磁波が可視光であり、前記３以上の元画像のうち少なくとも２つは、記録対象の電磁波が赤外線である、情報出力装置。
所定の選択条件に基づいて、前記３以上の候補画像のうち、２以上の使用画像を選択する選択部と、
選択された前記２以上の使用画像を用いて出力情報を取得する出力情報取得部と、
前記出力情報を出力する出力部とを備え、
前記３以上の元画像のうち少なくとも１つは、記録対象の電磁波が可視光であり、前記３以上の元画像のうち少なくとも２つは、記録対象の電磁波が赤外線である、情報出力装置。
【請求項2】
前記画像取得部は、前記３以上の元画像のそれぞれについての背景差分画像を前記候補画像として取得するように構成されており、
前記出力情報取得部は、前記２以上の使用画像を用いて認識処理を行う認識部を備え、前記認識処理による認識結果を前記出力情報として取得する、請求項１に記載の情報出力装置。
前記出力情報取得部は、前記２以上の使用画像を用いて認識処理を行う認識部を備え、前記認識処理による認識結果を前記出力情報として取得する、請求項１に記載の情報出力装置。
【請求項3】
前記選択部は、前記候補画像の階調に関する前記選択条件に基づいて、２以上の使用画像を選択する、請求項２に記載の情報出力装置。
【請求項4】
前記画像取得部は、少なくとも１つの赤外線を記録した元画像について、背景差分法による背景差分画像を前記候補画像として取得するように構成されており、
前記選択条件は、可視光を記録した元画像である候補画像と前記赤外線を記録した元画像に基づく背景差分画像である候補画像とを選択することを含み、
前記出力情報取得部は、選択された使用画像を合成する画像合成部を備え、前記画像合成部により合成された合成画像を前記出力情報として取得する、請求項１に記載の情報出力装置。
前記選択条件は、可視光を記録した元画像である候補画像と前記赤外線を記録した元画像に基づく背景差分画像である候補画像とを選択することを含み、
前記出力情報取得部は、選択された使用画像を合成する画像合成部を備え、前記画像合成部により合成された合成画像を前記出力情報として取得する、請求項１に記載の情報出力装置。
【請求項5】
前記画像取得部は、少なくとも遠赤外線を記録した元画像に基づく背景差分画像を前記候補画像として取得するように構成されており、
前記選択条件は、可視光を記録した元画像である候補画像と、前記遠赤外線を記録した元画像に基づく背景差分画像である候補画像とを少なくとも選択することを含む、請求項４に記載の情報出力装置。
前記選択条件は、可視光を記録した元画像である候補画像と、前記遠赤外線を記録した元画像に基づく背景差分画像である候補画像とを少なくとも選択することを含む、請求項４に記載の情報出力装置。
【請求項6】
前記選択条件は、可視光を記録した元画像である候補画像と遠赤外線を記録した元画像である候補画像とを選択することを含み、
前記出力情報取得部は、選択された使用画像を合成する画像合成部を備え、前記画像合成部により合成された合成画像を前記出力情報として取得する、請求項１に記載の情報出力装置。
前記出力情報取得部は、選択された使用画像を合成する画像合成部を備え、前記画像合成部により合成された合成画像を前記出力情報として取得する、請求項１に記載の情報出力装置。
【請求項7】
前記画像取得部は、所定の範囲に近赤外線を照射した状態で可視光、近赤外線、及び遠赤外線のそれぞれを記録した３つの元画像を少なくとも前記候補画像として取得するように構成されており、
前記選択条件は、可視光を記録した元画像である候補画像と、近赤外線を記録した元画像である候補画像と、遠赤外線を記録した元画像である候補画像とを選択することを含み、
前記出力情報取得部は、選択された使用画像を合成する画像合成部を備え、前記画像合成部により合成された合成画像を前記出力情報として取得する、請求項１に記載の情報出力装置。
前記選択条件は、可視光を記録した元画像である候補画像と、近赤外線を記録した元画像である候補画像と、遠赤外線を記録した元画像である候補画像とを選択することを含み、
前記出力情報取得部は、選択された使用画像を合成する画像合成部を備え、前記画像合成部により合成された合成画像を前記出力情報として取得する、請求項１に記載の情報出力装置。
【請求項8】
前記合成画像を用いて認識処理を行う認識部と、
前記認識結果が所定の通知条件を満たす場合に、ユーザに対する通知を行う通知部とを備える、請求項４から７のいずれかに記載の情報出力装置。
前記認識結果が所定の通知条件を満たす場合に、ユーザに対する通知を行う通知部とを備える、請求項４から７のいずれかに記載の情報出力装置。
【請求項9】
同一光軸で複数の各波長帯の電磁波を画像として記録可能な多波長分光カメラと、請求項１から７のいずれかに記載の情報出力装置とを備える、撮影装置。
【請求項10】
画像取得部と、選択部と、出力情報取得部と、出力部とを用いて行われる情報出力方法であって、
前記画像取得部が、同一光軸で複数の各波長帯の電磁波を画像として記録可能な多波長分光カメラにより撮影された、記録対象とする電磁波の波長帯が互いに異なる３以上の元画像について、当該元画像又は当該元画像に基づく画像を候補画像として取得する画像取得ステップと、
前記選択部が、所定の選択条件に基づいて、前記３以上の候補画像のうち、２以上の使用画像を選択する選択ステップと、
前記出力情報取得部が、選択された前記２以上の使用画像を用いて出力情報を取得する出力情報取得ステップと、
前記出力部が、前記出力情報を出力する出力ステップとを備え、
前記３以上の元画像のうち少なくとも１つは、記録対象の電磁波が可視光であり、前記３以上の元画像のうち少なくとも２つは、記録対象の電磁波が赤外線である、情報出力方法。
前記画像取得部が、同一光軸で複数の各波長帯の電磁波を画像として記録可能な多波長分光カメラにより撮影された、記録対象とする電磁波の波長帯が互いに異なる３以上の元画像について、当該元画像又は当該元画像に基づく画像を候補画像として取得する画像取得ステップと、
前記選択部が、所定の選択条件に基づいて、前記３以上の候補画像のうち、２以上の使用画像を選択する選択ステップと、
前記出力情報取得部が、選択された前記２以上の使用画像を用いて出力情報を取得する出力情報取得ステップと、
前記出力部が、前記出力情報を出力する出力ステップとを備え、
前記３以上の元画像のうち少なくとも１つは、記録対象の電磁波が可視光であり、前記３以上の元画像のうち少なくとも２つは、記録対象の電磁波が赤外線である、情報出力方法。
【請求項11】
コンピュータを、
同一光軸で複数の各波長帯の電磁波を画像として記録可能な多波長分光カメラにより撮影された、記録対象とする電磁波の波長帯が互いに異なる３以上の元画像について、当該元画像又は当該元画像に基づく画像を候補画像として取得する画像取得部と、
所定の選択条件に基づいて、前記３以上の候補画像のうち、２以上の使用画像を選択する選択部と、
選択された前記２以上の使用画像を用いて出力情報を取得する出力情報取得部と、
前記出力情報を出力する出力部と、として機能させるためのプログラムであって、
前記３以上の元画像のうち少なくとも１つは、記録対象の電磁波が可視光であり、前記３以上の元画像のうち少なくとも２つは、記録対象の電磁波が赤外線である、プログラム。
同一光軸で複数の各波長帯の電磁波を画像として記録可能な多波長分光カメラにより撮影された、記録対象とする電磁波の波長帯が互いに異なる３以上の元画像について、当該元画像又は当該元画像に基づく画像を候補画像として取得する画像取得部と、
所定の選択条件に基づいて、前記３以上の候補画像のうち、２以上の使用画像を選択する選択部と、
選択された前記２以上の使用画像を用いて出力情報を取得する出力情報取得部と、
前記出力情報を出力する出力部と、として機能させるためのプログラムであって、
前記３以上の元画像のうち少なくとも１つは、記録対象の電磁波が可視光であり、前記３以上の元画像のうち少なくとも２つは、記録対象の電磁波が赤外線である、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、同一光軸で複数の各波長帯の電磁波を画像として記録可能な多波長分光カメラにより撮影された元画像に基づいて出力情報を出力することができる情報出力装置、撮影装置、情報出力方法、及びプログラムに関する。
【背景技術】
【0002】
撮像した画像信号を基に画像処理を行うことで、撮像範囲内の特定の物体を検出する種々の技術が考えられている。このような技術は監視カメラや車載用カメラなどに用いられていた。可視光を検出して撮像する可視光カメラだけでなく、近赤外線カメラや、撮像対象の温度を検出する遠赤外線カメラなども使用されていた。
【0003】
従来、可視光カメラと遠赤外線カメラを並べて配置して画像処理を行う際に、２種類のカメラの光軸ズレを補正する目的で、視差補正を必要とする技術がある（例えば、特許文献１参照）。
【0004】
また、視差をなくす目的で、可視光カメラと近赤外線カメラを同一光軸に配置して高速度撮像を行う技術（例えば、特許文献２参照）がある。波長を選択する光学部品を用いて、第一波長の可視光カメラと、第二波長の近赤外線カメラもしくは遠赤外線カメラを同一光軸に配置する技術（例えば、特許文献３参照）がある。
【0005】
なお、同一光軸光学系に関する技術として、同一光軸レンズ光学系に関する技術（例えば、特許文献４参照）や、反射光学系に関する技術（例えば、特許文献５参照）が知られている。
【0006】
また、ＮＡＭ（非加算混合）回路を用いて、二つの元画像の同じ位置の各画素のうち、レベルの高い画素値を優先して出力し、合成画像を取得する技術が知られている（例えば、特許文献６参照）。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開２０１３－２４７４９２号公報
【特許文献2】特開２０１７－１５６７９６号公報
【特許文献3】特開２００２－２０９１２６号公報
【特許文献4】特開２０１１－２３２６０６号公報
【特許文献5】特開２０１２－０４２９４９号公報
【特許文献6】特許第６９０２１５０号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
多波長分光カメラの普及に伴い、多波長分光カメラを用いてより利便性の高い情報を得られるようにすることが望まれている。
【0009】
この発明は、多波長分光カメラを用いてより利便性の高い情報を得ることができる情報出力装置、撮影装置、情報出力方法、及びプログラムを提供することを目的としている。
【課題を解決するための手段】
【0010】
本第一の発明の情報出力装置は、同一光軸で複数の各波長帯の電磁波を画像として記録可能な多波長分光カメラにより撮影された、記録対象とする電磁波の波長帯が互いに異なる３以上の元画像について、元画像又は元画像に基づく画像を候補画像として取得する画像取得部と、所定の選択条件に基づいて、３以上の候補画像のうち、２以上の使用画像を選択する選択部と、選択された２以上の使用画像を用いて出力情報を取得する出力情報取得部と、出力情報を出力する出力部とを備え、３以上の元画像のうち少なくとも１つは、記録対象の電磁波が可視光であり、３以上の元画像のうち少なくとも２つは、記録対象の電磁波が赤外線である、情報出力装置である。
【0011】
かかる構成により、多波長分光カメラを用いてより利便性の高い情報を得ることができる。
【0012】
また、本第二の発明の情報出力装置は、第一の発明に対して、画像取得部は、３以上の元画像のそれぞれについての背景差分画像を候補画像として取得するように構成されており、出力情報取得部は、２以上の使用画像を用いて認識処理を行う認識部を備え、認識処理による認識結果を出力情報として取得する、情報出力装置である。
【0013】
かかる構成により、動体の認識精度を向上させることができる。
【0014】
また、本第三の発明の情報出力装置は、第二の発明に対して、選択部は、候補画像の階調に関する選択条件に基づいて、２以上の使用画像を選択する、情報出力装置である。
【0015】
かかる構成により、動体の認識精度をより向上させることができる。
【0016】
また、本第四の発明の情報出力装置は、第一の発明に対して、画像取得部は、少なくとも１つの赤外線を記録した元画像について、背景差分法による背景差分画像を候補画像として取得するように構成されており、選択条件は、可視光を記録した元画像である候補画像と赤外線を記録した元画像に基づく背景差分画像である候補画像とを選択することを含み、出力情報取得部は、選択された使用画像を合成する画像合成部を備え、画像合成部により合成された合成画像を出力情報として取得する、情報出力装置である。
【0017】
かかる構成により、画像に写る領域の中で、赤外線の放射状態の変化があった部位を容易に把握可能な合成画像を出力情報とすることができる。
【0018】
また、本第五の発明の情報出力装置は、第四の発明に対して、画像取得部は、少なくとも遠赤外線を記録した元画像に基づく背景差分画像を候補画像として取得するように構成されており、選択条件は、可視光を記録した元画像である候補画像と、遠赤外線を記録した元画像に基づく背景差分画像である候補画像とを少なくとも選択することを含む、情報出力装置である。
【0019】
かかる構成により、画像に写る領域の中で、温度の変化があった部位を容易に把握可能な合成画像を出力情報とすることができる。
【0020】
また、本第六の発明の情報出力装置は、第一の発明に対して、選択条件は、可視光を記録した元画像である候補画像と遠赤外線を記録した元画像である候補画像とを選択することを含み、出力情報取得部は、選択された使用画像を合成する画像合成部を備え、画像合成部により合成された合成画像を出力情報として取得する、情報出力装置である。
【0021】
かかる構成により、被写体の発熱箇所を容易に把握可能な合成画像を出力情報とすることができる。
【0022】
また、本第七の発明の情報出力装置は、第一の発明に対して、画像取得部は、所定の範囲に近赤外線を照射した状態で可視光、近赤外線、及び遠赤外線のそれぞれを記録した３つの元画像を少なくとも候補画像として取得するように構成されており、選択条件は、可視光を記録した元画像である候補画像と、近赤外線を記録した元画像である候補画像と、遠赤外線を記録した元画像である候補画像とを選択することを含み、出力情報取得部は、選択された使用画像を合成する画像合成部を備え、画像合成部により合成された合成画像を出力情報として取得する、情報出力装置である。
【0023】
かかる構成により、暗い環境下において、照明が不足する場所にいる人物等をも含めて検知可能な合成画像を出力情報とすることができる。
【0024】
また、本第八の発明の情報出力装置は、第四から七のいずれかの発明に対して、合成画像を用いて認識処理を行う認識部と、認識結果が所定の通知条件を満たす場合に、ユーザに対する通知を行う通知部とを備える、情報出力装置である。
【0025】
かかる構成により、合成画像に応じて、ユーザに対して適切な通知を行うことができる。
【0026】
また、本第九の発明の撮影装置は、第一から八のいずれかの発明に対して、同一光軸で複数の各波長帯の電磁波を画像として記録可能な多波長分光カメラと、情報出力装置とを備える、撮影装置である。
【0027】
かかる構成により、多波長分光カメラを用いてより利便性の高い情報を得ることができる。
【発明の効果】
【0028】
本発明によれば、多波長分光カメラを用いてより利便性の高い情報を得ることができる情報出力装置、撮影装置、情報出力方法、及びプログラムを提供することができる。
【図面の簡単な説明】
【0029】
【図1】本発明の実施の形態の１つに係る情報出力装置を用いた撮影装置の概要を示す図
【図2】同撮影装置のブロック図
【図3】同情報出力装置の動作の一例を示すフローチャート
【図4】同情報出力装置の第一の用途における出力情報取得処理の一例について説明するフローチャート
【図5】同情報出力装置の第一の用途における動作例について説明する表
【図6】同情報出力装置の第一の用途における動作例について説明する図
【図7】同情報出力装置の第二の用途における出力情報取得処理の一例について説明するフローチャート
【図8】同情報出力装置の第二の用途における動作例について説明する図
【図9】同情報出力装置の第三の用途における動作例について説明する図
【図10】同情報出力装置の第四の用途における動作例について説明する図
【図11】本実施の形態の一変形例に係る撮影装置の構成を示すブロック図
【図12】上記実施の形態におけるコンピュータシステムの概観図
【図13】同コンピュータシステムのブロック図
【発明を実施するための形態】
【0030】
以下、情報出力装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
【0031】
なお、以下において用いる用語は、一般的には次のように定義される。なお、これらの用語の語義は常にここに示されるように解釈されるべきではなく、例えば以下において個別に説明されている場合にはその説明も踏まえて解釈されるべきである。
【0032】
ある事項について識別子とは、当該事項を一意に示す文字又は符号等である。識別子は、例えば、ＩＤであるが、対応する事項を識別しうる情報であれば種類は問わない。すなわち、識別子は、それが示すものそのものの名前であってもよいし、一意に対応するように符号を組み合わせたものであってもよい。
【0033】
画像とは、例えば、カメラにより撮影された静止画又は動画像であるが、これに限られない。例えば、カメラにより撮影された動画像から抽出された静止画などであってもよい。
【0034】
取得とは、ユーザ等により入力された事項を取得することを含んでいてもよいし、自装置又は他の装置に記憶されている情報（予め記憶されている情報であってもよいし当該装置において情報処理が行われることにより生成された情報であってもよい）を取得することを含んでいてもよい。他の装置に記憶されている情報を取得するとは、他の装置に記憶されている情報をＡＰＩ経由などで取得することを含んでいてもよいし、他の装置により提供されている文書ファイルの内容（ウェブページの内容なども含む）を取得することを含んでいてもよい。
【0035】
また、情報の取得には、いわゆる機械学習の手法を利用するようにしてもよい。機械学習の手法の利用については、例えば次のようにすることができる。すなわち、特定の種類の入力情報を入力とし、取得したい種類の出力情報を出力とする学習器を、機械学習の手法を用いて構成する。例えば、予め、入力情報と出力情報との組を２以上用意し、当該２組以上の情報を機械学習の学習器を構成するためのモジュールに与えて学習器を構成し、構成した学習器を格納部に蓄積する。なお、学習器は分類器ということもできる。なお、機械学習の手法としては、例えば、深層学習、ランダムフォレスト、ＳＶＭ等、問わない。また、機械学習には、例えば、ｆａｓｔＴｅｘｔ、ｔｉｎｙＳＶＭ、ｒａｎｄｏｍ ｆｏｒｅｓｔ、ＴｅｎｓｏｒＦｌｏｗ等の各種の機械学習フレームワークにおける関数や、種々の既存のライブラリを用いることができる。
【0036】
また、学習器は、機械学習により得られるものに限られない。学習器は、例えば、入力情報等に基づく入力ベクトルと、出力情報との対応関係を示すテーブルであってもよい。この場合、入力情報に基づく特徴ベクトルに対応する出力情報をテーブル中から取得するようにしてもよいし、テーブル中の２以上の入力ベクトルと各入力ベクトルの重み付けなどを行うパラメータとを用いて入力情報に基づく特徴ベクトルに近似するベクトルを生成し、生成に用いた各入力ベクトルに対応する出力情報とパラメータとを用いて、最終的な出力情報を取得するようにしてもよい。また、学習器は、例えば、入力情報等に基づく入力ベクトルと、出力情報を生成するための情報との関係を表す関数などであってもよい。この場合、例えば、入力情報に基づく特徴ベクトルに対応する情報を関数により求めて、求めた情報を用いて出力情報を取得するなどしてもよい。
【0037】
情報を出力するとは、ディスプレイへの表示、プロジェクタを用いた投影、プリンタでの印字、音出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。具体的には、例えば、情報のウェブページへの表示を可能とすることや、電子メール等として送信することや、印刷するための情報を出力することなどを含む。
【0038】
情報の受け付けとは、キーボードやマウス、タッチパネルなどの入力デバイスから入力された情報の受け付け、他の装置等から有線もしくは無線の通信回線を介して送信された情報の受信、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けなどを含む概念である。
【0039】
（実施の形態）
【0040】
本実施の形態において、多波長分光カメラにより撮影された画像を用いて出力情報を出力する機能を有する情報出力装置１０について説明する。
【0041】
図１は、本発明の実施の形態の１つに係る情報出力装置１０を用いた撮影装置１００の概要を示す図である。
【0042】
本実施の形態において、撮影装置１００は、情報出力装置１０と、多波長分光カメラ９０とを備えている。撮影装置１００は、例えば、端末装置６００を用いて利用可能に構成されている。撮影装置１００において、多波長分光カメラ９０の数は１つでもよいし、２以上であってもよい。
【0043】
情報出力装置１０と、端末装置６００とは、例えばローカルエリアネットワークやインターネットなどのネットワークを介して互いに通信可能である。
【0044】
撮影装置１００のユーザは、端末装置６００を利用して、撮影装置１００に対して情報を送信したり、撮影装置１００から送信された情報を受信したりすることにより、撮影装置１００を利用することができる。端末装置６００として用いられる電子計算機としては、例えば、ラップトップコンピュータなどのパーソナルコンピュータ（ＰＣ）であるが、これに限られない。例えば、スマートフォン等の携帯情報端末装置である端末装置６００が用いられていてもよいし、タブレット型の情報端末装置など、これら以外の装置が用いられていてもよい。以下の例においては、端末装置６００として、パーソナルコンピュータが用いられることを想定して説明するが、これに限られるものではない。
【0045】
なお、撮影装置１００の構成はこれに限られるものではない。撮影装置１００に含まれるそれぞれの装置の数は問わないし、他の装置が撮影装置１００に含まれていてもよい。
【0046】
多波長分光カメラ９０は、情報出力装置１０に情報を伝送可能に、情報出力装置１０に接続されている。接続方法は問わず、無線又は有線の接続経路により接続されていればよい。多波長分光カメラ９０は、例えばローカルエリアネットワークやインターネットなどのネットワークを介して情報出力装置１０に接続されていてもよい。
【0047】
本実施の形態において、多波長分光カメラ９０は、同一光軸で複数の各波長帯の電磁波（光線を含む）を画像として記録可能なカメラである。複数の各波長帯の電磁波としては、例えば、紫外線、可視光、赤外線などが挙げられる。ここで赤外線とは、例えば、近赤外線、中赤外線、遠赤外線の各波長帯に分類して把握されるものであってもよい。なお、電磁波としては、例えば、エックス線やマイクロ波など、上述に含まれない周波数帯のものであってもよい。
【0048】
多波長分光カメラ９０は、例えば、紫外線、可視光、近赤外線、中赤外線、遠赤外線の各波長帯の光信号又は電磁波信号を、同一光軸で取得する光学系を有している。多波長分光カメラ９０は、これらの各波長帯の光信号又は電磁波信号を同一光軸で取得する光学系を有している光信号取得部を有するといってもよい。
【0049】
本実施の形態において、多波長分光カメラ９０は、例えば、紫外線から遠赤外線までの全波長のうち、３種類以上の波長帯のそれぞれの電磁波を、同一光軸光学系を通して画像として記録可能に構成されている。換言すると、多波長分光カメラ９０は、光信号取得部からの信号を３種類以上の多波長カメラにて撮像するように構成されている。多波長分光カメラ９０は、例えば、公知の同一光軸光学系を用いて構成されうる。同一光軸光学系としては、例えば、上述の特許文献４に示されるような同一光軸レンズ光学系のものが挙げられる。また、例えば、上述の特許文献５に示されるような反射光学系のものが挙げられる。多波長分光カメラ９０は、このような同一光軸光学系を用いて、３以上の各波長帯の電磁波をそれぞれ記録した画像を取得可能である。本実施の形態において、このようにして得られる画像は、同一光軸光学系により、同じ画角で、同一の被写体を撮影した画像となる。得られた画像は、情報出力装置１０に送信され、後述のように情報出力装置１０により取得される。
【0050】
例えば、多波長分光カメラ９０は、入射する電磁波を各波長帯に分離する部品とイメージセンサ等で構成され、各波長帯の電磁波についてカメラ信号処理を行うことができるように構成されている。例えば遠赤外線については専用のセンサを用いて画像を記録する。また、他の波長帯については、例えば、紫外線から中赤外線を分離するプリズムを用いて対象となる波長帯の電磁波を、それぞれのセンサに入射させて画像を記録するように構成されている。
【0051】
図２は、同撮影装置１００のブロック図である。
【0052】
図２に示されるように、情報出力装置１０は、格納部１、受付部２、処理部３、及び出力部４を備える。処理部３は、画像取得部３１、選択部３４、出力情報取得部３５、及び通知部３６を備える。出力情報取得部３５は、画像合成部３５１及び認識部３５２を備える。情報出力装置１０は、例えばサーバ装置であるが、これに限られない。
【0053】
格納部１には、例えば処理部３で用いられる情報など、各種の情報が格納される。格納部１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。これらには、取得された情報などが格納されるが、情報等が記憶される過程は限られない。例えば、記録媒体を介して情報等が記憶されるようになってもよく、通信回線等を介して送信された情報等が記憶されるようになってもよく、あるいは、入力デバイスを介して入力された情報等が記憶されるようになってもよい。
【0054】
本実施の形態においては、格納部１には、例えば、画像取得部３１により取得された元画像や候補画像等が格納される。また、格納部１には、出力情報取得部３５により取得された出力情報などが格納される。なお、処理部３における処理において学習器が用いられる場合には、格納部１に、学習器が格納されていてもよい。
【0055】
元画像とは、多波長分光カメラ９０により撮影されて取得される画像である。元画像は、他の画像を用いた処理、例えば合成や背景差分などの処理が行われていない画像である。元画像は、例えば、光信号を分光して得られる分光画像であると言ってもよい。元画像は、例えば、一の分光画像に対して、所定の１以上の画像処理を施した画像である。元画像は、候補画像になりうる画像である。
【0056】
合成画像とは、２以上の画像を合成した画像である。なお、合成方法は問わない。合成画像とは、２以上の画像から取得される画像である。背景差分画像とは、２以上の画像の背景差分を示す画像である。このような背景差分画像について、合成画像に含まれると解釈するようにしてもよいし、合成画像とは異なる画像であると解釈するようにしてもよい。
【0057】
なお、元画像や、後述する他の画像など、情報出力装置１０において扱われる画像に関する事項を識別する画像識別子が用いられていてもよい。画像識別子は、例えば、個々の画像を識別する識別子であってもよいし、画像の種類を識別する識別子であってもよい。例えば、「可視光画像」、「遠赤外線画像」、「近赤外線画像」など、記録対象とする波長帯を識別可能な識別子であってもよい。また、例えば、「合成画像」、「遠赤外線背景差分画像」など、画像の由来や取得に関する情報を識別する識別子であってもよい。例えば特許文献６に記載されている元画像識別情報のように、種々の情報を識別可能な情報であってもよい。
【0058】
受付部２は、各種の指示や情報等を受け付ける。各種の指示や情報等とは、例えば、設定情報である。設定情報は、選択部３４が取得する画像を特定するための情報である。
【0059】
ここで、受け付けとは、通常、タッチパネルやキーボードやマウスなどの入力デバイスから入力された情報の受け付けである。ただし、受け付けは、有線もしくは無線の通信回線を介して送信された情報の受信、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けなどを含む概念であってもよい。
【0060】
ユーザの指示の入力手段は、タッチパネルやキーボードやマウスやメニュー画面によるもの等、何でもよい。
【0061】
処理部３は、各種の処理を行う。各種の処理は、画像取得部３１、選択部３４、出力情報取得部３５、及び通知部３６が行う処理である。
【0062】
画像取得部３１は、多波長分光カメラ９０により撮影された、記録対象とする電磁波の波長帯が互いに異なる３以上の元画像について、元画像又は元画像に基づく画像を候補画像として取得する。画像取得部３１は、取得した候補画像を、格納部１等に蓄積する。なお、候補画像として取得するとは、例えば、画像のデータを、候補画像として識別可能な態様で取得することをいう。例えば、候補画像であることを示すフラグを画像に対応付けて記録することや、所定の態様で格納部１に蓄積することなどが該当しうるが、これに限られない。
【0063】
本実施の形態において、３以上の元画像のうち少なくとも１つは、記録対象の電磁波が可視光である。また、３以上の元画像のうち少なくとも２つは、記録対象の電磁波が赤外線であって、より具体的には、その一方は遠赤外線、他方は近赤外線である。なお、一方は遠赤外線、他方は中赤外線であってもよい。すなわち、３以上の元画像のうち少なくとも１つが遠赤外線を記録対象とするものであればよい。換言すると、本実施の形態において、記録対象とする電磁波の波長帯が互いに異なる３以上の元画像としては、例えば、可視光を記録対象とする元画像（可視光画像）、近赤外線又は中赤外線を記録対象とする元画像（近赤外線画像又は中赤外線画像）、及び遠赤外線を記録対象とする元画像（遠赤外線画像）が挙げられる。なお、これらの元画像に代えて、又はこれらの元画像に加えて、他の波長帯を記録対象とする元画像が利用されてもよい。例えば、３以上の元画像のうち少なくとも１つは、記録対象の電磁波が可視光であって、３以上の元画像のうち少なくとも２つは、記録対象の電磁波が近赤外線と中赤外線とであってもよい。
【0064】
また、本実施の形態において、元画像に基づく画像としては、例えば、元画像について得られる背景差分画像が挙げられる。すなわち、画像取得部３１は、元画像について、記録対象の電磁波が共通する他の元画像であって撮影時間が異なる他の元画像を用いた背景差分法による背景差分画像を取得可能に構成されていてもよい。なお、元画像に基づく画像は、元画像についてその他の画像処理や合成処理を行って得られる画像であってもよい。
【0065】
画像取得部３１は、本実施の形態において、可視光、近赤外線、及び遠赤外線のそれぞれを記録した３つの元画像を候補画像として取得するように構成されている。一の用途に向けて好ましくは、画像取得部３１は、所定の範囲に近赤外線を照射した状態で可視光、近赤外線、及び遠赤外線のそれぞれを記録した３つの元画像を少なくとも候補画像として取得するように構成されている。このような元画像は、例えば、多波長分光カメラ９０と共に近赤外線照明を用いることによって、多波長分光カメラ９０によって撮影されうる。
【0066】
画像取得部３１は、少なくとも１つの赤外線を記録した元画像について、背景差分法による背景差分画像を候補画像として取得するように構成されている。一の用途に向けて好ましくは、画像取得部３１は、少なくとも遠赤外線を記録した元画像に基づく背景差分画像を候補画像として取得するように構成されている。本実施の形態においては、画像取得部３１は、３以上の元画像のそれぞれについての背景差分画像を候補画像として取得するように構成されている。なお、背景差分画像は、処理部３の他の部位（例えば、後述の出力情報取得部３５など）など、情報出力装置１０によって適宜生成されてもよいし、多波長分光カメラ９０により生成されてもよい。すなわち、背景差分画像は、情報処理装置１０において元画像に基づいて取得されてもよいし、多波長分光カメラ９０において生成されたものが情報処理装置１０において取得されてもよい。
【0067】
選択部３４は、所定の選択条件に基づいて、３以上の候補画像のうち、２以上の使用画像を選択する。使用画像を選択するとは、例えば、情報出力装置１０において、候補画像について、使用画像として選択されたことを識別可能な状態とすることを意味してもよい。例えば、使用画像であることを示すフラグを候補画像に対応付けて記録することや、使用画像として選択した候補画像を所定の態様で格納部１に蓄積することなどが該当しうるが、これに限られない。
【0068】
選択条件としては、種々のものが用いられる。選択条件は、例えば、候補画像に対応する元画像が記録対象とする波長帯に関するもの（例えば、可視光であること、遠赤外線であることなど）や、候補画像が元画像であるか背景差分画像であるかなどの画像のタイプに関するものや、元画像の撮影時の状態や環境に関するもの（例えば、時間帯、日時、照明の有無などに関するもの）や、候補画像の画質に関するものなど、適宜設定可能である。
【0069】
また、選択条件は特定の１つに限られない。例えば、複数の選択条件が予め設定されており、ユーザ等によりなされた用途に関する指示入力が受付部２により受け付けられた場合に、その指示入力に応じた選択条件により、選択部３４が使用画像を選択するように構成されていてもよい。このことに関し、受付部２により所定の指示入力が受け付けられたことが選択条件に含まれると解釈してもよい。なお、指示入力等を受け付けず、情報処理装置１０が所定の用途にのみ用いられるべく常に機能するように構成されていてもよい。
【0070】
本実施の形態においては、次に示すように、複数の用途のそれぞれに向けて、複数種類の選択条件が設定されている。すなわち、選択条件には、複数の用途のそれぞれに対応する個別の選択条件が複数含まれている。
【0071】
例えば、所定の用途に向けて、候補画像の階調に関する選択条件が設定されている。すなわち、選択部３４は、候補画像の階調に関する選択条件に基づいて、２以上の使用画像を選択する。より具体的には、選択条件は、階調に関する条件と、背景差分画像であることを限定する条件とを含んでいてもよい。例えば、背景差分画像である複数の候補画像のうち、階調差が最大の画像と二番目に大きい画像であることが、選択条件として設定される。なお、背景差分画像である複数の候補画像のうち、階調差が最小の画像であることが、選択条件として設定されてもよい。
【0072】
また、本実施の形態においては、例えば所定の用途に向けて、所定の波長帯と所定のタイプとの組み合わせに関する選択条件が設定されている。例えば、可視光を記録した元画像である候補画像であること又は赤外線を記録した元画像に基づく背景差分画像である候補画像であること、が選択条件として設定されている。より具体的には、例えば、一の用途に向けて、可視光を記録した元画像である候補画像であること又は遠赤外線を記録した元画像に基づく背景差分画像である候補画像であること、が選択条件として設定されている。また、他の一の用途に向けて、可視光を記録した元画像である候補画像であること、近赤外線を記録した元画像に基づく背景差分画像である候補画像であること、及び遠赤外線を記録した元画像に基づく背景差分画像である候補画像であることのいずれかが満たされること、が選択条件として設定されている。
【0073】
出力情報取得部３５は、選択された２以上の使用画像を用いて、出力情報を取得する。出力情報とは、例えば、使用画像を用いて取得された画像であってもよいし、使用画像を用いて取得されたその他の情報であってもよい。その他の情報とは、それ自体で意味をなす文字列やフラグ等の情報であってもよいし、ハッシュ値などの文字列であってもよいし、これらが組み合わせられた情報であってもよい。本実施の形態において、出力情報取得部３５は、ユーザによりなされた用途に関する指示入力や、所定の用途に応じた出力情報を取得するように構成されている。
【0074】
本実施の形態においては、例えば、出力情報取得部３５は、それぞれ、対応する用途のために用いられる画像合成部３５１と、認識部３５２とを有している。すなわち、出力情報取得部３５は、例えば、画像を合成する画像合成機能と、画像に基づく認識処理を行う認識機能とを実行可能に構成されている。なお、出力情報取得部３５は、背景差分法による背景差分画像を得る背景差分機能や、画像を格納部１に蓄積する画像蓄積機能を備えていてもよい。なお、出力情報取得部３５は、これらの機能のいずれかを有していなくてもよい。
【0075】
画像合成部３５１は、選択部３４において選択された使用画像を合成する。画像合成部３５１は、使用画像に基づいて合成画像を取得するといってもよい。ある用途においては、出力情報取得部３５は、画像合成部３５１により取得した合成画像を、出力情報として取得するように構成されている。
【0076】
認識部３５２は、画像を用いて、認識処理を行って、認識結果を取得する。認識部３５２は、例えば、選択部３４において選択された使用画像を用いて、認識処理を行う。また、認識部３５２は、合成画像を用いて、認識処理を行う。認識結果は、例えば、画像であってもよいし、画像について検出した箇所やその内容を示すセグメンテーション情報やラベル情報や、画像の内容を示す文字列等の情報などであってもよい。認識部３５２は、パターンマッチング、特徴抽出、機械学習等の種々の公知の方法により、画像認識を行うように構成されている。認識部３５２は、例えば、上述の特許文献６に記載されている画像認識装置の認識処理を行うように構成されていてもよい。
【0077】
通知部３６は、認識部３５２の認識結果が所定の通知条件を満たす場合に、ユーザに対する通知を行う。例えば、通知部３６は、対応する用途において、認識部３５２の認識結果に基づいて、ユーザに通知を行う。通知条件は、例えば、所定の物が検出されたことを示す認識結果が取得されたことであったり、所定の状態であることを示す認識結果が取得されたことであったりするが、これらに限られない。また、ユーザに対する通知は、例えば、ユーザが使用する端末装置６００への情報の送信、ユーザに対応付けて記録されている連絡先への情報の送信（例えば、電子メールの送信、ウェブサービスのアカウントへのメッセージ等の送信など）、ユーザが確認可能な装置を動作させることなどであるが、これらに限られない。
【0078】
なお、通知部３６は、出力情報を出力部４により出力することにより、通知を行ってもよい。換言すると、通知部３６は、所定の通知条件を満たす場合に所定の出力態様で出力情報が出力されるようにし、そうでない場合は所定の出力態様とは異なる態様で出力情報が出力されるようにしてもよい。
【0079】
出力部４は、出力情報を出力する。出力部４は、ディスプレイやスピーカー等の出力デバイスを含むと考えてもよいし含まないと考えてもよい。出力部４は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現されうる。また、出力部４は、端末装置６００等への出力情報を送信することにより、出力情報を出力してもよい。
【0080】
次に、情報出力装置１０の基本的な動作例についてフローチャートを用いて説明する。以下の処理は、処理部３による制御に基づいて実行される。
【0081】
図３は、同情報出力装置１０の動作の一例を示すフローチャートである。
【0082】
（ステップＳ１）受付部２は、ユーザにより入力された用途に関する指示情報を受け付ける。換言すると、処理部３は、受付部２により受け付けられた、用途に関する指示情報を取得する。なお、処理部３は、それ以前に受付部２により受け付けられて格納部１に記憶されている指示情報を取得してもよい。
【0083】
（ステップＳ２）処理部３は、元画像を候補画像として取得する。
【0084】
（ステップＳ３）処理部３は、元画像の背景差分画像を候補画像として取得する。
【0085】
（ステップＳ４）処理部３は、選択条件に基づいて、３以上の候補画像のうち、２以上の使用画像を選択する。処理部３は、例えば、用途に関する指示情報に対応する選択条件に基づいて、使用画像の選択を行う。
【0086】
（ステップＳ５）処理部３は、出力情報を取得する。処理部３は、例えば、用途に関する指示情報に応じた取得方法により、出力情報を取得する。
【0087】
なお、常に一の選択条件に基づいて、使用画像の選択や出力情報の取得が行われてもよい。この場合、ステップＳ１の処理は行われなくてもよい。
【0088】
（ステップＳ６）処理部３は、出力情報を出力する。
【0089】
次に、情報出力装置１０の用途の例について説明する。
【0090】
第一の用途は、例えば、多波長分光カメラ９０による撮影範囲内における動体検出である。多波長分光カメラ９０を用いた撮影装置１００においては、同一光軸で撮影された、視差のない多波長（複数の波長帯）の画像を用いることができるので、高い精度で動体検出を行うことができる。
【0091】
第一の用途では、候補画像として、少なくとも、可視光、近赤外線、及び遠赤外線の３種類の背景差分画像が用いられる。また、選択条件として、候補画像の階調に関する条件が用いられる。例えば、選択条件は、候補画像の中で、階調の最大値と最小値との差が最小であることである。
【0092】
図４は、同情報出力装置１０の第一の用途における出力情報取得処理の一例について説明するフローチャートである。
【0093】
第一の用途では、例えば、使用画像として選択された画像について、認識部３５２により認識処理が行われた結果を、出力情報とするように構成されている。すなわち、例えば、図４に示されるように、出力情報取得部３５は、使用画像を取得し（Ｓ１１）、認識部３５２による認識処理を行う（Ｓ１２）。そして、通知部３６は、認識結果が通知条件を満たす場合にはそれに応じた通知内容を取得し（Ｓ１３）、出力情報取得部３５が認識結果を出力情報として取得する（Ｓ１４）。なお、通知内容が取得された場合には、出力情報取得部３５によって通知内容も出力情報として取得されればよいが、これに限られない。ここで、通知条件としては、例えば、何らかの動体が検出されたことや、所定のラベル（人、動物など）が付される部分が検出されたこと場合などが挙げられる。
【0094】
【0095】
図５においては、代表的な室内で撮影された画像と屋外で撮影された画像について作成された背景差分画像についての、８ｂｉｔ階調の最大値と最小値の差（階調差ということがある）を示す表である。階調差が最大の画像は検出感度が高いがノイズを含んでいる可能性が高いといえる。他方、階調差が最小の画像は検出感度が低くいため、小物体が検出されにくくなる可能性が高くなる。本実施の形態においては、階調差が小さい背景差分画像を用いて動体検出が行われるため、比較的重要度が高いといえる大きな被写体の検知を、ノイズの影響を防止して確実に検知することができる。
【0096】
図６においては、日中屋外撮像の例であって、２つのシーンそれぞれについて可視光、近赤外線、及び遠赤外線の３種類の背景差分画像が示されている。シーンＡは、画角内に人物が含まれ、かつ、落葉が降っている状態である。シーンＢは、画角外にいる人物の影が画角内にあり、かつ、落葉が降っている状態である。
【0097】
図６を見ると、熱画像である遠赤外線の背景差分画像においては、落葉の影響が小さく、また、人物の影の影響がほぼないことがわかる。ノイズ等が発生していない場合は、このような遠赤外線の背景差分画像が比較的階調の最大値と最小値との差が小さくなる。したがって、上述のように、落ち葉等や影の影響を小さくしつつ、人物の存在を高精度に検知することができる。
【0098】
すなわち、第一の用途においては、３種類の波長帯の背景差分画像のうち状況に応じて適切な画像を用いて認識処理を行うことができる。動体の認識精度を向上させることができ、動体検出の誤報を軽減することが可能となる。
【0099】
なお、第一の用途において、具体的な目的に応じて、選択条件や認識方法を変更してもよい。例えば、先ずは階調差が最大の背景差分画像や二番目に大きい背景差分画像に注目して動体検出について第一の判断を行って、次に、階調差が最小の背景差分画像で第一の判断を修正する（第二の判断を行う）ようにしてもよい。具体的には、例えば第一の判断で動体検出された領域について、第二の判断でも動体が検出される場合に、動体を検出したという結果等が得られるようにしてもよい。確実な動体検出が可能となる。また、通常よりも高感度な動体検出を行う場合は、階調差が最大の背景差分画像や二番目に大きい背景差分画像を使用画像として選択して、認識処理が行われるようにしてもよい。
【0100】
第二の用途は、例えば、多波長分光カメラ９０による撮影範囲内について熱痕跡を容易に把握可能にすることである。
【0101】
第二の用途では、候補画像として、少なくとも、可視光及び近赤外線の元画像と、遠赤外線の背景差分画像とが用いられる。また、選択条件として、撮影された領域が明るい場合には可視光の元画像であるか遠赤外線の背景差分画像であること、明るくない場合には近赤外線の元画像であるか遠赤外線の背景差分画像であること、が用いられる。なお、常に可視光の元画像と近赤外線の元画像とのいずれかを用いたり、両方を用いたりするように構成されていてもよい。なお、例えば、撮影された領域が明るいか否かは、可視光の元画像の階調差が所定の閾値以上であるか否かなどに基づいて判定されてもよいし、多波長分光カメラ９０等と共に用いられる照度計の計測結果などに基づいて判定されてもよい。
【0102】
図７は、同情報出力装置１０の第二の用途における出力情報取得処理の一例について説明するフローチャートである。
【0103】
第二の用途では、例えば、使用画像として選択された画像について、画像合成部３５１により合成した合成画像を、出力情報とするように構成されている。すなわち、例えば、図７に示されるように、出力情報取得部３５は、使用画像を取得し（Ｓ２１）、画像合成部３５１によって使用画像を合成する（Ｓ２２）。そして、出力情報取得部３５は、合成画像を出力情報として取得する（Ｓ２３）。
【0104】
なお、第二の用途において、遠赤外線の背景差分画像である使用画像や合成画像に基づいて、認識部３５２による熱痕跡の認識処理が行われるようにしてもよい。その場合、熱痕跡が検出された場合（通知条件の一例）などに、所定の態様の通知がユーザに対して行われるようにしてもよい。例えば、熱痕跡の箇所を示す枠等が合成画像に合成された画像が出力情報とされたり、熱痕跡が検出された旨が出力情報に含められたりすればよいが、これに限られない。
【0105】
図８は、同情報出力装置１０の第二の用途における動作例について説明する図である。
【0106】
図８においては、室内撮像の例であって、人物が３秒間スチール棚に触れて立ち去った後の熱痕跡が検出されることが示されている。可視光の元画像（背景画像）、近赤外線の元画像、遠赤外線の背景差分画像、及び合成画像の例が示されている。背景差分画像においては、人物が３秒間スチール棚に触れたことで温度が変化した部分が、階調差として現れている。
【0107】
図８に示される例においては、天井照明が点灯しており一定の明るさがあるので、可視光の元画像と、遠赤外線の背景差分画像とが使用画像として選択され、合成されている。合成画像においては、温度が変化した部分が、可視光元画像に重ねて表示されている。このように、熱痕跡が可視光元画像又は近赤外線元画像に重ねて表示されるので、ユーザが、容易に、人物が触ったことにより温度の変化があった部分を容易に把握可能である。なお、遠赤外線の背景差分画像を長時間にわたり格納部１などに蓄積しておくようにすれば、長時間にわたって、熱痕跡があった箇所を表示することが可能である。
【0108】
なお、各素材に人物が触れた場合に熱痕跡がどのくらいの時間残るかを実験により計測した結果は、以下のとおりである。
【0109】
すなわち、銅製の釜に接触した場合は、１秒の接触で約１６秒間、３秒の接触で約２１秒間、また５秒の接触で約２１秒間だけ、熱痕跡が検出されうる。
【0110】
また、スチール棚に接触した場合は、１秒の接触で約５６秒間、３秒の接触で約６９秒間、また５秒の接触で約７９秒間だけ、熱痕跡が検出されうる。
【0111】
また、樹脂製マットに接触した場合は、１秒の接触で約１１７秒間、３秒の接触で約２１１秒間、また５秒の接触で約３１９秒間だけ、熱痕跡が検出されうる。
【0112】
第二の用途においては、このような期間における遠赤外線の背景差分画像を用いることにより、目視では確認できない熱痕跡を検出することができる。人物が触った特定箇所を背景差分画像を用いて、ユーザにより把握されやすい状態にして表示することができる。このようなことは、例えば、感染症対策の注意喚起を促すのに有効である。
【0113】
第三の用途は、例えば、多波長分光カメラ９０による撮影範囲内について発熱箇所を容易に特定可能にすることである。
【0114】
第三の用途では、候補画像として、少なくとも、可視光、近赤外線、遠赤外線の元画像が用いられる。また、選択条件として、撮影された領域が明るい場合には可視光又は遠赤外線の元画像であること、明るくない場合には近赤外線又は遠赤外線の元画像であること、が用いられる。なお、常に可視光の元画像と近赤外線の元画像とのいずれかを用いたり、両方を用いたりするように構成されていてもよい。なお、例えば、撮影された領域が明るいか否かは、可視光の元画像の階調差が所定の閾値以上であるか否かなどに基づいて判定されてもよいし、多波長分光カメラ９０等と共に用いられる照度計の計測結果などに基づいて判定されてもよい。
【0115】
第三の用途でも、上述の第二の用途と同様に、例えば、使用画像として選択された画像について、画像合成部３５１により合成した合成画像を、出力情報とするように構成されている。なお、第三の用途でも、上述の第二の用途と同様に、使用画像や合成画像に基づいて、認識部３５２による発熱箇所の認識処理が行われるようにしてもよい。その場合、発熱箇所が検出された場合（通知条件の一例）などに、所定の態様の通知がユーザに対して行われるようにしてもよい。例えば、発熱箇所を示す枠等が合成画像に合成された画像が出力情報とされたり、発熱箇所が検出された旨が出力情報に含められたりすればよいが、これに限られない。
【0116】
図９は、同情報出力装置１０の第三の用途における動作例について説明する図である。
【0117】
図９においては、室内配電盤を撮影対象とした場合において、遠赤外線の元画像により、配電盤の発熱箇所が検知される例が示されている。図９に示される例においては、室内における撮影であって、可視光元画像と近赤外線元画像との階調差が略同等である。ここでは、可視光元画像と、遠赤外線元画像とが合成される例が示されている。例えば夜間等の暗い場面であれば、近赤外線元画像と遠赤外線元画像とを合成するようにすればよい。図９に示されるように、合成画像においては、発熱箇所が可視光元画像に重ねて表示されている。
【0118】
このように、第三の用途では、被写体の発熱箇所を容易に把握可能な合成画像を出力情報とすることができる。すなわち、発熱箇所が可視光元画像又は近赤外線元画像に重ねて示されるので、ユーザが、容易に、発熱している部分を容易に把握可能である。発熱箇所が可視光元画像もしくは近赤外線元画像に重ねて表示されるので、異常個所の特定が簡単にできて、例えば電気設備の点検業務に役立つ。なお、第三の用途として、太陽光パネルの点検を行うために用いるようにしてもよい。太陽光パネル点検を簡単に行うことができ、容易に、停電事故を防止することができる。
【0119】
第四の用途は、例えば、照明が必要な多波長分光カメラ９０による撮影範囲内において、照明が届かない遠方にいる人物等も特定可能にすることである。
【0120】
第四の用途では、候補画像として、少なくとも、可視光、近赤外線、遠赤外線の元画像が用いられる。例えば、可視光又は近赤外線の照明を用いて撮影された元画像が用いられうる。また、選択条件は、可視光、近赤外線、遠赤外線の元画像がすべて使用画像として選択されるように設定されている。例えば、選択条件として、可視光を記録した元画像である候補画像であるか、近赤外線を記録した元画像である候補画像であるか、遠赤外線を記録した元画像である候補画像であること、が設定される。
【0121】
第四の用途でも、上述の第二の用途と同様に、例えば、使用画像として選択された画像について、画像合成部３５１により合成した合成画像を、出力情報とするように構成されている。なお、第四の用途でも、上述の第二の用途と同様に、使用画像や合成画像に基づいて、認識部３５２による発熱箇所の認識処理が行われるようにしてもよい。
【0122】
図１０は、同情報出力装置１０の第四の用途における動作例について説明する図である。
【0123】
図１０においては、夜間屋外撮像の例であり、複数の人物と、犬とが画角内に含まれる。夜間であって暗い環境下であるので、可視光の画像では視認性が低い。近赤外線の照明を用いて撮影された近赤外線の元画像では、手前の照明が届く範囲に限り、被写体を捉えることができている。他方、遠赤外線の元画像では、照明が届かない遠方の人物をも捉えている。第四の用途では、この３種類の元画像が合成されて合成画像が出力情報とされる。出力情報においては、照明が届かない場所の人物をもユーザが確認可能な状態で含めることができる。
【0124】
このように、第四の用途では、暗い環境下において、照明が不足する場所にいる人物等をも含めて検知可能な合成画像を出力情報とすることができる。例えば、より具体的な用途として監視用途に用いることにより、暗い環境下においてもより広い範囲で状況を確認可能な出力情報を得ることができる。
【0125】
以上説明したように、本実施の形態によれば、複数の波長帯のそれぞれについて同一光軸で撮影した画像やそれに基づく画像のうち、用途等に応じて適切な３種類以上の画像を用いることにより、利便性の高い情報を得ることができる。
【0126】
なお、本実施の形態における処理は、ソフトウェアで実現してもよい。そして、このソフトウェアをソフトウェアダウンロード等により配布してもよい。また、このソフトウェアをＣＤ－ＲＯＭなどの記録媒体に記録して流布してもよい。なお、本実施の形態における、情報出力装置１０を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、情報出力装置１０のコンピュータで実行されるプログラムであって、情報出力装置１０のコンピュータを、同一光軸で複数の各波長帯の電磁波を画像として記録可能な多波長分光カメラにより撮影された、記録対象とする電磁波の波長帯が互いに異なる３以上の元画像について、当該元画像又は当該元画像に基づく画像を候補画像として取得する画像取得部と、所定の選択条件に基づいて、３以上の候補画像のうち、２以上の使用画像を選択する選択部と、選択された２以上の使用画像を用いて出力情報を取得する出力情報取得部と、出力情報を出力する出力部と、として機能させるためのプログラムである。ここで、３以上の元画像のうち少なくとも１つは、記録対象の電磁波が可視光であり、３以上の元画像のうち少なくとも２つは、記録対象の電磁波が赤外線であることが好ましい。
【0127】
なお、上述の実施の形態においては、撮影装置１００は、多波長分光カメラ９０と接続されている情報出力装置１０に端末装置６００を用いて接続することにより利用可能なものであったが、撮影装置１００の構成はこれに限られない。例えば、多波長分光カメラ９０が情報出力装置１０に内蔵されている撮影装置１００Ｂを構成してもよい。
【0128】
図１１は、本実施の形態の一変形例に係る撮影装置１００Ｂの構成を示すブロック図である。
【0129】
図１１に示されるように、撮影装置１００Ｂは、情報出力装置１０において、内部に多波長分光カメラ９０を有しているものである。換言すると、多波長分光カメラ９０として機能する光学系と、光信号取得部とを備える情報出力装置１０が、撮影装置１００Ｂとして用いられるように構成されている。この構造を、多波長分光カメラの内部に、格納部１、受付部２、処理部３、及び出力部４が設けられており、多波長分光カメラが情報出力装置１０として機能するように構成されていると捉えてもよい。ユーザは、例えば、撮影装置１００Ｂを用いることにより、出力情報の出力結果を利用することができる。
【0130】
（その他）
【0131】
【0132】
これらの図においては、本明細書で述べたプログラムを実行して、上述した実施の形態の情報出力装置等を実現するコンピュータの構成が示されている。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現されうる。
【0133】
コンピュータシステム８００は、ＣＤ－ＲＯＭドライブを含むコンピュータ８０１と、キーボード８０２と、マウス８０３と、モニタ８０４とを含む。
【0134】
コンピュータ８０１は、ＣＤ－ＲＯＭドライブ８０１２に加えて、ＭＰＵ８０１３と、ＣＤ－ＲＯＭドライブ８０１２等に接続されたバス８０１４と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ８０１５と、ＭＰＵ８０１３に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのＲＡＭ８０１６と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク８０１７とを含む。ここでは、図示しないが、コンピュータ８０１は、さらに、ＬＡＮへの接続を提供するネットワークカードを含んでもよい。
【0135】
コンピュータシステム８００に、上述した実施の形態の情報処理装置等の機能を実行させるプログラムは、ＣＤ－ＲＯＭ８１０１に記憶されて、ＣＤ－ＲＯＭドライブ８０１２に挿入され、さらにハードディスク８０１７に転送されてもよい。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ８０１に送信され、ハードディスク８０１７に記憶されてもよい。プログラムは実行の際にＲＡＭ８０１６にロードされる。プログラムは、ＣＤ－ＲＯＭ８１０１又はネットワークから直接、ロードされてもよい。
【0136】
プログラムは、コンピュータ８０１に、上述した実施の形態の情報処理装置等の機能を実行させるオペレーティングシステム（ＯＳ）、又はサードパーティープログラム等を、必ずしも含まなくてもよい。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいればよい。コンピュータシステム８００がどのように動作するかは周知であり、詳細な説明は省略する。
【0137】
なお、上記プログラムにおいて、情報を送信する送信ステップや、情報を受信する受信ステップなどでは、ハードウェアによって行われる処理、例えば、送信ステップにおけるモデムやインターフェースカードなどで行われる処理（ハードウェアでしか行われない処理）は含まれない。
【0138】
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
【0139】
また、上記実施の形態において、一の装置に存在する２以上の構成要素は、物理的に一の媒体で実現されてもよい。
【0140】
また、上記実施の形態において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい（この場合、分散処理を行う複数の装置により構成されるシステム全体を１つの「装置」として把握することが可能である）。
【0141】
また、上記実施の形態において、各構成要素間で行われる情報の受け渡しは、例えば、その情報の受け渡しを行う２個の構成要素が物理的に異なるものである場合には、一方の構成要素による情報の出力と、他方の構成要素による情報の受け付けとによって行われてもよく、又は、その情報の受け渡しを行う２個の構成要素が物理的に同じものである場合には、一方の構成要素に対応する処理のフェーズから、他方の構成要素に対応する処理のフェーズに移ることによって行われてもよい。
【0142】
また、上記実施の形態において、各構成要素が実行する処理に関係する情報、例えば、各構成要素が受け付けたり、取得したり、選択したり、生成したり、送信したり、受信したりした情報や、各構成要素が処理で用いる閾値や数式、アドレス等の情報等は、上記説明で明記していなくても、図示しない記録媒体において、一時的に、又は長期にわたって保持されていてもよい。また、その図示しない記録媒体への情報の蓄積を、各構成要素、又は、図示しない蓄積部が行ってもよい。また 、その図示しない記録媒体からの情報の読み出しを、各構成要素、又は、図示しない読み出し部が行ってもよい。
【0143】
また、上記実施の形態において、各構成要素等で用いられる情報、例えば、各構成要素が処理で用いる閾値やアドレス、各種の設定値等の情報がユーザによって変更されてもよい場合には、上記説明で明記していなくても、ユーザが適宜、それらの情報を変更できるようにしてもよく、又は、そうでなくてもよい。それらの情報をユーザが変更可能な場合には、その変更は、例えば、ユーザからの変更指示を受け付ける図示しない受付部と、その変更指示に応じて情報を変更する図示しない変更部とによって実現されてもよい。その図示しない受付部による変更指示の受け付けは、例えば、入力デバイスからの受け付けでもよく、通信回線を介して送信された情報の受信でもよく、所定の記録媒体から読み出された情報の受け付けでもよい。
【0144】
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものである。
【0145】
上述の実施の形態のうち、一部の構成要素や機能が省略されていてもよい。
【産業上の利用可能性】
【0146】
以上のように、本発明にかかる情報出力装置等は、多波長分光カメラを用いてより利便性の高い情報を得ることができるという効果を有し、情報出力装置等として有用である。
【符号の説明】
【0147】
１ 格納部
２ 受付部
３ 処理部
４ 出力部
１０ 情報出力装置
３１ 画像取得部
３４ 選択部
３５ 出力情報取得部
３６ 通知部
９０ 多波長分光カメラ
１００，１００Ｂ 撮影装置
３５１ 画像合成部
３５２ 認識部
２ 受付部
３ 処理部
４ 出力部
１０ 情報出力装置
３１ 画像取得部
３４ 選択部
３５ 出力情報取得部
３６ 通知部
９０ 多波長分光カメラ
１００，１００Ｂ 撮影装置
３５１ 画像合成部
３５２ 認識部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】