特許 7025811 撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2022-02-16

(45)【発行日】2022-02-25

(54)【発明の名称】撮像装置

(51)【国際特許分類】

   H04N 5/225 20060101AFI20220217BHJP

   G02B 1/115 20150101ALI20220217BHJP

   G02B 5/26 20060101ALI20220217BHJP

   H04N 5/232 20060101ALI20220217BHJP

【ＦＩ】

H04N5/225 400

G02B1/115

G02B5/26

H04N5/225 800

H04N5/232 290

【請求項の数】 10

(21)【出願番号】P 2021121797

(22)【出願日】2021-07-26

【審査請求日】2021-07-29

【早期審査対象出願】

(73)【特許権者】

【識別番号】507200938

【氏名又は名称】株式会社タナカ技研

(74)【代理人】

【識別番号】110002860

【氏名又は名称】特許業務法人秀和特許事務所

(72)【発明者】

【氏名】長谷川 隆義

(72)【発明者】

【氏名】石井 太

(72)【発明者】

【氏名】佐野 俊幸

【審査官】佐藤 直樹

(56)【参考文献】

【文献】特表２０１３－５３８５２６（ＪＰ，Ａ）

【文献】特開２０１４－１８５９１７（ＪＰ，Ａ）

【文献】国際公開第２０２１／１３１０５２（ＷＯ，Ａ１）

【文献】特開２０１７－０１１５０４（ＪＰ，Ａ）

【文献】特開２０１９－２１１６６４（ＪＰ，Ａ）

【文献】実開昭５３－０２４６３６（ＪＰ，Ｕ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２５

Ｇ０２Ｂ １／１１５

Ｇ０２Ｂ ５／２６

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

外部からの光を集光する集光部と、
前記集光部を介して入射する光を可視光を含む第１の光と遠赤外光とに分離する第１のビームスプリッターと、
前記第１の光を受光すると、前記第１の光のうちの近赤外光に応じた近赤外光信号と前記第１の光のうちの可視光に応じた可視光信号とを生成する生成部と、
前記第１のビームスプリッターによって分離された遠赤外光を受光すると、前記遠赤外光に応じた遠赤外光信号を生成する遠赤外光センサーと、
前記可視光信号に応じた可視光画像を生成する可視光画像処理部と、
前記近赤外光信号に応じた近赤外熱画像を生成する近赤外熱画像処理部と、
前記遠赤外光信号に応じた遠赤外熱画像を生成する遠赤外熱画像処理部と、
前記可視光画像と前記近赤外熱画像と前記遠赤外熱画像とを合成した合成画像を生成する合成処理部と、を備え、
前記合成処理部は、
前記可視光画像の輝度成分を示す第１輝度信号、前記近赤外熱画像の輝度成分を示す第２輝度信号及び遠赤外熱画像の輝度成分を示す第３輝度信号を加算して合成画像輝度信号を生成する処理と、
前記合成画像輝度信号によって輝度成分が示されるとともに前記可視光画像の色成分を示す色信号によって色成分が示される合成画像を生成する処理と、を実行し、
前記合成画像輝度信号を生成する処理は、前記第１輝度信号及び前記第２輝度信号の高周波成分を強調する処理を含み、
前記合成画像を生成する処理は、
前記合成画像輝度信号のコントラストを補正する処理と、
前記コントラストを補正した合成画像輝度信号によって示される輝度に応じて前記色信号の強度を調整する処理と、を含み、
前記合成画像は、前記色信号の強度が調整された色信号によって色成分が示される、ことを特徴とする、
撮像装置。

【請求項2】

前記生成部は、
前記第１の光を可視光と近赤外光とに分離するプリズム型の第２のビームスプリッター
と、
前記第２のビームスプリッターによって分離された前記可視光を受光すると、受光した前記可視光に応じた可視光信号を生成する可視光センサーと、
前記第２のビームスプリッターによって分離された前記近赤外光を受光すると、受光した前記近赤外光に応じた近赤外光信号を生成する近赤外光センサーと、を含む、
請求項１に記載の撮像装置。

【請求項3】

前記生成部は、
前記第１の光を受光すると、前記第１の光を示す第１信号を生成する第１センサーと、
前記第１信号が入力されると、前記第１信号を可視光を示す可視光信号と近赤外光を示す近赤外光信号とに分離する分離部と、を含む、
請求項１に記載の撮像装置。

【請求項4】

検知対象を可視光で撮影した第１画像、前記検知対象を近赤外光で撮影した第２画像及び前記検知対象を遠赤外光で撮影した第３画像を教師データとして構築された学習モデルに対して前記合成画像及び前記遠赤外熱画像を入力して前記外部に前記検知対象が存在するか否かを判定する判定部、をさらに備える、
請求項１から３のいずれか一項に記載の撮像装置。

【請求項5】

前記判定部は、検知対象ごとに構築された複数の学習モデルを含み、
前記判定部は、前記複数の学習モデルのうちユーザによって指定された検知対象に応じた学習モデルを選択する、
請求項４に記載の撮像装置。

【請求項6】

前記集光部は、複数のレンズを含む透過光学系である、
請求項１から５のいずれか一項に記載の撮像装置。

【請求項7】

前記集光部は、複数の凹面鏡を含む反射光学系である、
請求項１から５のいずれか一項に記載の撮像装置。

【請求項8】

前記第１のビームスプリッターは、
ケイ素、ゲルマニウム、セレン化亜鉛及びカルコゲナイドガラスのうちの少なくともいずれかを含み、波長８μｍから１２μｍの遠赤外光を透過させる基板と、
前記基板上に設けられ、硫化亜鉛及びセレン化亜鉛のうちの少なくともいずれかを含む高屈折率膜と、フッ化物誘電体を含む低屈折率膜とを交互に積層し、波長０．４μｍから０．７μｍまでの可視光及び波長０．７μｍから３μｍまでの近赤外光を反射させる誘電体多層膜と、を含む、
請求項１から７のいずれか一項に記載の撮像装置。

【請求項9】

前記基板は、前記遠赤外光に対する屈折率が３以上である、
請求項８に記載の撮像装置。

【請求項10】

前記誘電体多層膜は、前記遠赤外光に対する屈折率が３未満である、
請求項８または９に記載の撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置及びビームスプリッターに関する。

【背景技術】

【0002】

従来、監視システムでは、夜間や暗所においては照明を設置して監視対象の領域を明るくしたり、被写体の熱を検知する遠赤外光カメラを監視カメラとして採用したりしていた。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１１－２３２６０６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

夜間において監視カメラと照明を設置する場合、夜間環境の悪化や照明を設置するコストの増加等の課題が生じ得る。また、照明を設置しない場合、可視光で撮影する可視光カメラを用いた画像認識技術では、夜間や暗所における検知精度が極めて低く、また、昼間であっても影の影響で誤検知することがあった。遠赤外光カメラを監視に用いる場合、遠赤外光カメラは、可視光カメラ程の高精細な画像を得ることができないため監視における視認性の低下が生じ得るとともに、監視カメラを含む監視システムのシステム構成を複雑にする虞がある。

【0005】

開示の技術の１つの側面は、暗所での撮影においても視認性の高い画像を生成することを課題とする。

【課題を解決するための手段】

【0006】

開示の技術の１つの側面は、次のような撮像装置によって例示される。本撮像装置は、外部からの光を集光する集光部と、上記集光部を介して入射する光を可視光を含む第１の光と遠赤外光とに分離する第１のビームスプリッターと、上記第１の光を受光すると、上記第１の光のうちの近赤外光に応じた近赤外光信号と上記第１の光のうちの可視光に応じた可視光信号とを生成する生成部と、上記第１のビームスプリッターによって分離された遠赤外光を受光すると、上記遠赤外光に応じた遠赤外光信号を生成する遠赤外光センサーと、上記可視光信号に応じた可視光画像を生成する可視光画像処理部と、上記近赤外光信号に応じた近赤外熱画像を生成する近赤外熱画像処理部と、上記遠赤外光信号に応じた遠赤外熱画像を生成する遠赤外熱画像処理部と、を備えることを特徴とする。

【0007】

上記撮像装置によれば、外部からの光を近赤外光、可視光及び遠赤外光に分離し、近赤外光に応じた近赤外熱画像、可視光に応じた可視光画像及び遠赤外に応じた遠赤外熱画像を生成することができる。すなわち、上記撮像装置は、近赤外熱画像、遠赤外熱画像及び可視光画像を同一光軸上で生成することができる。同一光軸上で生成できることから、可視光カメラと遠赤外光カメラとを個別に設けて撮影する場合とは異なり、近赤外熱画像、遠赤外熱画像及び可視光画像の夫々における被写体の位置を同じにすることができる。そのため、近赤外熱画像、遠赤外熱画像及び可視光画像を互いに比較することが容易になる。

【0008】

また、近赤外熱画像及び遠赤外熱画像は、上記外部の熱を感知して生成される画像であるため、暗所であっても上記外部を画像としてとらえやすい。可視光画像は、上記外部の
色も含む。その一方で、近赤外熱画像及び遠赤外熱画像は、熱を感知して生成される画像であることから、上記外部が明瞭には映らない。このような傾向は、近赤外熱画像よりも遠赤外熱画像で顕著である。上記撮像装置であれば、近赤外熱画像、可視光画像及び遠赤外熱画像を生成できるため、目的や上記外部の環境に応じてこれらの画像を使い分けることもできる。例えば、明るい場所であれば可視光画像を用い、暗い場所であれば近赤外熱画像や遠赤外熱画像を用いることができる。そのため、上記撮像装置によれば、暗所での撮影においても視認性の高い画像を生成することができる。

【0009】

上記撮像装置において、生成部は、上記第１の光を可視光と近赤外光とに分離するプリズム型の第２のビームスプリッターと、上記第２のビームスプリッターによって分離された上記可視光を受光すると、受光した上記可視光に応じた可視光信号を生成する可視光センサーと、上記第２のビームスプリッターによって分離された上記近赤外光を受光すると、受光した上記近赤外光に応じた近赤外光信号を生成する近赤外光センサーと、を含んでもよい。また、生成部は、上記第１の光を受光すると、上記第１の光を示す第１信号を生成する第１センサーと、上記第１信号が入力されると、上記第１信号を可視光を示す可視光信号と近赤外光を示す近赤外光信号とに分離する分離部と、を含んでもよい。

【0010】

上記撮像装置は、次の特徴を備えてもよい。上記撮像装置は、上記可視光画像と上記近赤外熱画像とを合成した合成画像を生成する合成処理部を備えてもよい。ここで、上記合成画像は、さらに、上記遠赤外熱画像も合成されたものであってもよい。そして、合成処理部による合成画像の生成は、例えば、上記可視光画像の輝度成分を示す第１輝度信号、上記近赤外熱画像の輝度成分を示す第２輝度信号及び遠赤外熱画像の輝度成分を示す第３輝度信号を加算して合成画像輝度信号を生成する処理と、上記合成画像輝度信号によって輝度成分が示されるとともに上記可視光画像の色成分を示す色信号によって色成分が示される合成画像を生成する処理と、を含むものであってもよい。

【0011】

また、上記合成画像輝度信号を生成する処理は、上記第１輝度信号及び上記第２輝度信号の高周波成分を強調する処理を含んでもよい。上記合成画像を生成する処理は、上記合成画像輝度信号のコントラストを補正する処理と、上記コントラストを補正した合成画像輝度信号によって示される輝度に応じて上記色信号の強度を調整する処理と、を含んでもよい。そして、上記合成画像は、上記色信号の強度が調整された色信号によって色成分が示されてもよい。上記撮像装置は、このような処理を行うことで、よりコントラスト感及び解像感の高い合成画像を生成することができる。

【0012】

上記撮像装置は、検知対象を可視光で撮影した第１画像、上記検知対象を近赤外光で撮影した第２画像及び上記検知対象を遠赤外光で撮影した第３画像を教師データとして構築された学習モデルに対して上記合成画像及び上記遠赤外熱画像を入力して上記外部に上記検知対象が存在するか否かを判定する判定部、をさらに備えてもよい。可視光画像、近赤外熱画像及び遠赤外熱画像には、それぞれ上記のような特徴がある。上記合成処理部によって可視光画像と近赤外熱画像とが合成されることで、近赤外熱画像よりも明瞭で色の情報を含んだ合成画像を生成することができる。上記撮像装置は、このような合成画像と上記外部の熱分布を反映した遠赤外熱画像を上記判定部に入力することで、暗所であっても検知対象を好適に検知することができる。

【0013】

上記撮像装置において、上記判定部は、検知対象ごとに構築された複数の学習モデルを含み、上記判定部は、複数の学習モデルのうちユーザによって指定された検知対象に応じた学習モデルを選択してもよい。上記撮像装置は、このような特徴を備えることで、指定された検知対象を好適に検知することができる。

【0014】

また、上記撮像装置において、上記集光部は、上記集光部として複数のレンズを含む透
過光学系を採用する場合、撮像装置の小型化が容易である。また、上記集光部として複数の凹面鏡を含む反射光学系を採用する場合、レンズを採用する場合よりも廉価に撮像装置を製造することが可能となる。なお、反射光学系は凸面鏡を含んでもよい。

【0015】

また、上記撮像装置において、上記第１のビームスプリッターは、ケイ素、ゲルマニウム、セレン化亜鉛及びカルコゲナイドガラスのうちの少なくともいずれかを含み、波長８μｍから１２μｍの遠赤外光を透過させる基板と、上記基板上に設けられ、硫化亜鉛及びセレン化亜鉛のうちの少なくともいずれかを含む高屈折率膜と、フッ化物誘電体を含む低屈折率膜とを交互に積層し、波長０．４μｍから０．７μｍまでの可視光及び波長０．７μｍから３μｍまでの近赤外光を反射させる誘電体多層膜と、を含むものであってよい。ここで、フッ化物誘電体としては、例えば、フッ化マグネシウム、フッ化カルシウム、フッ化リチウム、フッ化バリウム、フッ化ランタン、フッ化カリウムを挙げることができる。上記撮像装置のビームスプリッターは、このような構成を採用することで、可視光及び近赤外光を透過させずに高い反射率で反射させるとともに、遠赤外光を反射させずに高い透過率で透過させるものとすることができる。

【0016】

上記撮像装置において、上記第１のビームスプリッターの基板は、上記遠赤外光に対する屈折率が３以上であることが好ましい。また、上記第１のビームスプリッターの誘電体多層膜は、上記遠赤外光に対する屈折率が３未満であることが好ましい。

【0017】

また、開示の技術は、上記ビームスプリッターとして把握することもできる。

【発明の効果】

【0018】

開示の技術によれば、暗所における視認性を高めることができる撮像装置を提供することができる。

【図面の簡単な説明】

【0019】

【図1】図１は、実施形態に係る撮像装置の構成を示す図である。

【図2】図２は、実施形態における近赤外熱画像、可視光画像及び遠赤外熱画像を模式的に示す図である。

【図3】図３は、合成処理部による合成処理の第１のバリエーションを示すフローチャートである。

【図4】図４は、合成処理部による合成処理の第２のバリエーションを示すフローチャートである。

【図5】図５は、実施形態に係る撮像装置が備えるコンピューターの一例を示す図である。

【図6】図６は、実施形態における第１ビームスプリッターの特性を例示する図である。

【図7】図７は、実施形態に係る撮像装置による検知対象を検知する処理フローの一例である。

【図8】図８は、第１変形例に係る撮像装置による検知対象を検知する処理フローの一例である。

【図9】図９は、第２変形例に係る撮像装置の構成を示す図である。

【図10】図１０は、第１適用例を模式的に例示する図である。

【図11】図１１は、第２適用例を模式的に示す図である。

【発明を実施するための形態】

【0020】

＜実施形態＞
以下、図面を参照して実施形態についてさらに説明する。図１は、実施形態に係る撮像装置１の構成を示す図である。撮像装置１は、例えば、屋外や屋内に設置される監視カメ
ラである。撮像装置１は、静止画を撮影するものであっても動画を撮影するものであってもよい。撮像装置１は、コンピューター１００と光学部２００とを備える。

【0021】

光学部２００は、被写体Ｍからの被写体光を撮像装置１内に入射させ、入射させた被写体光を電気信号に変換する。光学部２００は、レンズ１１、第１ビームスプリッター１２１、第２ビームスプリッター１２２、近赤外光センサー１３１、可視光センサー１３２及び遠赤外光センサー１３３を含む。レンズ１１、第１ビームスプリッター１２１、第２ビームスプリッター１２２、近赤外光センサー１３１、可視光センサー１３２及び遠赤外光センサー１３３は、同一光軸上に配置される。

【0022】

レンズ１１は、可視光、近赤外光及び遠赤外光を含む被写体Ｍからの被写体光を透過させるとともに、透過させた被写体光を集光する光学部材である。レンズ１１は、「レンズ」及び「集光部」の一例である。図１には２つのレンズ１１が例示されているが、レンズ１１の数は２つに限定されず、３つ以上であってもよい。複数のレンズ１１は、透過光学系ということもできる。

【0023】

第１ビームスプリッター１２１は、板状に形成されたビームスプリッター（波長分離素子）である。第１ビームスプリッター１２１は、レンズ１１の後方（撮像装置１において、レンズ１１と遠赤外光センサー１３３との間）に配置される。第１ビームスプリッター１２１は、レンズ１１を介して入射した被写体光を可視光及び近赤外光を含む第１の光と遠赤外光に分離する。被写体光が第１ビームスプリッター１２１に入射すると、第１の光は反射し、遠赤外光は透過する。第１ビームスプリッター１２１によって反射された第１の光は、第２ビームスプリッター１２２に入射する。第１ビームスプリッター１２１を透過した遠赤外光は、遠赤外光センサー１３３に入射する。第１ビームスプリッター１２１は、「第１のビームスプリッター」の一例である。

【0024】

第１ビームスプリッター１２１は、透明基板１２１２上に可視光及び近赤外光を反射する誘電体多層膜１２１１を設けることで作製される。誘電体多層膜１２１１は、例えば、高屈折率の誘電体膜と低屈折率の誘電体膜とを交互に積層した誘電体多層膜である。誘電体多層膜における誘電体の積層は、例えば、蒸着やスパッタリングによって行われる。屈折率ｎ、波長λ、誘電体膜夫々の膜厚ｄの関係は、例えば、ｎｄ＝λ／４とすることができる。そして、高屈折率の誘電体膜及び低屈折率の誘電体膜の遠赤外光（波長８μｍから１２μｍ）に対する屈折率ｎは、例えば、「ｎ＜３」である。高屈折率の誘電体膜は、「高屈折率膜」の一例である。低屈折率の誘電体膜は、「低屈折率膜」の一例である。

【0025】

高屈折率の誘電体としては、例えば、硫化亜鉛（ＺｎＳ）及びセレン化亜鉛（ＺｎＳｅ）等を挙げることができる。また、低屈折率の誘電体としては、例えば、フッ化物誘電体を挙げることができる。フッ化物誘電体としては、例えば、フッ化マグネシウム（ＭｇＦ_２）、フッ化カルシウム（ＣａＦ_２）、フッ化リチウム（ＬｉＦ）、フッ化バリウム（ＢａＦ_２）、フッ化ランタン（ＬａＦ_３）、フッ化カリウム（ＫＦ）等を挙げることができる。透明基板１２１２は、少なくとも遠赤外光を透過可能な基板である。透明基板１２１２は、例えば、ケイ素（Ｓｉ）、ゲルマニウム（Ｇｅ）、セレン化亜鉛（ＺｎＳｅ）、カルコゲナイドガラス等によって形成される。透明基板１２１２の屈折率は、遠赤外光に対して透明である。透明基板１２１２の遠赤外光に対する屈折率ｎは、例えば、「ｎ＞＝３」である。透明基板１２１２は、例えば、遠赤外光に対して透明であり、かつ、遠赤外光に対する屈折率ｎが「ｎ＞＝３」である材料を両面光学研磨して形成される。透明基板１２１２の屈折率の方が誘電体多層膜１２１１の屈折率よりも大きくなるため、透明基板１２１２による遠赤外光の反射が抑制される。第１ビームスプリッター１２１は、誘電体多層膜１２１１をレンズ１１に向けた状態で配置される。

【0026】

第２ビームスプリッター１２２は、プリズム型に形成されたビームスプリッターである。第２ビームスプリッター１２２は、第１ビームスプリッター１２１によって反射された第１の光を可視光と近赤外光とに分離する。第１の光が第２ビームスプリッター１２２に入射すると、可視光は反射し、近赤外光は透過する。第２ビームスプリッター１２２によって反射された可視光は、可視光画像処理部１４２に入射する。第２ビームスプリッター１２２を透過した近赤外光は、近赤外熱画像処理部１４１に入射する。

【0027】

第２ビームスプリッター１２２は、側面が四角形に形成され、底面が直角三角形に形成された三角プリズム２４ａ、２４ｂを含む。第２ビームスプリッター１２２の作製は、例えば、以下のように行われる。三角プリズム１２２ｂの側面のうちのひとつに、可視光反射体１２２１が設けられる。三角プリズム１２２ａの側面のひとつと、三角プリズム１２２ｂにおいて可視光反射体１２２１が設けられた側面とが張り合わされることで、第２ビームスプリッター１２２は作製される。このように作製された第２ビームスプリッター１２２は、第１ビームスプリッター１２１によって反射された光に対して可視光反射体１２２１が斜めになるように配置される。第２ビームスプリッター１２２は、「第２のビームスプリッター」の一例である。

【0028】

近赤外光センサー１３１は、例えば、入射した近赤外光に応じた電気信号を生成する撮像素子である。すなわち、近赤外光センサー１３１は、被写体Ｍの熱を検知して電気信号に変換する撮像素子ということもできる。近赤外光センサー１３１は、例えば、波長０．７μｍから３μｍの光に感度のピークを有する。近赤外光センサー１３１は、例えば、近赤外光に対する感度を有するＣＣＤイメージセンサーやＣＭＯＳイメージセンサーである。近赤外光センサー１３１は、「近赤外光センサー」の一例である。近赤外光に応じた電気信号は、「近赤外光信号」の一例である。

【0029】

可視光センサー１３２は、例えば、入射した可視光に応じた電気信号を生成する撮像素子である。可視光センサー１３２は、被写体Ｍの色を検知して電気信号に変換する撮像素子ということもできる。可視光センサー１３２は、例えば、波長０．４μｍから０．７μｍ以下の光に感度のピークを有する。可視光センサー１３２は、例えば、可視光に対する感度を有するＣＣＤイメージセンサーやＣＭＯＳイメージセンサーである。可視光センサー１３２は、「可視光センサー」の一例である。可視光に応じた電気信号は、「可視光信号」の一例である。

【0030】

遠赤外光センサー１３３は、例えば、入射した遠赤外光に応じた電気信号を生成する撮像素子である。遠赤外光センサー１３３は、被写体Ｍの熱を検知して電気信号に変換する撮像素子ということもできる。遠赤外光センサー１３３は、例えば、波長８μｍから１２μｍの光に感度のピークを有する。遠赤外光センサー１３３は、例えば、遠赤外光に対する感度を有するＣＣＤイメージセンサー、ＣＭＯＳイメージセンサー、サーモパイル、ボローメーター、焦電センサーである。遠赤外光センサー１３３は、「遠赤外光センサー」の一例である。遠赤外光に応じた電気信号は、「遠赤外光信号」の一例である。

【0031】

コンピューター１００は、近赤外光センサー１３１、可視光センサー１３２、遠赤外光センサー１３３から入力される電気信号を基に、近赤外熱画像、可視光画像、遠赤外熱画像を生成し、被写体Ｍの監視処理を行う。コンピューター１００は、近赤外熱画像処理部１４１、可視光画像処理部１４２、遠赤外熱画像処理部１４３、合成処理部１５、学習機能指示器１６及び機械学習器１７を含む。

【0032】

近赤外熱画像処理部１４１は、近赤外光センサー１３１から入力される電気信号を基に近赤外熱画像（図中では、「ＩＲ画像」と記載）を生成する処理部である。すなわち、近赤外熱画像処理部１４１が生成する近赤外熱画像は、近赤外光で撮影した画像である。近
赤外熱画像処理部１４１は、「近赤外熱画像処理部」の一例である。

【0033】

可視光画像処理部１４２は、可視光センサー１３２から入力される電気信号を基に可視光画像を生成する処理部である。すなわち、可視光画像処理部１４２が生成する可視光画像は、可視光で撮影した画像である。可視光画像処理部１４２は、「可視光画像処理部」の一例である。近赤外光センサー１３１、可視光センサー１３２、近赤外熱画像処理部１４１及び可視光画像処理部１４２は、「生成部」の一例である。

【0034】

遠赤外熱画像処理部１４３は、遠赤外光センサー１３３から入力される電気信号を基に遠赤外熱画像（図中では、「ＦＩＲ画像」と記載）を生成する処理部である。すなわち、遠赤外熱画像処理部１４３が生成する遠赤外熱画像は、被写体Ｍを遠赤外光で撮影した画像である。遠赤外光は、主に物体の熱によって放射されることから、遠赤外熱画像は、撮像装置１の撮影範囲の熱分布を示す画像ということができる。遠赤外熱画像処理部１４３は、「遠赤外熱画像処理部」の一例である。

【0035】

図２は、実施形態における近赤外熱画像、可視光画像及び遠赤外熱画像を模式的に示す図である。図２（Ａ）は、近赤外熱画像処理部１４１によって生成される近赤外熱画像を例示する。図２（Ｂ）は、可視光画像処理部１４２によって生成される可視光画像を例示する。図２（Ｃ）は、遠赤外熱画像処理部１４３によって生成される遠赤外熱画像を例示する。

【0036】

近赤外熱画像処理部１４１によって生成される近赤外熱画像、可視光画像処理部１４２によって生成される可視光画像及び遠赤外熱画像処理部１４３によって生成される遠赤外熱画像には、夫々特徴がある。近赤外光や遠赤外光を基に生成される近赤外熱画像及び遠赤外熱画像は、被写体Ｍの熱を感知して生成される画像であるため、暗所であっても被写体Ｍを画像としてとらえやすい。また、可視光を基に生成される可視光画像は、被写体Ｍの色も含む。その一方で、近赤外熱画像及び遠赤外熱画像は、熱を感知して生成される画像であることから、被写体Ｍが明瞭には映らない。このような傾向は、近赤外熱画像よりも遠赤外熱画像で顕著である。そこで、撮像装置１は、合成処理部１５によって近赤外熱画像、可視光画像及び遠赤外熱画像を合成した合成画像を生成することで、これらの画像の欠点を補完する。

【0037】

図１に戻り、合成処理部１５は、例えば、近赤外熱画像処理部１４１によって生成された近赤外熱画像、可視光画像処理部１４２によって生成された可視光画像及び遠赤外熱画像処理部１４３によって生成された遠赤外熱画像を基に、合成画像を生成する処理部である。合成処理部１５は、近赤外熱画像、可視光画像及び遠赤外熱画像を合成することで、夫々の画像の欠点を補完した合成画像を生成する。合成処理部１５は、例えば、可視光画像によって近赤外熱画像を補正することで、近赤外熱画像の被写体Ｍをより明瞭に補正するとともに、色の情報を近赤外熱画像に付加した第１補正画像を生成する。そして、合成処理部１５は、第１補正画像によって遠赤外熱画像を補正することで、遠赤外熱画像をより明瞭に補正するとともに色の情報を付加した合成画像を生成する。合成処理部１５は、「合成処理部」の一例である。

【0038】

ここで、合成処理部１５によって合成される各画像を示す信号について説明する。可視光画像は色の情報を含む。そのため、可視光画像を示す信号は、各画素の色を示す色信号と各画素の輝度を示す輝度信号を含む。近赤外熱画像及び遠赤外熱画像は色の情報を含まない。そのため、近赤外熱画像を示す信号及び遠赤外熱画像を示す信号は、各画素の輝度を示す輝度信号を含む一方で、色信号は含まない。このような信号によって示される各画像を合成する合成処理のバリエーションについて図面を参照して説明する。

【0039】

図３は、合成処理部１５による合成処理の第１のバリエーションを示すフローチャートである。以下、図３を参照して、合成処理部１５による合成処理の第１のバリエーションについて説明する。

【0040】

Ｇ１１では、合成処理部１５は、遠赤外熱画像の一部を切り出し、切り出した画像をリサイズすることで遠赤外熱画像の画素数及び画像のサイズを近赤外熱画像及び可視光画像に揃えるリサイズ処理を行う。なお、遠赤外光センサー１３３の画素数が、近赤外光センサー１３１の画素数及び可視光センサー１３２の画素数と等しい場合には、Ｇ１１の処理は省略されてもよい。

【0041】

Ｇ１２では、合成処理部１５は、可視光画像の輝度信号、近赤外熱画像の輝度信号及び遠赤外熱画像の輝度信号を加算して合成画像輝度信号を生成する。ここで、Ｇ１１の処理が実行されている場合には、Ｇ１１の処理が行われた後の遠赤外熱画像の輝度信号が合成画像輝度信号の生成に用いられる。合成画像輝度信号の生成は、例えば、各画素において夫々の輝度信号が示す輝度値を加算することで行われる。

【0042】

Ｇ１３では、合成処理部１５は、Ｇ１２で生成した合成画像輝度信号に対して可視光画像の色信号を合成することで、合成画像を生成する。すなわち、合成画像の色成分は可視光画像の色信号によって示され、合成画像の輝度成分は合成画像輝度信号によって示される。

【0043】

続いて、合成処理部１５による合成処理の他のバリエーションについて説明する。図４は、合成処理部１５による合成処理の第２のバリエーションを示すフローチャートである。図３と同一の処理には同一の符号を付し、その説明を省略する。以下、図４を参照して、合成処理部１５による合成処理の第２のバリエーションについて説明する。

【0044】

Ｇ２１では、合成処理部１５は、近赤外熱画像の輝度信号及び可視光画像の輝度信号の夫々における高周波成分を強調する処理を実行する。高周波成分を強調する処理では、近赤外熱画像の輝度信号及び可視光画像の輝度信号の夫々の高周波成分に対して所定値を加算してもよいし、所定値を積算してもよい。高周波成分の周波数範囲及び所定値は適宜決定すればよい。Ｇ２１の加算処理によって、可視光画像や近赤外熱画像と比較して低画素数のセンサーによって生成されることが多い遠赤外熱画像の高解像度化を図ることができる。

【0045】

Ｇ２２では、合成処理部１５は、遠赤外熱画像の輝度信号、Ｇ２１で高周波成分が強調された近赤外熱画像の輝度信号及び可視光画像の輝度信号を加算して加算後輝度信号を生成する。

【0046】

Ｇ２３では、合成処理部１５は、Ｇ２２で生成した加算後輝度信号に対してコントラストを補正するコントラスト補正処理を行うことで合成輝度信号を生成する。コントラスト補正処理に用いる手法には限定はなく、公知の様々な手法を採用可能である。

【0047】

Ｇ２４では、合成処理部１５は、Ｇ２３で生成された合成輝度信号の高周波成分を強調する処理を実行することで、合成画像輝度信号を生成する。高周波成分を強調する処理では、Ｇ２１と同様の手法を採用することができる。

【0048】

Ｇ２５では、合成処理部１５は、可視光画像の輝度信号とＧ２３で生成した合成輝度信号との輝度の比に応じて、可視光画像の色信号の強度を補正する。合成処理部１５は、例えば、合成輝度信号の各画素の輝度が可視光画像の輝度信号の同じ画素の輝度よりも大きいほど可視光画像の色信号の強度を高めてもよい。

【0049】

Ｇ２６では、合成処理部１５は、Ｇ２４で生成した合成画像輝度信号とＧ２５で補正した可視光画像の色信号を合成して、合成画像を生成する。すなわち、合成画像の色成分はＧ２５で補正された色信号によって示され、合成画像の輝度成分はＧ２４で生成した合成画像輝度信号によって示される。

【0050】

なお、合成処理部１５による合成処理は図３及び図４を参照して説明した処理に限定されない。合成処理部１５は、他の手法によって合成処理を行ってもよい。

【0051】

学習機能指示器１６は、撮像装置１が撮影した画像から検知対象とする被写体を機械学習器１７に対して指示する。検知対象としては、例えば、人、動物、車両等を挙げることができる。学習機能指示器１６には、例えば、撮像装置１のユーザーインターフェースを介したユーザからの指示によって、検知対象が指定される。

【0052】

機械学習器１７は、予め検知対象を撮影することで近赤外熱画像処理部１４１によって生成された近赤外熱画像、可視光画像処理部１４２によって生成される可視光画像、遠赤外熱画像処理部１４３によって生成される遠赤外熱画像及び合成処理部１５によって生成される合成画像を教師データとして、上記検知対象の検知に用いる学習モデルを構築する。機械学習器１７は、複数の検知対象夫々に対応する学習モデルを複数構築してもよい。また、機械学習器１７は、構築した学習モデルを用いて、近赤外熱画像処理部１４１から入力される近赤外熱画像、可視光画像処理部１４２から入力される可視光画像、遠赤外熱画像処理部１４３から入力される遠赤外熱画像及び合成処理部１５から入力される合成画像を基に、指定された検知対象の検知を行う。機械学習器１７は、検知対象を検知するとサーバ装置等の上位装置へ通知を行ってもよい。機械学習器１７は、「判定部」の一例である。

【0053】

近赤外熱画像処理部１４１、可視光画像処理部１４２、遠赤外熱画像処理部１４３、合成処理部１５、学習機能指示器１６及び機械学習器１７は、例えば、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）とメモリを備えるコンピューターによって実現される。図５は、実施形態に係る撮像装置１が備えるコンピューター１００の一例を示す図である。コンピューター１００は、撮像装置１が備える情報処理装置である。

【0054】

ＣＰＵ１０１は、マイクロプロセッサユニット（ＭＰＵ）、プロセッサとも呼ばれる。ＣＰＵ１０１は、プロセッサと集積回路との組み合わせであってもよい。組み合わせは、例えば、マイクロコントローラユニット（ＭＣＵ）、Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ（ＳｏＣ）、システムＬＳＩ、チップセットなどと呼ばれる。コンピューター１００では、ＣＰＵ１０１が補助記憶部１０３に記憶されたプログラムを主記憶部１０２の作業領域に展開し、プログラムの実行を行うことで、近赤外熱画像処理部１４１、可視光画像処理部１４２、遠赤外熱画像処理部１４３、合成処理部１５、学習機能指示器１６及び機械学習器１７が実現される。

【0055】

主記憶部１０２は、ＣＰＵ１０１から直接アクセスされる記憶部として例示される。主記憶部１０２は、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）及びＲｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）を含む。

【0056】

補助記憶部１０３は、各種のプログラム及び各種のデータを読み書き自在に記録媒体に格納する。補助記憶部１０３は外部記憶装置とも呼ばれる。補助記憶部１０３には、オペレーティングシステム（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ、ＯＳ）、各種プログラム、各種テーブルや機械学習器１７によって構築された学習モデル等が格納される。

【0057】

補助記憶部１０３は、例えば、Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ（ＥＰＲＯＭ）、ソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ、ＳＳＤ）、ハードディスクドライブ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ、ＨＤＤ）等である。

【0058】

通信部１０４は、近赤外光センサー１３１、可視光センサー１３２及び遠赤外光センサー１３３からの電気信号の入力を受け付けるインターフェースである。ＣＰＵ１０１は、通信部１０４を介して、近赤外光センサー１３１、可視光センサー１３２及び遠赤外光センサー１３３からの電気信号を取得する。

【0059】

コンピューター１００は、例えば、ユーザ等からの操作指示等を受け付ける入力部をさらに備えてもよい。このような入力部として、キーボード、ポインティングデバイス、タッチパネル、加速度センサーあるいは音声入力装置といった入力デバイスを例示できる。

【0060】

（ビームスプリッターの特性）
図６は、実施形態における第１ビームスプリッター１２１の特性を例示する図である。図６では、比較のため、誘電体多層膜１２１１を備えない透明基板１２１２の特性も例示する。図６の縦軸は透過率または反射率を例示し、横軸は波長を例示する。図６において、反射率を示す曲線には「反射率」の表示を付し、透過率を示す曲線には「透過率」の表示を付す。また、図６のうち実線の曲線は第１ビームスプリッター１２１の特性を例示し、点線の曲線は透明基板１２１２の特性を例示する。

【0061】

透明基板１２１２の波長０．６μｍ以下の可視光や波長１．２μｍ以下の近赤外光に対する透過率は略０％であり、反射率は７０％以下である。また、透明基板１２１２の波長１０μｍ以上の遠赤外光に対する透過率は３０％以下であり、反射率は４０％以下である。その一方で、第１ビームスプリッター１２１の波長０．６μｍ以下の可視光や波長１．２μｍ以下の近赤外光に対する透過率は略０％であり、反射率は７０％以上である。また、第１ビームスプリッター１２１の波長１０μｍ以上の遠赤外光に対する透過率は略１００％であるとともに、反射率は略０％である。すなわち、透明基板１２１２上に誘電体多層膜１２１１を設けることで、可視光及び近赤外光の反射率を高めることができるとともに、遠赤外光の透過率を高めることができる。すなわち、透明基板１２１２上に誘電体多層膜１２１１を設けた第１ビームスプリッター１２１は、可視光及び近赤外光を透過させずに高い反射率で反射させるとともに、遠赤外光を反射させずに高い透過率で透過させることができる。

【0062】

（検知対象の検知フロー）
図７は、実施形態に係る撮像装置１による検知対象を検知する処理フローの一例である。以下、図７を参照して、実施形態に係る撮像装置１による検知対象を検知する処理フローについて説明する。

【0063】

Ｔ１では、合成処理部１５は、近赤外熱画像処理部１４１によって生成された近赤外熱画像、可視光画像処理部１４２によって生成された可視光画像及び遠赤外熱画像処理部１４３によって生成された遠赤外熱画像を基に、合成画像を生成する。

【0064】

Ｔ２では、機械学習器１７は、予め機械学習器１７によって生成された学習モデルに対して、Ｔ１で生成された合成画像を入力することで、検知対象の検知を行う。検知対象を検知した場合（Ｔ２でＹＥＳ）、処理はＴ３に進められる。検知対象を検知しない場合（Ｔ２でＮＯ）、処理は終了する。

【0065】

Ｔ３では、検知対象を検知したことにより、機械学習器１７はアラートを出力する。ア
ラートの出力は、例えば、上位装置への通知であって良い。また、機械学習器１７は、撮像装置１が備えるスピーカー（図示省略）からの警告音を出力してもよく、撮像装置１が接続されたディスプレイ（図示省略）への警告メッセージの出力を行ってもよい。

【0066】

＜実施形態の作用効果＞
実施形態に係る撮像装置１では、レンズ１１を介して入射する被写体光を第１ビームスプリッター１２１によって可視光及び近赤外光を含む第１の光と遠赤外光とに分離される。第１ビームスプリッター１２１によって被写体光から分離された第１の光は、第２ビームスプリッター１２２に入射し、第２ビームスプリッター１２２によって可視光と近赤外光とに分離される。第２ビームスプリッター１２２によって分離された近赤外光は近赤外光センサー１３１に入射し、第２ビームスプリッター１２２によって分離された可視光は可視光センサー１３２に入射する。また、第１ビームスプリッター１２１によって被写体光から分離された遠赤外光は、遠赤外光センサー１３３に入射する。レンズ１１、近赤外光センサー１３１、可視光センサー１３２、遠赤外光センサー１３３は同一光軸上に配置されており、近赤外光センサー１３１、可視光センサー１３２、遠赤外光センサー１３３に入射する光はレンズ１１から入射した同一の被写体光から分離されたものである。そのため、実施形態に係る撮像装置１は、被写体Ｍについての近赤外熱画像、可視光画像及び遠赤外熱画像を同時に取得することができる。

【0067】

実施形態に係る撮像装置１では、近赤外熱画像処理部１４１によって生成された近赤外熱画像、可視光画像処理部１４２によって生成された可視光画像及び遠赤外熱画像処理部１４３によって生成された遠赤外熱画像を合成処理部１５によって合成する。そのため、実施形態に係る撮像装置１は、近赤外熱画像、可視光画像及び遠赤外熱画像夫々が有する欠点を補完した明瞭な合成画像を生成することができる。

【0068】

本実施形態では、例えば、図４のＧ２１の加算処理によって、可視光画像や近赤外熱画像と比較して低画素数のセンサーによって生成されることが多い遠赤外熱画像の高解像度化を図ることができる。また、図４のＧ２３及びＧ２４の処理によって、合成画像のコントラスト感及び解像感が改善される。本実施形態によれば、このような処理によって合成画像が生成されることで、コントラスト感及び解像感が一層改善された合成画像を生成することができる。

【0069】

実施形態に係る撮像装置１では、近赤外熱画像処理部１４１によって生成された近赤外熱画像、可視光画像処理部１４２によって生成された可視光画像及び遠赤外熱画像処理部１４３によって生成された遠赤外熱画像及び合成処理部１５によって生成された合成画像を教師データとして機械学習器１７が機械学習を行い、検知対象の検知に用いられる学習モデルが構築される。ここで、検知対象とする被写体は、ユーザによって学習機能指示器１６に対して指示され、学習機能指示器１６は指示された検知対象を検知するよう機械学習器１７に指示する。機械学習器１７は、指定された検知対象に対応する学習モデルを選択して検知を行う。そのため、実施形態に係る撮像装置１によれば、ユーザ所望の被写体を検知することができる。

【0070】

実施形態に係る撮像装置１が備える第１ビームスプリッター１２１は、図６を参照して説明したように、可視光及び近赤外光を透過させずに高い反射率で反射させるとともに、遠赤外光を高い透過率で透過させるとともに反射させない。そのため、第１ビームスプリッター１２１は、高精度で可視光及び近赤外光を含む第１の光と遠赤外光とを分離することができる。また、撮像装置１は、第１ビームスプリッター１２１によって高精度で第１の光と遠赤外光とを分離することができるため、第１の光が遠赤外光センサー１３３に入射されることを抑制される。ひいては、遠赤外光センサー１３３の画質低下が抑制される。

【0071】

また、実施形態に係る撮像装置１は、同一光軸上で近赤外熱画像、可視光画像及び遠赤外熱画像を生成する。そのため、近赤外光で撮影する近赤外光カメラ、可視光で撮影する可視光カメラ及び遠赤外光で撮影する遠赤外光カメラの夫々を用意して被写体Ｍを撮影する場合（異なる位置から被写体Ｍを撮影する場合）とは異なり、近赤外熱画像、可視光画像及び遠赤外熱画像間における被写体Ｍの位置ずれが生じない。そのため、撮像装置１では、合成画像においても被写体Ｍの位置を高精度に示すことができる。

【0072】

＜第１変形例＞
実施形態では、近赤外熱画像処理部１４１によって生成された近赤外熱画像、可視光画像処理部１４２によって生成された可視光画像及び遠赤外熱画像処理部１４３によって生成された遠赤外熱画像を合成処理部１５によって合成された。第１変形例では、合成処理部１５が、近赤外熱画像処理部１４１によって生成された近赤外熱画像と可視光画像処理部１４２によって生成された可視光画像の合成画像を生成する場合の処理について説明する。なお、この場合、遠赤外熱画像処理部１４３によって生成された遠赤外熱画像は合成処理部１５に入力されなくともよい。以下、図面を参照して、第１変形例について説明する。

【0073】

（検知対象の検知フロー）
図８は、第１変形例に係る撮像装置１による検知対象を検知する処理フローの一例である。図８において、図７と同一の処理には同一の符号を付し、その説明を省略する。以下、図８を参照して、第１変形例に係る撮像装置１による検知対象を検知する処理フローについて説明する。

【0074】

Ｔ１ａでは、合成処理部１５は、Ｔ１では、合成処理部１５は、近赤外熱画像処理部１４１によって生成された近赤外熱画像及び可視光画像処理部１４２によって生成された可視光画像を基に、合成画像を生成する。

【0075】

Ｔ２ａでは、機械学習器１７は、あらかじめ機械学習器１７によって生成された学習モデルを用いて、検知対象の検知を行う。機械学習器１７には、Ｔ１ａで生成された合成画像と遠赤外熱画像処理部１４３によって生成された遠赤外熱画像が入力される。機械学習器１７は、合成画像と遠赤外熱画像を学習モデルに入力することで、検知対象の検知を行う。検知対象を検知した場合（Ｔ２ａでＹＥＳ）、処理はＴ３に進められる。検知対象を検知しない場合（Ｔ２ａでＮＯ）、処理は終了する。

【0076】

＜第２変形例＞
実施形態に係る撮像装置１では、被写体光を集光する光学部材としてレンズ１１が採用された。第２変形例では、レンズ１１に代えて凹面鏡を備える撮像装置について説明する。実施形態と共通の構成要素については同一の符号を付し、その説明を省略する。以下、図面を参照して、第２変形例について説明する。

【0077】

図９は、第２変形例に係る撮像装置１ａの構成を示す図である。撮像装置１ａは、光学部２００に代えて光学部２００ａを備える点で撮像装置１とは異なる。光学部２００ａは、レンズ１１に代えて凹面鏡１１ａを備え、近赤外光センサー１３１及び可視光センサー１３２に代えて近赤外光・可視光センサー１３１ａを備える。また、光学部２００ａは、ＲＧＢ／ＩＲ分離素子１３２ｂをさらに備えるとともに、第２ビームスプリッター１２２は省略される。

【0078】

凹面鏡１１ａは、入射した被写体光を入射方向とは別の方向に反射する。凹面鏡１１ａに入射した被写体光は、凹面鏡１１ａによって光路を屈曲されて第１ビームスプリッター
１２１に入射される。図９では、３つの凹面鏡１１ａが例示されているが、凹面鏡１１ａの数は３つに限定されるものではない。３つの凹面鏡１１ａは、反射光学系ということもできる。

【0079】

近赤外光・可視光センサー１３１ａは、入射した可視光及び近赤外光に応じた電気信号を生成する撮像素子である。近赤外光センサー１３１ａは、波長２．５μｍ以下の光に感度のピークを有する。近赤外光・可視光センサー１３１ａは、例えば、波長２．５μｍ以下の光に対する感度を有するＣＣＤイメージセンサーやＣＭＯＳイメージセンサーである。近赤外光・可視光センサー１３１ａが生成した電気信号は、ＲＧＢ／ＩＲ分離素子１３２ｂに入力される。近赤外光・可視光センサー１３１ａは、「第１センサー」の一例である。可視光及び近赤外光に応じた電気信号は、「第１信号」の一例である。

【0080】

ＲＧＢ／ＩＲ分離素子１３２ｂは、近赤外光・可視光センサー１３１ａから入力された電気信号を、可視光を示す電気信号と近赤外光を示す電気信号に分離する。ＲＧＢ／ＩＲ分離素子１３２ｂによって分離された近赤外光を示す電気信号は、近赤外熱画像処理部１４１に入力される。ＲＧＢ／ＩＲ分離素子１３２ｂによって分離された可視光を示す電気信号は、可視光画像処理部１４２に入力される。ＲＧＢ／ＩＲ分離素子１３２ｂは、「分離部」の一例である。近赤外光・可視光センサー１３１ａ、ＲＧＢ／ＩＲ分離素子１３２ｂ、近赤外熱画像処理部１４１及び可視光画像処理部１４２は、「生成部」の一例である。

【0081】

第２変形例に係る撮像装置１ａは、レンズ１１に代えて凹面鏡１１ａを採用することで、撮像装置１よりも安価に製造が可能となる。一方、撮像装置１は、レンズ１１を採用することで、撮像装置１ａよりも小型化が容易である。

【0082】

＜その他の変形例＞
実施形態では、誘電体多層膜１２１１を備える第１ビームスプリッター１２１について説明した。しかしながら、誘電体多層膜１２１１は第１ビームスプリッター１２１を備えなくともよい。例えば、第１ビームスプリッター１２１は、誘電体多層膜１２１１に代えて可視光の波長よりも小さいピッチの周期的な溝を形成することによっても、可視光及び近赤外光を反射することができる。この周期的な溝は、遠赤外光の波長よりもはるかに小さい構造となる。そのため、このような構造によっても、第１ビームスプリッター１２１は遠赤外光を透過することができる。

【0083】

＜適用例＞
以上で説明した実施形態や各変形例に係る撮像装置は、様々なシステムに適用可能である。以下、図面を参照して、実施形態や各変形例に係る撮像装置の適用例について説明する。

【0084】

（第１適用例）
図１０は、第１適用例を模式的に例示する図である。第１適用例では、実施形態に係る撮像装置１を車両８００の監視カメラとして採用する。図１０は、道路を走行する車両８００を上から見た図である。図１０の例では、１台の撮像装置１が、車両８００の進行方向を撮影するように設けられる。

【0085】

第１適用例では、撮像装置１が車両の進行方向（例えば、監視領域Ｗ１）を撮影する。夜間やトンネル内等の暗所においては、対向車両８１０のヘッドライト光８１１等の影響で横断歩道を渡る通行人Ｍ１の視認性が低下する。上記の通り、暗所においては可視光画像で通行人Ｍ１を検知することは困難であり、近赤外熱画像や遠赤外熱画像では検知対象とする通行人Ｍ１を明瞭に撮像することは困難である。撮像装置１は、近赤外光で撮影し
た近赤外熱画像、可視光で撮影した可視光画像及び遠赤外光で撮影した遠赤外熱画像を同一光軸上で取得する。そして、撮像装置１は、近赤外熱画像、可視光画像及び遠赤外熱画像を合成することで、これらの画像の欠点を補完した合成画像を生成する。換言すれば、撮像装置１は、合成画像を用いることで、通行人Ｍ１を可視光及び熱分布の双方の観点から検知する。撮像装置１は、このような合成画像を用いることで、暗所における通行人Ｍ１の検知精度を高めることができる。また、撮像装置１の機械学習器１７は、通行人Ｍ１を検知した場合には、車両８００に対してブレーキ制御を指示してもよい。

【0086】

（第２適用例）
撮像装置１は、入退室管理システムに適用することもできる。図１１は、第２適用例を模式的に示す図である。第２適用例では、サーバールーム８５０の入退室管理に撮像装置１が採用される。図１１は、サーバールーム８５０を上から見た図である。図１１の例では、サーバールーム８５０の入退室扉８５１の脇に１台の撮像装置１が設けられる。撮像装置１の撮影方向は、サーバールーム８５０の外部に向けられている。

【0087】

撮像装置１は、サーバールーム８５０内で作業を行おうとする作業者を撮影し、その撮影画像を上位装置へ送信する。上位装置は、撮像装置１から受信した可視光画像を用いて顔認証を行うことができる。また、上位装置は、撮像装置１から受信した遠赤外熱画像を基に作業員の体温を測定し、測定した体温が所定の体温以上である場合には、体調不良であるとしてサーバールーム８５０への入室を拒否（入退室扉８５１の開錠を行わない）としてもよい。なお、第２適用例ではサーバールーム８５０への入退室管理として撮像装置１を用いたが、新型コロナ（ＣＯＶＩＤ－１９）等への対策として、店舗への入店時における顧客の顔認識や体温測定に撮像装置１を用いてもよい。

【0088】

（その他の適用例）
以上説明した撮像装置１、１ａは、撮影対象とする領域の明暗によらず好適な画像を撮影できることから、他にも様々な用途に適用することができる。撮像装置１、１ａは、例えば、可視光のみならず熱によっても撮影を行うことができることから、森林火災の監視カメラに適用することもできる。また、撮像装置１、１ａは、撮影対象とする領域の明暗によらず好適な画像を撮影できることから、昼夜、雨、霧、雪等の様々な環境に対応した防災監視カメラ、自然環境監視カメラ、昼夜対応セキュリティカメラとして用いることもできる。

【0089】

以上で開示した実施形態や変形例はそれぞれ組み合わせることができる。

【符号の説明】

【0090】

１・・撮像装置
１ａ・・撮像装置
１１・・レンズ
１１ａ・・凹面鏡
１５・・合成処理部
１６・・学習機能指示器
１７・・機械学習器
１００・・コンピューター
２００・・光学部
２００ａ・・光学部
１０１・・ＣＰＵ
１０２・・主記憶部
１０３・・補助記憶部
１０４・・通信部
１２１・・第１ビームスプリッター
１２２・・第２ビームスプリッター
１３１・・近赤外光センサー
１３１ａ・・近赤外光・可視光センサー
１３２・・可視光センサー
１３２ｂ・・ＲＧＢ／ＩＲ分離素子
１３３・・遠赤外光センサー
１４１・・近赤外熱画像処理部
１４２・・可視光画像処理部
１４３・・遠赤外熱画像処理部
８００・・車両
８１０・・対向車両
８１１・・ヘッドライト光
８５０・・サーバールーム
８５１・・入退室扉
１２２１・・可視光反射体
１２２ａ・・三角プリズム
１２２ｂ・・三角プリズム
１２１１・・誘電体多層膜
１２１２・・透明基板
Ｍ・・被写体
Ｗ１・・監視領域

【要約】

【課題】暗所における撮像装置の視認性を高める。
【解決手段】本撮像装置は、外部からの光を集光する集光部と、上記集光部を介して入射する光を可視光を含む第１の光と遠赤外光とに分離する第１のビームスプリッターと、上記第１の光を受光すると、上記第１の光のうちの近赤外光に応じた近赤外光信号と上記第１の光のうちの可視光に応じた可視光信号とを生成する生成部と、上記第１のビームスプリッターによって分離された遠赤外光を受光すると、上記遠赤外光に応じた遠赤外光信号を生成する遠赤外光センサーと、上記可視光信号に応じた可視光画像を生成する可視光画像処理部と、上記近赤外光信号に応じた近赤外熱画像を生成する近赤外熱画像処理部と、上記遠赤外光信号に応じた遠赤外熱画像を生成する遠赤外熱画像処理部と、を備えることを特徴とする。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】