特開 2024-88271 制御装置、撮像システム、及び制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024088271

(43)【公開日】2024-07-02

(54)【発明の名称】制御装置、撮像システム、及び制御方法

(51)【国際特許分類】

   H04N 23/52 20230101AFI20240625BHJP

   H04N 23/55 20230101ALI20240625BHJP

   H04N 23/60 20230101ALI20240625BHJP

   G03B 11/00 20210101ALI20240625BHJP

【ＦＩ】

H04N23/52

H04N23/55

H04N23/60

G03B11/00

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022203356

(22)【出願日】2022-12-20

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】森 俊夫

【テーマコード（参考）】

2H083

5C122

【Ｆターム（参考）】

2H083AA04

2H083AA15

2H083AA26

5C122EA01

5C122FB11

5C122FC05

5C122FF07

5C122FF18

5C122FH11

5C122HB01

(57)【要約】

【課題】撮像素子の劣化を防ぐことができるとともに、適切に遠赤外線画像を撮像することができる撮像システム、及びその制御方法を提供すること。
【解決手段】撮像システム１は、第１撮像素子で撮像された第１画像を取得する第１画像取得部と、遠赤外光を検出する第２撮像素子で撮像された第２画像を取得する第２画像取得部と、第１画像に基づいて、高温物体の位置を特定する特定部４３と、高温物体の位置に基づいて、第２撮像素子における遮光エリアを設定する遮光エリア設定部４４と、前記遮光エリアに入射する前記高温物体からの遠赤外光を遮光するように、前記第２撮像素子に向かう遠赤外光を部分的に遮光する遮光素子を制御する遮光制御部４５と、を備えている。
【選択図】図２

【特許請求の範囲】

【請求項1】

第１撮像素子で撮像された第１画像を取得する第１画像取得部と、
遠赤外光を検出する第２撮像素子で撮像された第２画像を取得する第２画像取得部と、
前記第１画像に基づいて、高温物体の位置を特定する特定部と、
前記高温物体の位置に基づいて、前記第２撮像素子における遮光エリアを設定する遮光エリア設定部と、
前記遮光エリアに入射する前記高温物体からの遠赤外光を遮光するように、前記第２撮像素子に向かう遠赤外光を部分的に遮光する遮光素子を制御する遮光制御部と、を備えた制御装置。

【請求項2】

前記遮光エリア設定部は、前記第１撮像素子に対する前記第２撮像素子の相対的な位置及び方向に基づいて、前記第１画像における画素アドレスを第２撮像素子における画素アドレスに変換することで、前記遮光エリアを設定する請求項１に記載の制御装置。

【請求項3】

前記第１撮像素子に設けられた第１レンズユニットと前記第２撮像素子に設けられた第２レンズユニットに関するレンズ情報を取得するレンズ情報取得部をさらに備え、
前記レンズ情報に基づいて、前記遮光エリア設定部が前記遮光エリアを設定する請求項１、又は２に記載の制御装置。

【請求項4】

前記高温物体の種類に応じて、前記遮光エリア設定部が遮光エリアを設定する請求項１、又は２に記載の制御装置。

【請求項5】

第１撮像素子で撮像された第１画像を取得するステップと、
遠赤外光を検出する第２撮像素子で撮像された第２画像を取得するステップと、
前記第１画像に基づいて、高温物体の位置を特定するステップと、
前記高温物体の位置に基づいて、遠赤外光を検出する第２撮像素子における遮光エリアを設定するステップと、
前記遮光エリアに入射する前記高温物体からの遠赤外光を遮光するように、前記第２撮像素子に向かう遠赤外光を部分的に遮光する遮光素子を制御するステップと、を備えた制御方法。

【請求項6】

第１画像を撮像する第１撮像素子と、
遠赤外光を検出して、第２画像を撮像する第２撮像素子と、
前記第２撮像素子に向かう遠赤外光を部分的に遮光する遮光素子と、
前記第１画像に基づいて、高温物体の位置を特定する特定部と、
前記高温物体の位置に基づいて、前記第２撮像素子における遮光エリアを設定する遮光エリア設定部と、
前記遮光エリアに入射する前記高温物体からの遠赤外光を遮光するように前記遮光素子を制御する遮光制御部と、を備えた撮像システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、制御装置、撮像システム、及び制御方法に関する。

【背景技術】

【0002】

特許文献１には、可視光を検出して可視光画像データを生成する第１の撮像素子と、赤外光を検出して赤外線画像データを生成する第２の撮像素子とを備えた撮像装置が開示されている。第１の撮像素子には、赤外線カットフィルタが設けられている。第２の撮像素子には、可視光カットフィルタが設けられている。撮像装置は、可視光画像データに基づいて、顔位置を特定している。撮像装置は、可視光画像データの顔位置から、赤外線画像での顔領域を推定している。

【0003】

特許文献２には、ＣＣＤ（Charge Coupled Device）に太陽光が直接入射することを防止するための装置が開示されている。特許文献２の撮像装置では、ＣＣＤ撮像素子の前に、透過型液晶素子が配置されている。制御装置は、現在時刻及び日時情報に基づいて、太陽位置を演算している。そして、制御装置は、太陽位置に応じて、透過型液晶素子を制御している。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開平５－１０７１１０号公報

【特許文献2】特開平１０－３２７３３７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

遠赤外線カメラは、太陽などの高温物体を撮像すると、受光素子に入射する遠赤外線の光量が大きくなってしまう。従って、撮像素子が劣化してしまうおそれがある。例えば、撮像素子の感度が変わったり、故障したりする。一方、特許文献２のように、現在時刻及び日時情報に基づいて、太陽光の位置を演算した場合、適切に遠赤外線画像を撮像することができない場合がある。例えば、曇りの場合であっても、太陽の位置をマスクしてしまう。よって、適切に遠赤外線画像を撮像することができないおそれがある。

【0006】

本開示は、上述した課題に鑑み、撮像素子の劣化を防ぐことができるとともに、適切に遠赤外線画像を撮像することができる制御装置、撮像システム、及び制御方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

本実施形態の一態様に係る制御装置は、第１撮像素子で撮像された第１画像を取得する第１画像取得部と、遠赤外光を検出する第２撮像素子で撮像された第２画像を取得する第２画像取得部と、前記第１画像に基づいて、高温物体の位置を特定する特定部と、前記高温物体の位置に基づいて、前記第２撮像素子における遮光エリアを設定する遮光エリア設定部と、前記遮光エリアに入射する前記高温物体からの遠赤外光を遮光するように、前記第２撮像素子に向かう遠赤外光を部分的に遮光する遮光素子を制御する遮光制御部と、を備えている。

【0008】

本実施形態の一態様に係る制御方法は、第１撮像素子で撮像された第１画像を取得するステップと、遠赤外光を検出する第２撮像素子で撮像された第２画像を取得するステップと、前記第１画像に基づいて、高温物体の位置を特定するステップと、前記高温物体の位置に基づいて、遠赤外光を検出する第２撮像素子における遮光エリアを設定するステップと、
前記遮光エリアに入射する前記高温物体からの遠赤外光を遮光するように、前記第２撮像素子に向かう遠赤外光を部分的に遮光する遮光素子を制御するステップと、を備えている。

【0009】

本実施形態の一態様に係る撮像システムは、第１画像を撮像する第１撮像素子と、遠赤外光を検出して、第２画像を撮像する第２撮像素子と、前記第２撮像素子に向かう遠赤外光を部分的に遮光する遮光素子と、前記第１画像に基づいて、高温物体の位置を特定する特定部と、前記高温物体の位置に基づいて、前記第２撮像素子における遮光エリアを設定する遮光エリア設定部と、前記遮光エリアに入射する前記高温物体からの遠赤外光を遮光するように前記遮光素子を制御する遮光制御部と、を備えている。

【発明の効果】

【0010】

本実施形態によれば、撮像素子の劣化を防ぐことができるとともに、適切に遠赤外線画像を撮像することができる制御装置、撮像システム、及び制御方法を提供することができる。

【図面の簡単な説明】

【0011】

【図1】撮像システムの全体構成を示す模式図である。

【図2】撮像システムの制御系の制御ブロック図である。

【図3】遠赤外線カメラの光学系を説明するための模式図である。

【図4】可視光画像における特定領域と遠赤外線画像における遮光エリアを説明するための模式図である。

【図5】撮像システムの制御方法を示すフローチャートである。

【図6】変形例にかかる遠赤外線カメラの光学系を説明するための模式図である。

【発明を実施するための形態】

【0012】

以下、本発明を適用した具体的な実施形態について、図面を参照しながら詳細に説明する。ただし、本発明が以下の実施形態に限定される訳ではない。また、説明を明確にするため、以下の記載及び図面は、適宜、簡略化されている。

【0013】

本実施の形態にかかる撮像システムは，車両等の移動体や、ドローンなどの飛行体に搭載可能となっている。例えば、撮像システムはドライブレコーダなどの車載機器として利用される。あるいは、撮像システムは、ドローンや鳥等の飛行体を監視するための監視システムに搭載されていてもよい。例えば、撮像システムは、不審なドローンや鳥などの侵入を検知するために、空港などの設備に設置されていてもよい。また、撮像システムは監視カメラや防犯カメラとして利用されてもよい。

【0014】

図１は、本実施形態に係る撮像システムの概略的なシステム構成を示すブロック図である。本実施形態に係る撮像システム１は、可視光カメラ２と、遠赤外線カメラ３と、制御装置４と、を備えている。

【0015】

可視光カメラ２は可視光を検出して、被写体を撮像する。可視光カメラ２は、動画像をあるいは、連続する静止画像を撮像してもよい。可視光カメラ２で撮像された画像を可視光画像又は第１画像とする。可視光カメラ２は、制御装置４に無線あるいは有線で通信接続されている。可視光カメラ２は、例えば、飛行体を検出するために、上方を向いて配置されている。可視光カメラ２は、所定の画角で被写体を撮像する。

【0016】

具体的には、可視光カメラ２はレンズユニット２１と撮像素子２２とを備えている。撮像素子２２は、ＣＣＤカメラやＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）センサなどの光検出器である。撮像素子２２は、水平方向及び垂直方向に配列された複数の画素（受光素子）を備えている。撮像素子２２の入射側にはレンズユニット２１が配置されている。レンズユニット２１は被写体の象を撮像素子２２に結像する。撮像素子２２は、レンズユニット２１で屈折された可視光を検出する。レンズユニット２１は、少なくとも１枚のレンズを有している。例えば、レンズユニット２１は、ズームレンズやフォーカスレンズなどの複数のレンズを備えていてもよい。なお、撮像素子２２を第１撮像素子ともいう。

【0017】

遠赤外線カメラ３は、遠赤外光（遠赤外線ともいう）を検出して、被写体を撮像する。遠赤外線カメラ３は、動画像を撮像する。あるいは、遠赤外線カメラ３は、連続する静止画像を撮像する。遠赤外線カメラ３で撮像された画像を遠赤外線画像又は第２画像とする。遠赤外線カメラ３は、制御装置４に無線あるいは有線で通信接続されている。遠赤外線カメラ３は、所定の画角で被写体を撮像する。

【0018】

遠赤外線カメラ３はレンズユニット３１と撮像素子３２を備えている。撮像素子３２は、マイクロボロメータなどの光検出器である。撮像素子３２は、熱型（非冷却型）の素子でもよく、量子型（冷却型）の素子でもよい。撮像素子２２は、水平方向及び垂直方向に配列された複数の画素を備えている。撮像素子３２の入射側にはレンズユニット３１が配置されている。レンズユニット３１は被写体の象を撮像素子３２に結像する。撮像素子３２は、レンズユニット３１で屈折された遠赤外光を検出する。レンズユニット３１は、ズームレンズやフォーカスレンズなどの複数のレンズを備えていてもよい。なお、撮像素子３２を第２撮像素子ともいう。

【0019】

遠赤外線カメラ３は上方に向けて配置されている。なお、遠赤外線カメラ３と、可視光カメラ２とは、同じ方向を撮影できれば、夫々離れて設けられていてもよく、撮影範囲が同一、または一方の撮影範囲に他方の撮影範囲が含まれていればよい。遠赤外線カメラ３に対する可視光カメラ２の相対的な取付位置、及び取付方向は既知となっている。

【0020】

遠赤外線カメラ３と可視光カメラ２は同軸に配置されていてもよい。この場合、遠赤外線カメラ３と可視光カメラ２の手前に、遠赤外光と可視光を分岐するビームスプリッタなどが設けられていてもよい。

【0021】

制御装置４は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などのプロセッサ４ａと、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などの内部メモリ４ｂと、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などのストレージデバイス４ｃと、ディスプレイなどの周辺機器を接続するための入出力Ｉ／Ｆ４ｄと、装置外部の機器と通信を行う通信Ｉ／Ｆ４ｅと、を備えた通常のコンピュータのハードウェア構成を有する。制御装置４は、ストレージデバイス４ｃに格納されたコンピュータプログラムを実行することで後述する遮光制御を行うことができる。

【0022】

図２は、本実施形態に係る撮像システム１の制御系を示す制御ブロック図である。制御装置４は、可視光画像取得部４１と、遠赤外線画像取得部４２と、特定部４３と、遮光エリア設定部４４と、遮光制御部４５と、を備えている。また、制御装置４は、レンズ情報取得部４７と、位置情報取得部４８と、物体情報取得部４９と、を備えていてもよい。遠赤外線カメラ３は、遮光素子３３を備えている。図３は、遠赤外線カメラ３の光学系を模式的に示す図である。図３に示すように、遠赤外線カメラ３は、レンズユニット３１と、撮像素子３２と、遮光素子３３とを備えている。

【0023】

可視光画像取得部４１には、可視光カメラ２が接続されている。可視光画像取得部４１は、可視光カメラ２により撮影された可視光画像を取得する。可視光画像取得部４１を第１画像取得部ともいう。可視光画像取得部４１で取得された可視光画像を第１画像ともいう。

【0024】

遠赤外線画像取得部４２には、遠赤外線カメラ３が接続されている。遠赤外線画像取得部４２は、遠赤外線カメラ３により撮影された遠赤外線画像を取得する。遠赤外線画像取得部４２を第２画像取得部ともいう。遠赤外線画像取得部４２で取得された遠赤外線画像を第２画像ともいう。

【0025】

遮光素子３３は、撮像素子３２に向かう遠赤外光を部分的に遮光する空間変調器である。これにより、撮像素子３２の一部の領域に向かう光を遮光することができる。遮光素子３３は撮像素子３２の遮光エリアに向かう遠赤外光のみを遮光する。遮光エリアは撮像素子３２の一部の画素に対応するエリアである。遮光エリアについては後述する。遮光素子３３はレンズユニット３１の光軸上に配置されている。遮光素子３３は、レンズユニット３１で屈折された遠赤外光の一部のみを遮光する。遮光素子３３で遮光された領域は遠赤外光が入射しない。

【0026】

遮光素子３３は、例えば、複数のマイクロミラー３３ａを備えるＤＭＤ（Digital Micromirror Device）である。複数のマイクロミラー３３ａは２次元アレイ状に配列されている。複数のマイクロミラー３３ａの角度は独立して可変となっている。例えば、後述する遮光制御部４５がマイクロミラー３３ａをオンオフ制御することで、レンズユニット３１からの光の反射方向を変えることができる。

【0027】

図３に示すように、オン電圧が印加されたマイクロミラー３３ａは、レンズユニット３１からの光を撮像素子３２に向けて反射する。オフ電圧が印加されたマイクロミラー３３ａは、レンズユニット３１からの光が撮像素子３２に入射しないように反射する。つまり、オフ電圧が印加されたマイクロミラー３３ａは、レンズユニット３１からの光が撮像素子３２の外側に向かうように反射する。遮光制御部４５が複数のマイクロミラー３３ａを独立して制御することで、撮像素子３２に向かう遠赤外光を部分的に遮光することができる。

【0028】

なお、図３では、レンズユニット３１の１枚のレンズのみが模式的に示されているが、複数のレンズが設けられていてもよい。例えば、遮光素子３３と撮像素子３２との間に、光を撮像素子３２に結像するレンズが設けられていてもよい。

【0029】

図２の説明に戻る。特定部４３は、可視光画像取得部４１により取得された可視光画像において、高温物体の位置を特定する。例えば、高温物体は、太陽となっている。可視光カメラ２が太陽を撮像した場合、その画素では輝度が極めて高くなる。特定部４３は、輝度が極めて高くなる白色の画素に基づいて、太陽の位置を特定する。例えば、特定部４３は、飽和している画素や閾値以上の輝度の画素を太陽光が直接入射している画素として特定する。

【0030】

このように特定部４３は、可視光画像に対して画像処理を施すことで、太陽を検出することができる。特定部４３は、可視光画像において、太陽を含む領域を特定領域として特定する。特定部４３は、可視光画像から特定領域を抽出する。特定領域は、可視光画像つまり、撮像素子２２における画素アドレスで示すことが可能である。特定部４３は、可視光画像における太陽の画素アドレスを求める。

【0031】

遮光エリア設定部４４は、可視光画像における太陽の位置に基づいて、撮像素子３２の遮光エリアを設定する。遮光エリアは、太陽を覆うように設定される。つまり、遮光エリアは、レンズユニット３１を介して撮像素子３２上に投影される太陽の大きさよりも広いエリア，又は、太陽と同じ大きさのエリアとなる。遮光エリアは、撮像素子３２における画素アドレスで示すことが可能である。

【0032】

遮光エリア設定部４４は、可視光カメラ２に対する遠赤外線カメラ３の相対的な位置及び方向に基づいて、可視光画像における画素アドレスを撮像素子３２における画素アドレスに変換する。このようにすることで、遮光エリア設定部４４は、遮光エリアを設定することができる。

【0033】

遠赤外線カメラ３に対する可視光カメラ２の相対的な取付位置、及び取付方向は既知となっている。遮光エリア設定部４４は、相対的な取付位置や取付方向に関するデータを記憶している。遮光エリア設定部４４は、可視光画像の画素アドレスを、撮像素子３２の画素アドレスに変換する変換式や変換テーブルを有している。変換式や変換テーブルは、取付位置、及び取付方向の設計データに基づいて、作成可能である。

【0034】

遮光制御部４５は遮光エリアに向かう光を遮光するように、遮光素子３３を制御する。例えば、マイクロミラー３３ａをオンオフ制御する電圧を遮光素子３３に供給する（図３参照）。撮像素子３２において遮光エリアに対応する画素において、遠赤外光が検出されないように、遮光制御部４５が遮光素子３３を制御する。遮光エリア以外のエリアに対応する画素においては、遠赤外光が検出されるように、遮光制御部４５が遮光素子３３を制御する。遮光エリア以外のエリアについては、撮像素子３２に被写体の像が結像される。

【0035】

以下、特定領域と、遮光エリアとについて、図４を用いて説明する。図４は、可視光画像Ｐ１と遠赤外線画像Ｐ２を模式的に示す図である。図３において、可視光カメラ２の画角が画角Ａ１とし、遠赤外線カメラ３の画角が画角Ａ２として、示されている。

【0036】

可視光画像Ｐ１は、太陽Ｓを含む画角Ａ１で撮像されている。同様に遠赤外線画像Ｐ２も、太陽を含む画角Ａ２で撮像されている。ここでは、可視光カメラ２と遠赤外線カメラ３とが、同じ方向を向いている。さらに、可視光カメラ２と遠赤外線カメラ３とは、近接して配置されている。可視光カメラ２と遠赤外線カメラ３は水平方向にずれて配置されている。画角Ａ１と画角Ａ２は一部が重複しており、その重複部分に太陽Ｓがある。特定部４３は可視光画像Ｐ１における太陽Ｓの位置に基づいて、特定領域Ｒ１を特定する。

【0037】

遮光エリア設定部４４は、太陽Ｓを含む遮光エリアＲ２を設定する。太陽Ｓからの太陽光を検出する画素では、遠赤外光の光量が大きくなってしまうため、劣化するおそれがある。よって、遮光素子３３は、遮光エリアＲ２の画素に向かう遠赤外光を、撮像素子３２の外側に向けて反射する。遮光素子３３は、遮光エリアＲ２の画素以外の画素に向かう遠赤外光を、撮像素子３２の外側に向けて反射する。

【0038】

このようにすることで、非常に強い遠赤外光が撮像素子３２に直接入射することを防ぐことができる。遮光エリアＲ２における画素が飽和した状態となることを防ぐことができる。よって、撮像素子３２の劣化を抑制することができる。

【0039】

遮光素子３３が部分的に遠赤外光を遮光している。よって、遠赤外線カメラ３の画角Ａ２に太陽Ｓが含まれる場合でも、撮像システム１が撮影を続けることができる。撮像システム１は、遮光エリアＲ２の外側における画像を撮像することができる。遠赤外線カメラ３に高温物体である太陽Ｓからの光が直接入射しないため、撮像素子３２のダイナミックレンジを広くすることができる。撮像システム１は、より適切に飛行体や移動体を監視することができる。例えば、撮像システム１は、太陽Ｓの近傍からの飛行体を検知することができる。

【0040】

なお、高温物体は太陽に限定されるものではない。例えば、高温物体は、１０００℃以上の物体とすることができる。具体的には、高温物体は、溶鉱炉、溶岩、高温の火、炎などである。このような高温物体からの遠赤外光が撮像素子３２に入射することを防ぐことができる。よって、撮像素子３２の劣化を防ぐことができる。

【0041】

また、図４では、特定領域Ｒ１と遮光エリアＲ２とが矩形状に形成されているが、矩形以外の形状であってもよい。例えば、太陽などの高温物体の形状に応じた形状であってもよい。特定領域Ｒ１と遮光エリアＲ２は、高温物体よりも大きい領域とすることが好ましい。

【0042】

また、可視光カメラ２の画角Ａ１と遠赤外線カメラ３の画角Ａ２は一部重複しているが、画角Ａ２は画角Ａ１に含まれていてもよい。可視光カメラ２は、遠赤外線カメラ３の撮像範囲よりも広い範囲を撮像してもよい。つまり、画角Ａ１が画角Ａ２を包含するように設定されていてもよい。これにより、確実に太陽からの遠赤外光を確実に遮光することができる。太陽は無限遠点に存在するため、可視光カメラ２と遠赤外線カメラ３が近接して配置されていればよい。可視光カメラ２の画角Ａ１と遠赤外線カメラ３の画角Ａ２が異なっていても、容易に対応することができる。

【0043】

また、特定領域Ｒ１を特定するための画像は可視光画像に限られるものではない。可視光以外の検出波長帯を有するカメラで撮像された画像に基づいて、特定部４３が高温物体を特定してもよい。具体的には，紫外線カメラや近赤外線カメラなどの他の検出波長帯を有するカメラを可視光カメラ２の代わりに用いることができる。

【0044】

撮像システム１は車両やドローンなどの移動体に搭載されていてもよい。車両などに撮像システム１が搭載された場合、車両の移動方向や太陽の位置によっては、夕日や朝日などが画角Ａ２に含まれてしまう。このような場合であっても、撮像システム１が適切に遠赤外線画像を撮像することができる。撮像素子３２の劣化を防ぐことができる。

【0045】

さらに、ドローンや鳥等の飛行体を監視するために撮像システム１を用いてもよい。飛行体を監視する場合、上空に向けて遠赤外線カメラ３及び可視光カメラ２を設置することになる。このような場合であっても、撮像システム１が適切に遠赤外線画像を撮像することができる。撮像素子３２の劣化を防ぐことができる。また、遠赤外線カメラ３が、太陽以外の被写体を適切に撮像することができる。監視システム等において、可視光画像を利用しない場合、撮像素子２２の前に減光フィルタなどを配置してもよい。これにより、撮像素子２２の劣化を抑制することができる。

【0046】

また、可視光カメラ２や遠赤外線カメラ３の取付位置や取付方向には、取付誤差が発生するおそれがある。つまり、設計データから取付誤差だけずれた位置や方向に可視光カメラ２や遠赤外線カメラ３が取り付けられてしまう。この場合、遮光エリア設定部４４が、設計データに基づく変換テーブル等を取付誤差に応じて補正してもよい。あるいは、遠赤外線カメラ３などに人、動物、物などが接触することによって、取付位置や取付方向がずれる場合がある。この場合も、遮光エリア設定部４４が、設計データに基づく変換テーブル等を補正してもよい。

【0047】

また、図２に示すように、制御装置４は、レンズ情報取得部４７と、位置情報取得部４８と、物体情報取得部４９と、を備えていてもよい。以下、レンズ情報取得部４７、位置情報取得部４８と、物体情報取得部４９とを用いた処理について説明する。

【0048】

レンズ情報取得部４７と可視光カメラ２のレンズユニット２１と、遠赤外線カメラ３のレンズユニット３１とに関するレンズ情報を取得する。レンズ情報に基づいて、画角Ａ１、Ａ２が決定されるため、遮光エリア設定部４４は、特定領域から遮光エリアを適切に算出することができる。例えば、遮光エリア設定部４４は、レンズ情報に基づいて、可視光画像における特定領域の画素アドレスを、遠赤外線画像における遮光エリアの画素アドレスに変換する。具体的には遮光エリア設定部４４は、画素アドレスを変換するための変換テーブルや変換式を用いることができる。

【0049】

例えば、レンズ情報取得部４７は、レンズユニット２１、３１の種類に関するレンズ情報を取得する。制御装置４は可視光カメラ２に取り付けられたレンズユニット２１の種類から、可視光カメラ２の画角Ａ１を決定する。制御装置４は遠赤外線カメラ３に取り付けられたレンズユニット３１の種類から、遠赤外線カメラ３の画角Ａ２を決定する。可視光カメラ２と遠赤外線カメラ３との相対的な取付位置と取付方向は既知となっている。よって、レンズ情報から、可視光画像の画素アドレスを遠赤外線画像Ｐ２の画素アドレスに変換することができる。また、レンズユニット２１、３１が交換可能に設けられていてもよい。この場合、交換したレンズユニットの種類に応じて、遮光エリア設定部４４は、変換式や変換テーブルを更新することができる。

【0050】

太陽を遠赤外線カメラ３で撮像した場合、撮像素子３２の画素にフレアが映り込むことがある。フレアはレンズユニット３１内での光の反射によるものである。したがって、フレアによっても撮像素子３２の画素が影響を受ける可能性がある。フレアの起き方は遠赤外線カメラ３のレンズユニット３１の種類によって変わる。レンズユニット３１の種類毎に遮光エリアを設定するように、遮光エリア設定部４４が変換テーブルなどを設定しておく。例えば、下側にフレアが起きやすいレンズユニットであれば、遮光エリア設定部４４が下側だけ遮光エリアを２０％広げるといった処理を行う。遮光エリア設定部４４は、レンズユニット３１の種類に応じて変換テーブルなどを切り替える。特定領域が同じであっても、レンズユニットが変わった場合、遮光エリアが異なることになる。

【0051】

レンズユニット２１、３１がズームなどを変えた場合、画角Ａ１、Ａ２が変化する。この場合、レンズ情報取得部４７は、レンズユニット２１，３１のズームに関するレンズ情報を取得する。遮光エリア設定部４４は、ズームに関するレンズ情報に基づいて、遮光エリアを設定する。これにより、適切に遮光エリアを設定することができる。

【0052】

位置情報取得部４８は、可視光カメラ２、及び遠赤外線カメラ３の位置を示す位置情報を取得する。位置情報は、撮像システム１の現在の位置や撮像方向を示す情報である。例えば、撮像システム１が自動車は飛行体などの移動体に搭載されている場合、移動体のＧＰＳ（Global Positioning System）などの衛星測位システムにより移動体の位置情報が求められる。位置情報取得部４８は、車両のナビゲーションシステム等から現在位置を示す位置情報を取得してもよい。また、撮像システム１が空港などの設備に固定されている場合、位置及び撮像方向は変化しない。

【0053】

物体情報取得部４９は、高温物体に関する情報を取得する。物体情報取得部４９は、高温物体の種類に関する情報を取得してもよい。そして、高温物体の種類に応じて、遮光エリア設定部４４が遮光エリアを設定してもよい。例えば、遮光エリア設定部４４は、より温度が高い物体ほど、遮光エリアを広く設定することができる。

【0054】

太陽だけでなく他の高温物体でもフレアが発生する可能性がある。フレアの起き方は高温物体ごとに違う。例えば、高温物体が太陽である場合、遮光エリア設定部４４は、太陽そのものの範囲よりもかなり大きな範囲を遮光するように制御する。高温物体が溶鉱炉である場合、溶鉱炉そのものの範囲よりもやや大きな範囲を遮光するように制御する。高温物体がろうそくなどの炎である場合、遮光エリア設定部４４は、炎そのものの範囲よりも少し大きな範囲を遮光するように制御する。高温物体の温度が高くなるほど、遮光エリアを広くする。例えば、特定部４３が、可視光画像を画像処理することで、高温物体の種類を特定してもよい。また、高温物体の位置情報が既知の場合はその位置情報から高温物体の種類を特定してもよい。遮光エリア設定部４４が、高温物体毎に遮光エリアの大きさを変えてもよい。

【0055】

また、物体情報取得部４９は暦（日時）から太陽の位置を示す物体情報を取得してもよい。太陽の位置は方位、及び仰角などで示されている。制御装置４は、撮像システム１の位置及び撮像方向を太陽の位置及び方位を比較する。そして、可視光カメラ２及び遠赤外線カメラ３が、太陽の方向を撮像していない場合、制御装置４は、太陽を遮光する制御を行わないようにしてもよい。特定部４３、遮光エリア設定部４４、遮光制御部４５が処理を停止しても良い。換言すると、可視光カメラ２及び遠赤外線カメラ３の撮像方向が、太陽の方向と一致する場合のみ、撮像システム１が遮光制御を行うようにしてもよい。このように、制御装置４は、撮像方向と太陽の方向を比較して、遮光制御を行うか否かを判定してもよい。

【0056】

さらに、物体情報取得部４９は、天候に関する天候情報を取得してもよい。例えば、物体情報取得部４９は、インターネットなどから現在位置の天候情報を取得する。曇天や雨天の場合は、遠赤外線カメラ３が太陽の方向を向いていたとしても、強い太陽光が遠赤外線カメラ３に入射しない。このため、制御装置４が、遠赤外線カメラ３に入射する太陽光を遮光する必要がなくなる。よって、制御装置４が遮光制御を停止する。このように、制御装置４は、天候情報に基づいて、遮光制御を行うか否かを判定してもよい。

【0057】

上記のように、高温物体は、太陽に限られるものではない。溶鉱炉、溶岩、炎等が高温物体となる。物体情報取得部４９は、溶鉱炉、溶岩などの高温物体の位置情報を取得してもよい。溶鉱炉、溶岩の位置情報が既知の場合、撮像システム１はその位置情報に基づいて遮光制御を行うか否かを判定してもよい。

【0058】

撮像システム１が移動体に搭載されている場合、位置情報は、撮像システム１を搭載した移動体の移動に応じて更新される。例えば、撮像システム１が車載機器である場合、車両の移動に応じて、位置や撮像方向が変化する。この場合、最新の撮像方向が太陽の方向と一致する場合、制御装置４が上記の遮光制御を行う。車両の移動に応じて、遠赤外線カメラ３が太陽の方向を向かなくなった場合、上記の遮光制御を停止する。

【0059】

例えば、可視光カメラ２、遠赤外線カメラ３が車両の前方を向いて配置されている場合において、車両の太陽と反対方向を向いて走行しているとする。あるいは、車両が地下、トンネル、建物内などを走行しているとする。このような場合、太陽が撮像されない。遠赤外線カメラ３が太陽を撮像しないため、制御装置４が遮光制御を行わないようにしてもよい。

【0060】

図５を用いて、撮像システム１の制御方法について説明する。図５は、制御装置４における遮光制御を示すフローチャートである。なお、撮像システム１は、同時に撮像された遠赤外線画像とフレーム画像に対して、以下の処理をリアルタイムで実行することができる。

【0061】

まず、可視光カメラ２が太陽を検出したか否かを特定部４３が判定する（Ｓ１０１）。つまり，特定部４３は、可視光画像に太陽が含まれているか否かを判定する。太陽を検出しない場合（Ｓ１０１のＮＯ）、太陽を検出するまで処理を繰り返す。

【0062】

太陽を検出した場合（Ｓ１０１のＹＥＳ）、特定部４３が太陽の位置を特定する（Ｓ１０２）。特定部４３が可視光画像に対して画像処理を行うことで、可視光画像における太陽の位置を特定する。特定部４３は、太陽を含むように、特定領域の画素アドレスを特定する。

【0063】

次に、遮光エリア設定部４４が遠赤外線画像における遮光エリアを設定する（Ｓ１０３）。例えば、遮光エリア設定部４４は、特定領域の画素アドレスを撮像素子３２の画素アドレスに変換する。これにより、遮光エリア設定部４４が遮光エリアを設定することができる。なお、遮光エリア設定部４４は、上述した位置情報、物体情報及びレンズ情報の少なくとも一つを用いて、遮光エリアを設定してもよい。

【0064】

次に、遮光素子３３が遮光エリアを遮光する（Ｓ１０４）。遮光素子３３が撮像素子３２の一部の画素を遮光するように、遮光制御部４５が遮光素子３３を制御する。遮光制御部４５はマイクロミラー３３ａのそれぞれにオン電圧又はオフ電圧を供給する。具体的には、遮光制御部４５は、遮光エリアの画素に対応するマイクロミラー３３ａにオフ電圧を供給する。これにより、撮像素子３２の遮光エリアに対応する画素に、遠赤外光が入射しなくなる。

【0065】

可視光カメラ２が太陽を検出したか否かを特定部４３が判定する（Ｓ１０５）。例えば特定部４３は、次のフレームの可視光画像に太陽が含まれているか否かを判定する。可視光カメラ２が太陽を検出した場合（Ｓ１０５のＹＥＳ）、ステップＳ１０２に戻る。よって、特定部４３が太陽の位置を特定する。さらに、遮光エリア設定部４４が遮光エリアを設定し、遮光制御部４５が遮光素子３３を制御する。これにより、遮光エリアの画素に太陽光が入射するのを防ぐことができる。

【0066】

可視光カメラ２が太陽を検出しない場合（Ｓ１０５のＮＯ）、遮光制御部４５が遮光素子３３の遮光を解除する（Ｓ１０６）。例えば、図３に示す例では、遮光制御部４５が、全てのマイクロミラー３３ａにオン電圧を供給する。遮光素子３３が遠赤外光を撮像素子３２に向けて反射する。これにより、画角Ａ２の全体の遠赤外線画像が撮像される。そして、ステップＳ１０１に戻る。

【0067】

撮像システム１は、定期的に上記の処理を繰り返す。特定領域及び遮光エリアが随時更新されていく。撮像システム１が移動したり、撮像方向が変わったりした場合であっても、適切に太陽光を遮光することができる。撮像素子３２の劣化を抑制することができる。可視光カメラ２が継続して撮像しているため、特定部４３が太陽の位置を随時更新することができる。

【0068】

さらに、フレーム毎に上記の処理を行うことで、適切に遠赤外線画像を撮像することができる。太陽に対する撮像システム１の相対的な位置及び方向の変化に対して、遮光エリアを追従させることができる。画角から太陽が外れた場合には、遮光素子３３が遮光エリアを遮光しなくなる。画角内に太陽が含まれた場合には、遮光素子３３が速やかに遮光エリアを遮光する。撮像素子３２の劣化を効果的に抑制することができるともに、撮像システム１が、適切に遠赤外線画像を撮像することができる。

【0069】

変形例
本実施の形態の変形例について、図６を用いて説明する。図６は、遠赤外線カメラ３の光学系を模式的に示す図である。図３では、遮光素子３３が反射型の光学素子となっていたが、図６では、遮光素子３３が透過型の光学素子となっている。

【0070】

例えば、遮光素子３３は、液晶パネル等の空間変調器である。液晶パネルである遮光素子３３は、遠赤外光を透過する一対の基板を備えている。そして、一対の基板の間に液晶材料が挟持されている。遮光素子３３は光を部分的に遮光して、残りを透過する。

【0071】

遮光素子３３は、アレイ状に配列された複数の液晶画素３３ｂを備えている。液晶画素３３ｂに印加する電圧を変えることで、透過と遮光とを切り替えることができる。遮光エリアに対応する液晶画素３３ｂは、遠赤外光を遮光する。遮光エリア以外のエリアに対応する液晶画素３３ｂは、遠赤外光を透過する。

【0072】

このようにすることで、撮像素子３２に向かう遠赤外光を部分的に遮光することができる。例えば、遮光素子３３は、遮光エリアに遠赤外光が入射しないように、レンズユニット３１からの遠赤外光の一部を遮光する。

【0073】

なお、遮光素子３３は、液晶パネルに限らず、部分的に遮光するフィルタなどであってもよい。さらに，遮光素子３３は、遮光エリアに入射する遠赤外光を完全に遮光するものに限られるものではない。例えば、遮光素子３３は、遮光エリアに入射する遠赤外光を減光する減光フィルタであってもよい。具体的には、遮光素子３３は、遮光エリアに向かう遠赤外光の８０％を遮光するような光学素子であってもよい。

【0074】

上述した制御装置４の制御プログラムは、コンピュータに読み込まれた場合に、実施の形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。

【0075】

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

【符号の説明】

【0076】

１ 撮像システム
２ 可視光カメラ
３ 遠赤外線カメラ
４ 制御装置
２１ レンズユニット
２２ 撮像素子
３１ レンズユニット
３２ 撮像素子
３３ 遮光素子
４１ 可視光画像取得部（第１画像取得部）
４２ 遠赤外線画像取得部（第２画像取得部）
４３ 特定部
４４ 遮光エリア設定部
４５ 遮光制御部
４７ レンズ情報取得部
４８ 位置情報取得部
４９ 物体情報取得部
Ｐ１ 可視光画像（第１画像）
Ｐ２ 遠赤外線画像（第２画像）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】