特許 7541137 赤外線（ＩＲ）カットフィルタの切替え制御

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-19

(45)【発行日】2024-08-27

(54)【発明の名称】赤外線（ＩＲ）カットフィルタの切替え制御

(51)【国際特許分類】

   H04N 23/12 20230101AFI20240820BHJP

   H04N 23/667 20230101ALI20240820BHJP

   H04N 23/55 20230101ALI20240820BHJP

   H04N 23/56 20230101ALI20240820BHJP

【ＦＩ】

H04N23/12

H04N23/667

H04N23/55

H04N23/56

【請求項の数】 14

【外国語出願】

(21)【出願番号】P 2023014743

(22)【出願日】2023-02-02

(65)【公開番号】P2023115904

(43)【公開日】2023-08-21

【審査請求日】2024-07-08

(31)【優先権主張番号】22155570

(32)【優先日】2022-02-08

(33)【優先権主張国・地域又は機関】EP

【早期審査対象出願】

(73)【特許権者】

【識別番号】502208205

【氏名又は名称】アクシス アーベー

(74)【代理人】

【識別番号】110002077

【氏名又は名称】園田・小林弁理士法人

(72)【発明者】

【氏名】スレッソン， アクセル

(72)【発明者】

【氏名】シンネールグレン， オラ

【審査官】櫃本 研太郎

(56)【参考文献】

【文献】米国特許第９３８６２３０（ＵＳ，Ｂ１）

【文献】中国特許出願公開第１１２７７００２１（ＣＮ，Ａ）

【文献】特開２０１９－２０５０８８（ＪＰ，Ａ）

【文献】特許第６７３２０５９（ＪＰ，Ｂ１）

【文献】特開２０２１－１６８４６５（ＪＰ，Ａ）

【文献】特開２０１０－１６１４５３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２２－５／２５７

Ｈ０４Ｎ ９／００－９／８９８

Ｈ０４Ｎ ２３／００－２５／７９

Ｇ０８Ｂ １３／００－１５／０２

(57)【特許請求の範囲】

【請求項1】

ビデオカメラ（１００）の赤外線カット（ＩＲカット）フィルタ（１０６）を制御して、昼間モードと夜間モードの間で切り替えるための、前記ビデオカメラにおいて実行される方法であって、前記ビデオカメラは、イメージセンサ（１０２）が前記イメージセンサの様々な領域において様々な色成分を検知することを可能にするように構成されたカラーフィルタアレイを有する、イメージセンサ（１０２）を備え、前記方法が、
前記イメージセンサによって受光された周辺光の量および前記イメージセンサによって受光された周辺光の色成分を前記イメージセンサが測定するステップ（１００２、１１０２）であって、前記色成分は、前記色成分に対応する特定の波長間隔内で前記イメージセンサによって受光された周辺光の合計又は積算量を計算することによって決定される、測定するステップと、
前記ビデオカメラが昼間モードにあるとき、
前記イメージセンサによって受光された周辺光の前記色成分を、様々な発光体に関連づけられた色成分の寄与の特性値の第１のセットと比較することによって、シーンに存在し、前記周辺光の強度に寄与する発光体のセットを決定するステップ（１００４）と、
前記イメージセンサによって受光された周辺光の前記量が第１の閾値よりも低いときは、夜間モードに切り替えるステップ（１００６）と、
前記ビデオカメラが夜間モードにあるとき、
前記イメージセンサによって受光された周辺光の前記色成分を、様々なＩＲ光比率に関連づけられた色成分の寄与の特性値の第２のセットと比較することによって、前記イメージセンサによって受光された前記周辺光のＩＲ光比率を決定するステップ（１１０６）と、
決定された前記ＩＲ光比率および前記イメージセンサによって受光された周辺光の前記量に基づいて、可視光強度を決定するステップと、
前記可視光強度が第２の閾値よりも高いときは、昼間モードに切り替えるステップ（１１０８）と
を含み、
特性値の前記第２のセットが発光体ごとに複数の特性値を含むように、決定された前記発光体のセットのうちの各発光体の波長スペクトルを、いくつかの異なるレベルのＩＲ光のスペクトルと混合することによって、特性値の前記第２のセットを取得し、前記第２のセット内の特性値ごとの前記ＩＲ光比率が、前記発光体の前記スペクトルからのＩＲ光と追加された前記レベルのＩＲ光の前記スペクトルからのＩＲ光との両方を含むことを特徴とする、方法。

【請求項2】

前記ＩＲカットフィルタが、昼間モードにおいてはＩＲ光が前記イメージセンサに到達することを阻止し、夜間モードにおいてはＩＲ光が前記イメージセンサに到達できるようにする、請求項１に記載の方法。

【請求項3】

前記カラーフィルタアレイは、前記イメージセンサが３つの異なる色成分を測定することを可能にするように構成される、請求項１に記載の方法。

【請求項4】

３つの前記色成分が、赤色、青色、および緑色である、請求項３に記載の方法。

【請求項5】

前記色成分と特性値の前記比較が、
第３の色成分、または第１、第２若しくは前記第３の色成分の合計に対する前記第１の色成分の第１の比、および前記第３の色成分、または前記第１、前記第２若しくは前記第３の色成分の合計に対する前記第２の色成分の第２の比を取得することと、
取得された前記比を、比の対応する特性値と比較することと
を含む、請求項１に記載の方法。

【請求項6】

発光体の前記セットを決定する前記ステップが、様々な発光体に関連づけられた特性値の前記第１のセットを含む第１のチャートにアクセスすることを含む、請求項１に記載の方法。

【請求項7】

前記ＩＲ光比率を決定する前記ステップが、様々なＩＲ光比率に関連づけられた特性値の前記第２のセットを含む第２のチャートにアクセスすることを含む、請求項１に記載の方法。

【請求項8】

前記方法が、所定の時間間隔で繰り返し実行される、請求項１に記載の方法。

【請求項9】

前記第１の閾値が、前記第２の閾値よりも低い、請求項１に記載の方法。

【請求項10】

ＩＲ光の前記いくつかの異なるレベルが、少なくとも３つの異なるレベルを含む、請求項１に記載の方法。

【請求項11】

前記いくつかの異なるレベルのＩＲ光の前記スペクトルが、前記ビデオカメラの近傍に取り付けられたＩＲ ＬＥＤ照明ユニット（１１６）の波長スペクトルに対応する、請求項１に記載の方法。

【請求項12】

ビデオカメラ（１００）であって、当該ビデオカメラが、
イメージセンサ（１０２）が前記イメージセンサの様々な領域において様々な色成分を検知することを可能にするように構成されたカラーフィルタアレイを有するイメージセンサ（１０２）であって、前記イメージセンサは、前記イメージセンサによって受光された周辺光の量および前記イメージセンサによって受光された前記周辺光の色成分を測定するように構成され、且つ前記色成分は、前記色成分に対応する特定の波長間隔内で前記イメージセンサによって受光された周辺光の合計又は積算量を計算することによって決定される、イメージセンサと、
前記ビデオカメラによって制御されて、昼間モードと夜間モードの間で切り替えるように構成された赤外線カット（ＩＲカット）フィルタ（１０６）と
を備え、
前記ビデオカメラが昼間モードにあるとき、
前記イメージセンサによって受光された周辺光の前記色成分を、様々な発光体に関連づけられた色成分の寄与の特性値の第１のセットと比較することによって、シーンに存在し、前記周辺光の強度に寄与する発光体のセットを決定し、
前記イメージセンサによって受光された周辺光の前記量が第１の閾値よりも低いときは、夜間モードに切り替え、
前記ビデオカメラが夜間モードにあるとき、
前記イメージセンサによって受光された周辺光の前記色成分を、様々なＩＲ光比率に関連づけられた色成分の寄与の特性値の第２のセットと比較することによって、前記イメージセンサによって受光された前記周辺光のＩＲ光比率を決定し、
決定された前記ＩＲ光比率および前記イメージセンサによって受光された周辺光の前記量に基づいて、可視光強度を決定し、
前記可視光強度が第２の閾値よりも高いときは、昼間モードに切り替えるように構成され、
前記ビデオカメラは、特性値の前記第２のセットが発光体ごとに複数の特性値を含むように、決定された前記発光体のセットのうちの各発光体の波長スペクトルを、いくつかの異なるレベルのＩＲ光のスペクトルと混合することによって、特性値の前記第２のセットを取得するように構成され、前記第２のセット内の特性値ごとの前記ＩＲ光比率が、前記発光体の前記スペクトルからのＩＲ光と追加された前記レベルのＩＲ光の前記スペクトルからのＩＲ光との両方を含むことを特徴とする、ビデオカメラ（１００）。

【請求項13】

ＩＲ ＬＥＤ照明ユニット（１１６）をさらに備え、ＩＲ光の前記いくつかの異なるレベルが、前記ＩＲ ＬＥＤ照明ユニットの波長スペクトルに対応する、請求項１２に記載のビデオカメラ。

【請求項14】

処理能力を有するビデオカメラにおいて実行されたときに請求項１から１１のいずれか一項に記載の方法を実施するための命令を記憶した、非一時的なコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、夜間モードと昼間モードの間での赤外線カット（ＩＲカット）フィルタの切替えを制御するために、ビデオカメラにおいて実行される方法に関する。

【背景技術】

【0002】

犯罪行為を抑止するためのビデオ監視などでの比較的従来の目的のためと、交通状況を監視することや物流センタの運営を改善することなどの他の領域の両方で、今日では、デジタルビデオカメラには数多くの使用法が見いだされている。

【0003】

このようなカメラに使用されるイメージセンサは、普通、赤外線（ＩＲ）スペクトルにおいて無視できない成分を有するスペクトル応答を有する。このことを説明するために、図２には、監視カメラに使用される典型的なイメージセンサの異なる３つの色チャネルの相対感度が示してある。

【0004】

低照度の状態では、周辺光のＩＲ成分を使用して、撮像されたシーンについての有用な追加情報を提供することができる。その一方で、ビデオカメラのあらゆる色チャネルが、ＩＲでのスペクトル応答をも有することになり、このことは、ＩＲ放射が実際には赤色よりも長い波長に存在するにもかかわらず、青色、緑色、ならびに赤色のチャネルがすべて、このＩＲ放射を含むようになることを意味するので、この特性によって、カラー撮像がより困難にもなる。この結果、日中の撮像時には、イメージセンサに到達するいかなる赤外線成分も、画像におけるカラーバランスを歪ませることになり、イメージセンサを飽和させる場合もある。さらに、カメラは、到来するあらゆる放射を検知することになるので、露出設定などのパラメータが、良好な画質を維持しないような形で影響を受ける場合がある。

【0005】

歪んだ色および起こり得る飽和という有益ではない影響を抑制しながら、改善された低照度撮像の利点を維持するよく知られた方式は、昼間モード動作中にイメージセンサの前方のビーム経路内に移動可能な赤外線カット（ＩＲカット）フィルタを追加することである。このＩＲカットフィルタは、到来する放射の赤外線部分が、センサに到達するのを阻止する。ＩＲカットフィルタ（ＩＲフィルタと表されることもある）は、昼光状態の間に使用され、カラー画像を取得できるようにする。

【0006】

昼間モードでは、ＩＲカットフィルタが適位置に存在している状態で、イメージセンサの画素は、入射光を個々の光検出器での電荷として検出することができるようになり、各光検出器には、主に赤色、主に緑色、または主に青色の放射を受光するようにカラーフィルタアレイが設けられ、したがって色分解が可能になる。

【0007】

夜間モード、すなわち低照度状態では、ＩＲカットフィルタが取り外される。このことは、スペクトルのＩＲ部分に由来する強度が増加することになり、この増加を使用して画質を改善することを意味する。カメラにはまた、シーンに赤外光を照射し、低照度状態でキャプチャされる画像の画質を改善する、赤外照明ユニットが備えられてもよい。

【0008】

ここでも、ＩＲカットフィルタが取り外され、ＩＲ光がセンサに到達するのをもはや阻止しなくなると、カラー画像を提供できなくなることに留意されたい。前述のように、あらゆる色チャネルがスペクトルのＩＲ部分での応答を有するので、ＩＲカットフィルタがない場合には、ＩＲ放射が、あらゆる色チャネルにおいて強度を増すことになる。これにより、それぞれの色チャネルに未知の要因が加わることによって、色情報が歪められることになる。したがって、夜間モード動作中に色分解を実行する代わりに、到来する放射の合計の強度のみが各画素について記録されることになり、その結果得られる画像は、通常、モノクロームの強度画像として提示されることになる。

【0009】

カメラは、センサによって受光される周辺光の量に基づいて、夜間モードまたは昼間モードが適切かどうか判定することになる。しかし、夜間モードから昼間モードに切り替えるとき、この切替え後に、ＩＲカットフィルタが周辺光のＩＲ部分を遮ると、周辺光レベルが実際には低すぎ、したがって、切り替えて夜間モードに戻るよう促すことをカメラが発見することは珍しくない。これは結果として、夜間モードと昼間モードの間で行ったり来たりする不都合な切替えをもたらす場合があり、さらに、画像の顕著なちらつき、およびＩＲフィルタを動かす機構に不必要な摩耗をもたらす場合がある。

【0010】

このように行ったり来たり繰り返される切替えは、明らかに有益ではないので、切り替える前に追加の評価がカメラによって実行されてもよく、ここで、カメラは、昼間モードへの切替えが賢明であることを確認するために、シーン内の周辺光の総量だけではなく、可視光の量を決定しようと試みる。ここでの１つの選択肢は、（ＩＲカットフィルタを有する）補助的な光センサを使用して、シーン内の可視光を測定することである。この選択肢のマイナス面は、さらなる構成要素をカメラに追加し、さらには最終製品のコストおよび複雑さが増すことである。

【0011】

米国特許第９３８６２３０号には、様々な既知の光源の色温度が、カメラによってキャプチャされる画像から測定された色温度と比較されるという、この問題への取組みが開示してある。昼間モードへの切替えは、合計のルクスレベルが十分に高い場合にのみ実行され、識別された光源が、赤外線含有量が高い太陽光もしくは白熱光として決定されるかどうか、または測定された色温度は、この光源が非ＩＲ光源であると示しているかどうかに応じて、様々なルクス閾値が使用される。

【0012】

赤外線照明ユニットが使用されて、シーンを照明するとき、これにより、ＩＲカットフィルタの切替えをいつ実行すべきか推定するのがさらに複雑となる。米国特許第９３８６２３０号では、この状況は、追加された赤外線照明のレベルが大幅に低下するまで測定を実行するのを控えることによって対処され、したがって、ルクスレベルに大きく寄与することはない。

【0013】

本発明は、特に赤外線照明ユニットが存在する場合に、取得された画像またはビデオ内のＩＲの比率の推定に基づいて、夜間モードから昼間モードへの切替えが賢明かどうか判定する方法に関する。

【先行技術文献】

【特許文献】

【0014】

【文献】米国特許第９３８６２３０号

【発明の概要】

【0015】

本発明の目的は、夜間モード中に監視されるシーンでの可視光の量をより良好に推定することによって、昼間モードと夜間モードの間での切替えを容易にすることである。

【0016】

第１の態様によれば、ビデオカメラの赤外線カット（ＩＲカット）フィルタを制御して、昼間モードと夜間モードの間で切り替えるための、ビデオカメラにおいて実行される方法であって、このカメラは、イメージセンサが、このセンサの様々な領域において様々な色成分を検知することを可能にするように構成されたカラーフィルタアレイを有するイメージセンサを備え、この方法が、周辺光強度および周辺光の色成分をイメージセンサが測定するステップと、昼間モードにおいては、この色成分を、様々な発光体に関連づけられた特性値の第１のセットと比較することによって、シーンに存在し、周辺光強度に寄与する発光体のセットを決定するステップと、この周辺光強度が第１の閾値よりも低いときは、夜間モードに切り替えるステップと、夜間モードにおいては、この色成分を、様々なＩＲ光比率に関連づけられた特性値の第２のセットと比較することによって、周辺光強度のＩＲ光比率を決定するステップと、決定されたこのＩＲ光比率および周辺光強度に基づいて、可視光強度を決定するステップと、可視光強度が第２の閾値よりも高いときは、昼間モードに切り替えるステップとを含み、特性値の第２のセットが発光体ごとに複数の特性値を含むように、決定された発光体のセットのうちの各発光体の波長スペクトルを、追加されたＩＲ光の複数の所定の強度レベルと混合することによって、この特性値の第２のセットを取得し、第２のセット内の特性値ごとのＩＲ光の比率が、発光体からのＩＲ光とＩＲ光の追加された強度レベルとの両方を含む、方法が提供される。

【0017】

この方法を使用して、いつカメラを昼間モードに切り替えるかについて、より良好な情報に基づく決定を下すことが可能になり、シーン内の強いＩＲ光によってシーン内の可視光の量の判断を誤ることにより、タイミング悪く昼間モードに切り替えることによって引き起こされる、ＩＲフィルタの行ったり来たりする切替えが少なくなる。特性値の第２のセットは、追加されたＩＲ光を有するシーンでの光源についてのシミュレートされた値を含むので、周辺光の測定された強度は、大部分がＩＲに起因するか、大部分が目に見えるか、またはその間のどこかにあるのかを推定することが可能になる。

【0018】

特性値の第２のセットを、光源のセットに関連づけられた値のみに制限し、シーン内の光に寄与する値のみに制限することにより、特性値の第２のセット内の特性値の数が、測定値と比較するときに、有用で明確な結果を高い確率で与えることになる合理的な量まで低減されることになる。

【0019】

対照的に、いくつかの異なるＩＲ光強度レベルと混合される、場合によっては利用可能なあらゆる光源が使用されたはずの場合、数多くの結果が互いに部分的に重なり合うことになっていたはずであり、どの値が関連するかの決定が非常に不確かであるとみなすことになるので、任意の種類の実用的な有用性を可能にするには、そうした値を提示するチャートがあまりにも密集しすぎていたはずである。その代わりに、昼間モードでのシーン内の光に寄与していると判定される光源のセットにまで、この光源を低減することによって、はるかに低密度に存在する特性値のチャートが夜間モードにおいて提供され、これにより、どの光源が、またより重要なことには、どのレベルのＩＲ光がシーンに存在しているのかを決定することが可能になる。

【0020】

この説明全体を通して、撮像における標準的技法であることから、ＩＲおよびＮＩＲという用語を両方とも使用することに気付くかもしれない。しかし、実際は、カラーフィルタアレイの特性と組み合わせた、センサのスペクトル応答に起因して、本発明の様々な態様に関連するのは、ＩＲ光のこのＮＩＲ部分のみとなる。スペクトルの目に見える部分、ならびに赤外領域の他の部分、すなわちＮＩＲ領域の外側の両方において撮像を実行したカメラが利用可能となる場合、本明細書に記載の方法が等しく有用となるはずである。しかし、今日の技術では、可視スペクトル領域およびＮＩＲスペクトル領域の外側での撮像は、他のタイプの撮像装置、すなわち、たとえばマイクロボロメータを使用するサーモグラフィカメラまたはサーマルカメラによって実行され、このようなカメラでは、ＩＲカットフィルタは通常、使用に関わることはなく、したがって、そうしたタイプのカメラにおいて本発明は使用されない。したがって、「赤外線」または「ＩＲ」という用語が本明細書において使用されるとき、当業者には、光スペクトルの近赤外線（ＮＩＲ）領域での放射と解釈されることになる。

【0021】

ＩＲカットフィルタは、昼間モードにおいてはＩＲ光がカメラのイメージセンサに到達することを阻止し、夜間モードにおいてはＩＲ光がイメージセンサに到達できるようにするように構成される。

【0022】

カラーフィルタアレイは、赤色、青色、および緑色でもよい３つの異なる色成分を、センサが測定することを可能にするように構成されてもよく、これは普通に使用される設定であり、標準的な構成要素が利用可能である。

【0023】

色成分と特性値の比較は、第１の色成分とその他の色成分のうちの１つまたは複数の色成分との第１の比、および第２の色成分とその他の色成分のうちの１つまたは複数の色成分との第２の比を取得することと、取得されたこの比率を、比率の対応する特性値と比較することとを含んでもよい。

【0024】

これは、２つの特性値のみを使用して、たとえば３つの色成分を考慮に入れる可能性を与えることになり、比較を実行するのがより容易になることを意味する。

【0025】

発光体のセットを決定するステップは、第１のマトリックステーブルでの探索、すなわち様々な発光体に関連づけられた特性値を含む第１のチャートにアクセスすることを含んでもよく、ＩＲ光比率を決定するステップは、第２のマトリックステーブルでの探索、すなわち様々なＩＲ光比率に関連づけられた特性値を含む第２のチャートにアクセスすることを含んでもよい。これらの選択肢の両方とも、比較するためにそれぞれの特性値を記憶およびアクセスする効率的な方式を実現することになる。

【0026】

この方法は、所定の時間間隔で繰り返し実行されてもよい。このようにして、照明環境の変化が考慮に入ることになり、最新情報が常に利用可能となる。

【0027】

第１の閾値は、第２の閾値より低くてもよい。このようにして、安全マージンを取り入れることによって、行ったり来たりする切替えが回避され、その結果、モード間の切替えが実行されたときに、周辺光強度がわずかに変動する場合でも、カメラが直ちに切り替わって元に戻ることにはならない。さらには、これにより、画像のちらつきを回避することによって、画質およびユーザ体験が改善することになる。

【0028】

ＩＲ光の所定の複数の強度レベルは、少なくとも３つの異なる強度レベルを含むことが好ましい。このようにして、示されたシーンでの周辺光にどのＩＲ比率が対応するかを、より正確に決定することが可能になる。

【0029】

ＩＲ光強度の複数の所定のレベルは、カメラの近傍に取り付けられたＩＲ ＬＥＤ照明ユニットの波長スペクトルに対応する波長スペクトルのＩＲ光を含むことが好ましい。このようにして、夜間モードにおいて比較するために使用される特性値は、測定値とより近く一致することになる。

【0030】

本発明の第２の態様によれば、イメージセンサが、このイメージセンサの様々な領域において様々な色成分を検知することを可能にするように構成されたカラーフィルタアレイを有するイメージセンサであって、周辺光強度およびこの周辺光の色成分を測定するように構成されたイメージセンサと、ビデオカメラによって制御されて、昼間モードと夜間モードの間で切り替えるように構成された赤外線カット（ＩＲカット）フィルタとを備えるビデオカメラであって、昼間モードにおいては、この色成分を、様々な発光体に関連づけられた特性値の第１のセットと比較することによって、シーンに存在し、周辺光強度に寄与する発光体のセットを決定し、この周辺光強度が第１の閾値よりも低いときは、夜間モードに切り替え、夜間モードにおいては、この色成分を、様々なＩＲ光比率に関連づけられた特性値の第２のセットと比較することによって、周辺光強度のＩＲ光比率を決定し、決定されたこのＩＲ光比率および周辺光強度に基づいて、可視光強度を決定し、可視光強度が第２の閾値よりも高いときは、昼間モードに切り替えるように構成され、特性値の第２のセットが発光体ごとに複数の特性値を含むように、決定された発光体のセットのうちの各発光体の波長スペクトルを、追加されたＩＲ光の複数の所定の強度レベルと混合することによって、この特性値の第２のセットを取得するように構成され、第２のセット内の特性値ごとのＩＲ光の比率が、発光体からのＩＲ光とＩＲ光の追加された強度レベルとの両方を含むことを特徴とする、ビデオカメラが提供される。

【0031】

ビデオカメラは、ＩＲ ＬＥＤ照明ユニットを備えてもよく、ＩＲ光強度の複数の所定のレベルは、このＩＲ ＬＥＤ照明ユニットの波長スペクトルに対応する波長スペクトルのＩＲ光を含む。ＩＲ ＬＥＤ照明ユニットは、暗い時間帯では比較的良好な画質をもたらし、ＩＲ光強度の所定のレベルをＬＥＤの波長スペクトルに一致させることによって、周辺光に含まれる可視光の量の決定がより厳密になる。

【0032】

本発明の第３の態様によれば、処理能力を有する装置で実行されると、この方法を実施するための命令を記憶した、非一時的なコンピュータ可読記憶媒体が提供される。

【0033】

第１の態様による方法の前述の特徴は、適用可能な場合、この第２の態様および第３の態様にもまた適用される。必要以上の繰返しを避けるために、上記を参照する。

【0034】

本発明の適用可能性のさらなる範囲が、以下に示す詳細な説明から明白になろう。しかし、この詳細な説明からは、本発明の範囲内での様々な変更形態および修正形態が当業者に明らかとなるので、本発明の好ましい実施形態を示しながら、もっぱら例として詳細な説明および具体例を提示することを理解されたい。

【0035】

したがって、本発明は、記載された装置の特定の構成部品、または記載された各方法の動作に限定されるものではなく、したがって、このような装置および方法は変化してもよいことを理解されたい。本明細書において使用される専門用語は、もっぱら具体的な実施形態を説明するためのものであり、限定するものではないことも理解されたい。本明細書および添付の特許請求の範囲で使用されているように、冠詞「ａ」、「ａｎ」、「ｔｈｅ」、および「ｓａｉｄ」は、文脈から明らかにそうでないことが示されていなければ、各要素のうち１つまたは複数の要素が存在することを意味するものであることを留意しなければならない。したがって、たとえば、「１つのユニット（ａ ｕｎｉｔ）」または「そのユニット（ｔｈｅ ｕｎｉｔ）」への言及は、いくつかの装置などを含んでもよい。さらに、「ｃｏｍｐｒｉｓｉｎｇ」、「ｉｎｃｌｕｄｉｎｇ」、「ｃｏｎｔａｉｎｉｎｇ」という用語、および同様の言い回しは、他の要素またはステップを排除するものではない。

【0036】

次に、本発明の現時点で好ましい実施形態が示してある添付図面を参照して、以下に本発明をより完全に説明する。しかし、本発明は、数多くの様々な形態で実施されてもよく、本明細書に記載の実施形態に限定されるものと解釈すべきではなく、むしろ、これらの実施形態は、徹底して完全なものにするために、また当業者に本発明の範囲を十分に伝えるために提示される。

【図面の簡単な説明】

【0037】

【図1】ビデオカメラを示す図である。

【図2】スペクトル応答曲線を示す図である。

【図3】監視されるシーンの一例を示す図である。

【図4】様々な光源スペクトルを示す図である。

【図5】ＩＲが加わった様々な光源スペクトルを示す図である。

【図6】いくつかの光源の特性値を示すチャートである。

【図7】ＩＲカットフィルタがオン（定位置にある）状態、およびオフ（取り外された）状態での、カメラのスペクトル応答曲線を示す図である。

【図8a】ＩＲカットフィルタがオフの状態で、図７のスペクトル応答曲線に重ね合わされた、Ｄ７５光源のスペクトルを示す図である。

【図8b】図８ａのスペクトル応答曲線を乗じた、図８ａのＤ７５スペクトルを示す図である。

【図9a】様々な量の追加されたＩＲを有するＤ６５光源のスペクトルを示す図である。

【図9b】図９ａでのスペクトルにおける、いくつかの特性値を含むチャートである。

【図10】昼間モード動作用の方法を示す図である。

【図11】夜間モード動作用の方法を示す図である。

【発明を実施するための形態】

【0038】

図１には、監視カメラ１００が示してある。このカメラは、イメージセンサ１０２、および監視されるシーンをイメージセンサ１０２上に撮像する撮像光学装置１０４を有する。

【0039】

イメージセンサ１０２は、複数の撮像画素を含み、各撮像画素は、スペクトル領域内の放射に対して感度がよい。近紫外から近赤外（ＮＩＲ）までの範囲に及ぶスペクトル領域内で、また場合によっては、さらに赤外スペクトル領域に至るまで、各画素の感度は等しく高い。

【0040】

カラー撮像を実現するために、センサ１０２の前方にカラーフィルタアレイを配置し、このセンサの各画素に、その前方のカラーフィルタを設ける。一般的なタイプのカラーフィルタアレイは、４つの画素の各グループについて、１つの青色カラーフィルタユニット、１つの赤色カラーフィルタユニット、および２つの緑色カラーフィルタユニットを有するベイヤフィルタである。ベイヤフィルタは、光スペクトルのＩＲ領域の少なくとも一部、すなわち近赤外（ＮＩＲ）領域においては透明である。この事実は、イメージセンサ１０２のスペクトル応答と組み合わさって、ＮＩＲ放射がこのイメージセンサの各画素のそれぞれに到達し、画素に影響を及ぼすことになるという影響を有する。前述の通り、このことが図２に示してある。

【0041】

したがって、カラー撮像を可能にするために、センサの前方にＩＲカットフィルタ１０６が配置される。このＩＲカットフィルタは、昼間モードの撮像時に挿入され、夜間モードの撮像時に格納される。

【0042】

キャプチャされた画像は、ビデオストリームを生成するために画像処理パイプライン（ＩＰＰ）１０８において処理され、次いで、このビデオストリームは、画像符号化ユニット１１０において、Ｈ．２６４またはＨ．２６５などの符号化規格に従って符号化され、最終的に、符号化されたこのビデオストリームは、ネットワークインターフェース１１２を介してカメラから送信される。このビデオストリームはまた、このためにカメラに設けられたメモリにローカルに記憶されてもよい。

【0043】

中央処理装置（ＣＰＵ）１１４は、カメラ１００の動作を制御する。現実の状況では、ＣＰＵの機能は、たとえば、グラフィック処理装置（ＧＰＵ）を備えるいくつかの異なるユニットにわたって分散されてもよいが、この説明の目的のために、単一のユニットのみが示してある。

【0044】

ＩＲ照明器１１６の形式での照明ユニットが設けられて、夜間モードにあるときのカメラの撮像能力をさらに改善する。図示された実施形態では、たとえば、１つまたは複数のＩＲ ＬＥＤの形式でのＩＲ照明器１１６は、カメラ１００と統合されるが、このカメラ１００によって制御される独立型照明器として、または別個のユニットとして設けられてもよい。ＩＲ照明器１１６は、通常、８５０ｎｍまたは９４０ｎｍを中心とする波長間隔で照明する。後者の間隔は、人間の目には見えないが、前者は、その場にいる人間には赤色発光として知覚される場合がある。

【0045】

図３には、カメラ１００によって撮像されたシーン３００が示してあり、ここでは家３０４の並びに向かって人３０２が歩いている。本発明では、照明の状況に留意することが関心事である。このシーンにおける潜在的な光源は、燈柱３０６、家３０４のうちの１つの家への入口上方の照明設備３０８、および、ろうそく３１２、ランプ３１４、クリスマスツリーの豆電球３１６など、家３０４の窓３１０の内側にある光源によって設けられる。このような人工光源に加えて、太陽も、夜明け、昼間、および夕暮れどきの重要な光源であり、月３１８から反射されるときには間接光源の役割を果たす。花火３２０や自動車３２２のヘッドライトなど、間欠的な性質をもつ他の光源も、時々このシーンに現れる場合がある。

【0046】

シーン内の光源の一部は、可視スペクトルでの増加する光へのその寄与に加えて、ＩＲまたはＮＩＲのスペクトル内のスペクトル成分を有する。これは、ランプ３１４内に存在する白熱ランプ（タングステンフィラメントを有する普通の電球）の場合、および火の付いたろうそく３１２と同様の燃えている炎の場合、ならびに太陽光の場合においてもそうである。

【0047】

既に説明したように、カメラ１００にはＩＲ照明器１１６が備えられており、このＩＲ照明器は、通常、ＩＲカットフィルタ１０６が取り外されるときに夜間モードで起動され、このカメラは、近赤外から赤外のスペクトルの少なくとも一部をも使用して撮像を実行する。したがって、夜間モードにおいては、カメラ１００に利用可能な照明は、ＩＲ照明器１１６からの照明と組み合わせた、シーン３００での任意の光源からの光から構成されることになり、シーン内の光源からの光は、スペクトルの可視部分とＩＲ部分の両方に存在する場合がある。

【0048】

本発明の重要な目的、すなわち、夜間モード（ＩＲカットフィルタなし）から昼間モード（ＩＲカットフィルタあり）への切替えをいつ実行するのが賢明なのかを決定することに戻ると、夜間モードの撮像中に存在するＩＲ成分によって、このことが重要なタスクとなる。夜間モードでの高強度のＩＲ照明は、実際、ＩＲカットフィルタを挿入することによって、取得された画像が非常に暗くなるときに、シーンが良好に照明されている場合と同様に、容易に見えるようにすることもできる。

【0049】

単純であるが、同時にわずかに実用的ではない手法は、ＩＲカットフィルタを単に挿入し、状況を評価し、次いで、光レベルが低すぎる場合に、フィルタを再び格納するか、またはカメラの制御下で任意のＩＲ照明器を一時的に遮断し、評価を実行することである。しかし、両方の選択肢とも、ビデオストリームにおける目に見える効果なしには実行することが困難であり、通常は、背景技術の段落で述べた、邪魔になるちらつき効果をもたらすことになる。

【0050】

ＩＲフィルタの切替えを制御するための、より良好でより効率的な方式を提供するためには、シーンにおいてどの光源が能動状態にあるかについての情報が関心の対象となるはずである。光源は一般に、そのスペクトル成分、または色温度によって特徴づけることができる。画像のスペクトル成分はさらに、イメージセンサのスペクトル応答、およびカメラにおいて使用されるレンズやフィルタなどの光学素子の効果を介して、光源のスペクトル成分に結び付けられる。すなわち、画像のスペクトル成分は、シーンに存在する照明と、カメラの特性、特にイメージセンサのスペクトル応答との両方に依存することになる。

【0051】

前述の通り、後者は、イメージセンサの典型的なスペクトル応答が示してある図２に例示されている。図２でのグラフには、青色２０２、緑色２０４、および赤色２０６の波長の関数として、各色チャネルのスペクトル応答（すなわち、スペクトル感度）が示してある。このグラフにおいて、ＩＲカットフィルタが取り外された（「オフ」）とき、すなわち夜間モードにおいては、色チャネルに関係なく、ＮＩＲ領域でのスペクトル応答が存在し、８５０ｎｍを超えると、この応答が概ね等しいことに留意することは興味深い。また、応答の大きさから、ＩＲまたはＮＩＲを含むことが、シーンの撮像にどのように著しく追加される場合があるのかが明らかである。

【0052】

その一方で、図４には、いくつかの異なる一般的な光源についてのスペクトル成分の図４００が示してあり、ここでＡは黒体放射体であり、Ｆ１２は標準化された蛍光灯であり、Ｄ６５はシミュレートされた昼光スペクトルであり、図５には、可視光ＬＥＤのスペクトル成分が、様々な強度のＮＩＲ ＬＥＤ（８５０ｎｍ）と組み合わされた別の図５００が示してある。

【0053】

スペクトル成分の特徴づけを圧縮するための、好都合で、ホワイトバランス調整との関連でよく知られている方式は、様々な色成分の寄与、すなわち、この色成分に対応する特定の波長間隔内の強度の合計すなわち積算量を見ることである。

【0054】

一般に、色成分は、赤色、緑色、および青色であるが、他の色成分を有する他の何らかの色空間を使用することも可能になるはずである。通常、ｒ／ｇおよびｂ／ｇ、またはｒ／（ｒ＋ｂ＋ｇ）およびｂ／（ｒ＋ｂ＋ｇ）など、成分間の異なる２つの比が使用されて特徴づけを実行し、これにより、３つすべての色成分からの情報を依然として維持しながら、２次元チャートまたはマトリックステーブルでの座標に特徴づけすることの複雑さが低減する。

【0055】

図６には、あらゆる色成分の和で除算した赤色成分の値、およびあらゆる色成分の和で除算した青色成分の値が、Ｄ７５の光源（北の空の昼光）については６０２において、ＬＥＤ光源については６０４において、蛍光光源については６０６において、またタングステン光源（すなわち、電球）については６０８においてプロットされた、このようなチャートの一例が示してある。それぞれの値の周りの円には、変動が生じる場合があるという事実、および現実のシーンからの測定値において全く同じ特徴値を見いだせない場合でも、ある特定の光源へのマッピングが実行される場合があるという事実が表してある。

【0056】

図６でのチャートは、シーン内に２つ以上の光源が存在するときに使用することも可能である。その場合には、測定値は、たとえば、おそらく２つまたは３つの光源の混合を表すことになる。このような状況では、チャートにおける測定値までの最短のユークリッド距離を有する光源が存在すると判定することができる。測定値までの最短のユークリッド距離を有する光源をまず選択し、次いで、同様にたとえばこの最短距離の３倍よりも短いユークリッド距離を有するすべての光源を備えるなど、より巧妙な他の方法を使用してもよい。関連するどの光源を備えるべきかを選択する、様々な他の方法も実行可能である。

【0057】

発明者らが気づいたように、光源の既知の特性値と、キャプチャされた画像の対応する値との比較に基づいて、昼間モードにおけるシーンでの照明に寄与する特定の光源を推定することは、かなり容易であり、すなわち、ＩＲ成分を無視することができるときには、夜間モードにおいて、特に、強いＩＲまたはＮＩＲの照明器が存在しない場合に、この方法を利用することは簡単ではない。

【0058】

発明者らは、夜間モードにおける特性値を比較する同じ原理を使用することを可能にする有用な洞察をおこなってきたが、ＩＲ照明ユニットが存在する場合にも、夜間モードの分析を実行することができるようにする重要な修正を伴う。

【0059】

初めに、夜間モードに切り替える直前に実行される昼間モードの分析によって、シーンに存在すると判定された光源のみが、夜間モードでの比較に含まれる。このようにして、実現可能なあらゆる光源が考慮される場合よりも、測定値を比較するためのはるかにまばらに存在するチャートが存在することになる。

【0060】

昼間モードにおいて能動状態にあると判定された光源のそれぞれについて、修正された特性値のセット（本明細書においては、特性値の第２のセットとも呼ばれる）が提供され、いくつかの異なるレベルの強度でのＩＲ照明波長スペクトルが、それぞれの光源スペクトルに追加され、修正された特性値が、修正されたこれらのスペクトルから計算される。追加されたこのＩＲ照明レベルは、ＩＲ ＬＥＤ照明ユニット１１６などのＩＲ照明ユニットからの照明を表す。

【0061】

１つの選択肢として、修正されたこれらの特性値は、まず、様々な強度レベルでの追加されたＩＲ成分を有する多種多様な光源についての測定値を有する大規模データベースを準備し、次いで、このデータベースから適切な値を選択することによって決定することもできる。今日では、ホワイトバランス調整用に使用されるデータを準備することとの関連で、このような測定が様々な光源に対して実行され、同様の設定をここで同様に使用することもできる。

【0062】

このような設定では、カメラは、測定されることになる光源の出力を変化させながら、光学的に灰色のターゲットのいくつかの画像をキャプチャするように構成される。ＩＲ照明の段階的な追加も取り入れられる。これらの測定は、ＩＲカットフィルタが挿入された状態、および挿入されていない状態で実行されてもよく、次いで、その結果が分析されて、様々な光設定の特性値を見つける。この設定は、カメラ自体のスペクトル応答をマッピングするのに使用されてもよい。次いで、カメラは、１０ｎｍの半値全幅（ＦＷＨＭ）などを有する狭帯域放射に露光され、この狭帯域放射は、ＩＲカットフィルタが配置された状態および配置されていない状態で、（カラーフィルタアレイがカメラの前方に配置された状態で）カメラのスペクトル範囲全体にわたって走査され、図２に示してあるものと同様の結果が生まれる。

【0063】

しかし、追加されたＩＲ強度の様々なレベルを有する数多くの異なる光源に対して、このような測定を実行する代わりに、はるかに好都合なプロセスは、様々な強度レベルでのＩＲ照明スペクトルを有するそれぞれの光源スペクトルの混合を計算し、次いで、ＩＲフィルタが取り外された状態でのこれらの様々なスペクトルに、イメージセンサがどのように応答することになるかを決定するための別の計算を実行する結果として生じるスペクトルから、修正された特性値を決定することである。

【0064】

先に述べたように、イメージセンサは、あらゆる色チャネル全体にわたってＩＲに対して感度が高く、このことが図２に示してある。図７では、カメラのスペクトル応答７００が、夜間モード、すなわちＩＲカットフィルタが取り外された状態と、昼間モード、すなわちＩＲカットフィルタが適位置にある状態との両方で示してある。図７でのスペクトル応答は、図２に示してあるスペクトル応答とはある程度異なるが、それというのも、この説明図は、異なるイメージセンサおよび異なる光学装置を有する、異なるカメラからのものだからである。

【0065】

ＩＲカットフィルタが適位置にある状態、およびＩＲカットフィルタが取り外された状態での、カメラでのスペクトル応答を、一度に１つの色チャネルについて、生成されたスペクトルのそれぞれと乗算し、次いで、色チャネルごとに加算または統合することによって、光源ごとの様々なＩＲ照明レベルにおける修正された特性値が、その特定の値に関連づけられたＩＲ比率と同様に決定される。前述の通り、このＩＲ比率は、追加されたＩＲ照明と、それぞれの光源のＩＲ成分との両方を含むことになる。

【0066】

より詳細には、この計算は、生成されるスペクトルのそれぞれについて、以下のように実行される。

【0067】

ＩＲカットフィルタがオフの状態でのスペクトル応答に、生成されたスペクトルを乗算し、あらゆる色成分の和（通常は、Ｒ＋Ｂ＋Ｇ）を決定することによって、光の総量が計算される。

【0068】

ＩＲカットフィルタが適位置にある状態でのスペクトル応答に、生成されたスペクトルを乗算し、あらゆる色成分の和を決定することによって、可視光の量が計算される。

【0069】

可視光の量を光の総量で除算することによって可視分が計算され、１からこの可視分を減算することによって、ＩＲ分が計算される。

【0070】

そのＩＲ分に関連づけられた特性値（たいていの場合、２次元チャートでの座標）は、ＩＲカットフィルタがオフの状態で計算された色成分から、たとえば、Ｒ／（Ｒ＋Ｂ＋Ｇ）およびＢ／（Ｒ＋Ｂ＋Ｇ）として決定される。

【0071】

このような計算の基礎は、４０％のＩＲを有する、すなわちスペクトルのＩＲ部分の強度が光源の合計の強度の４０％である、北の空の昼光に対応する単一の光源Ｄ７５について図８に示してある。図８ａには、ＩＲ成分を有するＤ７５光源のスペクトル成分と、ＩＲカットフィルタのないカメラのスペクトル応答との両方が示してある。図８ｂには、Ｄ７５スペクトルと色チャネルのスペクトル応答のそれぞれとの間の乗算の結果が示してある。

【0072】

図９ａおよび図９ｂには、様々なレベルのＩＲ照明と混合された、西欧／北欧での平均的な昼光に対応する、別の光源Ｄ６５が示してある。図９ａには、いくつかのレベルの追加されたＩＲ光と混合されるときの、Ｄ６５光源の波長スペクトルが示してある。説明を明確にするために、この図では、ｙ軸の上部が切り取られていることに留意してもよい。実際には、追加されたＩＲのさらに高いレベルにおけるスペクトル曲線は、はるかに高い量まで続いている。

【0073】

図７に示すように、これらの曲線は、次いで、ＩＲカットフィルタがオフの位置にある状態でセンサからのスペクトル応答で乗算され、色成分ごとの強度を最初に加算または統合し、次いで、あらゆる色成分の和に対する青色成分の比、ならびにあらゆる色成分の和に対する赤色成分の比を決定することによって、特性値が計算される。これらの計算の結果は、図９ｂでのチャートに視覚化されている。ＩＲのみを含む光源も含まれている。現実の状況においては、追加される赤外照明のレベルは、７０％、８０％、９０％、９５％、９７％、および９８％となるように選択されてもよいことに留意してもよい。

【0074】

図１に示すシーンにおいては、本明細書において提示される方法は、以下のように機能するはずである。

【0075】

カメラが昼間モードにあるとき、測定が実行されて、キャプチャされた画像から周辺光強度、ならびにこの周辺光の色成分を決定する。この色成分の測定値を使用して、前述のｒ／（ｒ＋ｂ＋ｇ）およびｂ／（ｒ＋ｂ＋ｇ）などの特性値を計算し、こうした特性値を、数多くの異なる光源についてのこのような特性値を一覧表示したチャートまたはマトリックステーブルと比較する。測定された画像値と同様の特性値を有する光源は、シーンに存在するか、またはシーン内で能動状態にあると判定され、すなわち、これらはシーン内の光強度に寄与している。

【0076】

各画素についての強度を単に追加することによって、色成分の決定を計算することができる。この動作は、イメージセンサの各画素のすべて、すなわち、描写されるシーン全体に実行されてもよく、またはそのシーンの相対的に小さい領域にのみ実行されてもよい。後者の例では、この相対的に小さい領域は、一様な強度など特定の特徴を有する領域、光学的に灰色であると考えられる領域などでもよい。

【0077】

さらに、画像全体において色チャネルごとに画素値の加算を実行する代わりに、様々なサブ領域において別々に演算を実行することも可能になるはずであり、その場合、この結果得られる色成分の測定値は空間分解能を有することになり、すなわち、各値が画像全体にわたって異なる場合がある。この選択肢を使用して、ＩＲカットフィルタを切り替える決定に影響を及ぼさないはずの、自動車のヘッドライトなど、空間的に制限された任意の光源を選別してもよい。一例として、異常値と見ることもできる、逸脱するこのような測定値が、時間とともに画像のいくつかの特定の領域に繰り返し現れる場合、色成分を決定するときには、これらの領域を無視してもよい。

【0078】

現実の状況においては、この測定は、全日にわたって、毎秒１５回など連続して実行されるはずである。しかし、本発明にとって最も関心の高い測定は、周辺光強度が夜間モードに切り替わるための閾値よりも低いとカメラが判定する時点の近く、すなわちその直前に実行される測定であることに留意されたい。したがって、シーンにおいてどの光源が能動状態にあり、夜間モードに切り替わる直前の（低レベルではあるが）照明に寄与するかの決定は、夜間モードにおいて決定するのに使用される、修正された特性値を有するチャートに入力されることによって、夜間モードから昼間モードへのスイッチバックをいつ実行すべきかを決定するために使用されることになる情報の基礎を形成することになる。

【0079】

図３に示す例に戻ると、シーンに存在する（また、場合によっては能動状態にある）人工光源は、燈柱３０６、照明設備３０８、ろうそく３１２、ランプ３１４、および豆電球３１６である。これらの人工光源に加えて、おそらくは夕日からの寄与が存在し、場合によっては月３１８からの寄与が存在するはずである。先に述べたように、花火３２０および自動車３２２のヘッドライトは、間欠的な性質を有するものであり、測定にさほど寄与することがないはずであり、現時点では無視することができる。

【0080】

夜間モードに切り替わる直前のシーンにおいて存在し、能動状態にあると判定された光源の光源スペクトルのそれぞれは、これまで説明したように、ＩＲ光のいくつかの異なるレベルのスペクトルと混合されることになる。次いで、これらの光源スペクトルと、追加されたＩＲ光レベルとの組合せのすべてについて、特性値、ならびにその特定の組合せでのＩＲのパーセンテージが計算されることになる。追加されたこのＩＲ光レベルは、通常、カメラ１００でのＩＲ ＬＥＤ照明ユニット１１６からの光の様々な強度レベルを表し、追加されたＩＲ光のスペクトルは、カメラおよびその照明ユニットを設定するときに通常知られているＩＲ ＬＥＤ照明ユニットのスペクトルに一致していることが好ましい。

【0081】

これまで説明したように、光源が、そのスペクトルの一部を赤外において有するあらゆる場合において、このＩＲスペクトル部分は、追加されたＩＲ光強度レベルとともに、その光源の合計のＩＲ比率に寄与することになる。

【0082】

ＩＲの合計の比率は、夜間モードのチャートでの特性値のいくつかの異なる組合せに利用可能となる。このような状況においては、光源スペクトルと、追加されたＩＲ光強度レベルとの２つ以上の組合せが、同じ特性値に関連づけられるという可能性の低い場合には、実際的な解決策は、単に、チャートでのその点を、ＩＲ比率のうち最も高い比率に関連づけることになると言ってもよい。

【0083】

測定された特性値がチャート内の値と正確に一致しなくなる原因となる、測定の不正確さなどが存在する場合があるので、様々な方法を使用して、チャート内の最も関連性の高い１つまたは複数の集合点を決定することができる。ちょうど昼間モードのチャートと同様に、単刀直入な選択は、ユークリッド距離を使用し、測定点に最も近い、チャート内の集合点を選択することである。多くの場合、２つ以上の光源が能動状態にあるので（また、そのすべてが、いくつかのレベルのＩＲと組み合わされることによって、チャート内にいくつかの点を生じさせることになるので）、２つ、３つ、または４つの最も近くの集合点を選択することも適切になる場合がある。

【0084】

次いで、利用可能な可視光の量が、ＩＲ光の最も高いパーセンテージに関連づけられたチャート内の点から決定されることになる。次いで、可視光の量は、（１－「チャート内の点に関連づけられたＩＲ比率」）＊「測定された周辺光強度」として決定される。次いで、可視光のこの量を第２の閾値と比較して、昼間モードに切り替わることが適切なのかどうか判定する。可視光の量が第２の閾値よりも低い場合は、切替えが実行されることにはならず、すなわち、ＩＲカットフィルタが適位置に留まることになり、可視光の量が第２の閾値よりも高い場合には、カメラが昼間モードに切り替わり、ＩＲカットフィルタを格納することになる。

【0085】

第１の閾値は、通常、第２の閾値よりも低くなり、場合によっては１／２～１／３の低さになり、他の場合には、第２の閾値は、第１の閾値の４倍に設定されて、安全マージンを実現し、昼間モードと夜間モードの間での行ったり来たりする切替えを回避してもよい。この方策は、ヒステリシス機能を取り入れる方式と見ることができる。本明細書において提示される方法を使用することによって、多くの場合、第１の閾値と第２の閾値の間の距離を短縮することが可能になり、その結果、相対的に少ない安全マージンを必要とするより厳密な決定を実行することができ、さらには、適切な状況において夜間モードおよび昼間モードの使用を可能にすることによって、より良好な画質を実現できることを意味することに留意してもよい。これは、各閾値間の差が、シーン内のＩＲの推定量に部分的に基づいて設定される傾向にあるという事実に起因する。

【0086】

本明細書において説明する方法はまた、昼間モード動作については図１０に、夜間モード動作については図１１に示してある。図１０に示すように、昼間モードの動作中、すなわち、ＩＲカットフィルタが適位置にあるときは、ステップ１００２において、カメラのイメージセンサに到達する周辺光の周辺光強度および色成分が測定される。

【0087】

ステップ１００４では、色成分を光源の特性値と比較することから、周辺光に寄与している光源のセットが決定される。ステップ１００６では、周辺光強度が第１の閾値と比較され、この強度が第１の閾値よりも低い場合は、カメラの動作が夜間モードに切り替えられ、ＩＲカットフィルタが取り外される。周辺光強度が第１の閾値よりも高い場合には、カメラは、やはりステップ１００２～１００４を繰り返すことになる。

【0088】

図１１において、夜間モードでの動作を説明する。初めに、ステップ１１０２において、決定された光源のセットを、異なるレベルのＩＲ光と組み合わせることによって、特性値の第２のセットが決定される。その結果得られる値が、特性値の第２のセット（この説明では、修正された特性値とも呼ばれる）を形成する。

【0089】

ステップ１１０４では、昼間モード中でのステップ１００２と同様に、周辺光の周辺光強度および色成分が測定される。次のステップ１１０６では、色成分と特性値の第２のセットとを比較することによって、周辺光でのＩＲの比率が決定され、これによって、イメージセンサに到達する可視光強度が推定される。

【0090】

ステップ１１０８では、この推定された可視光強度が、第２の閾値と比較され、この可視光の量がこの第２の閾値よりも高い場合、カメラは昼間モードに切り替わり、ＩＲカットフィルタを挿入する。この可視光の強度がこの閾値を下回る場合、カメラは、夜間モードに留まり、ステップ１１０４～１１０８を繰り返すことになる。

【0091】

要するに、本明細書に記載されているのは、カメラにおいて昼間モードでの撮像と夜間モードでの撮像との間でのより良好に制御された切替えを実行する方法であり、ここで、夜間モード中での可視光を決定するとき、昼間モードでの周辺光に寄与する発光体が考慮される。これらの発光体の特性値は、いくつかのレベルのＩＲ光と混合されて、ＩＲ照明器の存在をシミュレートし、これらの特性値は、夜間モードにおける周辺光の色成分から得られた対応する値と比較されて、ＩＲ比率を決定し、そこから可視光の量を決定する。

【0092】

最後になるが、開示された実施形態に対する他の変形形態は、各図面、本開示、および添付の特許請求の範囲を検討することから、特許請求される本発明を実施する際に当業者が理解することができ、また実現することができると言わなければならない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8a】

【図8b】

【図9a】

【図9b】

【図10】

【図11】