特許 5981053 シーン適応型自動露出補正を伴う撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5981053

(24)【登録日】2016年8月5日

(45)【発行日】2016年8月31日

(54)【発明の名称】シーン適応型自動露出補正を伴う撮像装置

(51)【国際特許分類】

   H04N 5/238 20060101AFI20160818BHJP

   H04N 5/232 20060101ALI20160818BHJP

   G03B 7/091 20060101ALI20160818BHJP

   G03B 17/02 20060101ALI20160818BHJP

   G03B 15/00 20060101ALI20160818BHJP

【ＦＩ】

   H04N5/238 Z

   H04N5/232 Z

   G03B7/091

   G03B17/02

   G03B15/00 S

【請求項の数】18

【全頁数】15

(21)【出願番号】特願2015-551938(P2015-551938)

(86)(22)【出願日】2013年1月28日

(65)【公表番号】特表2016-510532(P2016-510532A)

(43)【公表日】2016年4月7日

(86)【国際出願番号】CA2013050060

(87)【国際公開番号】WO2014110654

(87)【国際公開日】20140724

【審査請求日】2016年1月21日

(31)【優先権主張番号】61/752,889

(32)【優先日】2013年1月15日

(33)【優先権主張国】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】511210637

【氏名又は名称】アビジロン コーポレイション

(74)【代理人】

【識別番号】100086771

【弁理士】

【氏名又は名称】西島 孝喜

(74)【代理人】

【識別番号】100088694

【弁理士】

【氏名又は名称】弟子丸 健

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100109335

【弁理士】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(74)【代理人】

【識別番号】100122563

【弁理士】

【氏名又は名称】越柴 絵里

(72)【発明者】

【氏名】アフローズ シーナ

(72)【発明者】

【氏名】スン グオチェン

【審査官】 井亀 諭

(56)【参考文献】

【文献】 特開２０１３−１９７８９２（ＪＰ，Ａ）

【文献】 特開２００４−１８０３０８（ＪＰ，Ａ）

【文献】 特開２０１０−１５３９４７（ＪＰ，Ａ）

【文献】 特開２０００−３４８１６３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３８

Ｇ０３Ｂ ７／０９１

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ １７／０２

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

一連の画像に対する自動露出動作において自動露出目標を調整する方法であって、
（ａ）画像のヒストグラムを取得する前に、前記画像内の一定期間にわたって飽和閾値を選択回数超えた画素を識別し、該識別された画素にマスクを適用することにより、前記画像内の静止又はほとんど静止した背景飽和画素をマスク処理して、該マスク処理された画素が前記ヒストグラムに含まれないようにするステップと、
（ｂ）前記画像の前記ヒストグラムを取得するステップと、
（ｃ）前記ヒストグラムに重み付けヒストグラムテーブルを適用し、前記ヒストグラム内の過飽和画素を含む少なくとも一部のビンに高い重み付け値を割り当て、前記ヒストグラム内の不飽和画素を含む少なくとも一部のビンに低い重み付け値を割り当てて、重み付けした色調値ビンを取得するステップと、
（ｄ）重み付けしたヒストグラムビンを合計して飽和スコアを取得し、該飽和スコアが、前記画像が過飽和状態であることを示す時に、前記自動露出動作のための前記自動露出目標を下げ、前記飽和スコアが、前記画像が不飽和であることを示し、前記画像が露出不足である時に、前記自動露出目標を上げるステップと、
を含むことを特徴とする方法。

【請求項2】

画素を静止又はほとんど静止した背景画素として識別する前記ステップは、前記画素が前記飽和閾値を超えた時に画素の飽和レベルを読み取ってカウンタを増分するステップと、前記カウンタが背景飽和画素閾値を超えた時に、前記画素を静止又はほとんど静止した飽和背景画素として識別するステップとを含む、
ことを特徴とする請求項１に記載の方法。

【請求項3】

前記マスク処理された画素が前記飽和閾値を下回った時に、前記マスク処理された画素の飽和レベルを読み取ってカウンタを減分し、該カウンタが背景飽和画素閾値を下回った時に、前記マスク処理された画素から前記マスクを除去することにより、前記マスク処理された画素を脱マスク処理するステップをさらに含む、
ことを特徴とする請求項２に記載の方法。

【請求項4】

前記ヒストグラムは、前記一連の画像内の全ての選択数の画像のうちの１つ画像のみから取得され、前記選択数の画像は、前記一連の画像内の前記自動露出動作が適用される画像の数よりも多い、
ことを特徴とする請求項１に記載の方法。

【請求項5】

前記重み付けヒストグラムテーブルは、前記低い重み付け値が割り当てられた前記ビンから前記高い重み付け値が割り当てられた前記ビンまで線形的に増加する重み付け値を有し、該線形的な増加は、選択した範囲のビンにわたって生じる、
ことを特徴とする請求項４に記載の方法。

【請求項6】

前記高い重み付け値は１であり、前記低い重み付け値は０である、
ことを特徴とする請求項５に記載の方法。

【請求項7】

前記画像が極めて過飽和状態である時に、前記自動露出目標を第１の量だけ下げるステップと、前記画像がわずかに過飽和状態である時に、前記自動露出目標を第２の量だけ下げるステップとをさらに含み、前記画像が極めて飽和している時の前記飽和スコアは、前記画像がわずかに飽和している時の前記飽和スコアよりも高い、
ことを特徴とする請求項６に記載の方法。

【請求項8】

前記第１の量は、元々の自動露出目標の関数であり、前記第２の量は、前記画像の全体的平均露出レベルの関数である、
ことを特徴とする請求項７に記載の方法。

【請求項9】

前記画像は、赤外線画像である、
ことを特徴とする請求項１に記載の方法。

【請求項10】

前記画像内の最も高い色調値を有する選択数の画素が、それより高ければ画素が過飽和状態であると見なされる色調値閾値よりも低い平均色調値を有する場合、前記画像は露出不足である、
ことを特徴とする請求項１に記載の方法。

【請求項11】

前記自動露出目標は、前記画像の全体的平均露出レベルに、それより高ければ画素が過飽和状態であると見なされる前記色調値閾値の、前記画像内の前記最も高い色調値を有する前記選択数の画素の前記平均色調値に対する比率を乗算した分だけ上げられる、
ことを特徴とする請求項１０に記載の方法。

【請求項12】

（ａ）イメージャと、
（ｂ）前記イメージャと通信して、該イメージャによって取り込まれた画像を受け取る処理回路と、
を備えた撮像装置であって、
前記処理回路は、プロセッサと、前記プロセッサによって実行可能なプログラムコードが符号化されたメモリとを含み、前記プログラムコードは、一連の画像に対する自動露出動作において自動露出目標を調整するための以下の処理であって、
（i）画像のヒストグラムを取得する前に、前記画像内の一定期間にわたって飽和閾値を選択回数超えた画素を識別し、該識別された画素にマスクを適用することにより、前記画像内の静止又はほとんど静止した背景飽和画素をマスク処理して、該マスク処理された画素が前記ヒストグラムに含まれないようにする処理と、
（ii）前記画像の前記ヒストグラムを取得する処理と、
（iii）前記ヒストグラムに重み付けヒストグラムテーブルを適用し、前記ヒストグラム内の過飽和画素を含む少なくとも一部のビンに高い重み付け値を割り当て、前記ヒストグラム内の不飽和画素を含む少なくとも一部のビンに低い重み付け値を割り当てて、重み付けした色調値ビンを取得する処理と、
（iv）重み付けしたヒストグラムビンを合計して飽和スコアを取得し、該飽和スコアが、前記画像が過飽和状態であることを示す時に、前記自動露出動作のための前記自動露出目標を下げ、前記飽和スコアが、前記画像が不飽和であることを示し、前記画像が露出不足である時に、前記自動露出目標を上げる処理と、
を含む、ことを特徴とする撮像装置。

【請求項13】

画像内の背景飽和画素のマスクを生成する方法であって、
（ａ）一定期間にわたって飽和閾値を選択回数超えた前記画像内の画素を、静止又はほとんど静止した背景飽和画素として識別するステップと、
（ｂ）静止又はほとんど静止した背景飽和画素として識別された前記画像内の各画素にマスクフラグを割り当てることによって画素をマスク処理するステップと、
を含むことを特徴とする方法。

【請求項14】

ステップ（ａ）は、画素が前記飽和閾値を超えた時に、前記画素の飽和レベルを読み取ってカウンタを増分し、前記カウンタが背景飽和画素閾値を超えた時に、前記画素を静止又はほとんど静止した飽和背景画素として識別するステップを含む、
ことを特徴とする請求項１３に記載の方法。

【請求項15】

マスク処理された画素が前記飽和閾値を下回った時に、前記マスク処理された画素の飽和レベルを読み取ってカウンタを減分し、前記カウンタが背景飽和画素閾値を下回った時に、前記マスク処理された画素から前記マスクを除去することにより、マスク処理された画素を脱マスク処理するステップをさらに含む、
ことを特徴とする請求項１３に記載の方法。

【請求項16】

２つの飽和閾値、すなわちそれより高ければ画素が飽和していると見なされる上限飽和閾値と、それより低ければ画素が不飽和であると見なされる下限飽和閾値とをさらに含む、
ことを特徴とする請求項１３に記載の方法。

【請求項17】

（ａ）イメージャと、
（ｂ）前記イメージャと通信して、該イメージャによって取り込まれた画像を受け取る処理回路と、
を備えた撮像装であって、
前記処理回路は、プロセッサと、前記プロセッサによって実行可能なプログラムコードが符号化されたメモリとを含み、前記プログラムコードは、画像内の背景飽和画素のマスクを生成するための以下の処理であって、
（i）一定期間にわたって飽和閾値を選択回数超えた前記画像内の画素を、静止又はほとんど静止した背景飽和画素として識別する処理と、
（ii）静止又はほとんど静止した背景飽和画素として識別された前記画像内の各画素にマスクフラグを割り当てることによって画素をマスク処理する処理と、
を含む、ことを特徴とする撮像装置。

【請求項18】

前記イメージャは、赤外線イメージャである、ことを特徴とする請求項１７に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、一般にシーン適応型自動露出補正法、及びこの方法を実行する撮像装置に関する。

【背景技術】

【0002】

カメラでは、多くの場合、異なる照明条件下においてバランスの取れたシャッタ時間及びゲインで確実に画像が取得されるように自動露出アルゴリズムを使用することが望ましい。多くの場合、自動露出アルゴリズムの目的は、シャッタ時間及びゲインを調整することによって画像のための一定の全体的照度を維持することである。この方法の問題点は、非常に小さいもの（＜画像画素の１％）ではあるが画像の残り部分よりもはるかに明るい物体がシーンに含まれる場合、これらの物体が露出過多になり、画像内で飽和して見える点である。問題の小さな物体には、（例えば、ナンバープレートのように）シーンの残りの部分よりも大幅に高いＩＲ反射率を有するものもあるので、この問題点は、赤外線（「ＩＲ」）照明器を備えたカメラにとっては特に深刻である。一方、飽和した画像領域が存在しないことをカメラが保証する場合、画像内のわずかな背景光が画像の大部分を恒久的に露出不足にする可能性がある。

【0003】

市場には、ＩＲ照明の結果として生じる飽和物体の問題を、ＩＲ照明器の強度を単純に低減することによって解決しようと試みるカメラが複数存在する。ＩＲ強度を制御して飽和を制御することは、直接的に制御できる内蔵型ＩＲ照明器を有するカメラに対してしか有効でない。具体的には、この方法は、照明強度を直接的に制御できない外部ＩＲ照明器を使用するカメラでは有効でない。

【発明の概要】

【課題を解決するための手段】

【0004】

本発明の１つの態様によれば、一連の赤外線画像などの一連の画像に対する自動露出動作において自動露出目標を調整する方法が提供される。この方法は、画像のヒストグラムを取得するステップと、ヒストグラムに重み付けヒストグラムテーブルを適用し、ヒストグラム内の過飽和画素を含む少なくとも一部のビンに高い重み付け値を割り当て、ヒストグラム内の不飽和画素を含む少なくとも一部のビンに低い重み付け値を割り当てて、重み付けした色調値ビンを取得するステップと、重み付けしたヒストグラムビンを合計して飽和スコアを取得し、飽和スコアが、画像が過飽和状態であることを示す時には、自動露出動作のための自動露出目標を下げ、飽和スコアが、画像が不飽和であることを示し、画像が露出不足である時には、自動露出目標を上げるステップとを含む。

【0005】

画像のヒストグラムを取得する前に、画像内の一定期間にわたって飽和閾値を選択回数超えた画素を識別し、この識別された画素にマスクを適用することにより、画像内の静止又はほとんど静止した背景飽和画素をマスク処理して、マスク処理された画素がヒストグラムに含まれないようにすることができる。画素を静止又はほとんど静止した背景画素として識別するステップは、画素が飽和閾値を超えた時に画素の飽和レベルを読み取ってカウンタを増分するステップと、カウンタが背景飽和画素閾値を超えた時に、画素を静止又はほとんど静止した飽和背景画素として識別するステップとを含むことができる。この方法は、マスク処理された画素が飽和閾値を下回った時に、マスク処理された画素の飽和レベルを読み取ってカウンタを減分し、カウンタが背景飽和画素閾値を下回った時に、マスク処理された画素からマスクを除去することにより、マスク処理された画素を脱マスク処理するステップをさらに含むことができる。

【0006】

ヒストグラムは、一連の画像内の全ての選択数の画像のうちの１つ画像のみから取得することができ、この選択数の画像は、一連の画像内の自動露出動作が適用される画像の数よりも多い。重み付けヒストグラムテーブルは、低い重み付け値が割り当てられたビンから高い重み付け値が割り当てられたビンまで線形的に増加する重み付け値を有することができ、この線形的な増加は、選択した範囲のビンにわたって生じる。高い重み付け値は１とすることができ、低い重み付け値は０とすることができる。

【0007】

この方法は、画像が極めて過飽和状態である時に、自動露出目標を第１の量だけ下げるステップと、画像がわずかに過飽和状態である時に、自動露出目標を第２の量だけ下げるステップとをさらに含むことができ、画像が極めて飽和している時の飽和スコアは、画像がわずかに飽和している時の飽和スコアよりも高い。第１の量は、元々の自動露出目標の関数とすることができ、第２の量は、画像の全体的平均露出レベルの関数とすることができる。これらの画像は、赤外線画像とすることができる。

【0008】

本発明の別の態様によれば、イメージャと、このイメージャと通信して、イメージャによって取り込まれた画像を受け取る処理回路とを備えた撮像装置が提供される。処理回路は、プロセッサと、上述した方法を実行するようにプロセッサによって実行可能なプログラムコードが符号化されたメモリとを含む。

【0009】

本発明の別の態様によれば、画像内の背景飽和物体のマスクを生成する方法であって、一定期間にわたって飽和閾値を選択回数超えた画像内の画素を、静止又はほとんど静止した背景飽和画素として識別するステップと、ほとんど静止した背景飽和画素として識別された画像内の各画素にマスクフラグを割り当てるステップとを含む方法が提供される。この方法は、画像内の一定期間にわたって飽和閾値を選択回数下回ったマスク処理された画素を不飽和画素として識別するステップと、不飽和なマスク処理された画素からマスクフラグを除去するステップとをさらに含むことができる。

【0010】

この方法は、２つの飽和閾値、すなわちそれより高ければ画素が飽和していると見なされる上限飽和閾値と、それより低ければ画素が不飽和であると見なされる下限飽和閾値とをさらに含むことができる。画素を静止又はほとんど静止した背景画素として識別するステップは、画素が飽和閾値を超えた時に、画素の飽和レベルを読み取ってカウンタを増分するステップと、カウンタが背景飽和画素閾値を超えた時に、画素を静止又はほとんど静止した飽和背景画素として識別するステップとを含むことができる。不飽和なマスク処理された画素を識別するステップは、マスク処理された画素が飽和閾値を下回った時に、マスク処理された画素の飽和レベルを読み取ってカウンタを減分し、カウンタが背景飽和画素閾値を下回った時に、マスク処理された画素を不飽和として識別するステップを含むことができる。

【図面の簡単な説明】

【0011】

【図1(a)】１対の赤外線発光ダイオード（ＩＲＥＤ）の組を有するＩＲ照明器と、自動露出動作のためのシーン適応型自動露出補正法を実行するように実行可能なプログラムが符号化されたメモリとを含む撮像装置の第１の実施形態の概略ブロック図である。

【図1(b)】１つのＩＲＥＤの組を有するＩＲ照明器と、自動露出動作のためのシーン適応型自動露出補正法を実行するように実行可能なプログラムが符号化されたメモリとを含む撮像装置の第２の実施形態の概略ブロック図である。

【図1(c)】外部ＩＲ照明器を用いてＩＲ照明を提供する、自動露出動作のためのシーン適応型自動露出補正法を実行するように実行可能なプログラムが符号化されたメモリを含む撮像装置の実施形態の概略ブロック図である。

【図2】防犯カメラとして具体化された撮像装置の斜視図である。

【図3】シーン適応型自動補正法を実行する際に撮像装置によって取り込まれた画像のヒストグラムに適用すべき例示的なヒストグラム重み付けテーブルを示す図である。

【図4】シーン適応型自動補正法の第１の要素のステップ、すなわち背景飽和マスクを生成するためのステップを示すフローチャートである。

【図5】シーン適応型自動補正法の第２の要素のステップ、すなわち自動露出動作において飽和レベルを制御するためのステップを示すフローチャートである。

【発明を実施するための形態】

【0012】

本明細書で説明する実施形態は、防犯カメラなどの撮像装置の自動露出動作において使用されるシーン適応型自動露出補正法を提供するものである。このシーン適応型自動露出補正法は、２つの要素、すなわち画像の背景内の飽和物体にマスクを適用する第１の要素（「背景飽和マスク生成器」）と、画像平均ベースの自動露出動作において使用する自動露出目標値を計算する際に、画像ヒストグラムの異なる部分にバイアス値を提供する第２の要素（「飽和レベルを制御する自動露出コンパニオン」）とを含む。第１の要素は、自動露出動作によって露出不足になり得るはずの画像内の背景飽和物体を自動露出動作が無視するようにする。第２の要素は、いくつかの画像部分が過飽和状態の時に自動露出動作の自動露出目標値を下げ、画像内に過飽和領域が存在しない時、又は過飽和領域が背景飽和マスクによってマスク処理されている時に自動露出目標値を当初の自動露出目標値に戻すことによって画像内の飽和レベルを制御する。

【0013】

換言すれば、本実施形態によって具体化される方法は、ＩＲ照明器の強度を制御することによって飽和を防ぐ従来の方法の代わりに、ＩＲ照明されたシーン内の飽和を防ぐように露出（シャッタ時間及びゲイン）を制御する。このため、飽和レベルを制御するためにＩＲ照明強度の制御を用いないので、この方法は、内蔵型ＩＲ照明器を有する撮像装置でも、或いは外部ＩＲ照明器を有する撮像装置でも使用することができる。また、この方法は、画像内の飽和を防止又は少なくとも低減し、飽和した背景物体を無視することによって画質を高め、特に画像内の関心物体の画像細部を保つことも期待される。露出を制御することによって飽和を防止又は低減することのさらなる利点は、画像の露出を低減することによって画像内の動いている物体のモーションブラーを低減できる点である。

【0014】

この方法は、撮像装置のメモリに記憶されたプログラムコードとして具体化され、この装置内のプロセッサによって実行される。撮像装置は、図１（ａ）及び図１（ｂ）に示すようなオンボードＩＲ照明器を特徴として有することも、或いは図１（ｃ）に示すような外部ＩＲ照明器を使用することもできる。

【0015】

ここで図１（ａ）を参照すると、１つの実施形態による撮像装置１０が、ズームレンズ１２、ズームレンズ１２に光学的に結合されたイメージャ１４、ズームレンズ１２に機械的に結合されてズームレンズの焦点距離を変化させるレンズドライバ１６、各々が異なる線形プロファイルのＩＲ照明ビームを生成する１対のＩＲエミッタ１８（ａ）、１８（ｂ）（それぞれ、「広角ＩＲエミッタ」１８（ａ）及び「狭角ＩＲエミッタ」１８（ｂ））を含むＩＲ照明器１８、各ＩＲエミッタ１８（ａ）、１８（ａ）のための電流ドライバ２０（ａ）、２０（ｂ）、並びにイメージャ１４、レンズドライバ１６及び電流ドライバ２０（ａ）、２０（ｂ）と通信する制御回路２２といった主要構成要素を含む。

【0016】

撮像装置１０は、図２に示すような防犯カメラとして具体化することができる。防犯カメラ１０は、撮像装置の上述した主要構成要素を収容するハウジング３０と、カメラ１０を天井などの表面に取り付けるための可動式マウント３２とを有する。カメラ１０の前部にはズームレンズ１２が取り付けられ、カメラ１０の前部のズームレンズ１２の周囲にはプリント基板（「ＰＣＢ」、図示せず）も取り付けられ、このＰＣＢ上には広角ＩＲエミッタ１８（ａ）及び狭角ＩＲエミッタ１８（ｂ）がそれぞれ取り付けられてズームレンズ１２と同じ方向を向き、ズームレンズの視野を赤外光で照明する役割を果たす。

【0017】

この実施形態の各ＩＲエミッタ１８（ａ）、１８（ｂ）は、赤外線発光ダイオード（ＩＲＥＤ）の組３４を含む。当業では、このようなＩＲＥＤの組は周知であり、１つの好適なこのようなＩＲＥＤの組としては、１対のＯｓｒａｍ社製ＳＦＨ４７１５Ｓ ＩＲＥＤが挙げられる。各ＩＲエミッタ１８（ａ）、１８（ｂ）は、各ＩＲＥＤ３４のための小レンズ３６も含み、この小レンズ３６は、ＩＲＥＤの発光を、特定の照明パターン及び特定の線形プロファイルを有するＩＲビームに成形するように構成される。具体的には、広角ＩＲエミッタ１８（ａ）のための小レンズ３６は、比較的広く分散する線形プロファイル（以下、「広ビーム成分」と呼ぶ）のＩＲビームを生成し、狭角ＩＲエミッタ１８（ｂ）のための小レンズ３６は、比較的に狭く分散する線形プロファイル（以下、「狭ビーム成分」と呼ぶ）のＩＲビームを生成する。当業では、このような小レンズは周知であり、１つの好適なこのような小レンズは、Ｌｅｄｉｌ社製のものとすることができる。

【0018】

電流ドライバ２０（ａ）、２０（ｂ）は、ＩＲエミッタ１８（ａ）、１８（ｂ）に送られる電流を調整するように設計される。電流ドライバ２０（ａ）、２０（ｂ）は、ＩＲエミッタ１８（ａ）、１８（ｂ）の一方又は他方に総有効出力の全てを送出するように、或いは２つのエミッタ１８（ａ）、１８（ｂ）間で出力比を変化させるように制御することができる。当業では、このような電流ドライバは周知であり、１つの好適なこのような電流ドライバは、Ｏｎ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ社製のＡＬ８８０５ Ｂｕｃｋ ＬＥＤドライバである。電流ドライバ２０（ａ）、２０（ｂ）は、監視カメラ１０の（メインシステムオンチップ（ＳｏＣ）としても知られている）処理回路２２を収容するハウジング内の回路基板上の汎用入力／出力（ＧＰＩＯ）ピン３８に通信可能に結合される。処理回路２２は、レンズドライバ１６及びイメージャ１４に通信可能に結合されたピン４２、４４を有するインターフェイスバスを含む。イメージャ１４は、赤外線スペクトルの光を捕捉するように構成され、例えば、相補形金属酸化膜半導体（ＣＭＯＳ）センサなどのデジタルセンサとすることができる。イメージャ１４及びズームレンズ１２の仕様は、操作者の要件及び期待される性能に基づいて選択することができる。当業では、監視カメラにおけるズームレンズ及び画像センサの動作は周知であり、従って、ここではイメージャ１４、レンズドライバ１６及びズームレンズ１２の動作についてこれ以上詳細には説明しない。

【0019】

処理回路２２は、プロセッサ（ＣＰＵ）４０、及び防犯カメラ１０を動作させるようにプロセッサによって実行されるプログラムコードが符号化されたメモリも含む。このプログラムコードは、ＧＰＩＯピン３８から電流ドライバ２０（ａ）、２０（ｂ）にＩＲビームを生成するための制御信号を送信するための命令を含む。このプログラムコードは、異なる線形プロファイルを有する結合ＩＲビームを生成するように、広ビーム成分と狭ビーム成分を１又はそれ以上の異なる出力比で結合するための命令を含むこともできる。以下でさらに詳細に説明するように、このプログラムコードは、自動露出動作を実行するための命令、及び自動露出動作において使用することができるシーン適応型自動露出補正法を実行するための命令も含む。

【0020】

ここで図１（ｂ）を参照すると、撮像装置１０の第２の実施形態は、この撮像装置が可変幅の（すなわち、可変線形プロファイルの）ＩＲ照明ビームの代わりに固定幅の（すなわち、不変線形プロファイルの）ＩＲ照明ビームを生成するように単一のＩＲＥＤの組のみで構成されている点を除き、第１の実施形態と同じである。第１の実施形態と同様に、この第２の実施形態も、自動露出動作を実行するための命令と、自動露出動作において使用することができるシーン適応型自動露出補正法を実行するための命令とを含むプログラムコードが符号化されたメモリを有する処理回路２２を含む。

【0021】

次に図１（ｃ）を参照して分かるように、撮像装置１０の第３の実施形態は、この撮像装置が内蔵型ＩＲ照明器を有しておらず、代わりに外部ＩＲ照明器を用いてシーンを照明する点を除き、第１及び第２の実施形態と同じである。第１及び第２の実施形態と同様に、この第３の実施形態も、自動露出動作を実行するための命令と、自動露出動作において使用することができるシーン適応型自動露出補正法を実行するための命令とを含むプログラムコードが符号化されたメモリを有する処理回路２２を含む。

【0022】

シーン適応型自動露出補正法
次に、図３〜図５を参照しながら、シーン適応型自動露出補正法について詳細に説明する。上述したように、この方法は、２つの要素、すなわち（１）シーン適応型背景飽和マスク生成器と、（２）飽和レベルを制御するための自動露出コンパニオンとを含む。第１の要素は、飽和してはいるが静止又はほとんど静止しており、背景の一部と見なすことができる画像の領域を識別するマスクを生成し、第２の要素は、画像の飽和レベルを制御する際にこのマスクを使用して、背景飽和領域を無視することができる。第２の要素は、重み付けヒストグラムテーブルを用いて画像のヒストグラムを処理し、処理したヒストグラム値が目標閾値範囲を満たしていない時には自動露出動作のための新たな自動露出目標を設定することにより、画像の飽和レベルが確実に閾値レベル（通常は０）未満に留まるようにする。

【0023】

自動露出動作は、一定期間にわたって撮影した一連の画像（フレーム）の露出を調整する従来の画像平均ベースの自動露出アルゴリズムに基づくことができる。当業では、このような従来の自動露出アルゴリズムは周知であり、従ってここでは自動露出動作について詳細には説明しない。

【0024】

特に図４に示すように、シーン適応型背景飽和マスクは、静止又はほとんど静止している、従って画像の背景の一部と見なすことができる画像内の飽和画素を識別するようにプロセッサによって実行される一連の命令を含む（少なくとも安全監視の目的では、関心物体は画像内で動いていると仮定される）。飽和していることが分かった静止又はほとんど静止した物体はマスク処理され、すなわち画像の飽和レベルを制御するための自動露出コンパニオンによって無視される。これにより、画像背景が街灯などの小さな明るい物体を含む場合に、露出が非常に小さな値に留まらないことが確実になる。

【0025】

この方法の背景飽和マスク要素は、１つ１つの取り込み画像（「ｉｍａｇｅ［ｉ］」）の各画素ｉを画素毎に（ｉ＝０からＮｕｍｂｅｒＯｆＰｉｘｅｌｓまで）処理することによって動作する。飽和レベルが１バイトのデータによって表され、ｔ＝０〜２５５までの２５６個の測定可能な飽和レベルｔが存在すると仮定して、第１の画素ｉ＝０（ステップ１００）から開始して各画素ｉの飽和レベルを読み取る（１０２）。

【0026】

読み取った各画素ｉの飽和レベルを、それより高ければ画素が飽和していると見なされる（ステップ１０４）上限飽和閾値Ｔ１、及びそれより低ければ画素が不飽和であると見なされる（ステップ１０６）下限飽和閾値Ｔ０と比較する。これらの閾値の値は、使用するセンサのタイプに依存し、２５６の飽和レベルを有する飽和範囲では、標準値を例えばＴ１＝２００及びＴ０＝１９０とすることができる。

【0027】

或いは、図４には示していないが、それより高ければ画素が飽和していると見なされ、それより低ければ画素が不飽和であると見なされる１つの飽和閾値Ｔのみを設けることもできる。

【0028】

画素が、静止又はほとんど静止した飽和状態の物体を表しているかどうかを判定するために、読み取った飽和レベルが上限飽和閾値Ｔ１を上回った時に増分Ｕだけ増加し（ステップ１０８）、読み取った飽和レベルが下限飽和閾値Ｔ０を下回った時に減分Ｄだけ減少する（ステップ１１０）カウンタ（「ｃｏｕｎｔｅｒ［ｉ］」）を設ける。カウンタ値を、０と選択された最大値（「ｍａｘＣｏｕｎｔ」）との間に保つためにクリッピング関数を適用し（ステップ１１２）、カウンタが０を下回った時には、ｃｏｕｎｔｅｒ［ｉ］が０に設定され、カウンタがｍａｘＣｏｕｎｔを上回った時には、ｃｏｕｎｔｅｒ［ｉ］がｍａｘＣｏｕｎｔに設定されるようにする。読み取った飽和レベルが上限及び下限飽和閾値Ｔ１、Ｔ０に等しい場合、又はこれらの間である場合には、カウンタは変化しない。

【0029】

その後、カウンタ値ｃｏｕｎｔｅｒ［ｉ］を、それより高ければ画素ｉが静止又はほとんど静止しており飽和していると見なされる閾値を表す背景飽和画素閾値Ｍと比較する（ステップ１１４）。カウンタ値ｃｏｕｎｔｅｒ［ｉ］がこの閾値を上回った時には、対象画素ｉにマスクフラグを関連付けてこのフラグをメモリに記憶することによってこの画素をマスクに追加し（ステップ１１６）、この画素ｉが既に（過去の画像に関してこの方法によって以前に判定された）マスクフラグを含んでいる場合には対策は取らず、マスクフラグがその画素ｉに関連付けられたままにする。

【0030】

カウンタ値ｃｏｕｎｔｅｒ［ｉ］が背景飽和画素閾値Ｍを下回った時に、対象画素に関連するマスクフラグが存在する場合には、このようなマスクフラグを削除することによってこの画素をマスクから除去する（ステップ１１８）。この画素に関連するマスクフラグが存在しない場合、対策は取らない。

【0031】

対象画素についての背景飽和マスク要素による方法はこの時点で完了し、この方法は、画像（ステップ１２０）内の次の画素に進んでステップ１０２〜１１８を繰り返す（ステップ１２２）。画像内の全ての画素ｉを処理し終えると、方法は時系列の次の画像に進み、再び画素毎にこの方法が実施される。

【0032】

どの時点で画素が背景飽和画素であると見なすかを判定するための時定数は、背景飽和画素閾値Ｍ、並びに増分値及び減分値Ｕ、Ｄのいずれか又は両方を調整することによって調整できることが分かる。これらの値を調整すると、基本的に、画素がどの時点で背景の一部と見なすのに十分なほど静止していると考えるかを判定するための期間（画像フレーム数）が調整されるようになる。例えば、閾値Ｍを増やすと、この方法は、カウンタ値が閾値Ｍまで増加するためにより長い時間を掛ける（より多くの画像フレームを処理する）ようになる。逆に、増分Ｕを増やすと、カウンタが閾値Ｍに到達するのに掛かる時間が減少するようになる。これらの値Ｍ、Ｕ、Ｄは、光るい物体が静止している（方法を反復する毎にカウンタがＵの増分だけ進む）か、それとも動いている（方法を１回又はそれ以上反復すると、明るい物体が画素の視野内にある時にはカウンタが増分され、明るい物体が画素の視野から出て行った時にはカウンタが減分される）かを正確に判定するように方法を較正するために、試行錯誤に基づいて調整することができる。

【0033】

増分Ｕ及びＤを適切に調整することにより、点滅する光のような「ほとんど静止した」物体を背景飽和物体として取り込むように方法を較正できることも分かる。例えば、ＵにＤよりも高い値を割り当てることができ、この場合、カウンタは、ｃｏｕｎｔｅｒ［ｉ］が閾値Ｍを上回るまで、複数の画像フレームにわたってゆっくりと増加する。例えば、Ｕに２の値を割り当て、Ｄに１の値を割り当てることができる。

【0034】

ここで図３及び図５を参照して分かるように、この方法の飽和レベル成分を制御するための自動露出コンパニオン（「自動露出コンパニオン要素」）は、背景飽和物体が背景飽和マスク生成器によってマスク処理された後に画像のヒストグラムを作成し、その後このヒストグラムに重み付けヒストグラムテーブルを適用して、画像が飽和している度合いと見なすことができる「飽和スコア」を取得し、この飽和スコアは、画像が過飽和状態であることや、又は飽和してはいないが露出不足であることが判明した時に、自動露出動作が新たな自動露出目標値を使用すべきであるかどうかを判定するために使用される。自動露出動作が、本方法の自動露出コンパニオンを利用する際には、画像の飽和レベルが閾値未満に保たれることにより、特に画像の関心部分の画質を高めることができると予想される。

【0035】

この方法の自動露出コンパニオン要素は、現在の自動露出目標値（「ａｅＴｒｇｔ」）を、自動露出動作に関連する元々の自動露出目標（「ｏｒｉｇＡｅＴｒｇｔ」）に等しくなるように割り当てる（ステップ２００）ことによって開始する。元々の自動露出値は、ユーザが定義することも、或いは自動露出動作プログラムコード内に予め設定しておくこともできる。その後、自動露出コンパニオン要素のループと自動露出動作のループが画像の不安定性を引き起こす形で相互作用しないことを確実にするために、全ての選択されたＫ個の画像フレームのうちの１つのみに対して自動露出コンパニオン要素が実行されるように一連のステップ（ステップ２０４〜２０８）を実行する。例えば、Ｋを４とすることができ、この場合、各画像フレームをカウントし（ステップ２０６）、自動露出コンパニオンが４つ置きの画像フレームに対して順に確実に実行されるようにカウンタ（「ｉｍｇＣｏｕｎｔ」）が展開される（ステップ２０８）。

【0036】

上述したように、Ｋ番目の画像を含む画像に背景飽和マスク生成器を適用し、この画像に自動露出コンパニオン要素を適用する（ステップ２１０）。その後、当業において周知の方法で、マスク処理した画像の画像ヒストグラムを取得する（ステップ２１２）。画像ヒストグラムは、デジタル画像における色調分布のグラフィック表現としての機能を果たすタイプのヒストグラムである。この画像ヒストグラムは、色調値の範囲全体にわたる色調値ビン毎に画素数をプロットする。

【0037】

その後、画像の飽和スコアを取得するために、図３に示すようなヒストグラム重み付けテーブルをヒストグラムに適用する（ステップ２１４）。このヒストグラム重み付けテーブルは、ヒストグラムの各ビンに重み付け値ＷＶを割り当て、例えば、１バイトの色調範囲を有する画像ヒストグラムでは、各々が異なる色調値を表す２５６個の独立したビン（ビン［０］〜ビン［２５５］）が存在する。ヒストグラム重み付けテーブルは、最も低い色調値（ｂｉｎ［０］）から第１の選択された色調値ｋ（ｂｉｎ［ｋ−１］）までの不飽和と見なされる全ての色調値ビンに０の重み付け値を割り当て、第２の選択された色調値ｍ［ｂｉｎ ｍ＋１］から最も高い色調値（ｂｉｎ［２５５］）までの過飽和と見なされる全ての色調値ビンに１の重み付け値を割り当てる。この重み付け値は、露出変化中の遷移をスムーズにするために、ｂｉｎ［ｋ］からｂｉｎ［ｍ］まで０から１に線形的に増加する。第１及び第２の色調値ｋ、ｍは、オペレータが画像内の許容可能な飽和量をどの程度と考えるかに基づいて選択することができ、例えば、それぞれ２００及び２３０とすることができる。飽和スコア（「ＳａｔｕｒａｔｉｏｎＳｃｏｒｅ」）は、各ヒストグラムビン（「Ｈｉｓｔｏｒｇａｍ［ｉ］）を対応する重み付け値（「ＷｅｉｇｈｔｉｎｇＴａｂｌｅ［ｉ］」）と乗算したものの総和である。

【0038】

画像の飽和スコアが求められると、この飽和スコアを上限閾値ｍａｘＳｃｏｒｅ（ステップ２１６）及び下限閾値ｍｉｎＳｃｏｒｅと比較する（ステップ２１８）。飽和スコアが上限閾値ｍａｘＳｃｏｒｅよりも高い時には、画像が極めて過飽和状態であると考えられ、飽和スコアが下限閾値ｍｉｎＳｃｏｒｅよりも低い時には、画像が不飽和であると考えられる。飽和スコアがｍａｘＳｃｏｒｅとｍｉｎＳｃｏｒｅの間にある時には、画像がわずかに過飽和状態であると考えられる。後述するように、画像が過飽和状態であると考えられる時には、画像の飽和度を低減するために自動露出目標を下げるような措置が講じられ、画像が不飽和であって露出不足と考えられる時には、画像を過飽和にすることなく画像の露出を改善するために、自動露出目標を上げるような措置が講じられる。

【0039】

ｍａｘＳｃｏｒｅ及びｍｉｎＳｃｏｒｅの値は経験的に決定され、使用するイメージャ及び操作者の設定に依存する。ｍａｘＳｃｏｒｅの標準値は２０画素とすることができ、ｍｉｎＳｃｏｒｅの標準値は０とすることができる。

【0040】

飽和スコアがｍａｘＳｃｏｒｅを上回る時には、露出を比較的急速に低減するために、現在の自動露出目標ａｅＴｒｇｔを、その元々の値ｏｒｉｇＡｅＴｒｇｔから大きな一定倍数Ｌだけ下げる（ステップ２２０）。
ａｅＴｒｇｔ＝ｏｒｉｇＡｅＴｒｇｔ＊Ｌ

【0041】

この大きな一定倍数Ｌは経験的に決定され、操作者の設定に依存することができる。Ｌの標準値は０．１とすることができる。その後、自動露出動作の自動露出目標（ＡｕｔｏＥｘｐｏｓｕｒｅＴａｒｇｅｔ）を現在の自動露出目標ａｅＴｒｇｔに設定し（ステップ２３２）、この新たな自動露出目標を満たすように露出を調整するために自動露出動作を実行して、方法はステップ２０２に戻る。

【0042】

飽和スコアがｍｉｎＳｃｏｒｅとｍａｘＳｃｏｒｅの間にある時には、露出を比較的ゆっくりと低減するために、現在の自動露出目標ａｅＴｒｇｔを、画像の現在の全体的平均露出レベル（ＧｌｏｂａｌＩｍａｇｅＭｅａｎ）から小さな一定倍数Ｓだけ下げる（ステップ２２２）。
ａｅＴｒｇｔ＝ａｅＭｅａｎ＊Ｓ
この場合、ａｅＭｅａｎ＝ＧｌｏｂａｌＩｍａｇｅＭｅａｎ（ステップ２２１）

【0043】

この小さな一定倍数Ｓは、大きな一定倍数Ｌよりも高い値を有し、飽和スコアに基づいて値Ｓ１とＳ２の間で線形的に補間され、以下の式によって求められる倍数とすることができる。
Ｓ＝（Ｓ２＋（Ｓ２−Ｓ１）＊（ｓａｔｕｒａｔｉｏｎｓｃｏｒｅ−ｍｉｎＳｃｏｒｅ）／（ｍａｘＳｃｏｒｅ−ｍｉｎＳｃｏｒｅ））
この場合、Ｓ１及びＳ２は、自動露出目標の変化度を表す。Ｓ１及びＳ２は経験的に決定され、操作者の設定に依存することができる。Ｓ１はＳ２よりも大きく、例えばそれぞれ０．９及び０．５とすることができる。その後、自動露出動作の自動露出目標（ＡｕｔｏＥｘｐｏｓｕｒｅＴａｒｇｅｔ）を現在の自動露出目標ａｅＴｒｇｔに設定し（ステップ２３２）、この新たな自動露出目標を満たすように露出を調整するために自動露出動作を実行して、方法はステップ２０２に戻る。

【0044】

飽和スコアがｍｉｎＳｃｏｒｅよりも小さい時には画像が不飽和であると考えられ、画像が露出不足である場合には自動露出目標ａｅＴｒｇｔを上げ、この文脈の露出不足とは、画像内の最も高い色調値を有する画素が、それより高ければ画素が過飽和状態であると見なされる色調値閾値よりも低い平均色調値を有することを意味する。或いは、露出不足は、画像内の最も高い色調値を有する画素が色調値閾値を下回った時を意味することもできる。現在の自動露出目標ａｅＴｒｇｅｔが元々の自動露出目標よりも小さいと仮定した場合（ステップ２２４）、実際には画像が露出不足であることを条件として、自動露出目標を上げるために一連のステップを実行する。画像が露出不足であるかどうかを判定するために、ヒストグラムの選択数の上位画素ｎの平均色調値ｈｉＭｅａｎを求める（ステップ２２６）。換言すれば、画像内の最も高い色調値を有するｎ個の画素を識別し、これらの画素の色調値の平均を求める。ｎの値は経験的に決定され、ｎの標準値は１０とすることができる。次に、それより高ければ画素が過飽和状態であると見なされる色調値閾値を表す一定値ｍａｘＭｅａｎを選択し、この値は経験的に決定することができ、画像を取り込むために使用する画像センサに部分的に依存する。ｍａｘＭｅａｎの標準値は、ヒストグラム重み付けテーブル内で使用する第２の選択された合計値ｍ以下の値であり、この場合ｍは２３０である。

【0045】

飽和スコアがｍｉｎＳｃｏｒｅを下回っているので、ｈｉＭｅａｎはｍａｘＭｅａｎに近いはずである。その後、自動露出目標を、ｈｉＭｅａｎとｍａｘＭｅａｎ（ステップ２２８）の比率によってスケーリングされる画像の現在の全体的平均露出レベルに設定（ａｅＭｅａｎ＝ＧｌｏｂａｌＩｍａｇｅＭｅａｎ）する（ステップ２２５）。
ａｅＴｒｇｔ＝ａｅＭｅａｎ＊（ｍａｘＭｅａｎ／ｈｉＭｅａｎ）

【0046】

従って、ｈｉＭｅａｎがｍａｘＭｅａｎを下回る時には、この比率が１よりも大きく、自動露出目標は、画像の現在の全体的平均露出レベルよりも高い値に設定される。ｈｉＭｅａｎがｍａｘＭｅａｎに等しい時には、画像が露出不足であると見なされず、従って自動露出目標は、画像の全体的平均露出レベルに設定されることが分かる。

【0047】

自動露出目標は、元々の自動露出目標よりも高くすべきでなく、上記のスケーリングによって、自動露出目標ａｅＴｒｇｔが元々の自動露出目標ｏｒｉｇＡｅＴｒｇｔを上回った場合には、自動露出目標を元々の自動露出目標に等しくなるように設定する（ステップ２３０）。
ａｅＴｒｇｔ＝ＭＩＮ（ｏｒｉｇＡｅＴｒｇｔ，ａｅＴｒｇｔ）

【0048】

最後に、自動露出動作の自動露出目標（ＡｕｔｏＥｘｐｏｓｕｒｅＴａｒｇｅｔ）を現在の自動露出目標ａｅＴｒｇｔに設定し、自動露出動作を実行して、方法はステップ２０２に戻る。

【0049】

本明細書では、好ましい実施形態によって本発明を説明したが、当業者であれば、本発明に様々な変更を行うことができると理解するであろう。これらの変更及び代替例は、本発明の思想及び範囲に含まれるものと見なされる。

【符号の説明】

【0050】

１０ 撮像装置
１２ ズームレンズ
１４ イメージャ
１６ レンズドライバ
１８（ａ） 広角ＩＲエミッタ
１８（ｂ） 狭角ＩＲエミッタ
２０（ａ） 電流ドライバ
２０（ｂ） 電流ドライバ
２２ 処理回路
３４ 赤外線発光ダイオード
３６ 小レンズ
３８ 汎用入力／出力（ＧＰＩＯ）ピン
４０ ＣＰＵ
４２ ピン（ＩＳＰ）
４４ ピン（Ｉ２Ｃ）

【図1A】

【図1B】

【図1C】

【図2】

【図4】

【図5A】

【図5B】

【図3】