特許 6961664 シーンを描写するビデオ画像ストリーム内の輝度変動を低減するための方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6961664

(24)【登録日】2021年10月15日

(45)【発行日】2021年11月5日

(54)【発明の名称】シーンを描写するビデオ画像ストリーム内の輝度変動を低減するための方法

(51)【国際特許分類】

   H04N 5/243 20060101AFI20211025BHJP

   H04N 5/235 20060101ALI20211025BHJP

   G03B 15/00 20210101ALI20211025BHJP

   G03B 7/093 20210101ALI20211025BHJP

【ＦＩ】

   H04N5/243

   H04N5/235 100

   H04N5/235 300

   G03B15/00 S

   G03B7/093

【請求項の数】10

【外国語出願】

【全頁数】15

(21)【出願番号】特願2019-211000(P2019-211000)

(22)【出願日】2019年11月22日

(65)【公開番号】特開2020-109944(P2020-109944A)

(43)【公開日】2020年7月16日

【審査請求日】2021年2月2日

(31)【優先権主張番号】18208425.1

(32)【優先日】2018年11月27日

(33)【優先権主張国】EP

【早期審査対象出願】

(73)【特許権者】

【識別番号】502208205

【氏名又は名称】アクシス アーベー

(74)【代理人】

【識別番号】110002077

【氏名又は名称】園田・小林特許業務法人

(72)【発明者】

【氏名】フォーシュ， セバスティアン

(72)【発明者】

【氏名】イェップソン， ヨーアン

(72)【発明者】

【氏名】エールン， アントン

(72)【発明者】

【氏名】イェンソン， ジミー

(72)【発明者】

【氏名】ベンデリウス， ビョルン

(72)【発明者】

【氏名】ムーアベック， アンドレアス

(72)【発明者】

【氏名】ダマー， カリン

【審査官】 高野 美帆子

(56)【参考文献】

【文献】 米国特許出願公開第２０１５／０１１０３９９（ＵＳ，Ａ１）

【文献】 国際公開第２０１４／１３０４６８（ＷＯ，Ａ１）

【文献】 特開２０１０−２５６５３６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２−５／２５７

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ ７／０９３

(57)【特許請求の範囲】

【請求項1】

シーンを描写するビデオ画像ストリーム内の輝度変動を低減するための方法（２０）であって、
第１のセンサ設定に設定された画像センサ（３０２）を使用して、前記ビデオ画像ストリームの第１のフレーム（５０）を取得する（Ｓ２０２）ことであって、前記第１のセンサ設定は、センサ露光時間およびセンサ利得を含む群から選択される１つまたは複数のセンサ設定である、前記ビデオ画像ストリームの第１のフレーム（５０）を取得する（Ｓ２０２）こと、
前記第１のフレーム（５０）の部分（５９０）内の輝度値の局所変化を、前記第１のフレームに先行するフレームと比較して検出する（Ｓ２０４）ことであって、前記第１のフレームに先行する前記フレームは前記第１のセンサ設定に設定された前記画像センサ（３０２）を使用して取得され、前記第１のフレーム（５０）の前記部分（５９０）は前記シーンの第１のエリアを示す、輝度値の局所変化を検出する（Ｓ２０４）こと、
前記第１のフレーム（５０）内の前記輝度値に基づいて第２のセンサ設定を決定する（Ｓ２０６）ことであって、前記第２のセンサ設定は、前記センサ露光時間および前記センサ利得を含む群から選択される前記１つまたは複数のセンサ設定である、第２のセンサ設定を決定する（Ｓ２０６）こと、
前記第２のセンサ設定に設定された前記画像センサ（３０２）を使用して、前記ビデオ画像ストリームの第２のフレーム（６０，７０）を取得する（Ｓ２０８）ことであって、前記第２のフレーム（６０，７０）は前記第１のフレーム（５０）に続く、前記ビデオ画像ストリームの第２のフレーム（６０，７０）を取得する（Ｓ２０８）こと、
画像のトーンマッピングに関係する情報を含む画像マスクである局所トーンマッピングマスクを作成する（Ｓ２１０）ことであって、前記シーンの前記第１のエリア内の前記局所トーンマッピングマスクの局所トーンマッピングは、前記シーンの前記第１のエリアの外のエリア内の前記局所トーンマッピングマスクの局所トーンマッピングと異なり、前記シーンの前記第１のエリア内の前記局所トーンマッピングは前記第２のセンサ設定に基づき、前記シーンの前記第１のエリアの外の前記エリア内の前記局所トーンマッピングは、前記第１のセンサ設定と前記第２のセンサ設定との間の関係に基づく、局所トーンマッピングマスクを作成する（Ｓ２１０）こと、および、
前記局所トーンマッピングマスクを前記ビデオ画像ストリームの前記第２のフレーム（６０，７０）に適用する（Ｓ２１２）こと
を含む、方法（２０）。

【請求項2】

前記第２のセンサ設定は、前記第１のセンサ設定に関するセンサ露光時間および／またはセンサ利得の調整である、請求項１に記載の方法（２０）。

【請求項3】

前記第１のセンサ設定と前記第２のセンサ設定との間の前記関係は前記第１のセンサ設定と前記第２のセンサ設定との間の比である、請求項１または２に記載の方法（２０）。

【請求項4】

前記局所トーンマッピングマスクは前記第１のエリアと前記第１のエリアの外の前記エリアとの間の徐々な移行をさらに含む、請求項１〜３のいずれか一項に記載の方法（２０）。

【請求項5】

前記第２のフレーム（６０，７０）に続くフレームについて、前記局所トーンマッピングマスクを所定の局所トーンマッピングマスクを目指して徐々に調整することをさらに含む、請求項１〜４のいずれか一項に記載の方法（２０）。

【請求項6】

前記第１のセンサ設定に設定された前記画像センサ（３０２）を使用して、前記ビデオ画像ストリームの中間フレームを取得する（Ｓ２１８）ことであって、前記中間フレームは前記第１のフレーム（５０）に続きかつ前記第２のフレーム（６０，７０）に先行する、前記ビデオ画像ストリームの中間フレームを取得する（Ｓ２１８）こと、
前記中間フレームのさらなる部分内の輝度値のさらなる局所変化を、前記中間フレームに先行するフレームと比較して検出する（Ｓ２２０）ことであって、前記中間フレームに先行する前記フレームは前記第１のセンサ設定に設定された前記画像センサ（３０２）を使用して取得され、前記中間フレームの前記さらなる部分は前記シーンのさらなるエリアを示す、輝度値のさらなる局所変化を検出する（Ｓ２２０）こと、
前記中間フレーム内の前記輝度値に基づいて第３のセンサ設定を決定する（Ｓ２２２）ことであって、前記第３のセンサ設定は、前記センサ露光時間および前記センサ利得を含む群から選択される１つまたは複数のセンサ設定である、第３のセンサ設定を決定する（Ｓ２２２）こと、
前記第３のセンサ設定に設定された前記画像センサ（３０２）を使用して、前記ビデオ画像ストリームの第３のフレームを取得する（Ｓ２２４）ことであって、前記第３のフレームは前記第２のフレーム（６０，７０）に続く、前記ビデオ画像ストリームの第３のフレームを取得する（Ｓ２２４）こと、
画像のトーンマッピングに関係する情報を含む画像マスクであるさらなる局所トーンマッピングマスクを作成する（Ｓ２２６）ことであって、前記シーンの前記第１のエリアおよび前記シーンの前記さらなるエリア内の局所トーンマッピングは、前記シーンの前記第１のエリアおよび前記シーンの前記さらなるエリアの外のエリアと異なり、前記シーンの前記第１のエリアおよび前記シーンの前記さらなるエリア内の前記局所トーンマッピングは前記第３のセンサ設定に基づき、前記シーンの前記第１のエリアおよび前記シーンの前記さらなるエリアの外の前記エリア内の局所トーンマッピングは、前記第１のセンサ設定と前記第３のセンサ設定との間の関係に基づく、さらなる局所トーンマッピングマスクを作成する（Ｓ２２６）こと、および、
前記さらなる局所トーンマッピングマスクを前記ビデオ画像ストリームの前記第３のフレームに適用する（Ｓ２２８）こと
をさらに含む、請求項１〜５のいずれか一項に記載の方法（２０）。

【請求項7】

シーンを描写するビデオ画像ストリームを取得するためのデジタルビデオカメラ（３０）であって、
異なるセンサ設定に設定され、前記ビデオ画像ストリームの異なるフレームを取得するように構成される画像センサ（３０２）であって、前記センサ設定は、センサ露光時間およびセンサ利得を含む群から選択される１つまたは複数のセンサ設定である、画像センサ（３０２）と、
制御回路要素（３０４）と
を備え、前記制御回路要素（３０４）は、
第１のフレーム（５０）の部分（５９０）内の輝度値の局所変化を、前記第１のフレームに先行するフレームと比較して検出するように構成される輝度評価機能（３０６）であって、前記第１のフレームおよび前記第１のフレームに先行する前記フレームは第１のセンサ設定に設定された前記画像センサ（３０２）によって取得され、前記第１のフレーム（５０）の前記部分（５９０）は前記シーンの第１のエリアを示す、輝度評価機能（３０６）、
前記第１のフレーム内の前記輝度値に基づいて第２のセンサ設定を決定するように構成されるセンサ設定決定機能（３０８）、および、
局所トーンマッピングマスク機能（３１０）
を備え、前記局所トーンマッピングマスク機能（３１０）は、画像のトーンマッピングに関係する情報を含む画像マスクである局所トーンマッピングマスクを作成するように構成され、前記シーンの前記第１のエリア内の前記局所トーンマッピングマスクの局所トーンマッピングは、前記シーンの前記第１のエリアの外のエリア内の前記局所トーンマッピングマスクの局所トーンマッピングと異なり、前記シーンの前記第１のエリア内の前記局所トーンマッピングは前記第２のセンサ設定に基づき、前記シーンの前記第１のエリアの外の前記エリア内の前記局所トーンマッピングは、前記第１のセンサ設定と前記第２のセンサ設定との間の関係に基づき、前記局所トーンマッピングマスク機能（３１０）は、前記局所トーンマッピングマスクを、前記第２のセンサ設定に設定された前記画像センサ（３０２）によって取得される第２のフレーム（６０，７０）に適用するように構成される、デジタルビデオカメラ（３０）。

【請求項8】

前記画像センサ（３０２）および制御回路要素（３０４）は、フレームレベルで同期する、請求項７に記載のデジタルビデオカメラ（３０）。

【請求項9】

制御回路要素（３０４）の機能は、汎用プロセッサ上で、あるいは、グラフィクス処理ユニット、フィールドプログラマブルゲートアレイ、固定機能特定用途向け集積回路、またはアナログ回路上で実行されるコンピュータソフトウェア部分として実装される、請求項７または８に記載のデジタルビデオカメラ（３０）。

【請求項10】

非一時的コンピュータ可読記録媒体であって、プログラムコードを非一時的コンピュータ可読記録媒体上に記録されており、前記プログラムコードは、処理能力を有するデバイスにおいて実行されると、請求項１〜６にいずれか一項に記載の方法（２０）を実施するように構成される、非一時的コンピュータ可読記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、シーンを描写するビデオ画像ストリーム内の輝度変動を低減するための方法に関係する。

【背景技術】

【0002】

ビデオモニタリングは、多数の異なる用途に関して、今日の社会において広く使用されている。例えば、多くの店は、万引きと戦うために設置されたビデオカメラを通常有する。同様に、事故、盗難を検出するために、または、行方不明の人々を位置特定するために、戸外のロケーションをモニターすることが同様にしばしば重要である。例えば、駐車場、建物への入り口、および道路は、そのようなモニタリングが、通常、興味深い少数の例である。

【0003】

しかしながら、シーン内の詳細を低い光レベルで識別することは、取得ビデオが、通常、露光不足であるため、しばしば難しい。そのような場合に光レベルを増加させる一方法は、シーンを照明する外部光源を導入することであるが、そのような解決策は、電力消費の増加のため、また、外部光源が同様に、ビデオカメラのロケーションを開示し得る（通常、望ましくない）ことによって、しばしば望ましくない。

【0004】

代替の方法は、シーン内のより多くの光を収集するためにビデオカメラの露光時間を増加させることである。そのような解決策は、ビデオの光レベルを増加させることを可能にする。しかしながら、懐中電灯などの明るいオブジェクトがシーンの一部に入る場合、問題が生じる。シーンのその部分の光レベルが突然増加するため、カメラの露光時間は、収集光の量を減らすために減少する、したがって、シーンの露光過度を回避しようと試みる。しかしながら、結果として得られるビデオは最適化されないことになり、なぜならば、シーンのより暗い部分は、短い露光時間によってやはり露光不足になることになり、明るい部分は、通常、依然として部分的に飽和しているからである。したがって、明るさの大きい変化を有するシーンのビデオモニタリングを改善する必要性が存在する。

【0005】

上記を考慮して、シーンを描写するビデオストリーム内の輝度変動を低減するための方法およびデジタルビデオカメラを提供することが本発明の目的である。

【0006】

当技術分野の上記で特定した欠点および不利益の１つまたは複数を単独でまたは任意の組み合わせで減らし、軽減し、またはなくし、少なくとも上記で述べた問題を解決することが目的である。

【発明の概要】

【0007】

第１の態様によれば、シーンを描写するビデオ画像ストリーム内の輝度変動を低減するための方法が提供される。方法は、第１のセンサ設定に設定された画像センサを使用して、ビデオ画像ストリームの第１のフレームを取得すること；第１のフレームの部分内の輝度値の局所変化を検出することであって、第１のフレームの部分はシーンの第１のエリアを示す、第１のフレームの部分内の輝度値の局所変化を検出すること；第１のフレーム内の輝度値に基づいて第２のセンサ設定を決定すること；第２のセンサ設定に設定された画像センサを使用して、ビデオ画像ストリームの第２のフレームを取得することであって、第２のフレームは第１のフレームに続く、ビデオ画像ストリームの第２のフレームを取得すること；局所トーンマッピングマスクを作成することであって、シーンの第１のエリア内の局所トーンマッピングは、シーンの第１のエリアの外のエリア内の局所トーンマッピングと異なり、シーンの第１のエリアの外のエリア内の局所トーンマッピングは、第１のセンサ設定と第２のセンサ設定との間の関係に基づく、局所トーンマッピングマスクを作成すること；および、局所トーンマッピングマスクをビデオ画像ストリームの第２のフレームに適用することを含む。

【0008】

文言「輝度変動（ｉｎｔｅｎｓｉｔｙ ｖａｒｉａｔｉｏｎ）」は、本出願のコンテキスト内で、フレーム内のピクセルの輝度値の変動と解釈されるべきである。

【0009】

文言「輝度値の局所変化（ｌｏｃａｌ ｃｈａｎｇｅ ｉｎ ｉｎｔｅｎｓｉｔｙ ｖａｌｕｅ）」は、本出願のコンテキスト内で、フレームの一部内のピクセルの輝度値の増加または減少と解釈されるべきである。

【0010】

文言「局所トーンマッピングマスク（ｌｏｃａｌ ｔｏｎｅ ｍａｐｐｉｎｇ ｍａｓｋ）」は、本出願のコンテキスト内で、画像のトーンマッピングに関係する情報を含む画像マスクと解釈されるべきである。

【0011】

本方法によって、シーンの第１のエリアの外のエリア内で、シーンの第１のエリア内の輝度値の変化によって引き起こされるセンサ設定の変化を補償する局所トーンマッピングマスクを作成し適用することが可能である。本方法によって、局所トーンマッピングマスクを第２のセンサ設定によって取得されるビデオ画像ストリーム内の第１のフレームに適用することがさらに可能である。

【0012】

センサ設定は、センサ露光時間およびセンサ利得を含む群から選択される１つまたは複数のセンサ設定であることができる。

【0013】

文言「センサ利得（ｓｅｎｓｏｒ ｇａｉｎ）」は、本出願のコンテキスト内で、画像センサにおいて適用される利得と解釈されるべきである。適用される利得は、アナログおよび／またはデジタル利得であることができる。アナログ利得は、アナログ信号がデジタル信号に変換される前に、画像センサからのアナログ信号を増加させる、すなわち、信号のＡ／Ｄ変換前の信号の増加。デジタル利得は、デジタル信号を増加させる、すなわち、アナログ信号のＡ／Ｄ変換に続く信号の増加。

【0014】

第２のセンサ設定は、第１のセンサ設定に関するセンサ露光時間および／またはセンサ利得の調整であることができる。

【0015】

第１のセンサ設定と第２のセンサ設定との間の関係は第１のセンサ設定と第２のセンサ設定との間の比であることができる。

【0016】

局所トーンマッピングマスクを作成するとき、シーンの第１のエリア内の局所トーンマッピングは第２のセンサ設定に基づくことができる。

【0017】

シーンの第１のエリア内の局所トーンマッピングを第２のセンサ設定に基づかせる利点は、シーンの第１のエリア内の局所トーンマッピングがシーンの第１のエリアに関連する第２のフレームの部分内の輝度値を変更することができることである。それにより、ビデオ画像ストリーム内の第２のフレームの輝度変動を低減することが可能である場合がある。

【0018】

局所トーンマッピングマスクは第１のエリアと第１のエリアの外のエリアとの間の徐々な移行をさらに含むことができる。

【0019】

第１のエリアと第１のエリアの外のエリアとの間の徐々な移行を含む局所トーンマッピングマスクの利点は、第１のエリアに関連する部分および第１のエリアの外のエリアに関連する部分の間の徐々な移行が第２のフレーム内で達成されることである。

【0020】

方法は、第２のフレームに続くフレームについて、局所トーンマッピングマスクを所定の局所トーンマッピングマスクを目指して徐々に調整することをさらに含むことができる。

【0021】

第２のフレームに続くフレームについて、所定の局所トーンマッピングマスクを目指して局所トーンマッピングマスクを徐々に調整する利点は、複雑さの少ない局所トーンマッピングマスクを、第２のフレームに続くフレームに適用することができることである。複雑さの少ない局所トーンマッピングマスクは、局所トーンマッピングマスクを決定することに関連するコンピューティングパワーより少ないコンピューティングパワーを必要とすることができる。

【0022】

方法は、第１のフレームの第２の部分内の輝度値の第２の局所変化を検出することをさらに含むことができ、第１のフレームの第２の部分はシーンの第２のエリアを示し；局所トーンマッピングマスクを作成するとき、シーンの第２のエリア内の局所トーンマッピングは、シーンの第２のエリアの外のエリア内の局所トーンマッピングと異なり、シーンの第２のエリアの外のエリア内の局所トーンマッピングは、第１のセンサ設定と第２のセンサ設定との間の関係に基づく。

【0023】

局所トーンマッピングマスクを作成するとき、シーンの第２のエリア内の局所トーンマッピングは第２のセンサ設定に基づく。

【0024】

シーンの第２のエリア内の局所トーンマッピングを第２のセンサ設定に基づかせる利点は、シーンの第２のエリア内のトーンマッピングが、シーンの第２のエリアに関連する第２のフレームの部分内の輝度値を変更することができることである。それにより、ビデオ画像ストリーム内の第２のフレームの輝度変動を低減することが可能である場合がある。

【0025】

方法は、第１のセンサ設定に設定された画像センサを使用して、ビデオ画像ストリームの中間フレームを取得することであって、中間フレームは第１のフレームに続きかつ第２のフレームに先行する、ビデオ画像ストリームの中間フレームを取得すること；中間フレームのさらなる部分内の輝度値のさらなる局所変化を検出することであって、中間フレームのさらなる部分はシーンのさらなるエリアを示す、輝度値のさらなる局所変化を検出すること；中間フレーム内の輝度値に基づいて第３のセンサ設定を決定すること；第３のセンサ設定に設定された画像センサを使用して、ビデオ画像ストリームの第３のフレームを取得することであって、第３のフレームは第２のフレームに続く、ビデオ画像ストリームの第３のフレームを取得すること；さらなる局所トーンマッピングマスクを作成することであって、シーンの第１のエリアおよびシーンのさらなるエリア内の局所トーンマッピングは、シーンの第１のエリアおよびシーンのさらなるエリアの外のエリアと異なり、シーンの第１のエリアおよびシーンのさらなるエリアの外のエリア内の局所トーンマッピングは、第１のセンサ設定と第３のセンサ設定との間の関係に基づく、さらなる局所トーンマッピングマスクを作成すること；および、さらなる局所トーンマッピングマスクをビデオ画像ストリームの第３のフレームに適用することをさらに含むことができる。

【0026】

さらなる局所トーンマッピングマスクを作成するとき、シーンの第１のエリアおよびシーンのさらなるエリア内の局所トーンマッピングは第３のセンサ設定に基づくことができる。

【0027】

シーンの第１のエリアおよびシーンのさらなるエリア内の局所トーンマッピングを第３のセンサ設定に基づかせる利点は、トーンマッピングが、シーンの第１のエリアおよびシーンのさらなるエリアに関連する第３のフレームの複数の部分内の輝度値を変更することができることである。それにより、ビデオ画像ストリーム内の第３のフレーム内の輝度変動を低減することが可能である場合がある。

【0028】

第２の態様によれば、シーンを描写するビデオ画像ストリームを取得するように構成されるデジタルビデオカメラが提供される。デジタルビデオカメラは、異なるセンサ設定に設定され、ビデオ画像ストリームの異なるフレームを取得するように構成される画像センサと；制御回路要素(ｃｉｒｃｕｉｔｒｙ)とを備え、制御回路要素は、第１のセンサ設定に設定された画像センサによって取得される第１のフレームの部分内の輝度値の局所変化を検出するように構成される輝度評価機能であって、第１のフレームの部分はシーンの第１のエリアを示す、輝度評価機能；第１のフレーム内の輝度値に基づいて第２のセンサ設定を決定するように構成されるセンサ設定決定機能；局所トーンマッピングマスク機能を備え、局所トーンマッピングマスク機能は、局所トーンマッピングマスクを作成するように構成され、シーンの第１のエリア内の局所トーンマッピングは、シーンの第１のエリアの外のエリア内の局所トーンマッピングと異なり、シーンの第１のエリアの外のエリア内の局所トーンマッピングは、第１のセンサ設定と第２のセンサ設定との間の関係に基づき、局所トーンマッピングマスク機能は、局所トーンマッピングマスクを、第２のセンサ設定に設定された画像センサによって取得される第２のフレームに適用するように構成される。

【0029】

第１の態様の上記で述べた特徴は、適用可能であるとき、この第２の態様に同様に適用される。不当な反復を回避するため、上記に対する参照が行われる。

【0030】

画像センサおよび制御回路要素は、フレームレベルで同期することができる。

【0031】

画像センサおよび制御回路要素がフレームレベルで同期する利点は、局所トーンマッピングマスクおよびセンサ露光設定がビデオ画像ストリーム内の同じフレームについて変更することができることである。

【0032】

制御回路要素の機能は、汎用プロセッサ上で、あるいは、グラフィクス処理ユニット、フィールドプログラマブルゲートアレイ、固定機能特定用途向け集積回路、またはアナログ回路上で実行されるコンピュータソフトウェア部分として実装することができる。

【0033】

第３の態様によれば、非一時的コンピュータ可読記録媒体であって、プログラムコードを非一時的コンピュータ可読記録媒体上に記録されており、プログラムコードが、処理能力を有するデバイスにおいて実行されると、本方法を実施するように構成される、非一時的コンピュータ可読記録媒体が提供される。

【0034】

第１および第２の態様の上記で述べた特徴は、適用可能であるとき、この第３の態様に同様に適用される。不当な反復を回避するため、上記に対する参照が行われる。

【0035】

本開示の適用可能性のさらなる範囲は、以下で与えられる詳細な説明から明らかになる。しかしながら、詳細な説明および特定の例が、本発明の概念の好ましい変形を示すが、本発明の概念の範囲内の種々の変更および修正がこの詳細な説明から当業者に明らかになるため、単に例証として与えられることが理解されるべきである。

【0036】

したがって、本発明の概念が、述べる方法の特定のステップまたは述べるシステムのコンポーネント部品に限定されないことが理解され、なぜならば、そのような方法およびシステムが変動する場合があるからである。本明細書で使用する用語が、単に特定の実施形態を述べるためのものであり、制限的であることを意図されないことが同様に理解される。本明細書および添付特許請求項で使用するとき、冠詞「１つの（ａ）」、「１つの（ａｎ）」、「その（ｔｈｅ）」、および「前記（ｓａｉｄ）」が、コンテキストが別段に明示的に示さない限り、要素の１つまたは複数が存在することを意味することを意図されることが留意されなければならない。そのため、例えば、「或るユニット（ａ ｕｎｉｔ）」または「そのユニット（ｔｈｅ ｕｎｉｔ）」に対する参照は、幾つかのデバイスおよび同様なものを含むことができる。さらに、語「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「含む（ｃｏｎｔａｉｎｉｎｇ）」、および同様な文言は、他の要素またはステップを排除しない。

【0037】

本発明の上記のまた他の態様は、ここで、本発明の実施形態を示す添付図面を参照して、より詳細に述べられる。図は、本発明を特定の実施形態に限定するものと考えられるべきでなく；代わりに、図は、本発明を説明し理解するために使用される。

【0038】

図に示すように、層および領域のサイズは、例証のために誇張され、したがって、本発明の実施形態の一般的な構造を示すために提供される。同様の参照数字は全体を通して同様の要素を指す。

【図面の簡単な説明】

【0039】

【図1A】シーンを描写する初期フレームを示す図である。

【図1B】シーンを描写する第１のフレームを示す図である。

【図1C】シーンを描写する第２のフレームを示す図である。

【図1D】減少した輝度変動を有する第２のフレームを示す図である。

【図2】シーンを描写するビデオストリーム内の輝度変動を低減する方法のブロックスキームである。

【図3】シーンを描写するビデオ画像ストリームを取得するように構成されるデジタルビデオカメラを示す図である。

【発明を実施するための形態】

【0040】

本発明の概念は、ここで、本発明の概念の現在のところ好ましい変形が示される添付図面を参照して以降でより完全に述べられる。しかしながら、この本発明の概念は、多くの異なる形態で実装することができ、本明細書で述べる変形に限定されるものと解釈されるべきでなく；むしろ、これらの変形は、徹底および完全のために提供され、本発明の概念の範囲を当業者に完全に伝える。

【0041】

シーンを描写するビデオストリーム内の輝度変動を低減するための方法は、ここで、図１Ａ〜図１Ｄを参照して述べられる。図１Ａ〜図１Ｄは、デジタルビデオカメラ３０によって取得されるフレームを示し、デジタルビデオカメラ３０は、図３に関してより詳細に述べられる。

【0042】

図１Ａは、シーンを描写する初期フレーム４０を示す。シーンは、フィールド４６０、道路４４０、道路の脇４７０、および空４８０を含む。フィールド４６０は、第１の構造４１０、第２の構造４２０、および湖４３０を含む。初期フレーム４０は、第１のセンサ設定に設定された画像センサ３０２を使用して取得されている。第１の局所トーンマッピングマスクは初期フレーム４０に適用されている。第１の局所トーンマッピングマスクは、初期フレームを取得するために使用されるデジタルビデオカメラ３０の第１のセンサ設定に基づくことができる。図１Ａに見られるように、第１の局所トーンマッピングマスクは、初期フレーム４０内の明るさレベルの範囲を最適化するように構成される。換言すれば、第１の構造４１０、第２の構造４２０、湖４３０、および道路４４０は初期フレーム４０内で目に見える。同様に、第１の特徴部４１２、第２の特徴部４１４、第３の特徴部４１６、および第４の特徴部４１８は、第１の構造４１０上で目に見える。

【0043】

図１Ｂは、図１Ａと同じシーンを描写する第１のフレーム５０を示す。第１のフレーム５０は、第１のセンサ設定に設定された画像センサ３０２を使用して取得される。図１Ｂに見られるように、車５５０が、第１のフレーム５０内のシーンに入っている。車５５０は第１のフレーム５０の部分５９０に含まれ、その部分５９０は、シーンの第１のエリアを示す。車５５０のヘッドライト５５２は明るく、図１Ｂにおいて描写されるシーンについて画像センサ３０２によって収集される光の輝度レベルの範囲は、図１Ａにおいて描写されるシーンについて画像センサ３０２によって収集される光の輝度レベルの範囲より大きい。換言すれば、図１Ａおよび図１Ｂに示す例において、第１のフレーム５０内の最大輝度レベルは初期フレーム４０内の最大輝度レベルより高い。デジタルビデオカメラ３０内の制御回路要素３０４内の輝度評価機能３０６は、シーンの部分５９０内の輝度値の局所増加を検出することになる。制御回路要素３０４内のセンサ設定決定機能３０８は、第１のフレーム５０内の輝度値に基づいて第２のセンサ設定を決定することになる。換言すれば、センサ設定決定機能３０８は、ビデオ画像ストリーム内の後続のフレームを取得するとき、輝度値の増加を補償するために画像センサ３０２の第１のセンサ設定を調整する。例えば、シーン内の明るさの増加を補償するために、センサ露光時間および／またはセンサ利得を減らすことができる。そのため、制御回路要素３０４は、画像センサ３０２を第２のセンサ設定に設定する。

【0044】

図１Ｃは、図１Ａおよび図１Ｂと同じシーンを描写する第２のフレーム６０を示す。第２のフレーム６０は、第２のセンサ設定に設定された画像センサ３０２によって取得される。この特定の例において、第２のセンサ設定は、第２のセンサ露光時間が第１のセンサ露光時間の半分であるようなセンサ露光時間の低減である。第２の局所トーンマッピングマスクが第２のフレーム６０に適用されている。第２の局所マッピングマスクは、第２のフレームを最適化するように構成される。図１Ｃに見られるように、第２のセンサ設定は、車５５０のヘッドライト５５２からの輝度値の増加を補償する。第２のセンサ設定の結果として、車は明瞭に目に見えることになるが、道路４４０、フィールド４６０、道路の脇４７０、および空４８０は、撮像シーン内の明るい光源の非存在下で、それらのエリアについての最適設定と比較して露光不足であることになる。これらのエリア４４０、４６０、４７０、４８０内の輝度シフトは飛躍的であることになる。図１Ｃに例示するように、第１の構造４１０、第２の構造４２０、湖４３０、および道路４４０の可視性は、第２のセンサ設定および第２の局所トーンマッピングマスクによって少なくとも下がる。換言すれば、第２の局所トーンマッピングマスクは、車５５０のヘッドライト５５２が完全に飽和せず、一方、第２のフレーム６０の他の部分が完全に露光不足（すなわち、全ての情報が失われる程度）でないように第２のフレーム６０を最適化する。しかしながら、これらの他の部分内で輝度のほぼ瞬時のシフトが存在することになり、完全に露光不足でないこれらの領域内の詳細は第２のフレーム６０において目に見えない。例えば、フィールド４６０内の第１および第２の構造４１０、４２０は、図１Ｃの第２のフレーム６０において目に見えない。

【0045】

図１Ｄは、低減された輝度変動を有する第２のフレーム７０を示す。第２のフレーム７０の輝度変動の低減は、第１および第２のセンサ設定に基づく局所トーンマッピングマスクを作成し、それを図１Ｃに示す第２のフレーム６０に適用することによって達成される。局所トーンマッピングマスクは、シーンの第１のエリアの外のトーンマッピングが第１および第２のセンサ設定の間の関係に基づくように構成される。図１Ｄの例において、第１のエリアの外のエリア内のトーンマッピングは、第１および第２のセンサ設定の間の比に基づく。この特定の例において、第１のエリアの外のエリア内のトーンマッピングは、センサ露光時間の変化を補償する。

【0046】

そのため、シーンの第１のエリア内のオブジェクトの輝度は、第２のフレーム７０の部分５９０内で特定のピクセル輝度値にマッピングされることになる。シーンの第１のエリア内のオブジェクトの輝度の半分を有するシーンの第１のエリアの外のオブジェクトは、第２のフレーム７０内で同じ特定のピクセル輝度値にマッピングされることになる。換言すれば、シーン内の輝度は、その輝度がシーンの第１のエリア内にあるか否かに応じて第２のフレーム７０内で異なるピクセル輝度値にマッピングされる。

【0047】

局所トーンマッピングマスクは、シーンの第１のエリア内のトーンマッピングが第２のセンサ設定に基づくように同様に構成される。換言すれば、第１のエリア内のトーンマッピングは、図１Ｃの第２のフレーム６０に適用される局所トーンマッピングである。

【0048】

図１Ａ〜図１Ｄに関して述べるフレームは、ビデオ画像ストリームに同様に含まれる。しかしながら、図１Ｂの第１のフレーム５０は、省略されるフレームであり、したがって、ビデオ画像ストリームを観測する人にとって目に見えないことになる。同様に、図１Ｃの第２のフレーム６０は、低減された輝度変動を有する第２のフレーム７０を選択して含まれない。

【0049】

図２は、シーンを描写するビデオストリーム内の輝度変動を低減するための方法２０のブロックスキームである。

【0050】

方法２０は、第１のセンサ設定に設定された画像センサ３０２を使用して、ビデオ画像ストリームの第１のフレーム５０を取得するＳ２０２ことを含む。

【0051】

第１のフレーム５０は、ビデオ画像ストリーム内の省略されるフレームであることができる。第１のフレーム５０は、ビデオ画像ストリーム内の隠蔽されるフレームであることができる。換言すれば。ビデオ画像ストリーム内の第１のフレーム５０は、方法２０で使用されるが、ビデオ画像ストリーム内で目に見えない。

【0052】

センサ設定は、センサ露光時間およびセンサ利得を含む群から選択される１つまたは複数のセンサ設定であることができる。センサ設定は、センサ露光時間およびセンサ利得の組み合わせであることができる。センサ設定は、センサ露光時間とセンサ利得の積であることができる。

【0053】

方法２０は、第１のフレーム５０の部分５９０内の輝度値の局所変化を検出するＳ２０４ことをさらに含む。第１のフレーム５０の部分５９０はシーンの第１のエリアを示す。第１のフレーム５０の部分５９０を前景オブジェクトに関連付けることができる。前景オブジェクトは、例えば、図１において描写されるシーン内の車５５０であることができる。第１のフレーム５０の部分５９０を動的に更新することができる。例えば、第１のフレーム５０の部分５９０は、第１のフレーム５０に続くフレーム内で移動することができる、例えば、シーンを通して移動する車５５０に追従する。

【0054】

方法２０は、第１のフレーム内の輝度値に基づいて第２のセンサ設定を決定するＳ２０６ことをさらに含む。第２のセンサ設定は、第１のセンサ設定に関するセンサ露光時間および／またはセンサ利得の調整であることができる。第２のセンサ設定は、第１のセンサ設定に関するセンサ露光時間およびセンサ利得の組み合わせにおける増加または減少であることができる。

【0055】

方法２０は、第２のセンサ設定に設定された画像センサを使用して、ビデオ画像ストリームの第２のフレーム７０を取得するＳ２０８ことをさらに含み、第２のフレーム７０は第１のフレーム５０に続く。第２のフレーム７０は第１のフレーム５０に対して連続であることができる。第２のフレーム７０は第１のフレーム５０に対して非連続であることができる。

【0056】

方法２０は、局所トーンマッピングマスクを作成するＳ２１０ことをさらに含み、シーンの第１のエリア内の局所トーンマッピングは、シーンの第１のエリアの外のエリア内の局所トーンマッピングと異なり、シーンの第１のエリアの外のエリア内の局所トーンマッピングは、第１のセンサ設定と第２のセンサ設定との間の関係に基づく。第１のセンサ設定と第２のセンサ設定との間の関係は、第１のセンサ設定と第２のセンサ設定との間の比であることができる。シーンの第１のエリア内の局所トーンマッピングは、第２のセンサ設定に基づくことができる。

【0057】

方法２０は、ビデオ画像ストリームの第２のフレーム７０に局所トーンマッピングマスクを適用するＳ２１２ことをさらに含む。局所トーンマッピングマスクは、複数のステップで第２のフレーム７０に適用することができる。例えば、初期局所トーンマッピングマスクを第２のフレーム７０に適用することができ、初期局所トーンマッピングマスクを適用することに続いて、補正局所トーンマッピングマスクを第２のフレーム７０に適用することができる。初期局所トーンマッピングマスクは第１のセンサ設定に基づくことができる。補正局所トーンマッピングマスクは、シーンの第１のエリアの外のエリア内の局所トーンマッピングを調整するように構成することができる。換言すれば、局所トーンマッピングマスクは、初期局所トーンマッピングマスクおよび補正局所トーンマッピングマスクの組み合わせであることができる。

【0058】

局所トーンマッピングマスクは、第１のエリアと第１のエリアの外のエリアとの間の徐々な移行をさらに含むことができる。

【0059】

方法２０は、第２のフレーム７０に続くフレームについて、局所トーンマッピングマスクを所定の局所トーンマッピングマスクを目指して徐々に調整することをさらに含む。換言すれば、局所トーンマッピングマスクを、所定の局所トーンマッピングマスクを目指して調整することができる。調整は、第２のフレーム７０に続く各フレームについて、段階的に行うことができる。局所トーンマッピングマスクは、所定の数のフレームについて所定の局所トーンマッピングマスクを目指して徐々に調整することができる。換言すれば、第２のフレーム７０の後の所定の数のフレーム後に、局所トーンマッピングマスクを、所定の局所トーンマッピングマスクに調整することができる。所定の局所トーンマッピングマスクは、第２のフレーム７０に続くフレームについてのセンサ設定に基づくことができる。

【0060】

方法２０は、第１のフレーム５０の第２の部分内の輝度値の第２の局所変化を検出するＳ２１６ことをさらに含むことができ、第１のフレーム５０の第２の部分はシーンの第２のエリアを示す。そのような場合、局所トーンマッピングマスクを作成するＳ２１０とき、シーンの第２のエリア内の局所トーンマッピングは、シーンの第２のエリアの外のエリア内の局所トーンマッピングと異なり、シーンの第２のエリアの外のエリア内の局所トーンマッピングは、第１のセンサ設定と第２のセンサ設定との間の関係に基づく。シーンの第２のエリア内の局所トーンマッピングは第２のセンサ設定に基づくことができる。

【0061】

方法２０は、第１のセンサ設定に設定された画像センサを使用して、ビデオストリームの中間フレームを取得するＳ２１８ことをさらに含むことができる。中間フレームは、そのような場合、第１のフレーム５０に続きかつ第２のフレーム７０に先行する。

【0062】

方法２０は、中間フレームのさらなる部分内の輝度値のさらなる局所変化を検出するＳ２２０ことをさらに含むことができる。そのような場合、中間フレームのさらなる部分はシーンのさらなるエリアを示す。

【0063】

方法２０は、中間フレーム内の輝度値に基づいて第３のセンサ設定を決定するＳ２２２ことをさらに含むことができる。

【0064】

方法２０は、第３のセンサ設定に設定された画像センサ３０２を使用して、ビデオ画像ストリームの第３のフレームを取得するＳ２２４ことをさらに含むことができ、第３のフレームは第２のフレームに続く。

【0065】

方法２０は、さらなる局所トーンマッピングマスクを作成するＳ２２６をさらに含むことができ、シーンの第１のエリアおよびシーンのさらなるエリア内の局所トーンマッピングは、シーンの第１のエリアおよびシーンのさらなるエリアの外のエリアと異なる。そのような場合、シーンの第１のエリアおよびシーンのさらなるエリアの外のエリア内の局所トーンマッピングは、第１のセンサ設定と第３のセンサ設定との間の関係に基づく。

【0066】

方法２０は、さらなる局所トーンマッピングマスクをビデオストリームの第３のフレームに適用するＳ２２８ことをさらに含むことができる。

【0067】

図３は、シーンを描写するビデオ画像ストリームを取得するように構成されるデジタルビデオカメラ３０を示す。デジタルビデオカメラ３０は、異なるセンサ設定に設定されるように構成される画像センサ３０２を備える。画像センサ３０２は、ビデオ画像ストリームの異なるフレーム４０、５０、６０、７０を取得するようにさらに構成される。

【0068】

デジタルビデオカメラ３０は制御回路要素３０４をさらに備える。制御回路要素３０４は、輝度評価機能３０６、センサ設定決定機能３０８、および局所トーンマッピングマスク機能３１０を備える。

【0069】

輝度評価機能３０６は、第１のセンサ設定に設定された画像センサ３０２によって取得される第１のフレーム５０の部分５９０内の輝度値の局所変化を検出するように構成される。第１のフレーム５０の部分５９０はシーンの第１のエリアを示す。

【0070】

センサ設計決定機能３０８は、第１のフレーム５０内の輝度値に基づいて第２のセンサ設定を決定するように構成される。

【0071】

局所トーンマッピングマスク機能３１０は、局所トーンマッピングマスクを作成するように構成され、シーンの第１のエリア内の局所トーンマッピングは、シーンの第１のエリアの外のエリア内の局所トーンマッピングと異なり、シーンの第１のエリアの外のエリア内の局所トーンマッピングは、第１のセンサ設定と第２のセンサ設定との間の関係に基づ

【0072】

局所トーンマッピングマスク機能３１０は、局所トーンマッピングマスクを、第２のセンサ設定に設定された前記画像センサ３０２によって取得される第２のフレーム７０に適用するようにさらに構成される。

【0073】

画像センサ３０２および制御回路要素３０４は、フレームレベルで同期することができる。換言すれば、制御回路要素３０４は、局所トーンマッピングマスクを、第２のセンサ設定に設定された画像センサ３０２によって取得される最も早期のフレームに適用することができる。ここで述べる例において、第２のセンサ設定を有する画像センサ３０２によって取得される最も早期のフレームは第２のフレーム６０、７０である。

【0074】

制御回路要素３０４の機能３０６、３０８、３１０は、汎用プロセッサ上で、あるいは、グラフィクス処理ユニット、フィールドプログラマブルゲートアレイ、固定機能特定用途向け集積回路、またはアナログ回路上で実行されるコンピュータソフトウェア部分として実装することができる。

【0075】

本発明の概念が、上述した好ましい変形に決して限定されないことを当業者は認識する。逆に、多くの修正および変形が添付特許請求項の範囲内で可能である。

【0076】

例えば、第１および第２のセンサ設定の間の差は、図１Ａ〜図１Ｄに関して述べたとうに、センサ露光時間の変化の代わりにセンサ利得の変化であることができる。代替的に、第１および第２のセンサ設定の間の差は、同様に、センサ露光時間の変化とセンサ利得の変化の両方であることができる。

【0077】

さらに、開示される変形に対する変形は、図面、開示、及び添付特許請求項の調査から、特許請求される本発明を実施するときに、当業者によって、理解され、もたらされ得る。

【図1A】

【図1B】

【図1C】

【図1D】

【図2】

【図3】