特許 6997461 高ダイナミックレンジビデオのためのデバイスおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2021-12-21

(45)【発行日】2022-01-17

(54)【発明の名称】高ダイナミックレンジビデオのためのデバイスおよび方法

(51)【国際特許分類】

   H04N 5/235 20060101AFI20220107BHJP

   H04N 5/355 20110101ALI20220107BHJP

   H04N 5/225 20060101ALI20220107BHJP

【ＦＩ】

H04N5/235 500

H04N5/355 450

H04N5/225 800

【請求項の数】 17

(21)【出願番号】P 2018561188

(86)(22)【出願日】2017-02-10

(65)【公表番号】

(43)【公表日】2019-03-07

(86)【国際出願番号】 US2017017396

(87)【国際公開番号】W WO2017139596

(87)【国際公開日】2017-08-17

【審査請求日】2019-11-27

(31)【優先権主張番号】62/294,820

(32)【優先日】2016-02-12

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】15/169,006

(32)【優先日】2016-05-31

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/409,053

(32)【優先日】2016-10-17

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】518288914

【氏名又は名称】コントラスト， インコーポレイテッド

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田 貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川 大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本 健策

(72)【発明者】

【氏名】カイザー， ウィリー シー．

(72)【発明者】

【氏名】トッチ， ノラ

(72)【発明者】

【氏名】トッチ， マイケル ディー．

【審査官】▲徳▼田 賢二

(56)【参考文献】

【文献】米国特許出願公開第２０１３／００２１４４７（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１４／０１５２６９４（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１０／０２２５７８３（ＵＳ，Ａ１）

【文献】Michael D.Tocci, Chris Kiser, Nora Tocci, Pradeep Sen，"A Versatile HDR Video Production Sysytem"，SIGGRAPH 2011 : ACM SIGGRAPH 2011 papers，2011年07月

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２３５

Ｈ０４Ｎ ５／３５５

Ｈ０４Ｎ ５／２２５

(57)【特許請求の範囲】

【請求項1】

リアルタイムＨＤＲビデオを生成するための方法であって、前記方法は、
複数のセンサのそれぞれからのピクセル値をフレーム独立様式において処理デバイス上のパイプラインを通してストリームさせることであって、前記複数の画像センサは、少なくとも高露光の第１のセンサと、前記高露光の第１のセンサよりも低い露光を有する第２のセンサとを含み、前記パイプラインは、カーネル演算を含み、前記カーネル演算は、前記第１のセンサ上の第１のピクセルからの飽和されている第１のピクセル値を識別し、前記第１のセンサ上の前記第１のピクセルを囲繞する近傍のピクセルからの飽和されているピクセル値を見出し、前記第２のセンサ上の対応する近傍からの情報を使用して、前記第１のピクセルに関する値を推定する、ことと、
前記ピクセル値を融合することにより、ＨＤＲ画像を生成することであって、前記ＨＤＲ画像は、飽和されていない前記第１のセンサからのピクセル値と、前記第１のセンサからの飽和されているピクセル値に対応する前記第２のセンサからの推定されたピクセル値とを含む、ことと
を含む、方法。

【請求項2】

前記融合することは、前記飽和されているピクセル値の少なくともいくつかを前記ＨＤＲ画像から除外する、請求項１に記載の方法。

【請求項3】

前記複数の画像センサの全てが、単一のレンズを通して画像を同時に捕捉する、請求項２に記載の方法。

【請求項4】

前記方法は、入射光を前記レンズを通して受信することと、少なくとも１つのビーム分割器を介して、前記光を前記複数の画像センサ上に分割することとをさらに含み、撮像レンズによって集められた前記光の少なくとも９５％は、前記複数の画像センサによって捕捉される、請求項３に記載の方法。

【請求項5】

前記複数のセンサは、前記第２のセンサよりも低い露光を有する第３のセンサをさらに含み、前記方法は、前記第１のセンサおよび前記第２のセンサの両方から生じる、飽和されているピクセル値を識別することを含む、請求項１に記載の方法。

【請求項6】

前記飽和されているピクセル値の少なくともいくつかは、前記処理デバイスにおいて前記複数の画像センサの全てのピクセルからの値を受信する前に識別される、請求項１に記載の方法。

【請求項7】

前記方法は、前記カーネル演算を通して、後に着信するピクセル値を依然としてストリームさせながら、ピクセル値のシーケンスの一部の融合を開始することをさらに含む、請求項１に記載の方法。

【請求項8】

ピクセル値のシーケンスは、前記処理デバイスを通してストリームされ、前記複数の画像センサ上の全てのピクセルからのピクセル値の受信を待機せずに融合される、請求項１に記載の方法。

【請求項9】

前記処理デバイスは、フィールドプログラマブルゲートアレイおよび特定用途向け集積回路から成る群から選択されたものを備え、さらに、前記複数の画像センサのそれぞれは、カラーフィルタアレイを備え、前記方法は、前記融合することの後、ＨＤＲ撮像をデモザイク処理することをさらに含む、請求項８に記載の方法。

【請求項10】

複数の画像センサは、光レベル以外は光学的に同じ画像を捕捉する、請求項９に記載の方法。

【請求項11】

前記カーネル演算は、前記第１のセンサ上の第２のピクセルからの値を前記第１のセンサ上の前記第２のピクセルを囲繞するピクセルの近傍から生じる各値の近位に一時的に設置する、前記処理デバイス内の経路を通して、前記ピクセル値をストリームさせることを含む、請求項９に記載の方法。

【請求項12】

前記ストリームさせることおよび前記融合することは、前記処理デバイス上のいずれの場所も完全な画像を記憶しないように、前記処理デバイス上のパイプラインを通して前記ピクセル値のシーケンスをストリームさせることによって行われる、請求項９に記載の方法。

【請求項13】

前記複数の画像センサのうちの１つ上の第２のピクセルからの第２のピクセル値は、最大可能ピクセル値の少なくとも９０％である場合、飽和されていると識別される、請求項４に記載の方法。

【請求項14】

ＨＤＲビデオ処理のための装置であって、前記装置は、
フィールドプログラマブルゲートアレイまたは特定用途向け集積回路を含む処理デバイスと、
レンズおよび少なくとも１つのビーム分割器と、
前記処理デバイスに結合されている少なくとも高露光の第１のセンサおよび第２のセンサであって、前記第２のセンサは、前記高露光の第１のセンサよりも低い露光を有し、前記第１のセンサおよび前記第２のセンサおよび前記レンズおよび前記少なくとも１つのビーム分割器は、光の入射ビームを受信することと、前記光のビームを少なくとも前記第１のセンサ上に衝突する第１の経路と前記第２のセンサ上に衝突する第２の経路とに分割することとを行うように配列されており、前記ビーム分割器は、前記光の大部分を前記第１の経路に指向し、かつ、前記光のより少ない量を前記第２の経路に指向し、前記第１の経路および前記第２の経路は、それぞれ、前記第１のセンサおよび前記第２のセンサ上に衝突することにより、光レベル以外は光学的に同一の画像を生成する、少なくとも高露光の第１のセンサおよび第２のセンサと
を備え、
前記装置は、前記処理デバイス上のパイプラインを通してフレーム独立様式において前記複数の画像センサのそれぞれからのピクセル値をストリームさせるように構成されており、前記パイプラインは、飽和されているピクセル値を識別するカーネル演算と、前記ピクセル値を融合することにより、ＨＤＲ画像を生成する融合モジュールとを含み、
前記カーネル演算は、前記第１のセンサ上の所与のピクセルに関して、前記所与のピクセルを囲繞するピクセルの近傍からの値を検査し、前記ピクセルの近傍内の飽和されている値を見出し、前記第２のセンサ上の対応する近傍からの情報を使用して、前記所与のピクセルに関する値を推定することによって、前記複数の画像センサのそれぞれからピクセル値がストリームされるにつれて、それらに作用する、装置。

【請求項15】

前記パイプラインは、前記ピクセル値がフローする順序において、
前記ピクセル値が前記処理デバイス上に前記複数の画像センサからストリームされるにつれて、前記ピクセル値を同期させる同期モジュールと、
前記カーネル演算と、
前記融合モジュールと、
デモザイク処理モジュールと、
トーンマッピングオペレータと
を含む、請求項１４に記載の装置。

【請求項16】

前記パイプラインは、色補正モジュール、ＨＤＲ変換モジュール、ＨＤＲ圧縮モジュールのうちの１つ以上のものをさらに含む、請求項１５に記載の装置。

【請求項17】

前記装置は、
第３のセンサと、
前記処理デバイス上の同期モジュールであって、前記カーネル演算の上流の前記パイプラインにおいて、前記ピクセル値が前記処理デバイス上に前記複数の画像センサからストリームされるにつれて、前記ピクセル値を同期させる同期モジュールと
をさらに備える、請求項１４に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本願は、２０１６年１０月１７日に出願された米国仮出願第６２／４０９，０５３号、２０１６年２月１２日に出願された米国仮出願第６２／２９４，８２０号の利益を主張する２０１６年５月３１日に出願された米国出願第１５／１６９，００６号の利益を主張するものであり、これらの全ては、参照により本明細書中に援用される。

【0002】

本開示は、高ダイナミックレンジビデオのリアルタイムの捕捉および生成に関する。

【背景技術】

【0003】

人間の視覚系は、高ダイナミックレンジを伴う視覚特徴の識別および処理を行うことができる。例えば、１，０００，０００：１またはそれを上回るコントラスト比率を伴う実世界場面は、人間の視覚野によって正確に処理されることができる。しかしながら、大部分の画像取得デバイスは、低ダイナミックレンジの再現または捕捉のみ可能であって、画像正確度の損失をもたらす。問題は、ビデオ撮像においてさらにより有意となる。

【0004】

それぞれ異なる露光を受ける複数のセンサからの画像を後処理することによって、高ダイナミックレンジ画像を作成する例が存在する。結果として生じる「混成された」画像は、後処理動作を伴わずに単一センサから可能であろうものより広いダイナミックレンジを捕捉することが意図される。

【0005】

高ダイナミックレンジ画像を捕捉するための従来のアプローチは、センサを使用して、可変露光の画像フレームを取得し、次いで、取得後、それらのフレームを処理（後処理）することを含む。そのようなアプローチは、ビデオを撮影するとき、有意な課題を提示する。対象またはカメラが、移動している場合、対の画像は、正確に同一場面を含まないであろう。そのような場合、初期画像捕捉後、後処理ステップが、高ダイナミックレンジビデオが生成され得る前に要求される。

【発明の概要】

【課題を解決するための手段】

【0006】

本発明の方法およびデバイスは、フレーム独立様式において、複数のセンサからのピクセルのストリームを処理し、リアルタイムで高ダイナミックレンジ（ＨＤＲ）ビデオ生成をもたらす。本発明のリアルタイム側面は、それらのピクセルが属するフレームを参照せずに、種々のセンサからのピクセルのストリームを分析することによって遂行される。したがって、本発明のフレーム独立性質は、ピクセルデータを処理する前に、データのフレーム全体がセンサから読み取られることを待機する必要がないことを意味する。その結果、単一画像センサを使用して得られ得る範囲、典型的には、深度８ビットを上回るダイナミックレンジを有する、ＨＤＲビデオとなる。

【0007】

本発明において使用される複数の画像センサは、異なる光レベルで同じ場面に露光され、それぞれ、リアルタイムで、かつそれらが常駐するであろうフレームから独立して処理される、順序付けられたピクセル値のストリームを生成する。ＨＤＲ画像を生成するために使用されるビデオ処理パイプラインは、飽和されているピクセル値を識別し、ピクセル値のストリームを融合することを含む、カーネルおよび融合演算を含む。融合演算は、飽和されているピクセル値と異なるセンサから生じる対応するピクセル値を置換することを含む。結果として生じる生成物は、高ダイナミックレンジビデオ出力である。

【0008】

複数の画像センサからのピクセル値は、パイプラインの一部としてデータの任意のフル画像またはフレームを集約もしくは記憶するいかなる必要性もなく、本発明のパイプラインを通してストリームされ、ＨＤＲビデオ信号として現れる。カーネルおよび融合演算は、それらがパイプラインを通してストリームされるにつれて、ピクセル値を処理するため、後処理が、ＨＤＲビデオを生成するために要求されない。その結果、ピクセル値は、処理される前に、センサからのピクセルの完全なセットを待機せずに、パイプラインを通して継続的にストリームされる。例えば、ＣＭＯＳセンサは、数百万のピクセルを有するが、そのセンサからストリームされる第１のピクセル値は、例えば、その同一センサからの百万番目のピクセルからのピクセル値が、処理デバイスに到達する前にさえ、カーネル演算によって処理される、またはさらに融合演算に進んでもよい。したがって、本発明のフレーム独立ピクセル処理システムおよび方法は、真のリアルタイムＨＤＲビデオを生成する。

【0009】

加えて、パイプライン内の同期モジュールは、センサから着信するピクセル値のストリームを同期させる。これは、例えば、第１のセンサからの６０番目のピクセルがカーネル演算に進むと、他のセンサのそれぞれからの６０番目のピクセルもまた同時にカーネル演算に進むことを意味する。その結果、異なるセンサ上の対応するピクセルからのピクセル値は、パイプラインを通して同期してフローする。これは、２つのことを可能にする。第１に、同期モジュールは、複数のセンサからシステムへのデータ到着時間における僅かな段階相違を補正することができる。第２に、同期は、カーネル演算が、画像センサのうちの１つ上の特定のピクセルからの所与のピクセル値に関して、そのセンサ上のピクセルを囲繞する近傍からの値を考慮し、また、画像センサの別のもの上の対応するピクセルの近傍からの値も考慮することを可能にする。これは、カーネル演算が、同一または別のセンサ上の周囲近傍からの値のパターンに基づいて、１つのセンサからの飽和されているピクセルに関する推定値を作成することを可能にする。

【0010】

ＨＤＲパイプラインはまた、複数のセンサのそれぞれのスペクトル特性における差異を補正することができる。ビーム分割器、レンズ、またはフィルタ等の光学構成要素は、スペクトル的に中立であると主張される場合でも、伝送される光の量に若干の波長依存差を有し得る。すなわち、各画像センサは、その独自の「色補正空間」を有すると言え、それによって、そのセンサからの画像は、その色補正空間から真の色に補正される必要がある。光学システムは、較正されることができ（例えば、較正カードの写真を撮影することによって）、色補正行列が、画像センサ毎に、判定および記憶されることができる。ＨＤＲビデオパイプラインは、次いで、ピクセル値を１つのセンサから別のセンサの色補正空間に向かって調節する反直感的ステップを行うことができ、これは、ある場合には、色を真の色から微調整することを伴い得る。これは、１つのセンサからのＲＧＢ値のベクトルを他のセンサの色補正行列の逆行列によって乗算することによって遂行されてもよい。第２のセンサに対する本色補正後、ストリームは、融合され、結果として生じるＨＤＲビデオ信号は、真の色に色補正される（例えば、ＲＧＢベクトルを適用可能な色補正行列によって乗算することによって）。本演算は、各画像センサのスペクトル差を考慮する。

【0011】

好ましいパイプラインは、以下の発明を実施するための形態に詳細に説明されるような他の処理モジュールを含む。

【0012】

ある側面では、本発明は、リアルタイムＨＤＲビデオを生成するための方法を提供する。方法は、フレーム独立様式において、処理デバイス（例えば、フィールドプログラマブルゲートアレイまたは特定用途向け集積回路等）上のパイプラインを通して、複数のセンサのそれぞれからのピクセル値をストリームさせるステップを含む。パイプラインは、飽和されているピクセル値を識別する、カーネル演算を含む。ピクセル値は、融合され、ＨＤＲ画像を生成する。融合するステップは、飽和されているピクセル値の少なくともいくつかを結果として生じるＨＤＲ画像から除外する。複数の画像センサは、好ましくは、単一レンズを通して画像を同時に捕捉する。入射光が、レンズを通して受信され、少なくとも１つのビーム分割器を介して、レンズによって集められた光の少なくとも約９５％が複数の画像センサによって捕捉されるように、複数の画像センサ上に分割される。複数の画像センサは、少なくとも高露光（ＨＥ）センサと、中間露光（ＭＥ）センサとを含んでもよい。ピクセルストリームを融合するステップは、飽和されていないＨＥピクセル値および飽和されているピクセル値に対応するＭＥピクセル値の使用を含んでもよい。複数のセンサはさらに、低露光（ＬＥ）センサを含んでもよく、本方法は、ＨＥセンサおよびＭＥセンサの両方から生じる、飽和されているピクセル値を識別するステップを含んでもよい。取得、ストリーム、および融合するステップは、処理デバイス上のいずれの場所も完全な画像を記憶しないように、処理デバイス上のパイプラインを通してピクセル値のシーケンスをストリームさせるステップを含んでもよい。

【0013】

ピクセル値のシーケンスは、処理デバイスを通してストリームされ、画像センサ上の全てのピクセルからのピクセル値の受信を待機せずに融合される。ピクセル値は、パイプラインを通してストリームされるため、飽和されているピクセル値の少なくともいくつかは、全てのピクセルからの値を画像センサから受信する前に識別されてもよい。本発明の方法は、依然として、カーネル演算を通して、後に着信するピクセル値をストリームさせながら、シーケンスの一部の融合を開始するステップを含んでもよい。

【0014】

いくつかの実施形態では、カーネル演算を通してピクセル値をストリームさせるステップは、ＨＥセンサ上の第１のピクセルを囲繞するピクセルの近傍からの値を検査し、ピクセルの近傍内の飽和されている値を見出し、ＭＥセンサ上の対応する近傍からの情報を使用して、第１のピクセルに関する値を推定するステップを含む。ピクセル値は、ピクセルの近傍から生じる各値に近接する第１のピクセルからの値を一時的に記憶する、処理デバイス内の経路を介して、カーネル演算を通してストリームされてもよい。

【0015】

画像センサはそれぞれ、カラーフィルタアレイを含んでもよく、本方法は、融合ステップ後、ＨＤＲ撮像をデモザイク処理するステップを含んでもよい。複数の画像センサは、好ましくは、光レベル以外は光学的に同じ画像を捕捉する。

【0016】

画像センサのうちの１つ上の第１のピクセルからの第１のピクセル値は、いくつかの規定されたレベルを上回る、例えば、最大可能ピクセル値の少なくとも約９０％である場合、飽和として識別されてもよい。

【0017】

本発明の側面は、ＨＤＲビデオ処理のための装置を提供する。本装置は、処理デバイス（例えば、ＦＰＧＡまたはＡＳＩＣ）と、処理デバイスに結合される、複数の画像センサとを含む。本装置は、フレーム独立様式において、処理デバイス上のパイプラインを通して複数の画像センサのそれぞれからのピクセル値をストリームさせるように構成される。パイプラインは、飽和されているピクセル値を識別する、カーネル演算と、ピクセル値を融合し、ＨＤＲ画像を生成するための融合モジュールとを含む。本装置は、単一レンズおよび１つまたはそれを上回るビーム分割器を使用する、もしくはそれに接続されてもよい。複数の画像センサは、少なくとも高露光（ＨＥ）センサと、中間露光（ＭＥ）センサとを含む。ＨＥセンサ、ＭＥセンサ、レンズ、およびビーム分割器は、光の入射ビームを受信し、光のビームをＨＥセンサ上に衝突する少なくとも第１の経路と、ＭＥセンサ上に衝突する第２の経路とに分割するように配列されてもよい。好ましくは、ビーム分割器は、光の大部分を第１の経路に、光のより少ない量を第２の経路に指向する。好ましい実施形態では、第１の経路および第２の経路は、それぞれ、ＨＥおよびＭＥセンサ上に衝突し、光レベル以外は光学的に同じ画像を生成する。

【0018】

カーネル演算は、ＨＥセンサ上の任意の所与のピクセルに関して、所与のピクセルを囲繞するピクセルの近傍からの値を検査し、ピクセルの近傍内の飽和されている値を見出し、ＭＥセンサ上の対応する近傍からの情報を使用して、所与のピクセルに関する値を推定することによって、ピクセル値が複数の画像センサのそれぞれからストリームされるにつれて、それらに作用してもよい。パイプラインは、ピクセル値がフローする順序において、ピクセル値が処理デバイス上に複数の画像センサからストリームされるにつれて、ピクセル値を同期させるための同期モジュールと、カーネル演算と、融合モジュールと、デモザイク処理モジュールと、トーンマッピングオペレータと、随意に、色変換モジュール、ＨＤＲ変換モジュール、およびＨＤＲ圧縮モジュールのうちの１つまたはそれを上回るものとを含んでもよい。ある実施形態では、本装置はまた、低露光（ＬＥ）センサを含む。好ましくは、本装置は、カーネル演算の上流のパイプライン内において、ピクセル値が処理デバイス上に複数の画像センサからストリームされるにつれて、ピクセル値を同期させる、処理デバイス上の同期モジュールを含む。
本発明は、例えば、以下を提供する。
（項目１）
リアルタイムＨＤＲビデオを生成するための方法であって、前記方法は、
複数のセンサのそれぞれからのピクセル値をフレーム独立様式において処理デバイス上のパイプラインを通してストリームさせるステップであって、前記パイプラインは、飽和されているピクセル値を識別するカーネル演算を含む、ステップと、
前記ピクセル値を融合し、ＨＤＲ画像を生成するステップと
を含む、方法。
（項目２）
前記融合するステップは、前記飽和されているピクセル値の少なくともいくつかを前記ＨＤＲ画像から除外する、項目１に記載の方法。
（項目３）
複数の画像センサは全て、単一レンズを通して画像を同時に捕捉する、項目２に記載の方法。
（項目４）
入射光を前記レンズを通して受信し、少なくとも１つのビーム分割器を介して、前記光を前記複数の画像センサ上に分割するステップをさらに含み、撮像レンズによって集められた前記光の少なくとも９５％は、前記複数の画像センサによって捕捉される、項目３に記載の方法。
（項目５）
前記複数の画像センサは、少なくとも高露光（ＨＥ）センサと、中間露光（ＭＥ）センサとを含み、シーケンスの融合は、飽和されていないＨＥピクセル値および前記飽和されているピクセル値に対応するＭＥピクセル値の使用を含む、項目４に記載の方法。
（項目６）
前記複数のセンサはさらに、低露光（ＬＥ）センサを含み、前記方法は、前記ＨＥセンサおよび前記ＭＥセンサの両方から生じる、飽和されているピクセル値を識別するステップを含む、項目５に記載の方法。
（項目７）
前記カーネル演算を通して前記ピクセル値をストリームさせるステップは、前記ＨＥセンサ上の第１のピクセルを囲繞するピクセルの近傍からの値を検査し、前記ピクセルの近傍内の飽和されている値を見出し、前記ＭＥセンサ上の対応する近傍からの情報を使用して、前記第１のピクセルに関する値を推定するステップを含む、項目５に記載の方法。
（項目８）
前記飽和されているピクセル値の少なくともいくつかは、前記処理デバイスにおいて前記複数の画像センサの全てのピクセルからの値を受信する前に識別される、項目７に記載の方法。
（項目９）
前記カーネル演算を通して、後に着信するピクセル値を依然としてストリームさせながら、前記シーケンスの一部の融合を開始するステップをさらに含む、項目８に記載の方法。
（項目１０）
ピクセル値のシーケンスは、前記処理デバイスを通してストリームされ、前記画像センサ上の全てのピクセルからのピクセル値の受信を待機せずに融合される、項目８に記載の方法。
（項目１１）
前記処理デバイスは、フィールドプログラマブルゲートアレイおよび特定用途向け集積回路から成る群から選択されたものを備え、さらに、前記画像センサのそれぞれは、カラーフィルタアレイを備え、前記方法はさらに、前記融合ステップ後、ＨＤＲ撮像をデモザイク処理するステップを含む、項目１０に記載の方法。
（項目１２）
複数の画像センサは、光レベル以外は光学的に同じ画像を捕捉する、項目１１に記載の方法。
（項目１３）
前記カーネル演算を通して前記ピクセル値をストリームさせるステップは、一時的に、前記第１のピクセルからの値を前記ピクセルの近傍から生じる各値の近位に設置する、前記処理デバイス内の経路を通して、前記ピクセル値をストリームさせるステップを含む、項目１１に記載の方法。
（項目１４）
取得するステップ、ストリームさせるステップ、および融合するステップは、前記処理デバイス上のいずれの場所も完全な画像を記憶しないように、前記処理デバイス上のパイプラインを通して前記ピクセル値のシーケンスをストリームさせることによって行われる、項目１１に記載の方法。
（項目１５）
前記画像センサのうちの１つ上の第１のピクセルからの第１のピクセル値は、最大可能ピクセル値の少なくとも９０％である場合、飽和として識別される、項目５に記載の方法。
（項目１６）
ＨＤＲビデオ処理のための装置であって、前記装置は、
処理デバイスと、
前記処理デバイスに結合される複数の画像センサであって、前記装置は、フレーム独立様式において、前記処理デバイス上のパイプラインを通して前記複数の画像センサのそれぞれからのピクセル値をストリームさせるように構成され、前記パイプラインは、飽和されているピクセル値を識別するカーネル演算と、前記ピクセル値を融合し、ＨＤＲ画像を生成するための融合モジュールとを含む、複数の画像センサと
を備える、装置。
（項目１７）
レンズと、少なくとも１つのビーム分割器とをさらに備える、項目１６に記載の装置。
（項目１８）
前記複数の画像センサは、少なくとも高露光（ＨＥ）センサと、中間露光（ＭＥ）センサとを含む、項目１７に記載の装置。
（項目１９）
前記ＨＥセンサ、前記ＭＥセンサ、前記レンズ、および前記少なくとも１つのビーム分割器は、光の入射ビームを受信し、前記光のビームを、少なくとも、前記ＨＥセンサ上に衝突する第１の経路と、前記ＭＥセンサ上に衝突する第２の経路とに分割するように配列される、項目１８に記載の装置。
（項目２０）
前記ビーム分割器は、前記光の大部分を前記第１の経路に、前記光のより少ない量を前記第２の経路に指向する、項目１９に記載の装置。
（項目２１）
前記第１の経路および前記第２の経路は、それぞれ、前記ＨＥセンサおよび前記ＭＥセンサ上に衝突し、光レベル以外は光学的に同じ画像を生成する、項目２０に記載の装置。
（項目２２）
前記処理デバイスは、前記パイプラインを含むフィールドプログラマブルゲートアレイまたは特定用途向け集積回路を備える、項目２１に記載の装置。
（項目２３）
前記カーネル演算は、前記ＨＥセンサ上の所与のピクセルに関して、前記所与のピクセルを囲繞するピクセルの近傍からの値を検査し、前記ピクセルの近傍内の飽和されている値を見出し、前記ＭＥセンサ上の対応する近傍からの情報を使用して、前記所与のピクセルに関する値を推定することによって、前記複数の画像センサのそれぞれからピクセル値がストリームされるにつれて、それらに作用する、項目２２に記載の装置。
（項目２４）
前記パイプラインは、前記ピクセル値がフローする順序において、
前記ピクセル値が前記処理デバイス上に前記複数の画像センサからストリームされるにつれて、前記ピクセル値を同期させるための同期モジュールと、
前記カーネル演算と、
前記融合モジュールと、
デモザイク処理モジュールと、
トーンマッピングオペレータと
を含む、項目２３に記載の装置。
（項目２５）
前記パイプラインはさらに、色補正モジュール、ＨＤＲ変換モジュール、およびＨＤＲ圧縮モジュールのうちの１つまたはそれを上回るものを備える、項目２４に記載の装置。
（項目２６）
低露光（ＬＥ）センサと、
前記カーネル演算の上流の前記パイプライン内において、前記ピクセル値が前記処理デバイス上に前記複数の画像センサからストリームされるにつれて、前記ピクセル値を同期させる、前記処理デバイス上の同期モジュールと
をさらに備える、項目２３に記載の装置。

【図面の簡単な説明】

【0019】

【図1】図１は、リアルタイムＨＤＲビデオを生成するための方法のステップを示す。

【図2】図２は、ＨＤＲビデオ処理のための装置を示す。

【図3】図３は、複数のセンサのための配列を示す。

【図4】図４は、リアルタイムＨＤＲビデオ装置上の処理デバイスを示す。

【図5】図５は、同期モジュールの動作を示す。

【図6】図６は、ピクセル値がカーネル演算に提示される方法を図示する。

【図7】図７は、パイプラインをモデル化するアプローチを示す。

【図8】図８は、アーチファクトを回避するための融合を図示する。

【図9】図９は、ピクセル値を調節するために使用されるカメラ応答曲線を示す。

【図10】図１０は、色補正プロセスを示す。

【図11】図１１は、組み合わせられたＨＤＲをブロードキャストするための方法を図示する。

【図12】図１２は、ある実施形態による、ＨＤＲビデオ処理のための装置の画像センサおよびプロセッサを示す。

【発明を実施するための形態】

【0020】

図１は、リアルタイムＨＤＲビデオを生成するための方法１０１のステップを示す。方法１０１は、光を撮像装置のレンズを通して受信するステップ１０７を含む。１つまたはそれを上回るビーム分割器が、光を複数の画像センサ上に衝突する異なる経路に分割する１１３。各画像センサは、次いで、センサのピクセル毎に、ピクセル値の形態で信号を捕捉する１２５。センサが、例えば、１９２０×１０８０ピクセルを有する場合、ピクセル値は、センサから接続される処理デバイスにストリームされるであろう。本方法は、フレーム独立様式において、処理デバイス２１９上のパイプライン２３１を通して複数のセンサのそれぞれからのピクセル値５０１をストリームさせるステップ１２９を含む。パイプライン２３１は、飽和されているピクセル値を識別する、カーネル演算１３５を含む。ピクセル値５０１は、融合される１３９。典型的には、融合された画像は、デモザイク処理され１４５、これは、ＨＤＲ画像を生成し、これは、表示、伝送、記憶、またはブロードキャストされることができる１５１。説明される方法１０１では、複数の画像センサは全て、単一レンズ３１１を通して、画像を同時に捕捉する１２５。パイプライン２３１およびカーネル演算１３５は、フィールドプログラマブルゲートアレイまたは特定用途向け集積回路等の集積回路によって提供されてもよい。画像センサはそれぞれ、カラーフィルタアレイ３０７を含んでもよい。好ましい実施形態では、方法１０１は、融合するステップ１３９後、ＨＤＲ画像をデモザイク処理するステップ１４５を含む。複数の画像センサは、好ましくは、光レベル以外は光学的に同じ画像を捕捉する。

【0021】

本発明の特徴は、ピクセル値５０１が、フレーム独立様式においてパイプライン処理されることである。ピクセル値５０１のシーケンスは、処理デバイス２１９を通してストリームされ１２９、ピクセル値５０１を画像センサ上の全てのピクセルから受信することを待機せずに、融合される１３９。これは、処理デバイス２１９上のいずれの場所も、完全な画像を記憶しないように、取得ステップ１２５、ストリームステップ１２９、および融合ステップ１３９が、処理デバイス２１９上のパイプライン２３１を通してピクセル値５０１のシーケンスをストリーム１２９させることによって行われ得ることを意味する。ピクセル値が、パイプラインを通してストリームされるため、最終ＨＤＲビデオ信号は、リアルタイムで生成される。装置２０１は、方法１０１のステップを行い、したがって、リアルタイムＨＤＲビデオカメラの機能を提供する。リアルタイムは、カメラからのＨＤＲビデオが、カメラが場面を捕捉することと本質的に同時に表示され得ることを意味する（例えば、信号がセンサからディスプレイに進む速度からフィルムのフレームを上回らない待ち時間を差し引いた速度で）。画像データを後処理する要件が存在せず、画像の「フレーム」全体を捕捉、記憶、比較、または処理する要件も存在しない。

【0022】

出力は、方法１０１および装置２０１が、異なる露光レベルにおける複数のセンサを使用して、複数の同型画像（すなわち、光レベル以外は同じである）を捕捉し、それらを融合するため、ＨＤＲビデオ信号となる。高露光（ＨＥ）センサからのデータは、画像の一部が暗い場合に使用され、中間露光（ＭＥ）（またはそれより低い）センサからのデータは、画像の一部がより明るく照明される場合に使用される。方法１０１および装置２０１は、ＨＥおよびＭＥ（および随意にＬＥ）画像を融合し、ＨＤＲビデオ信号を生成する。具体的には、方法１０１および装置２０１は、画像内の飽和されているピクセルを識別し、それらの飽和されているピクセルとより低い露光のセンサから導出された値を置換する。好ましい実施形態では、画像センサのうちの１つ上の第１のピクセルからの第１のピクセル値は、いくつかの規定されたレベルを上回る、例えば、最大可能ピクセル値の少なくとも９０％である場合、飽和として識別される。

【0023】

図２は、ＨＤＲビデオ処理のための装置２０１を示す。装置２０１は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または特定用途向け集積回路（ＡＳＩＣ）等の処理デバイス２１９を含む。複数の画像センサ２６５は、処理デバイス２１９に結合される。装置２０１は、フレーム独立様式において、処理デバイス２１９上のパイプライン２３１を通して複数の画像センサ２６５のそれぞれからのピクセル値５０１をストリームさせるように構成される。パイプライン２３１は、飽和されているピクセル値５０１を識別する、カーネル演算４１３と、ピクセル値５０１を融合し、ＨＤＲ画像を生成する、融合モジュールとを含む。

【0024】

カーネル演算４１３は、ＨＥセンサ２１３上の所与のピクセルに関して、所与のピクセルを囲繞するピクセルの近傍６０１からの値を検査し、ピクセルの近傍６０１内の飽和されている値を見出し、ＭＥセンサ２１１上の対応する近傍６０１からの情報を使用して、所与のピクセルに関する値を推定することによって、ピクセル値５０１が複数の画像センサ２６５のそれぞれからストリームされるにつれて、それらに作用する。

【0025】

装置２０１の種々の構成要素は、印刷回路基板２０５を介して、接続されてもよい。装置２０１はまた、メモリ２２１と、随意に、プロセッサ２２７（ＡＲＭマイクロコントローラのような汎用プロセッサ等）とを含んでもよい。装置２０１はさらに、入出力デバイス２３９またはディスプレイ２６７のうちの１つまたはそれを上回るものを含む、またはそれに接続されてもよい。メモリは、ＲＡＭまたはＲＯＭを含むことができ、好ましくは、少なくとも１つの有形非一過性媒体を含む。プロセッサは、Ｉｎｔｅｌ（Ｓａｎｔａ Ｃｌａｒａ， ＣＡ）によって商標名ＸＥＯＮ Ｅ７で販売されているプロセッサまたはＡＭＤ（Ｓｕｎｎｙｖａｌｅ， ＣＡ）によって商標名ＯＰＴＥＲＯＮ６２００で販売されているプロセッサ等、当技術分野において公知の任意の好適なプロセッサであってもよい。本発明による入力／出力デバイスは、ビデオディスプレイユニット（例えば、液晶ディスプレイまたはＬＥＤディスプレイ）、キー、ボタン、信号生成デバイス（例えば、スピーカ、チャイム、または光）、タッチスクリーン、加速度計、マイクロホン、セルラー無線周波数アンテナ、メモリカードのためのポート、および、例えば、ネットワークインターフェースカード（ＮＩＣ）、Ｗｉ－Ｆｉカード、またはセルラーモデムであることができる、ネットワークインターフェースデバイスを含んでもよい。装置２０１は、記憶デバイス２４１を含む、またはそれに接続されてもよい。複数のセンサは、好ましくは、複数のセンサ２６５が光レベル以外は同じ画像を同時に受信することを可能にする、配列で提供される。

【0026】

図３は、複数のセンサ２６５のための配列を示す。複数のセンサは、好ましくは、少なくとも、高露光（ＨＥ）センサ２１３と、中間露光（ＭＥ）センサ２１１とを含む。各画像センサは、その独自のカラーフィルタアレイ３０７を有してもよい。カラーフィルタアレイ３０７は、各ピクセルが赤色、緑色、または青色光のいずれかを受信するように、Ｂａｙｅｒフィルタとして動作してもよい。当技術分野において公知のように、Ｂａｙｅｒフィルタは、センサからストリームされるピクセル値のシーケンスが、赤色、緑色、青色、緑色、赤色、緑色、青色、緑色、赤色、緑色、青色、緑色、…等に関する値に対応するように、赤色、緑色、青色、緑カラーフィルタの反復グリッドを含む。

【0027】

図３に示されるように、装置２０１はまた、レンズ３１１および少なくとも１つのビーム分割器３０１を含む、または光学的に接続されてもよい。ＨＥセンサ２１３、ＭＥセンサ２１１、レンズ３１１、および少なくとも１つのビーム分割器３０１は、光の入射ビーム３０５を受信し、光のビーム３０５を、少なくとも、ＨＥセンサ２１３上に衝突する第１の経路と、ＭＥセンサ２１１上に衝突する第２の経路とに分割するように配列される。好ましい実施形態では、装置２０１は、３つの撮像センサ上に同時に集束されるように、部分的反射性表面のセットを使用して、単一撮影レンズ３１１からの光を分割する。好ましい実施形態では、光は、ビーム分割器のうちの１つを通して２回逆指向され、３つのサブ画像は赤色、緑色、および青色に分割されず、代わりに、その光レベル以外は光学的に同じである。図３に示される、本設計は、装置が、カメラに進入する光の大部分を使用して、ＨＤＲ画像を捕捉することを可能にする。

【0028】

いくつかの実施形態では、光学分割システムは、空気／プラスチック界面におけるＦｒｅｓｎｅｌ反射に依拠し、したがって、その実際の透過率／反射率（Ｔ／Ｒ）値が角度の関数である、２つの皮膜されていない２ミクロン厚のプラスチックビーム分割器を使用する。ガラスもまた、好適な材料オプションである。一実施形態では、第１のビーム分割器３０１は、４５°角度であって、９２／８の近似Ｔ／Ｒ比率を有し、これは、カメラレンズ３１１からの光の９２％が、第１のビーム分割器３０１を通して伝送され、高露光（ＨＥ）センサ２１３上に直接指向されることを意味する。ビーム分割器３０１は、第１のものと同一光学性質を有するが、光経路に対して９０°角度に位置付けられ、９４／６の近似Ｔ／Ｒ比率を有する、第２の皮膜されていないビーム分割器３１９に向かって、レンズ３１１からの光の８％を上向きに反射させる（図３に示されるように）。

【0029】

上向きに反射された全光の８％のうち、９４％（または全光の７．５２％）は、第２のビーム分割器３１９を通して伝送され、中間露光（ＭＥ）センサ２１１上に集束される。この上向きに反射された光の他の６％（または全光の０．４８％）は、第２のビーム分割器３１９によって、第１のビーム分割器３０１（再び、４５°である）に向かって下方に逆反射され、それを通して９２％（または全光の０．４４％）が、低露光（ＬＥ）センサ２６１上に伝送および集束される。本配列を用いることで、ＨＥ、ＭＥおよびＬＥセンサは、それぞれ、カメラレンズ３１１によって集められた全光の９２％、７．５２％、および０．４４％を用いて画像を捕捉する。したがって、カメラレンズ３１１によって集められた全光のうちの合計９９．９６％が、画像センサによって捕捉される。したがって、ＨＥおよびＭＥ露光は、１２．２倍（３．６１絞り値）分離され、ＭＥおよびＬＥは、１７．０倍（４．０９絞り値）分離され、これは、本構成がセンサのダイナミックレンジを７．７絞り値拡張させるように設計されることを意味する。

【0030】

本ビーム分割器配列は、装置２０１を光効率的にする。すなわち、レンズ３１１によって集められた全光のわずか０．０４％のみが、無駄となる。これはまた、全３つのセンサが同一場面を「確認」することを可能にし、したがって、全３つの画像は、その光レベル以外は光学的に同じである。当然ながら、描写される実施形態２０１の装置では、ＭＥ画像は、奇数回の反射を受け、したがって、他の画像と比較して、左右反転されるが、これは、ソフトウェア内で容易に修正される。好ましい実施形態では、３つのセンサは、独立して、直接、同期モジュールを含む、パイプラインの中に入射ピクセル値をストリームさせる。本同期モジュールは、複数のセンサからシステムへのデータ到着時間における僅かな段階相違を補正することができる。

【0031】

したがって、ビーム分割器３０１は、光の大部分を第１の経路に、光のより少ない量を第２の経路に指向することが分かる。好ましくは、第１の経路および第２の経路は、それぞれ、ＨＥセンサ２１３およびＭＥセンサ２１１上に衝突し、光レベル以外は光学的に同じ画像を生成する。描写される実施形態では、装置２０１は、低露光（ＬＥ）センサを含む。

【0032】

好ましい実施形態では、ピクセル値は、シーケンスで、ＨＥセンサ２１３、ＭＥセンサ２１１、およびＬＥセンサ２６１から、直接、処理デバイス２１９にストリームされる。それらのシーケンスは、それらが処理デバイス２１９上に到着するにつれて同期されなくてもよい。

【0033】

図３によって示されるように、方法１０１は、入射光をレンズ３１１を通して受信するステップ１０７と、少なくとも１つのビーム分割器３０１を介して、光を複数の画像センサ上に分割するステップ１１３とを含んでもよく、光の入射ビーム３０５の少なくとも９５％は、複数の画像センサによって捕捉される。

【0034】

装置２０１は、（１）運動を考慮するための画像操作を必要としない、光学的に整合された複数の露光画像を同時に捕捉し、（２）利用可能な画像センサのダイナミックレンジを拡張し（我々の現在のプロトタイプでは、７撮影絞り値を上回って）、（３）実装が安価であって、（４）単一の標準的カメラレンズ３１１を利用し、（５）レンズ３１１からの光を効率的に使用する。

【0035】

方法１０１は、好ましくは、（１）露光において３を上回る絞り値分だけ分離された画像を組み合わせ、（２）事前にデモザイク処理されたピクセルデータを空間的に混成し、望ましくないアーチファクトを低減させ、（３）放射輝度的に正しいＨＤＲ画像を生成し、（４）利用可能な最高忠実性（最低量子化雑音）ピクセルデータを使用する。装置２０１は、種々の異なるセンサタイプと協働することができ、カメラレンズとセンサとの間に位置するビーム分割器に基づいて、光学アーキテクチャを使用する。

【0036】

図４は、装置２０１上の処理デバイス２１９を示す。記載されるように、処理デバイス２１９は、１つまたはそれを上回るＦＰＧＡ、ＡＳＩＣ、または他の集積回路によって提供されてもよい。センサからのピクセル値は、処理デバイス２１９上のパイプライン２３１を通してストリームされる。処理デバイス２１９内のパイプライン２３１は、ピクセル値５０１がフローする順序において、ピクセル値５０１が処理デバイス２１９上に複数の画像センサ２６５からストリームされるにつれて、ピクセル値５０１を同期させるための同期モジュール４０５と、カーネル演算４１３と、融合モジュール４２１と、デモザイク処理モジュール４２５と、トーンマッピングオペレータ４２７とを含む。パイプライン２３１は、色補正モジュール、ＨＤＲ変換モジュール、およびＨＤＲ圧縮モジュール等の１つまたはそれを上回る補助モジュール４３１を含んでもよい。

【0037】

図５は、ピクセル値５０１が処理デバイス２１９上に複数の画像センサ２６５からストリームされるにつれて、ピクセル値５０１を同期させるための同期モジュール４０５の動作を示す。図５に描写されるように、ＨＥ＿１ピクセル値およびＭＥ＿１ピクセル値は、同期モジュール４０５にほぼ同時に到着する。しかしながら、ＨＥ＿２ピクセル値は、ＭＥ＿２と比較して遅れて到着し、ＬＥピクセル値のシーケンス全体が、遅れて到着するであろう。同期モジュール４０５は、先に到着したピクセル値を巡回させ、それらを対応する後に着信するピクセル値と同時に解放する、小ラインバッファを含有することができる。同期されたピクセル値は、次いで、パイプライン２３１を通してカーネル演算４１３にストリームされる。

【0038】

図６は、ピクセル値がカーネル演算４１３に提示される方法を図示する。図６の上部分は、ＨＥセンサ２１３を描写する。各正方形は、センサ２１３の１つのピクセルを描写する。白色中心を伴う、塗り潰された黒色ボックスは、考慮のための所与のピクセル６１５と、所与のピクセル６１５を囲繞するピクセルの近傍６０１とを図示するように描かれている。塗り潰された黒色ボックスは、実際には、センサ２１３（ＣＭＯＳ動画撮影用カメラセンサ等）上には現れず、単に近傍６０１が含むものを図示し、近傍６０１がピクセル値５０１のシーケンス６２１がカーネル演算４１３に提示されるときに現れる状態を理解することを補助するために描かれている。

【0039】

図６の下部分は、同期モジュール４０５後、それらがカーネル演算４１３の中にストリームされるにつれたピクセル値のシーケンス６２１を示す。センサ２１３上のピクセルの近傍６０１からのピクセル値５０１は、依然として、例証を補助するために、「黒く塗り潰されている」。考慮下の所与のピクセル６１５は、２つの黒色ピクセルによって両側が囲繞されているため、センサ上のピクセルの列から容易に見分けることができる。２つのシーケンス６２１が存在し、そのうちの１つは、描写されるＨＥセンサ２１３から生じ、そのうちの１つは、ＭＥセンサ２１１から生じる。

【0040】

ピクセル値５０１をカーネル演算４１３を通してストリームさせるステップは、ＨＥセンサ２１３上の第１のピクセル６１５を囲繞するピクセルの近傍６０１からの値を検査し、ピクセルの近傍６０１内の飽和されている値を見出し、ＭＥセンサ２１１からの対応する近傍６１３からの情報を使用して、第１のピクセル６１５に関する値を推定するステップを含む。これは、以下により詳細に説明されるであろう。これを遂行するために、処理デバイスは、異なるセンサからの対応するピクセル値間で比較を行わなければならない。これは、考慮下のピクセル６１５を近傍６０１からの各ピクセルに隣接させて、かつ別のセンサ上の対応する近傍からの各ピクセルに隣接させて設置する方式において、ピクセル値をカーネル演算を通してストリームさせることが有用であり得る。

【0041】

図７は、パイプラインが、以下のピクセル値、すなわち、センサ２１３上の右に１つ目のピクセルからのピクセル値、センサ２１３上の右に２つ目のピクセルからのピクセル値、左に１つ目のピクセルからのピクセル値、左に２つ目のピクセルからのピクセル値のそれぞれに隣接させて現在のピクセル６１５を設置するように、回路をモデル化するアプローチを示す。図７に示されるように、データは、パイプラインの本部分の中にフローし、そして４回コピーされる。コピー毎に、異なりかつ特定の量の遅延が、主分岐に追加される。５つのコピー全てが、並行してフローし続ける。したがって、全５つのコピーにわたる同時スナップショットは、所与の現在のピクセル値６１５および近傍６０１からの他のピクセル値を網羅する。このように、現在処理されているピクセルの両側のピクセル値が、現在処理されているピクセルとともに、その処理ステップにおいて使用されることができる。したがって、処理デバイスは、同時に、所与のピクセルのピクセル値を読み取り、近傍の値と比較することができる。図７に図示されるアプローチは、比較のために、上側近傍および下側近傍、対角線近傍、ならびに別のセンサ上の対応する近傍からのピクセル値に拡張されることができる。したがって、いくつかの実施形態では、ピクセル値５０１をカーネル演算４１３を通してストリーム１２９させるステップは、一時的に、第１のピクセルからの値をピクセルの近傍６０１から生じる各値に近接させて設置する、ピクセル値５０１を処理デバイス２１９内の経路６２１を通してストリーム１２９させるステップを含む。

【0042】

近傍比較は、飽和されているピクセルに関する置換値を使用すべきかどうかと、どの置換値を使用すべきかとを判定するために使用されてもよい。近傍比較を使用するアプローチは、融合の議論の後に以下でさらに議論される。置換値は、ピクセル値５０１のシーケンス６２１が融合モジュール４２１によって融合１３９されるときに使用されるであろう。融合１３９するステップは、飽和されているピクセル値５０１の少なくともいくつかをＨＤＲ画像から除外する。

【0043】

異なる露光を伴うＬＤＲ画像のセットからのＨＤＲ画像を融合するための以前のアルゴリズムは、典型的には、ＬＤＲ画像をデモザイク処理し、近傍ピクセル情報を考慮せずに、データをピクセル毎に融合した後に行われる。

【0044】

最小数のカメラセンサを用いて可能な最広ダイナミックレンジを捕捉するために、ＬＤＲ画像を従来のＨＤＲ取得方法を用いてよりも露光においてさらに離して位置付けることが好ましい。先行技術方法は、量子化および雑音効果のため、望ましくないアーチファクトをもたらし、それらの問題は、あるトーンマッピングオペレータ（ＴＭＯ）が適用されるとき、悪化される。それらのＴＭＯは、ダイナミックレンジが圧縮されると、画像内で僅かな勾配差を増幅させ、それらを可視にし、融合アーチファクトも同様に増幅させる。

【0045】

図８は、アーチファクトを低減させる（例えば、参照することによって組み込まれる、「Ｄｅｂｅｖｅｃ ａｎｄ Ｍａｌｉｋ， １９９７， Ｒｅｃｏｖｅｒｉｎｇ ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ ｒａｄｉａｎｃｅ ｍａｐｓ ｆｒｏｍ ｐｈｏｔｏｇｒａｐｈｓ， Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＡＣＭ ＳＩＧＧＲＡＰＨ １９９７：３６９－３７８」における融合アルゴリズムで使用される加重係数と比較して）、融合のアプローチを図示する。図８における「ＨＥセンサ」、「ＭＥセンサ」、および「ＬＥセンサ」バーは、３つのセンサによって測定された場面照明の範囲を提示する。

【0046】

例証のために、本システムは、１６のみの一意の明るさ値を測定し、センサが、露光において１絞り値のみ（２倍）分離される、４ビットセンサ（装置２０１内で使用され得るような１２ビットセンサとは対照的に）を用いて簡略化される。ＣＭＯＳセンサは、略線形関係を入射露光とその出力値との間に呈するため、３つのセンサからの値は、従来の対数スケールの代わりに、入射放射照度の線形関数としてグラフ化される。

【0047】

常時、Ｄｅｂｅｖｅｃ ａｎｄ Ｍａｌｉｋのもの等の単純加重関数を用いて、全３つのセンサからのデータを使用する、先行技術アルゴリズムによる画像の融合は、アーチファクトを導入する。先行技術では、各センサからのデータは、点線によって示されるように、三角関数を用いて加重され、したがって、ＬＥセンサからのデータが、ＨＥセンサのものより粗く量子化される場合でも、低明るさ値（示されるサンプル照明レベルのように）におけるＬＥセンサからの寄与は、ゼロではない。

【0048】

本発明の方法は、対照的に、可能な限りより高い露光センサからのデータ値を使用し、飽和の近傍にあるとき、次により暗いセンサからのデータ内に混成させる。

【0049】

図８は、ＬＥセンサが場面放射照度を他の２つのセンサより粗く測定することを示す。例えば、ＨＥセンサは、ＬＥセンサが単一インクリメントを記録する前に、勾配内で４つの異なるピクセル値を測定し得る。加えて、常時、ある程度の少量の雑音がピクセル値に存在し、ＬＥセンサ内の±１の誤差は、本実施例に関しては、ＨＥセンサ内の１２の値範囲に及ぶ。Ｄｅｂｅｖｅｃａｎｄ Ｍａｌｉｋのアルゴリズムは、これらの値をともに混成するが、方法１０１および装置２０１は、可能である場合、最長露光センサ（より低雑音）のみからのピクセル値を使用し、ピクセルが飽和に近づくと、次により暗い露光内に混成させる。

【0050】

ある実施形態では、方法１０１および装置２０１は、ＬＤＲ画像を融合するとき、個々のピクセルのみを検査するのではなく、また、脱雑音プロセスに役立てるための付加的情報を提供し得る、近傍ピクセル６０１（図６参照）も考慮する。

【0051】

本発明による融合１３９の一側面は、可能な最も明るく最も良好に露光されるセンサからのピクセルデータを排他的に使用することである。したがって、ＨＥ画像からのピクセルが、可能な限り使用され、ＭＥ画像内のピクセルは、ＨＥピクセルが飽和に近づく場合のみ使用される。対応するＭＥピクセルが、飽和レベルを下回る場合、ＭＥピクセルがＨＥピクセルを１２．２倍下回る放射照度を受信することを前提として、カメラの応答曲線に基づいて、ＨＥピクセルに関連してそれを調節する、係数によって乗算される。

【0052】

図９は、ピクセル値を調節するための係数を求めるために使用される、カメラ応答曲線９０１を示す。３センサ実施形態では、ＨＥセンサが飽和レベルを上回るとき、対応するＭＥピクセルが飽和レベルを上回る場合、類似プロセスが、低露光ＬＥ画像内の同一ピクセルに適用される。

【0053】

それらが飽和するまで、ＨＥセンサからの値を排他的に使用し、次いで、単に、次のセンサに切り替える、「勝者総取り方式」アプローチによる融合は、遷移が生じる場所でバンディングアーチファクトをもたらすことが見出され得る。そのようなバンディングアーチファクトを回避するために、方法１０１および装置２０１は、２つのセンサ間のピクセル値を空間的に混成することによって、１つのセンサから次のセンサに遷移する。これを行うために、方法１０１および装置２０１は、評価されているピクセル６１５の周囲の近傍６０１を走査する（図６参照）。本領域内の任意の近傍ピクセルが飽和される場合、考慮下のピクセルは、ピクセルクロストークまたは漏出を受け得、方法１０１および装置２０１は、近傍６０１内のその近傍に基づいて、ピクセルに関する値を推定するであろう。

【0054】

方法１０１および装置２０１は、デモザイク処理が飽和されている領域内の色を破損させ得るため、個々のＢａｙｅｒカラーフィルタアレイ画像をデモザイク処理１４５することに先立って、融合１３９を行う。例えば、場面の明るい橙色セクションは、飽和されている赤色ピクセルを有し得る一方、緑色および青色ピクセルは、該当しない。画像が、ＨＤＲに融合される前にデモザイク処理される場合、デモザイク処理された橙色は、飽和されている赤色ピクセルデータおよび非飽和緑色／青色ピクセルデータから算出されるであろう。その結果、橙色セクションの色相は、正しくなく再現されるであろう。これらのアーチファクトを回避するために、方法１０１および装置２０１は、デモザイク処理に先立って、ＨＤＲ融合を行う。

【0055】

画像が、デモザイク処理ステップに先立って融合されるため、方法１０１および装置２０１は、放射照度の代わりに、ピクセル値を用いて作用する。放射輝度的に正しいＨＤＲ画像を生成するために、方法１０１および装置２０１は、これらが波長の関数として若干変化するため、ピクセル色毎に適切なビーム分割器透過率値を使用して、ＨＥ、ＭＥ、およびＬＥセンサの放射照度レベルを整合させる。方法１０１および装置２０１は、異なる値を使用して、色チャネルのそれぞれを整合させるが、便宜上、プロセスは、平均値を用いて説明される。ピクセル値は、カメラ応答曲線９０１を通して転換され、結果として生じる放射照度は、露光レベル比率（ＨＥ／ＭＥに関しては平均１２．２倍）によって調節され、本新しい放射照度値は、カメラ応答曲線９０１を通して新しいピクセル値に逆転換される。

【0056】

図９は、ＨＥ、ＭＥ、およびＬＥセンサの放射照度レベルを整合させるための３ステップＨＤＲ変換プロセスを示す。ＨＤＲ変換プロセスは、ピクセル比率曲線に到達するために全てのＨＥピクセル値（例えば、１から４０９６）に対して行われてもよく、これは、同一放射照度に関して各ＭＥピクセル値をＨＥセンサ上の対応するピクセル値に転換するためのスケーリング係数を与える。実際は、別個のピクセル比率曲線が、Ｂａｙｅｒパターンにおいて色（Ｒ、Ｇ、Ｂ）毎に計算される。ピクセル値をＨＥおよびＭＥ画像間（またはＭＥおよびＬＥ画像間）で比較するとき、単純乗算器が、使用されてもよい、またはピクセル比率曲線は、ルックアップテーブル（ＬＵＴ）として使用され、４０９６未満のＨＥピクセル値をＭＥピクセル値に、またはその逆に転換してもよい。ＨＥピクセル値が、飽和されると、ピクセル比率曲線は、そこで得られる最後の値（約８）を使用して拡張される。

【0057】

カメラ応答曲線９０１は、ブラケット露光のセットを取り、露光とピクセル値（線形ドメイン内のスケール定数内）を関連させる単調増加関数を求めることによって測定されることができる。

【0058】

図９は、未加工カメラデータから算出された曲線を示すが、線形最良適合から算出された曲線もまた、使用され得る。

【0059】

図９は、カメラが場面放射照度をピクセル値に転換する方法を示す、カメラ応答曲線を与える。所与のＨＥ値に関してとられるべきＭＥピクセル値を算出するために、ＨＥピクセル値（１）は、最初に、場面放射照度（２）に転換され、これは、次に、１２．２の我々のＨＥ／ＭＥ減衰比率によって除算される。本新しい放射照度値（３）は、カメラ応答曲線を通して予期されるＭＥピクセル値（４）に転換される。本グラフは、略線形であるが、有意な平滑化または線形適合の適用を伴わずに未加工データから算出されるため、それほど完璧ではない。３つの画像の放射照度レベルが整合されると、融合１３９は、行われてもよい。

【0060】

融合１３９の例証的実施例では、２つの位置合わせされたＬＤＲ画像（１つは、高露光画像ＩＨＥであって、もう１つは、中間露光画像ＩＭＥである）が、ＨＤＲ画像ＩＨＤＲに融合１３９されることになる。融合１３９は、高露光画像ＩＨＥ内の情報を用いて開始され、次いで、必要に応じて、次により暗い露光画像ＩＭＥからのデータ内で組み合わせられる。上記で説明された遷移アーチファクトを低減させるために、方法１０１および装置２０１は、Ｎ（ｘ，ｙ）として示されるように、周囲（２ｋ＋１）×（２ｋ＋１）ピクセル近傍６０１からの情報を考慮することによって、各ピクセル場所（ｘ，ｙ）に作用する。

【0061】

図６に図示されるようないくつかの実施形態では、方法１０１および装置２０１は、５×５ピクセル近傍６０１（ｋ＝２）を使用して、その値がある特定の量、例えば、最大ピクセル値の９０％（例えば、センサ２１３が１２ビットＣＭＯＳセンサである場合、４０９６）を上回る場合、ピクセルが飽和されていると定義する。
ある実施形態では、融合１３９は、センサ２１３上のピクセル６１５およびその近傍６０１（図６参照）に関する４つのケース毎に、特定の動作を含む。

【0062】

ケース１：ピクセル６１５は、飽和されておらず、近傍６０１も、飽和されているピクセルを有しておらず、したがって、ピクセル値は、そのまま使用される。

【0063】

ケース２：ピクセル６１５は、飽和されていないが、近傍６０１が、１つまたはそれを上回る飽和されているピクセルを有し、したがって、近傍内に存在する飽和の量に応じて、ＩＨＥ（ｘ，ｙ）におけるピクセル値と次により暗い露光ＩＭＥ（ｘ，ｙ）におけるものとの間で混成する。

【0064】

ケース３：ピクセル６１５は、飽和されているが、近傍６０１は、１つまたはそれを上回る飽和されていないピクセルを有し、これは、ＩＨＥ（ｘ，ｙ）に関する値をより良好に推定するために使用され得る。すなわち、近傍内の飽和されていないピクセルと中心ピクセルとの間のＭＥ画像内のピクセル値の比率を計算し、ＭＥ比率の本マップを使用して、考慮下の飽和されているピクセルの実際の値を推定する。

【0065】

ケース４：ピクセル６１５は、飽和されており、近傍６０１内の全てのピクセルも、飽和されており、したがって、高露光画像からの有効情報は存在せず、ＭＥ画像を使用して、ＩＨＤＲ（ｘ，ｙ）＝ＩＭＥ（ｘ，ｙ）を設定する。

【0066】

３つのＬＤＲ画像が存在するとき、上記のプロセスは、単に、２回目の反復において繰り返され、ＩＨＤＲとＩＨＥおよびＩＬＥとＩＭＥを置換する。このように、データは、最低露光に向かって進みながら、より高い露光から融合１３９され、より高い露光データが飽和またはその近傍にあるとき、データは、より低い露光からのみ使用される。

【0067】

これは、全３つの色チャネルを考慮して、図９のものに類似するカメラ応答曲線を使用して、デモザイク処理１４５され、ピクセル値から放射照度に転換され得る、ＨＤＲ画像を生成する。最終ＨＤＲフルカラー画像は、次いで、トーンマッピングされてもよい（例えば、ＦＤＲＴｏｏｌｓ、ＨＤＲ Ｅｘｐｏｓｅ、Ｐｈｏｔｏｍａｔｉｘ等の商業用ソフトウェアパッケージを用いて）

【0068】

装置２０１は、カメラ本体内に搭載される３つのＳｉｌｉｃｏｎ Ｉｍａｇｉｎｇ ＳＩ－１９２０ＨＤ最高仕様動画撮影用ＣＭＯＳセンサを使用して実装されてもよい。それらのセンサは、標準的Ｂａｙｅｒカラーフィルタアレイとともに、１９２０×１０８０ピクセル（５平方ミクロン）を有し、約１０絞り値（雑音を除外する）のダイナミックレンジを測定することができる。センサは、カメラを小ピンホール光源に照準し、ＨＥセンサを下方に係止し、次いで、止めねじを調節し、ＭＥおよびＬＥセンサを整合させることによって整合される。

【0069】

カメラ本体は、Ｈａｓｓｅｌｂｌａｄレンズマウントを含み、高性能相互交換可能商業用レンズの使用を可能にしてもよい。ビーム分割器に関して、装置は、Ｅｄｍｕｎｄ Ｏｐｔｉｃｓによって販売されているもの等の皮膜されていないペンシルビーム分割器［製品番号ＮＴ３９－４８２］を含んでもよい。装置２０１は、方法１０１のステップを行ってもよい。好ましくは、複数の画像センサは、少なくとも高露光（ＨＥ）センサ２１３と、中間露光（ＭＥ）センサ２１１とを含み、融合は、飽和されていないＨＥピクセル値５０１と、飽和されているピクセル値に対応するＭＥピクセル値５０１との使用を含む。複数のセンサはさらに、低露光（ＬＥ）センサ２６１を含んでもよく、方法１０１は、ＨＥセンサ２１３およびＭＥセンサ２１１の両方から生じる飽和されているピクセル値５０１を識別するステップを含んでもよい。ピクセル値は、パイプラインを通してストリームされるため、飽和されているピクセル値５０１の少なくともいくつかは、処理デバイス２１９において複数の画像センサの全てのピクセルからの値を受信する前に識別されることが可能であって、方法１０１は、依然として、後に着信するピクセル値５０１をカーネル演算４１３を通してストリーム１２９させながら、シーケンスの一部の融合１３９を開始するステップを含んでもよい。

【0070】

ビーム分割器、レンズ、またはフィルタ等の光学構成要素は、「スペクトル的に中立」であると標識される場合でも、伝送される光の量に若干の波長依存差を有し得ることを理解されたい。すなわち、各画像センサは、その独自の「色補正空間」を有すると言え、それによって、そのセンサからの画像は、その色補正空間から真の色に補正される必要がある。光学システムは、較正されることができ（例えば、較正カードの写真を撮影することによって）、色補正行列が、画像センサ毎に、記憶されることができる。ＨＤＲビデオパイプラインは、次いで、ピクセル値を１つのセンサから別のセンサの色補正空間に向かって調節する反直感的ステップを行うことができ、これは、ある場合には、色を真の色から微調整することを伴い得る。これは、１つのセンサからのＲＧＢ値のベクトルを他のセンサの色補正行列の逆行列によって乗算することによって遂行されてもよい。第２のセンサに対する本色補正後、ストリームは、融合され、結果として生じるＨＤＲビデオ信号は、真の色に色補正される（例えば、ＲＧＢベクトルを適用可能な色補正行列によって乗算することによって）。この色補正プロセスは、各画像センサのスペクトル差を考慮する。

【0071】

図１０は、ＨＤＲパイプラインが複数のセンサのそれぞれのスペクトル特性における差異を補正し得る、色補正プロセス１００１を示す。センサ間の若干の波長依存差を補正するために、電子入力と電子出力との間の関係が、既知の入力を使用して実験的に測定されることができる。センサ毎に、補正係数を算出することによって、センサによって検出された情報は、さらなる処理に先立って補正されることができる。したがって、いくつかの実施形態では、パイプライン２３１は、色補正のためのモジュールを含む。色補正プロセスのステップは、パイプラインに沿った複数の場所において適用されてもよく、したがって、色補正は、ＦＰＧＡ上の異なる場所において特定のモジュールを介して実装されてもよい。併せて、それらのモジュールは、色補正プロセス１００１を実装する、色補正モジュールと称され得る。

【0072】

色補正プロセス１００１は、２つのセンサからの画像を融合する前に、その色補正空間からの１つのセンサのデータを別のセンサの色補正空間に転換する。融合された画像データは、次いで、第３のセンサからの画像データと組み合わせられる前に、その第３のセンサの色補正空間に転換されることができる。プロセスは、所望に応じた数のセンサに関して繰り返されてもよい。全てのセンサの画像が、組み合わせられた後、最終の組み合わせられた画像は、デモザイク処理１４５されてもよく、次いで、真の色に色補正されてもよい。

【0073】

色補正プロセス１００１は、１つのセンサから次のセンサに色情報を保存するように、２つの画像が一度に融合される段階において、複数のセンサからの画像が融合されることを可能にする。例示的目的のために、図１０では、ＨＥセンサからのＨＥピクセル値は、ＭＥセンサからのＭＥピクセル値と融合される。融合の結果は、次いで、ＬＥセンサからのＬＥピクセル値と融合される。

【0074】

色補正プロセス１００１をガイドする基本原理は、最初に、暗画像を次の最明画像の色補正空間に転換し、次いで、２つの「非デモザイク処理」（またはカラーフィルタアレイ［ＣＦＡ］Ｂａｙｅｒパターン化）画像をともに融合することである。

【0075】

色補正プロセス１００１は、ＭＥセンサ、ＬＥセンサ、およびＳＥセンサを伴う装置２０１に関して、３つの一般的段階、すなわち、ＳＥ色補正空間（ＣＣＳ）段階、ＭＥ色補正空間段階、およびＬＥ色補正空間段階を含む。色補正プロセスは、最初に、ＳＥ色補正空間段階から開始し、これは、最初に、ＬＥピクセル値をデモザイク処理１０４５するステップと、次いで、結果として生じるベクトルをＭＥ画像の色補正空間に変換１０５１するステップを含む。デモザイク処理プロセス１０４５は、ピクセル毎に、フルカラーＲＧＢベクトル値をもたらす。

【0076】

デモザイク処理１０４５された後、ＬＥ画像データが、次に、ＭＥ色補正空間に変換１０４５される。本目的は、ＬＥピクセルの色（ここでは、ＲＧＢベクトルによって説明される）をＭＥアレイの色（ＭＥアレイの色の不完全性の全てを伴う）に整合することである。変換１０５１を行うために、ＬＥ ＲＧＢベクトルは、色補正行列によって変換１０５１される。例えば、等式１－３は、色補正行列を使用して、それぞれ、ＨＥ、ＭＥ、およびＬＥセンサに関する色値を補正する方法を示す。等式１は、色補正行列を使用して、ＨＥセンサの色値を補正する方法を示し、値Ａ１－Ａ９を含む、３×３行列係数は、ピクセル値を強化または弱化させるために選択された係数を表し、ＲＧＢ行列（ＲＬＥ、ＧＬＥ、およびＢＬＥ）は、ＬＥセンサからのデモザイク処理されたＲＧＢ出力信号を表す。ある場合には、３×３行列係数は、デモザイク処理された出力を期待（すなわち、いわゆる「真」）値に対して比較することによって導出されることができる。例えば、３×３行列係数は、デモザイク処理されたＲＧＢ出力値と基準色チャート（例えば、Ｍａｃｂｅｔｈチャート）からの基準値との間の最小２乗多項式モデル化によって導出されることができる。同様に、等式２は、色補正行列を使用して、ＭＥセンサの色値を補正する方法を示し、ＲＧＢ行列（ＲＭＥ、ＧＭＥ、およびＢＭＥ）は、ＭＥセンサからのデモザイク処理されたＲＧＢ出力信号を表し、等式３は、色補正行列を使用して、ＳＥセンサの色値を補正する方法を示し、ＲＧＢ行列（ＲＭＥ、ＧＭＥ、およびＢＭＥ）は、ＳＥセンサからのデモザイク処理されたＲＧＢ出力値を表す。
等式１－［Ａ］、すなわち、ＬＥセンサのための色補正行列を使用してＳＥピクセル値を補正する。

【数1】

等式２－［Ｂ］、すなわち、ＭＥセンサのための色補正行列を使用してＭＥピクセル値を補正する。

【数2】

等式３－［Ｃ］、すなわち、ＳＥセンサに関する色補正行列を使用してＳＥピクセル値を補正する。

【数3】

【0077】

画像を第１の色補正空間（ＣＣＳ）から第２の色補正空間に転換するために、１つまたはそれを上回るセンサからの色補正行列が、使用されることができる。本プロセスは、色補正空間間の転換または色補正空間の較正と称され得る。第１の色補正空間または第２の色補正空間のいずれも、捕捉された画像の真の色を正確に反映させていない。第１および第２の色補正空間の両方とも、ずれを有し、それらのずれは、一般に、相互から異なる。したがって、各センサからのＲＧＢ値は、真の色として現れるために、それらのＲＧＢ値に関する一意の色補正行列によって乗算されなければならない。
本発明は、画像をＬＥセンサの色補正空間からＭＥセンサの色補正空間に転換するための方法を含み、以下の等式４に図示される。
等式４－ＬＥピクセル値をＬＥ色補正空間からＭＥ色補正空間に転換する。

【数4】

【0078】

等式４では、ＬＥセンサのピクセル値（Ｒ、Ｇ、Ｂ）は、ＬＥセンサの補正行列［Ｃ］によって乗算され、次いで、ＭＥセンサの補正行列［Ｂ］の逆行列によって乗算される。結果は、ＭＥセンサの色補正空間内にある、ピクセル値（Ｒ、Ｇ、Ｂ）のセットとなる。

【0079】

本発明の方法は、２つのセンサからの画像が、正確に組み合わせられる、または融合され得るように、第２のセンサの色補正空間と第１のセンサの色補正空間の整合を可能にする。２つのセンサからの画像をＨＤＲ画像の中に組み合わせることに先立って、第２の色補正空間の全てのずれを第１の色補正空間に適用するための方法は、これまで知られていない。複数のＣＦＡセンサからのデータを組み合わせるための典型的方法は、画像を組み合わせることに先立って、各センサのデータを較正された色カードから測定された「真」値に色補正することに依拠する。これは、ＨＤＲシステムにおいて問題となり、より明るいセンサの画像は、飽和されている有意な部分を有し、その飽和されている部分は、実際には、組み合わせるとき、より暗いセンサの画像から利用されているはずであることが知られている。飽和されているピクセルに基づいて、色情報を有する画像を色補正することは、色を誤識別させるであろう。したがって、ＨＤＲシステムでは、画像を組み合わせることに先立って、より明るい画像（例えば、「真」色値）を色補正することは、色をモザイクパターン化画像から作成する際、飽和されているピクセルデータの使用のため、色が誤識別されることにつながるであろう。本理由から、我々は、以下を規定する。（１）より暗い画像は、その色情報をより明るい画像の色空間に整合するように変換され、（２）本変換されたより暗い画像は、より明るい画像と組み合わせられ、次いで、（３）最終の組み合わせられた画像は、「真」色値に色変換される。

【0080】

本発明に提供される解決策は、より暗いセンサからのデータの［（ａ）デモザイク処理１０４５、（ｂ）色補正１０５１、および（ｃ）モザイク処理１０５７］ステップを行い、それによって、全てのデータが、より暗いセンサのデータとより明るいセンサのデータを融合するステップに先立って、その非デモザイク処理された状態に正確に戻されることを確実にすることによって、本飽和ピクセル色誤識別問題を回避する。

【0081】

さらに、２つのセンサからの画像の融合に先立って、本発明は、２つのセンサの色補正空間を整合させる。本変換は、２つの画像（第１および第２の色補正空間センサから）が非デモザイク処理されたフォーマットでピクセル毎に正確に融合され得ることを確実にする。これは、特に、第２のセンサの色補正空間が「真の」色補正空間と異なることが既知であるとき、１つのセンサの色補正空間を第２のセンサの色補正空間に整合させるように変化させるというように、一見、反直感的であるように考えられ得る。しかしながら、これは、（１）より明るいセンサの色情報が融合に先立ってデモザイク処理されないことと、（２）画像の融合に先立って両センサからの色データがともに整合されることとを確実にする際に重要な特徴である。色補正プロセス１００１は、それ自体が処理デバイス２１９上のパイプライン２３１内のカーネルとして実装され得る、行列を使用する。したがって、色補正プロセス１００１は、それらがピクセル値を受信するにつれて、カーネルが適用されるため、ＨＤＲパイプラインワークフローと互換性がある。

【0082】

ＬＥ情報が、ＬＥ色補正空間からＭＥ色補正空間に変換１０５１された後、変換された値は、モザイク処理１０５７される（すなわち、デモザイク処理プロセスが逆転される）。変換されたスカラーピクセル値は、ここでは、ＭＥセンサによって検出されたＢａｙｅｒパターン化スカラーＭＥピクセル値に比較可能であり、プロセス１００１は、ＭＥおよびＨＥ非デモザイク処理（すなわち、スカラー）センサデータの融合１０６１を含む。

【0083】

ＭＥ色補正空間内の融合された非デモザイク処理画像は、次いで、デモザイク処理１０６７される。本デモザイク処理１０６４は、上記に説明されるデモザイク処理１０４５に類似するが、デモザイク処理プロセスを受けるＣＦＡピクセル値は、ここでは、ＭＥ色補正空間と関連付けられる。デモザイク処理１０６７は、ＭＥ色空間内のＲＧＢベクトルを生成する。それらのＲＧＢベクトルは、ＨＥ色空間に変換１０７１される一方、また、色補正される（［Ｂ］［Ａ］－１［ＲＧＢ］）。等式２は、色補正行列を使用して、ＭＥセンサの色値を補正する方法を示す。色補正されたＭＥ情報は、ＭＥ色補正行列をＳＥ色補正行列の逆行列によって乗算することによって、ＭＥ色補正空間からＨＥ色補正空間に変換１０７１される。

【0084】

ＭＥ情報が、ＭＥ色補正空間からＨＥ色補正空間に変換１０７１された後、変換されたベクトルは、モザイク処理１０７５される（すなわち、デモザイク処理プロセスが逆転される）。これは、変換されたＭＥ ＣＦＡ Ｂａｙｅｒパターン化ピクセル値が、ＨＥセンサによって検出されたＨＥピクセル値と融合１０７９することを可能にする。色補正プロセス１００１における本時点で、ＨＥおよびＭＥセンサによって検出された変換された色情報は、ここで、ＨＥセンサによって検出された色情報に整合するように較正される。本新しく融合された色値データセットは、ここでは、ＨＥ色補正空間２０５内の色値を表す。

【0085】

図１１は、高ダイナミックレンジ（ＨＤＲ）ビデオと標準的ダイナミックレンジ（ＳＤＲ）ビデオの組み合わせられたブロードキャストのための方法１３０１を図示する。方法１３０１は、ＨＤＲおよびＳＤＲビデオをストリームさせるステップを提供する。方法１３０１は、センサ１６５のアレイを使用して、一連の画像を表す情報を検出するステップ１２５と、情報を処理するステップ１３０９と、検出と伝送との間の１つのフレーム未満の遅延を伴って、ＨＤＲおよびＬＤＲ表示のための情報を伝送するステップ１３２１とを含む。

【0086】

色処理およびトーンマッピング後、パイプラインは、ＨＤＲビデオ信号を生成する。本段階で、パイプは、リアルタイムで、ＳＤＲ信号をＨＤＲ信号から減算する（ＨＤＲ－ＳＤＲ＝残留物）、減算１３１５のためのモジュールを含むことができる。減算モジュールからのフローは、一対のストリーム、すなわち、ＳＤＲビデオ信号および残留信号である。好ましくは、色情報は全て、ＳＤＲ信号内にある。本段階で、ＨＤＲ信号は、好適な演算（例えば、ＪＰＥＧまたは類似物）によって、ＨＤＲ圧縮を受けてもよい。対のストリームは、８ビットＳＤＲ信号と、ＨＤＲ表示を提供する、圧縮されたＨＤＲ残留信号とを含む。本デュアル信号は、通信ネットワークを経由してブロードキャストされ、実際、テレビネットワーク、セルラーネットワーク、またはインターネットを経由してブロードキャストされてもよい。信号を受信するデバイスは、そのデバイスの容量に従って、ビデオを表示する。ＳＤＲディスプレイデバイスは、８ビットＳＤＲ信号を「確認」し、ビデオを標準的ダイナミックレンジで表示し、その信号はまた、あるＴＭＯをそれに適用させる。ＨＤＲディスプレイデバイスは、残留物を解凍し、デュアルストリームをＨＤＲ信号の中に組み合わせ、ＨＤＲビデオを表示するであろう。

【0087】

したがって、方法１３０１および装置２０１は、リアルタイムＨＤＲビデオ捕捉ならびに単一伝送におけるＨＤＲおよびＳＤＲ出力の同時送達のために使用されてもよい。処理１３０９は、処理デバイス２１９からビデオ（ブロードキャスト）出力までのワークフローを含んでもよい。方法１３０１および装置２０１は、全て同型画像を単一レンズを通して得て、結果として生じるピクセル値をパイプラインを通してストリームさせ、融合されたＨＤＲビデオ信号内の飽和されているピクセルに取って代わる、複数のセンサ等の本明細書に説明される特徴を使用して、リアルタイム処理および相補的ＨＤＲ／ＳＤＲ表示を提供する。方法１０１および装置２０１はそれぞれ、センサのアレイを使用して、ビデオ情報を捕捉し、そのビデオ情報をリアルタイムで処理し、ＨＤＲおよびＬＤＲ互換性フォーマットでビデオ情報をリアルタイムで伝送する。

【0088】

図１２は、ある実施形態による、ＨＤＲビデオ処理のための装置１２０１の画像センサおよびプロセッサを示す。装置１２０１は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または特定用途向け集積回路（ＡＳＩＣ）等の処理デバイス１２１９を含む。複数の画像センサ１２６５は、処理デバイス２１９と、また、光学アセンブリ１２５９（例えば、１つまたはそれを上回るビーム分割器１３０１をその中に有する、ガラスまたは水晶立方体もしくスラブ）とに結合される。装置１２０１は、フレーム独立様式において、処理デバイス１２１９上のパイプラインを通して複数の画像センサ１２６５のそれぞれからのピクセル値をストリームさせるように構成される。パイプラインは、飽和されているピクセル値を識別する、カーネル演算と、ピクセル値を融合し、ＨＤＲ画像を生成するための融合モジュールとを含む。

【0089】

カーネル演算は、ＨＥセンサ１２１３上の所与のピクセルに関して、所与のピクセルを囲繞するピクセルの近傍からの値を検査し、ピクセルの近傍内の飽和されている値を見出し、ＭＥセンサ１２１１上の対応する近傍からの情報を使用して、所与のピクセルに関する値を推定することによって、ピクセル値が複数の画像センサ１２６５のそれぞれからストリームされるにつれて、それらに作用する。

【0090】

装置１２０１の種々の構成要素は、印刷回路基板１２０５を介して接続されてもよい。装置１２０１はまた、メモリと、随意に、プロセッサ（ＡＲＭマイクロコントローラのような汎用プロセッサ等）とを含んでもよい。装置１２０１はさらに、入出力デバイスまたはディスプレイのうちの１つまたはそれを上回るものを含む、またはそれに接続されてもよい。メモリは、ＲＡＭまたはＲＯＭを含むことができ、好ましくは、少なくとも１つの有形非一過性媒体を含む。プロセッサは、Ｉｎｔｅｌ（Ｓａｎｔａ Ｃｌａｒａ， ＣＡ）によって商標名ＸＥＯＮ Ｅ７で販売されているプロセッサまたはＡＭＤ（Ｓｕｎｎｙｖａｌｅ， ＣＡ）によって商標名ＯＰＴＥＲＯＮ６２００で販売されているプロセッサ等、当技術分野において公知の任意の好適なプロセッサであってもよい。本発明による入力／出力デバイスは、ビデオディスプレイユニット（例えば、液晶ディスプレイまたはＬＥＤディスプレイ）、キー、ボタン、信号生成デバイス（例えば、スピーカ、チャイム、または光）、タッチスクリーン、加速度計、マイクロホン、セルラー無線周波数アンテナ、メモリカードのためのポート、および、例えば、ネットワークインターフェースカード（ＮＩＣ）、Ｗｉ－Ｆｉカード、またはセルラーモデムであることができる、ネットワークインターフェースデバイスを含んでもよい。装置１２０１は、記憶デバイスを含む、またはそれに接続されてもよい。複数のセンサは、好ましくは、複数のセンサ１２６５が光レベル以外は同じ画像を同時に受信することを可能にする、配列で提供される。

【0091】

装置１２０１は、描写される配列では、複数のセンサ２６５を含む。複数のセンサは、好ましくは、少なくとも高露光（ＨＥ）センサ１２１３と、中間露光（ＭＥ）センサ１２１１とを含む。各画像センサは、その独自のカラーフィルタアレイ１３０７を有してもよい。カラーフィルタアレイ１３０７は、各ピクセルが赤色、緑色、または青色光のいずれかを受信するように、Ｂａｙｅｒフィルタとして動作してもよい。当技術分野において公知のように、Ｂａｙｅｒフィルタは、センサからストリームさせるピクセル値のシーケンスが、赤色、緑色、青色、緑色、赤色、緑色、青色、緑色、赤色、緑色、青色、緑色、…等に関する値に対応するように、赤色、緑色、青色、緑カラーフィルタの反復グリッドを含む。

【0092】

装置１２０１はまた、レンズおよび少なくとも１つのビーム分割器１３０１を含む、またはそれに光学的に接続されてもよい。ＨＥセンサ１２１３、ＭＥセンサ１２１１、レンズ１３１１および少なくとも１つのビーム分割器１３０１は、光の入射ビーム１３０５を受信し、光のビーム３０５を、少なくとも、ＨＥセンサ１２１３上に衝突する第１の経路と、ＭＥセンサ１２１１上に衝突する第２の経路とに分割するように配列される。好ましい実施形態では、装置１２０１は、３つの撮像センサ上に同時に集束されるように、部分的反射性表面のセットを使用して、単一撮影レンズ１３１１からの光を分割する。好ましい実施形態では、光は、ビーム分割器のうちの１つを通して２回目として逆指向され、３つのサブ画像は赤色、緑色、および青色に分割されず、代わりに、その光レベル以外は光学的に同じである。

【0093】

好ましい実施形態では、第１のビーム分割器１３０１および第２のビーム分割器１３１９は、光学アセンブリ１２５９の一部として提供される。光学アセンブリ１２５９は、好ましくは、スラブ等のガラスまたは水晶部品であって、これは、ともに硬結される、いくつかの楔形状かつより小さいスラブ形状の部品から成ってもよい。ガラスは、好適な材料オプションである。一実施形態では、第１のビーム分割器１３０１は、４５°角度にあって、９２／８の近似Ｔ／Ｒ比率を有し、これは、カメラレンズからの光の９２％が第１のビーム分割器１３０１を通して伝送され、高露光（ＨＥ）センサ２１３上に直接集束されることを意味する。ビーム分割器１３０１は、第１のものと同一光学性質を有するが、光経路に対して９０°角度に位置付けられ、９４／６の近似Ｔ／Ｒ比率を有する、第２の皮膜されていないビーム分割器１３１９に向かって、レンズからの光の８％を上向きに反射させる。上向きに反射された全光の８％のうち、９４％（または全光の７．５２％）は、第２のビーム分割器１３１９を通して伝送され、中間露光（ＭＥ）センサ２１１上に集束される。この上向きに反射された光の他の６％（または全光の０．４８％）は、第２のビーム分割器１３１９によって、第１のビーム分割器１３０１（再び、４５°である）に向かって下方に逆反射され、それを通して９２％（または全光の０．４４％）が、低露光（ＬＥ）センサ２６１上に伝送および集束される。本配列を用いることで、ＨＥ、ＭＥおよびＬＥセンサは、それぞれ、カメラレンズによって集められた全光の９２％、７．５２％、および０．４４％を用いて画像を捕捉する。したがって、カメラレンズによって集められた全光のうちの合計９９．９６％が、画像センサによって捕捉される。したがって、ＨＥおよびＭＥ露光は、１２．２倍（３．６１絞り値）分離され、ＭＥおよびＬＥは、１７．０倍（４．０９絞り値）分離され、これは、本構成がセンサのダイナミックレンジを７．７絞り値拡張させるように設計されることを意味する。

【0094】

描写される実施形態の特徴および利点は、複数の画像センサ１２６５が光学アセンブリ１２５９（また、随意に、処理デバイス１２１９）に結合されることである。例えば、それ自体が半導体材料であり得る、センサは、例えば、接着剤を用いて、アセンブリ１２５９のガラスまたは水晶立方体またはスラブに硬結されてもよい。Ｂａｙｅｒフィルタが、画像センサの表面とアセンブリ１２５９のガラスとの間に配置されてもよい。本構造は、いくつかの実施形態では、頑丈な中実ガラスビーム分割器立方体を使用し、カメラセンサは、ガラスに接合される。そのような構造の利点は、光学構成要素が整合からずれることができないことである。これは、カメラが、高速移動車両、飛行機、および遊園地の乗り物等の高応力環境内で使用されることを可能にする。これはまた、光学アセンブリ１２５９（画像センサ１２６５の有無にかかわらず）が、１つの構成要素として製造され、例えば、スマートフォン等のより大きいデバイス内への含有のために出荷されることを可能にする。例えば、光学アセンブリ１２５９は、センサ１２５９および処理デバイス１２１９とともに、スマートフォン製造業者への販売のために生成されることができ、光学アセンブリのメーカーからデバイス製造業者に譲渡されるとき、光学構成要素は、整合からずれることはないであろう。
参照による引用

【0095】

特許、特許出願、特許刊行物、雑誌、書籍、論文、ウェブコンテンツ等の他の文書の参照および引用が、本開示全体を通して行なわれる。そのような文書は全て、あらゆる目的のために、参照することによって、全体として本明細書に組み込まれる。
均等物

【0096】

本明細書に図示および説明されるものに加え、本発明およびその多くのさらなる実施形態の種々の修正が、本明細書に引用される科学および特許文献の参考文献を含む、本書の全内容から、当業者に明白となるであろう。本明細書における主題は、その種々の実施形態およびその均等物における本発明の実践に適合され得る、重要な情報、例示、および指針を含有する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】