特許 7200452 多重露光ワイドダイナミックレンジ画像データに対する画像データ処理

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-26

(45)【発行日】2023-01-10

(54)【発明の名称】多重露光ワイドダイナミックレンジ画像データに対する画像データ処理

(51)【国際特許分類】

   H04N 23/741 20230101AFI20221227BHJP

   H04N 23/60 20230101ALI20221227BHJP

   H04N 23/76 20230101ALI20221227BHJP

   G06T 5/00 20060101ALI20221227BHJP

【ＦＩ】

H04N5/235 500

H04N5/232 290

H04N5/243

G06T5/00 740

【請求項の数】 17

(21)【出願番号】P 2018560910

(86)(22)【出願日】2017-05-18

(65)【公表番号】

(43)【公表日】2019-06-20

(86)【国際出願番号】 US2017033387

(87)【国際公開番号】W WO2017201319

(87)【国際公開日】2017-11-23

【審査請求日】2020-05-09

(31)【優先権主張番号】15/157,568

(32)【優先日】2016-05-18

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】507107291

【氏名又は名称】テキサス インスツルメンツ インコーポレイテッド

(74)【代理人】

【識別番号】230129078

【弁護士】

【氏名又は名称】佐藤 仁

(72)【発明者】

【氏名】シャシャンク ダブラル

(72)【発明者】

【氏名】ラジャセカール レディ アル

【審査官】吉川 康男

(56)【参考文献】

【文献】米国特許出願公開第２０１４／０１５２６９４（ＵＳ，Ａ１）

【文献】特開２００３－０１８４５７（ＪＰ，Ａ）

【文献】特開２０１４－０６０５０２（ＪＰ，Ａ）

【文献】特表２０１４－５１９２１８（ＪＰ，Ａ）

【文献】特開２０１５－２０４４８８（ＪＰ，Ａ）

【文献】特開２００１－２４５１３０（ＪＰ，Ａ）

【文献】特開２０００－３０７９６３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２３５

Ｈ０４Ｎ ５／２３２

Ｈ０４Ｎ ５／２４３

Ｇ０６Ｔ ５／００

(57)【特許請求の範囲】

【請求項1】

集積回路（ＩＣ）であって、
メモリ回路と、
画像センサからの画像の多重露光に対応する入力露光データを受け取るためのインタフェース回路であって、前記画像の第１の露光に関連する第１の入力露光データを前記メモリ回路の第１のメモリ部に格納し、前記画像の第２の露光に関連する第２の入力露光データを前記メモリ回路の第２のメモリ部に格納するように動作可能であり、前記画像の第１の露光が第１の露光時間を有し、前記画像の第２の露光が前記第１の露光時間と異なる第２の露光時間を有する、前記インタフェース回路と、
前記画像の多重露光に対応する露光データを処理するための処理回路であって、
単一の前処理回路であって、
前記画像の第１の露光に関連する第１の前処理された露光データを生成するために前記第１のメモリ部からの前記第１の入力露光データに対して初期画像処理を実施し、
前記第１の前処理された露光データを前記メモリ回路の第３のメモリ部に格納し、
前記画像の第２の露光に関連する第２の前処理された露光データを生成するために前記第２のメモリ部からの前記第２の入力露光データに対して初期画像処理を実施する、
ように動作可能である、前記単一の前処理回路と、
前記画像を表す統合された画像データを生成するために前記第１及び第２の前処理された露光データを処理するための統合回路であって、
前記画像の第１の露光に関連する第１の利得調整された露光データと前記画像の第２の露光に関連する第２の利得調整された露光データとを生成するために、前記第１及び第２の前処理された露光データの少なくとも１つに対して利得を適用するための利得回路と、
前記画像の第１の露光に関連する第１のシフトされた露光データと前記画像の第２の露光に関連する第２のシフトされた露光データとを生成するために、前記第１の利得調整された露光データと前記第２の利得調整された露光データとをシフトするためのシフト回路と、
前記第１及び第２のシフトされた露光データに基づいて、前記第１の利得調整された露光データの統合処理のための第１の重み値を計算し、前記第２の利得調整された露光データの統合処理のための第２の重み値を計算するための重み付け回路と、
前記第１及び第２の重み値に従って前記統合された画像データを生成するために、前記第１及び第２の利得調整された露光データを統合するための最終統合回路と、
を含み、前記利得回路と前記重み付け回路との１つが構成可能である、前記統合回路と、
を含む、前記処理回路と、
を含む、ＩＣ。

【請求項2】

請求項１に記載のＩＣであって、
前記処理回路が、
前記統合回路からの前記統合された画像データに対してトーンマッピング処理を実施するためのトーンマッピング回路と、
最終画像データを生成するために前記統合された画像データに対して更なる画像処理を実施し、前記最終画像データを前記メモリ回路の第４のメモリ部に格納するための後処理回路と、
を更に含む、ＩＣ。

【請求項3】

請求項１に記載のＩＣであって、
前記単一の前処理回路が、前記第１の入力露光データと前記第２の入力露光データとに対して、ノイズフィルタリング処理と偏向画素補正とＤＣクランプ除去とレンズシェーディング補正とホワイトバランス補正との１つを実施するように更に動作可能である、ＩＣ。

【請求項4】

請求項１に記載のＩＣであって、
前記利得回路が、前記第１及び第２の利得調整された露光データを生成するために、構成可能な第１のホワイトバランス利得を前記第１の前処理された露光データに適用するための回路と、構成可能な第２のホワイトバランス利得を前記第２の前処理された露光データに適用するための回路とを含む、ＩＣ。

【請求項5】

請求項１に記載のＩＣであって、
前記利得回路が、前記第１及び第２の利得調整された露光データを生成するために、構成可能な第１のブラックレベルオフセットを前記第１の前処理された露光データに適用するための回路と、構成可能な第２のブラックレベルオフセットを前記第２の前処理された露光データに適用するための回路とを含む、ＩＣ。

【請求項6】

請求項１に記載のＩＣであって、
前記利得回路が、前記第１及び第２の利得調整された露光データを生成するために、構成可能な第１の利得値を前記第１の前処理された露光データに適用するための回路と、及び構成可能な利得値を前記第２の前処理された露光データに適用するための回路とを含む、ＩＣ。

【請求項7】

請求項１に記載のＩＣであって、
前記重み付け回路が、
前記第１及び第２のシフトされた露光データの選択された１つと構成可能な第１の閾値とに基づいて初期重み値を計算するための重み計算回路であって、
前記画像における現在の画素位置に対する前記第１及び第２のシフトされた露光データの前記選択された１つの値が前記構成可能な第１の閾値より大きいときに、前記初期重み値を第１の所定の値として計算し、
前記現在の画素位置に対する前記第１及び第２のシフトされた露光データの前記選択された１つの前記値が前記構成可能な第１の閾値に等しいか又はそれ未満であるときに、１つ又は複数の構成可能なパラメータと前記現在の画素位置に対する前記第１及び第２のシフトされた露光データの前記選択された１つの値とに従って前記初期重み値を計算する、
ように動作可能である、前記重み計算回路と、
前記画像における前記現在の画素位置に対する前記第１及び第２のシフトされた露光データの値の間の差の絶対値として差の値を計算するための動き適応フィルタ回路であって、
前記差の値が構成可能な第２の閾値より小さいときに、動き適応重み値を前記第１の所定の値として計算し、
前記差の値が前記第２の閾値より大きいか又は前記第２の閾値に等しいときに、前記差の値に従って前記動き適応重み値を計算する、
ように動作可能である、前記動き適応フィルタ回路と、
を含み、
前記重み付け回路が、前記第１の重み値を生成するために前記初期重み値に前記動き適応重み値を乗算し、前記第１の所定の値から前記第１の重み値を減算することによって前記第２の重み値を計算するように動作し得る、ＩＣ。

【請求項8】

請求項７に記載のＩＣであって、
前記１つ又は複数の構成可能なパラメータが、フリッカーとモーションとを制御するように構成可能である、ＩＣ。

【請求項9】

請求項１に記載のＩＣであって、
前記単一の前処理回路が、前記第１の入力露光データと前記第２の入力露光データとに対して、ノイズフィルタリング処理と偏向画素補正とＤＣクランプ除去とレンズシェーディング補正とホワイトバランス補正との１つを実施するように更に動作可能である、ＩＣ。

【請求項10】

請求項１に記載のＩＣであって、
前記第１の入力露光データと前記第２の入力露光データとの各々が第１の色深度を有し、前記統合された画像データが前記第１の色深度よりも大きい第２の色深度を有する、ＩＣ。

【請求項11】

請求項１０に記載のＩＣであって、
前記第１の前処理された露光データと前記第２の前処理された露光データとの各々が前記第１の色深度を有する、ＩＣ。

【請求項12】

請求項１に記載のＩＣであって、
前記単一の前処理回路が、前記第１の入力露光データに対して初期画像処理を実施することの後であって前記第１の前処理された露光データを前記第３のメモリ部分に格納することの後に前記第２の入力露光データに初期画像処理を実施するように更に動作可能である、ＩＣ。

【請求項13】

請求項１に記載のＩＣであって、
前記単一の前処理回路が、前記第２の入力露光データに初期画像処理を実施するために前記第１の入力露光データに初期画像処理を実施する回路要素を再利用する、ＩＣ。

【請求項14】

画像センサからの画像の多重露光に対応する入力露光データを処理する方法であって、
単一の前処理回路を用いて、前記画像の第１の露光に関連する第１の前処理された露光データを生成するために前記画像の第１の露光に関連する第１の入力露光データに対して初期画像処理を実施することと、
前記第１の前処理された露光データをメモリ回路に格納することと、
前記単一の前処理回路を用いて、前記画像の第２の露光に関連する第２の前処理された露光データを生成するために前記画像の第２の露光に関連する第２の入力露光データに対して初期画像処理を実施することと、
前記画像を表す統合された画像データを生成するために前記第１及び第２の前処理された露光データを統合することであって、
前記画像の第１の露光に関連する第１の利得調整された露光データと前記画像の第２の露光に関連する第２の利得調整された露光データとを生成するために、前記第１及び第２の前処理された露光データの少なくとも１つに対して利得を適用することと、
前記画像の第１の露光に関連する第１のシフトされた露光データと前記画像の第２の露光に関連する第２のシフトされた露光データとを生成するために、前記第１の利得調整された露光データと前記第２の利得調整された露光データとをシフトすることと、
前記第１及び第２のシフトされた露光データに基づいて前記第１の利得調整された露光データの統合処理のための第１の重み値と前記第２の利得調整された露光データの統合処理のための第２の重み値とを計算することと、
前記第１及び第２の重み値に従って前記統合された画像データを生成するために、前記第１及び第２の利得調整された露光データを統合することと、
を含む、前記統合することと、
前記統合された画像データに対してトーンマッピングを実施することと、
最終画像データを生成するために前記統合された画像データに対して更なる画像処理を実施することと、
前記最終画像データを前記メモリ回路に格納することと、
を含む、方法。

【請求項15】

請求項１４に記載の方法であって、
前記第１の入力露光データと前記第２の入力露光データとの各々が第１の色深度を有し、前記統合された画像データが前記第１の色深度よりも大きい第２の色深度を有する、方法。

【請求項16】

請求項１５に記載の方法であって、
前記統合された画像データに対してトーンマッピングを実施することが、前記第１の色深度と前記第２の色深度との間の第３の色深度を有するトーンマップされた画像データを生成する、方法。

【請求項17】

請求項１４に記載の方法であって、
前記第２の入力露光データに対して初期画像処理を実施することが、前記第１の前処理された露光データを前記メモリ回路に格納することの後に始められる、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、全般的に、画像処理に関し、特に、ワイドダイナミックレンジ（ＷＤＲ）センサからの画像データを処理するための回路に関する。

【背景技術】

【0002】

カメラ及び画像センサは、監視、モーション制御、及びその他の用途に広く用いられている。例えば、オートモーティブ応用例には、後退中にドライバをアシストするためのリアビューカメラが含まれ、車載カメラが、障害物の回避や、ブレーキング、ステアリング、加速等の制御のために、システムを制御するために入力を提供し得る。デジタルカメラセンサはダイナミックレンジが限られ、それは自然環境（及びその他の観察領域）のダイナミックレンジ及び人間の目のダイナミックレンジに比べて典型的に非常に小さい。例えば、屋内の部屋は、明かりがついていないが、太陽が昇ったり沈んだりする光景が見える窓を有することがある。これは、極端に暗いエリアと極端に明るいエリアを観察カメラに提示する。人間の視覚システムはそのようなダイナミックレンジを捉えることができるが、多くのデジタルカメラは、センサ及び画像処理ハードウェアにおける限られたダイナミックレンジに起因して、それができない。従って、高ダイナミックレンジを有するシーンのデジタル画像は、通常、白飛びしたハイライト及び真っ暗になるシャドウ領域を有する傾向がある。処理された画像における低ダイナミックレンジは、全体のダイナミックレンジを維持することが重要であるオートモーティブ及び監視カメラシステムにおいて問題となる。ワイドダイナミックレンジ（ＷＤＲ）センサは、潜在的な解決策を提示し、自然なシーンのフルダイナミックレンジを保つためのオートモーティブ及び監視用途に対して人気が出てきている。しかしながら、既存の画像処理（画像パイプ）回路及びアーキテクチャは、ＷＤＲセンサ信号処理に良好に適合していない。また、フルワイドダイナミックレンジ画像処理パイプは、コストが高く、実装するのに複雑である。例えば、多重露光に対する露光データは、マージ処理の前に前処理されなければならず、従って、ＷＤＲセンサからの多重露光データは、一層大きく、一層複雑な処理回路要素を必要とする。また、ＷＤＲセンサは、後処理において補正することが難しいモーションアーチファクトを起こし得る。また、一時的に分離された複数のフレームをマージすることは、画素ノイズ及びモーションアーチファクトに起因して画像品質の低下を引き起こし得る。また、捕捉されるシーンにおけるＬＥＤライトまたは他のパルス性の光源の存在は、ＷＤＲセンサを用いて得られた画像の複数の露光間に不一致を引き起こし得る。例えば、パルス性の光源は、第１の露光時間の間にオフ状態であり得、その後、第２の露光時間の間にオンになり得る。そのような場合において、ＷＤＲセンサは、同じ画像に対して第１及び第２の露光データを提供し、その際、１つ又は複数の画素位置が、第１の露光データと第２の露光データとの間で不一致を有し得る。従って、ＷＤＲセンサは、ワイドダイナミックレンジイメージングに対する完全な解決策を提供するために、画像処理に対する新たなチャレンジを提供する。

【発明の概要】

【0003】

説明される例は、画像信号処理回路要素と、集積回路と、マージ回路と、ワイドダイナミックレンジセンサからの第１及び第２の露光データ等の多重露光画像データを処理するための方法とを含む。単一の前処理回路が、画像の第１の露光に関連する第１の入力露光データに対して前処理を実施するために、及びその後、画像の第２の露光に関連する第２の入力露光データに対して前処理を実施するために用いられる。前処理されたデータはその後、トーンマッピング及び他の後処理の前に、２つの露光に対してマージされる。例示のマージ回路要素は、マージの前に第１及び第２の画像データの一方又は両方のデータに利得係数を適用するための構成可能利得回路を含む。或る例において、マージ回路はマージ処理のための第１及び第２の露光データに対する重み値を計算するための構成可能重み計算回路を更に含む。幾つかの例において、マージ回路は、第１及び第２の画像データに適用された利得係数をスケーリングするためのモーションアダプティブ重み付け値を計算するためのモーションアダプティブフィルタ回路を更に含む。

【図面の簡単な説明】

【0004】

【図1】画像センサプロセッサ（ＩＳＰ）集積回路（ＩＣ）のシステム図である。

【0005】

【図2】画像処理方法のフローチャートである。

【0006】

【図3】フレームデータフローチャートである。

【0007】

【図4】図１のＩＣにおけるマージ処理のシステムレベル図である。

【0008】

【図5】図１及び図４におけるマージ回路の更なる詳細を示すシステムレベル図である。

【0009】

【図6】図５のマージ回路における利得調整回路の詳細な概略図である。

【0010】

【図7】入ってくる画素値の関数としての重み付け値、及び構成可能パラメータ（Ｖ）の異なる値のグラフである。

【0011】

【図8】ロング画素値とショート画素値との間の差の関数としてのモーションアダプティブ重み付け値のグラフである。

【0012】

【図9】図５のマージ回路における重み付け回路の詳細な回路図である。

【発明を実施するための形態】

【0013】

図において、一貫して、類似の要素には類似の参照番号が付され、種々の特徴は必ずしも一定の縮尺で描かれているわけではない。説明される例は、効率的な回路、ＩＣ、及びＷＤＲ及び他の画像データ源からの多重露光画像データを前処理しマージするための方法を提供する。説明される例において、例えば、第１の露光データを得るために、画像センサを第１の（例えば、長い）露光時間設定において用い、その後、第２の露光データを得るために、センサを第２の一層短い露光時間設定において用いる等によって、所与の画像に対する第１及び第２の露光データが得られる。データの各セットは、画像シーンの暗いエリアの捕捉を促進する一層長い露光時間データ、及び画像シーンの明るく照らされた部分の詳細を捕捉するために一層短い露光時間データを用いて、得られた画像の所与の画素位置に対する個々の画素データを含む。説明される回路及び方法は、そのような二重露光画像データに対する前処理及びマージ処理を促進する。また、説明される技法は、車載カメラ、監視カメラ、ロボット、及びその他のモーション制御用途等に対する画像データの処理等、種々の異なるイメージング用途に適用可能である。

【0014】

図１は、有線又はワイヤレス接続され得るデータ接続又はリンク１０３を介して、ＷＤＲセンサ１０２から信号データを受信する画像センサプロセッサＩＣ １００を含むイメージングシステムを示す。図２は、ＩＣ １００において実装され得る入力露光データを処理するプロセス又は方法２０４を示す。一例において、ＩＣ １００は、プリント回路基板（ＰＣＢ、図示されない）に搭載され、導電ＰＣＢトレースを介してボード搭載コネクタに電気的に接続される１つ又は複数のピン又は端子を含み、ＷＤＲセンサ１０２は、ケーブル（図示されない）を介してコネクタと結合される。集積回路１００は、後述する種々のブロック又は回路を含み、それらは、専用ロジック回路、プログラマブルロジック回路、及び／又はデジタルプロセッサ回路要素によって実装される機能であり得る。一例において、センサ１０２は、画像露光データを捕捉するためにレンズ構造１０４を介して対応するセンサフィールド１０６内の光を検知及び検出する、デジタルオーバーラップ（ＤＯＬ）ＷＤＲセンサである。

【0015】

ＩＣ １００は、センサ１０２からの画像の多重露光に対応する画素データを受信するための通信回路１０５と、ソーティング回路１０７とを備える画素データインタフェース回路１０８を含む。インタフェース回路１０８は、ＩＣ １００におけるメモリ回路１１０に動作可能に接続される。一例において、画素データインタフェース１０８の通信回路１０５は、センサ１０２からの画素データを受け取るためカメラシリアルインタフェース（ＣＳＩ）通信プロトコルをサポートするモバイル業界プロセッサインタフェース（ＭＩＰＩ）回路である。例えば、通信回路１０５は、ＭＩＰＩ ＣＳＩ－２又はＣＳＩ－３通信をサポートする。一例において、相互接続１０３は、センサ１０２と画素データインタフェース回路１０８との間の整数Ｎ個のデータライン接続を提供するために、複数のＩＣピン及び対応する回路基板トレース及びセンサ１０２への接続を含む。相互接続１０３は、クロック信号のための１つ又は複数の接続を更に含み得る。センサ１０２は、センサフィールド１０６に対応する画像の多重露光に関連する画素データの複数のセットを提供する。例えば、センサ１０２は、第１の露光時間、この場合は２つ又はそれ以上の露光のうち最も長い露光時間、における検知された画像の第１の露光に対応する第１の露光データと、一層短い第２の露光時間を用いて得られる第２の露光に対応する第２の露光データとを提供する。他の例において、この技法は、露光データの２つ以上のセットを含む多重露光画像データにまで拡張され得、露光データの各セットは、通常、一意の露光時間に対応する。これによって、単一のセンサ１０２を用いるフルダイナミックレンジの利用が可能になる。

【0016】

ＩＣ １００は更に、メモリ回路１１０と動作可能に接続され、画像の多重露光に対応する露光データを処理するように１つ又は複数の構成パラメータ１４０に従って構成される処理回路１１２を含む。処理回路１１２は、入力露光データに対して初期処理又は前処理動作を実施するように動作する、単一の前処理回路１２０を含む。前処理回路１２０は、通常、（マージの前に）線形ドメインにおいて働く画像フィルタリング動作を提供する。従って、これらの動作は、個々に、各個別の露光に対して実施される。図示された例において、前処理回路１２０は、ノイズフィルタリング回路１２１、偏向画素補正回路１２２、ＤＣクランプ除去回路１２３、レンズシェーディング補正回路１２４、及びホワイトバランス補正回路１２５を含む。ノイズフィルタリング回路１２１及び偏向画素補正回路１２２は、マージ処理の後に実施されるトーンマッピングロジック１３４の品質を向上させるために用いられ得る。また、ＤＣクランプ除去回路１２３は、回路１２５においてホワイトバランス補正の前のデータに対して動作することが好ましく、また、トーンマッピングの前が好ましい。このように、これらの動作は、有利なことに、マージ処理の前の前処理回路１２０の一部として実施される。また、レンズシェーディング補正回路１２４は、有利なことに、すべての非線形動作に先立ち、マージ処理の前の個別の露光データに対して動作するように用いられる。

【0017】

他の例において、これより少ないか又はこれより多い前処理回路及び機能が、前処理回路１２０において実装され得る。図１の例において、単一の前処理回路１２０は、第１の入力露光データ（図１において「ロング」と示される）及び第２の入力露光データ（「ショート」と示される）に対して、回路１２１～１２５を用いて図示された動作を順次実施する。これは、所与の画像に対する露光データの各セットに対して個別の専用前処理回路要素を含んでいた従来のＷＤＲセンサ回路とは対照的である。

【0018】

図１における処理回路１１２は、画像を表すマージされた画像データを生成するために、第１及び第２の前処理された露光データを処理するためマージ回路１３０を更に含み、マージされたデータはトーンマッピング回路１３４に提供される。画像に対してトーンマッピングされたデータは、その後、後処理回路１３６によって後処理され、ホストシステム１４２によるアクセスのためにメモリ回路１１０にストアされる。この例において、ホストシステム１４２は、更に後述するように、ＩＣ １００に１つ又は複数の構成可能な又は構成パラメータ１４０をストアすることによってＩＣ １００を構成し得る。

【0019】

ＩＣ １００の動作は、図２の方法２００に概略的に図示されている。概して、インタフェース回路１０８は、センサ１０２から入力露光データを受け取り、そのデータをメモリ回路１１０に提供する。図１の例において、メモリ回路１１０は、デュアルデータレート（ＤＤＲ）メモリ回路又は複数のＤＤＲメモリ回路である。メモリ回路１１０は、第１の部分又は位置１１０ａ（図１においてＤＤＲ－１と示される）、第２の部分又は位置１１０ｂ（ＤＤＲ－２と示される）、第３の部分又は位置１１０ｃ（ＤＤＲ－３）、及びダ第４の部分又は位置１１０ｄ（ＤＤＲ－４）を含む。所与の画像の２つ以上の露光を処理するための他の例において、メモリ回路１１０は、更なる位置又は部分（図示されない）を含み得る。図示される例の動作において、インタフェース回路１０８は、画像の第１の露光に関連する第１の入力露光データＬＯＮＧを第１のメモリ部又は位置１１０ａ（図２における２０２）にストアする。図２における２０４において、インタフェース回路１０８は、画像の第２の露光に関連する第２の入力露光データＳＨＯＲＴを第２のメモリ部又は位置１１０ｂにストアする。

【0020】

図２における２０６において、単一の前処理回路１２０は、画像の第１の露光に関連する第１の前処理された露光データ（後述の図４における４０１）を生成するために、第１のメモリ部１１０ａからの第１の露光データＬＯＮＧに対して前処理動作を実施し、図１における回路１２０は、図２における２０８において、第１の前処理された露光データを第３のメモリ部１１０ｃにストアする。処理回路１１２は、有利なことに、第２のメモリ部１１０ｂから第２の入力露光データＳＨＯＲＴを取得し、同じ単一の前処理回路１２０を再度用いて、画像の第２の露光に関連する第２の前処理された露光データを生成する（図４における４０２）ために、図２における２１０において第２の入力露光データＳＨＯＲＴに対して初期画像処理を実施する。図１におけるマージ回路１３０は、画像を表すマージされた画像データを生成する（図４における４０４）ために、２１２において、第１及び第２の前処理された露光データ４０１及び４０２を処理する。図２における２１４において、処理回路１１２は、マージ回路１３０からのマージされた画像データ４０４に対してトーンマッピング処理を実施するために、トーンマッピング回路１３４を用いる。一例において、トーンマッピング回路１３４は、画像の低光量及び高光量を保ちながら、マージされる画像のビット深度を２０ビットから一層少ないビット（１６又は１２ビット）に低減する（例えば、圧縮する）ために、グローバル及び後続のローカルトーンマッピング動作を実施する。この処理は、画像品質を保ちながらビット深度を低減する。

【0021】

後処理回路１３６は、最終画像データを生成するために、マージされた画像データ４０４に対して、更なる画像処理２１４を実施する。一例において、後処理回路１３６は、マージされた画像データに対して動作するための画像フィルタリング回路要素を含み、関連する後処理動作は、露光の数に関係なく、一度のみ適用される。例えば、マージ及びトーンマップ処理の後の画素データは通常非線形であるので、回路１３６によって成される後処理動作は、線形ドメインで実施される必要はない。２１６において、処理回路１１２は、最終画像データを第４のメモリ部１１０ｄにストアする。メモリ部１１０ｄは、その後、図２における２１８において、最終画像データをホストシステム１４２に提供する。

【0022】

図１に示されるように、ＩＣ １００は、単一の前処理回路１１２のみを含み、第１の入力露光データＬＯＮＧは、前処理され、第１の前処理パス１３１に沿ったマージ回路１３０への最終的な提供のために第３のメモリ部１１０ｃに一時的にストアされる。第２の入力露光データＳＨＯＲＴは、前処理回路１２０を直接介して前処理され、第２の前処理パス１３２に沿ってマージ回路１３０に提供される。この解決策は、有利なことに、ＩＣ面積及びコストの削減と引き換えに性能をトレードオフするために、マージ処理の前にマルチパス前処理アプローチを用いる。或る実装において、ＩＣ １００は、例えば、画像データ前処理のためのマルチパス動作を考慮したユースケース等、任意の所望のスループット要求が満たされるようなクロック速度で動作し得る。一例において、回路１１２は、相当なマージンを備えて３０ｆｐｓで２Ｍｐｉｘ解像度をサポートする（２Ｍｐｉｘ＠３０ｆｐｓはオートモーティブデバイスに対する通常の最大要求要件である）ために、２００ＭＨｚのクロック周波数で動作可能である。ＩＣ １００は、このように、マージ回路１３０、並びに、画像処理及びその他の動作を実施する後処理回路１３４、１３６を備えて、ＷＤＲセンサ１０２及び他の多重露光画像データソースのダイナミックレンジの利点を活用して、フルダイナミックレンジの最終出力画像データを提供する。このアプローチは、不利な照明条件においてさえも、正しく露光された画像を生成することを期待されるセキュリティ及びオートモーティブイメージングシステムのような応用例に対するインテリジェントな解決策を提供するために、効率的な画像処理回路スペース及びコストを用いて、一層高いダイナミックレンジを捕捉することを可能にする。そのような不利な照明条件の例としては、太陽が水平線の低い位置にあるときや、カメラに正対しているときの朝／夕時間帯に動作する監視カメラ、車両が暗いパーキングロット又はトンネルから日の当たっている道路に出てくるときのオートモーティブカメラ、室内及び室外の両方のシーンが適切に露光されなければならない太陽が当たる窓を備える暗い部屋等の室内シーン等が含まれる。これらの極端な照明条件下では、図１のシステムは、過露光又は白飛び領域が低減又は除去され、しかも画像の照明が暗い部分の良好な詳細も示す最終画像データをホストシステム１４２に提供する。

【0023】

図３は、ＩＣ １００におけるマルチパス前処理を用いるフレームデータフローを図示し、マージ回路１３０におけるマージ処理の前の初期処理のためＰＡＳＳ ０、ＰＡＳＳ １、及びＰＡＳＳ ２を含む。図３に示されるように、一例において、センサ１０２は、インタフェース１０８に１２ビット入力露光データを提供する。インタフェース１０８は、ＬＯＮＧの第１の入力露光データを第１のメモリ位置１１０ａにストアし（図２における２０２）、１２ビットの第２の入力露光データＳＨＯＲＴを第２のメモリ位置１１０ｂにストアする。ＰＡＳＳ １において、第１の入力露光データＬＯＮＧは、処理回路１１２により、第１のメモリ位置１１０ａの「Ｒｅａｄ ＤＭＡ」ダイレクトメモリアクセス３００を用いて読み出され、そのデータは、第１の前処理された露光データを生成するために回路１２０において前処理され、第１の前処理された露光データは、その後、第３のメモリ位置１１０ｃにストアされる。ＰＡＳＳ ２において、Ｒｅａｄ ＤＭＡ動作３０２を用いて、第２のメモリ位置１１０ｂから第２の入力露光データＳＨＯＲＴが得られ、第２の入力露光データは、ＰＡＳＳ ２において同じ前処理回路１２０を用いて前処理される。前処理された露光データはその後、マージ回路１３０を用いてマージされる。一例において、マージ処理の後のデータは２４ビットであり、それはその後１６ビットにグローバルトーンマッピングされ、その後、１２ビットへのローカルトーンマッピングが続き、圧縮されマージされた画像データは、１つ又は複数の後処理ステップ（例えば、図１における回路１３６）のために残りの画像パイプラインを介して処理される。

【0024】

図４を参照すると、従来の露光マージ技法には、入ってくる画像データにおけるモーション及び／又は高レベルのノイズのいずれかに起因して発生し得るアーチファクトの問題がある。説明される例は、アーチファクトを軽減又は除去し、一層良好な画像品質を提供するために、マージ処理に対して、洗練された、ノイズ堅牢性の、モーションアダプティブアルゴリズムを実装するためにマージ回路要素を用いている。或る例において、マージ処理回路１３０は、複数セットの露光データのインテリジェントで構成可能なマージを提供する。図４は、図１のＩＣにおけるマージ処理のシステムレベル図を示す。第１の前処理された露光データ４０１は、上述したように、第３のメモリ位置１１０ｃからマージ回路１３０によって受け取られる。一例において、１つに対する第１の前処理された露光データは、対応する画像の第１の露光に関連する８～１２ビットの画素データであり、マージ回路１３０は、メモリインタフェース（ＩＦ）動作（例えば、一例においてＤＭＡアクセス）を介してデータ４０１を得る。第２の前処理された露光データ４０２（例えば、８～１２ビット）は、前処理回路１２０（図１）によってマージ回路１３０に提供される。マージ回路１３０は、マージされた画像データ４０４（例えば、説明される或る例において、１２～２０ビット）を生成及び提供するために、下記に更に詳しく説明されるように１つ又は複数の構成パラメータ１４０を用いて、上記に概して記載したように動作する。一例において、回路１３０は、高ビット幅（例えば、最大２４ビット）のマージされたフレームを生成するために、２つの露光に対してデータ４０１、４０２をマージする。一例において、図１のトーンマッピング回路１３４は、範囲を２４ビットから１６ビットに低減するためにグローバルトーンマッピング動作を実装し、ダイナミックレンジを１６ビットから１２ビットに低減するためにローカルトーンマップが適用され得、しかも画像のハイライト及びシャドウ領域における詳細を保持する。

【0025】

図５～図９を参照すると、マージ回路１３０は、一例において、マージ処理にわたってアダプティブ構成可能制御を提供する。処理には、概して、種々の原因による画像品質低下の問題がある。例えば、前処理されたロング及びショート露光データをマージする間の画像品質低下に対して、２つの潜在的な理由が存在する。これらはノイズに起因する劣化、及びモーションに起因する劣化である。ノイズ劣化に関して、マージ処理は、閾値ベースの動作であり、入ってくる前処理された露光画素データにおけるノイズに対して敏感である。例えば、マージロジックが第１の前処理された露光データ４０１に基づく場合、そのデータにおけるノイズが、従来のマージロジックに正しくない露光を選択させ得、また、ノイズに起因する露光間の頻繁なスイッチングの結果、最終のマージされた画像データにおいて重大なアーチファクトとなる。

【0026】

モーション劣化に関して、ほとんどのＷＤＲセンサ１０２は、単一のセンサが用いられて、初期的に露光データの１つのセットを生成し、その後、異なる露光時間設定において露光データの２番目のセットを生成するので、ロング露光とショート露光との間に時間的なラグを含む。例えば、ロング露光の時間設定は通常大きく（例えば、３３ｍｓ又はそれ以上）、ショート露光が捕捉される前に、オブジェクトに対する画像に、或いはカメラセンサ１０２の基準フレーム（例えば、車両搭載カメラ応用例の場合）に著しいモーション遅延が生じ得る。例えば、フレーム内で高速で移動するオブジェクトは、そのフレーム内で移動した可能性があり、その結果モーションブラーとなる。この問題は、特に、自動車（及びカメラ）が高速で移動し、静止しているオブジェクトであってもその車に対して相対的に移動している場合のオートモーティブ応用例において存在する。

【0027】

第３の課題は、捕捉されたシーンにおけるＬＥＤライト又は他のフリッカーのある光源の存在等の、フリッカーのある光源である。ＬＥＤライトは、通常、オン-オフ周期及びデューティーサイクルを備えるオン-オフ様式で動作する（即ち、それらは常時発光している光ではなく、周期的にオンオフを切り替える）。この周期のデューティーサイクルは、画像の強度を調整するために用いられる。大抵のＬＥＤ光源のフリッカーの影響は、人間の目には認識可能ではないが、デジタル画像においては、後続のフレームが、ＬＥＤのアクティブデューティーサイクルの捕捉とミスを交互に行い得、ＬＥＤフリッカーとして知られる現象を引き起こし得る。ＬＥＤフリッカーの問題は、ＷＤＲセンサを用いるときにときに更に悪化する。その場合、１つの露光がＬＥＤをオン状態において捕捉し得（例えば、ロング露光）、一方、他の露光（例えば、同じフレームに対するショート露光時間設定の露光データ）がＬＥＤをミスし得る。これらの２つの別々の露光がマージされるとき、結果の出力はアーチファクトを示し得る。

【0028】

図１、図５、図６、及び図９における例示のマージ回路１３０は、上述の問題を解決するために用いられ得る。例えば、回路１３０は、ノイズ及びモーションアーチファクト、及びＬＥＤフリッカーに対して強靭な、インテリジェントなマージアプローチを提供する。マージ処理は、概して、ワイドダイナミックレンジシーンを生成するために２つ又はそれ以上の露光を組み合わせることを含む。一例において、２つ（例えば、ロング露光時間設定及びショート露光時間設定）の１２ビット露光が組み合わされて、単一の２０ビット（又は１６ビット）フレームを生成し、その結果、所与の画像に対して２つの元のセットの露光データのいずれに比較してもビット深度が高い、一体化された又はマージされた露光となる。図５に示されるように、マージ回路１３０は、第１及び第２のシフト回路５０２、５０４、重み付け回路５０６、及び最終マージ回路５０８とともに、利得回路５００（図５において、「ＧＡＩＮ ＡＤＪＵＳＴ」と示される）を含む。動作において、利得回路５００は、第１及び第２の前処理された露光データ４０１及び／又は４０２の一方又は両方に利得を適用して、画像の第１の露光に関連する第１の利得調整された露光データＬＯＮＧ ＡＤＪ、及び画像の第２の露光に関連する第２の利得調整された露光データＳＨＯＲＴ ＡＤＪを生成する。図示された例において、利得調整されたデータＬＯＮＧ ＡＤＪ及びＳＨＯＲＴ ＡＤＪは２０ビット長であるが、他のビット深度も可能である。利得回路５００は、或る例において、１つ又は複数の構成パラメータ１４０に従って動作する。例示の利得回路５００を図６に関連して下記に更に詳細に説明する。

【0029】

シフト回路５０２及び５０４は、３ビットＷＥＩＧＨＴ ＳＨＩＦＴ構成パラメータ１４０ｊに従って、第１及び第２の利得調整された露光データＬＯＮＧ ＡＤＪ及びＳＨＯＲＴ ＡＤＪをシフトして、１６ビットの第１及び第２のシフトされた露光データＬＯＮＧ ＳＨＩＦＴＥＤ及びＳＨＯＲＴ ＳＨＩＦＴＥＤを生成し、これらは重み付け回路５０６に入力データとして提供される。重み付け回路５０６は、第１のシフトされた露光データＬＯＮＧ ＳＨＩＦＴＥＤのマージ処理２１２に対して１６ビットの第１の重み値ＡＬＰＨＡ＿Ｌを、及び第２のシフトされた露光データＬＯＮＧ ＳＨＩＦＴＥＤのマージ処理２１２に対して第２の重み値ＡＬＰＨＡ＿Ｕを計算する。或る例において、重み付け回路５０６は、１つ又は複数の構成パラメータ１４０に従って動作する。詳細な例示の重み付け回路５０６を、図７～図９に関連してこれ以降に図示及び説明する。最終マージ回路５０８は、第１及び第２の重み値ＡＬＰＨＡ＿Ｌ及びＡＬＰＨＡ＿Ｕを受け取り、第１及び第２の利得調整されたデータＬＯＮＧ ＡＤＪ及びＳＨＯＲＴ ＡＤＪをマージして、第１及び第２の重み値ＡＬＰＨＡ＿Ｌ、ＡＬＰＨＡ＿Ｕに従って、マージされた画像データ４０４を生成する。

【0030】

図６は、利得回路５００の一例の更なる詳細を示す。利得回路５００は、第１及び第２の露光データ４０１及び４０２の一方又は両方に利得を適用して、それらの値を、互いに近くなるように、理想的にはそれらが同じ強度スケールになるように動かす。一例において、第１の露光データ４０１に対してユニティ利得が適用され、ショート露光データ４０２に対して一層高い利得が適用される。或る実装において、固定小数点演算を説明するため、及び利得適用におけるエラーを低減するために、一例において、利得回路５００は、ショート露光に対して「１」の利得を、ロング露光に対して＜「１」の利得を適用する。一例において、第１の露光利得「ｇａｉｎ＿ｌｏｎｇ」は、下記式（１）に従って設定される。
（１） gain_long=2¹⁵×(short exposure gain)／(long exposure gain)

【0031】

利得回路５００は、構成可能な第１及び第２のブラックレベルオフセット値パラメータ１４０ａ及び１４０ｂ（例えば、図示される例において、４ビット値）を、それぞれ、減算回路６０３及び６０４に提供するための回路６０１及び６０２を含む、ブラックレベルオフセット回路要素６０１～６０４を含む。或る例において、デジタル画像データは、非ゼロのブラックレベルを有し、その結果、画像においてゼロを表すべき画素が、例えば一例において２００等、非ゼロ値となる。従って、この画像における最も低い値は２００であり、構成可能パラメータ１４０ａ及び１４０ｂによって設定されるこの値は、更なる処理の前に画像から減算される。ブラックレベルオフセット回路６０１及び６０２からの値は、それぞれ、第１及び第２の露光データ４０１及び４０２（例えば、一例において８～１２ビット）から減算され、その結果が０と４０９５との間で、それぞれクリッピング回路６０５及び６０６によってクリップされる。回路６０５及び６０６は、１２ビットの結果の値を乗算回路６０７及び６０８に提供し、乗算回路６０７及び６０８は、クリップされた結果の値に、構成可能なロング及びショート利得値１４０ｃ及び１４０ｄを乗算する。このようにして、回路６０７は構成可能な第１の利得値１４０ｃを第１の露光データ４０１に適用し、回路６０８は構成可能な利得値１４０ｄを第２の露光データ４０２に適用して、第１及び第２の利得調整された露光データＬＯＮＧ ＡＤＪ及びＳＨＯＲＴ ＡＤＪを生成する。回路６０７及び６０８による乗算の結果として、２８ビットの結果が、それぞれ、加算又はアダー回路６０９及び６１０に提供される。利得回路５００は、構成可能な４ビットの第１及び第２の（例えば、ロング及びショート）シフト値１４０ｂ及び１４０ｆ（「ｘｌ」及び「ｘｓ」）を用い、それらの値は、それぞれ、乗算回路６０７及び６０８からの２８ビット値と加算されるシフトされた値を計算するために用いられる。

【0032】

加算回路６０９及び６１０は、２８ビットの結果を、それぞれ、シフト回路６１１及び６１２に提供する。回路６１１及び６１２は、２８ビットの入力値を１５－ｘｌ及び１５－ｘｓ右シフトし、結果の値（例えば、一例において２０ビット）は、２０ビットの構成可能なクリップ値１４０ｇ（ＷＤＲ＿ＣＬＩＰ）に従って、クリッピング回路６１３及び６１４によって制限又はクリップされる。回路６１３及び６１４は、２０ビットの結果を、それぞれ、回路６１５及び６１６によって提供される構成可能な１３ビットのホワイトバランス利得１４０ｈ及び１４０ｉに従ったロング及びショートホワイトバランス利得適用のために、乗算回路６１７及び６１８に提供する。回路６１５～６１８を用いて、利得回路５００は、第１及び第２の利得調整された露光データＬＯＮＧ ＡＤＪ、ＳＨＯＲＴ ＡＤＪを生成するための処理の一部として、露光データにおけるホワイトバランスを補正する。ホワイトバランス補正は、画像からカラーキャストを除去するように動作する。一例において、ユニティ利得がグリーンチャネル値に適用され、非ユニティ利得（１より上又は下）が、レッド又はブルーチャネルに適用される。ホワイトバランス利得調整の後、３３ビットの乗算回路の結果値が乗算回路６１７及び６１８によって加算回路６１９及び６２０に提供され、加算回路６１９及び６２０は、２５６の値を加算し、図示される例において、３３ビットの出力を提供する。これらの出力は、シフト回路６２１及び６２２を用いて９ビット右にシフトされる。回路６２１及び６２２は、２４ビットシフトされた値を、クリッピング回路６２３及び６２４に提供する。クリッピング回路６２３及び６２４は、構成可能なクリップ値１４０ｇに従って、２０ビットの第１及び第２の利得調整された露光データＬＯＮＧ ＡＤＪ、ＳＨＯＲＴ ＡＤＪを提供するように動作する。

【0033】

例示の重み付け回路５０６の更なる詳細を説明する。図７におけるグラフ７００は、重み付け値を、入ってくる画素値の関数として図示する、曲線７０１、７０２、７０３、７０４、及び７０５を示す。図８におけるグラフ８００は、モーションアダプティブ重み付け値曲線８０２（ＭＡ Ｗｅｉｇｈｔ）を、ロング画素値とショート画素値との間の差Ｄｅｌｔａの関数として示す。図９は、重み付け回路５０６の１つの例の更なる詳細を示す。この例において、回路５０６は、重み計算回路９００及びモーションアダプティブフィルタ回路９３０を含む。重み計算回路９００は、ＬＥＤフリッカー低減のために用いられる、構成可能な選択パラメータ１４０ｑ（ＷＧＴ＿ＳＥＬ）に従った第１又は第２のシフトされた露光データのいずれかに基づいて、初期重み値ａｌｐｈａを計算する。また、回路９００は、ａｌｐｈａを計算する際に、構成可能な第１の閾値１４０ｒ（Ｔ）を用いる。画像における現在の画素位置に対する選択された第１又は第２のシフトされた露光データＬＯＮＧ ＳＨＩＦＴＥＤ又はＳＨＯＲＴ ＳＨＩＦＴＥＤがＴより大きいとき、回路９００はａｌｐｈａを第１の所定の値（例えば、３２，７６８）として計算する。そうではなく、選択された値がＴに等しいかそれより小さい場合、回路９００は、１つ又は複数の構成可能パラメータ１４０ｌ、１４０ｍ、１４０ｎ（図９において、ｂｆ、ａｆ＿ｍ及びａｆ＿ｅ）に従って、及び現在の画素位置に対する選択されたロング又はショートデータ画素値に従って、初期重み値ａｌｐｈａを計算する。一例において、これらのパラメータ１４０ｌ、１４０ｍ、及び１４０ｅは集合的に、図７に示される構成可能パラメータ「Ｖ」（１４０ｋ）を構成する。例えば、構成可能パラメータは、グラフ７００において閾値７１２を下回る曲線７０１、７０２、７０３、７０４、又は７０５の形状を設定するために、重み計算回路９００によって用いられる。このグラフに示されるように、重み付け回路５０６は、ショート（第２の）重み値ＡＬＰＨＡ＿Ｕを、閾値７１２を上回る画素値に対する一定の値（例えば、グラフ７００では目盛りの値「１」）になるように設定する。この値（例えば、図示された例において１０００）より下では、構成パラメータ１４０ｋ、１４０ｌ、１４０ｍ、及び／又は１４０ｎは、閾値７１２より下で、第１の露光データセットと第２の露光データセットとを混合するために、任意の適切な曲線を実装するように、ホストシステム１４２（図１）によって構成され得る。図７において、曲線７０１～７０５は、Ｖ＝０．７３、Ｖ＝０．５１、Ｖ＝０．３５、Ｖ＝０．２５、及びＶ＝０に対する例であり、この例において、曲線７０５（Ｖ＝０）は、画素値５００（図７において、閾値７１０で示される）で値ＡＬＰＨＡ＿Ｕ＝０に終端する。このようにして、ＩＣ１００は、第１及び第２の露光データ４０１及び４０２の任意の所望の混合又はマージを実装するように構成され得る。

【0034】

重み付け回路５０６は、この例において１６ビット値であるロング又はショートシフトされたデータストリームの１つを重み計算回路９００に提供するために、選択された信号（構成パラメータ１４０ｑ）に従って動作し得るマルチプレクサ又は選択回路９０２を含む。回路９００における乗算回路９０４及び９０８は、それぞれ、第１及び第２の構成パラメータ値１４０ｌ（ｂｆ）及び１４０ｍ（ａｆ＿ｍ）によって、選択された値をスケーリングする。乗算回路９０４の出力は、シフト回路９０６によって１ビット右にシフトされ、回路９０６の出力は、加算又はアダー回路９１６に入力として提供される。乗算回路９０８の出力は、構成パラメータ１４０ｎ（ａｆ＿ｅ）に従って、シフティング回路９１０によってシフトされる。乗算回路９１２が、シフトされた結果に選択された値を乗算し、シフト回路９１４が、乗算された結果を、この例では１０ビット、右シフトする。回路９１４からのシフトされた出力は、シフト回路９０６の出力と加算される。シフト回路９１８が加算結果を構成パラメータクリップＵの４倍右にシフトし、その結果の値は、第１の入力としてマルチプレクサ９２０に提供される。マルチプレクサ９２０への第２の入力は、この例において、１５ビット、１左シフトされた所定の値である。また、回路９００は、回路９０２からの１６ビットの選択された値から閾値Ｔを減算する減算回路９２２を用いて、閾値パラメータＴ（１４０ｒ）に従って、ａｌｐｈａを計算する。減算結果は、マルチプレクサ９２０に対する選択入力として動作する「ＳＩＧＮ ＢＩＴ」として用いられる。マルチプレクサの出力は、初期重み値ａｌｐｈａである。減算回路９２４が、モーションアダプティブフィルタ回路９３０からのモーションアダプティブ重み値ＭＡ Ｗｅｉｇｈｔに従った選択的スケーリングのために入力を乗算回路９４０に提供するために、所定の値（例えば、１５ビット、１左シフトされる）を減算する。

【0035】

重み付け回路５０６はまた、画像データにおけるモーションに対して適応する。モーションアダプティブフィルタ回路９３０は、差の値ｄｅｌｔａ（図８において横軸「Ｄｅｌｔａ」として示される）を計算する。この値は、図９における減算回路９３１及び絶対値回路９３２を用いて、画像における現在の画素位置に対する第１及び第２のシフトされた露光データＬＯＮＧ ＳＨＩＦＴＥＤ及びＳＨＯＲＴ ＳＨＩＦＴＥＤ間の差の絶対値として計算される。モーションアダプティブフィルタ回路９３０は更に、差の値ｄｅｌｔａから第２の閾値１４０ｏ（Ｄ１）を減算する減算回路９３３を含む。クリッピング回路９３４が、０と第１の所定の値３２，７６８との間の結果の値をクリップし、乗算回路９３５を用いて、その結果に構成パラメータ１４０ｐ（ＷＤＲＭＡ．ＭＡＳ）を乗算する。減算回路９３６が、乗算された値を所定の値（例えば、１５ビット、１左シフトされる）から減算し、減算結果は、クリッピング回路９３７によって０と３２，７６８との間でクリップされる。回路９３２は、クリップされた出力をモーションアダプティブ重み値ＭＡ Ｗｅｉｇｈｔとして提供する。

【0036】

乗算回路９４０は、モーションアダプティブ重み値ＭＡ Ｗｅｉｇｈｔに減算回路９２４の出力を乗算し、その結果は、シフト回路９４２を用いて、一例において１５ビット右シフトされる。シフト回路９４２は１６ビットの第１の重み値ＡＬＰＨＡ＿Ｌを提供し、減算回路９４４は第１の重み値ＡＬＰＨＡ＿Ｕを１－ＡＬＰＨＡ＿Ｌとして提供する。図９において示されるように、差の値ｄｅｌｔａが第２の閾値１４０ｏ（Ｄ１）に等しいかそれより大きいとき、モーションアダプティブフィルタ回路９３０は、差の値ｄｅｌｔａに従ってモーションアダプティブ重み値ＭＡ Ｗｅｉｇｈｔを計算し、そうでないときは、モーションアダプティブ重み値が一定の値（この例では１）に設定される。回路要素９４０、９４２、及び９４４を用いて、重み付け回路５０６は、初期重み値ａｌｐｈａにモーションアダプティブ重み値ＭＡ Ｗｅｉｇｈｔを乗算して、第１の重み値ＡＬＰＨＡ＿Ｌを生成し、第１の所定の値（例えば、３２，７６８）から第１の重み値ＡＬＰＨＡ＿Ｌを引くことによって、第２の重み値ＡＬＰＨＡ＿Ｕを計算する。

【0037】

この例において、回路５０６は、ロング及びショート露光に対する重みを生成する。重みＡＬＰＨＡ＿Ｌ及びＡＬＰＨＡ＿Ｕは、マージされた出力を生成するために、最終マージ回路５０８（図５）における補間のために用いられる。図８は、回路９３０によって提供されるモーションアダプティブフィルタリングの効果を示す。グラフ８００に示されるように、Ｄｅｌｔａの一層高い値において、値ａｌｐｈａのモーションアダプティブ修正が発生する。図示された回路９３０は、０．２５において、モーションアダプティブ重みに対する最小値を実装するが、異なる最小値を提供するために他の実装も可能である。図９における重み計算回路９００は、画素ノイズとの戦いを助け、モーションアダプティブフィルタ回路９３０はモーションアーチファクトの抑圧を助ける。図９における重み計算回路例９００は、下記式（２）を用いて、ａｌｐｈａの値を計算する。

【0038】

式（２）において、「ｘ」は、入ってくる画素データの値であり、Ｔ、ａｆ＿ｍ、ｂｆ、及びａｆ＿ｅは、構成可能パラメータ１４０である。モーションアダプティブ回路９３０がないと、「ａｌｐｈａ」はショート画素に対する利得として振舞うことになり、ロング画素に対する利得は、「１－ａｌｐｈａ」として設定される。図７に示されるように、重みグラフ７００は、異なる性能曲線を実装するために異なる構成パラメータを変更することによって操作され得る。このグラフ７００において、閾値７１２（Ｔ）は１０００に設定され、グラフ７０１、７０２、７０３、７０４、及び７０５はそれぞれ、ショート画素重み付け（ｙ軸）に対する重みを、例示の値０．７３、０．５１、０．３５、０．２５、及び０．０に対する画素値（ｘ軸）の関数として表す。Ｖは、構成パラメータａｆ＿ｍ、ａｆ＿ｅ、及びｂｆから導かれた簡略化された構成パラメータ１４０ｋである。グラフ７００における例は、画素値が１０００を上回った後は、ショート画素に対する重みが「１」であることを示し、一方、０～１０００は非線形曲線に従う。これは、ロング露光とショート露光との間で、正しい混合を選択することによって、任意の適切な所望のダイナミックレンジを設定する際の柔軟性を提供する。各曲線７０１～７０５は、異なる種類のセンサ１０２（図１）に対して適切であり得る。ｙ軸値０．４に対する一例において、出力は、ショート露光に対して０．４、ロング露光に対して０．６の重みを用いて計算され得る（例えば、ｏｕｔ＝０．４×ショート＋０．６×ロング）。図９におけるモーションアダプティブフィルタ回路９３０は、下記式（３ａ～３ｄ）を用いて説明され、３２７６８は１．０の値を表す（疑似浮動表記（Pseudo float notation））。

【0039】

ＡＬＰＨＡ＿Ｕは、ショート露光値に対する最終重みであり、ＡＬＰＨＡ＿Ｌはロング露光値に対する最終重みである。図８における曲線８０２は、図９における回路９３０によって実装されるモーションアダプティブ重み計算を示す。動作において、ロング画素とショート画素との間の差が一層小さい（ｄｅｌｔａが小さい）とき、回路９３０は、ＭＡ_Ｗｅｉｇｈｔを１に設定し、実質的に、モーションアダプティブフィルタ回路９３０はａｌｐｈａを変更しない。しかしながら、ｄｅｌｔａが大きいとき、ＭＡ_Ｗｅｉｇｈｔは１の値より小さくなる。例えば、極端な場合において、ｄｅｌｔａ＝４０９５であるとき、ＭＡ_Ｗｅｉｇｈｔの値は０．２５になる。この場合、ロング露光重みは、０．２５の係数で乗算されるので低減される。ショート露光重みは１．０－ロング露光重みとして計算されるので、対応して増加する。結果として、画像においてモーションが存在する場合はいつでも、重みがショート露光の方にスキューされる。

【0040】

類似のロジック回路要素がＬＥＤフリッカーを説明するために用いられ得る。画像にＬＥＤ光源（又は他のパルス光源）があり、フリッカーが存在する場合はいつでも、ロング露光は、ショート露光に比べて、ＬＥＤ源を捕捉する確率がはるかに高い。フリッカーアーチファクトを完全に防止するために、ロング露光時間をＬＥＤ源の周波数より高く維持し得る。例えば、ＬＥＤ源の周波数が９０Ｈｚである（例えば、多くのＬＥＤ源は、約９０Ｈｚのデータ周波数で動作される）場合、１１ｍｓ又はそれより長い露光時間は常にＬＥＤ源を正しく捕捉することになる。所与の応用例においてＬＥＤフリッカーが懸念される場合、モーションアダプティブ回路９３０は、ショート露光に向かって低減される重みを適用する（８００）ために、適切な構成パラメータ１４０を設定するように再構成され得る。この例において、図８におけるグラフは、図示されるようにそのままであるが、ＭＡ Ｗｅｉｇｈｔは、ロング露光ではなくショート露光に適用される。この例において、ロング露光値とショート露光値との間に有意なｄｅｌｔａが存在する場合はいつでも、ＬＥＤフリッカーが想定され、マージ処理において、一層高い重み付けがロング露光に付与される。ロング露光がフリッカーフリーであると考えられるので、重み付けメカニズムは、フリッカーのないマージフレームを生成する。

【0041】

重みが計算された後、最終マージブロック５０８（図５）は、下記式（４）を用いて、２つの露光をブレンドする。

ここで、「ｓ」は、固定点表記法における小数点桁数（又は小数点ビットの数）である。

【0042】

説明される例は、多くのセンサによってサポートされる個別露光ＷＤＲデータフローに対処し、画像の前処理回路要素の重複に関連するコスト不利益を生じさせることなく、多重露光ＷＤＲ入力データの処理を提供する。これは、インテリジェントな２パスアプローチを用いて、性能と省面積との間の均衡に対するトレードオフを提供する。このように有意なコスト削減（ロジック及びメモリ面積）が促進され、信号処理ＩＣ １００をコスト重視の応用例に適合させる。また、ＩＣ １００は、多重露光をマージするための先進の回路要素及び技法を実装し、画像ノイズ及びモーションアーチファクトの両方に対して堅牢である。

【0043】

特許請求の範囲内で、説明された実施形態における変更が可能であり、他の実施形態が可能である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】