特許 6961617 ２つのセンサを有するイメージャシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6961617

(24)【登録日】2021年10月15日

(45)【発行日】2021年11月5日

(54)【発明の名称】２つのセンサを有するイメージャシステム

(51)【国際特許分類】

   H04N 5/355 20110101AFI20211025BHJP

   H04N 9/04 20060101ALI20211025BHJP

   H04N 5/225 20060101ALI20211025BHJP

   H04N 5/235 20060101ALI20211025BHJP

   H04N 5/243 20060101ALI20211025BHJP

   G03B 7/091 20210101ALI20211025BHJP

   G03B 11/00 20210101ALN20211025BHJP

【ＦＩ】

   H04N5/355 360

   H04N5/355 180

   H04N5/355 630

   H04N5/355 720

   H04N9/04 B

   H04N5/225 300

   H04N5/225 800

   H04N5/235 200

   H04N5/235 500

   H04N5/243

   G03B7/091

   !G03B11/00

【請求項の数】14

【全頁数】16

(21)【出願番号】特願2018-555874(P2018-555874)

(86)(22)【出願日】2017年4月24日

(65)【公表番号】特表2019-515549(P2019-515549A)

(43)【公表日】2019年6月6日

(86)【国際出願番号】EP2017059674

(87)【国際公開番号】WO2017186647

(87)【国際公開日】20171102

【審査請求日】2020年4月16日

(31)【優先権主張番号】1653672

(32)【優先日】2016年4月26日

(33)【優先権主張国】FR

(73)【特許権者】

【識別番号】516369594

【氏名又は名称】ニュー イメージング テクノロジーズ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】ニー，ヤン

【審査官】 橘 高志

(56)【参考文献】

【文献】 米国特許出願公開第２０１４／００７１３３０（ＵＳ，Ａ１）

【文献】 特開２０１１−１３００２２（ＪＰ，Ａ）

【文献】 特開２０１４−０４８３２９（ＪＰ，Ａ）

【文献】 特開２００３−１０１８８６（ＪＰ，Ａ）

【文献】 特開２００３−１０１８７１（ＪＰ，Ａ）

【文献】 特開２０１３−１８７７２７（ＪＰ，Ａ）

【文献】 特開２０１５−０７２９８２（ＪＰ，Ａ）

【文献】 特表２０１５−５１８６９６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／３５５

Ｈ０４Ｎ ９／０４

Ｈ０４Ｎ ５／２２５

Ｈ０４Ｎ ５／２３５

Ｈ０４Ｎ ５／２４３

Ｇ０３Ｂ ７／０９１

Ｇ０３Ｂ １１／００

(57)【特許請求の範囲】

【請求項1】

第１の捕捉フィールドを有し、光感度の第１の瞬間ダイナミックレンジを有するアクティブ画素のメインアレイを含むメイン画像センサと、前記メイン画像センサの前記アクティブ画素を、前記アクティブ画素の露出の後に読み出し、前記読み出しからメイン画像を捕捉するように適合されたメイン読み出し回路と、を含むイメージャシステムであって、前記メイン画像センサは、光感度の前記第１の瞬間ダイナミックレンジにおける光露出に対して少なくとも部分的に線形である電圧応答を有し、当該イメージャシステムは、
‐ 前記第１の捕捉フィールドを少なくとも部分的にカバーする第２の捕捉フィールドを有し、光感度の前記第１の瞬間ダイナミックレンジより広い光感度の第２の瞬間ダイナミックレンジを有するアクティブ画素の補助アレイを含む補助画像センサであり、光感度の前記第１の瞬間ダイナミックレンジにおける光露出に対して非線形電圧応答を有する、補助画像センサと、前記補助画像センサの前記アクティブ画素を、前記アクティブ画素の露出の後に読み出し、前記読み出しから補助画像を捕捉するように適合された補助読み出し回路と、
‐ 前記補助画像から前記メイン画像センサの捕捉パラメータの少なくとも１つの値を決定するように構成されたデータ処理ユニットと、
を含むイメージャシステム。

【請求項2】

前記データ処理ユニットは、前記補助画像内の光度の空間分布を決定するように構成され、前記データ処理ユニットは、前記メイン画像の捕捉パラメータとして、前記補助画像内の光度の前記空間分布から、少なくとも、前記メイン画像センサの前記アクティブ画素の露出時間及び／又は前記メイン読み出し回路の増幅利得を決定するように構成される、請求項１に記載のイメージャシステム。

【請求項3】

光感度の前記第２の瞬間ダイナミックレンジの幅は、光感度の前記第１の瞬間ダイナミックレンジの幅より２倍大きい、請求項１又は２に記載のイメージャシステム。

【請求項4】

前記メイン画像センサの前記メインアレイは、前記補助画像センサのアクティブ画素の前記補助アレイの前記アクティブ画素の密度より４倍高い画素密度を有する、請求項１乃至３のうちいずれか１項に記載のイメージャシステム。

【請求項5】

前記メイン画像センサの前記メインアレイの前記アクティブ画素と前記補助画像センサの前記補助アレイの前記アクティブ画素とは、１つの同じ基板の面でインターリーブされる、請求項１乃至４のうちいずれか１項に記載のイメージャシステム。

【請求項6】

前記メイン画像センサの前記メインアレイの前記アクティブ画素は、第１の基板に配置され、前記補助画像センサの前記補助アレイの前記アクティブ画素は、前記第１の基板と別個の第２の基板に配置される、請求項１乃至４のうちいずれか１項に記載のイメージャシステム。

【請求項7】

前記補助画像センサの前記アクティブ画素は、非周期的空間分布を有する、請求項１乃至６のうちいずれか１項に記載のイメージャシステム。

【請求項8】

前記補助画像センサの前記アクティブ画素は、対数応答を有する画素である、請求項１乃至７のうちいずれか１項に記載のイメージャシステム。

【請求項9】

前記補助画像センサの前記アクティブ画素は、露出において電荷を蓄積し、かつ電荷蓄積が蓄積リセット閾値に到達したときに回数を数えるように適合された、カウンタを有する画素である、請求項１乃至７のうちいずれか１項に記載のイメージャシステム。

【請求項10】

前記補助画像センサの前記アクティブ画素は、露出の輝度の関数である放電時間の間、露出において放電するように適合された放電画素であり、前記露出の輝度に対応する信号は、放電時間の逆数に比例するものとして決定できる、請求項１乃至７のうちいずれか１項に記載のイメージャシステム。

【請求項11】

前記補助画像センサは、カラーフィルタアレイを設けられ、前記データ処理ユニットは、前記メイン画像の捕捉パラメータとして前記補助画像から少なくともホワイトバランスを決定するように構成される、請求項１乃至１０のうちいずれか１項に記載のイメージャシステム。

【請求項12】

前記データ処理ユニットは、前記補助画像から前記メイン画像センサの捕捉パラメータの複数の異なる値を決定するように構成され、前記メイン画像センサは、複数のメイン画像を、前記メイン画像の各々について前記捕捉パラメータの異なる値を使用して捕捉するように構成される、請求項１乃至１１のうちいずれか１項に記載のイメージャシステム。

【請求項13】

請求項１乃至１２のうちいずれか１項に記載のイメージャシステムを用いて画像を捕捉する方法であって、
‐ 前記補助画像センサが補助画像を捕捉するステップと、
‐ 前記データ処理ユニットが前記補助画像から前記メイン画像センサの捕捉パラメータの少なくとも１つの値を決定するステップと、
‐ 前記メイン画像センサが前記捕捉パラメータの前記値を使用して少なくとも１つのメイン画像を捕捉するステップと、
を含む方法。

【請求項14】

前記データ処理ユニットは、前記補助画像から前記メイン画像センサの捕捉パラメータの複数の異なる値を決定し、前記メイン画像センサは、複数のメイン画像を、前記メイン画像の各々について前記捕捉パラメータの異なる値を使用して捕捉する、請求項１３に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、捕捉フィールドのシーン内の光の変動及び分布に対してより大きい反応性を有する画像を捕捉するイメージャシステムに関する。

【0002】

上記イメージャシステムは、一般にアクティブな画素のアレイを有する画像センサを典型的に含む。画像センサは、アクティブ画素を該アクティブ画素の露出の後に読み出し、かつ上記読み出しから画像を捕捉するように適合された、メイン読み出し回路を含む。

【背景技術】

【0003】

画像を捕捉するためのアクティブ画素の露出は、写真家によく知られ、取得される画像に対して影響を有し、とりわけ、撮像されるシーンの特性に、特に上記シーンの構成要素の輝度に適合されるべきである、いくつかのパラメータに従い実施される。

【0004】

これは、詳細には、露出時間、すなわち、アクティブ画素の読み出しの前にアクティブ画素が光に露出される時間について当てはまる。用語のシャッタースピードがさらに使用される。露出時間は、アクティブ画素が露出される入射光の量を定義する。したがって、露出時間は、シーン内の要素の輝度に適合されなければならないが、さらにアクティブ画素の光感度にも適合されなければならない。

【0005】

アクティブ画素は、光感度の瞬間ダイナミックレンジにより特徴付けでき、これは、アクティブ画素によりレンダリングできる光の最大量と、暗い中でこの画素により生み出されるノイズの量とを反映する。光の量が少なすぎる場合、アクティブ画素の読み出し結果はかなりのノイズを含み、したがって、十分な品質の画像を取得できない。光の量が多すぎる場合、アクティブ画素は飽和し、画素読み出しの結果は撮像された対象の詳細をもはやレンダリングしなくなる。

【0006】

他のパラメータが、同じ理由で考慮でき、例えば、調節可能な増幅器によりもたらされる、アクティブ画素のアレイを出る際の増幅利得である。さらに、絞り開口又は調節可能な光減衰器の減衰などの、アクティブ画素の前の光経路に配置された光学素子のパラメータを考慮に入れることができる。

【0007】

シーンの構成要素は、同じ捕捉フィールドの１つの内側で、同時に、又はある捕捉から別のものへ、最も多様な輝度値を有することがある。例えば、夜中の画像は、日中又は日暮れの画像と同じ光分布特性を有さない。したがって、画像捕捉パラメータを画像捕捉フィールドの輝度特性に適合させることが重要である。

【0008】

構成要素の輝度特性がシステムにとって未知である捕捉フィールドの光に対するアクティブ画素の最初の露出のとき、標準の捕捉パラメータが使用できる。次いで、いくつかの高度発光要素が、飽和するいくつかの画素の露出過度を引き起こす可能性があり得、あるいは、低輝度を有する要素が、他の画素の露出不足を引き起こす可能性がある。

【0009】

捕捉された画像の解析は、捕捉パラメータの新しいセットの決定を可能にし、次いで、第２の画像が、これらの新しい捕捉パラメータで捕捉される。上記の反復的なループが、捕捉パラメータをシーンの光度の分布及び変動に適合させることを可能にする。米国特許出願公開第2008/0094481号は、このタイプの制御を示している。画像解析のタスクは、画像のサイズがより大きく高品質であるほど、より負荷となる。

【0010】

図１ａ、１ｂ、及び１ｃは、この方法の適用の簡略例を示し、捕捉フィールド内の輝度分布の例のヒストグラムの輪郭カーブを与えている。この例において、捕捉されるべき捕捉フィールド内のシーンの輝度分布は、平均輝度を有する要素のないことを反映する空き部分１０３により分離された、低輝度の第１の部分１００と高輝度の第２の部分１０１との間に分布した発光要素を含む。

【0011】

図１ａに示されるように、センサのアクティブ画素の瞬間ダイナミックレンジ１０４は、センサの初期捕捉パラメータ（露出時間、開口、・・・）と共に、第１の部分１００に属する輝度を有する捕捉フィールド内の要素の大部分のレンダリングを可能にする。一方、第２の部分１０１に属する高輝度を有する要素は、飽和するセンサのアクティブ画素に対して高すぎる輝度を有する。したがって、第１のプライマリ画像は、アクティブ画素の飽和を反映する露出過度のエリアを示す。

【0012】

したがって、捕捉パラメータは、例えば露出時間を低減することにより、アクティブ画素の飽和を防止するために、アクティブ画素により受信される光の量を制限するように変更される。したがって、図１ｂに示されるように、アクティブ画素の瞬間ダイナミックレンジ１０４は、初期パラメータに対して発光しすぎており、かつアクティブ画素を飽和させた要素のレンダリングのために、より強い輝度値に向けて移動されている。

【0013】

しかしながら、イメージャシステムが、その画素を飽和させる発光要素の輝度に対する情報を有さないため、捕捉パラメータの変更は、最も発光する要素の輝度に応じて実行できない。一般に、捕捉パラメータは、画素の飽和を防止するために、シーンに固有の輝度分布に一般に適合されていない、予め確立されたルールに従い変更される。同じ手順が、反対に、最も発光する要素からより少ない輝度の要素に適用できる。

【0014】

アクティブ画素の瞬間ダイナミックレンジ１０４は、第２の部分１０１の一部のみカバーすることがここで確かめられる。結果として、前にアクティブ画素が飽和したことに対し、この部分１０１に属する輝度を有するいくつかの要素は、捕捉された画像内に現れることができるが、アクティブ画素の瞬間ダイナミックレンジ１０４を超える輝度を有する第２の部分１０１内の要素は、依然としてアクティブ画素を飽和させ続ける。並行して、瞬間ダイナミックレンジ１０４は、発光要素がこの輝度を有さないが、部分１０３をカバーする。

【0015】

次いで、捕捉パラメータは、例えば前のように露出時間を低減することにより、アクティブ画素の飽和を防止するために、アクティブ画素により受信される光の量を制限するように再度変更される。この新しい構成は図１ｃに示される。しかしながら、センサが、アクティブ画素の飽和を引き起こす要素の実際の輝度に対する情報を有さないため、瞬間ダイナミックレンジ１０４は、第１の部分１０１と、より大きい輝度の別の部分１０５とに重なり、しかし、発光要素は上記別の部分１０５に対応する輝度を有さない。

【0016】

この手順は、捕捉パラメータが、シーン内で関心のあるエリアの要素を表すと考えられる部分１００、１０１をアクティブ画素の瞬間ダイナミックレンジ１０４がカバーできるまで、必要な回数繰り返される。

【0017】

しかしながら、この手法はいくつかの欠点をこうむる。第１に、捕捉パラメータの決定が、試みを増やすことにより、「試行錯誤」により得られることが留意される。センサの捕捉フィールドのシーンは、最も不均質な輝度分布を有する可能性があり、この手法は、いくつかの画像捕捉の捕捉パラメータの不適切な決定を引き起こす可能性がある。図１ｂにおいて、部分１０３がカバーされることに対し、発光要素はこの輝度を有さないことが分かるであろう。同じことが図１ｃの他の部分１０５に当てはまる。

【0018】

これは長々しい手順であり、使用できないか又は冗長である画像の捕捉をもたらし、また、シーンの構成要素は変動する可能性があり、ゆえに、輝度分布もまた同様である。例えば、前の例において、第１の部分１０１は、２つの捕捉の間に（最も発光する要素を暗くすることを反映する）左に向けて移動した可能性があり、これは、前の反復の関連性を疑わしくする。

【0019】

さらに、シーンの光ダイナミクス（dynamics）が高く、画像センサのダイナミクスを超えているとき、捕捉パラメータの反復的な制御ループにもかかわらず、飽和及び露出不足が生じる。

【0020】

いくつかの手法が、シーンのこれらの飽和及び露出不足を防止するために、イメージャのダイナミクスを向上させるように提案されている。これらの手法は、以下のとおり列挙できる。
１）異なる露出時間を有する複数のショット
２）画素アレイ内の画素のサブアセンブリに対する異なる露出時間の適用
３）異なる感度を有する、特に異なるサイズの、感光要素を組み合わせた合成画素の作成
４）画素あたり受信される光の量とともに減少する感度を有する非線形応答の作成

【0021】

方法１）は、ほとんど動きがないシーンでしばしば使用される。シーン内で要素の動きがある場合、異なる延ばされた露出時間で撮られた画像は、もはや正しくスーパーインポーズされない。それにもかかわらず、この手法はデジタル写真機器でしばしば使用される。一般に使用される用語は、「ハイダイナミックレンジ撮像（high dynamic range imaging）」のＨＤＲＩである。

【0022】

方法２）は、画像センサ内に一般にケーブル化される。例えば、米国特許第8022994号では、奇数及び偶数画素ラインが異なる露出時間を有し、それにより、より明るいエリアとより暗いエリアとをそれぞれ伝達する２つのサブ画像を形成している。画像処理は、これら２つの画像を再結合して、より大きいダイナミクスを有する単一の画像を生み出す。しかしながら、露出時間がシーンの光度に適合されない場合、時にデータロスが確かめられる。１つのサブグループの画素が飽和し、あるいは露出不足である場合、これらはもはや役に立たず、その結果、解像度が最大２までのファクタで除算される可能性がある。

【0023】

方法３は、感度の差が露出時間の差に取って代わることを除き、方法２）と同様である。この方法の主な利点は、２つのサブ画像間に時間シフトがないことである。方法２）において、２つの露出時間の使用は、画素の２つのサブグループの２つのショット間の時間シフトを作り出す。したがって、要素が捕捉フィールド内で動いているとき、要素は２つのサブ画像内で同じ位置にいないことになる。方法３）は、この問題を回避できる。しかしながら、この方法の１つの欠点は、これらの異なる感度が工場で固定され、特定のシーンに対する適合のために後からもはや変更できないことである。欧州特許出願公開第2775525号は、この方法のインプリメンテーションの例を与えている。

【0024】

方法４は、多くの異なる手順を一緒にグループ化する。欧州特許第2186318号は、飽和現象を実際的に克服する対数応答を有する画素を提案している。米国特許出願公開第2014/0103189号は、部分線形応答を可能にする電荷転送画素内の非線形キャパシタンスを提案している。しかしながら、これらの画素は、簡素なアクティブ画素より一般により複雑であり、さらによりかさばり、高密度かつ小ピッチの画素アレイに適さない。欧州特許第2186318号により提案される解決策は、それがいかなる飽和問題もなく露出時間の制御を完全に予防するため、中くらい及び低い密度（百万画素未満）のアレイに対して優れた解決策のままである。

【0025】

図２ａ、２ｂ、及び２ｃは、センサダイナミクス、品質、及び露出時間の間の関係を示す。図２ａは、所与の露出時間について、捕捉フィールド内の要素の輝度に対する画像信号の依存性を示すことにより、動作ダイナミクスの定義を示す。画素を出る画像信号は輝度とともに増加し、飽和値として知られる特定の高い値で飽和することが分かるであろう。画像信号は、それが画素のダークノイズを超えるとき、観察され始めることができる。したがって、ダイナミックレンジは、画素を出る画像信号がダークノイズと飽和との間にある輝度レンジであると定義できる。

【0026】

図２ｂは、輝度に応じた、画素を出る際に知覚される画像の品質を示す。輝度がダイナミックレンジより低いとき、画像信号はダークノイズから区別できない。したがって、品質はゼロである。ダイナミックレンジにおいて、画像品質は輝度とともに向上する。しかしながら、ダイナミックレンジを越えると、品質は、飽和の後にゼロになる。

【0027】

図２ｃは、異なる露出時間が使用されるときの輝度に応じた画像品質を示す。第１のカーブ１１０が、第１の、比較的長い露出時間ｔ₁の画像品質を示す。第２のカーブ１１２が、露出時間ｔ₁より短い露出時間ｔ₂の画像品質を示す。これは、第１のカーブ１１０に対応する第１のダイナミックレンジ１１１と第２のカーブ１１２に対応する第２のダイナミックレンジ１１３とを結果としてもたらす。そのより短い露出時間のため、第２のダイナミックレンジ１１３は第１のダイナミックレンジ１１１より広く、より高い輝度値に対応する。

【0028】

より長い露出時間ｔ₁は、より少ない輝度でダークノイズの予防を可能にするが、より少ない輝度で飽和が到達されることも確かめられる。ｔ₂などのより短い露出時間は、反対の効果を生み出す。図２ｃにおいて、２つの露出時間が使用される場合、露出時間が正しく構成されているとき、捕捉ダイナミクスは広げられることが分かるであろう。しかしながら、露出時間が遠く離れすぎている場合、輝度「ホール（hole）」が、２つの露出時間に関連づけられたそれぞれのダイナミックレンジの間に形成される可能性がある。この「ホール」に入る輝度を有する捕捉フィールド内の要素の詳細は失われる。

【0029】

したがって、複数の露出時間を設けられたセンサが長く利用可能であるとしても、困難なダイナミック条件下のイメージャの画像キャプチャ性能は、不満足な状態のままである。特に、自動車両運転、支援された運転、自動監視等などの人工知能に頼る新興のアプリケーションは、イメージャがすべての条件下で高品質の画像捕捉が可能であることを求める。

【発明の概要】

【0030】

本発明の目的は、高解像度センサの最適化されたパラメータのセットを決定するために、例えば欧州特許第2186318号に記載されるような、ハイダイナミック画素センサの使用を提案することにより、少なくともいくつか及び好ましくはすべての上記欠点を克服することである。

【0031】

したがって、第１の捕捉フィールドを有し、光感度の第１の瞬間ダイナミックレンジを有するアクティブ画素のメインアレイを含むメイン画像センサと、メイン画像センサの画素を、上記画素の露出の後に読み出し、上記読み出しからメイン画像を捕捉するように適合されたメイン読み出し回路と、を含むイメージャシステムが提案され、当該イメージャシステムは、
‐ 第１の捕捉フィールドを少なくとも部分的にカバーする第２の捕捉フィールドを有し、光感度の第１の瞬間ダイナミックレンジより広い光感度の第２の瞬間ダイナミックレンジを有するアクティブ画素の第２のアレイを含む補助画像センサと、補助画像センサのアクティブ画素を、上記アクティブ画素の露出の後に読み出し、上記読み出しから補助画像を捕捉するように適合された補助読み出し回路と、
‐ 補助画像からメイン画像センサの捕捉パラメータの少なくとも１つの値を決定するように構成されたデータ処理ユニットと、
を含む。

【0032】

補助画像センサは、（より広いダイナミック機能レンジを用いて）飽和又は露出不足をほとんど又は全く有さない補助画像の捕捉を可能にし、それにより、メイン画像センサの捕捉パラメータの最良決定を可能にし、それにより、メイン画像の捕捉条件が、捕捉フィールド内のシーンに最も良く適合される。

【0033】

イメージャシステムは、有利には、単体又はその任意の技術的に可能な組み合わせで取られる以下の特性により完成される：
‐ データ処理ユニットは、補助画像内の光度の空間分布を決定するように構成され、データ処理ユニットは、メイン画像の捕捉パラメータとして、補助画像内の光度の空間分布から、少なくとも、メイン画像センサのアクティブ画素の露出時間及び／又はメイン読み出し回路の増幅利得を決定するように構成される
‐ 光感度の第２の瞬間ダイナミックレンジの幅は、光感度の第１の瞬間ダイナミックレンジの幅より２倍大きい
‐ メイン画像センサのメインアレイは、補助画像センサのアクティブ画素のアレイのアクティブ画素の密度より２倍高い画素密度を有する
‐ メイン画像センサのメインアレイの画素と補助画像センサの補助アレイのアクティブ画素とは、１つの同じ基板の面でインターリーブされる（interleaved）
‐ メイン画像センサのメインアレイの画素は、第１の基板に配置され、補助画像センサの補助アレイのアクティブ画素は、第１の基板と別個の第２の基板に配置される
‐ 補助画像センサは、光感度の第１の瞬間ダイナミックレンジにおける光露出に対して非線形電圧応答を有する
‐ 補助画像センサのアクティブ画素は、非周期的空間分布を有する
‐ 補助画像センサのアクティブ画素は、対数応答（logarithmic response）を有する画素である
‐ 補助画像センサのアクティブ画素は、露出において電荷を蓄積し、かつ電荷蓄積が蓄積リセット閾値に到達したときに回数を数えるように適合された、カウンタを有する画素である
‐ 補助画像センサのアクティブ画素は、露出の輝度の関数である放電時間の間、露出において放電するように適合された放電画素である
‐ 補助画像センサは、カラーフィルタアレイを設けられ、データ処理ユニットは、メイン画像の捕捉パラメータとして補助画像から少なくともホワイトバランスを決定するように構成される
‐ データ処理ユニットは、補助画像からメイン画像センサの捕捉パラメータの複数の異なる値を決定するように構成され、メイン画像センサは、複数のメイン画像を、上記メイン画像の各々について捕捉パラメータの異なる値を使用して捕捉するように構成される。

【0034】

本発明は、本発明によるイメージャシステムを用いて画像を捕捉する方法にさらに関し、当該方法は、
‐ 補助画像センサが補助画像を捕捉するステップと、
‐ データ処理ユニットが補助画像からメイン画像センサの捕捉パラメータの少なくとも１つの値を決定するステップと、
‐ メイン画像センサが捕捉パラメータの上記値を使用して少なくとも１つのメイン画像を捕捉するステップと、
を含む。

【0035】

一実施形態において、データ処理ユニットは、補助画像からメイン画像センサの捕捉パラメータの複数の異なる値を決定し、メイン画像センサは、複数のメイン画像を、上記メイン画像の各々について捕捉パラメータの異なる値を使用して捕捉する。

【図面の簡単な説明】

【0036】

本発明は、非限定的な例として与えられ、かつ添付の概略図面を参照して説明される本発明の実施形態及び変形に関する以下の説明を用いてより良く理解されるであろう。全図面において、同様の要素は同じ参照により示される。

【図1】既に論じられた図１ａ、１ｂ、１ｃは、捕捉フィールド内の輝度分布の例示的なヒストグラムの輪郭カーブを用いてマルチ露出手法を示す。

【図2】既に論じられた図２ａ、２ｂ、２ｃは、線形光電応答を有する画素の応答及びダイナミック機能レンジの定義、所与の露出時間での画像品質、並びに露出時間に応じた画像品質の変化を示す。

【図3】２つのセンサが並置され、異なる基板上に形成される、本発明の１つの可能な実施形態によるイメージャシステムを概略的に示す。

【図4】２つのセンサが、互いにインターリーブされたアクティブ画素のアレイを有する、本発明の１つの可能な実施形態によるイメージャシステムを概略的に示す。

【図5】アクティブ画素の２つのアレイの間でインターリーブする例の詳細を概略的に示す。

【図6】カウンタを設けられたアクティブ画素回路の例の例示的な構造を概略的に示す。

【図7】アクティブ画素における電荷減少カーブの例を概略的に示す。

【図8】図８ａ、８ｂ、８ｃは、図１ａ乃至１ｃに示されたケースにおける本発明の一実施形態のインプリメンテーションを示す。

【発明を実施するための形態】

【0037】

本説明において、画像により、シーンの要素の少なくとも１つの光学特性、典型的には輝度の、二次元における空間分布表現を表すデータのセットが意味され、上記データは、上記空間表現に従い空間的に編成される。以下の説明において、メイン画像センサのメインアレイは、アクティブ画素を含む。他の構成が、例えば、メインアレイのアクティブ画素以外の画素を用いて使用できる。

【0038】

本発明の１つの可能な実施形態によるイメージャシステムの例を示す図３を参照し、イメージャシステムは、光感度の第１の瞬間ダイナミックレンジを有するアクティブ画素のメインアレイ２を含むメイン画像センサ１を含む。イメージャシステムは、メイン画像センサ１のアクティブ画素を、上記アクティブ画素の露出の後に読み出し、かつ上記読み出しからメイン画像を捕捉するように適合されたメイン読み出し回路をさらに含む。

【0039】

メイン画像センサは、詳細には、上記で説明された条件に従い、特に、すでに言及された方法１)及び２）について、別個のショットとしていずれか実現されて単一のショットとして一緒に混合されることができる複数の露出時間の可能なインプリメンテーションを設けられたセンサでもよい。

【0040】

各アクティブ画素は、光検出器、例えばフォトダイオード、及びアクティブ増幅器を含む。各アクティブ画素は、従来の３‐トランジスタ、４‐トランジスタアクティブ画素、又は他の構成でもよい。好ましくは、コンパクトさの理由で、各アクティブ画素は４‐トランジスタ画素であり、その出力増幅器はいくつかのフォトダイオードにより共有される。

【0041】

メイン画像センサ１は、例えばレンズ４、又は絞り若しくはシャッターを備えたレンズアセンブリ５などの、画像キャプチャのための通常のコンポーネントを含む光学素子３をさらに含む。光学素子３は、特に、アクティブ画素により受信される光の量を制御する露出時間又は絞り開口などの捕捉パラメータにより制御できる。

【0042】

メイン画像センサ１は、光学素子３から広がる第１の捕捉フィールド６を有する。捕捉フィールド６内に、さまざまな輝度の異なる要素を含むシーンがある。メインアレイ２のアクティブ画素が露出されたとき、シーンのこれら異なる要素により放出された／反射された光が光学素子３を通過し、メインアレイ２のアクティブ画素に到達する。アクティブ画素に対する入射光の量は、露出時間及び光学素子３の特性に、特に開口サイズに依存する。

【0043】

メインアレイ２は、メイン読み出し回路を典型的に含む基板７上に形成される。アクティブ画素の電気的特性は、露出の間の入射光の量で変動する。これらアクティブ画素の読み出しにおいて、メイン読み出し回路は、アクティブ画素の各々の電気的特性を測定し、それにより、各アクティブ画素に対する入射光の量を表すメイン画像を捕捉する。

【0044】

イメージャシステムは、少なくとも部分的に第１の捕捉フィールド６に重なる第２の捕捉フィールド１６を有する補助画像センサ１１をさらに含む。第１の捕捉フィールド６及び第２の捕捉フィールド１６は、特に、一般に画像キャプチャの最小距離であるイメージャシステムから１０センチメートル超で、最大の合致、例えば８０％超を有することが好ましい。捕捉フィールドの良好なスーパーインポーズが、並行の又は収束する光軸を用いて互いに隣接するセンサを配置することにより取得できる。好ましくは、第２の捕捉フィールド１６及び第１の捕捉フィールドは同じとすることができ、これは、２つのセンサ１、１１に対して同じ光学素子を使用することにより、特に、ミラーなどの画像リターンデバイスを使用することにより取得できる。

【0045】

アクティブ画素の第２のアレイ１２は、光感度の第１の瞬間ダイナミックレンジより広い光感度の第２の瞬間ダイナミックレンジを有する。好ましくは、光感度の第２の瞬間ダイナミックレンジの幅は、光感度の第１の瞬間ダイナミックレンジの幅より２倍広く、さらに好ましくは、光感度の第１の瞬間ダイナミックレンジの幅より１０倍広い。

【0046】

光感度の瞬間ダイナミックレンジの幅は簡素に決定され、その限度を固定の捕捉パラメータで明示することができる。下限について、第１に、テスト条件下でセンサに影響するノイズが決定される。すなわち、センサが暗い中に配置され、画像が捕捉され、捕捉された画像内の画素の値から、ノイズレベルが統計的に決定される。光感度の瞬間ダイナミックレンジの下限は、取得されるべきこのノイズレベルより高い画素値を可能にする捕捉フィールド内の要素の輝度に対応する。

【0047】

上限は、アクティブ画素が飽和し始めたとき及びその後の捕捉フィールド内の要素の輝度に対応する。さらに、上記で説明されたように決定される２つの限度の比率を算出することにより、アクティブ画素の瞬間ダイナミクスを推論することが可能である。

【0048】

補助画像センサ１１もまた、例えばレンズ１４、又は絞り若しくはシャッターを備えたレンズアセンブリ１５などの、画像キャプチャのための通常のコンポーネントを含む光学素子１３をさらに含む。光学素子１３は、特に、アクティブ画素により受信される光の量を制御する露出時間又は絞り開口などの捕捉パラメータにより制御できる。しかしながら、固定の開口とともにレンズを有する簡略化された光学素子で十分であり得る。

【0049】

第１のセンサ１と同様に、第２のセンサは、補助画像センサ１１のアクティブ画素を、上記アクティブ画素の露出の後に読み出し、かつ上記読み出しから補助画像を捕捉するように適合された補助読み出し回路を含む。メイン画像センサ１と同様に、補助アレイ１２は、補助読み出し回路を典型的に含む基板１７上に形成される。アクティブ画素の電気的特性は、露出の間の入射光の量で変動する。これらアクティブ画素を読み出す際、補助読み出し回路は、各アクティブ画素の電気的特性を測定し、それにより、各アクティブ画素に対する入射光の量を表す補助画像を捕捉する。

【0050】

しがたって、補助画像センサ１１は、メイン画像センサ１によるメイン画像の捕捉の前に補助画像を捕捉することに使用され、それにより、メイン画像センサの少なくとも１つの捕捉パラメータがこの補助画像から決定され、メイン画像を捕捉するために使用できる。

【0051】

この目的で、イメージャシステムは、補助画像からメイン画像センサの捕捉パラメータの少なくとも１つの値を決定するように構成されたデータ処理ユニット１０をさらに含む。例えば、この捕捉パラメータは、露出時間、及び／又は絞り開口、及び／又はメイン読み出し回路の増幅利得、及び／又は光減衰器の光減衰、及び／又はホワイトバランスとすることができる。したがって、処理ユニット１０は、補助画像を受信するために補助画像センサ１１に、及び後者に捕捉パラメータの値を提供するためにメイン画像センサ１に、の双方に接続される。

【0052】

特に、データ処理ユニット１０は、補助画像内の光度の空間分布を決定し、メイン画像の捕捉パラメータの値として、補助画像から推論された光度の空間分布から、メイン画像センサ１のアクティブ画素の少なくとも１つの露出時間、及び／又はメイン読み出し回路の増幅利得を決定するように構成できる。

【0053】

したがって、可能な実施形態のいずれかによるイメージャシステムを用いて画像を捕捉する方法は、
‐ 補助画像センサ１１が、補助画像を捕捉するステップ、
‐ データ処理ユニット１０が、補助画像からメイン画像センサ１の捕捉パラメータの少なくとも１つの値を決定するステップ、
‐ メイン画像センサ１が、捕捉パラメータの上記値を使用してメイン画像を捕捉するステップ
を含む。

【0054】

補助画像が、メイン画像センサ１の捕捉パラメータの値を決定することに本質的に使用される限り、補助画像の解像度は、メイン画像の解像度と同様に高い必要はない。したがって、補助画像センサ１１内のアクティブ画素の密度は、メイン画像センサ１内のアクティブ画素の密度と同様に高い必要はないということになる。

【0055】

したがって、メイン画像センサ１のメインアレイ２は、補助画像センサ１１のアクティブ画素のアレイ１２内のアクティブ画素の密度より２倍高い、さらに好ましくは補助画像センサ１１のアクティブ画素のアレイ１２内のアクティブ画素の密度より１０倍高い、アクティブ画素の密度を有してもよい。画素数の観点では、メイン画像センサ１のメインアレイ２は、補助画像センサ１１のアクティブ画素のアレイ１２内のアクティブ画素数より１０倍高い、さらに好ましくは補助画像センサ１１のアクティブ画素のアレイ１２内のアクティブ画素数より１００倍高い、アクティブ画素数を有してもよい。

【0056】

補助画像の低解像度は、処理ユニットにより適用される処理の負荷を低減し、特に、したがって、補助画像の加速された解析を可能にする。この低解像度は、欧州特許第2186318号により提案されるように、飽和なく、画像キャプチャパラメータの制御なく、対数画素の有利な使用をさらに可能にする。

【0057】

補助画像センサ１１は、どのようにでも補助画像の微細な解析を可能にするように、十分な解像度を有する。したがって、補助画像センサ１１内のアクティブ画素のアレイ１２は、320×240画素より高い、好ましくはメイン画像センサ１のメインアレイ２内のアクティブ画素の1000分の1、さらには100分の1より高いアクティブ画素数を好ましくは有する。

【0058】

カラーフィルタアレイ（ＣＦＡ）を有する補助画像センサを提供することが可能である。このカラーフィルタアレイは、補助画像センサのアクティブ画素の感光要素の前に位置づけられた小さいカラーフィルタを含む。次いで、異なる色における輝度の分布を決定することが可能である。この場合、データ処理ユニット１０は、メイン画像の捕捉パラメータとして補助画像から少なくともホワイトバランスを決定するように構成できる。

【0059】

図３の例において、メイン画像センサ１及び補助画像センサ１１は、空間的に別個であり、並んで示されている。メイン画像センサ１のメインアレイ２のアクティブ画素は、第１の基板７上に配置され、補助画像センサ１の補助アレイ１２のアクティブ画素は、第１の基板７と別個の第２の基板１７上に配置される。この構成は、異なる製造業者からのメイン及び補助センサで作業することが可能である利点を有する。

【0060】

しかしながら、上記構成は必要ではない。イメージャシステムの構造を簡略化するために、図４及び図５を参照し、メイン画像センサ１のメインアレイ２のアクティブ画素３０と補助画像センサ１１の補助アレイ１２のアクティブ画素３２との中からいずれが１つの同じ基板２３の面上でインターリーブされるべきかを決定することが可能である。その結果、メインアレイ２及び補助アレイ１２は１つの同じ平面内にある。その結果、メインアレイ２及び補助アレイ１２は共通のアレイ２２を形成する。

【0061】

インターリーブされたアレイを有する２つのセンサ１、１１は、例えば共通のレンズ２４及び共通のレンズアセンブリ２４を有する、同じ共通の光学素子２３と、したがって、第１の捕捉フィールド及び第２の捕捉フィールドの双方をしたがって形成する同じ共通の捕捉フィールド２６とを共有する。しかしながら、各画像センサ１、１１は、そのそれぞれのアクティブ画素に専用の読み出し回路を維持することができる。

【0062】

図５は、この場合のアクティブ画素の編成の例を示す。その中で、空間編成の例が、共通のアレイ２２内のアクティブ画素３０、３２について示される。第１のアクティブ画素３０は、メイン画像センサ１のメインアレイ２のアクティブ画素に対応し、一方で、第２のアクティブ画素３２は、補助画像センサ１１の補助アレイ１２のアクティブ画素に対応し、メイン画像センサ１１のアクティブ画素３０の間に分布される。第２のアクティブ画素３２はここで第１のアクティブ画素３０より大きく示されており、これはハイダイナミックアクティブ画素に対して通常であることが留意されるべきである。しかしながら、これは義務的でなく、第２のアクティブ画素３２は、例えば第１のアクティブ画素３０と同様のサイズのものでもよい。

【0063】

前述のように、メイン画像センサ１のアクティブ画素３０の数は、補助画像センサ１１のアクティブ画素３２の数よりかなり高く、少なくとも２倍高く、好ましくは少なくとも１０倍高いことが留意されるべきである。好ましくは、補助画像センサ１１のアクティブ画素３２は、互いに隣接せず、しかし、メイン画像センサ１１のアクティブ画素３０により互いから個々に分離される。さらに、好ましくは、補助画像センサ１２のアクティブ画素３２は、非周期的空間分布を有してモアレ効果などの幾何学的効果の作成を防止し、したがって、メイン画像センサ１１のアクティブ画素３０内で対称的分布を有さない。

【0064】

上記で示されたように、メイン画像センサ１のアクティブ画素は、高精細画像を取得するために一般に使用されるタイプのもの、例えば、３‐トランジスタ又は４‐トランジスタアクティブ画素である。メイン画像センサ１のアクティブ画素３０及び補助画像センサ１１のアクティブ画素３２は、その光感度の異なる瞬間ダイナミックレンジにおいて異なる。

【0065】

メイン画像センサ１のアクティブ画素３０のものより実質的に広い光感度の第２の瞬間ダイナミックレンジを有する補助画像センサ１１のアクティブ画素３２を取得するために、いくつかの解決策が可能である。

【0066】

メイン画像センサ１が、光感度の第１の瞬間ダイナミックレンジにおける光露出に少なくとも部分的に対して線形電圧応答を一般に有することに対し、補助画像センサ３は、光感度の第１の瞬間ダイナミックレンジにおける光露出に対して非線形電圧応答を好ましくは有する。

【0067】

補助画像センサ１２のアクティブ画素３２として対数応答を有する画素を使用することにより、この非線形性を取得することが可能である。例えば、欧州特許第2186318号は、使用できるＣＭＯＳタイプのアクティブ画素構造を提案している。対数応答画素の他の構成が使用できる。アクティブ画素が対数応答を有するため、その応答は光度でほとんど変化せず、したがって、飽和を防止できる。このように、光感度のほぼ無限の（near-infinite）瞬間ダイナミックレンジが取得できる。

【0068】

図６は、別の可能性の例を示す。ここで、補助画像センサ１１のアクティブ画素は、露出における電荷を蓄積し、かつ電荷蓄積が蓄積リセット閾値に到達したときに回数を数えるように適合されたカウンタを有する画素である。フォトダイオード５０が、ノード５１を介してリセットトランジスタ５２のドレインに接続される。積分器５３がノード５１に接続され、フォトダイオード５０の端子における電圧を積分する。この積分の結果が、トランジスタ５２のゲートに適用される。積分の結果が十分な値に到達したとき、トランジスタ５２は導電性になり、フォトダイオード５３をリセットする。閾値が踏み越えられた回数を数えるように構成されたカウンタ５４が、サイクル数に対する情報を与える。他の構成が、特に閾値又はリセットを適合させるように、明らかに可能である。「2006 IFIP International Conference on Very Large Scale Integration」におけるS. Kavusiらによる公表文献「Architectures for High Dynamic Range, High Speed Image Sensor Readout Circuits」が、ハイダイナミック機能を有するこのタイプの画素に対するさらなる技術詳細を与えている。

【0069】

図７は別のアプローチを示し、補助画像センサ１２のアクティブ画素３２は、露出の輝度の関数である放電時間の間、露出において放電するように適合された放電画素である。ここで、放電６１、６２の２つの例が示され、強い輝度に対する露出及び低い輝度に対する露出にそれぞれ対応する。

【0070】

強い輝度に対する、第１の露出について、放電６１は、電荷閾値６０が早く、短い時間ｔ１の後に到達されるように、急速に実施される。低い輝度に対する、第２の露出について、放電６２は、電荷閾値６０がｔ１より長い時間ｔ２の後に到達されるように、よりゆっくり生じる。次いで、露出の輝度に対応する信号が、放電時間の逆数に比例するものとして決定できる。したがって、強い輝度に対する露出の信号１／ｔ１は、低い輝度に対する露出の信号１／ｔ２より大きい。タイミングが十分微細に調整される場合、ハイダイナミクスが可能である。

【0071】

ダイナミックレンジを拡張する他の技術的解決策が、例えば、Arnaud Darmontによる研究「High Dynamic Range Imaging: Sensors and Architectures」、2013、ISBN 9780819488305で見られる。

【0072】

光感度の第２の瞬間ダイナミックレンジの広い幅は、補助画像を用いたメイン画像の向上した捕捉を可能にする。この目的で、データ処理ユニット１０は、補助画像からメイン画像センサの捕捉パラメータの少なくとも１つの値を決定するように構成される。

【0073】

さらに、１つの同じ補助画像からいくつかのメイン画像を捕捉することが可能である。この目的で、データ処理ユニット１０は、補助センサからメイン画像センサ１の捕捉パラメータのいくつかの異なる値を決定するように構成され、メイン画像センサは、いくつかのメイン画像を、上記メイン画像の各々について捕捉パラメータの異なる値を使用して捕捉するように構成される。

【0074】

図８ａ、８ｂ、及び８は、図１ａ乃至１ｃに示される場合を、それに本発明の実施形態の例を適用することにより再現しており、２つのメイン画像が、同じ補助画像から決定された、１つの同じ捕捉パラメータの異なる値を使用して捕捉される。

【0075】

図８ａは、補助画像センサ１１による補助画像の捕捉を示す。その光感度の広い瞬間ダイナミックレンジ７０のため、補助画像センサ１１のアクティブ画素は、第２の捕捉フィールド１６に含まれるすべての要素から、これら要素が第１の低輝度部分１００に属するか又は第２の高輝度部分１０１に属するかにかかわらず、光をキャプチャすることができる。この捕捉から結果として生じる補助画像は、部分１００及び１０１により形成される２つの集合（assemblies）を識別することができる処理ユニット１０により解析される。

【0076】

次いで、処理ユニットは、捕捉パラメータの少なくとも１つの値を決定し、それにより、メイン画像センサのアクティブ画素の光感度の第１の瞬間ダイナミックレンジ７１は、図８ｂに示されるように、第１の部分１００に属する要素の輝度に最も良く対応する。光感度の第１の瞬間ダイナミックレンジ７１は、いかなる要素によっても示されない輝度の部分１０３をちょうどほとんどカバーしないことがここで分かるであろう。したがって、第１のメイン画像は、第１の部分１００に対応する輝度を有する要素について捕捉できる。

【0077】

同じ補助画像から、処理ユニットは、少なくとも１つの捕捉パラメータをさらに決定し、それにより、メイン画像センサのアクティブ画素の光感度の第１の瞬間ダイナミックレンジ７１は、図８ｃに示されるように、部分１０１に属する要素の輝度に最も良く対応する。光感度の第１の瞬間ダイナミックレンジ７１は、それがカバーする第２の部分１０１に対して中心合わせされる（centred）ことがここで分かるであろう。したがって、アクティブ画素の飽和がなく、いかなる要素も含まない輝度部分１０３、１０５の重なりもない。しがたって、第２のメイン画像が捕捉できる。

【0078】

したがって、本発明では、２つのメイン画像で第１の捕捉フィールド６内のすべての要素をキャプチャすることが可能であり、画素飽和がなく、したがって情報のロスがないことを確保する。

【0079】

これら２つの露出は、実際、図８ｂ及び８ｃのダイナミックレンジ間に輝度スケールの「ホール」を形成することが分かるであろう。しかしながら、このホールは、ハイダイナミック補助画像の解析により可能にされた、要素のない輝度の部分１０３に賢明に位置づけられる。結果は、画像捕捉の最適使用であり、ゆえに、時間及びリソースの節約である。

【0080】

本発明は、添付の図面で説明及び例示される実施形態に限定されない。本発明の保護範囲から逸脱することなく、特に、様々な要素の合成に関して、又は技術的均等物の代替を介して、変更が可能である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】