特表 2024-538066 高ダイナミックレンジ撮像のための動的なピクセル単位の複数利得読み出し

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-18

(54)【発明の名称】高ダイナミックレンジ撮像のための動的なピクセル単位の複数利得読み出し

(51)【国際特許分類】

   H04N 25/51 20230101AFI20241010BHJP

【ＦＩ】

H04N25/51

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024522084

(86)(22)【出願日】2022-10-11

(85)【翻訳文提出日】2024-06-10

(86)【国際出願番号】 US2022046299

(87)【国際公開番号】W WO2023064288

(87)【国際公開日】2023-04-20

(31)【優先権主張番号】63/254,219

(32)【優先日】2021-10-11

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】521013518

【氏名又は名称】ギガジョット テクノロジー，インコーポレイテッド

(74)【代理人】

【識別番号】100103610

【弁理士】

【氏名又は名称】▲吉▼田 和彦

(74)【代理人】

【識別番号】100119013

【弁理士】

【氏名又は名称】山崎 一夫

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100139712

【弁理士】

【氏名又は名称】那須 威夫

(74)【代理人】

【識別番号】100170209

【弁理士】

【氏名又は名称】林 陽和

(72)【発明者】

【氏名】マ ジャジュ

【テーマコード（参考）】

5C024

【Ｆターム（参考）】

5C024CX43

5C024CY42

5C024GX03

5C024HX17

(57)【要約】

高ダイナミックレンジ撮像のためのピクセル単位の変換利得選択をサポートするために、イメージセンサからの高速読み出しを可能にするシステム及び方法が開示される。実施形態において、イメージセンサ集積回路は、イメージセンサが選択された利得オプションのみを有するピクセルを出力するように、その読み出し回路を用いてピクセル単位の利得選択を実行する。このようにして、イメージセンサは、より速いフレームレート及びより低い電力消費を達成することができる。実施形態に応じて、変換利得は、読み出し論理、画像信号プロセッサ、又は自動露光エンジンによって選択され得る。利得選択は、カメラによってキャプチャされた前の画像、又は同じ画像中の他のピクセルに基づいて行われ得る。画像信号プロセッサは、画像の高利得部分及び低利得部分を補間して、２つの利得オプションにおけるフル解像度画像を取得し、２つをマージして最終画像を取得することができる。

【特許請求の範囲】

【請求項1】

イメージセンサ集積回路であって、
ピクセルアレイ内のピクセルを実装する複数のフォトダイオードと、
読み出し論理と、を備え、前記読み出し論理は、
フレームの第１のピクセルのための高変換利得（ＨＣＧ）及び前記フレームの第２のピクセルのための低変換利得（ＬＣＧ）を含む、前記フレーム中の前記ピクセルのうちの個々のピクセルを読み出すためのそれぞれの変換利得を示す１つ以上の利得選択信号を受信し、
前記フレームの前記ピクセルのピクセル値を、前記１つ以上の利得選択信号が示す前記それぞれの変換利得で読み出し、
前記イメージセンサ集積回路の出力インタフェースを介して前記フレームの前記ピクセル値を出力し、個々のピクセル値は１つの変換利得に対して出力されるように構成されている、イメージセンサ集積回路。

【請求項2】

前記１つ以上の利得選択信号は、前記イメージセンサ集積回路とは別個の別のデバイスから受信される、請求項１に記載のシステム。

【請求項3】

前記ピクセルは、共有読み出し回路に個別に関連付けられた複数のピクセルユニットとして編成され、
前記１つ以上の利得選択信号は、前記ピクセルユニットのための複数のピクセル利得構成パターンのうちの１つを指定する、
請求項１に記載のシステム。

【請求項4】

個々のピクセルユニットは、４つのピクセルからなる２×２グループであり、
前記ピクセル利得構成パターンは、
４つのピクセル全てに対してＨＣＧを指定する高利得のみのパターンと、
前記４つのピクセルのうちの３つに対してＨＣＧを指定する弱光集束パターンと、
前記４つのピクセルのうちの２つに対してＨＣＧを指定する平衡パターンと
前記４つのピクセルのうちの１つに対してＨＣＧを指定する強光集束パターンと、
４つのピクセル全てについてＬＣＧを指定する低利得のみのパターンと、のうちの３つ以上を含む、
請求項３に記載のシステム。

【請求項5】

異なる色について前記ピクセルによって受け取られた光をフィルタリングするように構成されたカラーフィルタアレイ（ＣＦＡ）であって、前記ＣＦＡは、同じピクセルユニット内のピクセルについて１つの色を使用する、カラーフィルタアレイ（ＣＦＡ）、
を更に備える、請求項３に記載のシステム。

【請求項6】

前記読み出し論理は、
前記ピクセルアレイの局所領域中の１つ以上の初期ピクセルを読み出し、
前記１つ以上の初期ピクセルの１つ以上のピクセル値に少なくとも部分的に基づいて、前記局所領域内の１つ以上の後のピクセルに対する１つ以上の変換利得を決定するように構成されている、請求項１に記載のシステム。

【請求項7】

前記１つ以上の後のピクセルに対する前記１つ以上の変換利得は、閾値を超える前記局所領域内の特定のピクセル値に少なくとも部分的に基づいて決定される、請求項６に記載のシステム。

【請求項8】

前記１つ以上の後のピクセルに対する前記１つ以上の変換利得は、前記局所領域内の前記ピクセルのサブセットに専用の領域利得制御ユニットによって決定され、
前記読み出し論理は、前記ピクセルの異なるサブセットに専用の複数の領域利得制御ユニットを含み、
前記領域利得制御ユニットは、前記ピクセルアレイを実装するピクセルレイヤに結合された特定用途向け集積回路（ＡＳＩＣ）レイヤ上に実装される、
請求項６に記載のシステム。

【請求項9】

カメラであって、
光を受け取るように構成された１つ以上のレンズと、
イメージセンサであって、
ピクセルアレイ内のピクセルであって、前記ピクセルは、前記光に応じて信号を生成するように構成されている、ピクセルを実装する複数のフォトダイオードと、
読み出し論理であって、
フレームの第１のピクセルのための高変換利得（ＨＣＧ）及び前記フレームの第２のピクセルのための低変換利得（ＬＣＧ）を含む、前記フレーム中の前記ピクセルのうちの個々のピクセルを読み出すためのそれぞれの変換利得を示す１つ以上の利得選択信号を受信し、
前記フレームの前記ピクセルのピクセル値を、前記１つ以上の利得選択信号が示す前記それぞれの変換利得で読み出し、
出力インタフェースを介して前記フレームの前記ピクセル値を出力し、個々のピクセル値は１つの変換利得に対して出力されるように構成されている、読み出し論理と、を含む、イメージセンサと、
画像信号プロセッサ（ＩＳＰ）であって、
前記イメージセンサによって出力された前記ピクセル値を受信し、
画像を構成するために前記ピクセル値を処理するように構成されている、画像信号プロセッサ（ＩＳＰ）と、を備える、カメラ。

【請求項10】

前記１つ以上の利得選択信号は、前記カメラによってキャプチャされた前の画像に少なくとも部分的に基づいて前記ＩＳＰによって生成される、請求項９に記載のカメラ。

【請求項11】

前記１つ以上の利得選択信号は、前記カメラによって実装される自動露光エンジンによって生成される、請求項９に記載のカメラ。

【請求項12】

前記ピクセルは、共有読み出し回路に個別に関連付けられた複数のピクセルユニットとして編成され、
前記１つ以上の利得選択信号は、前記ピクセルユニットの個々のピクセルユニットための複数のピクセル利得構成パターンのうちの１つを指定する、
請求項９に記載のカメラ。

【請求項13】

前記イメージセンサはダイ上に実装され、
前記ＩＳＰは同じダイ上に実装される、
請求項９に記載のカメラ。

【請求項14】

前記ＩＳＰは、
前記イメージセンサから受信されたＨＣＧピクセル値を用いて前記画像のＨＧＣ部分を構築し、前記イメージセンサから受信されたＬＣＧピクセル値を用いて前記画像のＬＣＧ部分を構築し、
前記ＨＧＣ部分及び前記ＬＣＧ部分を補間して、前記ＨＧＣ部分及び前記ＬＣＧ部分における欠落ピクセル値を推定し、
前記ＨＧＣ部分と前記ＬＣＧ部分との間の利得差を低減するために、前記ＬＣＧ部分に対して利得較正を実行し、
前記ＨＧＣ部分及び前記ＬＣＧ部分をマージして、最終画像を構築するように構成されている、請求項９に記載のカメラ。

【請求項15】

前記ＩＳＰは、
バイリニアアルゴリズムと、
最近傍アルゴリズムと、
バイキュービックアルゴリズムと、
ニューラルネットワークベースのアルゴリズムと、のうちの１つ以上を使用して、前記画像の前記ＨＣＧ及び前記ＬＣＧ部分を補間するように構成されている、請求項１４に記載のカメラ。

【請求項16】

方法であって、
光に応じて、イメージセンサのピクセルアレイ内のピクセルを実装する複数のフォトダイオードを介して、信号を生成することと、
フレームの第１のピクセルのための高変換利得（ＨＣＧ）及び前記フレームの第２のピクセルのための低変換利得（ＬＣＧ）を含む、前記フレーム中の前記ピクセルのうちの個々のピクセルを読み出すためのそれぞれの変換利得を示す１つ以上の利得選択信号を受信することと、
前記イメージセンサの読み出し論理を介して、前記フレームの前記ピクセルのピクセル値を、前記１つ以上の利得選択信号が示す前記それぞれの変換利得で読み出すことと、
前記イメージセンサの出力インタフェースを介して前記フレームの前記ピクセル値を出力し、個々のピクセル値は１つの変換利得に対して出力されることと、を含む、方法。

【請求項17】

前記ピクセルは、複数のピクセルユニットとして、前記ピクセルユニットに関連付けられた個別の読み出し回路を介して読み出され、
前記１つ以上の利得選択信号は、前記ピクセルユニットの個々のピクセルユニットための複数のピクセル利得構成パターンのうちの１つを指定する、
請求項１６に記載の方法。

【請求項18】

前記１つ以上の利得選択信号は、前記読み出し論理によって生成される、請求項１６に記載の方法。

【請求項19】

画像信号プロセッサ（ＩＳＰ）を介して、画像を構成するために前記ピクセル値を処理することを更に含み、前記１つ以上の利得選択信号は前記ＩＳＰによって生成される、請求項１６に記載の方法。

【請求項20】

前記ピクセル値の前記処理は、
前記イメージセンサによって出力されたＨＣＧピクセル値を有する前記画像のＨＧＣ部分と、前記センサによって出力されたＬＣＧピクセル値を有する前記画像のＬＣＧ部分とを補間して、前記ＨＣＧ部分及び前記ＬＣＧ部分の欠落ピクセル値を推定することと、
前記画像を構築するために、前記ＨＧＣ部分及び前記ＬＣＧ部分をマージすることと、を含む、請求項１６に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、集積回路イメージセンサ及びそのようなイメージセンサを採用するカメラデバイスに関する。

【背景技術】

【0002】

二重変換利得（ＤＣＧ）ピクセルを有するＣＭＯＳイメージセンサは、高変換利得（ＨＣＧ）及び低変換利得（ＬＣＧ）を順次用いて、１回の露光から光電子信号を２回読み出す。ＨＣＧ信号は、より低い読み出しノイズを提供するが、浮動拡散の電圧スイングからの制限のために、より低いフルウェルキャパシティを提供する。ＬＣＧ信号は、低下した変換利得に起因してより大きなフルウェルキャパシティを提供するが、より高い読み出しノイズも提供する。各ピクセルは、各フレームに対してこれら２つの信号を生成し、最終的な高ダイナミックレンジ画像に対する１つの信号を選択するために、信号レベルに基づいて画像再構成中にピクセルごとの調査が実行される。しかしながら、ＤＣＧイメージセンサは、ピクセル当たり２つの読み出し値（ＨＣＧ及びＬＣＧ）を出力しているので、それらは、典型的には、単一変換利得センサよりも高い画像フレーム当たりのデータスループットレートを必要とする。逆に、ＤＣＧイメージセンサは、各画像フレームに対する読み出しデータの量が多いため、フレームレートの制限が低くなる。また、ＤＣＧイメージセンサは、読み出しデータの量が多いため、電力消費が大きい。

【図面の簡単な説明】

【0003】

【図1】いくつかの実施形態による、ピクセル単位の変換利得選択を実行するために共有読み出し論理を有するピクセルユニットを採用するイメージセンサを示す。

【0004】

【図2】いくつかの実施形態による、ピクセル単位の変換利得選択を実行するために２×２ピクセルユニットアーキテクチャを有するイメージセンサによって使用され得るいくつかのピクセル利得構成パターンを示す。

【0005】

【図3】いくつかの実施形態による、ピクセル単位の変換利得選択を実行するイメージセンサによって使用される、あるタイプのピクセル利得構成パターンのためのピクセル利得制御タイミング図を示す。

【0006】

【図4】いくつかの実施形態による、イメージセンサのためのピクセル利得構成パターンを選択するための自動露光エンジンの使用を示す。

【0007】

【図5】いくつかの実施形態による、ピクセル単位又は局所領域内の第１のピクセルを使用して、ピクセルユニット又は局所領域内の他のピクセルに対する変換を決定するプロセスを示す。

【0008】

【図6】いくつかの実施形態による、ピクセルの領域におけるピクセル利得を制御するために領域ピクセル利得制御ユニットを採用するイメージセンサ集積回路を示す。

【0009】

【図7】いくつかの実施形態による、イメージセンサ集積回路によって実行される画像内の領域ピクセル利得制御の一例を示す。

【0010】

【図8】いくつかの実施形態による、イメージセンサによって出力されたピクセルに基づいて画像を再構成するために画像信号プロセッサによって実行される画像再構成プロセスを示す。

【0011】

【図9】いくつかの実施形態による、ピクセル単位の利得選択を実装するカラーイメージセンサのための例示的なカラーフィルタアレイ（ＣＦＡ）配置を示す。

【0012】

【図10】いくつかの実施形態による、ピクセル単位の利得選択を実装するカラーイメージセンサのための別の例示的なＣＦＡ配置を示す。

【0013】

【図11】いくつかの実施形態による、ピクセル単位の変換利得選択を実行するイメージセンサによって実行されるプロセスを示すフローチャートである。

【0014】

【図12】本開示による様々な実施形態を実装するために使用され得る例示的なＣＭＯＳイメージセンサアーキテクチャのブロック図である。

【発明を実施するための形態】

【0015】

最先端技術において高ダイナミックレンジ撮像をサポートするイメージセンサにおける現在の課題に対処するために、イメージセンサ内のピクセル単位の変換利得選択を可能にしてピクセルデータの高速読み出しを可能にするイメージセンサ集積回路の様々な実施形態が開示される。イメージセンサが各利得（例えば、ＨＣＧ及びＬＣＧに対して２回）で各ピクセルを出力する代わりに、各ピクセル値がただ１つの利得オプションに対して出力されるように、イメージセンサの読み出し回路内でピクセル単位の利得選択が実行される。実施形態に応じて、利得オプションは、ピクセル内変換利得選択とアナログ増幅器利得との組合せとすることができる。このようにして、イメージセンサは、より低い電力消費でより速い出力レートを達成することができる。

【0016】

いくつかの実施形態では、個々のピクセルのための変換利得は、イメージセンサの読み出し論理、下流画像信号プロセッサ、又はカメラの自動露光エンジンによって生成され得る、１つ以上の選択信号（複数可）に基づいて選択されてもよい。利得選択は、カメラによってキャプチャされた前の画像、同じ画像内の他のピクセル（複数可）、又はこれら２つの組合せに基づいて行われ得る。いくつかの実施形態では、画像信号プロセッサは、イメージセンサによって生成された画像の高利得部分及び低利得部分を補間して、２つの利得オプションにおけるフル解像度画像を取得し、２つのフル解像度画像をマージして、最終画像を取得し得る。

【0017】

図１は、いくつかの実施形態による、ピクセル単位の変換利得選択を実行するための読み出し論理を実装するイメージセンサを有するカメラを示す。

【0018】

示されるように、この図は、イメージセンサ集積回路１２０を実装するカメラ１００を示す。イメージセンサは、カメラのカメラレンズ１０５を通して光１０５を受け取る。光１０５は、フォトダイオードなどの光検出要素に電気信号を放出させてもよく、電気信号は、集積回路１２０の読み出し論理を介して読み出される。個々のフォトダイオードによって生成される信号は、画像フレームの単一のピクセルに対応する。いくつかの実施形態では、イメージセンサ集積回路１２０は、示されるように、共通読み出し論理１３０を共有するピクセルユニット又はカーネル（この場合、２×２ピクセルユニット）内の隣接するフォトダイオードのクラスタをグループ化するピクセルグループアーキテクチャを実装してもよい。

【0019】

いくつかの実施形態では、イメージセンサ１２０の読み出し論理（例えば、読み出し論理１３０）は、イメージセンサによって出力される個々のピクセルごとに単一の変換利得を選択するために、ピクセル単位の利得選択を実装するために使用されてもよい。この例に示されるように、読み出し論理１３０は、転送ゲート（ＴＧ１～ＴＧ４）を介してフォトダイオード（ＰＤ１～ＰＤ４）から読み出された信号が、高変換利得（ＨＣＧ）で読み出されるか低変換利得（ＬＣＧ）で読み出されるかを指定する利得選択信号ＤＣＧを可能にする。いくつかの実施形態では、読み出し回路は、ピクセルが２つを上回るタイプの変換利得で読み出されることを可能にし得る。

【0020】

示されるように、集積回路１２０は、読み出しのタイミングを制御するために行論理１２２を実装してもよい。集積回路１２０はまた、列増幅器及びアナログ－デジタル変換器（ＡＤＣ）１２４を実装し得る。増幅器は、フォトダイオードによって生成された信号を増幅するために使用される。いくつかの実施形態では、個々のピクセルの変換利得は、列増幅器によって部分的に生成される。アナログ－デジタル変換器は、アナログ電気信号を、画像信号プロセッサ（ＩＳＰ）１５０などのカメラの下流の構成要素によって消費され得る離散デジタル信号に変換するために使用される。全てのピクセル１４２について結果として得られる信号は、イメージセンサ集積回路１２０の出力インタフェース１４０を介して順次出力され、画像信号プロセッサ１５０及びデータＩ／Ｏ構成要素１６０などの下流の構成要素によって消費される。

【0021】

現在のＤＣＧイメージセンサとは異なり、開示されたイメージセンサ集積回路１２０は、１つの利得（読み出し論理１３０によって使用される利得）についてピクセルデータ１４２を出力するだけである。イメージセンサ内でピクセル単位の変換利得選択を実行し、１つの利得のみでピクセルを出力することによって、出力インタフェース１４０のスループットレートは、イメージセンサ１２０の電力消費とともに劇的に低減され得る。

【0022】

いくつかの実施形態では、選択信号１３４は、単一ピクセルのための利得だけでなく、ピクセルのグループ（例えば、ピクセルユニット内のピクセル）のためのピクセル利得構成パターンを指定し得る。例えば、図１に示されるような２×２共有読み出しピクセルアーキテクチャでは、各フォトダイオードが光検出エリアの個別の象限を占有し、各２×２ピクセルユニットにおける利得選択は、図２に示される５つの異なる構成パターンから選択するようにプログラムされ得る。示されるように、この例における各ピクセル利得構成パターン２１０、２２０、２３０、２４０、及び２５０は、ピクセルユニットにおいて異なる数のＨＣＧピクセル及びＬＣＧピクセルを使用する。同様の構成パターンが、３×３、４×４、又は他の共有読み出しアーキテクチャのために考案され得る。

【0023】

図３は、図２の「バランスのとれた」ピクセル利得構成パターン２３０及び図１に示される２×２共有ピクセル読み出しアーキテクチャに対するピクセル利得制御タイミング図３１０を示す。示されるように、バランスのとれた構成パターンの場合、利得選択（ＤＣＧ）信号は、ピクセルユニット内のピクセル２及び４に対してのみアサートされる。

【0024】

ピクセル利得構成パターンは、カメラによって観察される照明条件に基づいて選択され得る。例えば、シーンの照明レベルに基づいて、イメージセンサは、フレームごとにこれらの構成パターンの間で切り替えて、有効解像度、ダイナミックレンジ、及び読み出しノイズに関して画像品質を最適化することができる。より高い高利得（ＨＧ）ピクセル密度は、弱光シーンに対してより良好な読み出しノイズ及び画像解像度を提供する。一方、より高い低利得（ＬＧ）ピクセル密度は、強光シーンに対してより良好な読み出しノイズ及び画像解像度を提供する。ＨＧ及びＬＧに対する等しい密度は、高ダイナミックレンジシーンに対してバランスのとれた性能を提供する。

【0025】

図４は、カメラの自動露光エンジン４１０が、ピクセル利得構成パターン２１０～２５０から選択するために使用される実施形態を示す。示されるように、自動露光エンジン４１０は、観察された照明条件に基づいてカメラの露光時間４２０を制御するために使用される。いくつかの実施形態では、自動露光エンジン４１０はまた、ピクセル利得構成パターンの選択を実行するために使用され得る。選択決定は、どの利得パターンがピクセルユニットに適用されるべきかを制御するために、１つ以上の選択信号（複数可）１３４としてイメージセンサ１２０に伝達され得る。この選択は、各画像フレームに対して動的に変更することができる。

【0026】

実施形態に応じて、選択信号１３４は、（ｉ）各ピクセルに対する個別の利得、（ｉｉ）ピクセルの全てのＮ×Ｎ領域に適用される単一のピクセル利得構成パターン（例えば、全てのピクセルユニットに対する同じパターン）、又は（ｉｉｉ）ピクセルの各領域に対する個別のピクセル利得構成パターン（例えば、異なるピクセルユニットに対する異なるパターン）を選択することができる。いくつかの実施形態では、ピクセル領域又はピクセルユニットは、正方形の形状ではなく、長方形などの何らかの他の形状であってもよい。

【0027】

いくつかの実施形態では、ピクセル単位の利得選択決定は、カメラによってキャプチャされた１つ以上の前の画像フレーム（例えば、連続ビデオフレーム）の分析に基づいて、イメージセンサ集積回路１２０によって行われ得る。ＩＳＰは、前の画像（複数可）の全体的な照明条件を評価するために前の画像を分析し、選択信号（複数可）１３４の形態でフィードバックをイメージセンサ１２０に提供することができる。選択信号は、例えば、次の画像内の全てのピクセルユニットに対して使用するピクセル利得構成パターン（図２に示される）、又はピクセルユニットの個々のものに対して異なるパターンを選択してもよい。このフィードバックは、イメージセンサが、変化する照明条件に対して最適化するために、そのピクセル単位の利得構成をオンザフライで動的に変更することができるように、連続的に提供され得る。

【0028】

他の実施形態では、ピクセル単位の利得選択決定は、同じ画像フレーム内の他のピクセルの信号強度に基づいて、イメージセンサ集積回路１２０自体の中で行われてもよい。このような選択決定プロセスの一例を図５に示す。

【0029】

この例における選択決定は、動作５１０において、最初にＨＧで読み出され、転送ゲートＴＧ１を介して受信される、ピクセルグループ又は局所領域の単一の初期ピクセルに基づく。動作５２０において、第１のピクセルの信号レベルが閾値（例えば、ピクセルの飽和限界）よりも大きいかどうかの判定が行われる。動作５２０は、読み出し論理によって実装された比較器を使用して実行され得る。第１のピクセルの値が閾値を超える場合、プロセスは動作５３０に進み、ピクセルユニット又は局所領域内の残りのピクセルがＬＧで読み出される。次いで、動作５４０において、第１のピクセルの読み出しは、ＬＧで置換又は再読み出しされる。しかしながら、第１のピクセルの値が閾値を超えない場合、その値は出力のために保持され、ピクセルグループ又は局所領域内の残りのピクセルはＨＧで読み出される。したがって、この方法は、全ピクセルユニット又は局所領域内のピクセルに対する変換利得を選択するための局所制御の形態を実装する。

【0030】

実施形態に応じて、開示された方法の変形形態を使用することもできる。例えば、単一の初期ピクセルだけをサンプリングする代わりに、本方法は、ピクセルユニット又は局所領域内の複数のピクセルをサンプリングすることができる。選択決定は、閾値を超える初期ピクセルの割合、又は初期ピクセルの平均が閾値を超えるかどうかに基づいて行われ得る。いくつかの実施形態では、割合又は平均は、図２に示されるように、ピクセルユニット又は局所領域のためのピクセル利得構成パターンを選択するために使用され得る。

【0031】

いくつかの実施形態では、積層製作プロセスで製造されたイメージセンサは、領域ピクセル読み出し利得構成を実装することができる。ピクセル利得構成パターンは、ピクセルの各小グループ（例えば、図６に示されるように、局所領域内の４×４ピクセル）に対して局所的かつ個別に構成されることができる。

【0032】

図６は、ピクセルレイヤ６２０上の各４×４ピクセル領域が、ＡＳＩＣレイヤ６３０上の専用領域利得制御論理ブロック６１０ａ～ｄに接続される、領域ピクセル利得制御の例示的実装形態を示す。各領域制御ユニットは、局所領域内のピクセルの信号レベルに基づいて、その局所領域に対する利得選択信号をアサートする。いくつかの実施形態では、利得選択決定を行うために使用されるピクセルレベルは、カメラによって観察された１つ以上の前のフレームからのものであり得る。他の実施形態では、ピクセルレベルは現在の画像からのものであってもよい。

【0033】

実施形態に応じて、ピクセルユニット又はピクセル局所領域に対して選択されるピクセル単位の利得は、（ｉ）各ピクセルに対する計算された最適条件に基づいて各ピクセルに対して異なり得るか、（ｉｉ）全ユニット又は領域に対する最適条件に基づいてＮ×Ｎピクセルユニット又は局所領域に対して同一であり得るか、又は（ｉｉｉ）図２に示されるような事前定義された密度ベースのピクセル利得構成パターン（例えば、ある数のＨＧピクセル及びある数のＬＧピクセル）であり得る。いくつかの実施形態では、同じチップ上の画像再構成プロセスにおいて同じ利得マップを使用することができる。

【0034】

いくつかの実施形態では、領域ピクセル利得制御は、完全にイメージセンサ集積回路１２０内で（例えば、イメージセンサの読み出し論理の一部として）実行されてもよい。領域利得制御ユニット６１０ａ～ｄの個々のものは、それ自体の領域について利得選択決定を行い、他の領域利得制御ユニットと情報を共有しない。いくつかの実施形態では、利得選択決定は、あるピクセルのピクセル値が閾値を上回る場合、ＬＧ（又は低利得集束構成パターン）が領域内の全てのピクセルに使用されるように、比較器を使用して行われてもよい。いくつかの実施形態では、ＡＳＩＣレイヤ６３０は、領域利得制御ユニット６１０ａ～ｄがそれぞれの領域の真下に位置するように、ピクセルレイヤ６２０の下に配置され得る。いくつかの実施形態では、レジスタは、領域利得制御ユニットによって決定された利得選択決定を記憶するためにピクセル領域の下で使用され得る。

【0035】

図７は、いくつかの実施形態による、イメージセンサ集積回路によって実行される画像内の領域ピクセル利得制御の一例を示す。

【0036】

示されるように、図の右側は、左側の画像７１０のズームインされた部分７２０を示す。この例では、領域ピクセル利得制御は、例えば、図６の領域利得制御ユニット６１０を使用して、各４×４ピクセル領域について実装される。示されるように、上部領域は、弱光を伴うピクセルを含み、したがって、高利得が、それらのピクセルに対して選択される。太陽の下の領域は、強光を有するピクセルを含むので、低利得がその領域のピクセルに対して選択される。

【0037】

図８は、いくつかの実施形態による、イメージセンサによって出力されたピクセルに基づいて画像を再構成するために画像信号プロセッサによって実行される画像再構成プロセスを示す。この例では、バランスのとれた利得構成パターン２３０はイメージセンサから受信される。

【0038】

この例に示すように、ピクセル当たり１つの利得しか使用されないので、生データからピクセル解像度のいくらかの損失が予想される。生のセンサ出力は、まず、ＨＧ部分８１０とＬＧ部分８２０とに分離され、両方とも半分の解像度を有する。

【0039】

示されるように、補間又は他のソフトウェア動作８１２及び８２２は、次いで、各フレームに対する解像度を回復するために使用される。補間又は他のソフトウェア演算は、バイリニア、最近傍、及びバイキュービックなどの方法を使用して実行することができ、又はニューラルネットワークベースのアルゴリズムとすることができる。カラーフィルタアレイを有するカラーセンサの場合、カラー平面がデモザイク処理のためにマージされる前に、各カラー平面内のピクセルに補間を適用することができる。補間８１２及び８２２の結果として、ソフトウェア追加ピクセル８１４及び８２４が推定され、それぞれ部分８１０及び８２０に追加されて、２つの利得オプションにおける画像のフル解像度バージョンを生成する。

【0040】

図示のように、この時点で画像のＬＧ部分に対して利得較正動作８３０を実行することができる。利得較正は、２つの利得オプション間の利得差に適応するためにＬＧフレームに適用される。

【0041】

最後に、回復されたＨＧ及びＬＧ部分は、高ダイナミックレンジを有する画像である最終画像８４０を作成するためにマージされる。いくつかの実施形態では、マージ方法は、（１）各ピクセルについてＨＧフレームの値をチェックすること、（２）ピクセル値がレジスタ定義の閾値よりも低い場合にＨＧデータを使用すること、ＨＧデータを使用すること、又は（３）ピクセル値が閾値よりも高い場合にＬＧデータを使用することができる。他の実施形態では、最終画像８４０は、例えば、画像内の遷移領域を平滑化するために、ＨＧフレーム及びＬＧフレーム内の対応するピクセルの重み付けされた組合せに基づいて構築され得る。

【0042】

図９は、いくつかの実施形態による、ピクセル単位の利得選択を実装するカラーイメージセンサのための例示的なカラーフィルタアレイ（ＣＦＡ）配置を示す。

【0043】

示されるように、この図は、２×２ピクセルユニットアーキテクチャのためのＣＦＡ配置９１０と、３×３ピクセルユニットアーキテクチャのためのＣＦＡ配置９２０とを示す。いくつかの実施形態では、同じ変換利得構成パターン（例えば、ピクセルユニット又は局所領域）に関連付けられたピクセルは、同じ色でフィルタリングされることが好ましい。この技術は、同じピクセルユニット又は局所領域内のピクセルが、下流の画像処理構成要素によって同じように扱われることを可能にし（例えば、画像回復を実行するために）、これは、下流の処理プロセスを簡略化する。しかしながら、いくつかの実施形態では、異なる色が、同じピクセルユニット又は局所領域内のピクセルをフィルタリングするために使用され得る。

【0044】

図１０は、いくつかの実施形態による、ピクセル単位の利得選択を実装するカラーイメージセンサのための別の例示的なＣＦＡ配置を示す。

【0045】

この例に示されるように、２×２ピクセルユニットは、大ピクセル１０１０、２つの中ピクセル１０１２及び１０１４、並びに小ピクセル１０１６を含む、異なるサイズのピクセルを採用する。ピクセルは、そのサイズに応じて、照明レベルに基づいて、異なるレベルのピクセル信号及び異なる信号対ノイズ比を出力することができる。この例では、２×２ピクセルユニット内のいくつかのピクセル（中ピクセル１０１２及び１０１４）は、いずれの色でもフィルタリングされないが、他のピクセル（大ピクセル１０１０及び小ピクセル１０１５）は、フィルタリングされる。図示のように、左上及び右下のピクセルユニットは緑色を用いてこのようにフィルタリングされ、右上のピクセルユニットは青色を用いてこのようにフィルタリングされ、左下のピクセルユニットは赤色を用いてこのようにフィルタリングされる。したがって、ＣＦＡがピクセルユニット内のピクセルを異なってフィルタリングする場合であっても、いくつかの実施形態では、ピクセルユニット全体に対して１つのフィルタリングカラーのみが使用されることが依然として好ましい。

【0046】

図１１は、いくつかの実施形態による、ピクセル単位の変換利得選択を実行するイメージセンサによって実行されるプロセスを示すフローチャートである。

【0047】

プロセスは、光が１つ以上のレンズを介して受信される動作１１１０で始まる。レンズは、カメラデバイス（例えば、図１のカメラレンズ１１０）として実装され得る。

【0048】

図示のように、動作１１２０～１１５０は、図１のイメージセンサ集積回路１２０であり得るイメージセンサによって実行される。動作１１２０において、特定のフレームについて、イメージセンサのフォトダイオードを介して信号が生成される。フォトダイオードは、図１に示されるように、個々のピクセルのピクセルアレイを実装するために使用されてもよく、観察された光に応じて電気信号を生成するように構成されてもよい。

【0049】

動作１１３０において、イメージセンサは、フレーム内のピクセルのうちの個々のピクセルを読み出すために使用するピクセル単位の変換利得を示す利得選択信号を受信する。変換レートは、個々のピクセルに対して異なってもよく、例えば、フレーム内の第１のピクセルに対して高変換利得、フレーム内の第２のピクセルに対して低変換利得であってもよい。いくつかの実施形態では、イメージセンサは、ピクセルが、２つを上回る変換利得（例えば、３つ以上の変換利得）で読み出されることを可能にしてもよい。いくつかの実施形態では、利得選択信号は、読み出し回路又はピクセルアレイの局所領域を共有するピクセルユニット又はカーネルなどのピクセルグループのピクセル利得構成パターンを指定することができる。例示的なピクセル利得構成パターンを図２に示す。説明したように、実施形態に応じて、利得選択信号は、イメージセンサ集積回路内で、又は別の構成要素（例えば、画像信号プロセッサ及び／又は自動露光制御構成要素）によって生成され得る。実施形態に応じて、イメージセンサ集積回路は、画像信号プロセッサと同じダイ上に、又は画像信号プロセッサを実装するために使用される異なるダイ上に実装され得る。いくつかの実施形態では、利得選択は、カメラによって観察された１つ以上の前の画像の特性に基づき得る。他の実施形態では、利得選択は、同じ画像内の他のピクセル、例えば、同じピクセルユニット又は局所領域内で読み出されたある初期ピクセルに基づいてもよい。利得選択信号は、カメラによって観察される変化する光条件に基づいて動的に更新され得る。

【0050】

動作１１４０において、読み出し論理（例えば、図１の読み出し論理１３０）は、利得選択信号によって指定されたピクセル単位の変換利得に従って、フレームのピクセルのピクセル値（例えば、フォトダイオード生成信号）を読み出す。

【0051】

動作１１５０において、フレームのピクセル値は、イメージセンサ集積回路の出力インタフェースを介して出力される。出力インタフェースは、ただ１つの変換利得オプション（各ピクセルに対して選択された変換利得）に対するピクセル値を出力するように構成される。上述したように、個々のピクセルは１つの利得のみで出力されるので、イメージセンサの出力レートを劇的に増加させることができる。

【0052】

動作１１６０において、下流の画像信号プロセス（例えば、図１のＩＳＰ １５０）は、イメージセンサによって出力されたピクセル値を受信して処理する。ＩＳＰは、ピクセル値を処理して、例えば、図８に関連して説明したプロセスで画像を構成することができる。説明したように、いくつかの実施形態では、ＩＳＰは、異なる利得オプションについて画像出力の異なるフレーム内の欠落ピクセルを推定するために、補間プロセスを実行することができる。フレームは、異なる利得オプションに対してフル解像度画像を再構成するために使用され、その後、最終的な高ダイナミックレンジ画像を作成するために結合又はマージされる。

【0053】

図１２は、本開示による様々な実施形態、例えば、図１のイメージセンサ１２０を実装するために使用され得る例示的なＣＭＯＳイメージセンサアーキテクチャのブロック図である。

【0054】

図示のように、ピクセルアレイ４２は、Ｍ×Ｎアレイに配列された多数のピクセルを含む。しかしながら、ＣＭＯＳイメージセンサ４０は、説明を容易にするために、前述の実施形態のいずれかによるピクセル回路であるが、本開示の読み出し実施形態を実装するように構成された様々なピクセル回路タイプのいずれであってもよい、ピクセル６４の３×３アレイを備える簡略化されたピクセルアレイ４２を含むものとして示されている。また、例えば、いくつかの実施形態では、ピクセルは、共有ピクセル（例えば、ＦＤ及びＲＤを共有し、場合によっては付加的読み出し回路を共有する）であってもよく、更に、ピクセルビニングのために構成されてもよい。

【0055】

行アドレス指定及び行ドライバ回路４４は、ライン５１上に転送ゲート（ＴＧ）制御信号を生成し、ライン５５上に行選択（ＲＳ）信号を生成し、ライン５２上にリセットドレイン（ＲＤ）制御信号を生成する。いくつかの実施形態では、列読み出し回路４６は、本明細書で説明されるピクセル単位の利得選択を実装するように構成されてもよく、ピクセルアレイ４２から読み出された出力値をサンプリング及び／又はデジタル化するためのアナログ－デジタル回路４３を含んでもよい。回路４３は、列並列読み出しを実施するように構成された複数のＡ／Ｄ変換器を備えるように実施することができる。いくつかの実施形態では、回路４３は、各列バス３２に関連付けられた読み出し回路が個別のアナログ－デジタル変換器（ＡＤＣ）を有し得るように構成され得るが、いくつかの実施形態では、列の対がＡＤＣを共有し得る。

【0056】

タイミング及び制御回路４８は、行アドレス指定及び行ドライバ回路４４と列読み出し回路４３の両方を制御する。例えば、タイミング及び制御回路は、読み出しのための適切な行を選択するために行アドレス指定及び行ドライバ回路４４を制御し、例えば、ローリングシャッタ読み出し又はグローバルシャッタ読み出しに従ってタイミング制御信号を提供することができる。示されるように、タイミング及び制御回路４８はまた、例えば、いくつかの実装形態では、種々の制御情報を指定し得る、ホスト（例えば、イメージセンサを備えるカメラシステムと関連付けられたプロセッサ）と通信又はインタフェースしてもよい。

【0057】

示されるように、列バス３２上の信号は、回路４３によってサンプリング及びデジタル化され、ＡＤＣによって提供されるデジタル化ピクセル値は、ラインバッファ４５に提供されてもよく、ラインバッファ４５は、画像プロセッサ４７による使用のために、回路４３からのデジタル信号を一時的に記憶するために使用されてもよい。一般に、任意の数のラインバッファ４５が含まれてもよく、例えば、各ラインバッファは、ピクセルアレイ４２内のピクセルの所与の行内の各ピクセルから読み出され得る電荷信号を表すデジタル信号を記憶することが可能であってもよい。画像プロセッサ４７は、ラインバッファ３６に保持されたデジタル信号を処理して、イメージセンサ４０の外部のデバイスに提供され得る出力画像データを生成するために使用され得る。

【0058】

本発明の例示的な実施形態の上記の説明、並びにその様々な例示的な修正及び特徴は多くの特異性を提供するが、これらの実施可能な詳細は、本発明の範囲を限定するものと解釈されるべきではなく、本発明は、この範囲から逸脱することなく、かつその付随する利点を損なうことなく、多くの修正、適合、変形、省略、追加、及び同等の実装が可能であることが当業者によって容易に理解されよう。例えば、プロセス自体に必要な又は固有の範囲を除いて、図面を含む本開示に記載される方法又はプロセスのステップ又は段階に対する特定の順序は暗示されない。多くの場合、プロセスステップの順序は変更されてもよく、説明された方法の目的、効果又は重要性を変更することなく、様々な例示的なステップが組み合わされ、変更され、又は省略されてもよい。同様に、構成要素の構造及び／又は機能は、単一の構成要素に組み合わされてもよく、又は２つ以上の構成要素に分割されてもよい。更に、用語及び表現は、説明の用語として使用されており、限定の用語ではないことに留意されたい。これらの用語又は表現を使用して、示され記載された特徴又はその一部の任意の均等物を除外する意図はない。更に、本発明は、本明細書に記載されている、又は本開示を考慮して理解される、及び／又はそのいくつかの実施形態において実現され得る利点のうちの１つ以上を必ずしも提供することなく実施され得る。したがって、本発明は、開示された実施形態に限定されず、本開示に基づく特許請求の範囲に従って定義されるべきであることが意図され、そのような特許請求の範囲は、本明細書において、並びに／又は本開示に対する優先権を主張する、本開示に基づく、及び／若しくは本開示に対応する任意の特許出願において提示され得る。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【国際調査報告】