特許第6250075号(P6250075)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ アップル インコーポレイテッドの特許一覧

<>
  • 特許6250075-画像センサの露光制御 図000002
  • 特許6250075-画像センサの露光制御 図000003
  • 特許6250075-画像センサの露光制御 図000004
  • 特許6250075-画像センサの露光制御 図000005
  • 特許6250075-画像センサの露光制御 図000006
  • 特許6250075-画像センサの露光制御 図000007
  • 特許6250075-画像センサの露光制御 図000008
  • 特許6250075-画像センサの露光制御 図000009
  • 特許6250075-画像センサの露光制御 図000010
  • 特許6250075-画像センサの露光制御 図000011
  • 特許6250075-画像センサの露光制御 図000012
  • 特許6250075-画像センサの露光制御 図000013
  • 特許6250075-画像センサの露光制御 図000014
  • 特許6250075-画像センサの露光制御 図000015
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6250075
(24)【登録日】2017年12月1日
(45)【発行日】2017年12月20日
(54)【発明の名称】画像センサの露光制御
(51)【国際特許分類】
   H04N 5/374 20110101AFI20171211BHJP
   H04N 5/353 20110101ALI20171211BHJP
   H04N 5/359 20110101ALI20171211BHJP
   H04N 9/07 20060101ALI20171211BHJP
【FI】
   H04N5/374
   H04N5/353
   H04N5/359 200
   H04N9/07 A
【請求項の数】31
【全頁数】25
(21)【出願番号】特願2015-560211(P2015-560211)
(86)(22)【出願日】2014年2月19日
(65)【公表番号】特表2016-513440(P2016-513440A)
(43)【公表日】2016年5月12日
(86)【国際出願番号】US2014017116
(87)【国際公開番号】WO2014133843
(87)【国際公開日】20140904
【審査請求日】2015年10月13日
(31)【優先権主張番号】13/782,532
(32)【優先日】2013年3月1日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】503260918
【氏名又は名称】アップル インコーポレイテッド
(74)【代理人】
【識別番号】100086771
【弁理士】
【氏名又は名称】西島 孝喜
(74)【代理人】
【識別番号】100088694
【弁理士】
【氏名又は名称】弟子丸 健
(74)【代理人】
【識別番号】100094569
【弁理士】
【氏名又は名称】田中 伸一郎
(74)【代理人】
【識別番号】100067013
【弁理士】
【氏名又は名称】大塚 文昭
(74)【代理人】
【識別番号】100122563
【弁理士】
【氏名又は名称】越柴 絵里
(72)【発明者】
【氏名】シャーマ アナップ ケイ
(72)【発明者】
【氏名】ファン シャオフェン
(72)【発明者】
【氏名】リ シャンリー
(72)【発明者】
【氏名】リー チャージェン
(72)【発明者】
【氏名】ワン チャン チュン
(72)【発明者】
【氏名】ギルトン テリー エル
【審査官】 鈴木 明
(56)【参考文献】
【文献】 特開昭61−123287(JP,A)
【文献】 国際公開第2012/122572(WO,A2)
【文献】 特表2008−507908(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/30−5/378
H04N 9/04−9/11
(57)【特許請求の範囲】
【請求項1】
画像センサを動作させる方法であって、
第1の制御信号に応じて、第1のサブ露光の間にフォトダイオード内に蓄積された電荷を保存ノード内に選択的に保存するステップと、
第2の制御信号に応じて、第1のリセット期間の間に前記フォトダイオード内に蓄積された電荷を選択的に廃棄するステップであって、前記第1のサブ露光の第1の持続時間が、前記第1のリセット期間の第2の持続時間よりも短い当該ステップと、
前記第1の制御信号に応じて、第2のサブ露光の間に前記フォトダイオード内に蓄積された電荷を前記保存ノード内に選択的に保存するステップと、
第3の制御信号に応じて、前記第1及び第2のサブ露光から前記保存ノードに保存された電荷をフローティング拡散ノードに転送するステップと、
を含み、
前記第1の制御信号が、前記フォトダイオードと前記保存ノードとの間に連結した保存ゲートに供給される転送信号を含み、且つ前記第2の制御信号が、前記保存ゲートに供給される前記転送信号であることを特徴とする、方法。
【請求項2】
前記第2の制御信号が、前記フォトダイオードに連結したアンチブルーミングゲートに供給されるアンチブルーミング信号を含むことを特徴とする、請求項1に記載の画像センサを動作させる方法。
【請求項3】
前記第3の制御信号が、前記保存ノードと前記フローティング拡散ノードとの間に連結した転送ゲートに供給される転送信号を含むことを特徴とする、請求項に記載の画像センサを動作させる方法。
【請求項4】
前記第1の制御信号に応じて、第3及び第4のサブ露光の間に前記フォトダイオード内に蓄積された電荷を前記保存ノード内に選択的に保存するステップであって、前記第1、第2、第3、及び第4のサブ露光が前記画像センサの単一のフレームに対応する、選択的に保存するステップを更に含むことを特徴とする、請求項1に記載の画像センサを動作させる方法。
【請求項5】
リセット信号に応じて、前記第1のリセット期間の間に前記フォトダイオードをリセットするステップを更に含むことを特徴とする、請求項1に記載の画像センサを動作させる方法。
【請求項6】
それぞれ第1及び第2のサブ露光のそれぞれの持続時間が実質的に同じであることを特徴とする、請求項1に記載の画像センサを動作させる方法。
【請求項7】
前記第のサブ露光の第の持続時間が、前記第1のリセット期間の前記第2の持続時間と実質的に同じ又は長いことを特徴とする、請求項1に記載の画像センサを動作させる方法。
【請求項8】
前記第2の持続時間が、前記第1の持続時間の少なくとも5倍であることを特徴とする、請求項に記載の画像センサを動作させる方法。
【請求項9】
画像センサのピクセルであって、
フォトダイオードと、
保存ノードと、
前記フォトダイオードと保存ノードとの間に連結し、露光制御信号を選択的に受信し、これに応ずる、保存ゲートと、
フローティング拡散ノードと、
前記保存ノードとフローティング拡散ノードとの間に連結し、転送制御信号を選択的に受信し、これに応ずる、転送ゲートと、
前記フォトダイオードに連結しており、アンチブルーミング制御信号を選択的に受信し、これに応ずる、アンチブルーミングゲートと、
前記フォトダイオードに蓄積された電荷が廃棄されるよう前記アンチブルーミング制御信号を前記アンチブルーミングゲートに供給するように構成され、複数のサブ露光の間に前記フォトダイオード内に蓄積される前記電荷が各サブ露光の後又はその間に前記保存ノードに転送されるように、前記露光制御信号を前記保存ゲートに供給するように更に構成された制御回路であって、前記保存ノード内に保存された電荷が前記フローティング拡散ノードに転送されるように、前記複数のサブ露光後に前記転送制御信号を前記転送ゲートに供給するように更に構成された、制御回路と、
を備え
少なくとも1つのサブ露光の持続時間が、少なくとも1つの電荷廃棄期間の持続時間よりも短く、
前記画像センサのピクセルが第1の色チャネルに関連づけられ、更に、異なる色チャネルに関連づけられている別の画像センサのピクセルが前記画像センサのピクセルと同じアンチブルーミング制御信号、露光制御信号、及び転送制御信号を受信することを特徴とする、画像センサのピクセル。
【請求項10】
前記保存ノードが、電気的及び光学的に遮蔽されていることを特徴とする、請求項に記載の画像センサのピクセル。
【請求項11】
画像センサであって、
第1の色チャネルに関連づけられ、第1の制御信号に応じて第1の期間の間電荷を蓄積するように構成された第1のピクセルと、
第2の色チャネルに関連づけられ、第2の制御信号に応じて第2の期間の間電荷を蓄積するように構成された第2のピクセルと、
アンチブルーミング信号に応じて前記第1のピクセルから電荷を排出するように構成された転送ゲートと、
を備え、
前記アンチブルーミング信号は、第1の期間が開始する前でかつ前記第2の期間が開始した後に、前記転送ゲートにより電荷が前記第1のピクセルから排出されるようにし、
前記第1の色チャネルは前記第2の色チャネルとは異なり、前記第1の期間は前記第2の期間よりも短いことを特徴とする、画像センサ。
【請求項12】
前記第1の色チャネルが透明であり、前記第2の色チャネルが緑であることを特徴とする、請求項11に記載の画像センサ。
【請求項13】
前記第1の色チャネルが緑であり、前記第2の色チャネルが赤であることを特徴とする、請求項11に記載の画像センサ。
【請求項14】
前記転送ゲートは、前記アンチブルーミング信号に応じて前記第1のピクセルから電荷を排出するように構成されたアンチブルーミングゲートを含むことを特徴とする、請求項11に記載の画像センサ。
【請求項15】
前記転送ゲートは前記第1のピクセルに関連するフォトダイオードと、フローティング拡散ノード又は保存ノードとの間に連結されることを特徴とする、請求項11に記載の画像センサ。
【請求項16】
前記第1のピクセルがグローバルシャッタピクセルであり、保存ノードを含むことを特徴とする、請求項11に記載の画像センサ。
【請求項17】
前記第1のピクセルがローリングシャッタピクセルであることを特徴とする、請求項11に記載の画像センサ。
【請求項18】
前記第1及び第2の制御信号を供給する制御回路であって、複数の電圧レベルのうちの1つを前記第1又は第2の制御信号として選択的に供給するように構成された1つ以上のマルチプレクサを含む、制御回路を更に備えることを特徴とする、請求項11に記載の画像センサ。
【請求項19】
画像センサを動作させる方法であって、
第1の複数のサブ露光の間に第1の色チャネルに関連づけられる第1のフォトダイオード内に電荷を選択的に蓄積するステップと、
第1の制御信号に応じて、前記第1の複数のサブ露光の各々の間に前記第1のフォトダイオード内に蓄積された電荷を第1のノードに選択的に転送するステップと、
第2の複数のサブ露光の間に第2の色チャネルに関連づけられる第2のフォトダイオード内に電荷を選択的に蓄積するステップと、
第2の制御信号に応じて、前記第2の複数のサブ露光の各々の間に前記第のフォトダイオード内に蓄積された電荷を第2のノードに選択的に転送するステップと、
第3の制御信号に応じて、複数のリセット期間の間に前記第1のフォトダイオード内に蓄積された電荷を選択的に廃棄するステップであって、前記第1の複数のサブ露光における各サブ露光の後にリセット期間が発生する当該ステップと、
を含み、
前記第1の複数のサブ露光における少なくとも1つのサブ露光の持続時間が、前記複数のリセット期間における少なくとも1つのリセット期間の持続時間よりも短く、
前記第1の色チャネルは前記第2の色チャネルとは異なり、前記第1の複数のサブ露光のうちの少なくとも1つは前記第2の複数のサブ露光のうちの少なくとも1つよりも短く、前記第1及び第2の複数のサブ露光は少なくとも部分的に同時期に発生することを特徴とする、画像センサを動作させる方法。
【請求項20】
前記画像センサがインターリーブ型高ダイナミックレンジモードで動作し、前記第1の色チャネルが第1の画像を形成する第1の組のピクセルに関連づけられ、前記第2の色チャネルが第2の画像を形成する第2の組のピクセルに関連づけられ、前記第1及び第2の画像が前記画像センサによって実質的に重なり合う時間で取得されることを特徴とする、請求項19に記載の画像センサを動作させる方法。
【請求項21】
前記画像センサがローリングシャッタ構造を有することを特徴とする、請求項19に記載の画像センサを動作させる方法。
【請求項22】
前記画像センサがグローバルシャッタ構造を有することを特徴とする、請求項19に記載の画像センサを動作させる方法。
【請求項23】
前記画像センサがビデオモードで動作することを特徴とする、請求項19に記載の画像センサを動作させる方法。
【請求項24】
前記第1及び第2のノードがそれぞれ第1及び第2の保存ノードを備えることを特徴とする、請求項19に記載の画像センサを動作させる方法。
【請求項25】
画像センサを動作させる方法であって、
第1の色チャネルに関連づけられる第1のピクセルの第1の露光を、それぞれの持続時間を有する第1の複数のサブ露光に区画するステップと、
第2の色チャネルに関連づけられる第2のピクセルの第2の露光を、それぞれの持続時間を有する第2の複数のサブ露光に区画するステップと、
複数のリセット期間において前記第1のピクセル内に蓄積された電荷を廃棄するステップであって、前記第1の複数のサブ露光における各サブ露光の後にリセット期間が発生する当該ステップと、
を含み、
前記第1の複数のサブ露光における少なくとも1つのサブ露光の持続時間が、前記複数のリセット期間における少なくとも1つのリセット期間の持続時間よりも短く、
前記第1の複数のサブ露光のうちの少なくとも1つの前記持続時間は、前記第2の複数のサブ露光のうちの少なくとも1つよりも短いことを特徴とする、画像センサを動作させる方法。
【請求項26】
前記第1の複数のサブ露光のすべてが実質的に第1の持続時間を有し、前記第2の複数のサブ露光のすべてが実質的に第2の持続時間を有し、前記第1の持続時間が前記第2の持続時間よりも短いことを特徴とする、請求項25に記載の画像センサを動作させる方法。
【請求項27】
前記第1の色チャネルが透明又は緑であり、前記第2のチャネルが赤又は青であることを特徴とする、請求項25に記載の画像センサを動作させる方法。
【請求項28】
第3の色チャネルに関連づけられる第3のピクセルの第3の露光が区画されないことを特徴とする、請求項25に記載の画像センサを動作させる方法。
【請求項29】
前記第3の色チャネルが赤であることを特徴とする、請求項28に記載の方法。
【請求項30】
前記第1及び第2の複数のサブ露光の前記それぞれの持続時間が、前記第3の色チャネルに対する前記第1及び第2の色チャネルの相対的な感度に基づいて決定されることを特徴とする、請求項28に記載の画像センサを動作させる方法。
【請求項31】
前記第1の複数のサブ露光の各々の間に蓄積された電荷を第1の保存ノード内でアナログ的に合計するステップ及び前記第2の複数のサブ露光の各々の間に蓄積された電荷を第2の保存ノード内でアナログ的に合計するステップを更に含むことを特徴とする、請求項25に記載の画像センサを動作させる方法。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願の相互参照)
特許協力条約に基づく本出願は、この参照によりその全部が本明細書内に組み込まれる、2013年3月1日付けで出願され、「Exposure Control for Image Sensors」と題された米国非仮特許出願第13/782,532号に対する優先権を主張するものである。
【0002】
本発明は、広くは画像センサに関し、より具体的には画像センサの露光制御に関する。
【背景技術】
【0003】
電荷結合デバイス(CCD)及び相補型金属酸化膜半導体(CMOS)センサのような電子画像センサは、通常、各ピクセルに対して1つ以上のフォトダイオードを含んでおり、これらフォトダイオードは、露光するとピクセルのフォトダイオード上に投射される光の明るさに比例する電荷を蓄積する。電子画像センサによっては、フォトダイオードが光源に露出する持続時間を制御するのを補助するための機械シャッタと共に使用されるものもある一方で、その他の(例えば、携帯電話機、タブレットコンピュータ、及びその他の電子機器などに搭載された特定のものを含む)電子画像センサは機械シャッタと共に使用されておらず、したがって、露光したときにフォトダイオード内に発生する電荷を制御するために何らかの形態の電気シャッタリングに依存している。
【0004】
電気シャッタリングを実施できる一方法として、フォトダイオードをセンサの他の部品に連結するゲート(例えば、トランジスタ)を制御する方法がある。例えば、センサが画像をキャプチャすべきではないときには、フォトダイオードに連結しているゲートは、フォトダイオード内で発生する一切の電荷を継続的に排出することができる。機械シャッタが無ければセンサは常に露光するかもしれないが、フォトダイオード内で発生する電荷の流れの制御によりフォトダイオードの有効露光が制御されるので、この電荷の流れの制御を概して露光制御と呼ぶことができる。換言すれば、フォトダイオードの露光を機械的に制御することは困難なので、電子画像センサによってはその有効露光を、これらの領域内の入射光子によって発生する電荷を選択的に蓄積し選択的に廃棄することにより制御することができる。
【0005】
撮像される特定の場面の異なる照明条件及び色彩条件に基づいて画像センサ内のピクセルの露光を制御することが有用な場合がある。例えば、照明の明るい状況では、センサ上のピクセルの露光時間を短縮してピクセルのフォトダイオードのウェルが飽和するのを回避することができる(飽和を補正しなければ、ブルーミングを招く恐れがある)。逆に、照明の暗い状況では、十分な電荷がピクセル内に集積されて十分良好な信号対雑音比が維持されることを可能とするために、露光時間を延長することができる。しかし、いくつかの理由から露光時間を変更することは難しく、固定フレームレートで映像をキャプチャし、したがって露光時間を拡張する時間量が限られる画像センサについては、特に難しい。映像の例について続けると、一方では、各映像フレーム内で露光時間を過度に短縮し過ぎると、映像のフレーム間で深刻なモーションアーチファクトが発生し、フレーム間でのエイリアシング又はストロボ効果を引き起こす。もう一方では、露光時間を長くし過ぎると、ピクセルが飽和する可能性があり、隣接するピクセルにブルーミングしてしまう可能性さえある。
【0006】
カラー画像センサは、通常、ピクセルの赤−緑−青−緑(RGBG)配列を有するベイヤーパターンなどの何らかの種類のカラーフィルタアレイ(CFA)を含んでいる。ベイヤーパターンについては、画像センサのピクセルを、各々が一方の行に赤ピクセル1個及び緑ピクセル1個を含み、他方の行に青ピクセル1個及び緑ピクセル1個を含む2×2のサブアレイの群に配列することができる。このような配列内では、2個の緑ピクセルは、一般的に、2×2のサブアレイ内で相互に対角線上に配置されている。通常、各2×2サブアレイ内の4個のピクセルはすべて、ピクセルの上面を覆って定置されたカラーフィルタ以外は全く同じであり、換言すれば、これらピクセルは、通常、同様のウェル容量のフォトダイオードを有する。しかし、カラーフィルタが、異なる色のピクセルに異なる波長の光を検出させる。しかし、ピクセルのフォトダイオードの入射光子に対する感度は、その上に投射される光の波長によって異なる場合があるので、異なる色のピクセルは、異なる色の光の全く同じ明るさに対して異なる感度を有する場合がある。例えば、ベイヤーパターンでは、通常は、緑ピクセルが最も感度が高い。緑ピクセルが最も感度が高いので、画像センサが露光するほとんどの中間色の場面について、通常、緑フォトダイオードが赤フォトダイオード及び青フォトダイオードよりも速く電荷を充填することとなる。
【0007】
近年、上面を覆って定置される色付きフィルタを有さない場合もある透明なピクセルを追加することに関心が集まっている。透明なピクセルは、「白ピクセル」としても知られる。画像センサに透明ピクセルを追加することにより、画像センサにより高い輝度感度及びより幅広い全体スペクトルを提供することができる。しかし、透明ピクセルは、通常、入射光に対して赤、緑、又は青のピクセルのいずれよりも感度が高いので、これら他の色のピクセルのいずれよりも速く飽和するのが普通である。
【0008】
画像センサのピクセルが飽和し、蓄積された電荷を隣接するピクセル内に溢流させる(ブルーミングとして知られる現象の)可能性を防止するうえで役立つ一技法として、アンチブルーミング制御の方式を使用して過剰な電荷をフォトダイオードから排出する方法がある。
【0009】
今日のほとんどの画像センサにおいて、露光制御及びアンチブルーミングは、概ね一様な方法で適用されている。例えば、ほとんどの画像センサでは、異なる色のピクセルのすべてについて共通で単一の露光時間が設定されており、かつその露光時間は連続した時間ブロックである。露光時間は、一般的に、最も高感度の色チャネルに対応して選択されるが、この露光時間は、最も感度の高い色のピクセルが蓄積電荷で飽和すると予期される時間よりも短い。しかし、その他の低感度の色のピクセルの有効露光を切り詰めることにより、最適とは言えない結果を招く恐れがある(フォトダイオード内に蓄積される電荷の量は一般的に信号対雑音比に関連しているので、これらの色に関する信号対雑音比が低下する可能性がある)。更には、異なる色のすべてのピクセル間にアンチブルーミング制御を一様に適用することにより、よりきめ細かなブルーミング緩和技法の適用もまた阻害される。
【発明の概要】
【0010】
本開示の一例は、画像センサを動作させる方法の形態をとることができる。この方法は、第1の制御信号に応じて第1のサブ露光の間にフォトダイオード内に蓄積された電荷を保存ノード内に選択的に保存するステップ、及び第2の制御信号に応じて第1のリセットの間にフォトダイオード内に蓄積された電荷を選択的に廃棄するステップを含むことができる。この方法はまた、第1の制御信号に応じて第2のサブ露光の間にフォトダイオード内に蓄積された電荷を保存ノード内に選択的に保存するステップ、及び第3の信号に応じて第1及び第2のサブ露光から保存ノード内に保存された電荷をフローティング拡散ノードへと転送するステップを含むこともできる。
【0011】
本開示の別の例は、フォトダイオード、保存ノード、及びフォトダイオードと保存ノードとの間に連結された、露光制御信号を選択的に受信しこれに応じて保存ゲートを含む画像センサのピクセルの形態をとることができる。画像センサのピクセルはまた、フローティング拡散ノード、及び保存ノードとフローティング拡散ノードとの間に連結された、転送制御信号を選択的に受信しこれに応じて転送ゲートを含むこともできる。画像センサのピクセルはまた、複数のサブ露光の間にフォトダイオード内に蓄積された電荷が各サブ露光の後又はその間に保存ノードに転送されるように、露光制御信号を保存ゲートに供給するように構成され、保存ノード内に保存された電荷がフローティング拡散ノードに転送されるように、複数のサブ露光後に転送信号を転送ゲートに供給するように更に構成された制御回路を含むことができる。
【0012】
本開示の別の例は、画像センサを動作させる方法の形態をとることができる。この方法は、第1の露光制御信号に応じて第1の期間の間に第1の色チャネルに関連づけられる第1のフォトダイオード内に電荷を選択的に蓄積するステップを含むことができる。この方法はまた、第2の露光制御信号に応じて第2の期間の間に第2の色チャネルに関連づけられる第2のフォトダイオード内に電荷を選択的に蓄積するステップを含むことができる。第1の色チャネルは第2の色チャネルとは異なることができ、第1の期間は第2の期間よりも短くてもよく、第1及び第2の期間は互いに少なくとも部分的に同時期に発生することができる。
【0013】
本開示の別の例は、画像センサの形態をとることができる。この画像センサは、第1の色チャネルに関連づけられる第1のピクセルを含むことができ、第1の制御信号に応じて第1の期間の間電荷を蓄積するように構成することができる。この画像センサはまた、第2の色チャネルに関連づけられる第2ピクセルを含むことができ、第2の制御信号に応じて第2の期間の間電荷を蓄積するように構成することができる。第1の色チャネルは第2の色チャネルとは異なることができ、第1の期間は第2の期間よりも短くてもよい。
【0014】
本開示の別の例は、画像センサを動作させる方法の形態をとることができる。この方法は、第1の複数のサブ露光の間に第1の色チャネルに関連づけられる第1のフォトダイオード内に電荷を選択的に蓄積するステップを含むことができる。この方法はまた、第1の制御信号に応じて、第1の複数のサブ露光の各々の間に第1のフォトダイオード内に蓄積された電荷を第1のノードに選択的に転送するステップを含むこともできる。この方法はまた、第2の複数のサブ露光の間に第2の色チャネルに関連づけられる第2のフォトダイオード内に電荷を選択的に蓄積するステップを含むことができる。この方法はまた、第2の制御信号に応じて、第2の複数のサブ露光の各々の間に第1のフォトダイオード内に蓄積された電荷を第2のノードに選択的に転送するステップを含むこともできる。第1の色チャネルは第2の色チャネルとは異なることができ、第1の複数のサブ露光のうちの少なくとも1つは第2の複数のサブ露光のうちの少なくとも1つよりも短くてもよい。第1及び第2の複数のサブ露光は、少なくとも部分的に同時期に発生することができる。
【0015】
本開示の別の例は、画像センサを動作させる方法の形態をとることができる。この方法は、第1の色チャネルに関連づけられる第1のピクセルの第1の露光を、それぞれの持続時間を有する第1の複数のサブ露光に区画するステップを含むことができる。この方法はまた、第2の色チャネルに関連づけられる第2のピクセルの第2の露光を、それぞれの持続時間を有する第2の複数のサブ露光に区画するステップを含むことができる。第1の複数のサブ露光のうちの少なくとも1つの持続時間は、第2の複数のサブ露光のうちの少なくとも1つよりも短くてもよい。
【図面の簡単な説明】
【0016】
図1A】1つ以上のカメラを含む電子機器の正面斜視図である。
図1B図1Aの電子機器の背面斜視図である。
図2図1Aの電子機器の簡略化されたブロック図である。
図3図1Aの3−3線に沿った図1Aの電子機器の簡略化された概略断面図である。
図4A】電子機器のカメラの画像センサ構造の簡略化された図である。
図4B図4Aのピクセル構造の単一のピクセルを図示した拡大図である。
図5】ローリングシャッタ動作を有するピクセルセルの簡略化された概略図である。
図6】グローバルシャッタ構成を有するピクセルセルの簡略化された概略図である。
図7】ローリングシャッタ構成を有する4個のピクセルセルの簡略化された概略図である。
図8】グローバルシャッタ構成を有する4個のピクセルセルの簡略化された概略図である。
図9】露光制御の一実施形態に関するタイミング図である。
図10】露光制御の別の実施形態に関するタイミング図である。
図11】露光制御の更に別の実施形態に関するタイミング図である。
図12】露光制御の更に別の実施形態に関するタイミング図である。
【発明を実施するための形態】
【0017】
本明細書内のいくつかの実施形態において、電子画像センサ内の有効露光を制御する装置及び方法を開示する。一実施形態において、1つ以上のフレームに関する全有効露光を複数のサブ露光に分割又は区画することができる。別の実施形態において、カラーフィルタアレイの異なる色チャネル間でアレイ内のフォトダイオードの有効露光を変えることができる。更に別の実施形態において、1つ以上のフレームに関する全有効露光を1つ以上の色チャネル内のピクセルに関する複数のサブ露光に分割又は区画することができ、異なる色チャネル間のサブ露光は異なる持続時間を有することができる。
【0018】
ここで図を参照して、画像センサ、及び画像センサが組み込まれる例示的な電子機器についてより詳細に述べる。図1Aは、画像センサを含む電子機器100の正面図である。図1Bは、電子機器100の背面図である。電子機器100は、第1のカメラ102、第2のカメラ104、エンクロージャ106、ディスプレイ110、及び入出力ボタン108のうちのいずれか又はすべてを含むことができる。電子機器100は、コンピュータ、ラップトップ、タブレット、スマートフォン、デジタルカメラ、プリンタ、スキャナ、コピー機などでかつこれらに限定されない、実質的に任意の種類の電子機器又はコンピューティングデバイスであることができる。電子機器100はまた、1つ以上のプロセッサ、メモリ部品、ネットワークインターフェースなどでかつこれらに限定されない、コンピューティングデバイス又は電子機器に特有の1つ以上の内部構成要素(図示せず)を含むこともできる。このような内部構成要素の例については図2に関連して述べる。
【0019】
図1に示すように、エンクロージャ106は、電子機器100の内部構成要素の外面及び保護ケースを形成することができ、ディスプレイ110を少なくとも部分的に囲むことができる。エンクロージャ106は、前面部品及び背面部品などの、動作可能に相互に結合された1つ以上の構成要素から形成することができ、又はディスプレイ110に動作可能に結合された単一部品から形成することができる。
【0020】
入力部材108(これはスイッチ、ボタン、静電容量センサ、又はその他の入力機構であってもよい)は、ユーザが電子機器100と相互作用することを可能とする。例えば、入力部材108は、音量を変更する、ホーム画面に戻るなどのためのボタン又はスイッチであってよい。電子機器100は、1つ以上の入力部材108及び/又は出力部材を含むことができ、各部材は、単一の入力機能若しくは出力機能又は複数の入出力機能を有することができる。
【0021】
ディスプレイ110は、電子機器100に動作可能に接続することができ、又は通信可能に連結することができる。ディスプレイ110は、電子機器100の視覚的出力を提供することができ、及び/又は電子機器100へのユーザ入力を受け付ける働きをすることができる。例えば、ディスプレイ110は、1つ以上のユーザ入力を検出できる静電容量感知式マルチタッチ画面であることができる。
【0022】
電子機器100はまた、多くの内部構成要素を含むこともできる。図2は、電子機器100の簡略化されたブロック図である。電子機器100はまた、1つ以上のプロセッサ114、ストレージ部品又はメモリ部品116、入出力インターフェース118、電源120、及び1つ以上のセンサ122を含むことができるが、これらの各々については下記に順次述べることにする。
【0023】
プロセッサ114は、電子機器100の動作を制御することができる。プロセッサ114は、直接的又は間接的のいずれかの方法で、実質的に電子機器100の構成要素のすべてと通信することができる。例えば、1つ以上のシステムバス124又はその他の通信機構が、プロセッサ114、カメラ102、104、ディスプレイ110、入力部材108、センサ122などの間の通信を提供することができる。プロセッサ114は、命令を処理、受信、及び/又は送信することのできる任意の電子装置であってよい。例えば、プロセッサ114は、マイクロプロセッサ又はマイクロコンピュータであってよい。本明細書内に記載されている場合、「プロセッサ」という用語は、単一のプロセッサ若しくは処理装置、複数のプロセッサ若しくは複数の処理装置、又はその他の好適に構成された演算要素を包含することを意味する。
【0024】
メモリ116は、電子機器100が利用することのできる電子データを記憶することができる。例えば、メモリ116は、様々なアプリケーションに対応する、例えば、音声ファイル、映像ファイル、文書ファイルなどの電子データ又はコンテンツを記憶することができる。メモリ116は、例えば、不揮発性記憶装置、磁気記憶媒体、光学記憶媒体、光磁気記憶媒体、読取り専用メモリ、ランダムアクセスメモリ、消去可能プログラマブルメモリ、又はフラッシュメモリであってよい。
【0025】
入出力インターフェース118は、ユーザ又はその他1つ以上の電子機器からデータを受け取ることができる。更には、入出力インターフェース118は、ユーザ又はその他の電子装置へのデータ伝送を容易にすることができる。例えば、電子機器100が電話機である実施形態において、入出力インターフェース118は、ネットワークからデータを受信するために使用でき、又は無線接続若しくは有線接続(インターネット、WiFi、Bluetooth(登録商標)、Ethernet(登録商標)などがいくつかの例として挙げられる)を介して電子信号を送信及び伝送するために使用できる。いくつかの実施形態において、入出力インターフェース118は、複数のネットワーク又は通信機構に対応することができる。例えば、ネットワーク/通信インターフェース118は、Bluetooth(登録商標)ネットワーク上で別の機器とペアリングして他方の機器に信号を転送すると同時にWiFi又はその他のネットワークからデータを受信することができる。
【0026】
電源120は、電子機器100にエネルギーを供給することのできる実質的に任意の装置であってよい。例えば、電源120は、電池、電子機器100を壁コンセントなどのような別の電源に接続するように構成できる接続ケーブルなどであってよい。
【0027】
センサ122は、実質的に任意の種類のセンサを含むことができる。例えば、電子機器100は、1つ以上の音声センサ(例えば、マイクロフォン)、光センサ(例えば、環境光センサ)、ジャイロスコープ、加速度計などを含むことができる。センサ122は、電子機器100の機能を向上させ又は変更するために使用することのできるプロセッサ114にデータを供給するために使用することができる。
【0028】
図1A及び図1Bを再度参照すると、電子機器100はまた、1つ以上のカメラ102、104、及び必要に応じてカメラ102、104用のフラッシュ112又は光源を含むこともできる。図3は、図1Aの3−3線に沿った第1のカメラ102の簡略化された断面図である。図3は第1のカメラ102を図示しているものの、第2のカメラ104も第1のカメラ102と実質的に同様であることに留意すべきである。いくつかの実施形態において、一方のカメラはグローバルシャッタで構成された画像センサを含むことができ、一方のカメラはローリングシャッタで構成された画像センサを含むことができる。その他の例において、一方のカメラが他方のカメラより高解像度の画像センサを有することができる。同様に、図3に示す構造体は第1及び第2のカメラのうちのいずれかのための1つの可能性としての構造体に過ぎないことを理解すべきである。
【0029】
図3を参照すると、カメラ102、104は、画像センサ130と光学的に連通しているレンズ126を含むことができる。レンズ126は、エンクロージャ106に動作可能に結合し、画像センサ130の上方に位置づけることができる。レンズ126は、画像センサ130のフォトダイオード層(以下により詳細に記述)上に、その視野内で光128を方向付け又は伝送させることができる。
【0030】
画像センサ130は、基板132又はその他の支持構造体によってレンズ126の下方に支持することができる。画像センサ130は、光128を、キャプチャした場面からの光を表すことのできる電気信号に変換することができる。換言すれば、画像センサ130は、レンズ126を介して光学的に伝送された光128を電気信号に変換する。
【0031】
画像センサ構造
ここで、画像センサ130の例示的な構造についてより詳細に述べる。図4Aは、画像センサ130のために可能な一構造の簡略概略図である。図4Bは、図4Aのピクセル構造のピクセルの拡大図である。図5は、図4Aのピクセルの簡略概略図である。図4A図5を参照すると、電子機器100は、1つ以上のピクセル136及び/又はピクセルセルの群138(例えば、ベイヤーピクセル又はその他の1組のピクセルを形成するようにまとめられた、ピクセル136の群)を画定するピクセル構造を有する画像処理部品を含むことができる。ピクセル構造134は、1つ以上の列出力ライン146を通じて列選択器140と通信し、1つ以上の行選択ライン148を通じて行選択器144と通信することができる。
【0032】
行選択器144及び/又は列選択器140は、画像プロセッサ142と通信することができる。画像プロセッサ142は、ピクセル136からのデータを処理し、そのデータを電子機器100のプロセッサ114及び/又はその他の構成要素に供給することができる。いくつかの実施形態において、画像プロセッサ142は、プロセッサ114内に組み込むことができ、又はプロセッサ114とは別個であることもできることに留意すべきである。行選択器144は、特定のピクセル136又は特定の行の全ピクセル136のようなピクセル群を選択的に活性化することができる。列選択器140は、選択されたピクセル136又はピクセル136の群(例えば、特定の列のピクセルのすべて)から出力されるデータを選択的に受信することができる。
【0033】
図5を参照すると、各ピクセル136は、トランジスタアレイ152、即ち制御回路、及びフォトダイオード154を含むことができる。フォトダイオード154は、レンズ126と光学的に連通してその中を透過する光を受光することができる。フォトダイオード154は、光を吸収し、吸収した光を電気信号に変換することができる。フォトダイオード154は、電子フォトダイオード又は正孔フォトダイオードであってよい。更には、本明細書内で使用される場合、「フォトダイオード」という用語は、フォトゲート又はその他の感光領域のような実質的に任意の種類の光子検出部品又は光検出部品を包含することを意味することに留意すべきである。フォトダイオード154は、フォトダイオード154をピクセル136の制御回路152の残りの部分に選択的に接続する転送ゲート158に連結している。
【0034】
転送ゲート158は、リセットゲート156及びソースフォロワ(SF)ゲート160に連結している。リセットゲート162及びSFゲート160は、これら2つのゲートを基準電圧源(Vdd)166に接続する基準電圧ノード164に連結している。行選択ゲート162は、ピクセル136の行選択ライン148に連結している。電荷保存部品168を含むフローティング拡散(FD)ノード163を、転送ゲート158及びリセットゲート156とSFゲート160との間に連結することができる。制御回路152(一例としては前述のトランジスタアレイ)は、図5に示すもの以外の追加のゲートを含むことができる。例えば、飽和を超えた過剰な電荷をフォトダイオードから排出するために、アンチブルーミングゲートをフォトダイオード154と連通させることができる。
【0035】
一般に、動作時にカメラ102、104のうちの一方が作動して画像をキャプチャすると、リセットゲート156及び転送ゲート158に基準電圧166が印加される。転送ゲート158が開いていると、フォトダイオード154内の電荷が排出されてフォトダイオードが枯渇する。いくつかの実施形態において、カメラ102、104がレンズ126を覆うシャッタを含まない場合があり、したがって、画像センサ130は常に露光している場合がある。これらの実施形態において、フォトダイオード154は、所望の画像をキャプチャする前にリセットされ、即ち枯渇しなければならない場合がある。フォトダイオード154からの電荷が枯渇した後に、転送ゲート158及びリセットゲート156をオフにしてフォトダイオード154を分離することができる。次に、フォトダイオード154は、レンズ126から画像センサ130に伝送された光128の集積及び収集を開始することができる。フォトダイオード154は、受光すると同時に電荷を収集し始める(例えば、光からの電子を受け取ると同時に空乏領域が縮小する)。しかし、(フォトダイオード154を制御回路152及びその他のゲートに接続する)転送ゲート158がオフとなっているので、フォトダイオード154内の電荷はフォトダイオード154のウェル内に留まることができる。
【0036】
集積が完了し、フォトダイオード154がレンズ126から光128を収集し終えた後、リセットゲート156をオンにしてフローティング拡散ノード163をリセットすることができる。フローティング拡散163がリセットされた後に、リセットゲート156をオフにし、転送ゲート158をオンにすることができる。次に、フォトダイオード154からの電荷をフローティング拡散ノード163に転送し、保存部品168内に保存することができる。フォトダイオード154から(フローティング拡散ノード163を介して)電荷を読み出すためには、行選択ゲート152及びSFゲート160を作動させればよく、SFゲート160がフローティング拡散ノード163内の電荷を増幅し、行選択ゲート162を通じて信号、即ち電荷が、列出力ライン146に供給される。
【0037】
ローリングシャッタ動作では、異なる行内のフォトダイオード154を異なる時点に露光することができる。したがって、場面内の1つ以上の被写体が動いている場合、第1の行及び第2の行が順次に露光すると、第1の行は第2の行とは画像内の異なる位置をキャプチャする場合があり、これにより感知された画像内にモーションアーチファクトが生じる場合がある。グローバルシャッタ動作では、フォトダイオード154からの電荷を保存するために追加的な保存ゲートを追加することができる。グローバルシャッタ動作では、ピクセル構造134内の各行を実質的に同時点にリセットし、露光することができる。各保存ノードもまた、フォトダイオード154から保存ノードに電荷を同時に転送することができ、次に各ピクセル136を行毎に読み出すことができる。いくつかの実施形態は、関連する回路に適切な変更を施して列ベースのローリングシャッタ構造を実施することができる。
【0038】
ここで図6を参照すると、いくつかの実施形態において、画像センサ130は1つ以上のグローバルシャッタピクセル136を含むことができる。図6は、フォトダイオード154、及び保存ゲート190を含む制御回路152の簡略図である。図6を参照すると、各ピクセル136は、フォトダイオード154と保存ノード192との間に連結した保存ゲート190を含むことができる。保存ノード192はフォトダイオード154からの電荷を保存してグローバルシャッタ動作を可能とすることができ、いくつかの例では、浮遊電荷及び/又は光が保存ノード192の内容を破損することを防止するために、これを電気的及び/又は光学的に遮蔽することができる。例えば、グローバルシャッタ動作において、画像センサ130のピクセル136の各々が電荷集積を同時に開始することができる。集積期間中、フォトダイオード154の各々は、各フォトダイオード154に遭遇する、レンズ126を透過する光に対応する電荷を蓄積することができる。集積後、保存ゲート190を作動させることができ、フォトダイオード154からの電荷を保存ノード192に転送することができる。フォトダイオード154からのデータは、特定のピクセル136が読み出し可能の状態となるまで保存ノード192内に保留することができる。
【0039】
ピクセル136を読み出すときには、転送ゲート158を作動させて保存ノード192からフローティング拡散ノード163に電荷を転送させることができる。データがフローティング拡散ノード163内に記憶されると、ピクセル136は、実質的に図6に関連して上記に説明したとおりに、即ち、各行が順番に読み出されるように、動作することができる。グローバルシャッタ動作中には、ピクセル136のすべてが実質的に同時に光をキャプチャすることができるので、被写体の動きに起因する画像内のアーチファクトを低減することができる。例えば、各行が順番に露光し読み出されるローリングシャッタ動作中に、第1のピクセル行の集積と最後の行の集積との間で被写体が動いた場合は、画像がぼける可能性がある。図6の画像センサ130内では、センサ130全体のピクセル136が実質的に同時に露光し、電荷を集積することができる。
【0040】
一般的に、多くの異なる種類の画像センサ構造を想到することができ、そのうちのいくつかは、例えば、この参照によりその全部があらゆる目的において本明細書内に組み込まれる、2013年1月31日付で出願され「Vertically Stacked Image Sensor」と題された同時係属出願第13/756,459号に記載されているように、異なるレベルで共有される積層チップ(例えば、共有フローティング拡散ノード、共有保存ノード、共有転送ゲートなど)、グローバルシャッタ構造、ローリングシャッタ構造、静止及びビデオ画像センサなどを含むことができる。
【0041】
ここで図7及び図8を参照すると、ピクセルのサブアレイの2つの例が図示されている。図7では、図5に図示したピクセル136と同様の4個のローリングシャッタピクセル136−1、136−2、136−3、136−4が示されている。いくつかの例では、図7中の4個のピクセル136−1、136−2、136−3、136−4を2×2のサブアレイに配列することができ、ベイヤーCFAの1つのセルとすることができ、例えば、第1のピクセル136−1が赤であってよく、第2のピクセル136−2が緑であってよく、かつ第1及び第2のピクセル136−1、136−2が行選択信号を共有することができる。第3のピクセル136−3は緑であってよく、第4のピクセル136−4は青であってよく、かつ第3及び第4のピクセル136−3、136−4は行選択信号を共有することができる。あるいは、第2又は第3のピクセル136−2、136−3のうちの一方を緑ピクセルとする代わりに透明ピクセルとすることもできる。一般的には、4つのピクセル136−1、136−2、136−3、136−4を1つ以上の異なる色チャネルに関連づけることができ、任意の異なるカラーフィルタアレイを使用することができる。
【0042】
図8を参照すると、各々が図6に図示したグローバルシャッタピクセル136と同様の4個のグローバルシャッタピクセル136−1、136−2、136−3、136−4が示されており、各ピクセルのフォトダイオードにはアンチブルーミングゲートが必要に応じて追加されている。いくつかの例では、図8中の4個のピクセル136−1、136−2、136−3、136−4を2×2のサブアレイに配列することができ、ベイヤーCFAの1つのセルを形成することができ、例えば、第1のピクセル136−1が赤であってよく、第2のピクセル136−2が緑であってよく、かつ第1及び第2のピクセル136−1、136−2が行選択信号を共有することができる。第3のピクセル136−3は緑であってよく、第4のピクセル136−4は青であってよく、かつ第3及び第4のピクセル136−3、136−4は行選択信号を共有することができる。あるいは、第2又は第3のピクセル136−2、136−3のうちの一方を緑ピクセルとする代わりに透明ピクセルとすることもできる。一般的には、4個のピクセル136−1、136−2、136−3、136−4を1つ以上の異なる色チャネルに関連づけることができ、任意の異なるカラーフィルタアレイを使用することができる。
【0043】
本明細書内では、図7に示す4個のピクセルを参照し、又は図8に示す4個のピクセルを参照して画像センサの様々な実施形態を説明することができるが、本明細書内で開示する画像センサを動作させる方法は、通常、グローバルシャッタ構造又はローリングシャッタ構造のいずれにおいても採用することができ、本明細書内で述べる特定の例は、単に例証のために過ぎないことを理解すべきである。
【0044】
パルス露光
「パルス露光」と呼ぶことのできる露光制御の一実施形態において、1つ以上のフレームに関する全有効露光を複数のサブ露光に分割又は区画することができる。露光を複数のサブ露光に亘って細分化することにより、露光が事実上発生する絶対時間を延長することができる。このような方法は、飽和を回避するためには、1つ以上のピクセルを飽和させる確率を低下させるために各フレームの露光時間をフレームの全長のうちの僅か何分の1か(1/2、1/3、1/4、1/10、1/20、1/50、1/100など)に短縮する必要のある、明るい照明の状況下でのビデオ撮影に特に有用であるかもしれない。露光を複数のサブ露光に分割することは、例えば、画像センサのピクセルが各フレームの最初の5%の間だけ露光する場合にさもなくば生じる可能性のある一切のストロボ効果を低減するために、映像フレームの期間中に露光する光をより均一にすることに役立てることができる。パルス露光は、一般的にではあるが、明るい照明下での映像の状況での使用に限られず、概して、高、中、低照明条件下での映像又は静止画の撮像に適用することができる。
【0045】
図8に示すピクセル136−1、136−2、136−3、136−4並びに図9のタイミング図を参照すると、フォトダイオード154の露光を制御するために1つ以上の制御信号をパルス化すること(例えば、論理ハイ179及び論理ロー178として交互に、又は2つ以上の任意の異なる電圧間で交互に供給すること)ができる。パルス化された制御信号は、アンチブルーミングゲートに供給されるアンチブルーミング信号171、保存ゲート190に供給される保存ゲート転送信号172、転送信号173、概して任意の制御信号、又はこれら信号の何らかの組み合わせとすることができる。一般的には、いくつかの実施形態において、異なるピクセル136−1、136−2、136−3、136−4のすべてに同一の制御信号を供給することができ、例えば、ピクセル136−1、136−2、136−3、136−4の各々の保存ゲート190に単一の保存ゲート転送信号を供給することができる。換言すれば、いくつかの実施形態において、画像センサの色チャネルのすべてが同一の露光制御信号を受信することができる。他の例では、ピクセル136−1、136−2、136−3、136−4のうちの異なるものに異なる制御信号が供給される。
【0046】
露光制御信号は、1つ以上のサブ露光176の間に電荷を選択的に蓄積させ、及び/又は1つ以上のリセット期間177の間に電荷を(例えば、フォトダイオードを電源に連結することにより)廃棄させることができる。一例において、図9を参照すると、一制御信号SG1 172−1は、フォトダイオード154内に蓄積された又は蓄積されつつある電荷を保存ノード192に選択的に転送させて保存させる。制御信号SG1 172−1を論理ハイ179としてアサートすると、フォトダイオード154内に発生する一切の電荷を保存ゲート190を経由して保存ノード192に転送することができる。逆に、制御信号SG1 172−1を論理ローとして供給すると、保存ゲート190を閉じることができ、電荷はフォトダイオード154から保存ノード192に流れることができない。引き続き図9のタイミング図を参照すると、別の制御信号AB1 171−1が論理ハイ179としてアサートされると、フォトダイオード内に発生する一切の電荷が蓄積されずに廃棄される(これをリセット期間177と呼ぶ場合がある)ように、制御信号AB1 171−1は、フォトダイオードをアンチブルーミングノード(これは電源であってもよい)に選択的に電気的に連結させる。制御信号AB1 171−1を論理ロー178として供給すると、フォトダイオードはアンチブルーミングノードから分断され、電荷はフォトダイオード内に蓄積することが可能となり、及び/又は他の方法でキャプチャされる(これをサブ露光176と呼ぶ場合がある)。換言すれば、制御信号AB1 171−1は、ピクセル136−1の有効露光、即ち、集積時間を制御することができる。
【0047】
一般的に、フレームは、任意数のサブ露光176及び任意数のリセット期間177を含むことができる。例えば、1フレーム(これは、例えば、独立した1つの静止画像又は映像用の一連の画像内の1つの静止画像を代表するものであってよい)を2個、3個、4個、10個、50個、100個、1000個、10,000個、又はその他好適な任意数のサブ露光176に分割することができ、及び2つ以上のサブ露光176の間に蓄積された電荷を、フローティング拡散ノード163に転送する前に保存ノード192内にすべて収集することができる。いくつかの実施形態において、2つ以上のサブ露光176のすべてが実質的に同一の持続時間176tを有する(非限定的な一例として、各々が1msの持続時間を有する)ことができ、又は異なる持続時間を有する(例えば、いくつかのサブ露光がその他のサブ露光よりも長い)ことができる。また、いくつかの例において、1つ以上のサブ露光176は1つ以上のリセット期間177と実質的に同じ持続時間を有することができ、又は1つ以上のサブ露光176の持続時間176tは1つ以上のリセット期間177の持続時間177tよりも実質的に長くてもよく、若しくは実質的に短くてもよい。一例として、リセット期間177のうちの1つ又はすべてを、1つ以上のサブ露光176の期間の0.1倍、0.5倍、1.5倍、2倍、5倍、10倍、100倍、1000倍、10,000倍とすることができる。
【0048】
2つ以上のサブ露光176の後に電荷が蓄積され保存ノード192に転送された後、保存ノード192とフローティング拡散ノード163との間に連結した転送ゲート158に転送信号TX1 173−1を供給することができる。いくつかの実施形態において、図8を参照すると、転送信号TX1 173−1を論理ハイ179としてアサートして転送を遂行することができる。複数のサブ露光176の各々の中に蓄積された電荷のすべてが保存ノード192内に収集されるので、ピクセルは、各サブ露光176の間に収集された電荷をデジタルサンプリングしデジタルデータを合計するのではなく、アナログドメイン内で電荷を合計する。このようにアナログドメイン内で電荷を合計することにより、必要とする電力を、サブ露光による電荷をデジタルサンプリングした後にそのデジタルサンプルを合計するために必要となるであろうと考えられる電力よりも小さくすることができ、アナログドメインの電荷の合計手順は、誘発されるノイズ量をデジタルサンプリング及び合計手順の場合よりも低減することができるので、正確度を向上させることができる。
【0049】
図8及び図9を参照すると、前述のとおり、1つのピクセル136−1に供給される制御信号AB1、SG1、TX1は、第2のピクセル136−2に供給される制御信号AB2、SG2、TX2、第3のピクセル136−3に供給される制御信号AB3、SG3、TX3、及び第4のピクセル136−4に供給される制御信号AB4、SG4、TX4と実質的に全く同じであってよい。制御信号は、概して任意の方法で異なるピクセル136−1、136−2、136−3、136−4に供給することができる。図9は、転送信号TX1、TX2、TX3、TX4を、ピクセル136−1、136−2、136−3、136−4の各々に実質的に同時に供給されているとして示しているが、別の実施形態では、フローティング拡散ノードの共有を可能とし、及び/又は行単位のローリング読み出しを可能とするために、転送信号のタイミングを互い違いにずらすことができる。
【0050】
色チャネル別露光
「色チャネル別露光」と呼ぶことのできる露光制御の別の実施形態において、1つ以上のフレームのフォトダイオードの有効露光は、異なる色のピクセル間で異なってもよい。上述のように、異なる色のピクセルは同様に明るい照明に対して異なる感度を有する場合があり、したがって、異なる色のピクセル間で異なる有効露光時間(集積時間としても知られる)を提供して異なる色チャネルのピクセル間での感度の基本的な相違を克服する補助とすることが好都合であるかもしれない。静止場面の静止画像ショットを撮る場合には、上記に説明したようなパルス露光を必ずしも必要とせず、撮像すべき被写体は動いていないかもしれないので、このような方法が特に有用であるかもしれない。色チャネル別露光は、一般的にではあるが、静止場面の静止画像のための使用に限られず、概して、高、中、低照明条件などの下での動きのある場面又は静止場面の映像又は静止画の撮像に適用することができる。
【0051】
図8に示すピクセル136−1、136−2、136−3、136−4並びに図10のタイミング図を参照すると、ピクセル136−1、136−2、136−3、136−4の各々に1つ以上の露光制御信号を供給して対応するフォトダイオード154の有効露光を制御することができる。露光制御信号は、アンチブルーミングゲートに供給されるアンチブルーミング信号171、保存ゲート190に供給される保存ゲート転送信号172、転送信号173、概して任意の制御信号、又はこれら信号の何らかの組み合わせとすることができる。一般的に、いくつかの実施形態では、異なるピクセル136−1、136−2、136−3、136−4のすべてに同一の制御信号が供給されない場合がある。例えば、第1の保存ゲート転送信号SG1 172−1及び/又は第1のアンチブルーミング信号AB1 171−1を第1のピクセル136−1の保存ゲート190及びアンチブルーミングゲートに供給することができる一方で、第2の保存ゲート転送信号SG2 172−2及び/又は第2のアンチブルーミング信号AB2 171−2を第2のピクセル136−2の保存ゲート190及びアンチブルーミングゲートに提供することができ、といった具合に他にも同様に提供できる。
【0052】
露光制御信号は、選択的に、電荷を蓄積させ、及び/又は電荷を(例えば、フォトダイオードを電源に電気的に連結することにより)廃棄させることができる。一例として、図10を参照すると、第1のピクセル136−1を、例えば、透明又は緑用の第1の色チャネルに関連づけることができる。1つの制御信号AB1 171−1が論理ハイ179としてアサートされると、フォトダイオード内に発生する一切の電荷が蓄積されずに廃棄される(これをリセット期間177と呼ぶ場合がある)ように、この制御信号AB1 171−1は、フォトダイオードをアンチブルーミングノード(これは電源であってもよい)に選択的に連結させることができる。制御信号AB1 171−1を論理ロー178として供給すると、フォトダイオードはアンチブルーミングノードから分断され、電荷はフォトダイオード内に蓄積することが可能となり、及び/又は他の方法でキャプチャされる(これをフォトダイオードの有効露光176と呼ぶ場合がある)。図10のタイミング図を引き続き参照すると、別の制御信号SG1 172−1は、フォトダイオード154内に蓄積された又は蓄積されつつある電荷を保存ノード192に選択的に転送させて保存させる。制御信号SG1 172−1を論理ハイ179としてアサートすると、フォトダイオード154内に発生する一切の電荷を保存ゲート190を経由して保存ノード192に転送することができる一方で、制御信号SG1 172−1を論理ロー178として供給すると、保存ゲート190を閉じることができ、電荷はフォトダイオード154から保存ノード192に流れることができない。
【0053】
引き続き図8及び図10を参照すると、同様の露光制御信号AB2 171−2及びSG2 172−2が、第1のピクセル136−1が関連づけられている色チャネルとは異なる色チャネルに関連づけることのできる第2のピクセル136−2に供給される。第1のピクセル136−1が透明の色チャネルに関連づけられている場合、第2のピクセル136−2を、例えば、赤又は青、又は場合によっては緑に関連づけることができる。しかし、第2のピクセル136−2に供給される露光制御信号AB2 171−2は第2のピクセル136−2の有効露光176を第1のピクセル136−1のそれよりも長くすることを可能とする点において、第2のピクセル136−2に供給される露光制御信号AB2 171−2は第1のピクセル136−1に供給される露光制御信号AB1 171−1とは異なる。換言すれば、露光制御信号AB1 171−1は、露光制御信号AB2 171−2が第2のピクセル136−2のフォトダイオード154内に電荷が蓄積することを可能とする期間176tよりも短い期間176tの間、第1のピクセル136−1のフォトダイオード154内に電荷を蓄積させる。第1及び第2のピクセル136−1、136−2が電荷を蓄積する期間は、いくつかの例では相互に少なくとも部分的に同時発生的である場合があるが、その他の例では同時発生的ではない場合がある。
【0054】
図8中の第3及び第4のピクセル136−3、136−4には第3及び第4の群の同様の露光制御信号が供給され、第3のピクセル136−3の有効露光176が第2のピクセル136−2の有効露光176よりも長く、第4のピクセル136−4の有効露光176は第3のピクセル136−3の有効露光176よりも長い。第4のピクセル136−4の有効露光176は、いくつかの実施形態において、必要なフレームレート又はユーザが選択する露光時間に基づいて、実用的な範囲で可能な限り長くすることができる。単なる一例として、第4のピクセル136−4の有効露光176は15ミリ秒であってもよく、第4のピクセル136−4は赤の色チャネルに関連づけられていてもよい。第3のピクセル136−3の有効露光176は11ミリ秒であってもよく、第3のピクセルは青の色チャネルに関連づけられていてもよい。第2のピクセル136−2の有効露光176は8ミリ秒であってもよく、第2のピクセルは緑の色チャネルに関連づけられていてもよい。第1のピクセルの有効露光176は3ミリ秒であってもよく、第1のピクセルは透明の色チャネルに関連づけられていてもよい。一般的には、異なるピクセル136−1、136−2、136−3、136−4の有効露光176の持続時間は、異なるピクセル136−1、136−2、136−3、136−4に関連づけられた異なる色チャネルの相対感度に基づいて決定することができる。有効露光176の持続時間を決定するステップは、いくつかの例では、最も低感度の色チャネルのピクセルを許容される限り長い有効露光時間を有するように設定し、次に、最も低感度の色チャネルに対するその他の色チャネルの相対感度に基づいて、これらその他の色チャネルのピクセルをより短い有効露光時間を有するように短縮するステップを含むことができる。また、これらピクセルのうちの2つが同じ色チャネルに関連づけられている場合、これらは同様の有効露光時間を有することができる。
【0055】
露光制御信号AB1 171−1、AB2 171−2、AB3 171−3、AB4171−4のうちのいくつかは、各々に対応する有効露光時間が終了した後に、ピクセル136−1、136−2、136−3、136−4のそれぞれのフォトダイオード154から電荷を排出させ又は廃棄させることができる。例えば、図10中の第1のピクセル136−1を参照すると、フォトダイオード154の有効露光176に続いて、露光制御信号SG1 172−1は論理ロー178に遷移することができ、制御信号AB1は論理ハイ179に遷移することができる。制御信号AB1 171−1を論理ハイとして供給することにより有効露光176を終了し、第1のピクセル136−1のフォトダイオード154内で更に発生する一切の電荷の排出を誘発することができるが、この排出は第1のピクセル136−1の有効露光期間の終了後でかつ第2のピクセル136−2の有効露光の終了前に開始される。換言すれば、第2のピクセル136−2のフォトダイオード154は、発生した電荷が第1のピクセル136−1のフォトダイオード154から排出されている間に有効に露光し続け電荷を蓄積し続けることができる。
【0056】
電荷が蓄積され、ピクセル136−1、136−2、136−3、136−4の各々の中の保存ノード192に転送された後、図10に図示したように、各ピクセルについて、保存ノード192とフローティング拡散ノード163との間に連結した転送ゲート158に転送信号173を供給することができる。転送信号173を論理ハイ179としてアサートして転送を遂行することができる。図8及び図10に図示したグローバルシャッタの実施において、異なるピクセル136−1、136−2、136−3、136−4の有効露光176は異なる時点に亘り、異なる有効露光持続時間を有することができる(しかし、図10に図示したように、少なくとも第1のピクセル136−1の有効露光176の間は、各ピクセル136−1、136−2、136−3、136−4は、実質的に同時に有効に露光することができる)とはいえ、各々に対応する保存ノードから各々に対応するフローティング拡散ノードへの蓄積電荷のグローバル転送は、実質的に同時に行うことができる(例えば、グローバル転送であってもよい)。しかし、別の実施形態では、フローティング拡散ノードの共有を可能とし、及び/又は行単位でのローリング読み出しを可能とするために、ピクセル136−1、136−2、136−3、136−4に供給される転送信号TX1 173−1、TX2 173−2、TX3 173−3、TX4 173−4のタイミングを互い違いにずらしてもよい。
【0057】
上述のように、本明細書内で説明する露光制御方法はいずれも、ローリングシャッタ及びグローバルシャッタの両方を含む任意の種類の画像センサ構造に適用することができる。例えば、図5図7、及び図11を参照すると、ローリングシャッタを有する画像センサに色チャネル別露光を使用した場合、転送ゲート158に供給される信号173は、複数の異なる電圧レベルで供給される信号と共に、アンチブルーミング信号、保存信号、転送信号などのうちの1つ以上の組み合わせとして機能することができる。例えば、信号173が強度のマイナス178(例えば、−1.2ボルト)であるときには集積信号として機能することができるので、フローティング拡散ノード163からフォトダイオード154が分離され、強度のプラス179(例えば、+2.8ボルト)であるときには転送信号として機能することができるので、フォトダイオード154に蓄積された電荷がフローティング拡散ノード163に転送され、僅かなプラス180(例えば、+0.2ボルト)であるときには、僅かに漏れやすい傾向にあるので、アンチブルーミング信号として機能することができる。
【0058】
図11に図示したタイミング図を参照すると、いくつかの実施形態において、転送信号TX1 173−1を転送ゲート158に、蓄積電荷を漏出させるように(即ち、ブルーミングを防止するように)僅かにプラスの電圧180で供給する一方で、リセット信号RST1 174−1を第1のピクセル136−1(このピクセルは、透明又はその他の高感度のピクセル色であることができる)のリセットゲート156に論理ハイ179として供給することができる。転送信号TX1 173−1を論理ハイ179にパルス化し、次に強度のマイナス電圧で論理ロー178として供給することができる。転送信号TX1 173−1を論理ロー178に遷移させるのとほぼ同時に、リセット信号RST1もまた論理ロー178に遷移させることができる。すると、これにより第1のピクセル136−1の露光又は集積が開始される。フローティング拡散ノード163をリセットし、必要に応じてリセットされたフローティング拡散ノードの電圧を読み出すために、第1のピクセル136−1の露光の終了の少し前に、リセット信号RST−1を短時間の間論理ハイ179にパルス化した後に論理ロー178に戻すことができる。次に、フローティング拡散ノード163に電荷を転送し、これを読み出すために、転送信号TX1 173−1が論理ハイ179にパルス化された後、論理ロー178に戻る。次に、再度アンチブルーミングモードに入るために、転送信号TX1 173−1が僅かにプラスの電圧180に設定される。僅かにプラスの電圧180を転送ゲート158に供給することによってアンチブルーミングモードに留まることができる時間量が異なることを除けば、その他のピクセル136−2、136−3、136−4に同様の制御信号を供給することができる。例えば、第2のピクセル136−2は、第1のピクセル136−1よりも僅かに短い時間、アンチブルーミングモードに留まることができ、第3及び第4のピクセル136−3、136−4では、更に短い時間アンチブルーミングモードに留まることができる。ピクセル136−1、136−2、136−3、136−4のすべてが図11に図示したように実質的に同時に読み出された場合、僅かに漏れやすい傾向にあるアンチブルーミング電圧180が転送ゲート158に供給された時間量が異なるので、ピクセル136−1、136−2、136−3、136−4の有効露光176tが異なることとなる。このようにすれば、より低感度のピクセル(例えば、136−4)がより高感度のピクセル(例えば、136−1)よりも長い時間176tの間露光することができるので、より高感度のピクセルが過剰な量の電荷で満たされることがない。更に、アンチブルーミング電圧180はピクセルが露光していないときにピクセルに供給されるので、アンチブルーミングを低減させ又は排除することができる。
【0059】
ここで図10及び図11を参照して、信号が別の信号の「前」又は「後」であるという言及は相対的であり、いくつかの実施形態は、これらが入れ替わった文脈で供給される信号を含むことができることが理解されるであろう。例えば、図10はピクセル136−1、136−2、136−3、136−4の各々に関する露光期間176の実質的に同時の開始及びピクセル136−1、136−2、136−3、136−4の露光期間の互い違いの時点での終了を図示している(例えば、第1のピクセル136−1はその露光を、第2のピクセル136−2がその露光を終了する前に終了しており、その他についても同様のことが言える)ものの、別の例では、図11中のローリングシャッタの例に図示したように、ピクセル136−1、136−2、136−3、136−4は露光期間176を互い違いの時点で開始し、露光期間176を実質的に同時に終了する。一般に、ピクセル136−1、136−2、136−3、136−4の露光期間176は、記述の動作及び結果を達成するために、非常に様々な組み合わせで互いの「前」又は「後」に開始又は終了することができる。
【0060】
色チャネル別パルス露光
「色チャネル別パルス露光」と呼ばれるもう1つの別の露光制御は、「パルス露光」制御及び「色チャネル別露光」制御の両方の要素をある程度組み合わせることができる。より具体的には、色チャネル別パルス露光制御では、1つ以上のフレームに関する全有効露光を1つ以上の色チャネル内のピクセルに関する複数のサブ露光に分割又は区画することができ、異なる色チャネル間のサブ露光の持続時間は、各色チャネルの感度の違いの故に異なることができる。1つの色チャネル(例えば、赤などの最も低感度の色チャネル)について、いくつかの例では、露光を全く分割又は区画しない場合がある。これにより、他の色チャネルの露光を複数のサブ露光に区画する一方で、最も低感度の色チャネルが(例えば、フレームレート、ユーザ選択された露光持続時間などに基づいて)可能な限り最大の時間量に亘って電荷を蓄積することを可能とすることができる。サブ露光は最も低感度のチャネルの露光と同じ絶対時間に亘ることができるが、色チャネルの感度次第でそれぞれのフォトダイオード154を異なる持続時間、即ち時間量の間有効に露光することができる。このような方法は、動きのある(即ち、撮像すべき被写体が動いている)場面の映像又は静止ショットを撮るために特に有用であるかもしれない。パルス露光と同様に、露光を複数のサブ露光に分割するステップは、例えば、画像センサのピクセルが各フレームのある区間の間だけ露光する場合にさもなくば発生する可能性のある一切のストロボ効果を低減するために、ビデオフレームの期間中に露光する光をより均一にすることを補助することができる一方、色チャネル別露光と同様に、異なるピクセルの色チャネルの露光は、それぞれのフォトダイオード154の異なる波長の光に対する感度に基づいて補正される。色チャネル別パルス露光は、一般的にではあるが、何らかの特定の状況下での使用に限定されず、概して任意の映像又は静止画像の撮像用途に適用することができる。
【0061】
図8に示すピクセル136−1、136−2、136−3、136−4並びに図12のタイミング図を参照すると、フォトダイオード154の露光を制御するために1つ以上の制御信号をパルス化すること(例えば、論理ハイ179及び論理ロー178として交互に、又は2つ以上の任意の異なる電圧間で交互に供給すること)ができ、異なる色チャネル内のフォトダイオード154の有効露光が異なる持続時間176tを有するように、異なる色チャネル内のピクセル136−1、136−2、136−3、136−4に異なる制御信号を供給することができる。上述のように、制御信号は、アンチブルーミングゲートに供給されるアンチブルーミング信号171、保存ゲート190に供給される保存ゲート転送信号172、保存ゲートに供給される転送信号173、概して任意の制御信号、又はこれら信号の何らかの組み合わせとすることができる。更に上述のように、制御信号(単数又は複数)は、選択的に、1つ以上のサブ露光176(又は最も低感度の色チャネルについては一切の露光176)の間に電荷を蓄積させ、及び/又は1つ以上のリセット期間177の間に電荷を廃棄させることができる。
【0062】
引き続き図8及び図12を参照すると、第1のピクセル136−1を最も高感度のピクセルとし、第2のピクセル136−2を第1のピクセル136−1よりも低感度とし、第3のピクセル136−3を第2のピクセル136−2よりも低感度とし、第4のピクセルを最も低感度の色チャネルに関連づけることができる。図11中のタイミング図に図示した制御信号AB1 171−1及びSG1 172−1を参照すると、第1のピクセル136−1のフォトダイオード154は、一般的にはAB1信号171−1が論理ロー178として供給されるときの期間である第1の複数のサブ露光176の間に電荷を選択的に蓄積することができる。第1の複数のサブ露光176各々の後又はその間、フォトダイオード154内に蓄積された電荷を、制御信号SG1 172−1の論理ハイ179のパルスに応じて、保存ゲート190を介してそれぞれの保存ノード192に転送することができる。それぞれにより長い持続時間のサブ露光176を提供する場合があることを除けば、第2及び第3のピクセル136−2、136−3に供給される制御信号AB2、SG2、AB3、SG3は第1のピクセル136−1に供給される制御信号と同様であってよい。また、制御信号AB4、SG4は、第4のピクセルが一度だけ有効に露光(176)するように、第4のピクセル136−4に供給することができる。
【0063】
一例として、第4のピクセル136−4を赤の色チャネルに関連づけることができ、単一の露光176内で合計28ミリ秒間露光させることができる。第3のピクセル136−3を青の色チャネルに関連づけることができ、各々3ミリ秒の7個のサブ露光176の間に合計21ミリ秒間露光させることができる。第2のピクセル136−2を緑の色チャネルに関連づけることができ、各々2ミリ秒の7個のサブ露光176の間に合計14ミリ秒間露光させることができる。第1のピクセル136−1を透明の色チャネルに関連づけることができ、各々1ミリ秒の7個のサブ露光176の間に合計7ミリ秒間露光させることができる。勿論、これらの時間は単に例として述べたに過ぎず、異なる色チャネル間で異なる数(例えば、2、3、4、10、50、100、1000、10,000)のサブ露光176が存在することができ、サブ露光176の持続時間は異なる色チャネル間で互いの整数倍である必要はなく、各ピクセル又は色チャネル内のサブ露光176の持続時間は同じである必要はなく、などとすることができる。また、従来のベイヤーパターンを有する画像センサのようないくつかの例では、ピクセル136−1、136−2、136−3、136−4のうちの2つ以上が全く同じ露光又はサブ露光の持続時間を有することができ、各ピクセル又は各色チャネルは必ずしもその他と異なる必要はない。
【0064】
パルス露光と同様に、各ピクセル136−1、136−2、136−3、136−4内に電荷が蓄積され、それぞれの保存ノード192に転送された後、各ピクセル136−1、136−2、136−3、136−4のそれぞれの保存ノード192とフローティング拡散ノード163との間に連結した転送ゲート158に転送信号173を供給することができる。転送信号173を論理ハイ179としてアサートして転送を遂行することができ、一実施形態ではピクセル136−1、136−2、136−3、136−4のすべてに実質的に同時に供給することができ、又は図9及び図10に関連して上述したように、タイミングを互い違いにずらして供給することができる。複数のサブ露光の各々の間に蓄積される電荷のすべてが保存ノード192内に収集されるので、ピクセルは、上述のように、アナログドメイン内で電荷を合計する。
【0065】
結論
前述の説明は広範囲の用途を有する。例えば、本明細書内で開示する例は画像センサの特定の構造(例えば、フォトダイオード、グローバルシャッタ、ローリングシャッタ、CMOSセンサなど)に重点を置く場合があるが、本明細書内で開示する概念は、画像センサの当業者であれば理解できるであろうとおりに、適切な修正の有無を問わず、その他の実質的に任意の種類の画像センサに等しく適用できることを理解すべきである。更には、特定の例が特定の色チャネル又は特定の露光時間に関連して説明されているものの、その他の色チャネル及びその他の露光時間もまた本開示及び添付の請求項の範囲内であることが理解されるであろう。
【0066】
更に、本明細書内で説明する種々の露光制御方法は、多くの異なる実施に用途を見出すことができる。例として、例えば、異なる色チャネルの特定の相対有効露光持続時間を有する色チャネル別露光制御を使用するための、又は照明の明るい場面を撮像するときにパルス露光制御を使用するための製造者設定に応じて、露光制御方法のうちの1つ以上を、実施することができる。その他の例において、画像センサの設定変更可能な設定のユーザによる変更に応じて、本明細書内で説明する制御方法を実施することができる。ユーザによる設定変更が可能な設定によって、特定の実施形態における様々なセンサ内特殊効果を提供することができる。更に他の例において、撮影される画像のプレビューフレーム又は画像センサによってキャプチャされた最近の画像に基づいて、動的に、露光制御方法を使用し、及び/又は修正することができる。例えば、静止ショットを撮るときに、画像センサをプレビューモードで動作させて使用すべき適切な有効露光制御方法及び使用すべき特定のパラメータ(例えば、サブ露光の長さ、特定の色チャネルの総有効持続時間など)を決定することができる。別の例として、画像センサを用いて映像を撮影するときに、現在の又は最近のフレームのヒストグラム又はその他の特性の解析に基づいて、将来のフレームに使用すべき露光制御の種類及びその制御のパラメータを決定することができる。更に別の例として、本明細書内で説明する有効露光制御方法のうちの任意の1つ以上をインターリーブ撮像に使用することができ、例えば、インターリーブ型高ダイナミックレンジ合成(i−HRD)では、単一の画像センサが実質的に同時に2つ以上の画像をキャプチャすることができる(2つの画像については、奇数行が第1の有効露光時間で画像をキャプチャする一方で、偶数行が第2の異なる有効露光時間で同じ場面の画像をキャプチャすることができる)。
【0067】
また、本明細書内で説明する様々な制御信号は、画像センサの内部又は外部にあるマルチプレクサ又はその他の電子回路を使用するなどの任意の適切な方法で、ピクセル及びピクセルの制御回路に供給することができる。
【0068】
したがって、すべての実施形態に関する議論は例示としてのみ意図され、特許請求の範囲を含む本開示の範囲をこれらの例に限定するよう示唆することを意図していない。
図1A
図1B
図2
図3
図4A
図4B
図5
図6
図7
図8
図9
図10
図11
図12