(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024139760
(43)【公開日】2024-10-09
(54)【発明の名称】フローティング拡散領域を共有するピクセルのデュアルコンバージョンゲイン動作を最適化するためのピクセルアレイとそれを含むイメージセンサ
(51)【国際特許分類】
H04N 25/76 20230101AFI20241002BHJP
H04N 25/771 20230101ALI20241002BHJP
H04N 25/778 20230101ALI20241002BHJP
H04N 25/59 20230101ALI20241002BHJP
【FI】
H04N25/76
H04N25/771
H04N25/778
H04N25/59
【審査請求】未請求
【請求項の数】20
【出願形態】OL
(21)【出願番号】P 2024049596
(22)【出願日】2024-03-26
(31)【優先権主張番号】10-2023-0039925
(32)【優先日】2023-03-27
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】18/540209
(32)【優先日】2023-12-14
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】390019839
【氏名又は名称】三星電子株式会社
【氏名又は名称原語表記】Samsung Electronics Co.,Ltd.
【住所又は居所原語表記】129,Samsung-ro,Yeongtong-gu,Suwon-si,Gyeonggi-do,Republic of Korea
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100229448
【弁理士】
【氏名又は名称】中槇 利明
(72)【発明者】
【氏名】韓 辰和
(72)【発明者】
【氏名】權 熙相
(72)【発明者】
【氏名】崔 元▲ちょる▼
【テーマコード(参考)】
5C024
【Fターム(参考)】
5C024CX43
5C024CY27
5C024GX03
5C024GX16
5C024GX18
5C024GY39
5C024GY41
5C024GZ24
(57)【要約】 (修正有)
【課題】フローティング拡散領域を共有するピクセルのデュアルコンバージョンゲイン動作を最適化する。
【解決手段】ピクセルアレイは、複数のユニットピクセルグループUPG1~9、2つのカラムラインCL1、CL2を含む。各ユニットピクセルグループは、2つの行で構成され、それぞれが複数のピクセルを含む第1ピクセルグループおよび第2ピクセルグループを含み、前記第1ピクセルグループおよび前記第2ピクセルグループは行方向に配列される。第1カラムラインCL1に連結される2つのユニットピクセルグループUPG2、UPG3、並びに第2カラムラインCL2に連結される2つのユニットピクセルグループUPG6、UPG7を同時にリードアウトしてピクセル信号を出力する。フローティング拡散領域は、各ユニットピクセルグループが含んでいるデュアルコンバージョントランジスタとリセットトランジスタとの間に連結される。
【選択図】
図7
【特許請求の範囲】
【請求項1】
複数のユニットピクセルグループを含み、カラムごとに2つのカラムラインを含むピクセルアレイであって、
前記ユニットピクセルグループのそれぞれは、2つの行で構成され、それぞれが複数のピクセルを含む第1ピクセルグループおよび第2ピクセルグループを有し、前記第1ピクセルグループおよび前記第2ピクセルグループは行方向に配列され、
第1カラムラインに連結され、互いに第1フローティング拡散領域を共有していない2つのユニットピクセルグループの第1セットと、前記第1カラムラインと異なる第2カラムラインとに連結され、互いに第2フローティング拡散領域を共有しない2つのユニットピクセルグループの第2セットと、を同時にリードアウトしてピクセル信号を出力し、
前記第1フローティング拡散領域および前記第2フローティング拡散領域のうち少なくとも1つは、前記ユニットピクセルグループのそれぞれが含むデュアルコンバージョントランジスタとリセットトランジスタとの間に位置する、
ピクセルアレイ。
【請求項2】
前記複数のユニットピクセルグループのうち、1行および2行に位置するユニットピクセルグループは、隣接するダミーユニットピクセルグループと前記第1フローティング拡散領域を共有する、
請求項1に記載のピクセルアレイ。
【請求項3】
(4N-1)行および4N行に位置するユニットピクセルグループは、(4N+1)行および(4N+2)行に位置するユニットピクセルグループと前記第1フローティング拡散領域を共有し、
(16N-15)行~(16N-8)行に位置する8個の連続したピクセルグループは、前記第1カラムラインに連結され、(16N-7)行~16N行に位置する8個の連続したピクセルグループは、前記第2カラムラインに連結され、
前記Nは自然数である、
請求項1に記載のピクセルアレイ。
【請求項4】
第1区間で4*(2N-1)-3行、4*(2N-1)-1行、4*(2N-1)+5行、4*(2N-1)+7行に位置する前記第1ピクセルグループをリードアウトし、
第2区間で4*(2N-1)-2行、4*(2N-1)行、4*(2N-1)+6行、4*(2N-1)+8行に位置する前記第2ピクセルグループをリードアウトし、
第3区間で4*(2N-1)+1行、4*(2N-1)+3行、4*(2N-1)+9行、4*(2N-1)+11行に位置する前記第1ピクセルグループをリードアウトし、
第4区間で4*(2N-1)+2行、4*(2N-1)+4行、4*(2N-1)+10行、4*(2N-1)+12行に位置する前記第2ピクセルグループをリードアウトする、
請求項3に記載のピクセルアレイ。
【請求項5】
前記第1区間~前記第4区間でリードアウトされる前記第1ピクセルグループまたは前記第2ピクセルグループが含む転送トランジスタは、ハイレベルのリードアウト転送パルスに応答してターンオンされる、
請求項4に記載のピクセルアレイ。
【請求項6】
異なるカラムでリードアウトされるピクセル信号に対してアナログビニングを遂行する、
請求項1に記載のピクセルアレイ。
【請求項7】
第1コンバージョンゲインに対応する第1ピクセル信号、および前記第1コンバージョンゲインよりも低い第2コンバージョンゲインに対応する第2ピクセル信号を出力する、
請求項1に記載のピクセルアレイ。
【請求項8】
前記第2ピクセル信号は、第2キャパシタンス値を有する前記第1フローティング拡散領域に記憶された電荷に対応する、
請求項7に記載のピクセルアレイ。
【請求項9】
前記第2キャパシタンス値を取得するために前記第1フローティング拡散領域に連結されるキャパシタを含む、
請求項8に記載のピクセルアレイ。
【請求項10】
複数のユニットピクセルグループを含み、カラムごとに第1カラムラインおよび第2カラムラインを含むピクセルアレイであって、
前記複数のユニットピクセルグループのそれぞれは、第1行に位置し、複数の第1カラーピクセルを含む第1ピクセルグループと、第2行に位置し、複数の第2カラーピクセルを含む第2ピクセルグループと、前記第1ピクセルグループおよび前記第2ピクセルグループの転送トランジスタに連結された第1フローティング拡散領域と、デュアルコンバージョントランジスタと、リセットトランジスタと、前記第1カラムラインまたは前記第2カラムラインのうちいずれか1つに連結された選択トランジスタと、前記デュアルコンバージョントランジスタおよび前記リセットトランジスタに連結された第2フローティング拡散領域と、を備え、
前記複数のユニットピクセルグループのうち互いに隣接する2つのユニットピクセルグループは、互いに前記第2フローティング拡散領域を共有し、
前記第1カラムラインに連結され、互いに前記第2フローティング拡散領域を共有しない2つのユニットピクセルグループと、前記第2カラムラインに連結され、互いに前記第2フローティング拡散領域を共有しない2つのユニットピクセルグループと、を同時にリードアウトしてピクセル信号を出力する、
ピクセルアレイ。
【請求項11】
前記複数のユニットピクセルグループのうち、1行および2行に位置するユニットピクセルグループは、隣接するダミーユニットピクセルグループと前記第2フローティング拡散領域を共有する、
請求項10に記載のピクセルアレイ。
【請求項12】
(4N-1)行および4N行に位置するユニットピクセルグループは、(4N+1)行および(4N+2)行に位置するユニットピクセルグループと前記第2フローティング拡散領域を共有し、
(16N-15)行~(16N-8)行に位置する8個の連続したピクセルグループは、前記第1カラムラインに連結され、(16N-7)行~16N行に位置する8個の連続したピクセルグループは、前記第2カラムラインに連結され、
前記Nは自然数である、
請求項10に記載のピクセルアレイ。
【請求項13】
第1区間で4*(2N-1)-3行、4*(2N-1)-1行、4*(2N-1)+5行、4*(2N-1)+7行に位置する前記第1ピクセルグループをリードアウトし、
第2区間で4*(2N-1)-2行、4*(2N-1)行、4*(2N-1)+6行、4*(2N-1)+8行に位置する前記第2ピクセルグループをリードアウトし、
第3区間で4*(2N-1)+1行、4*(2N-1)+3行、4*(2N-1)+9行、4*(2N-1)+11行に位置する前記第1ピクセルグループをリードアウトし、
第4区間で4*(2N-1)+2行、4*(2N-1)+4行、4*(2N-1)+10行、4*(2N-1)+12行に位置する前記第2ピクセルグループをリードアウトする、
請求項10に記載のピクセルアレイ。
【請求項14】
前記第1区間~前記第4区間でリードアウトされる前記第1ピクセルグループまたは前記第2ピクセルグループが含む転送トランジスタは、ハイレベルのリードアウト転送パルスに応答してターンオンされる、
請求項13に記載のピクセルアレイ。
【請求項15】
異なるカラムでリードアウトされたピクセル信号に対してアナログビニングを遂行する、
請求項10に記載のピクセルアレイ。
【請求項16】
複数のユニットピクセルグループからピクセル信号を出力し、カラムごとに2つのカラムラインを含むピクセルアレイと、
前記ピクセルアレイの各行を制御するロードライバと、
前記ピクセル信号をデジタル信号に変換するアナログ-デジタル変換ADC回路と、を備え、
前記ユニットピクセルグループのそれぞれは2つの行で構成され、それぞれが複数のピクセルを含む第1ピクセルグループおよび第2ピクセルグループを含み、前記第1ピクセルグループおよび前記第2ピクセルグループは行方向に配列され、
第1カラムラインに連結され、互いに第1フローティング拡散領域を共有していない2つのユニットピクセルグループの第1セットと、第1カラムラインと異なる第2カラムラインに連結され、互いに第2フローティング拡散領域を共有していない2つのユニットピクセルグループの第2セットと、を同時にリードアウトして前記ピクセル信号を出力し、
前記第1フローティング拡散領域および前記第2フローティング拡散領域のうち少なくとも1つは、前記ユニットピクセルグループのそれぞれが含んでいるデュアルコンバージョントランジスタとリセットトランジスタとの間に連結される、
イメージセンサ。
【請求項17】
前記複数のユニットピクセルグループのうち、1行および2行に位置するユニットピクセルグループは、隣接するダミーユニットピクセルグループと前記第1フローティング拡散領域を共有する、
請求項16に記載のイメージセンサ。
【請求項18】
(4N-1)行および4N行に位置するユニットピクセルグループは、(4N+1)行および(4N+2)行に位置するユニットピクセルグループと前記第1フローティング拡散領域を共有し、
(16N-15)行~(16N-8)行に位置する8個の連続したピクセルグループは、前記第1カラムラインに連結され、(16N-7)行~16N行に位置する8個の連続したピクセルグループは、前記第2カラムラインに連結され、
前記Nは自然数である、
請求項16に記載のイメージセンサ。
【請求項19】
前記ピクセルアレイは、
第1区間で4*(2N-1)-3行、4*(2N-1)-1行、4*(2N-1)+5行、4*(2N-1)+7行に位置する前記第1ピクセルグループをリードアウトし、
第2区間で4*(2N-1)-2行、4*(2N-1)行、4*(2N-1)+6行、4*(2N-1)+8行に位置する前記第2ピクセルグループをリードアウトし、
第3区間で4*(2N-1)+1行、4*(2N-1)+3行、4*(2N-1)+9行、4*(2N-1)+11行に位置する前記第1ピクセルグループをリードアウトし、
第4区間で4*(2N-1)+2行、4*(2N-1)+4行、4*(2N-1)+10行、4*(2N-1)+12行に位置する前記第2ピクセルグループをリードアウトする、
請求項16に記載のイメージセンサ。
【請求項20】
前記ロードライバは、前記第1区間~前記第4区間でリードアウトされる前記第1ピクセルグループまたは前記第2ピクセルグループにハイレベルのリードアウト転送パルスを送る、
請求項19に記載のイメージセンサ。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は電子装置に関し、より詳しくは、フローティング拡散領域を共有するピクセルのデュアルコンバージョンゲイン動作を最適化するためのピクセルアレイとそれを含むイメージセンサに関する。
【背景技術】
【0002】
イメージセンサの種類として、CCD(Charge Coupled Device)イメージセンサ、CMOS(Complementary Metal-Oxide Semiconductor)イメージセンサ(CIS)などがある。CMOSイメージセンサは、CMOSトランジスタで構成されるピクセルを含み、各ピクセルに含まれる光電変換素子を用いて光エネルギーを電気信号に変換する。CMOSイメージセンサは、各ピクセルで生成された電気信号を用いて撮影イメージに関する情報を取得する。
【0003】
最近、リードアウトのユニットである1H区間を最小化するために、1H区間のうちに2行を同時にリードアウトする2RSR(2 Row Simultaneously Read)技法が使用され、マルチピクセルの場合、2RSR技法とともにピクセルの和をアナログビニングにより合算することもある。一方、高品質のHDRイメージを生成するためのデュアルコンバージョンゲイン動作も導入されうるが、2RSR技術を使用する場合、フローティング拡散領域を共有するピクセルを同時にリードアウトするときに、ローコンバージョンゲイン動作が正常に行われないことが問題である。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】米国特許出願公開第2021/0273006号明細書
【特許文献2】米国特許出願公開第2022/0139981号明細書
【特許文献3】米国特許出願公開第2022/0246653号明細書
【特許文献4】米国特許出願公開第2022/0302198号明細書
【特許文献5】米国特許第8,344,306号明細書
【特許文献6】米国特許第11,343,449号明細書
【特許文献7】米国特許第11,348,955号明細書
【特許文献8】米国特許第11,451,730号明細書
【発明の概要】
【発明が解決しようとする課題】
【0005】
本開示は、上記従来技術に鑑みてなされたものであって、本開示の目的は、フローティング拡散領域を共有するピクセルのデュアルコンバージョンゲイン動作を最適化するためのピクセルアレイおよびそれを含むイメージセンサを提供することにある。
【課題を解決するための手段】
【0006】
本開示の実施形態によるピクセルアレイは、複数のユニット(unit、単位)ピクセルグループを含み、カラムごとに2つのカラムラインを含み、各ユニットピクセルグループは2つの行(row、ロー)で構成され、それぞれが複数のピクセルを含む第1ピクセルグループおよび第2ピクセルグループを含み、前記第1ピクセルグループおよび前記第2ピクセルグループは行方向に配列され、第1カラムラインに連結され、互いにフローティング拡散領域を共有しない2つのユニットピクセルグループ、並びに前記第1カラムラインと異なる第2カラムラインに連結され、互いにフローティング拡散領域を共有しない2つのユニットピクセルグループを同時にリードアウトしてピクセル信号を出力し、そして前記フローティング拡散領域は、各ユニットピクセルグループが含んでいるデュアルコンバージョントランジスタとリセットトランジスタとの間に連結される。
【0007】
本開示の実施形態によるピクセルアレイは、複数のユニットピクセルグループを含み、カラムごとに第1カラムラインおよび第2カラムラインを含み、前記複数のユニットピクセルグループのそれぞれは第1行に位置して複数の第1カラーピクセルを含む第1ピクセルグループと、第2行に位置して複数の第2カラーピクセルを含む第2ピクセルグループと、前記第1ピクセルグループおよび前記第2ピクセルグループの転送トランジスタに連結される第1フローティング拡散領域と、デュアルコンバージョントランジスタと、リセットトランジスタと、前記第1カラムラインまたは前記第2カラムラインのうちいずれか一つに連結される選択トランジスタと、前記デュアルコンバージョントランジスタおよび前記リセットトランジスタに連結される第2フローティング拡散領域と、を備え、前記ユニットピクセルグループのうち互いに隣接する2つのユニットピクセルグループは、互いに前記第2フローティング拡散領域を共有し、前記第1カラムラインに連結され、互いに前記第2フローティング拡散領域を共有しない2つのユニットピクセルグループ、並びに前記第2カラムラインに連結され、互いに前記第2フローティング拡散領域を共有しない2つのユニットピクセルグループを同時にリードアウトしてピクセル信号を出力する。
【0008】
本開示の実施形態によるイメージセンサは、複数のユニットピクセルグループからピクセル信号を出力し、カラムごとに2つのカラムラインを含むピクセルアレイと、前記ピクセルアレイの各行を制御する行(ロー)ドライバと、前記ピクセル信号をデジタル信号に変換するアナログ-デジタル変換(ADC)回路と、を備える。各ユニットピクセルグループは2つの行で構成され、それぞれが複数のピクセルを含む第1ピクセルグループおよび第2ピクセルグループを含み、前記第1ピクセルグループおよび前記第2ピクセルグループは行方向に配列され、第1カラムラインに連結されて互いにフローティング拡散領域を共有しない2つのユニットピクセルグループ、並びに前記第1カラムラインと異なる第2カラムラインに連結され、互いにフローティング拡散領域を共有しない2つのユニットピクセルグループを同時にリードアウトしてピクセル信号を出力する。そして前記フローティング拡散領域は、各ユニットピクセルグループが含んでいるデュアルコンバージョントランジスタとリセットトランジスタとの間に連結される。
【発明の効果】
【0009】
本開示の実施形態によれば、デュアルコンバージョントランジスタに連結されるフローティング拡散領域を共有するピクセルを含むイメージセンサのデュアルコンバージョンゲイン動作が最適化される。
【0010】
特に、本開示の実施形態によれば、デュアルコンバージョントランジスタに連結されたフローティング拡散領域を共有するピクセルが、同時にリードアウトされないようにピクセルアレイを構成することにより、ローコンバージョンゲインモードでフローティング拡散領域に電荷が二倍蓄積されるのを防止することができ、ローコンバージョンゲイン動作が正常に行われる。
【図面の簡単な説明】
【0011】
【
図1】本開示の実施形態によるイメージ処理システムの構成の一例を示す。
【
図4】
図2のピクセルアレイのユニットピクセルグループを示す回路図である。
【
図5】
図2のピクセルアレイのピクセルリードアウト動作の一例を示す。
【
図6】
図2のピクセルアレイにおいて第2フローティング拡散領域を共有する2つの隣接するユニットピクセルグループを示す回路図である。
【
図7】本開示の実施形態により、第2フローティング拡散領域を共有しないユニットピクセルグループを同時にリードアウトするための
図2のピクセルアレイの構成を示す。
【
図8】
図7のピクセルアレイのピクセルリードアウト動作を示すタイミング図である。
【
図9】本開示の実施形態によるイメージセンサを含む電子装置の構成の一例を示す。
【
図10】
図9のカメラモジュールの構成の一例を示す。
【発明を実施するための形態】
【0012】
以下では、本開示の技術分野における通常の知識を有する者が本開示を容易に実施することができるように、本開示の実施形態が明確かつ詳細に記載される。
【0013】
詳細な説明で使用される部またはユニット(unit)、モジュール(module)、ブロック(block)、~器(~or、~er)などの用語を参照して説明される構成要素および図面に示される機能ブロックは、ソフトウェア、ハードウェア、またはそれらの組み合わせの形で実現され得る。例として、ソフトウェアは、機械コード、ファームウェア、エンベデッドコードおよびアプリケーションソフトウェアであり得る。例えば、ハードウェアは、電気回路、電子回路、プロセッサ、コンピュータ、集積回路、集積回路コア、圧力センサ、慣性センサ、メムス(microelectromechanical system:MEMS)、受動素子、またはそれらの組み合わせを含み得る。
【0014】
図1は、本開示の実施形態によるイメージ処理システム10の構成の一例を示す。イメージ処理システム10は、スマートフォン、デジタルカメラ、ラップトップ、デスクトップのような多様な電子装置の一部として実施される。イメージ処理システム10は、レンズ12、イメージセンサ14、ISPフロントエンドブロック(Image Signal Processor front end block)16およびイメージ信号プロセッサ18を含み得る。
【0015】
光は撮影の対象となるオブジェクト、風景などによって反射され、レンズ12は反射された光を受け取ることができる。イメージセンサ14は、レンズ12を介して受信された光に基づいて電気信号を生成することができる。例えば、イメージセンサ14は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどで実現されうる。例えば、イメージセンサ14は、デュアルピクセル(dual pixel)構造またはテトラセル(tetra cell)構造を有するマルチピクセル(multi pixel)イメージセンサであり得る。
【0016】
イメージセンサ14は、ピクセルアレイを含み得る。ピクセルアレイのピクセルは、光を電気信号に変換してピクセル値を生成することができる。光が電気信号(例えば電圧)に変換される比率をコンバージョン(変換)ゲインであると定義することができる。特に、ピクセルアレイは、コンバージョンゲイン(conversion gain)を変化させるデュアルコンバージョンゲイン(dual conversion gain)を使用して、ローコンバージョンゲイン(low conversion gain)条件およびハイコンバージョンゲイン(high conversion gain)条件の下でピクセル信号を生成することができる。
【0017】
さらに、イメージセンサ14は、ピクセル値に対して相関二重サンプリング(Correlation Double Sampling:CDS)を遂行するためのアナログ-デジタル変換回路(Analog-to-Digital Converting(ADC) Circuit)を含み得る。イメージセンサ14の構成は、
図2を参照してより詳細に説明される。
【0018】
ISPフロントエンドブロック16は、イメージセンサ14から出力された電気信号に対して前処理を遂行して、イメージ信号プロセッサ18が処理するのに適した形に加工することができる。
【0019】
イメージ信号プロセッサ18は、ISPフロントエンドブロック16によって加工された電気信号を適切に処理して、撮影されたオブジェクト、風景などに関連されるイメージデータを生成することができる。このためには、イメージ信号プロセッサ18は、色(カラー)補正(color correction)、オートホワイトバランス(auto white balance)、ガンマ補正(gamma correction)、色(カラー)飽和補正(color saturation correction)、不良ピクセル補正(bad pixel correction)、色度補正(hue correction)のような多様な処理を行うことができる。
【0020】
図1は、1つのレンズ12および1つのイメージセンサ14を示す。しかしながら、別の実施形態では、イメージ処理システム10は、複数のレンズ、複数のイメージセンサ、および複数のISPフロントエンドブロックを含み得る。この場合、複数のレンズはそれぞれ異なる画角を有し得る。なお、複数のイメージセンサは、異なる機能、異なる性能、および/または異なる特性を有することができ、異なる構成のピクセルアレイを含み得る。
【0021】
図2は、
図1のイメージセンサ14の構成の一例を示す。イメージセンサ100は、ピクセルアレイ110、ロー(行)ドライバ120、ランプ信号生成(発生)器130、ADC回路140、タイミングコントローラ150およびバッファ160を含み得る。
【0022】
ピクセルアレイ110は、行(ロー)と列(カラム)に沿ってマトリックス状に配置された複数のピクセルを含み得る。複数のピクセルのそれぞれは、光電変換素子を含み得る。例えば、光電変換素子は、フォトダイオード、フォトトランジスタ、フォトゲートまたはピンフォトダイオード(pinned photodiode)などを含み得る。
【0023】
ピクセルアレイ110は、複数のピクセルグループPGを含み得る。各ピクセルグループPGは、2つ以上の複数のピクセルを含み得る。ピクセルグループを構成する複数のピクセルは、1つのフローティングディフュージョン(拡散)領域(floating diffusion region)または複数のフローティングディフュージョン領域を共有し得る。
図2のピクセルアレイ110は、4つの行と4つの列(すなわち、4×4)のピクセルグループPGを含むように示されているが、本開示はこれに限定されない。
【0024】
ピクセルグループPGは、同じカラー(色)のピクセルを含み得る。例えば、ピクセルグループPGは、赤色スペクトル領域の光を電気信号に変換させるレッドピクセル、緑色スペクトル領域の光を電気信号に変換させるグリーンピクセル、または青色スペクトル領域の光を電気信号に変換させるブルーピクセルを含み得る。例えば、ピクセルアレイ110を構成するピクセルは、テトラベイヤーパターン(Tetra-Bayer Pattern)の形態で配置されうる。なお、ピクセルのそれぞれの上部にはマイクロレンズおよびカラーフィルターが積層されてもよい。カラーフィルターは、マイクロレンズを介して入射される光のうち特定の色相の光、すなわち特定の色相領域の波長を透過させることができ、ピクセルに設けられるカラーフィルターによってピクセルが感知することのできる色を決定する。
【0025】
ピクセルアレイ110の複数のピクセルのそれぞれは、外部から受光された光の強度または光量に応じて、各カラムCOL1~COL4のカラムラインに沿ってADC回路140にピクセル信号を出力することができる。例えば、ピクセル信号は、外部から受光された光の強度または光量に対応するアナログ信号であり得る。さらに、本開示のピクセルアレイ110の各カラムCOL1~COL4は、2つのカラムラインを含み得る。例えば、ピクセルアレイ110で1つのカラムに配置された複数のピクセルのうち、半分は1つのカラムラインに連結され、残りの半分は他の一つのカラムラインに連結されてもよい。さらに、ピクセルアレイ110は、リードアウト動作を遂行するときに、ピクセル信号に対してアナログビニングを遂行してADC回路140に出力することもでき、イメージセンサ100はアナログビニングを遂行するためのマルチプレクサ(図示せず)を含み得る。
【0026】
そして、ピクセルアレイ110は、アクティブピクセルとダミーピクセルに区分されてもよい。
図2に示すピクセルグループPGはアクティブピクセルであり、ダミーピクセルはピクセルアレイ110のエッジ、すなわちアクティブピクセルの境界付近に配置することができる。アクティブピクセルはオブジェクトから反射された光を受信して電気信号に変換することができ、ダミーピクセルは外部の光から遮蔽されて、光に関係なく所定の要因(例えば、温度)によって暗電流を生成することができる。
【0027】
行(ロー)ドライバ120は、ピクセルアレイ110の行を選択して駆動することができる。行ドライバ120は、タイミングコントローラ150によって生成されたアドレスおよび/または制御信号をデコーディングして、ピクセルアレイ110の行を選択および駆動するための制御信号を生成することができる。例えば、制御信号は、ピクセルを選択するための信号、またはフローティング拡散領域をリセットするための信号などを含み得る。特に、本開示の実施形態によるピクセルアレイ110は、2つの行に位置するピクセルを同時にリードアウトすることができ、行ドライバ120は同時にリードアウトされる2つの行を選択して駆動することができる。
【0028】
ランプ信号生成器130は、タイミングコントローラ150の制御下でランプ信号RAMPを生成することができる。例えば、ランプ信号生成器130は、ランプイネーブル信号のような制御信号の下で動作することができる。ランプイネーブル信号が活性化されると、ランプ信号生成器130は、所定の値(例えば、スタートレベル、終了レベル、勾配など)に従ってランプ信号RAMPを生成することができる。言い換えれば、ランプ信号RAMPは、特定の時間の間、所定の傾きに応じて増加または減少する信号であり得る。ランプ信号RAMPは、ADC回路140に提供され得る。
【0029】
ADC回路140は、ピクセルアレイ110の複数のピクセルからカラムラインCL1~CL4を介してピクセル信号を受信することができ、ランプ信号生成器130からランプ信号RAMPを受信することができる。ADC回路140は、受信されたピクセル信号に対してリセット信号およびイメージ信号を獲得し、その差を有効な信号成分として抽出する相関二重サンプリングCDS技法に基づいて動作することができる。ADC回路140は、複数の比較器COMPおよびカウンターCNTを含み得る。
【0030】
具体的には、比較器COMPは、ピクセル信号のリセット信号とランプ信号RAMPとを比較し、ピクセル信号のイメージ信号とランプ信号RAMPとを比較して相関二重サンプリングCDSを行うことができる。カウンターCNTは、相関二重サンプリングが行われた信号のパルスをカウントし、デジタル信号として出力することができる。
図2のADC回路140は、4つの比較器COMPおよび4つのカウンターCNTを含むように示されているが、本開示はこれに限定されない。
【0031】
タイミングコントローラ150は、ロードライバ120、ランプ信号発生(生成)器130、およびADC回路140のそれぞれの動作および/またはタイミングを制御するための制御信号および/またはクロックを生成することができる。
【0032】
バッファ160は、メモリMEMおよびセンスアンプSAを含み得る。メモリMEMは、ADC回路140の対応するカウンターCNTから出力されたデジタル信号を記憶することができる。センスアンプSAは記憶されたデジタル信号をセンシングおよび増幅することができる。センスアンプSAは増幅されたデジタル信号をイメージデータIDATとして出力することができ、イメージデータIDATは
図1のISPフロントエンドブロック16に送信され得る。
【0033】
図3は、
図2のピクセルアレイ110の構成の一例を示す。
図3を参照すると、ピクセルアレイ110の複数のピクセルグループPGは、複数のグリーンピクセル(Gr、Gb)、複数のブルーピクセルBおよび複数のレッドピクセルRを含み得る。例えば、2つのグリーンピクセル(Gr、Gb)、ブルーピクセルBおよびレッドピクセルRを2×2に配置することができ、2つのグリーンピクセル(Gr、Gb)を対角線方向に配置することができる。このようなピクセルパターン(テトラベイヤーパターン)は、ピクセルアレイ110内で繰り返し配置され得る。
【0034】
ピクセルアレイ110の複数のピクセルグループPGのそれぞれは、同じ色の第1~第4ピクセルPX1~PX4を含み得る。第1ピクセルPX1はピクセルグループPG内で左上端に配置され、第2ピクセルPX2はピクセルグループPG内で右上端に配置され、第3ピクセルPX3はピクセルグループPG内で左下端に配置され、第4ピクセルPX4をピクセルグループPG内で右下端に配置されうる。すなわち、第1ピクセルPX1および第2ピクセルPX2、並びに第3ピクセルPX3および第4ピクセルPX4は、X方向に並んで配置され、第1ピクセルPX1および第3ピクセルPX3、並びに第2ピクセルPX2および第4ピクセルPX4は、Y方向に並んで配置され得る。
【0035】
さらに、ピクセルアレイ110は、複数のユニットピクセルグループUPGに区分されうる。ユニットピクセルグループUPGは、Y方向に隣接するように配置された2つのピクセルグループPGを含み得る。すなわち、ユニットピクセルグループUPGは、グリーンカラーピクセルGrおよびブルーカラーピクセルBを含むピクセルグループPGを有するか、またはレッドカラーピクセルRおよびグリーンカラーピクセルGbを含むピクセルグループPGを備え得る。ユニットピクセルグループUPGを構成するピクセルグループPGは、第1フローティング拡散領域(例えば、
図4の第1フローティング拡散領域FD1)を共有することができ、Y方向に互いに隣接するユニットピクセルグループUPGは、第2フローティング拡散領域(例えば、
図4の第2フローティング拡散領域FD2)を共有することができる。ユニットピクセルグループUPGは、本開示の実施形態によるリードアウト動作を遂行するためのピクセルユニット(単位)であり、具体的なリードアウト動作の例は、
図5を参照して詳細に説明される。
【0036】
図4は、
図2のピクセルアレイ110のユニットピクセルグループUPGを示す回路図である。
図4を参照すると、ユニットピクセルグループUPGは、それぞれがピクセルPX1~PX4、PX5~PX8を含むピクセルグループ(PG1、PG2)、リセットトランジスタRST、デュアルコンバージョントランジスタDC、駆動トランジスタDx、および選択トランジスタSELを含み得る。例えば、第1ピクセルグループPG1は複数のグリーンカラーピクセルGrを含み、第2ピクセルグループPG2は複数のブルーカラーピクセルBを含み得る。あるいは、第1ピクセルグループPG1は複数のレッドカラーピクセルRを含むことができ、第2ピクセルグループPG2は複数のグリーンカラーピクセルGbを含み得る。
【0037】
ピクセルグループPG1、PG2の第1ピクセルPX1は、第1光電変換素子PD1および第1転送トランジスタTx1を含むことができ、他のピクセルPX2~PX8も類似した構成要素をそれぞれ含み得る。ピクセルグループPG1、PG2のそれぞれは、リセットトランジスタRST、デュアルコンバージョントランジスタDC、駆動トランジスタDx、および選択トランジスタSELを共有し得る。また、ピクセルグループPG1、PG2のそれぞれは、第1フローティング拡散領域FD1を共有し得る。
【0038】
第1フローティング拡散領域FD1または第2フローティング拡散領域FD2は、入射した光量に対応する電荷を蓄積することができる。転送信号VT1~VT8によって転送トランジスタTx1~Tx8がそれぞれターンオンされている間、第1フローティング拡散領域FD1または第2フローティング拡散領域FD2は光電変換素子PD1~PD8から電荷の提供を受けて蓄積することができる。第1フローティング拡散領域FD1は、ソースフォロワアンプとして駆動される駆動トランジスタDxのゲート端に連結されうるため、第1フローティング拡散領域FD1に蓄積された電荷に対応する電圧が形成される。例えば、第1フローティング拡散領域FD1の静電容量は、第1キャパシタンスCFD1で表すことができる。
【0039】
デュアルコンバージョントランジスタDCは、デュアルコンバージョン信号VDCによって駆動される。デュアルコンバージョントランジスタDCがターンオフされる場合、第1フローティング拡散領域FD1の静電容量は第1キャパシタンスCFD1に対応し得る。一般的な環境では、第1フローティング拡散領域FD1は容易に飽和しないため、第1フローティング拡散領域FD1の静電容量(すなわち、CFD1)を増やす必要性は不要の可能性があり、デュアルコンバージョントランジスタDCはターンオフされ得る。このように、デュアルコンバージョントランジスタ(DC)がターンオフされた場合のコンバージョンゲインをハイコンバージョンゲインと称する。
【0040】
しかしながら、高照度環境では、第1フローティング拡散領域FD1は容易に飽和される。このような飽和を防ぐために、デュアルコンバージョントランジスタDCはターンオンされ、第1フローティング拡散領域FD1は第2フローティング拡散領域FD2と電気的に連結され、フローティング拡散領域FD1、FD2の静電容量は、第1キャパシタンスCFD1と第2キャパシタンスCFD2の和に拡張される。このように、デュアルコンバージョントランジスタDCがターンオンされた場合のコンバージョンゲインをローコンバージョンゲインと称する。
【0041】
転送トランジスタTx1~Tx8は、それぞれ転送信号VT1~VT8によって駆動され、光電変換素子PD1~PD8によって生成された電荷を第1フローティング拡散領域FD1または第2フローティング拡散領域FD2に転送することができる。例えば、転送トランジスタTx1~Tx8の一端は光電変換素子PD1~PD8にそれぞれ連結され、他の一端は第1フローティング拡散領域FD1に連結される。
【0042】
リセットトランジスタRSTはリセット制御信号VRSTによって駆動され、第1フローティング拡散領域FD1または第2フローティング拡散領域FD2に電源電圧VDDを提供することができる。これにより、第1フローティング拡散領域FD1または第2拡張フローティング拡散領域FD2に蓄積された電荷は電源電圧VDD端に移動することができ、第1フローティング拡散領域FD1または第2フローティング拡散領域FD2の電圧はリセットされ得る。
【0043】
駆動トランジスタDxは、第1フローティング拡散領域FD1または第2フローティング拡散領域FD2の電圧を増幅してピクセル信号PIXを生成することができる。選択トランジスタSELは選択信号VSELによって駆動され、行単位でリードアウトするピクセルを選択することができる。選択トランジスタSELは、各カラムラインが含んでいる2つのカラムラインCL1、CL2のうち1つに連結され得る。
図4に示されるユニットピクセルグループUPGの選択トランジスタSELは、第1カラムラインCL1に連結されていると仮定し、
図4のユニットピクセルグループUPGと同じカラムに存在する他のユニットピクセルグループは、第2カラムラインCL2と連結されることもある。選択トランジスタSELがターンオンされる場合、ピクセル信号PIXは第1カラムラインCL1を介して
図2のADC回路140に出力される。
【0044】
図5は、
図2のピクセルアレイ110のピクセルリードアウト動作の一例を示す。
図5を参照すると、第1~第4ユニットピクセルグループUPG1~UPG4が示されており、一例として、各ユニットピクセルグループUPG1~UPG4のグリーンカラーピクセルGrのリードアウト動作が説明される。まず、第1ユニットピクセルグループUPG1のグリーンピクセルGrの値(すなわち、光電変換素子から生成された電荷の値)が合算される。そして、これと同時に、第1ユニットピクセルグループUPG1と同じカラムラインに連結された第3ユニットピクセルグループUPG3のグリーンピクセルGrの値が合算される。第1ユニットピクセルグループUPG1と第3ユニットピクセルグループUPG3とのグリーンピクセルGrの値の和が第1ピクセル信号PIX1として出力される。また、これと同時に第1ユニットピクセルグループUPG1および第3ユニットピクセルグループUPG3とそれぞれ同じ行に位置し、互いに同じカラムラインに連結された第2ユニットピクセルグループUPG2と第4ユニットピクセルグループUPG4とのグリーンピクセルGrの値の和が第2ピクセル信号PIX2として出力される。ピクセルアレイ110は、マルチプレクサMUXを介して第1ピクセル信号PIX1および第2ピクセル信号PIX2に対してアナログビニングを行った結果を
図2のADC回路140に出力することができる。さらに、上述したように、ピクセルアレイ110の各カラムは2つのカラムラインを含み得るため、ピクセルアレイ110は、
図5に示されるカラムラインとは異なる行に位置し、異なるカラムラインに連結されたグリーンピクセルGrに対しても同様のリードアウト動作を行うことができる。
【0045】
すなわち、本開示の実施形態によるピクセルアレイ110は、複数の行に配置した同じ色(カラー)のピクセルに対してアナログビニングを使用して同時にリードアウトすることができる。
図5を参照して、第1~第4ユニットピクセルグループUPG1~UPG4のグリーンピクセルGrのリードアウト動作が説明されたが、第1~第4ユニットピクセルグループUPG1~UPG4のブルーピクセルBのリードアウト動作、並びにレッドピクセルRおよびグリーンピクセルGbのリードアウト動作も同様である。なお、
図5には、第1ユニットピクセルグループUPG1および第3ユニットピクセルグループUPG3、並びに第2ユニットピクセルグループUPG2および第4ユニットピクセルグループUPG4が互いに隣接していることが示されているが、本開示はこれに限定されない。ピクセルアレイ110は、同じカラムラインに連結され、隣接していないユニットピクセルグループを同時にリードアウトすることもできる。
【0046】
図6は、
図2のピクセルアレイ110において第2フローティング拡散領域FD2を共有する2つの隣接したユニットピクセルグループUPG1、UPG2を示す回路図である。
図6を参照すると、ピクセルグループPG11、PG12およびピクセルグループPG21、PG22は、それぞれ第1フローティング拡散領域FD11、FD21を共有し、第1ユニットピクセルグループUPG1および第2ユニットピクセルグループUPG2は、第2フローティング拡散領域FD2を共有する。
図4を参照して説明したように、デュアルコンバージョントランジスタDC1、DC2がターンオンされたローコンバージョンゲイン条件でピクセルが含む光電変換素子から生成された電荷は、第2フローティング拡散領域FD2に転送され得る。なお、
図6を参照すると、第1ユニットピクセルグループUPG1および第2ユニットピクセルグループUPG2は、共に第1カラムラインCL1に連結されるように示されており、
図6に示されていない他のユニットピクセルグループは、第2カラムラインCL2と連結されることもある。リセットトランジスタRST1、RST2、デュアルコンバージョントランジスタDC1、DC2、駆動トランジスタDx1、Dx2および選択トランジスタSEL1、SEL2の動作およびトランジスタを制御するための信号(図示せず)は、
図4を参照して説明したものと同じであるため、更なる説明は省略する。
【0047】
例えば、ローコンバージョンゲイン条件で
図5を参照して説明したリードアウト動作を行うと、第1ユニットピクセルグループUPG1および第2ユニットピクセルグループUPG2が互いに共有する第2フローティング拡散領域FD2に保存された電荷を同時にリードアウトすることができる。この場合、もともとローコンバージョンゲイン条件に合わせて設定された電荷容量に対比して2倍の電荷量が流入されることにより、実際に使用可能な電荷容量が半分となり、コンバージョンゲインが2倍に増加し、低照度環境でローコンバージョンゲイン条件に応じたピクセルリードアウト動作が正しく遂行されない可能性がある。このような問題が発生するのを防ぐために、本開示のピクセルアレイ110は、第2フローティング拡散領域FD2を共有するユニットピクセルグループを同時にリードアウトするのではなく、第2フローティング拡散領域FD2を共有していないユニットピクセルグループを同時にリードアウトするように実施される。
【0048】
図7は、本開示の実施形態により、第2フローティング拡散領域FD2を共有しないユニットピクセルグループを同時にリードアウトするための
図2のピクセルアレイ110の構成を示す。
図7を参照すると、ピクセルアレイ200は、ダミーピクセルからなるダミーユニットピクセルグループDUPG1、およびアクティブピクセルからなる複数のユニットピクセルグループUPG1~UPG12を含み得る。ここで、ダミーユニットピクセルグループDUPG1は、ダミーピクセルのうちアクティブピクセルに隣接したダミーピクセルで構成されたユニットピクセルグループであり、第1ユニットピクセルグループUPG1は、アクティブピクセルのうち第1行に位置するアクティブピクセルを含むユニットピクセルグループである。
【0049】
一方、
図7において、太い実線は、第2フローティング拡散領域FD2を共有することを示す。すなわち、ダミーユニットピクセルグループDUPG1および第1ユニットピクセルグループUPG1は、互いに第2フローティング拡散領域FD2を共有し、残りの各ユニットピクセルグループUPG2~UPG12も対応するユニットピクセルグループと第2フローティング拡散領域FD2を共有し得る。また、ユニットピクセルグループUPG1~UPG4、UPG9~UPG12は第1カラムラインCL1に連結され、ユニットピクセルグループUPG5~UPG8は第2カラムラインCL2に連結される。
【0050】
例えば、一番目の1H時間の間に、ピクセルアレイ200は、第1カラムラインCL1に連結された第1ユニットピクセルグループUPG1と第2ユニットピクセルグループUPG2の第1ピクセルグループPG11、PG21をリードアウトすることができる。そして、これと同時に、ピクセルアレイ200は、第2ユニットピクセルグループUPG2から2つのユニットピクセルグループだけ離れており、第2カラムラインCL2に連結された第5ユニットピクセルグループUPG5と第6ユニットピクセルグループUPG6の第1ピクセルグループPG51、PG61をリードアウトすることができる(灰色の陰影で図示)。二番目の1H時間の間に、ピクセルアレイ200は、上述した一番目の1H時間と同様に、第1ピクセルグループPG12、PG22、PG52、PG62をリードアウトすることができる(斜線で図示)。三番目の1H時間の間に、ピクセルアレイ200は第1ピクセルグループPG31、PG41、PG71、PG81をリードアウトし(濃い灰色の陰影で図示)、四番目の1H時間の間に、ピクセルアレイ200は、第2ピクセルグループPG32、PG42、PG72、PG82をリードアウトすることができる(灰色の格子で図示)。
【0051】
すなわち、本開示の実施形態によるピクセルアレイ200は、最後の行のダミーピクセルを含むユニットピクセルグループ(例えば、DUPG1)、および一番目の行のアクティブピクセルを含むユニットピクセルグループ(例えば、UPG1)が互いに第2フローティング拡散領域FD2を共有するようにし、第1カラムラインCL1と4つのユニットピクセルグループ(例えば、UPG1~UPG4)が順次連結され、第2カラムラインCL2と4つのユニットピクセルグループ(例えば、UPG5~UPG8)が順次連結されるように構成される。このように構成されるとき、ピクセルアレイ200は、1H時間の間に、2つのユニットピクセルグループ間隔で、第1カラムラインCL1に連結された2つのユニットピクセルグループと、第2カラムラインCL2に連結された2つのユニットピクセルグループと、を同時にリードアウトすることができる。これにより、第2フローティング拡散領域FD2を共有するユニットピクセルグループは、同時にリードアウトされないとし得る。
【0052】
言い換えれば、ピクセルアレイ200のような構成で1つのユニットピクセルグループをリードアウトするときに、第2フローティング拡散領域FD2を共有する他のユニットピクセルグループはリードアウトされないため、第2フローティング拡散領域FD2に2倍の電荷が蓄積されず、ローコンバージョンゲインモードでも正確にリードアウトが行われる。さらに、
図7は1つのカラムのみを示しているが、
図5を参照して説明したように、
図7に示されたカラムのピクセルグループと同じ色(カラー)を有する他のカラムのピクセルグループもまた上述したように同様にリードアウトされることができ、異なるカラムに存在する同じカラーを有するピクセルグループが同時にリードアウトされた結果は、アナログビニングにより合算されることができる。
【0053】
図8は、
図7のピクセルアレイ200のピクセルリードアウト動作を示すタイミング図である。
図8を参照すると、一番目の1H時間にピクセルグループPG11、PG21、PG51、PG61がリードアウトされ、二番目の1H時間にピクセルグループPG12、PG22、PG52、PG62がリードアウトされ、三番目の1H時間にピクセルグループPG31、PG41、PG71、PG81がリードアウトされ、四番目の1H時間にピクセルグループPG32、PG42、PG72、PG82がリードアウトされる。リードアウトされるピクセルグループの転送トランジスタ(例えば、4つの転送トランジスタ)は、ハイレベルのリードアウト転送パルスRTX11~RTX82に応答してターンオンされ、フローティング拡散領域に電荷を転送することができる。例えば、リードアウト転送パルスRTX11~RTX82は、ピクセルグループのそれぞれが含む各転送トランジスタに対応する転送信号(例えば、
図4のVT1~VT8)を含み得る。
【0054】
図9は、本開示の実施形態によるイメージセンサを含む電子装置1000の構成の一例を示す。
図10は、
図9のカメラモジュール1100bの構成の一例を示す。
図9を参照すると、電子装置1000は、カメラモジュールグループ1100、アプリケーションプロセッサ1200、PMIC1300および外部メモリ1400を含み得る。
【0055】
カメラモジュールグループ1100は、複数のカメラモジュール1100a、1100b、1100cを含み得る。図面には、3つのカメラモジュール1100a、1100b、1100cが配置された実施形態が示されているが、実施形態がこれに限定されるものではない。いくつかの実施形態では、カメラモジュールグループ1100は、2つのカメラモジュールのみを含むように変形して実施される。なお、いくつかの実施形態では、カメラモジュールグループ1100は、n個(nは4以上の自然数)のカメラモジュールを含むように変形して実施されることもある。
【0056】
以下、
図10を参照して、カメラモジュール1100bの詳細構成に対してより具体的に説明するが、以下の説明は、実施形態によって他のカメラモジュール1100a、1100cに対しても同様に適用され得る。
【0057】
図10を参照すると、カメラモジュール1100bは、プリズム1105、光路折り畳み素子(Optical Path Folding Element、以下、「OPFE」)1110、アクチュエータ1130、イメージセンシング装置1140およびストレージ部1150を含み得る。
【0058】
プリズム1105は、光反射物質の反射面1107を含んで外部から入射する光Lの経路を変形させ得る。
【0059】
いくつかの実施形態では、プリズム1105は、第1方向Xに入射する光Lの経路を第1方向Xに垂直な第2方向Yに変更させる。また、プリズム1105は、光反射物質の反射面1107を中心軸1106を中心にA方向に回転させるか、または中心軸1106をB方向に回転させて第1方向Xに入射する光Lの経路を垂直な第2方向Yに変更させる。このとき、OPFE1110も第1方向Xおよび第2方向Yに垂直な第3方向Zに移動することができる。
【0060】
いくつかの実施形態では、示されたように、プリズム1105のA方向最大回転角度はプラス(+)A方向には15度(degree)以下、マイナス(-)A方向には15度より大きい可能性がある。しかし、実施形態がこれに限定されるものではない。
【0061】
いくつかの実施形態では、プリズム1105は、プラス(+)またはマイナス(-)B方向に20度内外、10度~20度、または15度~20度の間に動くことができ、ここで、動く角度はプラス(+)またはマイナス(-)B方向に同じ角度で動くか、または1度内外の範囲でほぼ類似の角度まで動くことができる。
【0062】
いくつかの実施形態では、プリズム1105は、光反射物質の反射面1107を中心軸1106の延長方向と平行な第3方向(例えば、Z方向)に移動することができる。
【0063】
OPFE1110は、例えば、m(ここで、mは自然数)のグループからなる光学レンズを含み得る。m個のレンズは第2方向Yに移動してカメラモジュール1100bの光学ズーム倍率(optical zoom ratio)を変更することができる。例えば、カメラモジュール1100bの基本光学ズーム倍率をZとするとき、OPFE1110に含まれたm個の光学レンズを移動させる場合、カメラモジュール1100bの光学ズーム倍率は、3Zもしくは5Zまたは5Z以上の光学ズーム倍率に変更され得る。OPFE1110は、上述したm個のレンズの前面にn(ここで、nは自然数)個のグループからなる光学レンズをさらに含み得る。
【0064】
アクチュエータ1130は、OPFE1110または光学レンズ(以下、光学レンズと称する)を特定の位置に移動させ得る。例えば、アクチュエータ1130は、正確なセンシングのためにイメージセンサ1142が光学レンズの焦点距離(focal length)に位置するように光学レンズの位置を調整することができる。
【0065】
イメージセンシング装置1140は、イメージセンサ1142、制御ロジック1144およびメモリ1146を含み得る。イメージセンサ1142は、光学レンズを介して提供される光Lを用いてセンシング対象のイメージをセンシングすることができる。特に、本開示の実施形態によるイメージセンサ1142のピクセルアレイは、デュアルコンバージョントランジスタに連結されたフローティング拡散領域(例えば、
図4の第2フローティング拡散領域FD2)を共有するピクセル同士で同時にリードアウトされないように構成され得る。これにより、ローコンバージョンゲインモードでは、フローティング拡散領域に電荷が2倍に蓄積されることが防止でき、本来設定されたローコンバージョンゲイン条件に応じたリードアウト動作を正常に行うことができる。言い換えれば、イメージセンサ1142のデュアルコンバージョンゲイン動作を最適化することができる。制御ロジック1144は、カメラモジュール1100bの全体的な動作を制御することができる。例えば、制御ロジック1144は、制御信号ラインCSLbを介して提供される制御信号に従ってカメラモジュール1100bの動作を制御することができる。
【0066】
メモリ1146は、キャリブレーションデータ1147のようなカメラモジュール1100bの動作に必要な情報を記憶することができる。キャリブレーションデータ1147は、カメラモジュール1100bが外部から提供された光Lを用いてイメージデータを生成するのに必要な情報を含み得る。キャリブレーションデータ1147は、例えば、上述した回転角度(degree of rotation)に関する情報、焦点距離(focal length)に関する情報、光軸(optical axis)に関する情報などを含み得る。カメラモジュール1100bが、光学レンズの位置によって焦点距離が変るマルチステート(multi state)カメラの形に実施される場合、キャリブレーションデータ1147は、光学レンズの各位置別(またはステート別)焦点距離値およびオートフォーカスに関連される情報を含み得る。
【0067】
ストレージ部1150は、イメージセンサ1142を介してセンシングされたイメージデータを格納することができる。ストレージ部1150は、イメージセンシング装置1140の外部に配置され、イメージセンシング装置1140を構成するセンサチップとスタックされた(stacked)形で実現される。いくつかの実施形態では、ストレージ部1150は、EEPROM(Electrically Erasable Programmable Read-Only Memory)で実施されうるが、実施形態はこれに限定されるものではない。
【0068】
図9および
図10を共に参照すると、いくつかの実施形態では、複数のカメラモジュール1100a、1100b、1100cのそれぞれはアクチュエータ1130を含み得る。したがって、複数のカメラモジュール1100a、1100b、1100cのそれぞれは、その内部に含まれたアクチュエータ1130の動作に応じた互いに同一であるか、または異なるキャリブレーションデータ1147を含み得る。
【0069】
いくつかの実施形態では、複数のカメラモジュール1100a、1100b、1100cのうち1つのカメラモジュール(例えば、1100b)は、前述したプリズム1105およびOPFE1110を含む折りたたみレンズ(folded lens)形のカメラモジュールであり、残りのカメラモジュール(例えば、1100a、1100b)は、プリズム1105およびOPFE1110を含んでいないバーチカル(vertical)形のカメラモジュールであり得るが、実施形態がこれに限定されるものではない。
【0070】
いくつかの実施形態では、複数のカメラモジュール1100a、1100b、1100cのうち1つのカメラモジュール(例えば、1100c)は、例えば、IR(Infrared Ray)を利用して深さ(depth)情報を抽出するバーチカル形の深さカメラ(depth camera)であり得る。この場合、アプリケーションプロセッサ1200は、このような深さカメラから提供されたイメージデータと、他のカメラモジュール(例えば、1100aまたは1100b)から提供されたイメージデータと、をマージ(merge)して3次元深さイメージ(3D depth image)を生成することができる。
【0071】
いくつかの実施形態では、複数のカメラモジュール1100a、1100b、1100cのうち、少なくとも2つのカメラモジュール(例えば、1100a、1100b)は、異なる観察視野(Field of View、視野角)を有し得る。この場合、例えば、複数のカメラモジュール1100a、1100b、1100cのうち、少なくとも2つのカメラモジュール(例えば、1100a、1100b)の光学レンズが互いに異なってもよいが、これに限定されるものではない。
【0072】
なお、いくつかの実施形態では、複数のカメラモジュール1100a、1100b、1100cのそれぞれの視野角は互いに異なり得る。この場合、複数のカメラモジュール1100a、1100b、1100cのそれぞれに含まれた光学レンズもまた互いに異なり得るが、これに限定されるものではない。
【0073】
いくつかの実施形態では、複数のカメラモジュール1100a、1100b、1100cのそれぞれは、互いに物理的に分離して配置されてもよい。すなわち、1つのイメージセンサ1142のセンシング領域を複数のカメラモジュール1100a、1100b、1100cが分割して使用するのではなく、複数のカメラモジュール1100a、1100b、1100cのそれぞれの内部に独立したイメージセンサ1142が配置され得る。
【0074】
再び、
図9を参照すると、アプリケーションプロセッサ1200は、イメージ処理装置1210、メモリコントローラ1220、内部メモリ1230を含み得る。アプリケーションプロセッサ1200は、複数のカメラモジュール1100a、1100b、1100cと分離して実施される。例えば、アプリケーションプロセッサ1200と複数のカメラモジュール1100a、1100b、1100cは別々の半導体チップに互いに分離して実施されうる。
【0075】
イメージ処理装置1210は、複数のサブイメージプロセッサ1212a、1212b、1212c、イメージ生成(発生)器1214、およびカメラモジュールコントローラ1216を含み得る。
【0076】
イメージ処理装置1210は、複数のカメラモジュール1100a、1100b、1100cの個数に対応する数の複数のサブイメージプロセッサ1212a、1212b、1212cを含み得る。
【0077】
それぞれのカメラモジュール1100a、1100b、1100cから生成されたイメージデータは、互いに分離されたイメージ信号ラインISLa、ISLb、ISLcを介して対応するサブイメージプロセッサ1212a、1212b、1212cに提供され得る。例えば、カメラモジュール1100aから生成されたイメージデータは、イメージ信号ラインISLaを介してサブイメージプロセッサ1212aに提供され、カメラモジュール1100bから生成されたイメージデータは、イメージ信号ラインISLbを介してサブイメージプロセッサ1212bに提供され、カメラモジュール1100cから生成されたイメージデータは、イメージ信号ラインISLcを介してサブイメージプロセッサ1212cに提供される。このようなイメージデータ転送は、例えば、MIPI(Mobile Industry Processor Interface)に基づくカメラシリアルインターフェース(CSI:Camera Serial Interface)を用いて行われ得るが、実施形態がこれに限定されるものではない。
【0078】
一方、いくつかの実施形態では、1つのサブイメージプロセッサが複数のカメラモジュールに対応するように配置されることもある。例えば、サブイメージプロセッサ1212aとサブイメージプロセッサ1212cが、図示されているように互いに分離して実装されるのではなく、1つのサブイメージプロセッサに統合して実装され、カメラモジュール1100aとカメラモジュール1100cから提供されたイメージデータは、選択素子(例えば、マルチプレクサ)などを介して選択された後、統合されたサブイメージプロセッサに提供される。
【0079】
それぞれのサブイメージプロセッサ1212a、1212b、1212cに提供されたイメージデータは、イメージ生成器1214に提供され得る。イメージ生成器1214は、イメージ生成情報(Generating Information)またはモード信号(Mode Signal)に従ってそれぞれのサブイメージプロセッサ1212a、1212b、1212cから提供されたイメージデータを用いて出力イメージを生成することができる。
【0080】
具体的には、イメージ生成器1214は、イメージ生成情報またはモード信号に応じて、異なる視野角を有するカメラモジュール1100a、1100b、1100cから生成されたイメージデータのうち、少なくとも一部をマージ(merge)して出力イメージを生成することができる。なお、イメージ生成器1214は、イメージ生成情報またはモード信号に応じて、異なる視野角を有するカメラモジュール1100a、1100b、1100cから生成されたイメージデータのうち、いずれか1つを選択して出力イメージを生成することができる。
【0081】
いくつかの実施形態では、イメージ生成情報はズーム信号(zoom signal or zoom factor)得る。なお、いくつかの実施形態では、モード信号は、例えばユーザー(user)から選択されたモードに基づく信号であり得る。
【0082】
イメージ生成情報がズーム信号(ズームファクタ)であり、それぞれのカメラモジュール1100a、1100b、1100cが異なる観察視野(視野角)を有する場合、イメージ生成器1214はズーム信号の種類に応じて異なる動作を行うことができる。例えば、ズーム信号が第1信号である場合、カメラモジュール1100aから出力されたイメージデータとカメラモジュール1100cから出力されたイメージデータをマージした後、マージされたイメージ信号とマージに使用されなかったカメラモジュール1100bから出力されたイメージデータを用いて出力イメージを生成することができる。もしズーム信号が第1信号とは異なる第2信号である場合、イメージ生成器1214はこのようなイメージデータのマージを遂行せず、それぞれのカメラモジュール1100a、1100b、1100cから出力されたイメージデータのうち、いずれか1つを選択して出力イメージを生成することができる。しかしながら、実施形態がこれに限定されず、必要によってイメージデータを処理する方法は、いくらでも変形して実施され得る。
【0083】
いくつかの実施形態では、イメージ生成器1214は、複数のサブイメージプロセッサ1212a、1212b、1212cのうち、少なくとも1つから露出時間が異なる複数のイメージデータを受信し、複数のイメージデータに対してHDR(high dynamic range)処理を行うことにより、ダイナミックレンジが増加された、マージされたイメージデータを生成することができる。
【0084】
カメラモジュールコントローラ1216は、それぞれのカメラモジュール1100a、1100b、1100cに制御信号を提供することができる。カメラモジュールコントローラ1216から生成された制御信号は、互いに分離された制御信号ラインCSLa、CSLb、CSLcを介して対応するカメラモジュール1100a、1100b、1100cに提供され得る。
【0085】
複数のカメラモジュール1100a、1100b、1100cのうち、いずれか1つは、ズーム信号を含むイメージ生成情報またはモード信号に応じてマスター(master)カメラ(例えば、1100b)として指定され、残りのカメラモジュール(例えば、1100a、1100c)はスレーブカメラとして指定される。このような情報は制御信号に含まれており、互いに分離された制御信号ラインCSLa、CSLb、CSLcを介して対応するカメラモジュール1100a、1100b、1100cに提供される。
【0086】
ズームファクタまたは動作モード信号に応じて、マスターおよびスレーブとして動作するカメラモジュールを変更することができる。例えば、カメラモジュール1100aの視野角がカメラモジュール1100bの視野角より広く、ズームファクタが低いズーム倍率を示す場合、カメラモジュール1100bがマスターとして動作し、カメラモジュール1100aがスレーブとして動作することができる。逆に、ズームファクタが高いズーム倍率を示す場合、カメラモジュール1100aがマスターとして動作し、カメラモジュール1100bがスレーブとして動作することができる。
【0087】
いくつかの実施形態では、カメラモジュールコントローラ1216からそれぞれのカメラモジュール1100a、1100b、1100cに提供される制御信号は、シンクイネーブル(sync enable)信号を含み得る。例えば、カメラモジュール1100bがマスターカメラであり、カメラモジュール1100a、1100cがスレーブカメラである場合、カメラモジュールコントローラ1216はカメラモジュール1100bにシンクイネーブル信号を送ることができる。このようなシンクイネーブル信号を提供されたカメラモジュール1100bは、提供されたシンクイネーブル信号に基づいてシンク信号(sync signal)を生成し、生成されたシンク信号をシンク信号ラインSSLを介してカメラモジュール1100a、1100cに提供することができる。カメラモジュール1100bとカメラモジュール1100a、1100cは、このようなシンク信号に同期されてイメージデータをアプリケーションプロセッサ1200に転送することができる。
【0088】
いくつかの実施形態では、カメラモジュールコントローラ1216から複数のカメラモジュール1100a、1100b、1100cに提供される制御信号は、モード信号に応じたモード情報を含み得る。このようなモード情報に基づいて複数のカメラモジュール1100a、1100b、1100cは、センシング速度と関連して第1動作モードおよび第2動作モードで動作することができる。
【0089】
複数のカメラモジュール1100a、1100b、1100cは、第1動作モードにおいて、第1速度でイメージ信号を生成(例えば、第1フレームレートのイメージ信号を生成)し、これを第1速度よりも高い第2速度でエンコーディング(例えば、第1フレームレートよりも高い第2フレームレートのイメージ信号をエンコーディング)し、エンコーディングされたイメージ信号をアプリケーションプロセッサ1200に転送することができる。このとき、第2速度は第1速度の30倍以下であり得る。
【0090】
アプリケーションプロセッサ1200は、受信されたイメージ信号、言い換えればエンコーディングされたイメージ信号を、内部に設けられる内部メモリ1230またはアプリケーションプロセッサ1200外部の外部メモリ1400に格納し、その後、内部メモリ1230または外部メモリ1400からエンコーディングされたイメージ信号をリードアウトしてデコーディングし、デコーディングされたイメージ信号に基づいて生成されるイメージデータをディスプレイすることができる。例えば、イメージ処理装置1210の複数のサブプロセッサ1212a、1212b、1212cのうち、対応するサブプロセッサがデコーディングを遂行することができ、またデコーディングされたイメージ信号に対してイメージ処理を遂行することができる。
【0091】
複数のカメラモジュール1100a、1100b、1100cは、第2動作モードにおいて、第1速度より低い第3速度でイメージ信号を生成(例えば、第1フレームレートより低い第3フレームレートのイメージ信号を生成)し、イメージ信号をアプリケーションプロセッサ1200に転送することができる。アプリケーションプロセッサ1200に提供されるイメージ信号は、エンコーディングされていない信号であり得る。アプリケーションプロセッサ1200は、受信されるイメージ信号に対してイメージ処理を遂行するか、またはイメージ信号を内部メモリ1230または外部メモリ1400に格納することができる。
【0092】
PMIC1300は、複数のカメラモジュール1100a、1100b、1100cのそれぞれに電力、例えば電源電圧を供給することができる。例えば、PMIC1300は、アプリケーションプロセッサ1200の制御下で、パワー信号ラインPSLaを介してカメラモジュール1100aに第1電力を供給し、パワー信号ラインPSLbを介してカメラモジュール1100bに第2電力を供給し、パワー信号ラインPSLcを介してカメラモジュール1100cに第3電力を供給することができる。
【0093】
PMIC1300は、アプリケーションプロセッサ1200からの電力制御信号PCONに応答して、複数のカメラモジュール1100a、1100b、1100cのそれぞれに対応する電力を生成し、さらに電力のレベルを調整することができる。電力制御信号PCONは、複数のカメラモジュール1100a、1100b、1100cの動作モード別電力調整信号を含み得る。例えば、動作モードは低電力モード(low power mode)を含むことができ、このとき電力制御信号PCONは低電力モードで動作するカメラモジュールおよび設定される電力レベルに対する情報を含み得る。複数のカメラモジュール1100a、1100b、1100cのそれぞれに提供される電力のレベルは、互いに同じか異なるかである。なお、電力のレベルは動的に変更されうる。
【0094】
上述した内容は、本開示を実施するための具体的な実施形態である。本開示は、上述した実施形態だけでなく、単に設計変更または容易に変更することができる実施形態もまた含む。なお、本開示は、実施形態を用いて容易に変形して実施することができる技術も含む。したがって、本開示の範囲は、上述した実施形態に定められてはならず、後述する特許請求の範囲だけでなく、本開示の特許請求の範囲と均等なものによって定められるべきである。
【符号の説明】
【0095】
110:ピクセルアレイ
120;行(ロー)ドライバ
130;ランプ信号発生器(ランプ信号生成器)
140;ADC回路
150:タイミングコントローラ
160:バッファ