IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 三星電子株式会社の特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022146927
(43)【公開日】2022-10-05
(54)【発明の名称】イメージセンサ
(51)【国際特許分類】
   H04N 5/374 20110101AFI20220928BHJP
   H04N 5/3745 20110101ALI20220928BHJP
   H04N 9/07 20060101ALI20220928BHJP
   H01L 27/146 20060101ALI20220928BHJP
【FI】
H04N5/374
H04N5/3745 700
H04N9/07 D
H01L27/146 A
H01L27/146 D
【審査請求】未請求
【請求項の数】20
【出願形態】OL
(21)【出願番号】P 2022044040
(22)【出願日】2022-03-18
(31)【優先権主張番号】10-2021-0036431
(32)【優先日】2021-03-22
(33)【優先権主張国・地域又は機関】KR
(71)【出願人】
【識別番号】390019839
【氏名又は名称】三星電子株式会社
【氏名又は名称原語表記】Samsung Electronics Co.,Ltd.
【住所又は居所原語表記】129,Samsung-ro,Yeongtong-gu,Suwon-si,Gyeonggi-do,Republic of Korea
(74)【代理人】
【識別番号】110000051
【氏名又は名称】弁理士法人共生国際特許事務所
(72)【発明者】
【氏名】表 正 ヒョン
(72)【発明者】
【氏名】李 景 鎬
【テーマコード(参考)】
4M118
5C024
5C065
【Fターム(参考)】
4M118AA01
4M118AA10
4M118AB01
4M118BA14
4M118CA02
4M118CA22
4M118CB20
4M118DD04
4M118FA06
4M118GA09
4M118GC08
4M118GC14
4M118GC20
4M118GD03
4M118GD04
4M118GD13
5C024CX41
5C024EX52
5C024GX03
5C024GX16
5C024GX18
5C024GY39
5C024GY41
5C065BB01
5C065CC01
5C065DD01
(57)【要約】
【課題】感度及び解像度に優れたイメージセンサを提供する。
【解決手段】イメージセンサは、第1方向と第1方向と交差する第2方向に沿って配列される複数のピクセルを含み、複数のピクセルは少なくとも一つのフォトダイオード、フォトダイオード下部のピクセル回路、フォトダイオード上部のカラーフィルタを含むピクセルアレイと、第2方向に延長する複数のカラムラインを介し複数のピクセルからピクセル信号を取得するロジック回路とを有し、複数のピクセルは複数のカラーピクセル及び白色ピクセルを含み、白色ピクセルの個数はカラーピクセルの個数よりも多く、ピクセル回路はフォトダイオードの電荷が蓄積されるフローティングディフュージョンとその電荷量に対応する電圧を出力するトランジスタとを含み、各カラーピクセルは白色ピクセルの内の第2方向に隣接する少なくとも一つの隣接白色ピクセル及びフローティングディフュージョンを共有する。
【選択図】 図7
【特許請求の範囲】
【請求項1】
第1方向、及び前記第1方向と交差する第2方向に沿って配列される複数のピクセルを含み、前記複数の各ピクセルは、少なくとも一つのフォトダイオード、前記フォトダイオードの下部のピクセル回路、及び前記フォトダイオードの上部のカラーフィルタを含むピクセルアレイと、
前記第2方向に延長する複数のカラムラインを介して前記複数のピクセルからピクセル信号を取得するロジック回路と、を有し、
前記複数のピクセルは、複数のカラーピクセル及び白色ピクセルを含み、前記白色ピクセルの個数は前記カラーピクセルの個数よりも多く、
前記ピクセル回路は、前記フォトダイオードの電荷が蓄積されるフローティングディフュージョンと、前記フローティングディフュージョンの電荷量に対応する電圧を出力するトランジスタと、を含み、
前記各カラーピクセルは、前記白色ピクセルの内の前記第2方向において隣接する少なくとも一つの隣接白色ピクセル及び前記フローティングディフュージョンを共有することを特徴とするイメージセンサ。
【請求項2】
前記各カラーピクセルにおいて、前記カラーフィルタは、赤色光、緑色光、及び青色光の内の1つを通過させ、
前記各白色ピクセルにおいて、前記カラーフィルタは、白色光を通過させることを特徴とする請求項1に記載のイメージセンサ。
【請求項3】
前記カラーピクセルの内、前記第1方向及び前記第2方向において互いに隣接する一対のカラーピクセル間に前記白色ピクセルの内の2以上が配置されることを特徴とする請求項1に記載のイメージセンサ。
【請求項4】
前記白色ピクセルの個数は、前記カラーピクセルの個数の4倍以上であることを特徴とする請求項1に記載のイメージセンサ。
【請求項5】
前記各カラーピクセルは、少なくとも8つの周辺に配置される前記白色ピクセルと一つのピクセル群に含まれることを特徴とする請求項4に記載のイメージセンサ。
【請求項6】
前記各カラーピクセルは、前記第1方向又は前記第2方向に配列される第1フォトダイオード及び第2フォトダイオードを含むことを特徴とする請求項1に記載のイメージセンサ。
【請求項7】
前記カラーピクセル及び前記白色ピクセルのそれぞれは、前記第1方向又は前記第2方向に配列される第1フォトダイオード及び第2フォトダイオードを含むことを特徴とする請求項1に記載のイメージセンサ。
【請求項8】
イメージセンサであって、
第1方向に延長される複数のロウラインと前記第1方向と交差する第2方向に延長される複数のカラムラインに接続される複数のピクセルを含み、前記複数の各ピクセルは、少なくとも一つのフォトダイオードと前記フォトダイオードの下部に配置されるピクセル回路とを含むピクセルアレイと、
前記複数のピクセルからピクセル信号を取得するロジック回路と、を有し、
前記複数のピクセルは、カラーピクセル及び白色ピクセルを含み、前記白色ピクセルの個数は、前記カラーピクセルの個数よりも多く、
前記ロジック回路は、外部照度が閾値以上であれば、前記カラーピクセルのみから前記ピクセル信号を取得し、外部照度が前記閾値よりも小さい場合、前記複数のピクセルから前記ピクセル信号を取得することを特徴とするイメージセンサ。
【請求項9】
前記外部照度が前記閾値以上であれば、前記ロジック回路は、前記カラーピクセルから取得した前記ピクセル信号をリモザイク(Re-Mosaic)処理してイメージを生成することを特徴とする請求項8に記載のイメージセンサ。
【請求項10】
前記複数のピクセルは、複数のピクセル群を含み、
前記複数の各ピクセル群は、前記カラーピクセルの少なくとも一つ、及び前記白色ピクセルの内の2以上の周辺に配置される白色ピクセルを含むことを特徴とする請求項8に記載のイメージセンサ。
【請求項11】
前記外部照度が前記閾値よりも小さい場合、前記ロジック回路は、前記複数の各ピクセル群から前記複数のカラムラインの内の1つを共有する2以上のピクセルからピクセル信号を同時に取得することを特徴とする請求項10に記載のイメージセンサ。
【請求項12】
前記イメージセンサは、前記複数の各ピクセル群から取得した前記ピクセル信号を用いてイメージデータを構成することを特徴とする請求項11に記載のイメージセンサ。
【請求項13】
前記白色ピクセルの個数は、前記カラーピクセルの個数の4倍以上であることを特徴とする請求項8に記載のイメージセンサ。
【請求項14】
第1方向に延長される複数のロウラインと前記第1方向と交差する第2方向に延長される複数のカラムラインに接続される複数のピクセルを含み、前記複数のピクセルは、複数のピクセル群を提供するピクセルアレイと、
前記複数のピクセルからピクセル信号を取得するロジック回路と、を有し、
前記複数のピクセルは、カラーピクセル及び白色ピクセルを含み、前記白色ピクセルの個数は、前記カラーピクセルの個数よりも多く、
前記複数の各ピクセル群は、前記カラーピクセルの少なくとも一つのカラーピクセルと前記白色ピクセルの内の前記少なくとも一つのカラーピクセルの周辺に配置される白色ピクセルを含み、
前記複数のピクセル群の中で、互いに隣接した一対のピクセル群間の境界は、前記周辺に配置される白色ピクセル間の境界であることを特徴とするイメージセンサ。
【請求項15】
前記複数の各ピクセル群は、前記カラーピクセルの中で2以上のカラーピクセルを含み、前記2以上のカラーピクセルは、同じ色のカラーフィルタを有することを特徴とする請求項14に記載のイメージセンサ。
【請求項16】
前記2以上のカラーピクセルは、前記第1方向及び前記第2方向の少なくとも一つで連続的に配置されることを特徴とする請求項15に記載のイメージセンサ。
【請求項17】
前記2以上のカラーピクセルは、前記第1方向及び前記第2方向と異なる斜め方向において隣接することを特徴とする請求項15に記載のイメージセンサ。
【請求項18】
前記複数のピクセル群は、第1ピクセル群と、前記第1ピクセル群と前記第1方向又は前記第2方向において隣接する第2ピクセル群と、を含み、
前記第1ピクセル群に含まれる前記少なくとも一つのカラーピクセルと、前記第2ピクセル群に含まれる前記少なくとも一つのカラーピクセルは、互いに異なる色のカラーフィルタを含むことを特徴とする請求項14に記載のイメージセンサ。
【請求項19】
前記第1ピクセル群に含まれる前記少なくとも一つのカラーピクセルと、前記第2ピクセル群に含まれる前記少なくとも一つのカラーピクセルとの間に、前記白色ピクセルの内の2以上が配置されることを特徴とする請求項18に記載のイメージセンサ。
【請求項20】
前記複数の各ピクセルは、光に反応して電荷を生成するフォトダイオードと、前記フォトダイオードの電荷を用いて前記ピクセル信号を出力するピクセル回路と、を含み、
前記少なくとも一つのカラーピクセル及び前記少なくとも一つのカラーピクセルと前記カラムラインの内の1つを共有する少なくとも一つの隣接する白色ピクセルは、前記ピクセル回路に含まれる素子の少なくとも一部を共有することを特徴とする請求項14に記載のイメージセンサ。
【発明の詳細な説明】
【技術分野】
【0001】
本発明はイメージセンサに関し、特に、感度及び解像度に優れたイメージセンサに関する。
【背景技術】
【0002】
イメージセンサは、光を受け入れ、電気信号を生成する半導体基盤のセンサであって、複数のピクセルを有するピクセルアレイと、ピクセルアレイを駆動してイメージを生成するためのロジック回路などを含む。
ロジック回路は、ピクセルからピクセル信号を取得してイメージデータを生成する。
【0003】
近年の課題として、イメージセンサの感度をより高め、イメージの画質をより改善するための様々な方法の研究、開発がなされている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2007-180542号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明は上記従来のイメージセンサにおける課題に鑑みてなされたものであって、本発明の目的は、感度及び解像度に優れたイメージセンサを提供することにある。
【課題を解決するための手段】
【0006】
上記目的を達成するためになされた本発明によるイメージセンサは、第1方向、及び前記第1方向と交差する第2方向に沿って配列される複数のピクセルを含み、前記複数の各ピクセルは、少なくとも一つのフォトダイオード、前記フォトダイオードの下部のピクセル回路、及び前記フォトダイオードの上部のカラーフィルタを含むピクセルアレイと、前記第2方向に延長する複数のカラムラインを介して前記複数のピクセルからピクセル信号を取得するロジック回路と、を有し、前記複数のピクセルは、複数のカラーピクセル及び白色ピクセルを含み、前記白色ピクセルの個数は前記カラーピクセルの個数よりも多く、前記ピクセル回路は、前記フォトダイオードの電荷が蓄積されるフローティングディフュージョンと、前記フローティングディフュージョンの電荷量に対応する電圧を出力するトランジスタと、を含み、前記各カラーピクセルは、前記白色ピクセルの内の前記第2方向において隣接する少なくとも一つの隣接白色ピクセル及び前記フローティングディフュージョンを共有することを特徴とする。
【0007】
また、上記目的を達成するためになされた本発明によるイメージセンサは、イメージセンサであって、第1方向に延長される複数のロウラインと前記第1方向と交差する第2方向に延長される複数のカラムラインに接続される複数のピクセルを含み、前記複数の各ピクセルは、少なくとも一つのフォトダイオードと前記フォトダイオードの下部に配置されるピクセル回路とを含むピクセルアレイと、前記複数のピクセルからピクセル信号を取得するロジック回路と、を有し、前記複数のピクセルは、カラーピクセル及び白色ピクセルを含み、前記白色ピクセルの個数は、前記カラーピクセルの個数よりも多く、前記ロジック回路は、外部照度が閾値以上であれば、前記カラーピクセルのみから前記ピクセル信号を取得し、外部照度が前記閾値よりも小さい場合、前記複数のピクセルから前記ピクセル信号を取得することを特徴とする。
【0008】
また、上記目的を達成するためになされた本発明によるイメージセンサは、第1方向に延長される複数のロウラインと前記第1方向と交差する第2方向に延長される複数のカラムラインに接続される複数のピクセルを含み、前記複数のピクセルは、複数のピクセル群を提供するピクセルアレイと、前記複数のピクセルからピクセル信号を取得するロジック回路と、を有し、前記複数のピクセルは、カラーピクセル及び白色ピクセルを含み、前記白色ピクセルの個数は、前記カラーピクセルの個数よりも多く、前記複数の各ピクセル群は、前記カラーピクセルの少なくとも一つのカラーピクセルと前記白色ピクセルの内の前記少なくとも一つのカラーピクセルの周辺に配置される白色ピクセルを含み、前記複数のピクセル群の中で、互いに隣接した一対のピクセル群間の境界は、前記周辺に配置される白色ピクセル間の境界であることを特徴とする。
【発明の効果】
【0009】
本発明に係るイメージセンサによれば、人の目に含まれている錐体細胞と桿体細胞を模写して、ピクセルアレイをカラーピクセル及び白色ピクセルで構成し、外部照度に応じて、ピクセルアレイが出力するロウデータにビニング及びリモザイクを適切に適用することができる。
したがって、感度及び解像度に優れたイメージセンサを実現することができる。
【図面の簡単な説明】
【0010】
図1】本発明の一実施形態に係るイメージセンサを含む電子機器を簡略的に示す斜視図である。
図2】本発明の一実施形態に係るイメージセンサの構成を簡略的に示すブロック図である。
図3】本発明の一実施形態に係るイメージセンサのピクセルアレイを簡略的に示す図である。
図4】本発明の一実施形態に係るイメージセンサに含まれるピクセルの構成を簡略的に示す断面図である。
図5】本発明の一実施形態に係るイメージセンサのピクセルアレイを簡略的に示す図である。
図6】本発明の一実施形態に係るイメージセンサに含まれるピクセルの構成を簡略的に示す断面図である。
図7】本発明の一実施形態に係るイメージセンサのピクセルアレイを簡略的に示す図である。
図8】本発明の一実施形態に係るイメージセンサに含まれるピクセルの構成を簡略的に示す断面図である。
図9】本発明の一実施形態に係るイメージセンサのピクセルアレイに含まれるピクセル群を簡略的に示す図である。
図10a】本発明の一実施形態に係るイメージセンサのピクセル回路を簡略的に示す回路図である。
図10b】本発明の一実施形態に係るイメージセンサのピクセル回路を簡略的に示す回路図である。
図11】本発明の一実施形態に係るイメージセンサの動作を説明するための図である。
図12】本発明の一実施形態に係るイメージセンサの動作を説明するための図である。
図13a】本発明の一実施形態に係るイメージセンサの動作を説明するための図である。
図13b】本発明の一実施形態に係るイメージセンサの動作を説明するための図である。
図14a】本発明の一実施形態に係るイメージセンサの動作を説明するための図である。
図14b】本発明の一実施形態に係るイメージセンサの動作を説明するための図である。
図15】本発明の一実施形態に係るイメージセンサのピクセルアレイを簡略的に示す図である。
図16a】本発明の一実施形態に係るイメージセンサのピクセルアレイを簡略的に示す図である。
図16b】本発明の一実施形態に係るイメージセンサのピクセルアレイを簡略的に示す図である。
図16c】本発明の一実施形態に係るイメージセンサのピクセルアレイを簡略的に示す図である。
図17a】本発明の一実施形態に係るイメージセンサのピクセルアレイを簡略的に示す図である。
図17b】本発明の一実施形態に係るイメージセンサのピクセルアレイを簡略的に示す図である。
図18】本発明の一実施形態に係るイメージセンサのピクセルアレイを簡略的に示す図である。
図19】本発明の一実施形態に係るイメージセンサのピクセルアレイを簡略的に示す図である。
図20】本発明の一実施形態に係るイメージセンサを含む電子機器の構成を簡略的に示すブロック図である。
図21】本発明の一実施形態に係るイメージセンサを含む電子機器の構成を簡略的に示すブロック図である。
【発明を実施するための形態】
【0011】
次に、本発明に係るイメージセンサを実施するための形態の具体例を図面を参照しながら説明する。
【0012】
図1は、本発明の一実施形態に係るイメージセンサを含む電子機器を簡略的に示す斜視図である。
図1を参照すると、本発明の一実施形態に係る電子機器10は、スマートフォンなどのモバイル機器であり得、カメラ装置(20、30)を含む。
但し、本発明の一実施形態に係る電子機器10は、モバイル機器に限定されず、カメラ装置(20、30)を含むすべての機器を含むものと理解すべきである。
また、電子機器10に含まれるカメラ装置(20、30)の個数は、多様に変形させることができる。
【0013】
図1に示した一実施形態において、電子機器10は、第1カメラ装置20及び第2カメラ装置30を含み、第1カメラ装置20及び第2カメラ装置30のそれぞれは、イメージセンサ及びイメージセンサに光を入射させる光学モジュールなどを含む。
第1カメラ装置20及び第2カメラ装置30は、互いに異なる構造を有することができる。
一例として、第1カメラ装置20に含まれるイメージセンサは、ピクセルアレイの上面がXY平面と平行するように配置され、第2カメラ装置30に含まれるイメージセンサは、ピクセルアレイの上面がXZ平面と平行するように配置される。
第1カメラ装置20の光学モジュールは、入射した光を屈折させてイメージセンサのピクセルアレイに進行させる屈折部材を含む。
一例として、屈折部材は、プリズムなどで実現することができる。
【0014】
図2は、本発明の一実施形態に係るイメージセンサの構成を簡略的に示すブロック図である。
図2を参照すると、イメージセンサ4は、ピクセルアレイ50及びロジック回路60を含む。
【0015】
ピクセルアレイ50は、複数の行(ロウ)及び複数の列(カラム)に沿ってアレイ状で配置される複数のピクセルPXを含む。
複数の各ピクセルPXは、光に応答して電荷を生成する少なくとも一つの光電変換素子、及び光電変換素子が生成した電荷に対応するピクセル信号を生成するピクセル回路などを含む。
光電変換素子は、半導体物質で形成されるフォトダイオード、及び/又は有機物質で形成される有機フォトダイオードなどを含み得る。
【0016】
一例として、ピクセル回路は、フローティングディフュージョン、転送トランジスタ、リセットトランジスタ、駆動トランジスタ、及び選択トランジスタなどを含む。
実施形態によってピクセルPXの構成は異なり得る。
一例として、各ピクセルPXは、有機物質を含む有機フォトダイオードを含むか、又はデジタルピクセルで実現することもできる。
ピクセルPXがデジタルピクセルで実現される場合、各ピクセルPXは、デジタルピクセル信号を出力するためのアナログ-デジタルコンバータを含む。
【0017】
ロジック回路60は、ピクセルアレイ50を制御するための回路を含む。
一例として、ロジック回路60は、ロウドライバ61、リードアウト回路62、カラムドライバ63、コントロールロジック64などを含む。
ロウドライバ61は、ピクセルアレイ50をロウ(ROW)ライン単位で駆動させる。
例えば、ロウドライバ61は、ピクセル回路の転送トランジスタを制御する転送制御信号、リセットトランジスタを制御するリセット制御信号、選択トランジスタを制御する選択制御信号などを生成して、ピクセルアレイ60にロウライン単位で入力する。
【0018】
リードアウト回路62は、相関二重サンプラ(Correlated Double Sampler:CDS)、アナログ-デジタルコンバータ(Analog-to-Digital Converter:ADC)などを含む。
相関二重サンプラは、ピクセルPXとカラムラインを介して接続される。
相関二重サンプラは、ロウドライバ61のロウラインの選択信号によって選択されるロウラインに接続されるピクセルPXから、カラムラインを介してピクセル信号を読み取る。
アナログ-デジタルコンバータは、相関二重サンプラが検出したピクセル信号をデジタルピクセル信号に変換してカラムドライバ63に伝達する。
【0019】
カラムドライバ63は、デジタルピクセル信号を一時的に保存することができるラッチ又はバッファ回路と増幅回路などを含み、リードアウト回路62から受信したデジタルピクセル信号を処理する。
ロウドライバ61、リードアウト回路62、及びカラムドライバ63は、コントロールロジック64によって制御される。
コントロールロジック64は、ロウドライバ61、リードアウト回路62、及びカラムドライバ63の動作タイミングを制御するためのタイミングコントローラなどを含む。
【0020】
ピクセルPXの内の第1方向(横方向)と同じ位置に配置されるピクセルPXは、同一のカラムラインを共有する。
一例として、第2方向(縦方向)と同じ位置に配置されるピクセルPXは、ロウドライバ61によって同時に選択され、カラムラインを介してピクセル信号を出力する。
一実施形態において、リードアウト回路62は、カラムラインを介してロウドライバ61が選択したピクセルPXからピクセル信号を同時に取得する。
ピクセル信号は、リセット電圧及びピクセル電圧を含み、ピクセル電圧は、各ピクセルPXから光に反応して生成された電荷がリセット電圧に反映された電圧である。
【0021】
一実施形態において、ピクセルアレイ10に含まれるピクセルPXの少なくとも一部は、一つのピクセル群を提供する。
したがって、ピクセルアレイ10に複数のピクセル群が配置される。
一つのピクセル群に含まれるフォトダイオードの少なくとも一部は、フローティングディフュージョン及びリセットトランジスタ、駆動トランジスタ、選択トランジスタなどの素子を共有することができる。
【0022】
イメージセンサ40の感度を高めるためには、ピクセルアレイ50に含まれる各ピクセルPXの面積を増加させる。
但し、各ピクセルPXの面積が増加する場合、高い解像度のイメージを生成するためにイメージセンサ40の全体面積が増加することになり、この場合、イメージセンサ40を搭載する電子機器の体積が一緒に増加することがある。
【0023】
本発明では、各ピクセルPXを小さい面積で実現し、高い感度及び解像度を同時に提供することができるイメージセンサ40を提案する。
一例として、ピクセルPXの一部は、カラーピクセルで、ピクセルPXの内の残りは白色ピクセルで実現する。
一実施形態において、人の目に存在する細胞の内の光の明るさを感知する桿体細胞と、色を感知する錐体細胞の比率を考慮して、白色ピクセルとカラーピクセルの個数及び配置を決定することができる。
したがって、各ピクセルPXの面積の増加を最小限に抑えながら、高い感度を有するイメージセンサ40を実現することができる。
【0024】
図3は、本発明の一実施形態に係るイメージセンサのピクセルアレイを簡略的に示す図である。
図3を参照すると、本発明の一実施形態に係るイメージセンサのピクセルアレイ100は、第1方向(X軸方向)及び第2方向(Y軸方向)に沿って配列される複数のピクセル(110、120)を含む。
一例として、ピクセルアレイ100は、カラーピクセル110、及び白色ピクセル120を含む。
カラーピクセル110及び白色ピクセル120のそれぞれは、複数個であり、その個数は多様に変形させることができる。
一例として、白色ピクセル120の個数は、カラーピクセル110の個数よりも多くあり得る。
【0025】
例示的に、カラーピクセル110の個数及び白色ピクセル120の個数は、人の目に存在する錐体細胞と桿体細胞の個数を考慮して決定することができる。
人の目には、数百万個の錐体細胞及び数千万個の桿体細胞が存在し、これを考慮して、カラーピクセル110の個数及び白色ピクセル120の個数の比率を決定することができる。
図3に示した一実施形態では、白色ピクセル120の個数がカラーピクセル110の個数の8倍である。
但し、カラーピクセル110の個数及び白色ピクセル120の個数は、実施形態によって多様に変形させることができる。
【0026】
カラーピクセル110は、白色ピクセル120の内のカラーピクセル110の周辺に配置される白色ピクセル(以下、「周辺の白色ピクセル」と記す。)と一緒にピクセル群PGを提供する。
図3を参照すると、一つのカラーピクセル110が8つの「周辺の白色ピクセル」と一緒に一つのピクセル群PGを提供する。
【0027】
各ピクセル群PGにおいてカラーピクセル110は、同一位置に配置される。
図3を参照すると、各ピクセル群PGにおいてカラーピクセル110は、中央に配置される。
したがって、第1方向又は第2方向において連続的に配置される一対のピクセル群PG間の境界は、「周辺の白色ピクセル」間の境界として定義される。
すなわち、一対のピクセル群PG間の境界は、白色ピクセル120のみに隣接し、カラーピクセル110とは隣接しない。
【0028】
カラーピクセル110は、特定波長の光を選択的に通過させるカラーフィルタを含み、一例として、カラーフィルタは、赤色、緑色、青色のいずれかの光を通過させる。
図3を参照すると、一つのピクセル群PGに含まれるカラーピクセル110は、第1方向又は第2方向において隣接した他のピクセル群PGに含まれるカラーピクセル110と異なる色のカラーフィルタを含む。
第1方向及び第2方向において互いに「2×2」形態で隣接配置される4つのピクセル群PGに含まれるカラーピクセル110は、2つの緑色カラーピクセルと1つの赤色カラーピクセル及び1つの青色カラーピクセルを含む。
【0029】
図4は、本発明の一実施形態に係るイメージセンサに含まれるピクセルの構成を簡略的に示す断面図である。
一例として、図4は、図3に示した一実施形態に係るピクセルアレイ100でカラーピクセル110及び白色ピクセル120のそれぞれの断面を示す図である。
【0030】
カラーピクセル110及び白色ピクセル120のそれぞれは、半導体基板101に形成されるフォトダイオードPDを含む。
カラーピクセル110及び白色ピクセル120のそれぞれにおいて、フォトダイオードPDは、素子102に接続され、素子102は配線パターン103と一緒にピクセル回路を提供する。
素子102及び配線パターン103は、絶縁層104でカバーされる。
【0031】
図4を参照すると、カラーピクセル110は、光の入射経路に配置される第1マイクロレンズ111、第1光透過層112、及び第1カラーフィルタ115を含む。
また、白色ピクセル120は、光の入射経路に配置される第2マイクロレンズ121、第2光透過層122、及び第2カラーフィルタ125を含む。
一実施形態によって、第1カラーフィルタ115は、特定波長帯域の光を通過させる。
一例として、第1カラーフィルタ115は、赤色、緑色、青色のいずれかに対応する波長帯域の光を通過させる。
一方、第2カラーフィルタ125は、特定波長帯域ではなく、ほとんどの波長帯域の光を通過させる。
一実施形態において、第2カラーフィルタ125は、光透過層122などの物質で形成される。
【0032】
したがって、カラーピクセル110のフォトダイオードPDは、第1カラーフィルタ115を通過した特定波長帯域の光に反応して電荷を生成するのに対し、白色ピクセル120のフォトダイオードPDは、第2カラーフィルタ125を通過した光に反応して電荷を生成する。
したがって、同一強度の光に反応して、白色ピクセル120のフォトダイオードPDはカラーピクセル110のフォトダイオードPDよりも多い電荷を生成することができ、カラーピクセル110よりも白色ピクセル120がより高い感度を有する。
【0033】
本発明の一実施形態において、ピクセルアレイ100は、カラーピクセル110よりも多い個数の白色ピクセル120を含む。
カラーピクセル110に比べて白色ピクセル120をピクセルアレイ100に相対的多く配置することで、イメージセンサの感度を改善し、低照度環境でも優れた品質のイメージを得ることができる。
一例として、図3に示したように、カラーピクセル110の個数及び白色ピクセル120の個数の比率を「1:8」で構成することで、カラーピクセル110のみでピクセルアレイ100を構成する場合に比べて、イメージセンサの感度を3倍以上改善することができる。
一実施形態において、イメージセンサは低照度環境で1つのピクセル群PGに含まれるカラーピクセル110及び白色ピクセル120のピクセル信号をビニング処理し、イメージを生成する。
【0034】
但し、白色ピクセル120の感度がカラーピクセル110に比べて高いため、イメージセンサが高照度環境でも低照度環境のような方式で動作する場合、白色ピクセル120のフォトダイオードPDが飽和してイメージ品質が低下するという問題が発生する可能性がある。
本発明の一実施形態においては、高照度環境でカラーピクセル110が生成するピクセル信号のみでイメージを生成することで、上記問題を解決することができる。
一例として、高照度環境でイメージセンサは、カラーピクセル110が生成するピクセル信号のみでイメージを生成するためにリモザイク(Re-Mosaic)方法を利用する。
【0035】
図5は、本発明の一実施形態に係るイメージセンサのピクセルアレイを簡略的に示す図である。
図5を参照すると、本発明の一実施形態に係るイメージセンサのピクセルアレイ100Aは、第1方向(X軸方向)及び第2方向(Y軸方向)に沿って配列される複数のピクセル(110A、120A)を含む。
ピクセルアレイ100Aにおけるカラーピクセル110A及び白色ピクセル120Aの配置は、先に図3を参照して説明したものと類似する。
一例として、ピクセルアレイ100Aは、一つのピクセル群PGを提供し、ピクセル群PGは、カラーピクセル110A及びその周辺に配置される白色ピクセル120Aである「周辺の白色ピクセル」を含む。
【0036】
図5に示した一実施形態においては、各カラーピクセル110Aがオートフォーカス機能を提供するために、2以上のフォトダイオードを含む。
一例として、カラーピクセル110Aは、第1方向(X軸方向)及び第2方向(Y軸方向)の少なくとも一つに沿って配列される2以上のフォトダイオードを含み、カラーピクセル110Aに含まれるフォトダイオードから取得したピクセル信号の位相差を用いてオートフォーカス機能を実現する。
【0037】
図6は、本発明の一実施形態に係るイメージセンサに含まれるピクセルの構成を簡略的に示す断面図である。
一例として、図6は、図5に示した一実施形態に係るピクセルアレイ100Aでカラーピクセル110A及び白色ピクセル120Aのそれぞれの断面を示した図である。
先に図4を参照して説明したものと同様に、カラーピクセル110A及び白色ピクセル120Aのそれぞれは、半導体基板101に形成されるフォトダイオードPDを含む。
【0038】
カラーピクセル110Aと白色ピクセル120Aのそれぞれで、半導体基板101の一面に形成される素子102は、配線パターン103と一緒にピクセル回路を提供する。
素子102及び配線パターン103は、絶縁層104でカバーされる。
半導体基板101の他の一面には、マイクロレンズ(111、121)、光透過層(112、122)、及びカラーフィルタ(115、125)などが形成される。
マイクロレンズ(111、121)、光透過層(112、122)、及びカラーフィルタ(115、125)の構成は、先に図4を参照して説明したものと同様である。
【0039】
図6を参照すると、一つのフォトダイオードPDを含む白色ピクセル120Aとは異なって、カラーピクセル110Aは、第1方向に沿って配列される第1フォトダイオードPD1及び第2フォトダイオードPD2を含む。
第1フォトダイオードPD1の受光面積及び第2フォトダイオードPD2の受光面積は、互いに実質的に同様である。
【0040】
カラーピクセル110Aが第1フォトダイオードPD1及び第2フォトダイオードPD2を含むように実現させることで、イメージセンサにオートフォーカス機能を提供することができる。
一例として、光透過層115が透過させる光の波長帯域に応じて、カラーピクセル110Aは、被写体の特定領域までの距離を計算する。
光透過層115が赤色に対応する波長帯域の光を透過させる場合、イメージセンサは、カラーピクセル110Aから取得したピクセル信号の位相差を用いて、被写体の赤色領域までの距離を計算する。
同様に、光透過層115が緑色又は青色に対応する波長帯域の光を透過させる場合、イメージセンサは、カラーピクセル110Aから取得したピクセル信号の位相差を用いて、被写体の緑色領域又は青色領域までの距離を計算する。
【0041】
図7は、本発明の一実施形態に係るイメージセンサのピクセルアレイを簡略的に示す図である。
図7を参照すると、本発明の一実施形態に係るイメージセンサのピクセルアレイ100Bは、第1方向(X軸方向)及び第2方向(Y軸方向)に沿って配列される複数のピクセル(110B、120B)を含む。
【0042】
ピクセルアレイ100Bにおけるカラーピクセル110B及び白色ピクセル120Bの配置は、先に図3及び図5を参照して説明したものと同様である。
一例として、ピクセルアレイ100Bは、一つのピクセル群PGを提供し、ピクセル群PGは、カラーピクセル110B及びその周辺に配置される白色ピクセル120Bである「周辺の白色ピクセル」を含む。
【0043】
図7に示した一実施形態では、カラーピクセル110B及び白色ピクセル120Bのそれぞれが、オートフォーカス機能を提供するために、2以上のフォトダイオードを含む。
一例として、カラーピクセル110Bはもちろん、白色ピクセル120Bも第1方向(X軸方向)及び第2方向(Y軸方向)の少なくとも一つに沿って配列される2以上のフォトダイオードを含む。
イメージセンサは、カラーピクセル110B及び白色ピクセル120Bに含まれるフォトダイオードから取得したピクセル信号の位相差を用いてオートフォーカス機能を実現する。
図7を参照すると、ピクセルアレイ100Bに含まれる全てのピクセル(110B、120B)において、フォトダイオードが第1方向に配列されると示したが、実施形態によってピクセル(110B、120B)の少なくとも一つでフォトダイオードが第2方向に配列することもできる。
【0044】
図8は、本発明の一実施形態に係るイメージセンサに含まれるピクセルの構成を簡略的に示す断面図である。
図8を参照すると、カラーピクセル110B及び白色ピクセル120Bのそれぞれは、第1方向に沿って配列される第1フォトダイオードPD1及び第2フォトダイオードPD2を含む。
カラーピクセル110B及び白色ピクセル120Bのそれぞれにおいて、第1フォトダイオードPD1の受光面積は、第2フォトダイオードPD2の受光面積と実質的に同様である。
半導体基板101の一面には、ピクセル回路を提供する素子102と配線パターン103、及び素子102と配線パターン103をカバーする絶縁層104が配置される。
半導体基板101の他の一面には、マイクロレンズ(111、121)、光透過層(112、122)、及びカラーフィルタ(115、125)などが配置される。
【0045】
図8に示した一実施形態では、すべてのピクセル(110B、120B)が第1フォトダイオードPD1及び第2フォトダイオードPD2を含むため、相対的にさらに優れたオートフォーカス機能を提供することができる。
また、実施形態によって、ピクセル(110B、120B)の一部で第1フォトダイオードPD1及び第2フォトダイオードPD2が第2方向に沿って配列されるように形成することで、第1方向及び第2方向の両方でオートフォーカス機能を実現することもできる。
【0046】
図9は、本発明の一実施形態に係るイメージセンサのピクセルアレイに含まれるピクセル群を簡略的に示す図であり、図10a及び図10bは、本発明の一実施形態に係るイメージセンサのピクセル回路を簡略的に示す回路図である。
本発明の一実施形態に係るイメージセンサのピクセルアレイは、複数のピクセル群(PG1~PG4)を含むことができる。
【0047】
図9を参照すると、本発明の一実施形態に係る各ピクセル群(PG1~PG4)は、9つのピクセル(PX1~PX9)を含む。
一例として、9つのピクセル(PX1~PX9)の少なくとも一つは、カラーピクセルであり、残りは、カラーピクセルの周辺に配置される「周辺の白色ピクセル」である。
一実施形態において、第5ピクセルPX5がカラーピクセルで実現され、第1~第4及び第6~第9ピクセル(PX1~PX4、PX6~PX9)が「周辺の白色ピクセル」である。
【0048】
ピクセル群(PG1~PG4)は、第1方向(X軸方向)及び第2方向(Y軸方向)に沿って配置され、これによって、第1境界BD1及び第2境界BD2が定義される。
一例として、第1境界BD1は、第1方向に延長する境界であり、第2境界BD2は、第2方向に延長する境界である。
【0049】
各ピクセル群(PG1~PG4)において、第5ピクセルPX5のみがカラーピクセルで実現される場合、第1境界BD1及び第2境界BD2は、「周辺の白色ピクセル」である第1~第4及び第6~第9ピクセル(PX1~PX4、PX6~PX9)間の境界として定義される。
したがって、第1境界BD1及び第2境界BD2がカラーピクセルである第5ピクセルPX5と隣接せず、分離される。
【0050】
各ピクセル(PX1~PX9)は、少なくとも一つのフォトダイオード、及びフォトダイオードが生成する電荷に対応するピクセル信号を生成するピクセル回路を含む。
実施形態によって各ピクセル群(PG1~PG4)でピクセル(PX1~PX9)の少なくとも一部は、ピクセル回路に含まれる構成要素の少なくとも一つを共有する。
以下、図10a及び図10bを参照して、ピクセル群PGに含まれるピクセル(PX1~PX9)のピクセル回路を説明する。
【0051】
図10a及び図10bは、一つのピクセル群PGに含まれるピクセル(PX1~PX9)のピクセル回路を簡略的に示す回路図である。
図10a及び図10bを参照すると、各ピクセル(PX1~PX9)は、フォトダイオード(PD1~PD9)の内の1つと、転送トランジスタ(TX1~TX9)の内の1つを含む。
但し、ピクセル(PX1~PX9)の少なくとも一つがオートフォーカス機能を提供するためのオートフォーカスピクセルで提供される場合、オートフォーカスピクセルは、2以上のフォトダイオードを含む。
【0052】
先に図10aに示した一実施形態においては、一つのピクセル群PGで第2方向に配列される3つのピクセルが一つのフローティングディフュージョンとリセットトランジスタ、駆動トランジスタ、及び選択トランジスタを共有する。
図10aを参照すると、一つのピクセル群で一つ目のカラムラインCol1に接続される第1~第3ピクセル(PX1~PX3)が第1フローティングディフュージョンFD1、第1リセットトランジスタRX1、第1駆動トランジスタDX1、及び第1選択トランジスタSX1を共有する。
【0053】
また、二つ目のカラムラインCol2に接続される第4~第6ピクセル(PX4~PX6)が第2フローティングディフュージョンFD2、第2リセットトランジスタRX2、第2駆動トランジスタDX2、及び第2選択トランジスタSX2を共有し、三つ目のカラムラインCol3に接続される第7~第9ピクセル(PX7~PX9)が第3フローティングディフュージョンFD3、第3リセットトランジスタRX3、第3駆動トランジスタDX3、及び第3選択トランジスタSX3を共有する。
したがって、カラーピクセルである第5ピクセルPX5は、白色ピクセル(PX1~PX4、PX6~PX9)の内の第2方向において第5ピクセルPX5に隣接した隣接白色ピクセルである第4及び第6ピクセル(PX4、PX6)と第2フローティングディフュージョンFD2を共有する。
【0054】
すなわち、図10aに示した一実施形態においては、一つのピクセル群PGが3つのフローティングディフュージョン(FD1~FD3)、3つのリセットトランジスタ(RX1~RX3)、3つの駆動トランジスタ(DX1~DX3)、及び3つの選択トランジスタ(SX1~SX3)を含む。
したがって、制限された面積にピクセル回路を効率的に配置することができる。
【0055】
イメージセンサのロジック回路は、ローリングシャッター方式でピクセル(PX1~PX9)を駆動し、カラムライン(Col1~Col3)を介してピクセル信号を取得する。
一例として、リセット制御信号RGによってフローティングディフュージョン(FD1~FD3)を電源電圧VDDにリセットし、カラムライン(Col1~Col3)を介してリセット電圧を取得する。
この後、第1転送制御信号TG1により第1、第4、第7転送トランジスタ(TX1、TX4、TX7)がターン-オンされ、第1、第4、第7フォトダイオード(PD1、PD4、PD7)で生成される電荷に対応するピクセル電圧がカラムライン(Col1~Col3)を介して出力される。
ロジック回路は、各第1、第4、第7ピクセル(PX1、PX4、PX7)に対して、リセット電圧とピクセル電圧の差に対応するピクセル信号を生成する。
ロジック回路は、上記のような動作を繰り返して各ピクセル(PX1~PX9)に対するピクセル信号を取得する。
【0056】
一実施形態において、イメージセンサのロジック回路は、照度に応じてピクセル(PX1~PX9)を異なるように駆動させる。
一例として、光の強度が弱い低照度環境で、ロジック回路は、カラムライン(Col1~Col3)を介してリセット電圧を取得し、第1~第3転送制御信号(TG1~TG3)を順次に切り替える。
したがって、第1カラムラインCol1を介して第1~第3フォトダイオード(PD1~PD3)の電荷に対応するピクセル電圧が出力され、第2カラムラインCol2を介して第4~第6フォトダイオード(PD4~PD6)の電荷に対応するピクセル電圧が出力され、第3カラムラインCol3を介して第7~第9フォトダイオード(PD7~PD9)の電荷に対応するピクセル電圧が出力される。
【0057】
低照度環境で、ロジック回路は、各カラムライン(Col1~Col3)を共有する2以上のピクセル(PX1~PX9)からピクセル信号を同時に取得することができ、結果的に一つのピクセル群PGに対するピクセル信号を用いてイメージデータを構成する。
すなわち、複数のピクセル(PX1~PX9)を介して一つのピクセル群PGに対するピクセル信号を取得し、イメージセンサの感度を高め、イメージ品質を改善することができる。
一実施形態としてロジック回路の内部又は外部に備えられるイメージ信号プロセッサ(Image Signal Processor:ISP)により、カラーフィルタを含まない白色ピクセルで生成されたピクセル信号からイメージデータが生成される。
【0058】
また、本発明の一実施形態においては、ピクセル群PGがカラーピクセル及び白色ピクセルを含み、カラーピクセルの個数よりも白色ピクセルの個数がより多い。
相対的に高い感度を有する白色ピクセルをピクセル群PG内にさらに多く配置することで、低照度環境でピクセル信号の強度を増加させ、イメージセンサの感度及びイメージ品質を効果的に改善することができる。
【0059】
図10bに示した一実施形態においては、一つのピクセル群PGに含まれる各ピクセル(PX1~PX9)がフローティングディフュージョンとリセットトランジスタ、駆動トランジスタ、及び選択トランジスタを含む。
低照度環境におけるイメージセンサのロジック回路は、第1~第3リセット制御信号(RG1~RG3)を切り替えてフローティングディフュージョン(FD1~FD9)の電圧をリセットさせ、リセット電圧を先に取得する。
次に、ロジック回路は、第1~第3転送制御信号(TG1~TG3)を順次に切り替えながら、カラムライン(Col1~Col3)を介してピクセル電圧を取得する。
したがって、低照度環境では、カラムライン(Col1~Col3)を共有するピクセル(PX1~PX9)からピクセル信号を同時に取得し、ピクセル群PGの一つに対して取得したピクセル信号を用いてイメージを構成する。
結果的に、低照度環境で感度低下を防止し、イメージの品質を改善することができる。
【0060】
一方、高照度環境においては、強い強度の光により白色ピクセルのフォトダイオードが飽和する可能性がある。
本発明の一実施形態においては、高照度環境でカラーピクセルから取得したピクセル信号のみでイメージを構成することもできる。
カラーピクセルで取得したピクセル信号のみでイメージを構成するために、ロジック回路は、リモザイク方法を利用することができる。
【0061】
図11及び図12は、本発明の一実施形態に係るイメージセンサの動作を説明するための図である。
図11は、相対的に光が多い高照度環境でイメージセンサの動作を説明するための図であり、図12は、相対的に光が少ない低照度環境でイメージセンサの動作を説明するための図である。
【0062】
まず、図11を参照すると、ピクセルアレイ200は、カラーピクセルCP及び白色ピクセルWPを含む。
各ピクセル群(PG1~PG4)は、「3×3」形態で配置される9つのピクセルを含み、一例として1つのカラーピクセルCP及び8つの白色ピクセルWPを含む。
【0063】
高照度環境でイメージセンサが動作する場合、カラーピクセルCPに比べて相対的に高い感度を有する白色ピクセルWPでは、同じ露出時間が適用される場合でもフォトダイオードが飽和する現象が発生することがある。
したがって、イメージセンサは、外部照度が予め定められた閾値以上である場合、カラーピクセルCPのみからピクセル信号を取得する。
但し、カラーピクセルCPで取得したピクセル信号のみでイメージを構成する場合、ピクセルアレイ200に含まれるピクセルの個数に比べて、イメージの解像度が低くなることがある。
【0064】
例示として、ピクセルアレイ200が12万個のカラーピクセルCP及び96万個の白色ピクセルWPを含む。
上記例示において、カラーピクセルCP及び白色ピクセルWPのそれぞれの個数は、人の目で色を区別する錐体細胞及び光の強度を区別する桿体細胞の比率を考慮して決定されたものである。
したがって、カラーピクセルCPで取得したピクセル信号のみでイメージを生成する場合、ピクセルアレイ200に含まれるピクセルの個数に比べて、イメージの解像度が減少することがある。
本発明の一実施形態においては、イメージセンサが高照度環境でピクセル信号をリモザイク処理してイメージを生成することで、解像度の減少を防止する。
イメージセンサは、ピクセルアレイ200のカラーピクセルCPから取得したピクセル信号をデジタルデータであるピクセルデータに変換する。
リモザイクは、カラーピクセルCPから取得したピクセルデータの順次を再配列する動作を含む。
【0065】
図11を参照すると、カラーピクセルCPから取得したピクセルデータをピクセルアレイ200に含まれるカラーピクセルCPのパターンに合わせて再配列する。
したがって、ピクセルアレイ200に含まれるピクセルの個数及び同一の解像度を有するイメージデータ210が生成される。
イメージデータ210は、緑色ピクセルGP、赤色ピクセルRP、及び青色ピクセルBPで構成される。
図11に示した一実施形態では、ピクセルアレイ200においてカラーピクセルCPがベイヤーパターンで配置されるため、イメージデータ210に含まれる緑色ピクセルGP、赤色ピクセルRP、及び青色ピクセルBPもベイヤーパターンで配置される。
【0066】
次に、図12を参照すると、ピクセルアレイ200は、カラーピクセルCP及び白色ピクセルWPを含む。
各ピクセル群(PG1~PG4)は「3×3」形態で配置される9つのピクセルを含み、一例として1つのカラーピクセルCP及び8つの白色ピクセルWPを含む。
【0067】
低照度環境でイメージセンサが動作する場合、カラーピクセルCPに比べて相対的に高い感度を有する白色ピクセルWPが出力するピクセル信号を用いて、イメージ品質を改善する。
イメージセンサは、外部照度が予め定められた閾値以下である場合を低照度環境であると判断し、カラーピクセルCP及び白色ピクセルWPからピクセル信号を取得する。
低照度環境で被写体を撮影して生成したイメージの感度を高めるために、イメージセンサは、各ピクセル群(PG1~PG4)に対応するピクセル信号を取得する。
このとき、カラーフィルタを含まない白色ピクセルWPで生成されるピクセル信号は、イメージ信号プロセッサで処理される。
一実施形態としてイメージ信号プロセッサは、各ピクセル群(PG1~PG4)に含まれるカラーピクセルCPのカラーフィルタの色を基準に白色ピクセルWPで生成されるピクセル信号を処理することで、各ピクセル群(PG1~PG4)に対応するピクセル信号を取得する。
【0068】
低照度環境では被写体から流入する光量が少ないため、イメージセンサのロジック回路がピクセルアレイ200の各ピクセルから十分な情報を有するピクセルデータを確保し難いことがある。
本発明の一実施形態においては、各ピクセル群(PG1~PG4)を単位としてピクセル信号を生成することができ、これによって、被写体を表現するのに十分な情報を有するデータをロジック回路が取得することができる。
【0069】
一例として、第1ピクセル群PG1に含まれるカラーピクセルCP及び白色ピクセルWPが、一つの第1単位ピクセルUP1と定義される。
イメージセンサのロジック回路は、第1ピクセル群PG1及び3つのカラムラインを介して接続され、3つのカラムラインを介して取得したピクセル信号を合算する。
ロジック回路は、合算結果として、第1単位ピクセルUP1に対応する第1ピクセル信号を取得する。
各第2~第4ピクセル群(PG2~PG4)についても、上記と同様のアナログビニング動作が実行され、これによって、第2~第4単位ピクセル(UP2~UP4)に対応する第2~第4ピクセル信号をロジック回路が取得する。
次に、イメージ信号プロセッサなどで各ピクセル群(PG1~PG4)に含まれるカラーピクセルCPのカラーフィルタの色を考慮して、ピクセル信号を処理した後、イメージデータを構成する。
【0070】
したがって、低照度環境で生成されるイメージデータ220の解像度は、ピクセルアレイ200に含まれるピクセルの個数よりも小さいことがある。
一例として、イメージデータ220の解像度は、ピクセルアレイ200に含まれるピクセル群(PG1~PG4)の個数に対応する。
イメージデータ220の解像度が減少する一方、低照度環境でイメージセンサの感度を最大に確保することができるため、被写体を正確に表現することができる。
【0071】
また、本発明の一実施形態においては、各ピクセル群(PG1~PG4)がカラーピクセルCP及び白色ピクセルWPを含むように実現されるため、低照度環境でイメージセンサの感度をより効果的に確保することができる。
上述したように、白色ピクセルWPの個数は、カラーピクセルCPの個数よりも多く、白色ピクセルWPの個数がカラーピクセルCPの個数の整数倍であり得る。
一実施形態において、白色ピクセルWPの個数は、カラーピクセルCPの個数の4倍以上であり得、人の目に存在する錐体細胞及び桿体細胞の数を考慮して、白色ピクセルWPの個数がカラーピクセルCPの個数の8倍以上でもあり得る。
白色ピクセルWPの個数及びカラーピクセルCPの個数は、各ピクセル群(PG1~PG4)に含まれるピクセルの個数、及び白色ピクセルWP及びカラーピクセルCPの配置形態などに応じて多様に変形させることができる。
【0072】
図13a~図14bは、本発明の一実施形態に係るイメージセンサの動作を説明するための図である。
まず、図13a及び図13bは、高照度環境でイメージセンサの動作を説明するための図である。
図13a及び図13bを参照すると、イメージセンサ300は、ピクセルアレイ310及びロジック回路320を含む。
【0073】
ピクセルアレイ310は、複数のピクセルを含み、複数のピクセルは、カラーピクセルCP及び白色ピクセルWPを含む。
ピクセルアレイ310におけるカラーピクセルCP及び白色ピクセルWPの配置は、実施形態によって多様に変形させることができる。
ロジック回路320は、ロウドライバ321、リードアウト回路322、及びコントロールロジック323などを含む。
ロウドライバ321は、複数のロウライン(R1~R6)を介して複数のピクセルと接続され、リードアウト回路322は、複数のカラムライン(C1~C6)を介して複数のピクセルと接続される。
【0074】
図13a及び図13bに示した一実施形態において、カラーピクセルCP及び白色ピクセルWPのピクセル回路は、先に図10a又は図10bを参照して説明したものと同様である。
一例として、カラーピクセルCPは、周辺に配置された8つの白色ピクセルWP及び1つのピクセル群を提供し、ピクセル群内でのカラムライン(C1~C6)のいずれかに接続される3つのピクセルは、フローティングディフュージョン、リセットトランジスタ、駆動トランジスタ、選択トランジスタなどを共有する。
又は、カラーピクセルCP及び白色ピクセルWPのそれぞれが、フローティングディフュージョン、リセットトランジスタ、駆動トランジスタ、選択トランジスタを含むこともできる。
【0075】
カラーピクセルCPに比べて白色ピクセルWPは、相対的に高い感度を有するため、高照度環境で同じ露光時間の間、光に露出される場合、白色ピクセルWPが比較的早く飽和する可能性がある。
したがって、本発明の一実施形態においては、白色ピクセルWPが容易に飽和すると予想可能な高照度環境において、イメージセンサ300がカラーピクセルCPから取得したピクセル信号のみでイメージデータを生成する。
【0076】
まず、図13aを参照すると、ロウライン(R1~R6)の中からカラーピクセルCPが接続された一つ目のロウラインである第2ロウラインR2を活性化させる。
ロウドライバ321は、第2ロウラインR2に第2転送制御信号TG2を入力する。
第2転送制御信号TG2により、第2ロウラインR2に接続されたカラーピクセルCP及び白色ピクセルWPで転送トランジスタがターン-オンされ、フォトダイオードで生成された電荷がフローティングディフュージョンに移動する。
【0077】
リードアウト回路322は、複数のカラムライン(C1~C6)を介して第2ロウラインR2に接続されたカラーピクセルCP及び白色ピクセルWPからピクセル電圧を取得する。
リードアウト回路322は、第2転送制御信号TG2が入力される前に、複数のカラムライン(C1~C6)を介して取得したリセット電圧と、ピクセル電圧の差に対応するピクセル信号を生成する。
実施形態によって、リードアウト回路322は、カラーピクセルCPが接続された一部カラムライン(C2、C5)を介してのみ、リセット電圧及びピクセル電圧を取得し、ピクセル信号を生成することもできる。
【0078】
次に、図13bを参照すると、ロウドライバ321がロウライン(R1~R6)の中からカラーピクセルCPが接続された二つ目のロウラインである第5ロウラインR5を活性化させる。
第5転送制御信号TG5により、第5ロウラインR5に接続されたカラーピクセルCP及び白色ピクセルWPで転送トランジスタがターン-オンされ、フォトダイオードで生成された電荷がフローティングディフュージョンに移動する。
【0079】
リードアウト回路322は、複数のカラムライン(C1~C6)を介して第5ロウラインR5に接続されたカラーピクセルCP及び白色ピクセルWPからピクセル電圧を取得する。
リードアウト回路322は、第5転送制御信号TG5が入力される前に、複数のカラムライン(C1~C6)を介して取得したリセット電圧と、ピクセル電圧の差に対応するピクセル信号を生成する。
図13aを参照して説明したように、実施形態によって、リードアウト回路322は、カラーピクセルCPが接続された一部カラムライン(C2、C5)を介してのみリセット電圧とピクセル電圧を取得し、ピクセル信号を生成することもできる。
【0080】
図13a及び図13bを参照して説明したように、カラーピクセルCPから取得したピクセル信号は、デジタルデータであるピクセルデータに変換する。
コントロールロジック323は、ピクセルデータを再配列するリモザイク動作を行ってイメージデータを生成する。
リモザイク動作は、図11を参照して説明したものと同様である。
例えば、コントロールロジック323は、ピクセルアレイ310に含まれるカラーピクセルCPの配置に応じて、ピクセルデータを再配列してイメージデータを生成する。
【0081】
次に、図14a及び図14bは、低照度環境でイメージセンサの動作を説明するための図である。
上述したように、カラーピクセルCPに比べて白色ピクセルWPは、相対的に高い感度を有するため、低照度環境で白色ピクセルWPから取得したピクセル信号を用いてイメージデータを生成することで、イメージ品質を改善することができる。
一例として、リードアウト回路322は、複数の各カラムライン(C1~C6)に接続されるピクセルの一部のピクセル電圧を合算することにより、イメージデータを生成する際に白色ピクセルWPから取得したピクセル信号を利用する。
白色ピクセルWPがカラーフィルタを含まないため、ピクセル信号はイメージ信号プロセッサで処理された後、イメージデータに変換することができる。
【0082】
ピクセルアレイ310に含まれるピクセルは、ピクセル群単位で駆動する。
図14a及び図14bに示した一実施形態において、ピクセル群は、「3×3」形態で配置される9つのピクセルを含む。
まず、図14aを参照すると、一つ目のピクセル群に接続される第1~第3ロウライン(R1~R3)に順次に第1~第3制御信号(TG1~TG3)が入力される。
リードアウト回路322は、カラムライン(C1~C6)を介して第1ロウラインR1に接続されたピクセルのピクセル電圧、第2ロウラインR2に接続されたピクセルのピクセル電圧、及び第3ロウラインR3に接続されたピクセルのピクセル電圧を順次に取得する。
【0083】
又は、各ピクセル群内での各カラムライン(C1~C6)に接続される3つのピクセルを一つのフローティングディフュージョン及び駆動トランジスタなどを共有するように実現し、第1~第3制御信号(TG1~TG3)によって3つのピクセルに含まれるフォトダイオードの電荷をフローティングディフュージョンに蓄積させる。
リードアウト回路322は、各カラムライン(C1~C6)に接続される3つのピクセルに対するピクセル電圧を取得する。
また、リードアウト回路322は、ピクセル群の形態を考慮して、第1~第3カラムライン(C1~C3)から取得したピクセル電圧を合算し、第4~第6カラムライン(C4~C6)から取得したピクセル電圧を合算する。
【0084】
次に、図14bを参照すると、二つ目のピクセル群に接続される第4~第6ロウライン(R4~R6)に順次に第4~第6制御信号(TG4~TG6)が入力される。
リードアウト回路322は、カラムライン(C1~C6)を介して第4ロウラインR4に接続されたピクセルのピクセル電圧、第5ロウラインR5に接続されたピクセルのピクセル電圧、及び第6ロウラインR6に接続されたピクセルのピクセル電圧を順次に取得する。
リードアウト回路322は、ピクセル群の形態を考慮して、カラムライン(C1~C6)を介して取得したピクセル電圧の少なくとも一部を合算する。
【0085】
低照度環境でピクセル信号から生成されるイメージデータは、図12を参照して説明したように生成される。
例えば、第1~第3ロウライン(R1~R3)及び第1~第3カラムライン(C1~C3)に接続される9つのピクセルが一つの単位ピクセルとして定義される。
コントロールロジック323は、このように「3×3」形態で互いに隣接した9つのピクセルで定義される単位ピクセルを用いてイメージデータを生成する。
したがって、ピクセルアレイ310に含まれるピクセルの個数よりも低い解像度を有するが、低照度環境においても被写体が正確に表現される高い品質のイメージを提供することができる。
【0086】
図15は、本発明の一実施形態に係るイメージセンサのピクセルアレイを簡略的に示す図である。
図15を参照すると、本発明の一実施形態に係るイメージセンサのピクセルアレイ400は、第1方向(X軸方向)及び第2方向(Y軸方向)に沿って配列される複数のピクセル(410、420)を含む。
【0087】
ピクセルアレイ400は、カラーピクセル410、及び白色ピクセル420を含み、カラーピクセル410及び白色ピクセル420のそれぞれの個数は、多様に変形させることができる。
一例として、白色ピクセル420の個数がカラーピクセル410の個数よりも多い。
図15に示した一実施形態において、白色ピクセル420の個数は、カラーピクセル410の個数の3倍である。
【0088】
カラーピクセル410は、白色ピクセル420の内のカラーピクセル410の周辺に配置される「周辺の白色ピクセル」と一緒にピクセル群PGを提供する。
図15を参照すると、一つのカラーピクセル410が3つの「周辺の白色ピクセル」と一緒に一つのピクセル群PGを提供する。
各ピクセル群PGで、カラーピクセル410は、同一の位置に配置される。
【0089】
カラーピクセル410は、特定波長の光を選択的に通過させるカラーフィルタを含み、一例として、カラーフィルタは、赤色、緑色、青色のいずれかの光を通過させる。
図15を参照すると、一つのピクセル群PGに含まれるカラーピクセル410は、第1方向又は第2方向において隣接した他のピクセル群PGに含まれるカラーピクセル410と異なる色のカラーフィルタを含む。
第1方向及び第2方向において互いに「2×2」形態で隣接配置される4つのピクセル群PGに含まれるカラーピクセル110は、2つの緑色カラーピクセルと1つの赤色カラーピクセル及び1つの青色カラーピクセルを含み、ベイヤーパターンを構成する。
【0090】
実施形態によって、カラーピクセル410は、オートフォーカス機能を提供することができる。
このため、カラーピクセル410は、第1方向及び第2方向の少なくとも一つに沿って分離される複数のフォトダイオードを含む。
実施形態によって、白色ピクセル420もオートフォーカス機能を提供するために、複数のフォトダイオードを含むことができる。
【0091】
図16a~図16cは、本発明の一実施形態に係るイメージセンサのピクセルアレイを簡略的に示す図である。
図16a~図16cに示した実施形態において、イメージセンサのピクセルアレイ(500、500A、500B)は、ピクセル群PGを含み、各ピクセル群PGは、「5×5」形態で配置される複数のピクセルを含む。
各ピクセル群PGには、少なくとも一つのカラーピクセル(510、510A、510B)及び白色ピクセル(520、520A、520B)が含まれ、カラーピクセル(510、510A、510B)の個数は、白色ピクセル(520、520A、520B)の個数よりも少ない。
【0092】
まず、図16aを参照すると、各ピクセル群PGは、一つのカラーピクセル510及びその周辺に配置される白色ピクセル520を含む。
図16aに示した一実施形態において、カラーピクセル510と白色ピクセル520は、「1:24」の比率でピクセルアレイ500に配置される。
各ピクセル群PGでカラーピクセル510が中央に配置され、その周辺に白色ピクセル520が配置される。
図16aに示したように、各ピクセル群PGの中央にカラーピクセル510を配置することで、クロストーク(cross-talk)の影響を最小限に抑えることができる。
【0093】
ピクセルアレイ500で、ピクセル回路の構成は、先に図10a又は図10bを参照して説明したものと同様である。
一例として、各ピクセル群PGで第1方向(X軸方向)と同一の位置に配置される5つのピクセルが第2方向(Y軸方向)に延長する一つのカラムラインに接続され、フローティングディフュージョン、駆動トランジスタなどを共有する。
低照度環境でイメージセンサが被写体を撮影する場合、5つのピクセルに含まれたフォトダイオードから生成された電荷に対応するピクセル電圧が各カラムラインを介して出力される。
したがって、イメージセンサの感度を改善し、低照度環境でも被写体を正確に表現するイメージを生成することができる。
【0094】
図16bを参照すると、各ピクセル群PGは、5つのカラーピクセル510A及びその周辺に配置される白色ピクセル520Aを含む。
図16bに示した一実施形態において、カラーピクセル510Aと白色ピクセル520Aは、「1:4」の比率でピクセルアレイ500Aに配置される。
各ピクセル群PGで5つのカラーピクセル510Aは、「X」字状に配置されるが、これとは異なって、「十」字状に5つのカラーピクセル510Aが配置することもできる。
【0095】
次に、図16cを参照すると、各ピクセル群PGは、3つのカラーピクセル510B及びその周辺に配置される白色ピクセル520Bを含む。
図16cに示した一実施形態において、カラーピクセル510Bの個数と白色ピクセル520Aの個数の比率は、「3:22」である。
各ピクセル群PGにおいて、カラーピクセル510Bが同一の斜め方向に配置されるものとして示したが、これとは異なって、ピクセル群PGの少なくとも一部でカラーピクセル510Bが互いに異なる斜め方向に配置することもできる。
【0096】
図16a~図16cに示した実施形態において、カラーピクセル(510、510A、510B)は、オートフォーカス機能を提供する。
一例として、カラーピクセル(510、510A、510B)は、第1方向及び第2方向の少なくとも一つに沿って分離される複数のフォトダイオードを含む。
実施形態によって、白色ピクセル(520、520A、520B)もオートフォーカス機能を提供するために、複数のフォトダイオードを含むことができる。
また、図16a~図16cに示した実施形態とは異なる個数でカラーピクセル及び白色ピクセルを組み合わせることもできる。
一例として、「3×3」形態で9つのカラーピクセルが配列され、カラーピクセルを囲む形で16個の「周辺の白色ピクセル」を配置することもできる。
【0097】
図17a及び図17bは、本発明の一実施形態に係るイメージセンサのピクセルアレイを簡略的に示す図である。
図17a及び図17bに示した実施形態において、イメージセンサのピクセルアレイ(600、600A)は、ピクセル群PGを含み、各ピクセル群PGは、「4×4」形態で配置される複数のピクセルを含む。
【0098】
各ピクセル群PGには、少なくとも一つのカラーピクセル(610、610A)及び白色ピクセル(620、620A)が含まれ、カラーピクセル(610、610A)の個数は、白色ピクセル(620、620A)の個数よりも少ない。
図17a及び図17bに示した実施形態において、カラーピクセル(610、610A)と白色ピクセル(620、620A)の少なくとも一つは、オートフォーカス機能が提供できるように複数のフォトダイオードを含む。
【0099】
まず、図17aを参照すると、各ピクセル群PGは、4つのカラーピクセル610と、その周辺に配置される12個の白色ピクセル620を含む。
したがって、図17aに示した一実施形態において、カラーピクセル610と白色ピクセル620は、「1:4」の比率でピクセルアレイ600に配置される。
各ピクセル群PGにおいて、カラーピクセル610が中央に配置され、その周辺に白色ピクセル620が配置されることで、クロストークの影響を最小限に抑えることができる。
【0100】
図17bを参照すると、各ピクセル群PGは、2つのカラーピクセル610A及びその周辺に配置される14個の白色ピクセル620Aを含む。
したがって、図17bに示した一実施形態において、カラーピクセル610Aと白色ピクセル620Aは、「1:7」の比率でピクセルアレイ600Aに配置される。
各ピクセル群PGにおいて、2つのカラーピクセル610Aは、すべて同一の斜め方向に配置されるものとして示したが、これとは異なって、ピクセル群PGの少なくとも一部でカラーピクセル610Aが互いに異なる斜め方向に配置されるか、又は第1方向、第2方向に配置することもできる。
【0101】
本発明の一実施形態に係るイメージセンサのピクセルアレイは、カラーピクセル及び白色ピクセルを含む。
カラーピクセル及び白色ピクセルは、複数のピクセル群を提供し、各ピクセル群は、カラーピクセルの少なくとも一つ、及び白色ピクセルの少なくとも一つのカラーピクセルの周辺に配置される「周辺の白色ピクセル」を含む。
ピクセルアレイに含まれるカラーピクセルの個数及び白色ピクセルの個数の比率は、各ピクセル群に含まれる少なくとも一つのカラーピクセルの個数と白色ピクセルの個数の比率と同様である。
すなわち、各ピクセル群は、少なくとも一つのカラーピクセルと白色ピクセルを同一の比率で含む。
【0102】
ピクセルアレイに含まれるカラーピクセルの個数及び白色ピクセルの個数は、人の目に存在する錐体細胞及び桿体細胞の比率を考慮して決定する。
一例として、白色ピクセルの個数は、カラーピクセルの個数の4倍以上であり得る。
実施形態によって、白色ピクセルの個数がカラーピクセルの個数の整数倍で表現されないこともある。
【0103】
図18及び図19は、本発明の一実施形態に係るイメージセンサのピクセルアレイを簡略的に示す図である。
図18及び図19に示した実施形態において、各ピクセルアレイ(700、800)は、複数のピクセル群(WPG、RPG、GPG、BPG)を含む。
一例として、複数のピクセル群(WPG、RPG、GPG、BPG)は、白色ピクセル群WPG、赤色カラーピクセル群RPG、緑色カラーピクセル群GPG、及び青色カラーピクセル群BPGに区分され、複数の各ピクセル群(WPG、RPG、GPG、BPG)は、第1方向(X軸方向)に隣接する一対のピクセルを含む。
但し、実施形態によって、複数の各ピクセル群(WPG、RPG、GPG、BPG)は、第2方向(Y軸方向)に隣接する一対のピクセルを含むこともできる。
【0104】
図18に示した一実施形態に係るピクセルアレイ800において、複数のピクセル群(WPG、RPG、GPG、BPG)は、第1方向及び第2方向に沿って配列され、白色ピクセル群WPGの個数がカラーピクセル群(RPG、GPG、BPG)の個数よりも多い。
各白色ピクセル群WPGは、一対の白色ピクセル710を含み、各カラーピクセル群(RPG、GPG、BPG)は、一対のカラーピクセル(720、730、740)を含む。
複数の各ピクセル群(WPG、RPG、GPG、BPG)に含まれる一対のピクセルは、一つのマイクロレンズMLを共有し、これによって、ピクセルアレイ800と接続されるロジック回路は、複数の各ピクセル群(WPG、RPG、GPG、BPG)に含まれる一対のピクセルから取得したピクセル信号の位相差を用いてオートフォーカス機能を実現することができる。
ピクセルアレイ700におけるピクセル群(WPG、RPG、GPG、BPG)の配置形態により、第2方向においてマイクロレンズMLは、ジグザグ形で配置される。
【0105】
一実施形態において、複数のピクセル群(WPG、RPG、GPG、BPG)の内の第2方向に第1位置に配置される第1ピクセル群は、カラーピクセル群(RPG、GPG、BPG)の一部及び白色ピクセル群WPGの一部を含む。
図18を参照すると、第2方向において上から2行目には、一対の緑色カラーピクセル720をそれぞれ含む緑色カラーピクセル群GPG及び白色ピクセル群WPGが配置される。
図18に示したように、第1方向に最も近い一対の緑色カラーピクセル群GPG間には、少なくとも一つの白色ピクセル群WPGが配置される。
【0106】
第1カラーピクセル群を構成する第1カラーピクセルは、すべて同じ色の光を通過させるカラーフィルタを含み得る。
一例として、図18に示した一実施形態において、第2方向において上から2行目には、緑色カラーフィルタを含む緑色カラーピクセル720で構成される緑色カラーピクセル群GPGのみが配置される。
同様に、第2方向において上から3行目には、赤色カラーピクセル730で構成される赤色カラーピクセル群RPGが白色ピクセル群WPGと一緒に配置され、第2方向において上から4行目には、青色カラーピクセル740で構成される青色カラーピクセル群BPGが白色ピクセル群WPGと一緒に配置される。
すなわち、第1方向に沿って互いに異なる色のカラーピクセル群(RPG、GPG、BPG)が一緒に配置されない。
【0107】
一方、第2方向において第1位置と異なる第2位置に配置される第2ピクセル群は、白色ピクセル群の内の一部である第2白色ピクセル群のみを含む。
図18を参照すると、第2方向において最上に配置された1行目には、白色ピクセル群BPGのみが配置される。
すなわち、第2ピクセル群は、カラーピクセル群(RPG、GPG、BPG)を含まない。
【0108】
一実施形態において、カラーピクセル群(RPG、GPG、BPG)は、カラーフィルタが通過させる色に応じて第2方向において互いに異なる位置に配置される。
図18を参照すると、緑色カラーピクセル群GPG、赤色カラーピクセル群RPG、及び青色カラーピクセル群BPGが第2方向において、互いに異なる位置に配置される。
また、緑色カラーピクセル群GPGの個数が、赤色カラーピクセル群RPGの個数及び青色カラーピクセル群BPGの個数よりも多い。
【0109】
緑色カラーピクセル群GPGの少なくとも一つは、第1方向において赤色カラーピクセル群RPG及び青色カラーピクセル群BPGの少なくとも一つと同じ位置に配置される。
また、第1方向において同じ位置に配置されるカラーピクセル群(RPG、GPG、BPG)は、互いに連続的に配置されず、その間に白色ピクセル群WPGの少なくとも一つが配置される。
一例として、第1方向において同じ位置に配置される緑色カラーピクセル群GPGの少なくとも一つと、青色カラーピクセル群BPGの少なくとも一つとの間には、白色ピクセル群WPGの少なくとも1つが配置される。
【0110】
各カラーピクセル群(RPG、GPG、BPG)は、第1方向及び第2方向から白色ピクセル群WPGの少なくとも一部で囲まれている。
一例として、図18の各カラーピクセル群(RPG、GPG、BPG)の境界は、他のカラーピクセル群(RPG、GPG、BPG)の境界ではなく、白色ピクセル群WPGの境界と当接している。
【0111】
図19に示した一実施形態に係るピクセルアレイ800は、先に図18を参照して説明したピクセルアレイ700と類似した構造を有する。
但し、図19に示した一実施形態に係るピクセルアレイ800に含まれる白色ピクセル群WPGの個数が、図18を参照して説明したピクセルアレイ700に含まれる白色ピクセル群WPGの個数よりも相対的に少ない。
【0112】
図19を参照すると、第2方向において定義されるすべての位置にカラーピクセル群(RPG、GPG、BPG)の少なくとも一つが配置される。
すなわち、第1方向に延長する方向において白色ピクセル群WPGのみが配置される構造が現れない。
また、図19に示した一実施形態においては、緑色カラーピクセル群GPGの個数が図18に示した一実施形態に比べて多い。
図18に示した一実施形態においては、緑色カラーピクセル群GPGの個数が赤色カラーピクセル群RPGの個数、及び青色カラーピクセル群BPGの個数のそれぞれの2倍である。
【0113】
一方、図19に示した実施形態においては、緑色カラーピクセル群GPGの個数が赤色カラーピクセル群RPGの個数、及び青色カラーピクセル群BPGの個数のそれぞれの4倍である。
図18及び図19に示した各実施形態において、白色ピクセル群WPGとカラーピクセル群(RPG、GPG、BPG)の個数の比率は、以下の表1のとおりである。
【表1】
【0114】
図18及び図19に示した実施形態では、白色ピクセル群WPGの個数がカラーピクセル群(RPG、GPG、BPG)の個数よりも多い。
これは、人の目に存在する錐体細胞と桿体細胞の比率を考慮したものであり、白色ピクセル群WPGを相対的に多く配置することで、イメージセンサの感度を改善し、イメージセンサが生成するイメージ品質を向上させることができる。
【0115】
図20及び図21は、本発明の一実施形態に係るイメージセンサを含む電子機器の構成を簡略的に示すブロック図である。
図20を参照すると、電子機器1000は、カメラモジュール群1100、アプリケーションプロセッサ1200、PMIC1300、及び外部メモリ1400を含む。
【0116】
カメラモジュール群1100は、複数のカメラモジュール(1100a、1100b、1100c)を含む。
図には、3つのカメラモジュール(1100a、1100b、1100c)が配置された実施形態が示したが、実施形態がこれに制限されるものではない。
一実施形態において、カメラモジュール群1100は、2つのカメラモジュールのみを含むように変形して実施することができる。
また、一実施形態において、カメラモジュール群1100は、n個(nは4以上の自然数)のカメラモジュールを含むように変形して実施することもできる。
また、一実施形態において、カメラモジュール群1100に含まれる複数のカメラモジュール(1100a、1100b、1100c)の少なくとも一つは、先に図1図19を参照して説明した実施形態のいずれかによるイメージセンサを含むことができる。
【0117】
以下、図21を参照して、カメラモジュール1100bの詳細構成についてより具体的に説明するが、以下の説明は、実施形態によって異なるカメラモジュール(1100a、1100b)についても同様に適用することができる。
【0118】
図21を参照すると、カメラモジュール1100bは、プリズム1105、光学経路折りたたみ要素(Optical Path Folding Element、以下、「OPFE」)1110、アクチュエータ1130、イメージセンシング装置1140、及び保存部1150を含む。
【0119】
プリズム1105は、光反射物質の反射面1107を含み、外部から入射される光Lの経路を変形させることができる。
一実施形態において、プリズム1105は、第1方向Xに入射される光Lの経路を第1方向Xに垂直な第2方向Yに変更させる。
また、プリズム1105は、光反射物質の反射面1107を、中心軸1106を中心としてA方向に回転させるか、中心軸1106をB方向に回転させて第1方向Xに入射される光Lの経路を垂直な第2方向Yに変更させる。
このとき、OPFE1110も第1方向X及び第2方向Yと垂直な第3方向Zに移動する。
【0120】
一実施形態において、図に示したように、プリズム1105のA方向の最大回転角度は、プラス(+)A方向には15度(degree)以下であり、マイナス(-)A方向には15度よりも大きいが、実施形態がこれに制限されるものではない。
一実施形態において、プリズム1105は、プラス(+)又はマイナス(-)B方向に20度前後、又は10度~20度、又は15度~20度の間で動くことができ、ここで、動く角度はプラス(+)又はマイナス(-)B方向に同じ角度で動くか、1度前後の範囲でほぼ類似した角度まで動くことができる。
一実施形態において、プリズム1105は、光反射物質の反射面1107を中心軸1106の延長方向と平行な第3方向(例えば、Z方向)に移動する。
【0121】
OPFE1110は、例えば、m(ここで、mは自然数)個の群からなる光学レンズを含む。
m個のレンズは、第2方向Yに移動してカメラモジュール1100bの光学ズーム倍率(optical zoom ratio)を変更する。
例えば、カメラモジュール1100bの基本光学ズーム倍率を「Z」とするとき、OPFE1110に含まれたm個の光学レンズを移動させた場合、カメラモジュール1100bの光学ズーム倍率は、「3Z」又は「5Z」又は「5Z以上」の光学ズーム倍率に変更することができる。
【0122】
アクチュエータ1130は、OPFE1110又は光学レンズ(以下、光学レンズと称する)を特定位置に移動させる。
例えば、アクチュエータ1130は、正確なセンシングのためにイメージセンサ1142が光学レンズの焦点距離(focal length)に位置するように光学レンズの位置を調整する。
【0123】
イメージセンシング装置1140は、イメージセンサ1142、制御ロジック1144、及びメモリ1146を含む。
イメージセンサ1142は、光学レンズを介して提供される光Lを用いてセンシング対象のイメージをセンシングする。
制御ロジック1144は、カメラモジュール1100bの全体的な動作を制御する。
例えば、制御ロジック1144は、制御信号ラインCSLbを介して提供された制御信号に応じて、カメラモジュール1100bの動作を制御する。
【0124】
メモリ1146は、キャリブレーションデータ1147などのカメラモジュール1100bの動作に必要な情報を保存する。
キャリブレーションデータ1147は、カメラモジュール1100bが外部から提供された光Lを利用してイメージデータを生成するのに必要な情報を含む。
キャリブレーションデータ1147は、例えば、上述した回転度(degree of rotation)に関する情報、焦点距離(focal length)に関する情報、光学軸(optical axis)に関する情報などを含む。
カメラモジュール1100bが光学レンズの位置によって焦点距離が変わるマルチステート(multi state)カメラの形で実現される場合、キャリブレーションデータ1147は、光学レンズの各位置別(又はステート別)の焦点距離値及びオートフォーカシング(auto focusing)に関する情報を含む。
【0125】
保存部1150は、イメージセンサ1142を介してセンシングされたイメージデータを保存する。
保存部1150は、イメージセンシング装置1140の外部に配置され得、イメージセンシング装置1140を構成するセンサチップ及びスタックされた(stacked)形で実現することができる。
一実施形態において、保存部1150は、EEPROM(Electrically Erasable Programmable Read-Only Memory)で実現することができるが、実施形態がこれに制限されるものではない。
【0126】
図20及び図21を一緒に参照すると、一実施形態において、複数の各カメラモジュール(1100a、1100b、1100c)は、アクチュエータ1130を含む。
これにより、複数の各カメラモジュール(1100a、1100b、1100c)は、その内部に含まれたアクチュエータ1130の動作に応じて互いに同一又は異なるキャリブレーションデータ1147を含むことができる。
【0127】
一実施形態において、複数のカメラモジュール(1100a、1100b、1100c)のいずれかのカメラモジュール(例えば、1100b)は、先に説明したプリズム1105及びOPFE1110を含むフォールデッドレンズ(folded lens)形のカメラモジュールであり、残りのカメラモジュール(例えば、1100a、1100b)は、プリズム1105及びOPFE1110が含まれないバーティカル(vertical)形のカメラモジュールであることができるが、実施形態がこれに制限されるものではない。
【0128】
一実施形態において、複数のカメラモジュール(1100a、1100b、1100c)のいずれかのカメラモジュール(例えば、1100c)は、例えば、IR(Infrared Ray)を用いて、深さ(depth)情報を抽出するバーティカル形の深度カメラ(depth camera)であり得る。
この場合、アプリケーションプロセッサ1200は、このような深度カメラから提供されたイメージデータと、他のカメラモジュール(例えば、1100a又は1100b)から提供されたイメージデータを併合(merge)して3次元の深度イメージ(3D depth image)を生成することができる。
【0129】
一実施形態において、複数のカメラモジュール(1100a、1100b、1100c)の少なくとも2つのカメラモジュール(例えば、1100a、1100b)は、互いに異なる観測視野(Field of View:視野角)を有し得る。
この場合、例えば、複数のカメラモジュール(1100a、1100b、1100c)の少なくとも2つのカメラモジュール(例えば、1100a、1100b)の光学レンズを互いに異なるようにすることができるが、これに制限されるものではない。
また、一実施形態において、複数の各カメラモジュール(1100a、1100b、1100c)それぞれの視野角が互いに異なり得る。
この場合、複数の各カメラモジュール(1100a、1100b、1100c)に含まれた光学レンズも互いに異なり得るが、これに制限されるものではない。
【0130】
一実施形態において、複数の各カメラモジュール(1100a、1100b、1100c)は、互いに物理的に離隔して配置され得る。
すなわち、1つのイメージセンサ1142のセンシング領域を複数のカメラモジュール(1100a、1100b、1100c)が分割して用いるものではなく、複数の各カメラモジュール(1100a、1100b、1100c)の内部に独立したイメージセンサ1142が配置され得る。
【0131】
再び、図20を参照すると、アプリケーションプロセッサ1200は、イメージ処理装置1210、メモリコントローラ1220、内部メモリ1230を含む。
アプリケーションプロセッサ1200は、複数のカメラモジュール(1100a、1100b、1100c)と分離して実現され得る。
例えば、アプリケーションプロセッサ1200と、複数のカメラモジュール(1100a、1100b、1100c)は、別の半導体チップに互いに分離して実現することができる。
【0132】
イメージ処理装置1210は、複数のサブイメージプロセッサ(1212a、1212b、1212c)、イメージ生成器1214、及びカメラモジュールコントローラ1216を含む。
イメージ処理装置1210は、複数のカメラモジュール(1100a、1100b、1100c)の個数に対応する個数の複数のサブイメージプロセッサ(1212a、1212b、1212c)を含む。
【0133】
各カメラモジュール(1100a、1100b、1100c)から生成されたイメージデータは、互いに分離したイメージ信号ライン(ISLa、ISLb、ISLc)を介して対応するサブイメージプロセッサ(1212a、1212b、1212c)に提供される。
例えば、カメラモジュール1100aから生成されたイメージデータは、イメージ信号ラインISLaを介してサブイメージプロセッサ1212aに提供され、カメラモジュール1100bから生成されたイメージデータは、イメージ信号ラインISLbを介してサブイメージプロセッサ1212bに提供され、カメラモジュール1100cから生成されたイメージデータは、イメージ信号ラインISLcを介してサブイメージプロセッサ1212cに提供される。
このようなイメージデータの転送は、例えば、MIPI(Mobile Industry Processor Interface)に基づいたカメラ直列インタフェース(Camera Serial Interface:CSI)を用いて行うことができるが、実施形態がこれに制限されるものではない。
【0134】
一方、一実施形態において、一つのサブイメージプロセッサが複数のカメラモジュールに対応するように配置することもできる。
例えば、サブイメージプロセッサ1212a及びサブイメージプロセッサ1212cが図に示したように互いに分離して実現されるのではなく、1つのサブイメージプロセッサに統合して実現され、カメラモジュール1100a及びカメラモジュール1100cから提供されたイメージデータは、選択素子(例えば、マルチプレクサ)などを介して選択された後、統合されたサブイメージプロセッサに提供することもできる。
【0135】
各サブイメージプロセッサ(1212a、1212b、1212c)に提供されたイメージデータは、イメージ生成器1214に提供される。
イメージ生成器1214は、イメージ生成情報(Generating Information)又はモード信号(Mode Signal)により、各サブイメージプロセッサ(1212a、1212b、1212c)から提供されたイメージデータを用いて出力イメージを生成する。
具体的には、イメージ生成器1214は、イメージ生成情報又はモード信号に応じて、互いに異なる視野角を有するカメラモジュール(1100a、1100b、1100c)から生成されたイメージデータの少なくとも一部を併合(merge)して出力イメージを生成する。
また、イメージ生成器1214は、イメージ生成情報又はモード信号に応じて、互いに異なる視野角を有するカメラモジュール(1100a、1100b、1100c)から生成されたイメージデータのいずれかを選択して出力イメージを生成することもできる。
【0136】
一実施形態において、イメージ生成情報は、ズーム信号(zoom signal or zoom factor)を含む。
また、一実施形態において、モード信号は、例えば、ユーザ(user)から選択されたモードに基づいた信号である。
イメージ生成情報がズーム信号(ズームファクター)であり、それぞれのカメラモジュール(1100a、1100b、1100c)が互いに異なる観測視野(視野角)を有する場合、イメージ生成器1214は、ズーム信号の種類に応じて互いに異なる動作を行う。
【0137】
例えば、ズーム信号が第1信号である場合、カメラモジュール1100aから出力されたイメージデータとカメラモジュール1100cから出力されたイメージデータを併合した後、併合されたイメージ信号と併合に用いていないカメラモジュール1100bから出力されたイメージデータを用いて、出力イメージを生成する。
もし、ズーム信号が第1信号と異なる第2信号である場合、イメージ生成器1214は、このようなイメージデータの併合を行わず、各カメラモジュール(1100a、1100b、1100c)から出力されたイメージデータのいずれかを選択して出力イメージを生成する。
しかし、実施形態がこれに制限されるものではなく、必要に応じて、イメージデータを処理する方法は、いくらでも変形して実施することができる。
【0138】
一実施形態において、イメージ生成器1214は、複数のサブイメージプロセッサ(1212a、1212b、1212c)の少なくとも一つから、露出時間が相違する複数のイメージデータを受信し、複数のイメージデータに対してHDR(high dynamic range)処理を行うことで、ダイナミックレンジが増加して併合されたイメージデータを生成する。
【0139】
カメラモジュールコントローラ1216は、各カメラモジュール(1100a、1100b、1100c)に制御信号を提供する。
カメラモジュールコントローラ1216から生成された制御信号は、互いに分離した制御信号ライン(CSLa、CSLb、CSLc)を介して対応するカメラモジュール(1100a、1100b、1100c)に提供される。
【0140】
複数のカメラモジュール(1100a、1100b、1100c)のいずれかは、ズーム信号を含むイメージ生成情報又はモード信号に応じて、マスター(master)カメラ(例えば、1100b)に指定され、残りのカメラモジュール(例えば、1100a、1100c)は、スレーブ(slave)カメラに指定される。
このような情報は、制御信号に含まれて互いに分離した制御信号ライン(CSLa、CSLb、CSLc)を介して対応するカメラモジュール(1100a、1100b、1100c)に提供される。
【0141】
ズームファクター又は動作モード信号に応じて、マスター及びスレーブとして動作するカメラモジュールを変更することもできる。
例えば、カメラモジュール1100aの視野角がカメラモジュール1100bの視野角よりも広く、ズームファクターが低いズーム倍率を示す場合、カメラモジュール1100bがマスターとして動作し、カメラモジュール1100aがスレーブとして動作する。
逆に、ズームファクターが高いズーム倍率を示す場合、カメラモジュール1100aがマスターとして動作し、カメラモジュール1100bがスレーブとして動作する。
【0142】
一実施形態において、カメラモジュールコントローラ1216からそれぞれのカメラモジュール(1100a、1100b、1100c)に提供される制御信号は、シンクイネーブル信号(sync enable)信号を含む。
例えば、カメラモジュール1100bがマスターカメラであり、カメラモジュール(1100a、1100c)がスレーブカメラである場合、カメラモジュールコントローラ1216は、カメラモジュール1100bにシンクイネーブル信号を転送する。
このようなシンクイネーブル信号を提供されたカメラモジュール1100bは、提供されたシンクイネーブル信号を基にシンク信号(sync signal)を生成し、生成されたシンク信号を、シンク信号ラインSSLを介してカメラモジュール(1100a、1100c)に提供する。
カメラモジュール1100b及びカメラモジュール(1100a、1100c)は、このようなシンク信号に同期化してイメージデータをアプリケーションプロセッサ1200に転送する。
【0143】
一実施形態において、カメラモジュールコントローラ1216から複数のカメラモジュール(1100a、1100b、1100c)に提供される制御信号は、モード信号に応じたモード情報を含む。
このようなモード情報に基づいて、複数のカメラモジュール(1100a、1100b、1100c)は、センシング速度と関連して第1動作モード及び第2動作モードで動作する。
複数のカメラモジュール(1100a、1100b、1100c)は、第1動作モードにおいて、第1速度でイメージ信号を生成(例えば、第1フレームレートのイメージ信号を生成)し、これを第1速度よりも速い第2速度でエンコード(例えば、第1フレームレートよりも高い第2フレームレートのイメージ信号をエンコード)し、エンコードされたイメージ信号をアプリケーションプロセッサ1200に転送する。
このとき、第2速度は第1速度の30倍以下であることができる。
【0144】
アプリケーションプロセッサ1200は、受信したイメージ信号、すなわち、エンコードされたイメージ信号を内部に備えるメモリ1230又はアプリケーションプロセッサ1200の外部のストレージ1400に保存し、その後、メモリ1230又はストレージ1400からエンコードされたイメージ信号を読み出してデコードし、デコードされたイメージ信号に基づいて生成されるイメージデータを表示する。
例えば、イメージ処理装置1210の複数のサブプロセッサ(1212a、1212b、1212c)の内の対応するサブプロセッサがデコードを行い、また、デコードされたイメージ信号に対してイメージ処理を行う。
【0145】
複数のカメラモジュール(1100a、1100b、1100c)は、第2動作モードにおいて、第1速度よりも遅い第3速度でイメージ信号を生成(例えば、第1フレームレートよりも低い第3フレームレートのイメージ信号を生成)し、イメージ信号をアプリケーションプロセッサ1200に転送する。
アプリケーションプロセッサ1200に提供されるイメージ信号は、エンコードされない信号であり得る。
アプリケーションプロセッサ1200は、受信したイメージ信号に対してイメージ処理を行うか、又はイメージ信号をメモリ1230やストレージ1400に保存する。
【0146】
PMIC1300は、複数の各カメラモジュール(1100a、1100b、1100c)に電力、例えば、電源電圧を供給する。
例えば、PMIC1300は、アプリケーションプロセッサ1200の制御下にて、パワー信号ラインPSLaを介してカメラモジュール1100aに第1電力を供給し、パワー信号ラインPSLbを介してカメラモジュール1100bに第2電力を供給し、パワー信号ラインPSLcを介してカメラモジュール1100cに第3電力を供給する。
【0147】
PMIC1300は、アプリケーションプロセッサ1200からの電力制御信号PCONに応答して、複数の各カメラモジュール(1100a、1100b、1100c)に対応する電力を生成し、また、電力レベルを調整する。
電力制御信号PCONは、複数のカメラモジュール(1100a、1100b、1100c)の動作モード別の電力調整信号を含む。
例えば、動作モードは、低電力モード(low power mode)を含み得、このとき、電力制御信号PCONは、低電力モードで動作するカメラモジュール及び設定される電力レベルに対する情報を含む。
複数の各カメラモジュール(1100a、1100b、1100c)に提供される電力レベルは、互いに同一又は異なり得る。
また、電力レベルは、動的に変更することができる。
【0148】
尚、本発明は、上述の実施形態に限られるものではない。本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。
【符号の説明】
【0149】
10 電子機器
20 第1カメラ装置
30 第2カメラ装置
40 イメージセンサ
50 ピクセルアレイ
60 ロジック回路
61 ロウドライバ
62 リードアウト回路
63 カラムドライバ
64 コントロールロジック
100、100A、100B ピクセルアレイ
101 半導体基板
102 素子
103 配線パターン
104 絶縁層
110、110A、110B カラーピクセル
111 第1マイクロレンズ
112 第1光透過層
115 第1カラーフィルタ
120、120A、120B 白色ピクセル
121 第2マイクロレンズ
122 第2光透過層
125 第2カラーフィルタ
PD フォトダイオード
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10a
図10b
図11
図12
図13a
図13b
図14a
図14b
図15
図16a
図16b
図16c
図17a
図17b
図18
図19
図20
図21