(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022136987
(43)【公開日】2022-09-21
(54)【発明の名称】イメージ・センサ及びその動作方法、並びにイメージ・センサを含む電子装置
(51)【国際特許分類】
H04N 5/361 20110101AFI20220913BHJP
【FI】
H04N5/361
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2022027984
(22)【出願日】2022-02-25
(31)【優先権主張番号】10-2021-0030306
(32)【優先日】2021-03-08
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】17/529,744
(32)【優先日】2021-11-18
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】390019839
【氏名又は名称】三星電子株式会社
【氏名又は名称原語表記】Samsung Electronics Co.,Ltd.
【住所又は居所原語表記】129,Samsung-ro,Yeongtong-gu,Suwon-si,Gyeonggi-do,Republic of Korea
(74)【代理人】
【識別番号】110000051
【氏名又は名称】弁理士法人共生国際特許事務所
(72)【発明者】
【氏名】金 煥 雄
(72)【発明者】
【氏名】金 智 勳
(72)【発明者】
【氏名】朴 主 恩
(72)【発明者】
【氏名】林 政 ウク
(72)【発明者】
【氏名】鄭 有 珍
(72)【発明者】
【氏名】鄭 泰 燮
【テーマコード(参考)】
5C024
【Fターム(参考)】
5C024CX32
5C024CX35
5C024EX43
5C024EX52
5C024GX03
5C024GZ36
(57)【要約】
【課題】イメージ・センサの複雑度の増加及び追加された回路によってイメージ・データに発生するノイズを除去するイメージ・センサ、イメージ・センサの動作方法、及びイメージ・センサを含む電子装置を提供する。
【解決手段】本発明によるイメージ・センサは、複数のピクセル及び複数の基準ピクセルを含むピクセル・アレイと、前記複数のピクセル及び前記複数の基準ピクセルから複数の信号を感知するように構成されるアナログ感知回路と、前記アナログ感知回路から前記複数の信号を受信し、前記複数の信号の内の前記基準ピクセルの信号を用いて前記複数の信号の内の前記ピクセルの信号を補償するように構成されるデジタル論理回路と、を有し、前記基準ピクセルのそれぞれは、前記ピクセルの間に配置される。
【選択図】
図1
【特許請求の範囲】
【請求項1】
複数のピクセル及び複数の基準ピクセルを含むピクセル・アレイと、
前記複数のピクセル及び前記複数の基準ピクセルから複数の信号を感知するように構成されるアナログ感知回路と、
前記アナログ感知回路から前記複数の信号を受信し、前記複数の信号の内の前記基準ピクセルの信号を用いて前記複数の信号の内の前記ピクセルの信号を補償するように構成されるデジタル論理回路と、を有し、
前記基準ピクセルのそれぞれは、前記ピクセルの間に配置されることを特徴とするイメージ・センサ。
【請求項2】
前記基準ピクセルのそれぞれは、前記ピクセルのそれぞれと同じ構造を有し、
前記基準ピクセルのそれぞれは、外部から入射する光を前記外部に反射する反射物質をさらに備えることを特徴とする請求項1に記載のイメージ・センサ。
【請求項3】
前記デジタル論理回路は、前記基準ピクセルの信号に基づいて前記基準ピクセルの漏れを計算し、前記基準ピクセルの漏れに基づいて前記ピクセルの漏れを補償するように構成されることを特徴とする請求項1に記載のイメージ・センサ。
【請求項4】
基準ピクセルの漏れは、ダーク・レベルの漏れであることを特徴とする請求項3に記載のイメージ・センサ。
【請求項5】
前記ピクセル・アレイは、複数の補償ユニットを含み、
前記補償ユニットのそれぞれは、前記複数の基準ピクセルの内の1つの基準ピクセル及び前記複数のピクセルの内の2つ以上のピクセルを含み、
前記デジタル論理回路は、前記補償ユニットのそれぞれにおいて、前記1つの基準ピクセルの信号に基づいて前記2つ以上のピクセルの信号を補償することを特徴とする請求項1に記載のイメージ・センサ。
【請求項6】
前記補償ユニットのそれぞれにおいて、前記2つ以上のピクセルは2つ以上の行と2つ以上の列に配置され、前記1つの基準ピクセルは前記2つ以上のピクセルの中央に配置されることを特徴とする請求項5に記載のイメージ・センサ。
【請求項7】
前記補償ユニットのそれぞれにおいて、前記2つ以上のピクセルは2つ以上の行と2つ以上の列に配置され、前記1つの基準ピクセルは前記2つ以上の行の内の1番目の行に配置されることを特徴とする請求項5に記載のイメージ・センサ。
【請求項8】
前記補償ユニットのそれぞれの前記ピクセル・アレイ上の位置に応じて、前記補償ユニットのそれぞれに含まれる前記2つ以上のピクセルの数が変化することを特徴とする請求項5に記載のイメージ・センサ。
【請求項9】
複数のピクセルと複数の基準ピクセルを含むイメージ・センサの動作方法であって、
前記複数のピクセル及び前記複数の基準ピクセルから複数の信号を感知する段階と、
前記感知された複数の信号の内の前記基準ピクセルの信号に基づいて前記複数のピクセルの信号を補償する段階と、
前記補償された信号を出力する段階と、を有し、
前記基準ピクセルは、前記ピクセルの間に配置されることを特徴とするイメージ・センサの動作方法。
【請求項10】
プロセッサと、
前記プロセッサの制御にしたがってイメージ・データを生成し、前記イメージ・データを前記プロセッサに提供するイメージ・センサと、を有し、
前記イメージ・センサは、複数のピクセル及び複数の基準ピクセルを含むピクセル・アレイと、
前記複数のピクセル及び前記複数の基準ピクセルから複数の信号を感知するように構成されるアナログ感知回路と、
前記アナログ感知回路から前記複数の信号を受信し、前記複数の信号の内の前記基準ピクセルの信号を用いて、前記複数の信号の内の前記ピクセルの信号を補償するように構成されるデジタル論理回路と、
前記補償された信号を前記イメージ・データとして前記プロセッサに出力するように構成されるインターフェース回路と、を含み、
前記基準ピクセルのそれぞれは、フォトダイオードと、
前記フォトダイオード上の反射物質と、
前記反射物質上のカラーフィルタと、
前記カラーフィルタ上のマイクロレンズと、を含むことを特徴とする電子装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は電子装置に関し、特に、画質を改善するイメージ・センサ及びその動作方法、並びにイメージ・センサを含む電子装置に関する。
【背景技術】
【0002】
イメージ・センサは、入射光をキャプチャーしてイメージ・データを生成する。
イメージ・センサは、スマート・フォン、スマート・パッドなどの多様なモバイル・デバイスに搭載され、マルチ・メディア・コンテンツを生成するために使用されている。
【0003】
イメージ・センサの製造テクノロジーが発展しつつ、イメージ・センサの解像度が増加している。
イメージ・センサの解像度の増加は、イメージ・センサを構成する回路の複雑度を高めている。
また、イメージ・センサの製造テクノロジーが進歩しつつ、イメージ・センサに多様な機能が追加され、そして多様な機能を実行できる回路が追加されている。
【0004】
イメージ・センサを構成する回路の複雑度が増加すること、並びにイメージ・センサに機能及び回路が追加されることは、イメージ・センサによってキャプチャーされるイメージ・データの品質を改善することができる。
しかしながら、イメージ・センサを構成する回路の複雑度が増加すること、並びにイメージ・センサに機能及び回路が追加されることは、イメージ・センサによってキャプチャーされるイメージ・データに新しい形態のノイズを引き起こす可能性がある、という問題がある。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】韓国登録特許第10-0455395号公報
【特許文献2】米国特許第9、349、762号明細書
【特許文献3】米国特許第9、706、142号明細書
【特許文献4】米国特許第7、361、877号明細書
【特許文献5】米国特許第8、179、461号明細書
【特許文献6】米国特許第10、075、626号明細書
【特許文献7】米国特許第9、106、854号明細書
【特許文献8】米国特許出願公開第2003/0202111号明細書
【特許文献9】米国特許出願公開第2008/0136945号明細書
【特許文献10】国際公開第2009/100038号明細書
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明は上記従来のイメージ・センサにおける問題点に鑑みてなされたものであって、本発明の目的は、イメージ・センサの複雑度の増加及び追加された回路によってイメージ・データに発生するノイズを除去するイメージ・センサ、イメージ・センサの動作方法、及びイメージ・センサを含む電子装置を提供することにある。
【課題を解決するための手段】
【0007】
上記目的を達成するためになされた本発明によるイメージ・センサは、複数のピクセル及び複数の基準ピクセルを含むピクセル・アレイと、前記複数のピクセル及び前記複数の基準ピクセルから複数の信号を感知するように構成されるアナログ感知回路と、前記アナログ感知回路から前記複数の信号を受信し、前記複数の信号の内の前記基準ピクセルの信号を用いて前記複数の信号の内の前記ピクセルの信号を補償するように構成されるデジタル論理回路と、を有し、前記基準ピクセルのそれぞれは、前記ピクセルの間に配置されることを特徴とする。
【0008】
上記目的を達成するためになされた本発明によるイメージ・センサの動作方法は、複数のピクセルと複数の基準ピクセルを含むイメージ・センサの動作方法であって、前記複数のピクセル及び前記複数の基準ピクセルから複数の信号を感知する段階と、前記感知された複数の信号の内の前記基準ピクセルの信号に基づいて前記複数のピクセルの信号を補償する段階と、前記補償された信号を出力する段階と、を有し、前記基準ピクセルは、前記ピクセルの間に配置されることを特徴とする。
【0009】
上記目的を達成するためになされた本発明による電子装置は、プロセッサと、前記プロセッサの制御にしたがってイメージ・データを生成し、前記イメージ・データを前記プロセッサに提供するイメージ・センサと、を有し、前記イメージ・センサは、複数のピクセル及び複数の基準ピクセルを含むピクセル・アレイと、前記複数のピクセル及び前記複数の基準ピクセルから複数の信号を感知するように構成されるアナログ感知回路と、前記アナログ感知回路から前記複数の信号を受信し、前記複数の信号の内の前記基準ピクセルの信号を用いて、前記複数の信号の内の前記ピクセルの信号を補償するように構成されるデジタル論理回路と、前記補償された信号を前記イメージ・データとして前記プロセッサに出力するように構成されるインターフェース回路と、を含み、前記基準ピクセルのそれぞれは、フォトダイオードと、前記フォトダイオード上の反射物質と、前記反射物質上のカラーフィルタと、前記カラーフィルタ上のマイクロレンズと、を含むことを特徴とする。
【発明の効果】
【0010】
本発明に係るイメージ・センサ及びその動作方法、並びにイメージ・センサを含む電子装置によれば、イメージ・センサは、ピクセル・アレイ上の位置に応じたダーク・レベル(dark level)の漏れを感知し、そしてダーク・レベルの漏れに基づいてイメージ・データを補償することができる。
したがって、改善された品質のイメージ・データを提供するイメージ・センサ、イメージ・センサの動作方法及びイメージ・センサを含む電子装置が提供される。
【図面の簡単な説明】
【0011】
【
図1】本発明の実施形態によるイメージ・センサの概略構成を示すブロック図である。
【
図2】本発明の実施形態によるイメージ・センサが実装される一例を示す斜視図である。
【
図3】本発明の実施形態によるイメージ・センサの動作方法の一例をを説明するためのフローチャートである。
【
図4】本発明の実施形態によるピクセル及び基準ピクセルの一例の概略構成を示す断面図である。
【
図5】本発明の実施形態によるピクセル及び基準ピクセルにおいて感知を行う例を説明するための断面図である。
【
図6】本発明の実施形態によるイメージ・センサがダーク・レベルの漏れを補償する方法の一例を説明するためのフローチャートである。
【
図7】本発明の実施形態によるピクセル及び基準ピクセルを用いて補償が行われる第1例を説明するための図である。
【
図8】本発明の実施形態によるピクセル及び基準ピクセルを用いて補償が行われる第2例を説明するための図である。
【
図9】本発明の実施形態によるピクセル及び基準ピクセルを用いて補償が行われる第3例を説明するための図である。
【
図10】本発明の実施形態によるピクセル及び基準ピクセルを用いて補償が行われる第4例を説明するための図である。
【
図11】本発明の実施形態によるピクセル及び基準ピクセルを用いて補償が行われる第5例を説明するための図である。
【
図12】本発明の実施形態によるイメージ・センサの動作方法に対する他の例を説明するためのフローチャートである。
【
図13】本発明の実施形態によるイメージ・センサの動作方法に対するもう1つの例を説明するためのフローチャートである。
【
図14】本発明の実施形態によるカメラ・モジュール・グループを含む電子装置の概略構成を示すブロック図である。
【
図15】
図14のカメラ・モジュール・グループのカメラ・モジュールの内の1つのカメラ・モジュールの詳細構成を示すブロック図である。
【発明を実施するための形態】
【0012】
次に、本発明に係るイメージ・センサ及びその動作方法、並びにイメージ・センサを含む電子装置を実施するための形態の具体例を図面を参照しながら説明する。
以下では、本発明のテクノロジー分野における通常の知識を有する者が本発明を容易に実施できるように、本発明の実施形態が明確かつ詳細に説明する。
以下で、「及び/又は」は、その用語に関連してリストされる項目のうちいずれか1つ、及び関連してリストされる項目のうちいくつかの組み合わせを含むと解釈される。
【0013】
図1は、本発明の実施形態によるイメージ・センサ100の概略構成を示すブロック図である。
図1を参照すると、イメージ・センサ100は、ピクセル・アレイ110、スキャン・ドライバ回路120、アナログ感知回路130、デジタル論理回路140、インターフェース回路150、及びデジタル制御回路160を含む。
【0014】
ピクセル・アレイ110は、ピクセルPX及び基準ピクセルPXrを含む。
ピクセルPX及び基準ピクセルPXrは、行及び列で配置される。
基準ピクセルPXrのそれぞれは、ピクセルPXの間に位置するか、又はピクセルPXに囲まれる。
ピクセルPXは、入射する光の強度に対応する電圧又は電流を生成する。
基準ピクセルPXrは、入射する光の強度に関係なく電圧又は電流を生成する。
例えば、基準ピクセルPXrは、ダーク・レベルの漏れに対応する電圧又は電流を生成する。
【0015】
ダーク・レベルの漏れは、入射光がないときに、ピクセルPX又は基準ピクセルPXrから漏れる電流(又は電子)に対応する。
例として、基準ピクセルPXrは、ピクセルPXとともに入射する光に露出されるが、ピクセルPXとは異なって入射する光の強度にかかわらず、ダーク・レベルの漏れに対応する電圧又は電流を生成する。
【0016】
スキャン・ドライバ回路120は、第1~第nのスキャン・ライン(S1~Sn)を介してピクセルPX及び基準ピクセルPXrの行に接続される。
スキャン・ドライバ回路120は、デジタル制御回路160の制御に応答して第1~第nのスキャン・ライン(S1~Sn)を順次に(又は交互に)選択する。
第1~第nのスキャン・ライン(S1~Sn)の内のいずれか1つが選択されることに応答して、スキャン・ドライバ回路120は、選択された行に接続されるピクセルPX及び/又は基準ピクセルPXrをリセットする。
【0017】
選択された行に接続されるピクセルPX及び/又は基準ピクセルPXrがリセットされた後、ピクセルPXは、リセットされたレベルの電圧又は電流を入射する光の強度に応じて調節する。
選択された行に接続されるピクセルPX及び/又は基準ピクセルPXrがリセットされた後、基準ピクセルPXrは、ダーク・レベルの漏れに応答してリセットされたレベルの電圧又は電流を調節する。
【0018】
選択された行に接続されるピクセルPX及び/又は基準ピクセルPXrが、リセットされてから特定の時間が経過することに応答して(デジタル制御回路160の制御に応答して)、スキャン・ドライバ回路120は、選択された行のピクセルPX及び/又は基準ピクセルPXrを、第1~第mのデータ・ライン(D1~Dm)と電気的に接続させる。
【0019】
図1では、スキャン・ドライバ回路120は、ピクセルPX及び基準ピクセルPXrの1つの行と1つのスキャン・ラインを介して接続されるものとして図に示している。
しかしながら、スキャン・ドライバ回路120は、ピクセルPX及び基準ピクセルPXrの1つの行と2つ以上のラインを介して接続してもよい。
例えば、2つ以上のラインの内の1つのラインは、対応する行のピクセルPX及び/又は基準ピクセルPXrをリセットするのに使用されることがある。
2つ以上のラインの内の少なくとも他の1つのラインは、対応する行のピクセルPX及び/又は基準ピクセルPXrを、第1~第mのデータライン(D1~Dm)と電気的に接続させるのに使用される。
【0020】
アナログ感知回路130は、第1~第mのデータ・ライン(D1~Dm)を介してピクセルPX及び基準ピクセルPXrの列と接続される。
デジタル制御回路160の制御に応答して、選択された行のピクセルPX及び/又は基準ピクセルPXrが、第1~第mのデータ・ライン(D1~Dm)と接続されるタイミングで、アナログ感知回路は、第1~第mのデータ・ライン(D1~Dm)の信号(電圧又は電流)を感知する。
【0021】
アナログ感知回路130は、感知される信号を第1イメージ・データID1に出力する。
第1イメージ・データID1は、選択される行のピクセルPX及び/又は基準ピクセルPXrの信号に基づき得る。
例えば、アナログ感知回路130は、順次に増加又は減少するレベルを有するランプ信号を生成するランプ信号ジェネレータを含み得る。
アナログ感知回路130は、選択される行のピクセルPX及び/又は基準ピクセルPXrの信号をランプ信号と比較するコンパレータをさらに含み得る。
【0022】
アナログ感知回路130は、コンパレータの出力が変化するタイミングをデジタル値に変換するカウンタをさらに含み得る。
アナログ感知回路130は、カウンタから出力されるデジタル値を第1イメージ・データID1に出力する。
例として、アナログ感知回路130から出力される第1イメージ・データID1は、ピクセルPX及び/又は基準ピクセルPXrの信号がアナログ感知回路130によって感知される信号である。
【0023】
デジタル論理回路140は、アナログ感知回路130から第1イメージ・データID1を受信する。
デジタル制御回路160の制御に応答して、デジタル論理回路140は、第1イメージ・データID1、すなわちピクセルPX及び/又は基準ピクセルPXrから感知される信号を受信する。
デジタル論理回路140は、基準ピクセルPXrの信号を用いてピクセルPXの信号を補償する。
例えば、デジタル論理回路140は、ピクセルPXの信号のデジタル値に基準ピクセルPXrの信号のデジタル値(又はそこから派生された値)を加えるか、又はピクセルPXの信号のデジタル値に基準ピクセルPXrの信号のデジタル値(又はそこから派生された値)を減ずることによって、補償を実行する。
【0024】
デジタル論理回路140は、デジタル制御回路160の制御に応答して、補償される信号を第2イメージ・データID2に出力する。
インターフェース回路150は、デジタル論理回路140から第2イメージ・データID2を受信する。
デジタル制御回路160の制御に応答して、又は第2イメージ・データID2を受信することに応答して、インターフェース回路150は、第2イメージ・データID2を第3イメージ・データID3として外部装置に出力する。
【0025】
例として、インターフェース回路150は、MIPI(Mobile Industry Processor Interface)によって定められたC-PHY又はD-PHYに基づいて第3イメージ・データID3を外部装置に出力することができる。
【0026】
デジタル制御回路160は、スキャン・ドライバ回路120が、第1~第nのスキャン・ライン(S1~Sn)を選択するタイミング、アナログ感知回路130が、第1~第mのデータライン(D1~Dm)の信号を感知して第1イメージ・データID1を出力するタイミング、デジタル論理回路140が補償を実行して第2イメージ・データID2を出力するタイミング、及び/又はインターフェース回路150が第3イメージ・データID3を出力するタイミングを制御する。
【0027】
図2は、本発明の実施形態によるイメージ・センサ200が実装される一例を示す斜視図である。
イメージ・センサ200は、
図1のイメージ・センサ100が実装される一例である。
図1及び
図2を参照すると、イメージ・センサ200は、第1基板210及び第2基板220の組み合わせで実装される。
【0028】
第1基板210にピクセル・アレイ110を実装する。
第2基板220にスキャン・ドライバ回路120、アナログ感知回路130、デジタル論理回路140、インターフェース回路150、及びデジタル制御回路160を実装する。
第1基板210及び第2基板220は、垂直配線を介して電気的に接続される。
ピクセル・アレイ110のピクセルPXと基準ピクセルPXrは、同じ構造を有し、そして同じ頻度で使用される。
したがって、第1基板210においてピクセルPX及び基準ピクセルPXrによって発生する熱は、第1基板210上の位置、すなわちピクセル・アレイ110上の位置に関係なく均一であり得る。
【0029】
第2基板220に実装されるスキャン・ドライバ回路120、アナログ感知回路130、デジタル論理回路140、インターフェース回路150、及びデジタル制御回路160は、異なる構造を有し、異なる機能を実現し、そして異なる動作頻度を有する。
したがって、第2基板220においてスキャン・ドライバ回路120、アナログ感知回路130、デジタル論理回路140、インターフェース回路150、及びデジタル制御回路160によって発生する熱は、第2基板220上の位置、すなわちピクセル・アレイ110上の位置によって異なり得る。
【0030】
例えば、第2基板220に表示された第1熱源221及び第2熱源222は、第2基板220の他の部分よりもっと高い熱を発生する。
第2基板220で発生する熱は、第1基板210に影響を及ぼす。
例えば、第2基板220で発生する熱は、第1基板210のピクセル・アレイ110のピクセルPX及び基準ピクセルPXrのダーク・レベルの漏れ量に影響を与える。
ピクセル・アレイ110上の位置によって第2基板220の発熱が異なる場合、ピクセル・アレイ110のピクセルPX及び基準ピクセルPXrのダーク・レベルの漏れが、ピクセル・アレイ110上の位置によって異なり得る。
したがって、ピクセル・アレイ110によって感知される信号がダーク・レベルの漏れの変化によって攪乱されることがあり、イメージ・データ(ID1、ID2、ID3)の品質が低下してしまう。
【0031】
図3は、本発明の実施形態によるイメージ・センサ100の動作方法の一例を説明するためのフローチャートである。
図1及び
図3を参照すると、ステップS110において、イメージ・センサ100は、基準ピクセルPXrからダーク信号を感知する。
ダーク信号は、選択される行の基準ピクセルPXrから感知される信号で、ダーク・レベルの漏れに対応する。
【0032】
ステップS120において、イメージ・センサ100は、ピクセルPXからイメージ信号を感知する。
イメージ信号は、選択される行のピクセルPXから感知される信号で、入射する光の強度及びダーク・レベルの漏れに対応する。
例として、ステップS110は、基準ピクセルPXrを含む行に接続されるスキャン・ラインが、選択されることに応答して実行される。
ステップS120は、第1~第nのスキャン・ライン(S1~Sn)のそれぞれが選択されることに応答して実行される。
【0033】
ステップS130において、イメージ・センサ100は、基準ピクセルPXrから感知されるダーク信号に基づいてピクセルPXから感知されるイメージ信号を補償する。
例えば、現在選択される行又は以前に選択された行の基準ピクセルPXrのダーク信号に基づいて、現在選択される行のピクセルPXが補償される。
現在選択される行のピクセルPXのイメージ信号は、デジタル論理回路140に格納される。
後で選択される行の基準ピクセルPXrのダーク信号に基づいて、格納されたイメージ信号が補償される。
例えば、ピクセルPXのイメージ信号のそれぞれは、基準ピクセルPXrの内の隣接する少なくとも1つ(又は2つ)のダーク信号に基づいて補償される。
【0034】
ステップS140において、イメージ・センサ100は、補償されたイメージ信号をイメージ・データ、例えば第3イメージ・データID3に出力する。
本発明の実施形態によれば、第2基板220で発生する熱の位置による差によって生じるダーク・レベルの差が補償される。
したがって、イメージ・センサ100によって生成される第3イメージ・データID3の品質が向上する。
【0035】
図4は、本発明の実施形態によるピクセルPX及び基準ピクセルPXrの一例の概略構成を示す断面図である。
例として、互いに隣接する3つのピクセルPX、及びピクセルPX間の基準ピクセルPXrの例を
図4に示す。
【0036】
図1及び
図4を参照すると、ピクセルPX及び基準ピクセルPXrのそれぞれは、入射光を集束するるように構成されるマイクロレンズ310、マイクロレンズ310の下部に配置されるカラーフィルタ320、カラーフィルタ320の下部に配置され入射光を集束及び伝達する隔離空間330、並びに隔離空間330の下部に配置されフォトダイオード及びトランジスタを含む光感知回路340を含む。
【0037】
ピクセルPXと基準ピクセルPXrとの間の境界に反射物質301が配置される。
反射物質301は、隔離空間330において入射光の集束及び伝達をサポートする。
光感知回路340は、第1~第nのスキャン・ライン(S1~Sn)の内の対応するスキャン・ライン、及び第1~第mのデータ・ライン(D1~Dm)の内の対応するデータ・ラインに接続されるトランジスタと、トランジスタの制御に従って入射光に対応する電流(又は電圧)を発生するフォトダイオードと、を有する。
【0038】
ピクセルPXとは異なり基準ピクセルPXrは、カラーフィルタ320と隔離空間330との間に、カラーフィルタ320と分離空間330とを分離する第2反射物質350をさらに含む。
第2反射物質350は、入射光を外部に反射して入射光が隔離空間330に伝達されるのを遮断する。
【0039】
図5は、本発明の実施形態によるピクセルPX及び基準ピクセルPXrにおいて感知が行われる一例を説明するための断面図である。
図5のピクセルPX及び基準ピクセルPXrは、
図4において説明したピクセルPX及び基準ピクセルPXrと同じであるため、重複する説明は省略する。
【0040】
図1及び
図5を参照すると、符号S210において、ピクセルPXに入射する光は、光感知回路340のフォトダイオードに伝達される。
フォトダイオードは、入射光に応答して電流(又は電子)を発生させる。
フォトダイオードによって発生される電流(又は電子)によって、光感知回路340のリセットされたレベルの電圧(又は電流)が変化する。
【0041】
符号S220において、基準ピクセルPXrに光は入射されない。
したがって、基準ピクセルPXrにおいて、フォトダイオードは入射光に対応する電流(又は電子)を生成しない。
基準ピクセルPXrにおいて、光感知回路340のリセットされたレベルの電圧(又は電流)は、入射光によって変化しない可能性がある。
符号S230において、ピクセルPX及び基準ピクセルPXrでダーク・レベルの漏れが発生する。
ダーク・レベルの漏れにより、ピクセルPX及び基準ピクセルPXrから電流(又は電子)が流出される。
【0042】
ピクセルPXから感知される信号は、リセットされたレベルの電圧(又は電流)が入射光及びダーク・レベルの漏れによって変化された値を示す。
基準ピクセルPXrから感知される信号は、リセットされたレベルの電圧(又は電流)がダーク・レベルの漏れによって変化された値を示す。
したがって、基準ピクセルPXrから測定されるダーク・レベルの漏れ量に基づいて、ピクセルPXのダーク・レベルの漏れが補償される。
【0043】
図2を参照して説明したように、ピクセル・アレイ110上の位置によって、ダーク・レベルの漏れ量が異なることがある。
ピクセル・アレイ110上に基準ピクセルPXrを分散・配置することによって、ピクセル・アレイ110上の位置に応じたダーク・レベルの漏れ量が測定される。
なお、ピクセル・アレイ110上の位置によるピクセルPXのダーク・レベルの漏れが補償される。
【0044】
図6は、本発明の実施形態によるイメージ・センサ100が、ダーク・レベルの漏れを補償する方法の一例を説明するためのフローチャートである。
図1及び
図6を参照すると、ステップS310において、イメージ・センサ100のデジタル論理回路140は、基準ピクセルPXrからダーク信号を収集する。
【0045】
ステップS320において、イメージ・センサ100のデジタル論理回路140は、ダーク信号からダーク・シェーディングを計算する。
例として、ダーク・シェーディング(dark shading)は、ピクセル・アレイ110のピクセルPXによって生成されるイメージ信号のイメージ・データ上で、位置に応じたダーク・レベルの分布を表す。
【0046】
ステップS330において、デジタル論理回路140は、ダーク・シェーディングに基づいてイメージ信号を補正する。
例えば、デジタル論理回路140は、特定の基準ピクセルPXrのダーク信号のそれぞれに基づいて、特定の基準ピクセルPXrに隣接するピクセルPXのイメージ信号の値(例えば、グレイ・レベル)を補償する。
【0047】
デジタル論理回路140は、ダーク・シェーディングに対応するダーク・レベルの最小値、最大値、中間値、平均値のような多様な値に基づいてピクセルPXのイメージ信号を補償する。
例えば、デジタル論理回路140は、ピクセルPXのイメージ信号の値(例えば、グレイ・レベル)のDCレベル及び/又は利得を補償する。
【0048】
図7は、本発明の実施形態によるピクセルPX及び基準ピクセルPXrを用いて補償が行われる第1例を説明するための図である。
図1及び
図7を参照すると、補償は、補償ユニットCUに基づいて実行される。
ピクセル・アレイ110のピクセルPX及び基準ピクセルPXrは、補償ユニットCUに分割される。
【0049】
補償ユニットCUのそれぞれは、1つの基準ピクセルPXr、2つ以上の行のピクセルPX、及び2つ以上の列のピクセルPXを含む。
基準ピクセルPXrは、ピクセルPXの中央に位置する。
補償ユニットCUに属するピクセルPXのイメージ信号は、同じ補償ユニットCUに属する基準ピクセルPXrのダーク信号に基づいて補償される。
【0050】
補償ユニットCUのそれぞれにおいて、基準ピクセルPXrの行より先に選択される行のピクセルPXのイメージ信号は、デジタル論理回路140に格納される。
基準ピクセルPXrからダーク信号が感知された後、格納されたイメージ信号の補償が実行される。
補償ユニットCUのそれぞれにおいて、基準ピクセルPXrと同じ行又は基準ピクセルPXrの行より以降選択される行のピクセルPXのイメージ信号は、基準ピクセルPXrから感知されるダーク信号を用いて補償される。
【0051】
図8は、本発明の実施形態によるピクセルPX及び基準ピクセルPXrを用いて補償が行われる第2例を説明するための図である。
図1及び
図8を参照すると、補償は、補償ユニットCUに基づいて実行される。
ピクセル・アレイ110のピクセルPX及び基準ピクセルPXrは、補償ユニットCUに分割される。
【0052】
補償ユニットCUのそれぞれは、1つの基準ピクセルPXr、2つ以上の行のピクセルPX、及び2つ以上の列のピクセルPXを含む。
基準ピクセルPXrは、補償ユニットCUのそれぞれに属する行の内の最初に選択される行に位置する。
補償ユニットCUに属するピクセルPXのイメージ信号は、同じ補償ユニットCUに属する基準ピクセルPXrのダーク信号に基づいて補償される。
補償ユニットCUのそれぞれにおいて、基準ピクセルPXrと同じ行又は基準ピクセルPXrの行より以降に選択される行のピクセルPXのイメージ信号は、基準ピクセルPXrから感知されるダーク信号を用いて補償される。
【0053】
図9は、本発明の実施形態によるピクセルPX及び基準ピクセルPXrを用いて補償が行われる第3例を説明するための図である。
図1及び
図9を参照すると、補償は、第1補償ユニットCU1及び第2補償ユニットCU2に基づいて実行される。
ピクセル・アレイ110のピクセルPX及び基準ピクセルPXrは、第1補償ユニットCU1及び第2補償ユニットCU2に分割される。
【0054】
例として、ピクセル・アレイ110のエッジに位置するピクセルPX及び基準ピクセルPXrは、第1補償ユニットCU1を形成する。
ピクセル・アレイ110の中央部に位置するピクセルPX及び基準ピクセルPXrは、第2補償ユニットCU2を形成する。
【0055】
第1補償ユニットCU1及び第2補償ユニットのそれぞれは、1つの基準ピクセルPXr、2つ以上の行のピクセルPX及び2つ以上の列のピクセルPXを含む。
基準ピクセルPXrは、第1補償ユニットCU1若しくは第2補償ユニットCU2のそれぞれにおいてピクセルPXの中央に(
図7参照)、又は第1補償ユニットCU1若しくは第2補償ユニットCU2のそれぞれに属する行の内の最初に選択される行(
図8参照)に位置する。
補償ユニットCUに属するピクセルPXのイメージ信号は、同じ補償ユニットCUに属する基準ピクセルPXrのダーク信号に基づいて補償される。
【0056】
例として、第1補償ユニットCU1に属するピクセルPXの数は、第2補償ユニットCU2に属するピクセルPXの数より少ない可能性がある。
すなわち、第1補償ユニットCU1又は第2補償ユニットCU2のピクセル・アレイ110上の位置にしたがって第1補償ユニットCU1又は第2補償ユニットCU2に含まれるピクセルPXの数が変わる。
【0057】
図10は、本発明の実施形態によるピクセルPX及び基準ピクセルPXrを用いて補償が行われる第4例を説明するための図である。
図1及び
図10を参照すると、補償は、第1補償ユニットCU1及び第2補償ユニットCU2に基づいて実行される。
ピクセル・アレイ110のピクセルPX及び基準ピクセルPXrは、第1補償ユニットCU1及び第2補償ユニットCU2に分割される。
【0058】
例として、ピクセル・アレイ110のエッジに位置するピクセルPX及び基準ピクセルPXrは、第1補償ユニットCU1又は第2補償ユニットCU2を形成する。
ピクセル・アレイ110の中央部に位置するピクセルPX及び基準ピクセルPXrは、第1補償ユニットCU1を形成する。
【0059】
第1補償ユニットCU1及び第2補償ユニットCU2のそれぞれは、1つの基準ピクセルPXr、2つ以上の行のピクセルPX及び2つ以上の列のピクセルPXを含む。
基準ピクセルPXrは、第1補償ユニットCU1若しくは第2補償ユニットCU2のそれぞれにおいてピクセルPXの中央に(
図7参照)、又は第1補償ユニットCU1若しくは第2補償ユニットCU2のそれぞれに属する行の内の最初に選択される行(
図8参照)に位置する。
補償ユニットCUに属するピクセルPXのイメージ信号は、同じ補償ユニットCUに属する基準ピクセルPXrのダーク信号に基づいて補償される。
【0060】
例として、第1補償ユニットCU1に属するピクセルPXの数は、第2補償ユニットCU2に属するピクセルPXの数より少ない可能性がある。
すなわち、第1補償ユニットCU1又は第2補償ユニットCU2のピクセル・アレイ110上の位置に応じて、第1補償ユニットCU1又は第2補償ユニットCU2に含まれるピクセルPXの数が変わる。
【0061】
図11は、本発明の実施形態によるピクセルPX及び基準ピクセルPXrを用いて補償が行われる第5例を説明するための図である。
図1及び
図11を参照すると、補償は、補間(interpolation)に基づいて実行される。
図11に補間線IPで示されるように、行方向、列方向、及び/又は対角線方向に最も隣接する2つの基準ピクセルPXrのダーク信号に基づいて補償が実行される。
【0062】
例えば、行方向、列方向、及び/又は対角線方向に最も隣接する基準ピクセルPXrの補間の結果値に基づいて、行方向、列方向、及び/又は対角線方向に最も隣接する2つの基準ピクセルPXr間のピクセルPXのイメージ信号が補償される。
例として、補間は、互いに隣接する2つの基準ピクセルPXrのダーク信号の値に重みを付けて演算することを含む。
例として、補間は、線形補間又はガウス補間であり得る。
【0063】
線形補間の例では、互いに隣接する2つの基準ピクセルPXrの内の1つの基準ピクセルPXrのダーク信号の重みは、1つの基準ピクセルPXrからの距離が増加するにつれて線形に減少する。
ガウス補間の例では、互いに隣接する2つの基準ピクセルPXrの内の1つの基準ピクセルPXrのダーク信号の重みは、1つの基準ピクセルPXrからの距離が増加するにつれてガウス分布に基づいて減少する。
【0064】
例として、特定のピクセルPXが2つの基準ピクセルPXrと同じ行に位置する場合、特定のピクセルPXのイメージ信号は、同じ行に属する2つの基準ピクセルPXrのダーク信号の補間に基づいて補償される。
特定のピクセルPXが、2つの基準ピクセルPXrと同じ列に位置する場合、特定のピクセルPXのイメージ信号は、同じ列に属する2つの基準ピクセルPXrのダーク信号の補間に基づいて補償される。
特定のピクセルPXが、2つの基準ピクセルPXrと同じ列又は同じ行に位置していない場合、特定のピクセルPXのイメージ信号は、行方向、列方向及び/又は対角線方向に最も隣接する4つの基準ピクセルPXrのダーク信号の補間に基づいて補償される。
【0065】
図12は、本発明の実施形態によるイメージ・センサ100の動作方法の他の例を説明するためのフローチャートである。
図1及び
図12を参照すると、ステップS410において、イメージ・センサ100は動作モードを検出する。
例えば、イメージ・センサ100は、インターフェース回路150のレジスタの内の外部装置によって設定されるレジスタに格納された値を確認することによって、動作モードを検出する。
【0066】
例として、レジスタに格納された第1値は、ダーク・レベルの漏れの補償のアクティブ(active)状態を指し示す。
レジスタに格納された第2値は、ダーク・レベルの漏れの補償の非アクティブ状態を指し示す。
【0067】
ステップS420において、イメージ・センサ100は、ダーク・レベルの漏れの補償が非アクティブ状態であるか否かを判定する。
ダーク・レベルの漏れの補償が非アクティブ状態のとき、ステップS430においてイメージ・センサ100は、ダーク・レベルの漏れの補償を非アクティブ状態にする。
例えば、アナログ感知回路130は、基準ピクセルPXrのダーク信号を含む第1イメージ・データID1を出力するが、デジタル論理回路140は、基準ピクセルPXrのダーク信号を無視する。
【0068】
ダーク・レベルの漏れの補償がアクティブ状態である場合、ステップS440においてイメージ・センサ100は、ダーク・レベルの漏れの補償をアクティブ状態にする。
イメージ・センサは、
図1~
図11を参照して説明したダーク・レベルの漏れの補償を実行する。
【0069】
図13は、本発明の実施形態によるイメージ・センサ100の動作方法のもう1つの例を説明するためのフローチャートである。
図1及び
図13を参照すると、ステップS510において、イメージ・センサ100のデジタル論理回路140は、基準ピクセルPXrのそれぞれを囲む(例えば、行方向、列方向及び/又は対角線方向に最も隣接する)ピクセルPXのイメージ信号を収集する。
【0070】
ステップS520において、デジタル論理回路140は、収集されたイメージ信号に基づいて基準ピクセルPXrのそれぞれのイメージ信号を生成する。
例えば、デジタル論理回路140は、基準ピクセルPXrのそれぞれを取り囲むピクセルPXのイメージ信号に対し補間を実行することによって、基準ピクセルPXrのそれぞれのイメージ信号を生成する。
【0071】
図14は、本発明の実施形態によるカメラ・モジュール・グループ1100を含む電子装置1000の概略構成を示すブロック図であり、
図15は、
図14のカメラ・モジュール・グループ1100のカメラ・モジュール(1100a、1100b、1100c)の内の1つのカメラ・モジュール(例えば、1100b)の詳細構成を示すブロック図である。
例として、カメラ・モジュール(1100a、1100b、1100c)の構造は、同一又は少なくとも類似であり得る。
【0072】
図14を参照すると、電子装置1000は、カメラ・モジュール・グループ1100、アプリケーション・プロセッサ1200、PMIC1300、及び外部メモリ1400を含む。
カメラ・モジュール・グループ1100は、複数のカメラ・モジュール(1100a、1100b、1100c)を含む。
単に図では、3つのカメラ・モジュール(1100a、1100b、1100c)が配置された実施形態が示したが、実施形態はこれに限定されない。
いくつかの実施形態では、カメラ・モジュール・グループ1100は、2つのカメラ・モジュールのみを含むように変更及び実施され得る。
なお、いくつかの実施形態では、カメラ・モジュール・グループ1100は、n個(nは4以上の自然数)のカメラ・モジュールを含むように変更及び実施されることもあり得る。
【0073】
以下、
図15を参照して、カメラ・モジュール1100bの詳細構成に対してより具体的に説明するが、以下の説明は、実施形態によって他のカメラ・モジュール(1100a、1100c)に対しても同様に適用される。
図15を参照すると、カメラ・モジュール1100bは、プリズム1105、光路屈曲素子(Optical Path Folding Element、以下、「OPFE」)1110、アクチュエータ1130、イメージ感知装置1140、及びストレージ装置1150を含む。
【0074】
プリズム1105は、光反射物質の反射面1107を含んで外部から入射する光Lの経路を変更する。
いくつかの実施形態では、プリズム1105は、第1方向Xに入射する光Lの経路を第1方向Xに垂直な第2方向Yに変更する。
なお、プリズム1105は、光反射物質の反射面1107を、中心軸1106を中心にA方向に回転させるか、又は中心軸1106をB方向に回転させて第1方向Xに入射する光Lの経路を垂直な第2方向Yに変更する。
このとき、OPFE1110も第1方向X及び第2方向Yに垂直な第3方向Zに移動する。
【0075】
いくつかの実施形態では、図に示したように、プリズム1105のA方向の最大回転角度は、プラス(+)A方向では15度以下であり、マイナス(-)A方向では15度より大きい可能性があるが、実施形態はこれに限定されない。
いくつかの実施形態では、プリズム1105は、プラス(+)又はマイナス(-)B方向に20度内外、10度~20度、又は15度~20度で移動し、ここで、移動する角度はプラス(+)又はマイナス(-)B方向に同じ角度で移動するか、又は1度内外の範囲でほぼ類似の角度まで移動する。
いくつかの実施形態では、プリズム1105は、光反射物質の反射面1107を中心軸1106の延長方向に平行な第3方向(例えば、Z方向)に移動する。
【0076】
OPFE1110は、例えば、m(ここで、mは自然数)個のグループからなる光学レンズを含む。
m個のレンズは、第2方向Yに移動してカメラ・モジュール1100bの光学ズーム倍率(optical zoom ratio)を変更する。
例えば、カメラ・モジュール1100bの基本光学ズーム倍率をZとするとき、OPFE1110に含まれるm個の光学レンズを移動させる場合、カメラ・モジュール1100bの光学ズーム倍率は3Z、5Z、又は5Z以上の光学ズーム倍率に変更され得る。
【0077】
アクチュエータ1130は、OPFE1110又は光学レンズ(以下、光学レンズと称される)を特定の位置に移動させる。
例えば、アクチュエータ1130は、正確なセンシングのためにイメージ・センサ1142が光学レンズの焦点距離(focal length)に位置するように光学レンズの位置を調整する。
【0078】
イメージ感知装置1140は、イメージ・センサ1142、制御論理1144、及びメモリ1146を含む。
イメージ・センサ1142は、光学レンズを介して提供される光Lを用いてセンシング対象のイメージをセンシングする。
制御論理1144は、カメラ・モジュール1100bの全体的な動作を制御する。
例えば、制御論理1144は、制御信号線CSLbを介して提供される制御信号に従ってカメラ・モジュール1100bの動作を制御する。
【0079】
メモリ1146は、キャリブレーション・データ1147のようなカメラ・モジュール1100bの動作に必要な情報を格納する。
キャリブレーション・データ1147は、カメラ・モジュール1100bが外部から提供される光Lを用いてイメージ・データを生成するのに必要な情報を含む。
キャリブレーション・データ1147は、例えば、上述した回転角度(degree of rotation)に関する情報、焦点距離(focal length)に関する情報、光軸(optical axis)に関する情報などを含み得る。
カメラ・モジュール1100bが、光学レンズの位置によって焦点距離が変化するマルチ・ステート(multi state)カメラの形態として実現される場合、キャリブレーション・データ1147は、光学レンズの各位置別(又はステート別)焦点距離値とオートフォーカシング(auto focusing)に関連される情報を含み得る。
【0080】
ストレージ装置1150は、イメージ・センサ1142を介して感知されるイメージ・データを格納する。
ストレージ装置部1150は、イメージ・センシング装置1140の外部に配置されてもよく、イメージ・センシング装置1140を構成するセンサ・チップとスタックされた(stacked)形で実装されてもよい。
いくつかの実施形態では、ストレージ装置部1150は、EEPROM(Electrically Erasable Programmable Read-Only Memory)で実現され得るが、実施形態はこれに限定されない。
例として、イメージ・センサ1142又はイメージ感知装置1140は、
図1のイメージ・センサ100に対応する。
【0081】
図14及び
図15をともに参照すると、いくつかの実施形態では、複数のカメラ・モジュール(1100a、1100b、1100c)のそれぞれは、アクチュエータ1130を含む。
これによって、複数のカメラ・モジュール(1100a、1100b、1100c)のそれぞれは、その内部に含まれるアクチュエータ1130の動作に応じた互いに同一であるか、又は異なるカリブレーションデータ1147を含む。
【0082】
いくつかの実施形態では、複数のカメラ・モジュール(1100a、1100b、1100c)の内の1つのカメラ・モジュール(例えば、1100b)は、上述したプリズム1105及びOPFE1110を含む折りたたみレンズ(folded lens)形態のカメラ・モジュールであり、残りのカメラ・モジュール(例えば、1100a、1100b)は、プリズム1105及びOPFE1110を含まないバーティカル(vertical)形態のカメラ・モジュールであり得るが、実施形態はこれに限定されない。
【0083】
いくつかの実施形態では、複数のカメラ・モジュール(1100a、1100b、1100c)の内の、1つのカメラ・モジュール(例えば、1100c)は、例えば、IR(Infrared Ray)を使用して深度(depth)情報を抽出するバーティカル形態の深度カメラ(depth camera)であり得る。
この場合、アプリケーション・プロセッサ1200は、これらの深度カメラから提供されるイメージ・データと別のカメラ・モジュール(例えば、1100a又は1100b)から提供されるイメージ・データとをマージ(merge)し、3次元の深度イメージ(3D depth image)を生成する。
【0084】
いくつかの実施形態では、複数のカメラ・モジュール(1100a、1100b、1100c)の内の少なくとも2つのカメラ・モジュール(例えば、1100a、1100b)は、異なる観測視野(Field of View、視野角)を有し得る。
この場合、例えば、複数のカメラ・モジュール(1100a、1100b、1100c)の内の少なくとも2つのカメラ・モジュール(例えば、1100a、1100b)の光学レンズが互いに異なっていてもよいが、これに限定されない。
【0085】
なお、いくつかの実施形態では、複数のカメラ・モジュール(1100a、1100b、1100c)のそれぞれの視野角は互いに異なり得る。
この場合、複数のカメラ・モジュール(1100a、1100b、1100c)のそれぞれに含まれる光学レンズも互いに異なってもよいが、これに限定されない。
【0086】
いくつかの実施形態では、複数のカメラ・モジュール(1100a、1100b、1100c)のそれぞれは、互いに物理的に分離して配置され得る。
すなわち、1つのイメージ・センサ1142のセンシング領域を複数のカメラ・モジュール(1100a、1100b、1100c)に分割して使用されるのではなく、複数のカメラ・モジュール(1100a、1100b、1100c)のそれぞれの内部に独立したイメージ・センサ1142が配置される。
【0087】
再び
図14を参照すると、アプリケーション・プロセッサ1200は、イメージ処理装置1210、メモリ・コントローラ1220、及び内部メモリ1230を含む。
アプリケーション・プロセッサ1200は、複数のカメラ・モジュール(1100a、1100b、1100c)から分離して実装される。
例えば、アプリケーション・プロセッサ1200と複数のカメラ・モジュール(1100a、1100b、1100c)は、別途の半導体チップで分離して実装される。
【0088】
イメージ処理装置1210は、複数のサブイメージ・プロセッサ(1212a、1212b、1212c)、イメージ生成器1214、及びカメラ・モジュール・コントローラ1216を含む。
イメージ処理装置1210は、複数のカメラ・モジュール(1100a、1100b、1100c)の数に対応する個数の複数のサブイメージ・プロセッサ(1212a、1212b、1212c)を含む。
【0089】
それぞれのカメラ・モジュール(1100a、1100b、1100c)から生成されるイメージ・データは、互いに分離されるイメージ信号ライン(ISLa、ISLb、ISLc)を介して対応するサブイメージ・プロセッサ(1212a、1212b、1212c)に提供される。
例えば、カメラ・モジュール1100aから生成されるイメージ・データは、イメージ信号ラインISLaを介してサブイメージ・プロセッサ1212aに提供され、カメラ・モジュール1100bから生成されるイメージ・データは、イメージ信号ラインISLbを介してサブイメージ・プロセッサ1212bに提供され、カメラ・モジュール1100cから生成されるイメージ・データは、イメージ信号ラインISLcを介してサブイメージ・プロセッサ1212cに提供される。
このようなイメージ・データの転送は、例えば、MIPI(Mobile Industry Processor Interface)に基づくカメラ・シリアル・インターフェース(Camera Serial Interface:CSI)を用いて実行され得るが、実施形態はこれに限定されない。
【0090】
一方、いくつかの実施形態では、1つのサブイメージ・プロセッサが複数のカメラ・モジュールに対応するように配置される。
例えば、サブイメージ・プロセッサ1212aとサブイメージ・プロセッサ1212cが、図に示したように互いに分離して実装されるのではなく、1つのサブイメージ・プロセッサに統合されて実装され、カメラ・モジュール1100aとカメラ・モジュール1100cから提供されるイメージ・データは、選択素子(例えば、マルチプレクサ)などを介して選択された後、統合されたサブイメージ・プロセッサに提供されてもよい。
【0091】
それぞれのサブイメージ・プロセッサ(1212a、1212b、1212c)に提供されるイメージ・データは、イメージ生成器1214に提供される。
イメージ生成器1214は、イメージ生成情報(Generating Information)又はモード信号(Mode Signal)に従って、それぞれのサブイメージ・プロセッサ(1212a、1212b、1212c)から提供されるイメージ・データを用いて出力イメージを生成する。
【0092】
具体的には、イメージ生成器1214は、イメージ生成情報又はモード信号に応じて、異なる視野角を有するカメラ・モジュール(1100a、1100b、1100c)から生成されるイメージ・データの内の少なくとも一部をマージ(merge)して出力イメージを生成する。
さらに、イメージ生成器1214は、イメージ生成情報又はモード信号に応じて、異なる視野角を有するカメラ・モジュール(1100a、1100b、1100c)から生成されるイメージ・データの内のいずれか1つを選択して出力イメージを生成する。
【0093】
いくつかの実施形態では、イメージ生成情報は、ズーム信号(Zoom signal or zoom factor)を含み得る。
なお、いくつかの実施形態では、モード信号は、例えばユーザーから選択されるモードに基づく信号であり得る。
イメージ生成情報がズーム信号(ズーム・ファクター)であり、各カメラ・モジュール(1100a、1100b、1100c)が異なる観測視野(視野角)を有する場合、イメージ生成器1214は、ズーム信号のタイプに応じて異なる動作を行う。
【0094】
例えば、ズーム信号が第1信号である場合、カメラ・モジュール1100aから出力されるイメージ・データとカメラ・モジュール1100cから出力されるイメージ・データをマージした後、マージされたイメージ信号とマージに使用されないカメラ・モジュール1100bから出力されるイメージ・データを用いて出力イメージを生成する。
ズーム信号が第1信号とは異なる第2信号である場合、イメージ生成器1214はこのようなイメージ・データのマージを実行せず、それぞれのカメラ・モジュール(1100a、1100b、1100c)から出力されるイメージ・データの内のいずれか1つを選択して出力イメージを生成する。
しかしながら、実施形態はこれに限定されず、必要に応じてイメージ・データを処理する方法は、いくらでも変更して実施され得る。
【0095】
いくつかの実施形態では、イメージ生成器1214は、複数のサブイメージ・プロセッサ(1212a、1212b、1212c)の内の少なくとも1つから露出時間が異なる複数のイメージ・データを受信し、複数のイメージ・データに対してHDR(high dynamic range)処理を行うことにより、ダイナミック・レンジが増加される、マージされたイメージ・データを生成する。
【0096】
カメラ・モジュール・コントローラ1216は、各カメラ・モジュール(1100a、1100b、1100c)に制御信号を提供する。
カメラ・モジュール・コントローラ1216から生成される制御信号は、互いに分離される制御信号ライン(CSLa、CSLb、CSLc)を介して対応するカメラ・モジュール(1100a、1100b、1100c)に提供される。
【0097】
複数のカメラ・モジュール(1100a、1100b、1100c)の内のいずれか1つは、ズーム信号を含むイメージ生成情報又はモード信号に応じてマスター(master)カメラ(例えば1100b)として指定し、残りのカメラ・モジュール(例えば、1100a、1100c)は、スレーブ(slave)カメラとして指定する。
このような情報は制御信号に含まれており、互いに分離される制御信号ライン(CSLa、CSLb、CSLc)を介して対応するカメラ・モジュール(1100a、1100b、1100c)に提供される。
【0098】
ズーム・ファクター又は動作モード信号に応じて、マスター及びスレーブとして動作するカメラ・モジュールが変更される。
例えば、カメラ・モジュール1100aの視野角がカメラ・モジュール1100bの視野角より広く、ズーム・ファクターが低いズーム倍率を示す場合、カメラ・モジュール1100bがマスターとして動作し、カメラ・モジュール1100aがスレーブとして動作する。
逆に、ズーム・ファクターが高いズーム倍率を示す場合、カメラ・モジュール1100aがマスターとして動作し、カメラ・モジュール1100bがスレーブとして動作する。
【0099】
いくつかの実施形態では、カメラ・モジュール・コントローラ1216からそれぞれのカメラ・モジュール(1100a、1100b、1100c)に提供される制御信号は、シンク・イネーブル(sync enable)信号を含む。
例えば、カメラ・モジュール1100bがマスター・カメラであり、カメラ・モジュール(1100a、1100c)がスレーブ・カメラである場合、カメラ・モジュール・コントローラ1216は、カメラ・モジュール1100bにシンク・イネーブル信号を送る。
このようなシンク・イネーブル信号を提供されるカメラ・モジュール1100bは、提供されたシンク・イネーブル信号に基づいてシンク信号を生成し、生成されたシンク信号(sync signal)を、シンク信号ラインSSLを介してカメラ・モジュール(1100a、1100c)に提供する。
カメラ・モジュール1100bとカメラ・モジュール(1100a、1100c)は、このようなシンク信号に同期してイメージ・データをアプリケーション・プロセッサ1200に送る。
【0100】
いくつかの実施形態では、カメラ・モジュール・コントローラ1216から複数のカメラ・モジュール(1100a、1100b、1100c)に提供される制御信号は、モード信号に応じたモード情報を含む。
このようなモード情報に基づいて、複数のカメラ・モジュール(1100a、1100b、1100c)は、センシング速度に関連して第1動作モード及び第2動作モードで動作する。
【0101】
複数のカメラ・モジュール(1100a、1100b、1100c)は、第1動作モードにおいて、第1速度でイメージ信号を生成(例えば、第1フレーム・レートのイメージ信号を生成)し、これを第1速度よりも高い第2速度でエンコーディング(例えば、第1フレーム・レートよりも高い第2フレーム・レートのイメージ信号をエンコーディング)し、エンコーディングされたイメージ信号をアプリケーション・プロセッサ1200に送る。
このとき、第2速度は、第1速度の30倍以下であり得る。
【0102】
アプリケーション・プロセッサ1200は、受信したイメージ信号、すなわちエンコーディングされるイメージ信号を、内部に設けられるメモリ1230又はアプリケーション・プロセッサ1200の外部ストレージ部1400に格納し、以後、メモリ1230又は外部ストレージ部1400からエンコーディングされたイメージ信号を読み出してデコーディングし、デコーディングされたイメージ信号に基づいて生成されるイメージ・データをディスプレイする。
例えば、イメージ処理装置1210の複数のサブプロセッサ(1212a、1212b、1212c)の内の対応するサブプロセッサがデコーディングを実行し、なおデコーディングされたイメージ信号に対しイメージ処理を実行することもできる。
【0103】
複数のカメラ・モジュール(1100a、1100b、1100c)は、第2動作モードにおいて、第1速度より低い第3速度でイメージ信号を生成(例えば、第1フレーム・レートより低い第3フレーム・レートのイメージ信号を生成)し、イメージ信号をアプリケーション・プロセッサ1200に送る。
アプリケーション・プロセッサ1200に提供されるイメージ信号は、エンコーディングされていない信号である。
アプリケーション・プロセッサ1200は、受信したイメージ信号に対してイメージ処理を実行するか、又はイメージ信号を内部メモリ1230若しくは外部メモリ1400に格納する。
【0104】
PMIC1300は、複数のカメラ・モジュール(1100a、1100b、1100c)のそれぞれに電力、例えば電源電圧を供給する。
例えば、PMIC1300は、アプリケーション・プロセッサ1200の制御下で、パワー信号ラインPSLaを介してカメラ・モジュール1100aに第1電力を供給し、パワー信号ラインPSLbを介してカメラ・モジュール1100bに第2電力を供給し、パワー信号ラインPSLcを介してカメラ・モジュール1100cに第3電力を供給する。
【0105】
PMIC1300は、アプリケーション・プロセッサ1200からの電力制御信号PCONに応答して、複数のカメラ・モジュール(1100a、1100b、1100c)のそれぞれに対応する電力を生成し、なお電力のレベルを調整する。
電力制御信号PCONは、複数のカメラ・モジュール(1100a、1100b、1100c)の動作モード別電力調整信号を含む。
例えば、動作モードは、低電力モード(low power mode)を含み、このとき電力制御信号PCONは、低電力モードで動作するカメラ・モジュール及び設定された電力レベルに関する情報を含む。
複数のカメラ・モジュール(1100a、1100b、1100c)のそれぞれに供給される電力のレベルは、互いに同じであるか異なっているかであり得る。
なお、電力のレベルは動的に変更され得る。
【0106】
上述した実施形態では、第1、第2、第3などの用語を使用して本発明の技術的思想による構成要素が説明された。
しかしながら、第1、第2、第3などの用語は、構成要素を互いに区別するために使用され、本発明を限定しない。例えば、第1、第2、第3などの用語は、順序又は任意の形態の数値的意味を内包しない。
【0107】
上述した実施形態では、ブロックを使用して本発明の実施形態による構成要素が参照された。
ブロックは、IC(Integrated Circuit)、ASIC(Application Specific IC)、FPGA(Field Programmable Gate Array)、CPLD(Complex Programmable Logic Device)などのような多様なハードウェア装置、ハードウェア装置で駆動されるファームウェア、アプリケーションのようなソフトウェア、又はハードウェア装置とソフトウェアを組み合わせた形態で実施される。
なお、ブロックは、IC内の半導体素子からなる回路又はIP(Intellectual Property)として登録された回路を含み得る。
【0108】
尚、本発明は、上述の実施形態に限られるものではない。本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。
【符号の説明】
【0109】
100、200 イメージ・センサ
110 ピクセル・アレイ
120 スキャン・ドライバ回路
130 アナログ感知回路
140 デジタル論理回路
150 インターフェース回路
160 デジタル制御回路
210 第1基板
220 第2基板
221、222 (第1、第2)熱源
301 反射物質
310 マイクロレンズ
320 カラーフィルタ
330 隔離空間
340 光感知回路