特開 2024-506 クロストークを補正するイメージセンサ、イメージセンサの動作方法およびイメージセンサを含む電子機器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024000506

(43)【公開日】2024-01-05

(54)【発明の名称】クロストークを補正するイメージセンサ、イメージセンサの動作方法およびイメージセンサを含む電子機器

(51)【国際特許分類】

   H04N 25/62 20230101AFI20231225BHJP

   H04N 25/76 20230101ALI20231225BHJP

   H04N 23/54 20230101ALI20231225BHJP

【ＦＩ】

H04N25/62

H04N25/76

H04N23/54

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

(21)【出願番号】P 2023084581

(22)【出願日】2023-05-23

(31)【優先権主張番号】10-2022-0075035

(32)【優先日】2022-06-20

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2022-0112541

(32)【優先日】2022-09-06

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】18/121804

(32)【優先日】2023-03-15

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】390019839

【氏名又は名称】三星電子株式会社

【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．

【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ－ｒｏ，Ｙｅｏｎｇｔｏｎｇ－ｇｕ，Ｓｕｗｏｎ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】李 尚遇

(72)【発明者】

【氏名】龍 殷智

(72)【発明者】

【氏名】金 ▲どう▼▲お▼

(72)【発明者】

【氏名】金 聖洙

【テーマコード（参考）】

5C024

5C122

【Ｆターム（参考）】

5C024CX11

5C024GY31

5C024HX18

5C024HX21

5C024HX23

5C024HX29

5C122EA12

5C122FC07

5C122FH23

5C122HA88

5C122HB01

5C122HB06

(57)【要約】

【課題】 本発明は、イメージセンサに関する。
【解決手段】 本発明のイメージセンサは、複数のピクセルを含み、複数のピクセルを用いてアナログ信号を生成するように構成されるピクセル部と、アナログ信号を受信してアナログ信号をデジタル信号に変換するデータ変換部と、デジタル信号に対してクロストーク補正およびリモザイク(remosaic)を行うことによりイメージデータを生成し、イメージデータを外部の装置に出力するように構成されるプロセッシング部と、を備える。プロセッシング部は外部の装置からイメージデータ情報を受信し、イメージデータ情報に基づいて飽和率を計算し、そして飽和率に基づいてリモザイクの設定を調整するように構成される。
【選択図】図１

【特許請求の範囲】

【請求項1】

複数のピクセルを含み、前記複数のピクセルを用いてアナログ信号を生成するように構成されるピクセル部と、
前記アナログ信号を受信し、前記アナログ信号をデジタル信号に変換するデータ変換部と、
前記デジタル信号に対してクロストーク補正およびリモザイクを行うことによりイメージデータを生成し、前記イメージデータを外部の装置に出力するように構成されるプロセッシング部と、を備え、
前記プロセッシング部は、前記外部の装置からイメージデータ情報を受信し、前記イメージデータ情報に基づいて飽和率を計算し、前記飽和率に基づいて前記リモザイクの設定を調整するように構成される、
イメージセンサ。

【請求項2】

前記プロセッシング部は、前記イメージデータ上の前記複数のピクセルに対応するピクセル値のグループの平均ピクセル値を前記イメージデータ情報から検出し、前記平均ピクセル値に基づいて前記飽和率を計算するようにさらに構成される、
請求項１に記載のイメージセンサ。

【請求項3】

前記プロセッシング部は、前記平均ピクセル値を閾値と比較することによって前記飽和率を計算するようにさらに構成される、
請求項２に記載のイメージセンサ。

【請求項4】

前記プロセッシング部は、平均ピクセル値のうち前記閾値よりも高い平均ピクセル値の割合を前記飽和率として計算するようにさらに構成される、
請求項３に記載のイメージセンサ。

【請求項5】

前記イメージデータ情報は、前記複数のピクセルに対応するピクセル値のうち飽和されたピクセル値の数に関する情報を含み、
前記プロセッシング部は、前記飽和されたピクセル値の数に基づいて前記飽和率を計算するようにさらに構成される、
請求項１に記載のイメージセンサ。

【請求項6】

イメージデータは、複数のチャンネルにそれぞれ対応する複数のチャンネルデータを含み、
前記イメージデータ情報は、前記複数のチャネルにそれぞれ対応する複数のチャネルデータ情報を含み、
前記プロセッシング部は、前記複数のチャンネルにそれぞれ対応する複数の飽和率を計算するようにさらに構成される、
請求項１に記載のイメージセンサ。

【請求項7】

前記プロセッシング部は、前記複数の飽和率のうち最も高い飽和率に基づいて前記リモザイクの設定を調整するようにさらに構成される、
請求項６に記載のイメージセンサ。

【請求項8】

前記プロセッシング部は、前記イメージデータが単調なイメージデータであるか否かを判定するために使用される単調性閾値、前記イメージデータの単調な領域を判定するのに使用されるローカル単調性閾値、および前記イメージデータの単調な領域をスムージングするときに使用されるスムージングパワーのうちの少なくとも１つを調整するようにさらに構成される、
請求項１に記載のイメージセンサ。

【請求項9】

前記プロセッシング部は、前記飽和率が増加すればするほど、前記単調性閾値、前記ローカル単調性閾値、および前記スムージングパワーのうちの少なくとも１つを増加させるようにさらに構成される、
請求項８に記載のイメージセンサ。

【請求項10】

前記プロセッシング部は、前記飽和率が増加すればするほど、前記単調性閾値、前記ローカル単調性閾値、および前記スムージングパワーのうちの少なくとも２つを同じ割合で増加させるようにさらに構成される、
請求項９に記載のイメージセンサ。

【請求項11】

前記プロセッシング部は、前記飽和率が増加すればするほど、前記単調性閾値、前記ローカル単調性閾値、および前記スムージングパワーのうちの少なくとも２つを互いに異なる割合で増加させるようにさらに構成される、
請求項９に記載のイメージセンサ。

【請求項12】

前記プロセッシング部は、前記リモザイクの設定を調整することによって、前記複数のピクセルのうち飽和されたピクセルのクロストークを補正するようにさらに構成される、
請求項１に記載のイメージセンサ。

【請求項13】

前記プロセッシング部は、前記複数のピクセルのうち飽和されていないピクセルのピクセル値に利得およびオフセットを適用することにより、前記飽和されていないピクセルの前記クロストーク補正を行うようにさらに構成される、
請求項１２に記載のイメージセンサ。

【請求項14】

複数のピクセルを含むイメージセンサの動作方法であって、
前記イメージセンサが外部の装置からイメージデータ情報を受信するステップと、
前記イメージセンサが、前記イメージデータ情報から前記イメージセンサによって取得されたイメージデータの飽和率を計算するステップと、
前記イメージセンサが、前記飽和率に基づいてリモザイク設定を調整するステップと、を備え、
前記イメージセンサは、前記イメージセンサによって取得されたイメージデータに対して前記リモザイク設定に基づいてリモザイクを遂行するように構成される、
動作方法。

【請求項15】

前記イメージデータ情報は、前記イメージセンサによって前記外部の装置に出力された前のフレームのイメージデータの情報を含む、
請求項１４に記載の動作方法。

【請求項16】

前記イメージセンサは、前記リモザイク設定に基づいて現在のフレームのイメージデータに対して前記リモザイクを遂行する、
請求項１４に記載の動作方法。

【請求項17】

前記飽和率を計算するステップは、
前記複数のピクセルに対応するピクセル値のグループの平均ピクセル値を前記イメージデータ情報から検出するステップと、
閾値を用いて前記ピクセル値のグループのうち飽和されたグループを判定するステップと、
前記飽和されたグループの数をカウントするステップと、
前記飽和されたグループの数に基づいて前記飽和率を計算するステップと、を含む、
請求項１４に記載の動作方法。

【請求項18】

前記飽和率を計算するステップは、
前記複数のピクセルのうち飽和されたピクセル値に対応する飽和されたピクセル数を前記イメージデータ情報から検出するステップと、
前記飽和されたピクセルの数に基づいて前記飽和率を計算するステップと、を含む、
請求項１４に記載の動作方法。

【請求項19】

イメージデータを生成するイメージセンサと、
前記イメージデータに基づいてイメージデータ情報を生成し、前記イメージデータ情報を前記イメージセンサに伝達するプロセッサと、を備え、
前記イメージセンサは、複数のピクセルを含み、前記イメージデータ情報から前記複数のピクセルの飽和率を計算し、前記飽和率に基づいて前記複数のピクセルのクロストークを第１モードおよび第２モードのうちいずれか１つに基づいて補正するように構成され、
前記第１モードでは、前記イメージセンサは利得およびオフセットに基づいて前記クロストークを補正するように構成され、
前記第２モードでは、前記イメージセンサは前記利得および前記オフセットに基づいて前記クロストークを補正し、そしてリモザイク設定(remosaic)を調整することによって前記クロストークをさらに補正するように構成される、
電子機器。

【請求項20】

前記イメージセンサは、前記飽和率が基準値より低いときに前記第１モードに進入し、そして前記飽和率が前記基準値以上であるときに、前記第２モードに進入する、
請求項１９に記載の電子機器。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、電子機器に関し、より詳しくは、適応的にクロストークを補正するイメージセンサ、イメージセンサの動作方法およびイメージセンサを含む電子機器に関する。

【背景技術】

【0002】

イメージセンサは複数のピクセルを含み、複数のピクセルを用いてイメージデータを生成することができる。イメージセンサによって生成されたイメージデータは、多様なノイズおよび歪みを含み得る。イメージセンサは、イメージデータからノイズおよび歪みを除去するキャリブレーション(calibration、較正)を遂行し、キャリブレーションされたイメージデータを出力することができる。

【0003】

イメージデータのノイズおよび歪みは、クロストークを含み得る。クロストークは、イメージセンサのピクセルにおいて入射光が不均一に検出されたり、ピクセル間で検出結果が漏れたりすることによって発生することができる。クロストークを補正するために、イメージセンサは多様なキャリブレーションを遂行することができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】米国特許第８,２０８,０３９号明細書

【特許文献2】米国特許第８,９５７,９９０号明細書

【特許文献3】米国特許第８,８０５,０６３号明細書

【特許文献4】米国特許出願公開第２００１/００３７１６０号明細書

【特許文献5】米国特許出願公開第２０２１/０２１７１３４号明細書

【特許文献6】米国特許出願公開第２０２１/０２１１６１５号明細書

【特許文献7】米国特許出願公開第２０２２/０１２４２６４号明細書

【特許文献8】米国特許出願公開第２０２１/０００６７５５号明細書

【特許文献9】韓国登録特許第１０－２０５５２５３号公報

【特許文献10】韓国公開特許第１０－２００１－００９５０５７号公報

【特許文献11】韓国公開特許第１０－２００２－００１４５３５号公報

【特許文献12】韓国公開特許第１０－２０２１－０１３０９７２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明は、上記従来技術に鑑みてなされたものであって、本発明の目的は、イメージセンサのピクセルによって検出されたピクセル値が飽和されてもクロストークを補正することができるイメージセンサ、イメージセンサの動作方法およびイメージセンサを含む電子機器を提供することにある。

【課題を解決するための手段】

【0006】

本発明の実施形態によるピクセル部は、複数のピクセルを含み、そして複数のピクセルを用いてアナログ信号を生成するように構成されるピクセル部と、アナログ信号を受信し、そしてアナログ信号をデジタル信号に変換するデータ変換部と、デジタル信号に対してクロストーク補正およびリモザイク(remosaic)を行うことによりイメージデータを生成し、イメージデータを外部の装置に出力するように構成されるプロセッシング部と、を備える。前記プロセッシング部は外部の装置からイメージデータ情報を受信し、イメージデータ情報に基づいて飽和率を計算し、そして飽和率に基づいてリモザイクの設定を調整するように構成される。

【0007】

複数のピクセルを含むイメージセンサの動作方法は、イメージセンサが外部の装置からイメージデータ情報を受信するステップと、イメージセンサがイメージデータ情報からイメージセンサによって取得されたイメージデータの飽和率を計算するステップと、イメージセンサが、飽和率に基づいてリモザイク設定を調整するステップと、を備える。イメージセンサは、イメージセンサによって取得されたイメージに対してリモザイク設定に基づいてリモザイクを遂行するように構成される。

【0008】

本発明の実施形態による電子機器は、イメージデータを生成するイメージセンサと、イメージデータに基づいてイメージデータ情報を生成し、イメージデータ情報をイメージセンサに伝達するプロセッサと、を備える。前記イメージセンサは、複数のピクセルを含み、イメージデータ情報から複数のピクセルの飽和率を計算し、そして飽和率に基づいて複数のピクセルのクロストークを第１モードおよび第２モードのいずれか１つに基づいて補正するように構成される。第１モードでは、イメージセンサは利得とオフセットに基づいてクロストークを補正するように構成され、第２モードでは、イメージセンサは利得とオフセットに基づいてクロストークを補正し、そしてリモザイク設定を調整することによってクロストークをさらに補正するように構成される。

【発明の効果】

【0009】

本発明の実施形態によれば、ピクセルによって検出されるピクセル値が飽和されるにつれて、イメージセンサはリモザイク設定を調整することができる。したがって、ピクセル値が飽和されてもクロストークを補正することができるイメージセンサ、イメージセンサの動作方法、およびイメージセンサを含む電子機器が提供される。

【図面の簡単な説明】

【0010】

【図1】本発明の実施形態による電子機器を示す。

【図2】図１の電子機器の動作方法の一例を示す。

【図3】本発明の実施形態によるイメージセンサを示す。

【図4】イメージセンサのピクセルが配置された例を示す。

【図5】ピクセルアレイのピクセルの一部の断面図の例を示す。

【図6】リモザイクが行われたピクセル値の例を示す。

【図7】イメージセンサの処理回路のクロストーク補正部がクロストークを補正する方法の一例を示す。

【図8】アプリケーションプロセッサが第２イメージデータからイメージデータ情報ＩＤＩを生成する例を説明するための図である。

【図9】アプリケーションプロセッサがイメージデータ情報をイメージセンサに転送する過程の一例を示す。

【図10】イメージセンサの処理回路が飽和率に基づいてクロストークを抑制する方法の一例を示す。

【図11】イメージセンサの処理回路が飽和率を算出する方法の一例を示す。

【図12】本発明の実施形態によるリモザイク設定を調整する方法の例を示す。

【図13】イメージセンサの処理回路が飽和率に応じてリモザイク設定を調整する傾向の一例を示す。

【図14】イメージセンサの処理回路がリモザイク設定に基づいてリモザイクを遂行する方法の例を示す。

【図15】イメージセンサの処理回路が飽和率を計算する方法の他の例を示す。

【図16】マルチイメージセンサを含む電子機器のブロック図である。

【図17】図１６のイメージセンサの詳細ブロック図である。

【発明を実施するための形態】

【0011】

以下では、本発明の技術分野における通常の知識を有する者が本発明を容易に実施することができるほど、本発明の実施形態が明確かつ詳細に記載される。下では、「および/または」という用語は、該当する用語と関連してリストされた項目のいずれか１つ、そして関連してリストされた項目のいくつかまたはすべての組み合わせを含むと解釈される。

【0012】

図１は、本発明の実施形態による電子機器１０を示す。図１を参照すると、電子機器１０はイメージセンサ１００およびアプリケーションプロセッサ２００を含み得る。例として、電子機器１０は、ディスプレイ装置、メモリ、ストレージ装置、ユーザーインターフェース装置のような多様な周辺装置をさらに含み得る。

【0013】

イメージセンサ１００は、ピクセル部１１０、データ変換部１２０およびプロセッシング部１３０を含み得る。ピクセル部１１０は複数のピクセルを含み得る。ピクセル部１１０は、複数のピクセルを用いてアナログ信号ＡＳを生成することができる。アナログ信号ＡＳは、ピクセル部１１０のピクセルに入射する光の強度に応じて異なるレベル（例えば、電圧レベルまたは電流レベル）を有する複数の信号を含み得る。

【0014】

データ変換部１２０は、ピクセル部１１０によって生成されるアナログ信号ＡＳをデジタル信号ＤＳに変換することができる。データ変換部１２０は、変換されたデジタル信号ＤＳをプロセッシング部１３０に出力することができる。デジタル信号ＤＳは、アナログ信号ＡＳの複数の信号のレベルから変換された複数のデジタル値を含み得る。

【0015】

プロセッシング部１３０は、データ変換部１２０からデジタル信号ＤＳを受信することができる。プロセッシング部１３０は、デジタル信号ＤＳからノイズおよび/または歪みを除去するキャリブレーション(calibration)を行ってイメージデータＩＤを生成することができる。プロセッシング部１３０は、イメージデータＩＤをアプリケーションプロセッサ２００に出力することができる。例えば、プロセッシング部１３０は、ＭＩＰＩ（Mobile Industry Processor Interface）Ｃ－ＰＨＹまたはＤ－ＰＨＹに基づいてイメージデータＩＤをアプリケーションプロセッサ２００に出力することができる。

【0016】

例えば、プロセッシング部１３０は、キャリブレーションのためにデジタル信号ＤＳを記憶するためのメモリ（例えば、静的ランダムアクセスメモリ）を含み得る。メモリは、ピクセル部１１０のピクセルの１つ以上のロー（row：行）のピクセルに対応するデジタル信号ＤＳを記憶することができる。メモリの容量は、キャリブレーションを遂行するために必要なピクセルの単位に対応し得る。

【0017】

プロセッシング部１３０は、アプリケーションプロセッサ２００からイメージデータ情報ＩＤＩを受信することができる。例えば、プロセッシング部１３０は、ＭＩＰＩ Ｃ－ＰＨＹ、Ｄ－ＰＨＹまたはＩ２Ｃ（Inter-Integrated Circuit）インターフェースを介してアプリケーションプロセッサ２００からイメージデータ情報ＩＤＩを受信することができる。イメージデータ情報ＩＤＩは、前のフレームのイメージデータＩＤに関する情報を含み得る。プロセッシング部１３０は、イメージデータ情報ＩＤＩに基づいてキャリブレーション(calibration)を行うモードまたは方式を選択することができる。

【0018】

プロセッシング部１３０は、リモザイク部１３１、ビニング(binning)部１３２、クロストーク補正部１３３および飽和度管理部１３４を含み得る。プロセッシング部１３０は、デジタル信号ＤＳのデジタル値に対応する明るさ（または照度）に応じて、リモザイク部１３１およびビニング部１３２のいずれか１つを選択的に活性化することができる。

【0019】

デジタル信号ＤＳのデジタル値に対応する明るさ（または照度）が基準値以上である場合、プロセッシング部１３０はリモザイク部１３１を活性化することができる。リモザイク部１３１は、ピクセル部１１０のピクセルパターンに対応するデジタル信号ＤＳからベイヤーパターンに対応するイメージデータ（例えば、イメージデータＩＤに加工される中間イメージデータ）を生成することができる。デジタル信号ＤＳのデジタル値に対応する明るさ（または照度）が基準値（例えば、輝度基準値）よりも低い場合、プロセッシング部１３０はビニング部１３２を活性化することができる。ビニング部１３２は、ピクセル部１１０のピクセルパターンに対応するデジタル信号ＤＳの同じチャネル（例えば、同じ色）のデジタル値を合算してベイヤーパターンのイメージデータ（例えば、イメージデータＩＤに加工される中間イメージデータ）を生成することができる。

【0020】

リモザイク部１３１が活性化されたときに、クロストーク補正部１３３を活性化することができる。クロストーク補正部１３３は、デジタル信号ＤＳまたはリモザイク部１３１によってリモザイクされたイメージデータのピクセル値に利得(gain：ゲイン)およびオフセットを適用することによりクロストーク補正を行うことができる。例えば、クロストーク補正部１３３は、利得とオフセットをテーブルの形態で記憶し、そしてテーブルを参照してクロストーク補正を行うことができる。

【0021】

リモザイク部１３１が活性化されるときに、飽和度管理部１３４は活性化されてもよい。飽和度管理部１３４は、イメージデータ情報ＩＤＩに基づいて、ピクセル部１１０のピクセルのピクセル値（例えば、ピクセルに対応するデジタル信号ＤＳのデジタル信号の値）が飽和された程度を示す飽和率を計算することができる。飽和度管理部１３４は、飽和率に基づいてリモザイク部１３１がリモザイクを行う設定を調整することができる。飽和度管理部１３４はリモザイク設定を調整することにより、ピクセル部１１０のピクセルのピクセル値が飽和される環境で発生するクロストークを抑制することができる。

【0022】

図１では、イメージセンサ１００とアプリケーションプロセッサ２００は互いに直接通信するように示されている。しかしながら、これは本発明の実施形態を容易に伝達するためのものであり、イメージセンサ１００とアプリケーションプロセッサ２００との間にイメージデータＩＤの伝達を仲介または支援する他の構成要素が提供され得る。

【0023】

図２は、図１の電子機器１０の動作方法の一例を示す。図１および図２を参照すると、ステップＳ１１で、イメージセンサ１００はアプリケーションプロセッサ２００にイメージデータ（例えば、第１フレームのイメージデータＩＤ）を転送することができる。ステップＳ１２で、アプリケーションプロセッサ２００は、受信されたイメージデータからイメージデータ情報ＩＤＩを生成することができる。例として、アプリケーションプロセッサ２００は、受信されたイメージデータをディスプレイ装置を通して表示するか、またはメモリに記憶することができる。

【0024】

ステップＳ１３で、アプリケーションプロセッサ２００は、イメージデータ情報ＩＤＩをイメージセンサ１００に転送することができる。ステップＳ１４で、イメージセンサ１００のプロセッシング部１３０は、イメージデータ情報ＩＤＩに基づいて飽和率を算出することができる。ステップＳ１５で、イメージセンサ１００のプロセッシング部１３０は、飽和率に基づいてクロストーク補正モードを決定することができる。例として、イメージデータ情報ＩＤＩは、ピクセル値の平均値または飽和されたピクセルの数を含み得る。

【0025】

例えば、飽和率（例えば、第１フレームのイメージデータＩＤの飽和率）が基準値（例えば、飽和度基準値）より低いかゼロの場合、イメージセンサ１００のプロセッシング部１３０は、クロストーク補正部１３３のみを用いてデジタル信号ＤＳのクロストークを補正することにより、イメージデータＩＤ（例えば、第１フレームに続く第２フレームのイメージデータＩＤ）を生成することができる。飽和率が基準値（例えば、飽和度基準値）以上である場合、イメージセンサ１００のプロセッシング部１３０は、クロストーク補正部１３３に基づいてデジタル信号ＤＳのクロストークを補正するが、リモザイク部１３１のリモザイク設定を調整することにより、クロストークをさらに補正してイメージデータＩＤを生成（例えば、第１フレームに続く第２フレームのイメージデータ）することができる。

【0026】

例として、クロストーク補正部１３３は、飽和されていないピクセルのピクセル値に対してクロストーク補正を行うことができる。リモザイク部１３１は、デジタル信号ＤＳのピクセル値の全部または一部の領域に対してクロストーク補正（または抑制）を行うことができる。リモザイク部１３１がピクセルに対応するデジタル信号上でクロストークを補正（または抑制）する領域を選択するのは、飽和度または飽和率に関係なく遂行され得る。

【0027】

図３は、本発明の実施形態による装置３００を示す。例として、装置３００は、図１のイメージセンサ１００のピクセル部１１０およびデータ変換部１２０に対応し得る。図１および図３を参照すると、装置３００は、ピクセルアレイ３１０、行(row）ドライバ３２０、ランプ信号発生器３３０（ＲＳＧ）、アナログ－デジタル変換回路３４０、メモリ回路３５０、インターフェース回路３６０およびタイミング発生器３７０（ＴＧ）を含み得る。

【0028】

例として、ピクセルアレイ３１０はピクセル部１１０に対応し得る。行ドライバ３２０、ランプ信号発生器３３０、アナログ－デジタル変換回路３４０、メモリ回路３５０、インターフェース回路３６０およびタイミング発生器３７０は、データ変換部１２０に対応することができる。

【0029】

ピクセルアレイ３１０は、行と列に沿ってマトリックス状に配置された複数のピクセルＰＸを含み得る。複数のピクセルＰＸのそれぞれは光検出器を含み得る。例えば、光検出器は、フォトダイオード、フォトトランジスタ、フォトゲート、またはピンドフォトダイオード(pinned photodiode)などを含み得る。複数のピクセルＰＸのそれぞれは、光検出器を用いて光を感知し、感知された光の量を電気信号（例えば、電圧または電流）に変換することができる。

【0030】

ピクセルアレイ３１０上にカラーフィルタアレイＣＦＡ（Color Filter Array）とレンズを積層することができる。カラーフィルタアレイは、赤（Ｒ）、緑（Ｇ）および青（Ｂ）のフィルタを含み得る。複数のピクセルＰＸに２つ以上の異なるカラーフィルタを配置することができる。例えば、複数のピクセルＰＸに少なくとも１つの青色カラーフィルタ、少なくとも１つの赤色カラーフィルタ、および少なくとも２つの緑色カラーフィルタを配置することができる。

【0031】

行ドライバ３２０は、第１行から第ｍ行までの行ラインＲＬ１～ＲＬｍ（ｍは正の整数）を介してピクセルアレイ３１０のピクセルＰＸの行にそれぞれ連結され得る。行ドライバ３２０は、タイミング発生器３７０によって生成されたアドレスおよび/または制御信号をデコードし、ピクセルアレイ３１０の第１行から第ｍ行までの行ラインＲＬ１～ＲＬｍを順次選択し、そして選択された行ラインを特定の電圧で駆動することができる。例えば、行ドライバ３２０は、選択された行ラインを光の感知に適した電圧で駆動することができる。

【0032】

ピクセルＰＸの行に連結される第１行から第ｍ行までの行ラインＲＬ１～ＲＬｍのそれぞれは、２つ以上のラインを含み得る。２つ以上のラインは、例えば、ピクセルの光検出器を選択（または活性化）するための信号、フローティング拡散ノードをリセットするための信号、列ラインを選択するための信号、変換利得ＣＧ（Conversion Gain）を調整するための信号などを含む多様な信号をそれぞれ伝達することができる。

【0033】

ランプ信号発生器３３０は、ランプ信号ＲＳを生成することができる。ランプ信号発生器３３０は、タイミング発生器３７０の制御下で動作することができる。例えば、ランプ信号発生器３３０は、ランプイネーブル信号、モード信号などのような制御信号の下で動作することができる。ランプイネーブル信号が活性化されることに応答して、ランプ信号発生器３３０は、モード信号に基づいて設定される傾きを有するランプ信号を生成することができる。例えば、ランプ信号発生器３３０は、時間の経過とともに初期レベルから持続的に減少または増加するランプ信号ＲＳを生成することができる。

【0034】

アナログ－デジタル変換回路３４０は、第１列から第ｎ列までの列ラインＣＬ１～ＣＬｎ（ｎは正の整数）を介してピクセルアレイ３１０のピクセルＰＸの列にそれぞれ連結され得る。アナログ－デジタル変換回路３４０は、第１列から第ｎ列までの列ラインＣＬ１～ＣＬｎにそれぞれ連結される第１～第ｎのアナログ－デジタル変換器ＡＤ１～ＡＤｎを含み得る。第１～第ｎのアナログ－デジタル変換器ＡＤ１～ＡＤｎは、ランプ信号発生器３３０からランプ信号ＲＳを共通に受信することができる。

【0035】

第１～第ｎのアナログ－デジタル変換器ＡＤ１～ＡＤｎは、第１列から第ｎ列までの列ラインＣＬ１～ＣＬｎの電圧（または電流）をランプ信号ＲＳと比較することができる。ランプ信号は、一定の割合で減少または増加する信号である。第１～第ｎのアナログ－デジタル変換器ＡＤ１～ＡＤｎは、ランプ信号ＲＳが第１列から第ｎ列までの列ラインＣＬ１～ＣＬｎのピクセル電圧（またはピクセル電流）より小さくなる（または、大きくなるまで）までのカウント値をラッチし、そしてラッチされたカウント値をデジタル値に変換して出力することができる。すなわち、第１～第ｎのアナログ－デジタル変換器ＡＤ１～ＡＤｎは、ピクセルＰＸから第１列から第ｎ列までの列ラインＣＬ１～ＣＬｎに出力された電圧（または電流）の大きさ（あるいは、量）に対応するデジタル値を出力し得る。

【0036】

第１～第ｎのアナログ－デジタル変換器ＡＤ１～ＡＤｎのそれぞれは、少なくとも２つのサブ変換器を含み得る。サブ変換器は、対応する列ラインに共通に連結され、そしてランプ信号ＲＳを共通に受信することができる。サブ変換器は同じ分解能または異なる分解能を有し得る。サブ変換器は異なるタイミングで活性化され、対応する列ラインの電圧（または電流）をデジタル値（またはデジタル信号）に変換することができる。

【0037】

メモリ回路３５０は、第１～第ｎのアナログ－デジタル変換器ＡＤ１～ＡＤｎにそれぞれ対応する第１～第ｎのメモリＭ１～Ｍｎを含み得る。第１～第ｎのメモリＭ１～Ｍｎは、第１～第ｎのアナログ－デジタル変換器ＡＤ１～ＡＤｎから受信されたデジタル値（またはデジタル信号）を格納し、そして格納された値（または信号）を図１のプロセッシング部１３０に伝達することができる。

【0038】

タイミング発生器３７０（ＴＧ）は、装置３００が動作するタイミングを制御することができる。タイミング発生器３７０は、行ドライバ３２０が第１行から第ｍ行までの行ラインＲＬ１～ＲＬｍを順次選択するタイミングを制御し、第１行から第ｍ行までの行ラインＲＬ１～ＲＬｍのうち選択された行ラインに含まれた２つ以上のラインを介して信号が伝達されるタイミングを制御することができる。

【0039】

タイミング発生器３７０は、ランプ信号発生器３３０がランプ信号ＲＳを生成し、そしてランプ信号を初期化するタイミングを制御することができる。タイミング発生器３７０は、第１～第ｎのアナログ－デジタル変換器ＡＤ１～ＡＤｎがカウントおよび比較を開始するタイミング、並びに第１～第ｎのアナログ－デジタル変換器ＡＤ１～ＡＤｎを初期化するタイミングを制御することができる。

【0040】

図４は、ピクセル部１１０のピクセルが配置された例を示す。図１、図３および図４を参照すると、ピクセル部１１０は、左上端の第１ピクセルＰＸ１、右上端の第２ピクセルＰＸ２、左下端の第３ピクセルＰＸ３、および右下端の第４ピクセルＰＸ４は、２次元平面で繰り返し配置されるパターンを有し得る。

【0041】

第１ピクセルＰＸ１、第２ピクセルＰＸ２、第３ピクセルＰＸ３および第４ピクセルＰＸ４のそれぞれは、複数のサブピクセルを含み得る。例として、第１ピクセルＰＸ１、第２ピクセルＰＸ２、第３ピクセルＰＸ３および第４ピクセルＰＸ４のそれぞれは、９個のサブピクセルを含むように示されているが、第１ピクセルＰＸ１、第２ピクセルＰＸ２、第３ピクセルＰＸ３および第４ピクセルＰＸ４のそれぞれに含まれるサブピクセルの数は限定されない。

【0042】

例として、第１ピクセルＰＸ１のサブピクセルは赤色Ｒのカラーフィルタを共有し得る。第２ピクセルＰＸ２のサブピクセルは緑色Ｇ（例えば、Ｇｒ）のカラーフィルタを共有し得る。第３ピクセルＰＸ３のサブピクセルは、緑色Ｇ（例えば、Ｇｂ）のカラーフィルタを共有し得る。第４ピクセルＰＸ４のサブピクセルは青色Ｂのカラーフィルタを共有し得る。

【0043】

図５は、ピクセルアレイ４００のピクセルの一部の断面図の例を示す。例として、ピクセルアレイ４００は、装置３００のピクセルアレイ３１０に対応し得る。

【0044】

図３、図４および図５を参照すると、ピクセルアレイ４００は、サブピクセルにそれぞれ対応し、入射光を対応するピクセルに集めるように構成されるマイクロレンズ４１０、マイクロレンズ４１０の下に位置するカラーフィルタ領域４２０、カラーフィルタ領域４２０の下に位置して入射光の反射を防止する反射防止膜４２５、入射光に基づいて電荷を生成する光電変換領域４３０、および光電変換領域４３０の下に位置して光電変換領域４３０によって生成された電荷を感知する感知回路４４０を含み得る。光電変換領域４３０は互いに電気的に絶縁され得る。

【0045】

カラーフィルタ領域４２０において、第１ピクセルＰＸ１のサブピクセルの上端に第１カラーフィルタＣＦ１を設けることができる。第１カラーフィルタＣＦ１は、赤色に対応する周波数の光を通過させ得る。カラーフィルタ領域４２０において、第２ピクセルＰＸ２のサブピクセルの上端に第２カラーフィルタＣＦ２を設けることができる。第２カラーフィルタＣＦ２は、緑色に対応する周波数の光を通過させ得る。カラーフィルタ領域４２０内のカラーフィルタ、例えば第１カラーフィルタＣＦ１と第２カラーフィルタＣＦ２との間に、金属成分を含んで入射光のクロストークを防止するためのグリッドＧＤを設けることができる。

【0046】

図４には示されていないが、第１ピクセルＰＸ１および第２ピクセルＰＸ２と同様に、第３ピクセルＰＸ３のサブピクセルの上端に緑色に対応する周波数の光を通過させるカラーフィルタが設けられ、そして第４ピクセルＰＸ４のサブピクセルの上端に青色に対応する周波数の光を通過させるカラーフィルタが設けられる。

【0047】

第１ピクセルＰＸ１、第２ピクセルＰＸ２、第３ピクセルＰＸ３および第４ピクセルＰＸ４の光電変換領域４３０の間に、並びに第１ピクセルＰＸ１、第２ピクセルＰＸ２、第３ピクセルＰＸ３および第４ピクセルＰＸ４の各サブピクセルの光電変換領域４３０の間に、光が隣接する他のサブピクセルまたはピクセルに漏れるのを遮断する反射物質が設けられてもよい。

【0048】

感知回路４４０は、第１列から第ｎ列までの列ラインＣＬ１～ＣＬｎのうち対応する列ラインと、第１行から第ｍ行までの行ラインＲＬ１～ＲＬｍのうち対応する行ラインと連結されるトランジスタを含み得る。

【0049】

図５に示すように、カラーフィルタＣＦ１またはＣＦ２の厚さは均一ではない可能性がある。第１ピクセルＰＸ１の中央部のサブピクセルに対応する第１カラーフィルタＣＦ１の厚さは、第１ピクセルＰＸ１のエッジのサブピクセルに対応する第１カラーフィルタＣＦ１の厚さよりも厚い可能性がある。したがって、同じ方向（例えば垂直方向）から同じ明るさ（例えば、照度）の光が入射しても、第１ピクセルＰＸ１の中央部のサブピクセルが感知するピクセル値は、第１ピクセルＰＸ１のエッジのサブピクセルが感知するピクセル値よりも低い可能性がある。また、第１ピクセルＰＸ１の中央部のサブピクセルは、同じ色のカラーフィルタを有する隣接したサブピクセルを有する。しかしながら、第１ピクセルＰＸ１のエッジのサブピクセルは、同じ色のカラーフィルタを有する隣接したサブピクセルと、異なる色のカラーフィルタを有する隣接したサブピクセルと、を有し得る。すなわち、サブピクセルの環境によってクロストークの影響が変わることがある。

【0050】

明るさ（例えば、照度）が基準値（例えば、照度基準値）よりも低い場合、プロセッシング部１３０（図１参照）のビニング部１３２はビニングを行うことができる。例えば、ビニング部１３２は、第１ピクセルＰＸ１、第２ピクセルＰＸ２、第３ピクセルＰＸ３および第４ピクセルＰＸ４のそれぞれのサブピクセルのピクセル値を合算する（または、平均を計算する）ことができる。すなわち、プロセッシング部１３０は、第１ピクセルＰＸ１、第２ピクセルＰＸ２、第３ピクセルＰＸ３および第４ピクセルＰＸ４のピクセルのピクセル値を含むイメージデータＩＤを生成することができる。ビニングが行われたイメージデータＩＤは、ベイヤーパターンに基づいているため、別途の変換動作は必要としない。

【0051】

明るさ（例えば、照度）が基準値（例えば、照度基準値）以上である場合、プロセッシング部１３０（図１参照）のリモザイク部１３１は、リモザイクを行うことができる。例えば、リモザイク部１３１は、サブピクセル単位のピクセル値を保持し、アナログ信号ＡＳをベイヤーパターンに変換することができる。

【0052】

図６は、リモザイクが行われたピクセル値の例を示す。図３、図４、図５および図６を参照すると、サブピクセルにそれぞれ対応するピクセル値は、ベイヤーパターンに基づくように変換され得る。例えば、第１ピクセルＰＸ１の第１行および第１列のサブピクセルに対応するピクセル値は、赤色のピクセル値に対応するように維持され得る。第１ピクセルＰＸ１の第１行および第２列のサブピクセルに対応するピクセル値は、緑色のピクセル値に対応するように変換（例えば、補間に基づいて）され得る。第１ピクセルＰＸ１の第１行および第３列のサブピクセルに対応するピクセル値は、赤色のピクセル値に対応するように維持される。

【0053】

第１ピクセルＰＸ１の第２行および第１列のサブピクセルに対応するピクセル値は、緑色のピクセル値に対応するように変換（例えば、補間に基づいて）され得る。第１ピクセルＰＸ１の第２行および第２列のサブピクセルに対応するピクセル値は、青色のピクセル値に対応するように変換（例えば、補間に基づいて）され得る。第１ピクセルＰＸ１の第２行および第３列のサブピクセルに対応するピクセル値は、緑色のピクセル値に対応するように変換（例えば、補間に基づいて）される。

【0054】

第１ピクセルＰＸ１の第３行および第１列のサブピクセルに対応するピクセル値は、赤色のピクセル値に対応するように維持され得る。第１ピクセルＰＸ１の第３行および第２列のサブピクセルに対応するピクセル値は、緑色のピクセル値に対応するように変換（例えば、補間に基づいて）され得る。第１ピクセルＰＸ１の第３行および第３列のサブピクセルに対応するピクセル値は、赤色のピクセル値に対応するように維持される。

【0055】

第２ピクセルＰＸ２の第１行および第１列のサブピクセルに対応するピクセル値は、緑色のピクセル値に対応するように維持され得る。第２ピクセルＰＸ２の第１行および第２列のサブピクセルに対応するピクセル値は、赤色のピクセル値に対応するように変換（例えば、補間に基づいて）され得る。第２ピクセルＰＸ２の第１行および第３列のサブピクセルに対応するピクセル値は、緑色のピクセル値に対応するように維持される。

【0056】

第２ピクセルＰＸ２の第２行および第１列のサブピクセルに対応するピクセル値は、青色のピクセル値に対応するように変換（例えば、補間に基づいて）され得る。第２ピクセルＰＸ２の第２行および第２列のサブピクセルに対応するピクセル値は、緑色のピクセル値に対応するように維持される。第２ピクセルＰＸ２の第２行および第３列のサブピクセルに対応するピクセル値は、青色のピクセル値に対応するように変換（例えば、補間に基づいて）されてもよい。

【0057】

第２ピクセルＰＸ２の第３行および第１列のサブピクセルに対応するピクセル値は、緑色のピクセル値に対応するように維持される。第２ピクセルＰＸ２の第３行および第２列のサブピクセルに対応するピクセル値は、赤色のピクセル値に対応するように変換（例えば、補間に基づいて）され得る。第２ピクセルＰＸ２の第３行および第３列のサブピクセルに対応するピクセル値は、緑色のピクセル値に対応するように維持される。

【0058】

同様に、第３ピクセルＰＸ３および第４ピクセルＰＸ４のサブピクセルのピクセル値も、またベイヤーパターンに基づくように変換され得る。例として、図５および図６において、右上端から左下端に向かうライン（線）で満たされたサブピクセルに対応するピクセル値は、赤色に対応するピクセル値であり得る。左上端から右下端に向かうライン（線）で満たされたサブピクセルに対応するピクセル値は、青色に対応するピクセル値であり得る。点で満たされたサブピクセルに対応するピクセル値は、緑色に対応するピクセル値であり得る。

【0059】

。
図５を参照して説明したように、第１ピクセルＰＸ１、第２ピクセルＰＸ２、第３ピクセルＰＸ３および第４ピクセルＰＸ４のサブピクセルのうち中央部のサブピクセルによって感知されるピクセル値は、エッジのサブピクセルによって感知されるピクセル値よりも低い可能性がある。したがって、図６のサブピクセルに対応するピクセル値では、中央部のサブピクセルに対応するピクセル値が、エッジのサブピクセルに対応するピクセル値よりも低くなるクロストークが発生できる。

【0060】

図７は、イメージセンサ１００のプロセッシング部１３０のクロストーク補正部１３３が、クロストークを補正する方法の一例を示す。図１、図６および図７を参照すると、ステップＳ２１において、クロストーク補正部１３３は、第１ピクセルＰＸ１、第２ピクセルＰＸ２、第３ピクセルＰＸ３および第４ピクセルＰＸ４のサブピクセルのピクセル値のそれぞれに利得を適用することができる。利得に基づいて、クロストーク補正部１３３は、サブピクセルにそれぞれ対応するピクセル値を比率で調整することができる。

【0061】

ステップＳ２２において、クロストーク補正部１３３は、第１ピクセルＰＸ１、第２ピクセルＰＸ２、第３ピクセルＰＸ３および第４ピクセルＰＸ４のサブピクセルのピクセル値にオフセットを適用することができる。オフセットに基づいて、クロストーク補正部１３３は、サブピクセルにそれぞれ対応するピクセル値をオフセット値だけ調整（例えば、足すか引くか）することができる。

【0062】

第１ピクセルＰＸ１、第２ピクセルＰＸ２、第３ピクセルＰＸ３および第４ピクセルＰＸ４のサブピクセルに感知可能な最大輝度（または最大照度）の光が入射すると、サブピクセルは飽和して最大値のピクセル値を出力することができる。サブピクセルが最大値のピクセル値を出力するときに、クロストーク補正部１３３がクロストーク補正を行うと、利得（ゲイン）とオフセットによってイメージデータＩＤにアーティファクト(artifact)が発生できる。したがって、クロストーク補正部１３３は、飽和されたピクセル値に対してクロストーク補正を省略するように（または遂行しないように）構成され得る。

【0063】

また、図５を参照して説明したようにカラーフィルタＣＦ１またはＣＦ２の厚さが均一ではないため、第１ピクセルＰＸ１、第２ピクセルＰＸ２、第３ピクセルＰＸ３および第４ピクセルＰＸ４のそれぞれのエッジのサブピクセルが飽和され、そして中央部分のサブピクセルは飽和しない可能性がある。この場合、イメージデータＩＤ上でクロストークによるアーティファクトが発生できる。

【0064】

このような問題を防止するために、サブピクセルのピクセル値に対してクロストーク補正を遂行するが、一部のサブピクセルが飽和されている状況でクロストークを補正するためのクロストーク補正アルゴリズムが必要とされる。本発明の実施形態によるイメージセンサ１００のプロセッシング部１３０は、イメージデータ情報ＩＤＩから飽和率を算出し、そして飽和率に基づいてリモザイク設定を調整することにより、一部のサブピクセルが飽和される状況でクロストークによるアーティファクトを除去（または抑制）することができる。

【0065】

図８は、アプリケーションプロセッサ２００がイメージデータＩＤからイメージデータ情報ＩＤＩを生成する例を説明するための図である。図１および図８を参照すると、アプリケーションプロセッサ２００は、イメージデータＩＤをパッチＰＴ（patches）に分割することができる。パッチＰＴのそれぞれは、２つ以上のピクセル（またはサブピクセル）のグループに対応するピクセル値を含み得る。パッチＰＴはイメージデータＩＤを格子状に分割することができる。アプリケーションプロセッサ２００は、パッチＰＴに基づいてイメージデータ情報ＩＤＩを生成することができる。

【0066】

例えば、図６のピクセル値では、赤色のサブピクセルに対応するピクセル値を赤色に対応するチャネルのパッチＰＴに分割され得る。青色のサブピクセルに対応するピクセル値は、青色に対応するチャネルのパッチＰＴに分割され得る。緑色のサブピクセルに対応するピクセル値は、緑色に対応するチャネルのパッチＰＴに分割される。あるいは、第１タイプの緑色（例えば、Ｇｒ）のサブピクセルに対応するピクセル値は、第１タイプの緑色に対応するチャネルのパッチＰＴに分割され、第２タイプの緑色（例えば、Ｇｂ）のサブピクセルに対応するピクセル値は、第２タイプの緑色に対応するチャネルのパッチＰＴに分割されてもよい。図９は、アプリケーションプロセッサ２００がイメージデータ情報ＩＤＩをイメージセンサ１００に送る過程の一例を示す。図１および図９を参照すると、ステップＳ３１において、アプリケーションプロセッサ２００はイメージセンサ１００からイメージデータＩＤを受信することができる。ステップＳ３２において、アプリケーションプロセッサ２００は、各パッチＰＴに対してイメージデータ情報ＩＤＩを生成することができる。ステップＳ３３において、アプリケーションプロセッサ２００は、生成されたイメージデータ情報ＩＤＩをイメージセンサ１００に出力することができる。

【0067】

例えば、イメージデータ情報ＩＤＩは、パッチＰＴのそれぞれのピクセル値の情報、例えば平均ピクセル値を含み得る。イメージデータ情報ＩＤＩは、パッチＰＴのそれぞれの複数のチャネル（例えば、赤色Ｒチャネル、緑色Ｇチャネル（あるいは、ＧｒチャネルおよびＧｂチャネル）、および青色Ｂチャネル）の平均ピクセル値を含み得る。

【0068】

別の例として、イメージデータ情報ＩＤＩは、パッチＰＴのそれぞれで飽和されたピクセル値の数を含み得る。イメージデータ情報ＩＤＩは、パッチＰＴのそれぞれの複数のチャネル（例えば、赤色Ｒチャネル、緑色Ｇチャネル（あるいは、ＧｒチャネルおよびＧｂチャネル）、および青色Ｂチャネル）のそれぞれで飽和されたピクセル値の数を含み得る。

【0069】

図１０は、イメージセンサ１００のプロセッシング部１３０が飽和率に基づいてクロストークを抑制する方法の一例を示す。図１および図１０を参照すると、ステップＳ１１０において、プロセッシング部１３０の飽和度管理部１３４は、イメージデータ情報ＩＤＩを受信することができる。

【0070】

ステップＳ１２０において、プロセッシング部１３０の飽和度管理部１３４は、イメージデータ情報ＩＤＩに基づいて前のフレームに転送されたイメージデータＩＤの飽和率を算出することができる。

【0071】

ステップＳ１３０において、プロセッシング部１３０の飽和度管理部１３４は、算出された飽和率に基づいてリモザイク部１３１のリモザイク設定を調整することができる。例えば、飽和度管理部１３４は、現在のフレームのイメージデータＩＤからより多くのノイズを除去することによって、クロストークが共に除去されるようにリモザイク設定を調整することができる。

【0072】

図１１は、イメージセンサ１００のプロセッシング部１３０が飽和率を算出する方法の一例を示す。図１、図８および図１１を参照すると、ステップＳ２１０において、プロセッシング部１３０の飽和度管理部１３４は、イメージデータ情報ＩＤＩからＮチャネルの平均ピクセル値を検出することができる。Ｎ個（Ｎは正の整数）のチャネルの平均ピクセル値は、３つのチャネル（例えば、Ｒ、Ｇ、Ｂ）、４つのチャネル（例えば、Ｒ、Ｇｒ、Ｇｂ、Ｂ）または任意の数のチャネルに対応し得る。各チャネルの平均ピクセル値は、パッチＰＴにそれぞれ対応し得る。例えば、プロセッシング部１３０は、イメージデータ情報ＩＤＩからＲチャネルのパッチの平均ピクセル値、Ｇチャネルのパッチの平均ピクセル値、およびＢチャネルのパッチの平均ピクセル値を検出することができる。あるいは、プロセッシング部１３０は、イメージデータ情報ＩＤＩからＲチャネルのパッチの平均ピクセル値、Ｇｒチャネルのパッチの平均ピクセル値、Ｇｂチャネルのパッチの平均ピクセル値、およびＢチャネルのパッチの平均ピクセル値を検出することができる。

【0073】

ステップＳ２２０で、プロセッシング部１３０の飽和度管理部１３４は、各チャネルについて閾値ＴＨを用いて飽和されたパッチを判定することができる。例えば、閾値ＴＨは、最大ピクセル値に対する一定の割合（例えば、９０％、９５％など）で決定されることもあり、アプリケーションプロセッサ２００によって設定および調整されてもよい。平均ピクセル値が閾値ＴＨ以上であるパッチＰＴは、飽和されたパッチと判定することができる。平均ピクセル値が閾値ＴＨより小さいパッチＰＴは、飽和されていないパッチと判定することができる。Ｎ個のチャネルに対して、閾値ＴＨは同じ値または異なる値に設定されてもよい。

【0074】

ステップＳ２３０で、プロセッシング部１３０の飽和度管理部１３４は、各チャネルに対して飽和されたパッチの数をカウントすることができる。Ｎ個のチャネルの飽和されたパッチの数および位置は、互いに同じか異なるかである。

【0075】

ステップＳ２４０で、プロセッシング部１３０の飽和度管理部１３４は、Ｎ個のチャネルのうち飽和されたパッチの最大数に基づいて飽和率を計算することができる。例えば、飽和度管理部１３４は、Ｎ個のチャネルに対してそれぞれ飽和率を計算し、そしてＮ個のチャネルの飽和率のうち最大値を最終的な飽和率として決定することができる。

【0076】

例として、Ｎ個のチャネルは異なる周波数に対応し得る。ピクセル部１１０が撮影する対象の色は多様であり、Ｎ個のチャネルのうちのいずれか１つのチャネルのみが飽和される。例えば、晴れた日の青い空は青色のカラーフィルタに対応するピクセルの飽和を引き起こし、そして夕焼け空は赤色のカラーフィルタに対応するピクセルの飽和を引き起こすことができる。晴れた日の森は、緑色のカラーフィルタに対応するピクセルの飽和を引き起こすことができる。いずれか１つのチャネルのピクセルが飽和されると、イメージデータＩＤでクロストークによるアーティファクトが発生できる。本発明の実施形態によるイメージセンサ１００は、Ｎ個のチャネルの飽和率のうち最も高い飽和率を利用することにより、クロストークによるアーティファクトを効率的に防止（または抑制）することができる。

【0077】

図１２は、本発明の実施形態によるリモザイク設定を調整する方法の例を示す。図１および図１２を参照すると、ステップＳ３１０で、イメージセンサ１００のプロセッシング部１３０の飽和度管理部１３４は、リモザイク部１３１のリモザイク設定中で単調性閾値を調整することができる。単調性閾値は、リモザイク部１３１がデジタル信号ＤＳが単調であるか否かを判定する基準であり得る。

【0078】

ステップＳ３２０で、イメージセンサ１００の処理回路１３００の飽和度管理部１３４は、リモザイク部１３１のリモザイク設定中で、ローカル単調性閾値を調整することができる。ローカル単調性閾値は、リモザイク部１３１がデジタル信号ＤＳ上でローカルに単調な領域を判定する基準であり得る。

【0079】

ステップＳ３３０で、イメージセンサ１００の処理回路１３００の飽和度管理部１３４は、リモザイク部１３１のリモザイク設定中でスムージングパワー(smoothing power)を調整することができる。スムージングパワーは、リモザイク部１３１がノイズを除去するためにデジタル信号ＤＳに対してブラーリング（または低帯域通過フィルタリング）を遂行する強度に対応し得る。

【0080】

図１３は、イメージセンサ１００のプロセッシング部１３０が飽和率に応じてリモザイク設定を調整する傾向の一例を示す。図１３において、横軸は飽和率に対応し、そして縦軸は単調性閾値、ローカル単調性閾値またはスムージングパワーに対応する。

【0081】

図１２に示すように、飽和率が増加すればするほど、プロセッシング部１３０の飽和度管理部１３４は、リモザイク部１３１の単調性閾値、ローカル単調性閾値またはスムージングパワーを増加させ得る。例として、飽和度管理部１３４は、単調性閾値、ローカル単調性閾値またはスムージングパワーを１次元的に、２次元的に、ｎ次元的にまたは指数的に増加させることができる。例として、飽和度管理部１３４は、単調性閾値、ローカル単調性閾値またはスムージングパワーを同じ割合、または異なる割合で増加させることができる。

【0082】

図１４は、イメージセンサ１００のプロセッシング部１３０がリモザイク設定に基づいてリモザイクを行う方法の一例を示す。図１および図１４を参照すると、ステップＳ４１０において、プロセッシング部１３０のリモザイク部１３１は、リモザイク設定の単調性閾値を用いてデジタル信号ＤＳの単調性を判定することができる。例えば、Ｎ個のチャネルのそれぞれのピクセル値の差（例えば、最大差）が単調性閾値より小さい場合、リモザイク部１３１は、デジタル信号ＤＳが単調であると判定することができる。Ｎ個のチャネルのそれぞれのピクセル値の差（例えば、最大差）が単調性閾値以上である場合、リモザイク部１３１は、デジタル信号ＤＳが単調でないと判定することができる。

【0083】

ステップＳ４２０で、デジタル信号ＤＳが単調であると判断されると、プロセッシング部１３０のリモザイク部１３１はステップＳ４３０を遂行することができる。ステップＳ４３０において、リモザイク部１３１は、デジタル信号ＤＳの全体に対して平滑化(smoothen)を行うことができる。例えば、リモザイク部１３１は、リモザイク設定のスムージングパワーに基づいてデジタル信号ＤＳに対して低帯域通過フィルタリングを行うことができる。

【0084】

ステップＳ４２０で、デジタル信号ＤＳが単調でないと判断されると、プロセッシング部１３０のリモザイク部１３１は、ステップＳ４４０を遂行することができる。ステップＳ４４０で、リモザイク部１３１は、リモザイク設定のローカル単調性閾値を用いて、単調な領域およびパターン領域を判定することができる。例えば、デジタル信号ＤＳ上の特定の領域のＮ個のチャネルのそれぞれのピクセル値の差がローカル単調性閾値より小さい場合、リモザイク部１３１は、当該領域を単調な領域と判定することができる。デジタル信号ＤＳ上の特定の領域のＮ個のチャネルのそれぞれのピクセル値の差がローカル単調性閾値以上である場合、リモザイク部１３１は、当該領域をパターン領域（例えば、単調ではない領域）と判定することができる。

【0085】

ステップＳ４５０において、リモザイク部１３１は、デジタル信号ＤＳ上の単調な領域に対してリモザイク設定のスムージングパワーに基づいて平滑化（例えば、低帯域通過フィルタリング）を行うことができる。

【0086】

上述したように、本発明の実施形態によるイメージセンサ１００は、飽和率が増加するほどデジタル信号ＤＳをより単調であると判定し、そしてより強く平滑化を行うことができる。したがって、飽和されるピクセルのクロストークによって引き起こされるアーティファクトは、平滑化によって除去（または抑制）され得る。

【0087】

図１５は、イメージセンサ１００のプロセッシング部１３０が飽和率を算出する方法の他の例を示す。図１および図１５を参照すると、ステップＳ５１０において、プロセッシング部１３０の飽和度管理部１３４は、イメージデータ情報ＩＤＩから飽和されたピクセルの数を検出することができる。例えば、アプリケーションプロセッサ２００は、パッチＰＴ（図８参照）のそれぞれで飽和されたピクセル値の数をカウントし、そして各パッチＰＴの飽和されたピクセル値の数をイメージデータ情報ＩＤＩに含めることができる。飽和度管理部１３４は、イメージデータ情報ＩＤＩから各パッチＰＴで飽和されたピクセル値の数から飽和されたピクセルの数を検出することができる。

【0088】

ステップＳ５２０において、飽和度管理部１３４は、飽和されたピクセルの数に基づいて飽和率を算出することができる。例えば、飽和度管理部１３４は、ピクセル部１１０のすべてのピクセル数に対する飽和されたピクセル数の割合を飽和率として算出することができる。

【0089】

別の実施形態として、アプリケーションプロセッサ２００は、各パッチＰＴのピクセル値の数に対する飽和されたピクセル値の数を各パッチＰＴの飽和率として計算し、そして各パッチＰＴの飽和率をイメージデータ情報ＩＤＩに含めることができる。飽和度管理部１３４は、イメージデータ情報ＩＤＩから各パッチＰＴの飽和率を検出し、そしてパッチＰＴの飽和率の平均を飽和率として算出することができる。

【0090】

図１６は、マルチカメラモジュールを含む電子機器のブロック図である。図１７は、図１６のカメラモジュールの詳細ブロック図である。

【0091】

図１６を参照すると、電子機器１０００は、カメラモジュールグループ１１００、アプリケーションプロセッサ１２００、ＰＭＩＣ１３００および外部メモリ１４００を含み得る。

【0092】

カメラモジュールグループ１１００は、複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃを含み得る。たとえ図には、３つのカメラモジュール１１００ａ、１１００ｂ、１１００ｃが配置された実施形態が示されているが、実施形態はこれに限定されるものではない。いくつかの実施形態では、カメラモジュールグループ１１００は、２つのカメラモジュールのみを含むように変更されて実施され得る。なお、いくつかの実施形態では、カメラモジュールグループ１１００は、ｉ個（ｉは４以上の自然数）のカメラモジュールを含むように変更されて実施されることもある。例として、カメラモジュールグループ１１００の複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃのそれぞれは、図１のイメージセンサ１００を含み得る。アプリケーションプロセッサ１２００は、図１のアプリケーションプロセッサ２００を含み得る。

【0093】

以下では、図１７を参照して、カメラモジュール１１００ｂの詳細構成に対してより具体的に説明するが、以下の説明は、実施形態によって他のカメラモジュール１１００ａ、１１００ｂに対しても同様に適用され得る。

【0094】

図１７を参照すると、カメラモジュール１１００ｂは、プリズム１１０５、光路屈曲要素(Optical Path Folding Element)（以下、「ＯＰＦＥ」と称する）１１１０、アクチュエータ１１３０、イメージセンシング装置１１４０およびストレージ装置１１５０を含み得る。

【0095】

プリズム１１０５は、光反射物質の反射面１１０７を含み、外部から入射する光Ｌの経路を変形させることができる。

【0096】

いくつかの実施形態では、プリズム１１０５は、第１方向Ｘに入射する光Ｌの経路を第１方向Ｘに垂直な第２方向Ｙに変更させることができる。また、プリズム１１０５は、光反射物質の反射面１１０７を中心軸１１０６を中心にＡ方向に回転させるか、または中心軸１１０６をＢ方向に回転させて第１方向Ｘに入射する光Ｌの経路を垂直な第２方向Ｙに変更することができる。このとき、ＯＰＦＥ１１１０も第１方向Ｘおよび第２方向Ｙと垂直な第３方向Ｚに移動することができる。

【0097】

いくつかの実施形態では、図示されたように、プリズム１１０５のＡ方向の最大回転角度はプラス（＋）Ａ方向では１５度(degree)以下であり、マイナス（－）Ａ方向では１５度よりも大きい可能性があるものの、実施形態はこれに限定されるものではない。

【0098】

いくつかの実施形態では、プリズム１１０５は、プラス（＋）またはマイナス（－）のＢ方向に２０度内外、１０度～２０度、または１５度～２０度の間で移動することができ、ここで、動く角度はプラス（＋）またはマイナス（－）のＢ方向に同じ角度で移動するか、１度内外の範囲でほぼ類似した角度まで移動することができる。

【0099】

いくつかの実施形態では、プリズム１１０５は、光反射物質の反射面１１０７を中心軸１１０６の延長方向と平行な第３方向（例えば、Ｚ方向）に移動することができる。

【0100】

ＯＰＦＥ１１１０は、例えば、ｊ（ここで、ｊは自然数）個のグループからなる光学レンズを含み得る。ｊ個のレンズは第２方向Ｙに移動してカメラモジュール１１００ｂの光学ズーム倍率(optical zoom ratio)を変更することができる。例えば、カメラモジュール１１００ｂの基本光学ズーム倍率をＺとする場合、ＯＰＦＥ１１１０に含まれるｍ個の光学レンズを移動させるとき、カメラモジュール１１００ｂの光学ズーム倍率は、３Ｚ、５Ｚまたは５Ｚ以上の光学ズーム倍率に変更され得る。

【0101】

アクチュエータ１１３０は、ＯＰＦＥ１１１０または光学レンズ（以下、光学レンズと称する）を特定の位置に移動させることができる。例えば、アクチュエータ１１３０は、正確なセンシングのためにイメージセンサ１１４２が光学レンズの焦点距離に位置するように光学レンズの位置を調整することができる。

【0102】

イメージセンシング装置１１４０は、イメージセンサ１１４２、制御ロジック１１４４およびメモリ１１４６を含み得る。イメージセンサ１１４２は、光学レンズを通して提供される光Ｌを用いてセンシング対象のイメージをセンシングすることができる。

【0103】

制御ロジック１１４４は、カメラモジュール１１００ｂの全体的な動作を制御することができる。例えば、制御ロジック１１４４は、制御信号ラインＣＳＬｂを介して提供される制御信号にしたがってカメラモジュール１１００ｂの動作を制御することができる。

【0104】

メモリ１１４６は、キャリブレーションデータ１１４７のようなカメラモジュール１１００ｂの動作に必要な情報を記憶することができる。キャリブレーションデータ１１４７は、カメラモジュール１１００ｂが外部から提供された光Ｌを使用してイメージデータを生成するのに必要な情報を含み得る。キャリブレーションデータ１１４７は、例えば、上述した回転角度(degree of rotation)に関する情報、焦点距離(focal length)に関する情報、および光軸(optical axis)に関する情報などを含み得る。カメラモジュール１１００ｂが、光学レンズの位置によって焦点距離が変わるマルチステート(multi state)カメラの形態で実施される場合、キャリブレーションデータ１１４７は、光学レンズの各位置別（またはステート別）焦点距離値とオートフォーカス(auto focusing)に関する情報を含み得る。

【0105】

ストレージ装置１１５０は、イメージセンサ１１４２を介してセンシングされたイメージデータを記憶することができる。ストレージ装置１１５０は、イメージセンシング装置１１４０の外部に配置されてもよく、イメージセンシング装置１１４０を構成するセンサチップと積層された(stacked)形態で実現されてもよい。いくつかの実施形態では、ストレージ装置１１５０は、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）で実現されることがあるが、実施形態はこれに限定されるものではない。

【0106】

図１６と図１７を共に参照すると、いくつかの実施形態では、複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃのそれぞれはアクチュエータ１１３０を含み得る。したがって、複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃのそれぞれは、その中に含まれるアクチュエータ１１３０の動作に応じて互いに同じか異なるかのキャリブレーションデータ１１４７を含み得る。

【0107】

いくつかの実施形態では、複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃのうちの１つのカメラモジュール（例えば、１１００ｂ）は、上述したプリズム１１０５およびＯＰＦＥ１１１０を含む折りたたみレンズ(folded lens)形態のカメラモジュールであり、残りのカメラモジュール（例えば、１１００ａ、１１００ｂ）は、プリズム１１０５およびＯＰＦＥ１１１０が含まれていないバーティカル(vertical)形のカメラモジュールであり得るが、実施形態がこれに限定されるものではない。

【0108】

いくつかの実施形態では、複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃのうちの１つのカメラモジュール（例えば、１１００ｃ）は、例えば、ＩＲ（Infrared Ray）を用いてデプス(depth)情報を抽出するバーティカル形のデプスカメラ(depth camera)であり得る。この場合、アプリケーションプロセッサ１２００は、そのようなデプスカメラから提供されたイメージデータと別のカメラモジュール（例えば、１１００ａまたは１１００ｂ）から提供されたイメージデータをマージ(merge)して３次元デプスイメージ（3D depth image）を生成することができる。

【0109】

いくつかの実施形態では、複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃのうち少なくとも２つのカメラモジュール（例えば、１１００ａ、１１００ｂ）は、異なる観測視野（Field of View、視野角）を有し得る。この場合、例えば、複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃのうち少なくとも２つのカメラモジュール（例えば、１１００ａ、１１００ｂ）の光学レンズが互いに異なってもよいが、これに限定されるものではない。

【0110】

なお、いくつかの実施形態では、複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃのそれぞれの視野角は互いに異なることがある。この場合、複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃのそれぞれに含まれる光学レンズもまた互いに異なってもよいが、これに限定されるものではない。

【0111】

いくつかの実施形態では、複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃのそれぞれは、互いに物理的に分離して配置されてもよい。すなわち、１つのイメージセンサ１１４２のセンシング領域を複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃが分割して使用するのではなく、複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃのそれぞれの内部に独立したイメージセンサ１１４２が配置され得る。

【0112】

再び図１６を参照すると、アプリケーションプロセッサ１２００は、イメージ処理装置１２１０、メモリコントローラ１２２０、内部メモリ１２３０を含み得る。アプリケーションプロセッサ１２００は、複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃから分離して実施され得る。例えば、アプリケーションプロセッサ１２００と複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃは、別途の半導体チップに分離して実施され得る。

【0113】

イメージ処理装置１２１０は、複数のサブイメージプロセッサ１２１２ａ、１２１２ｂ、１２１２ｃ、イメージ生成器１２１４およびカメラモジュールコントローラ１２１６を含み得る。

【0114】

イメージ処理装置１２１０は、複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃの数に対応する個数の複数のサブイメージプロセッサ１２１２ａ、１２１２ｂ、１２１２ｃを含み得る。

【0115】

それぞれのカメラモジュール１１００ａ、１１００ｂ、１１００ｃから生成されたイメージデータは、互いに分離されたイメージ信号ラインＩＳＬａ、ＩＳＬｂ、ＩＳＬｃを介して対応するサブイメージプロセッサ１２１２ａ、１２１２ｂ、１２１２ｃに提供されてもよい。例えば、カメラモジュール１１００ａから生成されたイメージデータは、イメージ信号ラインＩＳＬａを介してサブイメージプロセッサ１２１２ａに提供される。カメラモジュール１１００ｂから生成されたイメージデータは、イメージ信号ラインＩＳＬｂを介してサブイメージプロセッサ１２１２ｂに提供される。カメラモジュール１１００ｃから生成されたイメージデータは、イメージ信号ラインＩＳＬｃを介してサブイメージプロセッサ１２１２ｃに提供される。このようなイメージデータ転送は、例えば、ＭＩＰＩ（Mobile Industry Processor Interface）に基づくカメラシリアルインターフェース（ＣＳＩ：Camera Serial Interface）を用いて遂行されうるが、実施形態はこれに限定されるものではない。

【0116】

一方、いくつかの実施形態では、１つのサブイメージプロセッサが複数のカメラモジュールに対応するように配置されることもある。例えば、サブイメージプロセッサ１２１２ａとサブイメージプロセッサ１２１２ｃが図示されたように互いに分離して実施されるのではなく、１つのサブイメージプロセッサに統合されて実施される。カメラモジュール１１００ａとカメラモジュール１１００ｃから提供されたイメージデータは、選択素子（例えば、マルチプレクサ）などを介して選択された後、統合されたサブイメージプロセッサに提供され得る。

【0117】

それぞれのサブイメージプロセッサ１２１２ａ、１２１２ｂ、１２１２ｃに提供されたイメージデータは、イメージ生成器１２１４に提供されてもよい。イメージ生成器１２１４は、イメージ生成情報（Generation Information）またはモード信号（Mode Signal）にしたがってそれぞれのサブイメージプロセッサ１２１２ａ、１２１２ｂ、１２１２ｃから提供されたイメージデータを用いて出力イメージを生成することができる。

【0118】

具体的には、イメージ生成器１２１４は、イメージ生成情報またはモード信号に応じて、異なる視野角を有するカメラモジュール１１００ａ、１１００ｂ、１１００ｃから生成されたイメージデータのうち少なくとも一部をマージ(merge)して出力イメージを生成することができる。なお、イメージ生成器１２１４は、イメージ生成情報またはモード信号に応じて、異なる視野角を有するカメラモジュール１１００ａ、１１００ｂ、１１００ｃから生成されたイメージデータのうちいずれか１つを選択して出力イメージを生成することができる。

【0119】

いくつかの実施形態では、イメージ生成情報はズーム信号(zoom signal or zoom factor)を含み得る。なお、いくつかの実施形態では、モード信号は、例えばユーザー(user)から選択されたモードに基づく信号であり得る。

【0120】

イメージ生成情報がズーム信号（ズームファクター）であり、それぞれのカメラモジュール１１００ａ、１１００ｂ、１１００ｃが異なる観測視野（視野角）を有する場合、イメージ生成器１２１４はズーム信号の種類に応じて異なる動作を行うことができる。例えば、ズーム信号が第１信号である場合、カメラモジュール１１００ａから出力されたイメージデータと、カメラモジュール１１００ｃから出力されたイメージデータとをマージした後、マージされたイメージ信号とマージに使用されていないカメラモジュール１１００ｂから出力されたイメージデータを用いて、出力イメージを生成することができる。仮にズーム信号が第１信号と異なる第２信号である場合、イメージ生成器１２１４はこのようなイメージデータのマージを行わずに、それぞれのカメラモジュール１１００ａ、１１００ｂ、１１００ｃから出力されたイメージデータのうちいずれか１つを選択して出力イメージを生成することができる。しかしながら、実施形態はこれに限定されず、必要に応じてイメージデータを処理する方法は、いくらでも変更して実施され得る。

【0121】

いくつかの実施形態では、イメージ生成器１２１４は、複数のサブイメージプロセッサ１２１２ａ、１２１２ｂ、１２１２ｃのうちの少なくとも１つから露出時間が異なる複数のイメージデータを受信し、複数のイメージデータに対してハイダイナミックレンジＨＤＲ(high dynamic range)処理を行うことにより、ダイナミックレンジが増加・併合(マージ)されたイメージデータを生成することができる。

【0122】

カメラモジュールコントローラ１２１６は、それぞれのカメラモジュール１１００ａ、１１００ｂ、１１００ｃに制御信号を提供することができる。カメラモジュールコントローラ１２１６から生成された制御信号は、互いに分離された制御信号ラインＣＳＬａ、ＣＳＬｂ、ＣＳＬｃを介して対応するカメラモジュール１１００ａ、１１００ｂ、１１００ｃに提供され得る。

【0123】

複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃのうちいずれか１つは、ズーム信号を含むイメージ生成情報またはモード信号に応じてマスター(master)カメラ（例えば、１１００ｂ）として指定され、残りのカメラモジュール（例えば、１１００ａ、１１００ｃ）はスレーブ(slave)カメラとして指定され得る。このような情報は制御信号に含まれており、互いに分離された制御信号ラインＣＳＬａ、ＣＳＬｂ、ＣＳＬｃを介して対応するカメラモジュール１１００ａ、１１００ｂ、１１００ｃに提供されてもよい。

【0124】

ズームファクターまたは動作モード信号に応じて、マスターおよびスレーブとして動作するカメラモジュールを変更することができる。例えば、カメラモジュール１１００ａの視野角がカメラモジュール１１００ｂの視野角より広く、ズームファクターが低いズーム倍率を示す場合、カメラモジュール１１００ｂがマスターとして動作し、カメラモジュール１１００ａがスレーブとして動作することができる。逆に、ズームファクターが高いズーム倍率を示す場合、カメラモジュール１１００ａはマスターとして動作し、カメラモジュール１１００ｂはスレーブとして動作することができる。

【0125】

いくつかの実施形態では、カメラモジュールコントローラ１２１６からそれぞれのカメラモジュール１１００ａ、１１００ｂ、１１００ｃに提供される制御信号は、シンクイネーブル(sync enable)信号を含み得る。例えば、カメラモジュール１１００ｂがマスターカメラであり、カメラモジュール１１００ａ、１１００ｃがスレーブカメラである場合、カメラモジュールコントローラ１２１６は、カメラモジュール１１００ｂにシンクイネーブル信号を送ることができる。このようなシンクイネーブル信号を受けたカメラモジュール１１００ｂは、提供されたシンクイネーブル信号に基づいてシンク信号(sync signal)を生成し、生成されたシンク信号をシンク信号ラインＳＳＬを介してカメラモジュール１１００ａ、１１００ｃに提供することができる。カメラモジュール１１００ｂとカメラモジュール１１００ａ、１１００ｃはこのシンク信号に同期されてイメージデータをアプリケーションプロセッサ１２００に転送することができる。

【0126】

いくつかの実施形態では、カメラモジュールコントローラ１２１６から複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃに提供される制御信号は、モード信号に応じたモード情報を含み得る。このようなモード情報に基づいて、複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃは、センシング速度に関連して第１動作モードおよび第２動作モードで動作することができる。

【0127】

複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃは、第１動作モードにおいて、第１速度でイメージ信号を生成（例えば、第１フレームレートのイメージ信号を生成）し、これを第１速度よりも高い第２速度でエンコード（例えば、第１フレームレートよりも高い第２フレームレートのイメージ信号をエンコード）し、エンコードされたイメージ信号をアプリケーションプロセッサ１２００に転送することができる。このとき、第２速度は第１速度の３０倍以下であり得る。

【0128】

アプリケーションプロセッサ１２００は、受信されたイメージ信号、言い換えるとエンコードされたイメージ信号を内部に設けられる内部メモリ１２３０またはアプリケーションプロセッサ１２００の外部のメモリ１４００に格納し、その後内部メモリ１２３０または外部のメモリ１４００からエンコードされたイメージ信号を読み出してデコードし、デコードされたイメージ信号に基づいて生成されるイメージデータをディスプレイすることができる。例えば、イメージ処理装置１２１０の複数のサブプロセッサ１２１２ａ、１２１２ｂ、１２１２ｃのうち対応するサブプロセッサがデコーディングを遂行することができ、デコードされたイメージ信号に対してイメージ処理を遂行することができる。

【0129】

複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃは、第２動作モードにおいて、第１速度より低い第３速度でイメージ信号を生成（例えば、第１フレームレートより低い第３フレームレートのイメージ信号を生成）し、イメージ信号をアプリケーションプロセッサ１２００に転送することができる。アプリケーションプロセッサ１２００に提供されるイメージ信号は、エンコードされていない信号であり得る。アプリケーションプロセッサ１２００は、受信されるイメージ信号に対してイメージ処理を遂行するか、またはイメージ信号を内部メモリ１２３０または外部メモリ１４００に格納することができる。

【0130】

ＰＭＩＣ１３００は、複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃのそれぞれに電力、例えば電源電圧を供給することができる。例えば、ＰＭＩＣ１３００は、アプリケーションプロセッサ１２００の制御下で、パワー信号ラインＰＳＬａを介してカメラモジュール１１００ａに第１電力を供給し、パワー信号ラインＰＳＬｂを介してカメラモジュール１１００ｂに第２電力を供給し、パワー信号ラインＰＳＬｃを介してカメラモジュール１１００ｃに第３電力を供給することができる。

【0131】

ＰＭＩＣ１３００は、アプリケーションプロセッサ１２００からの電力制御信号ＰＣＯＮに応答して、複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃのそれぞれに対応する電力を生成し、なお電力のレベルを調整することができる。電力制御信号ＰＣＯＮは、複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃの動作モード別電力調整信号を含み得る。例えば、動作モードは低電力モード(low power mode)を含むことができ、このとき、電力制御信号ＰＣＯＮは低電力モードで動作するカメラモジュールおよび設定された電力レベルに関する情報を含み得る。複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃのそれぞれに提供される電力のレベルは、互いに同じか異なるかである。なお、電力のレベルは動的に変更されることがある。

【0132】

例として、図１～図１５を参照して説明されたイメージセンサ１００は、図１７のイメージセンサ１１４２に対応し得る。イメージセンサ１１４２は、ピクセル値の飽和率に基づいてリモザイク設定を調整することができる。イメージセンサ１１４２は、リモザイク設定に基づいてリモザイクを遂行し、そしてクロストーク補正を遂行することができる。例として、リモザイククロストーク補正は、順次にまたは逆順に遂行され得る。イメージセンサ１１４２が本発明の実施形態にしたがって実現されると、アプリケーションプロセッサ１２００が取得するイメージデータの品質を改善することができる。

【0133】

上述した実施形態において、第１、第２、第３などの用語を使用して本発明の技術的思想による構成要素が説明された。しかしながら、第１、第２、第３などのような用語は、構成要素を互いに区別するために使用され、本発明を限定しない。例えば、第１、第２、第３などのような用語は、順序または任意のタイプの数値データを内包しない。

【0134】

前述した実施形態では、ブロックを使用して本発明の実施形態による構成要素が参照された。ブロックは、ＩＣ(Integrated Circuit)、ＡＳＩＣ(Application Specific IC)、ＦＰＧＡ(Field Programmable Gate Array)、ＣＰＬＤ(Complex Programmable Logic Device)などのような多様なハードウェア装置、ハードウェア装置で駆動されるファームウェア、アプリケーションのようなソフトウェア、またはハードウェア装置とソフトウェアを組み合わせた形態で実施され得る。なお、ブロックは、ＩＣ内の半導体素子で構成される回路またはＩＰ（Intellectual Property）で登録された回路を含み得る。

【0135】

前述した内容は、本発明を実施するための具体的な実施形態である。本発明は、前述した実施形態だけでなく、単に設計変更または容易に変更することができる実施形態もまた含んでいるはずである。なお、本発明は、実施形態を用いて容易に変形して実施することができる技術もまた含んでいるはずである。したがって、本発明の範囲は、上述した実施形態に限定され定められてはならず、後述する特許請求の範囲だけでなく、本発明の特許請求の範囲と均等なものによって定められるべきである。

【符号の説明】

【0136】

１０：電子機器
１００：イメージセンサ
１１０：ピクセル部
１２０：データ変換部
１３０：プロセッシング（処理）部
１３１：リモザイク部
１３２：ビニング部
１３３：クロストーク補正部
１３４：飽和度管理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】