特開 2024-65072 イメージセンシング装置およびそれを含む撮影装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024065072

(43)【公開日】2024-05-14

(54)【発明の名称】イメージセンシング装置およびそれを含む撮影装置

(51)【国際特許分類】

   H04N 25/11 20230101AFI20240507BHJP

   H04N 23/54 20230101ALI20240507BHJP

   H04N 23/60 20230101ALI20240507BHJP

   H04N 25/70 20230101ALI20240507BHJP

   H01L 27/146 20060101ALI20240507BHJP

【ＦＩ】

H04N25/11

H04N23/54

H04N23/60 500

H04N25/70

H01L27/146 D

【審査請求】未請求

【請求項の数】16

【出願形態】ＯＬ

(21)【出願番号】P 2023183897

(22)【出願日】2023-10-26

(31)【優先権主張番号】10-2022-0140908

(32)【優先日】2022-10-28

(33)【優先権主張国・地域又は機関】KR

(71)【出願人】

【識別番号】310024033

【氏名又は名称】エスケーハイニックス株式会社

【氏名又は名称原語表記】ＳＫ ｈｙｎｉｘ Ｉｎｃ．

【住所又は居所原語表記】２０９１， Ｇｙｅｏｎｇｃｈｕｎｇ－ｄａｅｒｏ，Ｂｕｂａｌ－ｅｕｂ，Ｉｃｈｅｏｎ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ，Ｋｏｒｅａ

(74)【代理人】

【識別番号】110000796

【氏名又は名称】弁理士法人三枝国際特許事務所

(72)【発明者】

【氏名】矢幡 和浩

【テーマコード（参考）】

4M118

5C024

5C122

【Ｆターム（参考）】

4M118AA10

4M118AB01

4M118BA14

4M118CA04

4M118CA07

4M118CA09

4M118FA06

4M118GC08

4M118GC14

4M118GC20

4M118GD04

5C024CX37

5C024EX52

5C122EA37

5C122FC06

5C122HA42

(57)【要約】

【課題】小型化されたピクセルにおいて良好なコントラストを確保する。
【解決手段】本発明の一実施形態に係るイメージセンシング装置１００は、２×２マトリクスの形態に配列される第１～第４ピクセルグループＰＧ１ａ～ＰＧ４ａを含み、第１～第４ピクセルグループＰＧ１ａ～ＰＧ４ａそれぞれは、レッド（ｒｅｄ）ピクセル、グリーン（ｇｒｅｅｎ）ピクセルまたはブルー（ｂｌｕｅ）ピクセルのうち少なくとも１つのピクセルと、少なくとも１つのシアン（ｃｙａｎ）ピクセルとを含むことができる。
【選択図】図１

【特許請求の範囲】

【請求項1】

２×２マトリクスの形態に配列される第１～第４ピクセルグループを含み、
前記第１～前記第４ピクセルグループそれぞれは、レッド（ｒｅｄ）ピクセル、グリーン（ｇｒｅｅｎ）ピクセルまたはブルー（ｂｌｕｅ）ピクセルのうち少なくとも１つのピクセルと、少なくとも１つのシアン（ｃｙａｎ）ピクセルとを含む、イメージセンシング装置。

【請求項2】

前記第１ピクセルグループと前記第４ピクセルグループは、互いに対角方向に配置され、
前記第２ピクセルグループと前記第３ピクセルグループは、互いに対角方向に配置される、請求項１に記載のイメージセンシング装置。

【請求項3】

前記第１ピクセルグループは、１個の前記レッドピクセルおよび３個の前記シアンピクセルを含み、
前記第４ピクセルグループは、１個の前記ブルーピクセルおよび３個の前記シアンピクセルを含み、
前記第２ピクセルグループおよび前記第３ピクセルグループそれぞれは、１個の前記グリーンピクセルおよび３個の前記シアンピクセルを含む、請求項２に記載のイメージセンシング装置。

【請求項4】

前記第１～前記第４ピクセルグループそれぞれにおいて、前記レッドピクセル、前記グリーンピクセルまたは前記ブルーピクセルが配置される位置は、互いに同一である、請求項３に記載のイメージセンシング装置。

【請求項5】

前記第１ピクセルグループは、２個の前記レッドピクセルおよび２個の前記シアンピクセルを含み、
前記第４ピクセルグループは、２個の前記ブルーピクセルおよび２個の前記シアンピクセルを含み、
前記第２ピクセルグループおよび前記第３ピクセルグループそれぞれは、２個の前記グリーンピクセルおよび２個の前記シアンピクセルを含む、請求項２に記載のイメージセンシング装置。

【請求項6】

前記第１～前記第４ピクセルグループそれぞれにおいて、前記レッドピクセル、前記グリーンピクセルまたは前記ブルーピクセル同士は、互いに対角方向に配置される、請求項５に記載のイメージセンシング装置。

【請求項7】

前記第１ピクセルグループおよび前記第４ピクセルグループそれぞれは、１個の前記グリーンピクセル、１個の前記レッドピクセルおよび２個の前記シアンピクセルを含み、
前記第２ピクセルグループおよび前記第３ピクセルグループそれぞれは、１個の前記グリーンピクセル、１個の前記ブルーピクセルおよび２個の前記シアンピクセルを含む、請求項２に記載のイメージセンシング装置。

【請求項8】

前記第１～前記第４ピクセルグループそれぞれにおいて、前記シアンピクセルが配置される位置は、互いに同一である、請求項７に記載のイメージセンシング装置。

【請求項9】

レッド光の波長と前記シアンピクセルの幅との間の差は、グリーン光またはブルー光の波長と前記シアンピクセルの前記幅との間の差よりも小さい、請求項１に記載のイメージセンシング装置。

【請求項10】

レッドピクセル、グリーンピクセル、ブルーピクセルおよびシアンピクセルを含むピクセルアレイを含むイメージセンシング装置と、
前記レッドピクセル、前記グリーンピクセル、前記ブルーピクセルおよび前記シアンピクセルから生成されたイメージデータの集合である原イメージデータを補間してＲＧＢイメージデータを生成するイメージ信号プロセッサと、
を含み、
前記ピクセルアレイは、それぞれが、前記レッドピクセル、前記グリーンピクセルまたは前記ブルーピクセルのうち少なくとも１つのピクセルと、少なくとも１つの前記シアンピクセルとを含む複数のピクセルグループを含む、撮影装置。

【請求項11】

前記イメージ信号プロセッサは、
前記原イメージデータを前記レッドピクセルから生成されたレッド原イメージ、前記グリーンピクセルから生成されたグリーン原イメージ、前記ブルーピクセルから生成されたブルー原イメージ、および前記シアンピクセルから生成されたシアン原イメージに分離し、前記シアン原イメージに対して第１補間を行ってシアン補間イメージを生成する第１補間部と、
前記レッド原イメージ、前記グリーン原イメージおよび前記ブルー原イメージに対して前記シアン補間イメージを用いて第２補間を行い、レッド補間イメージ、グリーン補間イメージおよびブルー補間イメージをそれぞれ生成する第２補間部と、を含む、請求項１０に記載の撮影装置。

【請求項12】

前記第１補間は、線形補間（ｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ）である、請求項１１に記載の撮影装置。

【請求項13】

前記第２補間は、線形回帰（ｌｉｎｅａｒ ｒｅｇｒｅｓｓｉｏｎ）であり、
前記第２補間部は、前記レッド原イメージ、前記グリーン原イメージおよび前記ブルー原イメージそれぞれにおいて、当該ピクセルデータが存在しない補間対象ピクセルに対して、回帰係数を含む線形回帰関数に前記シアン補間イメージを演算して前記補間対象ピクセルのピクセルデータを生成する、請求項１１に記載の撮影装置。

【請求項14】

前記レッド原イメージに対する回帰係数は、前記グリーン原イメージまたは前記ブルー原イメージに対する回帰係数よりも大きい、請求項１３に記載の撮影装置。

【請求項15】

前記イメージ信号プロセッサは、前記レッド原イメージに対して前記第２補間を行う前に、前記レッド原イメージに対してエッジ強調処理を行う、請求項１３に記載の撮影装置。

【請求項16】

レッド光の波長と前記シアンピクセルの幅との間の差は、グリーン光またはブルー光の波長と前記シアンピクセルの前記幅との間の差よりも小さい、請求項１０に記載の撮影装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、光を検知してイメージデータを生成することができるイメージセンシング装置およびそれを含む撮影装置に関する。

【背景技術】

【0002】

イメージセンシング装置は、光に反応する光検知半導体物質の性質を利用して光学イメージをキャプチャ（ｃａｐｔｕｒｅ）する装置である。自動車、医療、コンピュータおよび通信などの産業の発展に伴い、スマートフォン、デジタルカメラ、ゲーム機器、モノのインターネット（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）、ロボット、セキュリティ用カメラ、医療用マイクロカメラなどのような多様な分野において、高性能（ｈｉｇｈ－ｐｅｒｆｏｒｍａｎｃｅ）イメージセンシング装置に対する需要が増大している。

【0003】

イメージセンシング装置は、大きく、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンシング装置と、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンシング装置に区分することができる。ＣＣＤイメージセンシング装置は、ＣＭＯＳイメージセンシング装置に比べて、さらに良いイメージ品質を提供するが、さらに大きい大きさで実現され、さらに多い電力を消費する傾向がある。これに対し、ＣＭＯＳイメージセンシング装置は、ＣＣＤイメージセンシング装置に比べて、さらに小さい大きさで実現されることができ、さらに少ない電力を消費する。また、ＣＭＯＳイメージセンシング装置は、ＣＭＯＳ製造技術を用いて製造されるため、光検知素子および信号処理回路を単一チップに統合することができ、これにより、安価で小型のイメージセンシング装置を生産することができる。このことから、ＣＭＯＳイメージセンシング装置は、モバイル装置を含む多くのアプリケーションのために開発されている。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明の技術的思想は、小型化されたピクセルにおいて良好なコントラストを確保することができる撮影装置を提供することができる。

【0005】

本発明の技術的課題は、以上で言及した技術的課題に制限されず、言及していないまた他の技術的課題は、下記の記載から当業者に明らかに理解できるものである。

【課題を解決するための手段】

【0006】

本文書に開示される本発明の一実施形態に係るイメージセンシング装置は、２×２マトリクスの形態に配列される第１～第４ピクセルグループを含み、前記第１～前記第４ピクセルグループそれぞれは、レッド（ｒｅｄ）ピクセル、グリーン（ｇｒｅｅｎ）ピクセルまたはブルー（ｂｌｕｅ）ピクセルのうち少なくとも１つのピクセルと、少なくとも１つのシアン（ｃｙａｎ）ピクセルとを含むことができる。

【0007】

本発明の一実施形態に係る撮影装置は、レッドピクセル、グリーンピクセル、ブルーピクセルおよびシアンピクセルを含むピクセルアレイを含むイメージセンシング装置と、前記レッドピクセル、前記グリーンピクセル、前記ブルーピクセルおよび前記シアンピクセルから生成されたイメージデータの集合である原イメージデータを補間してＲＧＢイメージデータを生成するイメージ信号プロセッサと、を含み、前記ピクセルアレイは、それぞれが、前記レッドピクセル、前記グリーンピクセルまたは前記ブルーピクセルのうち少なくとも１つのピクセルと、少なくとも１つの前記シアンピクセルとを含む複数のピクセルグループを含むことができる。

【発明の効果】

【0008】

本文書に開示される実施形態によると、ピクセルアレイ内にシアン（ｃｙａｎ）ピクセルを一部配置することで、改善されたコントラストを有するイメージを取得することができる。
この他に、本文書により、直接的または間接的に把握される多様な効果が提供可能である。

【図面の簡単な説明】

【0009】

【図1】本発明の一実施形態に係る撮影システムを示したブロック図である。

【図2】図１に示されたイメージセンシング装置をより詳細に示した図である。

【図3】互いに隣接するピクセルを概略的に示した図である。

【図4a】ピクセルサイズに応じて異なる色別輝度範囲を説明するためのグラフである。

【図4b】ピクセルサイズに応じて異なる色別輝度範囲を説明するためのグラフである。

【図5a】ホワイト光、レッド光、グリーン光およびブルー光それぞれの波長に応じた輝度を互いに比較したグラフである。

【図5b】シアン光、レッド光、グリーン光およびブルー光それぞれの波長に応じた輝度を互いに比較したグラフである。

【図6a】ピクセルアレイの一部に対する一例を示した図である。

【図6b】ピクセルアレイの一部に対する他の例を示した図である。

【図6c】ピクセルアレイの一部に対するまた他の例を示した図である。

【図7】図１の第１補間部の動作を説明するための図である。

【図8】図１の第２補間部の動作を説明するための図である。

【発明を実施するための形態】

【0010】

以下、添付図面を参照して多様な実施形態が説明される。しかし、本開示は、特定の実施形態に限定されず、実施形態の多様な変更（ｍｏｄｉｆｉｃａｔｉｏｎ）、等価物（ｅｑｕｉｖａｌｅｎｔ）、および／または代替物（ａｌｔｅｒｎａｔｉｖｅ）を含むものと理解しなければならない。本開示の実施形態は、本開示により直間接的に認識可能な多様な効果を提供することができる。

【0011】

図１は、本発明の一実施形態に係る撮影システムを示したブロック図である。図２は、図１に示されたイメージセンシング装置をより詳細に示した図である。図３は、互いに隣接するピクセルを概略的に示した図である。図４ａおよび図４ｂは、ピクセルサイズに応じて異なる色別輝度範囲を説明するためのグラフである。図５ａは、ホワイト光、レッド光、グリーン光およびブルー光それぞれの波長に応じた輝度を互いに比較したグラフである。図５ｂは、シアン光、レッド光、グリーン光およびブルー光それぞれの波長に応じた輝度を互いに比較したグラフである。

【0012】

図１を参照すると、撮影システム（ｉｍａｇｉｎｇ ｓｙｓｔｅｍ）１は、静止画像を撮影するデジタルスチルカメラまたは動画を撮影するデジタルビデオカメラなどの装置を意味し得る。例えば、撮影装置１０は、デジタル一眼レフカメラ（Ｄｉｇｉｔａｌ Ｓｉｎｇｌｅ Ｌｅｎｓ Ｒｅｆｌｅｘ；ＤＳＬＲ）、ミラーレス（ｍｉｒｒｏｒｌｅｓｓ）カメラ、または携帯電話（特に、スマートフォン）で実現されることができるが、これに限定されない。撮影装置１０は、レンズおよび撮像素子を含むことにより、被写体を撮影しイメージを生成可能な装置を含む概念であってもよい。

【0013】

撮影システム１は、撮影装置（ｉｍａｇｉｎｇ ｄｅｖｉｃｅ）１０およびホスト装置（ｈｏｓｔ ｄｅｖｉｃｅ）２０を含むことができる。
撮影装置１０は、イメージセンシング装置（ｉｍａｇｅ ｓｅｎｓｉｎｇ ｄｅｖｉｃｅ）１００、ラインメモリ（ｌｉｎｅ ｍｅｍｏｒｙ）２００、イメージ信号プロセッサ（ＩＳＰ；ｉｍａｇｅ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）３００および入出力インターフェース（Ｉ／Ｏ ｉｎｔｅｒｆａｃｅ）４００を含むことができる。

【0014】

イメージセンシング装置１００は、光学信号を電気信号に変換するＣＩＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ Ｉｍａｇｅ Ｓｅｎｓｏｒ）であってもよい。イメージセンシング装置１００は、ＩＳＰ３００により、作動可否、動作モード、動作タイミング、感度などの全般的な動作が制御されることができる。イメージセンシング装置１００は、ＩＳＰ３００の制御に応じて、光学信号を電気信号に変換したイメージデータをラインメモリ２００に伝送することができる。

【0015】

図２を参照すると、イメージセンシング装置１００は、ピクセルアレイ（ｐｉｘｅｌ ａｒｒａｙ）１１０、行ドライバ（ｒｏｗ ｄｒｉｖｅｒ）１２０、相関二重サンプラ（Ｃｏｒｒｅｌａｔｅ Ｄｏｕｂｌｅ Ｓａｍｐｌｅｒ；ＣＤＳ）１３０、アナログ－デジタルコンバータ（Ａｎａｌｏｇ－Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ；ＡＤＣ）１４０、出力バッファ（ｏｕｔｐｕｔ ｂｕｆｆｅｒ）１５０、列ドライバ（ｃｏｌｕｍｎ ｄｒｉｖｅｒ）１６０およびタイミングコントローラ（ｔｉｍｉｎｇ ｃｏｎｔｒｏｌｌｅｒ）１７０を含むことができる。ここで、イメージセンシング装置１００の各構成は例示的なものにすぎず、必要に応じて少なくとも一部の構成が追加または省略されてもよい。

【0016】

ピクセルアレイ１１０は、複数の行（ｒｏｗｓ）および複数の列（ｃｏｌｕｍｎｓ）に配列された複数のイメージピクセルを含むことができる。一実施形態において、複数のイメージピクセルは、行および列を含む２次元ピクセルアレイに配列されることができる。他の実施形態において、複数のイメージピクセルは、３次元ピクセルアレイに配列されることができる。複数のイメージピクセルは、ピクセル単位でまたはピクセルグループ単位で光信号を電気的信号に変換することができ、ピクセルグループ内のイメージピクセルは、少なくとも特定の内部回路を共有することができる。ピクセルアレイ１１０は、行ドライバ１２０から行選択信号、ピクセルリセット信号および伝送信号などを含むピクセル制御信号を受信することができ、ピクセル制御信号により、ピクセルアレイ１１０の当該イメージピクセルは、行選択信号、ピクセルリセット信号および伝送信号に対応する動作を行うように活性化されることができる。イメージピクセルそれぞれは、入射光の強さに対応する光電荷を生成し、生成された光電荷の量に対応する電気的信号を生成することで、入射光を検知することができる。説明の便宜上、イメージピクセルは、ピクセルとも称されてもよい。

【0017】

行ドライバ１２０は、タイミングコントローラ１７０により供給される命令および制御信号に基づいて、当該行に含まれたピクセルに対して特定の動作を行うようにピクセルアレイ１１０を活性化することができる。一実施形態において、行ドライバ１２０は、ピクセルアレイ１１０の少なくとも１つの行に配列された少なくとも１つのピクセルを選択することができる。行ドライバ１２０は、複数の行のうち少なくとも１つの行を選択するために行選択信号を生成することができる。行ドライバ１２０は、選択された少なくとも１つの行に対応するピクセルに対して、ピクセルリセット信号および伝送信号を順次イネーブルさせることができる。これにより、選択された行のピクセルそれぞれから生成されるアナログ形態の基準信号と画像信号が相関二重サンプラ１３０に順次伝達されることができる。ここで、基準信号は、ピクセルのセンシングノード（例えば、フローティング拡散ノード）がリセットされた際に、相関二重サンプラ１３０に提供される電気的信号であり、画像信号は、ピクセルにより生成された光電荷がセンシングノードに蓄積された際に、相関二重サンプラ１３０に提供される電気的信号であってもよい。ピクセル固有のリセットノイズ（ｒｅｓｅｔ ｎｏｉｓｅ）を示す基準信号、および入射光の強さを示す画像信号は、ピクセル信号と称されてもよい。

【0018】

イメージセンシング装置１００は、２つのサンプル間の差を除去するためにピクセル信号を２回サンプリングすることで、固定パターンノイズのようなピクセルの所望しないオフセット値を除去できるように相関二重サンプリングを用いることができる。一例として、相関二重サンプリングは、入射光により生成された光電荷がセンシングノードに蓄積される前後に得られたピクセル出力電圧を比較することで、所望しないオフセット値を除去して、ただ入射光に基づくピクセル出力電圧が測定されることができる。一実施形態において、相関二重サンプラ１３０は、ピクセルアレイ１１０から複数の列ラインそれぞれに提供される基準信号と画像信号を順次サンプリングおよびホールディング（ｓａｍｐｌｉｎｇ ａｎｄ ｈｏｌｄｉｎｇ）することができる。すなわち、相関二重サンプラ１３０は、ピクセルアレイ１１０の列それぞれに対応する基準信号と画像信号のレベルをサンプリングしホールディングすることができる。

【0019】

相関二重サンプラ１３０は、タイミングコントローラ１７０からの制御信号に基づいて、列それぞれの基準信号と画像信号を相関二重サンプリング信号としてＡＤＣ１４０に伝達することができる。

【0020】

ＡＤＣ１４０は、相関二重サンプラ１３０から出力される各列に対する相関二重サンプリング信号をデジタル信号に変換して出力することができる。一実施形態において、ＡＤＣ１４０は、列それぞれのための相関二重サンプラ１３０により生成された相関二重サンプリング信号をデジタル信号に変換して出力することができる。

【0021】

ＡＤＣ１４０は、ピクセルアレイ１１０の列それぞれに対応する複数の列カウンタを含むことができる。ピクセルアレイ１１０の各列は、各列カウンタに連結され、画像データは、列カウンタを用いて列それぞれに対応する相関二重サンプリング信号をデジタル信号に変換することで生成されることができる。他の実施形態により、ＡＤＣ１４０は、１つのグローバルカウンタを含み、グローバルカウンタから提供されるグローバルコードを用いて、列それぞれに対応する相関二重サンプリング信号をデジタル信号に変換することができる。

【0022】

出力バッファ１５０は、ＡＤＣ１４０から提供されるそれぞれの列単位の画像データＩＤＡＴＡを一時的にホールディングして出力することができる。出力バッファ１５０は、タイミングコントローラ１７０の制御信号に基づいて、ＡＤＣ１４０から出力されるイメージデータを一時的に格納することができる。出力バッファ１５０は、イメージセンシング装置１００と連結された他の装置間の伝送速度（または処理速度）の差を補うインターフェースとして動作することができる。

【0023】

列ドライバ１６０は、タイミングコントローラ１７０の制御信号に基づいて、出力バッファ１５０の列を選択し、出力バッファ１５０の選択された列に一時的に格納されたイメージデータが順次出力されるように制御することができる。一実施形態において、列ドライバ１６０は、タイミングコントローラ１７０からアドレス信号を受信することができ、列ドライバ１６０は、アドレス信号に基づいて列選択信号を生成して出力バッファ１５０の列を選択することで、出力バッファ１５０の選択された列からイメージデータが外部に出力されるように制御することができる。

【0024】

タイミングコントローラ１７０は、行ドライバ１２０、相関二重サンプラ１３０、ＡＤＣ１４０、出力バッファ１５０および列ドライバ１６０のうち少なくとも１つを制御することができる。

【0025】

タイミングコントローラ１７０は、イメージセンシング装置１００の各構成の動作に求められるクロック信号、タイミングコントロールのための制御信号、および行または列を選択するためのアドレス信号を、行ドライバ１２０、相関二重サンプラ１３０、ＡＤＣ１４０、出力バッファ１５０および列ドライバ１６０のうち少なくとも１つに提供することができる。一実施形態により、タイミングコントローラ１７０は、ロジック制御回路（Ｌｏｇｉｃ ｃｏｎｔｒｏｌ ｃｉｒｃｕｉｔ）、位相ロックループ（Ｐｈａｓｅ Ｌｏｃｋ Ｌｏｏｐ、ＰＬＬ）回路、タイミングコントロール回路（ｔｉｍｉｎｇ ｃｏｎｔｒｏｌ ｃｉｒｃｕｉｔ）および通信インターフェース回路（ｃｏｍｍｕｎｉｃａｔｉｏｎ ｉｎｔｅｒｆａｃｅ ｃｉｒｃｕｉｔ）などを含むことができる。

【0026】

ピクセルアレイ１１０の各ピクセルから受信されるピクセル信号を変換してイメージデータを生成および出力するＣＤＳ１３０、ＡＤＣ１４０、出力バッファ１５０および列ドライバ１６０は、リードアウト回路（ｒｅａｄｏｕｔ ｃｉｒｃｕｉｔ）と称されてもよい。

【0027】

図３を参照すると、互いに隣接する３個のピクセルが概略的に示されている。すなわち、中央の対象ピクセルＰＸを中心に、対象ピクセルＰＸの左右に隣接する第１隣接ピクセルＰＸ＿Ａ１と第２隣接ピクセルＰＸ＿Ａ２がそれぞれ配置されることができる。

【0028】

各ピクセルＰＸ、ＰＸ＿Ａ１、ＰＸ＿Ａ２は、マイクロレンズ５１０、光学フィルタ５２０および基板５３０を含むことができる。
マイクロレンズ５１０は、光学フィルタ５２０の上部に形成されることができ、入射光に対する集光力（ｌｉｇｈｔ ｇａｔｈｅｒｉｎｇ ｐｏｗｅｒ）を高め、半導体基板５３０に含まれる光電変換素子の受光効率を向上させることができる。

【0029】

光学フィルタ５２０は、透過波長帯域の光（例えば、レッド（Ｒｅｄ）、グリーン（Ｇｒｅｅｎ）、ブルー（Ｂｌｕｅ）、マゼンタ（Ｍａｇｅｎｔａ）、イエロー（Ｙｅｌｌｏｗ）、シアン（Ｃｙａｎ）、ホワイト（ｗｈｉｔｅ）、赤外線（ｉｎｆｒａｒｅｄ）など）を選択的に透過させることができる。ここで、透過波長帯域は、当該光学フィルタが選択的に透過させようとする光に対応する波長帯域を意味し得る。例えば、光学フィルタ５２０は、特定のカラーに対応する有色の感光性物質を含むか、または交互に配置された薄膜層を含むことができる。ピクセルアレイ１１０に含まれた光学フィルタは、複数の行および複数の列を含むマトリクスに配列されたピクセルに対応して配置されることで、光学フィルタアレイを構成することができる。

【0030】

本開示においては、各ピクセルＰＸ、ＰＸ＿Ａ１、ＰＸ＿Ａ２に入射する光は、レッド色に対応するレッド光Ｒ、グリーン色に対応するグリーン光Ｇ、およびブルー色に対応するブルー光Ｂの成分を含むと仮定する。

【0031】

レッド光Ｒを選択的に透過させる光学フィルタ５２０は、レッドカラーフィルタに定義され、レッドカラーフィルタを含んでレッド色に対応する光を検知するピクセルは、レッドピクセルに定義されることができる。グリーン光Ｇを選択的に透過させる光学フィルタ５２０は、グリーンカラーフィルタに定義され、グリーンカラーフィルタを含んでグリーン色に対応する光を検知するピクセルは、グリーンピクセルに定義されることができる。ブルー光Ｂを選択的に透過させる光学フィルタ５２０は、ブルーカラーフィルタに定義され、ブルーカラーフィルタを含んでブルー色に対応する光を検知するピクセルは、ブルーピクセルに定義されることができる。

【0032】

一方、レッド光Ｒ、グリーン光Ｇおよびブルー光Ｂを全て透過させる光学フィルタ５２０は、ホワイトカラーフィルタに定義され、ホワイトカラーフィルタを含んでレッド色、グリーン色およびブルー色の全てに対応する光を検知するピクセルは、ホワイトピクセルに定義されることができる。また、グリーン光Ｇおよびブルー光Ｂを選択的に透過させる光学フィルタ５２０は、シアンカラーフィルタに定義され、シアンカラーフィルタを含んでグリーン光Ｇおよびブルー光Ｂに対応する光を検知するピクセルは、シアンピクセルに定義されることができる。

【0033】

基板５３０は、半導体基板であって、例えば、Ｐ型またはＮ型バルク（ｂｕｌｋ）基板、Ｐ型バルク基板にＰ型またはＮ型エピタキシャル層（ｅｐｉｔａｘｉａｌ ｌａｙｅｒ）が成長した基板、またはＮ型バルク基板にＰ型またはＮ型エピタキシャル層が成長した基板であってもよい。基板５３０は、各ピクセルＰＸ、ＰＸ＿Ａ１、ＰＸ＿Ａ２に対応する光電変換素子を含むことができ、マイクロレンズ５１０と光学フィルタ５２０を通過した入射光の強さに対応する光電荷を生成および蓄積することができる。例えば、光電変換素子は、フォトダイオード、フォトトランジスタ、フォトゲート、ピン型（ｐｉｎｎｅｄ）フォトダイオードまたはそれらの組み合わせで実現されることができる。図３には示されていないが、各ピクセルＰＸ、ＰＸ＿Ａ１、ＰＸ＿Ａ２は、光電変換素子に蓄積された光電荷を電気的信号に変換するための複数のトランジスタを含むことができる。例えば、複数のトランジスタは、３個、４個または５個のトランジスタを含むことができ、代表的に各ピクセルＰＸ、ＰＸ＿Ａ１、ＰＸ＿Ａ２が４個のトランジスタを含む場合、トランジスタは、リセットトランジスタ、伝送トランジスタ、ドライブトランジスタおよび選択トランジスタを含むことができる。図２で説明されたピクセルリセット信号、伝送信号および行選択信号それぞれは、リセットトランジスタ、伝送トランジスタおよび選択トランジスタそれぞれに供給されることができる。

【0034】

図３においては、対象ピクセルＰＸがホワイトピクセルであると仮定し、レッド光Ｒ、グリーン光Ｇおよびブルー光Ｂは、対象ピクセルＰＸのマイクロレンズ５１０および光学フィルタ５２０を通過して基板５３０の光電変換素子に向かって入射することができる。レッド光Ｒの波長は、グリーン光Ｇの波長よりも高く、グリーン光Ｇの波長は、ブルー光Ｂの波長よりも高くてもよい。例えば、レッド光Ｒの波長は約０．６μｍであり、グリーン光Ｇの波長は約０．５３μｍであり、ブルー光Ｂの波長は約０．４５μｍであってもよい。ここで、波長は、透過波長帯域の平均値またはピーク波長（最も高い強さの光が分布する波長）を意味し得る。

【0035】

一般的に、特定の波長を有する光は、特定の幅を有するスリット（ｓｌｉｔ）を通過する際に、特定の波長が大きくなるほど回折（ｄｉｆｆｒａｃｔｉｏｎ）が強く発生し、特に、特定の波長が特定の幅に同一ないし近似した値を有する際に、回折が最大に発生し得る。

【0036】

対象ピクセルＰＸは、１つのスリットに該当し、対象ピクセルＰＸの幅は、ピクセルサイズ（ｐｉｘｅｌ ｓｉｚｅ）に該当することができる。ピクセルサイズは、ピクセルアレイ１１０の行方向または列方向に沿った幅を意味し得、本開示においては、行方向に沿った幅と列方向に沿った幅が互いに同一であると仮定する。

【0037】

限定された面積内でピクセルの解像度を高めるために、ピクセルサイズは、次第に小型化することができる。仮に対象ピクセルＰＸのピクセルサイズが０．６μｍである場合、対象ピクセルＰＸのピクセルサイズよりも小さい波長を有するグリーン光Ｇまたはブルー光Ｂは、対象ピクセルＰＸに入射しつつ回折がほぼ発生しない。しかし、対象ピクセルＰＸのピクセルサイズと同一ないし近似した波長を有するレッド光Ｒは、対象ピクセルＰＸに入射しつつ回折が強く発生し得る。

【0038】

レッド光Ｒの回折により、対象ピクセルＰＸに入射したレッド光Ｒの相当部分は、隣接ピクセル（例えば、ＰＸ＿Ａ１、ＰＸ＿Ａ２）に伝播されることができる。すなわち、対象ピクセルＰＸに入射したレッド光Ｒの相当部分は、対象ピクセルＰＸの光電変換素子によりキャプチャされることができず、隣接ピクセル（例えば、ＰＸ＿Ａ１、ＰＸ＿Ａ２）に伝播され、隣接ピクセル（例えば、ＰＸ＿Ａ１、ＰＸ＿Ａ２）でキャプチャされる光学的クロストーク（ｏｐｔｉｃａｌ ｃｒｏｓｓｔａｌｋ）が顕著に発生し得る。

【0039】

図４ａを参照すると、最小の光が入射するホワイトピクセルＭＩＮと最大の光が入射するホワイトピクセルＭＡＸが一列に交互に配置されると仮定する。ここで、最小の光は、各光Ｒ、Ｇ、Ｂに対する輝度値（ｌｕｍｉｎａｎｃｅ ｖａｌｕｅ）がＳＮＲ（ｓｉｇｎａｌ ｔｏ ｎｏｉｓｅ ｒａｔｉｏ）限界レベル（ＳＮＲ ｌｉｍｉｔ）を有するようにする光を意味し、最大の光は、各光Ｒ、Ｇ、Ｂに対する輝度値が飽和レベル（ｓａｔｕｒａｔｉｏｎ）を有するようにする光を意味し得る。また、輝度値は、当該ピクセルが各光Ｒ、Ｇ、Ｂを検知して変換したイメージデータの値を意味し得る。

【0040】

ＳＮＲ限界レベルは、予め定められた基準ＳＮＲ（ｒｅｆｅｒｅｎｃｅ ＳＮＲ）を満たすことができる輝度値の臨界値を意味し得る。ＳＮＲ限界レベル未満の輝度値は、基準ＳＮＲを満たすことができない無効応答となり、ＳＮＲ限界レベル以上の輝度値は、基準ＳＮＲを満たすことができる有効応答となることができる。基準ＳＮＲは、イメージセンシング装置１００の特性およびシステムの要求仕様を考慮して実験的に決められた値であってもよい。

【0041】

飽和レベルは、入射光の強さを示すことができる最大輝度値を意味し得る。飽和レベルは、ピクセルが入射光の強さを光電荷に変換可能な能力（例えば、光電変換素子の容量）、光電荷をアナログ信号に変換可能な能力（例えば、フローティング拡散領域の容量）、およびアナログ信号をデジタル信号に変換可能な能力（例えば、アナログデジタルコンバータの入力範囲）により決められることができる。入射光の強さが増加する際に、輝度値が飽和レベルに達する前までには、輝度値が入射光の強さに応じて増加することができる。しかし、輝度値が飽和レベルに達した後には、入射光の強さが増加しても、輝度値は飽和レベルを超過して増加することができず、飽和レベルと同一の値を有することができる。

【0042】

図４ａに示されたように、レッド光Ｒに対して、最小の光が入射するホワイトピクセルＭＩＮが最小輝度値Ｒｍｉｎを有し、最大の光が入射するホワイトピクセルＭＡＸが最大輝度値Ｒｍａｘを有し、最小輝度値Ｒｍｉｎと最大輝度値Ｒｍａｘの平均は、平均輝度値Ｒａｖｇに該当することができる。すなわち、ホワイトピクセルは、レッド光Ｒに対して、最大輝度値Ｒｍａｘと最小輝度値Ｒｍｉｎとの間の差に該当する輝度範囲ΔＲを有することができる。

【0043】

グリーン光Ｇに対して、最小の光が入射するホワイトピクセルＭＩＮが最小輝度値Ｇｍｉｎを有し、最大の光が入射するホワイトピクセルＭＡＸが最大輝度値Ｇｍａｘを有し、最小輝度値Ｇｍｉｎと最大輝度値Ｇｍａｘの平均は、平均輝度値Ｇａｖｇに該当することができる。すなわち、ホワイトピクセルは、グリーン光Ｇに対して、最大輝度値Ｇｍａｘと最小輝度値Ｇｍｉｎとの間の差に該当する輝度範囲ΔＧを有することができる。

【0044】

ブルー光Ｂに対して、最小の光が入射するホワイトピクセルＭＩＮが最小輝度値Ｂｍｉｎを有し、最大の光が入射するホワイトピクセルＭＡＸが最大輝度値Ｂｍａｘを有し、最小輝度値Ｂｍｉｎと最大輝度値Ｂｍａｘの平均は、平均輝度値Ｂａｖｇに該当することができる。すなわち、ホワイトピクセルは、ブルー光Ｂに対して、最大輝度値Ｂｍａｘと最小輝度値Ｂｍｉｎとの間の差に該当する輝度範囲ΔＢを有することができる。

【0045】

図４ａにおいて、平均輝度値がブルー光Ｂ、レッド光Ｒ、そしてグリーン光Ｇの順に大きくなるのは、光の特性上、上記の順に光電変換素子での光電変換効率が大きくなるためである。

【0046】

図４ａは、ホワイトピクセルのピクセルサイズがレッド光Ｒの波長よりも大きい場合に対するグラフであり、各ホワイトピクセルにおいて、グリーン光Ｇおよびブルー光Ｂだけでなく、レッド光Ｒの回折もほぼ発生しない。これにより、レッド光Ｒに対する輝度範囲ΔＲは、グリーン光Ｇに対する輝度範囲ΔＧとブルー光Ｂに対する輝度範囲ΔＢに比べて大きく異ならない範囲を有することができる。

【0047】

図４ｂを参照すると、一列に交互に配置されるホワイトピクセルＭＩＮとホワイトピクセルＭＡＸにおいて、レッド光Ｒに対する輝度範囲ΔＲ、グリーン光Ｇに対する輝度範囲ΔＧ、およびブルー光Ｂに対する輝度範囲ΔＢがそれぞれ示されている。図４ｂは、図４ａとは異なり、ホワイトピクセルのピクセルサイズがレッド光Ｒの波長と同一ないし近似した場合に対するグラフであり、各ホワイトピクセルにおいて、グリーン光Ｇおよびブルー光Ｂとは異なり、レッド光Ｒの回折が強く発生し得る。

【0048】

レッド光Ｒの回折により、各ホワイトピクセルに入射したレッド光Ｒの相当部分は、隣接ピクセルに伝播されて混ざり得る。このため、レッド光Ｒに対する最小輝度値Ｒｍｉｎ’は、図４ａの最小輝度値Ｒｍｉｎ’よりも大きい値を有し、レッド光Ｒに対する最大輝度値Ｒｍａｘ’は、図４ａの最大輝度値Ｒｍａｘ’よりも小さい値を有することができる。すなわち、ホワイトピクセルは、レッド光Ｒに対して、図４ａの輝度範囲ΔＲよりも顕著に小さい輝度範囲ΔＲ’を有することができる。一方、ホワイトピクセルに入射する光の総量は同一であるため、平均輝度値Ｒａｖｇは、図４ａと図４ｂにおいて互いに同一であることができる。

【0049】

ホワイトピクセルの信号対雑音比（ｓｉｇｎａｌ ｔｏ ｎｏｉｓｅ ｒａｔｉｏ；ＳＮＲ）は、レッド光Ｒ、グリーン光Ｇおよびブルー光Ｂそれぞれの輝度範囲の和に比例し、レッド光Ｒ、グリーン光Ｇおよびブルー光Ｂそれぞれの平均輝度値の和が大きくなるほど減少することができる。

【0050】

図４ａおよび図４ｂにおけるホワイトピクセルのＳＮＲを比較すると、平均輝度値の和（Ｒａｖｇ＋Ｇａｖｇ＋Ｂａｖｇ）は維持されるが、図４ａにおける輝度範囲の和（ΔＲ＋ΔＧ＋ΔＢ）よりも図４ｂにおける輝度範囲の和（ΔＲ’＋ΔＧ＋ΔＢ）は減ることになる。したがって、ホワイトピクセルのピクセルサイズがレッド光Ｒの波長と類似する程度に小さくなると、ホワイトピクセルが生成するイメージデータのＳＮＲが不良となってイメージデータの品質が低下し得る。

【0051】

図５ａを参照すると、光の色別に波長（ｗａｖｅｌｅｎｇｔｈ）に応じた強さ（ｌｉｇｈｔ ｉｎｔｅｎｓｉｔｙ）の分布が示されている。すなわち、ホワイト光Ｗ、レッド光Ｒ、グリーン光Ｇおよびブルー光Ｂそれぞれに対して、波長に応じて異なる強さが示されている。

【0052】

ホワイト光Ｗ、レッド光Ｒ、グリーン光Ｇおよびブルー光Ｂそれぞれに対して最も強さが高い波長は、ピーク波長に定義されることができる。ピーク波長は、ブルー光Ｂ、グリーン光Ｇおよびレッド光Ｒの順に順次高くなり、ブルー光Ｂ、グリーン光Ｇおよびレッド光Ｒそれぞれが分布する波長帯域は、少なくとも一部が互いにオーバーラップすることができる。また、ホワイト光Ｗが分布する波長帯域は、ブルー光Ｂ、グリーン光Ｇおよびレッド光Ｒそれぞれが分布する波長帯域の大部分を含むことができる。すなわち、ホワイト光Ｗは、ブルー光Ｂ、グリーン光Ｇおよびレッド光Ｒそれぞれの成分を全て含むと見ることができる。

【0053】

図５ｂを参照すると、光の色別に波長に応じた強さの分布が示されている。すなわち、シアン光Ｃｙ、レッド光Ｒ、グリーン光Ｇおよびブルー光Ｂそれぞれに対して、波長に応じて異なる強さが示されている。

【0054】

ピーク波長は、ブルー光Ｂ、グリーン光Ｇおよびレッド光Ｒの順に順次高くなり、ブルー光Ｂ、グリーン光Ｇおよびレッド光Ｒそれぞれが分布する波長帯域は、少なくとも一部が互いにオーバーラップすることができる。また、シアン光Ｃｙが分布する波長帯域は、ブルー光Ｂとグリーン光Ｇそれぞれが分布する波長帯域の大部分を含むが、レッド光Ｒが分布する波長帯域の一部だけを含むことができる。すなわち、シアン光Ｃｙは、ブルー光Ｂおよびグリーン光Ｇの成分を全て含むが、レッド光Ｒの成分の一部だけを含み、以下では、説明の便宜上、シアン光Ｃｙは、レッド光Ｒの成分を含まず、ブルー光Ｂおよびグリーン光Ｇの成分を含むと仮定する。

【0055】

ピクセルが小型化するにつれて、レッドピクセル、グリーンピクセルおよびブルーピクセルそれぞれに入射する光の光量が減ることになり、これにより各ピクセルの輝度値も下がり、各ピクセルのＳＮＲも下がることになって、正確なイメージテクスチャ（ｉｍａｇｅ ｔｅｘｔｕｒｅ）の取得が難しくなる。ここで、イメージテクスチャは、イメージ上の被写体の模様ないし輪郭を意味し得る。このような問題を補完するために、光量が相対的に多いホワイトピクセルをピクセルアレイ１１０上に特定のパターンで配列することで、ホワイトピクセルのイメージデータからさらに正確なイメージテクスチャを取得する方式を用いる方案が考慮されることができる。

【0056】

しかしながら、前述したように、ホワイトピクセルのピクセルサイズが特定の条件（ピクセルサイズとレッド光Ｒの波長が互いに同一ないし近似する）を満たす場合、レッド光Ｒに対する輝度範囲ΔＲ’が減ることになってホワイトピクセルのＳＮＲが不良となることで、正確なイメージテクスチャを取得することができない。

【0057】

本開示においては、ピクセルアレイ１１０上にホワイトピクセルの代わりにシアンピクセルを配置してイメージテクスチャを取得する方式を用いることができ、シアンピクセルは、ホワイト光ＷからＳＮＲの低下を誘発するレッド光Ｒの成分が除去されたシアン光Ｃｙを検知してイメージデータを生成し、シアンピクセルのイメージデータは、相対的に良好なＳＮＲを有することで、さらに正確なイメージテクスチャを取得するのに用いることができる。

【0058】

ピクセルアレイ１１０の各シアンピクセルのピクセルサイズ（例えば、幅）と、レッド光Ｒの波長との間の差は、各シアンピクセルのピクセルサイズ（例えば、幅）と、グリーン光Ｇまたはブルー光Ｂの波長との間の差よりも小さくてもよい。

【0059】

再び図１を参照すると、ラインメモリ２００は、揮発性メモリ（例えば、ＤＲＡＭ、ＳＲＡＭ）および／または不揮発性メモリ（例えば、フラッシュメモリ）を含むことができる。ラインメモリ２００は、予め定められた個数のラインに対応するイメージデータを格納可能な容量を有することができる。ここで、ラインは、ピクセルアレイ１１０の行を意味し得る。予め定められた個数は、ピクセルアレイ１１０の全体行の個数よりも小さい値であってもよい。したがって、ラインメモリ２００は、ピクセルアレイ１１０が一度に撮影したフレームに対応するイメージデータを格納可能なフレームメモリではなく、ピクセルアレイ１１０の一部の行（またはライン）に対応するイメージデータを格納可能なラインメモリであってもよい。他の実施形態により、ラインメモリ２００は、フレームメモリに代替されてもよい。

【0060】

ラインメモリ２００は、イメージセンシング装置１００からイメージデータを受信して格納することができ、格納されたイメージデータをＩＳＰ３００の制御に応じてＩＳＰ３００に伝送することができる。

【0061】

ＩＳＰ３００は、ラインメモリ２００に格納されたイメージデータに対して画像信号処理を行うことができる。ＩＳＰ３００は、イメージデータに対してノイズを低減し、ガンマ補正（Ｇａｍｍａ Ｃｏｒｒｅｃｔｉｏｎ）、カラーフィルタアレイ補間（ｃｏｌｏｒ ｆｉｌｔｅｒ ａｒｒａｙ ｉｎｔｅｒｐｏｌａｔｉｏｎ）、カラーマトリクス（ｃｏｌｏｒ ｍａｔｒｉｘ）、色補正（ｃｏｌｏｒ ｃｏｒｒｅｃｔｉｏｎ）、カラーエンハンスメント（ｃｏｌｏｒ ｅｎｈａｎｃｅｍｅｎｔ）、レンズ歪み補正（ｌｅｎｓ ｄｉｓｔｏｒｔｉｏｎ ｃｏｒｒｅｃｔｉｏｎ）などの画質改善のための画像信号処理を行うことができる。また、ＩＳＰ３００は、画質改善のための画像信号処理を行って生成した画像データを圧縮処理して画像ファイルを生成することができ、または、前記画像ファイルから画像データを復元することができる。画像の圧縮形式は、可逆形式または非可逆形式であってもよい。圧縮形式の例として、静止画像の場合は、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式やＪＰＥＧ２０００形式などを用いることができる。また、動画の場合は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）標準に従って複数のフレームを圧縮して動画ファイルを生成することができる。画像ファイルは、例えば、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）標準に従って生成することができる。

【0062】

ＩＳＰ３００は、第１補間部（ｆｉｒｓｔ ｉｎｔｅｒｐｏｌａｔｉｏｎ ｕｎｉｔ）３１０および第２補間部（ｓｅｃｏｎｄ ｉｎｔｅｒｐｏｌａｔｉｏｎ ｕｎｉｔ）３２０を含むことができる。第１補間部３１０および第２補間部３２０は、デモザイキングブロック（ｄｅｍｏｓａｉｃｉｎｇ ｂｌｏｃｋ）と称されてもよく、デモザイキングブロックは、各ピクセルごとに１つの色に対応するイメージデータ（すなわち、原イメージデータ（ｒａｗ ｉｍａｇｅ ｄａｔａ））を用いて、各ピクセルごとに３つの色（レッド、グリーン、ブルー）に対応するイメージデータ（すなわち、ＲＧＢイメージデータ（ＲＧＢ ｉｍａｇｅ ｄａｔａ））に変換することができる。

【0063】

第１補間部３１０は、原イメージデータを各色（シアン、レッド、グリーン、ブルー）別に４個の原イメージ（すなわち、シアン原イメージ、レッド原イメージ、グリーン原イメージ、ブルー原イメージ）に分離し、シアン原イメージに対して第１補間を行ってシアン補間イメージを生成することができる。一実施形態により、第１補間は、線形補間（ｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ）であってもよいが、本発明の範囲がこれに限定されるものではない。

【0064】

第２補間部３２０は、レッド原イメージに対して、シアン補間イメージを用いて第２補間を行い、レッド補間イメージを生成することができる。また、第２補間部３２０は、グリーン原イメージに対して、シアン補間イメージを用いて第２補間を行い、グリーン補間イメージを生成することができる。さらに、第２補間部３２０は、ブルー原イメージに対して、シアン補間イメージを用いて第２補間を行い、ブルー補間イメージを生成することができる。一実施形態により、第２補間は、線形回帰（ｌｉｎｅａｒ ｒｅｇｒｅｓｓｉｏｎ）であってもいが、本発明の範囲がこれに限定されるものではない。
第１補間部３１０および第２補間部３２０のより詳細な動作は、図７と図８を参照して後述する。

【0065】

ＩＳＰ３００は、補間動作が完了したＲＧＢデータを入出力インターフェース４００に伝送することができる。一実施形態により、ＩＳＰ３００は、ＲＧＢデータに対して追加の画像信号処理（例えば、エッジ強調処理）を行った後、入出力インターフェース４００に伝送することができる。

【0066】

入出力インターフェース４００は、ホスト装置２０との通信を行い、画像信号処理されたイメージデータをホスト装置２０に伝送することができる。一実施形態により、入出力インターフェース４００は、ＭＩＰＩ（ｍｏｂｉｌｅ ｉｎｄｕｓｔｒｙ ｐｒｏｃｅｓｓｏｒ ｉｎｔｅｒｆａｃｅ）インターフェースであってもよいが、本発明の範囲がこれに限定されるものではない。

【0067】

ホスト装置２０は、撮影装置１０から受信される画像信号処理されたイメージデータを処理するプロセッサ（例えば、アプリケーションプロセッサ（ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｃｅｓｓｏｒ））、イメージデータを格納するメモリ（例えば、不揮発性メモリ）、またはイメージデータを視覚的に出力するディスプレイ装置（例えば、ＬＣＤ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ））であってもよい。

【0068】

図６ａは、ピクセルアレイの一部に対する一例を示した図である。
図６ａを参照すると、４個の行および４個の列を含むマトリクスに配列された１６個のピクセルが示されている。一例として、１６個のピクセルはピクセルアレイ１１０の最小単位であって、１６個のピクセルが行方向および列方向に繰り返されてもよいが、本発明の範囲がこれに限定されるものではない。

【0069】

１６個のピクセルの配列形態は、第１パターン６００ａに定義されることができる。第１パターン６００ａは、第１～第４ピクセルグループＰＧ１ａ～ＰＧ４ａを含むことができる。第１～第４ピクセルグループＰＧ１ａ～ＰＧ４ａは２×２マトリクスに配列され、第１ピクセルグループＰＧ１ａと第４ピクセルグループＰＧ４ａは互いに対角方向に配列され、第２ピクセルグループＰＧ２ａと第３ピクセルグループＰＧ３ａは互いに対角方向に配列されることがでいる。第１～第４ピクセルグループＰＧ１ａ～ＰＧ４ａそれぞれは、２×２マトリクスに配列される４個のピクセルを含むことができる。

【0070】

第１ピクセルグループＰＧ１ａは、１個のレッドピクセルおよび３個のシアンピクセルを含み、第４ピクセルグループＰＧ４ａは、１個のブルーピクセルおよび３個のシアンピクセルを含むことができる。また、第２および第３ピクセルグループＰＧ２ａ、ＰＧ３ａそれぞれは、１個のグリーンピクセルおよび３個のシアンピクセルを含むことができる。

【0071】

各ピクセルグループＰＧ１ａ～ＰＧ４ａ内で、レッドピクセル、ブルーピクセルまたはグリーンピクセルが配置される位置は、ＩＳＰ３００の画像信号処理に必要な演算量を減らせるように互いに同一であってもよいが、本発明の範囲がこれに限定されるものではない。

【0072】

第１～第４ピクセルグループＰＧ１ａ～ＰＧ４ａそれぞれは、ベイヤーパターン（ｂａｙｅｒ ｐａｔｔｅｒｎ）を構成するレッドピクセル、ブルーピクセルまたはグリーンピクセルを含み、この際、シアンピクセルをさらに含むことで、さらに正確なイメージテクスチャが取得されるようにすることができる。

【0073】

図６ｂは、ピクセルアレイの一部に対する他の例を示した図である。
図６ｂを参照すると、４個の行および４個の列を含むマトリクスを構成する１６個のピクセルの配列形態である第２パターン６００ｂが示されている。第２パターン６００ｂは、第１～第４ピクセルグループＰＧ１ｂ～ＰＧ４ｂを含むことができる。第２パターン６００ｂは、図６ａの第１パターン６００ａと一部の相違点を除いては実質的に同一であるところ、説明の便宜上、相違点を中心に説明する。

【0074】

第１ピクセルグループＰＧ１ｂは、２個のレッドピクセルおよび２個のシアンピクセルを含み、第４ピクセルグループＰＧ４ｂは、２個のブルーピクセルおよび２個のシアンピクセルを含むことができる。また、第２および第３ピクセルグループＰＧ２ｂ、ＰＧ３ｂそれぞれは、２個のグリーンピクセルおよび２個のシアンピクセルを含むことができる。

【0075】

各ピクセルグループＰＧ１ｂ～ＰＧ４ｂ内で、同一種類のピクセルは互いに対角方向に配置され、シアンピクセルが配置される位置は互いに同一であってもよいが、本発明の範囲がこれに限定されるものではない。

【0076】

第１～第４ピクセルグループＰＧ１ｂ～ＰＧ４ｂそれぞれは、ベイヤーパターンを構成するレッドピクセル、ブルーピクセルまたはグリーンピクセルを含み、この際、シアンピクセルをさらに含むことで、さらに正確なイメージテクスチャが取得されるようにすることができる。第１～第４ピクセルグループＰＧ１ｂ～ＰＧ４ｂそれぞれは、図６ａの一例と比べて、各ピクセルグループ内のベイヤーパターンを構成するピクセルの割合を高めることで、さらに正確なカラー情報がＲＧＢイメージデータに反映されるようにすることができる。

【0077】

図６ｃは、ピクセルアレイの一部に対するまた他の例を示した図である。
図６ｃを参照すると、４個の行および４個の列を含むマトリクスを構成する１６個のピクセルの配列形態である第３パターン６００ｃが示されている。第３パターン６００ｃは、第１～第４ピクセルグループＰＧ１ｃ～ＰＧ４ｃを含むことができる。第３パターン６００ｃは、図６ｂの第２パターン６００ｂと一部の相違点を除いては実質的に同一であるところ、説明の便宜上、相違点を中心に説明する。

【0078】

第１ピクセルグループＰＧ１ｃおよび４ピクセルグループＰＧ４ｃそれぞれは、１個のグリーンピクセル、１個のレッドピクセルおよび２個のシアンピクセルを含むことができる。また、第２ピクセルグループＰＧ２ｃおよび第３ピクセルグループＰＧ３ｃそれぞれは、１個のグリーンピクセル、１個のブルーピクセルおよび２個のシアンピクセルを含むことができる。

【0079】

各ピクセルグループＰＧ１ｃ～ＰＧ４ｃ内で、シアンピクセルは互いに対角方向に配置され、レッドピクセルおよびブルーピクセルのうち何れか１つとグリーンピクセルは互いに対角方向に配置されてもよいが、本発明の範囲がこれに限定されるものではない。

【0080】

第１～第４ピクセルグループＰＧ１ｃ～ＰＧ４ｃそれぞれは、ベイヤーパターンを構成するレッドピクセルおよびブルーピクセルのうち何れか１つとグリーンピクセルとを含み、この際、シアンピクセルをさらに含むことで、さらに正確なイメージテクスチャが取得されるようにすることができる。第１～第４ピクセルグループＰＧ１ｃ～ＰＧ４ｃそれぞれは、図６ｂの他の例と比べて、各ピクセルグループごとに光電変換効率に優れたグリーンピクセルが含まれるように配置することで、さらに正確なイメージテクスチャが取得されるようにすることができる。

【0081】

図６ａ～図６ｃにおいては、それぞれが、レッドピクセル、グリーンピクセルまたはブルーピクセルのうち少なくとも１つのピクセルと、少なくとも１つのシアンピクセルとを含む複数のピクセルグループの単位でピクセルが配列される実施形態について説明したが、本発明の範囲がこれに限定されるものではない。

【0082】

本発明の技術的思想は、ピクセルアレイ１１０が色情報を検出するためのカラーピクセル（例えば、レッドピクセル、グリーンピクセル、ブルーピクセル）と、イメージテクスチャを検出するためのシアンピクセルとを共に含む多様な実施形態を含むことができる。

【0083】

また、イメージテクスチャを検出するためにシアンピクセルを配置することは一例示にすぎず、本発明の技術的思想は、ピクセルアレイ１１０の各ピクセルのピクセルサイズ（例えば、幅）と一定の誤差範囲（例えば、±０．０５μｍ）以内の波長を有する光をフィルタリングして遮断可能なピクセルをイメージテクスチャを検出するためのピクセルとして配置することで、入射光の回折を最小化してイメージテクスチャを検出可能な多様な実施形態を含むことができる。

【0084】

一例として、ピクセルアレイ１１０の各ピクセルのピクセルサイズが約０．４５μｍである場合、イメージセンシング装置１００は、各ピクセルのピクセルサイズ（０．４５μｍ）と一定の誤差範囲（例えば、±０．０５μｍ）以内の波長を有するブルー光Ｂをフィルタリングして遮断可能なイエローピクセル（レッド光Ｒおよびグリーン光Ｇだけを透過させるピクセル）をイメージテクスチャを検出するためのピクセルとして含むことができる。

【0085】

図７は、図１の第１補間部の動作を説明するための図である。
図７を参照すると、以下では、図６ａの第１パターン６００ａで配列されたピクセルアレイ１１０から受信される原イメージデータ７００に対して、第１補間部３１０および第２補間部３２０が第１補間および第２補間をそれぞれ行う例示について説明する。本開示においては、図６ａの第１パターン６００ａを例に挙げて説明するが、図６ｂおよび図６ｃの第２パターン６００ｂおよび第３パターン６００ｃで配列されたピクセルアレイ１１０またはその他の方式で配列されたピクセルアレイ１１０から受信される原イメージデータに対しても、実質的に同一方式の第１補間および第２補間が行われることができる。

【0086】

第１補間部３１０は、第１パターン６００ａで配列されたピクセルアレイ１１０から受信される原イメージデータ７００を各色（シアン、レッド、グリーン、ブルー）別に、シアン原イメージ７１０、レッド原イメージ７２０、グリーン原イメージ７３０、ブルー原イメージ７４０に分離することができる。図７および図８においては、第１補間および第２補間の単位となる原イメージデータ７００が９×９マトリクスに該当するものとして例示されたが、本発明の範囲はこれに限定されず、原イメージデータは、他のサイズ（例えば、５×５マトリクス）を有してもよい。

【0087】

原イメージデータ７００は、シアンピクセルのイメージデータ、レッドピクセルのイメージデータ、グリーンピクセルのイメージデータおよびブルーピクセルのイメージデータの集合に該当し、シアンピクセルのイメージデータ、レッドピクセルのイメージデータ、グリーンピクセルのイメージデータおよびブルーピクセルのイメージデータそれぞれは、シアンピクセルデータ、レッドピクセルデータ、グリーンピクセルデータおよびブルーピクセルデータに定義されることができる。

【0088】

第１補間部３１０は、シアン原イメージ７１０に対して第１補間を行い、シアン補間イメージ７１５を生成することができる。一実施形態により、第１補間は、線形補間であってもよいが、本発明の範囲がこれに限定されるものではない。

【0089】

例えば、第１補間部３１０は、シアン原イメージ７１０において、シアンピクセルデータが存在しないピクセル（すなわち、第１補間対象ピクセル）を中心に一定範囲内に含まれたシアンピクセルのシアンピクセルデータの算術平均または第１補間対象ピクセルとの距離を重みとする加重平均を計算した値を第１補間対象ピクセルのシアンピクセルデータに決めることができる。

【0090】

第１補間部３１０は、シアン原イメージ７１０に含まれた全ての第１補間対象ピクセルに対して第１補間を行うことで、シアン補間イメージ７１５を生成することができる。

【0091】

一実施形態により、第１補間部３１０は、レッド原イメージ７２０に対しても第１補間を行ってレッド中間イメージ（図示せず）を生成し、第２補間部３２０に伝達することができる。同様に、第１補間部３１０は、グリーン原イメージ７３０およびブルー原イメージ７４０に対してもそれぞれ第１補間を行ってグリーン中間イメージ（図示せず）およびブルー中間イメージ（図示せず）を生成し、第２補間部３２０に伝達することができる。

【0092】

図８は、図１の第２補間部の動作を説明するための図である。
図８を参照すると、第２補間部３２０は、シアン補間イメージ７１５およびレッド原イメージ７２０に対して第２補間を行い、レッド補間イメージ８００を生成することができる。一実施形態により、第２補間は、線形回帰であってもよいが、本発明の範囲がこれに限定されるものではない。

【0093】

例えば、第２補間部３２０は、レッド原イメージ７２０において、レッドピクセルデータが存在しないピクセル（すなわち、第２補間対象ピクセル）のレッドピクセルデータを次の数学式１に該当する線形回帰関数を用いて計算することができる。

【0094】

【数1】

【0095】

ここで、ａは、回帰係数を意味し、ｂは、回帰切片を意味し得る。また、Ｃｙｉは、シアン補間イメージ７１５のシアンピクセルデータを意味し、Ｒｉは、第２補間されたレッド補間イメージ８００のレッドピクセルデータを意味し得る。

【0096】

回帰係数ａは、レッド原イメージ７２０に対して実験的に決められた値であってもよく、回帰係数ａは、レッドピクセルデータＲｉとレッドピクセルデータＲｉに対応するレッド中間イメージのデータとの間の差を減らす方向に補正されることができる。

【0097】

回帰切片ｂは、レッドピクセルデータＲｉに対応するレッド中間イメージのデータに関連した値であってもよい。ここで、関連した値とは、同一の値または必要な加工（例えば、スケール調整）を加えた値を意味し得る。

【0098】

Ｃｙｉは、シアン補間イメージ７１５のシアンピクセルデータとしてレッドピクセルデータＲｉに対応する１つのシアンピクセルデータであってもよいが、他の実施形態により、前記シアンピクセルデータから一定範囲（例えば、３×３マトリクス）内に含まれる少なくとも１つのシアンピクセルデータを混合した値であってもよい。このような混合により、被写体の境界で発生するノイズが低減されることができる。

【0099】

第２補間部３２０は、レッド原イメージ７２０に対して、シアン補間イメージ７１５を用いて第２補間によりレッド補間イメージ８００を生成することで、レッド光Ｒの回折によりぼやけ現象（回折により隣接ピクセル間の入射光が混ざって輝度範囲が縮小され、イメージがぼやける現象）の激しいレッド原イメージ７２０に対してさらに正確なイメージテクスチャを反映し、コントラスト（ｃｏｎｔｒａｓｔ）が改善されたレッド補間イメージ８００を取得することができる。

【0100】

また、第２補間部３２０は、前述した第２補間と実質的に同一の方式を用いて、グリーン補間イメージおよびブルー補間イメージをそれぞれ生成することができる。
第２補間部３２０は、レッド補間イメージ、グリーン補間イメージおよびブルー補間イメージをＲＧＢイメージデータとして外部に出力することができる。

【0101】

一実施形態により、レッド補間イメージ８００の生成のための第２補間で用いられる回帰係数ａは、グリーン補間イメージまたはブルー補間イメージの生成のための第２補間で用いられる回帰係数ａとは異なってもよい。例えば、レッド補間イメージ８００の生成のための第２補間で用いられる回帰係数ａ（すなわち、レッド原イメージ７２０に対する回帰係数）は、グリーン補間イメージまたはブルー補間イメージの生成のための第２補間で用いられる回帰係数ａ（すなわち、グリーン原イメージ７３０またはブルー原イメージ７４０に対する回帰係数）よりも大きくてもよい。これは、レッド原イメージ７２０のぼやけ現象が相対的に激しいため、第２補間時にシアン補間イメージ７１５のシアンピクセルデータＣｙｉの比重を高めてイメージテクスチャをさらに鮮明にするためである。

【0102】

一実施形態により、ＩＳＰ３００は、第２補間部３２０の動作前に、レッド原イメージ７２０に対してエッジ強調処理を行うことができる。これは、デモザイキング（ｄｅｍｏｓａｉｃｉｎｇ）以前に先行的にレッド原イメージ７２０のコントラストを高め、レッド補間イメージ８００のイメージテクスチャをさらに鮮明にするためである。

【0103】

一実施形態により、グリーン補間イメージまたはブルー補間イメージの生成のための第２補間で用いられるグリーン原イメージまたはブルー原イメージをそのまま用いるのではなく、シアン補間イメージを用いて補正されたグリーン原イメージまたはブルー補間イメージを用いてもよい。例えば、シアン補間イメージは、グリーン光Ｇの情報およびブルー光Ｂの情報を共に含んでいるため、シアン補間イメージからグリーン原イメージを各ピクセル別に減算した結果は、ブルー光Ｂの情報を含むイメージであってもよい。このようなイメージは、ブルー原イメージ７４０において、ブルーピクセルデータが存在しないピクセルに対してもブルーピクセルデータを提供することができるため、このようなイメージを用いてブルー原イメージを補正（例えば、併合）することで、さらに正確なカラー情報を有するＲＧＢデータを取得することができる。

【図1】

【図2】

【図3】

【図4a】

【図4b】

【図5a】

【図5b】

【図6a】

【図6b】

【図6c】

【図7】

【図8】