特開 2022-177830 イメージ処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022177830

(43)【公開日】2022-12-01

(54)【発明の名称】イメージ処理装置

(51)【国際特許分類】

   H04N 5/235 20060101AFI20221124BHJP

   H04N 5/225 20060101ALI20221124BHJP

   H04N 5/232 20060101ALI20221124BHJP

   H04N 5/369 20110101ALI20221124BHJP

【ＦＩ】

H04N5/235 500

H04N5/225 300

H04N5/232 190

H04N5/369

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

(21)【出願番号】P 2022081257

(22)【出願日】2022-05-18

(31)【優先権主張番号】10-2021-0063985

(32)【優先日】2021-05-18

(33)【優先権主張国・地域又は機関】KR

(71)【出願人】

【識別番号】310024033

【氏名又は名称】エスケーハイニックス株式会社

【氏名又は名称原語表記】ＳＫ ｈｙｎｉｘ Ｉｎｃ．

【住所又は居所原語表記】２０９１， Ｇｙｅｏｎｇｃｈｕｎｇ－ｄａｅｒｏ，Ｂｕｂａｌ－ｅｕｂ，Ｉｃｈｅｏｎ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ，Ｋｏｒｅａ

(74)【代理人】

【識別番号】110000796

【氏名又は名称】弁理士法人三枝国際特許事務所

(72)【発明者】

【氏名】矢幡 和浩

【テーマコード（参考）】

5C024

5C122

【Ｆターム（参考）】

5C024GX02

5C122DA03

5C122DA04

5C122EA21

5C122EA37

5C122FA07

5C122FC01

5C122FC02

5C122FC06

5C122FH01

5C122FH10

5C122FH11

5C122FH14

5C122FH18

5C122HA42

5C122HA88

5C122HB01

5C122HB05

5C122HB06

5C122HB08

5C122HB10

(57)【要約】      （修正有）

【課題】複数の互いに異なる感度を有するピクセルが混在しているピクセルアレイによって生成された複数のイメージの合成時にボケ現象を低減できるようにするイメージ処理装置を提供する。
【解決手段】イメージ処理装置１０において、イメージ信号プロセッサ２００は、第１感度を有する少なくとも一つの第１ピクセルと、第１感度と相違する第２感度を有する第２ピクセルと、第１ピクセルおよび第２ピクセルでサンプリング位置を算出し、算出したサンプリング位置に基づいて基準位置を決定し、第１ピクセルおよび第２ピクセルのうち基準位置として選択された第２ピクセルを基準として、第１ピクセルに対するサンプリング位置を調整する処理部２１０と、処理部で処理されたピクセル値に対するイメージを合成し、出力ピクセル値を決定する合成部２２０とを含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

第１感度を有する少なくとも一つの第１ピクセルと、
前記第１感度と相違する第２感度を有する第２ピクセルと、
前記第１ピクセルおよび前記第２ピクセルでサンプリング位置を算出し、前記算出したサンプリング位置に基づいて基準位置を決定し、前記第１ピクセルおよび前記第２ピクセルのうち前記基準位置として選択された前記第２ピクセルを基準として、前記第１ピクセルに対するサンプリング位置を調整する処理部と、
前記処理部で処理されたピクセル値に対するイメージを合成し、出力ピクセル値を決定する合成部とを含む、イメージ処理装置。

【請求項2】

前記処理部は、
前記第１ピクセルおよび前記第２ピクセルの位置で重心を算出し、前記サンプリング位置を決定する、請求項１に記載のイメージ処理装置。

【請求項3】

前記処理部は、
前記第１ピクセルの位置値を加算して平均し、第１サンプリング位置を求める、請求項１に記載のイメージ処理装置。

【請求項4】

前記処理部は、
前記第２ピクセルの第２サンプリング位置を求め、前記第２サンプリング位置が前記基準位置として決定されると、前記第２サンプリング位置から前記第１サンプリング位置を減算し、前記第１サンプリング位置のシフト量を算出する、請求項３に記載のイメージ処理装置。

【請求項5】

前記合成部は、
算出した前記シフト量にしたがって補間処理を行う、請求項４に記載のイメージ処理装置。

【請求項6】

前記処理部は、
前記第１ピクセルおよび前記第２ピクセルの応答が有効応答範囲以上になる飽和区間内のピクセルの数を検出し、前記基準位置を設定する、請求項１に記載のイメージ処理装置。

【請求項7】

前記処理部は、
イメージ内にエッジ、テクスチュア、顔、プレビュー用イメージのうち少なくとも一つを含む特定の領域の輝度に対応して前記基準位置を設定する、請求項１に記載のイメージ処理装置。

【請求項8】

前記処理部は、
撮影モードで撮影されたイメージの輝度に対応して前記基準位置を設定する、請求項１に記載のイメージ処理装置。

【請求項9】

前記処理部は、
前記撮影モードが予め設定された輝度未満の夜間撮影モードである場合、前記複数の第１ピクセルが前記基準位置として設定され、前記撮影モードが予め設定された輝度以上の昼間撮影モードである場合、前記第２ピクセルが前記基準位置として設定される、請求項８に記載のイメージ処理装置。

【請求項10】

前記処理部は、
人物写真モードで顔面検出により検出した顔の輝度が背景より高いか否かを判断し、前記基準位置を設定する、請求項１に記載のイメージ処理装置。

【請求項11】

前記処理部は、
夜間を背景にして前記顔を撮影したイメージで、前記背景より前記顔の輝度が高い場合、前記第２ピクセルが、前記基準位置として設定される、請求項１０に記載のイメージ処理装置。

【請求項12】

前記処理部は、
昼間を背景にして前記顔を撮影したイメージで、前記背景より前記顔の輝度が低い場合、前記第１ピクセルが、前記基準位置として設定される、請求項１０に記載のイメージ処理装置。

【請求項13】

前記第１感度は、前記第２感度より高い、請求項１に記載のイメージ処理装置。

【請求項14】

第１感度を有する第１ピクセルと、
前記第１感度と相違する第２感度を有する少なくとも一つの第２ピクセルと、
前記第１感度および前記第２感度と相違する第３感度を有する第３ピクセルと、
前記第１ピクセル、前記第２ピクセルおよび前記第３ピクセルでサンプリング位置を算出し、前記算出したサンプリング位置で基準位置を決定し、前記第１ピクセル、前記第２ピクセルおよび前記第３ピクセルのうち前記基準位置として選択された場合、前記第２ピクセルを基準として前記第１ピクセル、前記第３ピクセルに対するサンプリング位置を調整する処理部と、
前記処理部で処理されたピクセル値に対するイメージを合成し、出力ピクセル値を決定する合成部とを含む、イメージ処理装置。

【請求項15】

前記処理部は、
前記第１ピクセル、前記第２ピクセルおよび前記第３ピクセルで重心を算出し、前記サンプリング位置を決定する、請求項１４に記載のイメージ処理装置。

【請求項16】

前記処理部は、
前記第２ピクセルの位置値を加算して平均し、第１サンプリング位置を求め、
前記第１ピクセルの第２サンプリング位置および前記第３ピクセルの第３サンプリング位置を求め、
前記第１サンプリング位置が前記基準位置として決定されると、前記第１サンプリング位置から前記第２サンプリング位置および前記第３サンプリング位置をそれぞれ減算し、前記第２サンプリング位置および前記第３サンプリング位置のシフト量を算出する、請求項１４に記載のイメージ処理装置。

【請求項17】

前記第１感度は、前記第２感度より高く、前記第２感度は、前記第３感度より高い、請求項１４に記載のイメージ処理装置。

【請求項18】

第１感度を有する少なくとも一つの第１ピクセルと、
前記第１感度と相違する第２感度を有する第２ピクセルと、
前記第１ピクセルおよび前記第２ピクセルでサンプリング位置を算出し、一つのイメージ内に基準輝度未満の低照度領域と基準輝度以上の高照度領域が含まれる場合、前記前記第１ピクセルおよび前記第２ピクセルが異なる加重値を有するように設定して基準位置を決定する処理部と、
前記処理部で処理されたピクセル値に対するイメージを合成し、出力ピクセル値を決定する合成部とを含む、イメージ処理装置。

【請求項19】

前記処理部は、
前記低照度領域で前記第１ピクセルに前記加重値を付与し、前記第１ピクセルの第１サンプリング位置を前記基準位置として設定し、
前記高照度領域で前記第２ピクセルに前記加重値を付与し、前記第２ピクセルの第２サンプリング位置を前記基準位置として設定する、請求項１８に記載のイメージ処理装置。

【請求項20】

前記処理部は、
前記低照度領域と前記高照度領域の両方を含む境界領域で、前記第１サンプリング位置および前記第２サンプリング位置を前記基準位置として設定する、請求項１９に記載のイメージ処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、イメージ処理装置に関し、イメージセンシング装置からセンシングされた複数のイメージを合成するようにする技術である。

【背景技術】

【0002】

イメージセンシング装置は、光に反応する光感知半導体物質の性質を用いて、光学イメージをキャプチャ（ｃａｐｔｕｒｅ）する装置である。自動車、医療、コンピュータおよび通信などの産業の発展に伴い、スマートフォン、デジタルカメラ、ゲーム機器、モノのインターネット（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）、ロボット、警備用カメラ、医療用マイクロカメラなどの様々な分野において、高性能（ｈｉｇｈ‐ｐｅｒｆｏｒｍａｎｃｅ）イメージセンシング装置に対する需要が増加している。

【0003】

イメージセンシング装置は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンシング装置と、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンシング装置とに大別することができる。ＣＣＤイメージセンシング装置は、ＣＭＯＳイメージセンシング装置に比べてより良好なイメージ品質を提供するものの、より大きいサイズに具現され、より多い電力を消費する傾向がある。一方、ＣＭＯＳイメージセンシング装置は、ＣＣＤイメージセンシング装置に比べてより小さいサイズに具現可能であり、より少ない電力を消費する。また、ＣＭＯＳイメージセンシング装置は、ＣＭＯＳ製造技術を用いて製造されることから、光感知素子および信号処理回路を単一チップに統合することができ、これにより、低コストで小型のイメージセンシング装置を生産することができる。かかる理由から、ＣＭＯＳイメージセンシング装置は、モバイル装置を含む多くのアプリケーションのために開発されている。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明の実施形態は、複数の互いに異なる感度を有するピクセルが混在しているピクセルアレイによって生成された複数のイメージの合成時にボケ（ｂｏｋｅｈ）現象を低減できるようにするイメージ処理装置を提供する。

【課題を解決するための手段】

【0005】

本発明の実施形態によるイメージ処理装置は、第１感度を有する少なくとも一つの第１ピクセルと、第１感度と相違する第２感度を有する第２ピクセルと、第１ピクセルおよび第２ピクセルでサンプリング位置を算出し、算出したサンプリング位置に基づいて基準位置を決定し、第１ピクセルおよび第２ピクセルのうち基準位置として選択された第２ピクセルを基準として、第１ピクセルに対するサンプリング位置を調整する処理部と、処理部で処理されたピクセル値に対するイメージを合成し、出力ピクセル値を決定する合成部とを含む。

【0006】

本発明の他の実施形態によるイメージ処理装置は、第１感度を有する第１ピクセルと、第１感度と相違する第２感度を有する少なくとも一つの第２ピクセルと、第１感度および第２感度と相違する第３感度を有する第３ピクセルと、第１ピクセル、第２ピクセルおよび第３ピクセルでサンプリング位置を算出し、算出したサンプリング位置で基準位置を決定し、第１ピクセル、第２ピクセルおよび第３ピクセルのうち基準位置として選択された場合、第２ピクセルを基準として第１ピクセル、第３ピクセルに対するサンプリング位置を調整する処理部と、処理部で処理されたピクセル値に対するイメージを合成し、出力ピクセル値を決定する合成部とを含む。

【0007】

本発明のさらに他の実施形態によるイメージ処理装置は、第１感度を有する少なくとも一つの第１ピクセルと、第１感度と相違する第２感度を有する第２ピクセルと、第１ピクセルおよび第２ピクセルでサンプリング位置を算出し、一つのイメージ内に基準輝度未満の低照度領域と基準輝度以上の高照度領域が含まれる場合、第１ピクセルおよび前記第２ピクセルが異なる加重値を有するように設定して基準位置を決定する処理部と、処理部で処理されたピクセル値に対するイメージを合成し、出力ピクセル値を決定する合成部とを含む。

【発明の効果】

【0008】

本発明の実施形態は、複数の互いに異なる感度を有するピクセルが混在しているピクセルアレイで複数のイメージの合成時に補間によるボケ（ｂｏｋｅｈ）現象を改善できるようにする効果を提供する。

【図面の簡単な説明】

【0009】

【図1】本発明の一実施形態によるイメージ処理装置を示すブロック図である。

【図2】図１のイメージセンシング装置の詳細構成を示すブロック図である。

【図3】図１のイメージ信号プロセッサの動作を説明するためのフローチャートである。

【図4】図３のサンプリング位置および基準位置を決定するステップに関する詳細なフローチャートである。

【図5】図２のピクセルアレイの一実施形態を示す図である。

【図6】図５に図示されている高感度ピクセルと低感度ピクセルに対して照度による応答を例示的に示すグラフである。

【図7】図２に図示されているピクセルアレイの他の実施形態を示す図である。

【図8】図７に図示されている高感度ピクセル、中感度ピクセルおよび低感度ピクセルに対して照度による応答を例示的に示すグラフである。

【図9】図５に図示されているピクセルアレイで高感度ピクセルと低感度ピクセルを配置する一例を示す図である。

【図10】図９のピクセルアレイにおいてサンプリング位置の調整を示す図である。

【図11】図７に図示されているピクセルアレイでサンプリング位置の調整を示す図である。

【図12】図１のイメージ信号プロセッサにおいて基準イメージを選択する動作を説明するためのフローチャートである。

【図13】図１のイメージ信号プロセッサにおいてイメージ領域別に基準位置を設定する動作を説明するための図である。

【図14】図１３において基準位置の決定を説明するためのグラフである。

【図15】図１のイメージ信号プロセッサにおいて撮影モードに応じて基準位置を設定する動作を説明するためのフローチャートである。

【図16】図１のイメージ信号プロセッサにおいて顔検出に応じて基準位置を設定する動作を説明するためのフローチャートである。

【図17】図１６において基準位置決定動作を説明するための図である。

【図18】図１６において基準位置決定動作を説明するための図である。

【図19】図３のピクセル値を決定するステップに関する詳細なフローチャートである。

【発明を実施するための形態】

【0010】

以下、添付の図面を参照して、様々な実施形態について説明する。しかし、本開示は、特定の実施形態に限定されず、実施形態の様々な変更（ｍｏｄｉｆｉｃａｔｉｏｎ）、均等物（ｅｑｕｉｖａｌｅｎｔ）、および／または代替物（ａｌｔｅｒｎａｔｉｖｅ）を含むものと理解すべきである。本開示の実施形態は、本開示により直間接に認識され得る様々な効果を提供することができる。

【0011】

図１は本発明の一実施形態によるイメージ処理装置を示すブロック図である。

【0012】

図１を参照すると、イメージ処理装置１０は、電子装置に内蔵（ｅｍｂｅｄｄｅｄ）されるかまたは電子装置として具現され得る。ここで、電子装置は、イメージを撮影し、撮影したイメージをディスプレイするか、または撮影したイメージに基づく動作を行う装置であり、例えば、デジタルカメラ、スマートフォン、ウェアラブル機器、モノのインターネット（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ（ＩｏＴ））機器、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、タブレットＰＣ、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ＰＭＰ（ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、ナビゲーション（ｎａｖｉｇａｔｉｏｎ）装置、ドローンなどの電子機器を含むか、または車両、医療機器、家具、製造設備、保安装置、ドア、各種計測機器などに部品として備えられる電子機器に搭載され得る。

【0013】

イメージ処理装置１０は、イメージセンシング装置１００およびイメージ信号プロセッサ（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ；ＩＳＰ）２００を含むことができる。

【0014】

イメージセンシング装置１００は、光学レンズＬＳを介して入射された被写体（Ｏｂｊｅｃｔ）の光学的信号を電気的信号に変換し、電気的信号に基づいてイメージを生成することができる。イメージセンシング装置１００は、イメージ信号プロセッサ２００に生成されたイメージを転送することができる。

【0015】

イメージセンシング装置１００は、同じ被写体に対して輝度が相違する複数のイメージを生成することができる。例えば、イメージセンシング装置１００は、互いに異なる露出時間に基づいて同じ被写体を撮像することで、多重露出イメージを生成することができる。

【0016】

他の例として、イメージセンシング装置１００は、単一イメージを生成するか、（例えば、連続した）多重イメージを生成するか、またはビデオデータを生成することができる。さらに他の例として、イメージセンシング装置１００は、ピクセル数が高い高解像度イメージデータを生成するか、ピクセル数が低い低解像度イメージデータを生成することもできる。さらに他の例として、イメージセンシング装置１００は、１秒当たりのフレームが高い高速撮影イメージデータを生成するか、１秒当たりのフレームが低い低速撮影イメージデータを生成することもできる。

【0017】

また、イメージ信号プロセッサ２００は、受信するイメージに対してイメージ処理を行うことができる。ここで、イメージ処理とは、イメージ合成のための処理、ハイダイナミックレンジ（ＨＤＲ；Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）のイメージ生成のための処理、ノイズ除去、明度調整、鮮明度（ｓｈａｒｐｎｅｓｓ）調整などの画質向上のための処理、イメージサイズ変更、データ形式を変更するイメージ処理などの様々な処理を含むことができる。イメージ信号プロセッサ２００でＨＤＲ処理が行われることに伴いダイナミックレンジが増加し、ＳＮＲ（ｓｉｇｎａｌ ｔｏ ｎｏｉｓｅ ｒａｔｉｏ）が向上したＨＤＲイメージ（ＨＤＲＩ）が生成され得る。

【0018】

イメージ信号プロセッサ２００は、ハードウェア、ソフトウェア（またはファームウエア）またはハードウェアとソフトウェアの組み合わせで具現され得る。実施形態によって、イメージ信号プロセッサ２００は、ＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などイメージ処理を行うことができる様々な種類のプロセッサのうち一つに具現されてもよい。イメージ信号プロセッサ２００は、単一チップに具現されるか、またはＡＰ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｃｅｓｓｏｒ）に内蔵され得る。

【0019】

実施形態によって、イメージ信号プロセッサ２００は、処理部（Ｐｒｏｃｅｓｓｏｒ）２１０および合成部（Ｓｙｎｔｈｅｓｉｚｅｒ）２２０を含むことができる。

【0020】

ここで、処理部２１０は、イメージセンシング装置１００を介して露出が互いに異なるイメージおよびダイナミックレンジを有するイメージの入力を受ける。例えば、処理部２１０は、高感度ピクセル（ｈｉｇｈ ｓｅｎｓｉｔｉｖｉｔｙ ｐｉｘｅｌ、ＨＰＸ）および低感度ピクセル（ｌｏｗ ｓｅｎｓｉｔｉｖｉｔｙ ｐｉｘｅｌ、ＬＰＸ）のピクセル値の入力を受けることができる。他の実施形態によって、処理部２１０は、高感度ピクセル（ｈｉｇｈ ｓｅｎｓｉｔｉｖｉｔｙ ｐｉｘｅｌ、ＨＰＸ）、中感度ピクセル（Ｍｉｄｄｌｅ ｓｅｎｓｉｔｉｖｉｔｙ ｐｉｘｅｌ、ＭＰＸ）および低感度ピクセル（ｌｏｗ ｓｅｎｓｉｔｉｖｉｔｙ ｐｉｘｅｌ、ＬＰＸ）のピクセル値の入力を受けることができる。また、処理部２１０は、イメージセンシング装置１００を介して印加されるピクセル値に基づいてサンプリング位置を算出し、算出したサンプリング位置に応じて基準位置を決定することができる。

【0021】

合成部２２０は、決定された基準位置で高感度ピクセル（ｈｉｇｈ ｓｅｎｓｉｔｉｖｉｔｙ ｐｉｘｅｌ、ＨＰＸ）、中感度ピクセル（Ｍｉｄｄｌｅ ｓｅｎｓｉｔｉｖｉｔｙ ｐｉｘｅｌ、ＭＰＸ）および低感度ピクセル（ｌｏｗ ｓｅｎｓｉｔｉｖｉｔｙ ｐｉｘｅｌ、ＬＰＸ）のシフト量を算出し、算出したシフト量に基づいて補間処理を行うことができる。合成部２２０は、処理部２１０で処理されたピクセル値を合成し、出力ピクセル値を決定することができる。合成部２２０は、処理部２１０で処理されたピクセル値を合成し、ＨＤＲイメージ（ＨＤＲＩ）を出力することができる。

【0022】

図２は図１のイメージセンシング装置１００の詳細構成を示すブロック図である。

【0023】

図２を参照すると、イメージセンシング装置１００は、ピクセルアレイ（ｐｉｘｅｌ ａｒｒａｙ）１１０と、ロードライバ（ｒｏｗ ｄｒｉｖｅｒ）１２０と、相関二重サンプラ（Ｃｏｒｒｅｌａｔｅ Ｄｏｕｂｌｅ Ｓａｍｐｌｅｒ；ＣＤＳ）１３０と、アナログ‐デジタルコンバータ（Ａｎａｌｏｇ‐Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ；ＡＤＣ）１４０と、出力バッファ（ｏｕｔｐｕｔ ｂｕｆｆｅｒ）１５０と、カラムドライバ（ｃｏｌｕｍｎ ｄｒｉｖｅｒ）１６０と、タイミングコントローラ（ｔｉｍｉｎｇ ｃｏｎｔｒｏｌｌｅｒ）１７０とを含むことができる。ここで、イメージセンシング装置１００の各構成は、例示的なものに過ぎず、必要に応じて、少なくとも一部の構成が追加または省略され得る。

【0024】

ピクセルアレイ１１０は、複数のロー（ｒｏｗｓ）および複数のカラム（ｃｏｌｕｍｎｓ）で配列された複数の単位ピクセルを含むことができる。一実施形態において、複数の単位ピクセルは、ローおよびカラムを含む二次元ピクセルアレイで配列され得る。他の実施形態において、複数の単位イメージピクセルは、三次元ピクセルアレイで配列され得る。複数の単位ピクセルは、単位ピクセル単位でまたはピクセルグループ単位で光信号を電気的信号に変換することができ、ピクセルグループ内の単位ピクセルは、少なくとも特定の内部回路を共有することができる。ピクセルアレイ１１０は、ロードライバ１２０からロー選択信号、ピクセルリセット信号および転送信号などを含む駆動信号を受信することができ、駆動信号によって、ピクセルアレイ１１０の当該単位ピクセルは、ロー選択信号、ピクセルリセット信号および転送信号に対応する動作を行うように活性化することができる。

【0025】

ロードライバ１２０は、タイミングコントローラ１７０によって供給される命令および制御信号に基づいて、当該ローに含まれた単位ピクセルに対して特定の動作を行うようにピクセルアレイ１１０を活性化することができる。一実施形態において、ロードライバ１２０は、ピクセルアレイ１１０の少なくとも一つのローに配列された少なくとも一つの単位ピクセルを選択することができる。ロードライバ１２０は、複数のローのうち少なくとも一つのローを選択するために、ロー選択信号を生成することができる。ロードライバ１２０は、選択された少なくとも一つのローに対応するピクセルに対して、ピクセルリセット信号および転送信号を順にイネーブルさせることができる。これにより、選択されたローのピクセルそれぞれから生成されるアナログ形態の基準信号と映像信号が、順に相関二重サンプラ１３０に伝達され得る。ここで、基準信号は、単位ピクセルのセンシングノード（例えば、フローティングディフュージョンノード）がリセットされた時に相関二重サンプラ１３０に提供される電気的信号であり、映像信号は、単位ピクセルによって生成された光電荷がセンシングノードに蓄積された時に相関二重サンプラ１３０に提供される電気的信号であり得る。ピクセル固有のリセットノイズ（ｒｅｓｅｔ ｎｏｉｓｅ）を示す基準信号と、入射光の強度を示す映像信号は、通称、ピクセル信号とする。

【0026】

ＣＭＯＳイメージセンサは、二つのサンプル間の差を除去するために、ピクセル信号を２回サンプリングすることで、固定パターンノイズのようなピクセルの好ましくないオフセット値を除去するように相関二重サンプリングを用いることができる。一例として、相関二重サンプリングは、入射光によって生成された光電荷がセンシングノードに蓄積する前後に取得したピクセル出力電圧を比較することで、好ましくないオフセット値を除去し、単に入射光に基づくピクセル出力電圧が測定可能である。一実施形態において、相関二重サンプラ１３０は、ピクセルアレイ１１０から複数のカラムラインそれぞれに提供される基準信号と映像信号を順にサンプルアンドホールド（ｓａｍｐｌｉｎｇ ａｎｄ ｈｏｌｄｉｎｇ）することができる。すなわち、相関二重サンプラ１３０は、ピクセルアレイ１１０のカラムそれぞれに対応する基準信号と映像信号のレベルをサンプルアンドホールドすることができる。

【0027】

相関二重サンプラ１３０は、タイミングコントローラ１７０からの制御信号に基づいて、カラムそれぞれの基準信号と映像信号を相関二重サンプリング信号として、ＡＤＣ１４０に伝達することができる。

【0028】

ＡＤＣ１４０は、相関二重サンプラ１３０から出力される各カラムに対する相関二重サンプリング信号をデジタル信号に変換し出力することができる。一実施形態において、ＡＤＣ１４０は、ランプ比較タイプ（ｒａｍｐ‐ｃｏｍｐａｒｅ ｔｙｐｅ）ＡＤＣに具現され得る。ランプ比較タイプＡＤＣは、時間によって上昇または下降するランプ信号とアナログピクセル信号を比較する比較回路、およびランプ信号がアナログピクセル信号にマッチ（ｍａｔｃｈｉｎｇ）するまでカウント動作を行うカウンタを含むことができる。一実施形態において、ＡＤＣ１４０は、カラムそれぞれのための相関二重サンプラ１３０によって生成された相関二重サンプリング信号をデジタル信号に変換し出力することができる。

【0029】

ＡＤＣ１４０は、ピクセルアレイ１１０のカラムそれぞれに対応する複数のカラムカウンタを含むことができる。ピクセルアレイ１１０の各カラムは、各カラムカウンタに連結され、映像データは、カラムカウンタを用いてカラムそれぞれに対応する相関二重サンプリング信号をデジタル信号に変換することにより生成され得る。他の実施形態によって、ＡＤＣ１４０は、一つのグローバルカウンタを含み、グローバルカウンタから提供されるグローバルコードを用いて、カラムそれぞれに対応する相関二重サンプリング信号をデジタル信号に変換することができる。

【0030】

出力バッファ１５０は、ＡＤＣ１４０で提供されるそれぞれのカラム単位の映像データを一時的にホールドして出力することができる。出力バッファ１５０は、タイミングコントローラ１７０の制御信号に基づいて、ＡＤＣ１４０から出力される映像データを一時格納することができる。出力バッファ１５０は、イメージセンシング装置１００と連結された他の装置の間の転送（または処理）速度の差を補償するインターフェースとして動作することができる。

【0031】

カラムドライバ１６０は、タイミングコントローラ１７０の制御信号に基づいて出力バッファ１５０のカラムを選択し、出力バッファ１５０の選択されたカラムに一時格納された映像データが順に出力されるように制御することができる。一実施形態において、カラムドライバ１６０は、タイミングコントローラ１７０からアドレス信号を受信することができ、カラムドライバ１６０は、アドレス信号に基づいてカラム選択信号を生成して出力バッファ１５０のカラムを選択することで、出力バッファ１５０の選択されたカラムから映像データが外部に出力されるように制御することができる。

【0032】

タイミングコントローラ１７０は、ロードライバ１２０、相関二重サンプラ１３０、ＡＤＣ１４０、出力バッファ１５０およびカラムドライバ１６０の少なくとも一つを制御することができる。

【0033】

タイミングコントローラ１７０は、イメージセンシング装置１００の各構成の動作に求められるクロック信号、タイミングコントロールのための制御信号、およびローまたはカラムを選択するためのアドレス信号を、ロードライバ１２０、相関二重サンプラ１３０、ＡＤＣ１４０、出力バッファ１５０およびカラムドライバ１６０の少なくとも一つに提供することができる。一実施形態によって、タイミングコントローラ１７０は、ロジッグ制御回路（Ｌｏｇｉｃ ｃｏｎｔｒｏｌ ｃｉｒｃｕｉｔ）、位相固定ループ（Ｐｈａｓｅ Ｌｏｃｋ Ｌｏｏｐ、ＰＬＬ）回路、タイミングコントロール回路（ｔｉｍｉｎｇ ｃｏｎｔｒｏｌ ｃｉｒｃｕｉｔ）および通信インターフェース回路（ｃｏｍｍｕｎｉｃａｔｉｏｎ ｉｎｔｅｒｆａｃｅ ｃｉｒｃｕｉｔ）などを含むことができる。

【0034】

図３は図１のイメージ信号プロセッサの動作を説明するためのフローチャートである。

【0035】

図３を参照すると、イメージ信号プロセッサ２００の処理部２１０は、イメージセンシング装置１００から互いに異なる感度を有する第１～第Ｎ感度ピクセルに対するピクセル値をそれぞれ取得することができる（ステップＳ１）。ここで、Ｎは、２以上の整数を示すことができる。例えば、処理部２１０は、高感度ピクセルＨＰＸに対するピクセル値および低感度ピクセルＬＰＸに対するピクセル値を取得することができる。実施形態によって、処理部２１０は、高感度ピクセルＨＰＸに対するピクセル値、中感度ピクセルＭＰＸに対するピクセル値および低感度ピクセルＬＰＸに対するピクセル値を取得することができる。

【0036】

次いで、処理部２１０は、第１～第Ｎ感度ピクセルに対するサンプリング位置を求め、サンプリング位置に基づいて基準位置を決定することができる（ステップＳ２）。ここで、「サンプリング位置」とは、第１～第Ｎ感度ピクセルのうち同一の感度を有するピクセルの平均位置を意味し得る。

【0037】

次に、合成部２１０は、決定された基準位置でのピクセル値を決定することができる（ステップＳ３）。すなわち、合成部２１０は、決定された基準位置に基づいて処理されたピクセル値を合成し、ＨＤＲイメージ（ＨＤＲＩ）を出力することができる。

【0038】

図４は図３のサンプリング位置および基準位置を決定するステップに関する詳細なフローチャートである。

【0039】

図４を参照すると、処理部２１０は、第１～第Ｎ感度ピクセルの位置で重心（ｃｅｎｔｅｒ ｏｆ ｇｒａｖｉｔｙ）を算出し、サンプリング位置を決定することができる（ステップＳ２１）。実施形態によって、処理部２１０は、第１～第Ｎ感度ピクセル別にサンプリング位置を１回だけ計算し、格納することができる。また、処理部２１０は、新たなピクセル値が入力される場合にサンプリング位置をまた計算する過程を省略し、格納されたサンプリング位置を用いて、以降のステップを処理することができる。処理部２１０でサンプリング位置を決定する動作は、後述する図５～１１で詳細に説明する。

【0040】

例えば、処理部２１０は、高感度ピクセルＨＰＸでサンプリング位置を決定し、低感度ピクセルＬＰＸでサンプリング位置を決定することができる。実施形態によって、高感度ピクセルＨＰＸでサンプリング位置を決定し、中感度ピクセルＭＰＸでサンプリング位置を決定し、低感度ピクセルＬＰＸでサンプリング位置を決定することができる。

【0041】

次いで、処理部２１０は、ステップＳ２１で決定された第１～第Ｎ感度ピクセルのサンプリング位置に基づいて、基準位置を決定することができる（ステップＳ２２）。例えば、処理部２１０は、高感度ピクセルＨＰＸと低感度ピクセルＬＰＸに対するサンプリング位置に基づいて、基準位置を決定することができる。実施形態によって、処理部２１０は、高感度ピクセルＨＰＸと、中感度ピクセルＭＰＸおよび低感度ピクセルＬＰＸに対するサンプリング位置に基づいて、基準位置を決定することができる。処理部２１０で基準位置を決定する動作は、後述する図１２～１８で詳細に説明する。

【0042】

図５は図２のピクセルアレイの一実施形態を示す図である。

【0043】

図５を参照すると、ピクセルアレイ１１０Ａは、図２のピクセルアレイ１１０の一実施形態であり、高感度ピクセル（ｈｉｇｈ ｓｅｎｓｉｔｉｖｉｔｙ ｐｉｘｅｌ、ＨＰＸ）および低感度ピクセル（ｌｏｗ ｓｅｎｓｉｔｉｖｉｔｙ ｐｉｘｅｌ、ＬＰＸ）を含むことができる。これは、ピクセルアレイ１１０Ａが２個のピクセルのみを含むことを意味するものではなく、ピクセルアレイ１１０Ａに含まれたピクセルが、高感度ピクセルＨＰＸと低感度ピクセルＬＰＸの２種類に区分され得ることを意味し得る。したがって、ピクセルアレイ１１０Ａに含まれたピクセルそれぞれは、高感度ピクセルＨＰＸと低感度ピクセルＬＰＸのいずれか一つに相当し、ピクセルアレイ１１０Ａには、高感度ピクセルＨＰＸと低感度ピクセルＬＰＸがともに配置され得る。ピクセルアレイ１１０Ａに含まれた高感度ピクセルＨＰＸの個数と低感度ピクセルＬＰＸの個数は、任意に選択され得る。

【0044】

高感度ピクセルＨＰＸは、入射光の強度の増加による応答（ｒｅｓｐｏｎｓｅ）の増加量が相対的に大きいピクセルであり得る。ここで、応答は、高感度ピクセルＨＰＸが入射光の強度を感知して生成するピクセル信号を意味し得る。すなわち、高感度ピクセルＨＰＸは、入射光に対する感度が相対的に高いピクセルであり得る。

【0045】

低感度ピクセルＬＰＸは、入射光の強度の増加による応答の増加量が相対的に小さいピクセルであり得る。すなわち、低感度ピクセルＬＰＸは、入射光に対する感度が相対的に低いピクセルであり得る。

【0046】

図６は図５に図示されている高感度ピクセルと低感度ピクセルに対して照度による応答を例示的に示すグラフである。

【0047】

図６を参照すると、当該ピクセルに入射される入射光の強度である照度（ｉｌｌｕｍｉｎａｔｉｏｎ）による高感度ピクセルＨＰＸの応答（ｒｅｓｐｏｎｓｅ）と低感度ピクセルＬＰＸの応答が図示されている。

【0048】

応答は、ＳＮＲ（ｓｉｇｎａｌ ｔｏ ｎｏｉｓｅ ｒａｔｉｏ）限界レベル（ＳＮＲ ｌｉｍｉｔ）と飽和レベル（ｓａｔｕｒａｔｉｏｎ）を有することができる。

【0049】

ＳＮＲ限界レベルは、予め定められた基準ＳＮＲを満たすことができる応答の臨界値を意味し得る。ＳＮＲ限界レベル未満の応答は、基準ＳＮＲを満たすことができない無効応答になり、ＳＮＲ限界レベル以上の応答は、基準ＳＮＲを満たすことができる有効応答になり得る。基準ＳＮＲは、イメージセンシング装置１００の特性を考慮して実験的に決定された値であり得る。

【0050】

飽和レベルは、入射光の強度を示すことができる最大応答を意味し得る。飽和レベルは、ピクセルが入射光の強度を光電荷に変換することができる能力（例えば、光電変換素子の容量）および光電荷を電気的信号に変換することができる能力（例えば、フローティングディフュージョン領域の容量）によって決定され得る。入射光の強度が増加するときに、応答が飽和レベルに逹するまでは応答が入射光の強度によって増加し得る。しかし、応答が飽和レベルに逹してからは、入射光の強度が増加しても、応答は飽和レベルを超えて増加することができず、飽和レベルと同じ値を有し得る。

【0051】

ピクセルの有効応答を基準ＳＮＲを満たすとともに入射光の強度を示すことができる応答として定義すると、ピクセルの有効応答に対応する入射光の強度の範囲は、ピクセルのダイナミックレンジ（ｄｙｎａｍｉｃ ｒａｎｇｅ）として定義され得る。すなわち、ピクセルのダイナミックレンジは、ピクセルが有効応答を有することができる入射光の強度の範囲を意味し得る。

【0052】

入射光の強度の増加による応答の増加量が相対的に大きいピクセルである高感度ピクセルＨＰＸの応答は、入射光の強度の増加に対応して相対的に高い勾配で増加し、飽和レベルに逹した後、入射光の強度とは無関係に飽和レベルに相当するレベルを有することができる。

【0053】

入射光の強度の増加による応答の増加量が相対的に小さいピクセルである低感度ピクセルＬＰＸの応答は、入射光の強度の増加に対応して相対的に低い勾配で増加し、飽和レベルに逹した後、入射光の強度とは無関係に飽和レベルに相当するレベルを有することができる。

【0054】

図６に図示されているように、高感度ピクセルＨＰＸのダイナミックレンジ（ＨＰＸ ｄｙｎａｍｉｃ ｒａｎｇｅ）の下限値は、低感度ピクセルＬＰＸのダイナミックレンジ（ＬＰＸ ｄｙｎａｍｉｃ ｒａｎｇｅ）の下限値より小さく、高感度ピクセルＨＰＸのダイナミックレンジの上限値は、低感度ピクセルＬＰＸのダイナミックレンジの上限値より小さくてもよい。したがって、入射光の強度が相対的に小さい照度範囲（低照度）では、高感度ピクセルＨＰＸが入射光の強度を感知するのにより適し、入射光の強度が相対的に大きい照度範囲（高照度）では、低感度ピクセルＬＰＸが入射光の強度を感知するのにより適し得る。

【0055】

低照度に適する高感度ピクセルＨＰＸと高照度に適する低感度ピクセルＬＰＸそれぞれの応答を用いて、ＨＤＲ（ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ）が具現され得る。すなわち、高感度ピクセルＨＰＸまたは低感度ピクセルＬＰＸのいずれか一つのみを用いる場合に比べて、高感度ピクセルＨＰＸおよび低感度ピクセルＬＰＸをともに用いると、ピクセルアレイ１１０Ａは、高感度ピクセルＨＰＸのダイナミックレンジの下限値で低感度ピクセルＬＰＸのダイナミックレンジの上限値までの範囲に相当するハイダイナミックレンジＨＤＲを有することができる。このために、高感度ピクセルＨＰＸのダイナミックレンジの少なくとも一部と低感度ピクセルＬＰＸのダイナミックレンジの少なくとも一部は、互いに重なり得る。

【0056】

高感度ピクセルＨＰＸおよび低感度ピクセルＬＰＸを用いて、ハイダイナミックレンジに相当するＨＤＲイメージを合成する方法は、高感度ピクセルＨＰＸの応答と低感度ピクセルＬＰＸの応答を演算（例えば、合算）して合成する方法、低照度では高感度ピクセルＨＰＸの応答に基づいてイメージを生成し、高照度では低感度ピクセルＬＰＸの応答に基づいてイメージを生成する方法などが用いられ得るが、本発明の範囲はこれに限定されない。

【0057】

本発明の一実施形態によるイメージセンシング装置１００では、ピクセルアレイ１１０Ａに高感度ピクセルＨＰＸおよび低感度ピクセルＬＰＸがともに配置されており、１回の露出時間（ｅｘｐｏｓｕｒｅ ｔｉｍｅ）により取得するイメージを用いて、ＨＤＲイメージが合成され得る。

【0058】

図７は図２に図示されているピクセルアレイの他の実施形態を示す図である。

【0059】

図７を参照すると、ピクセルアレイ１１０Ｂは、図２のピクセルアレイ１１０の他の実施形態であり、高感度ピクセルＨＰＸと、中感度ピクセル（ｍｉｄｄｌｅ ｓｅｎｓｉｔｉｖｉｔｙ ｐｉｘｅｌ）ＭＰＸと、低感度ピクセルＬＰＸとを含むことができる。これは、ピクセルアレイ１１０Ｂが３個のピクセルのみを含むことを意味するものではなく、ピクセルアレイ１１０Ｂに含まれたピクセルが高感度ピクセルＨＰＸ、中感度ピクセルＭＰＸおよび低感度ピクセルｌｐｘの３種類に区分され得ることを意味し得る。したがって、ピクセルアレイ１１０Ｂに含まれたピクセルそれぞれは、高感度ピクセルＨＰＸ、中感度ピクセルＭＰＸおよび低感度ピクセルＬＰＸのいずれか一つに相当し、ピクセルアレイ１１０Ｂには、高感度ピクセルＨＰＸ、中感度ピクセルＭＰＸおよび低感度ピクセルＬＰＸがともに配置され得る。ピクセルアレイ１１０Ｂに含まれた高感度ピクセルＨＰＸ、中感度ピクセルＭＰＸおよび低感度ピクセルＬＰＸそれぞれの個数は、任意に選択され得る。

【0060】

高感度ピクセルＨＰＸと低感度ピクセルＬＰＸは、図６を参照して説明しているものと実質的に同一であるため、重複した説明は省略する。中感度ピクセルＭＰＸは、入射光の強度の増加による応答の増加量が、低感度ピクセルＬＰＸより大きく、高感度ピクセルＨＰＸより小さいピクセルであり得る。すなわち、中感度ピクセルＭＰＸは、入射光に対する感度が、低感度ピクセルＬＰＸより高く、高感度ピクセルＨＰＸより低いピクセルであり得る。

【0061】

図８は図７に図示されている高感度ピクセル、中感度ピクセルおよび低感度ピクセルに対して、照度による応答を例示的に示すグラフである。

【0062】

図８を参照すると、当該ピクセルに入射される入射光の強度である照度による高感度ピクセルＨＰＸ、中感度ピクセルＭＰＸおよび低感度ピクセルＬＰＸそれぞれの応答が図示されている。高感度ピクセルＨＰＸおよび低感度ピクセルＬＰＸそれぞれの応答に関する説明をはじめ、図３と重複する説明は省略する。

【0063】

入射光の強度の増加による応答の増加量が低感度ピクセルＬＰＸより高く、高感度ピクセルＨＰＸより低い中感度ピクセルＭＰＸの応答は、入射光の強度の増加に対応して、低感度ピクセルＬＰＸより高く、高感度ピクセルＨＰＸより低い勾配で増加し、飽和レベルに逹した後、入射光の強度とは無関係に飽和レベルに相当するレベルを有することができる。

【0064】

図８に図示されているように、図７に比べて高いハイダイナミックレンジＨＤＲを具現するために、低感度ピクセルＬＰＸの入射光の強度の増加による応答の増加量を下げるか、高感度ピクセルＨＰＸの入射光の強度の増加による応答の増加量を上げることができる。この場合、低感度ピクセルＬＰＸのダイナミックレンジ（ＬＰＸ ｄｙｎａｍｉｃ ｒａｎｇｅ）の下限値が、高感度ピクセルＨＰＸのダイナミックレンジ（ＨＰＸ ｄｙｎａｍｉｃ ｒａｎｇｅ）の上限値を超えることができる。すなわち、低感度ピクセルＬＰＸのダイナミックレンジ（ＬＰＸ ｄｙｎａｍｉｃ ｒａｎｇｅ）と高感度ピクセルＨＰＸのダイナミックレンジ（ＨＰＸ ｄｙｎａｍｉｃ ｒａｎｇｅ）との間に空白が発生することがあり、かかる空白に対応する照度に対してイメージセンシング装置１００は、有効応答を取得できなくなり得る。

【0065】

しかし、入射光の強度の増加による応答の増加量が、低感度ピクセルＬＰＸより高く、高感度ピクセルＨＰＸより低い中感度ピクセルＭＰＸのダイナミックレンジ（ＭＰＸ ｄｙｎａｍｉｃ ｒａｎｇｅ）は、低感度ピクセルＬＰＸのダイナミックレンジ（ＬＰＸ ｄｙｎａｍｉｃ ｒａｎｇｅ）の下限値より大きい上限値を有し、高感度ピクセルＨＰＸのダイナミックレンジ（ＨＰＸ ｄｙｎａｍｉｃ ｒａｎｇｅ）の上限値より低い下限値を有することができる。したがって、中感度ピクセルＭＰＸのダイナミックレンジ（ＭＰＸ ｄｙｎａｍｉｃ ｒａｎｇｅ）は、低感度ピクセルＬＰＸのダイナミックレンジ（ＬＰＸ ｄｙｎａｍｉｃ ｒａｎｇｅ）と高感度ピクセルＨＰＸのダイナミックレンジ（ＨＰＸ ｄｙｎａｍｉｃ ｒａｎｇｅ）との間の空白をカバーすることができる。

【0066】

低照度に適する高感度ピクセルＨＰＸ、中照度に適する中感度ピクセルＭＰＸおよび高照度に適する低感度ピクセルＬＰＸそれぞれの応答を用いて、ＨＤＲ（ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ）が具現され得る。すなわち、高感度ピクセルＨＰＸおよび低感度ピクセルＬＰＸを用いる場合に比べて、高感度ピクセルＨＰＸ、中感度ピクセルＭＰＸおよび低感度ピクセルＬＰＸをともに用いると、ピクセルアレイ１１０Ｂは、高感度ピクセルＨＰＸのダイナミックレンジと低感度ピクセルＬＰＸのダイナミックレンジとの間の空白なしに、高感度ピクセルＨＰＸのダイナミックレンジの下限値から低感度ピクセルＬＰＸのダイナミックレンジの上限値までの範囲に相当するハイダイナミックレンジＨＤＲを有することができる。このために、高感度ピクセルＨＰＸのダイナミックレンジの少なくとも一部と中感度ピクセルＭＰＸのダイナミックレンジの少なくとも一部、および中感度ピクセルＭＰＸのダイナミックレンジの少なくとも一部と低感度ピクセルＬＰＸのダイナミックレンジの少なくとも一部は、互いに重なり得る。

【0067】

高感度ピクセルＨＰＸ、中感度ピクセルＭＰＸおよび低感度ピクセルＬＰＸを用いてハイダイナミックレンジに相当するＨＤＲイメージを合成する方法は、高感度ピクセルＨＰＸの応答、中感度ピクセルＭＰＸの応答および低感度ピクセルＬＰＸの応答を演算（例えば、合算）して合成する方法、低照度では、高感度ピクセルＨＰＸの応答に基づいてイメージを生成し、中照度では、中感度ピクセルＭＰＸの応答に基づいてイメージを生成し、高照度では、低感度ピクセルＬＰＸの応答に基づいてイメージを生成する方法などが用いられ得るが、本発明の範囲はこれに限定されない。

【0068】

本発明の一実施形態によるイメージセンシング装置１００では、ピクセルアレイ１１０Ｂに高感度ピクセルＨＰＸ、中感度ピクセルＭＰＸおよび低感度ピクセルＬＰＸがともに配置されており、１回の露出時間により取得するイメージを用いてＨＤＲイメージが合成され得る。

【0069】

図９は図５に図示されているピクセルアレイで高感度ピクセルと低感度ピクセルを配置する一例を示す図である。

【0070】

図９を参照すると、ピクセルアレイ１１０Ａは、３個の高感度ピクセルＨＰＸ１～ＨＰＸ３と１個の低感度ピクセルＬＰＸが、２個のローと２個のカラムで構成された２×２マトリックスで配置された例示的な配置構造を示す。説明の便宜上、ピクセルアレイ１１０Ａは、４個のピクセルを含むものと図示しているが、本発明の範囲は、これに限定されない。例えば、４個のピクセルがロー方向およびカラム方向それぞれに沿って繰り返して配列され得る。

【0071】

高感度ピクセルＨＰＸ１～ＨＰＸ３のうち高感度ピクセルＨＰＸ１は、ｙ座標およびｘ座標が交差する領域に配置され得、高感度ピクセルＨＰＸ２は、ｙ座標およびｘ＋１座標が交差する領域に配置され得、高感度ピクセルＨＰＸ３は、ｙ＋１座標およびｘ座標が交差する領域に配置され得る。また、低感度ピクセルＬＰＸは、ｙ＋１座標およびｘ＋１座標が交差する領域に配置され得る。

【0072】

ピクセルアレイ１１０Ａで低感度ピクセルＬＰＸは、２×２マトリックスの右側下端に相当する位置に配置されるが、本発明の範囲はこれに限定されず、他の位置に配置されてもよい。また、ピクセルアレイ１１０Ａで含まれる低感度ピクセルＬＰＸの個数は、２個または３個であってもよい。

【0073】

図１０は図９のピクセルアレイでサンプリング位置の調整を示す図である。

【0074】

図１０を参照すると、感度が同一である３個の高感度ピクセルＨＰＸ１～ＨＰＸ３の位置値は、加算されて単一の高感度ピクセルＨＰＸとして処理され得る。３個の高感度ピクセルＨＰＸ１～ＨＰＸ３に対するイメージと、１個の低感度ピクセルＬＰＸに対するイメージとを合成するために、３個の高感度ピクセルＨＰＸ１～ＨＰＸ３のサンプリング位置ＨＳを低感度ピクセルＬＰＸのサンプリング位置ＬＳに合わせて調整することができる。

【0075】

例えば、３個の高感度ピクセルＨＰＸ１～ＨＰＸ３が位置する座標値をすべて加算し、加算した位置値を平均して、高感度ピクセルＨＰＸ１～ＨＰＸ３に対するサンプリング位置ＨＳを求めることができる。低感度ピクセルＬＰＸのサンプリング位置ＬＳを基準位置として決定し、低感度ピクセルＬＰＸのサンプリング位置ＬＳから前記高感度ピクセルＨＰＸ１～ＨＰＸ３に対するサンプリング位置ＨＳ値を減算すると、高感度ピクセルＨＰＸ１～ＨＰＸ３に対するサンプリング位置ＨＳのシフト程度（量）を知ることができる。

【0076】

３個の高感度ピクセルＨＰＸ１～ＨＰＸ３に対するサンプリング位置ＨＳは、以下の［数学式１］のように求めることができる。

【0077】

［数学式１］
{（ｘ、ｙ）＋（ｘ＋１、ｙ）＋（ｘ、ｙ＋１）}／３＝（ｘ＋１／３、ｙ＋１／３）

【0078】

上記の［数学式１］において、（ｘ、ｙ）は、高感度ピクセルＨＰＸ１が位置する座標値であり、（ｘ＋１、ｙ）は、高感度ピクセルＨＰＸ２が位置する座標値であり、（ｘ、ｙ＋１）は、高感度ピクセルＨＰＸ３が位置する座標値である。高感度ピクセルＨＰＸ１～ＨＰＸ３が位置する位置値をすべて合算し、合算した位置値を高感度ピクセルＨＰＸ１～ＨＰＸ３の個数である３で除して平均することができる。これにより、高感度ピクセルＨＰＸに対するサンプリング位置ＨＳ値である（ｘ＋１／３、ｙ＋１／３）を求めることができる。高感度ピクセルＨＰＸに対するサンプリング位置ＨＳ値において、ｘ＝ｙであり得る。

【0079】

高感度ピクセルＨＰＸ１～ＨＰＸ３の位置値を加算しない場合、高感度ピクセルＨＰＸ１～ＨＰＸ３それぞれのサンプリング位置は、各ピクセルの中心点（座標値が交差する領域（ｘ、ｙ）、（ｘ＋１、ｙ）、（ｘ、ｙ＋１））になり得る。しかし、本発明の実施形態は、同じ感度を有する３個の高感度ピクセルＨＰＸ１～ＨＰＸ３が一つの高感度ピクセルＨＰＸとして処理されるため、サンプリング位置ＨＳが、図１０のように、高感度ピクセルＨＰＸ１～ＨＰＸ３位置の平均値、すなわち（ｘ＋１／３、ｙ＋１／３）だけ移動することができる。

【0080】

また、１個の低感度ピクセルＬＰＸに対するサンプリング位置ＬＳは、以下の［数学式２］のように求めることができる。

【0081】

［数学式２］
（ｘ＋１、ｙ＋１）

【0082】

上記の［数学式２］において、低感度ピクセルＬＰＸは、ｘ＋１座標とｙ＋１座標が交差する領域にサンプリング位置ＬＳが設定され得る。すなわち、低感度ピクセルＬＰＸのサンプリング位置ＬＳは、（１、１）として設定され得る。低感度ピクセルＬＰＸに対するサンプリング位置ＬＳ値において、ｘ＝ｙであり得る。

【0083】

また、高感度ピクセルＨＰＸ１～ＨＰＸ３に対するサンプリング位置ＨＳのシフト程度（量）は、以下の［数学式３］のように求めることができる。

【0084】

［数学式３］
（ｘ＋１、ｙ＋１）－（ｘ＋１／３、ｙ＋１／３）＝（２／３、２／３）

【0085】

上記の［数学式２］で求めた低感度ピクセルＬＰＸのサンプリング位置ＬＳ値（ｘ＋１、ｙ＋１）から、上記の［数学式１］で求めた高感度ピクセルＨＰＸ１～ＨＰＸ３のサンプリング位置ＨＳ値（ｘ＋１／３、ｙ＋１／３）を減算すると、上記の［数学式３］のように、高感度ピクセルＨＰＸ１～ＨＰＸ３に対するサンプリング位置ＨＳのシフト量（２／３、２／３）を求めることができる。すなわち、低感度ピクセルＬＰＸのサンプリング位置ＬＳを基準位置として設定すると、高感度ピクセルＨＰＸ１～ＨＰＸ３のサンプリング位置ＨＳは、ｘ座標側に２／３だけ、ｙ座標側に２／３だけシフトすることを知ることができる。

【0086】

ここで、「シフト量」とは、低感度ピクセルＬＰＸのサンプリング位置ＬＳと高感度ピクセルＨＰＸ１～ＨＰＸ３のサンプリング位置ＨＳとを一致させるために必要なピクセルの移動量である。すなわち、イメージを、感度に応じて低感度ピクセルＬＰＸと高感度ピクセルＨＰＸの２種類に区分する場合を仮定することができる。これにより、いずれか一方のイメージのサンプリング位置に他の一方のイメージのサンプリング位置を合わせる場合、サンプリング位置のずれ程度を「シフト量」とすることができる。

【0087】

ピクセルアレイ１１０Ａで露出量が互いに異なる多数のイメージを重ねて合成するためには、各イメージを補間処理してサンプリング位置を合わせなければならない。すなわち、合成しようとするイメージ間のサンプリング位置の差が、常にピクセルサイズの整数倍にならない。そのため、補間処理によりサンプリング位置が同一になるようにイメージ間の位置を調整する。

【0088】

しかし、このように、各イメージを補間処理する場合、イメージにボケ（Ｂｏｋｅｈ）現象が発生し得る。ここで、ボケは、近い被写体をより鮮明にするか焦点を合わせ、遠い被写体を焦点から離れるようにすることで、イメージの背景被写体をぼやけることである。例えば、露出時間またはフィルターなどを使用して露出を変化した２枚のイメージを合成してダイナミックレンジを拡大する場合を仮定する。かかる場合、露出量が小さいイメージと露出量が大きいイメージの位置を調整する必要があるが、かかる位置調整によってイメージにボケ現象が発生し得る。

【0089】

これにより、本発明の実施形態は、露出量が互いに異なるイメージのいずれか一つのイメージを基準位置として他のイメージのサンプリング位置を調整し、ボケ現象が発生することを防止することができる。例えば、露出量が多い高感度イメージのサンプリング位置を、露出量が少ない低感度イメージに合わせて調整するか、露出量が少ない低感度イメージのサンプリング位置を、露出量が多い高感度イメージに合わせて調整することができる。

【0090】

図１１は図７に図示されているピクセルアレイでサンプリング位置の調整を示す図である。

【0091】

図１１を参照すると、ピクセルアレイ１１０Ｂは、１個の高感度ピクセルＨＰＸと、２個の中感度ピクセルＭＰＸ１、ＭＰＸ２および１個の低感度ピクセルＬＰＸが、２個のローと２個のカラムで構成された２×２マトリックスで配置された例示的な配置構造を示す。説明の便宜上、ピクセルアレイ１１０Ｂは、４個のピクセルを含むものと図示されているが、本発明の範囲は、これに限定されない。例えば、４個のピクセルが、ロー方向およびカラム方向それぞれに沿って繰り返して配列され得る。

【0092】

高感度ピクセルＨＰＸは、ｙ座標およびｘ座標が交差する領域に配置され得る。また、中感度ピクセルＭＰＸ１、ＭＰＸ２のうち中感度ピクセルＭＰＸ１は、ｙ座標およびｘ＋１座標が交差する領域に配置され得る。中感度ピクセルＭＰＸ２は、ｙ＋１座標およびｘ座標が交差する領域に配置され得る。また、低感度ピクセルＬＰＸは、ｙ＋１座標およびｘ＋１座標が交差する領域に配置され得る。

【0093】

ピクセルアレイ１１０Ｂにおいて、低感度ピクセルＬＰＸは、２×２マトリックスの右側下端に相当する位置に配置され、高感度ピクセルＨＰＸは、２×２マトリックスの左側上端に相当する位置に配置され得るが、本発明の範囲は、これに限定されず、他の位置に配置されてもよい。また、ピクセルアレイ１１０Ｂにおいて、含まれる高感度ピクセルＨＰＸ、低感度ピクセルＬＰＸの個数は、２個または３個であってもよい。

【0094】

図１１の実施形態は、感度が同一である２個の中感度ピクセルＭＰＸ１、ＭＰＸ２の位置値は、加算され、単一の中感度ピクセルＭＰＸとして処理され得る。１個の高感度ピクセルＨＰＸに対するイメージと、２個の中感度ピクセルＭＰＸ１、ＭＰＸ２に対するイメージおよび１個の低感度ピクセルＬＰＸに対するイメージを合成するために、高感度ピクセルＨＰＸのサンプリング位置ＨＳおよび低感度ピクセルＬＰＸのサンプリング位置ＬＳを、中感度ピクセルＭＰＸ１、ＭＰＸ２のサンプリング位置ＭＳに合わせて調整することができる。

【0095】

例えば、２個の中感度ピクセルＭＰＸ１、ＭＰＸ２が位置する座標値をすべて加算し、加算した位置を平均して中感度ピクセルＭＰＸ１、ＭＰＸ２に対するサンプリング位置ＭＳを求めることができる。中感度ピクセルＭＰＸ１、ＭＰＸ２に対するサンプリング位置ＭＳを基準位置として決定し、中感度ピクセルＭＰＸ１、ＭＰＸ２に対するサンプリング位置ＭＳから高感度ピクセルＨＰＸに対するサンプリング位置ＨＳ値を減算すると、高感度ピクセルＨＰＸに対するサンプリング位置ＨＳのシフト程度（量）を知ることができる。また、中感度ピクセルＭＰＸ１、ＭＰＸ２に対するサンプリング位置ＭＳを基準位置として決定し、中感度ピクセルＭＰＸ１、ＭＰＸ２に対するサンプリング位置ＭＳから低感度ピクセルＬＰＸに対するサンプリング位置ＬＳ値を減算すると、低感度ピクセルＬＰＸに対するサンプリング位置ＬＳのシフト程度（量）を知ることができる。

【0096】

高感度ピクセルＨＰＸに対するサンプリング位置ＨＳは、以下の［数学式４］のように求めることができる。

【0097】

［数学式４］
（ｘ、ｙ）

【0098】

上記の［数学式４］において、高感度ピクセルＨＰＸは、ｘ座標とｙ座標が交差する領域にサンプリング位置ＨＳが設定され得る。すなわち、高感度ピクセルＨＰＸのサンプリング位置ＨＳは、（０、０）として設定され得る。

【0099】

また、中感度ピクセルＭＰＸ１、ＭＰＸ２に対するサンプリング位置ＭＳは、以下の［数学式５］のように求めることができる。

【0100】

［数学式５］
{（ｘ＋１、ｙ）＋（ｘ、ｙ＋１）}／２＝（ｘ＋１／２、ｙ＋１／２）

【0101】

上記の［数学式５］において、（ｘ＋１、ｙ）は、中感度ピクセルＭＰＸ１が位置する座標値であり、（ｘ、ｙ＋１）は、中感度ピクセルＭＰＸ２が位置する座標値である。中感度ピクセルＭＰＸ１、ＭＰＸ２が位置する座標値をすべて合算し、合算した値を中感度ピクセルＭＰＸ１、ＭＰＸ２の個数である２で除して平均することができる。これにより、中感度ピクセルＭＰＸ１、ＭＰＸ２に対するサンプリング位置ＭＳ値である（ｘ＋１／２、ｙ＋１／２）を求めることができる。

【0102】

中感度ピクセルＭＰＸ１、ＭＰＸ２を加算しない場合、中感度ピクセルＭＰＸ１、ＭＰＸ２それぞれのサンプリング位置は、各ピクセルの中心点（座標値が交差する領域（ｘ＋１、ｙ）、（ｘ、ｙ＋１））になり得る。しかし、本発明の実施形態は、同じ感度を有する２個の中感度ピクセルＭＰＸ１、ＭＰＸ２が一つの中感度ピクセルＭＰＸとして処理されるため、サンプリング位置ＭＳが、図１４のように、中感度ピクセルＭＰＸ１、ＭＰＸ２位置の平均値、すなわち、（ｘ＋１／２、ｙ＋１／２）だけ移動することができる。

【0103】

また、１個の低感度ピクセルＬＰＸに対するサンプリング位置ＬＳは、以下の［数学式６］のように求めることができる。

【0104】

［数学式６］
（ｘ＋１、ｙ＋１）

【0105】

上記の［数学式６］において、低感度ピクセルＬＰＸは、ｘ＋１座標とｙ＋１座標が交差する領域にサンプリング位置ＬＳが設定され得る。すなわち、低感度ピクセルＬＰＸのサンプリング位置ＬＳは、（１、１）として設定され得る。低感度ピクセルＬＰＸに対するサンプリング位置ＬＳ値において、ｘ＝ｙであり得る。

【0106】

また、高感度ピクセルＨＰＸに対するサンプリング位置ＨＳのシフト程度（量）は、以下の［数学式７］のように求めることができる。

【0107】

［数学式７］
（ｘ＋１／２、ｙ＋１／２）－（ｘ、ｙ）＝（１／２、１／２）

【0108】

上記の［数学式５］で求めた中感度ピクセルＭＰＸ１、ＭＰＸ２のサンプリング位置ＭＳ値（ｘ＋１／２、ｙ＋１／２）から、上記の［数学式４］で求めた高感度ピクセルＨＰＸのサンプリング位置ＨＳ値（ｘ、ｙ）を減算すると、上記の［数学式７］のように、高感度ピクセルＨＰＸに対するサンプリング位置ＨＳのシフト量（１／２、１／２）を求めることができる。すなわち、中感度ピクセルＭＰＸ１、ＭＰＸ２のサンプリング位置ＭＳを基準位置として設定すると、高感度ピクセルＨＰＸのサンプリング位置ＨＳは、ｘ座標側に１／２だけ、ｙ座標側に１／２だけシフトすることを知ることができる。

【0109】

ここで、「シフト量」とは、中感度ピクセルＭＰＸ１、ＭＰＸ２のサンプリング位置ＭＳと高感度ピクセルＨＰＸのサンプリング位置ＨＳを一致させるために必要なピクセルの移動量である。すなわち、イメージを感度に応じて、低感度ピクセルＬＰＸと高感度ピクセルＨＰＸおよび中感度ピクセルＭＰＸの３種類に区分する場合を仮定することができる。これにより、いずれか一方のイメージのサンプリング位置を基準位置として、他の二つのイメージのサンプリング位置を合わせる場合、サンプリング位置のずれ程度を「シフト量」とすることができる。

【0110】

ピクセルアレイ１１０Ｂにおいて、露出量が互いに異なる多数のイメージを合成するためには、各イメージを補間処理してサンプリング位置を合わせなければならない。しかし、各イメージを補間処理する場合、ボケ（Ｂｏｋｅｈ）現象が発生し得る。

【0111】

これにより、本発明の実施形態は、露出量が互いに異なる三つのイメージのいずれか一つのイメージを基準位置として、他の二つのイメージのサンプリング位置を調整することで、ボケ現象が発生することを防止することができる。例えば、露出量が多い高感度イメージのサンプリング位置を露出量が中間である中感度イメージに合わせて調整するか、露出量が少ない低感度イメージのサンプリング位置を露出量が中間である中感度イメージに合わせて調整することができる。

【0112】

図１２は図１のイメージ信号プロセッサにおいて、基準イメージを選択する動作を説明するためのフローチャートである。

【0113】

図１２を参照すると、処理部２１０は、撮像条件、撮影モードまたは撮影された複数枚のイメージのうち少なくとも１枚のイメージに基づいて、複数枚のイメージのうちサンプリングの基準になる基準イメージを選択することができる（ステップＳ４）。

【0114】

次に、選択された基準イメージで基準位置を設定することができる（ステップＳ５）。実施形態によって、基準位置は、露出に基づいて設定され得る。例えば、露出量が大きいイメージの高感度部分の面積に基づいて基準位置を設定することができる。他の実施形態によって、一つのイメージのうち、飽和などによって合成に使用することができないピクセルを検出し、合成に使用することができないピクセルの量に応じて基準位置を設定することができる。

【0115】

さらに他の実施形態によって、エッジ（Ｅｄｇｅ）またはテクスチュア（Ｔｅｘｔｕｒｅ）が多いイメージを基準位置として設定することができる。すなわち、イメージ内で、エッジ（Ｅｄｇｅ）またはテクスチュア（Ｔｅｘｔｕｒｅ）が多い特定の領域の輝度にしたがって基準位置を設定することができる。例えば、イメージ内でエッジ（Ｅｄｇｅ）またはテクスチュア（Ｔｅｘｔｕｒｅ）が多い特定の領域の輝度が基準輝度以上の場合、低感度ピクセルＬＰＸのサンプリング位置ＬＳを基準位置として設定することができる。一方、イメージ内でエッジ（Ｅｄｇｅ）またはテクスチュア（Ｔｅｘｔｕｒｅ）が多い特定の領域の輝度が基準輝度未満の場合、高感度ピクセルＨＰＸのサンプリング位置ＨＳを基準位置として設定することができる。

【0116】

さらに他の実施形態によって、フォーカスを合わせた被写体の露出が適正なイメージ（例えば、顔）を基準位置として設定することができる。例えば、イメージ内で顔が含まれた領域の輝度にしたがって基準位置を設定することができる。顔検出にしたがって基準位置を設定する動作は、後述する図１６～１８で詳細に説明する。

【0117】

さらに他の実施形態によって、合成には使用しないプレビュー（Ｐｒｅｖｉｅｗ）用イメージを基準位置として選択することができる。ここで、プレビュー用イメージとは、イメージセンシング装置１００を介して写真を撮影する目的の他に、プレビュー状態で被写体にある特定の情報を読み込むためのイメージを示すことができる。

【0118】

具体的には、イメージセンシング装置１００は、被写体を様々な方式でキャプチャ（ｃａｐｔｕｒｅ）し、様々なイメージを生成することができる。一例として、イメージセンシング装置１００は、スケールダウン（ｓｃａｌｅ‐ｄｏｗｎ）イメージを生成することもある。ここで、スケールダウンイメージは、ユーザが停止映像または動画を撮影する前後にユーザに提供されるプレビュー（ｐｒｅｖｉｅｗ）映像を提供するイメージであり得る。すなわち、イメージセンシング装置１００は、ユーザが撮影をする間には、撮影モードで設定された実際の解像度のイメージデータを生成し、ユーザの撮影前後に提供されるプレビュー映像のためには、撮影モードで設定された実際の解像度より低いスケールダウンイメージを生成することができる。これにより、処理部２１０は、イメージセンシング装置１００から提供されるスケールダウンしたプレビュー用イメージを基準位置として選択することができる。

【0119】

さらに他の実施形態によって、ステップＳ４で選択されたイメージを基準として、基準イメージ以外のイメージに対して位置調製を行って、イメージ間のサンプリング位置が一致するようにすることができる。他の実施形態によって、一つのイメージで互いに異なる輝度を有する領域が混在する場合、各領域別に異なる加重値を有するように設定して、基準位置を決定することができる。

【0120】

図１３は図１のイメージ信号プロセッサにおいて、イメージ領域別に基準位置を設定する動作を説明するための図である。

【0121】

図１３を参照すると、処理部２１０は、撮影された複数枚のイメージのうち少なくとも１枚のイメージに基づいて領域（場所）別に基準位置を決定することができる。処理部２１０は、各領域別に異なる加重値を有するように設定し、設定した加重値に基づいて、イメージの基準位置を決定することができる。他の実施形態によって、処理部２１０は、イメージの合成に使用される負荷を計算し、計算した負荷を基準として、基準位置を決定することができる。

【0122】

例えば、一つのイメージが、露出量が予め設定された基準輝度以上の高照度領域Ａと、露出量が基準輝度未満の低照度領域Ｂの両方を含む場合を仮定する。これにより、一つのイメージ内で、高照度領域Ａは、低感度ピクセルＬＰＸのサンプリング位置ＬＳが基準位置として設定され得る。また、一つのイメージ内で、低照度領域Ｂは、高感度ピクセルＨＰＸのサンプリング位置ＨＳが基準位置として設定され得る。また、境界領域Ｃは、露出量が多い高照度領域Ａと露出量が少ない低照度領域Ｂが混在する領域であるため、高感度ピクセルＨＰＸと低感度ピクセルＬＰＸの基準位置をそれぞれ少しずつ移動させて位置を調整することができる。

【0123】

図１４は図１３において基準位置の決定を説明するためのグラフである。

【0124】

図１４の（ａ）、（ｂ）を参照すると、Ｌ１区間は、輝度が低い低照度区間を示し、Ｌ１１区間は、低照度区間と高照度区間の境界区間を示し、Ｔ２区間は、輝度が高い高照度区間を示すことができる。

【0125】

高感度ピクセルＨＰＸが飽和レベルに逹する前の低照度区間Ｔ１では、高感度ピクセルＨＰＸに加重値を「１」と付与し、高感度ピクセルＨＰＸのサンプリング位置ＨＳを基準位置として設定することができる。すなわち、入射光の強度が相対的に小さい照度範囲（低照度）では、高感度ピクセルＨＰＸを基準位置として設定することができる。例えば、高感度ピクセルＨＰＸに対するサンプリング位置ＨＳ値は、上記の［数学式１］で説明したように、１／３として設定され得る。

【0126】

また、境界区間Ｔ１１は、図１３に図示されているように、高照度領域Ａと低照度領域Ｂのイメージが合成される領域を示すことができる。高照度領域Ａと低照度領域Ｂのイメージが合成される領域では、高感度ピクセルＨＰＸのサンプリング位置ＨＳと低感度ピクセルＬＰＸのサンプリング位置ＬＳを少しずつ移動させて基準位置を調整することで、イメージをスムーズに連結させることができる。すなわち、境界区間Ｔ１１では、高感度ピクセルＨＰＸの加重値を「１」から「０」に下げ、低感度ピクセルＬＰＸの加重値を「０」から「１」に上げて、基準位置を徐々に変更させることができる。

【0127】

また、高感度ピクセルＨＰＸが飽和レベルに逹し、低感度ピクセルＬＰＸが飽和レベルに逹するまでの高照度区間Ｔ２では、低感度ピクセルＬＰＸに加重値を「１」として付与して、低感度ピクセルＬＰＸのサンプリング位置ＬＳを基準位置として設定することができる。すなわち、入射光の強度が相対的に大きい照度範囲（高照度）では、低感度ピクセルＬＰＸを基準位置として設定することができる。例えば、低感度ピクセルＬＰＸに対するサンプリング位置ＬＳ値は、前記の［数学式２］で説明したように、１として設定され得る。

【0128】

以上、本発明の実施形態は、低照度区間Ｔ１では、高感度ピクセルＨＰＸのサンプリング位置ＨＳが基準位置として設定され、境界区間Ｔ１１では、高感度ピクセルＨＰＸのサンプリング位置ＨＳと低感度ピクセルＬＰＸのサンプリング位置ＬＳがいずれも基準位置として設定され、高照度区間Ｔ２では、低感度ピクセルＬＰＸのサンプリング位置ＬＳが基準位置として説明され得る。

【0129】

Ｔ２後の区間では、応答が飽和レベルに逹した状態であるため、入射光の強度が増加しても、応答は、飽和レベルを超えて増加することができず、飽和レベルと同じ値を有することができる。

【0130】

図１５は図１のイメージ信号プロセッサにおいて撮影モードに応じて基準位置を説明する動作を説明するためのフローチャートである。

【0131】

図１５を参照すると、処理部２１０は、イメージを撮影する撮影モードを取得することができる（ステップＳ６）。また、取得した撮影モードに応じて基準位置を決定することができる（ステップＳ７）。

【0132】

例えば、撮影モードが夜間撮影モードである場合を仮定する。撮影したシーンが夜景の場合、全体的にイメージが暗いため、高感度ピクセルＨＰＸが多く使用され得る。かかる場合、露出量が多い高感度ピクセルＨＰＸが基準位置として設定され得る。

【0133】

一方、撮影モードが昼間撮影モードである場合を仮定する。撮影したシーンが昼間の場合、全体的にイメージが明るいため、低感度ピクセルＬＰＸが多く使用され得る。かかる場合、露出量が少ない低感度ピクセルＬＰＸが基準位置として設定され得る。

【0134】

図１６は図１のイメージ信号プロセッサにおいて顔検出に応じて基準位置を設定する動作を説明するためのフローチャートである。

【0135】

図１６を参照すると、本発明の実施形態は、第１～第Ｎ感度のイメージのうち顔を検出することができる（ステップＳ８）。例えば、客体領域が指定される場合、客体の形状、サイズ、位置、色相、パターンの密度などを基準として、イメージ内で認識する客体領域を探すことができる。代表的な場合が、写真やプレビューイメージで顔領域を認識するものとして主に色相を用いて、顔領域候補を探し、この領域で眉毛、目、口などの位置情報に基づいて、顔であるか否かを判別することができる。

【0136】

人物写真（Ｐｏｒｔｒａｉｔ）モードなど、人物を対象にする場合、顔面検出により検出した顔の露出程度に応じて基準位置を設定することができる（ステップＳ９）。すなわち、撮影したイメージの背景を基準として、顔部分が含まれた領域の輝度が基準輝度以上の場合、相対的に顔が明るい場合のように、互いに異なる感度を有するイメージから顔部分を検出し、顔が検出された高感度ピクセルＨＰＸまたは低感度ピクセルＬＰＸのうち一つを基準位置として決定することができる。

【0137】

図１７および図１８は図１６において基準位置決定動作を説明するための図である。

【0138】

図１７は、夜間を背景にして顔を撮影したシーンを示す。夜間を背景にする場合、暗い夜景部分が高感度ピクセルＨＰＸとして使用され、明るい顔部分が低感度ピクセルＬＰＸとして使用され得る。したがって、夜間を背景にして顔を撮影したイメージで背景より顔の輝度より高い場合、低感度ピクセルＬＰＸを基準位置として決定することができる。

【0139】

図１８は、きれいな空を背景にして顔を撮影したシーンを示す。昼間を背景にする場合、暗い顔部分が高感度ピクセルＨＰＸに相当し、明るい空部分が低感度ピクセルＬＰＸに相当することができる。したがって、昼間を背景にして顔を撮影したイメージで背景より顔の輝度が低い場合、高感度ピクセルＨＰＸを基準位置として決定することができる。

【0140】

図１９は図３のピクセル値を決定するステップに関する詳細なフローチャートである。

【0141】

図１９を参照すると、処理部２１０は、図４のステップによって決定された基準位置に基づいて、第１～第Ｎ感度ピクセルに対するシフト量をそれぞれ算出することができる（ステップＳ３１）。

【0142】

次に、合成部２２０は、ステップＳ３１で算出されたシフト量によって補間処理を行い、第１～第Ｎ感度ピクセルのピクセル値を算出することができる（ステップＳ３２）。ここで、補間処理は、バイリニア（ｂｉｌｉｎｅａｒ）補間方式、バイキュービック（ｂｉｃｕｂｉｃ）補間方式などで行われ得るが、補間処理の方式は、これに限定されない。

【0143】

次に、合成部２２０は、補間された第１～第Ｎ感度ピクセルのピクセル値を合成し、出力ピクセル値を決定することができる（ステップＳ３３）。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】