特許 7520804 信号処理方法および撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-12

(45)【発行日】2024-07-23

(54)【発明の名称】信号処理方法および撮像装置

(51)【国際特許分類】

   H04N 25/583 20230101AFI20240716BHJP

   H04N 25/40 20230101ALI20240716BHJP

   H04N 25/70 20230101ALI20240716BHJP

   H04N 25/76 20230101ALI20240716BHJP

   H04N 25/11 20230101ALI20240716BHJP

【ＦＩ】

H04N25/583

H04N25/40

H04N25/70

H04N25/76

H04N25/11

【請求項の数】 17

(21)【出願番号】P 2021501600

(86)(22)【出願日】2019-12-11

(86)【国際出願番号】 JP2019048497

(87)【国際公開番号】W WO2020170565

(87)【国際公開日】2020-08-27

【審査請求日】2022-12-05

(31)【優先権主張番号】P 2019027479

(32)【優先日】2019-02-19

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】316005926

【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社

(74)【代理人】

【識別番号】110001357

【氏名又は名称】弁理士法人つばさ国際特許事務所

(72)【発明者】

【氏名】永田 拓磨

【審査官】松永 隆志

(56)【参考文献】

【文献】特開２０１５－１８１２１３（ＪＰ，Ａ）

【文献】国際公開第２０１９／０２６７１８（ＷＯ，Ａ１）

【文献】国際公開第２０１７／１２６３２６（ＷＯ，Ａ１）

【文献】国際公開第２０１５／１５１７９４（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／００－２５／７９

(57)【特許請求の範囲】

【請求項1】

各々が光電変換素子を含み、受光面に行列状に配置された複数の画素と、
前記複数の画素における前記複数の画素ごとに１つずつ設けられた複数の受光レンズと、
前記複数の画素の露光時間を制御する制御部と、
前記複数の画素における前記複数の画素ごとに１つずつ設けられた複数のカラーフィルタと
を備え、
前記複数のカラーフィルタは、ベイヤー配列となっており、
各前記受光レンズに対応する前記複数の画素を第１画素群としたときに、各前記第１画素群において、前記受光レンズと前記カラーフィルタとが１対１で対応しており、
前記制御部は、各前記第１画素群において、少なくとも２つの前記画素の露光時間が同じになるとともに、少なくとも２つの前記画素の露光時間が互いに異なるように、前記複数の画素の露光時間を制御する
撮像装置。

【請求項2】

前記制御部は、各前記第１画素群において、２つの前記画素の露光時間が同じになるとともに、３つの前記画素の露光時間が異なるように、前記複数の画素の露光時間を制御する
請求項１に記載の撮像装置。

【請求項3】

前記制御部は、各前記第１画素群において、前記受光面における、右肩上がりの方向、右肩下がりの方向、左右方向または上下方向に配列される２つの前記画素の露光時間が同じになるように、前記複数の画素の露光時間を制御する
請求項２に記載の撮像装置。

【請求項4】

前記制御部は、２行×２列の複数の前記第１画素群を第２画素群としたときに、各前記第２画素群に含まれる第１の前記第１画素群において、第１方向に配列された２つの前記画素の露光時間が同じになるとともに、各前記第２画素群に含まれる第２の前記第１画素群において、第２方向に配列された２つの前記画素の露光時間が同じになるように、前記複数の画素の露光時間を制御する
請求項１に記載の撮像装置。

【請求項5】

前記制御部は、２行×２列の複数の前記第１画素群を第２画素群とし、２行×２列の前記第２画素群を第３画素群としたときに、各前記第３画素群に含まれる第１の前記第２画素群において、第１方向に配列された２つの前記画素の露光時間が同じになり、各前記第３画素群に含まれる第２の前記第２画素群において、第２方向に配列された２つの前記画素の露光時間が同じになり、さらに、各前記第３画素群に含まれる第３の前記第２画素群において、第３方向に配列された２つの前記画素の露光時間が同じになるように、前記複数の画素の露光時間を制御する
請求項１に記載の撮像装置。

【請求項6】

前記制御部は、２行×２列の複数の前記第１画素群を第２画素群としたときに、各前記第２画素群に含まれる第１の前記第１画素群において、第１方向に配列された２つの前記画素の露光時間が同じになるとともに、第２方向に配列された２つの前記画素の露光時間が同じになり、さらに、各前記第２画素群に含まれる第２の前記第１画素群において、前記第１方向に配列された２つの前記画素の露光時間が同じになるとともに、前記第２方向に配列された２つの前記画素の露光時間が同じになるように、前記複数の画素の露光時間を制御する
請求項１に記載の撮像装置。

【請求項7】

前記制御部は、２行×２列の複数の前記第１画素群を第２画素群としたときに、各前記第２画素群に含まれる第１の前記第１画素群において、第１方向に配列された２つの前記画素の露光時間が同じになるとともに、前記第１方向に配列された、前記第１方向に配列された２つの前記画素とは異なる２つの前記画素の露光時間が同じになり、さらに、各前記第２画素群に含まれる第２の前記第１画素群において、第２方向に配列された２つの前記画素の露光時間が同じになり、前記第２方向に配列された、前記第２方向に配列された２つの前記画素とは異なる２つの前記画素の露光時間が同じになるように、前記複数の画素の露光時間を制御する
請求項１に記載の撮像装置。

【請求項8】

前記制御部は、２行×２列の複数の前記第１画素群を第２画素群とし、２行×２列の前記第２画素群を第３画素群としたときに、各前記第３画素群に含まれる１つの前記第１画素群において、各前記画素の露光時間が互いに同じになるように、前記複数の画素の露光時間を制御する
請求項１に記載の撮像装置。

【請求項9】

前記制御部は、２行×２列の複数の前記第１画素群を第２画素群とし、２行×２列の前記第２画素群を第３画素群としたときに、各前記第３画素群に含まれる１つの前記第２画素群において、各前記画素の露光時間が互いに同じになるように、前記複数の画素の露光時間を制御する
請求項１に記載の撮像装置。

【請求項10】

前記制御部は、２行×２列の複数の前記第１画素群を第２画素群とし、２行×２列の前記第２画素群を第３画素群としたときに、各前記第３画素群に含まれる各前記第２画素群において、各前記画素の露光時間が同じになるように、前記複数の画素の露光時間を制御する
請求項１に記載の撮像装置。

【請求項11】

前記制御部は、２行×２列の複数の前記第１画素群を第２画素群とし、１行×２列の前記第２画素群を第４画素群としたときに、各前記第４画素群に含まれる第１の前記第２画素群における各第１画素群において、第１方向に配列された２つの前記画素の露光時間が同じになり、各前記第４画素群に含まれる第２の前記第２画素群における各第１画素群において、第２方向に配列された２つの前記画素の露光時間が同じになるように、前記複数の画素の露光時間を制御する
請求項１に記載の撮像装置。

【請求項12】

前記制御部は、２行×２列の複数の前記第１画素群を第２画素群とし、２行×１列の前記第２画素群を第５画素群としたときに、各前記第５画素群に含まれる第１の前記第２画素群における各第１画素群において、第１方向に配列された２つの前記画素の露光時間が同じになり、各前記第５画素群に含まれる第２の前記第２画素群における各第１画素群において、第２方向に配列された２つの前記画素の露光時間が同じになるように、前記複数の画素の露光時間を制御する
請求項１に記載の撮像装置。

【請求項13】

前記制御部は、２行×２列の複数の前記第１画素群を第２画素群とし、２行×２列の前記第２画素群を第３画素群としたときに、各前記第３画素群に含まれる第１の前記第２画素群における各前記第１画素群において、第１方向に配列された２つの前記画素の露光時間が同じになり、各前記第３画素群に含まれる第２の前記第２画素群における各前記第１画素群において、第２方向に配列された２つの前記画素の露光時間が同じになり、さらに、各前記第３画素群に含まれる第３の前記第２画素群における各前記第１画素群において、第３方向に配列された２つの前記画素の露光時間が同じになるように、前記複数の画素の露光時間を制御する
請求項１に記載の撮像装置。

【請求項14】

前記制御部は、２行×２列の複数の前記第１画素群を第２画素群とし、２行×２列の前記第２画素群を第３画素群としたときに、各前記第３画素群に含まれる第１の前記第２画素群における各第１画素群において、第１方向に配列された２つの前記画素の露光時間が同じになるとともに、第２方向に配列された２つの前記画素の露光時間が同じになり、各前記第３画素群に含まれる第２の前記第２画素群における各第１画素群において、前記第１方向に配列された２つの前記画素の露光時間が同じになるとともに、前記第２方向に配列された２つの前記画素の露光時間が同じになるように、前記複数の画素の露光時間を制御する
請求項１に記載の撮像装置。

【請求項15】

前記制御部は、２行×２列の複数の前記第１画素群を第２画素群とし、２行×２列の前記第２画素群を第３画素群としたときに、各前記第３画素群に含まれる第１の前記第２画素群における各前記第１画素群において、第１方向に配列された２つの前記画素の露光時間が同じになるとともに、前記第１方向に配列された、前記第１方向に配列された２つの前記画素とは異なる２つの前記画素の露光時間が同じになり、さらに、各前記第３画素群に含まれる第２の前記第２画素群における各前記第１画素群において、第２方向に配列された２つの前記画素の露光時間が同じになるとともに、前記第２方向に配列された、前記第２方向に配列された２つの前記画素とは異なる２つの前記画素の露光時間が同じになるように、前記複数の画素の露光時間を制御する
請求項１に記載の撮像装置。

【請求項16】

前記制御部による露光制御によって得られた画像データから、露光時間ごとに位相差データを生成し、露光時間の異なる複数の前記位相差データと、露光時間の異なる複数の画像データとから、ＨＤＲ（High Dynamic Range）画像を生成する
請求項１に記載の撮像装置。

【請求項17】

各々が光電変換素子を含み、受光面に行列状に配置された複数の画素と、前記複数の画素における前記複数の画素ごとに１つずつ設けられた複数の受光レンズと、前記複数の画素における前記複数の画素ごとに１つずつ設けられた複数のカラーフィルタとを備え、前記複数のカラーフィルタは、ベイヤー配列となっており、各前記受光レンズに対応する前記複数の画素を第１画素群としたときに、各前記第１画素群において、前記受光レンズと前記カラーフィルタとが１対１で対応している撮像装置における信号処理方法であって、
各前記第１画素群において、少なくとも２つの前記画素の露光時間が同じになるとともに、少なくとも２つの前記画素の露光時間が互いに異なるように、前記複数の画素の露光時間を制御することと、
前記露光時間の制御によって得られた画像データから、露光時間ごとに位相差データを生成し、露光時間の異なる複数の前記位相差データと、露光時間の異なる複数の画像データとから、ＨＤＲ（High Dynamic Range）画像を生成することと
を含む
信号処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、信号処理方法および撮像装置に関する。

【背景技術】

【0002】

適正露出により得られる画像よりもダイナミックレンジの広いＨＤＲ（High Dynamic Range）画像を生成する撮像装置が知られている（例えば特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１５－２０１８３４号公報

【発明の概要】

【0004】

ところで、ＨＤＲ画像では、色抜けや、色付き、二重輪郭などの画質劣化が生じることがある。従って、ＨＤＲ画像の画質劣化を抑制することの可能な信号処理方法および撮像装置を提供することが望ましい。

【0005】

本開示の第１の側面である撮像装置は、各々が光電変換素子を含み、受光面に行列状に配置された複数の画素と、複数の画素における複数の画素ごとに１つずつ設けられた複数の受光レンズと、複数の画素の露光時間を制御する制御部と、複数の画素における複数の画素ごとに１つずつ設けられた複数のカラーフィルタとを備えている。複数のカラーフィルタは、ベイヤー配列となっている。各受光レンズに対応する複数の画素を第１画素群としたときに、各第１画素群において、受光レンズとカラーフィルタとが１対１で対応している。制御部は、各第１画素群において、少なくとも２つの画素の露光時間が同じになるとともに、少なくとも２つの画素の露光時間が互いに異なるように、複数の画素の露光時間を制御する。

【0006】

本開示の第１の側面である撮像装置では、受光レンズに対応する複数の画素のうち、少なくとも２つの画素の露光時間が同じになるとともに、各受光レンズに対応する複数の画素のうち、少なくとも２つの画素の露光時間が互いに異なるように、複数の画素の露光時間が制御される。これにより、例えば、制御部による露光制御によって得られた画像データから、露光時間ごとに位相差データを生成し、露光時間の異なる複数の位相差データと、露光時間の異なる複数の画像データとから、ＨＤＲ（High Dynamic Range）画像を生成することができる。

【0007】

本開示の第２の側面である信号処理方法は、各々が光電変換素子を含み、受光面に行列状に配置された複数の画素と、複数の画素における複数の画素ごとに１つずつ設けられた複数の受光レンズと、複数の画素における複数の画素ごとに１つずつ設けられた複数のカラーフィルタとを備え、複数のカラーフィルタは、ベイヤー配列となっており、各受光レンズに対応する複数の画素を第１画素群としたときに、各第１画素群において、受光レンズとカラーフィルタとが１対１で対応している撮像装置における信号処理方法であって、以下の２つを含む。
（１）各受光レンズに対応する複数の画素のうち、少なくとも２つの画素の露光時間が同じになるとともに、各受光レンズに対応する複数の画素のうち、少なくとも２つの画素の露光時間が互いに異なるように、複数の画素の露光時間を制御すること
（２）露光時間の制御によって得られた画像データから、露光時間ごとに位相差データを生成し、露光時間の異なる複数の位相差データと、露光時間の異なる複数の画像データとから、ＨＤＲ画像を生成すること

【0008】

本開示の第２の側面である信号処理方法では、受光レンズに対応する複数の画素のうち、少なくとも２つの画素の露光時間が同じになるとともに、各受光レンズに対応する複数の画素のうち、少なくとも２つの画素の露光時間が互いに異なるように、複数の画素の露光時間が制御される。これにより、露光制御によって得られた画像データから、露光時間ごとに位相差データを生成し、露光時間の異なる複数の位相差データと、露光時間の異なる複数の画像データとから、ＨＤＲ画像を生成することができる。

【図面の簡単な説明】

【0009】

【図1】本開示の一実施の形態に係る撮像装置の概略構成の一例を表す図である。

【図2】図１の撮像素子の概略構成の一例を表す図である。

【図3】図１のセンサ画素の回路構成一例を表す図である。

【図4】図２の画素アレイ部の構成例を表す図である。

【図5】図２の画素アレイ部の構成例を表す図である。

【図6】図２の画素アレイ部の構成例を表す図である。

【図7】図２の画素アレイ部の構成例を表す図である。

【図8】図１の撮像装置におけるＨＤＲ画像の生成手順の一例を表す図である。

【図9】図１の撮像装置における撮像手順の一例を表す図である。

【図10】図２の画素アレイ部の構成の一変形例を表す図である。

【図11】図２の画素アレイ部の構成の一変形例を表す図である。

【図12】図２の画素アレイ部の構成の一変形例を表す図である。

【図13】図１２の画素アレイ部の配線レイアウトの一例を表す図である。

【図14】図１２の画素アレイ部で検出可能な位相差の方向の一例を表す図である。

【図15】図１２の画素アレイ部を備えた撮像装置におけるＨＤＲ画像の生成手順の一例を表す図である。

【図16】図２の画素アレイ部の構成の一変形例を表す図である。

【図17】図１６の画素アレイ部を備えた撮像装置におけるＨＤＲ画像の生成手順の一例を表す図である。

【図18】図２の画素アレイ部の構成の一変形例を表す図である。

【図19】図１８の画素アレイ部を備えた撮像装置におけるＨＤＲ画像の生成手順の一例を表す図である。

【図20】図２の画素アレイ部の構成の一変形例を表す図である。

【図21】図２０の画素アレイ部を備えた撮像装置におけるＨＤＲ画像の生成手順の一例を表す図である。

【図22】図２の画素アレイ部の構成の一変形例を表す図である。

【図23】図２２の画素アレイ部を備えた撮像装置におけるＨＤＲ画像の生成手順の一例を表す図である。

【図24】図２の画素アレイ部の構成の一変形例を表す図である。

【図25】図２４の画素アレイ部の配線レイアウトの一例を表す図である。

【図26】図２４の画素アレイ部で検出可能な位相差の方向の一例を表す図である。

【図27】図２の画素アレイ部の構成の一変形例を表す図である。

【図28】図２７の画素アレイ部の配線レイアウトの一例を表す図である。

【図29】図２４～図２８の画素アレイ部を備えた撮像装置におけるＨＤＲ画像の生成手順の一例を表す図である。

【図30】図２の画素アレイ部の構成の一変形例を表す図である。

【図31】図３０の画素アレイ部の配線レイアウトの一例を表す図である。

【図32】図３０の画素アレイ部で検出可能な位相差の方向の一例を表す図である。

【図33】図３０の画素アレイ部を備えた撮像装置におけるＨＤＲ画像の生成手順の一例を表す図である。

【図34】図２の画素アレイ部の構成の一変形例を表す図である。

【図35】図３４の画素アレイ部の配線レイアウトの一例を表す図である。

【図36】図３４の画素アレイ部で検出可能な位相差の方向の一例を表す図である。

【図37】図３４の画素アレイ部を備えた撮像装置におけるＨＤＲ画像の生成手順の一例を表す図である。

【図38】図２の画素アレイ部の構成の一変形例を表す図である。

【図39】図３８の画素アレイ部の配線レイアウトの一例を表す図である。

【図40】図３８の画素アレイ部で検出可能な位相差の方向の一例を表す図である。

【図41】図３８の画素アレイ部を備えた撮像装置におけるＨＤＲ画像の生成手順の一例を表す図である。

【図42】図２の画素アレイ部の構成の一変形例を表す図である。

【図43】図４２の画素アレイ部の配線レイアウトの一例を表す図である。

【図44】図４２の画素アレイ部で検出可能な位相差の方向の一例を表す図である。

【図45】図４２の画素アレイ部を備えた撮像装置におけるＨＤＲ画像の生成手順の一例を表す図である。

【図46】図２の画素アレイ部の構成の一変形例を表す図である。

【図47】図４６の画素アレイ部の配線レイアウトの一例を表す図である。

【図48】図４６の画素アレイ部で検出可能な位相差の方向の一例を表す図である。

【図49】図４６の画素アレイ部を備えた撮像装置におけるＨＤＲ画像の生成手順の一例を表す図である。

【図50】車両制御システムの概略的な構成の一例を示すブロック図である。

【図51】車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

【図52】内視鏡手術システムの概略的な構成の一例を示す図である。

【図53】カメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。

【発明を実施するための形態】

【0010】

以下、本開示の実施の形態について、図面を参照して詳細に説明する。なお、説明は以下の順序で行う。

１．実施の形態（撮像装置）…図１～図９
２．変形例（撮像装置）…図１０～図４９
３．応用例
移動体への応用例…図５０、図５１
内視鏡手術システムへの応用例…図５２、図５３

【0011】

＜１．実施の形態＞
[構成]
本開示の一実施の形態に係る撮像装置１について説明する。図１は、撮像装置１の概略構成の一例を表したものである。撮像装置１は、例えば、デジタルスチルカメラや、ビデオカメラ、スマートフォン、タブレット型端末等の電子機器である。撮像装置１は、撮像素子１０、演算部２０、フレームメモリ３０、表示部４０、記憶部５０、操作部６０、電源部７０および光学系８０を備えている。撮像素子１０、演算部２０、フレームメモリ３０、表示部４０、記憶部５０、操作部６０および電源部７０は、バスラインＬを介して相互に接続されている。

【0012】

光学系８０は、１枚または複数枚のレンズを有して構成され、被写体からの光（入射光）を撮像素子１０に導き、撮像素子１０の受光面に結像させる。撮像素子１０は、光学系８０を介して受光面に結像される光に応じた画素信号（画像データ）を出力する。撮像素子１０は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサである。撮像素子１０の内部構成については、後に詳述する。演算部２０は、撮像素子１０から出力される画素信号（画像データ）を処理する信号処理回路である。演算部２０は、画素信号（画像データ）に基づいて、ＨＤＲ画像を生成する。演算部２０における信号処理手順については、後に詳述する。

【0013】

フレームメモリ３０は、演算部２０による信号処理によって得られた画像データ（例えば、ＨＤＲ画像データ）を、フレーム単位で一時的に保持する。表示部４０は、例えば、液晶パネルや有機EL（Electro Luminescence）パネル等のパネル型表示装置からなり、撮像素子１０で撮像された動画又は静止画を表示する。記憶部５０は、撮像素子１０で撮像された動画又は静止画の画像データを、半導体メモリやハードディスク等の記録媒体に記録する。操作部６０は、ユーザによる操作に従い、撮像装置１が有する各種の機能についての操作指令を発する。操作部６０は、例えば、ユーザによる撮像指示に従い、撮像素子１０の転送動作を制御する駆動信号を出力して、撮像素子１０を駆動する。電源部７０は、撮像素子１０、演算部２０、フレームメモリ３０、表示部４０、記憶部５０および操作部６０の動作電源となる各種の電源を、これら供給対象に対して適宜供給する。

【0014】

次に、撮像素子１０について説明する。図２は、撮像素子１０の概略構成の一例を表したものである。撮像素子１０は、光電変換素子を含む複数のセンサ画素１１１が行列状（マトリックス状）に２次元配置されてなる画素アレイ部１１０を備えている。センサ画素１１１は、例えば、図３に示したように、光電変換を行う画素回路１１２と、画素回路１１２から出力された電荷に基づく画素信号を出力する読み出し回路１１３とによって構成されている。

【0015】

画素回路１１２は、例えば、フォトダイオードＰＤと、フォトダイオードＰＤと電気的に接続された転送トランジスタＴＲと、転送トランジスタＴＲを介してフォトダイオードＰＤから出力された電荷を一時的に保持するフローティングディフュージョンＦＤとを有している。フォトダイオードＰＤは、光電変換を行って受光量に応じた電荷を発生する。フォトダイオードＰＤのカソードが転送トランジスタＴＲのソースに接続されており、フォトダイオードＰＤのアノードが基準電位線（例えばグラウンド）に接続されている。転送トランジスタＴＲのドレインがフローティングディフュージョンＦＤに接続され、転送トランジスタＴＲのゲートは画素駆動線ｃｔｌ１に接続されている。

【0016】

各画素回路１１２において、フローティングディフュージョンＦＤは、対応する読み出し回路１１３の入力端に接続されている。読み出し回路１１３は、例えば、リセットトランジスタＲＳＴと、選択トランジスタＳＥＬと、増幅トランジスタＡＭＰとを有している。リセットトランジスタＲＳＴのソース（読み出し回路１１３の入力端）がフローティングディフュージョンＦＤに接続されており、リセットトランジスタＲＳＴのドレインが電源線ＶＤＤおよび増幅トランジスタＡＭＰのドレインに接続されている。リセットトランジスタＲＳＴのゲートは画素駆動線ｃｔｌ２に接続されている。増幅トランジスタＡＭＰのソースが選択トランジスタＳＥＬのドレインに接続されており、増幅トランジスタＡＭＰのゲートがリセットトランジスタＲＳＴのソースに接続されている。選択トランジスタＳＥＬのソース（読み出し回路１１３の出力端）が垂直信号線ｖｓｌに接続されており、選択トランジスタＳＥＬのゲートが画素駆動線ｃｔｌ３に接続されている。

【0017】

転送トランジスタＴＲは、転送トランジスタＴＲがオン状態となると、フォトダイオードＰＤの電荷をフローティングディフュージョンＦＤに転送する。リセットトランジスタＲＳＴは、フローティングディフュージョンＦＤの電位を所定の電位にリセットする。リセットトランジスタＲＳＴがオン状態となると、フローティングディフュージョンＦＤの電位を電源線ＶＤＤの電位にリセットする。選択トランジスタＳＥＬは、読み出し回路１１３からの画素信号の出力タイミングを制御する。増幅トランジスタＡＭＰは、画素信号として、フローティングディフュージョンＦＤに保持された電荷のレベルに応じた電圧の信号を生成する。つまり、増幅トランジスタＡＭＰは、画素信号として、センサ画素１１１における受光量の応じた電圧の信号を生成する。増幅トランジスタＡＭＰは、ソースフォロア型のアンプを構成しており、フォトダイオードＰＤで発生した電荷のレベルに応じた電圧の画素信号を出力する。増幅トランジスタＡＭＰは、選択トランジスタＳＥＬがオン状態となると、フローティングディフュージョンＦＤの電位を増幅して、その電位に応じた電圧を、垂直信号線ｖｓｌを介してカラム信号処理回路１２２（後述）に出力する。

【0018】

なお、選択トランジスタＳＥＬが、電源線ＶＤＤと増幅トランジスタＡＭＰとの間に設けられていてもよい。この場合、リセットトランジスタＲＳＴのドレインが電源線ＶＤＤおよび選択トランジスタＳＥＬのドレインに接続されている。選択トランジスタＳＥＬのソースが増幅トランジスタＡＭＰのドレインに接続されており、選択トランジスタＳＥＬのゲートが画素駆動線ｃｔｌ３に接続されている。増幅トランジスタＡＭＰのソース（読み出し回路１１３の出力端）が垂直信号線ｖｓｌに接続されており、増幅トランジスタＡＭＰのゲートがリセットトランジスタＲＳＴのソースに接続されている。

【0019】

撮像素子１０は、さらに、画素信号を処理するロジック回路１２０を備えている。ロジック回路１２０は、例えば、垂直駆動回路１２１、カラム信号処理回路１２２、水平駆動回路１２３およびシステム制御回路１２４を有している。ロジック回路１２０は、センサ画素１１１ごとのデジタル値を外部に出力する。

【0020】

システム制御回路１２４は、マスタークロックに基づいて、垂直駆動回路１２１、カラム信号処理回路１２２、水平駆動回路１２３などの動作の基準となるクロック信号や制御信号などを生成し、垂直駆動回路１２１、カラム信号処理回路１２２、水平駆動回路１２３などに対して与える。垂直駆動回路１２１は、例えば、シフトレジスタなどによって構成され、複数の画素駆動線ｃｔｌ（例えば、ｃｔｌ１，ｃｔｌ２，ｃｔｌ３，ｃｔｌＭ（後述），ｃｔｌＬ（後述），ｃｔｌＳ（後述））を介して、複数のセンサ画素１１１の行走査の制御を行う。

【0021】

カラム信号処理回路１２２は、例えば、垂直駆動回路１２１によって選択された行の各センサ画素１１１から出力される画素信号に対して、相関二重サンプリング（Correlated Double Sampling：ＣＤＳ）処理を施す。カラム信号処理回路１２２は、例えば、ＣＤＳ処理を施すことにより、画素信号の信号レベルを抽出し、各センサ画素１１１の受光量に応じた画素データを保持する。カラム信号処理回路１２２は、例えば、垂直信号線ｖｓｌ毎に１つずつ設けられた複数のＡＤＣ（アナログ－デジタル変換回路）を有している。ＡＤＣは、例えば、各センサ画素１１１から列毎に出力されるアナログの画素信号をデジタル信号に変換して出力する。ＡＤＣは、例えば、ランプ波形の電圧（ランプ電圧）とカウンタ値が一対一の対応を取りながら変化することで垂直信号線ｖｓｌの電位（アナログ信号）をデジタル信号に変換する。ＡＤＣは、例えば、ランプ電圧の変化を時間の変化に変換するものであり、その時間をある周期（クロック）で数えることでデジタル値に変換する。

【0022】

水平駆動回路１２３は、シフトレジスタなどによって構成され、カラム信号処理回路１２２におけるＡＤＣの列アドレスや列走査の制御を行う。この水平駆動回路１２３による制御の下に、ＡＤＣの各々でＡＤ変換されたＮビットのデジタル信号は順に水平出力線に読み出され、当該水平出力線を経由して撮像データとして出力される。

【0023】

次に、画素アレイ部１１０について説明する。

【0024】

図４は、画素アレイ部１１０の構成例を表したものである。画素アレイ部１１０は、受光面１１０Ａに複数のカラーフィルタＣＦおよび複数の受光レンズＯＣＬを有している。複数のカラーフィルタＣＦは、２行×２列（つまり４つ）のセンサ画素１１１（フォトダイオードＰＤ）ごとに１つずつ設けられている。複数の受光レンズＯＣＬは、カラーフィルタＣＦごとに１つずつ設けられている。つまり、複数の受光レンズＯＣＬも、２行×２列（つまり４つ）のセンサ画素１１１ごとに１つずつ設けられている。これにより、各受光レンズＯＣＬに入射した光は、受光レンズＯＣＬによって集光され、対応するカラーフィルタＣＦを透過した後、対応する２行×２列のセンサ画素１１１に入射する。なお、以下では、受光レンズＯＣＬに対応する２行×２列のセンサ画素１１１を、単色センサ画素群Ｐ１と称する。

【0025】

複数のカラーフィルタＣＦは、赤色の波長域の光を透過する複数のカラーフィルタＣＦｒと、緑色の波長域の光を透過する複数のカラーフィルタＣＦｇと、青色の波長域の光を透過する複数のカラーフィルタＣＦｂとにより構成されている。複数のカラーフィルタＣＦは、受光面においてベイヤー配列となっている。複数のカラーフィルタＣＦが受光面においてベイヤー配列となっていることにより、位相差データを行方向および列方向において周期的に取得することが可能となる。カラーフィルタＣＦｒ、カラーフィルタＣＦｇ、カラーフィルタＣＦｂが、１：２：１の比率で受光面１１０Ａに配置されている。なお、以下では、ベイヤー配列における２行×２列の単色センサ画素群Ｐ１を３色センサ画素群Ｐ２と称する。

【0026】

各センサ画素１１１（フォトダイオードＰＤ）の露光時間は、システム制御回路１２４によって制御される。図４には、システム制御回路１２４によって制御されたときの各センサ画素１１１の露光時間の一例が示されている。図４によると、単色センサ画素群Ｐ１において、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“中（Middle）”に設定され、残りの２つのセンサ画素１１１（フォトダイオードＰＤ）のうちの１つの露光時間が、“短(Short)”に設定され、残りの１つの露光時間が、“長(Long)”に設定される。つまり、単色センサ画素群Ｐ１には、露光時間の互いに異なる３種類のセンサ画素１１１（フォトダイオードＰＤ）が含まれ、さらに、露光時間が互いに同じ２つのセンサ画素１１１（フォトダイオードＰＤ）が含まれる。言い換えると、システム制御回路１２４は、単色センサ画素群Ｐ１のうち、３つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに異なるとともに、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに同じになるように、複数のセンサ画素１１１（フォトダイオードＰＤ）の露光時間を制御する。

【0027】

各単色センサ画素群Ｐ１において、右肩上がりの方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図４に示したように“中（Middle）”に設定される。つまり、各単色センサ画素群Ｐ１において、右肩上がりの方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、互いに等しく設定される。また、各単色センサ画素群Ｐ１において、右下のセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図４に示したように“短(Short)”に設定される。また、各単色センサ画素群Ｐ１において、左上のセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図４に示したように“長(Long)”に設定される。

【0028】

また、例えば、図４に示したように、露光時間が“中（Middle）”に設定されるセンサ画素１１１には画素駆動線ｃｔｌＭが接続される。つまり、単色センサ画素群Ｐ１に割り当てられた２本の画素駆動線ｃｔｌＭのうち、一方の画素駆動線ｃｔｌＭは、単色センサ画素群Ｐ１の右上のセンサ画素１１１に接続され、他方の画素駆動線ｃｔｌＭは、単色センサ画素群Ｐ１の左下のセンサ画素１１１に接続される。露光時間が“短(Short)”に設定される各センサ画素１１１には画素駆動線ｃｔｌＳが接続される。つまり、画素駆動線ｃｔｌＳは、単色センサ画素群Ｐ１の右下のセンサ画素１１１に接続される。露光時間が“長(Long)”に設定されるセンサ画素１１１には画素駆動線ｃｔｌＬが接続される。つまり、画素駆動線ｃｔｌＬは、単色センサ画素群Ｐ１の左上のセンサ画素１１１に接続される。画素アレイ部１１０は、各単色センサ画素群Ｐ１の上段に対応する箇所に、画素駆動線ｃｔｌＬおよび画素駆動線ｃｔｌＭを有している。また、画素アレイ部１１０は、各単色センサ画素群Ｐ１の下段に対応する箇所に、画素駆動線ｃｔｌＭおよび画素駆動線ｃｔｌＳを有している。

【0029】

システム制御回路１２４は、画素駆動線ｃｔｌＭに対して、露光時間が“中（Middle）”となるように制御信号を出力することにより、画素駆動線ｃｔｌＭに接続された各センサ画素１１１の露光時間を“中（Middle）”に制御する。システム制御回路１２４は、画素駆動線ｃｔｌＳに対して、露光時間が“短(Short)”となるように制御信号を出力することにより、画素駆動線ｃｔｌＳに接続された各センサ画素１１１の露光時間を“短(Short)”に制御する。システム制御回路１２４は、画素駆動線ｃｔｌＬに対して、露光時間が“長(Long)”となるように制御信号を出力することにより、画素駆動線ｃｔｌＬに接続された各センサ画素１１１の露光時間を“長(Long)”に制御する。このように、システム制御回路１２４は、センサ画素１１１ごとに露光時間の制御を行う。撮像素子１０は、そのような制御の下で得られた画像データＩａを出力する。

【0030】

画像データＩａには、画素アレイ部１１０におけるＸ行×Ｙ列のセンサ画素１１１に対応するＸ行×Ｙ列の画素データＳｉｇが含まれる。Ｘ行×Ｙ列の画素データＳｉｇのうち、各単色センサ画素群Ｐ１に対応する２行×２列の画素データＳｉｇには、露光時間が“中（Middle）”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ１と、露光時間が“短(Short)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ２と、露光時間が“長(Long)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ３とが含まれる。

【0031】

従って、Ｘ行×Ｙ列の画素データＳｉｇのうち、各単色センサ画素群Ｐ１に対応する２行×２列の画素データＳｉｇには、露光時間が互いに同じ２つの画素データＳｉｇ１が含まれている。また、Ｘ行×Ｙ列の画素データＳｉｇのうち、各単色センサ画素群Ｐ１に対応する２行×２列の画素データＳｉｇにおいて、露光時間が互いに同じ２つの画素データＳｉｇ１の差分を取ることにより、受光面１１０Ａにおいて右肩上がりの方向の位相差を得ることが可能である。以上のことから、画素アレイ部１１０は、各単色センサ画素群Ｐ１から、一方向（右肩上がりの方向）の位相差データが得られるように構成されていることがわかる。

【0032】

なお、各単色センサ画素群Ｐ１において、右肩下がりの方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図５に示したように“中（Middle）”に設定されてもよい。つまり、各単色センサ画素群Ｐ１において、右肩下がりの方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、互いに等しく設定されてもよい。

【0033】

このとき、例えば、図５に示したように、露光時間が“中（Middle）”に設定されるセンサ画素１１１には画素駆動線ｃｔｌＭが接続される。つまり、単色センサ画素群Ｐ１に割り当てられた２本の画素駆動線ｃｔｌＭのうち、一方の画素駆動線ｃｔｌＭは、単色センサ画素群Ｐ１の左上のセンサ画素１１１に接続され、他方の画素駆動線ｃｔｌＭは、単色センサ画素群Ｐ１の右下のセンサ画素１１１に接続される。露光時間が“短(Short)”に設定される各センサ画素１１１には画素駆動線ｃｔｌＳが接続される。つまり、画素駆動線ｃｔｌＳは、単色センサ画素群Ｐ１の左下のセンサ画素１１１に接続される。露光時間が“長(Long)”に設定されるセンサ画素１１１には画素駆動線ｃｔｌＬが接続される。つまり、画素駆動線ｃｔｌＬは、単色センサ画素群Ｐ１の右上のセンサ画素１１１に接続される。画素アレイ部１１０は、各単色センサ画素群Ｐ１の上段に対応する箇所に、画素駆動線ｃｔｌＭおよび画素駆動線ｃｔｌＬを有している。また、画素アレイ部１１０は、各単色センサ画素群Ｐ１の下段に対応する箇所に、画素駆動線ｃｔｌＳおよび画素駆動線ｃｔｌＭを有している。

【0034】

この場合、Ｘ行×Ｙ列の画素データＳｉｇのうち、各単色センサ画素群Ｐ１に対応する２行×２列の画素データＳｉｇにおいて、露光時間が互いに同じ２つの画素データＳｉｇ１の差分を取ることにより、受光面１１０Ａにおいて右肩下がりの方向の位相差を得ることが可能である。この場合、画素アレイ部１１０は、各単色センサ画素群Ｐ１から、一方向（右肩下がりの方向）の位相差データが得られるように構成されていることがわかる。

【0035】

また、各単色センサ画素群Ｐ１において、左右方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図６に示したように“中（Middle）”に設定されてもよい。つまり、各単色センサ画素群Ｐ１において、左右方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、互いに等しく設定されてもよい。図６には、各単色センサ画素群Ｐ１において、上段の２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“中（Middle）”に設定され、下段の２つのセンサ画素１１１（フォトダイオードＰＤ）のうち一方の露光時間が“短(Short)”に設定され、他方の露光時間が“長(Long)”に設定される場合が例示されている。

【0036】

このとき、例えば、図６に示したように、露光時間が“中（Middle）”に設定されるセンサ画素１１１には画素駆動線ｃｔｌＭが接続される。つまり、単色センサ画素群Ｐ１に割り当てられた２本の画素駆動線ｃｔｌＭのうち、一方の画素駆動線ｃｔｌＭは、単色センサ画素群Ｐ１の左上のセンサ画素１１１に接続され、他方の画素駆動線ｃｔｌＭは、単色センサ画素群Ｐ１の右上のセンサ画素１１１に接続される。露光時間が“短(Short)”に設定される各センサ画素１１１には画素駆動線ｃｔｌＳが接続される。つまり、画素駆動線ｃｔｌＳは、単色センサ画素群Ｐ１の右下のセンサ画素１１１に接続される。露光時間が“長(Long)”に設定されるセンサ画素１１１には画素駆動線ｃｔｌＬが接続される。つまり、画素駆動線ｃｔｌＬは、単色センサ画素群Ｐ１の左下のセンサ画素１１１に接続される。画素アレイ部１１０は、各単色センサ画素群Ｐ１の上段に対応する箇所に、２本の画素駆動線ｃｔｌＭを有している。また、画素アレイ部１１０は、各単色センサ画素群Ｐ１の下段に対応する箇所に、画素駆動線ｃｔｌＬおよび画素駆動線ｃｔｌＳを有している。

【0037】

この場合、Ｘ行×Ｙ列の画素データＳｉｇのうち、各単色センサ画素群Ｐ１に対応する２行×２列の画素データＳｉｇにおいて、露光時間が互いに同じ２つの画素データＳｉｇ１の差分を取ることにより、受光面１１０Ａにおいて左右方向の位相差を得ることが可能である。この場合、画素アレイ部１１０は、各単色センサ画素群Ｐ１から、一方向（左右方向）の位相差データが得られるように構成されていることがわかる。

【0038】

なお、単色センサ画素群Ｐ１において、下段の２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“中（Middle）”に設定されていてもよい。この場合、単色センサ画素群Ｐ１において、上段の２つのセンサ画素１１１（フォトダイオードＰＤ）のうち一方の露光時間が“短(Short)”に設定され、他方の露光時間が“長(Long)”に設定される。このとき、画素アレイ部１１０は、各単色センサ画素群Ｐ１の下段に対応する箇所に、２本の画素駆動線ｃｔｌＭを有している。また、画素アレイ部１１０は、各単色センサ画素群Ｐ１の上段に対応する箇所に、画素駆動線ｃｔｌＬおよび画素駆動線ｃｔｌＳを有している。

【0039】

この場合にも、Ｘ行×Ｙ列の画素データＳｉｇのうち、各単色センサ画素群Ｐ１に対応する２行×２列の画素データＳｉｇにおいて、露光時間が互いに同じ２つの画素データＳｉｇ１の差分を取ることにより、受光面１１０Ａにおいて左右方向の位相差を得ることが可能である。この場合、画素アレイ部１１０は、各単色センサ画素群Ｐ１から、一方向（左右方向）の位相差データが得られるように構成されていることがわかる。

【0040】

また、各単色センサ画素群Ｐ１において、上下方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図７に示したように“中（Middle）”に設定されてもよい。つまり、各単色センサ画素群Ｐ１において、上下方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、互いに等しく設定されてもよい。図７には、単色センサ画素群Ｐ１において、左側の２つのフォトダイオードＰＤの露光時間が“中（Middle）”に設定され、右側の２つのセンサ画素１１１（フォトダイオードＰＤ）のうち一方の露光時間が“短(Short)”に設定され、他方の露光時間が“長(Long)”に設定される場合が例示されている。

【0041】

各単色センサ画素群Ｐ１において、右側の２つのセンサ画素１１１（フォトダイオードＰＤ）のうち上段の露光時間が“長(Long)”に設定され、下段の露光時間が“短(Short)”に設定されるとする。この場合、単色センサ画素群Ｐ１に割り当てられた２本の画素駆動線ｃｔｌＭのうち、一方の画素駆動線ｃｔｌＭは、単色センサ画素群Ｐ１の左上のセンサ画素１１１に接続され、他方の画素駆動線ｃｔｌＭは、単色センサ画素群Ｐ１の左下のセンサ画素１１１に接続される。画素駆動線ｃｔｌＳは、単色センサ画素群Ｐ１の右下のセンサ画素１１１に接続される。画素駆動線ｃｔｌＬは、単色センサ画素群Ｐ１の右上のセンサ画素１１１に接続される。画素アレイ部１１０は、各単色センサ画素群Ｐ１の上段に対応する箇所に、画素駆動線ｃｔｌＭおよび画素駆動線ｃｔｌＬを有している。また、画素アレイ部１１０は、各単色センサ画素群Ｐ１の下段に対応する箇所に、画素駆動線ｃｔｌＭおよび画素駆動線ｃｔｌＳを有している。

【0042】

また、各単色センサ画素群Ｐ１において、右側の２つのセンサ画素１１１（フォトダイオードＰＤ）のうち上段の露光時間が“短(Short)”に設定され、下段の露光時間が“長(Long)”に設定されるとする。この場合、単色センサ画素群Ｐ１に割り当てられた２本の画素駆動線ｃｔｌＭのうち、一方の画素駆動線ｃｔｌＭは、単色センサ画素群Ｐ１の左上のセンサ画素１１１に接続され、他方の画素駆動線ｃｔｌＭは、単色センサ画素群Ｐ１の左下のセンサ画素１１１に接続される。画素駆動線ｃｔｌＳは、単色センサ画素群Ｐ１の右上のセンサ画素１１１に接続される。画素駆動線ｃｔｌＬは、単色センサ画素群Ｐ１の右下のセンサ画素１１１に接続される。画素アレイ部１１０は、各単色センサ画素群Ｐ１の上段に対応する箇所に、画素駆動線ｃｔｌＭおよび画素駆動線ｃｔｌＳを有し、各単色センサ画素群Ｐ１の下段に対応する箇所に、画素駆動線ｃｔｌＭおよび画素駆動線ｃｔｌＬを有している。

【0043】

この場合、Ｘ行×Ｙ列の画素データＳｉｇのうち、各単色センサ画素群Ｐ１に対応する２行×２列の画素データＳｉｇにおいて、露光時間が互いに同じ２つの画素データＳｉｇ１の差分を取ることにより、受光面１１０Ａにおいて上下方向の位相差を得ることが可能である。この場合、画素アレイ部１１０は、各単色センサ画素群Ｐ１から、一方向（上下方向）の位相差データが得られるように構成されていることがわかる。

【0044】

なお、単色センサ画素群Ｐ１において、右側の２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“中（Middle）”に設定されてもよい。この場合、単色センサ画素群Ｐ１において、左側の２つのセンサ画素１１１（フォトダイオードＰＤ）のうち一方の露光時間が“短(Short)”に設定され、他方の露光時間が“長(Long)”に設定される。この場合にも、Ｘ行×Ｙ列の画素データＳｉｇのうち、各単色センサ画素群Ｐ１に対応する２行×２列の画素データＳｉｇにおいて、露光時間が互いに同じ２つの画素データＳｉｇ１の差分を取ることにより、受光面１１０Ａにおいて上下方向の位相差を得ることが可能である。この場合にも、画素アレイ部１１０は、各単色センサ画素群Ｐ１から、一方向（上下方向）の位相差データが得られるように構成されていることがわかる。

【0045】

次に、演算回路２０について説明する。

【0046】

図８は、演算回路２０における信号処理手順の一例を表す。演算回路２０は、撮像素子１０で得られた画像データＩａに基づいてＨＤＲ画像データＩｂを生成する。演算回路２０は、まず、画像データＩａを、露光時間ごとに分解する（ステップＳ１０１）。具体的には、演算回路２０は、画像データＩａを、露光時間が“中（Middle）”のデータ（画像データＩｍ）と、露光時間が“長(Long)”のデータ（画像データＩｌ）と、露光時間が“短(Short)”のデータ（画像データＩｓ）とに分解する。

【0047】

次に、演算回路２０は、画像データＩｍに基づいて位相差データＰｄ１を生成する（ステップＳ１０２）。具体的には、演算回路２０は、画像データＩｍにおいて、各単色センサ画素群Ｐ１に対応する２つの画素データＳｉｇ１の差分値を導出し、導出した差分値から位相差データＰｄ１を生成する。また、演算回路２０は、画像データＩｌ，Ｉｍに基づいて位相差データＰｄ２を生成する（ステップＳ１０２）。具体的には、演算回路２０は、画像データＩｌと、画像データＩｍに露光時間“長(Long)”と露光時間“中（Middle）”との露光時間比を乗算することにより得られた画像データＩｍ’との差分値を導出し、導出した差分値から位相差データＰｄ２を生成する。また、演算回路２０は、画像データＩｍ，Ｉｓに基づいて位相差データＰｄ３を生成する（ステップＳ１０２）。具体的には、演算回路２０は、画像データＩｍと、画像データＩｓに露光時間“中（Middle）”と露光時間“短(Short)”との露光時間比を乗算した画像データＩｓ’との差分値を導出し、導出した差分値から位相差データＰｄ３を生成する。

【0048】

次に、演算回路２０は、位相差データＰｄ１を位相差についてのレベルデータＤａに変換する（ステップＳ１０３）。レベルデータＤａは、例えば、下限値（例えば０ビット）から上限値（例えば１２８ビット）までの範囲内の値で表されるデータである。演算回路２０は、例えば、位相差データＰｄ１において、所定の範囲を下回る数値を下限値（例えば０ビット）に変換する。演算回路２０は、例えば、位相差データＰｄ１において、所定の範囲を上回る数値を上限値（例えば１２８ビット）に変換する。演算回路２０は、例えば、位相差データＰｄ１において、所定の範囲内にある数値を、その数値の大きさに応じた、１ビットから１２７ビットの範囲内の値に変換する。

【0049】

次に、演算回路２０は、位相差データＰｄ２，Ｐｄ３を動体についてのレベルデータＤｂに変換する（ステップＳ１０４）。レベルデータＤｂは、例えば、下限値（例えば０ビット）から上限値（例えば１２８ビット）までの範囲内の値で表されるデータである。具体的には、演算回路２０は、撮像素子１０のノイズレベルについてのデータ（ノイズデータ）と、位相差データＰｄ２，Ｐｄ３とに基づいてレベルデータＤｂを生成する。

【0050】

次に、演算回路２０は、得られたレベルデータＤａから、位相差の大きな箇所を検出する（ステップＳ１０５）。さらに、演算回路２０は、得られたレベルデータＤｂから、動体の有無を検出する（ステップＳ１０６）。最後に、演算回路２０は、画像データＩｍ，Ｉｌ，Ｉｓと、位相差の有無と、動体の有無とから、ＨＤＲ画像データＩｂを生成する（ステップＳ１０７）。このようにして、ＨＤＲ画像データＩｂが生成される。

【0051】

次に、撮像装置１における撮像手順について説明する。

【0052】

図９は、撮像装置１における撮像動作のフローチャートの一例を表す。ユーザは、操作部６０を操作することにより、撮像装置１に対して撮像開始を指示する（ステップＳ２０１）。すると、操作部６０は、撮像指令を撮像素子１０に送信する（ステップＳ２０２）。撮像素子１０（具体的にはシステム制御回路１２４）は、撮像指令を受けると、所定の撮像方式での撮像を実行する（ステップＳ２０３）。

【0053】

システム制御回路１２４は、例えば、画素駆動線ｃｔｌＭに接続された各センサ画素１１１に対して、露光時間が“中（Middle）”となるように露光制御を行う。システム制御回路１２４は、例えば、さらに、画素駆動線ｃｔｌＳに接続された各センサ画素１１１に対して、露光時間が“短(Short)”となるように露光制御を行う。システム制御回路１２４は、例えば、さらに、画素駆動線ｃｔｌＬに接続された各センサ画素１１１に対して、露光時間が“長(Long)” となるように露光制御を行う。このように、システム制御回路１２４は、センサ画素１１１ごとに露光時間の制御を行う。撮像素子１０は、そのような制御の下で得られた、画素数がＸ行×Ｙ列の画像データＩａを演算回路２０に出力する。

【0054】

演算回路２０は、撮像素子１０から入力された画像データＩａに基づいて所定の信号処理（例えばＨＤＲ画像データＩｂの生成など）を行う（ステップＳ２０４）。演算回路２０は、所定の信号処理により得られた画像データ（例えばＨＤＲ画像データＩｂ）をフレームメモリ３０に保持し、フレームメモリ３０は、保持した画像データ（例えばＨＤＲ画像データＩｂ）を記憶部５０に記録する（ステップＳ２０５）。このようにして、撮像装置１における撮像が行われる。

【0055】

[効果]
次に、本実施の形態に係る撮像装置１の効果について説明する。

【0056】

本実施の形態では、撮像素子１０は、一方向（右肩上がりの方向、右肩下がりの方向、左右方向、または、上下方向）の位相差データが得られるように構成されている。これにより、一方向において、位相差の有無と、動体の有無とを判別することができる。

【0057】

＜２．変形例＞
以下に、上記実施の形態に係る撮像素子１の変形例について説明する。

【0058】

[[変形例Ａ]]
上記実施の形態では、画素アレイ部１１０は、各単色センサ画素群Ｐ１から、一方向の位相差データが得られるように構成されていた。しかし、上記実施の形態において、画素アレイ部１１０は、各３色センサ画素群Ｐ２から、二方向の位相差データが得られるように構成されていてもよい。

【0059】

図１０は、本変形例に係る画素アレイ部１１０の構成例を表したものである。本変形例では、画素アレイ部１１０は、各３色センサ画素群Ｐ２から、右肩上がりの方向および右肩下がりの方向の位相差データが得られるように構成されている。このとき、各３色センサ画素群Ｐ２において、カラーフィルタＣＦｒ，ＣＦｂに対応する単色センサ画素群Ｐ１は、上記実施の形態に係る単色センサ画素群Ｐ１と同一の構成となっている。各３色センサ画素群Ｐ２において、一方のカラーフィルタＣＦｇに対応する単色センサ画素群Ｐ１（以下、「単色センサ画素群Ｐａ」と称する。）も、上記実施の形態に係る単色センサ画素群Ｐ１と同一の構成となっている。一方、各３色センサ画素群Ｐ２において、他方のカラーフィルタＣＦｇに対応する単色センサ画素群Ｐ１（以下、「単色センサ画素群Ｐｂ」と称する。）は、上記実施の形態に係る単色センサ画素群Ｐ１とは異なる構成となっている

【0060】

具体的には、各単色センサ画素群Ｐａにおいて、右肩上がりの方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図１０に示したように“中（Middle）”に設定される。つまり、各単色センサ画素群Ｐａにおいて、右肩上がりの方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、互いに等しく設定される。また、各単色センサ画素群Ｐａにおいて、右下のセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図１０に示したように“短(Short)”に設定される。また、各単色センサ画素群Ｐａにおいて、左上のセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図１０に示したように“長(Long)”に設定される。

【0061】

具体的には、各単色センサ画素群Ｐｂにおいて、右肩下がりの方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図１０に示したように“中（Middle）”に設定される。つまり、各単色センサ画素群Ｐｂにおいて、右肩下がりの方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、互いに等しく設定される。また、各単色センサ画素群Ｐｂにおいて、左下のセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図１０に示したように“短(Short)”に設定される。また、各単色センサ画素群Ｐｂにおいて、右上のセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図１０に示したように“長(Long)”に設定される。言い換えると、システム制御回路１２４は、各単色センサ画素群Ｐｂのうち、３つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに異なるとともに、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに同じになるように、複数のセンサ画素１１１（フォトダイオードＰＤ）の露光時間を制御する。

【0062】

単色センサ画素群Ｐａに割り当てられた２本の画素駆動線ｃｔｌＭのうち、一方の画素駆動線ｃｔｌＭは、単色センサ画素群Ｐａの右上のセンサ画素１１１に接続され、他方の画素駆動線ｃｔｌＭは、単色センサ画素群Ｐａの左下のセンサ画素１１１に接続される。画素駆動線ｃｔｌＳは、単色センサ画素群Ｐａの右下のセンサ画素１１１に接続される。画素駆動線ｃｔｌＬは、単色センサ画素群Ｐａの左上のセンサ画素１１１に接続される。

【0063】

単色センサ画素群Ｐｂに割り当てられた２本の画素駆動線ｃｔｌＭのうち、一方の画素駆動線ｃｔｌＭは、単色センサ画素群Ｐｂの左上のセンサ画素１１１に接続され、他方の画素駆動線ｃｔｌＭは、単色センサ画素群Ｐｂの右下のセンサ画素１１１に接続される。画素駆動線ｃｔｌＳは、単色センサ画素群Ｐｂの左下のセンサ画素１１１に接続される。画素駆動線ｃｔｌＬは、単色センサ画素群Ｐｂの右上のセンサ画素１１１に接続される。

【0064】

ここで、画素アレイ部１１０は、各単色センサ画素群Ｐ１の上段に対応する箇所に、画素駆動線ｃｔｌＬおよび画素駆動線ｃｔｌＭを有している。また、画素アレイ部１１０は、各単色センサ画素群Ｐ１の下段に対応する箇所に、画素駆動線ｃｔｌＭおよび画素駆動線ｃｔｌＳを有している。これにより、二方向（右肩上がりの方向および右肩下がりの方向）において、位相差の有無と、動体の有無とを判別することができる。

【0065】

なお、各３色センサ画素群Ｐ２において、単色センサ画素群Ｐａが右上に配置され、単色センサ画素群Ｐｂが左下に配置されてもよい。また、各３色センサ画素群Ｐ２において、単色センサ画素群Ｐａが左下に配置され、単色センサ画素群Ｐｂが右上に配置されてもよい。また、複数の単色センサ画素群Ｐａと、複数の単色センサ画素群Ｐｂとが、受光面１１０Ａ内の二方向（右肩上がりの方向および右肩下がりの方向）において、交互に配置されてもよい。

【0066】

本変形例において、画素アレイ部１１０は、例えば、図１１に示したように、各３色センサ画素群Ｐ２から、左右方向および上下方向の位相差データが得られるように構成されていてもよい。このとき、画素アレイ部１１０は、各３色センサ画素群Ｐ２において、一方のカラーフィルタＣＦｇに対応する単色センサ画素群Ｐ１（以下、「単色センサ画素群Ｐｃ」と称する。）から、左右方向の位相差データが得られるように構成されていてもよい。さらに、画素アレイ部１１０は、各３色センサ画素群Ｐ２において、他方のカラーフィルタＣＦｇに対応する単色センサ画素群Ｐ１（以下、「単色センサ画素群Ｐｄ」と称する。）から、上下方向の位相差データが得られるように構成されていてもよい。

【0067】

ここで、各単色センサ画素群Ｐｃにおいて、上段に配置される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図１１に示したように“中（Middle）”に設定される。つまり、各単色センサ画素群Ｐｃにおいて、上段に配置される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、互いに等しく設定される。また、各単色センサ画素群Ｐｃにおいて、図１１に示したように、下段に配置される２つのセンサ画素１１１（フォトダイオードＰＤ）のうち一方のセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“短(Short)”に設定され、他方のセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“長(Long)”に設定される。

【0068】

また、各単色センサ画素群Ｐｄにおいて、左側に配置される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図１１に示したように“中（Middle）”に設定される。つまり、各単色センサ画素群Ｐｄにおいて、左側に配置される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、互いに等しく設定される。また、各単色センサ画素群Ｐｄにおいて、図１１に示したように、右上に配置されるセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“長(Long)”に設定され、右下のセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“短(Short)”に設定される。

【0069】

単色センサ画素群Ｐｃに割り当てられた２本の画素駆動線ｃｔｌＭのうち、一方の画素駆動線ｃｔｌＭは、単色センサ画素群Ｐｃの左上のセンサ画素１１１に接続され、他方の画素駆動線ｃｔｌＭは、単色センサ画素群Ｐｃの右上のセンサ画素１１１に接続される。画素駆動線ｃｔｌＳは、単色センサ画素群Ｐｃの右下のセンサ画素１１１に接続される。画素駆動線ｃｔｌＬは、単色センサ画素群Ｐｃの左下のセンサ画素１１１に接続される。

【0070】

単色センサ画素群Ｐｄに割り当てられた２本の画素駆動線ｃｔｌＭのうち、一方の画素駆動線ｃｔｌＭは、単色センサ画素群Ｐｄの左上のセンサ画素１１１に接続され、他方の画素駆動線ｃｔｌＭは、単色センサ画素群Ｐｄの左下のセンサ画素１１１に接続される。画素駆動線ｃｔｌＳは、単色センサ画素群Ｐｄの右下のセンサ画素１１１に接続される。画素駆動線ｃｔｌＬは、単色センサ画素群Ｐｄの右上のセンサ画素１１１に接続される。

【0071】

なお、各単色センサ画素群Ｐｃにおいて、下段に配置される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、“中（Middle）”に設定されてもよい。つまり、各単色センサ画素群Ｐｃにおいて、下段に配置される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、互いに等しく設定されてもよい。また、各単色センサ画素群Ｐｄにおいて、右側に配置される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、“中（Middle）”に設定されてもよい。つまり、各単色センサ画素群Ｐｄにおいて、右側に配置される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、互いに等しく設定されてもよい。

【0072】

各単色センサ画素群Ｐｃにおいて、上段に配置される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、“中（Middle）”に設定される場合には、画素アレイ部１１０は、各単色センサ画素群Ｐｃの上段に対応する箇所に、２本の画素駆動線ｃｔｌＭを有し、各単色センサ画素群Ｐｃの下段に対応する箇所に、画素駆動線ｃｔｌＳおよびを画素駆動線ｃｔｌＬ有している。一方、各単色センサ画素群Ｐｃにおいて、下段に配置される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、“中（Middle）”に設定される場合には、画素アレイ部１１０は、各単色センサ画素群Ｐｃの下段に対応する箇所に、２本の画素駆動線ｃｔｌＭを有し、各単色センサ画素群Ｐｃの上段に対応する箇所に、画素駆動線ｃｔｌＳおよびを画素駆動線ｃｔｌＬ有している。

【0073】

各単色センサ画素群Ｐｄにおいて、左側に配置される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、“中（Middle）”に設定される場合には、画素アレイ部１１０は、各単色センサ画素群Ｐｄの上段に対応する箇所に、１本の画素駆動線ｃｔｌＭを有するとともに、各単色センサ画素群Ｐｄの下段に対応する箇所に、１本の画素駆動線ｃｔｌＭを有している。各単色センサ画素群Ｐｄにおいて、右側に配置される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、“中（Middle）”に設定される場合には、画素アレイ部１１０は、各単色センサ画素群Ｐｄの上段に対応する箇所に、１本の画素駆動線ｃｔｌＭを有するとともに、各単色センサ画素群Ｐｄの下段に対応する箇所に、１本の画素駆動線ｃｔｌＭを有している。

【0074】

このように、本変形例では、撮像素子１０は、二方向（左右方向および上下方向）の位相差データが得られるように構成されている。これにより、二方向において、位相差の有無と、動体の有無とを判別することができる。

【0075】

[[変形例Ｂ]]
上記変形例Ａでは、画素アレイ部１１０は、各３色センサ画素群Ｐ２から、二方向の位相差データが得られるように構成されていた。しかし、上記変形例Ａにおいて、画素アレイ部１１０は、２行×２列の３色センサ画素群Ｐ２（以下、「３色センサ画素群Ｐ３」と称する。）から、三方向の位相差データが得られるように構成されていてもよい。

【0076】

図１２は、本変形例に係る画素アレイ部１１０の構成例を表したものである。図１３は、図１２の画素アレイ部１１０の配線レイアウトの一例を表したものである。図１４は、図１２の画素アレイ部１１０で検出可能な位相差の方向の一例を表したものである。

【0077】

本変形例では、画素アレイ部１１０は、各３色センサ画素群Ｐ３から、右肩上がりの方向、上下方向および左右方向の位相差データが得られるように構成されている。このとき、各３色センサ画素群Ｐ３において、カラーフィルタＣＦｒ，ＣＦｂに対応する単色センサ画素群Ｐ１（以下、「単色センサ画素群Ｐｈ」と称する。）は、上記実施の形態に係る単色センサ画素群Ｐ１と同一の構成となっている。各３色センサ画素群Ｐ３に含まれる左上および右下の３色センサ画素群Ｐ２において、各カラーフィルタＣＦｇに対応する単色センサ画素群Ｐ１（以下、「単色センサ画素群Ｐｅ」と称する。）も、上記実施の形態に係る単色センサ画素群Ｐ１と同一の構成となっている。一方、各３色センサ画素群Ｐ３に含まれる左下の３色センサ画素群Ｐ２において、各カラーフィルタＣＦｇに対応する単色センサ画素群Ｐ１（以下、「単色センサ画素群Ｐｆ」と称する。）は、上記実施の形態に係る単色センサ画素群Ｐ１とは異なる構成となっている。さらに、各３色センサ画素群Ｐ３に含まれる右上の３色センサ画素群Ｐ２において、各カラーフィルタＣＦｇに対応する単色センサ画素群Ｐ１（以下、「単色センサ画素群Ｐｇ」と称する。）は、上記実施の形態に係る単色センサ画素群Ｐ１とは異なる構成となっている。

【0078】

具体的には、単色センサ画素群Ｐｆにおいて、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“短(Short)”に設定され、残りの２つのセンサ画素１１１（フォトダイオードＰＤ）のうちの１つの露光時間が、“中（Middle）”に設定され、残りの１つの露光時間が、“長(Long)”に設定される。つまり、単色センサ画素群Ｐｆには、露光時間の互いに異なる３種類のセンサ画素１１１（フォトダイオードＰＤ）が含まれ、さらに、露光時間が互いに同じ２つのセンサ画素１１１（フォトダイオードＰＤ）が含まれる。言い換えると、システム制御回路１２４は、単色センサ画素群Ｐｆのうち、３つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに異なるとともに、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに同じになるように、複数のセンサ画素１１１（フォトダイオードＰＤ）の露光時間を制御する。

【0079】

各単色センサ画素群Ｐｆにおいて、下段に左右方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図１２に示したように、“短(Short)”に設定される。つまり、各単色センサ画素群Ｐｆにおいて、下段に左右方向に配列された２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、互いに等しく設定される。また、各単色センサ画素群Ｐｆにおいて、右上のセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図１２に示したように、“中（Middle）”に設定される。また、各単色センサ画素群Ｐｆにおいて、左上のセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図１２に示したように、“長(Long)”に設定される。

【0080】

単色センサ画素群Ｐｆに割り当てられた２本の画素駆動線ｃｔｌＳのうち、一方の画素駆動線ｃｔｌＳは、単色センサ画素群Ｐｆの左下のセンサ画素１１１に接続され、他方の画素駆動線ｃｔｌＳは、単色センサ画素群Ｐｆの右下のセンサ画素１１１に接続される。画素駆動線ｃｔｌＭは、単色センサ画素群Ｐｆの右上のセンサ画素１１１に接続される。画素駆動線ｃｔｌＬは、単色センサ画素群Ｐｆの左上のセンサ画素１１１に接続される。このとき、画素アレイ部１１０は、各単色センサ画素群Ｐｆの上段に対応する箇所に、画素駆動線ｃｔｌＬおよび画素駆動線ｃｔｌＭを有している。また、画素アレイ部１１０は、各単色センサ画素群Ｐｆの下段に対応する箇所に、２本の画素駆動線ｃｔｌＳを有している。

【0081】

なお、各単色センサ画素群Ｐｆにおいて、露光時間が“中（Middle）”に設定される１つのセンサ画素１１１（フォトダイオードＰＤ）が左上に配置され、露光時間が“長(Long)”に設定される１つのセンサ画素１１１（フォトダイオードＰＤ）が右上に配置されてもよい。また、各単色センサ画素群Ｐｆにおいて、露光時間が“短(Short)”に設定される２つのセンサ画素１１１（フォトダイオードＰＤ）が、上段に配置され、かつ、左右方向に配列されてもよい。この場合、単色センサ画素群Ｐｆにおいて、下段の２つのセンサ画素１１１（フォトダイオードＰＤ）のうち一方の露光時間が“中（Middle）”に設定され、他方の露光時間が“長(Long)”に設定される。このとき、画素アレイ部１１０は、各単色センサ画素群Ｐｆの上段に対応する箇所に、２本の画素駆動線ｃｔｌＳを有している。また、画素アレイ部１１０は、各単色センサ画素群Ｐｆの下段に対応する箇所に、画素駆動線ｃｔｌＬおよび画素駆動線ｃｔｌＭを有している。

【0082】

また、単色センサ画素群Ｐｇにおいて、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“長(Long)”に設定され、残りの２つのセンサ画素１１１（フォトダイオードＰＤ）のうちの１つの露光時間が、“中（Middle）”に設定され、残りの１つの露光時間が、“短(Short)”に設定される。つまり、単色センサ画素群Ｐｇには、露光時間の互いに異なる３種類のセンサ画素１１１（フォトダイオードＰＤ）が含まれ、さらに、露光時間が互いに同じ２つのセンサ画素１１１（フォトダイオードＰＤ）が含まれる。言い換えると、システム制御回路１２４は、単色センサ画素群Ｐｇのうち、３つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに異なるとともに、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに同じになるように、複数のセンサ画素１１１（フォトダイオードＰＤ）の露光時間を制御する。

【0083】

各単色センサ画素群Ｐｇにおいて、露光時間が“長(Long)”に設定される２つのセンサ画素１１１（フォトダイオードＰＤ）は、例えば、図１２に示したように、左側に配置され、かつ、上下方向に配列される。つまり、各単色センサ画素群Ｐｇにおいて、露光時間が互いに同じ２つのセンサ画素１１１（フォトダイオードＰＤ）は、例えば、図１２に示したように、左側に配置され、かつ、上下方向に配列される。また、各単色センサ画素群Ｐｇにおいて、露光時間が“中（Middle）”に設定される１つのセンサ画素１１１（フォトダイオードＰＤ）は、例えば、図１２に示したように、右上に配置される。また、各単色センサ画素群Ｐｇにおいて、露光時間が“短(Short)”に設定される１つのセンサ画素１１１（フォトダイオードＰＤ）は、例えば、図１２に示したように、右下に配置される。

【0084】

単色センサ画素群Ｐｇに割り当てられた２本の画素駆動線ｃｔｌＬのうち、一方の画素駆動線ｃｔｌＬは、単色センサ画素群Ｐｇの左上のセンサ画素１１１に接続され、他方の画素駆動線ｃｔｌＬは、単色センサ画素群Ｐｇの左下のセンサ画素１１１に接続される。画素駆動線ｃｔｌＭは、単色センサ画素群Ｐｇの右上のセンサ画素１１１に接続される。画素駆動線ｃｔｌＳは、単色センサ画素群Ｐｇの右下のセンサ画素１１１に接続される。このとき、画素アレイ部１１０は、各単色センサ画素群Ｐｇの上段に対応する箇所に、画素駆動線ｃｔｌＬおよび画素駆動線ｃｔｌＭを有している。また、画素アレイ部１１０は、各単色センサ画素群Ｐｆの下段に対応する箇所に、画素駆動線ｃｔｌＬおよび画素駆動線ｃｔｌＳを有している。

【0085】

なお、各単色センサ画素群Ｐｇにおいて、露光時間が“中（Middle）”に設定される１つのセンサ画素１１１（フォトダイオードＰＤ）が右下に配置され、露光時間が“短(Short)”に設定される１つのセンサ画素１１１（フォトダイオードＰＤ）が右上に配置されてもよい。このとき、画素アレイ部１１０は、各単色センサ画素群Ｐｇの上段に対応する箇所に、画素駆動線ｃｔｌＬおよび画素駆動線ｃｔｌＳを有している。また、画素アレイ部１１０は、各単色センサ画素群Ｐｆの下段に対応する箇所に、画素駆動線ｃｔｌＬおよび画素駆動線ｃｔｌＭを有している。また、各単色センサ画素群Ｐｇにおいて、露光時間が“長(Long)”に設定される２つのセンサ画素１１１（フォトダイオードＰＤ）が、右側に配置され、かつ、上下方向に配列されてもよい。この場合、単色センサ画素群Ｐｇにおいて、左側の２つのセンサ画素１１１（フォトダイオードＰＤ）のうち一方の露光時間が“中（Middle）”に設定され、他方の露光時間が“短(Short)”に設定される。

【0086】

本変形例では、画像データＩａには、画素アレイ部１１０におけるＸ行×Ｙ列のセンサ画素１１１に対応するＸ行×Ｙ列の画素データＳｉｇが含まれる。Ｘ行×Ｙ列の画素データＳｉｇのうち、単色センサ画素群Ｐｈに対応する２行×２列の画素データＳｉｇには、露光時間が“中（Middle）”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ１と、露光時間が“短(Short)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ２と、露光時間が“長(Long)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ３とが含まれる。また、Ｘ行×Ｙ列の画素データＳｉｇのうち、単色センサ画素群Ｐｅに対応する２行×２列の画素データＳｉｇには、露光時間が“中（Middle）”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ１と、露光時間が“短(Short)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ２と、露光時間が“長(Long)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ３とが含まれる。

【0087】

また、Ｘ行×Ｙ列の画素データＳｉｇのうち、単色センサ画素群Ｐｆに対応する２行×２列の画素データＳｉｇには、露光時間が“短(Short)”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ２と、露光時間が“中（Middle）”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ１と、露光時間が“長(Long)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ３とが含まれる。また、Ｘ行×Ｙ列の画素データＳｉｇのうち、単色センサ画素群Ｐｇに対応する２行×２列の画素データＳｉｇには、露光時間が“長(Long)”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ３と、露光時間が“中（Middle）”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ１と、露光時間が“短(Short)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ２とが含まれる。

【0088】

次に、本変形例における演算回路２０について説明する。

【0089】

図１５は、本変形例における演算回路２０における信号処理手順の一例を表す。演算回路２０は、撮像素子１０で得られた画像データＩａに基づいてＨＤＲ画像データＩｂを生成する。演算回路２０は、まず、画像データＩａを、露光時間ごとに分解する（ステップＳ３０１）。具体的には、演算回路２０は、画像データＩａを、露光時間が“中（Middle）”のデータ（画像データＩｍ）と、露光時間が“長(Long)”のデータ（画像データＩｌ）と、露光時間が“短(Short)”のデータ（画像データＩｓ）とに分解する。

【0090】

次に、演算回路２０は、画像データＩｍに基づいて位相差データＰｄ１１を生成する（ステップＳ３０２）。具体的には、演算回路２０は、画像データＩｍにおいて、各単色センサ画素群Ｐｅに対応する２つの画素データＳｉｇ１の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第１方向（右肩上がりの方向）の位相差データＰｄ１１を生成する。また、画像データＩｓに基づいて位相差データＰｄ１２を生成する（ステップＳ３０２）。具体的には、演算回路２０は、画像データＩｓにおいて、各単色センサ画素群Ｐｆに対応する２つの画素データＳｉｇ２の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第２方向（左右方向）の位相差データＰｄ１２を生成する。また、画像データＩｌに基づいて位相差データＰｄ１３を生成する（ステップＳ３０２）。具体的には、演算回路２０は、画像データＩｌにおいて、各単色センサ画素群Ｐｇに対応する２つの画素データＳｉｇ３の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第３方向（左右方向）の位相差データＰｄ１３を生成する。

【0091】

また、演算回路２０は、画像データＩｌ，Ｉｍに基づいて位相差データＰｄ１４を生成する（ステップＳ３０２）。具体的には、演算回路２０は、画像データＩｌと、画像データＩｍに露光時間“長(Long)”と露光時間“中（Middle）”との露光時間比を乗算することにより得られた画像データＩｍ’との差分値を導出し、導出した差分値から位相差データＰｄ１４を生成する。また、演算回路２０は、画像データＩｍ，Ｉｓに基づいて位相差データＰｄ１５を生成する（ステップＳ３０２）。具体的には、演算回路２０は、画像データＩｍと、画像データＩｓに露光時間“中（Middle）”と露光時間“短(Short)”との露光時間比を乗算した画像データＩｓ’との差分値を導出し、導出した差分値から位相差データＰｄ１５を生成する。

【0092】

次に、演算回路２０は、位相差データＰｄ１１，Ｐｄ１２，Ｐｄ１３に基づいて、位相差についてのレベルデータＤａを生成する（ステップＳ３０３）。レベルデータＤａは、例えば、下限値（例えば０ビット）から上限値（例えば１２８ビット）までの範囲内の値で表されるデータである。演算回路２０は、例えば、位相差データＰｄ１１，Ｐｄ１２，Ｐｄ１３において、所定の範囲を下回る数値を下限値（例えば０ビット）に変換する。演算回路２０は、例えば、位相差データＰｄ１１，Ｐｄ１２，Ｐｄ１３において、所定の範囲を上回る数値を上限値（例えば１２８ビット）に変換する。演算回路２０は、例えば、位相差データＰｄ１１，Ｐｄ１２，Ｐｄ１３において、所定の範囲内にある数値を、その数値の大きさに応じた、１ビットから１２７ビットの範囲内の値に変換する。

【0093】

次に、演算回路２０は、位相差データＰｄ１４，Ｐｄ１５を動体についてのレベルデータＤｂに変換する（ステップＳ１０４）。レベルデータＤｂは、例えば、下限値（例えば０ビット）から上限値（例えば１２８ビット）までの範囲内の値で表されるデータである。具体的には、演算回路２０は、撮像素子１０のノイズレベルについてのデータ（ノイズデータ）と、位相差データＰｄ１４，Ｐｄ１５とに基づいてレベルデータＤｂを生成する。

【0094】

次に、演算回路２０は、得られたレベルデータＤａから、位相差の大きな箇所を検出する（ステップＳ３０５）。さらに、演算回路２０は、得られたレベルデータＤｂから、動体の有無を検出する（ステップＳ３０６）。最後に、演算回路２０は、画像データＩｍ，Ｉｌ，Ｉｓと、位相差の有無と、動体の有無とから、ＨＤＲ画像データＩｂを生成する（ステップＳ３０７）。このようにして、ＨＤＲ画像データＩｂが生成される。

【0095】

このように、本変形例では、撮像素子１０は、２行×２列の３色センサ画素群Ｐ２（以下、「３色センサ画素群Ｐ３」と称する。）から、三方向の位相差データが得られるように構成されている。これにより、三方向において、位相差の有無と、動体の有無とを判別することができる。

【0096】

[[変形例Ｃ]]
上記実施の形態およびその変形例では、画素アレイ部１１０は、単色センサ画素群Ｐ１に対応する２行×２列の画素データＳｉｇから一方向の位相差データが得られるように構成されていた。しかし、上記実施の形態およびその変形例において、画素アレイ部１１０は、単色センサ画素群Ｐ１に対応する２行×２列の画素データＳｉｇから、二方向の位相差データが得られるように構成されていてもよい。

【0097】

図１６は、本変形例に係る画素アレイ部１１０の構成例を表したものである。本変形例では、画素アレイ部１１０は、各３色センサ画素群Ｐ２から、右肩上がりの方向および右肩下がりの方向の位相差データが得られるように構成されている。このとき、各３色センサ画素群Ｐ２において、カラーフィルタＣＦｒ，ＣＦｂに対応する単色センサ画素群Ｐ１（単色センサ画素群Ｐｈ）は、上記実施の形態に係る単色センサ画素群Ｐ１と同一の構成となっている。各３色センサ画素群Ｐ２において、各カラーフィルタＣＦｇに対応する単色センサ画素群Ｐ１（単色センサ画素群Ｐａ，Ｐｂ）は、上記実施の形態に係る単色センサ画素群Ｐ１とは異なる構成となっている。

【0098】

具体的には、各単色センサ画素群Ｐｂにおいて、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“短(Short)”に設定され、残りの２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“中（Middle）”に設定される。言い換えると、システム制御回路１２４は、単色センサ画素群Ｐｂのうち、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに異なるとともに、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに同じになるように、複数のセンサ画素１１１（フォトダイオードＰＤ）の露光時間を制御する。また、各単色センサ画素群Ｐｂにおいて、露光時間が“短(Short)”に設定される２つのセンサ画素１１１（フォトダイオードＰＤ）は、例えば、図１６に示したように、右肩下がりの方向に配列される。つまり、各単色センサ画素群Ｐｂにおいて、露光時間が互いに同じ２つのセンサ画素１１１（フォトダイオードＰＤ）は、例えば、図１６に示したように、右肩下がりの方向に配列される。また、各単色センサ画素群Ｐｂにおいて、露光時間が“中（Middle）”に設定される２つのセンサ画素１１１（フォトダイオードＰＤ）は、例えば、図１６に示したように、右肩上がりに配列される。つまり、各単色センサ画素群Ｐｂにおいて、露光時間が互いに同じ２つのセンサ画素１１１（フォトダイオードＰＤ）は、例えば、図１６に示したように、右肩上がりの方向にも配列される。

【0099】

単色センサ画素群Ｐｂに割り当てられた２本の画素駆動線ｃｔｌＳのうち、一方の画素駆動線ｃｔｌＳは、単色センサ画素群Ｐｂの左上のセンサ画素１１１に接続され、他方の画素駆動線ｃｔｌＳは、単色センサ画素群Ｐｂの右下のセンサ画素１１１に接続される。単色センサ画素群Ｐｂに割り当てられた２本の画素駆動線ｃｔｌＭのうち、一方の画素駆動線ｃｔｌＭは、単色センサ画素群Ｐｂの左下のセンサ画素１１１に接続され、他方の画素駆動線ｃｔｌＭは、単色センサ画素群Ｐｂの右上のセンサ画素１１１に接続される。

【0100】

このとき、画素アレイ部１１０は、各単色センサ画素群Ｐｂの上段に対応する箇所に、画素駆動線ｃｔｌＭおよび画素駆動線ｃｔｌＳを有している。また、画素アレイ部１１０は、各単色センサ画素群Ｐｂの下段に対応する箇所に、画素駆動線ｃｔｌＭおよび画素駆動線ｃｔｌＳを有している。ここで、単色センサ画素群Ｐｂの右隣または左隣りに配置される単色センサ画素群Ｐｈの上段に含まれる１つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“長(Long)”に設定される場合には、画素アレイ部１１０は、各単色センサ画素群Ｐｂの上段に対応する箇所に、さらに、画素駆動線ｃｔｌＬを有している。また、単色センサ画素群Ｐｂの右隣または左隣りに配置される単色センサ画素群Ｐｈの下段に含まれる１つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“長(Long)”に設定される場合には、画素アレイ部１１０は、各単色センサ画素群Ｐｂの下段に対応する箇所に、さらに、画素駆動線ｃｔｌＬを有している。

【0101】

また、各単色センサ画素群Ｐａにおいて、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“長(Long)”に設定され、残りの２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“中（Middle）”に設定される。言い換えると、システム制御回路１２４は、単色センサ画素群Ｐａのうち、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに異なるとともに、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに同じになるように、複数のセンサ画素１１１（フォトダイオードＰＤ）の露光時間を制御する。また、各単色センサ画素群Ｐａにおいて、露光時間が“長(Long)”に設定される２つのセンサ画素１１１（フォトダイオードＰＤ）は、例えば、図１６に示したように、右肩下がりの方向に配列される。つまり、各単色センサ画素群Ｐａにおいて、露光時間が互いに同じ２つのセンサ画素１１１（フォトダイオードＰＤ）は、例えば、図１６に示したように、右肩下がりの方向に配列される。また、各単色センサ画素群Ｐａにおいて、露光時間が“中（Middle）”に設定される２つのセンサ画素１１１（フォトダイオードＰＤ）は、例えば、図１６に示したように、右肩上がりに配列される。つまり、各単色センサ画素群Ｐａにおいて、露光時間が互いに同じ２つのセンサ画素１１１（フォトダイオードＰＤ）は、例えば、図１６に示したように、右肩上がりの方向にも配列される。

【0102】

単色センサ画素群Ｐａに割り当てられた２本の画素駆動線ｃｔｌＬのうち、一方の画素駆動線ｃｔｌＬは、単色センサ画素群Ｐａの左上のセンサ画素１１１に接続され、他方の画素駆動線ｃｔｌＬは、単色センサ画素群Ｐａの右下のセンサ画素１１１に接続される。単色センサ画素群Ｐａに割り当てられた２本の画素駆動線ｃｔｌＭのうち、一方の画素駆動線ｃｔｌＭは、単色センサ画素群Ｐａの左下のセンサ画素１１１に接続され、他方の画素駆動線ｃｔｌＭは、単色センサ画素群Ｐａの右上のセンサ画素１１１に接続される。

【0103】

このとき、画素アレイ部１１０は、各単色センサ画素群Ｐａの上段に対応する箇所に、画素駆動線ｃｔｌＬおよび画素駆動線ｃｔｌＭを有している。また、画素アレイ部１１０は、各単色センサ画素群Ｐａの下段に対応する箇所に、画素駆動線ｃｔｌＭおよび画素駆動線ｃｔｌＬを有している。ここで、単色センサ画素群Ｐａの右隣または左隣りに配置される単色センサ画素群Ｐｈの下段に含まれる１つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“短(Short)”に設定される場合には、画素アレイ部１１０は、各単色センサ画素群Ｐａの下段に対応する箇所に、さらに、画素駆動線ｃｔｌＳを有している。また、単色センサ画素群Ｐａの右隣または左隣りに配置される単色センサ画素群Ｐｈの上段に含まれる１つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“短(Short)”に設定される場合には、画素アレイ部１１０は、各単色センサ画素群Ｐａの上段に対応する箇所に、さらに、画素駆動線ｃｔｌＳを有している。

【0104】

本変形例では、画像データＩａには、画素アレイ部１１０におけるＸ行×Ｙ列のセンサ画素１１１に対応するＸ行×Ｙ列の画素データＳｉｇが含まれる。Ｘ行×Ｙ列の画素データＳｉｇのうち、単色センサ画素群Ｐｈに対応する２行×２列の画素データＳｉｇには、露光時間が“中（Middle）”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ１と、露光時間が“短(Short)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ２と、露光時間が“長(Long)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ３とが含まれる。また、Ｘ行×Ｙ列の画素データＳｉｇのうち、単色センサ画素群Ｐａに対応する２行×２列の画素データＳｉｇには、露光時間が“中（Middle）”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ１と、露光時間が“短(Short)”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ２とが含まれる。また、Ｘ行×Ｙ列の画素データＳｉｇのうち、単色センサ画素群Ｐｂに対応する２行×２列の画素データＳｉｇには、露光時間が“中（Middle）”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ１と、露光時間が“長(Long)”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ３とが含まれる。

【0105】

次に、本変形例における演算回路２０について説明する。

【0106】

図１７は、本変形例における演算回路２０における信号処理手順の一例を表す。演算回路２０は、撮像素子１０で得られた画像データＩａに基づいてＨＤＲ画像データＩｂを生成する。演算回路２０は、まず、画像データＩａを、露光時間ごとに分解する（ステップＳ４０１）。具体的には、演算回路２０は、画像データＩａを、露光時間が“中（Middle）”のデータ（画像データＩｍ）と、露光時間が“長(Long)”のデータ（画像データＩｌ）と、露光時間が“短(Short)”のデータ（画像データＩｓ）とに分解する。

【0107】

次に、演算回路２０は、画像データＩｍに基づいて位相差データＰｄ２１を生成する（ステップＳ４０２）。具体的には、演算回路２０は、画像データＩｍにおいて、各単色センサ画素群Ｐａ，Ｐｂに対応する２つの画素データＳｉｇ１の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第１方向（右肩上がりの方向）の位相差データＰｄ２１を生成する。また、画像データＩｓに基づいて位相差データＰｄ２２を生成する（ステップＳ４０２）。具体的には、演算回路２０は、画像データＩｓにおいて、各単色センサ画素群Ｐａに対応する２つの画素データＳｉｇ２の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第２方向（右肩下がりの方向）の位相差データＰｄ２２を生成する。また、画像データＩｌに基づいて位相差データＰｄ２３を生成する（ステップＳ４０２）。具体的には、演算回路２０は、画像データＩｌにおいて、各単色センサ画素群Ｐｂに対応する２つの画素データＳｉｇ３の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第２方向（右肩下がりの方向）の位相差データＰｄ２３を生成する。

【0108】

また、演算回路２０は、画像データＩｌ，Ｉｍに基づいて位相差データＰｄ２４を生成する（ステップＳ４０２）。具体的には、演算回路２０は、画像データＩｌと、画像データＩｍに露光時間“長(Long)”と露光時間“中（Middle）”との露光時間比を乗算することにより得られた画像データＩｍ’との差分値を導出し、導出した差分値から位相差データＰｄ２４を生成する。また、演算回路２０は、画像データＩｍ，Ｉｓに基づいて位相差データＰｄ２５を生成する（ステップＳ４０２）。具体的には、演算回路２０は、画像データＩｍと、画像データＩｓに露光時間“中（Middle）”と露光時間“短(Short)”との露光時間比を乗算した画像データＩｓ’との差分値を導出し、導出した差分値から位相差データＰｄ２５を生成する。

【0109】

次に、演算回路２０は、位相差データＰｄ２１，Ｐｄ２２，Ｐｄ２３に基づいて、位相差についてのレベルデータＤａを生成する（ステップＳ４０３）。レベルデータＤａは、例えば、下限値（例えば０ビット）から上限値（例えば１２８ビット）までの範囲内の値で表されるデータである。演算回路２０は、例えば、位相差データＰｄ２１，Ｐｄ２２，Ｐｄ２３において、所定の範囲を下回る数値を下限値（例えば０ビット）に変換する。演算回路２０は、例えば、位相差データＰｄ２１，Ｐｄ２２，Ｐｄ２３において、所定の範囲を上回る数値を上限値（例えば１２８ビット）に変換する。演算回路２０は、例えば、位相差データＰｄ２１，Ｐｄ２２，Ｐｄ２３において、所定の範囲内にある数値を、その数値の大きさに応じた、１ビットから１２７ビットの範囲内の値に変換する。

【0110】

次に、演算回路２０は、位相差データＰｄ２４，Ｐｄ２５を動体についてのレベルデータＤｂに変換する（ステップＳ４０４）。レベルデータＤｂは、例えば、下限値（例えば０ビット）から上限値（例えば１２８ビット）までの範囲内の値で表されるデータである。具体的には、演算回路２０は、撮像素子１０のノイズレベルについてのデータ（ノイズデータ）と、位相差データＰｄ２４，Ｐｄ２５とに基づいてレベルデータＤｂを生成する。

【0111】

次に、演算回路２０は、得られたレベルデータＤａから、位相差の大きな箇所を検出する（ステップＳ４０５）。さらに、演算回路２０は、得られたレベルデータＤｂから、動体の有無を検出する（ステップＳ４０６）。最後に、演算回路２０は、画像データＩｍ，Ｉｌ，Ｉｓと、位相差の有無と、動体の有無とから、ＨＤＲ画像データＩｂを生成する（ステップＳ４０７）。このようにして、ＨＤＲ画像データＩｂが生成される。

【0112】

本変形例では、撮像素子１０は、単色センサ画素群Ｐ１に対応する２行×２列の画素データＳｉｇから、二方向の位相差データが得られるように構成されている。これにより、二方向において、位相差の有無と、動体の有無とを判別することができる。

【0113】

[[変形例Ｄ]]
上記実施の形態およびその変形例では、画素アレイ部１１０は、単色センサ画素群Ｐ１に対応する２行×２列の画素データＳｉｇから一方向の位相差データが１つ得られるように構成されていた。しかし、上記実施の形態およびその変形例において、画素アレイ部１１０は、単色センサ画素群Ｐ１に対応する２行×２列の画素データＳｉｇから、一方向の位相差データが２つ得られるように構成されていてもよい。

【0114】

図１８は、本変形例に係る画素アレイ部１１０の構成例を表したものである。本変形例では、画素アレイ部１１０は、各３色センサ画素群Ｐ２から、上下方向および左右方向の位相差データが得られるように構成されている。このとき、各３色センサ画素群Ｐ２において、カラーフィルタＣＦｒ，ＣＦｂに対応する単色センサ画素群Ｐ１（単色センサ画素群Ｐｈ）は、上記実施の形態に係る単色センサ画素群Ｐ１と同一の構成となっている。各３色センサ画素群Ｐ２において、各カラーフィルタＣＦｇに対応する単色センサ画素群Ｐ１（単色センサ画素群Ｐａ，Ｐｂ）は、上記実施の形態に係る単色センサ画素群Ｐ１とは異なる構成となっている。

【0115】

具体的には、各単色センサ画素群Ｐｂにおいて、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“短(Short)”に設定され、残りの２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“中（Middle）”に設定される。言い換えると、システム制御回路１２４は、単色センサ画素群Ｐｂのうち、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに異なるとともに、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに同じになるように、複数のセンサ画素１１１（フォトダイオードＰＤ）の露光時間を制御する。また、各単色センサ画素群Ｐｂにおいて、露光時間が“短(Short)”に設定される２つのセンサ画素１１１（フォトダイオードＰＤ）は、例えば、図１８に示したように、上段に配置され、かつ左右方向に配列される。つまり、各単色センサ画素群Ｐｂにおいて、露光時間が互いに同じ２つのセンサ画素１１１（フォトダイオードＰＤ）は、例えば、図１８に示したように、上段に配置され、かつ左右方向に配列される。また、各単色センサ画素群Ｐｂにおいて、露光時間が“中（Middle）”に設定される２つのセンサ画素１１１（フォトダイオードＰＤ）は、例えば、図１８に示したように、下段に配置され、かつ左右方向に配列される。つまり、各単色センサ画素群Ｐｂにおいて、露光時間が互いに同じ２つのセンサ画素１１１（フォトダイオードＰＤ）は、例えば、図１８に示したように、下段に配置され、かつ左右方向に配列される。

【0116】

単色センサ画素群Ｐｂに割り当てられた２本の画素駆動線ｃｔｌＳのうち、一方の画素駆動線ｃｔｌＳは、単色センサ画素群Ｐｂの左上のセンサ画素１１１に接続され、他方の画素駆動線ｃｔｌＳは、単色センサ画素群Ｐｂの右上のセンサ画素１１１に接続される。単色センサ画素群Ｐｂに割り当てられた２本の画素駆動線ｃｔｌＭのうち、一方の画素駆動線ｃｔｌＭは、単色センサ画素群Ｐｂの左下のセンサ画素１１１に接続され、他方の画素駆動線ｃｔｌＭは、単色センサ画素群Ｐｂの右下のセンサ画素１１１に接続される。

【0117】

このとき、画素アレイ部１１０は、各単色センサ画素群Ｐｂの上段に対応する箇所に、２本の画素駆動線ｃｔｌＳを有し、各単色センサ画素群Ｐｂの下段に対応する箇所に、２本の画素駆動線ｃｔｌＭを有している。ここで、単色センサ画素群Ｐｂの右隣または左隣りに配置される単色センサ画素群Ｐｈの上段に含まれる１つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“長(Long)”に設定される場合には、画素アレイ部１１０は、各単色センサ画素群Ｐｂの上段に対応する箇所に、さらに、画素駆動線ｃｔｌＬを有している。また、単色センサ画素群Ｐｂの右隣または左隣りに配置される単色センサ画素群Ｐｈの下段に含まれる１つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“長(Long)”に設定される場合には、画素アレイ部１１０は、各単色センサ画素群Ｐｂの下段に対応する箇所に、さらに、画素駆動線ｃｔｌＬを有している。

【0118】

なお、各単色センサ画素群Ｐｂにおいて、下段の２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“短(Short)”に設定され、上段の２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“中（Middle）”に設定されてもよい。

【0119】

また、各単色センサ画素群Ｐａにおいて、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“長(Long)”に設定され、残りの２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“中（Middle）”に設定される。言い換えると、システム制御回路１２４は、単色センサ画素群Ｐａのうち、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに異なるとともに、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに同じになるように、複数のセンサ画素１１１（フォトダイオードＰＤ）の露光時間を制御する。また、各単色センサ画素群Ｐａにおいて、露光時間が“長(Long)”に設定される２つのセンサ画素１１１（フォトダイオードＰＤ）は、例えば、図１８に示したように、左側に配置され、かつ上下方向に配列される。つまり、各単色センサ画素群Ｐａにおいて、露光時間が互いに同じ２つのセンサ画素１１１（フォトダイオードＰＤ）は、例えば、図１８に示したように、左側に配置され、かつ上下方向に配列される。また、各単色センサ画素群Ｐａにおいて、露光時間が“中（Middle）”に設定される２つのセンサ画素１１１（フォトダイオードＰＤ）は、例えば、図１８に示したように、右側に配置され、かつ上下方向に配列される。つまり、各単色センサ画素群Ｐａにおいて、露光時間が互いに同じ２つのセンサ画素１１１（フォトダイオードＰＤ）は、例えば、図１８に示したように、右側に配置され、かつ上下方向に配列される。

【0120】

このとき、画素アレイ部１１０は、各単色センサ画素群Ｐａの上段に対応する箇所に、画素駆動線ｃｔｌＬおよび画素駆動線ｃｔｌＭを有している。また、画素アレイ部１１０は、各単色センサ画素群Ｐａの下段に対応する箇所に、画素駆動線ｃｔｌＬおよび画素駆動線ｃｔｌＭを有している。ここで、単色センサ画素群Ｐａの右隣または左隣りに配置される単色センサ画素群Ｐｈの下段に含まれる１つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“短(Short)”に設定される場合には、画素アレイ部１１０は、各単色センサ画素群Ｐａの下段に対応する箇所に、さらに、画素駆動線ｃｔｌＳを有している。また、単色センサ画素群Ｐａの右隣または左隣りに配置される単色センサ画素群Ｐｈの上段に含まれる１つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“短(Short)”に設定される場合には、画素アレイ部１１０は、各単色センサ画素群Ｐａの上段に対応する箇所に、さらに、画素駆動線ｃｔｌＳを有している。

【0121】

なお、各単色センサ画素群Ｐａにおいて、右側の２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“長(Long)”に設定され、左側の２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“中（Middle）”に設定されてもよい。

【0122】

本変形例では、画像データＩａには、画素アレイ部１１０におけるＸ行×Ｙ列のセンサ画素１１１に対応するＸ行×Ｙ列の画素データＳｉｇが含まれる。Ｘ行×Ｙ列の画素データＳｉｇのうち、単色センサ画素群Ｐｈに対応する２行×２列の画素データＳｉｇには、露光時間が“中（Middle）”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ１と、露光時間が“短(Short)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ２と、露光時間が“長(Long)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ３とが含まれる。また、Ｘ行×Ｙ列の画素データＳｉｇのうち、単色センサ画素群Ｐａに対応する２行×２列の画素データＳｉｇには、露光時間が“中（Middle）”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ１と、露光時間が“短(Short)”に設定された２つのセンサ画素１１１に対応する１つの画素データＳｉｇ２とが含まれる。また、Ｘ行×Ｙ列の画素データＳｉｇのうち、単色センサ画素群Ｐｂに対応する２行×２列の画素データＳｉｇには、露光時間が“中（Middle）”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ１と、露光時間が“長(Long)”に設定された２つのセンサ画素１１１に対応する１つの画素データＳｉｇ３とが含まれる。

【0123】

次に、本変形例における演算回路２０について説明する。

【0124】

図１９は、本変形例における演算回路２０における信号処理手順の一例を表す。演算回路２０は、撮像素子１０で得られた画像データＩａに基づいてＨＤＲ画像データＩｂを生成する。演算回路２０は、まず、画像データＩａを、露光時間ごとに分解する（ステップＳ５０１）。具体的には、演算回路２０は、画像データＩａを、露光時間が“中（Middle）”のデータ（画像データＩｍ）と、露光時間が“長(Long)”のデータ（画像データＩｌ）と、露光時間が“短(Short)”のデータ（画像データＩｓ）とに分解する。

【0125】

次に、演算回路２０は、画像データＩｍに基づいて位相差データＰｄ３１，Ｐｄ３２を生成する（ステップＳ５０２）。具体的には、演算回路２０は、画像データＩｍにおいて、各単色センサ画素群Ｐａに対応する２つの画素データＳｉｇ１の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第１方向（左右方向）の位相差データＰｄ３１を生成する。また、演算回路２０は、画像データＩｍにおいて、各単色センサ画素群Ｐｂに対応する２つの画素データＳｉｇ１の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第２方向（上下方向）の位相差データＰｄ３２を生成する。

【0126】

また、演算回路２０は、画像データＩｓに基づいて位相差データＰｄ３３を生成する（ステップＳ５０２）。具体的には、演算回路２０は、画像データＩｓにおいて、各単色センサ画素群Ｐａに対応する２つの画素データＳｉｇ２の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第１方向（左右方向）の位相差データＰｄ３３を生成する。また、画像データＩｌに基づいて位相差データＰｄ３４を生成する（ステップＳ５０２）。具体的には、演算回路２０は、画像データＩｌにおいて、各単色センサ画素群Ｐｂに対応する２つの画素データＳｉｇ３の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第２方向（上下方向）の位相差データＰｄ３４を生成する。

【0127】

また、演算回路２０は、画像データＩｌ，Ｉｍに基づいて位相差データＰｄ３５を生成する（ステップＳ５０２）。具体的には、演算回路２０は、画像データＩｌと、画像データＩｍに露光時間“長(Long)”と露光時間“中（Middle）”との露光時間比を乗算することにより得られた画像データＩｍ’との差分値を導出し、導出した差分値から位相差データＰｄ３５を生成する。また、演算回路２０は、画像データＩｍ，Ｉｓに基づいて位相差データＰｄ３６を生成する（ステップＳ５０２）。具体的には、演算回路２０は、画像データＩｍと、画像データＩｓに露光時間“中（Middle）”と露光時間“短(Short)”との露光時間比を乗算した画像データＩｓ’との差分値を導出し、導出した差分値から位相差データＰｄ３６を生成する。

【0128】

次に、演算回路２０は、位相差データＰｄ３１，Ｐｄ３２，Ｐｄ３３，Ｐｄ３４に基づいて、位相差についてのレベルデータＤａを生成する（ステップＳ５０３）。レベルデータＤａは、例えば、下限値（例えば０ビット）から上限値（例えば１２８ビット）までの範囲内の値で表されるデータである。演算回路２０は、例えば、位相差データＰｄ３１，Ｐｄ３２，Ｐｄ３３，Ｐｄ３４において、所定の範囲を下回る数値を下限値（例えば０ビット）に変換する。演算回路２０は、例えば、位相差データＰｄ３１，Ｐｄ３２，Ｐｄ３３，Ｐｄ３４において、所定の範囲を上回る数値を上限値（例えば１２８ビット）に変換する。演算回路２０は、例えば、位相差データＰｄ３１，Ｐｄ３２，Ｐｄ３３，Ｐｄ３４において、所定の範囲内にある数値を、その数値の大きさに応じた、１ビットから１２７ビットの範囲内の値に変換する。

【0129】

次に、演算回路２０は、位相差データＰｄ３５，Ｐｄ３６を動体についてのレベルデータＤｂに変換する（ステップＳ５０４）。レベルデータＤｂは、例えば、下限値（例えば０ビット）から上限値（例えば１２８ビット）までの範囲内の値で表されるデータである。具体的には、演算回路２０は、撮像素子１０のノイズレベルについてのデータ（ノイズデータ）と、位相差データＰｄ３５，Ｐｄ３６とに基づいてレベルデータＤｂを生成する。

【0130】

次に、演算回路２０は、得られたレベルデータＤａから、位相差の大きな箇所を検出する（ステップＳ５０５）。さらに、演算回路２０は、得られたレベルデータＤｂから、動体の有無を検出する（ステップＳ５０６）。最後に、演算回路２０は、画像データＩｍ，Ｉｌ，Ｉｓと、位相差の有無と、動体の有無とから、ＨＤＲ画像データＩｂを生成する（ステップＳ５０７）。このようにして、ＨＤＲ画像データＩｂが生成される。

【0131】

本変形例では、画素アレイ部１１０は、単色センサ画素群Ｐａに対応する２行×２列の画素データＳｉｇから、第１方向の位相差データが２つ得られるように構成され、単色センサ画素群Ｐｂに対応する２行×２列の画素データＳｉｇから、第２方向の位相差データが２つ得られるように構成されている。これにより、二方向において、位相差の有無と、動体の有無とを判別することができる。

【0132】

[[変形例Ｅ]]
上記変形例Ｂでは、画素アレイ部１１０は、各３色センサ画素群Ｐ３に対応する８行×８列の画素データＳｉｇから四方向の位相差データが得られるように構成されていた。しかし、上記実施の形態において、画素アレイ部１１０は、各３色センサ画素群Ｐ３のうち１つの単色センサ画素群Ｐａに対応する２行×２列の画素データＳｉｇから、四方向の位相差データが得られるように構成されていてもよい。

【0133】

図２０は、本変形例に係る画素アレイ部１１０の構成例を表したものである。本変形例では、画素アレイ部１１０は、各３色センサ画素群Ｐ３のうち１つの単色センサ画素群Ｐ１（以下、「単色センサ画素群Ｐｉ」）に対応する２行×２列の画素データＳｉｇから、右肩上がりの方向、右肩下がりの方向、左右方向および上下方向の位相差データが得られるように構成されている。単色センサ画素群Ｐｉは、カラーフィルタＣＦｇに対応する単色センサ画素群Ｐ１である。このとき、各３色センサ画素群Ｐ３において、単色センサ画素群Ｐｉを除く各単色センサ画素群Ｐ１は、上記実施の形態に係る単色センサ画素群Ｐ１と同一の構成となっている。一方、各単色センサ画素群Ｐｉは、上記実施の形態に係る単色センサ画素群Ｐ１とは異なる構成となっている。具体的には、各単色センサ画素群Ｐｉにおいて、４つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“中（Middle）”に設定される。言い換えると、システム制御回路１２４は、各３色センサ画素群Ｐ３に含まれる単色センサ画素群Ｐｉにおいて、各センサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに同じになるように、複数のセンサ画素１１１（フォトダイオードＰＤ）の露光時間を制御する。

【0134】

単色センサ画素群Ｐｉに割り当てられた２本の画素駆動線ｃｔｌＭのうち、一方の画素駆動線ｃｔｌＭは、単色センサ画素群Ｐｉの上段の２つのセンサ画素１１１に接続され、他方の画素駆動線ｃｔｌＭは、単色センサ画素群Ｐｉの下段の２つのセンサ画素１１１に接続される。

【0135】

ここで、単色センサ画素群Ｐｉの右隣または左隣りに配置される単色センサ画素群Ｐ１の上段に含まれる１つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“長(Long)”に設定される場合には、画素アレイ部１１０は、各単色センサ画素群Ｐｉの上段に対応する箇所に、さらに、画素駆動線ｃｔｌＬを有している。また、単色センサ画素群Ｐｉの右隣または左隣りに配置される単色センサ画素群Ｐ１の上段に含まれる１つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“短(Short)”に設定される場合には、画素アレイ部１１０は、各単色センサ画素群Ｐｉの上段に対応する箇所に、さらに、画素駆動線ｃｔｌＳを有している。また、単色センサ画素群Ｐｉの右隣または左隣りに配置される単色センサ画素群Ｐ１の下段に含まれる１つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“短(Short)”に設定される場合には、画素アレイ部１１０は、各単色センサ画素群Ｐｉの下段に対応する箇所に、さらに、画素駆動線ｃｔｌＳを有している。また、単色センサ画素群Ｐｉの右隣または左隣りに配置される単色センサ画素群Ｐ１の下段に含まれる１つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“長(Long)”に設定される場合には、画素アレイ部１１０は、各単色センサ画素群Ｐｉの下段に対応する箇所に、さらに、画素駆動線ｃｔｌＬを有している。

【0136】

本変形例では、画像データＩａには、画素アレイ部１１０におけるＸ行×Ｙ列のセンサ画素１１１に対応するＸ行×Ｙ列の画素データＳｉｇが含まれる。Ｘ行×Ｙ列の画素データＳｉｇのうち、単色センサ画素群Ｐｄを除く各単色センサ画素群Ｐ１に対応する２行×２列の画素データＳｉｇには、露光時間が“中（Middle）”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ１と、露光時間が“短(Short)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ２と、露光時間が“長(Long)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ３とが含まれる。また、Ｘ行×Ｙ列の画素データＳｉｇのうち、単色センサ画素群Ｐｄに対応する２行×２列の画素データＳｉｇには、露光時間が“中（Middle）”に設定された４つのセンサ画素１１１に対応する４つの画素データＳｉｇ１が含まれる。

【0137】

次に、本変形例における演算回路２０について説明する。

【0138】

図２１は、本変形例における演算回路２０における信号処理手順の一例を表す。演算回路２０は、撮像素子１０で得られた画像データＩａに基づいてＨＤＲ画像データＩｂを生成する。演算回路２０は、まず、画像データＩａを、露光時間ごとに分解する（ステップＳ６０１）。具体的には、演算回路２０は、画像データＩａを、露光時間が“中（Middle）”のデータ（画像データＩｍ）と、露光時間が“長(Long)”のデータ（画像データＩｌ）と、露光時間が“短(Short)”のデータ（画像データＩｓ）とに分解する。

【0139】

次に、演算回路２０は、画像データＩｍに基づいて位相差データＰｄ４１，Ｐｄ４２，Ｐｄ４３，Ｐｄ４４を生成する（ステップＳ６０２）。具体的には、演算回路２０は、画像データＩｍにおいて、各単色センサ画素群Ｐｉに対応する２つの画素データＳｉｇ１であって、かつ右肩上がりの方向に配列された２つの画素データＳｉｇ１の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第１方向（右肩上がりの方向）の位相差データＰｄ４１を生成する。また、演算回路２０は、画像データＩｍにおいて、各単色センサ画素群Ｐｉに対応する２つの画素データＳｉｇ１であって、かつ右肩下がりの方向に配列された２つの画素データＳｉｇ１の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第２方向（右肩下がりの方向）の位相差データＰｄ４２を生成する。

【0140】

演算回路２０は、画像データＩｍにおいて、各単色センサ画素群Ｐｉに対応する２つの画素データＳｉｇ１であって、かつ左右方向に配列された上段の２つの画素データＳｉｇ１の差分値と、左右方向に配列された下段の２つの画素データＳｉｇ１の差分値とを導出し、導出した差分値から、受光面１１０Ａにおける第３方向（左右方向）の位相差データＰｄ４３を生成する。また、演算回路２０は、画像データＩｍにおいて、各単色センサ画素群Ｐｉに対応する２つの画素データＳｉｇ１であって、かつ上下方向に配列された左側の２つの画素データＳｉｇ１の差分値と、上下方向に配列された右側の２つの画素データＳｉｇ１の差分値とを導出し、導出した差分値から、受光面１１０Ａにおける第４方向（上下方向）の位相差データＰｄ４４を生成する。

【0141】

また、演算回路２０は、画像データＩｌ，Ｉｍに基づいて位相差データＰｄ４５を生成する（ステップＳ６０２）。具体的には、演算回路２０は、画像データＩｌと、画像データＩｍに露光時間“長(Long)”と露光時間“中（Middle）”との露光時間比を乗算することにより得られた画像データＩｍ’との差分値を導出し、導出した差分値から位相差データＰｄ４５を生成する。また、演算回路２０は、画像データＩｍ，Ｉｓに基づいて位相差データＰｄ４６を生成する（ステップＳ６０２）。具体的には、演算回路２０は、画像データＩｍと、画像データＩｓに露光時間“中（Middle）”と露光時間“短(Short)”との露光時間比を乗算した画像データＩｓ’との差分値を導出し、導出した差分値から位相差データＰｄ４６を生成する。

【0142】

次に、演算回路２０は、位相差データＰｄ４１，Ｐｄ４２，Ｐｄ４３，Ｐｄ４４に基づいて、位相差についてのレベルデータＤａを生成する（ステップＳ６０３）。レベルデータＤａは、例えば、下限値（例えば０ビット）から上限値（例えば１２８ビット）までの範囲内の値で表されるデータである。演算回路２０は、例えば、位相差データＰｄ４１，Ｐｄ４２，Ｐｄ４３，Ｐｄ４４において、所定の範囲を下回る数値を下限値（例えば０ビット）に変換する。演算回路２０は、例えば、位相差データＰｄ４１，Ｐｄ４２，Ｐｄ４３，Ｐｄ４４において、所定の範囲を上回る数値を上限値（例えば１２８ビット）に変換する。演算回路２０は、例えば、位相差データＰｄ４１，Ｐｄ４２，Ｐｄ４３，Ｐｄ４４において、所定の範囲内にある数値を、その数値の大きさに応じた、１ビットから１２７ビットの範囲内の値に変換する。

【0143】

次に、演算回路２０は、位相差データＰｄ４５，Ｐｄ４６を動体についてのレベルデータＤｂに変換する（ステップＳ６０４）。レベルデータＤｂは、例えば、下限値（例えば０ビット）から上限値（例えば１２８ビット）までの範囲内の値で表されるデータである。具体的には、演算回路２０は、撮像素子１０のノイズレベルについてのデータ（ノイズデータ）と、位相差データＰｄ４５，Ｐｄ４６とに基づいてレベルデータＤｂを生成する。

【0144】

次に、演算回路２０は、得られたレベルデータＤａから、位相差の大きな箇所を検出する（ステップＳ６０５）。さらに、演算回路２０は、得られたレベルデータＤｂから、動体の有無を検出する（ステップＳ６０６）。最後に、演算回路２０は、画像データＩｍ，Ｉｌ，Ｉｓと、位相差の有無と、動体の有無とから、ＨＤＲ画像データＩｂを生成する（ステップＳ６０７）。このようにして、ＨＤＲ画像データＩｂが生成される。

【0145】

本変形例では、画素アレイ部１１０は、各３色センサ画素群Ｐ３のうち１つの単色センサ画素群Ｐａに対応する２行×２列の画素データＳｉｇから、四方向の位相差データが得られるように構成されている。これにより、四方向において、位相差の有無と、動体の有無とを判別することができる。

【0146】

[[変形例Ｆ]]
上記変形例Ｅでは、画素アレイ部１１０は、各３色センサ画素群Ｐ３のうち１つの単色センサ画素群Ｐａに対応する２行×２列の画素データＳｉｇから、四方向の位相差データが得られるように構成されていた。しかし、上記変形例Ｅにおいて、画素アレイ部１１０は、各３色センサ画素群Ｐ３のうち１つの３色センサ画素群Ｐ２に対応する４行×４列の画素データＳｉｇから、四方向の位相差データが得られるように構成されていてもよい。

【0147】

図２２は、本変形例に係る画素アレイ部１１０の構成例を表したものである。本変形例では、画素アレイ部１１０は、各３色センサ画素群Ｐ３のうち１つの３色センサ画素群Ｐ２（以下、「３色センサ画素群Ｐｊ」）に対応する４行×４列の画素データＳｉｇから、右肩上がりの方向，右肩下がりの方向，左右方向および上下方向の位相差データが得られるように構成されている。各３色センサ画素群Ｐ３において、３色センサ画素群Ｐｊを除く各３色センサ画素群Ｐ２に含まれる各単色センサ画素群Ｐ１は、上記実施の形態に係る単色センサ画素群Ｐ１と同一の構成となっている。一方、各３色センサ画素群Ｐｊは、上記実施の形態に係る３色センサ画素群Ｐ２とは異なる構成となっている。具体的には、各３色センサ画素群Ｐｊの各単色センサ画素群Ｐ１において、４つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“中（Middle）”に設定される。言い換えると、システム制御回路１２４は、各３色センサ画素群Ｐ３に含まれる３色センサ画素群Ｐｊの各単色センサ画素群Ｐ１において、各センサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに同じになるように、複数のセンサ画素１１１（フォトダイオードＰＤ）の露光時間を制御する。

【0148】

３色センサ画素群Ｐｊの上段の単色センサ画素群Ｐ１に割り当てられた２本の画素駆動線ｃｔｌＭのうち、一方の画素駆動線ｃｔｌＭは、単色センサ画素群Ｐ１の上段の２つのセンサ画素１１１に接続され、他方の画素駆動線ｃｔｌＭは、単色センサ画素群Ｐ１の下段の２つのセンサ画素１１１に接続される。

【0149】

ここで、３色センサ画素群Ｐｊの上段の右隣または左隣りに配置される単色センサ画素群Ｐ１の上段に含まれる１つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“長(Long)”に設定される場合には、画素アレイ部１１０は、各３色センサ画素群Ｐｊの上段の単色センサ画素群Ｐ１の上段のセンサ画素１１１（フォトダイオードＰＤ）に対応する箇所に、さらに、画素駆動線ｃｔｌＬを有している。また、３色センサ画素群Ｐｊの上段の右隣または左隣りに配置される単色センサ画素群Ｐ１の上段に含まれる１つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“短(Short)”に設定される場合には、画素アレイ部１１０は、各３色センサ画素群Ｐｊの上段の単色センサ画素群Ｐ１の上段のセンサ画素１１１（フォトダイオードＰＤ）に対応する箇所に、さらに、画素駆動線ｃｔｌＳを有している。

【0150】

また、３色センサ画素群Ｐｊの上段の右隣または左隣りに配置される単色センサ画素群Ｐ１の下段に含まれる１つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“長(Long)”に設定される場合には、画素アレイ部１１０は、各３色センサ画素群Ｐｊの上段の単色センサ画素群Ｐ１の下段のセンサ画素１１１（フォトダイオードＰＤ）に対応する箇所に、さらに、画素駆動線ｃｔｌＬを有している。また、３色センサ画素群Ｐｊの上段の右隣または左隣りに配置される単色センサ画素群Ｐ１の下段に含まれる１つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“短(Short)”に設定される場合には、画素アレイ部１１０は、各３色センサ画素群Ｐｊの上段の単色センサ画素群Ｐ１の下段のセンサ画素１１１（フォトダイオードＰＤ）に対応する箇所に、さらに、画素駆動線ｃｔｌＳを有している。

【0151】

また、３色センサ画素群Ｐｊの下段の右隣または左隣りに配置される単色センサ画素群Ｐ１の上段に含まれる１つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“長(Long)”に設定される場合には、画素アレイ部１１０は、各３色センサ画素群Ｐｊの下段の単色センサ画素群Ｐ１の上段のセンサ画素１１１（フォトダイオードＰＤ）に対応する箇所に、さらに、画素駆動線ｃｔｌＬを有している。また、３色センサ画素群Ｐｊの下段の右隣または左隣りに配置される単色センサ画素群Ｐ１の上段に含まれる１つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“短(Short)”に設定される場合には、画素アレイ部１１０は、各３色センサ画素群Ｐｊの下段の単色センサ画素群Ｐ１の上段のセンサ画素１１１（フォトダイオードＰＤ）に対応する箇所に、さらに、画素駆動線ｃｔｌＳを有している。

【0152】

また、３色センサ画素群Ｐｊの下段の右隣または左隣りに配置される単色センサ画素群Ｐ１の下段に含まれる１つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“長(Long)”に設定される場合には、画素アレイ部１１０は、各３色センサ画素群Ｐｊの下段の単色センサ画素群Ｐ１の下段のセンサ画素１１１（フォトダイオードＰＤ）に対応する箇所に、さらに、画素駆動線ｃｔｌＬを有している。また、３色センサ画素群Ｐｊの下段の右隣または左隣りに配置される単色センサ画素群Ｐ１の下段に含まれる１つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“短(Short)”に設定される場合には、画素アレイ部１１０は、各３色センサ画素群Ｐｊの上段の単色センサ画素群Ｐ１の下段のセンサ画素１１１（フォトダイオードＰＤ）に対応する箇所に、さらに、画素駆動線ｃｔｌＳを有している。

【0153】

本変形例では、画像データＩａには、画素アレイ部１１０におけるＸ行×Ｙ列のセンサ画素１１１に対応するＸ行×Ｙ列の画素データＳｉｇが含まれる。Ｘ行×Ｙ列の画素データＳｉｇのうち、３色センサ画素群Ｐｅを除く各３色センサ画素群Ｐ２に含まれる各単色センサ画素群Ｐ１に対応する４行×４列の画素データＳｉｇには、露光時間が“中（Middle）”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ１と、露光時間が“短(Short)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ２と、露光時間が“長(Long)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ３とが含まれる。また、Ｘ行×Ｙ列の画素データＳｉｇのうち、３色センサ画素群Ｐｅに含まれる各単色センサ画素群Ｐ１に対応する２行×２列の画素データＳｉｇには、露光時間が“中（Middle）”に設定された４つのセンサ画素１１１に対応する４つの画素データＳｉｇ１が含まれる。

【0154】

次に、本変形例における演算回路２０について説明する。

【0155】

図２３は、本変形例における演算回路２０における信号処理手順の一例を表す。演算回路２０は、撮像素子１０で得られた画像データＩａに基づいてＨＤＲ画像データＩｂを生成する。演算回路２０は、まず、画像データＩａを、露光時間ごとに分解する（ステップＳ７０１）。具体的には、演算回路２０は、画像データＩａを、露光時間が“中（Middle）”のデータ（画像データＩｍ）と、露光時間が“長(Long)”のデータ（画像データＩｌ）と、露光時間が“短(Short)”のデータ（画像データＩｓ）とに分解する。

【0156】

次に、演算回路２０は、画像データＩｍに基づいて位相差データＰｄ５１，Ｐｄ５２，Ｐｄ５３，Ｐｄ５４を生成する（ステップＳ７０２）。具体的には、演算回路２０は、画像データＩｍにおいて、３色センサ画素群Ｐｅに含まれる各単色センサ画素群Ｐ１に対応する２つの画素データＳｉｇ１であって、かつ右肩上がりの方向に配列された２つの画素データＳｉｇ１の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第１方向（右肩上がりの方向）の位相差データＰｄ５１を生成する。また、演算回路２０は、画像データＩｍにおいて、３色センサ画素群Ｐｅに含まれる各単色センサ画素群Ｐ１に対応する２つの画素データＳｉｇ１であって、かつ右肩下がりの方向に配列された２つの画素データＳｉｇ１の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第２方向（右肩下がりの方向）の位相差データＰｄ５２を生成する。

【0157】

また、演算回路２０は、画像データＩｍにおいて、３色センサ画素群Ｐｅに含まれる各単色センサ画素群Ｐ１に対応する２つの画素データＳｉｇ１であって、かつ左右方向に配列された上段の２つの画素データＳｉｇ１の差分値と、左右方向に配列された下段の２つの画素データＳｉｇ１の差分値とを導出し、導出した差分値から、受光面１１０Ａにおける第３方向（左右方向）の位相差データＰｄ５３を生成する。また、演算回路２０は、画像データＩｍにおいて、３色センサ画素群Ｐｅに含まれる各単色センサ画素群Ｐ１に対応する２つの画素データＳｉｇ１であって、かつ上下方向に配列された左側の２つの画素データＳｉｇ１の差分値と、上下方向に配列された右側の２つの画素データＳｉｇ１の差分値とを導出し、導出した差分値から、受光面１１０Ａにおける第４方向（上下方向）の位相差データＰｄ５４を生成する。

【0158】

また、演算回路２０は、画像データＩｌ，Ｉｍに基づいて位相差データＰｄ５５を生成する（ステップＳ７０２）。具体的には、演算回路２０は、画像データＩｌと、画像データＩｍに露光時間“長(Long)”と露光時間“中（Middle）”との露光時間比を乗算することにより得られた画像データＩｍ’との差分値を導出し、導出した差分値から位相差データＰｄ５５を生成する。また、演算回路２０は、画像データＩｍ，Ｉｓに基づいて位相差データＰｄ５６を生成する（ステップＳ７０２）。具体的には、演算回路２０は、画像データＩｍと、画像データＩｓに露光時間“中（Middle）”と露光時間“短(Short)”との露光時間比を乗算した画像データＩｓ’との差分値を導出し、導出した差分値から位相差データＰｄ５６を生成する。

【0159】

次に、演算回路２０は、位相差データＰｄ５１，Ｐｄ５２，Ｐｄ５３，Ｐｄ５４に基づいて、位相差についてのレベルデータＤａを生成する（ステップＳ７０３）。レベルデータＤａは、例えば、下限値（例えば０ビット）から上限値（例えば１２８ビット）までの範囲内の値で表されるデータである。演算回路２０は、例えば、位相差データＰｄ５１，Ｐｄ５２，Ｐｄ５３，Ｐｄ５４において、所定の範囲を下回る数値を下限値（例えば０ビット）に変換する。演算回路２０は、例えば、位相差データＰｄ５１，Ｐｄ５２，Ｐｄ５３，Ｐｄ５４において、所定の範囲を上回る数値を上限値（例えば１２８ビット）に変換する。演算回路２０は、例えば、位相差データＰｄ５１，Ｐｄ５２，Ｐｄ５３，Ｐｄ５４において、所定の範囲内にある数値を、その数値の大きさに応じた、１ビットから１２７ビットの範囲内の値に変換する。

【0160】

次に、演算回路２０は、位相差データＰｄ５５，Ｐｄ５６を動体についてのレベルデータＤｂに変換する（ステップＳ７０４）。レベルデータＤｂは、例えば、下限値（例えば０ビット）から上限値（例えば１２８ビット）までの範囲内の値で表されるデータである。具体的には、演算回路２０は、撮像素子１０のノイズレベルについてのデータ（ノイズデータ）と、位相差データＰｄ５５，Ｐｄ５６とに基づいてレベルデータＤｂを生成する。

【0161】

次に、演算回路２０は、得られたレベルデータＤａから、位相差の大きな箇所を検出する（ステップＳ７０５）。さらに、演算回路２０は、得られたレベルデータＤｂから、動体の有無を検出する（ステップＳ７０６）。最後に、演算回路２０は、画像データＩｍ，Ｉｌ，Ｉｓと、位相差の有無と、動体の有無とから、ＨＤＲ画像データＩｂを生成する（ステップＳ７０７）。このようにして、ＨＤＲ画像データＩｂが生成される。

【0162】

本変形例では、画素アレイ部１１０は、各３色センサ画素群Ｐ３のうち１つの３色センサ画素群Ｐ２に対応する４行×４列の画素データＳｉｇから、四方向の位相差データが得られるように構成されている。これにより、四方向において、位相差の有無と、動体の有無とを判別することができる。

【0163】

[[変形例Ｇ]]
上記変形例Ｆでは、画素アレイ部１１０は、各３色センサ画素群Ｐ３のうち１つの３色センサ画素群Ｐ２に対応する４行×４列の画素データＳｉｇから、四方向の位相差データが得られるように構成されていた。しかし、上記変形例Ｆにおいて、画素アレイ部１１０は、各単色センサ画素群Ｐ１に対応する２行×２列の画素データＳｉｇから、四方向の位相差データが得られるように構成されていてもよい。

【0164】

図２４は、本変形例に係る画素アレイ部１１０の構成例を表したものである。図２５は、図２４の画素アレイ部１１０の配線レイアウトの一例を表したものである。図２６は、図２４の画素アレイ部１１０で検出可能な位相差の方向の一例を表したものである。

【0165】

本変形例では、画素アレイ部１１０は、例えば、ｎフレーム（ｎは２以上の整数）ごとに、各単色センサ画素群Ｐ１から、右肩上がりの方向、上下方向および左右方向の位相差データが得られるように構成されている。このとき、各単色センサ画素群Ｐ１において、４つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が “中（Middle）”に設定される。言い換えると、システム制御回路１２４は、各単色センサ画素群Ｐ１において、各センサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに同じになるように、複数のセンサ画素１１１（フォトダイオードＰＤ）の露光時間を制御する。

【0166】

本変形例では、画素アレイ部１１０は、さらに、例えば、ｎ×ｋフレーム（ｎは２以上の整数、ｋは１以上の整数）以外の各フレームにおいて、３種類の露光時間の画素データを含む画像データＩａが得られるように構成されている。画素アレイ部１１０は、さらに、例えば、図２７に示したように、ｎ×ｋフレーム（ｎは２以上の整数、ｋは１以上の整数）以外の各フレームにおいて、上記実施の形態に係る画素アレイ部１１０と同様の構成となっている。このとき、各単色センサ画素群Ｐ１において、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“中（Middle）”に設定され、残りの２つのセンサ画素１１１（フォトダイオードＰＤ）のうちの１つの露光時間が、“短(Short)”に設定され、残りの１つの露光時間が、“長(Long)”に設定される。

【0167】

このとき、画素アレイ部１１０は、例えば、図２５、図２８に示したように、各単色センサ画素群Ｐ１の上段に対応する箇所に、画素駆動線ｃｔｌＬおよび画素駆動線ｃｔｌＭを有している。また、画素アレイ部１１０は、各単色センサ画素群Ｐ１の下段に対応する箇所に、画素駆動線ｃｔｌＭおよび画素駆動線ｃｔｌＳを有している。

【0168】

なお、本変形例では、システム制御回路１２４は、ｎフレームごとの画像データＩａを得る際には、各単色センサ画素群Ｐ１の上段に対応する箇所に設けられた画素駆動線ｃｔｌＬおよび画素駆動線ｃｔｌＭを、各単色センサ画素群Ｐ１の上段のセンサ画素１１１（フォトダイオードＰＤ）の露光時間を“中（Middle）”に設定する露光制御を行うために用いる。また、本変形例では、システム制御回路１２４は、ｎフレームごとの画像データＩａを得る際には、各単色センサ画素群Ｐ１の下段に対応する箇所に設けられた画素駆動線ｃｔｌＭおよび画素駆動線ｃｔｌＳを、各単色センサ画素群Ｐ１の下段のセンサ画素１１１（フォトダイオードＰＤ）の露光時間を“中（Middle）”に設定する露光制御を行うために用いる。

【0169】

本変形例では、ｎフレームごとに得られる画像データＩａ１には、画素アレイ部１１０におけるＸ行×Ｙ列のセンサ画素１１１に対応するＸ行×Ｙ列の画素データＳｉｇが含まれる。Ｘ行×Ｙ列の画素データＳｉｇのうち、各単色センサ画素群Ｐ１に対応する４行×４列の画素データＳｉｇには、露光時間が“中（Middle）”に設定された４つのセンサ画素１１１に対応する４つの画素データＳｉｇ１が含まれる。

【0170】

さらに、本変形例では、ｎ×ｋフレーム（ｎは２以上の整数、ｋは１以上の整数）以外の各フレームで得られる画像データＩａ２には、画素アレイ部１１０におけるＸ行×Ｙ列のセンサ画素１１１に対応するＸ行×Ｙ列の画素データＳｉｇが含まれる。Ｘ行×Ｙ列の画素データＳｉｇのうち、各単色センサ画素群Ｐ１に対応する４行×４列の画素データＳｉｇには、例えば、露光時間が“中（Middle）”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ１と、露光時間が“短(Short)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ２と、露光時間が“長(Long)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ３とが含まれる。

【0171】

次に、本変形例における演算回路２０について説明する。

【0172】

図２９は、本変形例における演算回路２０における信号処理手順の一例を表す。演算回路２０は、撮像素子１０で得られた画像データＩａ１，Ｉａ２に基づいてＨＤＲ画像データＩｂを生成する。演算回路２０は、まず、得られた画像データＩａ２を露光時間ごとに分解する（ステップＳ８０１）。具体的には、演算回路２０は、画像データＩａ２を、露光時間が“中（Middle）”のデータ（画像データＩｍ２）と、露光時間が“長(Long)”のデータ（画像データＩｌ２）と、露光時間が“短(Short)”のデータ（画像データＩｓ２）とに分解する。続いて、演算回路２０は、得られた画像データＩａ１を露光時間ごとに分解する（ステップＳ８０１）。具体的には、演算回路２０は、画像データＩａ１を、露光時間が“中（Middle）”のデータ（画像データＩｍ１）と、露光時間が“長(Long)”のデータ（画像データＩｌ１）と、露光時間が“短(Short)”のデータ（画像データＩｓ１）とに分解する。

【0173】

次に、演算回路２０は、画像データＩｍ１に基づいて位相差データＰｄ６１，Ｐｄ６２，Ｐｄ６３，Ｐｄ６４を生成する（ステップＳ８０２）。具体的には、演算回路２０は、画像データＩｍ１において、各単色センサ画素群Ｐ１に対応する２つの画素データＳｉｇ１であって、かつ右肩上がりの方向に配列された２つの画素データＳｉｇ１の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第１方向（右肩上がりの方向）の位相差データＰｄ６１を生成する。また、演算回路２０は、画像データＩｍ１において、各単色センサ画素群Ｐ１に対応する２つの画素データＳｉｇ１であって、かつ右肩下がりの方向に配列された２つの画素データＳｉｇ１の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第２方向（右肩下がりの方向）の位相差データＰｄ６２を生成する。

【0174】

また、演算回路２０は、画像データＩｍ１において、各単色センサ画素群Ｐ１に対応する２つの画素データＳｉｇ１であって、かつ左右方向に配列された上段の２つの画素データＳｉｇ１の差分値と、左右方向に配列された下段の２つの画素データＳｉｇ１の差分値とを導出し、導出した差分値から、受光面１１０Ａにおける第３方向（左右方向）の位相差データＰｄ６３を生成する。また、演算回路２０は、画像データＩｍ１において、各単色センサ画素群Ｐ１に対応する２つの画素データＳｉｇ１であって、かつ上下方向に配列された左側の２つの画素データＳｉｇ１の差分値と、上下方向に配列された右側の２つの画素データＳｉｇ１の差分値とを導出し、導出した差分値から、受光面１１０Ａにおける第４方向（上下方向）の位相差データＰｄ６４を生成する。

【0175】

また、演算回路２０は、画像データＩｌ１，Ｉｍ１に基づいて位相差データＰｄ６５を生成する（ステップＳ８０２）。具体的には、演算回路２０は、画像データＩｌ１と、画像データＩｍ１に露光時間“長(Long)”と露光時間“中（Middle）”との露光時間比を乗算することにより得られた画像データＩｍ１’との差分値を導出し、導出した差分値から位相差データＰｄ６５を生成する。また、演算回路２０は、画像データＩｍ１，Ｉｓ１に基づいて位相差データＰｄ６６を生成する（ステップＳ８０２）。具体的には、演算回路２０は、画像データＩｍ１と、画像データＩｓ１に露光時間“中（Middle）”と露光時間“短(Short)”との露光時間比を乗算した画像データＩｓ１’との差分値を導出し、導出した差分値から位相差データＰｄ６６を生成する。

【0176】

次に、演算回路２０は、位相差データＰｄ６１，Ｐｄ６２，Ｐｄ６３，Ｐｄ６４に基づいて、位相差についてのレベルデータＤａを生成する（ステップＳ８０３）。レベルデータＤａは、例えば、下限値（例えば０ビット）から上限値（例えば１２８ビット）までの範囲内の値で表されるデータである。演算回路２０は、例えば、位相差データＰｄ６１，Ｐｄ６２，Ｐｄ６３，Ｐｄ６４において、所定の範囲を下回る数値を下限値（例えば０ビット）に変換する。演算回路２０は、例えば、位相差データＰｄ６１，Ｐｄ６２，Ｐｄ６３，Ｐｄ６４において、所定の範囲を上回る数値を上限値（例えば１２８ビット）に変換する。演算回路２０は、例えば、位相差データＰｄ６１，Ｐｄ６２，Ｐｄ６３，Ｐｄ６４において、所定の範囲内にある数値を、その数値の大きさに応じた、１ビットから１２７ビットの範囲内の値に変換する。

【0177】

次に、演算回路２０は、位相差データＰｄ６５，Ｐｄ６６を動体についてのレベルデータＤｂに変換する（ステップＳ８０４）。レベルデータＤｂは、例えば、下限値（例えば０ビット）から上限値（例えば１２８ビット）までの範囲内の値で表されるデータである。具体的には、演算回路２０は、撮像素子１０のノイズレベルについてのデータ（ノイズデータ）と、位相差データＰｄ６５，Ｐｄ６６とに基づいてレベルデータＤｂを生成する。

【0178】

次に、演算回路２０は、得られたレベルデータＤａから、位相差の大きな箇所を検出する（ステップＳ８０５）。さらに、演算回路２０は、得られたレベルデータＤｂから、動体の有無を検出する（ステップＳ８０６）。最後に、演算回路２０は、画像データＩｍ２，Ｉｌ２，Ｉｓ２と、位相差の有無と、動体の有無とから、ＨＤＲ画像データＩｂを生成する（ステップＳ８０７）。このようにして、ＨＤＲ画像データＩｂが生成される。

【0179】

本変形例では、画素アレイ部１１０は、例えば、ｎフレームごとに、各単色センサ画素群Ｐ１から、四方向の位相差データが得られるように構成されている。本変形例では、さらに、ｎフレームごとに得られた画像データＩａ１と、ｎ×ｋフレーム以外の各フレームで得られた画像データＩａ１とに基づいてＨＤＲ画像Ｉｂが生成される。これにより、四方向において、位相差の有無と、動体の有無とを判別することができる。

【0180】

[[変形例Ｈ]]
上記変形例Ａ，Ｂ，Ｃ，Ｄ，Ｅでは、画素アレイ部１１０は、単色の画像データに基づいて位相差データが得られるように構成されていた。しかし、上記実施の形態において、画素アレイ部１１０は、全色の画像データに基づいて、色ごとに位相差データが得られるように構成されていてもよい。

【0181】

図３０は、本変形例に係る画素アレイ部１１０の構成例を表したものである。図３１は、図３０の画素アレイ部１１０の配線レイアウトの一例を表したものである。図３２は、図３０の画素アレイ部１１０で検出可能な位相差の方向の一例を表したものである。

【0182】

本変形例では、画素アレイ部１１０は、行方向に配列された２つの３色センサ画素群Ｐ２（以下、「３色センサ画素群Ｐ４」と称する。）から、色ごとに二方向の位相差データが得られるように構成されている。具体的には、画素アレイ部１１０は、３色センサ画素群Ｐ４から、色ごとに、右肩上がりの方向および右肩下がりの方向の位相差データが得られるように構成されている。このとき、各３色センサ画素群Ｐ４に含まれる一方の３色センサ画像群Ｐ２において、各単色センサ画素群Ｐ１は、右肩上がりの方向の位相差データが得られるように構成されている。各３色センサ画素群Ｐ４に含まれる他方の３色センサ画像群Ｐ２において、各単色センサ画素群Ｐ１は、右肩下がりの方向の位相差データが得られるように構成されている。

【0183】

具体的には、各３色センサ画素群Ｐ４に含まれる一方の３色センサ画像群Ｐ２の各単色センサ画素群Ｐ１において、右肩上がりの方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図３０に示したように、“中（Middle）”に設定される。また、各３色センサ画素群Ｐ４に含まれる一方の３色センサ画像群Ｐ２の各単色センサ画素群Ｐ１において、右下のセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図３０に示したように、“短(Short)”に設定される。また、各３色センサ画素群Ｐ４に含まれる一方の３色センサ画像群Ｐ２の各単色センサ画素群Ｐ１において、左上のセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図３０に示したように、“長(Long)”に設定される。言い換えると、システム制御回路１２４は、各３色センサ画素群Ｐ４に含まれる一方の３色センサ画像群Ｐ２の各単色センサ画素群Ｐ１のうち、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに異なるとともに、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに同じになるように、複数のセンサ画素１１１（フォトダイオードＰＤ）の露光時間を制御する。

【0184】

各３色センサ画素群Ｐ４に含まれる他方の３色センサ画像群Ｐ２の各単色センサ画素群Ｐ１において、右肩下がりの方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図３０に示したように、“中（Middle）”に設定される。また、各３色センサ画素群Ｐ４に含まれる他方の３色センサ画像群Ｐ２の各単色センサ画素群Ｐ１において、左下のセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図３０に示したように、“短(Short)”に設定される。また、各３色センサ画素群Ｐ４に含まれる他方の３色センサ画像群Ｐ２の各単色センサ画素群Ｐ１において、右上のセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図３０に示したように、“長(Long)”に設定される。言い換えると、システム制御回路１２４は、各３色センサ画素群Ｐ４に含まれる他方の３色センサ画像群Ｐ２の各単色センサ画素群Ｐ１のうち、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに異なるとともに、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに同じになるように、複数のセンサ画素１１１（フォトダイオードＰＤ）の露光時間を制御する。

【0185】

このとき、素アレイ部１１０は、各３色センサ画素群Ｐ４に含まれる各単色センサ画素群Ｐ１の上段に対応する箇所に、画素駆動線ｃｔｌＬおよび画素駆動線ｃｔｌＭを有している。また、画素アレイ部１１０は、各３色センサ画素群Ｐ４に含まれる各単色センサ画素群Ｐ１の下段に対応する箇所に、画素駆動線ｃｔｌＭおよび画素駆動線ｃｔｌＳを有している。

【0186】

本変形例では、画像データＩａには、画素アレイ部１１０におけるＸ行×Ｙ列のセンサ画素１１１に対応するＸ行×Ｙ列の画素データＳｉｇが含まれる。Ｘ行×Ｙ列の画素データＳｉｇのうち、各単色センサ画素群Ｐ１に対応する４行×４列の画素データＳｉｇには、露光時間が“中（Middle）”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ１と、露光時間が“短(Short)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ２と、露光時間が“長(Long)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ３とが含まれる。

【0187】

次に、本変形例における演算回路２０について説明する。

【0188】

図３３は、本変形例における演算回路２０における信号処理手順の一例を表す。演算回路２０は、撮像素子１０で得られた画像データＩａに基づいてＨＤＲ画像データＩｂを生成する。演算回路２０は、まず、画像データＩａを、露光時間ごとに分解する（ステップＳ９０１）。具体的には、演算回路２０は、画像データＩａを、露光時間が“中（Middle）”のデータ（画像データＩｍ）と、露光時間が“長(Long)”のデータ（画像データＩｌ）と、露光時間が“短(Short)”のデータ（画像データＩｓ）とに分解する。

【0189】

次に、演算回路２０は、画像データＩｍに基づいて位相差データＰｄ７１，Ｐｄ７２を生成する（ステップＳ９０２）。具体的には、演算回路２０は、画像データＩｍにおいて、各３色センサ画素群Ｐ４に含まれる一方の３色センサ画像群Ｐ２の各単色センサ画素群Ｐ１に対応する２つの画素データＳｉｇ１の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第１方向（右肩上がりの方向）の位相差データＰｄ７１を生成する。また、演算回路２０は、画像データＩｍにおいて、各３色センサ画素群Ｐ４に含まれる他方の３色センサ画像群Ｐ２の各単色センサ画素群Ｐ１の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第２方向（右肩下がりの方向）の位相差データＰｄ７２を生成する。

【0190】

また、演算回路２０は、画像データＩｌ，Ｉｍに基づいて位相差データＰｄ７３を生成する（ステップＳ９０２）。具体的には、演算回路２０は、画像データＩｌと、画像データＩｍに露光時間“長(Long)”と露光時間“中（Middle）”との露光時間比を乗算することにより得られた画像データＩｍ’との差分値を導出し、導出した差分値から位相差データＰｄ７３を生成する。また、演算回路２０は、画像データＩｍ，Ｉｓに基づいて位相差データＰｄ７４を生成する（ステップＳ９０２）。具体的には、演算回路２０は、画像データＩｍと、画像データＩｓに露光時間“中（Middle）”と露光時間“短(Short)”との露光時間比を乗算した画像データＩｓ’との差分値を導出し、導出した差分値から位相差データＰｄ７４を生成する。

【0191】

次に、演算回路２０は、位相差データＰｄ７１，Ｐｄ７２に基づいて、位相差についてのレベルデータＤａを生成する（ステップＳ９０３）。レベルデータＤａは、例えば、下限値（例えば０ビット）から上限値（例えば１２８ビット）までの範囲内の値で表されるデータである。演算回路２０は、例えば、位相差データＰｄ７１，Ｐｄ７２において、所定の範囲を下回る数値を下限値（例えば０ビット）に変換する。演算回路２０は、例えば、位相差データＰｄ７１，Ｐｄ７２において、所定の範囲を上回る数値を上限値（例えば１２８ビット）に変換する。演算回路２０は、例えば、位相差データＰｄ７１，Ｐｄ７２において、所定の範囲内にある数値を、その数値の大きさに応じた、１ビットから１２７ビットの範囲内の値に変換する。

【0192】

次に、演算回路２０は、位相差データＰｄ７３，Ｐｄ７４を動体についてのレベルデータＤｂに変換する（ステップＳ９０４）。レベルデータＤｂは、例えば、下限値（例えば０ビット）から上限値（例えば１２８ビット）までの範囲内の値で表されるデータである。具体的には、演算回路２０は、撮像素子１０のノイズレベルについてのデータ（ノイズデータ）と、位相差データＰｄ７３，Ｐｄ７４とに基づいてレベルデータＤｂを生成する。

【0193】

次に、演算回路２０は、得られたレベルデータＤａから、位相差の大きな箇所を検出する（ステップＳ９０５）。さらに、演算回路２０は、得られたレベルデータＤｂから、動体の有無を検出する（ステップＳ９０６）。最後に、演算回路２０は、画像データＩｍ，Ｉｌ，Ｉｓと、位相差の有無と、動体の有無とから、ＨＤＲ画像データＩｂを生成する（ステップＳ９０７）。このようにして、ＨＤＲ画像データＩｂが生成される。

【0194】

本変形例では、画素アレイ部１１０は、全色の画像データに基づいて、色ごとに位相差データが得られるように構成されている。これにより、色ごとに、位相差の有無と、動体の有無とを判別することができる。

【0195】

[[変形例Ｉ]]
上記変形例Ｈでは、画素アレイ部１１０は、色ごとに二方向（右肩上がりの方向、右肩下がりの方向）の位相差データが得られるように構成されていた。しかし、上記変形例Ｈにおいて、画素アレイ部１１０は、色ごとに二方向（左右方向、上下方向）の位相差データが得られるように構成されていてもよい。

【0196】

図３４は、本変形例に係る画素アレイ部１１０の構成例を表したものである。図３５は、図３４の画素アレイ部１１０の配線レイアウトの一例を表したものである。図３６は、図３４の画素アレイ部１１０で検出可能な位相差の方向の一例を表したものである。

【0197】

本変形例では、画素アレイ部１１０は、列方向に配列された２つの３色センサ画素群Ｐ２（以下、「３色センサ画素群Ｐ５」と称する。）から、色ごとに二方向の位相差データが得られるように構成されている。具体的には、画素アレイ部１１０は、３色センサ画素群Ｐ５から、色ごとに、左右方向および上下方向の位相差データが得られるように構成されている。このとき、各３色センサ画素群Ｐ５に含まれる一方の３色センサ画像群Ｐ２において、各単色センサ画素群Ｐ１は、上下方向の位相差データが得られるように構成されている。各３色センサ画素群Ｐ５に含まれる他方の３色センサ画像群Ｐ２において、各単色センサ画素群Ｐ１は、左右方向の位相差データが得られるように構成されている。

【0198】

具体的には、各３色センサ画素群Ｐ５に含まれる一方の３色センサ画像群Ｐ２の各単色センサ画素群Ｐ１において、露光時間が“中（Middle）”に設定される２つのセンサ画素１１１（フォトダイオードＰＤ）は、例えば、図３４に示したように、左側に配置され、かつ上下方向に配列される。また、各３色センサ画素群Ｐ５に含まれる一方の３色センサ画像群Ｐ２の各単色センサ画素群Ｐ１において、露光時間が“短(Short)”に設定される１つのセンサ画素１１１（フォトダイオードＰＤ）が単色センサ画素群Ｐ１の右下に配置される。また、各３色センサ画素群Ｐ５に含まれる一方の３色センサ画像群Ｐ２の各単色センサ画素群Ｐ１において、露光時間が“長(Long)”に設定される１つのセンサ画素１１１（フォトダイオードＰＤ）が単色センサ画素群Ｐ１の右上に配置される。言い換えると、システム制御回路１２４は、各３色センサ画素群Ｐ５に含まれる一方の３色センサ画像群Ｐ２の各単色センサ画素群Ｐ１のうち、３つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに異なるとともに、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに同じになるように、複数のセンサ画素１１１（フォトダイオードＰＤ）の露光時間を制御する。

【0199】

各３色センサ画素群Ｐ５に含まれる他方の３色センサ画像群Ｐ２の各単色センサ画素群Ｐ１において、上段の２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図３４に示したように、“中（Middle）”に設定される。また、各３色センサ画素群Ｐ５に含まれる他方の３色センサ画像群Ｐ２の各単色センサ画素群Ｐ１において、右下のセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図３４に示したように、“短(Short)”に設定される。また、各３色センサ画素群Ｐ５に含まれる他方の３色センサ画像群Ｐ２の各単色センサ画素群Ｐ１において、左下のセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図３４に示したように、“長(Long)”に設定される。言い換えると、システム制御回路１２４は、各３色センサ画素群Ｐ５に含まれる他方の３色センサ画像群Ｐ２の各単色センサ画素群Ｐ１のうち、３つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに異なるとともに、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに同じになるように、複数のセンサ画素１１１（フォトダイオードＰＤ）の露光時間を制御する。

【0200】

このとき、画素アレイ部１１０は、各３色センサ画素群Ｐ５に含まれる一方の３色センサ画像群Ｐ２の各単色センサ画素群Ｐ１の上段に対応する箇所に、画素駆動線ｃｔｌＭおよび画素駆動線ｃｔｌＬを有している。また、画素アレイ部１１０は、各３色センサ画素群Ｐ５に含まれる一方の３色センサ画像群Ｐ２の各単色センサ画素群Ｐ１の下段に対応する箇所に、画素駆動線ｃｔｌＭおよび画素駆動線ｃｔｌＳを有している。また、画素アレイ部１１０は、各３色センサ画素群Ｐ５に含まれる他方の３色センサ画像群Ｐ２の各単色センサ画素群Ｐ１の上段に対応する箇所に、２本の画素駆動線ｃｔｌＭを有している。また、画素アレイ部１１０は、各３色センサ画素群Ｐ５に含まれる他方の３色センサ画像群Ｐ２の各単色センサ画素群Ｐ１の下段に対応する箇所に、画素駆動線ｃｔｌＬおよび画素駆動線ｃｔｌＳを有している。

【0201】

本変形例では、画像データＩａには、画素アレイ部１１０におけるＸ行×Ｙ列のセンサ画素１１１に対応するＸ行×Ｙ列の画素データＳｉｇが含まれる。Ｘ行×Ｙ列の画素データＳｉｇのうち、各単色センサ画素群Ｐ１に対応する２行×２列の画素データＳｉｇには、露光時間が“中（Middle）”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ１と、露光時間が“短(Short)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ２と、露光時間が“長(Long)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ３とが含まれる。

【0202】

次に、本変形例における演算回路２０について説明する。

【0203】

図３７は、本変形例における演算回路２０における信号処理手順の一例を表す。演算回路２０は、撮像素子１０で得られた画像データＩａに基づいてＨＤＲ画像データＩｂを生成する。演算回路２０は、まず、画像データＩａを、露光時間ごとに分解する（ステップＳ１００１）。具体的には、演算回路２０は、画像データＩａを、露光時間が“中（Middle）”のデータ（画像データＩｍ）と、露光時間が“長(Long)”のデータ（画像データＩｌ）と、露光時間が“短(Short)”のデータ（画像データＩｓ）とに分解する。

【0204】

次に、演算回路２０は、画像データＩｍに基づいて位相差データＰｄ８１，Ｐｄ８２を生成する（ステップＳ１００２）。具体的には、演算回路２０は、画像データＩｍにおいて、各３色センサ画素群Ｐ５に含まれる一方の３色センサ画像群Ｐ２の各単色センサ画素群Ｐ１に対応する２つの画素データＳｉｇ１の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第１方向（上下方向）の位相差データＰｄ８１を生成する。また、演算回路２０は、画像データＩｍにおいて、各３色センサ画素群Ｐ５に含まれる他方の３色センサ画像群Ｐ２の各単色センサ画素群Ｐ１の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第２方向（左右方向）の位相差データＰｄ８２を生成する。

【0205】

また、演算回路２０は、画像データＩｌ，Ｉｍに基づいて位相差データＰｄ８３を生成する（ステップＳ１００２）。具体的には、演算回路２０は、画像データＩｌと、画像データＩｍに露光時間“長(Long)”と露光時間“中（Middle）”との露光時間比を乗算することにより得られた画像データＩｍ’との差分値を導出し、導出した差分値から位相差データＰｄ８３を生成する。また、演算回路２０は、画像データＩｍ，Ｉｓに基づいて位相差データＰｄ８４を生成する（ステップＳ１００２）。具体的には、演算回路２０は、画像データＩｍと、画像データＩｓに露光時間“中（Middle）”と露光時間“短(Short)”との露光時間比を乗算した画像データＩｓ’との差分値を導出し、導出した差分値から位相差データＰｄ８４を生成する。

【0206】

次に、演算回路２０は、位相差データＰｄ８１，Ｐｄ８２に基づいて、位相差についてのレベルデータＤａを生成する（ステップＳ１００３）。レベルデータＤａは、例えば、下限値（例えば０ビット）から上限値（例えば１２８ビット）までの範囲内の値で表されるデータである。演算回路２０は、例えば、位相差データＰｄ８１，Ｐｄ８２において、所定の範囲を下回る数値を下限値（例えば０ビット）に変換する。演算回路２０は、例えば、位相差データＰｄ８１，Ｐｄ８２において、所定の範囲を上回る数値を上限値（例えば１２８ビット）に変換する。演算回路２０は、例えば、位相差データＰｄ８１，Ｐｄ８２において、所定の範囲内にある数値を、その数値の大きさに応じた、１ビットから１２７ビットの範囲内の値に変換する。

【0207】

次に、演算回路２０は、位相差データＰｄ８３，Ｐｄ８４を動体についてのレベルデータＤｂに変換する（ステップＳ１００４）。レベルデータＤｂは、例えば、下限値（例えば０ビット）から上限値（例えば１２８ビット）までの範囲内の値で表されるデータである。具体的には、演算回路２０は、撮像素子１０のノイズレベルについてのデータ（ノイズデータ）と、位相差データＰｄ８３，Ｐｄ８４とに基づいてレベルデータＤｂを生成する。

【0208】

次に、演算回路２０は、得られたレベルデータＤａから、位相差の大きな箇所を検出する（ステップＳ１００５）。さらに、演算回路２０は、得られたレベルデータＤｂから、動体の有無を検出する（ステップＳ１００６）。最後に、演算回路２０は、画像データＩｍ，Ｉｌ，Ｉｓと、位相差の有無と、動体の有無とから、ＨＤＲ画像データＩｂを生成する（ステップＳ１００７）。このようにして、ＨＤＲ画像データＩｂが生成される。

【0209】

本変形例では、画素アレイ部１１０は、全色の画像データに基づいて、色ごとに二方向（左右方向、上下方向）の位相差データが得られるように構成されている。これにより、色ごとに、二方向において、位相差の有無と、動体の有無とを判別することができる。

【0210】

[[変形例Ｊ]]
上記変形例Ｈ，Ｉでは、画素アレイ部１１０は、色ごとに二方向の位相差データが得られるように構成されていた。しかし、上記変形例Ｈ，Ｉにおいて、画素アレイ部１１０は、色ごとに三方向の位相差データが得られるように構成されていてもよい。

【0211】

図３８は、本変形例に係る画素アレイ部１１０の構成例を表したものである。図３９は、図３８の画素アレイ部１１０の配線レイアウトの一例を表したものである。図４０は、図３８の画素アレイ部１１０で検出可能な位相差の方向の一例を表したものである。

【0212】

本変形例では、画素アレイ部１１０は、３色センサ画素群Ｐ３から、色ごとに三方向の位相差データが得られるように構成されている。具体的には、画素アレイ部１１０は、３色センサ画素群Ｐ３から、色ごとに、右肩下がりの方向、左右方向および上下方向の位相差データが得られるように構成されている。このとき、各３色センサ画素群Ｐ３に含まれる、左上の３色センサ画像群Ｐ２と、右下の３色センサ画像群Ｐ２とにおいて、各単色センサ画素群Ｐ１は、右肩下がりの方向の位相差データが得られるように構成されている。また、各３色センサ画素群Ｐ３に含まれる左下の３色センサ画像群Ｐ２において、各単色センサ画素群Ｐ１は、左右方向の位相差データが得られるように構成されている。また、各３色センサ画素群Ｐ３に含まれる右上の３色センサ画像群Ｐ２において、各単色センサ画素群Ｐ１は、上下方向の位相差データが得られるように構成されている。

【0213】

具体的には、各３色センサ画素群Ｐ３に含まれる左上の３色センサ画像群Ｐ２と、右下の３色センサ画像群Ｐ２とにおける各単色センサ画素群Ｐ１において、右肩下がりの方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図３８に示したように、“中（Middle）”に設定される。また、各３色センサ画素群Ｐ３に含まれる左上の３色センサ画像群Ｐ２と、右下の３色センサ画像群Ｐ２とにおける各単色センサ画素群Ｐ１において、右下のセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図３８に示したように、“短(Short)”に設定される。また、各３色センサ画素群Ｐ３に含まれる左上の３色センサ画像群Ｐ２と、右下の３色センサ画像群Ｐ２とにおける各単色センサ画素群Ｐ１において、左上のセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図３８に示したように、“長(Long)”に設定される。言い換えると、システム制御回路１２４は、各３色センサ画素群Ｐ３に含まれる左上の３色センサ画像群Ｐ２と、右下の３色センサ画像群Ｐ２とにおける各単色センサ画素群Ｐ１のうち、３つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに異なるとともに、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに同じになるように、複数のセンサ画素１１１（フォトダイオードＰＤ）の露光時間を制御する。

【0214】

また、各３色センサ画素群Ｐ３に含まれる左下の３色センサ画像群Ｐ２における各単色センサ画素群Ｐ１において、下段に左右方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図３８に示したように、“短(Short)”に設定される。また、各３色センサ画素群Ｐ３に含まれる左下の３色センサ画像群Ｐ２における各単色センサ画素群Ｐ１において、図３８に示したように、上段の一方のセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“長(Long)”に設定され、上段の他方のセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“中（Middle）”に設定される。なお、各３色センサ画素群Ｐ３に含まれる左下の３色センサ画像群Ｐ２における各単色センサ画素群Ｐ１において、上段に左右方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、“短(Short)”に設定されてもよい。言い換えると、システム制御回路１２４は、各３色センサ画素群Ｐ３に含まれる左下の３色センサ画像群Ｐ２における各単色センサ画素群Ｐ１のうち、３つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに異なるとともに、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに同じになるように、複数のセンサ画素１１１（フォトダイオードＰＤ）の露光時間を制御する。

【0215】

また、各３色センサ画素群Ｐ３に含まれる右上の３色センサ画像群Ｐ２における各単色センサ画素群Ｐ１において、左側に上下方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図３８に示したように、“長(Long)”に設定される。また、各３色センサ画素群Ｐ３に含まれる右上の３色センサ画像群Ｐ２における各単色センサ画素群Ｐ１において、図３８に示したように、右側の一方のセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“中（Middle）”に設定され、右側の他方のセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“短(Short)”に設定される。なお、各３色センサ画素群Ｐ３に含まれる右上の３色センサ画像群Ｐ２における各単色センサ画素群Ｐ１において、右側に上下方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、“長(Long)”に設定されてもよい。言い換えると、各３色センサ画素群Ｐ３に含まれる右上の３色センサ画像群Ｐ２における各単色センサ画素群Ｐ１のうち、３つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに異なるとともに、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに同じになるように、複数のセンサ画素１１１（フォトダイオードＰＤ）の露光時間を制御する。

【0216】

このとき、画素アレイ部１１０は、各３色センサ画素群Ｐ３に含まれる最上段および上から２段目の各単色センサ画素群Ｐ１において、上段に対応する箇所に、画素駆動線ｃｔｌＬおよび画素駆動線ｃｔｌＭを有している。また、画素アレイ部１１０は、各３色センサ画素群Ｐ３に含まれる最上段および上から２段目の各単色センサ画素群Ｐ１において、下段に対応する箇所に、画素駆動線ｃｔｌＬ、画素駆動線ｃｔｌＭおよび画素駆動線ｃｔｌＳを有している。また、画素アレイ部１１０は、各３色センサ画素群Ｐ３に含まれる上から３段目および最下段の各単色センサ画素群Ｐ１において、上段に対応する箇所に、画素駆動線ｃｔｌＬおよび画素駆動線ｃｔｌＭを有している。また、画素アレイ部１１０は、各３色センサ画素群Ｐ３に含まれる上から３段目および最下段の各単色センサ画素群Ｐ１において、下段に対応する箇所に、画素駆動線ｃｔｌＳおよび画素駆動線ｃｔｌＭを有している。

【0217】

本変形例では、画像データＩａには、画素アレイ部１１０におけるＸ行×Ｙ列のセンサ画素１１１に対応するＸ行×Ｙ列の画素データＳｉｇが含まれる。Ｘ行×Ｙ列の画素データＳｉｇのうち、左上および右下の３色センサ画素群Ｐ２に対応する２行×２列の画素データＳｉｇには、露光時間が“中（Middle）”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ１と、露光時間が“短(Short)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ２と、露光時間が“長(Long)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ３とが含まれる。また、Ｘ行×Ｙ列の画素データＳｉｇのうち、左下の３色センサ画素群Ｐ２に対応する２行×２列の画素データＳｉｇには、露光時間が“短(Short)”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ２と、露光時間が“中（Middle）”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ１と、露光時間が“長(Long)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ３とが含まれる。また、Ｘ行×Ｙ列の画素データＳｉｇのうち、右上の３色センサ画素群Ｐ２に対応する２行×２列の画素データＳｉｇには、露光時間が“長(Long)”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ３と、露光時間が“中（Middle）”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ１と、露光時間が“短(Short)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ２とが含まれる。

【0218】

次に、本変形例における演算回路２０について説明する。

【0219】

図４１は、本変形例における演算回路２０における信号処理手順の一例を表す。演算回路２０は、撮像素子１０で得られた画像データＩａに基づいてＨＤＲ画像データＩｂを生成する。演算回路２０は、まず、画像データＩａを、露光時間ごとに分解する（ステップＳ１１０１）。具体的には、演算回路２０は、画像データＩａを、露光時間が“中（Middle）”のデータ（画像データＩｍ）と、露光時間が“長(Long)”のデータ（画像データＩｌ）と、露光時間が“短(Short)”のデータ（画像データＩｓ）とに分解する。

【0220】

次に、演算回路２０は、画像データＩｍに基づいて位相差データＰｄ９１，Ｐｄ９２，Ｐｄ９３を生成する（ステップＳ１１０２）。具体的には、演算回路２０は、画像データＩｍにおいて、各３色センサ画素群Ｐ３の左上および右下の３色センサ画素群Ｐ２に含まれる各単色センサ画素群Ｐ１に対応する２つの画素データＳｉｇ１の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第１方向（右肩下がりの方向）の位相差データＰｄ９１を生成する。また、演算回路２０は、画像データＩｓにおいて、各３色センサ画素群Ｐ３の左下の３色センサ画素群Ｐ２に含まれる各単色センサ画素群Ｐ１に対応する２つの画素データＳｉｇ２の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第２方向（左右方向）の位相差データＰｄ９２を生成する。また、演算回路２０は、画像データＩｌにおいて、各３色センサ画素群Ｐ３の右上の３色センサ画素群Ｐ２に含まれる各単色センサ画素群Ｐ１に対応する２つの画素データＳｉｇ３の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第３方向（上下方向）の位相差データＰｄ９３を生成する。

【0221】

また、演算回路２０は、画像データＩｌ，Ｉｍに基づいて位相差データＰｄ９４を生成する（ステップＳ１１０２）。具体的には、演算回路２０は、画像データＩｌと、画像データＩｍに露光時間“長(Long)”と露光時間“中（Middle）”との露光時間比を乗算することにより得られた画像データＩｍ’との差分値を導出し、導出した差分値から位相差データＰｄ９４を生成する。また、演算回路２０は、画像データＩｍ，Ｉｓに基づいて位相差データＰｄ９５を生成する（ステップＳ１１０２）。具体的には、演算回路２０は、画像データＩｍと、画像データＩｓに露光時間“中（Middle）”と露光時間“短(Short)”との露光時間比を乗算した画像データＩｓ’との差分値を導出し、導出した差分値から位相差データＰｄ９５を生成する。

【0222】

次に、演算回路２０は、位相差データＰｄ９１，Ｐｄ９２，Ｐｄ９３に基づいて、位相差についてのレベルデータＤａを生成する（ステップＳ１１０３）。レベルデータＤａは、例えば、下限値（例えば０ビット）から上限値（例えば１２８ビット）までの範囲内の値で表されるデータである。演算回路２０は、例えば、位相差データＰｄ９１，Ｐｄ９２，Ｐｄ９３において、所定の範囲を下回る数値を下限値（例えば０ビット）に変換する。演算回路２０は、例えば、位相差データＰｄ９１，Ｐｄ９２，Ｐｄ９３において、所定の範囲を上回る数値を上限値（例えば１２８ビット）に変換する。演算回路２０は、例えば、位相差データＰｄ９１，Ｐｄ９２，Ｐｄ９３において、所定の範囲内にある数値を、その数値の大きさに応じた、１ビットから１２７ビットの範囲内の値に変換する。

【0223】

次に、演算回路２０は、位相差データＰｄ９４，Ｐｄ９５を動体についてのレベルデータＤｂに変換する（ステップＳ１１０４）。レベルデータＤｂは、例えば、下限値（例えば０ビット）から上限値（例えば１２８ビット）までの範囲内の値で表されるデータである。具体的には、演算回路２０は、撮像素子１０のノイズレベルについてのデータ（ノイズデータ）と、位相差データＰｄ９４，Ｐｄ９５とに基づいてレベルデータＤｂを生成する。

【0224】

次に、演算回路２０は、得られたレベルデータＤａから、位相差の大きな箇所を検出する（ステップＳ１１０５）。さらに、演算回路２０は、得られたレベルデータＤｂから、動体の有無を検出する（ステップＳ１１０６）。最後に、演算回路２０は、画像データＩｍ，Ｉｌ，Ｉｓと、位相差の有無と、動体の有無とから、ＨＤＲ画像データＩｂを生成する（ステップＳ１１０７）。このようにして、ＨＤＲ画像データＩｂが生成される。

【0225】

本変形例では、画素アレイ部１１０は、色ごとに三方向の位相差データが得られるように構成されている。これにより、色ごとに三方向において、位相差の有無と、動体の有無とを判別することができる。

【0226】

[[変形例Ｋ]]
上記変形例Ａ，Ｂ，Ｃ，Ｄ，Ｅでは、画素アレイ部１１０は、単色の画像データに基づいて位相差データが得られるように構成されていた。しかし、上記実施の形態において、画素アレイ部１１０は、全色の画像データに基づいて、色ごとに位相差データが得られるように構成されていてもよい。

【0227】

図４２は、本変形例に係る画素アレイ部１１０の構成例を表したものである。図４３は、図４２の画素アレイ部１１０の配線レイアウトの一例を表したものである。図４４は、図４２の画素アレイ部１１０で検出可能な位相差の方向の一例を表したものである。

【0228】

本変形例では、画素アレイ部１１０は、３色センサ画素群Ｐ３から、色ごとに二方向の位相差データが得られるように構成されている。具体的には、画素アレイ部１１０は、３色センサ画素群Ｐ３から、色ごとに、右肩上がりの方向および右肩下がりの方向の位相差データが得られるように構成されている。このとき、各３色センサ画素群Ｐ３に含まれる、左上の３色センサ画像群Ｐ２と、右下の３色センサ画像群Ｐ２とにおいて、各単色センサ画素群Ｐ１は、上記実施の形態に係る単色センサ画素群Ｐ１と同様の構成となっている。また、各３色センサ画素群Ｐ３に含まれる左下の３色センサ画像群Ｐ２において、各単色センサ画素群Ｐ１は、右肩上がりの方向および右肩下がりの方向の位相差データが得られるように構成されている。また、各３色センサ画素群Ｐ３に含まれる右上の３色センサ画像群Ｐ２において、各単色センサ画素群Ｐ１は、右肩上がりの方向および右肩下がりの方向の位相差データが得られるように構成されている。

【0229】

具体的には、各３色センサ画素群Ｐ３に含まれる左上の３色センサ画像群Ｐ２と、右下の３色センサ画像群Ｐ２とにおける各単色センサ画素群Ｐ１において、右肩上がりの方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図４２に示したように、“中（Middle）”に設定される。また、各３色センサ画素群Ｐ３に含まれる左上の３色センサ画像群Ｐ２と、右下の３色センサ画像群Ｐ２とにおける各単色センサ画素群Ｐ１において、右下のセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図４２に示したように、“短(Short)”に設定される。また、各３色センサ画素群Ｐ３に含まれる左上の３色センサ画像群Ｐ２と、右下の３色センサ画像群Ｐ２とにおける各単色センサ画素群Ｐ１において、左上のセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図４２に示したように、“長(Long)”に設定される。

【0230】

また、各３色センサ画素群Ｐ３に含まれる左下の３色センサ画像群Ｐ２における各単色センサ画素群Ｐ１において、右肩上がりの方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図４２に示したように、“中（Middle）”に設定される。また、各３色センサ画素群Ｐ３に含まれる左下の３色センサ画像群Ｐ２における各単色センサ画素群Ｐ１において、右肩下がりの方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図４２に示したように、“短(Short)”に設定される。言い換えると、各３色センサ画素群Ｐ３に含まれる左下の３色センサ画像群Ｐ２における各単色センサ画素群Ｐ１のうち、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに異なるとともに、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに同じになるように、複数のセンサ画素１１１（フォトダイオードＰＤ）の露光時間を制御する。

【0231】

また、各３色センサ画素群Ｐ３に含まれる右上の３色センサ画像群Ｐ２における各単色センサ画素群Ｐ１において、右肩上がりの方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図４２に示したように、“中（Middle）”に設定される。また、各３色センサ画素群Ｐ３に含まれる右上の３色センサ画像群Ｐ２における各単色センサ画素群Ｐ１において、右肩下がりの方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図４２に示したように、“長(Long)”に設定される。言い換えると、各３色センサ画素群Ｐ３に含まれる右上の３色センサ画像群Ｐ２における各単色センサ画素群Ｐ１のうち、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに異なるとともに、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに同じになるように、複数のセンサ画素１１１（フォトダイオードＰＤ）の露光時間を制御する。

【0232】

このとき、画素アレイ部１１０は、各３色センサ画素群Ｐ３に含まれる最上段および上から２段目の各単色センサ画素群Ｐ１において、上段に対応する箇所に、画素駆動線ｃｔｌＬおよび画素駆動線ｃｔｌＭを有している。また、画素アレイ部１１０は、各３色センサ画素群Ｐ３に含まれる最上段および上から２段目の各単色センサ画素群Ｐ１において、下段に対応する箇所に、画素駆動線ｃｔｌＬ、画素駆動線ｃｔｌＭおよび画素駆動線ｃｔｌＳを有している。また、画素アレイ部１１０は、各３色センサ画素群Ｐ３に含まれる上から３段目および最下段の各単色センサ画素群Ｐ１において、上段に対応する箇所に、画素駆動線ｃｔｌＬ、画素駆動線ｃｔｌＭおよび画素駆動線ｃｔｌＳを有している。また、画素アレイ部１１０は、各３色センサ画素群Ｐ３に含まれる上から３段目および最下段の各単色センサ画素群Ｐ１において、下段に対応する箇所に、画素駆動線ｃｔｌＳおよび画素駆動線ｃｔｌＭを有している。

【0233】

本変形例では、画像データＩａには、画素アレイ部１１０におけるＸ行×Ｙ列のセンサ画素１１１に対応するＸ行×Ｙ列の画素データＳｉｇが含まれる。Ｘ行×Ｙ列の画素データＳｉｇのうち、左上および右下の３色センサ画素群Ｐ２に対応する２行×２列の画素データＳｉｇには、露光時間が“中（Middle）”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ１と、露光時間が“短(Short)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ２と、露光時間が“長(Long)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ３とが含まれる。また、Ｘ行×Ｙ列の画素データＳｉｇのうち、左下の３色センサ画素群Ｐ２に対応する２行×２列の画素データＳｉｇには、露光時間が“短(Short)”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ２と、露光時間が“中（Middle）”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ１とが含まれる。また、Ｘ行×Ｙ列の画素データＳｉｇのうち、右上の３色センサ画素群Ｐ２に対応する２行×２列の画素データＳｉｇには、露光時間が“長(Long)”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ３と、露光時間が“中（Middle）”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ１とが含まれる。

【0234】

次に、本変形例における演算回路２０について説明する。

【0235】

図４５は、本変形例における演算回路２０における信号処理手順の一例を表す。演算回路２０は、撮像素子１０で得られた画像データＩａに基づいてＨＤＲ画像データＩｂを生成する。演算回路２０は、まず、画像データＩａを、露光時間ごとに分解する（ステップＳ１２０１）。具体的には、演算回路２０は、画像データＩａを、露光時間が“中（Middle）”のデータ（画像データＩｍ）と、露光時間が“長(Long)”のデータ（画像データＩｌ）と、露光時間が“短(Short)”のデータ（画像データＩｓ）とに分解する。

【0236】

次に、演算回路２０は、画像データＩｍに基づいて位相差データＰｄ１０１，Ｐｄ１０２，Ｐｄ１０３を生成する（ステップＳ１２０２）。具体的には、演算回路２０は、画像データＩｍにおいて、各３色センサ画素群Ｐ３の左下および右上の３色センサ画素群Ｐ２に含まれる各単色センサ画素群Ｐ１に対応する２つの画素データＳｉｇ１の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第１方向（右肩上がりの方向）の位相差データＰｄ１０１を生成する。また、演算回路２０は、画像データＩｓにおいて、各３色センサ画素群Ｐ３の左下の３色センサ画素群Ｐ２に含まれる各単色センサ画素群Ｐ１に対応する２つの画素データＳｉｇ２の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第２方向（右肩下がりの方向）の位相差データＰｄ１０２を生成する。また、演算回路２０は、画像データＩｌにおいて、各３色センサ画素群Ｐ３の右上の３色センサ画素群Ｐ２に含まれる各単色センサ画素群Ｐ１に対応する２つの画素データＳｉｇ３の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第１方向（右肩上がりの方向）の位相差データＰｄ１０３を生成する。

【0237】

また、演算回路２０は、画像データＩｌ，Ｉｍに基づいて位相差データＰｄ１０４を生成する（ステップＳ１２０２）。具体的には、演算回路２０は、画像データＩｌと、画像データＩｍに露光時間“長(Long)”と露光時間“中（Middle）”との露光時間比を乗算することにより得られた画像データＩｍ’との差分値を導出し、導出した差分値から位相差データＰｄ１０４を生成する。また、演算回路２０は、画像データＩｍ，Ｉｓに基づいて位相差データＰｄ１０５を生成する（ステップＳ１２０２）。具体的には、演算回路２０は、画像データＩｍと、画像データＩｓに露光時間“中（Middle）”と露光時間“短(Short)”との露光時間比を乗算した画像データＩｓ’との差分値を導出し、導出した差分値から位相差データＰｄ１０５を生成する。

【0238】

次に、演算回路２０は、位相差データＰｄ１０１，Ｐｄ１０２，Ｐｄ１０３に基づいて、位相差についてのレベルデータＤａを生成する（ステップＳ１２０３）。レベルデータＤａは、例えば、下限値（例えば０ビット）から上限値（例えば１２８ビット）までの範囲内の値で表されるデータである。演算回路２０は、例えば、位相差データＰｄ１０１，Ｐｄ１０２，Ｐｄ１０３において、所定の範囲を下回る数値を下限値（例えば０ビット）に変換する。演算回路２０は、例えば、位相差データＰｄ１０１，Ｐｄ１０２，Ｐｄ１０３において、所定の範囲を上回る数値を上限値（例えば１２８ビット）に変換する。演算回路２０は、例えば、位相差データＰｄ１０１，Ｐｄ１０２，Ｐｄ１０３において、所定の範囲内にある数値を、その数値の大きさに応じた、１ビットから１２７ビットの範囲内の値に変換する。

【0239】

次に、演算回路２０は、位相差データＰｄ１０４，Ｐｄ１０５を動体についてのレベルデータＤｂに変換する（ステップＳ１２０４）。レベルデータＤｂは、例えば、下限値（例えば０ビット）から上限値（例えば１２８ビット）までの範囲内の値で表されるデータである。具体的には、演算回路２０は、撮像素子１０のノイズレベルについてのデータ（ノイズデータ）と、位相差データＰｄ１０４，Ｐｄ１０５とに基づいてレベルデータＤｂを生成する。

【0240】

次に、演算回路２０は、得られたレベルデータＤａから、位相差の大きな箇所を検出する（ステップＳ１２０５）。さらに、演算回路２０は、得られたレベルデータＤｂから、動体の有無を検出する（ステップＳ１２０６）。最後に、演算回路２０は、画像データＩｍ，Ｉｌ，Ｉｓと、位相差の有無と、動体の有無とから、ＨＤＲ画像データＩｂを生成する（ステップＳ１２０７）。このようにして、ＨＤＲ画像データＩｂが生成される。

【0241】

本変形例では、画素アレイ部１１０は、色ごとに二方向の位相差データが得られるように構成されている。これにより、色ごとに二方向において、位相差の有無と、動体の有無とを判別することができる。

【0242】

[[変形例Ｌ]]
上記変形例Ｋでは、画素アレイ部１１０は、単全色の画像データに基づいて、色ごとに二方向（右肩上がりの方向、右肩下がりの方向）の位相差データが得られるように構成されていた。しかし、上記変形例Ｋにおいて、画素アレイ部１１０は、単全色の画像データに基づいて、色ごとに二方向（左右方向、上下方向）の位相差データが得られるように構成されていてもよい。

【0243】

図４６は、本変形例に係る画素アレイ部１１０の構成例を表したものである。図４７は、図４６の画素アレイ部１１０の配線レイアウトの一例を表したものである。図４８は、図４６の画素アレイ部１１０で検出可能な位相差の方向の一例を表したものである。

【0244】

本変形例では、画素アレイ部１１０は、３色センサ画素群Ｐ３から、色ごとに二方向の位相差データが得られるように構成されている。具体的には、画素アレイ部１１０は、３色センサ画素群Ｐ３から、色ごとに、左右方向および上下方向の位相差データが得られるように構成されている。このとき、各３色センサ画素群Ｐ３に含まれる、左上の３色センサ画像群Ｐ２と、右下の３色センサ画像群Ｐ２とにおいて、各単色センサ画素群Ｐ１は、上記実施の形態に係る単色センサ画素群Ｐ１と同様の構成となっている。また、各３色センサ画素群Ｐ３に含まれる左下の３色センサ画像群Ｐ２において、各単色センサ画素群Ｐ１は、左右方向の位相差データが得られるように構成されている。また、各３色センサ画素群Ｐ３に含まれる右上の３色センサ画像群Ｐ２において、各単色センサ画素群Ｐ１は、上下方向の位相差データが得られるように構成されている。

【0245】

具体的には、各３色センサ画素群Ｐ３に含まれる左上の３色センサ画像群Ｐ２と、右下の３色センサ画像群Ｐ２とにおける各単色センサ画素群Ｐ１において、右肩上がりの方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図４６に示したように、“中（Middle）”に設定される。また、各３色センサ画素群Ｐ３に含まれる左上の３色センサ画像群Ｐ２と、右下の３色センサ画像群Ｐ２とにおける各単色センサ画素群Ｐ１において、右下のセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図４６に示したように、“短(Short)”に設定される。また、各３色センサ画素群Ｐ３に含まれる左上の３色センサ画像群Ｐ２と、右下の３色センサ画像群Ｐ２とにおける各単色センサ画素群Ｐ１において、左上のセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図４６に示したように、“長(Long)”に設定される。

【0246】

また、各３色センサ画素群Ｐ３に含まれる左下の３色センサ画像群Ｐ２における各単色センサ画素群Ｐ１において、上段で左右方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図４６に示したように、“短(Short)”に設定される。また、各３色センサ画素群Ｐ３に含まれる左下の３色センサ画像群Ｐ２における各単色センサ画素群Ｐ１において、下段で左右方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図４６に示したように、“中（Middle）”に設定される。言い換えると、各３色センサ画素群Ｐ３に含まれる左下の３色センサ画像群Ｐ２における各単色センサ画素群Ｐ１のうち、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに異なるとともに、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに同じになるように、複数のセンサ画素１１１（フォトダイオードＰＤ）の露光時間を制御する。

【0247】

なお、各３色センサ画素群Ｐ３に含まれる左下の３色センサ画像群Ｐ２における各単色センサ画素群Ｐ１において、上段で左右方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、“中（Middle）”に設定されてもよい。また、各３色センサ画素群Ｐ３に含まれる左下の３色センサ画像群Ｐ２における各単色センサ画素群Ｐ１において、下段で左右方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、“短(Short)”に設定されてもよい。

【0248】

また、各３色センサ画素群Ｐ３に含まれる右上の３色センサ画像群Ｐ２における各単色センサ画素群Ｐ１において、左側で上下方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図４６に示したように、“長(Long)”に設定される。また、各３色センサ画素群Ｐ３に含まれる右上の３色センサ画像群Ｐ２における各単色センサ画素群Ｐ１において、右側で上下方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図４２に示したように、“中（Middle）”に設定される。言い換えると、各３色センサ画素群Ｐ３に含まれる右上の３色センサ画像群Ｐ２における各単色センサ画素群Ｐ１のうち、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに異なるとともに、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに同じになるように、複数のセンサ画素１１１（フォトダイオードＰＤ）の露光時間を制御する。

【0249】

なお、各３色センサ画素群Ｐ３に含まれる右上の３色センサ画像群Ｐ２における各単色センサ画素群Ｐ１において、左側で上下方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、“中（Middle）”に設定されてもよい。また、各３色センサ画素群Ｐ３に含まれる右上の３色センサ画像群Ｐ２における各単色センサ画素群Ｐ１において、右側で上下方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、“長(Long)”に設定されてもよい。

【0250】

このとき、画素アレイ部１１０は、各３色センサ画素群Ｐ３に含まれる最上段および上から２段目の各単色センサ画素群Ｐ１において、上段に対応する箇所に、画素駆動線ｃｔｌＬおよび画素駆動線ｃｔｌＭを有している。また、画素アレイ部１１０は、各３色センサ画素群Ｐ３に含まれる最上段および上から２段目の各単色センサ画素群Ｐ１において、下段に対応する箇所に、画素駆動線ｃｔｌＬ、画素駆動線ｃｔｌＭおよび画素駆動線ｃｔｌＳを有している。また、画素アレイ部１１０は、各３色センサ画素群Ｐ３に含まれる上から３段目および最下段の各単色センサ画素群Ｐ１において、上段に対応する箇所に、画素駆動線ｃｔｌＬ、画素駆動線ｃｔｌＭおよび画素駆動線ｃｔｌＳを有している。また、画素アレイ部１１０は、各３色センサ画素群Ｐ３に含まれる上から３段目および最下段の各単色センサ画素群Ｐ１において、下段に対応する箇所に、画素駆動線ｃｔｌＳおよび画素駆動線ｃｔｌＭを有している。

【0251】

本変形例では、画像データＩａには、画素アレイ部１１０におけるＸ行×Ｙ列のセンサ画素１１１に対応するＸ行×Ｙ列の画素データＳｉｇが含まれる。Ｘ行×Ｙ列の画素データＳｉｇのうち、左上および右下の３色センサ画素群Ｐ２に対応する２行×２列の画素データＳｉｇには、露光時間が“中（Middle）”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ１と、露光時間が“短(Short)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ２と、露光時間が“長(Long)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ３とが含まれる。また、Ｘ行×Ｙ列の画素データＳｉｇのうち、左下の３色センサ画素群Ｐ２に対応する２行×２列の画素データＳｉｇには、露光時間が“短(Short)”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ２と、露光時間が“中（Middle）”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ１とが含まれる。また、Ｘ行×Ｙ列の画素データＳｉｇのうち、右上の３色センサ画素群Ｐ２に対応する２行×２列の画素データＳｉｇには、露光時間が“長(Long)”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ３と、露光時間が“中（Middle）”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ１とが含まれる。

【0252】

次に、本変形例における演算回路２０について説明する。

【0253】

図４９は、本変形例における演算回路２０における信号処理手順の一例を表す。演算回路２０は、撮像素子１０で得られた画像データＩａに基づいてＨＤＲ画像データＩｂを生成する。演算回路２０は、まず、画像データＩａを、露光時間ごとに分解する（ステップＳ１３０１）。具体的には、演算回路２０は、画像データＩａを、露光時間が“中（Middle）”のデータ（画像データＩｍ）と、露光時間が“長(Long)”のデータ（画像データＩｌ）と、露光時間が“短(Short)”のデータ（画像データＩｓ）とに分解する。

【0254】

次に、演算回路２０は、画像データＩｍに基づいて位相差データＰｄ１１１，Ｐｄ１１２，Ｐｄ１１３，Ｐｄ１１４を生成する（ステップＳ１３０２）。具体的には、演算回路２０は、画像データＩｍにおいて、各３色センサ画素群Ｐ３の左下の３色センサ画素群Ｐ２に含まれる各単色センサ画素群Ｐ１に対応する２つの画素データＳｉｇ１の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第１方向（左右方向）の位相差データＰｄ１１１を生成する。また、演算回路２０は、画像データＩｍにおいて、各３色センサ画素群Ｐ３の右上の３色センサ画素群Ｐ２に含まれる各単色センサ画素群Ｐ１に対応する２つの画素データＳｉｇ１の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第２方向（上下方向）の位相差データＰｄ１１２を生成する。また、演算回路２０は、画像データＩｓにおいて、各３色センサ画素群Ｐ３の左下の３色センサ画素群Ｐ２に含まれる各単色センサ画素群Ｐ１に対応する２つの画素データＳｉｇ２の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第１方向（左右方向）の位相差データＰｄ１１３を生成する。また、演算回路２０は、画像データＩｌにおいて、各３色センサ画素群Ｐ３の右上の３色センサ画素群Ｐ２に含まれる各単色センサ画素群Ｐ１に対応する２つの画素データＳｉｇ３の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第２方向（上下方向）の位相差データＰｄ１１４を生成する。

【0255】

また、演算回路２０は、画像データＩｌ，Ｉｍに基づいて位相差データＰｄ１１５を生成する（ステップＳ１３０２）。具体的には、演算回路２０は、画像データＩｌと、画像データＩｍに露光時間“長(Long)”と露光時間“中（Middle）”との露光時間比を乗算することにより得られた画像データＩｍ’との差分値を導出し、導出した差分値から位相差データＰｄ１１５を生成する。また、演算回路２０は、画像データＩｍ，Ｉｓに基づいて位相差データＰｄ１１６を生成する（ステップＳ１３０２）。具体的には、演算回路２０は、画像データＩｍと、画像データＩｓに露光時間“中（Middle）”と露光時間“短(Short)”との露光時間比を乗算した画像データＩｓ’との差分値を導出し、導出した差分値から位相差データＰｄ１１６を生成する。

【0256】

次に、演算回路２０は、位相差データＰｄ１１１，Ｐｄ１１２，Ｐｄ１１３，Ｐｄ１１４に基づいて、位相差についてのレベルデータＤａを生成する（ステップＳ１３０３）。レベルデータＤａは、例えば、下限値（例えば０ビット）から上限値（例えば１２８ビット）までの範囲内の値で表されるデータである。演算回路２０は、例えば、位相差データＰｄ１１１，Ｐｄ１１２，Ｐｄ１１３，Ｐｄ１１４において、所定の範囲を下回る数値を下限値（例えば０ビット）に変換する。演算回路２０は、例えば、位相差データＰｄ１１１，Ｐｄ１１２，Ｐｄ１１３，Ｐｄ１１４において、所定の範囲を上回る数値を上限値（例えば１２８ビット）に変換する。演算回路２０は、例えば、位相差データＰｄ１１１，Ｐｄ１１２，Ｐｄ１１３，Ｐｄ１１４において、所定の範囲内にある数値を、その数値の大きさに応じた、１ビットから１２７ビットの範囲内の値に変換する。

【0257】

次に、演算回路２０は、位相差データＰｄ１１５，Ｐｄ１１６を動体についてのレベルデータＤｂに変換する（ステップＳ１３０４）。レベルデータＤｂは、例えば、下限値（例えば０ビット）から上限値（例えば１２８ビット）までの範囲内の値で表されるデータである。具体的には、演算回路２０は、撮像素子１０のノイズレベルについてのデータ（ノイズデータ）と、位相差データＰｄ１１５，Ｐｄ１１６とに基づいてレベルデータＤｂを生成する。

【0258】

次に、演算回路２０は、得られたレベルデータＤａから、位相差の大きな箇所を検出する（ステップＳ１３０５）。さらに、演算回路２０は、得られたレベルデータＤｂから、動体の有無を検出する（ステップＳ１３０６）。最後に、演算回路２０は、画像データＩｍ，Ｉｌ，Ｉｓと、位相差の有無と、動体の有無とから、ＨＤＲ画像データＩｂを生成する（ステップＳ１３０７）。このようにして、ＨＤＲ画像データＩｂが生成される。

【0259】

本変形例では、画素アレイ部１１０は、色ごとに二方向の位相差データが得られるように構成されている。これにより、色ごとに二方向において、位相差の有無と、動体の有無とを判別することができる。

【0260】

＜３．応用例＞
[応用例１]
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。

【0261】

図５０は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。

【0262】

車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図５０に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。

【0263】

駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

【0264】

ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

【0265】

車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。

【0266】

撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。

【0267】

車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

【0268】

マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。

【0269】

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

【0270】

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

【0271】

音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図５０の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。

【0272】

図５１は、撮像部１２０３１の設置位置の例を示す図である。

【0273】

図５１では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。

【0274】

撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

【0275】

なお、図５１には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。

【0276】

撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

【0277】

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

【0278】

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

【0279】

撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。

【0280】

以上、本開示に係る技術が適用され得る移動体制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１に適用され得る。具体的には、上記実施の形態およびその変形例に係る撮像素子１は、撮像部１２０３１に適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、ノイズの少ない高精細な撮影画像を得ることができるので、移動体制御システムにおいて撮影画像を利用した高精度な制御を行うことができる。

【0281】

[応用例２]
図５２は、本開示に係る技術（本技術）が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。

【0282】

図５２では、術者（医師）１１１３１が、内視鏡手術システム１１０００を用いて、患者ベッド１１１３３上の患者１１１３２に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１１０００は、内視鏡１１１００と、気腹チューブ１１１１１やエネルギー処置具１１１１２等の、その他の術具１１１１０と、内視鏡１１１００を支持する支持アーム装置１１１２０と、内視鏡下手術のための各種の装置が搭載されたカート１１２００と、から構成される。

【0283】

内視鏡１１１００は、先端から所定の長さの領域が患者１１１３２の体腔内に挿入される鏡筒１１１０１と、鏡筒１１１０１の基端に接続されるカメラヘッド１１１０２と、から構成される。図示する例では、硬性の鏡筒１１１０１を有するいわゆる硬性鏡として構成される内視鏡１１１００を図示しているが、内視鏡１１１００は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。

【0284】

鏡筒１１１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１１１００には光源装置１１２０３が接続されており、当該光源装置１１２０３によって生成された光が、鏡筒１１１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者１１１３２の体腔内の観察対象に向かって照射される。なお、内視鏡１１１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。

【0285】

カメラヘッド１１１０２の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ： Ｃａｍｅｒａ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）１１２０１に送信される。

【0286】

ＣＣＵ１１２０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等によって構成され、内視鏡１１１００及び表示装置１１２０２の動作を統括的に制御する。さらに、ＣＣＵ１１２０１は、カメラヘッド１１１０２から画像信号を受け取り、その画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。

【0287】

表示装置１１２０２は、ＣＣＵ１１２０１からの制御により、当該ＣＣＵ１１２０１によって画像処理が施された画像信号に基づく画像を表示する。

【0288】

光源装置１１２０３は、例えばＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等の光源から構成され、術部等を撮影する際の照射光を内視鏡１１１００に供給する。

【0289】

入力装置１１２０４は、内視鏡手術システム１１０００に対する入力インタフェースである。ユーザは、入力装置１１２０４を介して、内視鏡手術システム１１０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡１１１００による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示等を入力する。

【0290】

処置具制御装置１１２０５は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１１１１２の駆動を制御する。気腹装置１１２０６は、内視鏡１１１００による視野の確保及び術者の作業空間の確保の目的で、患者１１１３２の体腔を膨らめるために、気腹チューブ１１１１１を介して当該体腔内にガスを送り込む。レコーダ１１２０７は、手術に関する各種の情報を記録可能な装置である。プリンタ１１２０８は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。

【0291】

なお、内視鏡１１１００に術部を撮影する際の照射光を供給する光源装置１１２０３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置１１２０３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。

【0292】

また、光源装置１１２０３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。

【0293】

また、光源装置１１２０３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Ｎａｒｒｏｗ Ｂａｎｄ Ｉｍａｇｉｎｇ）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること（自家蛍光観察）、又はインドシアニングリーン（ＩＣＧ）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置１１２０３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。

【0294】

図５３は、図５２に示すカメラヘッド１１１０２及びＣＣＵ１１２０１の機能構成の一例を示すブロック図である。

【0295】

カメラヘッド１１１０２は、レンズユニット１１４０１と、撮像部１１４０２と、駆動部１１４０３と、通信部１１４０４と、カメラヘッド制御部１１４０５と、を有する。ＣＣＵ１１２０１は、通信部１１４１１と、画像処理部１１４１２と、制御部１１４１３と、を有する。カメラヘッド１１１０２とＣＣＵ１１２０１とは、伝送ケーブル１１４００によって互いに通信可能に接続されている。

【0296】

レンズユニット１１４０１は、鏡筒１１１０１との接続部に設けられる光学系である。鏡筒１１１０１の先端から取り込まれた観察光は、カメラヘッド１１１０２まで導光され、当該レンズユニット１１４０１に入射する。レンズユニット１１４０１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。

【0297】

撮像部１１４０２は、撮像素子で構成される。撮像部１１４０２を構成する撮像素子は、１つ（いわゆる単板式）であってもよいし、複数（いわゆる多板式）であってもよい。撮像部１１４０２が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部１１４０２は、３Ｄ（Ｄｉｍｅｎｓｉｏｎａｌ）表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者１１１３１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部１１４０２が多板式で構成される場合には、各撮像素子に対応して、レンズユニット１１４０１も複数系統設けられ得る。

【0298】

また、撮像部１１４０２は、必ずしもカメラヘッド１１１０２に設けられなくてもよい。例えば、撮像部１１４０２は、鏡筒１１１０１の内部に、対物レンズの直後に設けられてもよい。

【0299】

駆動部１１４０３は、アクチュエータによって構成され、カメラヘッド制御部１１４０５からの制御により、レンズユニット１１４０１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部１１４０２による撮像画像の倍率及び焦点が適宜調整され得る。

【0300】

通信部１１４０４は、ＣＣＵ１１２０１との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４０４は、撮像部１１４０２から得た画像信号をＲＡＷデータとして伝送ケーブル１１４００を介してＣＣＵ１１２０１に送信する。

【0301】

また、通信部１１４０４は、ＣＣＵ１１２０１から、カメラヘッド１１１０２の駆動を制御するための制御信号を受信し、カメラヘッド制御部１１４０５に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。

【0302】

なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてＣＣＵ１１２０１の制御部１１４１３によって自動的に設定されてもよい。後者の場合には、いわゆるＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）機能、ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）機能及びＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）機能が内視鏡１１１００に搭載されていることになる。

【0303】

カメラヘッド制御部１１４０５は、通信部１１４０４を介して受信したＣＣＵ１１２０１からの制御信号に基づいて、カメラヘッド１１１０２の駆動を制御する。

【0304】

通信部１１４１１は、カメラヘッド１１１０２との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４１１は、カメラヘッド１１１０２から、伝送ケーブル１１４００を介して送信される画像信号を受信する。

【0305】

また、通信部１１４１１は、カメラヘッド１１１０２に対して、カメラヘッド１１１０２の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。

【0306】

画像処理部１１４１２は、カメラヘッド１１１０２から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。

【0307】

制御部１１４１３は、内視鏡１１１００による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部１１４１３は、カメラヘッド１１１０２の駆動を制御するための制御信号を生成する。

【0308】

また、制御部１１４１３は、画像処理部１１４１２によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置１１２０２に表示させる。この際、制御部１１４１３は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部１１４１３は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具１１１１２の使用時のミスト等を認識することができる。制御部１１４１３は、表示装置１１２０２に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者１１１３１に提示されることにより、術者１１１３１の負担を軽減することや、術者１１１３１が確実に手術を進めることが可能になる。

【0309】

カメラヘッド１１１０２及びＣＣＵ１１２０１を接続する伝送ケーブル１１４００は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。

【0310】

ここで、図示する例では、伝送ケーブル１１４００を用いて有線で通信が行われていたが、カメラヘッド１１１０２とＣＣＵ１１２０１との間の通信は無線で行われてもよい。

【0311】

以上、本開示に係る技術が適用され得る内視鏡手術システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、内視鏡１１１００のカメラヘッド１１１０２に設けられた撮像部１１４０２に好適に適用され得る。撮像部１１４０２に本開示に係る技術を適用することにより、撮像部１１４０２を小型化もしくは高精細化することができるので、小型もしくは高精細な内視鏡１１１００を提供することができる。

【0312】

以上、実施の形態およびその変形例、適用例ならびに応用例を挙げて本開示を説明したが、本開示は上記実施の形態等に限定されるものではなく、種々変形が可能である。なお、本明細書中に記載された効果は、あくまで例示である。本開示の効果は、本明細書中に記載された効果に限定されるものではない。本開示が、本明細書中に記載された効果以外の効果を持っていてもよい。

【0313】

また、本開示は、以下のような構成を取ることも可能である。
（１）
各々が光電変換素子を含み、受光面に行列状に配置された複数の画素と、
前記複数の画素における前記複数の画素ごとに１つずつ設けられた複数の受光レンズと、
前記複数の画素の露光時間を制御する制御部と
を備え、
前記制御部は、各前記受光レンズに対応する前記複数の画素のうち、少なくとも２つの前記画素の露光時間が同じになるとともに、各前記受光レンズに対応する前記複数の画素のうち、少なくとも２つの前記画素の露光時間が互いに異なるように、前記複数の画素の露光時間を制御する
撮像装置。
（２）
各前記受光レンズに対応する前記複数の画素を第１画素群としたときに、前記第１画素群ごとに設けられた、ベイヤー配列の複数のカラーフィルタを更に備えた
（１）に記載の撮像装置。
（３）
前記制御部は、各前記受光レンズに対応する前記複数の画素のうち、２つの前記画素の露光時間が同じになるとともに、各前記受光レンズに対応する前記複数の画素のうち、３つの前記画素の露光時間が異なるように、前記複数の画素の露光時間を制御する
（２）に記載の撮像装置。
（４）
前記制御部は、各前記受光レンズに対応する前記複数の画素において、前記受光面における、右肩上がりの方向、右肩下がりの方向、左右方向または上下方向に配列される２つの前記画素の露光時間が同じになるように、前記複数の画素の露光時間を制御する
（３）に記載の撮像装置。
（５）
前記制御部は、２行×２列の複数の前記第１画素群を第２画素群としたときに、各前記第２画素群に含まれる第１の前記第１画素群において、第１方向に配列された２つの前記画素の露光時間が同じになるとともに、各前記第２画素群に含まれる第２の前記第１画素群において、第２方向に配列された２つの前記画素の露光時間が同じになるように、前記複数の画素の露光時間を制御する
（２）に記載の撮像装置。
（６）
前記制御部は、２行×２列の複数の前記第１画素群を第２画素群とし、２行×２列の前記第２画素群を第３画素群としたときに、各前記第３画素群に含まれる第１の前記第２画素群において、第１方向に配列された２つの前記画素の露光時間が同じになり、各前記第３画素群に含まれる第２の前記第２画素群において、第２方向に配列された２つの前記画素の露光時間が同じになり、さらに、各前記第３画素群に含まれる第３の前記第２画素群において、第３方向に配列された２つの前記画素の露光時間が同じになるように、前記複数の画素の露光時間を制御する
（２）に記載の撮像装置。
（７）
前記制御部は、２行×２列の複数の前記第１画素群を第２画素群としたときに、各前記第２画素群に含まれる第１の前記第１画素群において、第１方向に配列された２つの前記画素の露光時間が同じになるとともに、第２方向に配列された２つの前記画素の露光時間が同じになり、さらに、各前記第２画素群に含まれる第２の前記第１画素群において、前記第１方向に配列された２つの前記画素の露光時間が同じになるとともに、前記第２方向に配列された２つの前記画素の露光時間が同じになるように、前記複数の画素の露光時間を制御する
（２）に記載の撮像装置。
（８）
前記制御部は、２行×２列の複数の前記第１画素群を第２画素群としたときに、各前記第２画素群に含まれる第１の前記第１画素群において、第１方向に配列された２つの前記画素の露光時間が同じになるとともに、前記第１方向に配列された、前記第１方向に配列された２つの前記画素とは異なる２つの前記画素の露光時間が同じになり、さらに、各前記第２画素群に含まれる第２の前記第１画素群において、第２方向に配列された２つの前記画素の露光時間が同じになり、前記第２方向に配列された、前記第２方向に配列された２つの前記画素とは異なる２つの前記画素の露光時間が同じになるように、前記複数の画素の露光時間を制御する
（２）に記載の撮像装置。
（９）
前記制御部は、２行×２列の複数の前記第１画素群を第２画素群とし、２行×２列の前記第２画素群を第３画素群としたときに、各前記第３画素群に含まれる１つの前記第１画素群において、各前記画素の露光時間が互いに同じになるように、前記複数の画素の露光時間を制御する
（２）に記載の撮像装置。
（１０）
前記制御部は、２行×２列の複数の前記第１画素群を第２画素群とし、２行×２列の前記第２画素群を第３画素群としたときに、各前記第３画素群に含まれる１つの前記第２画素群において、各前記画素の露光時間が互いに同じになるように、前記複数の画素の露光時間を制御する
（２）に記載の撮像装置。
（１１）
前記制御部は、２行×２列の複数の前記第１画素群を第２画素群とし、２行×２列の前記第２画素群を第３画素群としたときに、各前記第３画素群に含まれる各前記第２画素群において、各前記画素の露光時間が同じになるように、前記複数の画素の露光時間を制御する
（２）に記載の撮像装置。
（１２）
前記制御部は、２行×２列の複数の前記第１画素群を第２画素群とし、１行×２列の前記第２画素群を第４画素群としたときに、各前記第４画素群に含まれる第１の前記第２画素群における各第１画素群において、第１方向に配列された２つの前記画素の露光時間が同じになり、各前記第４画素群に含まれる第２の前記第２画素群における各第１画素群において、第２方向に配列された２つの前記画素の露光時間が同じになるように、前記複数の画素の露光時間を制御する
（２）に記載の撮像装置。
（１３）
前記制御部は、２行×２列の複数の前記第１画素群を第２画素群とし、２行×１列の前記第２画素群を第５画素群としたときに、各前記第５画素群に含まれる第１の前記第２画素群における各第１画素群において、第１方向に配列された２つの前記画素の露光時間が同じになり、各前記第５画素群に含まれる第２の前記第２画素群における各第１画素群において、第２方向に配列された２つの前記画素の露光時間が同じになるように、前記複数の画素の露光時間を制御する
（２）に記載の撮像装置。
（１４）
前記制御部は、２行×２列の複数の前記第１画素群を第２画素群とし、２行×２列の前記第２画素群を第３画素群としたときに、各前記第３画素群に含まれる第１の前記第２画素群における各前記第１画素群において、第１方向に配列された２つの前記画素の露光時間が同じになり、各前記第３画素群に含まれる第２の前記第２画素群における各前記第１画素群において、第２方向に配列された２つの前記画素の露光時間が同じになり、さらに、各前記第３画素群に含まれる第３の前記第２画素群における各前記第１画素群において、第３方向に配列された２つの前記画素の露光時間が同じになるように、前記複数の画素の露光時間を制御する
（２）に記載の撮像装置。
（１５）
前記制御部は、２行×２列の複数の前記第１画素群を第２画素群とし、２行×２列の前記第２画素群を第３画素群としたときに、各前記第３画素群に含まれる第１の前記第２画素群における各第１画素群において、第１方向に配列された２つの前記画素の露光時間が同じになるとともに、第２方向に配列された２つの前記画素の露光時間が同じになり、各前記第３画素群に含まれる第２の前記第２画素群における各第１画素群において、前記第１方向に配列された２つの前記画素の露光時間が同じになるとともに、前記第２方向に配列された２つの前記画素の露光時間が同じになるように、前記複数の画素の露光時間を制御する
（２）に記載の撮像装置。
（１６）
前記制御部は、２行×２列の複数の前記第１画素群を第２画素群とし、２行×２列の前記第２画素群を第３画素群としたときに、各前記第３画素群に含まれる第１の前記第２画素群における各前記第１画素群において、第１方向に配列された２つの前記画素の露光時間が同じになるとともに、前記第１方向に配列された、前記第１方向に配列された２つの前記画素とは異なる２つの前記画素の露光時間が同じになり、さらに、各前記第３画素群に含まれる第２の前記第２画素群における各前記第１画素群において、第２方向に配列された２つの前記画素の露光時間が同じになるとともに、前記第２方向に配列された、前記第２方向に配列された２つの前記画素とは異なる２つの前記画素の露光時間が同じになるように、前記複数の画素の露光時間を制御する
（２）に記載の撮像装置。
（１７）
前記制御部による露光制御によって得られた画像データから、露光時間ごとに位相差データを生成し、露光時間の異なる複数の前記位相差データと、露光時間の異なる複数の画像データとから、ＨＤＲ（High Dynamic Range）画像を生成する
請求項２に記載の撮像装置。
（１８）
各々が光電変換素子を含み、受光面に行列状に配置された複数の画素と、前記複数の画素における前記複数の画素ごとに１つずつ設けられた複数の受光レンズとを備えた撮像装置における信号処理方法であって、
各前記受光レンズに対応する前記複数の画素のうち、少なくとも２つの前記画素の露光時間が同じになるとともに、各前記受光レンズに対応する前記複数の画素のうち、少なくとも２つの前記画素の露光時間が互いに異なるように、前記複数の画素の露光時間を制御することと、
前記露光時間の制御によって得られた画像データから、露光時間ごとに位相差データを生成し、露光時間の異なる複数の前記位相差データと、露光時間の異なる複数の画像データとから、ＨＤＲ（High Dynamic Range）画像を生成することと
を含む
信号処理方法。

【0314】

本開示の第１の側面である撮像装置、および本開示の第２の側面である信号処理方法によれば、制御部による露光制御によって得られた画像データから、露光時間ごとに位相差データを生成し、露光時間の異なる複数の位相差データと、露光時間の異なる複数の画像データとから、ＨＤＲ画像を生成することができるようにしたので、色抜けや、色付き、二重輪郭などの画質劣化が生じることを抑制することができる。その結果、ＨＤＲ画像の画質劣化を抑制することができる。なお、本技術の効果は、ここに記載された効果に必ずしも限定されず、本明細書中に記載されたいずれの効果であってもよい。

【0315】

本出願は、日本国特許庁において２０１９年２月１９日に出願された日本特許出願番号第２０１９－０２７４７９号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。

【0316】

当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】

【図39】

【図40】

【図41】

【図42】

【図43】

【図44】

【図45】

【図46】

【図47】

【図48】

【図49】

【図50】

【図51】

【図52】

【図53】