特許 6910680 撮像システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6910680

(24)【登録日】2021年7月9日

(45)【発行日】2021年7月28日

(54)【発明の名称】撮像システム

(51)【国際特許分類】

   H04N 5/374 20110101AFI20210715BHJP

   G03B 13/36 20210101ALI20210715BHJP

   G02B 7/34 20210101ALI20210715BHJP

【ＦＩ】

   H04N5/374

   G03B13/36

   G02B7/34

【請求項の数】11

【全頁数】28

(21)【出願番号】特願2020-217345(P2020-217345)

(22)【出願日】2020年12月25日

【審査請求日】2021年4月26日

【早期審査対象出願】

(73)【特許権者】

【識別番号】520311466

【氏名又は名称】株式会社ＳｅｎｓＡＩ

(74)【代理人】

【識別番号】110000408

【氏名又は名称】特許業務法人高橋・林アンドパートナーズ

(72)【発明者】

【氏名】山本 秀彦

(72)【発明者】

【氏名】石原 啓一郎

【審査官】 西谷 憲人

(56)【参考文献】

【文献】 特開２０１９−１９３１８４（ＪＰ，Ａ）

【文献】 特開２０１７−０４６０２０（ＪＰ，Ａ）

【文献】 特開２０２０−０１０３２８（ＪＰ，Ａ）

【文献】 特開２０１３−０３８１６４（ＪＰ，Ａ）

【文献】 特開２０１２−１９５９２１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／３７４

Ｇ０２Ｂ ７／３４

Ｇ０３Ｂ １３／３６

(57)【特許請求の範囲】

【請求項1】

各々が同色の複数の画素を含む２^ｍ個（ｍは自然数）の画素ユニットを含む画素部と、
前記２^ｍ個の画素ユニットの各々に含まれる前記複数の画素を第１の側の画素と第２の側の画素とに分割し、前記２^ｍ個の画素ユニットのそれぞれに含まれる前記第１の側の画素をビニングした第１のビニング信号および前記２^ｍ個の画素ユニットのそれぞれに含まれる前記第２の側の画素をビニングした第２のビニング信号を生成するビニング処理部と、を含む、撮像システム。

【請求項2】

前記２^ｍ個の画素ユニットは、第１の画素ユニットおよび第２の画素ユニットを含み、
前記第２の画素ユニットは、前記第１の画素ユニットの対角の位置において隣接する、請求項１に記載の撮像システム。

【請求項3】

前記第１の側の画素と前記第２の側の画素とは、列方向に沿って分割されている、請求項１または請求項２に記載の撮像システム。

【請求項4】

前記第１の側の画素と前記第２の側の画素とは、行方向に沿って分割されている、請求項１または請求項２に記載の撮像システム。

【請求項5】

第２ｋ−１のフレーム（ｋは１以上の整数）において、前記第１の側および前記第２の側は、それぞれ、左側および右側であり、
第２ｋのフレームにおいて、前記第１の側および前記第２の側は、それぞれ、上側および下側である、請求項１または請求項２に記載の撮像システム。

【請求項6】

さらに、
前記第１のビニング信号の画素値および前記第２のビニング信号の画素値に基づき、被写体までの距離を含む距離情報を生成する測距処理部を含む、請求項１乃至請求項５のいずれか一項に記載の撮像システム。

【請求項7】

前記画素部は、前記２^ｍ個の画素ユニットの各々に１個の凸レンズが設けられた光学素子層を含む、請求項１乃至請求項６のいずれか一項に記載の撮像システム。

【請求項8】

前記画素部は、前記複数の画素の各々に１個の凸レンズと、前記凸レンズの上において前記第１の側の画素から前記第２の側の画素へ向かう方向と垂直な方向に沿って溝が設けられた回折格子とを含む光学素子層を含む、請求項１乃至請求項６のいずれか一項に記載の撮像システム。

【請求項9】

各々が同色の複数の画素を含む第１の画素ユニット、第２の画素ユニット、第３の画素ユニット、および第４の画素ユニットを含む画素部と、
前記第１の画素ユニットおよび前記第２の画素ユニットの各々の前記複数の画素を第１の側の画素と第２の側の画素とに分割し、前記第３の画素ユニットおよび前記第４の画素ユニットの各々の前記複数の画素を第３の側の画素と第４の側の画素とに分割し、前記第１の側の画素をビニングした第１のビニング信号、前記第２の側の画素をビニングした第２のビニング信号、前記第３の側の画素をビニングした第３のビニング信号、および前記第４の側の画素をビニングした第４のビニング信号を生成するビニング処理部と、を含み、
前記第１の側の画素と前記第２の側の画素とは、列方向に沿って分割され、
前記第３の側の画素と前記第４の側の画素とは、行方向に沿って分割されている、撮像システム。

【請求項10】

前記第３の画素ユニットは、前記第２の画素ユニットの対角の位置において隣接する、請求項９に記載の撮像システム。

【請求項11】

さらに、
前記第１のビニング信号の画素値および前記第２のビニング信号の画素値ならびに前記第３のビニング信号の画素値および前記第４のビニング信号の画素値に基づき、被写体までの距離を含む距離情報を生成する測距処理部を含む、請求項９または請求項１０に記載の撮像システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像システムに関する。

【背景技術】

【0002】

携帯電話、スマートフォン、ノート型のパーソナルコンピュータ、タブレット型のパーソナルコンピュータ、デジタルカメラ、デジタルビデオカメラ、または車載カメラなどの電子機器の多くは、表示装置とともに、固体撮像装置（イメージセンサ）を備える。これらの電子機器では、被写体が、イメージセンサによって電気信号に変換された画像として取得される。

【0003】

近年、表示装置だけでなく、イメージセンサの高解像度化が進んでおり、例えば、ベイヤー（Ｂａｙｅｒ）配列された４個の画素の各々を、さらに４個に分割したクアッドベイヤー（Ｑｕａｄ Ｂａｙｅｒ）配列のイメージセンサが知られている。すなわち、クアッドベイヤー配列では、各色が２×２個の画素を有する。クアッドベイヤー配列では、分割された４個の画素の各々が光電変換素子を有しているため、高解像度の撮像が可能である。

【0004】

また、分割された４個の画素のうちの隣接する２つの画素への入射光の差を利用すれば、被写体とイメージセンサとの距離を測定することも可能である（例えば、特許文献１参照。）。

【0005】

一方、イメージセンサの高解像度化においては、画素数の増加に伴うフレームレートの低下または消費電力の増加などの問題が発生する。そのため、フレームレートを向上させるため、イメージセンサに含まれる複数の画素を１つの画素として出力するビニング処理が知られている（例えば、特許文献２参照。）。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】国際公開第２０１７／２１０７８１号

【特許文献2】特開２０１９−５６３４号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、クアッドベイヤー配列の画素に対してビニング処理を実行する場合、同色の分割された４個の画素をビニングしてしまうと、画素値に含まれる距離信号成分が失われるため、被写体とイメージセンサとの距離を測定することができない。換言すると、クアッドベイヤー配列の画素に対してビニング処理が実行されると、距離情報が失われる。

【0008】

本発明は、上記問題に鑑みてなされたものであり、フレームレートが高く、距離情報を有する画像信号を出力することができる撮像システムを提供することを課題の一つとする。

【課題を解決するための手段】

【0009】

本発明の一実施形態に係る撮像システムは、各々が同色の複数の画素を含む２^m個（ｍは自然数）の画素ユニットを含む画素部と、２^m個の画素ユニットの各々において、複数の画素を第１の側の画素と第２の側の画素とに分割し、第１の側の画素をビニングした第１のビニング信号および第２の側の画素をビニングした第２のビニング信号を生成するビニング処理部と、を含む。

【0010】

２^m個の画素ユニットは、第１の画素ユニットおよび第２の画素ユニットを含み、第２の画素ユニットは、第１の画素ユニットの対角の位置において隣接していてもよい。

【0011】

第１の側および第２の側は、それぞれ、左側および右側であってもよい。

【0012】

第１の側および第２の側は、それぞれ、上側および下側であってもよい。

【0013】

第２ｋ−１のフレーム（ｋは１以上の整数）において、第１の側および第２の側は、それぞれ、左側および右側であり、第２ｋのフレームにおいて、第１の側および第２の側は、それぞれ、上側および下側であってもよい。

【0014】

さらに、第１のビニング信号の画素値および第２のビニング信号の画素値に基づき、被写体までの距離を含む距離情報を生成する測距処理部を含んでいてもよい。

【0015】

画素部は、２^m個の画素ユニットの各々に１個の凸レンズが設けられた光学素子層を含んでいてもよい。また、画素部は、複数の画素の各々に１個の凸レンズと、凸レンズの上において第１の側の画素から第２の側の画素へ向かう方向と垂直な方向に沿って溝が設けられた回折格子とを含む光学素子層を含んでいてもよい。

【0016】

また、本発明の一実施形態に係る撮像システムは、各々が同色の複数の画素を含む第１の画素ユニット、第２の画素ユニット、第３の画素ユニット、および第４の画素ユニットを含む画素部と、第１の画素ユニットおよび第２の画素ユニットの各々の複数の画素を第１の側の画素と第２の側の画素とに分割し、第３の画素ユニットおよび第４の画素ユニットの各々の複数の画素を第３の側の画素と第４の側の画素とに分割し、第１の側の画素をビニングした第１のビニング信号、第２の側の画素をビニングした第２のビニング信号、第３の側の画素をビニングした第３のビニング信号、および第４の側の画素をビニングした第４のビニング信号を生成するビニング処理部と、を含み、第１の側の画素と第２の側の画素とは列方向に沿って分割され、第３の側の画素と第４の側の画素とは、行方向に沿って分割されている。

【0017】

第３の画素ユニットは、第２の画素ユニットの対角の位置において隣接していてもよい。

【0018】

さらに、第１のビニング信号の画素値および第２のビニング信号の画素値ならびに第３のビニング信号の画素値および第４のビニング信号の画素値に基づき、被写体までの距離を含む距離情報を生成する測距処理部を含んでいてもよい。

【発明の効果】

【0019】

本発明の一実施形態に係る撮像システムによれば、ビニング処理によってフレームレートを向上させることができるとともに、ビニング処理後のビニング信号の画素値が距離信号成分を有しているため、被写体と撮像システム１０との距離を測定することができる。そのため、撮像システムを用いることにより、例えば、高精度に被写体に焦点を合わせることができる。

【図面の簡単な説明】

【0020】

【図1】本発明の一実施形態（第１実施形態）に係る撮像システムの構成を示すブロック図である。

【図2】本発明の一実施形態（第１実施形態）に係る撮像システムの画素部の平面構成を示す模式図である。

【図3】本発明の一実施形態（第１実施形態）に係る撮像システムの画素部の断面構成を示す模式図である。

【図4】本発明の一実施形態（第１実施形態）に係る撮像システムのビニング処理部で実行されるビニング処理を説明する模式図である。

【図5】本発明の一実施形態（第１実施形態）に係る撮像システムにおいて、第１のビニング信号（Ｇ１’）および第２のビニング信号（Ｇ２’）を生成するビニング処理を説明する模式図である。

【図6】本発明の一実施形態（第１実施形態）に係る撮像システムにおける被写体の距離信号成分の検出を説明する模式図である。

【図7】本発明の一実施形態（第１実施形態）に係る撮像システムの測距処理部で実行される測距処理を説明する模式図である。

【図8】本発明の一実施形態（第１実施形態）に係る撮像システムの画素部の画素配列および断面構成を示す模式図である。

【図9】本発明の一実施形態（第２実施形態）に係る撮像システムのビニング処理部で実行されるビニング処理を説明する模式図である。

【図10】本発明の一実施形態（第２実施形態）に係る撮像システムにおいて、第１のビニング信号（Ｇ１’’）および第２のビニング信号（Ｇ２’’）を生成するビニング処理を説明する模式図である。

【図11】本発明の一実施形態（第２実施形態）に係る撮像システムの画素部の画素配列および断面構成を示す模式図である。

【図12】本発明の一実施形態（第３実施形態）に係る撮像システムのビニング処理部で実行されるビニング処理を説明する模式図である。

【図13】本発明の一実施形態（第４実施形態）に係る撮像システムのビニング処理部で実行されるビニング処理を説明する模式図である。

【図14】本発明の一実施形態（第５実施形態）に係る撮像システムのビニング処理部でビニング処理される画素配列を説明する模式図である。

【図15】本発明の一実施形態（第６実施形態）に係る撮像システムのビニング処理部で実行されるビニング処理を説明する模式図である。

【図16】本発明の一実施形態（第６実施形態）に係る撮像システムにおいて、第１のビニング信号（Ｇ１’’’）を生成するビニング処理を説明する模式図である。

【図17】本発明の一実施形態（第６実施形態）に係る撮像システムにおいて、第２のビニング信号（Ｇ２’’’）を生成するビニング処理を説明する模式図である。

【発明を実施するための形態】

【0021】

以下に、本発明の各実施形態について、図面を参照しつつ説明する。なお、各実施形態の開示はあくまで一例にすぎない。すなわち、当業者が、発明の主旨を保ちつつ適宜変更することで容易に想到し得る構成は、当然に本発明の範囲に含まれる。図面は、説明をより明確にするため、実際の態様に比べ、各部の幅、厚さ、または形状などについて模式的に表される場合がある。しかし、これらはあくまで一例であって、本発明の解釈を限定するものではない。また、本明細書および本図面において、既出の図に関して前述したものと同様の構成には、詳細な説明を適宜省略することがある。

【0022】

本明細書において、「αはＡ、Ｂ、またはＣを含む」との表現は、特に明示がない限り、αがＡ〜Ｃの複数の組み合わせを含む場合を排除しない。また、「αはＡ、Ｂ、またはＣを含む」または「αはＡ、Ｂ、およびＣを含む」との表現は、特に明示が無い限り、αが他の構成を含む場合を排除しない。

【0023】

本明細書および図面において、同一、あるいは類似する複数の構成を総じて表記する際には同一の符号を用いる。また、１つの構成のうちの複数の部分をそれぞれ区別して表記する際には、同一の符号を用い、さらにハイフンと自然数を用いる場合がある。

【0024】

本明細書および図面において、「行方向」は「Ｘ方向」を示すことがあり、「列方向」は「Ｙ方向」を示すことがあるものとする。例えば、被写体のＸ方向が、画素部の行方向に対応する場合がある。同様に、被写体のＹ方向が、画素部の列方向に対応する場合がある。

【0025】

本明細書において、Ｘ方向のエッジとは、画素部のＸ方向の走査において検出されるエッジをいい、Ｙ方向のエッジとは、画素部のＹ方向の走査において検出されるエッジをいう。

【0026】

本明細書において、「左側」および「右側」は、行方向のいずれかの方向を表し、「左側」の反対が「右側」である。同様に、「上側」および「下側」は、列方向のいずれかの方向を表し、「上側」の反対が「下側」である。

【0027】

本明細書において、「左側」、「右側」、「上側」、および「下側」は、「第１の側」、「第２の側」、「第３の側」、および「第４の側」のいずれかとして説明する場合がある。

【0028】

なお、以下の各実施形態は、技術的な矛盾を生じない限り、互いに組み合わせることができる。

【0029】

＜第１実施形態＞
図１〜図７を参照して、本発明の一実施形態に係る撮像システム１０の構成について説明する。

【0030】

［１．撮像システム１０の構成］
図１は、本発明の一実施形態に係る撮像システム１０の構成を示すブロック図である。図１に示すように、撮像システム１０は、画素部１００、ビニング処理部２００、測距処理部３００、センサ部４００、画像信号処理部５００、記憶部６００、および表示部７００を含む。

【0031】

画素部１００は、被写体が発する光を電気信号に変換することができる。すなわち、画素部１００は、被写体の情報を電気信号として取得することができる。具体的には、画素部１００に含まれる複数の画素の各々が光を電気信号に変換する（以下、画素部１００の画素が生成した電気信号を「画素信号」とする。）。換言すると、画素部１００は、画素信号を生成し、出力することができる。なお、画素部１００の構成の詳細は、後述する。

【0032】

ビニング処理部２００は、画素信号を受信し、画素信号に対してビニング処理を実行することができる。すなわち、ビニング処理部２００は、画素信号に含まれるいくつかの同色の画素の画素値を加算または加算平均した画素値を含むビニング信号を出力することができる。換言すると、ビニング処理部２００は、画素信号に対してビニング処理を実行し、画素信号からビニング信号を生成し、出力することができる。ここで、画素値とは、画素における画像情報が反映された値であって、画素部１００によって取得された光の強度に対応する値だけでなく、被写体と画素部との距離に対応する距離信号成分も含む。

【0033】

ビニング処理部２００によるビニング処理は、アナログ信号に対する処理であってもよく、デジタル信号に対する処理であってもよい。典型的な画素信号はアナログ信号であり、ビニング処理部２００は、アナログ信号である画素信号に対してビニング処理を実行することができる。また、ビニング処理部２００は、Ａ／Ｄ変換回路によってデジタル信号に変換された画素信号に対してビニング処理を実行することもできる。アナログ信号である画素信号に対するビニング処理では、ビニング信号もアナログ信号となるが、ビニング信号は、Ａ／Ｄ変換回路によってデジタル信号に変換されてもよい。例えば、画像信号処理部５００に入力されるビニング信号は、Ａ／Ｄ変換されたデジタル信号である。なお、ビニング処理部２００によって実行されるビニング処理の詳細は、後述する。

【0034】

測距処理部３００は、ビニング信号を受信し、Ｘ方向またはＹ方向の２つのビニング信号の画素値の差（差分値）を計算し、Ｘ方向またはＹ方向の位置および差分値から距離信号を生成することができる。また、測距処理部３００は、生成された距離信号に基づいて撮像システム１０から被写体までの距離を計算し、実際の被写体までの距離に変換された距離情報（距離データ）を生成することができる。すなわち、測距処理部３００は、ビニング信号を用いて測距処理を実行し、距離データを出力することができる。測距処理部３００で処理されるビニング信号は、アナログ信号であってもよく、デジタル信号であってもよいが、距離データは、画像信号処理部５００に入力されるため、デジタル信号に変換されていることが好ましい。測距処理部３００は、例えば、情報処理装置（コンピュータ）によって実行することができる。情報処理装置は、例えば、中央演算処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの演算部およびレジスタまたはメモリなどの記憶部を含む。測距処理部３００の測距処理は、記憶部に予め格納されたプログラムを演算部で読み込むことによって実行することができる。なお、測距処理部３００によって実行される測距処理の詳細は、後述する。

【0035】

センサ部４００は、画素部１００の動きまたは姿勢（例えば、画素部１００のブレ量など）を検出し、画像信号処理部５００にセンサ検出信号を出力することができる。画像信号処理部５００は、センサ検出信号に基づいて、ビニング信号を補正（例えば、ブレ補正など）することができる。センサ部４００に含まれるセンサの数は、１つであってもよく、複数であってもよい。センサ部４００に含まれるセンサとして、例えば、加速度センサまたは角速度センサなどを用いることができる。

【0036】

画像信号処理部５００は、ビニング信号を受信し、ビニング信号に対して、ガンマ補正、収差補正、ブレ補正、またはノイズ低減補正など各種信号処理を実行することができる。また、画像信号処理部５００は、距離データを受信し、距離データに基づき、被写体の距離情報を含む画像信号を生成し、表示部７００に画像信号を出力することができる。すなわち、画像信号処理部５００は、ビニング信号および距離データに基づき、被写体の距離情報を含む画像信号を生成することができる。画像信号処理部５００として、例えば、イメージシグナルプロセッサなどを用いることができる。

【0037】

記憶部６００は、画像信号処理部５００が実行する各種信号処理に関連するデータを格納することができる。例えば、記憶部６００は、各フレームにおいて、ビニング処理部２００が出力したビニング信号を格納することができる。画像信号処理部５００は、記憶部６００から複数のフレームにおけるビニング信号を読み出すことができる。記憶部６００として、例えば、メモリなどを用いることができる。

【0038】

表示部７００は、画像信号を受信し、画像信号に基づく画像を表示することができる。表示部７００として、例えば、液晶表示装置またはＯＬＥＤ表示装置などを用いることができる。

【0039】

ビニング処理部２００または測距処理部３００は、画素部１００とともにイメージセンサに含まれていてもよく、イメージシグナルプロセッサに含まれていてもよい。また、ビニング処理部２００または測距処理部３００は、イメージセンサおよびイメージシグナルプロセッサとは別に設けられていてもよい。

【0040】

［２．画素部１００の構成］
図２（Ａ）および図２（Ｂ）ならびに図３を参照して、本発明の一実施形態に係る撮像システム１０の画素部１００の構成について説明する。

【0041】

図２（Ａ）および図２（Ｂ）は、本発明の一実施形態に係る撮像システム１０の画素部１００の平面構成を示す模式図である。具体的には、図２（Ａ）は、画素部１００における画素配列１０１を示し、画素部１００では、図２（Ｂ）に示すように、画素配列１０１を一単位として、行方向および列方向に繰り返し配列されている。

【0042】

画素部１００の画素配列１０１は、第１の画素ユニット１１０、第２の画素ユニット１２０、第３の画素ユニット１３０、および第４の画素ユニット１４０を含む。第２の画素ユニット１２０は、第１の画素ユニット１１０の対角の位置（対角方向）において、第１の画素ユニット１１０と隣接している。第３の画素ユニット１３０は、行方向において、第１の画素ユニット１１０と隣接している。第４の画素ユニット１４０は、列方向において、第１の画素ユニット１１０と隣接している。また、画素配列１０１内における第１の画素ユニット１１０の位置と第２の画素ユニット１２０の位置とを相対的に表すと、第１の画素ユニット１１０は画素配列１０１の上側または左側に位置し、第２の画素ユニット１２０は画素配列１０１の下側または右側に位置している。

【0043】

第１の画素ユニット１１０は、第１の画素１１１−１〜１１１−４を含む。第２の画素ユニット１２０は、第２の画素１２１−１〜１２１−４を含む。第３の画素ユニット１３０は、第３の画素１３１−１〜１３１−４を含む。第４の画素ユニット１４０は、第４の画素１４１−１〜１４１−４を含む。第１の画素１１１−１および１１１−２は、第１の画素ユニット１１０内の上側に位置し、第１の画素１１１−３および１１１−４は、第１の画素ユニット１１０内の下側に位置している。さらに、第１の画素１１１−１および１１１−３は、第１の画素ユニット１１０内の左側に位置し、第１の画素１１１−２および１１１−４は、第１の画素ユニット１１０内の右側に位置している。第２の画素ユニット１２０内の第２の画素１２１−１〜１２１−４の位置、第３の画素ユニット１３０の第３の画素１３１−１〜１３１−４の位置、および第４の画素ユニット１４０内の第４の画素１４１−１〜１４１−４の位置は、第１の画素ユニット１１０内の第１の画素１１１−１〜１１１−４の位置と同様である。

【0044】

図３は、本発明の一実施形態に係る撮像システム１０の画素部１００の断面構成を示す模式図である。具体的には、図３は、図２（Ａ）に示す線Ａ１−Ａ２に沿って切断された断面模式図である。

【0045】

図３に示すように、画素部１００は、回路層１０００、光電変換素子層１１００、カラーフィルタ層１２００、および光学素子層１３００を含む。

【0046】

回路層１０００は、複数のスイッチ部１０１０を含む。また、回路層１０００は、トランジスタ、容量素子、水平信号線、垂直信号線、およびトランジスタに電源を供給する電源線などを含む。

【0047】

光電変換素子層１１００は、回路層１０００上に設けられ、光電変換素子１１１０および素子分離部１１２０を含む。光電変換素子１１１０は、光を電気に変換し、露光信号を生成することができる。光電変換素子１１１０は回路層１０００と電気的に接続されており、露光信号は回路層１０００に送信される。素子分離部１１２０は、複数の光電変換素子１１１０を互いに絶縁化することができる。素子分離部１１２０は、例えば、無機材料または有機材料の遮光膜または反射膜によって構成される。

【0048】

カラーフィルタ層１２００は、光電変換素子層１１００上に設けられ、緑色カラーフィルタ１２１０、赤色カラーフィルタ１２３０、青色カラーフィルタ（図３には図示せず）、および遮光部１２４０を含む。遮光部１２４０は、例えば、画素の境界の迷光を遮光し、または隣接する画素間の光の混色を防止することができる。遮光部１２４０は、例えば、アルミニウム、タングステン、銅、またはそれらを含む合金などを含む膜によって構成される。

【0049】

光学素子層１３００は、カラーフィルタ層１２００上に設けられ、マイクロレンズアレイ１３１０を含む。マイクロレンズアレイ１３１０は、複数の凸レンズを含み、画素ユニット（図３では、第１の画素ユニット１１０および第３の画素ユニット１３０）の各々に１個の凸レンズが配置されている。なお、マイクロレンズアレイ１３１０の凸レンズの直径は、画素ユニットの一辺の長さと略一致するように形成されている。

【0050】

画素部１００は、光学素子層１３００が、カラーフィルタ層１２００上に設けられており、いわゆるオンチップレンズ（Ｏｎ Ｃｈｉｐ Ｌｅｎｓ：ＯＣＬ）と呼ばれる構造を有する。

【0051】

第１の画素１１１−１および１１１−２内には緑色カラーフィルタ１２１０が配置され、第３の画素１３１−１および１３１−２内には赤色カラーフィルタ１２３０が配置されている。すなわち、第１の画素１１１−１〜１１１−４は、緑色カラーフィルタ１２１０を含み、第３の画素１３１−１〜１３１−４は、赤色カラーフィルタ１２３０を含む。なお、図示しないが、第２の画素１２１−１〜１２１−４は、緑色カラーフィルタを含み、第４の画素１４１−１〜１４１−４は、青色カラーフィルタを含む。したがって、第１の画素１１１−１〜１１１−４および第２の画素１２１−１〜１２１−４は緑色カラーフィルタを有する緑色画素であり、第３の画素１３１−１〜１３１−４は赤色カラーフィルタを有する赤色画素であり、第４の画素１４１−１〜１４１−４は青色カラーフィルタを有する青色画素である。

【0052】

画素部１００の画素配列１０１は、互いに隣接する４つの画素ユニットが２つの緑色、１つの赤色、および１つの青色に対応し、画素ユニットの各々は同色の４つの画素を含む。すなわち、画素配列１０１は、いわゆるクアッドベイヤー配列である。クアッドベイヤー配列では、人の目の視感度の高い緑色の輝度が高くなるように、緑色画素が、赤色画素および青色画素より多く配置されている。

【0053】

本明細書および図面においては、便宜上、第１の画素１１１−１〜１１１−４を第１の緑色画素（Ｇ１）とし、第２の画素１２１−１〜１２１−４を第２の緑色画素（Ｇ２）として説明する場合がある。

【0054】

なお、画素部１００の画素配列１０１は、クアッドベイヤー配列に限られない。すなわち、画素部１００の画素配列１０１において、第１の緑色画素（Ｇ１）と第２の緑色画素（Ｇ２）とが、行方向に隣接していてもよく、列方向に隣接していてもよい。

【0055】

回路層１０００は、光電変換素子層１１００、カラーフィルタ層１２００、および光学素子層１３００またはマイクロレンズアレイ１３０１を支持することができる。回路層１０００は、例えば、シリコン基板であり、酸化シリコン膜または窒化シリコン膜などが形成されていてもよい。

【0056】

光電変換素子層１１００は、画素内の各々に設けられ、受光した光の強度に応じて電荷を生成する光電変換素子１１１０を含む。光電変換素子１１１０は、光によって起電力が発生する光電変換素子であってもよく、光によって電気伝導度が変化する光電変換素子であってもよい。なお、詳細は図示しないが、光電変換素子層１１００には、光電変換素子１１１０を制御する制御回路が形成されていてもよい。

【0057】

したがって、画素部１００は、各画素内の光電変換素子１１１０を制御することにより、画素信号を生成し、出力ことができる。

【0058】

［３．ビニング処理部２００によるビニング処理］
図４は、本発明の一実施形態に係る撮像システム１０のビニング処理部２００で実行されるビニング処理を説明する模式図である。なお、以下では、便宜上、ビニング信号および画素の括弧内の記号が画素値を表す場合がある。

【0059】

ビニング処理部２００は、画素配列１０１に含まれる複数の画素を選択的にビニングし、第１のビニング信号２１０（Ｇ１’）、第２のビニング信号２２０（Ｇ２’）、第３のビニング信号２３０（Ｒ’）、および第４のビニング信号２４０（Ｂ’）を生成する。以下では、便宜上、第１のビニング信号２１０（Ｇ１’）、第２のビニング信号２２０（Ｇ２’）、第３のビニング信号２３０（Ｒ’）、および第４のビニング信号２４０（Ｂ’）が、画素配列１０１に対応したビニング信号配列２０１に変換されたものとして説明する。そのため、第２のビニング信号２２０（Ｇ２’）は、第１のビニング信号２１０（Ｇ１’）の対角の位置（対角方向）において、第１のビニング信号２１０（Ｇ１’）と隣接している。第３のビニング信号２３０（Ｒ’）は、行方向において、第１のビニング信号２１０（Ｇ１’）と隣接している。第４のビニング信号２４０（Ｂ’）は、列方向において、第１のビニング信号２１０（Ｇ１’）と隣接している。したがって、ビニング信号配列２０１内における第１のビニング信号２１０（Ｇ１’）の位置と第２のビニング信号２２０（Ｇ２’）の位置とを相対的に表すと、第１のビニング信号２１０（Ｇ１’）はビニング信号配列２０１の上側または左側に位置し、第２のビニング信号２２０（Ｇ２’）はビニング信号配列２０１の下側または右側に位置している。

【0060】

第３のビニング信号２３０（Ｒ’）および第４のビニング信号２４０（Ｂ’）は、それぞれ、第３の画素ユニット１３０に含まれる第３の画素１３１−１〜１３１−４および第４の画素ユニット１４０に含まれる第４の画素１４１−１〜１４１−４がビニングされることによって生成される。一方、第１のビニング信号２１０（Ｇ１’）は、第１の画素ユニット１１０内の第１の画素１１１−１〜１１１−４および第２の画素ユニット１２０内の第２の画素１２１−１〜１２１−４のそれぞれを、列方向または行方向に沿って第１の側と第２の側とに２分割し、第１の側の画素がビニングされることによって生成される。同様に、第２のビニング信号２２０（Ｇ２’）は、第２の側の画素がビニングされることによって生成される。以下では、図５（Ａ）および図５（Ｂ）を参照し、第１のビニング信号２１０（Ｇ１’）および第２のビニング信号２２０（Ｇ２’）を生成するビニング処理について説明する。

【0061】

図５（Ａ）および図５（Ｂ）は、それぞれ、本発明の一実施形態に係る撮像システム１０において、第１のビニング信号２１０（Ｇ１’）および第２のビニング信号２２０（Ｇ２’）を生成するビニング処理を説明する模式図である。

【0062】

図５（Ａ）に示すように、ビニング処理部２００は、第１の画素ユニット１１０内の左側の第１の画素１１１−１（Ｇ１_UL）および１１１−３（Ｇ１_DL）ならびに第２の画素ユニット１２０内の左側の第２の画素１２１−１（Ｇ２_UL）および１２１−３（Ｇ２_DL）をビニングし、第１のビニング信号２１０（Ｇ１’）を生成する。

【0063】

また、図５（Ｂ）に示すように、ビニング処理部２００は、第１の画素ユニット１１０内の右側の第１の画素１１１−２（Ｇ１_UR）および１１１−４（Ｇ１_DR）ならびに第２の画素ユニット１２０内の右側の第２の画素１２１−２（Ｇ２_UR）および１２１−４（Ｇ２_DR）をビニングし、第２のビニング信号２２０（Ｇ２’）を生成する。

【0064】

したがって、第１のビニング信号２１０〜第４のビニング信号２４０のそれぞれの画素値は、表１に示す式で算出される。

【0065】

【表1】

【0066】

表１からもわかるように、第１のビニング信号２１０（Ｇ１’）には、第１の画素ユニット１１０の左側の情報および第２の画素ユニット１２０の左側の情報が集約されている。一方、第２のビニング信号２２０（Ｇ２’）には、第１の画素ユニット１１０の右側の情報および第２の画素ユニット１２０の右側の情報が集約されている。また、第１のビニング信号２１０〜第４のビニング信号２４０の各々は、４個の画素がビニングされているため、撮像システム１０では、フレームレートを向上させることが可能である。

【0067】

［４．測距処理部３００による測距処理］
はじめに、図６を参照して、被写体の距離信号成分を検出する方法について説明する。

【0068】

図６は、本発明の一実施形態に係る撮像システムにおける被写体の距離信号成分の検出を説明する模式図である。図６（Ａ）〜図６（Ｃ）には、Ｘ方向において、第１の画素Ｌと第２の画素Ｒとが交互に配置されている。ここで、例えば、第１の画素Ｌは、第１の画素ユニット１１０内の左側の第１の画素１１１−１および１１１−３であり、第２の画素Ｒは、第１の画素ユニット１１０内の右側の第１の画素１１１−２および１１１−４である。なお、第１の画素Ｌおよび第２の画素Ｒの上には、光の入射角によって信号分布を変化させる光学素子層が設けられている（図示せず）。また、図６（Ａ）〜図６（Ｃ）には、エッジ周辺における第１の画素Ｌおよび第２の画素Ｒの信号強度の変化、ならびに差分信号（Ｌ−Ｒ）の変化が示されている。差分信号（Ｌ−Ｒ）は、距離信号成分であり、例えば、第１の画素Ｌの画素信号の強度と第２の画素Ｒの画素信号の強度との差分値である。

【0069】

図６（Ａ）は、被写体のエッジがＸ方向にあり、被写体と撮像システム１０との距離が合焦距離よりも近い場合を示している。入射角特性の違いにより、第１の画素Ｌの画素信号および第２の画素Ｒの画素信号は、被写体のエッジ位置において、それぞれ、右および左にずれる。その結果、差分信号は下に凸の曲線となる。

【0070】

図６（Ｂ）は、被写体のエッジがＸ方向にあり、被写体と撮像システム１０との距離が合焦距離と一致している場合を示している。この場合、第１の画素Ｌの画素信号と第２の画素Ｒの画素信号は、被写体のエッジ位置において、概ね一致する。その結果、差分信号は概ね０となる。

【0071】

図６（Ｃ）は、被写体のエッジがＸ方向にあり、被写体と撮像システム１０との距離が合焦距離よりも遠い場合を示している。入射角特性の違いにより、第１の画素Ｌの画素信号および第２の画素Ｒの画素信号は、被写体のエッジ位置において、それぞれ、左および右にずれる。その結果、差分信号は上に凸の曲線となる。

【0072】

しかしながら、隣接する第１の画素Ｌと第２の画素Ｒとがビニングされると（例えば、第１の画素ユニット１１０内の第１の画素１１１−１〜１１１−４がビニングされると）、距離信号成分が失われ、結果として差分信号を検出することができなくなる。

【0073】

図７は、本発明の一実施形態に係る撮像システム１０の測距処理部３００で実行される測距処理を説明する模式図である。具体的には、図７（Ａ）は、第１のビニング信号２１０（Ｇ１’）および第２のビニング信号２２０（Ｇ２’）の各々の信号強度を示す図であり、図７（Ｂ）は、第１のビニング信号２１０（Ｇ１’）および第２のビニング信号（Ｇ２’）の差分信号（Ｇ１’−Ｇ２’）を示す図である。

【0074】

測距処理部３００は、各画素配列１０１において、第１のビニング信号２１０（Ｇ１’）の画素値Ｇ１’と第２のビニング信号２２０（Ｇ２’）の画素値Ｇ２’との差分値を差分信号（Ｇ１’−Ｇ２’）として生成する。上述したように、第１のビニング信号２１０（Ｇ１’）には第１の画素ユニット１１０の左側の情報および第２の画素ユニットの左側の情報が集約され、第２のビニング信号２２０（Ｇ２’）には第１の画素ユニット１１０の右側の情報および第２の画素ユニット１２０の右側の情報が集約されている。換言すると、第１のビニング信号２１０（Ｇ１’）および第２のビニング信号（Ｇ２’）には、それぞれ、画素配列１０１の左側の情報および右側の情報が含まれている。すなわち、撮像システム１０では、ビニング処理後においても、第１のビニング信号２１０（Ｇ１’）および第２のビニング信号２２０（Ｇ２’）のそれぞれが距離信号成分を含み、距離信号成分を基に差分信号を生成することができる。したがって、被写体のエッジがＸ方向にあり、被写体と撮像システム１０との距離が合焦距離よりも遠い場合、図７（Ｂ）に示すように、差分信号（Ｇ１’−Ｇ２’）は、被写体のエッジ位置に対応し、上に凸の曲線となる。

【0075】

なお、距離信号ｄｉｓｔ_diffは、例えば、第１のビニング信号２１０（Ｇ１’）の画素値Ｇ１’、第２のビニング信号２２０（Ｇ２’）の画素値Ｇ２’、および図７（Ａ）に示したエッジコントラストＣを用いて、式（１）で表すことができる。

【0076】

【数1】

【0077】

距離信号ｄｉｓｔ_diffが正の場合には、被写体は撮像システム１０の合焦距離よりも遠く、距離信号ｄｉｓｔ_diffが負の場合には、被写体は撮像システム１０の合焦距離よりも近い。そのため、撮像システム１０は、距離信号ｄｉｓｔ_diffの符号を基にして被写体に焦点を合わせることができる。

【0078】

また、測距処理部３００は、距離信号ｄｉｓｔ_diffに基づいて撮像システム１０から被写体までの距離を計算し、実際の被写体までの距離に変換された距離情報（距離データ）を生成することができる。

【0079】

以上説明したように、本実施形態に係る撮像システム１０は、ビニング処理によってフレームレートを向上させるだけでなく、ビニング処理後のビニング信号が距離信号成分を有しているため、被写体と撮像システム１０との距離を算出し、例えば、高精度に被写体に焦点を合わせることができる。

【0080】

＜変形例１＞
図８を参照して、第１実施形態に係る撮像システム１０の一変形例について説明する。なお、以下では、上述した撮像システム１０の構成と同様の構成については、説明を省略する場合がある。

【0081】

図８は、本発明の一実施形態に係る撮像システム１０の画素部１００ａの画素配列１０１ａおよび断面構成を示す模式図である。なお、図８（Ａ）には、便宜上、光学素子層１３００ａの構成が破線で示されている。

【0082】

光学素子層１３００ａは、カラーフィルタ層１２００上に設けられ、マイクロレンズアレイ１３１０ａおよび透過型回折格子１３２０ａを含む。マイクロレンズアレイ１３１０ａは、複数の凸レンズを含み、画素（図８（Ｂ）では、第１の画素１１１−１および１１１−２、ならびに第３の画素１３１−１および１３１−２）の各々に１個の凸レンズが配置されている。なお、マイクロレンズアレイ１３１０ａの凸レンズの直径は、画素の一辺の長さと略一致するように形成されている。

【0083】

透過型回折格子１３２０ａは、マイクロレンズアレイ１３１０ａ上に設けられ、列方向に沿って溝が設けられている。換言すると、透過型回折格子１３２０ａは、行方向に沿って周期的に凹凸が繰り返し配置されている。透過型回折格子１３２０ａの溝は、第１の画素ユニット１１０と第３の画素ユニット１３０との間および第４の画素ユニット１４０と第２の画素ユニット１２０との間に設けられているが、これに限られない。

【0084】

変形例１に係る画素部１００ａは、マイクロレンズアレイ１３１０ａの凸レンズが各画素に設けられている。そのため、第１の画素ユニット１１０内の第１の画素１１１−１〜１１１−４において、凸レンズのみによる光学的な違いはない。しかしながら、透過型回折格子１３２０ａを設けると、第１の画素ユニット１１０内の左側の第１の画素１１１−１および１１１−３と右側の第１の画素１１１−２および１１１−４とにおいて、光学的な違いが現れる。第２の画素ユニット１２０も同様である。そのため、画素配列１０１ａにおいても、上述と同様のビニング処理を実行することにより、第１のビニング信号２１０（Ｇ１’）および第２のビニング信号２２０（Ｇ２’）のそれぞれに距離信号成分を含ませることができるため、距離信号成分を基に差分信号を生成することができる。

【0085】

したがって、変形例１に係る画素部１００ａの構成であっても、撮像システム１０は、ビニング処理によってフレームレートを向上させるだけでなく、ビニング処理後のビニング信号が距離信号成分を有しているため、被写体と撮像システム１０との距離を算出し、例えば、高精度に被写体に焦点を合わせることができる。

【0086】

＜第２実施形態＞
図９および図１０を参照して、本発明の一実施形態に係る撮像システム１０の構成について説明する。本実施形態では、第１実施形態で説明したビニング処理とは異なるビニング処理について説明する。なお、以下では、第１実施形態で説明した構成と同様の構成については、説明を省略する場合がある。

【0087】

図９は、本発明の一実施形態に係る撮像システム１０のビニング処理部２００で実行されるビニング処理を説明する模式図である。

【0088】

ビニング処理部２００は、画素配列１０１に含まれる複数の画素を選択的にビニングし、第１のビニング信号２１０Ａ（Ｇ１’’）、第２のビニング信号２２０Ａ（Ｇ２’’）、第３のビニング信号２３０（Ｒ’）、および第４のビニング信号２４０（Ｂ’）を生成する。以下では、便宜上、第１のビニング信号２１０Ａ（Ｇ１’’）、第２のビニング信号２２０Ａ（Ｇ２’’）、第３のビニング信号２３０（Ｒ’）、および第４のビニング信号２４０（Ｂ’）が、画素配列１０１に対応したビニング信号配列２０１Ａに変換されたものとして説明する。そのため、第２のビニング信号２２０Ａ（Ｇ２’’）は、第１のビニング信号２１０Ａ（Ｇ１’’）の対角の位置（対角方向）において、第１のビニング信号２１０Ａ（Ｇ１’’）と隣接している。第３のビニング信号２３０（Ｒ’）は、行方向において、第１のビニング信号２１０Ａ（Ｇ１’’）と隣接している。第４のビニング信号２４０（Ｂ’）は、列方向において、第１のビニング信号２１０Ａ（Ｇ１’’）と隣接している。したがって、ビニング信号配列２０１Ａ内における第１のビニング信号２１０Ａ（Ｇ１’’）の位置と第２のビニング信号２２０Ａ（Ｇ２’’）の位置とを相対的に表すと、第１のビニング信号２１０Ａ（Ｇ１’’）はビニング信号配列２０１Ａの上側または左側に位置し、第２のビニング信号２２０Ａ（Ｇ２’’）はビニング信号配列２０１Ａの下側または右側に位置している。

【0089】

図１０（Ａ）および図１０（Ｂ）は、本発明の一実施形態に係る撮像システム１０において、第１のビニング信号２１０Ａ（Ｇ１’’）および第２のビニング信号２２０Ａ（Ｇ２’’）を生成するビニング処理を説明する模式図である。

【0090】

図１０（Ａ）に示すように、ビニング処理部２００は、第１の画素ユニット１１０内の上側の第１の画素１１１−１（Ｇ１_UL）および１１１−２（Ｇ１_UR）ならびに第２の画素ユニット１２０内の上側の第２の画素１２１−１（Ｇ２_UL）および１２１−２（Ｇ２_UR）をビニングし、第１のビニング信号２１０Ａ（Ｇ１’’）を生成する。

【0091】

また、図１０（Ｂ）に示すように、ビニング処理部２００は、第１の画素ユニット１１０内の下側の第１の画素１１１−３（Ｇ１_DL）および１１１−４（Ｇ１_DR）ならびに第２の画素ユニット１２０内の下側の第２の画素１２１−３（Ｇ２_DL）および１２１−４（Ｇ２_DR）をビニングし、第２のビニング信号２２０Ａ（Ｇ２’’）を生成する。

【0092】

したがって、第１のビニング信号２１０Ａおよび第２のビニング信号２２０Ａのそれぞれの画素値は、表２に示す式で算出される。

【0093】

【表2】

【0094】

表２からもわかるように、第１のビニング信号２１０Ａ（Ｇ１’’）には、第１の画素ユニット１１０の上側の情報および第２の画素ユニット１２０の上側の情報が集約されている。一方、第２のビニング信号２２０Ａ（Ｇ２’’）には、第１の画素ユニット１１０の下側の情報および第２の画素ユニット１２０の下側の情報が集約されている。また、第１のビニング信号２１０Ａおよび第２のビニング信号２２０Ａの各々は、４個の画素がビニングされているため、撮像システム１０では、フレームレートを向上させることが可能である。

【0095】

第１のビニング信号２１０Ａ（Ｇ１’’）および第２のビニング信号２２０Ａを用いた測距処理部３００による測距処理は、第１実施形態と同様である。すなわち、測距処理部３００は、各画素配列１０１において、第１のビニング信号２１０Ａ（Ｇ１’’）の画素値Ｇ１’’と第２のビニング信号２２０Ａ（Ｇ２’’）の画素値Ｇ２’’との差分値を差分信号（Ｇ１’’−Ｇ２’’）として生成する。また、測距処理部３００は、距離信号に基づいて撮像システム１０から被写体までの距離を計算し、実際の被写体までの距離に変換された距離情報（距離データ）を生成することができる。

【0096】

以上説明したように、本実施形態に係る撮像システム１０も、ビニング処理によってフレームレートを向上させるだけでなく、ビニング処理後のビニング信号が距離信号成分を有しているため、被写体と撮像システム１０との距離を算出し、例えば、高精度に被写体に焦点を合わせることができる。

【0097】

＜変形例２＞
図１１を参照して、第２実施形態に係る撮像システム１０の一変形例について説明する。なお、以下では、上述した撮像システム１０の構成と同様の構成については、説明を省略する場合がある。

【0098】

図１１は、本発明の一実施形態に係る撮像システム１０の画素部１００ｂの画素配列１０１ｂおよび断面構成を示す模式図である。なお、図１１（Ａ）には、便宜上、光学素子層１３００ｂの構成が破線で示されている。

【0099】

光学素子層１３００ｂは、カラーフィルタ層１２００上に設けられ、マイクロレンズアレイ１３１０ｂおよび透過型回折格子１３２０ｂを含む。マイクロレンズアレイ１３１０ｂは、複数の凸レンズを含み、画素（図１１（Ｂ）では、第１の画素１１１−１および１１１−３、ならびに第４の画素１４１−１および１４１−３）の各々に１個の凸レンズが配置されている。なお、マイクロレンズアレイ１３１０ｂの凸レンズの直径は、画素の一辺の長さと略一致するように形成されている。

【0100】

透過型回折格子１３２０ｂは、マイクロレンズアレイ１３１０ｂ上に設けられ、行方向に沿って溝が設けられている。換言すると、透過型回折格子１３２０ｂは、列方向に沿って周期的に凹凸が繰り返し配置されている。透過型回折格子１３２０ｂの溝は、第１の画素ユニット１１０と第４の画素ユニット１４０との間および第３の画素ユニット１３０と第２の画素ユニット１２０との間に設けられているが、これに限られない。

【0101】

変形例２に係る画素部１００ｂは、マイクロレンズアレイ１３１０ｂの凸レンズが各画素に設けられている。そのため、第１の画素ユニット１１０内の第１の画素１１１−１〜１１１−４において、凸レンズのみによる光学的な違いはない。しかしながら、透過型回折格子１３２０ｂを設けると、第１の画素ユニット１１０内の上側の第１の画素１１１−１および１１１−２と下側の第１の画素１１１−３および１１１−４とにおいて、光学的な違いが現れる。第２の画素ユニット１２０も同様である。そのため、画素配列１０１ｂにおいても、上述と同様のビニング処理を実行することにより、第１のビニング信号２１０（Ｇ１’’）および第２のビニング信号２２０（Ｇ２’’）のそれぞれに距離信号成分を含ませることができるため、距離信号成分を基に差分信号を生成することができる。

【0102】

したがって、変形例２に係る画素部１００ｂの構成であっても、撮像システム１０は、ビニング処理によってフレームレートを向上させるだけでなく、ビニング処理後のビニング信号が距離信号成分を有しているため、被写体と撮像システム１０との距離を算出し、例えば、高精度に被写体に焦点を合わせることができる。

【0103】

＜第３実施形態＞
図１２を参照して、本発明の一実施形態に係る撮像システム１０の構成について説明する。本実施形態では、第１実施形態および第２実施形態で説明したビニング処理とは異なるビニング処理について説明する。なお、以下では、第１実施形態および第２実施形態で説明した構成と同様の構成については、説明を省略する場合がある。

【0104】

図１２は、本発明の一実施形態に係る撮像システム１０のビニング処理部２００で実行されるビニング処理を説明する模式図である。

【0105】

図１２には、画素部１００に繰り返し配列された複数の画素配列１０１のうち、隣接する４つの画素配列１０１が示されている。第２の画素配列１０１−２は、第１の画素配列１０１−１の対角の位置（対角方向）において、第１の画素配列１０１−１と隣接している。第３の画素配列１０１−３は、行方向において、第１の画素配列１０１−１と隣接している。第４の画素配列１０１−４は、列方向において、第１の画素配列１０１−１と隣接している。

【0106】

ビニング処理部２００は、第１の画素配列１０１−１および第２の画素配列１０１−２の各々においては、第１実施形態で説明したビニング処理を実行する。すなわち、第１の画素配列１０１−１および第２の画素配列１０１−２の各々は、ビニング処理によって、第１のビニング信号２１０および第２のビニング信号２２０を含むビニング信号配列２０１に変換される。一方、ビニング処理部２００は、第３の画素配列１０１−３および第４の画素配列１０１−４の各々においては、第２実施形態で説明したビニング処理を実行する。すなわち、第３の画素配列１０１−３および第４の画素配列１０１−４の各々は、ビニング処理によって、第１のビニング信号２１０Ａおよび第２のビニング信号２２０Ａを含むビニング信号配列２０１Ａに変換される。換言すると、ビニング処理部２００は、行方向および列方向に、ビニング信号配列２０１およびビニング信号配列２０１Ａが交互に配列されるように、ビニング処理を実行する。

【0107】

ビニング処理後の測距処理部３００による測距処理は、第１実施形態および第２実施形態と同様であるため説明を省略するが、本実施形態で説明したビニング処理によっても、ビニング処理後のビニング信号が距離信号成分を有しているため、被写体と撮像システム１０との距離を算出し、例えば、高精度に被写体に焦点を合わせることができる。特に、測距処理部３００が、被写体のＸ方向およびＹ方向のエッジを検出することができるため、さらに高精度に被写体に焦点を合わせることができる。

【0108】

＜第４実施形態＞
図１３を参照して、本発明の一実施形態に係る撮像システム１０の構成について説明する。本実施形態では、第１実施形態〜第３実施形態で説明したビニング処理とは異なるビニング処理について説明する。なお、以下では、第１実施形態〜第３実施形態で説明した構成と同様の構成については、説明を省略する場合がある。

【0109】

図１３は、本発明の一実施形態に係る撮像システム１０のビニング処理部２００で実行されるビニング処理を説明する模式図である。

【0110】

図１３には、画素配列１０１が示されている。第２ｋ−１のフレーム（ｋは自然数）において、ビニング処理部２００は、第１実施形態で説明したビニング処理を実行する。すなわち、第２ｋ−１のフレームにおいて、画素配列１０１は、ビニング処理によって、第１のビニング信号２１０および第２のビニング信号２２０を含むビニング信号配列２０１に変換される。一方、第２ｋのフレームにおいて、ビニング処理部２００は、第２実施形態で説明したビニング処理を実行する。すなわち、第２ｋのフレームにおいて、画素配列１０１は、ビニング処理によって、第１のビニング信号２１０Ａおよび第２のビニング信号２２０Ａを含むビニング信号配列２０１Ａに変換される。

【0111】

ビニング処理後の測距処理部３００による測距処理は、第１実施形態および第２実施形態と同様であるため説明を省略するが、本実施形態で説明したビニング処理によっても、ビニング処理後のビニング信号が距離信号成分を有しているため、被写体と撮像システム１０との距離を算出し、例えば、高精度に被写体に焦点を合わせることができる。特に、測距処理部３００が、フレームごとに被写体のＸ方向およびＹ方向のエッジを検出することができるため、さらに高精度に被写体に焦点を合わせることができる。

【0112】

なお、本実施形態では、第２ｋ−１のフレームおよび第２ｋのフレームとして、連続するフレームにおいて異なるビニング処理が実行されるように説明したが、ビニング処理のフレーム周期はこれに限られない。本実施形態では、複数のフレームのいずれかにおいて、異なるビニング処理が含まれていればよい。

【0113】

＜第５実施形態＞
第１実施形態〜第４実施形態では、２個の画素ユニットの各々を第１の側の画素と第２の側の画素とに分割し、第１の側の画素をビニングして第１のビニング信号を生成し、第２の側の画素をビニングして第２のビニング信号を生成したが、これらのビニング処理で用いられる画素ユニットの数は、２個に限られない。そこで、本実施形態では、画素ユニットの数が２個以外の例について説明する。なお、以下では、第１実施形態〜第４実施形態で説明した構成と同様の構成については、説明を省略する場合がある。

【0114】

図１４は、本発明の一実施形態に係る撮像システム１０のビニング処理部２００でビニング処理される画素配列１０１ｃ〜１０１ｅを説明する模式図である。

【0115】

図１４（Ａ）に示す画素配列１０１ｃは、２個の第１の画素ユニット１１０ｃ−１および１１０ｃ−２ならびに２個の第２の画素ユニット１２０ｃ−１および１２０ｃ−２を含む。ビニング処理部２００は、第１の画素ユニット１１０ｃ−１および１１０ｃ−２の各々の第１の側の画素と第２の画素ユニット１２０ｃ−１および１２０ｃ−２の各々の第１の側の画素とをビニングし、第１のビニング信号を生成する。また、ビニング処理部２００は、第１の画素ユニット１１０ｃ−１および１１０ｃ−２の第２の側の画素と第２の画素ユニット１２０ｃ−１および１２０ｃ−２の第２の側の画素とをビニングし、第２のビニング信号を生成する。そのため、第１のビニング信号には第１の画素ユニット１１０ｃおよび第２の画素ユニット１２０ｃの各々の第１の側の情報が集約され、第２のビニング信号には第１の画素ユニット１１０ｃおよび第２の画素ユニット１２０ｃの各々の第２の側の情報が集約されている。したがって、画素配列１０１ｃに対するビニング処理においても、ビニング処理後のビニング信号が距離信号成分を有しているため、被写体と撮像システム１０との距離を算出し、例えば、高精度に被写体に焦点を合わせることができる。

【0116】

図１４（Ｂ）に示す画素配列１０１ｄは、４個の第１の画素ユニット１１０ｄ−１〜１１０ｄ−４および４個の第２の画素ユニット１２０ｄ−１〜１２０ｄ−４を含む。ビニング処理部２００は、第１の画素ユニット１１０ｄ−１〜１１０ｄ−４の各々の第１の側の画素と第２の画素ユニット１２０ｄ−１〜１２０ｄ−４の各々の第１の側の画素とをビニングし、第１のビニング信号を生成する。また、ビニング処理部２００は、第１の画素ユニット１１０ｄ−１〜１１０ｄ−４の各々の第２の側の画素と第２の画素ユニット１２０ｄ−１〜１２０ｄ−４の各々の第２の側の画素とをビニングし、第２のビニング信号を生成する。そのため、第１のビニング信号には第１の画素ユニット１１０ｄおよび第２の画素ユニット１２０ｄの各々の第１の側の情報が集約され、第２のビニング信号には第１の画素ユニット１１０ｄおよび第２の画素ユニット１２０ｄの各々の第２の側の情報が集約されている。したがって、画素配列１０１ｄに対するビニング処理においても、ビニング処理後のビニング信号が距離信号成分を有しているため、被写体と撮像システム１０との距離を算出し、例えば、高精度に被写体に焦点を合わせることができる。

【0117】

図１４（Ｃ）に示す画素配列１０１ｅは、８個の第１の画素ユニット１１０ｅ−１〜１１０ｅ−８および８個の第２の画素ユニット１２０ｅ−１〜１２０ｅ−８を含む。ビニング処理部２００は、第１の画素ユニット１１０ｅ−１〜１１０ｅ−８の各々の第１の側の画素と第２の画素ユニット１２０ｅ−１〜１２０ｅ−８の各々の第１の側の画素とをビニングし、第１のビニング信号を生成する。また、ビニング処理部２００は、第１の画素ユニット１１０ｅ−１〜１１０ｅ−８の各々の第２の側の画素と第２の画素ユニット１２０ｅ−１〜１２０ｅ−８の各々の第２の側の画素とをビニングし、第２のビニング信号を生成する。そのため、第１のビニング信号には第１の画素ユニット１１０ｅおよび第２の画素ユニット１２０ｅの各々の第１の側の情報が集約され、第２のビニング信号には第１の画素ユニット１１０ｅおよび第２の画素ユニット１２０ｅの各々の第２の側の情報が集約されている。したがって、画素配列１０１ｅに対するビニング処理においても、ビニング処理後のビニング信号が距離信号成分を有しているため、被写体と撮像システム１０との距離を算出し、例えば、高精度に被写体に焦点を合わせることができる。

【0118】

ここで、ビニング処理される画素ユニットに着目すると、図２に示す画素配列１０１では２個の画素ユニット（１個の第１の画素ユニット１１０および１個の第２の画素ユニット１２０）、図１４（Ａ）に示す画素配列１０１ｃでは４個の画素ユニット（２個の第１の画素ユニット１１０ｃおよび２個の第２の画素ユニット１２０ｃ）、図１４（Ｂ）に示す画素配列１０１ｄでは８個の画素ユニット（４個の第１の画素ユニット１１０ｄおよび４個の第２の画素ユニット１２０ｄ）、および図１４（Ｃ）に示す画素配列１０１ｅでは１６個の画素ユニット（８個の第１の画素ユニット１１０ｅおよび８個の第２の画素ユニット１２０ｅ）に対してビニング処理が実行されている。すなわち、撮像システム１０では、２、４、８、１６、・・・、２^m個（ｍは自然数）の画素ユニットに対してビニング処理を実行することができる。

【0119】

以上説明したように、本実施形態に係る撮像システム１０は、２個の画素ユニットに限らず、２^m個の画素ユニットに対してビニング処理を実行しても、ビニング処理後のビニング信号が距離信号成分を有しているため、被写体と撮像システム１０との距離を算出し、例えば、高精度に被写体に焦点を合わせることができる。

【0120】

＜第６実施形態＞
第１実施形態〜第５実施形態では、画素部１００の１個の画素ユニットが２×２個の画素を含む場合のビニング処理について説明した。しかしながら、画素ユニットに含まれる２×２個の画素は一例であって、画素ユニットに含まれる画素は２ｎ×２ｎ個（ｎは自然数）であってもよい。２ｎ×２ｎ個の画素は、２ｎ×ｎ個の画素またはｎ×２ｎ個の画素に、画素の個数を等しく２分割することができるため、２ｎ×２ｎ個の画素を含む画素ユニットに対しては、第１実施形態〜第４実施形態で説明したビニング処理を適用することができる。

【0121】

また、１個の画素ユニットが２ｎ×１個の画素を含む場合であっても、ｎ×１個の画素に２分割することができる。同様に、１個の画素ユニットが１×２ｎ個の画素を含む場合であっても、１×ｎ個の画素に２分割することができる。そのため、２ｎ×１個または１×２ｎ個の画素を含む画素ユニットに対しても、第１実施形態または第２実施形態で説明したビニング処理を適用することができる。

【0122】

一方、２ｎ＋１×２ｎ＋１個の画素を含む画素ユニットに対しては、画素の個数を等しく２分割することができないため、第１実施形態〜第４実施形態で説明したビニング処理を直接適用することはできない。そこで、本実施形態では、図１５〜図１７を参照し、一例として、３×３個の画素を含む画素ユニットに対して適用されるビニング処理について説明する。なお、以下では、第１実施形態〜第４実施形態で説明した構成と同様の構成については、説明を省略する場合がある。

【0123】

図１５は、本発明の一実施形態に係る撮像システム１０Ｂのビニング処理部２００で実行されるビニング処理を説明する模式図である。

【0124】

図１５には、撮像システム１０Ｂの画素部１００Ｂにおける画素配列１０１Ｂが示されている。図１５に示すように、画素部１００Ｂの画素配列１０１Ｂは、第１の画素ユニット１１０Ｂ、第２の画素ユニット１２０Ｂ、第３の画素ユニット１３０Ｂ、および第４の画素ユニット１４０Ｂを含む。第２の画素ユニット１２０Ｂは、第１の画素ユニット１１０Ｂの対角の位置（対角方向）において、第１の画素ユニット１１０Ｂと隣接している。第３の画素ユニット１３０Ｂは、行方向において、第１の画素ユニット１１０Ｂと隣接している。第４の画素ユニット１４０Ｂは、列方向において、第１の画素ユニット１１０と隣接している。また、画素配列１０１Ｂ内における第１の画素ユニット１１０Ｂの位置と第２の画素ユニット１２０Ｂの位置とを相対的に表すと、第１の画素ユニット１１０Ｂは画素配列１０１Ｂの上側または左側に位置し、第２の画素ユニット１２０Ｂは画素配列１０１Ｂの下側または右側に位置している。

【0125】

第１の画素ユニット１１０Ｂは、第１の画素１１１Ｂ−１〜１１１Ｂ−９を含む。第２の画素ユニット１２０Ｂは、第２の画素１２１Ｂ−１〜１２１Ｂ−９を含む。第３の画素ユニット１３０Ｂは、第３の画素１３１Ｂ−１〜１３１Ｂ−９を含む。第４の画素ユニット１４０Ｂは、第４の画素１４１Ｂ−１〜１４１Ｂ−９を含む。ここでは、第１の画素１１１Ｂ−１〜１１１Ｂ−９および第２の画素１２１Ｂ−１〜１２１Ｂ−９は、それぞれ、第１の緑色画素（Ｇ１）および第２の緑色画素（Ｇ２）である。また、第３の画素１３１Ｂ−１〜１３１Ｂ−９および第４の画素１４１Ｂ−１〜１４１Ｂ−９は、それぞれ、赤色画素（Ｒ）および青色画素（Ｂ）である。

【0126】

第１の画素１１１Ｂ−１（Ｇ１_UL）、１１１Ｂ−２（Ｇ１_UM）、および１１１Ｂ−３（Ｇ１_UR）は、第１の画素ユニット１１０Ｂ内の上側に位置し、第１の画素１１１Ｂ−７（Ｇ１_DL）、１１１Ｂ−８（Ｇ１_DM）、および１１１Ｂ−９（Ｇ１_DR）は、第１の画素ユニット１１０Ｂ内の下側に位置している。また、第１の画素１１１Ｂ−４（Ｇ１_ML）、１１１Ｂ−５（Ｇ１_MM）、および１１１Ｂ−６（Ｇ１_MR）は、第１の画素ユニット１１０Ｂ内の上側と下側の中間に位置している。換言すると、第１の画素１１１Ｂ−１（Ｇ１_UL）、１１１Ｂ−４（Ｇ１_ML）、および１１１Ｂ−７（Ｇ１_DL）は、第１の画素ユニット１１０Ｂ内の左側に位置し、第１の画素１１１Ｂ−３（Ｇ１_UR）、１１１Ｂ−６（Ｇ１_MR）、および１１１Ｂ−９（Ｇ１_DR）は、第１の画素ユニット１１０Ｂ内の右側に位置している。また、第１の画素１１１Ｂ−２（Ｇ１_UM）、１１１Ｂ−５（Ｇ１_MM）、および１１１Ｂ−８（Ｇ１_DM）は、第１の画素ユニット１１０Ｂ内の左側と右側の中間に位置している。第２の画素ユニット１２０Ｂ内の第２の画素１２１Ｂ−１（Ｇ２_UL）〜１２１Ｂ−９（Ｇ２_DR）の位置、第３の画素ユニット１３０Ｂの第３の画素１３１Ｂ−１（Ｒ_UL）〜１３１Ｂ−９（Ｒ_DR）の位置、および第４の画素ユニット１４０Ｂ内の第４の画素１４１Ｂ−１（Ｂ_UL）〜１４１Ｂ−９（Ｂ_DR）の位置も同様である。

【0127】

ビニング処理部２００は、上述した複数の画素を選択的にビニングし、第１のビニング信号２１０Ｂ（Ｇ１’’’）、第２のビニング信号２２０Ｂ（Ｇ２’’’）、第３のビニング信号２３０Ｂ（Ｒ’’’）、および第４のビニング信号２４０Ｂ（Ｂ’’’）を生成する。すなわち、ビニング処理によって、画素配列１０１Ｂが、第１のビニング信号２１０Ｂ（Ｇ１’’’）、第２のビニング信号２２０Ｂ（Ｇ２’’’）、第３のビニング信号２３０Ｂ（Ｒ’’’）、および第４のビニング信号２４０Ｂ（Ｂ’’’）を含むビニング信号配列２０１に変換される。第２のビニング信号２２０Ｂ（Ｇ２’’’）は、第１のビニング信号２１０Ｂ（Ｇ１’’’）の対角の位置（対角方向）において、第１のビニング信号２１０Ｂ（Ｇ１’’’）と隣接している。第３のビニング信号２３０Ｂ（Ｒ’’’）は、行方向において、第１のビニング信号２１０Ｂ（Ｇ１’’’）と隣接している。第４のビニング信号２４０Ｂ（Ｂ’’’）は、列方向において、第１のビニング信号２１０Ｂ（Ｇ１’’’）と隣接している。したがって、ビニング信号配列２０１Ｂ内における第１のビニング信号２１０Ｂ（Ｇ１’’’）の位置と第２のビニング信号２２０Ｂ（Ｇ２’’’）の位置とを相対的に表すと、第１のビニング信号２１０Ｂ（Ｇ１’’’）はビニング信号配列２０１Ｂの上側または左側に位置し、第２のビニング信号２２０Ｂ（Ｇ２’’’）はビニング信号配列２０１Ｂの下側または右側に位置している。

【0128】

第３のビニング信号２３０Ｂ（Ｒ’’’）および第４のビニング信号２４０Ｂ（Ｂ’’’）は、それぞれ、第３の画素ユニット１３０Ｂに含まれる第３の画素１３１Ｂ−１〜１３１Ｂ−９および第４の画素ユニット１４０Ｂに含まれる第４の画素１４１Ｂ−１〜１４１Ｂ−９がビニングされることによって生成される。一方、第１のビニング信号２１０Ｂ（Ｇ１’’’）は、第１の画素ユニット１１０Ｂ内の第１の画素１１１Ｂ−１〜１１１Ｂ−９および第２の画素ユニット１２０Ｂ内の第２の画素１２１Ｂ−１〜１２１Ｂ−９を２分割し、２分割された一方の画素がビニングされることによって生成される。同様に、第２のビニング信号２２０Ｂ（Ｇ２’’’）は、２分割された他方の画素がビニングされることによって生成される。以下では、図１６および図１７を参照し、第１のビニング信号２１０Ｂ（Ｇ１’’’）および第２のビニング信号２２０Ｂ（Ｇ２’’’）を生成するビニング処理について説明する。

【0129】

図１６は、本発明の一実施形態に係る撮像システム１０Ｂにおいて、第１のビニング信号２１０Ｂ（Ｇ１’’’）を生成するビニング処理を説明する模式図である。ビニング処理部２００は、第１の画素ユニット１１０Ｂ内の左側の第１の画素１１１Ｂ−１（Ｇ１_UL）、１１１Ｂ−４（Ｇ１_ML）、および１１１Ｂ−７（Ｇ１_DL）ならびに第２の画素ユニット１２０Ｂ内の左側の第２の画素１２１Ｂ−１（Ｇ２_UL）、１２１Ｂ−４（Ｇ２_ML）、および１２１Ｂ−７（Ｇ２_DL）に加えて、中間に位置する第１の画素ユニット１１０Ｂ内の第１の画素１１１Ｂ−２（Ｇ１_UM）、１１１Ｂ−５（Ｇ１_MM）、および１１１Ｂ−８（Ｇ１_DM）ならびに第２の画素ユニット１２０Ｂ内の第２の画素１２１Ｂ−２（Ｇ２_UM）、１２１Ｂ−５（Ｇ２_MM）、および１２１Ｂ−８（Ｇ２_DM）をビニングし、第１のビニング信号２１０Ｂ（Ｇ１’’’）を生成する。

【0130】

図１７は、本発明の一実施形態に係る撮像システム１０Ｂにおいて、第２のビニング信号２２０Ｂ（Ｇ２’’’）を生成するビニング処理を説明する模式図である。ビニング処理部２００は、第１の画素ユニット１１０Ｂ内の右側の第１の画素１１１Ｂ−３（Ｇ１_UR）、１１１Ｂ−６（Ｇ１_MR）、および１１１Ｂ−９（Ｇ１_DR）ならびに第２の画素ユニット１２０Ｂ内の右側の第２の画素１２１Ｂ−３（Ｇ２_UR）、１２１Ｂ−６（Ｇ２_MR）、および１２１Ｂ−９（Ｇ２_DR）に加えて、中間に位置する第１の画素ユニット１１０Ｂ内の第１の画素１１１Ｂ−２（Ｇ１_UM）、１１１Ｂ−５（Ｇ１_MM）、および１１１Ｂ−８（Ｇ１_DM）ならびに第２の画素ユニット１２０Ｂ内の第２の画素１２１Ｂ−２（Ｇ２_UM）、１２１Ｂ−５（Ｇ２_MM）、および１２１Ｂ−８（Ｇ２_DM）をビニングし、第２のビニング信号２２０Ｂ（Ｇ２’’’）を生成する。

【0131】

中間に位置する第１の画素ユニット１１０Ｂ内の第１の画素１１１Ｂ−２（Ｇ１_UM）、１１１Ｂ−５（Ｇ１_MM）、および１１１Ｂ−８（Ｇ１_DM）ならびに第２の画素ユニット１２０Ｂ内の第２の画素１２１Ｂ−２（Ｇ２_UM）、１２１Ｂ−５（Ｇ２_MM）、および１２１Ｂ−８（Ｇ２_DM）は、第１のビニング信号２１０Ｂ（Ｇ１’’’）の生成だけでなく、第２のビニング信号２２０Ｂ（Ｇ２’’’）にも用いられる。そのため、第１のビニング信号（Ｇ１’’’）および第２のビニング信号２２０Ｂ（Ｇ２’’’）の画素値は、第１の画素ユニット１１０Ｂ内の第１の画素１１１Ｂ−２（Ｇ１_UM）、１１１Ｂ−５（Ｇ１_MM）、および１１１Ｂ−８（Ｇ１_DM）ならびに第２の画素ユニット１２０Ｂ内の第２の画素１２１Ｂ−２（Ｇ２_UM）、１２１Ｂ−５（Ｇ２_MM）、および１２１Ｂ−８（Ｇ２_DM）の各々の画素値を１／２として算出される。

【0132】

したがって、第１のビニング信号２１０Ｂ〜第４のビニング信号２４０Ｂのそれぞれの画素値は、表３に示す式で算出される。

【0133】

【表3】

【0134】

表３からもわかるように、第１のビニング信号２１０Ｂ（Ｇ１’’’）には、第１の画素ユニット１１０Ｂの左側の情報および第２の画素ユニット１２０Ｂの左側の情報が集約されている。一方、第２のビニング信号２２０Ｂ（Ｇ２’’’には、第１の画素ユニット１１０Ｂの右側の情報および第２の画素ユニット１２０Ｂの右側の情報が集約されている。そのため、撮像システム１０Ｂでは、ビニング処理後のビニング信号に距離信号成分が含まれているため、高フレームレートの撮像が可能である。

【0135】

ビニング処理後の測距処理部３００による測距処理は、第１実施形態と同様であるため説明を省略するが、本実施形態で説明したビニング処理によっても、ビニング処理後のビニング信号が距離信号成分を含んでいるため、被写体のＸ方向のエッジ部分と撮像システム１０Ｂとの距離を測定し、例えば、高精度に被写体に焦点を合わせることができる。

【0136】

なお、本実施形態は、第１実施形態だけでなく、第２実施形態〜第５実施形態で説明したビニング処理を適用することもできる。

【0137】

以上、本発明の各実施形態について図面を参照しながら説明したが、本発明は上記の実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、各実施形態の撮像システムを基にして、当業者が適宜構成の追加、削除、または設計変更を行ったものも、本発明の要旨を備えている限り、本発明の範囲に含まれる。さらに、上述した各実施形態は、相互に矛盾がない限り適宜組み合わせが可能であり、各実施形態に共通する技術事項については、明示の記載がなくても各実施形態に含まれる。

【0138】

また、上述した各実施形態の態様によりもたらされる作用効果とは異なる他の作用効果であっても、本明細書の記載から明らかなもの、または当業者において容易に予測し得るものについては、当然に本発明によりもたらされるものと解される。

【符号の説明】

【0139】

１０、１０Ｂ：撮像システム、
１００、１００Ｂ：画素部、
１０１、１０１ｃ、１０１ｄ、１０１ｅ、１０１Ｂ：画素配列、
１１０、１１０ｃ、１１０ｄ、１１０ｅ、１１０Ｂ：第１の画素ユニット、
１１１、１１１Ｂ：第１の画素、
１２０、１２０ｃ、１２０ｄ、１２０ｅ、１２０Ｂ：第２の画素ユニット、
１２１、１２１Ｂ：第２の画素、
１３０、１３０Ｂ：第３の画素ユニット、
１３１、１３１Ｂ：第３の画素、
１４０、１４０Ｂ：第４の画素ユニット、
１４１、１４１Ｂ：第４の画素、
２００：ビニング処理部、
２０１、２０１Ａ、２０１Ｂ：ビニング信号配列、
２１０、２１０Ａ、２１０Ｂ：第１のビニング信号、
２２０、２２０Ａ、２２０Ｂ：第２のビニング信号、
２３０：第３のビニング信号、
２４０：第４のビニング信号、
３００：測距処理部、 ４００：センサ部、 ５００：画像信号処理部、 ６００：記憶部、 ７００：表示部、
１０００：回路層、 １０１０：スイッチ部、 １１００：光電変換素子層、 １１１０：光電変換素子、 １１２０：素子分離部、 １２００：カラーフィルタ層、 １２１０：緑色カラーフィルタ、 １２３０：赤色カラーフィルタ、 １２４０：遮光部、 １３００、１３００ａ：光学素子層、 １３１０、１３１０ａ、１３１０ｂ：マイクロレンズアレイ、 １３２０ａ、１３２０ｂ：透過型回折格子

【要約】

【課題】フレームレートが高く、距離情報を有する画像信号を出力することができる撮像システムを提供すること。
【解決手段】撮像システムは、各々が同色の複数の画素を含む２^m個（ｍは自然数）の画素ユニットを含む画素部と、２^m個の画素ユニットの各々において、複数の画素を第１の側の画素と第２の側の画素とに分割し、第１の側の画素をビニングした第１のビニング信号および第２の側の画素をビニングした第２のビニング信号を生成するビニング処理部と、を含む。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】