特開 2024-625 固体撮像装置および電子機器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024000625

(43)【公開日】2024-01-09

(54)【発明の名称】固体撮像装置および電子機器

(51)【国際特許分類】

   H04N 25/13 20230101AFI20231226BHJP

【ＦＩ】

H04N9/07 D

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022099409

(22)【出願日】2022-06-21

(71)【出願人】

【識別番号】316005926

【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社

(74)【代理人】

【識別番号】100121131

【弁理士】

【氏名又は名称】西川 孝

(74)【代理人】

【識別番号】100082131

【弁理士】

【氏名又は名称】稲本 義雄

(74)【代理人】

【識別番号】100168686

【弁理士】

【氏名又は名称】三浦 勇介

(72)【発明者】

【氏名】小曽根 卓義

【テーマコード（参考）】

5C065

【Ｆターム（参考）】

5C065BB48

5C065CC01

5C065EE03

5C065EE05

5C065EE09

5C065EE10

(57)【要約】

【課題】受光面積の異なる２種類の画素により構成される画素部を有する場合に、画素部を大型化せずに、低照度側の感度とダイナミックレンジを向上させることができるようにする。
【解決手段】画素アレイ部には、サブ画素３１ｂとメイン画素３１ａにより構成される画素部が行列状に複数個配置される。画素アレイ部に配置される複数個のサブ画素３１ｂそれぞれが有するカラーフィルタ６１ｂにより構成される小カラーフィルタ群は、３種類のカラーフィルタにより構成される。画素アレイ部に配置される複数個のメイン画素３１ａそれぞれが有するカラーフィルタ６１ａにより構成される大カラーフィルタ群のうちの少なくとも一部は、緑色光の帯域を含む帯域の光を通過させる広帯域カラーフィルタである。大カラーフィルタ群における広帯域カラーフィルタの割合は、５０パーセントより大きい。本技術は、例えば、固体撮像素子等に適用できる。
【選択図】図３

【特許請求の範囲】

【請求項1】

第１の受光面積を有するサブ画素と前記第１の受光面積よりも大きい第２の受光面積を有するメイン画素により構成される画素部が行列状に複数個配置された画素アレイ
を備え、
前記画素アレイに配置される複数個の前記サブ画素それぞれが有するカラーフィルタにより構成される第１のカラーフィルタ群は、３種類のカラーフィルタにより構成され、
前記画素アレイに配置される複数個の前記メイン画素それぞれが有するカラーフィルタにより構成される第２のカラーフィルタ群のうちの少なくとも一部は、緑色光の帯域を含む帯域の光を通過させる広帯域カラーフィルタであり、
前記第２のカラーフィルタ群における前記広帯域カラーフィルタの割合は、５０パーセントより大きい
ように構成された
固体撮像装置。

【請求項2】

前記広帯域カラーフィルタは、全ての可視色の光を通過させるカラーフィルタである
ように構成された
請求項１に記載の固体撮像装置。

【請求項3】

前記広帯域カラーフィルタは、黄色または緑色のカラーフィルタである
ように構成された
請求項１に記載の固体撮像装置。

【請求項4】

前記第２のカラーフィルタ群の全てが前記広帯域カラーフィルタである
ように構成された
請求項１に記載の固体撮像装置。

【請求項5】

前記第２のカラーフィルタ群は、前記広帯域カラーフィルタと赤色または青色のカラーフィルタとにより構成される
ように構成された
請求項１に記載の固体撮像装置。

【請求項6】

前記第２のカラーフィルタ群は、前記広帯域カラーフィルタ、赤色のカラーフィルタ、および青色のカラーフィルタにより構成される
請求項１に記載の固体撮像装置。

【請求項7】

前記第２のカラーフィルタ群は、前記広帯域カラーフィルタ、シアンのカラーフィルタ、および赤色のカラーフィルタにより構成される
請求項１に記載の固体撮像装置。

【請求項8】

前記第２のカラーフィルタ群のうちの隣接する前記カラーフィルタの配列方向の行方向に対する角度は、０度より大きく９０度より小さい
ように構成された
請求項１に記載の固体撮像装置。

【請求項9】

前記３種類のカラーフィルタは、赤色、黄色、およびシアンのカラーフィルタである
ように構成された
請求項８に記載の固体撮像装置。

【請求項10】

第１の受光面積を有するサブ画素と前記第１の受光面積よりも大きい第２の受光面積を有するメイン画素により構成される画素が行列状に複数個配置された画素アレイ
を備え、
前記画素アレイに配置される複数個の前記サブ画素それぞれが有するカラーフィルタにより構成される第１のカラーフィルタ群は、３種類のカラーフィルタにより構成され、
前記画素アレイに配置される複数個の前記メイン画素それぞれが有するカラーフィルタにより構成される第２のカラーフィルタ群のうちの少なくとも一部は、緑色光の帯域を含む帯域の光を通過させるカラーフィルタである広帯域カラーフィルタであり、
前記第２のカラーフィルタ群における前記広帯域カラーフィルタの割合は、５０パーセントより大きい
ように構成された
固体撮像素子と、
前記サブ画素により受光された光に対応する画素信号であるサブ画素信号と、前記メイン画素により受光された光に対応する画素信号であるメイン画素信号とを用いて、画像を生成する生成部と
を備える電子機器。

【請求項11】

前記第２のカラーフィルタ群のうちの隣接する前記カラーフィルタの配列方向の行方向に対する角度は、０度より大きく９０度より小さく、
前記生成部は、前記サブ画素信号を用いて、行方向および列方向に隣り合う前記サブ画素の間の位置のサブ画素信号を補間し、前記メイン画素信号を用いて、行方向および列方向に隣り合う前記メイン画素の間の位置のメイン画素信号を補間し、補間後の前記サブ画素信号と前記メイン画素信号を用いて前記画像を生成する
ように構成された
請求項１０に記載の電子機器。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、固体撮像装置および電子機器に関し、特に、受光面積の異なる２種類の画素により構成される画素部を有する場合に、画素部を大型化せずに、低照度側の感度とダイナミックレンジを向上させることができるようにした固体撮像装置および電子機器に関する。

【背景技術】

【0002】

従来、イメージセンサ等の固体撮像装置（固体撮像素子）におけるカラーフィルタの色の種類としては、例えば、赤色、緑色、および青色、または、赤色、黄色、およびシアンの３種類がある。

【0003】

固体撮像装置において高感度の画像を撮影する方法としては、画素を大型化する方法がある。しかしながら、この方法では、画素数が変更されない場合、固体撮像装置が大型化し、これにより固体撮像装置のコストが増加したり、固体撮像装置を含むカメラが大型化し、これによりカメラの設置場所が制限されたりする。一方、固体撮像装置のサイズが変更されない場合、画素数が減少し、解像度が低下する。

【0004】

固体撮像装置において高解像度の画像を撮影する方法としては、画素数を増加させる方法がある。しかしながら、この方法では、画素のサイズが変更されない場合、固体撮像装置が大型化し、これにより固体撮像装置のコストが増加したり、固体撮像装置を含むカメラが大型化し、これによりカメラの設置場所が制限されたりする。一方、画素が小型化される場合、固体撮像装置のサイズの大型化を抑制しつつ高解像度を実現することができるが、感度が低下する。

【0005】

ところで、開口の大きな画素と開口の小さな画素を有し、隣接する両方の画素それぞれが赤色、緑色、または青色の同色のカラーフィルタを有することにより、ダイナミックレンジを向上させる固体撮像装置がある（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１５－６５２７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、このような固体撮像装置において、画素部を大型化せずに、低照度側の感度とダイナミックレンジを向上させることは困難であった。

【0008】

本技術は、このような状況に鑑みてなされたものであり、受光面積の異なる２種類の画素により構成される画素部を有する場合に、画素部を大型化せずに、低照度側の感度とダイナミックレンジを向上させることができるようにするものである。

【課題を解決するための手段】

【0009】

本技術の第１の側面の固体撮像装置は、第１の受光面積を有するサブ画素と前記第１の受光面積よりも大きい第２の受光面積を有するメイン画素により構成される画素部が行列状に複数個配置された画素アレイを備え、前記画素アレイに配置される複数個の前記サブ画素それぞれが有するカラーフィルタにより構成される第１のカラーフィルタ群は、３種類のカラーフィルタにより構成され、前記画素アレイに配置される複数個の前記メイン画素それぞれが有するカラーフィルタにより構成される第２のカラーフィルタ群のうちの少なくとも一部は、緑色光の帯域を含む帯域の光を通過させる広帯域カラーフィルタであり、前記第２のカラーフィルタ群における前記広帯域カラーフィルタの割合は、５０パーセントより大きいように構成された固体撮像装置である。

【0010】

本技術の第１の側面においては、第１の受光面積を有するサブ画素と前記第１の受光面積よりも大きい第２の受光面積を有するメイン画素により構成される画素部が行列状に複数個配置された画素アレイが設けられ、前記画素アレイに配置される複数個の前記サブ画素それぞれが有するカラーフィルタにより構成される第１のカラーフィルタ群は、３種類のカラーフィルタにより構成され、前記画素アレイに配置される複数個の前記メイン画素それぞれが有するカラーフィルタにより構成される第２のカラーフィルタ群のうちの少なくとも一部は、緑色光の帯域を含む帯域の光を通過させる広帯域カラーフィルタであり、前記第２のカラーフィルタ群における前記広帯域カラーフィルタの割合は、５０パーセントより大きい。

【0011】

本技術の第２の側面の電子機器は、第１の受光面積を有するサブ画素と前記第１の受光面積よりも大きい第２の受光面積を有するメイン画素により構成される画素部が行列状に複数個配置された画素アレイを備え、前記画素アレイに配置される複数個の前記サブ画素それぞれが有するカラーフィルタにより構成される第１のカラーフィルタ群は、３種類のカラーフィルタにより構成され、前記画素アレイに配置される複数個の前記メイン画素それぞれが有するカラーフィルタにより構成される第２のカラーフィルタ群のうちの少なくとも一部は、緑色光の帯域を含む帯域の光を通過させる広帯域カラーフィルタであり、前記第２のカラーフィルタ群における前記広帯域カラーフィルタの割合は、５０パーセントより大きいように構成された固体撮像素子と、前記サブ画素により受光された光に対応する画素信号であるサブ画素信号と、前記メイン画素により受光された光に対応する画素信号であるメイン画素信号とを用いて、画像を生成する生成部とを備える電子機器である。

【0012】

本技術の第２の側面においては、第１の受光面積を有するサブ画素と前記第１の受光面積よりも大きい第２の受光面積を有するメイン画素により構成される画素部が行列状に複数個配置された画素アレイが設けられ、前記画素アレイに配置される複数個の前記サブ画素それぞれが有するカラーフィルタにより構成される第１のカラーフィルタ群は、３種類のカラーフィルタにより構成され、前記画素アレイに配置される複数個の前記メイン画素それぞれが有するカラーフィルタにより構成される第２のカラーフィルタ群のうちの少なくとも一部は、緑色光の帯域を含む帯域の光を通過させる広帯域カラーフィルタであり、前記第２のカラーフィルタ群における前記広帯域カラーフィルタの割合は、５０パーセントより大きい。また、前記サブ画素により受光された光に対応する画素信号であるサブ画素信号と、前記メイン画素により受光された光に対応する画素信号であるメイン画素信号とを用いて、画像が生成される。

【図面の簡単な説明】

【0013】

【図1】本技術を適用した電子機器としての撮像装置の第１実施の形態の構成例を示すブロック図である。

【図2】図１の固体撮像素子の回路構成例を示している。

【図3】第１実施の形態におけるカラーフィルタの第１の配列例を示す上面図である。

【図4】図３の大カラーフィルタ群の配列がベイヤ配列である場合のカラーフィルタの配列例を示す上面図である。

【図5】第１実施の形態におけるカラーフィルタの第２の配列例を示す上面図である。

【図6】本技術を適用した電子機器としての撮像装置の第２実施の形態の構成例を示すブロック図である。

【図7】図６の固体撮像素子の画素アレイ部の構成例を示す上面図である。

【図8】図２の画素部の行方向および列方向の間隔を示す図である。

【図9】図７の配列方向に並ぶ隣接するメイン画素どうしの間隔を示す図である。

【図10】大カラーフィルタ群の配列がベイヤ配列を右方向に４５度傾けた配列である場合のカラーフィルタの配列例を示す上面図である。

【図11】第２実施形態におけるカラーフィルタの他の第１の配列例を示す上面図である。

【図12】第２実施形態におけるカラーフィルタの他の第２の配列例を示す上面図である。

【図13】第２実施形態におけるカラーフィルタの他の第３の配列例を示す上面図である。

【図14】第２実施形態におけるカラーフィルタの他の第４の配列例を示す上面図である。

【図15】車両制御システムの概略的な構成の一例を示すブロック図である。

【図16】車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

【発明を実施するための形態】

【0014】

以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１実施の形態（隣接するメイン画素のカラーフィルタの配列方向が行方向である撮像装置）
２．第２実施の形態（隣接するメイン画素のカラーフィルタの配列方向が行方向に対して４５度傾いている撮像装置）
３．移動体への応用例

【0015】

なお、以下の説明で参照する図面において、同一又は類似の部分には同一又は類似の符号を付している。ただし、図面は模式的なものであり、図面相互間において、互いの寸法の関係や比率が異なる部分が含まれている場合がある。

【0016】

また、以下の説明における上下等の方向の定義は、単に説明の便宜上の定義であって、本開示の技術的思想を限定するものではない。例えば、対象を９０°回転して観察すれば上下は左右に変換して読まれ、１８０°回転して観察すれば上下は反転して読まれる。

【0017】

＜１．第１実施の形態＞
＜撮像装置の構成例＞
図１は、本技術を適用した電子機器としての撮像装置の第１実施の形態の構成例を示すブロック図である。

【0018】

図１の撮像装置１１は、光学系１２、シャッタ装置１３、固体撮像素子１４、制御回路１５、信号処理回路１６、モニタ１７、およびメモリ１８により構成される。撮像装置１１は、被写体を撮影し、ハイダイナミックレンジの画像であるHDR画像を撮影画像として表示したり記録したりする。

【0019】

具体的には、光学系１２は、１枚または複数枚のレンズを有し、被写体からの光を固体撮像素子１４に導き、固体撮像素子１４の受光面に結像させる。

【0020】

シャッタ装置１３は、光学系１２と固体撮像素子１４の間に配置され、制御回路１５の制御にしたがって、固体撮像素子１４への光の照射期間および遮光期間を制御する。

【0021】

固体撮像素子１４は、例えばCMOS(Complementary Metal Oxide Semiconductor)イメージセンサである。固体撮像素子１４は、シリコン（Si）を用いた半導体基板に受光面積の異なるメイン画素とサブ画素からなる画素部が行列状に複数個配置されることにより構成される。メイン画素は、サブ画素の受光面積よりも大きい受光面積を有する。なお、以下では、メイン画素とサブ画素を特に区別する必要がない場合、それらをまとめて画素と称する。

【0022】

各画素は、カラーフィルタを有する。各画素は、光学系１２およびシャッタ装置１３を介して入射される光を、カラーフィルタを介して受光する。固体撮像素子１４は、制御回路１５の制御により、各画素により受光された光に対応するデジタル信号である画素信号を信号処理回路１６に出力する。

【0023】

制御回路１５は、シャッタ装置１３および固体撮像素子１４を制御する。

【0024】

信号処理回路１６は、固体撮像素子１４から供給される画素信号をメモリ１８に供給し、記憶させる。信号処理回路１６は、必要に応じて、メモリ１８に記憶されている画素信号を読み出し、その画素信号を用いてデモザイク処理を行うことにより、各サブ画素のカラーフィルタの各色の成分を有するサブ画素信号を生成する。信号処理回路１６は、メイン画素についても同様に、各メイン画素のカラーフィルタの各色の成分を有するメイン画素信号を生成する。信号処理回路１６（生成部）は、各画素部のサブ画素信号とメイン画素信号を用いて、各画素部に対応する画素からなるHDR（High Dynamic Range）画像を生成する。信号処理回路１６は、そのHDR画像を撮影画像としてモニタ１７に供給して表示させたり、図示せぬ記録媒体に供給して記録させたりする。

【0025】

モニタ１７は、信号処理回路１６から供給される撮影画像を表示する。メモリ１８は、信号処理回路１６から供給される画素信号を記憶する。

【0026】

以上のように、固体撮像素子１４の各画素部は、受光面積の異なるメイン画素とサブ画素により構成される。従って、信号処理回路１６は、各画素部を構成するメイン画素とサブ画素の画素信号を用いて撮影画像を生成することにより、撮影画像のダイナミックレンジを拡大することができる。

【0027】

＜CMOSイメージセンサの構成例＞
図２は、図１の固体撮像素子１４の回路構成例を示している。

【0028】

固体撮像素子１４は、画素部３１が行列状に複数個配置された画素アレイ部３２と、垂直駆動回路３３、カラム信号処理回路３４、水平駆動回路３５、出力回路３６、制御回路３７、入出力端子３８などを含む。

【0029】

画素部３１は、メイン画素３１ａとサブ画素３１ｂにより構成される。メイン画素３１ａとサブ画素３１ｂは、それぞれ、光電変換素子としてのフォトダイオードと複数の画素トランジスタとを有する。メイン画素３１ａのフォトダイオードの受光面積は、サブ画素３１ｂのフォトダイオードの受光面積より大きい。

【0030】

垂直駆動回路３３は、例えばシフトレジスタによって構成され、各行の画素部３１と画素駆動配線３９を介して接続される。垂直駆動回路３３は、制御回路３７から供給されるクロック信号や制御信号にしたがって所定の画素駆動配線３９を選択し、その画素駆動配線３９に画素部３１を駆動するためのパルスを供給することにより、行単位で画素部３１を駆動する。具体的には、垂直駆動回路３３は、画素アレイ部３２の各画素部３１を行単位で順次垂直方向に選択走査する。これにより、画素部３１のメイン画素３１ａおよびサブ画素３１ｂそれぞれのフォトダイオードにおいて受光量に応じて生成された信号電荷に基づく画素信号は、別々の垂直信号線４０を通してカラム信号処理回路３４に行単位で出力される。

【0031】

カラム信号処理回路３４は、画素部３１の列ごとに配置され、自分が対応する列の画素部３１のメイン画素３１ａとサブ画素３１ｂそれぞれと垂直信号線４０を介して接続されている。カラム信号処理回路３４は、制御回路３７から供給されるクロック信号や制御信号にしたがって、自分が対応する列の画素部３１のメイン画素３１ａおよびサブ画素３１ｂそれぞれから垂直信号線４０を通して入力される画素信号に対して、ノイズ除去などの信号処理を行う。この信号処理としては、例えば、画素固有の固定パターンノイズを除去するためCDS(Correlated Double Sampling：相関２重サンプリング)，AD（Analog Digital）変換等がある。

【0032】

水平駆動回路３５は、例えばシフトレジスタによって構成される。水平駆動回路３５は、制御回路３７から供給されるクロック信号や制御信号にしたがって、各カラム信号処理回路３４に水平走査パルスを順次出力する。これにより、水平駆動回路３５は、カラム信号処理回路３４の各々を順番に選択し、カラム信号処理回路３４の各々からメイン画素３１ａおよびサブ画素３１ｂの画素信号をそれぞれ水平信号線４１に出力させる。

【0033】

出力回路３６は、カラム信号処理回路３４の各々から水平信号線４１を通して順次供給されるメイン画素３１ａおよびサブ画素３１ｂの画素信号それぞれに対し、信号処理を行って出力する。出力回路３６は、例えば、バファリングだけする場合もあるし、黒レベル調整、列ばらつき補正、各種デジタル信号処理などが行われる場合もある。入出力端子３８は、外部と信号のやりとりをする。

【0034】

制御回路３７には、図１の制御回路１５から垂直同期信号、水平同期信号、マスタクロックなどが入力される。制御回路３７は、その垂直同期信号、水平同期信号、およびマスタクロックに基づいて、垂直駆動回路３３、カラム信号処理回路３４、および水平駆動回路３５の動作の基準となるクロック信号や制御信号を生成する。そして、制御回路３７は、そのクロック信号や制御信号を、垂直駆動回路３３、カラム信号処理回路３４、および水平駆動回路３５に出力する。

【0035】

＜カラーフィルタの第１の配列例＞
図３は、図２の画素アレイ部３２に設けられるカラーフィルタの第１の配列例を示す上面図である。

【0036】

図３では、画素アレイ部３２に設けられる一部の４×４個の画素部３１のカラーフィルタについてのみ図示しているが、その他の画素部３１のカラーフィルタについても同様である。このことは、後述する図４、図５、および図８においても同様である。

【0037】

図３の例では、各メイン画素３１ａが有するカラーフィルタ６１ａの上から見た形状は正六角形である。画素アレイ部３２に配置されるメイン画素３１ａのカラーフィルタ６１ａにより構成される大カラーフィルタ群（第２のカラーフィルタ群）の全てのカラーフィルタ６１ａは、輝度成分である緑色を含む、全ての可視色の光を通過させる白（透明）色（Ｗ）のカラーフィルタである。

【0038】

各サブ画素３１ｂが有するカラーフィルタ６１ｂの上から見た形状は、カラーフィルタ６１ａの正六角形の右下の辺に接する正方形である。画素アレイ部３２に配置されるサブ画素３１ｂのカラーフィルタ６１ｂにより構成される小カラーフィルタ群（第１のカラーフィルタ群）の配列はベイヤ配列である。具体的には、小カラーフィルタ群を左上から順に２（行）×２（列）個のカラーフィルタ６１ｂごとに配列単位６２に分割する場合、その配列単位６２のうちの、左上のカラーフィルタ６１ｂの色は赤色（Ｒ）である。右上と左下のカラーフィルタ６１ｂの色は緑色（Ｇ）であり、右下のカラーフィルタ６１ｂの色は青色（Ｂ）である。即ち、小カラーフィルタ群は、赤色、緑色、および青色の３種類のカラーフィルタにより構成される。

【0039】

＜大カラーフィルタ群の配列による効果＞
次に、図４を参照して、図３の大カラーフィルタ群の配列による効果を説明する。

【0040】

図４に示すように、大カラーフィルタ群の配列が小カラーフィルタ群の配列と同様にベイヤ配列である場合、メイン画素３１ａのフォトダイオードにより受光される光は、赤色、緑色、または青色の光のみである。従って、低照度（低輝度）側のダイナミックレンジは向上しない。

【0041】

これに対して、図３の配列では、大カラーフィルタ群の全てのカラーフィルタ６１ａが全ての可視色の光を通過させる白色のカラーフィルタである。従って、メイン画素３１ａのフォトダイオードにより受光される光は、全ての可視色の光になる。よって、撮像装置１１は、低照度側のダイナミックレンジを向上させ、低照度側の輝度のＳＮ（Single/Noise）比を向上させることができる。その結果、HDR画像において低照度下で撮影された被写体の視認性を向上させることができる。

【0042】

但し、メイン画素３１ａのフォトダイオードにより受光される光は、全ての可視色の光であるため、メイン画素信号は白色の成分のみを有する。即ち、色成分は有さない。従って、HDR画像において低照度の被写体の色を判別することはできない。しかしながら、小カラーフィルタ群の配列はベイヤ配列であるので、サブ画素信号は赤色、緑色、および青色の成分を有する。従って、HDR画像において高輝度の被写体の色再現を行うことはできる。

【0043】

なお、小カラーフィルタ群の配列は、サブ画素信号を用いて色再現を行うことができれば、ベイヤ配列以外の配列であってもよい。また、カラーフィルタ６１ｂの色の種類は、赤色、緑色、および青色の３種類に限定されず、例えば黄色、赤色、およびシアンの３種類であってもよい。

【0044】

カラーフィルタ６１ａは、緑色のカラーフィルタを通過する光の帯域を含む帯域の光、即ち輝度値に寄与する光を通過させるカラーフィルタである広帯域カラーフィルタであれば、白色のカラーフィルタ（カラーフィルタ無し）に限定されない。例えば、カラーフィルタ６１ａの色は、黄色、緑色、シアン等であってもよい。この場合であっても、メイン画素３１ａのフォトダイオードにより受光される光は、輝度値に寄与する光であるため、低照度側のダイナミックレンジを向上させることができる。

【0045】

＜カラーフィルタの第２の配列例＞
図５は、画素アレイ部３２に設けられるカラーフィルタの第２の配列例を示す上面図である。

【0046】

図５の配列例において、図３の配列例と対応する部分については同一の符号を付してある。従って、その部分の説明は適宜省略し、図３の配列例と異なる部分に着目して説明する。図５の配列例は、大カラーフィルタ群の一部が赤色のカラーフィルタである点が図３の配列例と異なっており、その他は図３の配列例と同様に構成されている。

【0047】

具体的には、大カラーフィルタ群を左上から順に２（行）×２（列）個のカラーフィルタ１０１ごとに配列単位１０２に分割する場合、その配列単位１０２のうちの、左上のカラーフィルタ１０１の色は、赤色（Ｒ）である。他の３つのカラーフィルタ１０１の色は白色（Ｗ）である。

【0048】

即ち、大カラーフィルタ群の一部のカラーフィルタ１０１のみが白色のカラーフィルタである。また、大カラーフィルタ群における白色のカラーフィルタ１０１の割合は、図４に示した大カラーフィルタ群の配列がベイヤ配列である場合の大カラーフィルタ群における緑色のカラーフィルタ８１の割合より大きい。具体的には、図５の大カラーフィルタ群における白色のカラーフィルタ１０１の割合は７５％(3/4)であり、図４の大カラーフィルタ群における緑色のカラーフィルタ８１の割合である５０％（2/4）より大きい。

【0049】

以上により、図５の配列では、図３の配列と同様に、図４の配列に比べて低照度側のダイナミックレンジを向上させることができる。また、図５の配列では、赤色のカラーフィルタ１０１を有するメイン画素３１ａのフォトダイオードにより受光される光は、赤色の光であるため、メイン画素信号は赤色の成分を有する。HDR画像において低照度の被写体の赤色を判別することができる。

【0050】

なお、図５の例では、白色のカラーフィルタ１０１以外のカラーフィルタ１０１の色は赤色としたが、その他の青色等の色であってもよい。また、カラーフィルタ１０１の色の数は、１色に限定されない。例えば、隣接する２つの配列単位１０２の左上のカラーフィルタ１０１のうちの一方が赤色のカラーフィルタであり、他方が青色やシアンのカラーフィルタであってもよい。

【0051】

以上のように、固体撮像素子１４では、大カラーフィルタ群におけるカラーフィルタ６１ａ（１０１）の割合は、図３に示した大カラーフィルタ群の配列がベイヤ配列である場合の大カラーフィルタ群における緑色のカラーフィルタ８１の割合より大きい。即ち、固体撮像素子１４の大カラーフィルタ群は、図３の大カラーフィルタ群に比べてワイドバンド化されている。従って、固体撮像素子１４は、メイン画素３１ａを大型化せずに、低照度側のダイナミックレンジを向上させることができる。その結果、撮像装置１１は、大型化せずに、高解像度で高感度のHDR画像を撮影することができる。

【0052】

これに対して、図３に示したように大カラーフィルタ群の配列がベイヤ配列である場合、低照度側のダイナミックレンジを向上させるためには、メイン画素３１ａを大型化する必要がある。従って、固体撮像素子１４が大型化するか、または、固体撮像素子１４の大型化を抑制するためにメイン画素３１ａの数が削減されてHDR画像の解像度が低下する。

【0053】

＜２．第２実施の形態＞
＜撮像装置の構成例＞
図６は、本技術を適用した電子機器としての撮像装置の第２実施の形態の構成例を示すブロック図である。

【0054】

図６の撮像装置１１１において、図１の撮像装置１１と対応する部分については同一の符号を付してある。従って、その部分の説明は適宜省略し、撮像装置１１と異なる部分に着目して説明する。撮像装置１１は、大カラーフィルタ群のうちの隣接するカラーフィルタの配列方向が行方向に対して右方向に４５度傾いている点、および、画素補間を行う点が、撮像装置１１と異なっており、その他は撮像装置１１と同様に構成されている。

【0055】

具体的には、図６の撮像装置１１１は、固体撮像素子１４、信号処理回路１６の代わりに、固体撮像素子１１４、信号処理回路１１６を備える。

【0056】

固体撮像素子１１４は、大カラーフィルタ群のうちの隣接するカラーフィルタの配列方向が行方向に対して右方向に４５度傾いている点が、固体撮像素子１４と異なっており、その他は固体撮像素子１４と同様に構成される。

【0057】

信号処理回路１１６は、固体撮像素子１１４から供給される画素信号をメモリ１８に供給し、記憶させる。信号処理回路１１６は、信号処理回路１６と同様に、必要に応じて、メモリ１８に記憶されている画素信号を読み出しながら、サブ画素信号とメイン画素信号を生成する。

【0058】

信号処理回路１１６（生成部）は、サブ画素信号を用いて、行方向および列方向に隣り合う２つのサブ画素の中間の位置のサブ画素信号を補間する。信号処理回路１１６は、メイン画素信号を用いて、行方向および列方向に隣り合う２つのメイン画素の中間の位置のメイン画素信号を補間する。信号処理回路１１６は、補間後のサブ画素信号と補間後のメイン画素信号を用いてHDR画像を生成する。信号処理回路１１６は、そのHDR画像を撮影画像としてモニタ１７に供給して表示させたり、図示せぬ記録媒体に供給して記録させたりする。

【0059】

なお、ここでは、信号処理回路１１６は、サブ画素信号とメイン画素信号を別々に補間した後にHDR画像を生成したが、HDR画像の生成後に補間を行ってもよい。この場合、信号処理回路１１６は、信号処理回路１６と同様に、各画素部のサブ画素信号とメイン画素信号を用いてHDR画像を生成する。その後、信号処理回路１１６は、そのHDR画像の行方向および列方向に隣接する２つの画素の画素信号を用いて、その２つの画素の中間の位置の画素信号を補間する。そして、信号処理回路１１６は、補間後のHDR画像を撮影画像とする。

【0060】

固体撮像素子１１４の構成は、画素アレイ部の構成を除いて、図２の固体撮像素子１４の構成と同様である。従って、以下では、固体撮像素子１１４の画素アレイ部についてのみ説明する。

【0061】

＜画素アレイ部の構成例＞
図７は、固体撮像素子１１４の画素アレイ部の構成例を示す上面図である。

【0062】

図７の画素アレイ部１３０は、大カラーフィルタ群のうちの隣接するカラーフィルタの配列方向が行方向に対して右方向に４５度傾いている点が、画素アレイ部３２と異なっており、その他は画素アレイ部３２と同様に構成されている。

【0063】

具体的には、図７の画素アレイ部１３０には、画素部１３１が行列状に複数個配置される。図７では、画素アレイ部３２に設けられる一部の４×８個の画素部１３１についてのみ図示しているが、その他の画素部１３１についても同様である。このことは、後述する図９乃至図１４においても同様である。

【0064】

画素部１３１は、メイン画素１３１ａとサブ画素１３１ｂにより構成される。各メイン画素１３１ａが有するカラーフィルタ１６１ａを上から見た形状は正六角形である。大カラーフィルタ群の全てのカラーフィルタ１６１ａは白色のカラーフィルタである。図７の矢印Ａが示す、大カラーフィルタ群のうちの隣接するカラーフィルタ１６１ａの配列方向の、矢印Ｌが示す行方向に対する角度は４５度である。

【0065】

各サブ画素１３１ｂが有するカラーフィルタ１６１ｂの上から見た形状は、カラーフィルタ１６１ａの正六角形の右中央の辺に接する正方形である。小カラーフィルタ群の配列はベイヤ配列を右方向に４５度傾けた配列である。

【0066】

具体的には、小カラーフィルタ群を左上から順に、右方向に４５度傾いた２（行）×２（列）個のカラーフィルタ１６１ｂごとに配列単位１６２に分割する場合、その配列単位１６２のうちの、１行目の１つのカラーフィルタ１６１ｂの色は赤色（Ｒ）である。２行目の２つのカラーフィルタ１６１ｂの色は両方とも緑色（Ｇ）であり、３行目の１つのカラーフィルタ１６１ｂの色は青色（Ｂ）である。即ち、小カラーフィルタ群は、赤色、緑色、および青色の３種類のカラーフィルタにより構成される。

【0067】

＜カラーフィルタの配列による効果＞
次に、図８乃至図１０を参照して、図７の配列による効果を説明する。

【0068】

図８に示すように、画素部３１の行方向および列方向の間隔を両方ともＰとすると、図９に示すように、図９の矢印Ａで示す配列方向に並ぶ隣接するメイン画素１３１ａどうしの間隔はＰとなる。

【0069】

上述したように、行方向および列方向に隣り合う２つのメイン画素１３１ａの中間の位置のメイン画素信号と、行方向および列方向に隣り合う２つのサブ画素１３１ｂの中間の位置のサブ画素信号は補間される。

【0070】

具体的には、例えば、行方向に隣り合う２つのメイン画素１３１ａの中間の位置Ｃ１のメイン画素信号は、その２つのメイン画素１３１ａのメイン画素信号を用いて補間される。行方向に隣り合う２つのサブ画素１３１ｂの中間の位置Ｃ２のサブ画素信号は、その２つのサブ画素１３１ｂのサブ画素信号を用いて補間される。

【0071】

従って、補間後のメイン画素信号とサブ画素信号を用いて生成されるHDR画像の画素の行方向および列方向の間隔Ｐｉは、隣接するメイン画素１３１ａどうしの間隔Ｐを用いて、以下の式（１）で表される。

【0072】

【数1】

【0073】

式（１）によれば、ＰｉはＰの約1.4分の１である。

【0074】

ここで、撮像装置１１は、画素補間を行わないため、撮像装置１１により生成されるHDR画像の画素の行方向および列方向の間隔は、画素部３１の行方向および列方向の間隔であるＰである。従って、撮像装置１１１により生成されるHDR画像の行方向および列方向の解像度は、撮像装置１１により生成されるHDR画像の行方向および列方向の解像度の約1.4倍になる。

【0075】

以上のように、撮像装置１１１では、大カラーフィルタ群のうちの隣接するカラーフィルタ１６１ａの配列方向が行方向に対して傾き、メイン画素信号とサブ画素信号が行方向および列方向に補間される。従って、撮像装置１１に比べてHDR画像を高解像度化することができる。また、メイン画素信号は色成分を有さないので、メイン画素信号の補間により偽色やアーチファクトが発生しない。

【0076】

これに対して、図１０に示すように、大カラーフィルタ群の配列がベイヤ配列を右方向に４５度傾けた配列である場合、図１０の一点鎖線で示す１つおきの行および列のメイン画素１３１ａのカラーフィルタ１７１は、赤色または青色のカラーフィルタである。従って、図１０の一点鎖線で示す１つおきの行と列の交差点のメイン画素１３１ａのメイン画素信号が生成される際、その位置を含む領域のホワイトバランスが算出されて緑色の成分（輝度情報）が算出される。よって、有彩色の被写体や有彩色の被写体の境界のメイン画素信号の輝度情報の生成を正確に行うことは困難である。その結果、偽色やアーチファクトが発生する場合がある。

【0077】

なお、大カラーフィルタ群のうちの隣接するカラーフィルタ１６１ａの配列方向の行方向に対する角度は、０度より大きく９０度より小さければ、４５度以外の角度であってもよい。

【0078】

＜カラーフィルタの他の第１の配列例＞
図１１は、画素アレイ部１３０に設けられるカラーフィルタの他の第１の配列例を示す上面図である。

【0079】

図１１の配列例において、図７の配列例と対応する部分については同一の符号を付してある。従って、その部分の説明は適宜省略し、図７の配列例と異なる部分に着目して説明する。図１１の配列例は、小カラーフィルタ群の配列がベイヤ配列ではない点が図７の配列例と異なっており、その他は図７の配列例と同様に構成されている。

【0080】

具体的には、小カラーフィルタ群の配列は、図７のベイヤ配列の緑色を黄色（Ｙｅ）にし、青色をシアン（Ｃｙ）にした配列である。より詳細には、小カラーフィルタ群を左上から順に、右方向に４５度傾いた２（行）×２（列）個のカラーフィルタ１８１ごとに配列単位１８２に分割する場合、その配列単位１８２のうちの、１行目の１つのカラーフィルタ１８１の色は赤色（Ｒ）である。２行目の２つのカラーフィルタ１８１の色は両方とも黄色（Ｙｅ）であり、３行目の１つのカラーフィルタ１８１の色はシアン（Ｃｙ）である。即ち、小カラーフィルタ群は、赤色、黄色、およびシアンの３種類のカラーフィルタにより構成される。

【0081】

以上のように、図１１の配列例では、小カラーフィルタ群が、広帯域カラーフィルタである黄色またはシアンのカラーフィルタ１８１を含む。従って、このカラーフィルタ１８１を有するサブ画素１３１ｂの感度が向上する。また、図７の場合に比べてサブ画素信号の補間による偽色やアーチファクトの発生を抑制することができる。

【0082】

これに対して、図７の配列例では、図９の一点鎖線で示す１つおきの行および列のサブ画素１３１ｂのカラーフィルタ１６１ｂは、赤色または青色のカラーフィルタである。従って、図９の一点鎖線で示す１つおきの行と列の交差点のサブ画素１３１ｂのサブ画素信号が生成される際、その位置を含む領域のホワイトバランスが算出されて緑色の成分（輝度情報）が算出される。よって、有彩色の被写体や有彩色の被写体の境界のサブ画素信号の輝度情報の生成を正確に行うことは困難である。その結果、偽色やアーチファクトが発生する場合がある。

【0083】

なお、図９の一点鎖線で示す１つおきの行および列のサブ画素１３１ｂのカラーフィルタ１６１ｂの一部を広帯域カラーフィルタにすることにより偽色の発生を抑制する場合、小カラーフィルタ群における赤色および青色のカラーフィルタの数が減少する。従って、HDR画像の高輝度側の色解像度が低下する。

【0084】

＜カラーフィルタの他の第２の配列例＞
図１２は、画素アレイ部１３０に設けられるカラーフィルタの他の第２の配列例を示す上面図である。

【0085】

図１２の配列例において、図７の配列例と対応する部分については同一の符号を付してある。従って、その部分の説明は適宜省略し、図７の配列例と異なる部分に着目して説明する。図１２の配列例は、大カラーフィルタ群の一部が赤色のカラーフィルタである点が図７の配列例と異なっており、その他は図７の配列例と同様に構成されている。

【0086】

具体的には、大カラーフィルタ群を左上から順に、右方向に４５度傾いた２（行）×２（列）個のカラーフィルタ２０１ごとに配列単位２０２に分割する場合、その配列単位２０２のうちの、１行目の１つのカラーフィルタ２０１の色は、赤色（Ｒ）である。他の３つのカラーフィルタ２０１の色は白色（Ｗ）である。

【0087】

即ち、大カラーフィルタ群の一部のカラーフィルタ２０１のみが白色のカラーフィルタである。また、大カラーフィルタ群における白色のカラーフィルタ２０１の割合は、図１０に示した大カラーフィルタ群の配列がベイヤ配列である場合の大カラーフィルタ群における緑色のカラーフィルタ１７１の割合より大きい。具体的には、図１２の大カラーフィルタ群における白色のカラーフィルタ２０１の割合は７５％（=3/4）であり、図１０の大カラーフィルタ群における緑色のカラーフィルタ１７１の割合である５０％（=2/4）より大きい。

【0088】

以上により、図１２の配列では、図７の配列と同様に、図１０の配列に比べて低照度側のダイナミックレンジを向上させることができる。また、図１２の配列では、赤色のカラーフィルタ２０１を有するメイン画素１３１ａのフォトダイオードにより受光される光は、赤色の光であるため、図５の配列と同様に、HDR画像において低照度の被写体の赤色を判別することができる。

【0089】

なお、図１２の例では、カラーフィルタ２０１の色は赤色としたが、その他の青色等の色であってもよい。

【0090】

＜カラーフィルタの他の第３の配列例＞
図１３は、画素アレイ部１３０に設けられるカラーフィルタの他の第３の配列例を示す上面図である。

【0091】

図１３の配列例において、図１２の配列例と対応する部分については同一の符号を付してある。従って、その部分の説明は適宜省略し、図１２の配列例と異なる部分に着目して説明する。図１３の配列例は、大カラーフィルタ群の一部が赤色または青色のカラーフィルタである点が図１２の配列例と異なっており、その他は図１２の配列例と同様に構成されている。

【0092】

具体的には、大カラーフィルタ群を左上から順に、右方向に４５度傾いた２（行）×２（列）個のカラーフィルタ２２１ごとに配列単位２２２に分割する場合、隣接する２つの配列単位２２２のうちの一方の左上のカラーフィルタ２２１の色は、赤色（Ｒ）である。他の３つのカラーフィルタ２２１の色は白色（Ｗ）である。他方の左上のカラーフィルタ２２１の色は、青色（Ｂ）であり、他の３つのカラーフィルタ２２１の色は白色（Ｗ）である。即ち、大カラーフィルタ群は、白色、赤色、および青色の３種類のカラーフィルタにより構成される。

【0093】

以上のように、大カラーフィルタ群における白色のカラーフィルタ２２１の割合は、図１２の配列の場合と同様である。従って、図１３の配列では、図１２の配列と同様に、低照度側のダイナミックレンジを向上させることができる。また、図１３の配列では、大カラーフィルタ群は、白色、赤色、および青色の３種類のカラーフィルタにより構成されるので、メイン画素信号は、この３種類の色の成分を有する。従って、HDR画像において低照度の被写体の色再現を行うことができる。

【0094】

なお、隣接する配列単位２２２の左上のカラーフィルタ２２１の色は、赤色と青色に限定されず、例えば赤色とシアンであってもよい。

【0095】

＜カラーフィルタの他の第４の配列例＞
図１４は、画素アレイ部１３０に設けられるカラーフィルタの他の第４の配列例を示す上面図である。

【0096】

図１４の配列例において、図１３の配列例と対応する部分については同一の符号を付してある。従って、その部分の説明は適宜省略し、図１３の配列例と異なる部分に着目して説明する。図１４の配列例は、大カラーフィルタ群の白色のカラーフィルタが黄色のカラーフィルタに代わり、青色のカラーフィルタがシアンのカラーフィルタに代わる点が、図１３の配列例と異なっており、その他は図１３の配列例と同様に構成されている。

【0097】

具体的には、大カラーフィルタ群を左上から順に、右方向に４５度傾いた２（行）×２（列）個のカラーフィルタ２４１ごとに配列単位２４２に分割する場合、隣接する２つの配列単位２４２のうちの一方の左上のカラーフィルタ２４１の色は、赤色（Ｒ）である。他の３つのカラーフィルタ２４１の色は黄色（Ｙｅ）である。他方の左上のカラーフィルタ２４１の色は、シアン（Ｃｙ）であり、他の３つのカラーフィルタ２４１の色は黄色（Ｙｅ）である。即ち、大カラーフィルタ群は、黄色、赤色、およびシアンの３種類のカラーフィルタにより構成される。

【0098】

以上のように、大カラーフィルタ群における広帯域カラーフィルタである黄色およびシアンのカラーフィルタ２４１の割合は、図１０に示した大カラーフィルタ群の配列がベイヤ配列である場合の大カラーフィルタ群における緑色のカラーフィルタ１７１の割合より大きい。具体的には、図１２の大カラーフィルタ群における広帯域カラーフィルタであるカラーフィルタ２０１の割合は87.5％（=7/8）であり、図１０の大カラーフィルタ群における緑色のカラーフィルタ１７１の割合である５０％（=1/2）より大きい。

【0099】

従って、図１４の配列では、図１２の配列と同様に、図１０の配列に比べて低照度側のダイナミックレンジを向上させることができる。また、図１４の配列では、大カラーフィルタ群は、黄色、赤色、およびシアンの３種類のカラーフィルタにより構成されるので、メイン画素信号は、この３種類の色の成分を有する。従って、HDR画像において低照度の被写体の色再現を行うことができる。なお、この色再現では除算を行う必要があるため、図１０の配列に比べて低照度側の色のＳＮ比は悪化する場合がある。

【0100】

メイン画素１３１ａのカラーフィルタ１６１ａ（２０１，２２１，２４１）は、広帯域カラーフィルタであれば、白色や黄色のカラーフィルタに限定されず、緑色やシアン等のカラーフィルタであってもよい。

【0101】

以上のように、固体撮像素子１１４では、大カラーフィルタ群における、広帯域カラーフィルタであるカラーフィルタ１６１ａ（２０１，２２１，２４１）の割合は、図１０の大カラーフィルタ群における緑色のカラーフィルタ１７１の割合より大きい。従って、撮像装置１１１は、撮像装置１１と同様に、大型化せずに、高解像度で高感度のHDR画像を撮影することができる。

【0102】

また、固体撮像素子１１４では、大カラーフィルタ群のうちの隣接するカラーフィルタ１６１ａ（２０１，２２１，２４１）の配列方向の行方向に対する角度は、０度より大きく９０度より小さい４５度である。従って、固体撮像素子１１４は、画素補間により、固体撮像素子１４に比べて、撮影画像の行方向（横方向）と列方向（縦方向）の解像度を向上させることができる。

【0103】

固体撮像素子１１４では、行方向に隣り合う２つのメイン画素１３１ａの少なくとも一方と列方向に隣り合う２つのメイン画素１３１ａの少なくとも一方のカラーフィルタ１６１ａ（２０１，２２１，２４１）が、広帯域カラーフィルタである。従って、メイン画素信号の補間による偽色やアーチファクトの発生を防止することができる。

【0104】

上述した第１実施の形態および第２実施の形態では、メイン画素信号とサブ画素信号を用いてHDR画像が生成され、出力されたが、メイン画素信号とサブ画素信号がそのまま出力されるようにしてもよい。

【0105】

本技術は、例えば、デジタルスチルカメラやデジタルビデオカメラなどの撮像装置だけでなく、撮像機能を備えた携帯電話機、または、撮像機能を備えた他の機器といった各種の電子機器にも適用することができる。

【0106】

＜３．移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。

【0107】

図１５は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。

【0108】

車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１５に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。

【0109】

駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

【0110】

ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

【0111】

車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。

【0112】

撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。

【0113】

車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

【0114】

マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。

【0115】

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

【0116】

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

【0117】

音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１５の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。

【0118】

図１６は、撮像部１２０３１の設置位置の例を示す図である。

【0119】

図１６では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。

【0120】

撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

【0121】

なお、図１６には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。

【0122】

撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

【0123】

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

【0124】

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

【0125】

撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。

【0126】

以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１に適用され得る。具体的には、図１の撮像装置１１や図６の撮像装置１１１は、撮像部１２０３１に適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、受光面積の異なる２種類の画素により構成される画素部を有する場合に、画素部を大型化せずに、低照度側の感度とダイナミックレンジを向上させることができる。その結果、車両制御システム１２０００において、高解像度で高感度のHDR画像を撮影する小型の撮像部１２０３１を実現することができる。

【0127】

この場合、撮影画像において低照度の被写体の色再現ができない、または、色再現性が低い。しかしながら、自動運転や運転支援システム等で用いられる車両制御システム１２０００では、色認識の必要性がある被写体は、信号機やブレーキランプの光源等の高輝度の被写体であり、低照度の被写体の色再現性は高輝度の被写体の色再現性と比較して大きな問題にならない。

【0128】

本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

【0129】

例えば、上述した複数の実施の形態の全てまたは一部を組み合わせた形態を採用することができる。

【0130】

本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。

【0131】

本技術は、以下の構成を取ることができる。
（１）
第１の受光面積を有するサブ画素と前記第１の受光面積よりも大きい第２の受光面積を有するメイン画素により構成される画素部が行列状に複数個配置された画素アレイ
を備え、
前記画素アレイに配置される複数個の前記サブ画素それぞれが有するカラーフィルタにより構成される第１のカラーフィルタ群は、３種類のカラーフィルタにより構成され、
前記画素アレイに配置される複数個の前記メイン画素それぞれが有するカラーフィルタにより構成される第２のカラーフィルタ群のうちの少なくとも一部は、緑色光の帯域を含む帯域の光を通過させる広帯域カラーフィルタであり、
前記第２のカラーフィルタ群における前記広帯域カラーフィルタの割合は、５０パーセントより大きい
ように構成された
固体撮像装置。
（２）
前記広帯域カラーフィルタは、全ての可視色の光を通過させるカラーフィルタである
ように構成された
前記（１）に記載の固体撮像装置。
（３）
前記広帯域カラーフィルタは、黄色または緑色のカラーフィルタである
ように構成された
前記（１）に記載の固体撮像装置。
（４）
前記第２のカラーフィルタ群の全てが前記広帯域カラーフィルタである
ように構成された
前記（１）乃至（３）のいずれかに記載の固体撮像装置。
（５）
前記第２のカラーフィルタ群は、前記広帯域カラーフィルタと赤色または青色のカラーフィルタとにより構成される
ように構成された
前記（１）乃至（３）のいずれかに記載の固体撮像装置。
（６）
前記第２のカラーフィルタ群は、前記広帯域カラーフィルタ、赤色のカラーフィルタ、および青色のカラーフィルタにより構成される
前記（１）乃至（３）のいずれかに記載の固体撮像装置。
（７）
前記第２のカラーフィルタ群は、前記広帯域カラーフィルタ、シアンのカラーフィルタ、および赤色のカラーフィルタにより構成される
前記（１）乃至（３）のいずれかに記載の固体撮像装置。
（８）
前記第２のカラーフィルタ群のうちの隣接する前記カラーフィルタの配列方向の行方向に対する角度は、０度より大きく９０度より小さい
ように構成された
前記（１）乃至（７）のいずれかに記載の固体撮像装置。
（９）
前記３種類のカラーフィルタは、赤色、黄色、およびシアンのカラーフィルタである
ように構成された
前記（８）に記載の固体撮像装置。
（１０）
第１の受光面積を有するサブ画素と前記第１の受光面積よりも大きい第２の受光面積を有するメイン画素により構成される画素部が行列状に複数個配置された画素アレイ
を備え、
前記画素アレイに配置される複数個の前記サブ画素それぞれが有するカラーフィルタにより構成される第１のカラーフィルタ群は、３種類のカラーフィルタにより構成され、
前記画素アレイに配置される複数個の前記メイン画素それぞれが有するカラーフィルタにより構成される第２のカラーフィルタ群のうちの少なくとも一部は、緑色光の帯域を含む帯域の光を通過させる広帯域カラーフィルタであり、
前記第２のカラーフィルタ群における前記広帯域カラーフィルタの割合は、５０パーセントより大きい
ように構成された
固体撮像素子と、
前記サブ画素により受光された光に対応する画素信号であるサブ画素信号と、前記メイン画素により受光された光に対応する画素信号であるメイン画素信号とを用いて、画像を生成する生成部と
を備える電子機器。
（１１）
前記第２のカラーフィルタ群のうちの隣接する前記カラーフィルタの配列方向の行方向に対する角度は、０度より大きく９０度より小さく、
前記生成部は、前記サブ画素信号を用いて、行方向および列方向に隣り合う前記サブ画素の間の位置のサブ画素信号を補間し、前記メイン画素信号を用いて、行方向および列方向に隣り合う前記メイン画素の間の位置のメイン画素信号を補間し、補間後の前記サブ画素信号と前記メイン画素信号を用いて前記画像を生成する
ように構成された
前記（１０）に記載の電子機器。

【符号の説明】

【0132】

１１ 撮像装置， １４ 固体撮像素子， １６ 信号処理回路， ３１ 画素部， ３１ａ メイン画素， ３１ｂ サブ画素， ３２ 画素アレイ部， ６１ａ，６１ｂ カラーフィルタ， １０１ カラーフィルタ， １１１ 撮像装置， １１４ 固体撮像素子， １１６ 信号処理回路， １３０ 画素アレイ部， １３１ 画素部， １３１ａ メイン画素， １３１ｂ サブ画素， １６１ａ，１６１ｂ カラーフィルタ， １８１，２０１，２２１，２４１ カラーフィルタ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】