特許 6762714 固体撮像装置およびその駆動方法、電子機器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6762714

(24)【登録日】2020年9月11日

(45)【発行日】2020年9月30日

(54)【発明の名称】固体撮像装置およびその駆動方法、電子機器

(51)【国際特許分類】

   H04N 5/355 20110101AFI20200917BHJP

   H04N 5/374 20110101ALI20200917BHJP

   H04N 5/369 20110101ALI20200917BHJP

   H04N 9/07 20060101ALI20200917BHJP

【ＦＩ】

   H04N5/355

   H04N5/374

   H04N5/369

   H04N9/07 C

【請求項の数】16

【全頁数】33

(21)【出願番号】特願2015-256883(P2015-256883)

(22)【出願日】2015年12月28日

(65)【公開番号】特開2019-36762(P2019-36762A)

(43)【公開日】2019年3月7日

【審査請求日】2018年12月21日

(73)【特許権者】

【識別番号】515235207

【氏名又は名称】ブリルニクス インク

(74)【代理人】

【識別番号】110001863

【氏名又は名称】特許業務法人アテンダ国際特許事務所

(74)【代理人】

【識別番号】100094053

【弁理士】

【氏名又は名称】佐藤 隆久

(72)【発明者】

【氏名】高根 靖雄

【審査官】 松永 隆志

(56)【参考文献】

【文献】 特開２０１４−０３００７３（ＪＰ，Ａ）

【文献】 特開２０１４−０９３０３７（ＪＰ，Ａ）

【文献】 特開２０１３−０２１６６０（ＪＰ，Ａ）

【文献】 特開２０１５−１８５９１７（ＪＰ，Ａ）

【文献】 特開２０１３−１１５４７０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２５−５／３７８

Ｈ０４Ｎ ９／００−９／１１

(57)【特許請求の範囲】

【請求項1】

複数の読み出し信号を合成してダイナミックレンジを拡大可能な固体撮像装置であって、
前記複数の読み出し信号のうちの注目する読み出し信号の合成をする際に、前記複数の読み出し信号のうちの少なくとも一つの読み出し信号と閾値との比較結果に応じて合成に必要となる信号を少なくとも一つ選択し、合成処理に選択した信号を適用してダイナミックレンジが拡大された合成信号を生成する信号処理部を有し、
前記信号処理部は、
一つの注目する画素からの読み出し信号を合成するにあたり、合成すべき複数の読み出し信号の傾きを等しくするための読み出し信号の合成に関する合成情報を、前記一つの注目する画素の周辺画素の合成に関する合成情報を参照して決定し、
前記注目する画素の周辺画素の合成情報として、所定の色配列の最小単位を形成する画素の合成情報を参照し、
前記読み出し信号の合成情報の決定方法を複数有し、
周辺画素の合成情報の決定方法の採用数から判断して最適な合成情報の決定方法を選択する
固体撮像装置。

【請求項2】

複数の読み出し信号を合成してダイナミックレンジを拡大可能な固体撮像装置であって、
前記複数の読み出し信号のうちの注目する読み出し信号の合成をする際に、前記複数の読み出し信号のうちの少なくとも一つの読み出し信号と閾値との比較結果に応じて合成に必要となる信号を少なくとも一つ選択し、合成処理に選択した信号を適用してダイナミックレンジが拡大された合成信号を生成する信号処理部を有し、
前記信号処理部は、
一つの注目する画素からの読み出し信号を合成するにあたり、合成すべき複数の読み出し信号の傾きを等しくするための読み出し信号の合成に関する合成情報を、前記一つの注目する画素の周辺画素の合成に関する合成情報を参照して決定し、
前記注目する画素の周辺画素の合成情報として、当該画素と同色の画素の合成情報を参照し、
前記読み出し信号の合成情報の決定方法を複数有し、
前記注目する画素の合成情報と、当該注目する画素のフィルタ色と同色の周辺画素の合成情報とを比較して最適な合成情報の決定方法を選択する
固体撮像装置。

【請求項3】

前記信号処理部は、
最適な合成情報の決定方法の選択にあたって、各色画素から生成した輝度信号のレベルを参照する
請求項１または２記載の固体撮像装置。

【請求項4】

前記信号処理部は、
最適な合成情報の決定方法の選択にあたって、算出された色温度情報を参照する
請求項１から３のいずれか一に記載の固体撮像装置。

【請求項5】

前記信号処理部は、
参照するそれぞれの画素からの読み出し信号の時間的変化を基に合成情報の決定方法を決定する
請求項２または３記載の固体撮像装置。

【請求項6】

前記信号処理部は、
１画面内を複数の領域に分割し、その分割領域単位で選択する合成情報の決定方法を制限する機能を有する
請求項１から５のいずれか一に記載の固体撮像装置。

【請求項7】

前記信号処理部を複数有する
請求項１から６のいずれか一に記載の固体撮像装置。

【請求項8】

前記信号処理部は、
前記閾値を動的に変更可能である
請求項１から７のいずれか一に記載の固体撮像装置。

【請求項9】

前記信号処理部は、前記閾値として、
あらかじめ設定した基準閾値と、
前記基準閾値と所定のステップ値とを比較演算することで決定した新たな閾値と、を前記合成処理に適用する
請求項８記載の固体撮像装置。

【請求項10】

前記信号処理部は、
前記複数の読み出し信号を重み付け処理する重み付け処理部を含み、
重み付けするための更なる新たな閾値を有し、
前記重み付け処理部は、
前記閾値に挟まれた領域の信号レベルにおいては、当該領域に割り当てられた重み付け値に従って重み付け平均値を算出し、当該重み付け平均値を当該領域の合成信号として出力する
請求項８または９記載の固体撮像装置。

【請求項11】

複数の閾値を有し、
前記重み付け処理部は、
前記複数の読み出し信号を加算平均する加算平均処理機能を含み、
前記加算平均処理機能は、
前記閾値に挟まれた領域の信号レベルにある各々の信号は、加算平均された値をもって１つの出力とする
請求項１０記載の固体撮像装置。

【請求項12】

前記信号処理部は、
乱数発生部を含み、
複数の閾値の平均値をあらかじめ設定した基準閾値に相当する中心閾値として設置可能で、
前記中心閾値は初期の中心閾値に前記乱数発生部で発生された乱数を加算することで新たに算出された値を第２の中心閾値とし、当該第２の中心閾値をもとに前記合成に必要となる信号の選択処理を行う
請求項８から１１のいずれか一に記載の固体撮像装置。

【請求項13】

複数の読み出し信号を合成してダイナミックレンジを拡大可能な固体撮像装置の駆動方法であって、
前記複数の読み出し信号のうちの注目する読み出し信号の合成をする際に、前記複数の読み出し信号のうちの少なくとも一つの読み出し信号と閾値とを比較する比較工程と、
比較結果に応じて合成に必要となる信号を少なくとも一つ選択する選択工程と、
合成処理に選択した信号を適用してダイナミックレンジが拡大された合成信号を生成する生成工程と、を有し、
一つの注目する画素からの読み出し信号を合成するにあたり、合成すべき複数の読み出し信号の傾きを等しくするための読み出し信号の合成に関する合成情報を、前記一つの注目する画素の周辺画素の合成に関する合成情報を参照して決定し、当該決定の際に、
前記注目する画素の周辺画素の合成情報として、所定の色配列の最小単位を形成する画素の合成情報を参照し、
前記読み出し信号の合成情報の決定方法を複数有し、
周辺画素の合成情報の決定方法の採用数から判断して最適な合成情報の決定方法を選択する
固体撮像装置の駆動方法。

【請求項14】

複数の読み出し信号を合成してダイナミックレンジを拡大可能な固体撮像装置の駆動方法であって、
前記複数の読み出し信号のうちの注目する読み出し信号の合成をする際に、前記複数の読み出し信号のうちの少なくとも一つの読み出し信号と閾値とを比較する比較工程と、
比較結果に応じて合成に必要となる信号を少なくとも一つ選択する選択工程と、
合成処理に選択した信号を適用してダイナミックレンジが拡大された合成信号を生成する生成工程と、を有し、
一つの注目する画素からの読み出し信号を合成するにあたり、合成すべき複数の読み出し信号の傾きを等しくするための読み出し信号の合成に関する合成情報を、前記一つの注目する画素の周辺画素の合成に関する合成情報を参照して決定し、当該決定の際に、
前記注目する画素の周辺画素の合成情報として、当該画素と同色の画素の合成情報を参照し、
前記読み出し信号の合成情報の決定方法を複数有し、
前記注目する画素の合成情報と、当該注目する画素のフィルタ色と同色の周辺画素の合成情報とを比較して最適な合成情報の決定方法を選択する
固体撮像装置の駆動方法。

【請求項15】

複数の読み出し信号を合成してダイナミックレンジを拡大可能な固体撮像装置と、
前記固体撮像装置に被写体像を結像する光学系と、を有し、
前記固体撮像装置は、
前記複数の読み出し信号のうちの注目する読み出し信号の合成をする際に、前記複数の読み出し信号のうちの少なくとも一つの読み出し信号と閾値との比較結果に応じて合成に必要となる信号を少なくとも一つ選択し、合成処理に選択した信号を適用してダイナミックレンジが拡大された合成信号を生成する信号処理部を含み、
前記信号処理部は、
一つの注目する画素からの読み出し信号を合成するにあたり、合成すべき複数の読み出し信号の傾きを等しくするための読み出し信号の合成に関する合成情報を、前記一つの注目する画素の周辺画素の合成に関する合成情報を参照して決定し、
前記注目する画素の周辺画素の合成情報として、所定の色配列の最小単位を形成する画素の合成情報を参照し、
前記読み出し信号の合成情報の決定方法を複数有し、
周辺画素の合成情報の決定方法の採用数から判断して最適な合成情報の決定方法を選択する
電子機器。

【請求項16】

複数の読み出し信号を合成してダイナミックレンジを拡大可能な固体撮像装置と、
前記固体撮像装置に被写体像を結像する光学系と、を有し、
前記固体撮像装置は、
前記複数の読み出し信号のうちの注目する読み出し信号の合成をする際に、前記複数の読み出し信号のうちの少なくとも一つの読み出し信号と閾値との比較結果に応じて合成に必要となる信号を少なくとも一つ選択し、合成処理に選択した信号を適用してダイナミックレンジが拡大された合成信号を生成する信号処理部を含み、
前記信号処理部は、
一つの注目する画素からの読み出し信号を合成するにあたり、合成すべき複数の読み出し信号の傾きを等しくするための読み出し信号の合成に関する合成情報を、前記一つの注目する画素の周辺画素の合成に関する合成情報を参照して決定し、
前記注目する画素の周辺画素の合成情報として、当該画素と同色の画素の合成情報を参照し、
前記読み出し信号の合成情報の決定方法を複数有し、
前記注目する画素の合成情報と、当該注目する画素のフィルタ色と同色の周辺画素の合成情報とを比較して最適な合成情報の決定方法を選択する
電子機器。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、固体撮像装置およびその駆動方法、電子機器に関するものである。

【背景技術】

【0002】

光を検出して電荷を発生させる光電変換素子を用いた固体撮像装置（イメージセンサ）として、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサが実用に供されている。
ＣＭＯＳイメージセンサは、デジタルカメラ、ビデオカメラ、監視カメラ、医療用内視鏡、パーソナルコンピュータ（ＰＣ）、携帯電話等の携帯端末装置(モバイル機器)等の各種電子機器の一部として広く適用されている。

【0003】

ＣＭＯＳイメージセンサは、画素毎にフォトダイオード（光電変換素子）および浮遊拡散層（ＦＤ：Floating Diffusion、フローティングディフュージョン)を有するＦＤアンプを持ち合わせており、その読み出しは、画素アレイの中のある一行を選択し、それらを同時に列（カラム）方向へと読み出すような列並列出力型が主流である。

【0004】

ところで、特性向上のため、高ダイナミックレンジ（ＨＤＲ：High Dynamic Range）を持つ高画質の固体撮像装置（ＣＭＯＳイメージセンサ）を実現する方法が種々提案されている。

【0005】

従来、固体撮像装置において、ダイナミックレンジを高める（拡大させる）方法としては、たとえば、イメージセンサの同一の画素から蓄積時間の異なる２種類の信号を読み出し、この２種類の信号を組み合わせて、ダイナミックレンジを拡大させる方法や、高感度の画素でダイナミックレンジの小さい信号と、低感度でダイナミックレンジを拡大した信号を組み合わせてダイナミックレンジを拡大させる方法などが知られている。

【0006】

たとえば特許文献１には、短い露光時間による高照度側に対応した撮像と長い露光時間による低照度に対応した撮像の異なる２回以上の露光時間に分割する高ダイナミックレンジ化技術が開示されている。
また、特許文献１には、フローティングディフュージョンの容量を可変とした高ダイナミックレンジ化技術が開示されている。

【0007】

また、特許文献２には、フォトダイオードＰＤに高感度低照度側の小容量Ｃ１のフローティングディフュージョンと低感度高照度側の大容量Ｃ２のフローティングディフュージョンを接続して、低照度側の出力ＯＵＴ１と高照度側出力ＯＵＴ２をそれぞれ出力することで高ダイナミックレンジ化する技術が開示されている。

【0008】

これらの信号の合成方法は時間的に見ると、複数のフレームに亘っている方式のものや、１フレーム内で複数種類のダイナミックレンジの異なる信号が出力される方式のもの等がある。

【先行技術文献】

【特許文献】

【0009】

【特許文献1】特許第３９８４８１４号

【特許文献2】特許第３５９２１０６号

【発明の概要】

【発明が解決しようとする課題】

【0010】

ところで、いずれの方法においても、組み合わせようとする(合成しようとする)複数の信号は、組み合わせ（信号の切り替え）を行う信号値の近傍において、それぞれ入射光量（照度）に対する出力電圧の直線性がほぼ同等に保たれている必要がある。
各々の信号はダイナミックレンジ（Ｄレンジ）を拡大するために光量（照度）に対するゲインが異なるように設計されるため、主としてアナログデジタルコンバータ（ＡＤＣ）でデジタル変換後のデジタル信号処理回路でゲインを補正し、直線性（あるいは傾き）が同じに保たれるようにしている。

【0011】

しかし、固体撮像装置の個体単位でのばらつき、あるいは１個体の中での画素間のばらつき等が存在するため、ばらつきの中心値のパラメータを基に補正した数値で、各々の信号を切り替えたとしても、そのレベルの近傍においての直線性（リニアリティ）が必ずしも保証されない場合がある。
このように補正精度が低い（ばらついている）場合、スムーズな切り替えが不能となり、その不連続点がノイズとなってしまい、いわゆるトーンジャンプや偽色の発生等の画像劣化の要因になるという不利益がある。

【0012】

本発明は、個体ばらつき等にかかわりなく組み合わせようとする複数の信号のスムーズな切り替えが可能で、偽色の発生等の画像劣化を抑止しつつ高ダイナミックレンジ化を実現でき、ひいては高画質化を実現することが可能な固体撮像装置およびその駆動方法、電子機器を提供することにある。

【課題を解決するための手段】

【0013】

本発明の第１の観点は、複数の読み出し信号を合成してダイナミックレンジを拡大可能な固体撮像装置であって、前記複数の読み出し信号のうちの注目する読み出し信号の合成をする際に、前記複数の読み出し信号のうちの少なくとも一つの読み出し信号と閾値との比較結果に応じて合成に必要となる信号を少なくとも一つ選択し、合成処理に選択した信号を適用してダイナミックレンジが拡大された合成信号を生成する信号処理部を有し、前記信号処理部は、一つの注目する画素からの読み出し信号を合成するにあたり、当該読み出し信号の合成に関する合成情報を、前記一つの注目する画素の周辺画素の合成に関する合成情報を参照して決定する。

【0014】

本発明の第２の観点は、複数の読み出し信号を合成してダイナミックレンジを拡大可能な固体撮像装置の駆動方法であって、前記複数の読み出し信号のうちの注目する読み出し信号の合成をする際に、前記複数の読み出し信号のうちの少なくとも一つの読み出し信号と閾値とを比較する比較工程と、比較結果に応じて合成に必要となる信号を少なくとも一つ選択する選択工程と、合成処理に選択した信号を適用してダイナミックレンジが拡大された合成信号を生成する生成工程と、を有し、一つの注目する画素からの読み出し信号を合成するにあたり、当該読み出し信号の合成に関する合成情報を、前記一つの注目する画素の周辺画素の合成に関する合成情報を参照して決定する

【0015】

本発明の第３の観点の電子機器は、複数の読み出し信号を合成してダイナミックレンジを拡大可能な固体撮像装置と、前記固体撮像装置に被写体像を結像する光学系と、を有し、前記固体撮像装置は、前記複数の読み出し信号のうちの注目する読み出し信号の合成をする際に、前記複数の読み出し信号のうちの少なくとも一つの読み出し信号と閾値との比較結果に応じて合成に必要となる信号を少なくとも一つ選択し、合成処理に選択した信号を適用してダイナミックレンジが拡大された合成信号を生成する信号処理部を含み、前記信号処理部は、一つの注目する画素からの読み出し信号を合成するにあたり、当該読み出し信号の合成に関する合成情報を、前記一つの注目する画素の周辺画素の合成に関する合成情報を参照して決定する。

【発明の効果】

【0016】

本発明によれば、個体ばらつき等にかかわりなく組み合わせようとする複数の信号のスムーズな切り替えが可能で、偽色の発生等の画像劣化を抑止しつつ高ダイナミックレンジ化を実現でき、ひいては高画質化を実現することができる。

【図面の簡単な説明】

【0017】

【図1】本発明の第１の実施形態に係る固体撮像装置の信号処理系の全体の構成例を示すブロックである。

【図2】ピクセル（画素）配列例としてベイヤー配列を示す図である。

【図3】ベイヤー配列における高利得信号と低利得信号の一例を出力コード値を付加して示す図である。

【図4】注目するピクセルの周辺画素の合成情報として、ベイヤー配列の最小単位を形成するピクセルの合成情報である高利得信号であるか低利得信号を示す情報を参照する例を説明するための図である。

【図5】注目するＢピクセルの周辺ピクセルとして、注目するピクセルと同色の複数のピクセルを採用し、それらの合成情報を参照する例を説明するための図である。

【図6】本第１の実施形態に係るピクセルアレイ部における低利得信号と高利得信号を生成可能なピクセル(画素)の構成例を示す図である。

【図7】本発明の第１の実施形態に係る信号処理部の構成例を示す図である。

【図8】本実施形態に係る読み出し信号の合成情報の決定の第１の方法を説明するための図である。

【図9】本実施形態に係る読み出し信号の合成情報の決定の第２の方法を説明するための図である。

【図10】本実施形態に係る読み出し信号の合成情報の決定の第３の方法を説明するための図である。

【図11】本実施形態に係る読み出し信号の合成情報の決定方法を採用した場合のハイダイナミックレンジ信号の生成過程および結果を示す図である。

【図12】本実施形態に係る読み出し信号の合成情報の決定方法を採用しない場合のハイダイナミックレンジ信号の生成過程および結果を示す図である。

【図13】高利得信号と低利得信号を合成し、ハイダイナミックレンジ信号とする合成方法を具体的に説明するための図である。

【図14】低利得信号と高利得信号を４ステップで段階的にスムーズに合成する場合の、信号レベル、中心閾値、各結合位置（点）、動的に設定される閾値の関係を模式的に示す図である。

【図15】本第１の実施形態に係る信号処理部における合成処理の一例を説明するためのフローチャートである。

【図16】本発明の第２の実施形態に係る信号処理部の構成例を示す図である。

【図17】図１６の乱数発生部の具体的な構成例を示す図である。

【図18】高利得信号と中利得信号と低利得信号の３つの信号を、傾きを等しくしつつ合成する処理を説明するための図である。

【図19】短い露光時間による高照度側に対応した撮像と長い露光時間による低照度に対応した撮像の異なる２回以上の露光時間に分割する高ダイナミックレンジ化技術の一例を示す図である。

【図20】フレーム単位でダイナミックレンジを高める例を説明するための図である。

【図21】本発明の実施形態に係る固体撮像装置が適用される電子機器の構成の一例を示す図である。

【発明を実施するための形態】

【0018】

以下、本発明の実施形態を図面に関連付けて説明する。

【0019】

（第１の実施形態）
図１は、本発明の第１の実施形態に係る固体撮像装置の信号処理系の全体の構成例を示すブロックである。
本実施形態において、固体撮像装置１０は，ピクセル（画素）から読み出された複数(２または３以上)の読み出し信号を合成してダイナミックレンジを拡大可能に構成され、たとえばＣＭＯＳイメージセンサにより構成される。

【0020】

図１の固体撮像装置１０は、レジスタコントローラ(Register Controller）２０、タイミングコントローラ(Timing Controller)３０、ピクセル(画素)アレイ (Pixel Array)部４０、アナログゲイン(Analog Gain)部５０、アナログデジタルコンバータ(ADC : Analog Digital Converter)部６０、信号処理部としての機能を含むデジタルシグナルプロセッサ(DSP : Digital Signal Processor)部７０、スケーラブル低電圧信号伝送(SLVS : Scalable Low Voltage Signaling)インタフェース部８０、およびクロックジェネレータ(Clock Generator)９０を主構成要素として有している。

【0021】

固体撮像装置１０において、レジスタコントローラ２０、タイミングコントローラ３０、アナログゲイン部５０、ＡＤＣ部６０、ＤＳＰ７部０、およびＳＬＶＳインタフェース部８０が、信号の授受を行うためのバスＢＳにより接続されている。
また、クロックジェネレータ９０により生成されたシステムクロックＣＬＫが、レジスタコントローラ２０、タイミングコントローラ３０、アナログゲイン部５０、ＡＤＣ部６０、ＤＳＰ部７０、およびＳＬＶＳインタフェース部８０に供給される。

【0022】

レジスタコントローラ２０は、図示しないＣＰＵ、ＤＳＰ等の外部制御装置と通信し、動作モードの設定や各種制御パラメータが書き込まれる記憶部として機能する。

【0023】

タイミングコントローラ３０は、各種動作モードに合わせてピクセル（画素）データを読み出す制御パルスＳ３０を生成し、ピクセルアレイ部４０の読み出し制御を行う。

【0024】

ピクセルアレイ部４０は、フォトダイオード（光電変換素子）と画素内アンプとを含む複数のピクセルがＮ行×Ｍ列の２次元の行列状（マトリクス状）に配列されている。
ピクセルアレイ部４０は、そのピクセル（画素）配列として、たとえば図２に示すようなベイヤー配列が採用される。

【0025】

図２は、ベイヤー配列の最小単位の一例を示している。
この例では、Ｒ（赤）のピクセルＰＸＬ−Ｒ、Ｇｒ（緑）のピクセルＰＸＬ−Ｇｒ、Ｇｂ（緑）のピクセルＰＸＬ−Ｇｂ、およびＢ（青）のピクセルＰＸＬ−Ｂが、２×２の行列状に配列されて、ベイヤー配列の最小単位ＵＮＴが形成されている。

【0026】

タイミングコントローラ３０による制御パルスＳ３０に従って、ピクセルアレイ部４０の光電変換素子を含むピクセル群から読み出された読み出し信号は、アナログゲイン部５０で所定のゲインをもって増幅され、ＡＤＣ部６０にてデジタル信号に変換され、 後で詳述するような信号処理部として機能するＤＳＰ部７０に入力される。
なお、ＡＤＣ部６０の出力段には、たとえばカラムメモリ(Column Memory)が配置される。

【0027】

ＤＳＰ部７０では、入力されたデジタル信号に対して相関二重サンプリング（ＣＤＳ：Correlated Double Sampling）、黒補正、デジタルゲイン等の画像信号処理が施された後、ＳＬＶＳインタフェース部８０において出力型式（図１ではＳＬＶＳ)に適合させて出力される。

【0028】

本実施形態においては、ピクセルアレイ部４０の光電変換素子を含むピクセル群から読み出された読み出し信号は、図１に示すように、光電変換利得の異なる複数種類(本例では２種類)の高利得信号(HCG : High conversion gain )と低利得信号(LCG : Low conversion gain)の２系統の信号が読み出される。
そして、ＤＳＰ部７０の信号処理部７１０にて２つの信号を合成してダイナミックレンジが拡大されたハイダイナミックレンジ信号を生成する。

【0029】

なお、読み出し信号が２系統存在するが、後で説明するように、信号の読み出しに関する部分(たとえば信号線)を１系統として時分割で処理することが可能である。

【0030】

高利得信号ＨＣＧは光電変換素子部からの高利得出力信号であるが、その分低利得信号ＬＣＧに比べて少ない入射光量で飽和する。低利得信号ＬＣＧは低利得出力信号であるため、飽和に達する入射光量に余裕があり、高利得信号ＨＣＧに比較して大きい。
そこで、ＤＳＰ部７０の信号処理部７１０では、低利得信号ＬＣＧと高利得信号ＨＣＧの傾きを等しくするとともに、高利得信号ＨＣＧが飽和する手前すなわち直線性が保たれている領域（非飽和領域）において、この２種類の信号を合成することでダイナミックレンジを高めた信号である合成信号を取得する。

【0031】

図３は、ベイヤー配列における高利得信号ＨＣＧと低利得信号ＬＣＧの一例を出力コード値を付加して示す図である。
図３（Ａ）が高利得信号ＨＣＧの一例を示し、図３（Ｂ）が低利得信号ＬＣＧの一例を示している。

【0032】

基本的には、ベイヤー配列の最小単位ＵＮＴを形成する４つのＲピクセルＰＸＬ−Ｒ、ＧピクセルＰＸＬ−Ｇｒ、ＧピクセルＰＸＬ−Ｇｂ、およびＢピクセルＰＸＬ−Ｂは、４つすべてが高利得信号ＨＣＧまたは低利得信号ＬＣＧに関連する出力コード値を示す。

【0033】

図３（Ａ）に示す高利得信号ＨＣＧの場合、ＲピクセルＰＸＬ−Ｒの出力コード値は「２２００」、ＧピクセルＰＸＬ−ＧｒおよびＰＸＬ−Ｇｂの出力コード値は「２４００」、ＢピクセルＰＸＬ−Ｂの出力コード値は「１６００」を示している。
図３（Ａ）の高利得信号ＨＣＧの例では、ＧピクセルＰＸＬ−ＧｒおよびＰＸＬ−Ｇｂの出力コード値とＢピクセルＰＸＬ−Ｂの出力コード値の比（Ｇ／Ｂ）は１．５である。

【0034】

一方、図３（Ｂ）に示す低利得信号ＬＣＧの場合、ＲピクセルＰＸＬ−Ｒの出力コード値は「８０」、ＧピクセルＰＸＬ−ＧｒおよびＰＸＬ−Ｇｂの出力コード値は「１００」、ＢピクセルＰＸＬ−Ｂの出力コード値は「５０」を示している。
図３（Ｂ）の低利得信号ＬＣＧの例では、ＧピクセルＰＸＬ−ＧｒおよびＰＸＬ−Ｇｂの出力コード値とＢピクセルＰＸＬ−Ｂの出力コード値の比（Ｇ／Ｂ）は２．０である。

【0035】

また、高利得信号ＨＣＧと低利得信号ＬＣＧの比（ＨＣＧ／ＬＣＧ）は、ＲピクセルＰＸＬ−Ｒ、並びに、ＧピクセルＰＸＬ−ＧｒおよびＰＸＬ−Ｇｂで２４であり、ＢピクセルＰＸＬ−Ｂで３２である。

【0036】

高利得信号ＨＣＧと低利得信号ＬＣＧの合成処理を行うＤＳＰ部７０の信号処理部７１０は、飽和する前に直線性を有する低利得信号ＬＣＧの傾きを、同じく飽和する前に直線性を有する高利得信号ＨＣＧの傾きと等しくするために、入力される低利得信号ＬＣＧに、ゲイン比Ｋ（＝ＨＣＧ／ＬＣＧ）を掛け合わせる。
図３の例で、ゲイン比Ｋは、たとえば１６に設定される。ただし、ゲイン比は１６に限定されず、４や８等、状況に応じた値に設定される。

【0037】

図３の例で、低利得信号ＬＣＧに、ゲイン比Ｋ＝１６（＝ＨＣＧ／ＬＣＧ）を掛け合わせると、ＲピクセルＰＸＬ−Ｒの出力コード値は「８０×１６＝１２８０」、ＧピクセルＰＸＬ−ＧｒおよびＰＸＬ−Ｇｂの出力コード値は「１００×１６＝１６００」、ＢピクセルＰＸＬ−Ｂの出力コード値は「５０×１６＝８００」となる。

【0038】

この高利得信号ＨＣＧと低利得信号ＬＣＧの合成処理を行うＤＳＰ部７０の信号処理部７１０は、基本的に以下に示す特徴的な構成、機能を有する。具体的な合成処理については、後で詳述する。

【0039】

本実施形態の信号処理部７１０は、複数の読み出し信号（この例では、高利得信号ＨＣＧと低利得信号ＬＣＧ）を合成してダイナミックレンジを拡大可能に構成されている。
信号処理部７１０は、合成すべき複数の読み出し信号、たとえば高利得信号ＨＣＧと低利得信号ＬＣＧの傾きを等しくする。
信号処理部７１０は、複数の読み出し信号のうちの注目する読み出し信号の合成をする際に、複数の読み出し信号のうちの少なくとも一つの読み出し信号（高利得信号ＨＣＧ、低利得信号ＬＣＧ）と閾値（Ｊｏｉｎｔ Ｔｈｒｅｓｈ)との比較結果に応じて合成に必要となる信号を少なくとも一つ選択し、合成処理に選択した信号を適用してダイナミックレンジが拡大された合成信号を生成する。

【0040】

そして、複数の信号（高利得信号ＨＣＧ、低利得信号ＬＣＧ）を合成する（組み合わせる）ことでダイナミックレンジを向上させる本実施形態の信号処理部７１０は、組み合わせ処理で発生する、直線性（リニアリティー）の精度の劣化による問題を軽減させるため、特に、色温度の変化による周辺画素（近傍画素）との相関性の変化によって発生する偽色を抑制し、画質を向上させるために、以下の特徴的な構成を有している。

【0041】

信号処理部７１０は、一つの注目するピクセル（画素）からの読み出し信号を合成するにあたり、読み出し信号の合成に関する合成情報を、一つの画素の周辺画素の合成に関する合成情報を参照して決定する。

【0042】

ここで、読み出し信号の合成に関する合成情報とは、たとえばピクセルから読み出された信号が、高利得信号ＨＣＧであるか低利得信号ＬＣＧであるかを示す情報を含む。
ただし、読み出し信号の合成に関する合成情報は、高利得信号ＨＣＧであるか低利得信号ＬＣＧであるかを示す情報に限定されるものではない。

【0043】

信号処理部７１０は、注目するピクセル（画素）の周辺画素の合成情報として、所定の色配列（本例ではベイヤー配列）の最小単位ＵＮＴを形成するピクセル（画素）の合成情報（本例では高利得信号ＨＣＧであるか低利得信号ＬＣＧを示す情報）を参照する。

【0044】

図４は、注目するピクセルの周辺画素の合成情報として、ベイヤー配列の最小単位ＵＮＴを形成するピクセルの合成情報である高利得信号ＨＣＧであるか低利得信号ＬＣＧを示す情報を参照する例を説明するための図である。

【0045】

図４に示す例では、注目するピクセルは、ベイヤー配列の最小単位ＵＮＴのＢピクセルＰＸＬ−Ｂであり、周辺ピクセルは、ベイヤー配列の最小単位ＵＮＴのＲピクセルＰＸＬ−Ｒ、並びに、ＧピクセルＰＸＬ−ＧｒおよびＰＸＬ−Ｇｂである。
図４の例では、読み出し時の注目するＢピクセルＰＸＬ−Ｂの合成情報は高利得信号ＨＣＧであり、周辺ピクセルＲピクセルＰＸＬ−Ｒ、並びに、ＧピクセルＰＸＬ−ＧｒおよびＰＸＬ−Ｇｂは低利得信号ＬＣＧである。

【0046】

この場合、信号処理部７１０は、注目するＢピクセルＰＸＬ−Ｂの周辺ピクセルＲピクセルＰＸＬ−Ｒ、並びに、ＧピクセルＰＸＬ−ＧｒおよびＰＸＬ−Ｇｂの３ピクセルとも合成情報が低利得信号ＬＣＧであり、最小単位ＵＮＴの４つのピクセルの合成情報は、３対１の割合で低利得信号ＬＣＧであるピクセルが多いことから、注目するＢピクセルＰＸＬ−Ｂの合成情報を高利得信号ＨＣＧの代わりに低利得信号ＬＣＧであると決定（修正）する。

【0047】

なお、注目するピクセルの周辺ピクセルとしてはベイヤー配列の最小単位ＵＮＴの３つのピクセルに限定されない。
たとえば、信号処理部７１０は、図５に示すように、注目するＢピクセルＰＸＬ２２−Ｂの周辺ピクセルとして、注目するＢピクセルＰＸＬ２２−Ｂと同色のＢピクセルＰＸＬ１１−Ｂ、ＰＸＬ１２−Ｂ、ＰＸＬ１３−Ｂ、ＰＸＬ２１−Ｂ、ＰＸＬ２３−Ｂ、ＰＸＬ３１−Ｂ、ＰＸＬ３２−Ｂ、ＰＸＬ３３−Ｂの８ピクセルを採用し、それらの合成情報を参照する。

【0048】

すなわち、信号処理部７１０は、注目するＢピクセルＰＸＬ２２−Ｂの合成情報（本例では低利得信号ＬＣＧ）と、注目するＢピクセルＰＸＬ２２−Ｂのフィルタ色と同色の周辺ピクセルＢピクセルＰＸＬ１１−Ｂ、ＰＸＬ１２−Ｂ、ＰＸＬ１３−Ｂ、ＰＸＬ２１−Ｂ、ＰＸＬ２３−Ｂ、ＰＸＬ３１−Ｂ、ＰＸＬ３２−Ｂ、ＰＸＬ３３−Ｂの合成情報（本例では高利得信号ＨＣＧ）とを比較して最適な合成情報の決定方法を選択する。

【0049】

この場合、信号処理部７１０は、注目するＢピクセルＰＸＬ２２−Ｂの周辺ピクセルＢピクセルＰＸＬ１１−Ｂ、ＰＸＬ１２−Ｂ、ＰＸＬ１３−Ｂ、ＰＸＬ２１−Ｂ、ＰＸＬ２３−Ｂ、ＰＸＬ３１−Ｂ、ＰＸＬ３２−Ｂ、ＰＸＬ３３−Ｂの８ピクセルとも合成情報が高利得信号ＨＣＧであり、注目ピクセルを含む９つのピクセルの合成情報は、８対１の割合で高利得信号ＨＣＧであるピクセルが多いことから、注目するＢピクセルＰＸＬ２２−Ｂの合成情報を低利得信号ＬＣＧの代わりに高利得信号ＨＣＧであると決定（修正）する。

【0050】

なお、周辺ピクセルとしては、同色に限らず、同色を含めて周辺の１６ピクセルの合成情報を参照する等、種々の態様が可能である。
また、これらの場合、図５の例も含めて、ベイヤー配列に限らず他の配列にも適用することも可能である。

【0051】

本実施形態において、信号処理部７１０は、読み出し信号の合成情報の決定方法を複数有する。

【0052】

基本的に、信号処理部７１０は、ベイヤー配列の最小単位ＵＮＴの４つのピクセルの合成情報が、３対１の割合で低利得信号ＬＣＧまたは高利得信号ＨＣＧの数が多い場合は、注目するピクセルの合成情報として多い方の合成情報を採用する。
信号処理部７１０は、ベイヤー配列の最小単位ＵＮＴの４つのピクセルの合成情報が、４対０の割合で低利得信号ＬＣＧまたは高利得信号ＨＣＧである場合には、注目するピクセルの合成情報は修正せずそのままとする。
信号処理部７１０は、ベイヤー配列の最小単位ＵＮＴの４つのピクセルの合成情報が、２対２の割合で低利得信号ＬＣＧと高利得信号ＨＣＧの数が等しい場合は、注目するピクセルの合成情報として採用する合成情報の決定方法は、複数有り、この複数の方法のうちの１つを採用することが可能である。

【0053】

たとえば、第１の方法では、ベイヤー配列の最小単位ＵＮＴの４つのピクセルの合成情報が、２対２の割合で低利得信号ＬＣＧと高利得信号ＨＣＧの数が等しい場合は、注目するピクセルの合成情報を、ＧピクセルＰＸＬ−Ｇｒ、ＰＸＬ−Ｇｂの合成情報（低利得信号ＬＣＧまたは高利得信号ＨＣＧ）に一致させる。

【0054】

たとえば、第２の方法では、ベイヤー配列の最小単位ＵＮＴの４つのピクセルの合成情報が、２対２の割合で低利得信号ＬＣＧと高利得信号ＨＣＧの数が等しい場合は、注目するピクセルの合成情報を、周辺同色ピクセルと比較し、周辺同色ピクセルの合成情報（低利得信号ＬＣＧまたは高利得信号ＨＣＧ）に一致させる。

【0055】

たとえば、第３の方法では、ベイヤー配列の最小単位ＵＮＴの４つのピクセルの合成情報が、２対２の割合で低利得信号ＬＣＧと高利得信号ＨＣＧの数が等しい場合は、注目するピクセルの合成情報を、周辺１６ピクセルと比較し、周辺１６ピクセルの合成情報（低利得信号ＬＣＧまたは高利得信号ＨＣＧ）に一致させる。

【0056】

たとえば、信号処理部７１０は、周辺ピクセルの合成情報の決定方法の採用数から判断して最適な合成情報の決定方法を選択する機能を持つことが可能である。
また、信号処理部７１０は、注目するピクセルの合成情報と、注目するピクセルのフィルタ色と同色の周辺画素の合成情報とを比較して最適な合成情報の決定方法を選択する機能を持つことが可能である。

【0057】

信号処理部７１０は、最適な合成情報の決定方法の選択にあたって、各色ピクセル（画素）の、たとえばエッジ部分から生成した輝度信号のレベルを参照する機能を持つことが可能である。

【0058】

また、信号処理部７１０は、最適な合成情報の決定方法の選択にあたって、算出された色温度情報を参照する機能を持つことが可能である。

【0059】

信号処理部７１０は、参照するそれぞれのピクセル（画素）からの読み出し信号の時間的変化を基に合成情報の決定方法を決定する機能を持つことが可能である。

【0060】

また、信号処理部７１０は、１画面内を複数の領域に分割し、その分割領域単位で選択する合成情報の決定方法を制限する機能を持つことが可能である。

【0061】

そして、本実施形態の信号処理部７１０は、合成処理に適用する閾値を動的に変更可能に構成されている。
信号処理部７１０は、閾値として、あらかじめ設定された基準閾値(中心閾値) Ｊｏｉｎｔ Ｔｈｒｅｓｈ(以下、Ｊ Ｔｒｅｓｈ)と、基準閾値Ｊ Ｔｈｒｅｓｈと所定のステップ値ｓｔｅｐα(αは自然数)とを比較演算（たとえば加算、減算）することで決定した新たな閾値（Ｊ Ｔｈｒｅｓｈ ± ｓｔｅｐα）と、を合成処理に適用する。

【0062】

なお、あらかじめ設定された基準閾値(中心閾値) Ｊ Ｔｈｒｅｓｈは、たとえば記憶部としてのレジスタ（ＲＥＧ）に書き換え可能に書き込まれる。

【0063】

信号処理部７１０は、たとえば複数の読み出し信号のうち基準とする読み出し信号（たとえば高利得信号ＨＣＧ）と対応する閾値（Ｊ Ｔｈｒｅｓｈ、Ｊ Ｔｈｒｅｓｈ±ｓｔｅｐα）との比較結果に応じて、合成対象の複数の読み出し信号（高利得信号ＨＣＧおよび低利得信号ＬＣＧ）を重み付け処理する重み付け処理部を有している。
重み付け処理部は、閾値に挟まれた領域の信号レベルにおいては、この領域に割り当てられた重み付け値に従って重み付け平均値を算出し、重み付け平均値をその領域の合成信号として出力する。

【0064】

また、信号処理部７１０の重み付け処理部は、記複数の読み出し信号を加算平均する加算平均処理機能を含んで構成される。
加算平均処理機能は、閾値に挟まれた領域の信号レベルにある各々の信号は、加算平均された値をもって１つの出力とする。

【0065】

以下に、低利得信号ＬＣＧと高利得信号ＨＣＧを生成可能なピクセルＰＸＬの構成例を説明した後、ＤＳＰ部７０の信号処理部７１０における構成例および低利得信号ＬＣＧと高利得信号ＨＣＧの具体的な合成処理について説明する。

【0066】

（ピクセルアレイ部４０におけるピクセルＰＸＬの構成例）
図６は、本第１の実施形態に係るピクセルアレイ部４０における低利得信号ＬＣＧと高利得信号ＨＣＧを生成可能なピクセルＰＸＬの構成例を示す図である。

【0067】

図６のピクセルＰＸＬは、フォトダイオードＰＤ、フォトダイオードＰＤのカソード側に接続される、寄生容量もしくは付加容量によって形成される容量Ｃ１１、並びにフォトダイオードＰＤおよび容量Ｃ１１〜Ｃ１３をリセットするリセットトランジスタＲＳＴ−Ｔｒを有する。

【0068】

フォトダイオードＰＤは、入射光量に応じた量の信号電荷（ここでは電子）を発生し、蓄積する。
以下、信号電荷は電子であり、各トランジスタがｎ型トランジスタである場合について説明するが、信号電荷がホールであったり、各トランジスタがｐ型トランジスタであっても構わない。

【0069】

ピクセルＰＸＬは、容量Ｃ１１に接続される転送スイッチとしての転送トランジスタＴＧ１１−Ｔｒ、フォトダイオードＰＤおよび容量Ｃ１１から転送される電荷を蓄積する容量Ｃ１２、選択スイッチとしての選択トランジスタＳＥＬ１１−Ｔｒ、およびゲートが容量Ｃ１２に接続されるソースフォロワトランジスタＳＦ１１−Ｔｒを有する。

【0070】

また、ピクセルＰＸＬは、容量Ｃ１１に接続される転送スイッチとしての転送トランジスタＴＧ１２−Ｔｒ、フォトダイオードＰＤおよび容量Ｃ１１から転送される電荷を蓄積する容量Ｃ１３、選択スイッチとしての選択トランジスタＳＥＬ１２−Ｔｒ、およびゲートが容量Ｃ１３に接続されるソースフォロワトランジスタＳＦ１２−Ｔｒを有する。

【0071】

なお、ピクセルＰＸＬのリセットトランジスタＲＳＴ−Ｔｒ、転送トランジスタＴＧ１１−Ｔｒ，ＴＧ１２−Ｔｒ、選択トランジスタＳＥＬ１１−Ｔｒ，ＳＥＬ１２−Ｔｒのゲートには、タイミングコントローラ３０で生成された制御パルスＳ３０がそれぞれ供給されて、オン、オフ制御が行われる。

【0072】

このように、図６のピクセルＰＸＬは、フォトダイオードＰＤおよび容量Ｃ１１に蓄積された電荷は２系統の出力系ｏｕｔ１，ｏｕｔ２を介して出力されるように構成されている。
図６の例では、出力系ｏｕｔ１に低利得信号ＬＣＧが出力され、出力系ｏｕｔ２に高利得信号ＨＣＧが出力される。
そして、図６の構成においては、たとえば出力系ｏｕｔ１と出力系ｏｕｔ２はワイヤードオアされ、各列(カラム)で２系統の高利得信号ＨＣＧと低利得信号ＬＣＧは共通の信号線（垂直信号線）ＬＳＧＮに時分割で出力される。

【0073】

次に、図６のピクセルＰＸＬの動作を説明する。

【0074】

フォトダイオードＰＤ、寄生容量もしくは付加容量によって形成される容量Ｃ１１の電位はリセットトランジスタＲＳＴ−Ｔｒによってリセット電位Ｖｒ(図６の例ではＶＤＤ)にリセットされる。
蓄積期間にフォトダイオードＰＤに光が入射すると、発生した光電荷はフォトダイオードＰＤおよび容量Ｃ１１に蓄積される。
この状態で、転送スイッチとしての転送トランジスタＴＧ１１−Ｔｒもしくは転送スイッチとしての転送トランジスタＴＧ１２−Ｔｒをオンすることで容量Ｃ１２もしくは容量Ｃ１３の電位は発生した光電荷に応じて変化する。

【0075】

ここで容量Ｃ１２および容量Ｃ１３はそれぞれソースフォロワトランジスタＳＦ１１−Ｔｒ、ＳＦ１２−Ｔｒのゲート電極の寄生容量が支配的である。
選択トランジスタＳＥＬ１１−Ｔｒ，ＳＥＬ１２−Ｔｒは行選択スイッチであり、２次元アレイ状に配列されているピクセルＰＸＬのある行を選択するためのスイッチである。選択トランジスタＳＥＬ１１−Ｔｒ，ＳＥＬ１２−Ｔｒは電源ＶＤＤに接続されている。
出力系ｏｕｔ１と出力系ｏｕｔ２は、信号線ＬＳＧＮを介して図には示していない定電流源に接続されており、ソースフォロワトランジスタＳＦ１１−Ｔｒ、ＳＦ１２−Ｔｒとともに、ソースフォロワアンプを形成している。
選択トランジスタＳＥＬ１１−Ｔｒ，ＳＥＬ１２−ＴｒもソースフォロワトランジスタＳＦ１１−Ｔｒ、ＳＦ１２−Ｔｒと同様に定電流源とでソースフォロワアンプを形成しており、トランジスタＴＧ１１−ＴｒとトランジスタＳＥＬ１１−Ｔｒを選択するか、トランジスタＴＧ１２−ＴｒとトランジスタＳＥＬ１２−Ｔｒを選択することで、いずれかのソースフォロワアンプを選択することができる。

【0076】

これにより、２系統の高利得信号ＨＣＧと低利得信号ＬＣＧは共通の信号線（垂直信号線）ＬＳＧＮに時分割で出力される。
読み出しの容量Ｃ１２、Ｃ１３を場合によって選べることの利点は，撮影条件によって、ダイナミックレンジ（ＤＲ：Ｄ−ｒａｎｇｅ）を選択できることにある。

【0077】

（ＤＳＰ部７０における低利得信号ＬＣＧと高利得信号ＨＣＧの具体的な合成処理）
次に、ＤＳＰ部７０の信号処理部７１０における構成例および低利得信号ＬＣＧと高利得信号ＨＣＧの具体的な合成処理について説明する。

【0078】

以下の説明においては、光電変換素子を含むピクセルＰＸＬから読み出される複数の読み出し信号は、少なくとも一組の、低利得信号ＬＣＧと、低利得信号ＬＣＧに比べて少ない入射光量で飽和する高利得信号ＨＣＧと、を含むものとする。

【0079】

図７は、本発明の第１の実施形態に係る信号処理部の構成例を示す図である。

【0080】

図７の信号処理部７１０は、合成情報判別部７１１、乗算器７１２，７１３、および重み付け処理部としての機能を有する合成処理部７１４を有する。

【0081】

合成情報判別部７１１は、高利得信号ＨＣＧと低利得信号ＬＣを合成する（組み合わせる）ことでダイナミックレンジを向上させるに際し、組み合わせ処理で発生する、直線性（リニアリティー）の精度の劣化による問題を軽減させるため、特に、色温度の変化による周辺画素（近傍画素）との相関性の変化によって発生する偽色を抑制し、画質を向上させるために、以下の構成を有している。

【0082】

合成情報判別部７１１は、一つの注目するピクセル（画素）からの読み出し信号を合成するにあたり、読み出し信号の合成に関する合成情報を、一つの画素の周辺画素の合成に関する合成情報を参照して決定する。

【0083】

合成情報判別部７１１は、注目するピクセル（画素）の周辺画素の合成情報として、たとえばベイヤー配列の最小単位ＵＮＴを形成するピクセル（画素）の合成情報である高利得信号ＨＣＧであるか低利得信号ＬＣＧを示す情報を参照する。

【0084】

また、合成情報判別部７１１は、注目するピクセルの周辺ピクセルとして、注目するピクセルと同色の８ピクセルを採用し、それらの合成情報を参照する。

【0085】

なお、周辺ピクセルとしては、前述したように、同色に限らず、同色を含めて周辺の１６ピクセルの合成情報を参照する等、種々の態様が可能である。

【0086】

本実施形態において、合成情報判別部７１１は、読み出し信号の合成情報の決定方法を複数、たとえば、第１、第２、第３の方法の３つ有する。ここで、第１の方法ＭＴＤ１、第２の方法ＭＴＤ２、および第３の方法ＭＴＤ３について図８〜図１２に関連付けて説明する。

【0087】

図８は、本実施形態に係る読み出し信号の合成情報の決定の第１の方法を説明するための図である。
図９は、本実施形態に係る読み出し信号の合成情報の決定の第２の方法を説明するための図である。
図１０は、本実施形態に係る読み出し信号の合成情報の決定の第３の方法を説明するための図である。
図１１は、本実施形態に係る読み出し信号の合成情報の決定方法を採用した場合のハイダイナミックレンジ信号の生成過程および結果を示す図である。
図１２は、本実施形態に係る読み出し信号の合成情報の決定方法を採用しない場合のハイダイナミックレンジ信号の生成過程および結果を示す図である。

【0088】

（第１の方法ＭＴＤ１）
第１の方法ＭＴＤ１においては、図８に示すように、合成情報判別部７１１は、ベイヤー配列の最小単位ＵＮＴの４つのピクセルの合成情報が、４対０の割合で低利得信号ＬＣＧまたは高利得信号ＨＣＧであるか否かを判定する（工程ＰＲ１）。

【0089】

合成情報判別部７１１は、工程ＰＲ１において、ベイヤー配列の最小単位ＵＮＴの４つのピクセルの合成情報が、４対０の割合で低利得信号ＬＣＧまたは高利得信号ＨＣＧであると判定した場合には、注目するピクセルの合成情報は修正せずそのままとする（工程ＰＲ２）。

【0090】

合成情報判別部７１１は、工程ＰＲ１において、ベイヤー配列の最小単位ＵＮＴの４つのピクセルの合成情報が、４対０の割合で低利得信号ＬＣＧまたは高利得信号ＨＣＧでないと判定した場合には、工程ＰＲ３の処理に移行する。

【0091】

合成情報判別部７１１は、工程ＰＲ３において、ベイヤー配列の最小単位ＵＮＴの４つのピクセルの合成情報が、３対１の割合で低利得信号ＬＣＧまたは高利得信号ＨＣＧの数が多いか否かを判定する。

【0092】

合成情報判別部７１１は、工程ＰＲ３において、ベイヤー配列の最小単位ＵＮＴの４つのピクセルの合成情報が、３対１の割合で低利得信号ＬＣＧまたは高利得信号ＨＣＧの数が多いと判定した場合には、注目するピクセルの合成情報として数の多い方の合成情報を採用する（工程ＰＲ４）。

【0093】

図１１に示す例では、注目するピクセルは、ベイヤー配列の最小単位ＵＮＴのＢピクセルＰＸＬ−Ｂであり、周辺ピクセルは、ベイヤー配列の最小単位ＵＮＴのＲピクセルＰＸＬ−Ｒ、並びに、ＧピクセルＰＸＬ−ＧｒおよびＰＸＬ−Ｇｂである。
図１１の例では、読み出し時の注目するＢピクセルＰＸＬ−Ｂの合成情報は高利得信号ＨＣＧであり、周辺ピクセルＲピクセルＰＸＬ−Ｒ、並びに、ＧピクセルＰＸＬ−ＧｒおよびＰＸＬ−Ｇｂは低利得信号ＬＣＧである。

【0094】

この場合、合成情報判別部７１１は、注目するＢピクセルＰＸＬ−Ｂの周辺ピクセルＲピクセルＰＸＬ−Ｒ、並びに、ＧピクセルＰＸＬ−ＧｒおよびＰＸＬ−Ｇｂの３ピクセルとも合成情報が低利得信号ＬＣＧであり、最小単位ＵＮＴの４つのピクセルの合成情報は、３対１の割合で低利得信号ＬＣＧであるピクセルが多いことから、注目するＢピクセルＰＸＬ−Ｂの合成情報を高利得信号ＨＣＧの代わりに低利得信号ＬＣＧであると決定（修正）する。そのときの、注目するＢピクセルＰＸＬ−Ｂの出力コード値は、ＨＣＧ／ＬＣＧ比を１６とすると８００（５０×１６）となる。

【0095】

この処理を採用することにより、合成情報判別部７１１は、高利得信号ＨＣＧと低利得信号ＬＣＧを合成する（組み合わせる）ことでダイナミックレンジを向上させるに際し、組み合わせ処理で発生する、直線性（リニアリティー）の精度の劣化による問題を軽減させる。特に、色温度の変化による周辺画素（近傍画素）との相関性の変化によって発生する偽色を抑制し、画質を向上させる。

【0096】

一方、図１２に示すように、この処理を採用しない場合には、高利得信号ＨＣＧと低利得信号ＬＣＧを合成する（組み合わせる）ことでダイナミックレンジを向上させるに際し、組み合わせ処理で直線性（リニアリティー）の精度の劣化による問題が発生する。特に、色温度の変化による周辺画素（近傍画素）との相関性の変化によって偽色が発生する。

【0097】

合成情報判別部７１１は、工程ＰＲ３において、ベイヤー配列の最小単位ＵＮＴの４つのピクセルの合成情報が、３対１の割合で低利得信号ＬＣＧまたは高利得信号ＨＣＧの数が存在しないと判定すると、工程ＰＲＲ５の処理に移行する。

【0098】

合成情報判別部７１１は、工程ＰＲ５において、ベイヤー配列の最小単位ＵＮＴの４つのピクセルの合成情報が、２対２の割合で低利得信号ＬＣＧと高利得信号ＨＣＧの数が等しいか否かを判定する。

【0099】

合成情報判別部７１１は、工程ＰＲ５において、ベイヤー配列の最小単位ＵＮＴの４つのピクセルの合成情報が、２対２の割合で低利得信号ＬＣＧと高利得信号ＨＣＧの数が等しいと判定すると、この第１の方法ＭＴＤ１では、注目するピクセルの合成情報を、ＧピクセルＰＸＬ−Ｇｒ、ＰＸＬ−Ｇｂの合成情報（低利得信号ＬＣＧまたは高利得信号ＨＣＧ）に一致させる（工程ＰＲ６）。

【0100】

合成情報判別部７１１は、工程ＰＲ５において、ベイヤー配列の最小単位ＵＮＴの４つのピクセルの合成情報が、２対２の割合で低利得信号ＬＣＧと高利得信号ＨＣＧの数が等しくないと判定すると、たとえば工程ＰＲ１の処理に移行する。

【0101】

（第２の方法ＭＴＤ２）
第２の方法ＭＴＤ２においては、図８および図９に示すように、合成情報判別部７１１の処理は、工程ＰＲ５で肯定的な判定を行った場合の処理が第１の方法ＭＴＤ１と異なる。

【0102】

合成情報判別部７１１は、工程ＰＲ５において、ベイヤー配列の最小単位ＵＮＴの４つのピクセルの合成情報が、２対２の割合で低利得信号ＬＣＧと高利得信号ＨＣＧの数が等しいと判定すると、この第２の方法ＭＴＤ２では、注目するピクセルの合成情報を、周辺同色ピクセルと比較し（工程ＰＲ７）、周辺同色ピクセルの合成情報（低利得信号ＬＣＧまたは高利得信号ＨＣＧ）に一致させる（工程ＰＲ８）。

【0103】

（第３の方法ＭＴＤ３）
第３の方法ＭＴＤ３においては、図８および図１０に示すように、合成情報判別部７１１の処理は、工程ＰＲ５で肯定的な判定を行った場合の処理が第１の方法ＭＴＤ１と異なる。

【0104】

合成情報判別部７１１は、工程ＰＲ５において、ベイヤー配列の最小単位ＵＮＴの４つのピクセルの合成情報が、２対２の割合で低利得信号ＬＣＧと高利得信号ＨＣＧの数が等しいと判定すると、この第３の方法ＭＴＤ３では、注目するピクセルの合成情報を、周辺１６ピクセルと比較し（工程ＰＲ９）、周辺１６ピクセルの合成情報（低利得信号ＬＣＧまたは高利得信号ＨＣＧ）に一致させる（工程ＰＲ１０）。

【0105】

このように、本実施形態の合成情報判別部７１１は、ベイヤー配列の最小単位ＵＮＴの４つのピクセルの合成情報が、２対２の割合で低利得信号ＬＣＧと高利得信号ＨＣＧの数が等しい場合は、注目するピクセルの合成情報として採用する合成情報の決定方法は、複数有り、この複数の方法のうちの１つを採用することが可能である。

【0106】

本実施形態の合成情報判別部７１１は、前述したように、周辺ピクセルの合成情報の決定方法の採用数から判断して最適な合成情報の決定方法を選択する機能を持つことが可能である。
また、信号処理部７１０は、注目するピクセルの合成情報と、注目するピクセルのフィルタ色と同色の周辺画素の合成情報とを比較して最適な合成情報の決定方法を選択する機能を持つことが可能である。

【0107】

また、合成情報判別部７１１は、最適な合成情報の決定方法の選択にあたって、各色ピクセル（画素）の、たとえばエッジ部分から生成した輝度信号のレベルを参照する機能を持つことが可能である。
また、合成情報判別部７１１は、最適な合成情報の決定方法の選択にあたって、算出された色温度情報を参照する機能を持つことが可能である。
また、合成情報判別部７１１は、参照するそれぞれのピクセル（画素）からの読み出し信号の時間的変化を基に合成情報の決定方法を決定する機能を持つことが可能である。
また、合成情報判別部７１１は、１画面内を複数の領域に分割し、その分割領域単位で選択する合成情報の決定方法を制限する機能を持つことが可能である。

【0108】

ここで、図７の説明に戻る。
乗算器７１２は、飽和する前に直線性を有する低利得信号ＬＣＧの傾きを、同じく飽和する前に直線性を有する高利得信号ＨＣＧの傾きと等しくするために、入力される低利得信号ＬＣＧに、ゲイン比Ｋ（＝ＨＣＧ／ＬＣＧ）を掛け合わせ、その結果を合成処理部７１４に供給する。

【0109】

乗算器７１３は、高利得信号ＨＣＧの傾きを微調整するために、入力される高利得信号ＨＣＧに、ゲイン比１．０を掛け合わせ、その結果を合成処理部７１４に供給する。
なお、乗算器７１２は、微調整のために配置されており、必ずしも必要ではなく、なくてもよい。

【0110】

合成処理部７１４は、傾きが等しくなるように調整された低利得信号ＬＣＧと高利得信号ＨＣＧを受けて、高利得信号ＨＣＧが飽和する手前であって直線性が保たれている非飽和領域ＡＮＳＡＴで、合成処理により低利得信号ＬＣＧと高利得信号ＨＣＧを合成する。
合成処理部７１４は、重み付け処理部として機能し、たとえば複数の低利得信号ＬＣＧと高利得信号ＨＣＧのうち基準とする高利得信号ＨＣＧと対応する閾値（Ｊ Ｔｈｒｅｓｈ、Ｊ Ｔｈｒｅｓｈ±ｓｔｅｐα）との比較結果に応じて、合成対象の高利得信号ＨＣＧおよび低利得信号ＬＣＧを重み付け処理する重み付け処理部としての機能を有している。
合成処理部７１４は、重み付け処理部として、閾値に挟まれた領域の信号レベルにおいては、この領域に割り当てられた重み付け値に従って重み付け平均値を算出し、重み付け平均値をその領域の合成信号として出力する機能を有する。

【0111】

また、合成処理部７１４は、重み付け処理部として、低利得信号ＬＣＧと高利得信号ＨＣＧを加算平均する加算平均処理機能を含んで構成される。
加算平均処理機能は、閾値に挟まれた領域の信号レベルにある各々の信号は、加算平均された値をもって１つの出力とする。

【0112】

以上の構成を有する信号処理部７１０は、ピクセルアレイ部４０のマトリクス配列の各列(カラム)に対応して複数配置される。

【0113】

以上、本実施形態に係る信号処理部７１０の基本的なブロック構成について説明した。
次に、本実施形態に係る信号処理部７１０によって２つの特性の異なる高利得信号ＨＣＧと低利得信号ＬＣＧを合成し、ハイダイナミックレンジ信号とする合成方法をより具体的に図解して説明する。

【0114】

図１３（Ａ）〜（Ｃ）は、高利得信号ＨＣＧと低利得信号ＬＣＧを合成し、ハイダイナミックレンジ信号とする合成方法を具体的に説明するための図である。
図１３（Ａ）は高利得信号ＨＣＧと低利得信号ＬＣＧの傾きを同じとなるように調整する処理概要を示している。
図１３（Ｂ）は高利得信号ＨＣＧが飽和する手前であって直線性が保たれている非飽和領域ＡＮＳＡＴにおいて、合成処理により高利得信号ＨＣＧと低利得信号ＬＣＧを４ステップで段階的にスムーズに合成することを示している。
図１３（Ｃ）は高利得信号ＨＣＧと低利得信号ＬＣＧを４ステップで段階的にスムーズに合成する場合の、中心閾値Ｊ Ｔｈｒｅｓｈ、各結合位置（点）ｊｐ０〜ｊｐ３、動的に設定される閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ２）、（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ１）、（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ１）、（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ２）、重み付け値の関係を模式的に図解して示している。
図１４は高利得信号ＨＣＧと低利得信号ＬＣＧを４ステップで段階的にスムーズに合成する場合の、信号レベル、中心閾値Ｊ Ｔｈｒｅｓｈ、各結合位置（点）ｊｐ０〜ｊｐ３、動的に設定される閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ２）、（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ１）、（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ１）、（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ２）、閾値間の領域の関係を模式的に示している。

【0115】

図１３において、高利得信号ＨＣＧと低利得信号ＬＣＧは前述の２系統の信号に相当する。ここで、図６で示したように高利得信号ＨＣＧと低利得信号ＬＣＧはいずれもデジタル信号である。
前述したように、高利得信号ＨＣＧは光電変換素子部からの高利得出力信号であるが、その分低利得信号ＬＣＧに比べて少ない入射光量で飽和する。低利得信号ＬＣＧは低利得出力信号であるため、飽和に達する入射光量に余裕があり、高利得信号ＨＣＧに比較して大きい。
そこで、ＤＳＰ部７０の信号処理部７１０では、低利得信号ＬＣＧと高利得信号ＨＣＧの傾きを等しくするとともに、高利得信号ＨＣＧが飽和する手前すなわち直線性が保たれている非飽和領域ＡＮＳＡＴでこの２種類の信号を合成することでダイナミックレンジ（ＤＲ）を高めた信号が得られる。

【0116】

信号処理部７１０の合成処理部７１４は、たとえば高利得信号ＨＣＧを基準として合成処理を行うことが可能である。
合成処理部７１４は、たとえば図１３（Ｃ）および図１４に示すように、非飽和領域ＡＮＳＡＴの中心部位置ＪＣ（Ｊｏｉｎｔ Ｃｅｎｔｅｒ）に、基準閾値を中心閾値Ｊ Ｔｈｒｅｓｈとして設定する。

【0117】

合成処理部７１４は、たとえば図１３（Ｃ）および図１４に示すように、中心閾値Ｊ Ｔｈｒｅｓｈが設定された中心部位置ＪＣから合成信号を高利得信号ＨＣＧと結合すべき高利得信号最端部側結合位置ｊｐ（ｊｏｉｎｔ ｐｏｉｎｔ）０の間に、高利得信号最端部側結合位置ｊｐ０を含む二つの高利得側結合位置ｊｐ０、ｊｐ１を設定するとともに、中心部位置ＪＣから高利得信号最端部に向かって徐々に大きくなる、設定した高利得側結合位置ｊｐ１、ｊｐ０に対応する高利得側ステップ値（−）ｓｔｅｐ１，（−）ｓｔｅｐ２（ｓｔｅｐ２＞ｓｔｅｐ１）を設定する。

【0118】

合成処理部７１４は、たとえば図１３（Ｃ）および図１４に示すように、中心閾値Ｊ Ｔｈｒｅｓｈが設定された中心部位置ＪＣから合成信号を低利得信号ＬＣＧと結合すべき低利得信号最端部側結合位置ｊｐ３の間に、低利得信号最端部側結合位置ｊｐ３を含む二つの低利得側結合位置ｊｐ３、ｊｐ２を設定するとともに、中心部位置ＪＣから低利得信号最端部に向かって徐々に大きくなる、設定した低利得側結合位置ｊｐ２、ｊｐ３に対応する低利得側ステップ値ｓｔｅｐ１，ｓｔｅｐ２（ｓｔｅｐ２＞ｓｔｅｐ１）を設定する。

【0119】

そして、合成処理部７１４は、たとえば図１３（Ｃ）および図１４に示すように、中心閾値Ｊ Ｔｈｒｅｓｈから設定した高利得側ステップ値ｓｔｅｐ２，ｓｔｅｐ１を減算して対応する高利得側結合位置ｊｐ０，ｊｐ１の新たな閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ２）、（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ１）として設定する。合成処理部７１４は、新たな閾値を適用して高利得側結合位置ｊｐ０，ｊｐ１における閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ２）、（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ１）と高利得信号ＨＣＧとの比較結果に応じて合成処理を行う。

【0120】

同様に、合成処理部７１４は、たとえば図１３（Ｃ）および図１４に示すように、中心閾値Ｊ Ｔｈｒｅｓｈに設定した低利得側ステップ値ｓｔｅｐ１，ｓｔｅｐ２を加算して対応する低利得側結合位置ｊｐ２，ｊｐ３の新たな閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ１）、（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ２）として設定する。合成処理部７１４は、新たな閾値を適用して低利得側結合位置ｊｐ２、ｊｐ３における閾値(Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ１)、(Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ２)と高利得信号ＨＣＧとの比較結果に応じて合成処理を行う。

【0121】

合成処理部７１４は、合成処理に係る比較処理において、高利得側結合位置ｊｐ０、ｊｐ１の閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ２）、（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ１）、または、低利得側結合位置ｊｐ２、ｊｐ３の閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ１）、（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ２）と高利得信号ＨＣＧとの比較により選択された値に挟まれた領域Ａ０１，Ａ１２，Ａ２３の信号レベルにおいては、領域Ａ０１，Ａ１２，Ａ２３に割り当てられた重み付け値ＷＶ０１，ＷＶ１２，ＷＶ２３に従って重み付け平均値ＡＶＷ０１、ＡＶＷ１２，ＡＶＷ２３を算出し、重み付け平均値をその領域の合成信号（合成データ）ｄａｔａ ｄｈｄｒとして出力する。

【0122】

たとえば、高利得側結合位置ｊｐ０の閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ２）と隣接の高利得側結合位置ｊｐ１の閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ１）に挟まれた領域Ａ０１においては、低利得信号ＬＣＧに「１」で高利得信号ＨＣＧに「３」の重み付け値（ＬＣＧ：ＨＣＧ＝１：３）ＷＶ０１が割り当てられる。

【0123】

高利得側結合位置ｊｐ１の閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ１）と隣接の低利得側結合位置ｊｐ２の閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ１）に挟まれた領域Ａ１２においては、低利得信号ＬＣＧに「１」で高利得信号ＨＣＧに「１」の重み付け値（ＬＣＧ：ＨＣＧ＝１：１）ＷＶ１２が割り当てられる。

【0124】

低利得側結合位置ｊｐ２の閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ１）と隣接の低利得側結合位置ｊｐ３の閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ２）に挟まれた領域Ａ２３においては、低利得信号ＬＣＧに「３」で高利得信号ＨＣＧに「１」の重み付け値（ＬＣＧ：ＨＣＧ＝３：１）ＷＶ２３が割り当てられる。

【0125】

合成処理部７１４は、高利得信号最端部側結合位置ｊｐ０の閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ２）と高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）との比較の結果、高利得信号ＨＣＧのレベルが閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ２）より小さい場合は、高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）を合成信号（合成データ）ｄａｔａ ｄｈｄｒとして適用する。

【0126】

合成処理部７１４は、低利得信号最端部側結合位置ｊｐ３の閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ２）と高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）との比較の結果、高利得信号ＨＣＧのレベルが閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ２）より大きい場合は、低利得信号ＬＣＧ（ｄａｔａ ｌｃｇ）を合成信号（合成データ）ｄａｔａ ｄｈｄｒとして適用する。

【0127】

以上、信号処理部７１０における合成処理部７１４の構成および機能について説明した。
ここで、合成処理部における高利得信号ＨＣＧと低利得信号ＬＣＧの具体的な合成処理の一例を説明する。
図１５は、本実施形態に係る信号処理部７１０における合成処理の一例を説明するためのフローチャートである。

【0128】

今、高利得信号ＨＣＧを基準に合成する場合を考えると、下記のように表現できる。

【0129】

（数１）
ｄａｔａ_ｈｃｇ = ｄａｔａ_ｈｃｇ_ｉｎ + ｈｃｇ_ｏｆｆｓｅｔ

【0130】

低利得信号ＬＣＧは、高利得信号ＨＣＧと傾きが同じになるようにデジタル利得を掛けて変換した場合次のように表現できる。

【0131】

（数２）
ｄａｔａ_ｌｃｇ ＝ (ｄａｔａ_ｌｃｇ_ｉｎ + ｌｃｇ_ｏｆｆｓｅｔ ) × Ｋ
ここで、ＫはＨＣＧ/ＬＣＧのゲイン比を示す。

【0132】

この２信号を合成するにあたり、次の条件設定に沿って演算を行う。

【0133】

（数３）
ｉｆ （ ｄａｔａ_ｈｃｇ ＜ （ ｊ_ｔｈｒｅｓｈ - ｓｔｅｐ２ ） ）
ｄａｔａ_ｄｈｄ= ｄａｔａ_ｈｃｇ ；
ｉｆ （ ｄａｔａ_ｈｃｇ ＜ （ ｊ_ｔｈｒｅｓｈ - ｓｔｅｐ１ ） )
ｄａｔａ_ｄｈｄｒ = （ ｄａｔａ_ｈｃｇ ×３ + ｄａｔａ_ｌｃｇ ） / ４ ;
ｉｆ （ ｄａｔａ_ｈｃｇ ＜ （ ｊ_ｔｈｒｅｓｈ + ｓｔｅｐ1 ） ）
ｄａｔａ_ｄｈｄｒ = （ ｄａｔａ_ｈｃｇ + ｄａｔａ_ｌｃｇ ） / ２ ;
ｉｆ （ ｄａｔａ_ｈｃｇ ＜ （ ｊ_ｔｈｒｅｓｈ + ｓｔｅｐ２ ） ）
ｄａｔａ_ｄｈｄｒ = （ ｄａｔａ_ｈｃｇ + ｄａｔａ_ｌｃｇ × ３） / ４ ;
ｉｆ （ ｄａｔａ_ｈｃｇ ＞ （ ｊ_ｔｈｒｅｓｈ + ｓｔｅｐ２ ） ）
ｄａｔａ_ｄｈｄｒ = ｄａｔａ_ｌｃｇ ;

【0134】

この合成処理部７１４の合成に係る演算処理について図１５に関連付けて説明する。

【0135】

合成処理部７１４は、たとえば、まず、高利得信号最端部側結合位置ｊｐ０の閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ２）と高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）とを比較し（工程ＰＲ１１）、高利得信号ＨＣＧのレベルが閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ２）より小さいか否かを判定する（工程ＰＲ１２）。

【0136】

合成処理部７１４は、工程ＰＲ１２において、高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）のレベルが閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ２）より小さいと判定すると、高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）を合成信号（合成データ）ｄａｔａ ｄｈｄｒとして適用する（工程ＰＲ１３）。

【0137】

合成処理部７１４は、工程ＰＲ１２において、高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）のレベルが閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ２）より大きいと判定すると、高利得側結合位置ｊｐ１の閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ１）と高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）とを比較し（工程ＰＲ１４）、高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）のレベルが閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ１）より小さいか否かを判定する（工程ＰＲ１５）。

【0138】

合成処理部７１４は、工程ＰＲ１５において、高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）のレベルが閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ１）より小さいと判定すると、次の処理を行う（工程ＰＲ１６、ＰＲ１７）。
合成処理部７１４は、高利得側結合位置ｊｐ０の閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ２）と隣接の高利得側結合位置ｊｐ１の閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ１）に挟まれた領域Ａ０１に割り当てられた重み付け値（ＬＣＧ：ＨＣＧ＝１：３）ＷＶ０１に従って高利得信号ＨＣＧと低利得信号ＬＣＧの重み付け平均値ＡＶＷ０１を次式により算出し（工程ＰＲ１６）、重み付け平均値ＡＶＷ０１をその領域の合成信号（合成データ）ｄａｔａ ｄｈｄｒとして適用する（工程ＰＲ１７）。

【0139】

（数４）
ＡＶＷ０１= （ ｄａｔａ_ｈｃｇ ×３ + ｄａｔａ_ｌｃｇ ） / ４

【0140】

合成処理部７１４は、工程ＰＲ１５において、高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）のレベルが閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ１）より大きいと判定すると、低利得側結合位置ｊｐ２の閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ１）と高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）とを比較し（工程ＰＲ１８）、高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）のレベルが閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ１）より小さいか否かを判定する（工程ＰＲ１９）。

【0141】

合成処理部７１４は、工程ＰＲ１９において、高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）のレベルが閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ１）より小さいと判定すると、次の処理を行う（工程ＰＲ２０、ＰＲ２１）。
合成処理部７１４は、高利得側結合位置ｊｐ１の閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ１）と隣接の低利得側結合位置ｊｐ２の閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ１）に挟まれた領域Ａ１２に割り当てられた重み付け値（ＬＣＧ：ＨＣＧ＝１：１）ＷＶ１２に従って高利得信号ＨＣＧと低利得信号ＬＣＧの重み付け平均値ＡＶＷ１２を次式により算出し（工程ＰＲ２０）、重み付け平均値ＡＶＷ１２をその領域の合成信号（合成データ）ｄａｔａ ｄｈｄｒとして適用する（工程ＰＲ２１）。

【0142】

（数５）
ＡＶＷ１２= （ ｄａｔａ_ｈｃｇ + ｄａｔａ_ｌｃｇ ） / ２

【0143】

合成処理部７１４は、工程ＰＲ１９において、高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）のレベルが閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ１）より大きいと判定すると、低利得信号最端部側結合位置ｊｐ３の閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ２）と高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）とを比較し（工程ＰＲ２２）、高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）のレベルが閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ２）より小さいか否かを判定する（工程ＰＲ２３）。

【0144】

合成処理部７１４は、工程ＰＲ２３において、高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）のレベルが閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ２）より小さいと判定すると、次の処理を行う（工程ＰＲ２４、ＰＲ２５）。
合成処理部７１４は、低利得側結合位置ｊｐ２の閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ１）と隣接の低利得側結合位置ｊｐ３の閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ２）に挟まれた領域Ａ２３に割り当てられた重み付け値（ＬＣＧ：ＨＣＧ＝３：１）ＷＶ２３に従って高利得信号ＨＣＧと低利得信号ＬＣＧの重み付け平均値ＡＶＷ２３を次式により算出し（工程ＰＲ２４）、重み付け平均値ＡＶＷ２３をその領域の合成信号（合成データ）ｄａｔａ ｄｈｄｒとして適用する（工程ＰＲ２５）。

【0145】

（数６）
ＡＶＷ２３= （ ｄａｔａ_ｈｃｇ + ｄａｔａ_ｌｃｇ × ３） / ４

【0146】

合成処理部７１４は、工程ＰＲ２３において、高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）のレベルが閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ２）より小さくなく、大きいと判定すると（工程ＰＲ２６）、低利得信号ＬＣＧ（ｄａｔａ ｌｃｇ）を合成信号（合成データ）ｄａｔａ ｄｈｄｒとして適用する（工程ＰＲ２７）。

【0147】

以上説明したように、本第１の実施形態の固体撮像装置１０の信号処理部７１０は、複数の読み出し信号、たとえば高利得信号ＨＣＧと低利得信号ＬＣＧを合成してダイナミックレンジを拡大可能に構成されている。
信号処理部７１０は、合成すべき複数の読み出し信号、たとえば低利得信号ＬＣＧと高利得信号ＨＣＧの傾きを等しくする。
信号処理部７１０は、複数の読み出し信号の合成をする際に、複数の読み出し信号のうちの少なくとも一つの読み出し信号（高利得信号ＨＣＧ、低利得信号ＬＣＧ）と閾値（Ｊｏｉｎｔ Ｔｈｒｅｓｈ)との比較結果に応じて合成に必要となる信号を少なくとも一つ選択し、合成処理に選択した信号を適用してダイナミックレンジが拡大された合成信号を生成する。

【0148】

また、信号処理部７１０は、一つの注目するピクセル（画素）からの読み出し信号を合成するにあたり、読み出し信号の合成に関する合成情報を、一つの画素の周辺画素の合成に関する合成情報を参照して決定する。
信号処理部７１０は、たとえば注目するピクセル（画素）の周辺画素の合成情報として、所定の色配列（本例ではベイヤー配列）の最小単位ＵＮＴを形成するピクセル（画素）の合成情報（本例では高利得信号ＨＣＧであるか低利得信号ＬＣＧを示す情報）を参照する。

【0149】

したがって、本第１の実施形態によれば、複数の読み出し信号、たとえば高利得信号ＨＣＧと低利得信号ＬＣＧを合成する（組み合わせる）ことでダイナミックレンジを向上させるに際し、組み合わせ処理で発生する、直線性（リニアリティー）の精度の劣化による問題を軽減させることが可能となる。特に、色温度の変化による周辺画素（近傍画素）との相関性の変化によって発生する偽色を抑制し、画質を向上させることが可能となる。
すなわち、本第１の実施形態によれば、個体ばらつき等にかかわりなく組み合わせようとする複数の信号のスムーズな切り替えが可能で、偽色の発生等の画像劣化を抑止しつつ高ダイナミックレンジ化を実現でき、ひいては高画質化を実現することが可能となる。

【0150】

また、本第１の実施形態の信号処理部７１０は、閾値を動的に変更可能に構成され、閾値として、あらかじめ設定された基準閾値(中心閾値)Ｊ Ｔｈｒｅｓｈと、基準閾値Ｊ Ｔｈｒｅｓｈと所定のステップ値ｓｔｅｐα(αは自然数)とを比較演算（たとえば加算、減算）することで決定した新たな閾値（Ｊ Ｔｈｒｅｓｈ ± ｓｔｅｐα）と、を合成処理に適用する。

【0151】

したがって、本第１の実施形態によれば、固体撮像装置の個体単位でのばらつき、あるいは１個体の中でのピクセル（画素）間のばらつき等が存在する場合であっても、組み合わせようとする（合成しようとする）複数の信号のスムーズな切り替えが可能で、不連続点を削減でき、ひいてはノイズを削減でき、ノイズの少ない高品質かつ高ダイナミックな画像信号を生成することが可能となる。
また、個体ばらつきを吸収することが可能となるため、製品の歩留まりを向上させることが可能となる。

【0152】

すなわち、本第１の実施形態によれば、個体ばらつき等にかかわりなく組み合わせようとする複数の信号のスムーズな切り替えが可能で、画像劣化を抑止しつつ高ダイナミックレンジ化を実現でき、ひいては高画質化を実現することが可能となる。

【0153】

また、本第１の実施形態の信号処理部７１０は、たとえば複数の読み出し信号のうち基準とする読み出し信号（たとえば高利得信号ＨＣＧ）と対応する閾値（Ｊ Ｔｈｒｅｓｈ、Ｊ Ｔｈｒｅｓｈ±ｓｔｅｐα）との比較結果に応じて、合成対象の複数の読み出し信号（高利得信号ＨＣＧおよび低利得信号ＬＣＧ）を重み付け処理する重み付け処理部としての機能を含む合成処理部７１４を有している。
重み付け処理部を含む合成処理部７１４は、閾値に挟まれた領域の信号レベルにおいては、この領域に割り当てられた重み付け値に従って重み付け平均値を算出し、重み付け平均値をその領域の合成信号として出力する。
また、重み付け処理部は、記複数の読み出し信号を加算平均する加算平均処理機能を含んで構成される。
加算平均処理機能は、閾値に挟まれた領域の信号レベルにある各々の信号は、加算平均された値をもって１つの出力とする。

【0154】

したがって、本第１の実施形態によれば、組み合わせようとする（合成しようとする）複数の信号のよりスムーズな切り替えが可能で、不連続点を確実に削減でき、ひいてはノイズを削減でき、さらにノイズの少ない高品質かつ高ダイナミックな画像信号を生成することが可能となる。

【0155】

（第２の実施形態）
図１６は、本発明の第２の実施形態に係る信号処理部の構成例を示す図である。
図１７は、図１６の乱数発生部の具体的な構成例を示す図である。

【0156】

本第２の実施形態に係る図１６の信号処理部７１０Ａが第１の実施形態に係る図１６の信号処理部７１０と異なる点は、乱数発生部７１５が設けられ、合成処理部７１４Ａは、乱数ｒｎｄ(clk)を閾値Ｊ Ｔｈｒｅｓｈと加算あるいは減算して閾値を設定することにある。
ここで、ｃｌｋは、ピクセル（画素）データの転送クロックと同じ周波数であり、乱数はピクセル（画素）単位で変化する。

【0157】

合成処理部７１４Ａは，たとえば複数の閾値の平均値を基準閾値Ｊ Ｔｈｒｅｓｈに相当する中心閾値として設置可能で、中心閾値は初期の中心閾値Ｊ Ｔｈｒｅｓｈに乱数発生部７１５で発生された乱数ｒｎｄ(clk)を加算することで新たに算出された値を第２の中心閾値（Ｊ Ｔｈｒｅｓｈ＋ｒｎｄ(clk)）とし、第２の中心閾値をもとに合成に必要となる信号の選択処理を行う。

【0158】

乱数発生部７１５は、たとえば図１７に示すように、排他的論理和ゲートＥＸＯＲ１〜ＥＸＯＲ３を含む線形帰還シフトレジスタＬＦＳＲにより形成される。図１７は１６ビットの場合の一例として示されている。

【0159】

第２の実施形態の合成処理部７１４Ａで第１の実施形態の数３に対応する２信号を合成するにあたり、次の条件設定に沿って演算を行う。

【0160】

（数７）
ｉｆ （ ｄａｔａ_ｈｃｇ ＜ （ ｊ_ｔｈｒｅｓｈ + ｒｎｄ(clk) - ｓｔｅｐ２ ） ）
ｄａｔａ_ｄｈｄ= ｄａｔａ_ｈｃｇ ；
ｉｆ （ ｄａｔａ_ｈｃｇ ＜ （ ｊ_ｔｈｒｅｓｈ + ｒｎｄ(clk) - ｓｔｅｐ１ ） )
ｄａｔａ_ｄｈｄｒ = （ ｄａｔａ_ｈｃｇ ×３ + ｄａｔａ_ｌｃｇ ） / ４ ;
ｉｆ （ ｄａｔａ_ｈｃｇ ＜ （ ｊ_ｔｈｒｅｓｈ + ｒｎｄ(clk) + ｓｔｅｐ1 ） ）
ｄａｔａ_ｄｈｄｒ = （ ｄａｔａ_ｈｃｇ + ｄａｔａ_ｌｃｇ ） / ２ ;
ｉｆ （ ｄａｔａ_ｈｃｇ ＜ （ ｊ_ｔｈｒｅｓｈ + ｒｎｄ(clk) + ｓｔｅｐ２ ） ）
ｄａｔａ_ｄｈｄｒ = （ ｄａｔａ_ｈｃｇ + ｄａｔａ_ｌｃｇ × ３） / ４ ;
ｉｆ （ ｄａｔａ_ｈｃｇ ＞ （ ｊ_ｔｈｒｅｓｈ + ｒｎｄ(clk) + ｓｔｅｐ２ ） ）
ｄａｔａ_ｄｈｄｒ = ｄａｔａ_ｌｃｇ ;

【0161】

すなわち、この演算処理は、初期の中心閾値Ｊ Ｔｈｒｅｓｈに乱数発生部７１５で発生された乱数ｒｎｄ(clk)を加算することで新たに算出された値が第２の中心閾値（Ｊ Ｔｈｒｅｓｈ＋ｒｎｄ(clk)）として適用される他は、上記数３および図１５の処理と同様の処理が行われる。
したがって、ここでは、詳細な説明は省略する。

【0162】

本第２の実施形態によれば、上述した第１の実施形態と同様の効果を得ることができる。
すなわち、本第２の実施形態によれば、固体撮像装置の個体単位でのばらつき、あるいは１個体の中での画素間のばらつき等が存在する場合であっても、組み合わせようとする（合成しようとする）複数の信号のスムーズな切り替えが可能で、不連続点を削減でき、ひいてはノイズを削減でき、ノイズの少ない高品質かつ高ダイナミックな画像信号を生成することが可能となる。
また、個体ばらつきを吸収することが可能となるため、製品の歩留まりを向上させることが可能となる。
また、本第２の実施形態によれば、複数の読み出し信号、たとえば高利得信号ＨＣＧと低利得信号ＬＣＧを合成する（組み合わせる）ことでダイナミックレンジを向上させるに際し、組み合わせ処理で発生する、直線性（リニアリティー）の精度の劣化による問題を軽減させることが可能となる。特に、色温度の変化による周辺画素（近傍画素）との相関性の変化によって発生する偽色を抑制し、画質を向上させることが可能となる。

【0163】

（応用例）
上述した実施形態においては、複数の読み出し信号の例として、２つの高利得信号ＨＣＧと低利得信号ＬＣＧを合成してダイナミックレンジを拡大する場合について説明したが、本発明は，３つあるいは４以上の特性の異なる信号を、傾きを等しくしつつ合成する場合にも適用することが可能である。

【0164】

図１８は、高利得信号ＨＣＧと中利得信号ＭＣＧと低利得信号ＬＣＧの３つの信号を、傾きを等しくしつつ合成する処理を説明するための図である。

【0165】

図１８の例は、高利得と低利得の中間の中利得信号ＭＣＧが合成対象に追加されている。

【0166】

この場合、高利得信号ＨＣＧが飽和する手前であって直線性が保たれている非飽和領域ＡＮＳＡＴ１において、前述した実施形態の合成処理と同様の処理により中利得信号ＭＣＧと高利得信号ＨＣＧが段階的にスムーズに合成される。このときの傾きを調整するためのゲイン比はＨＣＧ／ＭＣＧである。
非飽和領域ＡＮＳＡＴ１における合成処理では、中利得信号ＭＣＧが前述した実施形態の合成処理の低利得信号と同様の信号として扱われる。

【0167】

同様に、中利得信号ＭＣＧが飽和する手前であって直線性が保たれている非飽和領域ＡＮＳＡＴ２において、前述した実施形態の合成処理と同様の処理により中利得信号ＭＣＧと低利得信号ＬＣＧが段階的にスムーズに合成される。このときの傾きを調整するためのゲイン比はＭＣＧ／ＬＣＧである。
非飽和領域ＡＮＳＡＴ２における合成処理では、中利得信号ＭＣＧが前述した実施形態の合成処理の高利得信号と同様の信号として扱われる。

【0168】

この場合も、上述した第１および第２の実施形態と同様の効果を得ることができる。

【0169】

（変形例）
図１９は、短い露光時間による高照度側に対応した撮像と長い露光時間による低照度に対応した撮像の異なる２回以上の露光時間に分割する高ダイナミックレンジ化技術の一例を示す図である。

【0170】

上述した実施形態においては、ピクセルＰＸＬの構成自体に、選択トランジスタＳＥＬ−ＴｒおよびソースフォロワトランジスタＳＦ−Ｔｒを２系統設けて、複数の読み出し信号である２つの高利得信号ＨＣＧと低利得信号ＬＣＧを生成するように構成されている場合を例に説明したが、本発明は、このような構成に限定されない。
たとえばピクセルＰＸＬの構成自体に、選択トランジスタＳＥＬ−ＴｒおよびソースフォロワトランジスタＳＦ−Ｔｒを１系統のみ設けて、図１９に示すように、短い露光時間による高照度側に対応した撮像と長い露光時間による低照度に対応した撮像の異なる２回以上の露光時間に分割する高ダイナミックレンジ化技術を採用することも可能である。

【0171】

ピクセル（画素）の読み出し動作においては、タイミングコントローラ等の制御の下、図１９に示すように、シャッタースキャンＳＳＣＮが行われ、その後、読み出しスキャンＲＳＣＮが行われるが、図１９の例は、シャッタースキャンＳＳＣＮが行われ、その後、読み出しスキャンＲＳＣＮが行われるまでの露光期間Ｔｉｎｔ０，Ｔｉｎｔ１を２つ設け、時間に差を持たせている。

【0172】

この場合も、上述した第１および第２の実施形態と同様の効果を得ることができる。

【0173】

図２０は、フレーム単位でダイナミックレンジを高める例を説明するための図である。
また、上述した実施形態では、ピクセル単位でダイナミックレンジを高める例を説明したが、本発明は、図２０に示すように、フレーム単位でダイナミックレンジを高める場合にも適用可能である。

【0174】

この場合も、上述した第１および第２の実施形態と同様の効果を得ることができる。

【0175】

以上説明した固体撮像装置１０は、デジタルカメラやビデオカメラ、携帯端末、あるいは監視用カメラ、医療用内視鏡用カメラなどの電子機器に、撮像デバイスとして適用することができる。

【0176】

図２１は、本発明の実施形態に係る固体撮像装置が適用されるカメラシステムを搭載した電子機器の構成の一例を示す図である。

【0177】

本電子機器１００は、図２１に示すように、本実施形態に係る固体撮像装置１０が適用可能なＣＭＯＳイメージセンサ１１０を有する。
さらに、電子機器１００は、このＣＭＯＳイメージセンサ１１０の画素領域に入射光を導く（被写体像を結像する）光学系（レンズ等）１２０を有する。
電子機器１００は、ＣＭＯＳイメージセンサ１１０の出力信号を処理する信号処理回路(ＰＲＣ)１３０を有する。

【0178】

信号処理回路１３０は、ＣＭＯＳイメージセンサ１１０の出力信号に対して所定の信号処理を施す。
信号処理回路１３０で処理された画像信号は、液晶ディスプレイ等からなるモニタに動画として映し出し、あるいはプリンタに出力することも可能であり、またメモリカード等の記録媒体に直接記録する等、種々の態様が可能である。

【0179】

上述したように、ＣＭＯＳイメージセンサ１１０として、前述した固体撮像装置１０を搭載することで、高性能、小型、低コストのカメラシステムを提供することが可能となる。
そして、カメラの設置の要件に実装サイズ、接続可能ケーブル本数、ケーブル長さ、設置高さなどの制約がある用途に使われる、たとえば、監視用カメラ、医療用内視鏡用カメラなどの電子機器を実現することができる。

【符号の説明】

【0180】

１０・・・固体撮像装置、２０・・・レジスタコントローラ、３０・・・タイミングコントローラ、４０・・・ピクセル(画素)アレイ部、５０・・・アナログゲイン部、６０・・・アナログデジタルコンバータ(ADC)、７０・・・デジタルシグナルプロセッサ(DSP)、７１０，７１０Ａ・・・信号処理部、７１１・・・合成情報判別部、７１２，７１３・・・乗算器、７１４，７１４Ａ・・・合成処理部、７１５・・・乱数発生部、８０・・・スケーラブル低電圧信号伝送(SLVS)インタフェース部、９０・・・クロックジェネレータ、１００・・・電子機器、１１０・・・ＣＭＯＳイメージセンサ、１２０・・・光学系、１３０・・・信号処理回路（ＰＲＣ）。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】