特許 7614742 光電変換装置、光電変換システム、移動体及び信号処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-07

(45)【発行日】2025-01-16

(54)【発明の名称】光電変換装置、光電変換システム、移動体及び信号処理方法

(51)【国際特許分類】

   H04N 25/46 20230101AFI20250108BHJP

   H04N 25/76 20230101ALI20250108BHJP

   H04N 25/704 20230101ALI20250108BHJP

【ＦＩ】

H04N25/46

H04N25/76

H04N25/704

【請求項の数】 13

(21)【出願番号】P 2020093404

(22)【出願日】2020-05-28

(65)【公開番号】P2021190798

(43)【公開日】2021-12-13

【審査請求日】2023-05-24

【前置審査】

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100094112

【弁理士】

【氏名又は名称】岡部 讓

(74)【代理人】

【識別番号】100101498

【弁理士】

【氏名又は名称】越智 隆夫

(74)【代理人】

【識別番号】100106183

【弁理士】

【氏名又は名称】吉澤 弘司

(74)【代理人】

【識別番号】100136799

【弁理士】

【氏名又は名称】本田 亜希

(72)【発明者】

【氏名】小林 大祐

【審査官】▲うし▼田 真悟

(56)【参考文献】

【文献】特開２０１６－２０８１３９（ＪＰ，Ａ）

【文献】特開２０１５－１４２３６４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２５／００－２５／７９

Ｈ０４Ｎ ２３／４０－２３／７６

Ｇ０２Ｂ ７／２８－ ７／４０

(57)【特許請求の範囲】

【請求項1】

１つのマイクロレンズと複数の光電変換素子とを含む光電変換ユニットと、
複数の光電変換素子のうちの一の光電変換素子が蓄積した電荷に基づく第１の信号と、複数の光電変換素子のうちの他の一の光電変換素子が蓄積した電荷に基づく第２の信号とを読み出す読み出し回路部と、
前記第１の信号及び前記第２の信号の少なくとも１つの信号に対して飽和レベルであることを示す情報を含む判定結果に応じて、前記第１の信号と前記第２の信号を加算して得られる第３の信号を出力するか、又は前記第３の信号を、前記第３の信号とは別の信号であって、前記第１の信号と前記第２の信号を加算した信号の飽和レベルに相当する第４の信号に置換して出力する信号処理部と
を有することを特徴とする光電変換装置。

【請求項2】

前記信号処理部は、前記判定結果が、前記第１の信号又は前記第２の信号が飽和レベルであることを示す場合に、前記第４の信号を出力する
ことを特徴とする請求項１に記載の光電変換装置。

【請求項3】

前記第４の信号は、前記第１の信号の飽和レベルと、前記第２の信号の飽和レベルとを加算して得られるレベルの信号である
ことを特徴とする請求項１又は２に記載の光電変換装置。

【請求項4】

前記読み出し回路部は、ＡＤ変換器を有し、
前記第１の信号及び前記第２の信号は前記ＡＤ変換器から出力されたデジタル信号であり、
前記飽和レベルは、前記デジタル信号の上限値である
ことを特徴とする請求項２又は３に記載の光電変換装置。

【請求項5】

複数の前記光電変換ユニットを有する光電変換領域を有し、
前記信号処理部は、前記複数の光電変換ユニットのうちの第１の光電変換ユニットから読み出された前記第１の信号及び前記第２の信号の少なくとも１つに基づく判定結果に応じて、前記複数の光電変換ユニットのうちの第２の光電変換ユニットに対応する前記第３の信号又は前記第４の信号を出力する
ことを特徴とする請求項１乃至４のいずれか１項に記載の光電変換装置。

【請求項6】

前記光電変換領域は、前記複数の光電変換ユニットの各々に対応して配され、複数の色のうちの１つの色を有するカラーフィルタを更に有し、
前記第１の光電変換ユニットに対応する前記カラーフィルタの色と、前記第２の光電変換ユニットに対応する前記カラーフィルタの色とが互いに異なる
ことを特徴とする請求項５に記載の光電変換装置。

【請求項7】

複数の前記光電変換ユニットと、
前記複数の光電変換ユニットの各々に対応して配され、複数の色のうちの１つの色を有するカラーフィルタと、
を有する光電変換領域を有し、
前記飽和レベルは、前記カラーフィルタの色に応じて異なる
ことを特徴とする請求項２乃至４のいずれか１項に記載の光電変換装置。

【請求項8】

前記判定結果は、前記第１の信号と前記第２の信号の差に関する第２情報をさらに含み、前記信号処理部は、前記情報および前記第２情報に応じて前記第３の信号又は前記第４の信号を出力する
ことを特徴とする請求項１乃至７のいずれか１項に記載の光電変換装置。

【請求項9】

前記信号処理部は、前記判定結果が、前記第１の信号が飽和レベルであり、かつ、前記第１の信号と前記第２の信号の差の絶対値が所定の閾値よりも小さいことを示す場合に、前記第４の信号を出力する
ことを特徴とする請求項８に記載の光電変換装置。

【請求項10】

前記信号処理部は、前記判定結果が、前記第１の信号が飽和レベルであり、かつ、前記第２の信号が所定の閾値以上であることを示す場合に、前記第４の信号を出力する
ことを特徴とする請求項８に記載の光電変換装置。

【請求項11】

移動体であって、
請求項１乃至１０のいずれか１項に記載の光電変換装置と、
前記光電変換装置からの信号に基づく視差画像から、対象物までの距離情報を取得する距離情報取得手段と、
前記距離情報に基づいて前記移動体を制御する制御手段と
を有することを特徴とする移動体。

【請求項12】

１つのマイクロレンズと複数の光電変換素子とを含む光電変換ユニットと、複数の光電変換素子のうちの一の光電変換素子が蓄積した電荷に基づく第１の信号と、複数の光電変換素子のうちの他の一の光電変換素子が蓄積した電荷に基づく第２の信号とを読み出す読み出し回路部と、を有する光電変換装置と、
前記第１の信号及び前記第２の信号の少なくとも１つの信号に対して飽和レベルであることを示す情報を含む判定結果に応じて、前記第１の信号と前記第２の信号を加算して得られる第３の信号を出力するか、又は前記第３の信号を、前記第３の信号とは別の信号であって、前記第１の信号と前記第２の信号を加算した信号の飽和レベルに相当する第４の信号に置換して出力する信号処理部と
を有することを特徴とする光電変換システム。

【請求項13】

１つのマイクロレンズと複数の光電変換素子とを含む光電変換ユニットから出力される信号を処理する信号処理方法であって、
複数の光電変換素子のうちの一の光電変換素子が蓄積した電荷に基づく第１の信号と、複数の光電変換素子のうちの他の一の光電変換素子が蓄積した電荷に基づく第２の信号とを読み出すステップと、
前記第１の信号及び前記第２の信号の少なくとも１つの信号に対して飽和レベルであることを示す情報を含む判定結果に応じて、前記第１の信号と前記第２の信号を加算して得られる第３の信号を出力するか、又は前記第３の信号を、前記第３の信号とは別の信号であって、前記第１の信号と前記第２の信号を加算した信号の飽和レベルに相当する第４の信号に置換して出力するステップと
を有することを特徴とする信号処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、光電変換装置、光電変換システム、移動体及び信号処理方法に関する。

【背景技術】

【0002】

光電変換装置において、複数の光電変換素子により生成された信号を１つの画素信号として処理する場合がある。特許文献１には、その際に用いられる技術として、複数の光電変換素子間のポテンシャルバリアを下げることによって、複数の光電変換素子間に感度又は入射光量の差がある場合にも適切な信号を得られるようにすることが記載されている。

【0003】

特許文献１のような技術において、複数の光電変換素子の各々から出力される信号の品質が飽和により低下する場合がある。特許文献２には、信号の飽和による信号品質の低下を軽減し得る技術が開示されている。特許文献２では、一方の光電変換素子に基づく第１の信号の飽和時に、他方の光電変換素子に基づく第２の信号を補正して得られた第３の信号によって第１の信号を置き換えることで、これを実現している。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１３－１４９７４３号公報

【文献】特開２０１６－２０８１３９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献２に記載されている技術において、第２の信号の補正処理をするためには、補正用のデータを多く準備する必要がある。したがって、特許文献２とは別の手法により信号の飽和による信号品質への影響を低減することが求められる場合もあった。

【0006】

本発明の目的は、信号の飽和による信号品質への影響を低減し得る光電変換装置、光電変換システム、移動体及び信号処理方法を提供することにある。

【課題を解決するための手段】

【0007】

本発明の一観点によれば、１つのマイクロレンズと複数の光電変換素子とを含む光電変換ユニットと、複数の光電変換素子のうちの一の光電変換素子が蓄積した電荷に基づく第１の信号と、複数の光電変換素子のうちの他の一の光電変換素子が蓄積した電荷に基づく第２の信号とを読み出す読み出し回路部と、前記第１の信号及び前記第２の信号の少なくとも１つの信号に対して飽和レベルであることを示す情報を含む判定結果に応じて、前記第１の信号と前記第２の信号を加算して得られる第３の信号を出力するか、又は前記第３の信号を、前記第３の信号とは別の信号であって、前記第１の信号と前記第２の信号を加算した信号の飽和レベルに相当する第４の信号に置換して出力する信号処理部とを有することを特徴とする光電変換装置が提供される。

【0008】

本発明の他の一観点によれば、１つのマイクロレンズと複数の光電変換素子とを含む光電変換ユニットと、複数の光電変換素子のうちの一の光電変換素子が蓄積した電荷に基づく第１の信号と、複数の光電変換素子のうちの他の一の光電変換素子が蓄積した電荷に基づく第２の信号とを読み出す読み出し回路部と、を有する光電変換装置と、前記第１の信号及び前記第２の信号の少なくとも１つの信号に対して飽和レベルであることを示す情報を含む判定結果に応じて、前記第１の信号と前記第２の信号を加算して得られる第３の信号を出力するか、又は前記第３の信号を、前記第３の信号とは別の信号であって、前記第１の信号と前記第２の信号を加算した信号の飽和レベルに相当する第４の信号に置換して出力する信号処理部とを有することを特徴とする光電変換システムが提供される。

【0009】

本発明の他の一観点によれば、１つのマイクロレンズと複数の光電変換素子とを含む光電変換ユニットから出力される信号を処理する信号処理方法であって、複数の光電変換素子のうちの一の光電変換素子が蓄積した電荷に基づく第１の信号と、複数の光電変換素子のうちの他の一の光電変換素子が蓄積した電荷に基づく第２の信号とを読み出すステップと、前記第１の信号及び前記第２の信号の少なくとも１つの信号に対して飽和レベルであることを示す情報を含む判定結果に応じて、前記第１の信号と前記第２の信号を加算して得られる第３の信号を出力するか、又は前記第３の信号を、前記第３の信号とは別の信号であって、前記第１の信号と前記第２の信号を加算した信号の飽和レベルに相当する第４の信号に置換して出力するステップとを有することを特徴とする信号処理方法が提供される。

【発明の効果】

【0010】

本発明によれば、信号の飽和による信号品質への影響を低減し得る光電変換装置、光電変換システム、移動体及び信号処理方法を提供することができる。

【図面の簡単な説明】

【0011】

【図1】本発明の第１実施形態による固体撮像装置の構成例を示す概略図である。

【図2】本発明の第１実施形態によるデジタルシグナルプロセッサの構成例を示す概略図である。

【図3】本発明の第１実施形態による固体撮像装置を含む撮像ユニットの一例を示す概略断面図である。

【図4】本発明の第１実施形態による信号処理を実施する前の入出力特性の一例を示すグラフである。

【図5】本発明の第１実施形態による固体撮像装置における信号処理方法を示すフローチャートである。

【図6】本発明の第１実施形態による信号処理を実施した後の入出力特性の一例を示すグラフである。

【図7】本発明の第１実施形態による固体撮像装置の他の構成例を示す概略図である。

【図8】本発明の第１実施形態による固体撮像装置の更に他の構成例を示す概略図である。

【図9】本発明の第２実施形態による固体撮像装置における信号処理方法を示すフローチャートである。

【図10】本発明の第２実施形態による固体撮像装置における信号処理方法により取得した入出力特性の一例を示すグラフである。

【図11】本発明の第３実施形態による固体撮像装置における信号処理方法を示すフローチャートである。

【図12】本発明の第３実施形態による固体撮像装置における信号処理方法により取得した入出力特性の一例を示すグラフである。

【図13】本発明の第４実施形態による撮像システムの構成例を示すブロック図である。

【図14】本発明の第５実施形態による撮像システム及び移動体の構成例を示す図である。

【発明を実施するための形態】

【0012】

［第１実施形態］
以下、図面を参照しつつ、本発明の実施形態を説明する。まず、本発明の第１実施形態による固体撮像装置及び信号処理方法について、図１乃至図８を用いて説明する。本実施形態においては、本発明が適用され得る光電変換装置の一種である固体撮像装置の例を説明するが、これに限定されるものではない。本発明が適用され得る光電変換装置としては、固体撮像装置、焦点検出装置、測距装置、ＴＯＦ（Ｔｉｍｅ－Ｏｆ－Ｆｌｉｇｈｔ）カメラ等が例示され得る。

【0013】

図１は、本実施形態による固体撮像装置の構成例を示す概略図である。図２は、本実施形態によるデジタルシグナルプロセッサの構成例を示す概略図である。図３は、本実施形態による固体撮像装置を含む撮像ユニットの一例を示す概略断面図である。図４は、本実施形態による信号処理を実施する前の入出力特性の一例を示すグラフである。図５は、本実施形態による固体撮像装置における信号処理方法を示すフローチャートである。図６は、本実施形態による信号処理を実施した後の入出力特性の一例を示すグラフである。図７は、本実施形態による固体撮像装置の他の構成例を示す概略図である。図８は、本実施形態による固体撮像装置の更に他の構成例を示す概略図である。

【0014】

はじめに、本実施形態による固体撮像装置の構造について、図１乃至図３を用いて説明する。本実施形態の固体撮像装置、例えばＣＭＯＳイメージセンサは、図１に示すように、複数の光電変換ユニット１０３が行方向及び列方向に沿って２次元アレイ状に配列された撮像領域１００（光電変換領域）を有している。撮像領域１００は、特に限定されるものではないが、例えば１０８０行×１９２０列の光電変換ユニット１０３のアレイを含むことができる。なお、図１には、これらのうち、４行×４列の光電変換ユニット１０３のアレイを抜き出して示している。

【0015】

それぞれの光電変換ユニット１０３は、２つの光電変換素子１０１、１０２と、１つのマイクロレンズ１０４と、不図示のカラーフィルタとを含む。各光電変換ユニット１０３において、マイクロレンズ１０４を通過した光は、複数の色のうちの１つの色を有するカラーフィルタを通過し、光電変換素子１０１及び光電変換素子１０２により検出される。このような構造にすることによって、光電変換素子１０１から得られた信号と光電変換素子１０２から得られた信号とを用いて位相差方式の焦点検出を行うことができる。また、光電変換素子１０１から得られた信号と光電変換素子１０２から得られた信号とを加算することにより、撮像画像を形成する画素用の信号データを得ることができる。

【0016】

図１の光電変換素子１０１、１０２内に示している符号ａ、ｂは、それぞれ、左右に瞳分割して得られた色信号であるＡ信号とＢ信号とを意図している。すなわち、光電変換素子１０１がＡ信号を取得するための光電変換素子であり、光電変換素子１０２がＢ信号を取得するための光電変換素子である。また、符号Ｒ、Ｇ、Ｂは、カラーフィルタの色を表しており、Ｒは赤フィルタ、Ｇは緑フィルタ、Ｂは青フィルタである。１つの各光電変換ユニット１０３を構成する２つの光電変換素子１０１、１０２には、同じ色のカラーフィルタが割り当てられている。なお、図１には、いわゆるベイヤ配列によりカラーフィルタを配置した例を示しているが、カラーフィルタの配置は、これに限定されるものではない。

【0017】

撮像領域１００には、列方向に延在して、複数の信号出力線１０５が配されている。信号出力線１０５は、各列に２本ずつ配置されている。この２本の信号出力線１０５は、一方が列方向に並ぶ光電変換ユニット１０３の光電変換素子１０１からＡ信号を出力するための信号線であり、他方が列方向に並ぶ光電変換ユニット１０３の光電変換素子１０２からＢ信号を出力するための信号線である。なお、Ａ信号及びＢ信号は、それぞれ、光電変換ユニット１０３内に設けられた不図示の画素内読み出し回路を介して、光電変換素子１０１、１０２から信号出力線１０５へと出力される。

【0018】

それぞれの信号出力線１０５は、増幅率が可変又は固定の列アンプ１０６を介して、ＡＤ変換器（ＡＤＣ）１０７に接続されている。以降の説明では、列アンプ１０６とＡＤ変換器１０７とを総括して「回路部」又は「読み出し回路部」と表記することもある。ＡＤ変換器１０７には、デジタルシグナルプロセッサ（以下、「ＤＳＰ」と表記する）１０８が接続されている。ＡＤ変換器１０７は、列アンプ１０６から入力されたアナログ信号をデジタル信号に変換してＤＳＰ１０８に出力する。

【0019】

図２は、本実施形態に係るＤＳＰ１０８の構成例である。ＤＳＰ１０８は、光電変換ユニット１０３の列に対応して配された処理ユニット１０８－１、１０８－２、１０８－３、…を有している信号処理部である。処理ユニット１０８－１は、着目する１列の光電変換ユニット１０３に対応するブロックである。処理ユニット１０８－２、３は、処理ユニット１０８－１に対応する光電変換ユニット１０３に隣接する列の光電変換ユニット１０３に対応するブロックである。以下では、主として処理ユニット１０８－１について説明するが、他の処理ユニットも同様の構成を有している。

【0020】

処理ユニット１０８－１は、２つのゲイン付加部１１０、２つのオフセット付加部１１１、信号判定部１１６及び加算器１２０を有している。ＡＤ変換器１０７から出力された信号は、光電変換素子１０１に対応する出力線１０７－１又は光電変換素子１０２に対応する出力線１０７－２を介して処理ユニット１０８－１に入力される。

【0021】

出力線１０７－１から入力された信号は、第１のゲイン付加部１１０、第１のオフセット付加部１１１及び配線１１７を介して加算器１２０に入力される。出力線１０７－２から入力された信号は、第２のゲイン付加部１１０、第２のオフセット付加部１１１及び配線１１８を介して加算器１２０に入力される。

【0022】

また、出力線１０７－１、１０７－２から入力された信号は、信号判定部１１６にも入力される。信号判定部１１６は、配線１１２、１１３、１１４、１１５、１１９を介して２つのゲイン付加部１１０、２つのオフセット付加部１１１及び加算器１２０を制御する。

【0023】

ゲイン付加部１１０は、入力された信号に対して信号判定部１１６からの制御に応じたゲインを付加して出力する。オフセット付加部１１１は、入力された信号に対して信号判定部１１６からの制御に応じたオフセットを付加して出力する。ゲイン付加部１１０及びオフセット付加部１１１は、これらの信号処理を行うことにより、ＡＤ変換器１０７から出力された信号に対し線形性の補正及びオフセットの補正を行うことができる。

【0024】

加算器１２０は、入力された信号を加算することにより、撮像画像を形成する画素用の信号データを生成し、共通の出力線１３０に出力する機能を有している。また、加算器１２０は、入力された信号を所定の電圧を示す信号に置換する機能を更に有している。出力線１３０から出力された信号データは、不図示の出力回路を介して固体撮像装置の外部に出力される。また、加算器１２０での処理に用いられた信号レベル、判定結果等の情報は、配線１２１、１２２を介して他の処理ユニット１０８－２、１０８－３の加算器に供給され得る。

【0025】

信号判定部１１６は、光電変換素子１０１、１０２に対応する信号の各々について、信号レベルに基づいて飽和を判定する機能を有する。信号判定部１１６は、信号レベル又は飽和の判定結果に基づいて、配線１１２、１１３、１１４、１１５、１１９を介して２つのゲイン付加部１１０、２つのオフセット付加部１１１及び加算器１２０を制御する。

【0026】

なお、処理ユニット１０８－１の構成、処理ユニット１０８－１で行われる信号処理等は、本実施形態で説明したものに限定されるものではない。また、図１及び図２では、出力線１０７－１、１０７－２、配線１１７、１１８及び出力線１３０の各々は、１本の配線で示されているが、信号の伝送形式によっては、複数の配線である場合もある。

【0027】

図３は、本実施形態の固体撮像装置２０１を含む撮像ユニットを示す概略断面図である。撮影レンズの射出瞳２０２を通過した光は、射出瞳距離２０８を隔てて配置された固体撮像装置２０１に入射する。固体撮像装置２０１は、前述のように、２つの光電変換素子２０３、２０４を含む光電変換ユニット２０５と、マイクロレンズ２０６とを有する。なお、説明の便宜上、図３では図１と同一の構成要素に対して別の符号を付している。図３における２つの光電変換素子２０３、２０４は、図１の光電変換素子１０１、１０２に対応し、光電変換ユニット２０５は、図１における光電変換ユニット１０３に対応する。また、マイクロレンズ２０６は、図１におけるマイクロレンズ１０４に対応する。以降の説明についても同様である。なお、以下の説明において、光電変換ユニット２０５－１等のように符号に枝番を付して複数の光電変換ユニット２０５のうちの１つを指す場合がある。

【0028】

通常、撮影レンズの射出瞳２０２のサイズはミリメートルオーダーであるのに対し、光電変換ユニット２０５のサイズはマイクロメートルオーダーである。実際の比率で図示すると説明に支障があるので、固体撮像装置２０１の構成要素に関しては、一部を抜き出し拡大して示すものとする。すなわち、図３において、光電変換ユニット２０５－３は像高０の中央部、光電変換ユニット２０５－１、２０５－５は左右像高が高い位置、光電変換ユニット２０５－２、２０５－４は左右像高が中程度の位置における光電変換ユニット２０５の拡大図である。撮影レンズの射出瞳２０２は、マイクロレンズ２０６によって光電変換ユニット２０５の表面に射出瞳像２０７を形成する。像高の高い位置において、射出瞳距離２０８とマイクロレンズ２０６のピッチが特定の条件を満たしている場合を除き、射出瞳像２０７の中心と光電変換ユニット２０５の中心とは一致しない。このため、１つの光電変換ユニット２０５に含まれる２つの光電変換素子２０３、２０４の間において、入射光量差、すなわち感度差が発生する。なお、特定の条件とは、射出瞳像２０７の中心と光電変換ユニット２０５の中心とが一致するときの、射出瞳距離２０８とマイクロレンズ２０６のピッチとの関係である。

【0029】

図３において、光電変換素子２０３、２０４に示した網掛け部分の面積が、各光電変換素子２０３、２０４に蓄積された信号電荷の量によって決まる感度に対応している。この図では、上述の特定の条件を満たす場合よりも像高方向（ここでは水平方向）に見たマイクロレンズ２０６のピッチに対する射出瞳距離２０８が短いときの、像高に応じて光電変換素子間の感度差が変化する様子を概念的に示している。なお、射出瞳像２０７の中心位置が変化する要因として、撮像レンズの射出瞳距離２０８と水平像高２０９とがあり、射出瞳像２０７の径が変化する要因として、撮像レンズの瞳径２１０がある。射出瞳像２０７の中心位置と径とによって、光電変換素子２０３と光電変換素子２０４との間の感度差の量が決まる。

【0030】

前述の通り、撮像画像を形成する画素用の信号データは、光電変換素子２０３からの信号データと光電変換素子２０４からの信号データとを加算することによって得られる。光電変換素子２０３と光電変換素子２０４との間に感度差が存在すると、撮像条件によっては一方の光電変換素子の信号が他方の光電変換素子の信号よりも大幅に大きくなり、当該一方の光電変換素子からの信号データのみが飽和することがある。一方の光電変換素子からの信号データに飽和が生じると、撮像画像の明部において入出力特性の線形性が低下し、色ずれ等の画質低下を引き起こすことになる。

【0031】

図４は、相対的に感度の高い光電変換素子２０３の入出力特性３０１、相対的に感度の低い光電変換素子２０４の入出力特性３０２、及び入出力特性３０１、３０２を合成した入出力特性３０３の一例を示すグラフである。横軸が入力光量を示し、縦軸がＡＤ変換後のデジタルデータの信号レベルを示している。

【0032】

図４の例において、入力光量がある一定の入力光量Ｉａを超えると、光電変換素子２０３からの出力信号は、回路部で飽和する。回路部で飽和したときの信号レベルが、信号レベルＶ１である。光電変換素子２０４からの出力信号は、入力光量Ｉａよりも大きい入力光量Ｉｃを越えると、回路部で飽和する。このような場合、入出力特性３０１、３０２を合成した入出力特性３０３は、図４に示すように、入力光量Ｉａ以上において傾きが小さくなり、線形性が低下する。なお、入出力特性３０３は、入力光量Ｉｃ以上において、光電変換素子２０３からの出力信号の回路飽和を示す信号レベルＶ１と、光電変換素子２０４からの出力信号の回路飽和を示す信号レベルＶ１とを加算した信号レベルＶ２（＝２×Ｖ１）となる。

【0033】

回路部での飽和としては、一例としてＡＤ飽和が挙げられる。ＡＤ飽和とは、出力信号がデジタル信号の上限値に達していることを意味する。デジタル信号の上限値は、通常、ｎビットであれば２^ｎ－１の信号レベルに相当する。回路部で飽和が生じる信号レベルは、回路部の構成に応じて決定される所定の信号レベルである。なお、以後の説明では、簡略化のために回路部での飽和を「ＡＤ飽和」と表記することもあるが、この表記は回路部での飽和がＡＤ飽和に限定されることを意図するものではない。アナログ信号の場合にも、回路のダイナミックレンジの上限値において電圧飽和することがある。本発明において、回路部での飽和は、ＡＤ飽和のみならずアナログ信号の電圧飽和をも含むものである。

【0034】

このように、一方の光電変換素子からの出力データにＡＤ飽和が生じると、２つの光電変換素子２０３、２０４からの出力データを加算した画像データの線形性が低下する。本実施形態による信号処理方法は、一方の光電変換素子の出力データがＡＤ飽和することにより生じる画像データの線形性低下による画質への影響を低減するものである。

【0035】

次に、本実施形態による信号処理方法について、図５及び図６を用いて説明する。図５は、本実施形態による信号処理方法を示すフローチャートである。図中、信号ＯＵＴ１（第１の信号）は、光電変換ユニット２０５を構成する第１の光電変換素子２０３からＡＤ変換器１０７を経てＤＳＰ１０８に入力されるデジタル信号を表すものとする。また、信号ＯＵＴ２（第２の信号）は、光電変換ユニット２０５を構成する第２の光電変換素子２０４からＡＤ変換器１０７を経てＤＳＰ１０８に入力されるデジタル信号を表すものとする。

【0036】

ステップＳ１１において、信号判定部１１６は、信号ＯＵＴ１又は信号ＯＵＴ２がＡＤ飽和しているか否かを判定する。この判定処理は、例えば、信号ＯＵＴ１又は信号ＯＵＴ２の値がデジタル信号の上限値（飽和レベル）に達しているか否かを判定するものであってもよく、信号ＯＵＴ１又は信号ＯＵＴ２の値が所定の判定閾値を超えているか否かを判定するものであってもよい。信号判定部１１６は、判定結果に基づいて加算器１２０を制御する。

【0037】

ステップＳ１１において信号ＯＵＴ１又は信号ＯＵＴ２がＡＤ飽和していると判定された場合（ステップＳ１１におけるＹＥＳ）、処理はステップＳ１２に移行する。ステップＳ１１において信号ＯＵＴ１及び信号ＯＵＴ２がいずれもＡＤ飽和していないと判定された場合（ステップＳ１１におけるＮＯ）、処理はステップＳ１３に移行する。

【0038】

ステップＳ１３において、加算器１２０は、信号ＯＵＴ１が示す信号レベルと信号ＯＵＴ２が示す信号レベルとを加算した信号ＯＵＴ１＋ＯＵＴ２（第３の信号）を出力する。これにより、信号ＯＵＴ１＋ＯＵＴ２は出力線１３０を介して外部に出力される。

【0039】

ステップＳ１２において、加算器１２０は、信号ＯＵＴ１＋ＯＵＴ２を信号レベルがＶ２であることを示す信号（第４の信号）に置換して出力する。この信号は出力線１３０を介して外部に出力される。信号レベルＶ２は、図４に示されているように、信号ＯＵＴ１＋ＯＵＴ２の飽和時のレベルである。すなわち、信号レベルＶ２は、信号ＯＵＴ１の飽和レベルと信号ＯＵＴ２の飽和レベルとを加算して得られるレベルに相当する。

【0040】

なお、信号判定部１１６は、判定結果に基づいてゲイン付加部１１０及びオフセット付加部１１１を更に制御してもよい。これにより、判定結果に応じてゲイン付加部１１０及びオフセット付加部１１１での補正処理を調整することができる。

【0041】

図６は、図４の入出力特性に対して本実施形態の信号処理方法を実施した後の入出力特性を示すグラフである。図６に示す入出力特性において、光電変換素子２０３からの出力がＡＤ飽和する入力光量Ｉａ未満では、合成後の入出力特性４０１は、図４に示す入出力特性３０３と同等である。しかしながら、入力光量Ｉａ以上、又は信号レベルＶ３以上では、入出力特性４０１は飽和時の信号レベルＶ２となる。

【0042】

図４に示す入出力特性３０３では、入力光量Ｉａ以上の光量において、線形性が低下する。加算後の入出力特性の線形性の低下が生じると、光量が大きい被写体、又は信号レベルの値が大きい被写体の撮像時において、暗部から明部の切り替わり具合が実際と異なる撮像画像が得られる場合がある。本実施形態の構成では、図６に示すように入力光量Ｉａ以上で信号レベルをＶ２とすることにより、線形性が低下する領域の出力特性が撮像画像に影響しにくくすることができるため、入出力特性の線形性低下の影響が低減される。

【0043】

したがって、本実施形態によれば、信号の飽和による信号品質への影響を低減し得る光電変換装置が提供される。

【0044】

また、図４に示す入出力特性３０３においては、加算後の撮像画像に色ずれが生じる場合がある。これは、図１のように複数の色のカラーフィルタを配置した固体撮像装置において発生し得る。通常、カラーフィルタは、色ごとに透過率が異なるように設計される。通常の被写体においては、各色の感度は、Ｇ＞Ｒ＞Ｂの関係になる。このため、同一光量で比較すると、Ｇのカラーフィルタが配置される光電変換ユニット１０３の信号レベルが、他のＲ、Ｂのカラーフィルタが配置される光電変換ユニット１０３の信号レベルに比して相対的に大きくなる。したがって、入出力特性３０３の線形性が低下し始める入力光量Ｉａは、通常の被写体においては、Ｇのカラーフィルタが配置される光電変換ユニット１０３において最も小さくなる。

【0045】

一般的な画像処理は、Ｒ、Ｇ及びＢの感度の比率及び線形性が所定の光量範囲内で一定であることを前提としている。そのため、ある光量でＧのみの線形性が低下すると、Ｇの感度とＲ又はＢとの感度の比率が崩れ、撮像画像の画像処理後の色が被写体の実際の色からずれる場合がある。例えば白色の被写体において、Ｇの線形性が低下して相対的にＲ及びＢの感度が大きくなると、実際は白色である被写体の色がマゼンタに近づいて見えるような色ずれが生じることがある。

【0046】

本実施形態では、図２の処理ユニット１０８－２、１０８－３の加算器は、配線１２１、１２２により処理ユニット１０８－１の加算器１２０と接続されている。これにより、加算器１２０での処理に用いられた信号レベル、判定結果等の情報が相互に共有され得る。この共有された情報に基づいて、処理ユニット１０８－１と、隣接列の処理ユニット１０８－２、１０８－３とが連動して同じ内容の信号処理を行ってもよい。

【0047】

例えば、処理ユニット１０８－１の信号判定部１１６での判定結果に基づいて、図５のステップＳ１２の処理、すなわち、Ｖ２を出力する処理がなされたとする。このとき、処理ユニット１０８－２、１０８－３の加算器１２０は、入力された信号ＯＵＴ１、ＯＵＴ２の信号レベルに関わらず処理ユニット１０８－１と同様にＶ２を出力する処理を行ってもよい。また、処理ユニット１０８－１でのＶ２を出力する処理と同様の出力が処理ユニット１０８－２、１０８－３でも得られるように、処理ユニット１０８－２、１０８－３のゲイン付加部１１０及びオフセット付加部１１１により補正処理を行ってもよい。これらの例では、ある列の第１の光電変換ユニット１０３から読み出された画素信号が信号レベルＶ２に置換された際に、隣接する列の第２の光電変換ユニット１０３から読み出された画素信号に対しても信号レベルがＶ２に置換又は補正処理される。これにより、ある色の画素信号と隣接列の他の色の画素信号とが連動してＶ２に置換又は補正処理されるため、色ずれを低減することができる。

【0048】

また、色ごとに飽和の判定閾値を異ならせてもよい。例えば、Ｒ、Ｇ、Ｂの感度差による出力の比率に応じて判定閾値を異ならせることにより、各色の信号レベルがＶ２に置換される光量を近づけることができる。これにより、色ずれの影響を低減することができる。

【0049】

本実施形態では、信号ＯＵＴ１＋ＯＵＴ２を、光電変換素子２０３からの出力信号の回路飽和を示す信号レベルＶ１と、光電変換素子２０４からの出力信号の回路飽和を示す信号レベルＶ１とを加算した信号レベルＶ２に置換又は補正処理する例を説明した。他の例として、光電変換素子２０３、２０４で飽和レベルが異なる場合には、光電変換素子２０３、２０４の回路飽和レベルを示す信号レベルを加算した信号レベルとすればよい。また、本実施形態の置換又は補正処理は、必ずしも光電変換素子２０３、２０４の回路飽和レベルを加算した信号レベルに一致させる必要は無い。つまり、信号ＯＵＴ１＋ＯＵＴ２を、実質的に飽和レベルと言える範囲の信号レベルに置換又は補正する処理も、本実施形態の範疇に含まれる。

【0050】

なお、図１では、Ｒ、Ｇ、Ｂの３色のカラーフィルタを含む一般的なベイヤ配列を例示したがこれに限定されるものではなく、これ以外の配列であってもよく、カラーフィルタの種類がこれと異なっていてもよい。

【0051】

図７は、第１実施形態による固体撮像装置の他の構成例を示す概略図である。図７に示されているように、一部の光電変換ユニット１０３において、緑色のカラーフィルタ（Ｇ）の代わりに、赤外線を透過し、可視光を遮断する赤外フィルタ（図７におけるＩｒ）が配されていてもよい。

【0052】

図８は、第１実施形態による固体撮像装置の他の構成例を示す概略図である。図８に示されているように、一部の光電変換ユニット１０３において、緑色のカラーフィルタ（Ｇ）の代わりに、Ｒ、Ｇ、Ｂの３色の光をいずれも透過する白フィルタ（図８におけるＷ）が配されていてもよい。

【0053】

［第２実施形態］
本発明の第２実施形態による固体撮像装置及び信号処理方法について、図９及び図１０を用いて説明する。図１乃至図８に示す第１実施形態による固体撮像装置及び信号処理方法と同様の構成要素には同一の符号を付し説明を省略し或いは簡潔にする。

【0054】

図９は、本実施形態による固体撮像装置における信号処理方法を示すフローチャートである。図１０は、本実施形態による固体撮像装置における信号処理方法により取得した入出力特性の一例を示すグラフである。

【0055】

第１実施形態では、一方の光電変換素子からの出力がＡＤ飽和と判定された場合に、撮像画像を形成する画素用の信号データのレベルを飽和レベルに置換する処理を行う信号処理方法を説明した。しかしながら、撮像装置の光学系又は被写体によっては、２つの光電変換素子で生成される電荷量の差が大きい場合がある。２つの光電変換素子で生成される電荷量の差が大きい場合、第１実施形態で説明した信号レベルＶ３が低くなる。これは、光電変換素子２０３と光電変換素子２０４の感度差が大きい場合、図６における入出力特性３０２の入力光量Ｉａが低くなるためである。このような理由により、加算後の入出力特性４０１の出力レンジが小さくなることがある。本実施形態の固体撮像装置は、信号処理方法を第１実施形態に対して変更することにより、置換処理が出力レンジに与える影響を低減するものである。

【0056】

図９を参照して本実施形態による信号処理方法を説明する。ステップＳ１１において、信号判定部１１６は、第１実施形態と同様の判定処理を行う。ステップＳ１１において信号ＯＵＴ１又は信号ＯＵＴ２がＡＤ飽和していると判定された場合（ステップＳ１１におけるＹＥＳ）、処理はステップＳ２１に移行する。ステップＳ１１において信号ＯＵＴ１及び信号ＯＵＴ２がいずれもＡＤ飽和していないと判定された場合（ステップＳ１１におけるＮＯ）、処理はステップＳ１３に移行する。ステップＳ１３において、加算器１２０は、信号ＯＵＴ１が示す信号レベルと信号ＯＵＴ２が示す信号レベルとを加算した信号ＯＵＴ１＋ＯＵＴ２を出力する。

【0057】

ステップＳ２１において、信号判定部１１６は、信号ＯＵＴ１が示す信号レベルと信号ＯＵＴ２が示す信号レベルとの差分の絶対値（｜ＯＵＴ１－ＯＵＴ２｜）を計算し、その差分の絶対値と判定閾値である信号レベルＶ４とを比較する。

【0058】

ステップＳ２１において差分の絶対値が信号レベルＶ４未満であると判定された場合（ステップＳ２１におけるＹＥＳ）、処理はステップＳ１２に移行する。ステップＳ１２において、加算器１２０は、信号ＯＵＴ１＋ＯＵＴ２を信号レベルがＶ２であることを示す信号に置換して出力する。

【0059】

ステップＳ２１において差分の絶対値が信号レベルＶ４以上であると判定された場合（ステップＳ２１におけるＮＯ）、処理はステップＳ１３に移行する。ステップＳ１３において、加算器１２０は、信号ＯＵＴ１が示す信号レベルと信号ＯＵＴ２が示す信号レベルとを加算した信号ＯＵＴ１＋ＯＵＴ２を出力する。

【0060】

図１０は、本実施形態の信号処理方法により取得された入出力特性の一例を示すグラフである。図１０における入出力特性４０２、４０３は、図６における入出力特性４０１、３０２にそれぞれ対応している。図１０は、入出力特性４０３に示される光電変換素子２０４の感度が図６の入出力特性３０２に示される光電変換素子２０４の感度よりも大きい場合を示している。すなわち、図１０の入力光量Ｉａにおける入出力特性４０２の信号レベルＶ５は、図６の入力光量Ｉａにおける入出力特性４０１の信号レベルＶ３よりも大きい。

【0061】

本実施形態では、図１０のように信号ＯＵＴ１が示す信号レベルと信号ＯＵＴ２が示す信号レベルとの差分の絶対値が十分に小さい場合にのみ信号ＯＵＴ１＋ＯＵＴ２を置換する処理を行い、図６のように差分の絶対値が大きい場合にはこの置換処理を行わない。すなわち、置換処理に起因する出力レンジの減少量が大きくなり過ぎる場合には、置換処理を行わないようにする判定が行われている。これにより、本実施形態によれば、置換処理が出力レンジに与える影響を低減することができる固体撮像装置が提供される。

【0062】

なお、信号レベルＶ４は、出力レンジの減少量の許容量等の設計制約を考慮して、適宜設定することができる。また、ステップＳ２１の場面においては、信号ＯＵＴ１と信号ＯＵＴ２の一方はステップＳ１１においてＡＤ飽和していると判定済みであるため、ステップＳ２１の処理は、ＡＤ飽和していない他方の信号の絶対値を判定する処理であってもよい。このときの判定処理は、ＡＤ飽和していない他方の信号の絶対値が所定の閾値以上の場合にステップＳ１２に移行し、信号ＯＵＴ１＋ＯＵＴ２を信号レベルがＶ２であることを示す信号に置換するというものであり得る。

【0063】

［第３実施形態］
本発明の第３実施形態による固体撮像装置及び信号処理方法について、図１１及び図１２を用いて説明する。図１乃至図８に示す第１実施形態による固体撮像装置及び信号処理方法と同様の構成要素には同一の符号を付し説明を省略し或いは簡潔にする。

【0064】

図１１は、本実施形態による固体撮像装置における信号処理方法を示すフローチャートである。図１２は、本実施形態による固体撮像装置における信号処理方法により取得した入出力特性の一例を示すグラフである。

【0065】

第１実施形態では、一方の光電変換素子からの出力がＡＤ飽和と判定された場合に、撮像画像を形成する画素用の信号データの入出力特性を処理する信号処理方法を説明した。第１実施形態の信号処理では、加算器１２０が、信号ＯＵＴ１＋ＯＵＴ２を出力するための加算処理と、出力信号を信号レベルＶ２の信号に置換する置換処理とを行い得る。したがって、第１実施形態においては、加算器１２０が２つの信号処理を行う必要があるため、加算器１２０の回路規模が大型化し得る。これにより、ＤＳＰ１０８の回路規模も大型化し得る。本実施形態の固体撮像装置は、信号処理方法を第１実施形態に対して変更することによりＤＳＰ１０８の回路規模を低減するものである。

【0066】

図１１を参照して本実施形態に寄る信号処理方法を説明する。ステップＳ３１において、信号判定部１１６は、信号ＯＵＴ１がＡＤ飽和しているか否かを判定する。ステップＳ３１において信号ＯＵＴ１がＡＤ飽和していると判定された場合（ステップＳ３１におけるＹＥＳ）、処理はステップＳ３２に移行する。ステップＳ３１において信号ＯＵＴ１がＡＤ飽和していないと判定された場合（ステップＳ３１におけるＮＯ）、処理はステップＳ３３に移行する。

【0067】

ステップＳ３２において、ゲイン付加部１１０又はオフセット付加部１１１は、信号ＯＵＴ２を信号レベルがＶ１であることを示す信号に置換して、置換後の信号を加算器１２０に出力する。なお、ステップＳ３１において信号ＯＵＴ１もＡＤ飽和していることから信号ＯＵＴ１の信号レベルもＶ１であるため、加算器１２０に入力される信号ＯＵＴ１及び信号ＯＵＴ２の信号レベルはいずれもＶ１である。

【0068】

ステップＳ３３において、信号判定部１１６は、信号ＯＵＴ２がＡＤ飽和しているか否かを判定する。ステップＳ３３において信号ＯＵＴ２がＡＤ飽和していると判定された場合（ステップＳ３３におけるＹＥＳ）、処理はステップＳ３４に移行する。ステップＳ３３において信号ＯＵＴ２がＡＤ飽和していないと判定された場合（ステップＳ３３におけるＮＯ）、処理はステップＳ１３に移行する。

【0069】

ステップＳ３４において、ゲイン付加部１１０又はオフセット付加部１１１は、信号ＯＵＴ１を信号レベルがＶ１であることを示す信号に置換して、置換後の信号を加算器１２０に出力する。なお、ステップＳ３３において信号ＯＵＴ２もＡＤ飽和していることから信号ＯＵＴ２の信号レベルもＶ１であるため、加算器１２０に入力される信号ＯＵＴ１及び信号ＯＵＴ２の信号レベルはいずれもＶ１である。

【0070】

ステップＳ１３において、加算器１２０は、信号ＯＵＴ１が示す信号レベルと信号ＯＵＴ２が示す信号レベルとを加算した信号ＯＵＴ１＋ＯＵＴ２を出力する。これにより、信号ＯＵＴ１＋ＯＵＴ２は出力線１３０を介して外部に出力される。

【0071】

ここで、ステップＳ３１又はステップＳ３３のいずれかでＹＥＳと判定された場合には、加算器１２０に入力される信号ＯＵＴ１及び信号ＯＵＴ２の信号レベルはいずれもＶ１であるため、加算器１２０の出力は２×Ｖ１、すなわちＶ２である。ステップＳ３１又はステップＳ３３のいずれにおいてもＮＯと判定された場合には、信号ＯＵＴ１と信号ＯＵＴ２はいずれも飽和しておらず、これらが加算された信号ＯＵＴ１＋ＯＵＴ２がそのまま加算器１２０から出力される。したがって、図１１における信号ＯＵＴ１及び信号ＯＵＴ２の飽和の有無と出力信号の関係は第１実施形態の場合と同じ結果となる。

【0072】

図１２は、本実施形態の信号処理方法により取得された入出力特性の一例を示すグラフである。図１２における入出力特性４０４は、図６における入出力特性３０２に対応している。図１２に示されている入出力特性４０４では、入力光量Ｉａ以上において信号レベルがＶ１に置換されている。これにより、入出力特性４０１は、第１実施形態の図６に示すものと同様に、入力光量Ｉａ以上、又は信号レベルＶ３以上で信号レベルＶ２となる。

【0073】

以上のように、本実施形態によれば、第１実施形態と同様に信号の飽和による信号品質への影響を低減し得る光電変換装置が提供される。また、本実施形態では、加算器１２０では信号ＯＵＴ１＋ＯＵＴ２を出力するための加算処理が行われるものの、加算器１２０では、出力信号を信号レベルＶ２の信号に置換する置換処理は行われない。この置換処理の機能は、加算器１２０ではなく、ゲイン付加部１１０又はオフセット付加部１１１において信号ＯＵＴ１又は信号ＯＵＴ２に対して行われているためである。したがって、加算器１２０の回路規模が低減され、これにより、ＤＳＰ１０８の回路規模が低減される。

【0074】

［第４実施形態］
本発明の第４実施形態による撮像システムについて、図１３を用いて説明する。図１３は、本実施形態による撮像システムの概略構成を示すブロック図である。図１３に示す固体撮像装置１０は、上述の第１乃至第３実施形態で述べた固体撮像装置である。すなわち、本実施形態による撮像システム５００は、上述の第１乃至第３実施形態で述べた固体撮像装置（光電変換装置）が適用され得る光電変換システムの一例である。なお、第１乃至第３実施形態においては、ＤＳＰ１０８が固体撮像装置に含まれるものとしていたが、図１３では、ＤＳＰ１０８に対応する信号処理部５０８が固体撮像装置１０と別のブロックとして図示されている。

【0075】

本実施形態による撮像システム５００は、特に限定されるものではないが、例えば、デジタルスチルカメラ、デジタルカムコーダ、カメラヘッド、複写機、ファックス、携帯電話、車載カメラ、観測衛星等に適用可能である。

【0076】

撮像システム５００は、図１３に示すように、固体撮像装置１０、レンズ５０２、絞り５０４、バリア５０６、信号処理部５０８、タイミング発生部５２０、全体制御・演算部５１８を有している。撮像システム５００は、また、メモリ部５１０、記録媒体制御Ｉ／Ｆ部５１６、外部Ｉ／Ｆ部５１２を有している。

【0077】

レンズ５０２は、被写体の光学像を固体撮像装置１０の撮像領域１００に結像するためのものである。絞り５０４は、レンズ５０２を通った光量を可変にするためのものである。バリア５０６は、レンズ５０２の保護のためのものである。固体撮像装置１０は、先の実施形態で説明した固体撮像装置であって、レンズ５０２により結像された光学像に基づく信号を信号処理部５０８に出力するものである。固体撮像装置１０から出力される信号には、光電変換ユニット１０３の光電変換素子１０１から出力されるＡ信号と光電変換素子１０２から出力されるＢ信号とが含まれる。

【0078】

信号処理部５０８は、固体撮像装置１０より出力される信号に対して、所望の処理、補正、データ圧縮等を行うものである。信号処理部５０８には、ＤＳＰ１０８が含まれる。信号処理部５０８により行われる処理には、先の実施形態で説明した信号処理による補正が施された画像データの生成や、Ａ信号及びＢ信号に基づいて被写体までの距離情報を取得する処理などが含まれる。信号処理部５０８は、固体撮像装置１０と同じ基板に搭載されていてもよいし、別の基板に搭載されていてもよい。また、信号処理部５０８の一部の機能が固体撮像装置１０と同じ基板に搭載され、信号処理部５０８の他の一部の機能が別の基板に搭載されていてもよい。また、固体撮像装置１０はデジタル信号ではなく、ＡＤ変換前のアナログ信号を出力するものであってもよい。その場合、信号処理部５０８には、ＡＤ変換器１０７が更に含まれ得る。

【0079】

タイミング発生部５２０は、固体撮像装置１０及び信号処理部５０８に、各種タイミング信号を出力するためのものである。全体制御・演算部５１８は、撮像システム５００の全体の駆動及び演算処理を司る制御部である。ここで、タイミング信号等の制御信号は撮像システム５００の外部から入力されてもよく、撮像システム５００は、少なくとも固体撮像装置１０と、固体撮像装置１０から出力された信号を処理する信号処理部５０８とを有していればよい。

【0080】

メモリ部５１０は、画像データを一時的に記憶するためのフレームメモリ部である。記録媒体制御Ｉ／Ｆ部５１６は、記録媒体５１４への記録或いは記録媒体５１４からの読み出しを行うためのインターフェース部である。外部Ｉ／Ｆ部５１２は、外部コンピュータ等と通信するためのインターフェース部である。記録媒体５１４は、撮像データの記録又は読み出しを行うための半導体メモリ等の着脱可能な記録媒体である。

【0081】

このようにして、第１乃至第３実施形態による固体撮像装置及び信号処理方法を適用した撮像システム５００を構成することにより、ダイナミックレンジの広い高品質の画像を取得し得る高性能の撮像システムを実現することができる。

【0082】

［第５実施形態］
図１４（ａ）及び図１４（ｂ）は、本実施形態による撮像システム６００及び移動体の構成を示す図である。図１４（ａ）は、車載カメラに関する撮像システム６００の一例を示したものである。撮像システム６００は、上述の第１乃至第３実施形態のいずれかに記載の固体撮像装置の一例である固体撮像装置１０を有する。撮像システム６００は、固体撮像装置１０により取得された複数の画像データに対し、画像処理を行う画像処理部６１２と、撮像システム６００により取得された複数の画像データから視差（視差画像の位相差）の算出を行う視差算出部６１４を有する。また、撮像システム６００は、算出された視差に基づいて対象物までの距離を算出する距離計測部６１６と、算出された距離に基づいて衝突可能性があるか否かを判定する衝突判定部６１８と、を有する。ここで、視差算出部６１４及び距離計測部６１６は、対象物までの距離情報を取得する距離情報取得手段の一例である。すなわち、距離情報とは、視差、デフォーカス量、対象物までの距離等に関する情報である。衝突判定部６１８はこれらの距離情報のいずれかを用いて、衝突可能性を判定してもよい。距離情報取得手段は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよい。また、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）等によって実現されてもよいし、これらの組合せによって実現されてもよい。

【0083】

撮像システム６００は、車両情報取得装置６２０と接続されており、車速、ヨーレート、舵角などの車両情報を取得することができる。また、撮像システム６００には、衝突判定部６１８での判定結果に基づいて、車両に対して制動力を発生させる制御信号を出力する制御装置である制御ＥＣＵ６３０が接続されている。すなわち、制御ＥＣＵ６３０は、距離情報に基づいて移動体を制御する移動体制御手段の一例である。また、撮像システム６００は、衝突判定部６１８での判定結果に基づいて、ドライバーへ警報を発する警報装置６４０とも接続されている。例えば、衝突判定部６１８の判定結果として衝突可能性が高い場合、制御ＥＣＵ６３０はブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして衝突を回避、被害を軽減する車両制御を行う。警報装置６４０は、音等の警報を鳴らす、カーナビゲーションシステムなどの画面に警報情報を表示する、シートベルトやステアリングに振動を与える等によりユーザに警告を行う。

【0084】

本実施形態では、車両の周囲、例えば前方又は後方を撮像システム６００で撮像する。図１４（ｂ）に、車両前方（撮像範囲６５０）を撮像する場合の撮像システム６００の構成を示す。車両情報取得装置６２０は、撮像システム６００を動作させ撮像を実行させるように指示を送る。

【0085】

このようにして、第１乃至第３実施形態による固体撮像装置及び信号処理方法を適用した撮像システム６００及び移動体を構成することにより、高品質の画像を取得し得る高性能の撮像システム及び高精度に制御を行い得る移動体を実現することができる。

【0086】

以上の説明では、他の車両と衝突しないように制御する例を述べたが、他の車両に追従して自動運転する制御、車線からはみ出さないように自動運転する制御等にも適用可能である。更に、撮像システムは、自車両等の車両に限らず、例えば、船舶、航空機、産業用ロボット等の移動体（移動装置）に適用することができる。加えて、移動体に限らず、高度道路交通システム（ＩＴＳ）等、広く物体認識を利用する機器に適用することができる。

【0087】

［変形実施形態］
本発明は、上述の実施形態に限られるものではなく、種々の変形が可能である。

【0088】

例えば、上述の実施形態では、ＡＤ変換器１０７の後段のＤＳＰ１０８で飽和を検出しているが、ＡＤ変換後のデジタル信号だけでなく、ＡＤ変換前のアナログ信号についても回路のダイナミックレンジの上限値において電圧飽和することがある。したがって、上述の実施形態は、デジタル信号の飽和を検出する代わりに、アナログ信号の電圧飽和を検出するように構成してもよい。

【0089】

また、上述の実施形態では、光電変換ユニット１０３を左右に２分割した光電変換素子１０１、１０２により構成する例を示したが、上下に２分割した光電変換素子により構成するようにしてもよい。また、上下と左右の分割を併用してもよいし、分割数が３以上であっても構わない。分割した光電変換素子からの出力信号の用途は、焦点検出に限定されるものではなく、三次元画像、距離検出センサ、ライトフィールドセンサ等の用途にも適用可能である。

【0090】

また、上述の実施形態では、各列に２本ずつの信号出力線１０５を配置し、Ａ信号とＢ信号とを別々の信号出力線１０５を介して出力する構成としたが、各列に１本の信号出力線１０５を配置するように固体撮像装置を構成してもよい。この場合、例えば、Ａ信号とＡ＋Ｂ信号とを別々のタイミングで読み出し、Ａ＋Ｂ信号からＡ信号を減算してＢ信号を算出すればよい。その後の信号処理は、上述の実施形態と同様である。

【0091】

また、第１実施形態では、光電変換素子２０３からの出力信号が回路部で飽和する場合について説明したが、回路部で飽和する前に光電変換素子２０３で飽和が生じる場合においても第１実施形態と同様の信号処理を適用することができる。

【0092】

また、多数の画素を有する固体撮像装置では、一部の画素に欠陥が発生することがある。一般的な画素欠陥の補正では、あらかじめ欠陥画素のデータを取得しておき、撮影環境に応じて、欠陥画素の周辺の無欠陥画素の信号によって欠陥画素の箇所に対応する信号を補間するなどの処理が行われている。上述の実施形態の信号処理方法を用いれば、Ａ信号を出力する画素及びＢ信号を出力する画素のうちの一方が欠陥画素であった場合に、先に述べたような信号処理によって他方の信号レベルを算出することも可能である。

【0093】

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0094】

なお、上述の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。例えば、いずれかの実施形態の一部の構成を、他の実施形態に追加した実施形態、あるいは他の実施形態の一部の構成と置換した実施形態も本発明を適用し得る実施形態であると理解されるべきである。

【符号の説明】

【0095】

１０１、１０２…光電変換素子
１０３…光電変換ユニット
１０４…マイクロレンズ
１０７…ＡＤ変換器
１０８…ＤＳＰ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】