▶ グディックス テクノロジー（エイチケー）カンパニー リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022119681
(43)【公開日】2022-08-17
(54)【発明の名称】固体撮像装置
(51)【国際特許分類】
H04N 5/378 20110101AFI20220809BHJP
H04N 5/369 20110101ALI20220809BHJP
G01C 3/06 20060101ALN20220809BHJP
【ＦＩ】
H04N5/378
H04N5/369 600
G01C3/06 110V
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2021016981
(22)【出願日】2021-02-04
(71)【出願人】
【識別番号】521506272
【氏名又は名称】グディックス テクノロジー（エイチケー）カンパニー リミテッド
(74)【代理人】
【識別番号】110000671
【氏名又は名称】八田国際特許業務法人
(72)【発明者】
【氏名】山本 秀彦
(72)【発明者】
【氏名】石原 啓一郎
(72)【発明者】
【氏名】八重樫 浩
【テーマコード（参考）】
2F112
5C024
【Ｆターム（参考）】
2F112AC03
2F112AC06
2F112BA06
2F112CA12
2F112DA04
5C024CY17
5C024EX43
5C024EX52
5C024HX17
5C024HX23
5C024HX29
(57)【要約】
【課題】高精度な距離測定可能な固体撮像装置を提供すること。
【解決手段】固体撮像装置は、第１の方向及び第１の方向と交差する第２の方向に配置され、それぞれに光電変換素子を含み、露光した光の強度に基づく第１の値を生成する第１の画素、及び露光した光の強度に基づく第２の値を生成し第１の画素に隣接する第２の画素を含む複数の画素を有する画素部と、第１の値及び第２の値を用いて差分値を生成する第１の減算回路と、差分値を増幅して差分増幅値を生成し、差分値に対する差分増幅値を規定する特性の接線の傾きが、第１の差分値、第１の差分値より大きい第２の差分値、及び第２の差分値より大きい第３の差分値のうち、第２の差分値において最大となる増幅回路と、増幅回路を用いて生成した差分増幅値をデジタル信号に変換するＡＤ変換回路部と、を有する。
【選択図】図２
【解決手段】固体撮像装置は、第１の方向及び第１の方向と交差する第２の方向に配置され、それぞれに光電変換素子を含み、露光した光の強度に基づく第１の値を生成する第１の画素、及び露光した光の強度に基づく第２の値を生成し第１の画素に隣接する第２の画素を含む複数の画素を有する画素部と、第１の値及び第２の値を用いて差分値を生成する第１の減算回路と、差分値を増幅して差分増幅値を生成し、差分値に対する差分増幅値を規定する特性の接線の傾きが、第１の差分値、第１の差分値より大きい第２の差分値、及び第２の差分値より大きい第３の差分値のうち、第２の差分値において最大となる増幅回路と、増幅回路を用いて生成した差分増幅値をデジタル信号に変換するＡＤ変換回路部と、を有する。
【選択図】図２
【特許請求の範囲】
【請求項1】
第１の方向及び前記第１の方向と交差する第２の方向に配置され、それぞれに光電変換素子を含み、露光した光の強度に基づく第１の値を生成する第１の画素、及び露光した光の強度に基づく第２の値を生成し前記第１の画素に隣接する第２の画素を含む複数の画素を有する画素部と、
前記第１の値及び前記第２の値を用いて差分値を生成する第１の減算回路と、
前記差分値を増幅して差分増幅値を生成し、前記差分値に対する前記差分増幅値を規定する特性の接線の傾きが第１の差分値、前記第１の差分値より大きい第２の差分値及び前記第２の差分値より大きい第３の差分値のうち、前記第２の差分値において最大となる増幅回路と、
前記増幅回路を用いて生成した差分増幅値をデジタル信号に変換するＡＤ変換回路部と、
を有する固体撮像装置。
前記第１の値及び前記第２の値を用いて差分値を生成する第１の減算回路と、
前記差分値を増幅して差分増幅値を生成し、前記差分値に対する前記差分増幅値を規定する特性の接線の傾きが第１の差分値、前記第１の差分値より大きい第２の差分値及び前記第２の差分値より大きい第３の差分値のうち、前記第２の差分値において最大となる増幅回路と、
前記増幅回路を用いて生成した差分増幅値をデジタル信号に変換するＡＤ変換回路部と、
を有する固体撮像装置。
【請求項2】
前記増幅回路は対数増幅回路である、請求項１に記載の固体撮像装置。
【請求項3】
前記増幅回路はリニアアンプである、請求項１に記載の固体撮像装置。
【請求項4】
前記増幅回路は２乗アンプである、請求項１に記載の固体撮像装置。
【請求項5】
前記第１の減算回路が、前記第１の値から前記第２の値を減算し差分値を生成すると、前記ＡＤ変換回路部は、前記第２の値を用いず、前記第１の値をデジタル信号に変換し、
前記第１の減算回路が、前記第２の値から前記第１の値を減算し差分値を生成すると、前記ＡＤ変換回路部は、前記第１の値を用いず、前記第２の値をデジタル信号に変換する、請求項１～請求項４の何れか一項に記載の固体撮像装置。
前記第１の減算回路が、前記第２の値から前記第１の値を減算し差分値を生成すると、前記ＡＤ変換回路部は、前記第１の値を用いず、前記第２の値をデジタル信号に変換する、請求項１～請求項４の何れか一項に記載の固体撮像装置。
【請求項6】
画素値再構成回路を有し、
前記画素値再構成回路は、
前記増幅回路を用いて生成した差分増幅値のデジタル信号を逆変換し、
前記逆変換されたデジタル信号、及び、前記第１の値のデジタル信号と前記第２の値のデジタル信号との何れか一方の信号を用いて、前記第１の画素に対応するデジタル画像データ及び前記第２の画素に対応するデジタル画像データを生成する、
請求項５に記載の固体撮像装置。
前記画素値再構成回路は、
前記増幅回路を用いて生成した差分増幅値のデジタル信号を逆変換し、
前記逆変換されたデジタル信号、及び、前記第１の値のデジタル信号と前記第２の値のデジタル信号との何れか一方の信号を用いて、前記第１の画素に対応するデジタル画像データ及び前記第２の画素に対応するデジタル画像データを生成する、
請求項５に記載の固体撮像装置。
【請求項7】
前記複数の画素は、露光した光の強度に基づく第３の値を生成し前記第１の画素に隣接する第３の画素、及び、露光した光の強度に基づく第４の値を生成し前記第２の画素及び前記第３の画素に隣接する第４の画素を含む、請求項６に記載の固体撮像装置。
【請求項8】
前記第１の値及び前記第３の値を用いて差分値を生成する第２の減算回路と、
前記第１の値及び前記第３の値を用いて生成された差分値を増幅した差分増幅値を生成する第２の増幅回路と、を有し、
前記第２の画素は、前記第１の画素に対して前記第２の方向に隣接し、
前記第３の画素は、前記第１の画素に対して前記第１の方向に隣接し、
前記第４の画素は、前記第２の画素に対して前記第１の方向に隣接し、かつ、前記第３の画素に対して前記第２の方向に隣接し、
前記ＡＤ変換回路部は、前記第１の値及び前記第３の値を用いて生成された差分値を増幅した差分増幅値をデジタル信号に変換する、請求項７に記載の固体撮像装置。
前記第１の値及び前記第３の値を用いて生成された差分値を増幅した差分増幅値を生成する第２の増幅回路と、を有し、
前記第２の画素は、前記第１の画素に対して前記第２の方向に隣接し、
前記第３の画素は、前記第１の画素に対して前記第１の方向に隣接し、
前記第４の画素は、前記第２の画素に対して前記第１の方向に隣接し、かつ、前記第３の画素に対して前記第２の方向に隣接し、
前記ＡＤ変換回路部は、前記第１の値及び前記第３の値を用いて生成された差分値を増幅した差分増幅値をデジタル信号に変換する、請求項７に記載の固体撮像装置。
【請求項9】
前記第２の画素は、前記第４の画素に対して前記第１の方向に隣接し、かつ、前記第３の画素に対して前記第２の方向に隣接し、
前記第３の画素は、前記第１の画素に対して前記第１の方向に隣接し、
前記第４の画素は、前記第１の画素に対して前記第２の方向に隣接し、
前記第３の値及び前記第４の値を用いて差分値を生成する第２の減算回路と、
前記第３の値及び前記第４の値を用いて生成された差分値を増幅した差分増幅値を生成する第２の増幅回路と、を有し、
前記ＡＤ変換回路部は、前記第３の値及び前記第４の値を用いて生成された差分値を増幅した差分増幅値をデジタル信号に変換する、
請求項７に記載の固体撮像装置。
前記第３の画素は、前記第１の画素に対して前記第１の方向に隣接し、
前記第４の画素は、前記第１の画素に対して前記第２の方向に隣接し、
前記第３の値及び前記第４の値を用いて差分値を生成する第２の減算回路と、
前記第３の値及び前記第４の値を用いて生成された差分値を増幅した差分増幅値を生成する第２の増幅回路と、を有し、
前記ＡＤ変換回路部は、前記第３の値及び前記第４の値を用いて生成された差分値を増幅した差分増幅値をデジタル信号に変換する、
請求項７に記載の固体撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本実施形態は固体撮像装置に関する。
【背景技術】
【0002】
ライトフィールド技術を用いた固体撮像装置を備えた電子機器が広く普及している。ライトフィールド技術を用いた固体撮像装置は、携帯情報端末、デジタルカメラなど、画像を撮像するための機能を有する電子機器に備えられる。ライトフィールド技術を用いた固体撮像装置は、例えば、マイクロレンズアレイと光電変換素子を含む複数の画素とＡＤ変換回路とを備え、複数の画素のうち隣接する画素（ペア画素）によって露光された被写体の露光信号の差分値を用いて、被写体と固体撮像装置の距離情報を含む距離マップを生成することができる。固体撮像装置は、イメージセンサを含む。
【0003】
例えば、特許文献１は、ライトフィールド技術を用いた撮像デバイスおよび撮像方法を開示する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】国際公開第２０１７／２１０７８１号
【発明の概要】
【発明が解決しようとする課題】
【0005】
例えば、ペア画素のそれぞれによって露光された被写体のエッジコントラストが小さい場合、露光信号中に含まれる距離信号成分が小さくなる。ＡＤ変換回路は、ペア画素のそれぞれの露光信号を量子化する（デジタルデータを含むデジタル信号に変換する）。すなわち、量子化されたペア画素のそれぞれの距離信号成分の精度が低下し、量子化されたペア画素のそれぞれの露光信号を用いて生成される差分値の精度が低下する。その結果、量子化された差分値を含む信号を用いて生成される距離信号の精度が低下する。
【0006】
本発明は、上記課題に鑑みてなされたものであり、ペア画素のそれぞれによって露光された被写体の距離信号成分の精度の低下を抑制し、高精度な距離測定が可能な固体撮像装置を提供することにある。
【課題を解決するための手段】
【0007】
本実施形態に係る固体撮像装置は、第１の方向及び前記第１の方向と交差する第２の方向に配置され、それぞれに光電変換素子を含み、露光した光の強度に基づく第１の値を生成する第１の画素、及び露光した光の強度に基づく第２の値を生成し前記第１の画素に隣接する第２の画素を含む複数の画素を有する画素部と、前記第１の値及び前記第２の値を用いて差分値を生成する第１の減算回路と、前記差分値を増幅して差分増幅値を生成し、前記差分値に対する前記差分増幅値を規定する特性の接線の傾きが、第１の差分値、前記第１の差分値より大きい第２の差分値、及び前記第２の差分値より大きい第３の差分値のうち、前記第２の差分値において最大となる増幅回路と、前記増幅回路を用いて生成した差分増幅値をデジタル信号に変換するＡＤ変換回路部と、を有する。
【発明の効果】
【0008】
本実施形態によれば、ペア画素のそれぞれによって露光された被写体の距離信号成分の精度の低下を抑制し、高精度な距離測定可能な固体撮像装置を提供することができる。
【図面の簡単な説明】
【0009】
【図1】本実施形態に係る固体撮像装置の構成を示すブロック図である。
【図2】本実施形態に係るイメージセンサの構成を示す平面図である。
【図5】ライトフィールド技術を用いた固体撮像装置における距離信号を説明するための図である。
【図7】図７（Ａ）は本実施形態に係るイメージセンサを用いない固体撮像装置のシミュレーション結果を示す図であり、図７（Ｂ）は本実施形態に係るイメージセンサを用いた固体撮像装置のシミュレーション結果を示す図である。
【図8】本実施形態に係る固体撮像装置の駆動方法を説明するためのフローチャート図である。
【図10】本実施形態に係る固体撮像装置の駆動方法を説明するためのフローチャート図である。
【図12】本実施形態に係る固体撮像装置の構成を示すブロック図である。
【図14】本実施形態に係る固体撮像装置の駆動方法を説明するためのフローチャート図である。
【図16】本実施形態に係る固体撮像装置の構成を示すブロック図である。
【図17】本実施形態に係る画素部の構成を示す平面図である。
【図18】本実施形態に係る固体撮像装置の駆動方法を説明するためのフローチャート図である。
【発明を実施するための形態】
【0010】
以下に、本発明の各実施の形態について、図面を参照し、説明する。なお、開示はあくまで一例にすぎない。つまり、当業者が、発明の主旨を保ち、適宜変更することによって容易に想到し得る構成は、当然に本発明の範囲に含有される構成である。図面は説明をより明確にするため、実際の態様に比べ、各部の幅、厚さ、形状等について模式的に表される場合がある。しかし、これらはあくまで一例であって、本発明の解釈を限定するものではない。
【0011】
以下の説明において、露光素子として、光によって起電力が発生する光電変換素子が用いられた構成について例示するが、この構成に限定されない。例えば、露光素子として、光によって電気伝導度が変化する光電変換素子が用いられてもよいし、露光した光の特性（例えば、光の波長）を電気的な信号に変換するタイプの光電変換素子が用いられてもよい。また、本実施形態に係る固体撮像装置は、トランジスタ、容量素子及び抵抗素子などを含む。トランジスタ、容量素子及び抵抗素子などの構造、トランジスタ、容量素子及び抵抗素子などを形成する膜、層、及び各部分の材料は、本発明の技術分野で通常使用される公知技術を採用することができる。
【0012】
なお、本実施形態における「第１」、「第２」、「第３」などの序数は、説明を簡潔にするためだけに用いられており、限定的に解釈されるべきではない。また、本明細書等において、同一、または類似する複数の構成のそれぞれを区別して表記する際には、アルファベットの大文字または小文字を用いる。
【0013】
なお、以下の各実施形態は、技術的な矛盾を生じない限り、互いに組み合わせることができる。
【0014】
本実施形態に係るイメージセンサは、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサである。本実施形態において、ライトフィールド技術を用いた固体撮像装置を、単に固体撮像装置と記す。本実施形態に係る固体撮像装置は、携帯情報端末、デジタルカメラなどの、画像を撮像するための機能を有する電子機器に適用することができる。
【0015】
詳細は後述するが、本実施形態において、ペア画素は、行方向（Ｘ方向）に隣接する画素、列方向（Ｙ方向）に隣接する画素だけでなく、互いに対角に位置する画素も含む。本実施形態において、行方向（Ｘ方向）は第１の方向と呼ばれ、列方向（Ｙ方向）は第２の方向と呼ばれる。
【0016】
【0017】
図１に示すように、固体撮像装置１０は、イメージセンサ１００、画素値再構成回路２００、距離計算回路３００、イメージシグナルプロセッサ（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ、ＩＳＰ）４００、及び表示パネル５００を有する。イメージセンサ１００は、画素値再構成回路２００に接続される。画素値再構成回路２００は、距離計算回路３００、及びＩＳＰ４００に接続される。距離計算回路３００、及びＩＳＰ４００は、表示パネル５００に接続される。
【0018】
１－２．イメージセンサ１００の構成
図２は本実施形態に係るイメージセンサ１００の構成を示す平面図である。本実施形態に係るイメージセンサ１００の構成は図２に示す構成に限定されない。図１と同一、又は類似する構成の説明は、省略されることがある。
図２は本実施形態に係るイメージセンサ１００の構成を示す平面図である。本実施形態に係るイメージセンサ１００の構成は図２に示す構成に限定されない。図１と同一、又は類似する構成の説明は、省略されることがある。
【0019】
図２に示すように、イメージセンサ１００は、画素部１１０、行選択走査回路１２０、読み出し回路１３０、及び制御回路１４０を有する。
【0020】
１－２－１．画素部１１０の構成
図２に示すように、画素部１１０の画素ＰＸは、行（ロウ）方向と列（カラム）方向（Ｙ行Ｘ列）のマトリクス状に配置される。ここで、Ｙ及びＸはそれぞれ独立に設定される正の自然数である。画素ＰＸは、例えば、Ｒ画素２０９Ａ、Ｒ画素２０９Ｂ、Ｒ画素２０９Ｃ、Ｒ画素２０９Ｄ、Ｇ画素２１１Ａ、Ｇ画素２１１Ｂ、Ｇ画素２１１Ｃ、Ｇ画素２１１Ｄ、Ｂ画素２１２Ａ、Ｂ画素２１２Ｂ、Ｂ画素２１２Ｃ、Ｂ画素２１２Ｄ、Ｇ画素２１３Ａ、Ｇ画素２１３Ｂ、Ｇ画素２１３Ｃ及びＧ画素２１３Ｄに分類される。Ｒ画素２０９Ａ、Ｒ画素２０９Ｂ、Ｒ画素２０９Ｃ、及びＲ画素２０９Ｄは赤色カラーフィルタを有する画素ＰＸである。Ｇ画素２１１Ａ及びＧ画素２１１ＢはＢ画素２１２Ａ及びＢ画素２１２Ｂを有する行に設けられ、緑色カラーフィルタを有する画素ＰＸである。Ｇ画素２１１Ｃ及びＧ画素２１１ＤはＢ画素２１２Ｃ及びＢ画素２１２Ｄを有する行に設けられ、緑色カラーフィルタを有する画素ＰＸである。Ｂ画素２１２Ａ、Ｂ画素２１２Ｂ、Ｂ画素２１２Ｃ、及びＢ画素２１２Ｄは青色カラーフィルタを有する画素ＰＸである。Ｇ画素２１３Ａ及びＧ画素２１３ＢはＲ画素２０９Ａ及びＲ画素２０９Ｂを有する行に設けられ、緑色カラーフィルタを有する画素ＰＸである。Ｇ画素２１３Ｃ及びＧ画素２１３ＤはＲ画素２０９Ｃ及びＲ画素２０９Ｄを有する行に設けられ、緑色カラーフィルタを有する画素ＰＸである。本実施形態では、例えば、Ｒ画素２０９Ａ、Ｒ画素２０９Ｂ、Ｒ画素２０９Ｃ及びＲ画素２０９Ｄの４つの画素を１つのＲ画素ユニット１５９とし、Ｇ画素２１１Ａ、Ｇ画素２１１Ｂ、Ｇ画素２１１Ｃ及びＧ画素２１１Ｄの４つの画素を１つのＧＢ画素ユニット１５１とし、Ｂ画素２１２Ａ、Ｂ画素２１２Ｂ、Ｂ画素２１２Ｃ及びＢ画素２１２Ｄを１つのＢ画素ユニット１５２とし、Ｇ画素２１３Ａ、Ｇ画素２１３Ｂ、Ｇ画素２１３Ｃ及びＧ画素２１３Ｄを１つのＧＲ画素ユニット１５３とする。Ｒ画素ユニット、ＧＲ画素ユニット、Ｂ画素ユニット及びＧＢ画素ユニットをまとめて１つのブロックとすると、１つのブロックが、マトリクス状に配置される。図２に示す画素の配置は、例えば、クアッドベイヤー（Ｑｕａｄ Ｂａｙｅｒ）配列、クアッドベイヤー配置、クアッドベイヤー構造などと呼ばれる。
図２に示すように、画素部１１０の画素ＰＸは、行（ロウ）方向と列（カラム）方向（Ｙ行Ｘ列）のマトリクス状に配置される。ここで、Ｙ及びＸはそれぞれ独立に設定される正の自然数である。画素ＰＸは、例えば、Ｒ画素２０９Ａ、Ｒ画素２０９Ｂ、Ｒ画素２０９Ｃ、Ｒ画素２０９Ｄ、Ｇ画素２１１Ａ、Ｇ画素２１１Ｂ、Ｇ画素２１１Ｃ、Ｇ画素２１１Ｄ、Ｂ画素２１２Ａ、Ｂ画素２１２Ｂ、Ｂ画素２１２Ｃ、Ｂ画素２１２Ｄ、Ｇ画素２１３Ａ、Ｇ画素２１３Ｂ、Ｇ画素２１３Ｃ及びＧ画素２１３Ｄに分類される。Ｒ画素２０９Ａ、Ｒ画素２０９Ｂ、Ｒ画素２０９Ｃ、及びＲ画素２０９Ｄは赤色カラーフィルタを有する画素ＰＸである。Ｇ画素２１１Ａ及びＧ画素２１１ＢはＢ画素２１２Ａ及びＢ画素２１２Ｂを有する行に設けられ、緑色カラーフィルタを有する画素ＰＸである。Ｇ画素２１１Ｃ及びＧ画素２１１ＤはＢ画素２１２Ｃ及びＢ画素２１２Ｄを有する行に設けられ、緑色カラーフィルタを有する画素ＰＸである。Ｂ画素２１２Ａ、Ｂ画素２１２Ｂ、Ｂ画素２１２Ｃ、及びＢ画素２１２Ｄは青色カラーフィルタを有する画素ＰＸである。Ｇ画素２１３Ａ及びＧ画素２１３ＢはＲ画素２０９Ａ及びＲ画素２０９Ｂを有する行に設けられ、緑色カラーフィルタを有する画素ＰＸである。Ｇ画素２１３Ｃ及びＧ画素２１３ＤはＲ画素２０９Ｃ及びＲ画素２０９Ｄを有する行に設けられ、緑色カラーフィルタを有する画素ＰＸである。本実施形態では、例えば、Ｒ画素２０９Ａ、Ｒ画素２０９Ｂ、Ｒ画素２０９Ｃ及びＲ画素２０９Ｄの４つの画素を１つのＲ画素ユニット１５９とし、Ｇ画素２１１Ａ、Ｇ画素２１１Ｂ、Ｇ画素２１１Ｃ及びＧ画素２１１Ｄの４つの画素を１つのＧＢ画素ユニット１５１とし、Ｂ画素２１２Ａ、Ｂ画素２１２Ｂ、Ｂ画素２１２Ｃ及びＢ画素２１２Ｄを１つのＢ画素ユニット１５２とし、Ｇ画素２１３Ａ、Ｇ画素２１３Ｂ、Ｇ画素２１３Ｃ及びＧ画素２１３Ｄを１つのＧＲ画素ユニット１５３とする。Ｒ画素ユニット、ＧＲ画素ユニット、Ｂ画素ユニット及びＧＢ画素ユニットをまとめて１つのブロックとすると、１つのブロックが、マトリクス状に配置される。図２に示す画素の配置は、例えば、クアッドベイヤー（Ｑｕａｄ Ｂａｙｅｒ）配列、クアッドベイヤー配置、クアッドベイヤー構造などと呼ばれる。
【0021】
画素部１１０において、１行目に設けられる複数の画素ＰＸは、Ｇ画素２１３Ａ、Ｇ画素２１３Ｂ、Ｒ画素２０９Ａ及びＲ画素２０９Ｂを第１の組とすると、第１の組がＸ方向に配置される。２行目に設けられる複数の画素ＰＸは、Ｇ画素２１３Ｃ、Ｇ画素２１３Ｄ、Ｒ画素２０９Ｃ及びＲ画素２０９Ｄを第２の組とすると、第２の組がＸ方向に配置される。３行目に設けられる複数の画素ＰＸは、Ｂ画素２１２Ａ、Ｂ画素２１２Ｂ、Ｇ画素２１１Ａ及びＧ画素２１１Ｂを第３の組とすると、第３の組がＸ方向に配置される。４行目に設けられる複数の画素ＰＸは、Ｂ画素２１２Ｃ、Ｂ画素２１２Ｄ、Ｇ画素２１１Ｃ及びＧ画素２１１Ｄを第４の組とすると、第４の組がＸ方向に配置される。１列目に設けられる複数の画素ＰＸは、Ｇ画素２１３Ａ、Ｇ画素２１３Ｃ、Ｂ画素２１２Ａ及びＢ画素２１２Ｃを第５の組とすると、第５の組がＹ方向に配置される。２列目に設けられる複数の画素ＰＸは、Ｇ画素２１３Ｂ、Ｇ画素２１３Ｄ、Ｂ画素２１２Ｃ及びＢ画素２１２Ｄを第６の組とすると、第６の組がＹ方向に配置される。３列目に設けられる複数の画素ＰＸは、Ｒ画素２０９Ａ、Ｒ画素２０９Ｃ、Ｇ画素２１１Ａ及びＧ画素２１１Ｃを第７の組とすると、第７の組がＹ方向に配置される。４列目に設けられる複数の画素ＰＸは、Ｒ画素２０９Ｂ、Ｒ画素２０９Ｄ、Ｇ画素２１１Ｂ及びＧ画素２１１Ｄを第８の組とすると、第８の組がＹ方向に配置される。
【0022】
各画素ＰＸは光電変換素子４２を有する。光電変換素子４２は、露光された光の強度に基づき生成した電力に対応した露光信号を生成する。光の強度は明るさと呼んでもよい。露光した光の強度は、露光強度と呼んでもよい。本実施形態では、光電変換素子４２はフォトダイオード（Ｐｈｏｔｏ Ｄｉｏｄｅ、ＰＤ）である。
【0023】
１－２－２．制御回路１４０及び行選択走査回路１２０の構成
図２に示すように、制御回路１４０は、行選択走査回路１２０及び読み出し回路１３０に接続する。制御回路１４０は、行選択走査回路１２０の行選択を制御するための信号を行選択走査回路１２０に送信し、スイッチ１３２ａ、スイッチ１３２ｂ、スイッチ１３２ｃ、スイッチ１３２ｄ、スイッチ１３６ａ、スイッチ１３６ｂ、スイッチ１３６ｃ、スイッチ１３６ｄ、スイッチ１３６ｅ及びスイッチ１３６ｆを制御する信号、及びＡＤ変換回路部１３８を制御する信号を読み出し回路１３０に送信する。
図２に示すように、制御回路１４０は、行選択走査回路１２０及び読み出し回路１３０に接続する。制御回路１４０は、行選択走査回路１２０の行選択を制御するための信号を行選択走査回路１２０に送信し、スイッチ１３２ａ、スイッチ１３２ｂ、スイッチ１３２ｃ、スイッチ１３２ｄ、スイッチ１３６ａ、スイッチ１３６ｂ、スイッチ１３６ｃ、スイッチ１３６ｄ、スイッチ１３６ｅ及びスイッチ１３６ｆを制御する信号、及びＡＤ変換回路部１３８を制御する信号を読み出し回路１３０に送信する。
【0024】
図２に示すように、行選択走査回路１２０は、例えば、画素部１１０に対して行方向に隣接する位置に配置される。行選択走査回路１２０は、複数の水平信号線に接続する。複数の水平信号線は、例えば、第１の水平信号線１６２、及び第２の水平信号線１６４を有する。水平信号線は、同じ行に設けられた複数の画素ＰＸに接続される。例えば、第１の水平信号線１６２はＧ画素２１３Ａ、Ｇ画素２１３Ｂ、Ｒ画素２０９Ａ及びＲ画素２０９Ｂに接続され、第２の水平信号線１６４はＧ画素２１３Ｃ、Ｇ画素２１３Ｄ、Ｒ画素２０９Ｃ及びＲ画素２０９Ｄに接続される。行選択走査回路１２０は、制御回路１４０から、行選択走査回路１２０の行選択を制御するための信号を受信し、受信した信号を用いて、各画素を制御する制御信号を生成する。行選択走査回路１２０は、当該制御信号を用いて、読み出し対象となる画素を行単位で選択する。水平信号線には、当該制御信号が入力される。当該制御信号は、例えば、１行目、２行目、３行目、・・・のように、行毎に順次入力され、各行に接続された複数の画素を、行毎に順次選択する。当該制御信号は、行毎にランダムに入力されてよく、複数の行に同時に入力されてもよい。
【0025】
行選択走査回路１２０が、所望の行を選択すると、選択した行に接続された各画素に備えられた光電変換素子４２が露光される。各画素に備えられた光電変換素子４２は、露光された光の強度に基づき電力を生成し、生成した電力に対応した露光信号を生成する。選択された行に接続された各画素に備えられた光電変換素子４２によって生成された露光信号（露光された光の強度に基づき生成した電力に対応した露光信号）が、各画素から各画素に接続された垂直信号線に供給される。本実施形態において、露光信号は、被写体の輝度と距離信号成分とを含む。当該露光信号は露光された被写体に対応した画像データであり、画像データは、露光データ、又は生のデータ（ＲＡＷデータ）と呼ばれることがある。
【0026】
１－２－３．読み出し回路１３０の構成
図２に示すように、読み出し回路１３０は、例えば、画素部１１０に対して列方向に隣接する位置に配置される。読み出し回路１３０は、複数の差分算出回路１３４、ＡＤ変換回路部１３８、差分算出回路１３４と垂直信号線を接続する複数のスイッチ１３２、及び、差分算出回路１３４とＡＤ変換回路部１３８とを接続する複数のスイッチ１３６を有する。
図２に示すように、読み出し回路１３０は、例えば、画素部１１０に対して列方向に隣接する位置に配置される。読み出し回路１３０は、複数の差分算出回路１３４、ＡＤ変換回路部１３８、差分算出回路１３４と垂直信号線を接続する複数のスイッチ１３２、及び、差分算出回路１３４とＡＤ変換回路部１３８とを接続する複数のスイッチ１３６を有する。
【0027】
読み出し回路１３０は、複数の垂直信号線、及び画素値再構成回路２００に接続する。読み出し回路１３０は、複数の垂直信号線のそれぞれに送信された露光信号を受信する。読み出し回路１３０に含まれる複数の差分算出回路１３４は、受信した複数の露光信号を用いて、増幅信号を生成する。また、読み出し回路１３０に含まれるＡＤ変換回路部１３８が、受信した複数の露光信号及び増幅信号をデジタル露光信号に変換する。さらに、読み出し回路１３０は、デジタル露光信号を画素値再構成回路２００（図１）に送信する。また、デジタル露光信号はイメージセンサ１００から出力される信号（出力データ（図１））である。
【0028】
差分算出回路１３４は、入力端子Ｌ、入力端子Ｒ、及び出力端子Ｏを有する。差分算出回路１３４は、例えば、第１の差分算出回路１３４ａａ、第２の差分算出回路１３４ａｂ、第１の差分算出回路１３４ｂａ、第２の差分算出回路１３４ｂｂ、第３の差分算出回路１３４ｃ（図１２）、第４の差分算出回路１３４ｄ（図１６）である。ＡＤ変換回路部１３８は、複数のＡＤ変換回路１３８ａ～１３８ｈを有する。複数のＡＤ変換回路１３８ａ～１３８ｈのそれぞれは、入力端子と出力端子（図示は省略）を有する。
【0029】
垂直信号線１７２はＧ画素２１１Ａ、Ｒ画素２０９Ａ、第２の差分算出回路１３４ａｂの入力端子Ｌ、及びＡＤ変換回路１３８ａに接続する。垂直信号線１７４はＧ画素２１３Ｃ、Ｂ画素２１２Ｃ、及び第１の差分算出回路１３４ａａの入力端子Ｒに接続する。垂直信号線１７６はＧ画素２１３Ｂ、Ｂ画素２１２Ｂに接続する。垂直信号線１７８はＧ画素２１３Ｄ、Ｂ画素２１２Ｄに接続する。垂直信号線１８２はＲ画素２０９Ａ、Ｇ画素２１１Ａ、第２の差分算出回路１３４ｂｂの入力端子Ｌ、及びＡＤ変換回路１３８ｅに接続する。垂直信号線１８４はＲ画素２０９Ｃ、Ｇ画素２１１Ｃ、及び第１の差分算出回路１３４ｂａの入力端子Ｒに接続する。垂直信号線１８６はＲ画素２０９Ｂ、Ｇ画素２１１Ｂに接続する。垂直信号線１８８はＲ画素２０９Ｄ、Ｇ画素２１１Ｄに接続する。
【0030】
スイッチ１３２ａの第１の端子は、垂直信号線１７２、または垂直信号線１７６に接続し、スイッチ１３２ａの第２の端子は、第１の差分算出回路１３４ａの入力端子Ｌに接続する。スイッチ１３２ａは、スイッチ１３２ａを制御する信号、及びＡＤ変換回路部１３８を制御する信号を用いて、垂直信号線１７２、または垂直信号線１７６の何れかを選択し、選択した信号線を第１の差分算出回路１３４ａの入力端子Ｌに導通させる。
【0031】
スイッチ１３２ｂの第１の端子は、垂直信号線１７６、または垂直信号線１７８に接続し、スイッチ１３２ｂの第２の端子は、第２の差分算出回路１３４ａｂの入力端子Ｒに接続する。スイッチ１３２ｂは、スイッチ１３２ｂを制御する信号、及びＡＤ変換回路部１３８を制御する信号を用いて、垂直信号線１７６、または垂直信号線１７８の何れかを選択し、選択した信号線を第２の差分算出回路１３４ａｂの入力端子Ｒに導通させる。
【0032】
スイッチ１３２ｃの第１の端子は、垂直信号線１８２、または垂直信号線１８６に接続し、スイッチ１３２ｃの第２の端子は、第１の差分算出回路１３４ｂａの入力端子Ｌに接続する。スイッチ１３２ｃは、スイッチ１３２ｃを制御する信号、及びＡＤ変換回路部１３８を制御する信号を用いて、垂直信号線１８２、または垂直信号線１８６の何れかを選択し、選択した信号線を第１の差分算出回路１３４ｂａの入力端子Ｌに導通させる。
【0033】
スイッチ１３２ｄの第１の端子は、垂直信号線１８６、または垂直信号線１８８に接続し、スイッチ１３２ｄの第２の端子は、第２の差分算出回路１３４ｂｂの入力端子Ｒに接続する。スイッチ１３２ｄは、スイッチ１３２ｄを制御する信号、及びＡＤ変換回路部１３８を制御する信号を用いて、垂直信号線１８６、または垂直信号線１８８の何れかを選択し、選択した信号線を第２の差分算出回路１３４ｂｂの入力端子Ｒに導通させる。
【0034】
スイッチ１３６ａの第１の端子は、第１の差分算出回路１３４ａａの出力端子Ｏ、または垂直信号線１７４に接続し、スイッチ１３６ａの第２の端子は、ＡＤ変換回路１３８ｂに接続する。スイッチ１３６ａは、スイッチ１３６ａを制御する信号、及びＡＤ変換回路部１３８を制御する信号を用いて、第１の差分算出回路１３４ａａの出力端子Ｏ、または垂直信号線１７４の何れかを選択し、選択した信号線をＡＤ変換回路１３８ｂに導通させる。
【0035】
スイッチ１３６ｂの第１の端子は、垂直信号線１７６、または第２の差分算出回路１３４ａｂの出力端子Ｏに接続し、スイッチ１３６ｂの第２の端子は、ＡＤ変換回路１３８ｃに接続する。スイッチ１３６ｂは、スイッチ１３６ｂを制御する信号、及びＡＤ変換回路部１３８を制御する信号を用いて、垂直信号線１７６、または第２の差分算出回路１３４ａｂの出力端子Ｏの何れかを選択し、選択した信号線をＡＤ変換回路１３８ｃに導通させる。
【0036】
スイッチ１３６ｃの第１の端子は、第２の差分算出回路１３４ａｂの出力端子Ｏ、または垂直信号線１７８に接続し、スイッチ１３６ｃの第２の端子は、ＡＤ変換回路１３８ｄに接続する。スイッチ１３６ｃは、スイッチ１３６ｃを制御する信号、及びＡＤ変換回路部１３８を制御する信号を用いて、第２の差分算出回路１３４ａｂの出力端子Ｏ、または垂直信号線１７８の何れかを選択し、選択した信号線をＡＤ変換回路１３８ｄに導通させる。
【0037】
スイッチ１３６ｄの第１の端子は、第１の差分算出回路１３４ｂａの出力端子Ｏ、または垂直信号線１８４に接続し、スイッチ１３６ｄの第２の端子は、ＡＤ変換回路１３８ｆに接続する。スイッチ１３６ｄは、スイッチ１３６ｄを制御する信号、及びＡＤ変換回路部１３８を制御する信号を用いて、第１の差分算出回路１３４ｂａの出力端子Ｏ、または垂直信号線１８４の何れかを選択し、選択した信号線をＡＤ変換回路１３８ｆに導通させる。
【0038】
スイッチ１３６ｅの第１の端子は、垂直信号線１８６、または第２の差分算出回路１３４ｂｂの出力端子Ｏに接続し、スイッチ１３６eの第２の端子は、ＡＤ変換回路１３８ｇに接続する。スイッチ１３６ｅは、スイッチ１３６ｅを制御する信号、及びＡＤ変換回路部１３８を制御する信号を用いて、垂直信号線１８６、または第２の差分算出回路１３４ｂｂの出力端子Ｏの何れかを選択し、選択した信号線をＡＤ変換回路１３８ｇに導通させる。
【0039】
スイッチ１３６ｆの第１の端子は、第２の差分算出回路１３４ｂｂの出力端子Ｏ、または垂直信号線１８８に接続し、スイッチ１３６ｆの第２の端子は、ＡＤ変換回路１３８ｈに接続する。スイッチ１３６ｆは、スイッチ１３６ｆを制御する信号、及びＡＤ変換回路部１３８を制御する信号を用いて、第２の差分算出回路１３４ｂｂの出力端子Ｏ、または垂直信号線１８８の何れかを選択し、選択した信号線をＡＤ変換回路１３８ｈに導通させる。
【0040】
読み出し回路１３０は、以上説明した垂直信号線１７２～１８８に係る構成が、Ｘ方向に対して繰り返された構成を有する。以上説明したように、読み出し回路１３０は、複数の差分算出回路１３４、ＡＤ変換回路部１３８、及び複数のスイッチを用いて、受信した複数の露光信号を処理し、増幅信号を生成し、受信した複数の露光信号及び増幅信号をデジタル露光信号に変換する処理を実行する。よって、本実施形態において、読み出し回路１３０は処理回路とも呼ばれる。
【0041】
１－２－４．差分算出回路１３４の構成
図３（Ａ）は本実施形態に係る差分算出回路１３４の構成を示すブロック図であり、図３（Ｂ）は本実施形態に係る増幅回路６０２の入出力特性を示す図である。本実施形態に係る差分算出回路１３４の構成は図３（Ａ）及び図３（Ｂ）に示す構成に限定されない。図１及び図２と同一、又は類似する構成の説明は、省略されることがある。
図３（Ａ）は本実施形態に係る差分算出回路１３４の構成を示すブロック図であり、図３（Ｂ）は本実施形態に係る増幅回路６０２の入出力特性を示す図である。本実施形態に係る差分算出回路１３４の構成は図３（Ａ）及び図３（Ｂ）に示す構成に限定されない。図１及び図２と同一、又は類似する構成の説明は、省略されることがある。
【0042】
図３（Ａ）に示すように、差分算出回路１３４は、減算回路６００、及び増幅回路（アンプ）６０２を有する。減算回路６００は、入力端子Ｌ、入力端子Ｒ、ノード（ｎｏｄｅ）、及び増幅回路６０２に接続される。増幅回路６０２は、減算回路６００、ノード（ｎｏｄｅ）、及び出力端子Ｏに接続される。
【0043】
減算回路６００は、入力端子Ｌが受信した信号（露光信号）と、入力端子Ｒが受信した信号（露光信号）とを受信する。減算回路６００は、入力端子Ｌが受信した信号と、入力端子Ｒが受信した信号との差分値を算出（生成）し、算出（生成）した差分値を含む差分信号をノード（ｎｏｄｅ）及び増幅回路６０２に送信する。
【0044】
増幅回路６０２は、算出（生成）した差分値を含む差分信号を受信し、当該差分信号を増幅した増幅値を含む増幅信号を、出力端子Ｏに送信する。詳細は後述するが、本実施形態において、差分信号は、例えば、差分信号（ＵＬ－ＤＬ）、差分信号（ＵＬ－ＵＲ）、差分信号（ＵＲ－ＤＬ）、差分信号（ＵＬ－ＤＲ）、差分信号（ＧＲ－ＧＢ）、差分信号（Ｌ－Ｒ）である。また、本実施形態では、増幅値は差分増幅値とも呼ばれる。増幅回路６０２は、入力信号である差分信号の０電圧近辺の増幅率が、１倍より大きければよい。例えば、増幅回路６０２は、対数増幅回路（対数アンプ、ログアンプ、ＬＯＧアンプ）、リニアアンプ、２乗アンプなどである。本実施形態に係る固体撮像装置の増幅回路６０２は、一例として、対数アンプである。
【0045】
図３（Ｂ）に示すように、増幅回路６０２の入出力特性は、非線形な特性を示す。増幅回路６０２の入出力特性では、例えば、増幅回路６０２への入力が差分値Ｄ１のとき、増幅回路６０２は差分増幅値ＤＡＶ１を生成（出力）し、増幅回路６０２への入力が差分値Ｄ２のとき、増幅回路６０２は差分増幅値ＤＡＶ２を生成（出力）し、増幅回路６０２への入力が差分値Ｄ３のとき差分増幅値ＤＡＶ３を生成（出力）し、増幅回路６０２への入力が差分値Ｄ４のとき差分増幅値ＤＡＶ４を生成（出力）する。差分値Ｄ２は、差分値Ｄ１と異なり、差分値Ｄ１より大きい。差分値Ｄ３は、差分値Ｄ１及び差分値Ｄ２と異なり、差分値Ｄ２より大きい。差分値Ｄ４は、差分値Ｄ１、差分値Ｄ２及び差分値Ｄ３と異なり、差分値Ｄ３より大きい。第１の割合は、差分値Ｄ１と前記差分値Ｄ２との差分と、差分増幅値ＤＡＶ１と差分増幅値ＤＡＶ２との差分との割合である。第２の割合は、差分値Ｄ２と差分値Ｄ３との差分と、差分増幅値ＤＡＶ２と差分増幅値ＤＡＶ３との差分との割合である。第３の割合は、差分増幅値ＤＡＶ３と差分増幅値ＤＡＶ４との差分との割合である。第１の割合は第２の割合より小さく、第２の割合は第３の割合よりも大きい。
【0046】
また、図３（Ｂ）は、対数アンプ、リニアアンプ及び２乗アンプのそれぞれの入出力特性を示す図である。さらに、図３（Ｂ）は、増幅率が１の時の特性、及び対数アンプをリニア近似した特性も示す。各増幅回路の入出力特性において、差分信号（差分値、入力）が０電圧（差分値が０（ゼロ））の時、出力はＡＤＣの中心電圧である。
【0047】
図３（Ｂ）に示すように、差分値Ｄ１と差分増幅値ＤＡＶ１とで示される点における接線の傾き（差分値Ｄ１の接線の傾き）及び差分値Ｄ４と差分増幅値ＤＡＶ４とで示される点における接線の傾き（差分値Ｄ４の接線の傾き）は、差分値Ｄ２と差分増幅値ＤＡＶ２とで示される点における接線の傾き（差分値Ｄ２の接線の傾き）及び差分値Ｄ３と差分増幅値ＤＡＶ３とで示される点における接線の傾き（差分値Ｄ３の接線の傾き）より小さい。差分値に対する差分増幅値を規定する特性の接線の傾き（ある差分値の接線の傾き）は、差分値Ｄ２と差分値Ｄ３との間において最大となり、最大の接線の傾きは差分値Ｄ１の接線の傾き、差分値Ｄ２の接線の傾き、差分値Ｄ３の接線の傾き、及び差分値Ｄ４の接線の傾きより大きい。例えば、差分信号が０電圧とＡＤＣの中心電圧とで示される点（差分値が０（ゼロ）の点）における接線の傾き（差分値Ｄ５の接線の傾き）は、差分値Ｄ１の接線の傾き、差分値Ｄ２の接線の傾き、差分値Ｄ３の接線の傾き、及び差分値Ｄ４の接線の傾きより大きく、入出力特性における最大の接線の傾きである。本実施形態では、差分値が０（ゼロ）の場合の差分値Ｄ５が、第２の差分値と呼ばれる場合があり、差分値Ｄ１または差分値Ｄ２が第１の差分値、差分値Ｄ３または差分値Ｄ４が第３の差分値と呼ばれる場合がある。
【0048】
ここで、ライトフィールド技術を用いた固体撮像装置について簡単に説明する。図４（Ａ）、図４（Ｂ）、図４（Ｃ）、及び図５は、ライトフィールド技術を用いた固体撮像装置における距離信号を説明するための図である。図４（Ａ）、図４（Ｂ）、及び図４（Ｃ）において、第１の画素Ｌ、第１の画素Ｌに隣接する第２の画素Ｒ、第１の画素Ｌと第２の画素Ｒとエッジの位置との関係、第１の画素Ｌ及び第２の画素Ｒに入射する入射光を示す。なお、図４（Ａ）、図４（Ｂ）、及び図４（Ｃ）では、説明の簡略化のため、マイクロレンズアレイを省略する。図４（Ａ）、図４（Ｂ）、図４（Ｃ）、及び図５は、距離信号成分を検出する際の図を示し、第１の画素Ｌ及び第２の画素Ｒの信号強度と、合焦距離との関係を示す。また、図４（Ａ）、図４（Ｂ）、図４（Ｃ）、及び図５は、距離信号成分を検出する際の図を示し、第１の画素Ｌ及び第２の画素Ｒの露光信号の強度の差分信号（Ｌ－Ｒ）と、合焦距離との関係を示す。本実施形態では、第１の画素Ｌと、第１の画素Ｌに隣接する第２の画素Ｒとをペア画素と呼ぶ場合がある。
【0049】
図４（Ａ）に示す図は、画像中のエッジがＸ方向にあり、被写体と固体撮像装置の距離が合焦距離よりも近い場合の図である。すなわち、被写体にピントが合っていない図である。図４（Ａ）に示すように、第１の画素Ｌの露光信号のエッジは、ペア画素の入射角特性により右にズレており、第２の画素Ｒの露光信号のエッジは、ペア画素の入射角特性により左にズレている。その結果、差分信号は下に凸の曲線となる。
【0050】
図４（Ｂ）に示す図は、画像中のエッジがＸ方向にあり、被写体と固体撮像装置の距離が合焦距離と等しい場合の図である。すなわち、被写体にピントが合っている場合の図である。図４（Ｂ）に示すように、第１の画素Ｌの露光信号のエッジは、第２の画素Ｒの露光信号のエッジと一致しており、差分信号は０となる。
【0051】
図４（Ｃ）に示す図は、画像中のエッジがＸ方向にあり、被写体と固体撮像装置の距離が合焦距離よりも遠い場合の図である。すなわち、被写体にピントが合っていない図である。図４（Ｃ）に示すように、第１の画素Ｌの露光信号のエッジは、ペア画素の入射角特性により左にズレており、第２の画素Ｒの露光信号のエッジは、ペア画素の入射角特性により右にズレている。その結果、差分信号は上に凸の曲線となる。
【0052】
図５に示す図は、例えば、画像中のエッジがＸ方向にあり、被写体と固体撮像装置の距離が合焦距離よりも遠い場合（図４（Ｃ））に、露光信号及び差分信号を量子化したことを示す図である。具体的には、図５に示す図は、ペア画素によって露光された被写体の露光信号及び差分信号がＡＤ変換回路を用いて量子化された場合を示す図である。図５に示すように、量子化前と比較して、信号の精度が低下する。
【0053】
被写体と固体撮像装置の距離が、合焦距離と等しい場合（ピントが合っている場合）は特に問題とならないが、被写体と固体撮像装置の距離が、合焦距離と等しくない場合（ピントが合っていない場合）、かつ、エッジのコントラスト（エッジコントラストＣ、図５）が小さい場合、ペア画素を用いて生成した距離信号成分の強度がより小さくなる。その結果、量子化された信号は、当該差分信号もより小さくなる。すなわち、ペア画素によって露光された被写体の露光信号がＡＤ変換回路を用いて量子化される（デジタルデータを含むデジタル信号に変換される）と、量子化された距離信号成分の精度がより低下する。その結果、量子化された信号から生成された差分信号を用いて生成される距離信号の精度は低下する。
【0054】
一方、図３（Ａ）に示すように、本実施形態に係る固体撮像装置１０は増幅回路６０２を有する。その結果、本実施形態に係る固体撮像装置１０は、増幅回路を有さない場合と比較して、差分信号が小さい場合、差分信号を増幅することができる。さらに、差分信号が大きい場合、差分信号のオーバーフローを抑制することができる。したがって、本実施形態に係る固体撮像装置１０は、量子化する際のビット数を増やすことなく（分解能を増やすことなく）、量子化された差分信号の精度の低下を抑制することができる。また、本実施形態に係る固体撮像装置１０は、差分信号を用いて算出される距離信号の精度の低下を抑制することができる。本実施形態において、距離情報（距離データ）を含む信号（距離信号）は、露光信号である。
【0055】
距離信号ｄｉｓｔｄｉｆｆは、例えば、第１の画素Ｌの露光信号の強度Ｌ、第２の画素Ｒの露光信号の強度Ｒ、エッジコントラストＣを用いて、式１で表すことができる。
【数1】
【0056】
１－２－５．画素値再構成回路２００、距離計算回路３００、ＩＳＰ４００、及び表示パネルの構成
詳細は後述するが、画素値再構成回路２００は、複数の露光信号及び差分値を含む対数増幅された差分信号をデジタル化したデジタル露光信号を受信する。画素値再構成回路２００は、差分値を含む増幅信号をデジタル化したデジタル露光信号を逆対数変換し、差分値のデジタルデータを生成する。また、画素値再構成回路２００は、複数の露光信号及び差分値のデジタルデータを用いて、各画素に対応するデジタル画像データを生成する。距離計算回路３００は、差分値のデジタルデータ及び各画素に対応するデジタル画像データを受信し、エッジを検出し、距離情報を算出（生成）し、各画素と被写体との複数の距離情報を含む距離マップを生成する。ＩＳＰ４００は、デジタル画像データ及び距離信号を受信し、表示パネル５００に含まれる各画素の表示するデータに対応する複数のＲＧＢ画像データを生成する。表示パネル５００は、例えば、複数のＲＧＢ画像データを受信し、撮像した被写体の画像を表示する。本実施形態では、距離情報は、例えば、距離信号を被写体と固体撮像装置の物理距離に変換した結果を示す情報であり、距離データとも呼ばれる。また、本実施形態では、距離マップは、例えば、距離情報（距離データ）を含み、距離情報（距離データ）を２次元に配置したマップである。
詳細は後述するが、画素値再構成回路２００は、複数の露光信号及び差分値を含む対数増幅された差分信号をデジタル化したデジタル露光信号を受信する。画素値再構成回路２００は、差分値を含む増幅信号をデジタル化したデジタル露光信号を逆対数変換し、差分値のデジタルデータを生成する。また、画素値再構成回路２００は、複数の露光信号及び差分値のデジタルデータを用いて、各画素に対応するデジタル画像データを生成する。距離計算回路３００は、差分値のデジタルデータ及び各画素に対応するデジタル画像データを受信し、エッジを検出し、距離情報を算出（生成）し、各画素と被写体との複数の距離情報を含む距離マップを生成する。ＩＳＰ４００は、デジタル画像データ及び距離信号を受信し、表示パネル５００に含まれる各画素の表示するデータに対応する複数のＲＧＢ画像データを生成する。表示パネル５００は、例えば、複数のＲＧＢ画像データを受信し、撮像した被写体の画像を表示する。本実施形態では、距離情報は、例えば、距離信号を被写体と固体撮像装置の物理距離に変換した結果を示す情報であり、距離データとも呼ばれる。また、本実施形態では、距離マップは、例えば、距離情報（距離データ）を含み、距離情報（距離データ）を２次元に配置したマップである。
【0057】
１－２－６．画素部１１０の切断構造
図６（Ａ）は本実施形態に係る画素部１１０の構成を示す平面図であり、図６（Ｂ）は本実施形態に係る画素部１１０のＡ１とＡ２に沿った切断部端面図である。本実施形態に係る画素部１１０の構成は図６（Ａ）及び図６（Ｂ）に示す構成に限定されない。図１～図５と同一、又は類似する構成の説明は、省略されることがある。
図６（Ａ）は本実施形態に係る画素部１１０の構成を示す平面図であり、図６（Ｂ）は本実施形態に係る画素部１１０のＡ１とＡ２に沿った切断部端面図である。本実施形態に係る画素部１１０の構成は図６（Ａ）及び図６（Ｂ）に示す構成に限定されない。図１～図５と同一、又は類似する構成の説明は、省略されることがある。
【0058】
図６（Ａ）に示すように、Ｇ画素２１３Ａ、Ｇ画素２１３Ｂ、Ｇ画素２１３Ｃ及びＧ画素２１３Ｄの４つの画素を含む１つのＧＲ画素ユニット１５３は、１つのマイクロレンズ６２を有する。すなわち、４つの画素ＰＸは、１つのオンチップレンズ（Ｏｎ Ｃｈｉｐ Ｌｅｎｓ、ＯＣＬ）を備える。１つのＧＲ画素ユニット１５３と同様に、Ｒ画素２０９Ａ、Ｒ画素２０９Ｂ、Ｒ画素２０９Ｃ及びＲ画素２０９Ｄの４つの画素を含む１つのＲ画素ユニット１５９、Ｂ画素２１２Ａ、Ｂ画素２１２Ｂ、Ｂ画素２１２Ｃ及びＢ画素２１２Ｄを含む１つのＢ画素ユニット１５２、Ｇ画素２１１Ａ、Ｇ画素２１１Ｂ、Ｇ画素２１１Ｃ及びＧ画素２１１Ｄを含む１つのＧＲ画素ユニット１５１も、それぞれのユニット（４つの画素）につき１つのオンチップレンズを有する。各ユニットは、２×２個の４つの画素と、１つのＯＣＬを有するため、本実施形態では、例えば、２×２ＯＣＬ、２×２ＯＣＬ構成と呼ぶ場合がある。
【0059】
図６（Ｂ）に示すように、本実施形態に係る固体撮像装置１０は、回路部３０、光電変換素子部４０、カラーフィルタ部５０、及び光学素子部６０を有する。本実施形態に係る固体撮像装置１０において、Ｘ方向の画素ピッチ及びＹ方向の画素ピッチは、ピッチＤ１である。
【0060】
回路部３０は、複数のスイッチ部３２を含む。また、回路部３０は、トランジスタ、容量素子、水平信号線、垂直信号線、トランジスタに電源を供給する電源線などを有する。
【0061】
光電変換素子部４０は複数の光電変換素子４２、及び複数の素子分離部４４を有する。光電変換素子部４０は、回路部３０の上に設けられる。複数の素子分離部４４は、例えば、無機素材、又は有機素材などの遮光、あるいは反射膜から構成される。複数の光電変換素子４２は、複数の素子分離部４４によって互いに分離される。光電変換素子４２は回路部３０に電気的に接続される。露光された光が光電変換素子４２によって光電変換され、光電変換された信号（露光信号）が、回路部３０に送信される。
【0062】
カラーフィルタ部５０は、例えば、赤色カラーフィルタ（図示は省略）、緑色カラーフィルタ５４、青色カラーフィルタ５２、及び遮光部５８を有する。カラーフィルタ部５０は、光電変換素子部４０の上に設けられる。遮光部５８は、例えば、アルミニウム、タングステン、銅、又は、それらを含む合金などを含む膜によって構成される。遮光部５８は、例えば、画素の境界の迷光を遮光する機能、隣接する画素の色に対応した光との混色を防止する機能などを有する。
【0063】
光学素子部６０は、カラーフィルタ部５０の上（Ｚ方向）に設けられる。光学素子部６０は、複数のマイクロレンズ６２を有する。
【0064】
Ｇ画素２１１Ａ（ＰＸ（２１１Ａ））は、スイッチ部３２、光電変換素子４２、緑色カラーフィルタ５４、及びマイクロレンズ６２を有する。Ｇ画素２１１Ａに隣接するＧ画素２１１Ｂ（ＰＸ（２１２Ｂ））は、スイッチ部３２、光電変換素子４２、緑色カラーフィルタ５４、及びマイクロレンズ６２を有する。
【0065】
１－２－７．固体撮像装置１０のシミュレーション結果
図７（Ａ）は本実施形態に係るイメージセンサを用いない固体撮像装置のシミュレーション結果を示す図であり、図７（Ｂ）は本実施形態に係るイメージセンサ１００を用いた固体撮像装置１０のシミュレーション結果を示す図である。
図７（Ａ）は本実施形態に係るイメージセンサを用いない固体撮像装置のシミュレーション結果を示す図であり、図７（Ｂ）は本実施形態に係るイメージセンサ１００を用いた固体撮像装置１０のシミュレーション結果を示す図である。
【0066】
表１は、本実施形態に係るイメージセンサを用いない固体撮像装置のシミュレーション結果と、本実施形態に係るイメージセンサ１００を用いた固体撮像装置１０のシミュレーション結果とを示す。表１は、絶対距離に対する、増幅回路有無における誤差の割合を示す。
【表1】
【0067】
表１に示すように、本実施形態に係るイメージセンサを用いない固体撮像装置のシミュレーション結果では、エッジコントラストが８００ＬＳＢに対して、差分値（増幅回路なし）から求めた距離の誤差の割合は０．０２％、エッジコントラストが８０ＬＳＢの時、差分値（増幅回路なし）から求めた距離の誤差の割合は０．２６％、エッジコントラストが感度４０ＬＳＢの時、差分値（増幅回路なし）から求めた距離の誤差の割合は０．６６％である。すなわち、表１及び図７（Ａ）に示すように、エッジコントラストが低下すると、差分値（増幅回路なし）から求めた距離の誤差の割合は大きくなる。
【0068】
一方、表１に示すように、本実施形態に係るイメージセンサ１００を用いた固体撮像装置１０のシミュレーション結果では、エッジコントラストが８００ＬＳＢに対して、差分値（増幅回路あり）から求めた距離の誤差の割合は０．０４％、エッジコントラストが８０ＬＳＢの時、差分値（増幅回路あり）から求めた距離の誤差の割合は０．０４％、エッジコントラストが感度４０ＬＳＢの時、差分値（増幅回路あり）から求めた距離の誤差の割合は０．０４％である。すなわち、エッジコントラストが低下しても、差分値（増幅回路あり）から求めた距離の誤差の低下は抑制される。
【0069】
１－３．固体撮像装置１０の駆動方法
図８は本実施形態に係る固体撮像装置１０の駆動方法を説明するためのフローチャート図であり、図９（Ａ）及び図９（Ｂ）は本実施形態に係る固体撮像装置１０の駆動方法を説明するための図であり、図１０（Ａ）及び図１０（Ｂ）は本実施形態に係る差分算出回路１３４の駆動方法を説明するための図である。本実施形態に係る固体撮像装置１０の駆動方法は図８～図１０（Ｂ）に示す構成に限定されない。図１～図７（Ｂ）と同一、又は類似する構成の説明は、省略されることがある。
図８は本実施形態に係る固体撮像装置１０の駆動方法を説明するためのフローチャート図であり、図９（Ａ）及び図９（Ｂ）は本実施形態に係る固体撮像装置１０の駆動方法を説明するための図であり、図１０（Ａ）及び図１０（Ｂ）は本実施形態に係る差分算出回路１３４の駆動方法を説明するための図である。本実施形態に係る固体撮像装置１０の駆動方法は図８～図１０（Ｂ）に示す構成に限定されない。図１～図７（Ｂ）と同一、又は類似する構成の説明は、省略されることがある。
【0070】
本実施形態に係る固体撮像装置１０の駆動方法では、Ｇ画素２１１Ａ、Ｇ画素２１１Ｂ、Ｇ画素２１１Ｃ及びＧ画素２１１Ｄを含むＧＢ画素ユニット１５１、Ｂ画素２１２Ａ、Ｂ画素２１２Ｂ、Ｂ画素２１２Ｃ及びＢ画素２１２Ｄを含むＢ画素ユニット１５２、Ｒ画素２０９Ａ、Ｒ画素２０９Ｂ、Ｒ画素２０９Ｃ及びＲ画素２０９Ｄを含むＲ画素ユニット１５９、Ｇ画素２１３Ａ、Ｇ画素２１３Ｂ、Ｇ画素２１３Ｃ及びＧ画素２１３Ｄを含むＧＲ画素ユニット１５３に対して、それぞれの画素ユニットにおける露光信号の差分値の算出が同時に実行される。それぞれの画素ユニットにおける露光信号の差分値の算出方法は、同様である。本実施形態に係る固体撮像装置１０の駆動方法の説明では、Ｇ画素２１３Ａ、Ｇ画素２１３Ｂ、Ｇ画素２１３Ｃ及びＧ画素２１３Ｄを含む１つのＧＲ画素ユニット１５３を例に、露光信号の差分値の算出を説明する。
【0071】
図９（Ａ）に示すように、本実施形態に係る固体撮像装置１０の駆動方法では、横に隣接する画素ＰＸ（Ｇ画素２１３Ａ）と画素ＰＸ（Ｇ画素２１３Ｂ）との露光信号の差分値、及び、縦に隣接する画素ＰＸ（Ｇ画素２１３Ａ）と画素ＰＸ（Ｇ画素２１３Ｃ）との露光信号の差分値を算出する。
【0072】
図８に示すように、固体撮像装置１０が駆動を開始すると、ステップ３１（Ｓ３１）において、固体撮像装置１０は被写体を露光する。ステップ３１（Ｓ３１）の駆動を説明する。
【0073】
制御回路１４０は、行選択走査回路１２０の行選択を制御するための信号を行選択走査回路１２０に送信し、スイッチ１３２ａ、スイッチ１３２ｂ、スイッチ１３２ｃ、スイッチ１３２ｄ、スイッチ１３６ａ、スイッチ１３６ｂ、スイッチ１３６ｃ、スイッチ１３６ｄ、スイッチ１３６ｅ及びスイッチ１３６ｆを制御する信号を読み出し回路１３０に送信する。これらの信号を用いて、スイッチ１３２ａは垂直信号線１７２を選択し、スイッチ１３２ｂは垂直信号線１７６を選択し、スイッチ１３２ｃは垂直信号線１８２を選択し、スイッチ１３２ｄは垂直信号線１８６を選択し、スイッチ１３６ａは第１の差分算出回路１３４ａａの出力端子Ｏを選択し、スイッチ１３６ｂは第２の差分算出回路１３４ａｂの出力端子Ｏを選択し、スイッチ１３６ｃは垂直信号線１７８を選択し、スイッチ１３６ｄは第１の差分算出回路１３４ｂａの出力端子Ｏを選択し、スイッチ１３６ｅは第２の差分算出回路１３４ｂｂの出力端子Ｏを選択し、スイッチ１３６ｆは垂直信号線１８８を選択する。
【0074】
図９（Ｂ）に示すように、行選択走査回路１２０の行選択を制御するための信号に基づき、行選択走査回路１２０が、第１の水平信号線１６２を選択すると、第１の水平信号線１６２に接続されたＧ画素２１３Ａに備えられた光電変換素子４２が露光される。Ｇ画素２１３Ａは、Ｇ画素２１３Ａに備えられた光電変換素子４２によって、露光された光の強度に基づき生成した電力に対応した第１の値を含む第１の露光信号ＵＬを生成する。第１の露光信号ＵＬは、Ｇ画素２１３Ａから、垂直信号線１７２、ＡＤ変換回路部１３８内のＡＤ変換回路１３８ａ、第１の差分算出回路１３４ａａの入力端子Ｌ及び第２の差分算出回路１３４ａｂの入力端子Ｌに送信される。行選択走査回路１２０の行選択を制御するための信号に基づき、行選択走査回路１２０が、第１の水平信号線１６２を選択すると、Ｇ画素２１３Ａと同様に、第１の水平信号線１６２に接続されたＧ画素２１３Ｂに備えられた光電変換素子４２が露光される。Ｇ画素２１３Ｂは、Ｇ画素２１３Ｂに備えられた光電変換素子４２によって、露光された光の強度に基づき生成した電力に対応した第３の値を含む第３の露光信号ＵＲを生成する。第３の露光信号ＵＲは、Ｇ画素２１３Ｂから、垂直信号線１７６及び第２の差分算出回路１３４ａｂの入力端子Ｒに送信される。
【0075】
図９（Ｂ）に示すように、行選択走査回路１２０の行選択を制御するための信号に基づき、行選択走査回路１２０が、第２の水平信号線１６４を選択すると、第２の水平信号線１６４に接続されたＧ画素２１３Ｃに備えられた光電変換素子４２が露光される。Ｇ画素２１３Ｃは、Ｇ画素２１３Ｃに備えられた光電変換素子４２によって、露光された光の強度に基づき生成した電力に対応した第２の値を含む第２の露光信号ＤＬを生成する。第２の露光信号ＤＬは、Ｇ画素２１３Ｃから、垂直信号線１７４及び第１の差分算出回路１３４ａａの入力端子Ｒに送信される。行選択走査回路１２０の行選択を制御するための信号に基づき、行選択走査回路１２０が、第２の水平信号線１６４を選択すると、Ｇ画素２１３Ｃと同様に、第２の水平信号線１６４に接続されたＧ画素２１３Ｄに備えられた光電変換素子４２が露光される。Ｇ画素２１３Ｄは、Ｇ画素２１３Ｄに備えられた光電変換素子４２によって、露光された光の強度に基づき生成した電力に対応した第４の値を含む第４の露光信号ＤＲを生成する。第４の露光信号ＤＲは、Ｇ画素２１３Ｄから、垂直信号線１７８及びＡＤ変換回路部１３８内のＡＤ変換回路１３８ｄに送信される。
【0076】
なお、第１の水平信号線１６２及び第２の水平信号線１６４の選択は同時に行われる。第１の水平信号線１６２及び第２の水平信号線１６４が選択された後に第３の水平信号線１６６及び第４の水平信号線１６８が選択されてもよく、第３の水平信号線１６６及び第４の水平信号線１６８が選択された後に第１の水平信号線１６２及び第２の水平信号線１６６が選択されてもよい。行の選択は、本実施形態に係る固体撮像装置１０の構成を逸脱しない範囲において、固体撮像装置１０の用途、仕様などに基づき、適宜決定されればよい。
【0077】
図８及び図９を用いて、ステップ３３（Ｓ３３）の駆動を説明する。ステップ３３（Ｓ３３）において、第１の差分算出回路１３４ａａは、第１の露光信号ＵＬ及び第２の露光信号ＤＬを受信する。第１の差分算出回路１３４ａａは第１の露光信号ＵＬから第２の露光信号ＤＬを減算した第１の差分信号（ＵＬ－ＤＬ）を生成し、第１の差分信号を増幅した第１の増幅信号を生成し、第１の増幅信号を出力端子Ｏに送信する。第１の差分信号は、第１の露光信号ＵＬから第２の露光信号ＤＬを減算した値（差分値Ｄ１）を含み、第１の増幅信号は、差分値Ｄ１を対数増幅した第１の増幅値を含む。例えば、差分値Ｄ１が電圧値の場合、第１の増幅値は電圧値を対数増幅した値である。
【0078】
第２の差分算出回路１３４ａｂは、第３の露光信号ＵＲ及び第１の露光信号ＵＬを受信する。第２の差分算出回路１３４ａｂは第１の露光信号ＵＬから第３の露光信号ＵＲを減算した第２の差分信号（ＵＬ－ＵＲ）を生成し、第２の差分信号を増幅した第２の増幅信号を生成し、第２の増幅信号を出力端子Ｏに送信する。第２の差分信号は、第１の露光信号ＵＬから第３の露光信号ＵＲを減算した値（差分値Ｄ２）を含み、第２の増幅信号は、差分値Ｄ２を対数増幅した第２の増幅値を含む。例えば、差分値Ｄ２が電圧値の場合、第２の増幅値は電圧値を対数増幅した値である。
【0079】
ＡＤ変換回路１３８は、受信した複数の露光信号及び増幅信号をデジタル露光信号に変換する。具体的には、ＡＤ変換回路１３８ａは第１の露光信号ＵＬを受信し、第１の露光信号ＵＬのデジタル値（第１のデジタルデータ）を含む第１のデジタル露光信号を生成し、ＡＤ変換回路１３８ｂは第１の増幅値を含む第１の増幅信号を受信し、第１の増幅値のデジタル値（第２のデジタルデータ）を含む第２のデジタル露光信号を生成し、ＡＤ変換回路１３８ｃは第２の増幅値を含む第２の増幅信号を受信し、第２の増幅値のデジタル値（第３のデジタルデータ）を含む第３のデジタル露光信号を生成し、ＡＤ変換回路１３８ｄは第４の露光信号ＤＲを受信し、第４の露光信号ＤＲのデジタル値（第４のデジタルデータ）を含む第４のデジタル露光信号を生成する。読み出し回路１３０は、第１のデジタル露光信号、第２のデジタル露光信号、第３のデジタル露光信号、及び第４のデジタル露光信号を読み出し、画素値再構成回路２００（図１）に送信する。本実施形態に係る固体撮像装置１０では、デジタル露光信号はイメージセンサ１００から出力される信号（出力データ）である。
【0080】
図１及び図８を用いて、ステップ３５（Ｓ３５）を説明する。図８に示すように、ステップ３５（Ｓ３５）において、画素値再構成回路２００（図１）は、第１のデジタル露光信号、第２のデジタル露光信号、第３のデジタル露光信号、及び第４のデジタル露光信号を受信する。画素値再構成回路２００は、第２のデジタル露光信号に含まれる第２のデジタルデータ、及び第３のデジタル露光信号に含まれる第３のデジタルデータを逆対数変換する。第２のデジタルデータは第１の増幅値のデジタル値であり、第１の増幅値は差分値Ｄ１を対数増幅した値であるから、逆対数変換された第２のデジタルデータは、例えば、差分値Ｄ１のデジタルデータとなる。同様にして、第３のデジタルデータは第２の増幅値のデジタル値であり、第２の増幅値は差分値Ｄ２を対数増幅した値であるから、逆対数変換された第３のデジタルデータは、例えば、差分値Ｄ２のデジタルデータとなる。すなわち、画素値再構成回路２００は、第２のデジタル露光信号に含まれる第２のデジタルデータ、及び第３のデジタル露光信号に含まれる第３のデジタルデータを逆対数変換し、差分値Ｄ１のデジタルデータ及び差分値Ｄ２のデジタルデータを生成する。
【0081】
さらに、画素値再構成回路２００（図１）は、第１の露光信号ＵＬのデジタル値（第１のデジタルデータ）、差分値Ｄ１のデジタルデータ、差分値Ｄ２のデジタルデータ、及び第４の露光信号ＤＲのデジタル値（第４のデジタルデータ）を用いて、デジタル値、第２の露光信号ＤＬのデジタル値、及び第３の露光信号ＵＲを生成する。画素値再構成回路２００（図１）は、デジタル画像データを、距離計算回路３００（図１）及びＩＳＰ４００（図１）に送信する。また、画素値再構成回路２００（図１）は、差分値Ｄ１のデジタルデータ、及び差分値Ｄ２のデジタルデータを距離計算回路３００に送信する。
【0082】
図１及び図８を用いて、ステップ３７（Ｓ３７）を説明する。図８に示すように、ステップ３７（Ｓ３７）において、距離計算回路３００（図１）は、デジタル画像データ、差分値Ｄ１のデジタルデータ、及び差分値Ｄ２のデジタルデータを受信する。
【0083】
距離計算回路３００は、デジタル画像データ、差分値Ｄ１のデジタルデータ、及び差分値Ｄ２のデジタルデータを用いて、画像中のエッジを検出し、行方向及び列方向エッジの距離情報を算出（生成）し、複数の距離情報を含む距離マップを生成する。距離計算回路３００は、生成した距離マップをＩＳＰ４００（図１）及び表示パネル５００（図１）に送信する。
【0084】
図１及び図８を用いて、ステップ３９（Ｓ３９）を説明する。図８に示すように、ステップ３９（Ｓ３９）において、ＩＳＰ４００（図１）は、デジタル画像データ、及び距離マップを受信する。ＩＳＰ４００は、デジタル画像データ、及び距離マップを用いて、撮像した被写体の画像データに対応した複数のＲＧＢ画像データを生成する。複数のＲＧＢ画像データは、表示パネル５００（図１）に含まれる各画素に表示されるデータに対応する。ＩＳＰ４００は、複数のＲＧＢ画像データを含む画像信号を表示パネル５００に送信する。
【0085】
本実施形態では、ＡＤ変換回路部１３８に含まれるＡＤ変換回路の個数を増やし、スイッチ１３６を設けずに、垂直信号線に送信された露光信号、差分算出回路１３４から出力される増幅信号がそれぞれ個別にＡＤ変換回路に送信されてもよい。以上の構成によって、第１のデジタル露光信号、第２のデジタル露光信号、第３のデジタル露光信号及び第４のデジタル露光信号を生成する際に、第２の露光信号ＤＬのデジタル値を含むデジタル露光信号、及び第３の露光信号ＵＲのデジタル値を含むデジタル露光信号を生成することができる。
【0086】
以上説明したように、本実施形態に係る固体撮像装置１０は、表示パネル５００に撮像した被写体の画像を表示することができる。本実施形態に係る固体撮像装置１０は、ＡＤ変換回路を用いて画像データをデジタル画像データに変換をする前に、増幅回路を用いてペア画素の露光信号の差分値を対数増幅することができる。その結果、ペア画素のそれぞれによって露光された被写体の距離信号成分の強度の低下を抑制し、高精度な距離測定可能な固体撮像装置、及び固体撮像装置の駆動方法を提供することができる。
【0087】
また、以上説明したように、本実施形態に係る固体撮像装置１０は、行方向に隣接する同色のペア画素を用いて行方向の距離信号を検出し、列方向に隣接する同色のペア画素を用いて列方向の距離信号を検出することができる。すなわち、複数の同色の画素において、行方向の距離信号と列方向の距離信号とを同時に算出することができる。画像に含まれるエッジの方向は、被写体に依存するため、一意に決まることはない。一方、本実施形態に係る固体撮像装置１０は、行方向、列方向の増幅信号を同時に算出できるため、エッジコントラストが小さい時に行方向の距離信号及び列方向の距離信号をより精度良く検出することができる。
【0088】
２．第２実施形態
第２実施形態では、第１実施形態で説明した固体撮像装置１０を用いて、第１実施形態で説明した駆動方法とは異なる駆動方法を説明する。図１０は本実施形態に係る固体撮像装置１０の駆動方法を説明するためのフローチャート図であり、図１１（Ａ）及び図１１（Ｂ）は本実施形態に係る固体撮像装置１０の駆動方法を説明するための図である。本実施形態に係る固体撮像装置１０の駆動方法は図１０、図１１（Ａ）及び図１１（Ｂ）に示す構成に限定されない。図１～図９と同一、又は類似する構成の説明は、省略されることがある。
第２実施形態では、第１実施形態で説明した固体撮像装置１０を用いて、第１実施形態で説明した駆動方法とは異なる駆動方法を説明する。図１０は本実施形態に係る固体撮像装置１０の駆動方法を説明するためのフローチャート図であり、図１１（Ａ）及び図１１（Ｂ）は本実施形態に係る固体撮像装置１０の駆動方法を説明するための図である。本実施形態に係る固体撮像装置１０の駆動方法は図１０、図１１（Ａ）及び図１１（Ｂ）に示す構成に限定されない。図１～図９と同一、又は類似する構成の説明は、省略されることがある。
【0089】
第２実施形態に係る固体撮像装置１０の駆動方法は、第１実施形態に係る固体撮像装置１０の駆動方法と同様に、ＧＢ画素ユニット１５１、Ｂ画素ユニット１５２、Ｒ画素ユニット１５９及びＧＲ画素ユニット１５３に対して、それぞれの画素ユニットにおける露光信号の差分値の算出方法は同様である。また、それぞれの画素ユニットにおける露光信号の差分値の算出は同時に実行される。本実施形態に係る固体撮像装置１０の駆動方法の説明では、ＧＲ画素ユニット１５３を例に、露光信号の差分値の算出を説明する。
【0090】
固体撮像装置１０は、例えば、画素毎に露光時間を変えることで、高いダイナミックレンジ（明暗比、照度比とも呼ばれる）が可能となる。本実施形態に係る固体撮像装置１０の駆動方法では、例えば、図１１（Ａ）に示すように、対角に位置する画素ＰＸ（Ｇ画素２１３Ｂ）及び画素ＰＸ（Ｇ画素２１３Ｃ）は、対角に位置する画素ＰＸ（Ｇ画素２１３Ａ）及び画素ＰＸ（Ｇ画素２１３Ｄ）よりも露光時間を長くする。図１１（Ａ）では、露光時間の長さは、長い（ｌｏｎｇ）又は短い（ｓｈｏｒｔ）と記す。対角に位置する画素ＰＸ（Ｇ画素２１３Ｂ）及び画素ＰＸ（Ｇ画素２１３Ｃ）では、露光時間が長く（ｌｏｎｇ）、対角に位置する画素ＰＸ（Ｇ画素２１３Ａ）及び画素ＰＸ（Ｇ画素２１３Ｄ）は露光時間が短い（ｓｈｏｒｔ）。本実施形態では、第１実施形態と同様に、一例として、増幅回路は対数アンプである。
【0091】
図１１（Ａ）に示すように、本実施形態に係る固体撮像装置１０の駆動方法では、対角に位置する画素ＰＸ（Ｇ画素２１３Ｂ）と画素ＰＸ（Ｇ画素２１３Ｃ）との露光信号の差分値、及び、対角に位置する画素ＰＸ（Ｇ画素２１３Ａ）と画素ＰＸ（Ｇ画素２１３Ｄ）との露光信号の差分値を算出する。本実施形態は、対角に位置する画素間で差分値を算出する点において、第１実施形態と異なり、それ以外の構成は第１実施形態と同様であるから、第１実施形態と同様の構成についての説明は省略する。
【0092】
図１０に示すように、固体撮像装置１０が駆動を開始すると、ステップ６１（Ｓ６１）において、固体撮像装置１０は被写体を露光する。ステップ６１（Ｓ６１）の駆動を説明する。
【0093】
制御回路１４０は、行選択走査回路１２０の行選択を制御するための信号を行選択走査回路１２０に送信し、スイッチ１３２ａ、スイッチ１３２ｂ、スイッチ１３２ｃ、スイッチ１３２ｄ、スイッチ１３６ａ、スイッチ１３６ｂ、スイッチ１３６ｃ、スイッチ１３６ｄ、スイッチ１３６ｅ及びスイッチ１３６ｆを制御する信号を読み出し回路１３０に送信する。これらの信号を用いて、スイッチ１３２ａは垂直信号線１７６を選択し、スイッチ１３２ｂは垂直信号線１７８を選択し、スイッチ１３２ｃは垂直信号線１８６を選択し、スイッチ１３２ｄは垂直信号線１８８を選択し、スイッチ１３６ａは第１の差分算出回路１３４ａａの出力端子Ｏを選択し、スイッチ１３６ｂは垂直信号線１７６を選択し、スイッチ１３６ｃは第２の差分算出回路１３４ａｂの出力端子Ｏを選択し、スイッチ１３６ｄは第１の差分算出回路１３４ｂａの出力端子Ｏを選択し、スイッチ１３６ｅは垂直信号線１８６を選択し、スイッチ１３６ｆは第２の差分算出回路１３４ｂｂの出力端子Ｏを選択する。
【0094】
図１１（Ｂ）に示すように、行選択走査回路１２０の行選択を制御するための信号に基づき、行選択走査回路１２０が、第１の水平信号線１６２を選択すると、第１の水平信号線１６２に接続されたＧ画素２１３Ａに備えられた光電変換素子４２が露光される。Ｇ画素２１１Ａは、Ｇ画素２１３Ａに備えられた光電変換素子４２によって、露光された光の強度に基づき生成した電力に対応した第１の値を含む第１の露光信号ＵＬを生成する。第１の露光信号ＵＬは、Ｇ画素２１３Ａから、垂直信号線１７２、ＡＤ変換回路１３８ａ及び第２の差分算出回路１３４ａｂの入力端子Ｌに送信される。行選択走査回路１２０の行選択を制御するための信号に基づき、行選択走査回路１２０が、第１の水平信号線１６２を選択すると、Ｇ画素２１３Ａと同様に、第１の水平信号線１６２に接続されたＧ画素２１３Ｂに備えられた光電変換素子４２が露光される。Ｇ画素２１３Ｂは、Ｇ画素２１３Ｂに備えられた光電変換素子４２によって、露光された光の強度に基づき生成した電力に対応した第３の値を含む第３の露光信号ＵＲを生成する。第３の露光信号ＵＲは、Ｇ画素２１３Ｂから、垂直信号線１７６、第１の差分算出回路１３４ａａの入力端子Ｒ及びＡＤ変換回路１３８ｃに送信される。
【0095】
図１１（Ｂ）に示すように、行選択走査回路１２０の行選択を制御するための信号に基づき、行選択走査回路１２０が、第２の水平信号線１６４を選択すると、第２の水平信号線１６４に接続されたＧ画素２１３Ｃに備えられた光電変換素子４２が露光される。Ｇ画素２１３Ｃは、Ｇ画素２１３Ｃに備えられた光電変換素子４２によって、露光された光の強度に基づき生成した電力に対応した第２の値を含む第２の露光信号ＤＬを生成する。第２の露光信号ＤＬは、Ｇ画素２１３Ｃから、垂直信号線１７４及び第１の差分算出回路１３４ａａの入力端子Ｒに送信される。行選択走査回路１２０の行選択を制御するための信号に基づき、行選択走査回路１２０が、第２の水平信号線１６４を選択すると、Ｇ画素２１３Ｃと同様に、第２の水平信号線１６４に接続されたＧ画素２１３Ｄに備えられた光電変換素子４２が露光される。Ｇ画素２１３Ｄは、Ｇ画素２１３Ｄに備えられた光電変換素子４２によって、露光された光の強度に基づき生成した電力に対応した第４の値を含む第４の露光信号ＤＲを生成する。第４の露光信号ＤＲは、Ｇ画素２１３Ｄから、垂直信号線１７８及び第２の差分算出回路１３４ａｂの入力端子Ｒに送信される。
【0096】
なお、第１実施形態と同様に本実施形態においても、第１の水平信号線１６２及び第２の水平信号線１６４の選択は同時に行われる。第１の水平信号線１６２および第２の水平信号線１６４が選択された後に第３の水平信号線１６６及び第４の水平信号１６８が選択されてもよく、第３の水平信号線１６６及び第４の水平信号線１６８が選択された後に第１の水平信号線１６２及び第２の水平信号線１６４が選択されてもよい。行の選択は、本実施形態に係る固体撮像装置１０の構成を逸脱しない範囲において、固体撮像装置１０の用途、仕様などに基づき、適宜決定されればよい。
【0097】
第１の差分算出回路１３４ａａは、第２の露光信号ＤＬ及び第３の露光信号ＵＲを受信する。第１の差分算出回路１３４ａａは、第３の露光信号ＵＲから第２の露光信号ＤＬを減算した第３の差分信号（ＵＲ－ＤＬ）を生成し、第３の差分信号を増幅した第３の増幅信号を生成し、第３の増幅信号を出力端子Ｏに送信する。第３の差分信号は、第３の露光信号ＵＲから第２の露光信号ＤＬを減算した値（差分値Ｄ３）を含み、第３の増幅信号は、差分値Ｄ３を対数増幅した第３の増幅値を含む。例えば、差分値Ｄ３が電圧値の場合、第３の増幅値は電圧値を対数増幅した値である。
【0098】
第２の差分算出回路１３４ａｂは、第１の露光信号ＵＬ及び第４の露光信号ＤＲを受信する。第２の差分算出回路１３４ａｂは、第１の露光信号ＵＬから第４の露光信号ＤＲを減算した第４の差分信号（ＵＬ－ＤＲ）を生成し、第４の差分信号を増幅した第４の増幅信号を生成し、第４の増幅信号を出力端子Ｏに送信する。第４の差分信号は、第１の露光信号ＵＬから第４の露光信号ＤＲを減算した値（差分値Ｄ４）を含み、第４の増幅信号は、差分値Ｄ４を対数増幅した第４の増幅値を含む。例えば、差分値Ｄ４が電圧値の場合、第３の増幅値は電圧値を対数増幅した値である。
【0099】
ＡＤ変換回路１３８は、受信した複数の露光信号及び増幅信号をデジタル露光信号に変換する。具体的には、ＡＤ変換回路１３８ａは第１の露光信号ＵＬを受信し、第１の露光信号ＵＬのデジタル値（第１のデジタルデータ）を含む第１のデジタル露光信号を生成し、ＡＤ変換回路１３８ｂは第３の増幅値を含む第３の増幅信号を受信し、第３の増幅値のデジタル値（第５のデジタルデータ）を含む第５のデジタル露光信号を生成し、ＡＤ変換回路１３８ｃは第３の露光信号ＵＲのデジタル値（第６のデジタルデータ）を含む第６のデジタル露光信号を生成し、ＡＤ変換回路１３８ｄは、第４の増幅値を含む第４の増幅信号を受信し、第４の増幅値のデジタル値（第７のデジタルデータ）を含む第７のデジタル露光信号を生成する。読み出し回路１３０は、第１のデジタル露光信号、第５のデジタル露光信号、第６のデジタル露光信号、及び第７のデジタル露光信号を読み出し、画素値再構成回路２００（図１）に送信する。第１実施形態と同様に、第２実施形態においても、デジタル露光信号はイメージセンサ１００から出力される信号（出力データ）である。
【0100】
図１及び図１０を用いて、ステップ６５（Ｓ６５）を説明する。図１０に示すように、ステップ６５（Ｓ６５）において、画素値再構成回路２００（図１）は、第１のデジタル露光信号、第５のデジタル露光信号、第６のデジタル露光信号、及び第７のデジタル露光信号を受信する。画素値再構成回路２００は、第５のデジタル露光信号に含まれる第５のデジタルデータ、及び第７のデジタル露光信号に含まれる第７のデジタルデータを逆対数変換する。第５のデジタルデータは第３の増幅値のデジタル値であり、第３の増幅値は差分値Ｄ３を対数増幅した値であるから、逆対数変換された第５のデジタルデータは、例えば、差分値Ｄ３のデジタルデータとなる。同様にして、第７のデジタルデータは第４の増幅値のデジタル値であり、第４の増幅値は差分値Ｄ４を対数増幅した値であるから、逆対数変換された第７のデジタルデータは、例えば、差分値Ｄ４のデジタルデータとなる。すなわち、画素値再構成回路２００は、第５のデジタル露光信号に含まれる第５のデジタルデータ、及び第７のデジタル露光信号に含まれる第７のデジタルデータを逆対数変換し、差分値Ｄ３のデジタルデータ及び差分値Ｄ４のデジタルデータを生成する。
【0101】
さらに、画素値再構成回路２００（図１）は、第１の露光信号ＵＬのデジタル値（第１のデジタルデータ）、差分値Ｄ３のデジタルデータ、第３の露光信号ＵＲのデジタル値（第６のデジタルデータ）、及び差分値Ｄ４のデジタルデータを用いて、第２の露光信号ＤＬのデジタル値、及び第４の露光信号ＤＲのデジタル値を生成する。画素値再構成回路２００（図１）は、デジタル画像データを、距離計算回路３００（図１）及びＩＳＰ４００（図１）に送信する。また、画素値再構成回路２００（図１）は、差分値Ｄ３のデジタルデータ、及び差分値Ｄ４のデジタルデータを距離計算回路３００に送信する。
【0102】
図１及び図１０を用いて、ステップ６７（Ｓ６７）を説明する。図１０に示すように、ステップ６７（Ｓ６７）において、距離計算回路３００（図１）は、デジタル画像データ、差分値Ｄ３のデジタルデータ、及び差分値Ｄ４のデジタルデータを受信する。
【0103】
距離計算回路３００は、デジタル画像データ、差分値Ｄ３のデジタルデータ、及び差分値Ｄ４のデジタルデータを用いて、画像中のエッジを検出し、行方向及び列方向エッジの距離情報を算出（生成）し、複数の距離情報を含む距離マップを生成する。距離計算回路３００は、生成した距離マップをＩＳＰ４００（図１）及び表示パネル５００（図１）に送信する。
【0104】
【0105】
本実施形態では、ＡＤ変換回路部１３８に含まれるＡＤ変換回路の個数を増やし、スイッチ１３６を設けずに、垂直信号線に送信された露光信号、差分算出回路１３４から出力される増幅信号がそれぞれ個別にＡＤ変換回路に送信されてもよい。以上の構成によって、第１のデジタル露光信号、第２のデジタル露光信号、第３のデジタル露光信号及び第４のデジタル露光信号を生成する際に、第２の露光信号ＤＬのデジタル値を含むデジタル露光信号、及び第４の露光信号ＤＲのデジタル値を含むデジタル露光信号を生成することができる。
【0106】
以上説明したように、本実施形態に係る固体撮像装置１０は、ＡＤ変換回路を用いて画像データをデジタル画像データに変換をする前に、増幅回路を用いて互いに対角に位置する露光時間が同じ画素の露光信号の差分値を対数増幅することができる。その結果、高いダイナミックレンジの実現とペア画素のそれぞれによって露光された被写体の距離信号成分の強度の低下を抑制可能な固体撮像装置、及び固体撮像装置の駆動方法を提供することができる。
【0107】
３．第３実施形態
第３実施形態では、固体撮像装置１０の他の構成を説明する。図１２は本実施形態に係るイメージセンサ１００Ｂの構成を示す平面図である。図１３（Ａ）は本実施形態に係る画素部１１０ｂの構成を示す平面図であり、図１３（Ｂ）は本実施形態に係る画素部１１０ｂのＥ１とＥ２に沿った切断部端面図であり、図１４は本実施形態に係る固体撮像装置１０の駆動方法を説明するためのフローチャート図であり、図１５（Ａ）及び図１５（Ｂ）は本実施形態に係る固体撮像装置１０の駆動方法を説明するための図である。本実施形態に係る固体撮像装置１０の構成は図１２～図１５に示す構成に限定されない。図１～図１１と同一、又は類似する構成の説明は、省略されることがある。
第３実施形態では、固体撮像装置１０の他の構成を説明する。図１２は本実施形態に係るイメージセンサ１００Ｂの構成を示す平面図である。図１３（Ａ）は本実施形態に係る画素部１１０ｂの構成を示す平面図であり、図１３（Ｂ）は本実施形態に係る画素部１１０ｂのＥ１とＥ２に沿った切断部端面図であり、図１４は本実施形態に係る固体撮像装置１０の駆動方法を説明するためのフローチャート図であり、図１５（Ａ）及び図１５（Ｂ）は本実施形態に係る固体撮像装置１０の駆動方法を説明するための図である。本実施形態に係る固体撮像装置１０の構成は図１２～図１５に示す構成に限定されない。図１～図１１と同一、又は類似する構成の説明は、省略されることがある。
【0108】
３－１．イメージセンサ１００Ｂの構成
図１２に示すように、イメージセンサ１００Ｂは、画素部１１０ｂ、行選択走査回路１２０ｂ、読み出し回路１３０ｂ、及び制御回路１４０ｂを有する。
図１２に示すように、イメージセンサ１００Ｂは、画素部１１０ｂ、行選択走査回路１２０ｂ、読み出し回路１３０ｂ、及び制御回路１４０ｂを有する。
【0109】
３－２．画素部１１０ｂの構成
図１２に示すように、画素部１１０ｂの画素ＰＸは、行（ロウ）方向と列（カラム）方向（Ｙ行Ｘ列）のマトリクス状に配置される。ここで、Ｙ及びＸはそれぞれ独立に設定される正の自然数である。画素ＰＸは、例えば、Ｒ画素２０９、Ｇ画素２１１、Ｂ画素２１２及びＧ画素２１３に分類される。Ｒ画素２０９は赤色カラーフィルタを有する画素ＰＸである。Ｇ画素２１１はＢ画素２１２を有する行に設けられ、緑色カラーフィルタを有する画素ＰＸである。Ｂ画素２１２は青色カラーフィルタを有する画素ＰＸである。Ｇ画素２１３はＲ画素２０９を有する行に設けられ、緑色カラーフィルタを有する画素ＰＸである。Ｒ画素２０９、Ｇ画素２１１、Ｂ画素２１２及びＧ画素２１３をまとめて１つの画素ユニット１５０とすると、画素ユニット１５０が、マトリクス状に配置される。図１２に示す画素の配置は、ベイヤー（Ｂａｙｅｒ）配列、ベイヤー配置などと呼ばれる。
図１２に示すように、画素部１１０ｂの画素ＰＸは、行（ロウ）方向と列（カラム）方向（Ｙ行Ｘ列）のマトリクス状に配置される。ここで、Ｙ及びＸはそれぞれ独立に設定される正の自然数である。画素ＰＸは、例えば、Ｒ画素２０９、Ｇ画素２１１、Ｂ画素２１２及びＧ画素２１３に分類される。Ｒ画素２０９は赤色カラーフィルタを有する画素ＰＸである。Ｇ画素２１１はＢ画素２１２を有する行に設けられ、緑色カラーフィルタを有する画素ＰＸである。Ｂ画素２１２は青色カラーフィルタを有する画素ＰＸである。Ｇ画素２１３はＲ画素２０９を有する行に設けられ、緑色カラーフィルタを有する画素ＰＸである。Ｒ画素２０９、Ｇ画素２１１、Ｂ画素２１２及びＧ画素２１３をまとめて１つの画素ユニット１５０とすると、画素ユニット１５０が、マトリクス状に配置される。図１２に示す画素の配置は、ベイヤー（Ｂａｙｅｒ）配列、ベイヤー配置などと呼ばれる。
【0110】
画素部１１０ｂにおいて、１行目に設けられる複数の画素ＰＸは、Ｇ画素２１３とＲ画素２０９とが交互に配置される。２行目に設けられる複数の画素ＰＸは、Ｂ画素２１２とＧ画素２１１とが交互に配置される。１列目に設けられる複数の画素ＰＸは、Ｇ画素２１３とＢ画素２１２とが交互に配置される。２列目に設けられる複数の画素ＰＸは、Ｒ画素２０９とＧ画素２１１とが交互に配置される。画素部１１０ｂは、１行目と２行目の画素ＰＸの配置が行方向に繰り返された配置を有し、１列目と２列目の画素ＰＸの配置が列方向に繰り返された配置を有する。本実施形態においても、第１実施形態と同様に、各画素ＰＸは光電変換素子４２を有する。
【0111】
３－３．制御回路１４０ｂ、行選択走査回路１２０ｂ及び読み出し回路１３０ｂの構成
図１２に示すように、制御回路１４０ｂは、行選択走査回路１２０ｂ及び読み出し回路１３０ｂに接続する。制御回路１４０ｂは、行選択走査回路１２０ｂの行選択を制御するための信号を行選択走査回路１２０ｂに送信し、スイッチ１３６ｇを制御する信号、及びＡＤ変換回路部１３８を制御する信号を読み出し回路１３０ｂに送信する。
図１２に示すように、制御回路１４０ｂは、行選択走査回路１２０ｂ及び読み出し回路１３０ｂに接続する。制御回路１４０ｂは、行選択走査回路１２０ｂの行選択を制御するための信号を行選択走査回路１２０ｂに送信し、スイッチ１３６ｇを制御する信号、及びＡＤ変換回路部１３８を制御する信号を読み出し回路１３０ｂに送信する。
【0112】
図１２に示すように、行選択走査回路１２０ｂは、例えば、第１の水平信号線１６２、及び第２の水平信号線１６４に接続する。第１の水平信号線１６２はＧ画素２１３及びＲ画素２０９に接続され、第２の水平信号線１６４はＢ画素２１２及びＧ画素２１１に接続される。
【0113】
図１２に示すように、読み出し回路１３０ｂは、第３の差分算出回路１３４ｃ、ＡＤ変換回路部１３８、及び第３の差分算出回路１３４ｃとＡＤ変換回路部１３８とを接続する複数のスイッチ１３６ｅを有する。読み出し回路１３０ｂは、複数の垂直信号線、及び画素値再構成回路２００に接続する。垂直信号線１７２ｂはＧ画素２１３、第３の差分算出回路１３４ｃの入力端子Ｌ、及びＡＤ変換回路１３８ａに接続する。垂直信号線１７４ｂはＢ画素２１２に接続する。垂直信号線１７６ｂはＲ画素２０９に接続する。垂直信号線１７８ｂはＧ画素２１１、及び第３の差分算出回路１３４ｃの入力端子Ｒに接続する。
【0114】
スイッチ１３６ｇの第１の端子は、第３の差分算出回路１３４ｃの出力端子Ｏ、または垂直信号線１７８ｂに接続し、スイッチ１３６ｇの第２の端子は、ＡＤ変換回路１３８ｄに接続する。スイッチ１３６ｇは、スイッチ１３６ｇを制御する信号、及びＡＤ変換回路部１３８を制御する信号を用いて、第３の差分算出回路１３４ｃの出力端子Ｏ、または垂直信号線１７８ｂの何れかを選択し、選択した信号線をＡＤ変換回路１３８ｄに導通させる。
【0115】
読み出し回路１３０ｂは、以上説明した垂直信号線１７２ｂ～１７８ｂに係る構成が、Ｘ方向に対して繰り返された構成を有する。
【0116】
上述した制御回路１４０ｂは、行選択走査回路１２０ｂ及び読み出し回路１３０ｂ以外の構成は、第１実施形態及び第２実施形態において説明した制御回路１４０、行選択走査回路１２０及び読み出し回路１３０と同様の構成を有するため、ここでの説明は省略する。第１実施形態及び第２実施形態と同様に、第３実施形態では、読み出し回路１３０ｂは処理回路とも呼ばれる。
【0117】
３－４．画素部１１０ｂの切断構造
図１３（Ａ）に示すように、マイクロレンズ６２が、Ｇ画素２１１、Ｒ画素２０９、Ｂ画素２１２及びＧ画素２１３の４つの画素のそれぞれに対して設けられる。すなわち、４つの画素ＰＸのそれぞれが、１つのオンチップレンズを備える。透過型回折格子６４はマイクロレンズ６２の上（Ｚ方向）に設けられる。透過型回折格子６４は、Ｘ方向に対して、Ｇ画素２１１に設けられるマイクロレンズ６２の半分、Ｒ画素２０９に設けられるマイクロレンズ６２の半分、Ｂ画素２１２に設けられるマイクロレンズ６２の半分、及びＧ画素２１３に設けられるマイクロレンズ６２の半分に重畳する。図１３（Ａ）に示す透過型回折格子６４の構成は一例であって、透過型回折格子６４の構成は図１３（Ａ）に示される構成に限定されない。第３実施形態は、４つの画素ＰＸのそれぞれが、１つのオンチップレンズを備える点において、第１実施形態と異なり、それ以外の構成は第１実施形態と同様であるから、ここでは説明を省略する。
図１３（Ａ）に示すように、マイクロレンズ６２が、Ｇ画素２１１、Ｒ画素２０９、Ｂ画素２１２及びＧ画素２１３の４つの画素のそれぞれに対して設けられる。すなわち、４つの画素ＰＸのそれぞれが、１つのオンチップレンズを備える。透過型回折格子６４はマイクロレンズ６２の上（Ｚ方向）に設けられる。透過型回折格子６４は、Ｘ方向に対して、Ｇ画素２１１に設けられるマイクロレンズ６２の半分、Ｒ画素２０９に設けられるマイクロレンズ６２の半分、Ｂ画素２１２に設けられるマイクロレンズ６２の半分、及びＧ画素２１３に設けられるマイクロレンズ６２の半分に重畳する。図１３（Ａ）に示す透過型回折格子６４の構成は一例であって、透過型回折格子６４の構成は図１３（Ａ）に示される構成に限定されない。第３実施形態は、４つの画素ＰＸのそれぞれが、１つのオンチップレンズを備える点において、第１実施形態と異なり、それ以外の構成は第１実施形態と同様であるから、ここでは説明を省略する。
【0118】
図１３（Ｂ）に示すように、Ｇ画素２１３（ＰＸ（Ｇ２１３））は、スイッチ部３２、光電変換素子４２、緑色カラーフィルタ５４、マイクロレンズ６２、透過型回折格子６４、及び構造体６６を有する。Ｇ画素２１３に隣接するＲ画素２０９（ＰＸ（Ｒ２０９））は、スイッチ部３２、光電変換素子４２、青色カラーフィルタ５２、マイクロレンズ６２、透過型回折格子６４を有する。
【0119】
３－５．固体撮像装置１０の駆動方法
図１５（Ａ）に示すように、第３実施形態に係る固体撮像装置１０の駆動方法では、対角に位置する画素ＰＸ（Ｇ画素２１３）と画素ＰＸ（Ｇ画素２１１）との露光信号の差分値を算出する。
図１５（Ａ）に示すように、第３実施形態に係る固体撮像装置１０の駆動方法では、対角に位置する画素ＰＸ（Ｇ画素２１３）と画素ＰＸ（Ｇ画素２１１）との露光信号の差分値を算出する。
【0120】
図１４に示すように、固体撮像装置１０が駆動を開始すると、ステップ８１（Ｓ８１）において、固体撮像装置１０は被写体を露光する。ステップ８１（Ｓ８１）の駆動を説明する。
【0121】
制御回路１４０ｂは、行選択走査回路１２０の行選択を制御するための信号を行選択走査回路１２０ｂに送信し、スイッチ１３６ｇを制御する信号、及びＡＤ変換回路部１３８を制御する信号を読み出し回路１３０ｂに送信する。スイッチ１３６ｇを制御する信号、及びＡＤ変換回路部１３８を制御する信号を用いて、スイッチ１３６ｇの第１の端子は第３の差分算出回路１３４ｃの出力端子Ｏに接続され、スイッチ１３６ｇの第２の端子はＡＤ変換回路１３８ｄに接続される。
【0122】
図１５（Ｂ）に示すように、行選択走査回路１２０ｂの行選択を制御するための信号に基づき、行選択走査回路１２０ｂが、第１の水平信号線１６２ｂを選択すると、第１の水平信号線１６２ｂに接続されたＧ画素２１１に備えられた光電変換素子４２が露光される。Ｇ画素２１３は、Ｇ画素２１３に備えられた光電変換素子４２によって、露光された光の強度に基づき生成した電力に対応した露光信号ＧＲを生成する。露光信号ＧＲは、Ｇ画素２１３から、垂直信号線１７２及びＡＤ変換回路１３８ａに送信される。行選択走査回路１２０ｂの行選択を制御するための信号に基づき、行選択走査回路１２０ｂが、第１の水平信号線１６２ｂを選択すると、Ｇ画素２１３と同様に、第１の水平信号線１６２に接続されたＲ画素２０９に備えられた光電変換素子４２が露光される。Ｒ画素２０９は、Ｒ画素２０９に備えられた光電変換素子４２によって、露光された光の強度に基づき生成した電力に対応した露光信号Ｒを生成する。露光信号Ｒは、Ｒ画素２０９から、垂直信号線１７６ｂ及びＡＤ変換回路１３８ｃに送信される。
【0123】
図１５（Ｂ）に示すように、行選択走査回路１２０ｂの行選択を制御するための信号に基づき、行選択走査回路１２０ｂが、第２の水平信号線１６４ｂを選択すると、第２の水平信号線１６４ｂに接続されたＢ画素２１２に備えられた光電変換素子４２が露光される。Ｂ画素２１２は、Ｂ画素２１２に備えられた光電変換素子４２によって、露光された光の強度に基づき生成した電力に対応した露光信号Ｒを生成する。露光信号Ｂは、Ｂ画素２１２から、垂直信号線１７４ｂ及びＡＤ変換回路１３８ｂに送信される。行選択走査回路１２０ｂの行選択を制御するための信号に基づき、行選択走査回路１２０ｂが、第２の水平信号線１６４ｂを選択すると、Ｂ画素２１２と同様に、第２の水平信号線１６４ｂに接続されたＧ画素２１１に備えられた光電変換素子４２が露光される。Ｇ画素２１１は、Ｇ画素２１１に備えられた光電変換素子４２によって、露光された光の強度に基づき生成した電力に対応した露光信号ＧＢを生成する。露光信号ＧＢは、Ｇ画素２１１から、垂直信号線１７８ｂ及び第３の差分算出回路１３４ｃの入力端子Ｒに送信される。
【0124】
なお、第１実施形態及び第２実施形態と同様に第３実施形態においても、第１の水平信号線１６２ｂ及び第２の水平信号線１６４ｂの選択は同時に行われる。第１の水平信号線１６２ｂ及び第２の水平信号線１６４ｂが選択された後に第３の水平信号線１６６ｂ及び第４の水平信号線１６８ｂが選択されてもよく、第３の水平信号線１６６ｂ及び第４の水平信号線１６８ｂが選択された後に第１の水平信号線１６２ｂ及び第２の水平信号線１６４ｂが選択されてもよい。行の選択は、本実施形態に係る固体撮像装置１０の構成を逸脱しない範囲において、固体撮像装置１０の用途、仕様などに基づき、適宜決定されればよい。
【0125】
図１４及び図１５（Ｂ）を用いて、ステップ８３（Ｓ８３）の駆動を説明する。ステップ８３（Ｓ８３）において、第３の差分算出回路１３４ｃは、露光信号ＧＲ及び露光信号ＧＢを受信する。第３の差分算出回路１３４ｃは、露光信号ＧＲから露光信号ＧＢを減算した５の差分信号（ＧＲ－ＧＢ）を生成し、第５の差分信号を増幅した第５の増幅信号を生成し、第５の増幅信号を出力端子Ｏに送信する。第５の差分信号は、露光信号ＧＲから露光信号ＧＢを減算した値（差分値Ｄ５）を含み、第５の増幅信号は、差分値Ｄ５を対数増幅した第５の増幅値を含む。例えば、差分値Ｄ５が電圧値の場合、第５の増幅値は電圧値を対数増幅した値である。
【0126】
読み出し回路１３０ｂは、受信した複数の露光信号及び増幅信号をデジタル露光信号に変換する。さらに、読み出し回路１３０ｂは、デジタル露光信号を画素値再構成回路２００（図１）に送信する。具体的には、ＡＤ変換回路１３８ａは露光信号ＧＲを受信し、露光信号ＧＲのデジタル値（第８のデジタルデータ）を含む第８のデジタル露光信号を生成し、ＡＤ変換回路１３８ｂは露光信号Ｂを受信し、露光信号Ｂのデジタル値（第９のデジタルデータ）を含む第９のデジタル露光信号を生成し、ＡＤ変換回路１３８ｃは露光信号Ｒのデジタル値（第１０のデジタルデータ）を含む第１０のデジタル露光信号を生成し、ＡＤ変換回路１３８ｄは、第５の増幅値を含む第５の増幅信号を受信し、第５の増幅値のデジタル値（第１１のデジタルデータ）を含む第１１のデジタル露光信号を生成する。読み出し回路１３０は、第８のデジタル露光信号、第９のデジタル露光信号、第１０のデジタル露光信号、及び第１１のデジタル露光信号を読み出し、画素値再構成回路２００（図１）に送信する。第１実施形態及び第２実施形態と同様に、第３実施形態においても、デジタル露光信号はイメージセンサ１００から出力される信号（出力データ）である。
【0127】
図１及び図１４を用いて、ステップ８５（Ｓ８５）を説明する。図１４に示すように、ステップ８５（Ｓ８５）において、画素値再構成回路２００（図１）は、第８のデジタル露光信号、第９のデジタル露光信号、第１０のデジタル露光信号、及び第１１のデジタル露光信号を受信する。画素値再構成回路２００は、第１１のデジタル露光信号に含まれる第１１のデジタルデータを逆対数変換する。第１１のデジタルデータは第５の増幅値のデジタル値であり、第５の増幅値は差分値Ｄ５を対数増幅した値であるから、逆対数変換された第１１のデジタルデータは、例えば、差分値Ｄ５のデジタルデータとなる。画素値再構成回路２００は、第１１のデジタル露光信号に含まれる第１１のデジタルデータを逆対数変換し、差分値Ｄ５のデジタルデータを生成する。
【0128】
さらに、画素値再構成回路２００（図１）は、露光信号ＧＲのデジタル値（第８のデジタルデータ）、露光信号Ｂのデジタル値（第９のデジタルデータ）、露光信号Ｒのデジタル値（第１０のデジタルデータ）、及び差分値Ｄ５のデジタルデータを用いて、Ｇ画素２１１に対応するデジタル画像データ、Ｒ画素２０９に対応するデジタル画像データ、Ｂ画素２１２に対応するデジタル画像データ、及びＧ画素２１３に対応するデジタル画像データを生成する。画素値再構成回路２００（図１）は、Ｇ画素２１１に対応するデジタル画像データ、Ｒ画素２０９に対応するデジタル画像データ、Ｂ画素２１２に対応するデジタル画像データ、及びＧ画素２１３に対応するデジタル画像データを、距離計算回路３００（図１）及びＩＳＰ４００（図１）に送信する。また、画素値再構成回路２００（図１）は、差分値Ｄ５のデジタルデータを距離計算回路３００に送信する。
【0129】
図１及び図１４を用いて、ステップ８７（Ｓ８７）を説明する。図１４に示すように、ステップ９５（Ｓ８７）において、距離計算回路３００（図１）は、デジタル画像データ、及び差分値Ｄ５のデジタルデータを受信する。また、距離計算回路３００は、デジタル画像データ、及び差分値Ｄ５のデジタルデータを用いて、画像中のエッジを検出し、行方向及び列方向エッジの距離情報を算出（生成）し、距離情報を含む距離マップを生成する。距離計算回路３００は、生成した距離マップをＩＳＰ４００（図１）及び表示パネル５００（図１）に送信する。
【0130】
図１及び図１４を用いて、ステップ８９（Ｓ８９）を説明する。図１４に示すように、ステップ８９（Ｓ８９）において、ＩＳＰ４００（図１）は、Ｇ画素２１１に対応するデジタル画像データ、Ｒ画素２０９に対応するデジタル画像データ、Ｂ画素２１２に対応するデジタル画像データ、Ｇ画素２１３に対応するデジタル画像データ、及び距離マップを受信する。ＩＳＰ４００は、Ｇ画素２１１に対応するデジタル画像データ、Ｒ画素２０９に対応するデジタル画像データ、Ｂ画素２１２に対応するデジタル画像データ、Ｇ画素２１３に対応するデジタル画像データ、及び距離マップを用いて、撮像した被写体の画像データに対応した複数のＲＧＢ画像データを生成する。複数のＲＧＢ画像データは、表示パネル５００（図１）に含まれる各画素に表示されるデータに対応する。ＩＳＰ４００は、複数のＲＧＢ画像データを含む画像信号を表示パネル５００に送信する。
【0131】
以上説明したように、本実施形態に係る固体撮像装置１０は、互いに対角に位置する画素の露光信号の差分値を対数増幅したデータを用いて、距離情報を生成することができる。その結果、回折格子の向きに依存することなく、ペア画素のそれぞれによって露光された被写体の距離信号成分の強度の低下を抑制可能な固体撮像装置、及び固体撮像装置の駆動方法を提供することができる。
【0132】
４．第４実施形態
第４実施形態では、固体撮像装置１０の他の構成を説明する。図１６は本実施形態に係るイメージセンサ１００Ｃの構成を示す平面図である。図１７は本実施形態に係る画素部１１０ｃの構成を示す平面図であり、図１８（Ａ）及び図１８（Ｂ）は本実施形態に係る固体撮像装置１０の駆動方法を説明するための図である。本実施形態に係る固体撮像装置１０の構成は図１６～図１８（Ｂ）に示す構成に限定されない。図１～図１５（Ｂ）と同一、又は類似する構成の説明は、省略されることがある。
第４実施形態では、固体撮像装置１０の他の構成を説明する。図１６は本実施形態に係るイメージセンサ１００Ｃの構成を示す平面図である。図１７は本実施形態に係る画素部１１０ｃの構成を示す平面図であり、図１８（Ａ）及び図１８（Ｂ）は本実施形態に係る固体撮像装置１０の駆動方法を説明するための図である。本実施形態に係る固体撮像装置１０の構成は図１６～図１８（Ｂ）に示す構成に限定されない。図１～図１５（Ｂ）と同一、又は類似する構成の説明は、省略されることがある。
【0133】
４－１．イメージセンサ１００Ｃの構成
図１６に示すように、イメージセンサ１００Ｃは、画素部１１０ｃ、行選択走査回路１２０ｃ、読み出し回路１３０ｃ、及び制御回路１４０ｃを有する。
図１６に示すように、イメージセンサ１００Ｃは、画素部１１０ｃ、行選択走査回路１２０ｃ、読み出し回路１３０ｃ、及び制御回路１４０ｃを有する。
【0134】
４－２．画素部１１０ｃの構成
図１６に示すように、画素部１１０ｃの画素ＰＸは、行（ロウ）方向と列（カラム）方向（Ｙ行Ｘ列）のマトリクス状に配置される。ここで、Ｙ及びＸはそれぞれ独立に設定される正の自然数である。画素ＰＸは、例えば、Ｒ画素２０９Ｅ、Ｒ画素２０９Ｆ、Ｇ画素２１１Ｅ、Ｇ画素２１１Ｆ、Ｂ画素２１２Ｅ、Ｂ画素２１２Ｆ、Ｇ画素２１３Ｅ及びＧ画素２１３Ｆに分類される。Ｒ画素２０９Ｅ及びＲ画素２０９Ｆは赤色カラーフィルタを有する画素ＰＸである。Ｇ画素２１３Ｅ及びＧ画素２１３ＦはＲ画素２０９Ｅ及びＲ画素２０９Ｆを有する行に設けられ、緑色カラーフィルタを有する画素ＰＸである。Ｂ画素２１２Ｅ及びＢ画素２１２Ｆは青色カラーフィルタを有する画素ＰＸである。Ｇ画素２１１Ｅ及びＧ画素２１１ＦはＢ画素２１２Ｅ及びＢ画素２１２Ｆを有する行に設けられ、緑色カラーフィルタを有する画素ＰＸである。本実施形態では、例えば、Ｒ画素２０９Ｅ及びＲ画素２０９Ｆの２つの画素を１つのＲ画素ユニットとし、Ｇ画素２１１Ｅ及びＧ画素２１１Ｆの２つの画素を１つのＧＢ画素ユニットとし、Ｂ画素２１２Ｅ及びＢ画素２１２Ｆを１つのＢ画素ユニットとし、Ｇ画素２１３Ｅ及びＧ画素２１３Ｆを１つのＧＲ画素ユニットとする。各ユニットは、例えば、２×１の画素構成とよも呼ばれる。Ｒ画素ユニット、ＧＲ画素ユニット、Ｂ画素ユニット及びＧＢ画素ユニットをまとめて１つのブロックとすると、１つのブロックが、マトリクス状に配置される。
図１６に示すように、画素部１１０ｃの画素ＰＸは、行（ロウ）方向と列（カラム）方向（Ｙ行Ｘ列）のマトリクス状に配置される。ここで、Ｙ及びＸはそれぞれ独立に設定される正の自然数である。画素ＰＸは、例えば、Ｒ画素２０９Ｅ、Ｒ画素２０９Ｆ、Ｇ画素２１１Ｅ、Ｇ画素２１１Ｆ、Ｂ画素２１２Ｅ、Ｂ画素２１２Ｆ、Ｇ画素２１３Ｅ及びＧ画素２１３Ｆに分類される。Ｒ画素２０９Ｅ及びＲ画素２０９Ｆは赤色カラーフィルタを有する画素ＰＸである。Ｇ画素２１３Ｅ及びＧ画素２１３ＦはＲ画素２０９Ｅ及びＲ画素２０９Ｆを有する行に設けられ、緑色カラーフィルタを有する画素ＰＸである。Ｂ画素２１２Ｅ及びＢ画素２１２Ｆは青色カラーフィルタを有する画素ＰＸである。Ｇ画素２１１Ｅ及びＧ画素２１１ＦはＢ画素２１２Ｅ及びＢ画素２１２Ｆを有する行に設けられ、緑色カラーフィルタを有する画素ＰＸである。本実施形態では、例えば、Ｒ画素２０９Ｅ及びＲ画素２０９Ｆの２つの画素を１つのＲ画素ユニットとし、Ｇ画素２１１Ｅ及びＧ画素２１１Ｆの２つの画素を１つのＧＢ画素ユニットとし、Ｂ画素２１２Ｅ及びＢ画素２１２Ｆを１つのＢ画素ユニットとし、Ｇ画素２１３Ｅ及びＧ画素２１３Ｆを１つのＧＲ画素ユニットとする。各ユニットは、例えば、２×１の画素構成とよも呼ばれる。Ｒ画素ユニット、ＧＲ画素ユニット、Ｂ画素ユニット及びＧＢ画素ユニットをまとめて１つのブロックとすると、１つのブロックが、マトリクス状に配置される。
【0135】
画素部１１０ｃにおいて、１行目に設けられる複数の画素ＰＸは、Ｇ画素２１３Ｅ、Ｇ画素２１３Ｆ、Ｒ画素２０９Ｅ及びＲ画素２０９Ｆを第９の組とすると、第９の組がＸ方向に配置される。２行目に設けられる複数の画素ＰＸは、Ｂ画素２１２Ｅ、Ｂ画素２１２Ｆ、Ｇ画素２１１Ｅ及びＧ画素２１１Ｆを第１０の組とすると、第１０の組がＸ方向に配置される。１列目に設けられる複数の画素ＰＸは、Ｇ画素２１３Ｅ、及びＢ画素２１２Ｅを第１１の組とすると、第１１の組がＹ方向に配置される。２列目に設けられる複数の画素ＰＸは、Ｇ画素２１３Ｆ、及びＢ画素２１２Ｆを第１２の組とすると、第１２の組がＹ方向に配置される。３列目に設けられる複数の画素ＰＸは、Ｒ画素２０９Ｅ、及びＧ画素２１１Ｅを第１３の組とすると、第１３の組がＹ方向に配置される。４列目に設けられる複数の画素ＰＸは、Ｒ画素２０９Ｆ、及びＧ画素２１１Ｆを第１４の組とすると、第１４の組がＹ方向に配置される。本実施形態においても、第１実施形態及び第２実施形態と同様に、各画素ＰＸは光電変換素子４２を有する。
【0136】
４－３．制御回路１４０ｃ、行選択走査回路１２０ｃ及び読み出し回路１３０ｃの構成
図１６に示すように、制御回路１４０ｃは、行選択走査回路１２０ｃ及び読み出し回路１３０ｃに接続する。制御回路１４０ｃは、行選択走査回路１２０ｃの行選択を制御するための信号を行選択走査回路１２０ｃに送信し、スイッチ１３６ｈを制御する信号、及びＡＤ変換回路部１３８を制御する信号を読み出し回路１３０ｃに送信する。
図１６に示すように、制御回路１４０ｃは、行選択走査回路１２０ｃ及び読み出し回路１３０ｃに接続する。制御回路１４０ｃは、行選択走査回路１２０ｃの行選択を制御するための信号を行選択走査回路１２０ｃに送信し、スイッチ１３６ｈを制御する信号、及びＡＤ変換回路部１３８を制御する信号を読み出し回路１３０ｃに送信する。
【0137】
行選択走査回路１２０ｃは、例えば、第１の水平信号線１６２ｃ、及び第２の水平信号線１６４ｃに接続する。第１の水平信号線１６２ｃはＧ画素２１３Ｅ、Ｇ画素２１３Ｆ、Ｒ画素２０９Ｅ及びＲ画素２０９Ｆに接続され、第２の水平信号線１６４ｃはＢ画素２１２Ｅ、Ｂ画素２１２Ｆ、Ｇ画素２１１Ｅ及びＧ画素２１１Ｆに接続される。
【0138】
読み出し回路１３０ｃは、第４の差分算出回路１３４ｄ、第４の差分算出回路１３４ｅ、ＡＤ変換回路部１３８、スイッチ１３６ｈ、及びスイッチ１３６ｉを有する。
【0139】
読み出し回路１３０ｃは、複数の垂直信号線、及び画素値再構成回路２００に接続する。垂直信号線１７２ｃはＧ画素２１３Ｅ、Ｂ画素２１２Ｅ、第４の差分算出回路１３４ｄの入力端子Ｌ、及びＡＤ変換回路１３８ａに接続する。垂直信号線１７４ｃはＧ画素２１１Ｆ、Ｂ画素２１２Ｆ、第４の差分算出回路１３４ｄの入力端子Ｒ、及びＡＤ変換回路１３８ｂに接続する。垂直信号線１７６ｃはＲ画素２０９Ｅ、Ｇ画素２１１Ｅ、第４の差分算出回路１３４ｅの入力端子Ｌ、及びＡＤ変換回路１３８ｃに接続する。垂直信号線１７８ｃはＲ画素２０９Ｆ、Ｇ画素２１１Ｆ、第４の差分算出回路１３４ｅの入力端子Ｒ、及びＡＤ変換回路１３８ｄに接続する。
【0140】
スイッチ１３６ｈの第１の端子は、第４の差分算出回路１３４ｄの出力端子Ｏ、または垂直信号線１７４ｃに接続し、スイッチ１３６ｈの第２の端子は、ＡＤ変換回路１３８ｂに接続する。スイッチ１３６ｈは、スイッチ１３６ｈを制御する信号、及びＡＤ変換回路部１３８を制御する信号を用いて、第４の差分算出回路１３４ｄの出力端子Ｏ、または垂直信号線１７４ｃの何れかを選択し、選択した信号線をＡＤ変換回路１３８ｂに導通させる。
【0141】
スイッチ１３６ｉの第１の端子は、第４の差分算出回路１３４ｅの出力端子Ｏ、及び垂直信号線１７８ｃに接続し、スイッチ１３６ｉの第２の端子は、ＡＤ変換回路１３８ｄに接続する。スイッチ１３６ｉは、スイッチ１３６ｉを制御する信号、及びＡＤ変換回路部１３８を制御する信号を用いて、第４の差分算出回路１３４ｅの出力端子Ｏ、または垂直信号線１７８ｃの何れかを選択し、選択した信号線をＡＤ変換回路１３８ｄに導通させる。
【0142】
読み出し回路１３０ｃは、以上説明した垂直信号線１７２ｃ～１７８ｃに係る構成が、Ｘ方向に対して繰り返された構成を有する。
【0143】
上述した制御回路１４０ｃは、行選択走査回路１２０ｃ及び読み出し回路１３０ｃ以外の構成は、第１実施形態及び第２実施形態において説明した制御回路１４０、行選択走査回路１２０及び読み出し回路１３０と同様の構成を有するため、ここでの説明は省略する。第１実施形態及び第２実施形態と同様に、第４実施形態では、読み出し回路１３０ｃは処理回路とも呼ばれる。
【0144】
４－４．画素部１１０ｃの切断構造
図１７に示すように、１つのマイクロレンズ６２が、Ｇ画素２１３Ｅ及びＧ画素２１３Ｆの２つの画素に対して設けられる。すなわち、２つの画素ＰＸが１つのオンチップレンズを備える。Ｇ画素２１３Ｅ及びＧ画素２１３Ｆと同様に、Ｒ画素２０９Ｅ及びＲ画素２０９Ｆの２つの画素が１つのオンチップレンズを備え、Ｂ画素２１１Ｅ及びＢ画素２１１Ｆの２つの画素が１つのオンチップレンズを備え、Ｇ画素２１１Ｅ及びＧ画素２１１Ｆの２つの画素が１つのオンチップレンズを備える。画素部１１０ｃのＡ１とＡ２に沿った切断部端面図は、図６（Ｂ）に示す切断部端面図と同様である。各画素は、２×１個の２つの画素と、１つのＯＣＬを有するため、本実施形態では、例えば、２×１ＯＣＬ、２×１ＯＣＬ構成と呼ぶ場合がある。
図１７に示すように、１つのマイクロレンズ６２が、Ｇ画素２１３Ｅ及びＧ画素２１３Ｆの２つの画素に対して設けられる。すなわち、２つの画素ＰＸが１つのオンチップレンズを備える。Ｇ画素２１３Ｅ及びＧ画素２１３Ｆと同様に、Ｒ画素２０９Ｅ及びＲ画素２０９Ｆの２つの画素が１つのオンチップレンズを備え、Ｂ画素２１１Ｅ及びＢ画素２１１Ｆの２つの画素が１つのオンチップレンズを備え、Ｇ画素２１１Ｅ及びＧ画素２１１Ｆの２つの画素が１つのオンチップレンズを備える。画素部１１０ｃのＡ１とＡ２に沿った切断部端面図は、図６（Ｂ）に示す切断部端面図と同様である。各画素は、２×１個の２つの画素と、１つのＯＣＬを有するため、本実施形態では、例えば、２×１ＯＣＬ、２×１ＯＣＬ構成と呼ぶ場合がある。
【0145】
４－５．固体撮像装置１０の駆動方法
【0146】
図１８（Ａ）に示すように、本実施形態に係る固体撮像装置１０の駆動方法では、横に隣接する画素ＰＸ（Ｇ画素２１３Ｅ）と画素ＰＸ（Ｇ画素２１３Ｆ）との露光信号の差分値を算出する。本実施形態に係る固体撮像装置１０の駆動方法は、図１４に示すフローチャート図において、差分値Ｄ５及び第５の増幅値を、差分値Ｄ６及び第６の増幅値に置き換えたフローチャート図を用いることができる。本実施形態に係る固体撮像装置１０の駆動方法は、差分値Ｄ５及び第５の増幅値を、差分値Ｄ６及び第６の増幅値に置き換えた以外は、図１４に示すフローチャート図と同様であるから、図１４に示すフローチャート図と同一、又は類似する構成の説明は、省略される。
【0147】
第４実施形態に係る固体撮像装置１０の駆動方法においても、それぞれの画素ユニットにおける露光信号の差分値の算出方法は同様である。また、それぞれの画素ユニットにおける露光信号の差分値の算出は同時に実行される。第４実施形態に係る固体撮像装置１０の駆動方法の説明では、ＧＲ画素ユニットを例に、露光信号の差分値の算出を説明する。
【0148】
図１４に示すように、固体撮像装置１０が駆動を開始すると、ステップ８１（Ｓ８１）において、固体撮像装置１０は被写体を露光する。ステップ８１（Ｓ８１）では、制御回路１４０ｃは、行選択走査回路１２０ｃの行選択を制御するための信号を行選択走査回路１２０ｃに送信し、スイッチ１３６ｈ及びスイッチ１３６ｉを制御する信号、及びＡＤ変換回路部１３８を制御する信号を読み出し回路１３０ｃに送信する。スイッチ１３６ｈ及びスイッチ１３６ｉを制御する信号、及びＡＤ変換回路部１３８を制御する信号を用いて、スイッチ１３６ｈは第４の差分算出回路１３４ｄの出力端子Ｏを選択し、スイッチ１３６ｉは第４の差分算出回路１３４ｅの出力端子Ｏを選択する。
【0149】
図１８（Ｂ）に示すように、行選択走査回路１２０ｃの行選択を制御するための信号に基づき、行選択走査回路１２０ｃが、第１の水平信号線１６２ｂを選択すると、第１の水平信号線１６２ｂに接続されたＧ画素２１３Ｅに備えられた光電変換素子４２が露光される。Ｇ画素２１３Ｅは、Ｇ画素２１３Ｅに備えられた光電変換素子４２によって、露光された光の強度に基づき生成した電力に対応した第５の値を含む露光信号Ｌを生成する。露光信号Ｌは、Ｇ画素２１３Ｅから、垂直信号線１７２ｃ、ＡＤ変換回路部１３８内のＡＤ変換回路１３８ａ、及び第４の差分算出回路１３４ｄの入力端子Ｌに送信される。Ｇ画素２１３Ｅと同様に、第１の水平信号線１６２ｂに接続されたＧ画素２１３Ｆに備えられた光電変換素子４２が露光される。Ｇ画素２１３Ｆは、Ｇ画素２１３Ｆに備えられた光電変換素子４２によって、露光された光の強度に基づき生成した電力に対応した第６の値を含む露光信号Ｒを生成する。露光信号Ｒは、Ｇ画素２１３Ｆから、垂直信号線１７４ｃ及び第４の差分算出回路１３４ｄの入力端子Ｒに送信される。
【0150】
なお、第４実施形態においては、第１の水平信号線１６２ｃ及び第２の水平信号線１６４ｃの選択は同時に行われてよく、第１の水平信号線１６２ｃが選択された後に第２の水平信号線１６４ｃが選択されてもよく、第２の水平信号線１６４ｃが選択された後に第１の水平信号線１６２ｃが選択されてもよい。行の選択は、本実施形態に係る固体撮像装置１０の構成を逸脱しない範囲において、固体撮像装置１０の用途、仕様などに基づき、適宜決定されればよい。
【0151】
第４の差分算出回路１３４ｄは、露光信号Ｒ及び露光信号Ｌを受信する。第４の差分算出回路１３４ｄは、露光信号Ｌから露光信号Ｒを減算した第６の差分信号（Ｌ－Ｒ）を生成し、第６の差分信号を増幅した第６の増幅信号を生成し、第６の増幅信号を出力端子Ｏに送信する。第６の差分信号は、露光信号Ｌから露光信号Ｒを減算した値（差分値Ｄ６）を含み、第６の増幅信号は、差分値Ｄ６を対数増幅した第６の増幅値を含む。例えば、差分値Ｄ６が電圧値の場合、第２の増幅値は電圧値を対数増幅した値である。
【0152】
読み出し回路１３０ｃは、受信した複数の露光信号及び増幅信号をデジタル露光信号に変換する。さらに、読み出し回路１３０ｃは、デジタル露光信号を画素値再構成回路２００（図１）に送信する。具体的には、ＡＤ変換回路１３８ａは露光信号Ｌを受信し、露光信号Ｌのデジタル値（第１２のデジタルデータ）を含む第１２のデジタル露光信号を生成し、ＡＤ変換回路１３８ｂは、第６の増幅値を含む第６の増幅信号を受信し、第６の増幅値のデジタル値（第１３のデジタルデータ）を含む第１３のデジタル露光信号を生成する。読み出し回路１３０ｃは、第１２のデジタル露光信号、及び第１３のデジタル露光信号を読み出し、画素値再構成回路２００（図１）に送信する。第１実施形態～第３実施形態と同様に、第４実施形態においても、デジタル露光信号はイメージセンサ１００から出力される信号（出力データ）である。
【0153】
図１及び図１４を用いて、ステップ８５（Ｓ８５）を説明する。図１４に示すように、ステップ８５（Ｓ８５）において、画素値再構成回路２００（図１）は、第１２のデジタル露光信号、及び第１３のデジタル露光信号を受信する。画素値再構成回路２００は、第１３のデジタル露光信号に含まれる第１３のデジタルデータを逆対数変換する。第１３のデジタルデータは第６の増幅値のデジタル値であり、第６の増幅値は差分値Ｄ６を対数増幅した値であるから、逆対数変換された第１３のデジタルデータは、例えば、差分値Ｄ６のデジタルデータとなる。画素値再構成回路２００は、第１３のデジタル露光信号に含まれる第１４のデジタルデータを逆対数変換し、差分値Ｄ６のデジタルデータを生成する。
【0154】
さらに、画素値再構成回路２００（図１）は、露光信号Ｌのデジタル値（第１２のデジタルデータ）、及び差分値Ｄ６のデジタルデータを用いて、露光信号Ｒのデジタル値を生成する。画素値再構成回路２００（図１）は、デジタル画像データを、距離計算回路３００（図１）及びＩＳＰ４００（図１）に送信する。また、画素値再構成回路２００（図１）は、差分値Ｄ６のデジタルデータを距離計算回路３００に送信する。
【0155】
図１及び図１４を用いて、ステップ８７（Ｓ８７）を説明する。図１４に示すように、ステップ８７（Ｓ８７）において、距離計算回路３００（図１）は、デジタル画像データ及び差分値Ｄ６のデジタルデータを受信する。また、距離計算回路３００は、デジタル画像データ及び差分値Ｄ６のデジタルデータを用いて、エッジを検出し、エッジの距離情報を算出（生成）し、距離情報を含む距離マップを生成する。距離計算回路３００は、生成した距離マップをＩＳＰ４００（図１）及び表示パネル５００（図１）に送信する。
【0156】
次に、図１及び図１４を用いて、ステップ８９（Ｓ８９）を説明する。図１４に示すように、ステップ８９（Ｓ８９）において、ＩＳＰ４００（図１）は、デジタル画像データ、及び距離マップを受信する。ＩＳＰ４００は、各画像データ及び距離マップを用いて、撮像した被写体の画像データに対応した複数のＲＧＢ画像データを生成する。複数のＲＧＢ画像データは、表示パネル５００（図１）に含まれる各画素に表示されるデータに対応する。ＩＳＰ４００は、複数のＲＧＢ画像データを含む画像信号を表示パネル５００に送信する。
【0157】
以上説明したように、本実施形態に係る固体撮像装置１０は、２×１ＯＣＬ構造を用いて、行方向に隣接する同色のペア画素を用いて行方向の距離信号を検出することができる。すなわち、複数の同色の画素において、行方向の距離信号を同時に算出することができる。
【0158】
以上、本発明について図面を参照しながら説明したが、本発明は上記の実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、各実施形態の固体撮像装置を基にして、当業者が適宜構成要素の追加、削除または設計変更を行ったものも、本発明の要旨を備えている限り、本発明の範囲に含まれる。さらに、上述した各実施形態は、相互に矛盾がない限り適宜組み合わせが可能であり、各実施形態に共通する技術事項については、明示の記載がなくても各実施形態に含まれる。
【0159】
また、上述した各実施形態の態様によりもたらされる作用効果とは異なる他の作用効果であっても、本明細書の記載から明らかなもの、又は、当業者において容易に予測し得るものについては、当然に本発明によりもたらされるものと解される。
【符号の説明】
【0160】
１０：固体撮像装置、３０：回路部、３２：スイッチ部、４０：光電変換素子部、４２：光電変換素子、４４：素子分離部、５０：カラーフィルタ部、５２：青色カラーフィルタ、５４：緑色カラーフィルタ、５８：遮光部、６０：光学素子部、６２：マイクロレンズ、６４：透過型回折格子、１００：イメージセンサ、１００Ｂ：イメージセンサ、１００Ｃ：イメージセンサ、１１０：画素部、１１０ｂ：画素部、１１０ｃ：画素部、１２０：行選択走査回路、１２０ｂ：行選択走査回路、１２０ｃ：行選択走査回路、１３０：読み出し回路、１３０ｂ：読み出し回路、１３０ｃ：読み出し回路、１３２：スイッチ、１３２ａ：スイッチ、１３２ｂ：スイッチ、１３２ｃ：スイッチ、１３２ｄ：スイッチ、１３４：差分算出回路、１３４ａ：第１の差分算出回路、１３４ａａ：第１の差分算出回路、１３４ａｂ：第２の差分算出回路、１３４ｂ：第２の差分算出回路、１３４ｂａ：第１の差分算出回路、１３４ｂｂ：第２の差分算出回路、１３４ｃ：第３の差分算出回路、１３４ｄ：第４の差分算出回路、１３４ｅ：第４の差分算出回路、１３６：スイッチ、１３６ａ：スイッチ、１３６ｂ：スイッチ、１３６ｃ：スイッチ、１３６ｄ：スイッチ、１３６ｅ：スイッチ、１３６ｆ：スイッチ、１３６ｇ：スイッチ、１３６ｈ：スイッチ、１３６ｉ：スイッチ、１３８：ＡＤ変換回路部、１３８ａ：ＡＤ変換回路、１３８ｂ：ＡＤ変換回路、１３８ｃ：ＡＤ変換回路、１３８ｄ：ＡＤ変換回路、１３８ｅ：ＡＤ変換回路、１３８ｆ：ＡＤ変換回路、１３８ｇ：ＡＤ変換回路、１３８ｈ：ＡＤ変換回路、１４０：制御回路、１４０ｂ：制御回路、１４０ｃ：制御回路、１５１：ＧＢ画素ユニット、１５２：Ｂ画素ユニット、１５３：ＧＲ画素ユニット、１５９：Ｒ画素ユニット、１６２：第１の水平信号線、１６２ｂ：第１の水平信号線、１６２ｃ：第１の水平信号線、１６４：第２の水平信号線、１６４ｂ：第２の水平信号線、１６４ｃ：第２の水平信号線、１６６：第３の水平信号線、１６６ｂ：第３の水平信号線、１６８：第４の水平信号線、１６８ｂ：第４の水平信号線、１７２：垂直信号線、１７２ｂ：垂直信号線、１７２ｃ：垂直信号線、１７４：垂直信号線、１７４ｂ：垂直信号線、１７４ｃ：垂直信号線、１７６：垂直信号線、１７６ｂ：垂直信号線、１７６ｃ：垂直信号線、１７８：垂直信号線、１７８ｂ：垂直信号線、１７８ｃ：垂直信号線、１８２：垂直信号線、１８４：垂直信号線、１８６：垂直信号線、１８８：垂直信号線、２００：画素値再構成回路、２０９Ａ：画素、２０９Ｂ：画素、２０９Ｃ：画素、２０９Ｄ：画素、２０９Ｅ：画素、２０９Ｆ：画素、２１１：画素、２１１Ａ：画素、２１１Ｂ：画素、２１１Ｃ：画素、２１１Ｄ：画素、２１１Ｅ：画素、２１１Ｆ：画素、２１２：画素、２１２Ａ：画素、２１２Ｂ：画素、２１２Ｃ：画素、２１２Ｄ：画素、２１２Ｅ：画素、２１２Ｆ：画素、２１３：画素、２１３Ａ：画素、２１３Ｂ：画素、２１３Ｃ：画素、２１３Ｄ：画素、２１３Ｅ：画素、２１３Ｆ：画素、３００：距離計算回路、４００：イメージシグナルプロセッサ（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ、ＩＳＰ）、５００：表示パネル、６００：減算回路、６００ａ：減算回路、６００ｂ：減算回路、６００ｃ：減算回路、６００ｄ：減算回路、６０２：増幅回路、６０２ａ：増幅回路、６０２ｂ：増幅回路、６０２ｃ：増幅回路、６０２ｄ：増幅回路
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】