2024-160740 撮像装置および撮像素子

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024160740

(43)【公開日】2024-11-15

(54)【発明の名称】撮像装置および撮像素子

(51)【国際特許分類】

   H04N 23/56 20230101AFI20241108BHJP

   H04N 25/53 20230101ALI20241108BHJP

   H04N 23/73 20230101ALI20241108BHJP

   H04N 23/54 20230101ALI20241108BHJP

   G03B 15/00 20210101ALI20241108BHJP

   G03B 15/02 20210101ALI20241108BHJP

   G02B 7/32 20210101ALI20241108BHJP

   G01C 3/06 20060101ALI20241108BHJP

   G01S 7/4863 20200101ALI20241108BHJP

【ＦＩ】

H04N23/56

H04N25/53

H04N23/73

H04N23/54

G03B15/00 Q

G03B15/02

G02B7/32

G01C3/06 120Q

G01C3/06 140

G01S7/4863

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023075991

(22)【出願日】2023-05-02

(71)【出願人】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】110001678

【氏名又は名称】藤央弁理士法人

(72)【発明者】

【氏名】米持 元

【テーマコード（参考）】

2F112

2H151

5C024

5C122

5J084

【Ｆターム（参考）】

2F112AA09

2F112AD01

2F112BA06

2F112CA12

2F112DA24

2F112DA28

2F112EA05

2F112FA45

2F112GA01

2H151CC05

5C024AX02

5C024CX65

5C024CY17

5C024GX03

5C024GX16

5C024GX18

5C024GY31

5C024HX50

5C122DA13

5C122EA59

5C122EA68

5C122FA06

5C122FC06

5C122FC07

5C122GG01

5C122GG28

5C122HB02

5C122HB05

5J084AA05

5J084AD01

5J084BA01

5J084BA13

5J084BA36

5J084BA40

5J084CA03

5J084CA20

5J084CA67

5J084EA04

(57)【要約】

【課題】測距精度の向上と演算コストおよび処理時間の低減化を図ること。
【解決手段】撮像装置は、第１期間と前記第１期間よりも短い第２期間とで発光パターンが異なる複数のパターン光を含む構造光を照射する光源と、前記光源から前記構造光が照射された結果入射されてくる入射光を電荷に変換する光電変換部を含む１以上の画素を有する画素部と、前記画素から読み出された画素信号に基づいて、前記光電変換部で電荷を蓄積する蓄積時間を前記第１期間または前記第２期間に制御する露光制御部と、を有する。
【選択図】図５

【特許請求の範囲】

【請求項1】

第１期間と前記第１期間よりも短い第２期間とで発光パターンが異なる複数のパターン光を含む構造光を照射する光源と、
前記光源から前記構造光が照射された結果入射されてくる入射光を電荷に変換する光電変換部を含む１以上の画素を有する画素部と、
前記画素から読み出された画素信号に基づいて、前記光電変換部で電荷を蓄積する蓄積時間を前記第１期間または前記第２期間に制御する露光制御部と、
を有する撮像装置。

【請求項2】

請求項１に記載の撮像装置であって、
前記画素部の前記光電変換部は、前記露光制御部によって制御された蓄積時間で、前記光源から前記構造光が照射された結果入射されてくる入射光を電荷に変換する、
撮像装置。

【請求項3】

請求項１に記載の撮像装置であって、
前記画素部および前記露光制御部を含む撮像素子を有する、
撮像装置。

【請求項4】

請求項１に記載の撮像装置であって、
前記構造光は、第１発光パターンを有する第１パターン光と、第２発光パターンを有する第２パターン光と、第３発光パターンを有する第３パターン光と、第４発光パターンを有する第４パターン光と、を含み、
前記第１期間では、前記第１パターン光および前記第２パターン光は、前記第３パターン光および前記第４パターン光よりも暗い光になり、
前記第２期間では、前記第１パターン光および前記第３パターン光は、前記第２パターン光および前記第４パターン光よりも暗い光になる、
撮像装置。

【請求項5】

請求項１に記載の撮像装置であって、
前記第１期間における前記複数のパターン光の空間分布と前記第２期間における前記複数のパターン光の空間分布とは相似形である、
撮像装置。

【請求項6】

請求項１に記載の撮像装置であって、
前記構造光の照射タイミングと前記画素での前記入射光の受光タイミングとに基づいて、特定の被写体を検出する検出部を有し、
前記露光制御部は、前記検出部によって検出された前記特定の被写体の領域内の前記画素による前記蓄積時間を前記第２期間に設定し、前記特定の被写体の領域外の前記画素による前記蓄積時間を前記第１期間に設定する、
撮像装置。

【請求項7】

請求項６に記載の撮像装置であって、
前記画素部は、前記第１期間で光電変換を行った画素群の各々からの画素信号の一部を間引きして出力する、
撮像装置。

【請求項8】

第１期間と前記第１期間よりも短い第２期間とで発光パターンが異なる複数のパターン光を含む構造光を照射する光源から前記構造光が照射された結果入射されてくる入射光を電荷に変換する光電変換部を含む１以上の画素を有する画素部と、
前記画素から読み出された画素信号に基づいて、前記光電変換部で電荷を蓄積する蓄積時間を前記第１期間または前記第２期間に制御する露光制御部と、
を有する撮像素子。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置および撮像素子に関する。

【背景技術】

【0002】

複数のカメラモジュールを備えた撮像装置が知られている（例えば、特許文献１）。従来より、測距性能の精度向上が求められている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００７－２９５１１３号公報

【発明の概要】

【0004】

第１開示技術の撮像装置は、第１期間と前記第１期間よりも短い第２期間とで発光パターンが異なる複数のパターン光を含む構造光を照射する光源と、前記光源から前記構造光が照射された結果入射されてくる入射光を電荷に変換する光電変換部を含む１以上の画素を有する画素部と、前記画素から読み出された画素信号に基づいて、前記光電変換部で電荷を蓄積する蓄積時間を前記第１期間または前記第２期間に制御する露光制御部と、を有する。

【0005】

第２開示技術の撮像素子は、第１期間と前記第１期間よりも短い第２期間とで発光パターンが異なる複数のパターン光を含む構造光を照射する光源から前記構造光が照射された結果入射されてくる入射光を電荷に変換する光電変換部を含む１以上の画素を有する画素部と、前記画素から読み出された画素信号に基づいて、前記光電変換部で電荷を蓄積する蓄積時間を前記第１期間または前記第２期間に制御する露光制御部と、を有する。

【図面の簡単な説明】

【0006】

【図1】図１は、構造光測距例を示す説明図である。

【図2】図２は、構造光の投影パターンの分離例を示す説明図である。

【図3】図３は、露光時間が１ｍｓｅｃである場合の構造光の投影パターンの時間変調による分離例を示す説明図である。

【図4】図４は、露光時間が１／２ｍｓｅｃである場合の構造光の投影パターンの時間変調による分離例を示す説明図である。

【図5】図５は、実施例１にかかる撮像装置の構成例を示すブロック図である。

【図6】図６は、画素ブロックおよび制御ブロックの一例を示す説明図である。

【図7】図７は、画素の回路構成の一例を示す回路図である。

【図8】図８は、撮像素子の撮像動作例を示すタイミングチャートである。

【図9】図９は、画素ブロックの動作例を示すブロック図である。

【図10】図１０は、撮像装置の動作例を示す説明図である。

【図11】図１１は、実施例２にかかる撮像装置の構成例を示すブロック図である。

【図12】図１２は、撮像装置の動作例を示す説明図である。

【図13】図１３は、デジタル信号処理部での露光時間マップの更新例１を示す説明図である。

【図14】図１４は、デジタル信号処理部での露光時間マップの更新例２を示す説明図である。

【図15】図１５は、構造光の空間パターン例を示す説明図である。

【発明を実施するための形態】

【実施例0007】

＜構造光測距＞
図１は、構造光測距例を示す説明図である。構造光測距とは、構造光を被写体ＯＢに照射し、その反射光を撮像素子で受光することにより、被写体ＯＢを測距する技術である。構造光とは、空間的な光強度の分布が異なるパターン光である。

【0008】

（Ａ）～（Ｃ）は、被写体ＯＢへの構造光の投影パターン例を示す。（Ａ）の投影パターンＰａは、（Ｂ）の投影パターンＰｂよりも粒度が細かい構造光パターンである。

【0009】

（Ａ）の投影パターンＰａの粒度は投影パターンＰｂよりも細かいため、撮像素子１０１で画素信号を読み出す画素数が（Ｂ）の場合よりも多くなる。この場合、撮像素子１０１で画素信号の全画素読み出しを行うと、（Ａ）は、パターンマッチング時の演算コストおよび処理時間が（Ｂ）よりも増加する。一方、撮像素子１０１で画素信号の間引き読み出しを行うと、パターンマッチング時の演算コストおよび処理時間は低下するが、撮像素子１０１で画素信号を読み出す画素数が少なくなるため、全画素読み出しに比べて測距精度が低下する。

【0010】

（Ｂ）の投影パターンＰｂの粒度は投影パターンＰａよりも粗いため、撮像素子１０１で画素信号を読み出す画素数が（Ａ）の場合よりも少なくてもよい。この場合、（Ｂ）は、パターンマッチング時の演算コストおよび処理時間が（Ａ）よりも低下するが、撮像素子１０１で画素信号を読み出す画素数が少なくなるため、（Ａ）よりも測距精度が低下する。

【0011】

これに対し、（Ｃ）では、被写体ＯＢを囲む被写体領域では投影パターンＰａとし、投影パターンＰａの周囲の背景領域では投影パターンＰｂとする。この投影パターンＰａ、Ｐｂを組み合わせた投影パターンＰｃで、構造光が照射される。そして、撮像素子１０１は、被写体領域の投影パターンＰａに対応する領域Ｒａを全画素読み出し領域として画素信号を読み出し、背景領域の投影パターンＰｂに対応する領域Ｒｂを間引き読み出し領域として画素信号を読み出す。

【0012】

これにより、被写体領域では高解像度な投影パターンＰａとなり、背景領域は低解像度な投影パターンＰｂとなるため、被写体ＯＢの測距精度が向上するとともに、演算コストおよび処理時間の低下を図ることができる。

【0013】

また、撮像素子１０１は、投影パターンＰａに対応する領域Ｒａを全画素読み出し領域として画素信号を読み出し、投影パターンＰｂに対応する領域Ｒｂを間引き読出し領域として画素信号を読み出す。これにより、読出しデータ量および消費電力の低減化を図ることができる。

【0014】

以下、上記（Ｃ）の投影パターンの最適化および画素信号読出しの最適化を実現する構造光および撮像素子１０１の制御について具体的に説明する。

【0015】

＜構造光の投影パターンの分離＞
図２は、構造光の投影パターンの分離例を示す説明図である。構造光２００は、照射方向に直交する空間方向に複数種類の大局的パターンがランダムに配置されたパターン光である。図２では、一例として、２種類の大局的パターンＰＡ、ＰＢ（図では、「Ａ」、「Ｂ」と表記）が２行２列でランダムに配置されている。

【0016】

大局的パターンＰＡは、局所的パターンｐ０，ｐ１（図では、「０」、「１」と表記）を含む。大局的パターンＰＢは、局所的パターンｐ２，ｐ３（図では、「２」、「３」と表記）を含む。すなわち、構造光２００の投影パターンは、局所的パターンｐ０～ｐ４で構成される。局所的パターンｐ０～ｐ４は、発光周期が異なるパターンである。

【0017】

構造光２００のうち右上の２行２列のパターン領域２０１に着目すると、露光時間長によってパターン領域２０１における光の空間分布が異なる。空間分布２１１は、撮像素子１０１の１ｍｓｅｃの露光時間での露光中における構造光２００の空間分布例であり、空間分布２１２は、撮像素子１０１の１／２ｍｓｅｃの露光時間での露光中における構造光２００の光の空間分布例である。

【0018】

図３は、露光時間が１ｍｓｅｃである場合の構造光２００の投影パターンの時間変調による分離例を示す説明図である。１ｍｓｅｃを１周期とし、１／４ｓｅｃを発光単位期間とし、１ｍｓｅｃを４等分した期間をそれぞれ発光期間ＬＴ１～ＬＴ４とする（図４も同様）。局所的パターンｐ０～ｐ３の明るさは発光期間の数に依存し、発光期間の数が多いほど明るく、少ないほど暗い。

【0019】

局所的パターンｐ０，ｐ１は、大局的パターンＰＡであり、１ｍｓｅｃ露光時間のうち１／４ｍｓｅｃの発光期間ＬＴ２，ＬＴ３で発光する。局所的パターンｐ０，ｐ１の発光期間は異なる。局所的パターンｐ２，ｐ３は、大局的パターンＰＢであり、１ｍｓｅｃ露光時間のうち１／２ｍｓｅｃの発光期間［ＬＴ１，ＬＴ２］，［ＬＴ１，ＬＴ３］で発光する。局所的パターンｐ２，ｐ３の発光期間は異なるが、一部重複してもよい（本例の場合、ＬＴ１で重複。）。

【0020】

撮像素子１０１が１ｍｓｅｃ露光する場合、構造光２００の空間分布は、空間分布２１１のようになる。具体的には、たとえば、局所的パターンｐ０，ｐ１が受光される撮像素子１０１の画素は、局所的パターンｐ２，ｐ３が受光される画素よりも暗くなる。一方、局所的パターンｐ２，ｐ３が受光される撮像素子１０１の画素は、局所的パターンｐ０，ｐ１が受光される画素よりも明るくなる。なお、この場合、局所的パターンｐ０，ｐ１は、大局的パターンＰＡであり、同じ明るさであるため、区別されない。局所的パターンｐ２，ｐ３も、大局的パターンＰＢであり、同じ明るさであるため、区別されない。

【0021】

図４は、露光時間が１／２ｍｓｅｃである場合の構造光２００の投影パターンの時間変調による分離例を示す説明図である。１／２ｍｓｅｃの露光時間は、発光期間ＬＴ３，ＬＴ４に対応する。局所的パターンｐ０～ｐ３の発光周期は、図３と同じである。

【0022】

局所的パターンｐ０は、大局的パターンＰＡであり、１／２ｍｓｅｃ露光時間内に発光しないが、局所的パターンｐ１は、発光期間ＬＴ３で発光する。局所的パターンｐ２は、大局的パターンＰＢであり、１／２ｍｓｅｃ露光時間内に発光しないが、局所的パターンｐ３は、発光期間ＬＴ３で発光する。

【0023】

撮像素子１０１が１／２ｍｓｅｃ露光する場合、構造光２００の空間分布は、空間分布２１２のようになる。具体的には、たとえば、局所的パターンｐ０，ｐ２が受光される撮像素子１０１の画素は、局所的パターンｐ１，ｐ３が受光される画素よりも暗くなる。一方、局所的パターンｐ１，ｐ３が受光される撮像素子１０１の画素は、局所的パターンｐ０，ｐ２が受光される画素よりも明るくなる。なお、この場合、局所的パターンｐ０，ｐ１は、大局的パターンＰＡであるが、それらの明るさは異なるため、区別される。局所的パターンｐ２，ｐ３も、大局的パターンＰＢであるが、それらの明るさは異なるため、区別される。

【0024】

＜撮像装置の構成例＞
図５は、実施例１にかかる撮像装置の構成例を示すブロック図である。撮像装置５００は、光源５１０と、撮像素子１０１と、外部処理装置５２０と、を有する。

【0025】

光源５１０は、外部処理装置５２０からの同期信号により、構造光２００を被写体に出射する。

【0026】

撮像素子１０１は、画素ブロックアレイ５０１と、周辺回路部５０２と、を有する。画素ブロックアレイ５０１は、行列方向に配列された複数の画素ブロックの集合であり、被写体で反射される構造光２００を受光する画素部である。行方向の画素ブロックの数をＮ（Ｎは１以上の整数）とし、列方向の画素ブロックの数をＭ（Ｍは１以上の整数）とする。画素ブロックの各々は、行列方向に配列された複数の画素を含む。撮像装置５００は、画素ブロックごとに露光時間の制御が可能である。なお、画素ブロックは１画素で構成されてもよい。

【0027】

画素ブロックアレイ５０１は、周辺回路部５０２からのＲＥＳＥＴパルスおよびＲＥＡＤパルスの駆動トリガと露光時間マップとに基づいて、被写体で反射される構造光２００を光電変換し、画素信号を周辺回路部５０２に出力する。画素ブロックの詳細については図６で後述する。

【0028】

周辺回路部５０２は、同期信号処理部５０３と、デジタル信号処理部５０４と、出力インタフェース（ＩＦ）５０５と、グローバルメモリ５０６と、を有する。同期信号処理部５０３は、外部処理装置５２０から同期信号を受信して、ＲＥＳＥＴパルスおよびＲＥＡＤパルスの駆動トリガを生成して、画素ブロックアレイ５０１に出力する。

【0029】

デジタル信号処理部５０４は、画素ブロックアレイ５０１からの画像信号を受信して、ＣＤＳ処理などの信号処理を実行する。画像信号は、画素ブロックアレイ５０１内の各画素からの画素信号の集合である。

【0030】

出力ＩＦ５０５は、デジタル信号処理部５０４で信号処理された画像信号を、画素ブロック単位で外部処理装置５２０に出力する。

【0031】

グローバルメモリ５０６は、外部処理装置５２０からの露光時間マップを記憶する。露光時間マップは、画素ブロックごとに分割して振り分けられる。

【0032】

外部処理装置５２０は、同期信号生成部５２１と、画像信号処理部５２２と、を有する。同期信号生成部５２１は、同期信号を生成して、光源５１０と、周辺回路部５０２の同期信号処理部５０３と、に出力する。これにより、撮像装置５００は、同期信号により撮像素子１０１での画像信号の読出しタイミングと、光源５１０からの構造光２００の照射タイミングと、を同期させることができる。

【0033】

画像信号処理部５２２は、画素ブロックごとの画像信号を処理する。画像信号処理部５２２は、距離画像演算５２３と、被写体検出／移動情報算出５２４と、露光時間マップ生成５２５と、を実行する。

【0034】

距離画像演算５２３は、画像信号に基づいて、画素ブロック単位（画素単位でもよい）で被写体までの距離を演算し、距離画像を生成する処理である。たとえば、距離画像演算５２３は、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）により距離画像を生成する処理である。

【0035】

被写体検出／移動情報算出５２４は、距離画像演算５２３で得られる距離画像に基づいて、被写体のうち、背景と、背景ではない主要被写体と、を検出し、かつ、主要被写体の移動方向および移動量を算出する処理である。

【0036】

具体的には、たとえば、同期信号生成部５２１が光源５１０に同期信号を出力（すなわち、構造光２００の照射タイミング）してから、画像信号処理部５２２が撮像素子１０１から画像信号を取得する（すなわち、入射光の受光タイミング）までの飛行時間に基づいて、距離画像演算５２３および被写体検出／移動情報算出５２４を実行する。すなわち、画像信号処理部５２２は、主要被写体および背景を検出する検出部として機能する。

【0037】

露光時間マップ生成５２５は、各画素の画素信号である輝度値に基づいて、露光時間マップを生成する処理である。具体的には、たとえば、露光時間マップ生成５２５では、画像信号処理部５２２は、画素ブロックごとに、画素ブロックにおける各画素からの画素信号である輝度値について、平均値、中央値または最頻値といった統計値を算出する。露光時間マップ生成５２５では、画像信号処理部５２２は、画素ブロックごとに算出された輝度値の統計値を当該画素ブロックの露光値に変換する。

【0038】

たとえば、輝度値の統計値が第１しきい値以上第２しきい値未満である場合、画像信号処理部５２２は、当該画素ブロックについて前回の露光値を維持する。輝度値の統計値が第１しきい値未満である場合、画像信号処理部５２２は、当該画素ブロックについて前回の露光値よりも露光時間が長秒となるように露光値を設定する。

【0039】

輝度値の統計値が第２しきい値以上である場合、画像信号処理部５２２は、当該画素ブロックについて前回の露光値よりも露光時間が短秒となるように露光値を設定する。露光時間マップは、行列方向に配列された画素ブロックごとの輝度値により構成される。なお、露光時間マップの初期値は外部から設定される。

【0040】

なお、図示はしないが、画像信号処理部５２２は、画像信号で構成されるフレーム画像について、色補間、ホワイトバランス調整、輪郭強調、ガンマ補正、階調変換などの画像処理や符号化処理、復号処理、圧縮伸張処理などを実行してもよい。また、画像信号処理部５２２は、フレーム画像を表示画面に表示してもよい。

【0041】

＜画素ブロックおよび制御ブロック＞
図６は、画素ブロックおよび制御ブロックの一例を示す説明図である。画素ブロックアレイ５０１において、画素ブロック６００は、Ｍ行Ｎ列に配列されている。制御ブロック６０１も、画素ブロック６００と同様、Ｍ行Ｎ列に配列されている。たとえば、積層された第１半導体基板および第２半導体基板において、画素ブロック６００は、第２半導体基板上に積層された第１半導体基板に配置され、画素ブロック６００と同一領域の制御ブロック６０１は、画素ブロック６００の直下の第２半導体基板に配置される。

【0042】

画素ブロック６００は、行列方向に配列された画素６１０の集合である。画素ブロック６００も画素部である。行方向の画素の数をｎ（ｎは１以上の整数）とし、列方向の画素の数をｍ（ｍは１以上の整数）とする。したがって、撮像素子１０１全体では、Ｎ×ｎ×Ｍ×ｍ個の画素６１０を有する。

【0043】

制御ブロック６０１は、行読出し選択回路６０２と、露出タイミング制御回路６０３と、ローカルメモリ６０４と、列読出し選択回路６０５と、ＡＤＣ（Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）列６０６と、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）列６０７と、を有する。

【0044】

行読出し選択回路６０２は、画素ブロック６００の行を選択する回路である。行読出し選択回路６０２に選択された行の画素６１０の画素信号が読み出される。露出タイミング制御回路６０３は、ＲＥＳＥＴパルスおよびＲＥＡＤパルスの駆動トリガに基づいて、画素ブロック６００の露出タイミングを制御する露光制御部である。ローカルメモリ６０４は、露光時間マップのうち当該画素ブロックの露光値を記憶する。

【0045】

列読出し選択回路６０５は、画素ブロック６００の列を選択する回路である。行読出し選択回路６０２に選択された行で、かつ、列読出し選択回路６０５に選択された列の画素群の画素信号が読み出される。ＡＤＣ列６０６は、画素ブロック６００の画素列ごとに設けられたＡＤＣの集合である。

【0046】

各ＡＤＣは、その画素列の垂直信号線に接続され、その画素列の各画素６１０からのアナログの画素信号をデジタルの画素信号に変換する。ＳＲＡＭ列６０７は、画素ブロック６００の画素列ごとに設けられたＳＲＡＭの集合である。各ＳＲＡＭは、各ＡＤＣに接続され、ＡＤＣからのデジタルの画素信号を記憶する。

【0047】

＜画素６１０＞
図７は、画素６１０の回路構成の一例を示す回路図である。画素６１０は、光電変換部７００と、読出部７１０とを備える。読出部７１０は、転送部７０１と、排出部７０２と、ＦＤ（フローティングディフージョン）７０３と、リセット部７０４と、画素出力部７０５とを有し、光電変換部７００で変換された電荷に基づく画素信号を垂直信号線７２０に読み出す。

【0048】

画素出力部７０５は、増幅部７５１および選択部７５２を有する。転送部７０１、排出部７０２、ＦＤ７０３、リセット部７０４、増幅部７５１および選択部７５２を読出部７１０と称す。読出部７１０は、Ｎチャンネル型ＦＥＴとして説明するが、トランジスタの種類はこれに限られない。

【0049】

光電変換部７００は、光を電荷に変換する光電変換機能を有する。光電変換部７００は、光電変換された電荷を蓄積する。光電変換部７００は、たとえば、フォトダイオードにより構成される。

【0050】

転送部７０１は、光電変換部７００の電荷をＦＤ７０３に転送する。転送部７０１は、光電変換部７００とＦＤ７０３との間の電気的な接続を制御する。転送部７０１は、たとえば、トランジスタにより構成される。また、転送部７０１は、少なくともゲート端子を有し、光電変換部７００の一部をソース端子、ＦＤ７０３の一部をドレイン端子とするトランジスタの一部を構成する素子であってもよい。転送部７０１のゲート端子は、転送制御信号φＴＸを入力するための転送制御線７１１に接続される。転送制御線７１１については後述する。

【0051】

排出部７０２は、光電変換部７００に蓄積された電荷を電源電圧ＶＤＤが供給される電源配線に排出する。排出部７０２は、光電変換部７００と電源配線との間の接続を制御する。排出部７０２は、たとえば、トランジスタにより構成される。また、排出部７０２は、少なくともゲート端子を有し、光電変換部７００の一部をソース端子、電源配線に接続される拡散領域の一部をドレイン端子とするトランジスタの一部を構成する素子であってもよい。

【0052】

排出部７０２のゲート端子は、排出制御信号φＰＤＲＳＴを入力するための排出制御線７１２に接続される。なお、排出部７０２は、光電変換部７００の電荷を電源電圧ＶＤＤが供給される電源配線に排出するとして説明したが、電源電圧ＶＤＤとは異なる電源電圧が供給される電源配線に排出してもよい。

【0053】

ＦＤ７０３は、転送部７０１により光電変換部７００から転送される。ＦＤ７０３は、光電変換部７００から転送された電荷を蓄積する。

【0054】

リセット部７０４は、ＦＤ７０３に蓄積された電荷を電源電圧ＶＤＤが供給される電源配線に排出する。リセット部７０４は、ＦＤ７０３の電位を基準電位である電源電圧ＶＤＤにリセットする。リセット部７０４は、ＦＤ７０３と電源配線との間の電気的な接続を制御する。

【0055】

リセット部７０４は、たとえば、トランジスタにより構成される。また、リセット部７０４は、少なくともゲート端子を有し、ＦＤ７０３の一部をソース端子、電源配線に接続される拡散領域の一部をドレイン端子とするトランジスタの一部を構成する素子であってもよい。リセット部７０４のゲート端子は、リセット制御信号φＲＳＴを入力するためのリセット制御線７１３に接続される。リセット制御線７１３については後述する。

【0056】

画素出力部７０５は、ＦＤ７０３の電位に基づく画素信号を垂直信号線７２０に出力する。画素出力部７０５は、増幅部７５１および選択部７５２を有する。増幅部７５１は、トランジスタにより構成される。増幅部７５１は、ゲート端子がＦＤ７０３に接続され、ドレイン端子が電源電圧ＶＤＤの供給される電源配線に接続され、ソース端子が選択部７５２のドレイン端子に接続される。

【0057】

選択部７５２は、画素６１０と垂直信号線７２０の間の電気的な接続を制御する。選択部７５２により画素６１０と垂直信号線７２０が電気的に接続されると、画素６１０から垂直信号線７２０に画素信号が出力される。選択部７５２は、トランジスタにより構成される。

【0058】

また、選択部７５２は、少なくともゲート端子を有し、増幅部７５１の一部をソース端子、垂直信号線７２０に接続される拡散領域の一部をドレイン端子とするトランジスタの一部を構成する素子であってもよい。選択部７５２のゲート端子は、選択制御信号φＳＥＬを入力するための複数の画素ブロック６００にわたる選択制御線７１４に接続される。選択部７５２のソース端子は負荷電流源７０６に接続されている。

【0059】

負荷電流源７０６は、垂直信号線７２０に接続され、画素６１０から画素信号を読み出すための電流を供給する。これにより、増幅部７５１の動作を安定させることができる。また、負荷電流源７０６は、垂直信号線７２０に接続されている。

【0060】

また、ＦＤ７０３、画素出力部７０５を他の画素６１０と共有してもよい。たとえば、行方向または列方向に並んで配置される複数の画素６１０においてＦＤ７０３、画素出力部７０５を共有してもよい。また、画素６１０は複数の光電変換部７００、転送部７０１で構成してもよい。また、読出部７１０は、排出部７０２および排出制御線７１２を有しない構成でもよい。

【0061】

図８は、撮像素子１０１の撮像動作例を示すタイミングチャートである。図８は、転送制御信号φＴＸ、排出制御信号φＰＤＲＳＴ、リセット制御信号φＲＳＴおよび選択制御信号φＳＥＬによって、撮像素子１０１の駆動を制御する撮像動作例である。図８では、排出制御信号φＰＤＲＳＴがローカル制御され、転送制御信号φＴＸ、リセット制御信号φＲＳＴおよび選択制御信号φＳＥＬがグローバル制御される。なお、左端の各信号の末尾の＜１＞、＜２＞、…、＜ｍ＞は、画素ブロック内の画素６１０の行番号を示す。

【0062】

排出制御信号φＰＤＲＳＴは、露光を開始するタイミングを制御する。露光の開始タイミングは、排出制御信号φＰＤＲＳＴの立ち下りのタイミング（たとえば、時刻Ｔ１）に対応する。即ち、露光の開始時刻Ｔ１の前に、排出制御信号φＰＤＲＳＴは、排出部７０２をオンして、光電変換部７００に蓄積された電荷を排出して、排出制御信号φＰＤＲＳＴの立ち下りで露光が開始する。排出制御信号φＰＤＲＳＴは、ローカル制御されているので、画素ブロック６００毎に露光時間を調整することができる。

【0063】

転送制御信号φＴＸは、露光を終了するタイミングを制御する。時刻Ｔ３において、転送制御信号φＴＸは、転送部７０１をオンすることにより、光電変換部７００に蓄積された電荷をＦＤ７０３に転送する。露光の終了タイミングは、転送制御信号φＴＸの立ち下がりのタイミング（たとえば、時刻Ｔ４）に対応する。転送制御信号φＴＸは、グローバル制御された信号であるので、各画素ブロック６００で露光を終了するタイミングが同じである。

【0064】

リセット制御信号φＲＳＴは、ＦＤ７０３に蓄積された電荷の排出のタイミングを制御する。時刻Ｔ２において、リセット制御信号φＲＳＴは、リセット部７０４をオンすることにより、ＦＤ７０３の電荷を排出する。露光の終了のタイミングの前にＦＤ７０３の電荷を排出しておくことにより、光電変換部７００からの電荷の転送時に、ＦＤ７０３に残った電荷の影響を抑制できる。

【0065】

選択制御信号φＳＥＬは、任意の画素６１０を選択するための信号である。選択制御信号φＳＥＬは、選択部７５２のオンオフを制御する。時刻Ｔ２において、選択制御信号φＳＥＬがハイに設定される。時刻Ｔ３において、選択制御信号φＳＥＬがハイに設定された画素６１０は、転送制御信号φＴＸのオンに応じて垂直信号線７２０に画素信号を出力する。一方、選択制御信号φＳＥＬがハイに設定されていない画素６１０では、画素信号が出力されない。

【0066】

撮像素子１０１は、排出制御信号φＰＤＲＳＴをローカル制御することにより、画素ブロック６００毎に露光の開始タイミングを変更して、画素ブロック６００毎に露光時間を制御することができる。また、撮像素子１０１は、転送制御信号φＴＸをローカル制御することにより、露光の終了タイミングを画素ブロック６００毎に制御してもよい。そして、撮像素子１０１は、転送制御信号φＴＸと排出制御信号φＰＤＲＳＴの両方をローカル制御することにより、露光の開始タイミングと終了タイミングの両方を画素ブロック６００毎に制御してもよい。

【0067】

＜画素ブロック６００の動作例＞
図９は、画素ブロック６００の動作例を示すブロック図である。図９では、画素ブロック６００を、例として６行６列（ｍ＝ｎ＝６）の画素の集合とする。そのため、ＡＤＣ列６０６も、６個のＡＤＣで構成される。なお、説明の便宜上、配置領域９００は、画素ブロック６００が配置される第１半導体基板の領域および画素ブロック６００の直下に制御ブロック６０１が配置される第２半導体基板の領域を示す。

【0068】

ローカルメモリ６０４は、周辺回路部５０２から当該画素ブロック６００の露光値を記憶する。本例では、露光値は、一例として、１ｍｓｅｃ露光（長秒露光）または１／２ｍｓｅｃ（短秒露光）のいずれかを示す。

【0069】

露出タイミング制御回路６０３は、露光値を読み込む。露出タイミング制御回路６０３は、周辺回路部５０２からＲＥＳＥＴパルスおよびＲＥＡＤパルスの駆動トリガを受信すると、露光値を参照して、露光時間、すなわち、ＲＥＳＥＴパルスおよびＲＥＡＤパルスの出力タイミングを設定する。

【0070】

ＲＥＳＥＴパルスとは、たとえば、図７および図８に示した排出制御信号φＰＤＲＳＴおよびリセット制御信号φＲＳＴであり、ＲＥＡＤパルスとは、たとえば、図７および図８に示した転送制御信号φＴＸである。

【0071】

たとえば、露出タイミング制御回路６０３は、図３および図４に示したように、１ｍｓｅｃ露光（長秒露光）または１／２ｍｓｅｃ（短秒露光）を設定する。

【0072】

ローカルメモリ６０４は、画素ブロック６００の１行目の画素行から順次選択するためのＳＥＬパルスを行読出し選択回路６０２に出力する。ＳＥＬパルスは、たとえば、図７および図８に示した選択制御信号φＳＥＬである。

【0073】

行読出し選択回路６０２は、ローカルメモリ６０４からのＳＥＬパルス（選択制御信号φＳＥＬ）を、画素ブロック６００の読出し行の画素６１０における選択部７５２のゲート端子に出力する。選択制御信号φＳＥＬにより選択部７５２がＯＮの期間中に、画素６１０から画素信号が読み出される。

【0074】

また、行読出し選択回路６０２は、露出タイミング制御回路６０３からの排出制御信号φＰＤＲＳＴを排出部７０２のゲート端子に入力して、光電変換部７００に蓄積された電荷を排出させる。この排出により露光時間が開始される。

【0075】

また、行読出し選択回路６０２は、選択制御信号φＳＥＬにより選択部７５２がＯＮの期間中に、露出タイミング制御回路６０３からのリセット制御信号φＲＳＴを当該画素６１０におけるリセット部７０４のゲート端子に出力し、ＲＥＡＤパルスである転送制御信号φＴＸを当該画素６１０における転送部７０１のゲート端子に出力する。これにより、画素６１０から画素信号が読み出される。

【0076】

なお、行読出し選択回路６０２で選択されなかった画素ブロック６００の画素行の画素信号は読み出されず、間引かれることになる（間引き行）。図９では、ｍ＝３行目と５行目の画素行が間引き行になる。

【0077】

列読出し選択回路６０５は、読出し対象となる画素列に接続されるＡＤＣに、ＡＤＣの電源をＯＮにするイネーブル信号を出力する。これにより、ＡＤＣ列６０６のうちイネーブル信号が入力されたＡＤＣがＯＮになる。

【0078】

ＯＮになったＡＤＣは、その画素列の画素６１０の各々の画素信号をデジタル信号に変換してＳＲＡＭ列６０７に出力する。イネーブル信号が入力されないＡＤＣ（図９中、黒塗りのＡＤＣ）の画素列の画素６１０の各々の画素信号は読み出されない。図９では、左からｎ＝２列目の画素列が間引き列になる。

【0079】

ＳＲＡＭ列６０７に蓄積された画素信号は、画素ブロック６００全体の画像信号として水平信号線９１０から周辺回路部５０２のデジタル信号処理部５０４に出力される。

【0080】

なお、画素ブロック６００からの１回の読出し制御において、少なくとも間引き行および間引き列の一方を含む読出しを「間引き読出し」と称し、間引きをしない読出しを「全画素読出し」と称す。

【0081】

また、画素ブロックアレイ５０１からの１回の読出し制御においても、間引き読出しをおこなう画素ブロック６００が１つでも含まれていれば、間引き読出しと称し、間引き読出しをする画素ブロック６００が１つもなければ、「全画素読出し」と称す。

【0082】

＜撮像装置５００の動作例＞
図１０は、撮像装置５００の動作例を示す説明図である。図１０において、（１）～（４）の行は、撮像装置５００での時系列な処理を示す。（１）～（４）は、処理されるフレームの番号に対応する。（Ａ）～（Ｃ）の列は、時系列（１）～（４）ごとの撮像装置５００での処理内容を示す。

【0083】

［（１）１フレーム目］
（Ａ）読出し制御
撮像素子１０１は、画素ブロックアレイ５０１の全面を間引き読出し領域ＴＲとして間引き読出しを実行する。具体的には、たとえば、撮像素子１０１は、特定の行の画素ブロック６００を間引きする。すなわち、撮像素子１０１において、周辺回路部５０２は、特定の行の画素ブロック６００の駆動トリガを出力しない。また、周辺回路部５０２は、特定の行の画素ブロック６００がＡＤＣ列６０６にイネーブル信号を出力しないように制御してもよい。

【0084】

（Ｂ）構造光パターン
（Ａ）読出し制御時の露光時間中の構造光２００の投影パターンは、低解像度の投影パターン、すなわち、局所的パターンｐ０，ｐ１が区別されない大局的パターンＰＡおよび局所的パターンｐ２，ｐ３が区別されない大局的パターンＰＢで構成される光の空間分布２１１となる。本例の場合、撮像素子１０１は、上述した１ｍｓｅｃの長秒露光で駆動することにより、構造光２００を、空間分布２１１で受光することができる。

【0085】

（Ｃ）撮像装置５００の処理
撮像素子１０１は、低解像度での撮像を実行し、（Ａ）読出し制御に示したように、１フレーム目の画像信号である第１フレームＦａ１を間引き読出しする。第１フレームＦａ１は、（Ｂ）構造光パターンに示したような低解像度の主要被写体１００１および背景１０１０からなる画像となる。

【0086】

外部処理装置５２０は、第１フレームＦａ１を用いて、距離画像演算５２３、被写体検出／移動情報算出５２４、および露光時間マップ生成５２５を実行する。被写体検出／移動情報算出５２４により、背景１０１０から第１主要被写体１００１が検出されたとする。

【0087】

大局的パターンＰＡの構造光２００を受光した画素ブロック６００は、大局的パターンＰＢの構造光２００を受光した画素ブロック６００よりも暗くなる（図２および図３を参照）。露光時間マップ生成５２５では、画像信号処理部５２２は、このような大局的パターンＰＡ、ＰＢの影響を受けた各画素６１０の輝度値の統計値を画素ブロック６００ごとに算出し、第１露光時間マップＭａ１を生成する。

【0088】

第１露光時間マップＭａ１では、第１主要被写体１００１が検出された画素ブロック６００の露光値が、１／２ｍｓｅｃの露光時間を示す値に設定され、第１主要被写体１００１が検出されなかった背景１０１０の画素ブロック６００の露光値が、１ｍｓｅｃの露光時間を示す値に設定される。第１露光時間マップＭａ１は、周辺回路部５０２のグローバルメモリ５０６に書き込まれる。

【0089】

第１露光時間マップＭａ１は、画素ブロック６００ごとの露光値に分割されて、画素ブロック６００のローカルメモリ６０４に書き込まれる。

【0090】

［（２）２フレーム目］
（Ａ）読出し制御
撮像素子１０１は、画素ブロック６００ごとに、ローカルメモリ６０４に書き込まれ露光値により、２フレーム目の撮像での露光時間を設定する。すなわち、第１主要被写体１００１が検出された画素ブロック６００が、１／２ｍｓｅｃの露光時間となる第１全画素読出し領域ＦＲ１に設定され、それ以外の背景１０１０の画素ブロック６００が、１ｍｓｅｃの露光時間となる間引き読出し領域ＴＲに設定される。そして、撮像素子１０１は、間引き読出し領域ＴＲの間引き読出しと、第１全画素読出し領域ＦＲ１の全画素読出しと、を実行する。

【0091】

（Ｂ）構造光パターン
（Ａ）読出し制御時の露光時間中の構造光２００の投影パターンは、間引き読出し領域ＴＲでは、（１）と同様、低解像度の空間分布２１１である低解像度領域となるが、第１全画素読出し領域ＦＲ１では、高解像度の投影パターン、すなわち、高解像度の空間分布２１２である第１高解像度領域２１２ａとなる。第１高解像度領域２１２ａは、局所的パターンｐ０，ｐ１が区別される大局的パターンＰＡおよび局所的パターンｐ２，ｐ３が区別される大局的パターンＰＢで構成される光の空間分布２１２となる。

【0092】

撮像素子１０１は、間引き読出し領域ＴＲを１ｍｓｅｃの長秒露光で駆動することにより、低解像度領域の構造光２００を、空間分布２１１で受光することができる。また、撮像素子１０１は、第１全画素読出し領域ＦＲ１を１／２ｍｓｅｃの短秒露光で駆動することにより、第１高解像度領域２１２ａの構造光２００を、空間分布２１２で受光することができる。

【0093】

（Ｃ）撮像装置５００の処理
撮像素子１０１は、間引き読出し領域ＴＲで低解像度での撮像を実行することで２フレーム目の画像信号である第２フレームＦａ２のうち背景１０１０となる間引き読出し領域ＴＲを間引き読出しする。

【0094】

一方、撮像素子１０１は、第１全画素読出し領域ＦＲ１で高解像度での撮像を実行することで、第２フレームＦａ２のうち第１主要被写体１００１を含む第１全画素読出し領域ＦＲ１を全画素読出しする。これにより、第２フレームＦａ２が外部処理装置５２０に出力される。第２フレームＦａ２は、（Ｂ）構造光パターンに示したような高解像度の第１主要被写体１００１および低解像度の背景１０１０からなる画像となる。

【0095】

外部処理装置５２０は、第２フレームＦａ２を用いて、距離画像演算５２３、被写体検出／移動情報算出５２４、および露光時間マップ生成５２５を実行する。被写体検出／移動情報算出５２４により、（１）と同様、背景１０１０から第１主要被写体１００１が検出されたとする。

【0096】

間引き読出し領域ＴＲにおいて、大局的パターンＰＡの構造光２００を受光した画素ブロック６００は、大局的パターンＰＢの構造光２００を受光した画素ブロック６００よりも暗くなる（図２および図３を参照）。露光時間マップ生成５２５では、画像信号処理部５２２は、このような大局的パターンＰＡ、ＰＢの影響を受けた各画素６１０の輝度値の統計値を、間引き読出し領域ＴＲを構成する画素ブロック６００ごとに算出する。

【0097】

第１全画素読出し領域ＦＲ１において、局所的パターンｐ０，ｐ２の構造光２００を受光した画素ブロック６００は、局所的パターンｐ１，ｐ３の構造光２００を受光した画素ブロック６００よりも暗くなる（図２および図４を参照）。露光時間マップ生成５２５では、画像信号処理部５２２は、このような局所的パターンｐ０～ｐ３の影響を受けた各画素６１０の輝度値の統計値を、第１全画素読出し領域ＦＲ１を構成する画素ブロック６００ごとに算出する。

【0098】

Ｍ行Ｎ列で構成される画素ブロック６００ごとの輝度値の統計値の行列構造が第２露光時間マップＭａ２となる。第２露光時間マップＭａ２は、周辺回路部５０２のグローバルメモリ５０６に上書きされる。

【0099】

第２露光時間マップＭａ２は、画素ブロック６００ごとの露光値に分割されて、画素ブロック６００のローカルメモリ６０４に書き込まれる。

【0100】

［（３）３フレーム目］
（Ａ）読出し制御
撮像素子１０１は、画素ブロック６００ごとに、ローカルメモリ６０４に書き込まれ露光値により、３フレーム目の撮像での露光時間を設定する。すなわち、（２）と同様、撮像素子１０１は、間引き読出し領域ＴＲの間引き読出しと、第１全画素読出し領域ＦＲ１の全画素読出しと、を実行する。

【0101】

（Ｂ）構造光パターン
（Ａ）読出し制御時の露光時間中の構造光２００の投影パターンは、（２）と同様、間引き読出し領域ＴＲでは、低解像度の空間分布２１１である低解像度領域となり、第１全画素読出し領域ＦＲ１では、第１高解像度領域２１２ａとなる。

【0102】

撮像素子１０１は、間引き読出し領域ＴＲを１ｍｓｅｃの長秒露光で駆動することにより、低解像度領域の構造光２００を、空間分布２１１で受光することができる。また、撮像素子１０１は、第１全画素読出し領域ＦＲ１を１／２ｍｓｅｃの短秒露光で駆動することにより、第１高解像度領域２１２ａの構造光２００を、空間分布２１２で受光することができる。なお、（３）のタイミングで背景１０１０に第２主要被写体１００２が移動してきたとする。

【0103】

（Ｃ）撮像装置５００の処理
撮像素子１０１は、（２）と同様、間引き読出し領域ＴＲで低解像度での撮像を実行することで３フレーム目の画像信号である第３フレームＦａ３のうち背景１０１０となる間引き読出し領域ＴＲを間引き読出しする。

【0104】

一方、撮像素子１０１は、第１全画素読出し領域ＦＲ１で高解像度での撮像を実行することで、第３フレームＦａ３のうち第１主要被写体１００１を含む第１全画素読出し領域ＦＲ１を全画素読出しする。これにより、第３フレームＦａ３が外部処理装置５２０に出力される。第３フレームＦａ３は、（Ｂ）構造光パターンに示したような高解像度の第１主要被写体１００１と、低解像度の背景１０１０（第２主要被写体１００２含む）と、からなる画像となる。

【0105】

外部処理装置５２０は、第３フレームＦａ３を用いて、距離画像演算５２３、被写体検出／移動情報算出５２４、および露光時間マップ生成５２５を実行する。被写体検出／移動情報算出５２４により、（２）と同様、背景１０１０から第１主要被写体１００１が検出され、かつ、第２主要被写体１００２が検出される。

【0106】

（２）と同様、背景１０１０および第２主要被写体１００２を含む間引き読出し領域ＴＲにおいて、露光時間マップ生成５２５では、画像信号処理部５２２は、大局的パターンＰＡ、ＰＢの影響を受けた各画素６１０の輝度値の統計値を、間引き読出し領域ＴＲを構成する画素ブロック６００ごとに算出する。

【0107】

（２）と同様、第１全画素読出し領域ＦＲ１において、露光時間マップ生成５２５では、画像信号処理部５２２は、局所的パターンｐ０～ｐ３の影響を受けた各画素６１０の輝度値の統計値を、第１全画素読出し領域ＦＲ１を構成する画素ブロック６００ごとに算出する。

【0108】

Ｍ行Ｎ列で構成される画素ブロック６００ごとの輝度値の統計値の行列構造が第３露光時間マップＭａ３となる。第３露光時間マップＭａ３は、周辺回路部５０２のグローバルメモリ５０６に上書きされる。

【0109】

第３露光時間マップＭａ３は、画素ブロック６００ごとの露光値に分割されて、画素ブロック６００のローカルメモリ６０４に書き込まれる。

【0110】

［（４）４フレーム目］
（Ａ）読出し制御
撮像素子１０１は、画素ブロック６００ごとに、ローカルメモリ６０４に書き込まれ露光値により、４フレーム目の撮像での露光時間を設定する。すなわち、（３）と同様、撮像素子１０１は、間引き読出し領域ＴＲの間引き読出しと、第１全画素読出し領域ＦＲ１の全画素読出しと、を実行する。また、第２主要被写体１００２が検出された画素ブロック６００が、１／２ｍｓｅｃの露光時間となる第２全画素読出し領域ＦＲ２に設定される。したがって、撮像素子１０１は、第２全画素読出し領域ＦＲ２の全画素読出しも実行する。

【0111】

（Ｂ）構造光パターン
（Ａ）読出し制御時の露光時間中の構造光２００の投影パターンは、（３）と同様、間引き読出し領域ＴＲでは、低解像度の空間分布２１１である低解像度領域となり、第１全画素読出し領域ＦＲ１では、第１高解像度領域２１２ａとなる。

【0112】

また、第２全画素読出し領域ＦＲ２も、第１全画素読出し領域ＦＲ１と同様、高解像度の投影パターン、すなわち、高解像度の空間分布２１２である第２高解像度領域２１２ｂとなる。第２高解像度領域２１２ｂは、局所的パターンｐ０，ｐ１が区別される大局的パターンＰＡおよび局所的パターンｐ２，ｐ３が区別される大局的パターンＰＢで構成される光の空間分布２１２となる。

【0113】

撮像素子１０１は、間引き読出し領域ＴＲを１ｍｓｅｃの長秒露光で駆動することにより、低解像度領域の構造光２００を、空間分布２１１で受光することができる。また、撮像素子１０１は、第１全画素読出し領域ＦＲ１および第２全画素読出し領域ＦＲ２を１／２ｍｓｅｃの短秒露光で駆動することにより、第１高解像度領域２１２ａおよび第２高解像度領域２１２ｂの構造光２００を、空間分布２１２で受光することができる。

【0114】

（Ｃ）撮像装置５００の処理
撮像素子１０１は、（３）と同様、間引き読出し領域ＴＲで低解像度での撮像を実行することで４フレーム目の画像信号である第４フレームＦａ４のうち背景１０１０となる間引き読出し領域ＴＲを間引き読出しする。

【0115】

一方、撮像素子１０１は、第１全画素読出し領域ＦＲ１および第２全画素読出し領域ＦＲ２で高解像度での撮像を実行することで、第４フレームＦａ４のうち第１主要被写体１００１を含む第１全画素読出し領域ＦＲ１および第２主要被写体１００２を含む第２全画素読出し領域ＦＲ２を全画素読出しする。これにより、第４フレームＦａ４が外部処理装置５２０に出力される。第４フレームＦａ４は、（Ｂ）構造光パターンに示したような高解像度の第１主要被写体１００１および第２主要被写体１００２と、低解像度の背景１０１０と、からなる画像となる。

【0116】

外部処理装置５２０は、第４フレームＦａ４を用いて、（３）と同様、距離画像演算５２３、被写体検出／移動情報算出５２４、および露光時間マップ生成５２５を実行する。このようにして、撮像装置５００は、低解像度および高解像度を含む撮像を実行することができる。

【0117】

なお、図１０の説明では、（１）の（Ａ）読出し制御において、撮像素子１０１は、その全面を間引き読出しを実行したが、前面を全画素読出しとしてもよい。この場合、（Ｃ）で第１主要被写体１００１が検出されると、（２）の（Ａ）読出し制御において、撮像素子１０１は、第１全画素読出し領域ＦＲ１以外の領域を間引き読出し領域ＴＲに設定することになる。

【0118】

撮像素子１０１は、高速化および高解像度化するほど、読み出す画素信号のデータ量の削減や低消費電力化が重要になる。撮像素子１０１の画素数が多いほど、パターンマッチングに必要な画素数が増加するため、画素信号の演算コストおよび処理時間が増大する。その一方、構造光２００のパターン粒度が細かいほど撮像素子１０１が画素信号を読み出す画素数が多くなるため測距精度が向上し、構造光２００のパターン粒度が粗いほど撮像素子１０１が画素信号を読み出す画素数が少なくなるため測距精度が低下する。

【0119】

実施例１の撮像装置５００によれば、構造光２００の高解像度な投影パターンについては全画素読出し領域ＦＲ１，ＦＲ２で受光して画素信号を読み出す。これにより、全画素読出し領域ＦＲ１，ＦＲ２における第１主要被写体１００１，第２主要被写体１００２の測距精度が向上する。

【0120】

また、構造光２００の低解像度な投影パターンについては間引き読出し領域ＴＲで受光して画素信号を読み出す。これにより、間引き読出し領域ＴＲとなる背景１０１０の画像についての撮像素子１０１による読出しデータ量および消費電力の低減化、並びに、パターンマッチング時の演算コストおよび処理時間の低減化を図ることができる。

【実施例0121】

つぎに、実施例２について説明する。実施例１では、撮像素子１０１の外に外部処理装置５２０を設けた撮像装置５００について説明した。実施例２では、撮像素子１０１内で露光時間マップを生成する撮像装置について説明する。なお、実施例１と同一構成には同一符号を付し、その説明を省略する。

【0122】

＜撮像装置の構成例＞
図１１は、実施例２にかかる撮像装置の構成例を示すブロック図である。撮像装置１１００は、光源５１０と、撮像素子１１０１と、外部処理装置５２０と、を有する。

【0123】

撮像素子１１０１は、画素ブロックアレイ５０１と、周辺回路部１１０２と、を有する。周辺回路部１１０２は、同期信号処理部５０３と、デジタル信号処理部１１０４と、出力ＩＦ５０５と、グローバルメモリ５０６と、を有する。

【0124】

デジタル信号処理部１１０４は、実施例１のデジタル信号処理部５０４と同様、画素ブロックアレイ５０１からの画像信号を受信して、ＣＤＳ処理などの信号処理を実行する。また、デジタル信号処理部１１０４は、画素ブロックアレイ５０１からの画像信号について、領域毎輝度統計算出５４１、差分処理／３値化処理５４２、移動情報算出５４３、露光時間マップ更新５４４を実行する。

【0125】

領域毎輝度統計算出５４１は、画素ブロック６００ごとに、画素ブロック６００内の画素６１０からの画素信号が示す輝度値の統計値（平均値、中央値、最頻値など）を算出する処理である。

【0126】

差分処理／３値化処理５４２は、差分処理と３値化処理とを含む。差分処理は、時間的に連続する２フレーム間で、同一の画素ブロック６００についての輝度値の統計値の差分であるフレーム間差分を算出する処理である。フレーム間差分は、Ｍ行Ｎ列で構成される各画素ブロック６００についての輝度値の統計値の差分である。３値化処理とは、Ｍ行Ｎ列で構成されるフレーム間差分の各要素を３値化する処理である。

【0127】

移動情報算出５４３は、３値化処理結果に基づいて主要被写体の移動方向および移動量を算出する処理である。

【0128】

露光時間マップ更新５４４は、前フレームの露光時間マップをグローバルメモリ５０６から読み込み、３値化処理結果に基づいて前フレームの露光時間マップから次フレームの撮像での露光制御に使用する露光時間マップを生成して、グローバルメモリ５０６に上書き保存する処理である。なお、初期の露光時間マップは、あらかじめ、または、外部入力により、グローバルメモリ５０６に記憶されている。

【0129】

なお、撮像素子１１０１内で露光時間マップが繰り返し更新されるが、実施例１と同様、外部処理装置５２０の画像信号処理部５２２は、実施例１と同様、距離画像演算５２３、被写体検出／移動情報算出５２４、および露光時間マップ生成５２５を実行することにより、露光時間マップを生成してもよい。

【0130】

撮像装置１１００は、外部からの設定により、外部処理装置５２０内の画像信号処理部５２２での露光時間マップの生成頻度を設定可能な構成としてもよい。

【0131】

たとえば、画像信号処理部５２２は、撮像素子１１０１内での所定回数の露光時間マップの更新ごとに、露光時間マップを生成して、グローバルメモリ５０６に上書き保存してもよい。画像信号処理部５２２は、距離画像演算５２３によって演算された距離画像に基づいて、露光時間マップを生成する。このため、画像信号処理部５２２が生成した露光時間マップは、輝度値の統計値ではなく距離画像に基づくため、露光時間マップ更新５４４で生成される露光時間マップよりも高精度な露光値を有する。

【0132】

画像信号処理部５２２での露光時間マップの生成頻度が高いほど、露光時間マップが高精度化し、画像信号処理部５２２での露光時間マップの生成頻度が低いほど、撮像素子１１０１と外部処理装置５２０との間のデータ通信量が低下するため、撮像装置１１００の低消費電力化および撮像素子１１０１での撮像処理の高速化を図ることができる。

【0133】

＜撮像装置１１００の動作例＞
図１２は、撮像装置１１００の動作例を示す説明図である。図１２において、（１）～（３）の行は、撮像装置１１００での時系列な処理を示す。（１）～（３）は、処理されるフレームの番号に対応する。

【0134】

図１３は、デジタル信号処理部１１０４での露光時間マップの更新例１を示す説明図であり、図１４は、デジタル信号処理部１１０４での露光時間マップの更新例２を示す説明図である。以下、図１２～図１４を用いて、撮像装置１１００の動作について説明する。なお、説明の便宜上、画素ブロックアレイ５０１は、８行８列の画素ブロック６００の集合とする。

【0135】

［（１）１フレーム目］
図１２において、撮像素子１１０１は、低解像度での撮像を実行する（ステップＳ１１１）。具体的には、たとえば、図１３に示すように、撮像素子１１０１は、画素ブロックアレイ５０１の全面を間引き読出し領域ＴＲとして間引き読出しして、１フレーム目の画像信号である第１フレームＦｂ１を出力する。第１フレームＦｂ１は、低解像度の主要被写体１３０１および背景１３０２からなる画像となる。

【0136】

図１２において、撮像素子１１０１は、領域毎輝度統計算出５４１を実行し、図１３に示すように、第１フレームＦｂ１について第１輝度マップＬＭ１を生成する（ステップＳ１１２）。第１輝度マップＬＭ１は、画素ブロックアレイ５０１と同様、８行８列の行列であり、各要素は、各画素ブロック６００の各画素６１０からの画素信号が示す輝度値の統計値である。第１輝度マップＬＭ１は、全面、間引き読出し領域ＴＲに対応する輝度領域１３１２となる。

【0137】

図１２において、外部処理装置５２０は、第１フレームＦｂ１に基づいて、距離画像演算５２３および被写体検出を実行する（ステップＳ１２１）。そして、外部処理装置５２０は、距離画像および被写体検出結果を用いて露光時間マップ生成５２５を実行し、第１露光時間マップＭｂ１を生成する（ステップＳ１２２）。

【0138】

第１露光時間マップＭｂ１も、画素ブロックアレイ５０１は、８行８列の行列である。第１露光時間マップＭｂ１において、主要被写体１３０１に対応する要素の値「１」の領域が高解像度領域ＨＲ（１／２ｍｓｅｃ露光）、背景１３０２に対応する要素の値を「０」の領域が低解像度領域ＬＲ（１ｍｓｅｃ露光）となる。外部処理装置５２０は、第１露光時間マップＭｂ１を撮像素子１１０１の周辺回路部１１０２に出力する。

【0139】

図１２において、撮像素子１１０１は、露光時間マップ更新５４４を実行する（ステップＳ１１３）。具体的には、たとえば、撮像素子１１０１は、外部処理装置５２０からの第１露光時間マップＭｂ１をグローバルメモリ５０６に上書き保存する。

【0140】

［（２）２フレーム目］
図１２において、撮像素子１１０１は、領域毎露光制御による撮像を実行する（ステップＳ２１１）。具体的には、たとえば、図１３に示すように、撮像素子１１０１は、第１露光時間マップＭｂ１を参照して、画素ブロック６００ごとの露光値を設定して撮像する。

【0141】

そして、撮像素子１１０１は、画素ブロックアレイ５０１の主要被写体１３０１を含む画素ブロック６００を全画素読出し領域ＦＲとして全画素読出し、かつ、背景１３０２を含む画素ブロック６００を間引き読出し領域ＴＲとして間引き読出しして、２フレーム目の画像信号である第２フレームＦｂ２を出力する。第２フレームＦｂ２は、高解像度の主要被写体１３０１および低解像度の背景１３０２からなる画像となる。

【0142】

図１２において、撮像素子１１０１は、領域毎輝度統計算出５４１を実行し、図１３に示すように、第２フレームＦｂ２について第２輝度マップＬＭ２を生成する（ステップＳ２１２）。第２輝度マップＬＭ２は、画素ブロックアレイ５０１と同様、８行８列の行列であり、各要素は、各画素ブロック６００の各画素６１０からの画素信号が示す輝度値の統計値である。第２輝度マップＬＭ２は、全画素読出し領域ＦＲに対応する輝度領域１３２１と、間引き読出し領域ＴＲに対応する輝度領域１３２２と、を含む。

【0143】

図１２において、撮像素子１１０１は、差分処理／３値化処理５４２および移動情報算出５４３を実行する（ステップＳ２１３）。具体的には、たとえば、撮像素子１１０１は、図１３に示すように、差分処理により、第２２から第１輝度マップＬＭ１を減算することで、差分マップΔ（ＬＭ１，ＬＭ２）を出力する。

【0144】

つぎに、撮像素子１１０１は、差分マップΔ（ＬＭ１，ＬＭ２）に対し、３値化処理を実行し、図１３に示すように、３値化処理結果３Δ（ＬＭ１，ＬＭ２）を出力する。具体的には、たとえば、撮像素子１０１は、差分マップΔ（ＬＭ１，ＬＭ２）の要素の各々について、値が第１しきい値Ｔｈ１以上であれば「１」、第２しきい値Ｔｈ２（＜Ｔ１）以上第１しきい値Ｔ２未満であれば「０」、第２しきい値Ｔｈ２未満であれば「－１」に変換する。

【0145】

３値化処理結果において、要素の値が「１」の領域を差分正領域Δ＋、「０」の領域を差分ゼロ領域Δ０、「－１」の領域を差分負領域Δ－と表記する。なお、図１３および図１４では、例として、第１しきい値Ｔｈ１＝５、第２しきい値Ｔｈ２＝－５とする。

【0146】

差分正領域Δ＋は、移動前の主要被写体に相当し、差分ゼロ領域Δ０は、前フレームおよび現フレームで差がない領域であるため、背景に相当し、差分負領域Δ－は、移動後の主要被写体に相当する。連続するフレーム間で、主要被写体が移動しない場合、差分負領域Δ－は３値化処理結果に存在しない。

【0147】

３値化処理結果３Δ（ＬＭ１，ＬＭ２）の場合、差分正領域Δ＋が第１フレームＦｂ１における移動前の主要被写体１３０１の存在領域であり、差分ゼロ領域Δ０が第１フレームＦｂ１および第２フレームＦｂ２における背景１３０２の存在領域である。差分負領域Δ－は、３値化処理結果３Δ（ＬＭ１，ＬＭ２）にない。したがって、移動情報算出５４３では、３値化処理結果３Δ（ＬＭ１，ＬＭ２）から主要被写体１３０１の移動方向および移動量は検出されない。

【0148】

図１２において、撮像素子１１０１は、露光時間マップ更新５４４を実行する（ステップＳ２１３）。具体的には、たとえば、撮像素子１１０１は、図１３に示すように、外部処理装置５２０からの第１露光時間マップＭｂ１を主要被写体１３０１の移動方向および移動量に基づいて更新する。

【0149】

本例の場合、３値化処理結果３Δ（ＬＭ１，ＬＭ２）から主要被写体１３０１の移動方向および移動量は検出されないため、第１露光時間マップＭｂ１がそのまま、グローバルメモリ５０６に上書き保存する。便宜的に、上書き保存された第１露光時間マップＭｂ１を第２露光時間マップＭｂ２とする。

【0150】

なお、図１２において、外部処理装置５２０は、領域毎露光制御による撮像（ステップＳ２１１）で得られた第２フレームＦｂ２に基づいて、距離画像演算５２３および被写体検出を実行する（ステップＳ２２１）。

【0151】

［（３）３フレーム目］
図１２において、撮像素子１１０１は、領域毎露光制御による撮像を実行する（ステップＳ３１１）。具体的には、たとえば、図１４に示すように、撮像素子１１０１は、第２露光時間マップＭｂ２を参照して、画素ブロック６００ごとの露光値を設定して撮像する。第２露光時間マップＭｂ２は第１露光時間マップＭｂ１と同一マップであるため、撮像素子１１０１は、第１露光時間マップＭｂ１と位置が同じ全画素読出し領域ＦＲおよび間引き読出し領域ＴＲで、全画素読出しおよび間引き読出しして、３フレーム目の画像信号である第３フレームＦｂ３を出力する。

【0152】

領域毎露光制御による撮像（ステップＳ３１１）において、主要被写体１３０１が左に移動したとする。この場合、第３フレームＦｂ３は、低解像度および高解像度の領域にまたがる主要被写体１３０１および低解像度の背景１３０２からなる画像になったとする。

【0153】

図１２において、撮像素子１１０１は、領域毎輝度統計算出５４１を実行し、図１４に示すように、第３フレームＦｂ３について第３輝度マップＬＭ３を生成する（ステップＳ３１２）。第３輝度マップＬＭ３は、画素ブロックアレイ５０１と同様、８行８列の行列であり、各要素は、各画素ブロック６００の各画素６１０からの画素信号が示す輝度値の統計値である。第３輝度マップＬＭ３は、全画素読出し領域ＦＲに対応する輝度領域１３３１と、間引き読出し領域ＴＲに対応する輝度領域１３３２と、を含む。

【0154】

図１２において、撮像素子１１０１は、差分処理／３値化処理５４２および移動情報算出５４３を実行する（ステップＳ３１３）。具体的には、たとえば、撮像素子１１０１は、図１４に示すように、差分処理により、第３輝度マップＬＭ３から第２輝度マップＬＭ２を減算することで、差分マップΔ（ＬＭ２，ＬＭ３）を出力する。

【0155】

つぎに、撮像素子１１０１は、差分マップΔ（ＬＭ２，ＬＭ３）に対し、３値化処理を実行し、図１４に示すように、３値化処理結果３Δ（ＬＭ２，ＬＭ３）を出力する。

【0156】

３値化処理結果３Δ（ＬＭ２，ＬＭ３）の場合、差分正領域Δ＋が第２フレームＦｂ２における移動前の主要被写体１３０１の存在領域である。差分ゼロ領域Δ０が第２フレームＦｂ２および第３フレームＦｂ３における背景１３０２の存在領域である。差分負領域Δ－は、第３フレームＦｂ３における移動後の主要被写体１３０１の存在領域である。

【0157】

撮像素子１１０１は、移動情報算出５４３により、３値化処理結果３Δ（ＬＭ２，ＬＭ３）において、差分正領域Δ＋から差分負領域Δ－への移動方向および移動量を算出する。本例では、移動方向は左方向、移動量は「３」である。

【0158】

図１２において、撮像素子１１０１は、露光時間マップ更新５４４を実行する（ステップＳ３１３）。具体的には、たとえば、撮像素子１１０１は、グローバルメモリ５０６に保存されている第２露光時間マップＭｂ２を主要被写体１３０１の移動方向および移動量に基づいて更新する。本例の場合、３値化処理結果３Δ（ＬＭ２，ＬＭ３）から主要被写体１３０１の移動方向および移動量が検出されたため、撮像素子１１０１は、第２露光時間マップＭｂ２の高解像度領域ＨＲを左に３移動させ、第３露光時間マップＭｂ３としてグローバルメモリ５０６に保存する。

【0159】

なお、３フレーム目で、外部処理装置５２０が第３露光時間マップＭｂ３を生成する場合、撮像素子１１０１において、ステップＳ３１２、Ｓ３１３は実行されない。この場合、外部処理装置５２０は、領域毎露光制御による撮像（ステップＳ３１１）で得られた第３フレームＦｂ３に基づいて、距離画像演算５２３および被写体検出を実行する（ステップＳ３２１）。

【0160】

そして、外部処理装置５２０は、ステップＳ３２１の距離画像および被写体検出結果を用いて露光時間マップ生成５２５を実行し、第３露光時間マップＭｂ３を生成する（ステップＳ３２２）。外部処理装置５２０は、第３露光時間マップＭｂ３を撮像素子１１０１の周辺回路部１１０２に出力する。これにより、周辺回路部１１０２内のデジタル信号処理部１１０４は、露光時間マップ更新５４４により、外部処理装置５２０からの第３露光時間マップＭｂ３をグローバルメモリ５０６に上書き保存する（ステップＳ３１４）。

【0161】

このように、実施例２によれば、撮像素子１１０１が自律的に露光時間マップを繰り返し生成するため、露光時間マップの更新の高速化を実現することができる。また、撮像素子１１０１と外部処理装置５２０との間のデータ通信量の低減化を図ることができる。

【0162】

なお、上述した実施例１および実施例２において、１ｍｓｅｃ露光における局所的パターンｐ０～ｐ３の空間分布２１１と１／２ｍｓｅｃにおける局所的パターンｐ０～ｐ３の空間分布２１２とを、相似形としてもよい。

【0163】

構造光測距で距離画像の生成を行うにあたっては撮像データと投影パターンの二種類の情報が必要になるが、大局的パターンと局所的パターンが異なっている場合は画像信号処理部５２２内部の距離画像演算部５２３および距離画像演算部５２３の内部メモリ上の投影パターンの二つを個別に用意する必要がある。この場合、投影パターンの一部でも一致する投影パターンを用いればその分の処理回路および投影パターン情報を保持するメモリ領域を流用することができ、回路規模の縮小につながる。

【0164】

図１５は、構造光２００の空間パターン例を示す説明図である。空間分布１５０１は、大局的パターンＰＡ、ＰＢ（１ｍｓｅｃ露光における局所的パターンｐ０～ｐ３）による構造光２００の空間分布２１１である。空間分布１５０２は、１／２ｍｓｅｃにおける局所的パターンｐ０～ｐ３による構造光２００の空間分布２１２である。空間分布１５０２のうち、太枠で示した部分空間分布１５２０が、空間分布１５０１と相似する。

【0165】

これにより、１ｍｓｅｃ露光の場合、撮像素子１０１，１１０１の間引き読出し時では、部分空間分布１５２０と同一パターンの部分空間分布１５１０の構造光２００で受光され、間引き読出しが実行される。したがって、部分空間分布１５１０，１５２０に対応する撮像素子１０１，１１０１の画素ブロック６００からの画像信号については、距離画像演算部５２３および投影パターン情報を保持する内部メモリの領域を流用することができる。したがって、回路規模の縮小化が可能になる。

【0166】

なお、本発明は上記の内容に限定されるものではなく、これらを任意に組み合わせたものであっても良い。また、本発明の技術的思想の範囲で考えられるその他の態様も本発明の範囲に含まれる。