特開 2025-141576 光電変換装置、制御装置および光電変換システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025141576

(43)【公開日】2025-09-29

(54)【発明の名称】光電変換装置、制御装置および光電変換システム

(51)【国際特許分類】

   H04N 25/773 20230101AFI20250919BHJP

   H04N 25/705 20230101ALI20250919BHJP

   H04N 23/56 20230101ALI20250919BHJP

   H04N 23/54 20230101ALI20250919BHJP

   H04N 23/60 20230101ALI20250919BHJP

【ＦＩ】

H04N25/773

H04N25/705

H04N23/56

H04N23/54

H04N23/60

【審査請求】未請求

【請求項の数】17

【出願形態】ＯＬ

(21)【出願番号】P 2024041584

(22)【出願日】2024-03-15

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】松井 司

【テーマコード（参考）】

5C024

5C122

【Ｆターム（参考）】

5C024AX01

5C024AX07

5C024CY17

5C024EX52

5C024GY45

5C024HX32

5C122DA13

5C122DA16

5C122EA22

5C122FA04

5C122FA18

5C122FC06

5C122FC07

5C122FH11

5C122GG04

5C122HB01

5C122HB02

5C122HB05

(57)【要約】

【課題】互いに異なる波長域の画像を撮像する装置において取得される画像の品質を向上させるために有利な技術を提供する。
【解決手段】光電変換装置は、入射した光子の数に応じたデジタルデータを出力する複数の画素を有する撮像素子と、投影部を制御する制御部と、を備える。前記複数の画素は、第１波長域の光に感度を有する第１画素と、前記第１波長域とは異なる第２波長域の光に感度を有する第２画素とを含み、前記投影部は、前記第２波長域を含む投影光を発生し、前記制御部は、前記投影光の強度が所定強度より大きい実効発光期間と、前記投影光の強度が前記所定強度より小さい非実効発光期間とが規定されるように前記投影部を制御し、前記第１画素が撮像を行う第１撮像期間は、前記非実効発光期間の少なくとも一部を含み、前記実効発光期間を含まず、前記第２画素が撮像を行う第２撮像期間は、前記実効発光期間の少なくとも一部と前記非実効発光期間の少なくとも一部とを含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

入射した光子の数に応じたデジタルデータを出力する複数の画素を有する撮像素子と、投影部を制御する制御部と、を備える光電変換装置であって、
前記複数の画素は、第１波長域の光に感度を有する第１画素と、前記第１波長域とは異なる第２波長域の光に感度を有する第２画素とを含み、
前記投影部は、前記第２波長域を含む投影光を発生し、
前記制御部は、前記投影光の強度が所定強度より大きい実効発光期間と、前記投影光の強度が前記所定強度より小さい非実効発光期間とが規定されるように前記投影部を制御し、
前記第１画素が撮像を行う第１撮像期間は、前記非実効発光期間の少なくとも一部を含み、前記実効発光期間を含まず、
前記第２画素が撮像を行う第２撮像期間は、前記実効発光期間の少なくとも一部と前記非実効発光期間の少なくとも一部とを含む、
ことを特徴とする光電変換装置。

【請求項2】

前記第１波長域は、可視光の波長域を含み、
前記第２波長域は、赤外光の波長域を含む、
ことを特徴とする請求項１に記載の光電変換装置。

【請求項3】

前記制御部は、１つの撮像周期が前記実効発光期間および前記非実効発光期間を含むように前記実効発光期間および前記非実効発光期間を規定する、
ことを特徴とする請求項１に記載の光電変換装置。

【請求項4】

前記制御部は、１つの撮像周期が、前記非実効発光期間と、前記非実効発光期間に続く前記実効発光期間とを含むように前記実効発光期間および前記非実効発光期間を規定し、
前記第１撮像期間は、前記非実効発光期間の開始から終了までの期間であり、
前記第２撮像期間は、前記非実効発光期間の開始から前記実効発光期間の終了までの期間である、
ことを特徴とする請求項１に記載の光電変換装置。

【請求項5】

前記複数の画素の各々は、入射した光子の数に応じたデジタルデータを生成するカウンタと、前記カウンタの出力をラッチするラッチ動作を行うラッチ回路とを含み、
前記複数の画素の各々の前記ラッチ回路は、前記第１撮像期間の終了時に前記ラッチ動作を行い、前記第２撮像期間の終了時に再び前記ラッチ動作を行う、
ことを特徴とする請求項４に記載の光電変換装置。

【請求項6】

前記複数の画素の各々の前記カウンタは、前記第１撮像期間および前記第２撮像期間の開始時にリセットが解除され、前記第２撮像期間にわたってカウント動作がイネーブルされる、
ことを特徴とする請求項５に記載の光電変換装置。

【請求項7】

前記第１撮像期間の終了後に前記第１画素の前記ラッチ回路からデジタルデータを読み出し、前記第２撮像期間の終了後に前記第２画素の前記ラッチ回路からデジタルデータを読み出す読出部を更に備える、
ことを特徴とする請求項６に記載の光電変換装置。

【請求項8】

前記制御部は、１つの撮像周期が、前記実効発光期間と、前記実効発光期間に続く前記非実効発光期間とを含むように前記実効発光期間および前記非実効発光期間を規定し、
前記第１撮像期間は、前記非実効発光期間の開始時に開始し、前記非実効発光期間において終了し、
前記第２撮像期間は、前記実効発光期間の開始時に開始し、前記非実効発光期間において終了する、
ことを特徴とする請求項１に記載の光電変換装置。

【請求項9】

前記複数の画素の各々は、入射した光子の数に応じたデジタルデータを生成するカウンタを含み、
前記複数の画素の各々の前記カウンタは、前記第２撮像期間の開始時にカウント動作がイネーブルされ、前記第２撮像期間の終了時に前記カウント動作がディスエーブルされ、
前記第１画素の前記カウンタは、前記第１撮像期間の開始時にリセットが解除され、
前記第２画素の前記カウンタは、前記第２撮像期間の開始時にリセットが解除される、
ことを特徴とする請求項８に記載の光電変換装置。

【請求項10】

前記第１撮像期間および前記第２撮像期間の終了後に前記第１画素および前記第２画素の前記カウンタからデジタルデータを読み出す読出部を更に備える、
ことを特徴とする請求項９に記載の光電変換装置。

【請求項11】

前記制御部は、１つの撮像周期が、前記非実効発光期間と、前記非実効発光期間に続く前記実効発光期間を含むように前記実効発光期間および前記非実効発光期間を規定し、
前記第１撮像期間は、前記非実効発光期間の開始から終了までの期間であり、
前記第２撮像期間は、前記非実効発光期間の開始時に開始し、前記実効発光期間の終了時に終了する、
ことを特徴とする請求項１に記載の光電変換装置。

【請求項12】

前記複数の画素の各々は、入射した光子の数に応じたデジタルデータを生成するカウンタを含み、
前記複数の画素の各々の前記カウンタは、前記第２撮像期間の開始時にリセットが解除され、
前記第１画素の前記カウンタは、前記第１撮像期間の開始時にカウント動作がイネーブルされ、前記第１撮像期間の終了時にカウント動作がディスエーブルされ、
前記第２画素の前記カウンタは、前記第２撮像期間の開始時にカウント動作がイネーブルされ、前記第２撮像期間の終了時にカウント動作がディスエーブルされる、
ことを特徴とする請求項１１に記載の光電変換装置。

【請求項13】

前記第１撮像期間の終了後に前記第１画素の前記カウンタからデジタルデータを読み出し、前記第２撮像期間の終了後に前記第２画素の前記カウンタからデジタルデータを読み出す読出部を更に備える、
ことを特徴とする請求項１２に記載の光電変換装置。

【請求項14】

前記制御部は、１つの撮像周期が、前記非実効発光期間と、前記非実効発光期間に続く前記実効発光期間を含むように前記実効発光期間および前記非実効発光期間を規定し、
前記複数の画素の各々は、入射した光子の数に応じたデジタルデータを生成するカウンタを含み、
前記第１撮像期間は、前記第１画素の前記カウンタがイネーブルされてから前記第１画素の前記カウンタからのデジタルデータの読出が開始されるまでの期間であり、
前記第２撮像期間は、前記第２画素の前記カウンタがイネーブルされてから前記第２画素の前記カウンタからのデジタルデータの読出が開始されるまでの期間であり、
前記実効発光期間は、複数の前記第１画素の前記カウンタからのデジタルデータの読出後に開始し、複数の前記第２画素の前記カウンタからのデジタルデータの読出前に終了する、
ことを特徴とする請求項１に記載の光電変換装置。

【請求項15】

複数の行および複数の列を構成するように配置された複数の画素を有する撮像素子を制御する制御装置であって、前記複数の画素は、同一行に属する第１画素および第２画素を含み、前記第１画素は、第１波長域の光に感度を有し、前記第２画素は、前記第１波長域とは異なる第２波長域の光に感度を有し、
前記制御装置は、前記第１画素および前記第２画素の信号を読み出す期間において、前記第１画素の撮像期間を規定する第１信号、前記第２画素の撮像期間を規定する第２信号を発生する、
ことを特徴とする制御装置。

【請求項16】

前記第１信号は、前記第１画素の撮像期間の終了を規定し、前記第２信号は、前記第２画素の撮像期間の終了を規定する、
ことを特徴とする請求項１５に記載の制御装置。

【請求項17】

２以上の撮像装置と、前記２以上の撮像装置の出力に基づいて視差を算出する視差算出部とを備える光電変換システムであって、
前記２以上の撮像装置の各々は、請求項１乃至１４のいずれか１項に記載の光電変換装置である、
ことを特徴とする光電変換システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、光電変換装置、制御装置および光電変換システムに関する。

【背景技術】

【0002】

現実空間に仮想空間の情報をリアルタイムに重畳し利用者に表示する複合現実感において、現実空間に存在する物体等の三次元形状を推定する必要がある。特に仮想空間と重ね合わせる現実空間の特定の被写体の三次元形状を高精度かつ高速に推定することでより高い複合現実感を得ることができる。そのために、現実空間の撮像と三次元形状の推定を同時に行う手法がある。特許文献１では、可視光および赤外光の撮像が可能な固体撮像装置により、１フレーム走査期間ごとに可視光および赤外光の撮像を行いながら、撮影対象空間へのＩＲパルスの照射を１フレーム走査期間おきに行う距離画像センサが記載されている。この距離画像センサでは、ＩＲパルスの照射時の撮像によって得られたＩＲ画素信号（からＩＲパルスの非照射時の撮像によって得られたＩＲ画素信号を減算することによって、外光中の赤外成分による影響を排除した距離画像を生成する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００８－８７００号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

可視光域および赤外域のような互いに異なる波長域の画像を撮像する装置において、互いに異なる波長域を撮像するための２種類の画素による撮像期間を排他的に定めると、２種類の画素のそれぞれの目的に応じた品質を有する画像を得ることが難しい場合がある。

【0005】

本発明は、互いに異なる波長域の画像を撮像する装置において取得される画像の品質を向上させるために有利な技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の１つの側面は、入射した光子の数に応じたデジタルデータを出力する複数の画素を有する撮像素子と、投影部を制御する制御部と、を備える光電変換装置に係り、前記光電変換装置において、前記複数の画素は、第１波長域の光に感度を有する第１画素と、前記第１波長域とは異なる第２波長域の光に感度を有する第２画素とを含み、前記投影部は、前記第２波長域を含む投影光を発生し、前記制御部は、前記投影光の強度が所定強度より大きい実効発光期間と、前記投影光の強度が前記所定強度より小さい非実効発光期間とが規定されるように前記投影部を制御し、前記第１画素が撮像を行う第１撮像期間は、前記非実効発光期間の少なくとも一部を含み、前記実効発光期間を含まず、前記第２画素が撮像を行う第２撮像期間は、前記実効発光期間の少なくとも一部と前記非実効発光期間の少なくとも一部とを含む。

【発明の効果】

【0007】

本発明によれば、互いに異なる波長域の画像を撮像する装置において取得される画像の品質を向上させるために有利な技術が提供される。

【図面の簡単な説明】

【0008】

【図1】第１実施形態の撮像システムの構成を示す図。

【図2】第１実施形態の撮像素子における複数の画素の配列を例示する図。

【図3】第１実施形態の撮像素子の構成、および撮像素子が備える各画素の詳細な構成例を示す図。

【図4】第１実施形態の撮像システムの動作を例示する図。

【図5】第１実施形態の撮像システムによって撮像される第１画像および第２画像を模式的に示す図。

【図6】第２実施形態の撮像システムの動作を例示する図。

【図7】第２実施形態の撮像システムの動作を例示する図。

【図8】第３実施形態の撮像システムの動作を例示する図。

【図9】第４実施形態の撮像システムの動作を例示する図。

【図10】第５実施形態の撮像システムの構成を示す図。

【図11】第５実施形態の撮像素子の構成、および撮像素子が備える各画素の詳細な構成例を示す図。

【図12】第５実施形態の撮像システムの動作を例示する図。

【図13】第６実施形態の撮像システムの構成を示す図。

【図14】第６実施形態の撮像素子の構成、および撮像素子が備える各画素の詳細な構成例を示す図。

【図15】第５実施形態の撮像システムの動作を例示する図。

【図16】第７実施形態の撮像システムの構成を示す図。

【図17】第７実施形態の撮像素子の構成、および撮像素子が備える各画素の詳細な構成例を示す図。

【図18】第７実施形態の撮像システムの動作を例示する図。

【図19】第８実施形態の撮像システムの動作を例示する図。

【図20】第８実施形態の撮像素子の構成、および撮像素子が備える各画素の詳細な構成例を示す図。

【発明を実施するための形態】

【0009】

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0010】

以下で説明する撮像システムは、本発明の光電変換装置あるいは光電変換システムの適用例である。

【0011】

（第１実施形態）
図１、図２、図３、図４、図５、図６を参照しながら第１実施形態の撮像システム１００について説明する。図１には、第１実施形態の撮像システム１００の構成が示されている。撮像システム１００は、撮像装置１０１と、投影部１０３と、制御部１０４とを備えうる。撮像装置１０１は、撮像素子１０２を含む。撮像素子１０２は、入射した光子の数に応じたデジタルデータ（画素値）を出力する複数の画素を含みうる。これらの画素は、一例において、アバランシェフォトダイオード（ＡＰＤ：Ａｖａｌａｎｃｈｅ Ｐｈｏｔｏ Ｄｉｏｄｅ）を含みうる。該複数の画素は、第１波長域の光に感度を有する第１画素と、該第１波長域とは異なる第２波長域の光に感度を有する第２画素とを含みうる。ここでは、第１波長域が可視光の波長域であり、第２波長域が赤外光（赤外線）の波長域である例を説明するが、これは例示に過ぎず、例えば、双方が可視光の波長域における互いに異なる波長域であってもよい。

【0012】

撮像装置１０１は、撮像素子１０２の撮像面に撮像対象の光学像を形成する光学系を含みうる。投影部１０３は、撮像装置１０１の画角をカバーする領域に対して第２波長域（この例では、赤外光の波長域）の投影光を投影する。投影光は、例えば、パターン化された光（パターン光）でありうる。パターン光におけるパターンは、投影される領域内に類似箇所が現れないランダムパターンであることが望ましいが、これに限定されず、例えば、ドットパターン、グリッドパターンなどでもよい。投影光は、一様な光でもよい。制御部１０４は、投影部１０３を制御するように構成されうる。制御部１０４は、その他、撮像装置１０１を制御するように構成されてもよい。あるいは、制御部１０４は、撮像装置１０１に組み込まれてもよい。撮像システム１００は、複数の第１画素を使って第１画像（ここでは、可視光の画像）を撮像する他、複数の第２画素を使って第２画像（ここでは、可視光および赤外光の画像）を撮像するように構成されうる。

【0013】

図２には、撮像素子１０２における複数の画素の配列が例示されている。撮像素子１０２の複数の画素は、例えば、可視光に感度を有する画素として３種類の画素、具体的には、Ｒ画素２０１、Ｇ画素２０２、Ｂ画素２０３を含み、赤外光に感度を有する画素として１種類のＩＲ画素２０４を含む。しかしながら、可視光のモノクロ画像を得る場合には、可視光に感度を有する画素は１種類のみでもよい。Ｒ画素２０１、Ｇ画素２０２、Ｂ画素２０３は、第１波長域の光に感度を有する第１画素の例であり、ＩＲ画素２０４は、該第１波長域とは異なる第２波長域の光に感度を有する第２画素の例である。複数の画素の配列は、図２に示される例に限定されない。例えば、第一の行にＲ画素とＢ画素を交互に配置し、第二の行にＧ画素とＩＲ画素を交互に配置し、第一の行と第二の行を交互に繰り返す配置でもよい。

【0014】

図３は、撮像素子１０２の構成、および撮像素子１０２が備える各画素の詳細な構成例が示されている。可視光に感度を有する画素であるＲ画素２０１、Ｇ画素２０２、Ｂ画素２０３および赤外光に感度を有する画素であるＩＲ画素２０４は、互いに同一の回路構成を有しうる。撮像素子１０２は、例えば、撮像制御部３０１、読出部３０２および垂直走査回路３１１を含みうる。図３では、複数の画素としてＲ画素２０１、Ｇ画素２０２、Ｂ画素２０３およびＩＲ画素２０４の４画素のみが示されている。撮像制御部３０１は、垂直走査回路３１１を介して各画素を制御する。各画素で得られた画素値（デジタルデータ）は、読出部３０２によって読み出される。撮像制御部３０１は、撮像および読出を制御する種々の信号を垂直走査回路３１１に送る。また、撮像制御部３０１は、読出を制御する信号を読出部３０２に送る。

【0015】

垂直走査回路３１１は、各画素の撮像および読出を制御する信号として、ＥＮＡＢＬＥ信号、ＲＥＳＥＴ信号、ＲＥＡＤｎ信号、ＬＡＴＣＨ信号を有する。ＥＮＡＢＬＥ信号は、アサート（活性化）されることによって各画素のカウンタ３０６のカウント動作をイネーブルする信号である。ＲＥＳＥＴ信号は、アサートされることによって各画素のカウンタ３０６のカウント値（画素値）をリセットする信号である。ＬＡＴＣＨ信号は、信号遷移（ここでは、立ち上がり）により画素内のカウンタ３０６のカウント値をラッチする信号である。ＲＥＡＤｎ信号は、行ごとに設けられる信号であり、アサートされることにより対応する行の各画素から画素値（デジタルデータ）を読出部３０２へ出力させる信号である。読出部３０２は、各画素から読み出される画素値（デジタルデータ）を撮像素子１０２の外部へ順次に出力する。

【0016】

続いて、各画素の詳細について説明する。各画素は、例えば、ＡＰＤ３０３、クエンチ素子３０４、波形整形部３０５、カウンタ３０６、ラッチ回路３０９、および、選択トランジスタ３１０を含みうる。ＡＰＤ３０３は光電変換部であり、ＡＰＤ３０３に光子が入射すると、光電変換により入射光に応じた電荷対が生成される。ＡＰＤ３０３のアノードには、第一電圧が供給され、ＡＰＤ３０３のカソードには第一電圧よりも高い第二電圧が供給されうる。光電変換により生成された電荷対は、アバランシェ増倍を引き起こし、アバランシェ電流が発生する。クエンチ素子３０４は、第二電圧を供給する電源とＡＰＤ３０３とを接続し、ＡＰＤ３０３で生じたアバランシェ電流の変化を電圧信号に変換する。また、クエンチ素子３０４は、アバランシェ増倍による信号増倍時に負荷回路として機能し、ＡＰＤ３０３に供給される電圧を抑制することによってアバランシェ増倍を停止せる。

【0017】

波形整形部３０５は、ＡＰＤ３０３に光子が入射した際のＡＰＤ３０３のカソードの電位の変化を整形することによってパルス信号を発生する。カウンタ３０６は、垂直走査回路３１１から供給されるＥＮＡＢＬＥ信号（イネーブル信号）、ＲＥＳＥＴ信号（リセット信号）に加えて、波形整形部３０５から供給されるパルス信号を受けて動作しうる。カウンタ３０６は、イネーブル回路としてのＡＮＤ回路３０８と、カウンタ回路３０７とを含みうる。ＥＮＡＢＬＥ信号がアサートされ、ＲＥＳＥＴ信号がデアサートされている場合において、波形整形部３０５からパルスが供給されると、カウンタ回路３０７によるカウント値がインクリメントされる。ＲＥＳＥＴ信号がアサートされると、カウンタ回路３０７によるカウント値が所定の値にリセットされる。

【0018】

ラッチ回路３０９は、ＬＡＴＣＨ信号（ラッチ信号）の立ち上がりに応じてカウンタ３０６（カウンタ回路３０７）のカウント値をラッチする回路である。ラッチ回路３０９がラッチした値は、後段の選択トランジスタ３１０へ伝達される。選択トランジスタ３１０は、ＲＥＡＤ信号（リード信号）がアサートされると、読出線を介して読出部３０２にカウント値を画素値（デジタルデータ）として出力する。各画素は、画素値（デジタルデータ）が読出部３０２によって読み出されてもその画素値を維持する。

【0019】

図４には、撮像システム１００の動作が例示されている。制御部１０４は、撮像開始信号、読出開始信号、投影信号を出力し、垂直走査回路３１１は、ＥＮＡＢＬＥ信号、ＲＥＳＥＴ信号、ＬＡＴＣＨ信号、ＲＥＡＤ信号を出力する。制御部１０４は、投影信号によって、投影光の強度が所定強度より大きい実効発光期間と、投影光の強度が該所定強度より小さい非実効発光期間とが規定されるように投影部１０３を制御しうる。この例では、投影信号がアサートされている期間が実効発光期間である。所定強度は、例えば、目標最低強度である。投影部１０３が有する発光素子に対する電流供給を遮断した直後においても該発光素子は若干の光を放射しうるが、その光が所定強度より小さい期間は、非実効発光期間である。

【0020】

制御部１０４、又は、制御部１０４によって制御される垂直走査回路３１１は、第１画素としてのＲ画素２０１、Ｇ画素２０２、Ｂ画素２０３が撮像を行う第１撮像期間を規定する。また、制御部１０４、又は、制御部１０４によって制御される垂直走査回路３１１は、第２画素としてのＩＲ画素２０４が撮像を行う第２撮像期間を規定する。画素が撮像を行う撮像期間は、画素が入射した光子の数を出力値としてのデジタルデータに反映可能な期間として理解することができる。第１画素がＲ画素２０１、Ｇ画素２０２、Ｂ画素２０３が撮像を行う第１撮像期間は、非実効発光期間の少なくとも一部を含み、実効発光期間を含まない期間である。第２画素としてのＩＲ画素が撮像を行う第２撮像期間は、実効発光期間の少なくとも一部と非実効発光期間の少なくとも一部とを含む期間である。

【0021】

図４に示された例では、制御部１０４は、１つの撮像周期が、非実効発光期間と、非実効発光期間に続く実効発光期間とを含むように実効発光期間および非実効発光期間を規定する。図４に示された例では、第１撮像期間は、非実効発光期間の開始から終了までの期間であり、第２撮像期間は、非実効発光期間の開始から実効発光期間の終了までの期間である。

【0022】

複数の画素（第１画素、第２画素）の各々のラッチ回路３０９は、第１撮像期間の終了時にラッチ動作を行い、第２撮像期間の終了時に再びラッチ動作を行いうる。複数の画素の各々のカウンタ３０６は、第１撮像期間および第２撮像期間の開始時にリセットが解除され、第２撮像期間にわたってカウント動作がイネーブルされうる。読出部３０２は、第１撮像期間の終了後に第１画素としてのＲ画素２０１、Ｇ画素２０２、Ｂ画素２０３のラッチ回路３０９からデジタルデータを読み出し、第２撮像期間の終了後に第２画素としてのＩＲ画素２０４のラッチ回路３０９からデジタルデータを読み出す。

【0023】

以下、撮像システム１００のより具体的な動作例を説明する。時刻ｔ４０１において、制御部１０４は、撮像開始信号を立ち上げる。この立ち上がりが撮像周期の終了ならびに開始を示している。したがって、時刻ｔ４０１で開始した撮像周期は、時刻ｔ４０４での撮像開始信号の立ち上がりによって終了する。また、時刻ｔ４０１は、撮像周期内の第１撮像期間、第２撮像期間、非発光期間の開始時刻でもある。撮像開始信号の立ち上がりに応答して、撮像制御部３０１は、垂直走査回路３１１へ撮像開始信号を伝達する。これにより、垂直走査回路３１１は、各画素での撮像を開始するため、ＥＮＡＢＬＥ信号をアサートする。

【0024】

時刻ｔ４０２において、制御部１０４は、読出開始信号を立ち上げる。ここで、制御部１０４は、撮像開始信号の立ち上げ後、第１所定時間の経過に応じて、第１撮像期間を終了させるように、読出開始信号を立ち上げる。この立ち上がりにより、撮像制御部３０１は、垂直走査回路３１１および読出部３０２へ読出開始信号を伝達する。これにより、垂直走査回路３１１は、ＬＡＴＣＨ信号を立ち上げ、また、複数の行のＲＥＡＤｎ信号を順次にアサートする動作を開始する。ＬＡＴＣＨ信号の立ち上がりにより、各画素のラッチ回路３０９にカウンタ３０６のカウント値である画素値（デジタルデータ）がラッチされ、ＲＥＡＤｎ信号のアサートにより対応する行の画素から画素値が読み出される。この際に、ラッチ回路３０９によってラッチされた画素値は維持される。この状態で、各画素において、波形整形部３０５がパルス信号を発生すると、それを受けたカウンタ３０６は、カウント値をインクリメントする。垂直走査回路３１１は、複数の行のＲＥＡＤｎ信号を所定の順番で順次にアサートすることで、複数の行の画素値が順次に読出部３０２によって読み出される。また、制御部１０４は、読出開始信号の立ち上げ後に応答して投影信号をアサートし、これに応答して投影部１０３が投影光の投影を開始する。時刻ｔ４０２は、実効発光期間の開始時刻として理解されてよい。

【0025】

時刻ｔ４０３において、制御部１０４は、再び読出開始信号を立ち上げる。ここで、制御部１０４は、時刻ｔ４０２での読出開始信号の立ち上げ後、第２所定時間の経過に応じて第２撮像期間を終了させるように、読出開始信号を立ち上げる。この立ち上がりによって、投影信号をデアサートし、投影部１０３は、時刻ｔ４０３において投影光の投影を終了する。また、撮像制御部３０１は、垂直走査回路３１１および読出部３０２へ読出開始信号を伝達する。これにより、垂直走査回路３１１は、ＬＡＴＣＨ信号を立ち上げ、また、複数の行のＲＥＡＤｎ信号を所定の順番で順次にアサートする動作を開始する。ＬＡＴＣＨ信号の立ち上がりにより、各画素のラッチ回路３０９にカウンタ３０６のカウント値である画素値（デジタルデータ）がラッチされ、ＲＥＡＤｎ信号のアサートにより画素値が読み出される。なお、ＬＡＴＣＨ信号の立ち上げと、それに続くＲＥＡＤｎ信号のアサートによる画素値の読み出しは、次の読出が開始する時刻ｔ４０５までに完了すればよいため、時刻ｔ４０３から時刻ｔ４０５までの期間に実行してもよい。

【0026】

時刻ｔ４０４において、制御部１０４は、撮像開始信号を再び立ち上げる。ここで、制御部１０４は、時刻ｔ４０３での読出開始信号の立ち上げから第３所定時間の経過に応じて、時刻ｔ４０１において開始された１つの撮像周期が終了するように、撮像開始信号を立ち上げる。前述のように、この立ち上がりにより１つの撮像周期が終了すると同時に次の撮像周期が開始する。

【0027】

以降の時刻ｔ４０４から時刻ｔ４０７までの動作は、時刻ｔ４０１から時刻ｔ４０４までの動作の繰り返しである。

【0028】

時刻ｔ４０１から時刻ｔ４０２までの期間、時刻ｔ４０２から時刻ｔ４０３までの期間、時刻ｔ４０３から時刻ｔ４０４まで期間は、時刻ｔ４０１から時刻ｔ４０４までの撮像周期の設定に基づいて決定されうる。例えば、時刻ｔ４０１から時刻ｔ４０４までの撮像周期を１６．６６６ｍｓとし、時刻ｔ４０１から時刻ｔ４０２までの期間を１５ｍｓ、時刻ｔ４０２から時刻ｔ４０３までの期間を１ｍｓ、時刻ｔ４０３から時刻ｔ４０４までの期間を０．６６６ｍｓとしてもよい。

【0029】

また、撮影環境および／または撮像システムの実装形態に応じて、撮像周期ごとに上記の各期間を調整してもよい。例えば、可視光画像への影響がない範囲で、可視光画像を読み出す前に投影光の投影を行ってもよいし、赤外光画像に求められるＳ／Ｎ比を維持できる範囲で、実効発光期間の経過後もＩＲ画素２０４による撮像を継続してもよい。

【0030】

撮像制御部３０１は、制御装置として理解されてもよい。制御部１９０４は、複数の行および複数の列を構成するように配置された複数の画素を有する撮像素子を制御するように構成されうる。ここで、複数の画素は、同一行に属する第１画素（例えば、Ｂ画素２０３）および第２画素（例えば、ＩＲ画素２０４）を含み、第１画素は、第１波長域の光に感度を有し、第２画素は、該第１波長域とは異なる第２波長域の光に感度を有しうる。撮像制御部３０１は、第１画素および第２画素の信号を読み出す期間において、第１画素の撮像期間を規定する第１信号、第２画素の撮像期間を規定する第２信号を発生するように構成されうる。図４に示された例では、第１信号は、時刻ｔ４０２で遷移する読出開始信号であり、第２信号は、時刻ｔ４０３で遷移する読出開始信号である。第１信号は、第１画素の撮像期間の終了を規定し、第２信号は、第２画素の撮像期間の終了を規定しうる。

【0031】

図５には、ある環境で撮像された可視光画像（第１画像）と赤外光画像（第２画像）とが例示されている。図５（Ａ）には、赤外光（投影光）を投影せずに第１画素（Ｒ画素２０１、Ｇ画素２０２、Ｂ画素２０３）で撮像された可視光画像（第１画像）が模式的に示されている。図５（Ｂ）には、赤外光（投影光）を投影して撮像された赤外光画像（第２画像）が模式的に示されている。環境中に十分な明るさがあっても赤外光が少ない場合、図５（Ｂ）の画像のように、可視光画素と比べて赤外光画像が暗くなるが、赤外光を投影することで、赤外光画像としての明るさや特徴量を増加させることができる。なお、図５（Ｂ）では、投影光がドットパターンを含む例を模式的に示したものであり、画角（視野）内に存在する物体の形状等は考慮されていない。実際には、ドットパターンは、物体の形状等に応じて画像内に配置される。

【0032】

第１実施形態によれば、撮像システム１００は、投影光を投影せずに第１画素によって撮像を行って第１画像（例えば、可視光の画像）を取得する。また、撮像システム１００は、投影光を投影しない状態および投影光を投影した状態で第２画素によって撮像を行って第２画像（例えば、可視光および赤外光の画像）を取得する。よって、第１画像では、投影光の影響が抑制され、第２画像では、投影光の投影による輝度の上昇によりＳ／Ｎ比を改善することができる。

【0033】

（第２実施形態）
以下、図６および図７を参照しながら第２実施形態について説明するが、第２実施形態として言及しない事項は、第１実施形態に従いうる。第２実施形態の撮像システム６００は、図２～図５を参照して説明された構成および動作については、第１実施形態の撮像システム１００と同様である。

【0034】

第２実施形態の撮像システム６００は、撮像された画像に基づいてブロックマッチングによって視差を算出する。一般的にブロックマッチングでは、特徴量が少ない画像に比べて特徴量が多い画像は、より高い精度で視差を算出するために有利である。そのため、第２実施形態では、投影光の投影によって特徴量を増加させた第２画像（例えば、可視光および赤外光の画像）に基づいて視差を算出する。

【0035】

図６には、第２実施形態の撮像システム６００の構成が示されている。第２実施形態の撮像システム６００は、制御部１０４および投影部１０３の他、ステレオカメラを構成する撮像装置６０１と、撮像装置６０１で撮像されたステレオ画像の視差を算出する視差算出部６０５とを備えている。

【0036】

撮像装置６０１は、所定の距離を隔てて２以上の撮像部が配置されたステレオカメラであり、各撮像部には、撮像素子１０２と、撮像素子１０２の撮像面に撮像対象の光学像を形成する光学系（不図示）とを含む。撮像素子１０２は、第１実施形態において説明された撮像素子１０２と同様の構成を有しうる。２以上の撮像素子１０２は、基本的に同期して同じ動作をするが、必ずしも常に同じ動作をする必要はない。

【0037】

視差算出部６０５は、２以上の撮像素子１０２から出力された画像に基づいて視差を算出する。算出された視差は、対応する画素位置に視差値を持つ視差画像として、撮像システム６００の外部に出力されうる。算出方法としては、例えば、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）、又は、セミグローバルマッチングなどを採用しうる。

【0038】

図７は、第３実施形態の撮像システム６００において視差算出部６０５が視差を算出する一連の流れを例示するフローチャートである。Ｓ７００において、視差算出部６０５は、第２撮像期間の終了を待つ。Ｓ７０１において、視差算出部６０５は、制御部１０４によって各撮像素子１０２の複数の第１画素および複数の第２画素からそれぞれ読み出された第１画像および第２画像を読み込む。Ｓ７０２において、視差算出部６０５は、Ｓ７０１において読み込んだ第１画像および第２画像に対してデモザイク処理とモノクロ化処理を行う。撮像素子１０２は、第１画素としてのＲ画素２０１、Ｇ画素２０２、Ｂ画素２０３に加え、第２画素としてのＩＲ画素２０４を有するので、各波長域の感度を考慮した係数で、デモザイク処理およびモノクロ化することが望ましい。Ｓ７０３において、視差算出部６０５は、Ｓ７０２においてモノクロ化された画素値に対して視差を算出する。Ｓ７０４において、視差算出部６０５は、Ｓ７０３において算出された視差を撮像システム６００の外部へ出力する。視差算出部６０５は、２以上の撮像素子１０２のうち任意の１つの撮像素子１０２を基準にした視差画像を生成してもよいし、２以上の撮像素子１０２のそれぞれを基準にした視差画像を生成してもよい。

【0039】

第２実施形態によれば、第１実施形態の撮像システムをステレオカメラに適用することによって、投影光の影響が抑制された第１画像とＳ／Ｎ比が改善された第２画像とを用いて視差を算出することができる。したがって、第２実施形態は、高い精度で距離を測定するために有利である。撮像システム６００は、像面位相差を取得できる単体の撮像素子で構成されてもよい。

【0040】

（第３実施形態）
第３実施形態は、第２実施形態の変形例である。第３実施形態として言及しない事項は、第２実施形態に従う。図６に示された撮像システム６００は、第３実施形態において援用される。第３実施形態の撮像システム６００は、第２画像のみに基づいて視差を算出する。

【0041】

図８は、第３実施形態の撮像システム６００において視差算出部６０５が視差を算出する一連の流れを例示するフローチャートである。Ｓ８００において、視差算出部６０５は、第２撮像期間の終了を待つ。Ｓ８０１において、視差算出部６０５は、制御部１０４によって各撮像素子１０２の第２画素から読み出された第２画像を読み込む。Ｓ８０２において、視差算出部６０５は、Ｓ８０１において読み込んだ第２画像に基づいて視差を算出する。Ｓ８０３において、視差算出部６０５は、Ｓ８０２において算出された視差を撮像システム６００の外部へ出力する。

【0042】

第３実施形態によれば、複数の第２画素から読み出された第２画像のみに基づいて視差を算出することで、第１波長域では特徴量が少ない被写体に対しても第２波長域により特徴量を増加させて視差を適切に算出することができる。また、撮像した第１画像の特徴量に基づいて第２実施形態の視差算出方法と第３実施形態の視差算出方法のいずれを使用するかを決定してもよい。例えば、第１画像の特徴量が所定量よりも多い場合には、第２実施形態の視差算出方法を使用し、第１画像の特徴量が所定量よりも少ない場合には、第３実施形態の視差算出方法を使用してもよい。

【0043】

（第４実施形態）
第４実施形態は、第２実施形態の変形例である。第４実施形態として言及しない事項は、第２実施形態に従う。図６に示された撮像システム６００は、第４実施形態において援用される。第３実施形態の撮像システム６００は、第１画像および第２画像のそれぞれに基づいて視差を算出する。

【0044】

図９は、第４実施形態の撮像システム６００において視差算出部６０５が視差を算出する一連の流れを例示するフローチャートである。Ｓ９００において、視差算出部６０５は、第２撮像期間の終了を待つ。Ｓ９０１において、視差算出部６０５は、制御部１０４によって各撮像素子１０２の複数の第１画素および複数の第２画素からそれぞれ読み出された第１画像および第２画像を読み込む。Ｓ９０２において、視差算出部６０５は、Ｓ９０１において読み出された第１画像に対してデモザイク処理およびモノクロ化処理を行う。Ｓ９０３において、視差算出部６０５は、Ｓ９０２においてモノクロ化された第２画像に基づいて撮像素子間の視差を算出する。Ｓ９０４において、視差算出部６０５は、Ｓ９０１において読み出された第２画像に対してデモザイク処理を行う。Ｓ９０５において、視差算出部６０５は、Ｓ９０４においてデモザイク処理された第２画像に基づいて撮像素子間の視差を算出する。Ｓ９０６において、視差算出部６０５は、Ｓ９０３およびＳ９０５において算出された視差値を出力する。Ｓ９０２およびＳ９０３で構成される処理とＳ９０４およびＳ９０５で構成される処理は、いずれが先に実行されてもよいし、並行して実効されてもよい。

【0045】

第４実施形態では、第１画像に基づいて視差を算出するとともに、第２画像に基づいて視差を算出する。これにより、第２実施形態および第３実施形態と同様に、第１画像への第２波長域の光の影響を抑制しながら、特徴が少ない被写体に対しても第２波長域の光により特徴を持たせて視差を高精度で算出することができる。また、視差算出部７０６から出力された第１画像に基づく視差画像と第２画像に基づく視差画像から、第１撮像素子基準の視差画像と第２撮像素子基準の視差画像を比較し、より視差の差が小さい視差画像の値を選択して１つの視差画像を生成してもよい。これにより、第２実施形態および第３実施形態で算出された視差画像よりも精度が高い視差画像を得ることができる。

【0046】

（第５実施形態）
以下、図１０、図１１、図１２を参照しながら第５実施形態について説明するが、第５実施形態として言及しない事項は、第１乃至第４実施形態に従いうる。第５実施形態の撮像システム１０００における撮像素子１００２は、第１画素および第２画素を個別にリセットすることができる。

【0047】

図１０には、第５実施形態の撮像システム１０００の構成が示されている。第５実施形態の撮像システム１０００は、制御部１０４および投影部１０３の他、ステレオカメラを構成する撮像装置１００１と、撮像装置１００１で撮像されたステレオ画像の視差を算出する視差算出部６０５とを備えている。撮像装置１００１は、所定の距離を隔てて２以上の撮像部が配置されたステレオカメラであり、各撮像部には、撮像素子１００２と、撮像素子１００２の撮像面に撮像対象の光学像を形成する光学系（不図示）とを含む。ただし、視差を検出しない用途に適用される場合、撮像素子１００２は、単一の撮像部で構成され、視差算出部６０５は、取り除かれうる。

【0048】

図１１には、撮像素子１００２の構成、および撮像素子１００２が備える各画素の詳細な構成例が示されている。撮像素子１００２の複数の画素は、例えば、可視光に感度を有する画素として３種類の画素、具体的には、Ｒ画素１１０１、Ｇ画素１１０２、Ｂ画素１１０３を含み、赤外光に感度を有する画素として１種類のＩＲ画素１１０４を含む。しかしながら、可視光のモノクロ画像を得る場合には、可視光に感度を有する画素は１種類のみでもよい。Ｒ画素１１０１、Ｇ画素１１０２、Ｂ画素１１０３は、第１波長域の光に感度を有する第１画素の例であり、ＩＲ画素１１０４は、該第１波長域とは異なる第２波長域の光に感度を有する第２画素の例である。

【0049】

可視光に感度を有する画素であるＲ画素１１０１、Ｇ画素１１０２、Ｂ画素１１０３および赤外光に感度を有する画素であるＩＲ画素１１０４は、互いに同一の回路構成を有しうる。撮像素子１００２は、例えば、撮像制御部１１１０、読出部３０２および垂直走査回路１１１１を含みうる。図１１では、複数の画素としてＲ画素１１０１、Ｇ画素１１０２、Ｂ画素１１０３およびＩＲ画素１１０４の４画素のみが示されている。撮像制御部１１１０は、垂直走査回路１１１１を介して各画素を制御する。各画素で得られた画素値（デジタルデータ）は、読出部３０２によって読み出される。撮像制御部１１１０は、撮像および読出を制御する種々の信号を垂直走査回路１１１１に送る。また、撮像制御部１１１０は、読出を制御する信号を読出部３０２に送る。

【0050】

垂直走査回路１１１１は、各画素の撮像および読出を制御する信号として、ＥＮＡＢＬＥ信号、ＲＥＳＥＴ＿ＲＧＢ信号、ＲＥＳＥＴ＿ＩＲ信号、ＲＥＡＤｎ信号を有する。ＥＮＡＢＬＥ信号は、アサート（活性化）されることによって各画素のカウンタ１１０５のカウント動作をイネーブルする信号である。ＲＥＳＥＴ＿ＲＧＢ信号は、アサートされることによって第１画素としてのＲ画素１１０１、Ｇ画素１１０２、Ｂ画素１１０３のカウンタ１１０５のカウント値をリセットする信号である。ＲＥＳＥＴ＿ＩＲ信号は、アサートされることによって第２画素としてのＩＲ画素１１０４のカウンタ１１０５のカウント値をリセットする信号である。なお、第１画素としてのＲ画素１１０１、Ｇ画素１１０２、Ｂ画素１１０３のカウンタ１１０５を個別にリセットできるように、Ｒ画素１１０１、Ｇ画素１１０２、Ｂ画素１１０３にそれぞれ対応するＲＥＳＥＴ信号が設けられてもよい。ＲＥＡＤｎ信号は、行ごとに設けられる信号であり、アサートされることにより対応する行の各画素から画素値（デジタルデータ）を読出部３０２へ出力させる信号である。読出部３０２は、各画素から読み出される画素値（デジタルデータ）を撮像素子１０２の外部へ順次に出力する。

【0051】

続いて、各画素の詳細について説明する。各画素は、例えば、ＡＰＤ３０３、クエンチ素子３０４、波形整形部３０５、カウンタ１１０５、および、選択トランジスタ３１０を含みうる。カウンタ１１０５は、イネーブル回路としてＡＮＤ回路３０８と、カウンタ回路３０７とを含みうる。第１画素としてのＲ画素１１０１、Ｇ画素１１０２、Ｂ画素１１０３のカウンタ回路３０７には、ＲＥＳＥＴ＿ＲＧＢ信号が供給され、第２画素としてのＩＲ画素１１０４のカウンタ回路３０７には、ＲＥＳＥＴ＿ＩＲ信号が供給される。

【0052】

Ｒ画素１１０１、Ｇ画素１１０２、Ｂ画素１１０３のカウンタ回路３０７では、ＥＮＡＢＬＥ信号がアサートされ、ＲＥＳＥＴ＿ＲＧＢ信号がデアサートされている場合において、波形整形部３０５からパルスが供給されると、カウント値がインクリメントされる。ＲＥＳＥＴ＿ＲＧＢ信号がアサートされると、カウンタ回路３０７によるカウント値が所定の値にリセットされる。ＩＲ画素１１０４のカウンタ回路３０７では、ＥＮＡＢＬＥ信号がアサートされ、ＲＥＳＥＴ＿ＩＲ信号がデアサートされている場合において、波形整形部３０５からパルスが供給されると、カウンタ回路３０７によるカウント値がインクリメントされる。ＲＥＳＥＴ＿ＩＲ信号がアサートされると、カウンタ回路３０７によるカウント値が所定の値にリセットされる。

【0053】

図１２には、撮像システム１０００の動作が例示されている。制御部１０４は、撮像開始信号、読出開始信号、投影信号を出力し、垂直走査回路３１１は、ＥＮＡＢＬＥ信号、ＲＥＳＥＴ＿ＲＧＢ信号、ＲＥＳＥＴ＿ＩＲ信号、ＲＥＡＤｎ信号を出力する。

【0054】

制御部１０４、又は、制御部１０４によって制御される垂直走査回路１１１１は、第１画素としてのＲ画素１１０１、Ｇ画素１１０２、Ｂ画素１１０３が撮像を行う第１撮像期間を規定する。また、制御部１０４、又は、制御部１０４によって制御される垂直走査回路１１１１は、第２画素としてのＩＲ画素１１０４が撮像を行う第２撮像期間を規定する。画素が撮像を行う撮像期間は、画素が光子の数に応じたデジタルデータを生成可能な期間として理解することができる。第１画素としてのＲ画素１１０１、Ｇ画素１１０２、Ｂ画素１１０３が撮像を行う第１撮像期間は、非実効発光期間の少なくとも一部を含み、実効発光期間を含まない期間である。第２画素としてのＩＲ画素が撮像を行う第２撮像期間は、実効発光期間の少なくとも一部と非実効発光期間の少なくとも一部とを含む期間である。

【0055】

図１２に示された例では、制御部１０４は、１つの撮像周期が、実効発光期間と、実効発光期間に続く非実効発光期間を含むように実効発光期間および非実効発光期間を規定する。図１２に示された例では、第１撮像期間は、非実効発光期間の開始時に開始し、非実効発光期間において終了し、第２撮像期間は、実効発光期間の開始時に開始し、非実効発光期間において終了する。

【0056】

複数の画素（第１画素および第２画素）の各々のカウンタ１１０５は、第２撮像期間の開始時にカウント動作がイネーブルされ、第２撮像期間の終了時にカウント動作がディスエーブルされうる。第１画素（Ｒ画素１１０１、Ｇ画素１１０２、Ｂ画素１１０３）のカウンタ１１０５は、第１撮像期間の開始時にリセットが解除されうる。第１画素（Ｒ画素１１０１、Ｇ画素１１０２、Ｂ画素１１０３）のカウンタ１１０５は、全ての第１画素からのカウント値の読み出しが終了した後にリセットされうる。第２画素（ＩＲ画素１１０４）のカウンタ１１０５は、第２撮像期間の開始時にリセットが解除されうる。第２画素（ＩＲ画素１１０４）のカウンタ１１０５は、全ての第２画素からのカウント値の読み出しが終了した後にリセットされうる。読出部３０２は、第１撮像期間および第２撮像期間の終了後に第１画素および第２画素のカウンタ１１０５から画素値であるカウント値（デジタルデータ）を読み出す。

【0057】

以下、撮像システム１０００のより具体的な動作例を説明する。時刻ｔ１２０１において、制御部１０４は、撮像開始信号を立ち上げる。この立ち上がりが撮像周期の終了ならびに開始を示している。したがって、時刻ｔ１２０１で開始した撮像周期は、時刻ｔ１２０４での撮像開始信号の立ち上がりによって終了する。また、時刻ｔ１２０１は、撮像周期内の第２撮像期間の開始時刻でもある。そのため、撮像開始信号の立ち上がりと同期して、制御部１０４は、投影信号をアサートし、投影部１０３は、これに応答して投影部１０３が投影光の投影を開始する。時刻ｔ１２０１は、実効発光期間の開始時刻として理解されてよい。撮像装置１００１は、実効発光期間においては、第２画素としてのＩＲ画素１１０４による撮像を行うが、第１画素としてのＲ画素１１０１、Ｇ画素１１０２、Ｂ画素１１０３による撮像を行わない。そのため、垂直走査回路１１１１は、時刻ｔ１２０１においてＲＥＳＥＴ＿ＩＲ信号をデアサートするが、リセット信号ＲＥＳＥＴ＿ＲＧＢをアサートする。

【0058】

時刻ｔ１２０２において、制御部１０４は、投影信号をデアサートする。ここで、制御部１０４は、時刻ｔ１２０１において撮像開始信号を立ち上げた後、第１所定時間の経過に応じて投影信号をデアサートする。これに応じて、投影部１０３は投影光の投影を終了する。また、投影光の投影の終了に応じて第１画素による撮像を開始するために、垂直走査回路１１１１は、第１画素としてＲ画素１１０１、Ｇ画素１１０２、Ｂ画素１１０３のカウンタ１１０５のリセットＲＥＳＥＴ＿ＲＧＢ信号をデアサートする。

【0059】

時刻ｔ１２０３において、制御部１０４は、読出開始信号を立ち上げる。ここで、制御部１０４は、時刻ｔ１３０２での投影信号のデアサート後、第２所定時間の経過に応じて第１撮像期間および第２撮像期間を終了させるように、読出開始信号を立ち上げる。この立ち上がりによって、垂直走査回路１１１１は、撮像を終了するためにＥＮＡＢＬＥ信号をデアサートし、複数の行のＲＥＡＤｎ信号を順次にアサートする動作を開始する。ＲＥＡＤｎ信号のアサートにより対応する行の画素から画素値が読み出される。また、垂直走査回路１１１１は、時刻ｔ１２０３から時刻ｔ１２０４までの期間に、少なくとも１度、ＲＥＳＥＴ＿ＩＲ信号をアサートする。

【0060】

時刻ｔ１２０４において、制御部１０４は、再び読出開始信号を立ち上げる。ここで、制御部１０４は、時刻ｔ１２０３での読出開始信号の立ち上げ後、第３所定時間の経過に応じて撮像周期を終了させるように、撮像開始信号を立ち上げる。

【0061】

以降の時刻ｔ１２０４から時刻ｔ１２０７までの期間は、時刻ｔ１２０１から時刻ｔ１２０４までの動作の繰り返しである。

【0062】

第５実施形態では、第１画素のリセットおよび第２画素のリセットを個別に解除する。より、具体的には、第２画素のリセットを解除し投影光を投影しながら第２画素による撮像を行い、その後、投影光の投影を終了し、第１画素のリセットを解除することによって第１画素による撮像を開始する。よって、第１画素による撮像によって得られる第１画像では、投影光の影響が抑制され、第２画素による撮像によって得られる第２画像では、投影光の投影による輝度の上昇によりＳ／Ｎ比を改善することができる。また、第１画素および第２画素から並行して画素値を読み出すことができるので、高速化および低消費電力化が可能である。

【0063】

（第６実施形態）
以下、図１３、図１４、図１５を参照しながら第６実施形態について説明するが、第６実施形態として言及しない事項は、第１乃至第５実施形態に従いうる。第６実施形態の撮像システム１３００における撮像素子１３０２は、第１画素および第２画素を個別にイネーブルすることができる。

【0064】

図１３には、第６実施形態の撮像システム１３００の構成が示されている。第６実施形態の撮像システム１３００は、制御部１０４および投影部１０３の他、ステレオカメラを構成する撮像装置１３０１と、撮像装置１３０１で撮像されたステレオ画像の視差を算出する視差算出部６０５とを備えている。撮像装置１３０１は、所定の距離を隔てて２以上の撮像部が配置されたステレオカメラであり、各撮像部には、撮像素子１３０２と、撮像素子１３０２の撮像面に撮像対象の光学像を形成する光学系（不図示）とを含む。ただし、視差を検出しない用途に適用される場合、撮像素子１３０２は、単一の撮像部で構成され、視差算出部６０５は、取り除かれうる。

【0065】

図１４には、撮像素子１３０２の構成、および撮像素子１３０２が備える各画素の詳細な構成例が示されている。撮像素子１３０２の複数の画素は、例えば、可視光に感度を有する画素として３種類の画素、具体的には、Ｒ画素１１０１、Ｇ画素１１０２、Ｂ画素１１０３を含み、赤外光に感度を有する画素として１種類のＩＲ画素１１０４を含む。しかしながら、可視光のモノクロ画像を得る場合には、可視光に感度を有する画素は１種類のみでもよい。Ｒ画素１１０１、Ｇ画素１１０２、Ｂ画素１１０３は、第１波長域の光に感度を有する第１画素の例であり、ＩＲ画素１１０４は、該第１波長域とは異なる第２波長域の光に感度を有する第２画素の例である。

【0066】

可視光に感度を有する画素であるＲ画素１１０１、Ｇ画素１１０２、Ｂ画素１１０３および赤外光に感度を有する画素であるＩＲ画素１１０４は、互いに同一の回路構成を有しうる。撮像素子１３０２は、例えば、撮像制御部１４０１、読出部１４０２および垂直走査回路１４１１を含みうる。図１４では、複数の画素としてＲ画素１１０１、Ｇ画素１１０２、Ｂ画素１１０３およびＩＲ画素１１０４の４画素のみが示されている。撮像制御部１４１０は、垂直走査回路１４１１を介して各画素を制御する。各画素で得られた画素値（デジタルデータ）は、読出部１４０２によって読み出される。撮像制御部１４０１は、撮像および読出を制御する種々の信号を垂直走査回路１４１１に送る。また、撮像制御部１４０１は、読出を制御する信号を読出部１４０２に送る。

【0067】

垂直走査回路１４１１は、各画素の撮像および読出を制御する信号として、ＥＮＡＢＬＥ＿ＲＧＢ信号、ＥＮＡＢＬＥ＿ＩＲ信号、ＲＥＳＥＴ信号、ＲＥＡＤｎ信号を有する。ＥＮＡＢＬＥ＿ＲＧＢ信号は、アサート（活性化）されることによって第１画素としてのＲ画素１１０１、Ｇ画素１１０２、Ｂ画素１１０３のカウンタ１１０５のカウント動作をイネーブルする信号である。ＥＮＡＢＬＥ＿ＩＲ信号は、アサート（活性化）されることによって第２画素としてのＩＲ画素１１０４のカウンタ１１０５のカウント動作をイネーブルする信号である。ＲＥＳＥＴ信号は、アサートされることによって各画素のカウンタ１１０５のカウント値をリセットする信号である。なお、第１画素としてのＲ画素１１０１、Ｇ画素１１０２、Ｂ画素１１０３のカウンタ１１０５のカウンタ動作を個別にイネーブルできるように、Ｒ画素１１０１、Ｇ画素１１０２、Ｂ画素１１０３にそれぞれ対応するＥＮＡＢＬＥが設けられてもよい。ＲＥＡＤｎ信号は、行ごとに設けられる信号であり、アサートされることにより対応する行の各画素から画素値（デジタルデータ）を読出部３０２へ出力させる信号である。読出部３０２は、各画素から読み出される画素値（デジタルデータ）を撮像素子１０２の外部へ順次に出力する。

【0068】

垂直走査回路１４１１は、撮像制御部１４０１からの読出時の信号により、特定の画素を含む行のＲＥＡＤ信号のみアサートしてもよい。読出部１４０２は、撮像制御部１４０１からの読出時の信号により、特定の画素を含む列の画素値のみ出力してもよい。

【0069】

図１５には、撮像システム１３００の動作が例示されている。制御部１０４は、撮像開始信号、読出開始信号、投影信号を出力し、垂直走査回路３１１は、ＥＮＡＢＬＥ＿ＲＧＢ信号、ＥＮＡＢＬＥ＿ＩＲ信号、ＲＥＳＥＴ信号、ＲＥＡＤｎ信号を出力する。

【0070】

制御部１０４、又は、制御部１０４によって制御される垂直走査回路１４１１は、第１画素としてのＲ画素１１０１、Ｇ画素１１０２、Ｂ画素１１０３が撮像を行う第１撮像期間を規定する。また、制御部１０４、又は、制御部１０４によって制御される垂直走査回路１４１１は、第２画素としてのＩＲ画素１１０４が撮像を行う第２撮像期間を規定する。画素が撮像を行う撮像期間は、画素が光子の数に応じたデジタルデータを生成可能な期間として理解することができる。第１画素としてのＲ画素１１０１、Ｇ画素１１０２、Ｂ画素１１０３が撮像を行う第１撮像期間は、非実効発光期間の少なくとも一部を含み、実効発光期間を含まない期間である。第２画素としてのＩＲ画素１１０４が撮像を行う第２撮像期間は、実効発光期間の少なくとも一部と非実効発光期間の少なくとも一部とを含む期間である。

【0071】

図１５に示された例では、制御部１０４は、１つの撮像周期が、非実効発光期間と、非実効発光期間に続く実効発光期間を含むように実効発光期間および非実効発光期間を規定する。また、図１５に示された例では、第１撮像期間は、非実効発光期間の開始から終了までの期間であり、第２撮像期間は、効発光期間の開始時に開始し、実効発光期間の終了時に終了する。

【0072】

複数の画素（第１画素および第２画素）の各々のカウンタ１１０５は、第２撮像期間の開始時にリセットが解除されうる。第１画素（Ｒ画素１１０１、Ｇ画素１１０２、Ｂ画素１１０３）のカウンタ１１０５は、第１撮像期間の開始時にカウント動作がイネーブルされ、第１撮像期間の終了時にカウント動作がディスエーブルされる。第２画素（ＩＲ画素１１０４）のカウンタ１１０５は、第２撮像期間の開始時にカウント動作がイネーブルされ、第２撮像期間の終了時にカウント動作がディスエーブルされうる。読出部１４０２は、第１撮像期間の終了後に第１画素のカウンタ１１０５から画素値であるカウント値を読み出し、デジタルデータを読み出し、第２撮像期間の終了後に第２画素のカウンタ１１０５から画素値であるカウント値を読み出す。

【0073】

以下、撮像システム１３００のより具体的な動作例を説明する。時刻ｔ１５０１において、制御部１０４は、撮像開始信号を立ち上げる。この立ち上がりが撮像周期の終了ならびに開始を示している。したがって、時刻ｔ１５０１で開始した撮像周期は、時刻ｔ１５０４での撮像開始信号の立ち上がりによって終了する。また、時刻ｔ１５０１は、撮像周期内の第１撮像期間および第２撮像期間の開始時刻でもある。撮像開始信号の立ち上がりに応じて、撮像制御部１４０１は、垂直走査回路１４１１へ撮像開始信号を伝達する。これにより、垂直走査回路１４１１は、第１画素および第２画素での撮像を開始するため、ＥＮＡＢＬＥ＿ＲＧＢ信号およびＥＮＡＢＬＥ＿ＩＲ信号をアサートする。

【0074】

時刻ｔ１５０２において、制御部１０４は、読み出し信号を立ち上げる。制御部１０４は、撮像開始信号の立ち上げ後、第１所定時間の経過に応じて第１撮像期間を終了させるように読出開始信号を立ち上げる。この立ち上がりに応じて、撮像制御部１４０１は、垂直走査回路１４１１および読出部１４０２へ読出開始信号を伝達する。これにより、垂直走査回路１４１１は、ＥＮＡＢＬＥ＿ＲＧＢ信号をデアサートとし、複数の行のＲＥＡＤｎ信号を順次にアサートする動作を開始する。複数の行のＲＥＡＤｎ信号を順次にアサートする動作を開始する。ＲＥＡＤｎ信号のアサートにより対応する行の画素から画素値が読み出されるが、第１画素であるＲ画素１１０１、Ｇ画素１１０２、Ｂ画素１１０３のカウンタ１１０６のカウント値は維持される。一方、ＥＮＡＢＬＥ＿ＩＲ信号はアサートが継続しているため、第２画素であるＩＲ画素１１０４による撮像は継続される。垂直走査回路１４１１は、各行のＲＥＡＤ信号を所定の順番でアサートすることで、各行の画素値の読み出しを行う。このとき、垂直走査回路１４１１は、撮像制御部１４０１からの信号により、特定の画素を含む行のみを読み出してもよい。また、読出部１４０２は、撮像制御部１４０１からの信号により、特定の画素を含む列のみを読み出してもよい。

【0075】

また、時刻ｔ１５０２において、制御部１０４は、読出開始信号の立ち上げ後、投影信号をアサートし、これに応じて投影部１０３が投影光の投影を開始する。時刻ｔ１５０３において、制御部１０４は、再び読出開始信号を立ち上げる。ここで、制御部１０４は、時刻ｔ１５０２での読出開始信号の立ち上げ後、第２所定時間の経過に応じて第２撮像期間が終了するように読出開始信号を立ち上げる。この立ち上がりによって、垂直走査回路１４１１は、第２画素による撮像を終了するためにＥＮＡＢＬＥ＿ＩＲ信号をデアサートし、複数の行のＲＥＡＤｎ信号を順次にアサートする動作を開始する。ＲＥＡＤｎ信号のアサートにより対応する行の画素から画素値が読み出される。垂直走査回路１４１１は、各行のＲＥＡＤ信号を所定の順番でアサートすることで、各行の画素値の読み出しを行う。このとき、垂直走査回路１４１１は、撮像制御部１４０１からの信号により、特定の画素を含む行のみを読み出してもよい。また、読出部１４０２は、撮像制御部１４０１からの信号により、特定の画素を含む列のみを読み出してもよい。また、時刻ｔ１５０３では、制御部１０４は、投影信号をデアサートし、これに応じて投影部１０３が投影光の投影を停止する。

【0076】

時刻ｔ１５０４において、制御部１０４は、撮像開始信号を再び立ち上げる。制御部１０４は、時刻ｔ１５０３での読出開始信号の立ち上げから第３所定時間の経過に応じて時刻ｔ１５０１において開始された１つの撮像周期を終了させるように撮像開始信号を立ち上げる。前述のようにこの立ち上がりにより１つの撮像周期が終了すると同時に次の撮像周期が開始する。

【0077】

以降の時刻ｔ１５０４から時刻ｔ１５０７までの動作は、時刻ｔ１５０１から時刻ｔ１５０４までの動作の繰り返しである。

【0078】

第６実施形態によれば、第１画素のカウント動作および第２画素のカウント動作を個別にイネーブルすることで、ラッチ回路を不要としつつ、第１画像および第２画像を得ることができる。また、第１画像を得るために垂直走査回路１４１１および読出部１４０２によって第１画素からのみ画素値を読み出し、および／または、第２画像を得るために垂直走査回路１４１１および読出部１４０２によって第２画素からのみ画素値を読み出すことができる。これにより高速化および低消費電力化が可能である。

【0079】

（第７実施形態）
以下、図１６、図１７、図１８を参照しながら第７実施形態について説明するが、第７実施形態として言及しない事項は、第１乃至第６実施形態に従いうる。第７実施形態の撮像システム１６００では、第１、第５、第６実施形態の撮像システムにおける撮像素子の代わりに行ごとに画素を制御する撮像素子が採用される。

【0080】

図１６には、第７実施形態の撮像システム１６００の構成が示されている。第７実施形態の撮像システム１６００は、制御部１０４および投影部１０３の他、ステレオカメラを構成する撮像装置１６０１と、撮像装置１６０１で撮像されたステレオ画像の視差を算出する視差算出部６０５とを備えている。撮像装置１６０１は、所定の距離を隔てて２以上の撮像部が配置されたステレオカメラであり、各撮像部には、撮像素子１６０２と、撮像素子１６０２の撮像面に撮像対象の光学像を形成する光学系（不図示）とを含む。ただし、視差を検出しない用途に適用される場合、撮像素子１６０２は、単一の撮像部で構成され、視差算出部６０５は、取り除かれうる。

【0081】

図１７には、撮像素子１６０２の構成、および撮像素子１６０２が備える各画素の詳細な構成例が示されている。撮像素子１６０２の複数の画素は、例えば、可視光に感度を有する画素として３種類の画素、具体的には、Ｒ画素１１０１、Ｇ画素１１０２、Ｂ画素１１０３を含み、赤外光に感度を有する画素として１種類のＩＲ画素１１０４を含む。しかしながら、可視光のモノクロ画像を得る場合には、可視光に感度を有する画素は１種類のみでもよい。Ｒ画素１１０１、Ｇ画素１１０２、Ｂ画素１１０３は、第１波長域の光に感度を有する第１画素の例であり、ＩＲ画素１１０４は、該第１波長域とは異なる第２波長域の光に感度を有する第２画素の例である。

【0082】

可視光に感度を有する画素であるＲ画素１１０１、Ｇ画素１１０２、Ｂ画素１１０３および赤外光に感度を有する画素であるＩＲ画素１１０４は、互いに同一の回路構成を有しうる。撮像素子１６０２は、例えば、撮像制御部１７０１、読出部１４０２および垂直走査回路１７１１を含みうる。図１７では、複数の画素としてＲ画素１１０１、Ｇ画素１１０２、Ｂ画素１１０３およびＩＲ画素１１０の４画素のみが示されている。撮像制御部１７０１は、垂直走査回路１７１１を介して各画素を制御する。各画素で得られた画素値（デジタルデータ）は、読出部１４０２によって読み出される。撮像制御部１７０１は、撮像および読出を制御する種々の信号を垂直走査回路１７１１に送る。また、撮像制御部１７０１は、読出を制御する信号を読出部１４０２に送る。

【0083】

垂直走査回路１７１１は、各画素の撮像および読出を制御する信号として、ＥＮＡＢＬＥｎ信号、ＲＥＳＥＴｎ信号、ＲＥＡＤｎ信号を有する。ＥＮＡＢＬＥｎ信号は、アサート（活性化）されることによって、それが供給される第ｎ行の各画素のカウンタ１１０５のカウント動作をイネーブルする信号である。ＲＥＳＥＴｎ信号は、アサートされることによって、それが供給される第ｎ行の各画素のカウンタ１１０５のカウント値をリセットする信号である。ＲＥＡＤｎ信号は、アサートされることによって、それが供給される第ｎ行の各画素から画素値（デジタルデータ）を読出部１４０２へ出力させる信号である。読出部１４０２は、各画素から読み出される画素値（デジタルデータ）を撮像素子１６０２の外部へ順次に出力する。

【0084】

図１８には、撮像システム１６００の動作が例示されている。制御部１０４は、撮像開始信号、読出開始信号、投影信号を出力し、垂直走査回路３１１は、ＥＮＡＢＬＥｎ信号、ＲＥＳＥＴｎ信号、ＲＥＡＤｎ信号を出力する。

【0085】

制御部１０４、又は、制御部１０４によって制御される垂直走査回路１７１１は、第１画素としてのＲ画素１１０１、Ｇ画素１１０２、Ｂ画素１１０３が撮像を行う第１撮像期間を規定する。また、制御部１０４、又は、制御部１０４によって制御される垂直走査回路１７１１は、第２画素としてのＩＲ画素１１０４が撮像を行う第２撮像期間を規定する。画素が撮像を行う撮像期間は、画素が光子の数に応じたデジタルデータを生成可能な期間として理解することができる。

【0086】

図１８に示された例では、制御部１０４は、１つの撮像周期が、非実効発光期間と、非実効発光期間に続く実効発光期間を含むように実効発光期間および非実効発光期間を規定する。第１画素（Ｒ画素１１０１、Ｇ画素１１０２、Ｂ画素１１０３）が撮像を行う第１撮像期間は、第１画素のカウンタ１１０５がイネーブルされてから第１画素のカウンタ１１０５からの画素値（デジタルデータ）の読出が開始されるまでの期間である。第２画素（ＩＲ画素１１０４）が撮像を行う第２撮像期間は、第２画素のカウンタ１１０５がイネーブルされてから第２画素のカウンタ１１０５からの画素値（デジタルデータ）の読出が開始されるまでの期間である。実効発光期間は、複数の第１画素（読出がなされる全ての第１画素）のカウンタ１１０５からの画素値の読出後に開始し、複数の第２画素のカウンタ１１０５からの画素値の読出前に終了する。

【0087】

以下、撮像システム１６００のより具体的な動作例を説明する。時刻ｔ１８０１において、制御部１０４は、撮像開始信号を立ち上げる。この立ち上がりが撮像周期の終了ならびに開始を示している。したがって、時刻ｔ１８０１で開始した撮像周期は、時刻ｔ１８０４での撮像開始信号の立ち上がりによって終了する。また、時刻ｔ１８０１は、撮像周期内の第１撮像期間および第２撮像期間の開始時刻でもある。撮像開始信号の立ち上がりに応じて、撮像制御部１７０１は、垂直走査回路１７１１へ撮像開始信号を伝達する。これにより、垂直走査回路１４１１は、各画素での撮像を開始するため、複数の行のＥＮＡＢＬＥｎ信号を所定の順番で順次にアサートする動作を開始する。複数の行のＥＮＡＢＬＥｎ信号のアサートは、必ずしも等間隔で実行されなくてもよいが、等間隔で実行されることが望ましい。

【0088】

時刻ｔ１８０２において、制御部１０４は、読出開始信号を立ち上げる。ここで、制御部１０４は、撮像開始信号の立ち上げ後、第１所定時間の経過に応じて、第１撮像期間を終了させるように、読出開始信号を立ち上げる。この立ち上がりにより、撮像制御部１７０１は、垂直走査回路１７１１および読出部１４０２へ読出開始信号を伝達する。これにより、垂直走査回路１７１１は、複数の行のＲＥＡＤｎ信号を所定の順番で順次にアサートする動作を開始する。ＲＥＡＤｎ信号のアサートにより画素値が読み出されるが、カウンタ１１０６の値は維持される。この状態で、各画素において、波形整形部３０５がパルス信号を発生すると、それを受けたカウンタ１１０５は、カウント値をインクリメントする。垂直走査回路１７１１は、複数の行のＲＥＡＤｎ信号を所定の順番で順次にアサートすることで、複数の行の画素値が順次に読出部１４０２によって読み出される。

【0089】

時刻ｔ１８０１から開始している複数の行の撮像の開始を規定するＥＮＡＢＬＥｎ信号のアサートと同じ順番で、複数の行のＲＥＡＤｎ信号のアサートを行うことが望ましいが、必ずしもそうでなくてもよい。時刻ｔ１８０２の読出開始信号の立ち上がり応じた複数の行の画素の読出の完了後、制御部１０４は、投影信号をアサートし、投影部１０３が投影光を投影する。

【0090】

時刻ｔ１８０３において、制御部１０４は、再び読出開始信号を立ち上げる。ここで、制御部１０４は、時刻ｔ８０２での読出開始信号の立ち上げ後、第２所定時間の経過に応じて、第２撮像期間を終了させるように、読出開始信号を立ち上げる。この立ち上がりにより、撮像制御部１７０１は、垂直走査回路１７１１および読出部１４０２へ読出開始信号を伝達する。これにより、垂直走査回路１７１１は、複数の行のＲＥＡＤｎ信号を所定の順番で順次にアサートする動作を開始する。また、読出開始信号を伝達に応じて、垂直走査回路１７１１は、複数の行のＥＮＡＢＬＥｎ信号を順次にデアサートする動作、および、複数の行のＲＥＳＥＴｎ信号のアサートおよびデアサート（つまり、リセット）を行う。

【0091】

垂直走査回路１７１１は、撮像制御部１７０１からの信号により、特定の画素を含む行のみを読み出してもよい。また、読出部１４０２は、撮像制御部１４０１からの信号により、特定の画素を含む列のみの画素値を読み出してもよい。また、各行のＲＥＳＥＴ信号のデアサートは、時刻ｔ１８０４以降の各行のＥＮＡＢＬＥ信号がアサートされるまでに完了すればよく、時刻ｔ１８０４以降にＲＥＳＥＴ信号のデアサートが行われてもよい。

【0092】

時刻ｔ１８０４において、制御部１０４は、再び撮像開始信号を立ち上げる。制御部１０４は、時刻ｔ１８０３での読出開始信号の立ち上げから第３所定時間の経過に応じて、時刻ｔ１８０１において開始された１つの撮像周期を終了させるように、撮像開始信号を立ち上げる。前述のように、この立ち上がりにより１つの撮像周期が終了すると同時に次の撮像周期が開始する。

【0093】

以降の時刻ｔ１８０４から時刻ｔ１８０７までの動作は、時刻ｔ１８０１から時刻ｔ１８０４までの動作の繰り返しである。

【0094】

第７実施形態によれば、撮像素子の複数の画素を行ごとに制御する方式において、第１、第５、第６実施形態の撮像システムと同様の効果を得ることができる。また、第１画像を得るために垂直走査回路１７１１および読出部１７０２によって第１画素からのみ画素値を読み出し、および／または、第２画像を得るために垂直走査回路１７１１および読出部１７０２によって第２画素からのみ画素値を読み出すことができる。これにより高速化および低消費電力化が可能である。

【0095】

（第８実施形態）
以下、図１９および図２０を参照しながら第８実施形態について説明するが、第８実施形態として言及しない事項は、第１乃至第７実施形態に従いうる。第８実施形態の撮像システム１９００では、第１、第５、第６、第７実施形態の撮像システムにおける撮像素子における撮像制御部が撮像素子の外部に設けられている。

【0096】

図１９には、第８実施形態の撮像システム１９００の構成が示されている。第８実施形態の撮像システム１９００は、制御部１９０４および投影部１０３の他、ステレオカメラを構成する撮像装置１９０１と、撮像装置１９０１で撮像されたステレオ画像の視差を算出する視差算出部６０５とを備えている。撮像装置１９０１は、所定の距離を隔てて２以上の撮像部が配置されたステレオカメラであり、各撮像部には、撮像素子１９０２と、撮像素子１９０２の撮像面に撮像対象の光学像を形成する光学系（不図示）とを含む。ただし、視差を検出しない用途に適用される場合、撮像装置１９０１は、単一の撮像部で構成され、視差算出部６０５は、取り除かれうる。

【0097】

図２０には、撮像素子１９０２の構成、および撮像素子１９０２が備える各画素の詳細な構成例が示されている。撮像素子１９０２の複数の画素は、例えば、可視光に感度を有する画素として３種類の画素、具体的には、Ｒ画素２０１、Ｇ画素２０２、Ｂ画素２０３を含み、赤外光に感度を有する画素として１種類のＩＲ画素２０４を含む。しかしながら、可視光のモノクロ画像を得る場合には、可視光に感度を有する画素は１種類のみでもよい。Ｒ画素２０１、Ｇ画素２０２、Ｂ画素２０３は、第１波長域の光に感度を有する第１画素の例であり、ＩＲ画素２０４は、該第１波長域とは異なる第２波長域の光に感度を有する第２画素の例である。

【0098】

可視光に感度を有する画素であるＲ画素２０１、Ｇ画素２０２、Ｂ画素２０３および赤外光に感度を有する画素であるＩＲ画素２０４は、互いに同一の回路構成を有しうる。撮像素子１９０２は、例えば、読出部２００２および垂直走査回路２０１１を含みうる。図２０では、複数の画素としてＲ画素２０１、Ｇ画素２０２、Ｂ画素２０３およびＩＲ画素２０４の４画素のみが示されている。

【0099】

撮像素子１９０２の外部に配置された制御部１９０４は、前述の制御部１０４の機能他、垂直走査回路１９１１および読出部２００２を制御する機能を有しうる。垂直走査回路２０１１は、各画素の撮像および読出を制御する信号として、例えば、ＥＮＡＢＬＥｎ信号、ＲＥＳＥＴｎ信号、ＲＥＡＤｎ信号、ＬＡＴＣＨｎ信号を有する。図２０では、第１実施形態の画素２０１～２０４と同様の構成を有する例が示されているが、他の実施形態の画素の構成が採用されてもよい。

【0100】

制御部１９０４は、制御装置として理解されてもよい。制御部１９０４は、複数の行および複数の列を構成するように配置された複数の画素を有する撮像素子を制御するように構成されうる。ここで、複数の画素は、同一行に属する第１画素（例えば、Ｂ画素２０３）および第２画素（例えば、ＩＲ画素２０４）を含み、第１画素は、第１波長域の光に感度を有し、第２画素は、該第１波長域とは異なる第２波長域の光に感度を有しうる。制御部１９０４は、第１画素および第２画素の信号を読み出す期間において、第１画素の撮像期間を規定する第１信号、第２画素の撮像期間を規定する第２信号を発生するように構成されうる。図４に示された例では、第１信号は、時刻ｔ４０２で遷移する読出開始信号であり、第２信号は、時刻ｔ４０３で遷移する読出開始信号である。第１信号は、第１画素の撮像期間の終了を規定し、第２信号は、第２画素の撮像期間の終了を規定しうる。

【0101】

（他の実施形態）
本発明は、上記の実施形態に限定されず、他の種々の形態で実施されうる。例えば、第１乃至第８実施形態では、第１波長域または第２波長域は、紫外光の波長域を含んでもよいし、第１波長域および第２波長域の双方が可視光の波長域内の波長域であってもよいし、第１波長域および第２波長域は、他の波長域であってもよい。

【0102】

また、第２乃至第８実施形態の撮像システムにおける撮像装置は、ステレオカメラではなく、測距用の像面位相差画素を有する撮像素子によって構成されてもよい。

【0103】

また、第１乃至第８実施形態における制御部、および第２乃至第８実施形態における視差算出部は、各種フローを実行するハードウェア回路で構成されてもよいし、フローを実行するプログラムとそのプログラムを実行するプロセッサで構成されてもよい。

【0104】

また、本発明は、第２乃至第８実施形態のようにステレオカメラを用いて測距を行う撮像システムではなく、撮像された２種類の画像に基づいて自己位置推定または空間把握を行う撮像システムとして構成してもよい。例えば、自己位置推定では、画像を用いる手法として、Ｖｉｓｕａｌ ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）がある。Ｖｉｓｕａｌ ＳＬＡＭでは、複数の画像から特徴点を抽出し、周囲の３次元情報とカメラの位置と姿勢の推定を行う。このため、可視光のみでは推定に求められる特徴量を得られない環境においても、本発明を適用することで特徴量の多い画像を取得し、より高精度の推定を行うことができる。

【0105】

（その他）
本明細書及び添付図面は、以下の開示を含む。
（項目１）
入射した光子の数に応じたデジタルデータを出力する複数の画素を有する撮像素子と、投影部を制御する制御部と、を備える光電変換装置であって、
前記複数の画素は、第１波長域の光に感度を有する第１画素と、前記第１波長域とは異なる第２波長域の光に感度を有する第２画素とを含み、
前記投影部は、前記第２波長域を含む投影光を発生し、
前記制御部は、前記投影光の強度が所定強度より大きい実効発光期間と、前記投影光の強度が前記所定強度より小さい非実効発光期間とが規定されるように前記投影部を制御し、
前記第１画素が撮像を行う第１撮像期間は、前記非実効発光期間の少なくとも一部を含み、前記実効発光期間を含まず、
前記第２画素が撮像を行う第２撮像期間は、前記実効発光期間の少なくとも一部と前記非実効発光期間の少なくとも一部とを含む、
ことを特徴とする光電変換装置。
（項目２）
前記第１波長域は、可視光の波長域を含み、
前記第２波長域は、赤外光の波長域を含む、
ことを特徴とする項目１に記載の光電変換装置。
（項目３）
前記制御部は、１つの撮像周期が前記実効発光期間および前記非実効発光期間を含むように前記実効発光期間および前記非実効発光期間を規定する、
ことを特徴とする項目１又は２に記載の光電変換装置。
（項目４）
前記制御部は、１つの撮像周期が、前記非実効発光期間と、前記非実効発光期間に続く前記実効発光期間とを含むように前記実効発光期間および前記非実効発光期間を規定し、
前記第１撮像期間は、前記非実効発光期間の開始から終了までの期間であり、
前記第２撮像期間は、前記非実効発光期間の開始から前記実効発光期間の終了までの期間である、
ことを特徴とする項目１又は２に記載の光電変換装置。
（項目５）
前記複数の画素の各々は、入射した光子の数に応じたデジタルデータを生成するカウンタと、前記カウンタの出力をラッチするラッチ動作を行うラッチ回路とを含み、
前記複数の画素の各々の前記ラッチ回路は、前記第１撮像期間の終了時に前記ラッチ動作を行い、前記第２撮像期間の終了時に再び前記ラッチ動作を行う、
ことを特徴とする項目４に記載の光電変換装置。
（項目６）
前記複数の画素の各々の前記カウンタは、前記第１撮像期間および前記第２撮像期間の開始時にリセットが解除され、前記第２撮像期間にわたってカウント動作がイネーブルされる、
ことを特徴とする項目５に記載の光電変換装置。
（項目７）
前記第１撮像期間の終了後に前記第１画素の前記ラッチ回路からデジタルデータを読み出し、前記第２撮像期間の終了後に前記第２画素の前記ラッチ回路からデジタルデータを読み出す読出部を更に備える、
ことを特徴とする項目６に記載の光電変換装置。
（項目８）
前記制御部は、１つの撮像周期が、前記実効発光期間と、前記実効発光期間に続く前記非実効発光期間とを含むように前記実効発光期間および前記非実効発光期間を規定し、
前記第１撮像期間は、前記非実効発光期間の開始時に開始し、前記非実効発光期間において終了し、
前記第２撮像期間は、前記実効発光期間の開始時に開始し、前記非実効発光期間において終了する、
ことを特徴とする項目１又は２に記載の光電変換装置。
（項目９）
前記複数の画素の各々は、入射した光子の数に応じたデジタルデータを生成するカウンタを含み、
前記複数の画素の各々の前記カウンタは、前記第２撮像期間の開始時にカウント動作がイネーブルされ、前記第２撮像期間の終了時に前記カウント動作がディスエーブルされ、
前記第１画素の前記カウンタは、前記第１撮像期間の開始時にリセットが解除され、
前記第２画素の前記カウンタは、前記第２撮像期間の開始時にリセットが解除される、
ことを特徴とする項目８に記載の光電変換装置。
（項目１０）
前記第１撮像期間および前記第２撮像期間の終了後に前記第１画素および前記第２画素の前記カウンタからデジタルデータを読み出す読出部を更に備える、
ことを特徴とする項目９に記載の光電変換装置。
（項目１１）
前記制御部は、１つの撮像周期が、前記非実効発光期間と、前記非実効発光期間に続く前記実効発光期間を含むように前記実効発光期間および前記非実効発光期間を規定し、
前記第１撮像期間は、前記非実効発光期間の開始から終了までの期間であり、
前記第２撮像期間は、前記非実効発光期間の開始時に開始し、前記実効発光期間の終了時に終了する、
ことを特徴とする項目１又は２に記載の光電変換装置。
（項目１２）
前記複数の画素の各々は、入射した光子の数に応じたデジタルデータを生成するカウンタを含み、
前記複数の画素の各々の前記カウンタは、前記第２撮像期間の開始時にリセットが解除され、
前記第１画素の前記カウンタは、前記第１撮像期間の開始時にカウント動作がイネーブルされ、前記第１撮像期間の終了時にカウント動作がディスエーブルされ、
前記第２画素の前記カウンタは、前記第２撮像期間の開始時にカウント動作がイネーブルされ、前記第２撮像期間の終了時にカウント動作がディスエーブルされる、
ことを特徴とする項目１１に記載の光電変換装置。
（項目１３）
前記第１撮像期間の終了後に前記第１画素の前記カウンタからデジタルデータを読み出し、前記第２撮像期間の終了後に前記第２画素の前記カウンタからデジタルデータを読み出す読出部を更に備える、
ことを特徴とする項目１２に記載の光電変換装置。
（項目１４）
前記制御部は、１つの撮像周期が、前記非実効発光期間と、前記非実効発光期間に続く前記実効発光期間を含むように前記実効発光期間および前記非実効発光期間を規定し、
前記複数の画素の各々は、入射した光子の数に応じたデジタルデータを生成するカウンタを含み、
前記第１撮像期間は、前記第１画素の前記カウンタがイネーブルされてから前記第１画素の前記カウンタからのデジタルデータの読出が開始されるまでの期間であり、
前記第２撮像期間は、前記第２画素の前記カウンタがイネーブルされてから前記第２画素の前記カウンタからのデジタルデータの読出が開始されるまでの期間であり、
前記実効発光期間は、複数の前記第１画素の前記カウンタからのデジタルデータの読出後に開始し、複数の前記第２画素の前記カウンタからのデジタルデータの読出前に終了する、
ことを特徴とする項目１又は２に記載の光電変換装置。
（項目１５）
複数の行および複数の列を構成するように配置された複数の画素を有する撮像素子を制御する制御装置であって、前記複数の画素は、同一行に属する第１画素および第２画素を含み、前記第１画素は、第１波長域の光に感度を有し、前記第２画素は、前記第１波長域とは異なる第２波長域の光に感度を有し、
前記制御装置は、前記第１画素および前記第２画素の信号を読み出す期間において、前記第１画素の撮像期間を規定する第１信号、前記第２画素の撮像期間を規定する第２信号を発生する、
ことを特徴とする制御装置。
（項目１６）
前記第１信号は、前記第１画素の撮像期間の終了を規定し、前記第２信号は、前記第２画素の撮像期間の終了を規定する、
ことを特徴とする項目１５に記載の制御装置。
（項目１７）
２以上の撮像装置と、前記２以上の撮像装置の出力に基づいて視差を算出する視差算出部とを備える光電変換システムであって、
前記２以上の撮像装置の各々は、項目１乃至１４のいずれか１項に記載の光電変換装置である、
ことを特徴とする光電変換システム。

【0106】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0107】

１００：撮像システム（光電変換装置）、１０１：撮像装置、１０２：撮像素子、１０３：投影部、１０４：制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】