IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 凸版印刷株式会社の特許一覧

特開2022-183614距離画像撮像装置、及び距離画像撮像方法
<>
  • 特開-距離画像撮像装置、及び距離画像撮像方法 図1
  • 特開-距離画像撮像装置、及び距離画像撮像方法 図2
  • 特開-距離画像撮像装置、及び距離画像撮像方法 図3
  • 特開-距離画像撮像装置、及び距離画像撮像方法 図4
  • 特開-距離画像撮像装置、及び距離画像撮像方法 図5
  • 特開-距離画像撮像装置、及び距離画像撮像方法 図6
  • 特開-距離画像撮像装置、及び距離画像撮像方法 図7
  • 特開-距離画像撮像装置、及び距離画像撮像方法 図8
  • 特開-距離画像撮像装置、及び距離画像撮像方法 図9
  • 特開-距離画像撮像装置、及び距離画像撮像方法 図10
  • 特開-距離画像撮像装置、及び距離画像撮像方法 図11
  • 特開-距離画像撮像装置、及び距離画像撮像方法 図12
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022183614
(43)【公開日】2022-12-13
(54)【発明の名称】距離画像撮像装置、及び距離画像撮像方法
(51)【国際特許分類】
   G01S 7/4863 20200101AFI20221206BHJP
   G01S 17/894 20200101ALI20221206BHJP
   G01C 3/06 20060101ALI20221206BHJP
【FI】
G01S7/4863
G01S17/894
G01C3/06 120Q
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2021091029
(22)【出願日】2021-05-31
(71)【出願人】
【識別番号】000003193
【氏名又は名称】凸版印刷株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100139686
【弁理士】
【氏名又は名称】鈴木 史朗
(74)【代理人】
【識別番号】100169764
【弁理士】
【氏名又は名称】清水 雄一郎
(74)【代理人】
【識別番号】100147267
【弁理士】
【氏名又は名称】大槻 真紀子
(72)【発明者】
【氏名】中込 友洋
(72)【発明者】
【氏名】高橋 聡
【テーマコード(参考)】
2F112
5J084
【Fターム(参考)】
2F112AD01
2F112BA03
2F112CA12
2F112DA25
2F112DA28
2F112EA03
2F112EA05
2F112FA03
2F112FA07
2F112FA21
2F112FA45
2F112GA01
5J084AA04
5J084AA05
5J084AD01
5J084AD02
5J084BA04
5J084BA20
5J084BA36
5J084BA40
5J084BB02
5J084CA03
5J084CA10
5J084CA20
5J084CA31
5J084CA49
5J084CA67
5J084CA70
5J084EA07
5J084EA11
(57)【要約】
【課題】近距離にある物体までの距離を測定し、且つ、遠距離にある物体の有無を判定することができる距離画像撮像装置、及び距離画像撮像方法を提供する。
【解決手段】光源部と、受光部と、電荷排出部と、距離画像処理部と、を備え、前記距離画像処理部は、1フレーム期間に、単位蓄積処理を複数回実施し、前記三つ以上の電荷蓄積部のそれぞれに蓄積された電荷量を用いて前記被写体までの測定距離を決定し、前記単位蓄積処理では、前記三つ以上の電荷蓄積部のうちの一部の電荷蓄積部に前記被写体に反射した前記光パルスである反射光に応じた電荷を振り分けて蓄積させる近距離物体測定処理、前記光電変換素子が発生させた電荷を前記電荷排出部が排出する排出処理、前記一部の電荷蓄積部とは異なる電荷蓄積部を含む電荷蓄積部に前記反射光に応じた電荷を蓄積させる遠距離物体測定処理が順に実施される。
【選択図】図1
【特許請求の範囲】
【請求項1】
被写体が存在する測定空間に光パルスを照射する光源部と、
入射した光に応じた電荷を発生する光電変換素子、及び前記電荷を蓄積する三つ以上の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させた所定のタイミングで前記画素における前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、
前記光電変換素子が発生させた電荷を排出する電荷排出部と、
前記電荷蓄積部のそれぞれに蓄積された電荷量を用いて前記被写体までの測定距離を決定する距離画像処理部と、
を備え、
前記距離画像処理部は、1フレーム期間に、単位蓄積処理を複数回実施し、前記三つ以上の電荷蓄積部のそれぞれに蓄積された電荷量を用いて前記被写体までの測定距離を決定し、
前記単位蓄積処理では、前記三つ以上の電荷蓄積部のうちの一部の電荷蓄積部に前記被写体に反射した前記光パルスである反射光に応じた電荷を振り分けて蓄積させる近距離物体測定処理、前記光電変換素子が発生させた電荷を前記電荷排出部が排出する排出処理、前記一部の電荷蓄積部とは異なる電荷蓄積部を含む電荷蓄積部に前記反射光に応じた電荷を蓄積させる遠距離物体測定処理が順に実施される、
距離画像撮像装置。
【請求項2】
前記画素には、四つの前記電荷蓄積部である第1電荷蓄積部、第2電荷蓄積部、第3電荷蓄積部、及び第4電荷蓄積部が設けられ、
前記距離画像処理部は、
第1距離にある前記被写体に反射した前記反射光に対応する電荷が、前記第1電荷蓄積部及び前記第2電荷蓄積部に、順に振り分けて蓄積され、
前記第1距離よりも大きい第2距離にある前記被写体に反射した前記反射光に対応する電荷が、前記第2電荷蓄積部及び前記第3電荷蓄積部に、順に振り分けて蓄積され、
前記第2距離から、前記第2距離より測長範囲外距離だけ大きい第3距離までの間にある前記被写体に反射した前記反射光が受光される時間に前記排出処理を実施し、
前記第3距離よりも大きい第4距離にある前記被写体に反射した前記反射光に対応する電荷が、前記第4電荷蓄積部に蓄積されるように制御する、
請求項1に記載の距離画像撮像装置。
【請求項3】
前記画素には、四つの前記電荷蓄積部である第1電荷蓄積部、第2電荷蓄積部、第3電荷蓄積部、及び第4電荷蓄積部が設けられ、
前記距離画像処理部は、
第1距離にある前記被写体に反射した前記反射光に対応する電荷が、前記第1電荷蓄積部及び前記第2電荷蓄積部に、順に振り分けて蓄積され、
前記第1距離よりも大きい第2距離にある前記被写体に反射した前記反射光に対応する電荷が、前記第2電荷蓄積部及び前記第3電荷蓄積部に、順に振り分けて蓄積され、
前記第2距離から、前記第2距離より測長範囲外距離だけ大きい第3距離までの間にある前記被写体に反射した前記反射光が受光される時間に前記排出処理を実施し、
前記第3距離よりも大きい第4距離にある前記被写体に反射した前記反射光に対応する電荷が、前記第4電荷蓄積部及び前記第1電荷蓄積部に、順に振り分けて蓄積されるように制御する、
請求項1に記載の距離画像撮像装置。
【請求項4】
前記画素には、四つの前記電荷蓄積部である第1電荷蓄積部、第2電荷蓄積部、第3電荷蓄積部、及び第4電荷蓄積部が設けられ、
前記距離画像処理部は、
第1距離にある前記被写体に反射した前記反射光に対応する電荷が、前記第1電荷蓄積部及び前記第2電荷蓄積部に、順に振り分けて蓄積され、
前記第1距離から、前記第1距離より測長範囲外距離だけ大きい第3距離までの間にある前記被写体に反射した前記反射光が受光される時間に前記排出処理を実施し、
前記第3距離よりも大きい第4距離にある前記被写体に反射した前記反射光に対応する電荷が、前記第3電荷蓄積部及び前記第4電荷蓄積部に、順に振り分けて蓄積され、
前記第4距離よりも大きい第5距離にある前記被写体に反射した前記反射光に対応する電荷が、前記第4電荷蓄積部及び前記第1電荷蓄積部に、順に振り分けて蓄積されるように制御する、
請求項1に記載の距離画像撮像装置。
【請求項5】
前記画素には、四つの前記電荷蓄積部である第1電荷蓄積部、第2電荷蓄積部、第3電荷蓄積部、及び第4電荷蓄積部が設けられ、
前記距離画像処理部は、
第1距離にある前記被写体に反射した前記反射光に対応する電荷が、前記第1電荷蓄積部及び前記第2電荷蓄積部に、順に振り分けて蓄積され、
第1距離よりも大きい第2距離にある前記被写体に反射した前記反射光に対応する電荷が、前記第2電荷蓄積部及び前記第3電荷蓄積部に、順に振り分けて蓄積され、
前記第2距離から、前記第2距離より測長範囲外距離だけ大きい第3距離までの間にある前記被写体に反射した前記反射光が受光される時間に前記排出処理を実施し、
前記第3距離よりも大きい第4距離にある前記被写体に反射した前記反射光に対応する電荷が、前記第4電荷蓄積部及び前記第1電荷蓄積部に、順に振り分けて蓄積され、
前記第4距離よりも大きい第5距離にある前記被写体に反射した前記反射光に対応する電荷が、前記第1電荷蓄積部及び前記第2電荷蓄積部に、順に振り分けて蓄積されるように制御する、
請求項1に記載の距離画像撮像装置。
【請求項6】
前記画素には、四つの前記電荷蓄積部である第1電荷蓄積部、第2電荷蓄積部、第3電荷蓄積部、及び第4電荷蓄積部が設けられ、
前記距離画像処理部は、
第1距離にある前記被写体に反射した前記反射光に対応する電荷が、前記第1電荷蓄積部及び前記第2電荷蓄積部に、順に振り分けて蓄積され、
前記第1距離から、前記第1距離より測長範囲外距離だけ大きい第3距離までの間にある前記被写体に反射した前記反射光が受光される時間に前記排出処理を実施し、
前記第3距離よりも大きい第4距離にある前記被写体に反射した前記反射光に対応する電荷が、前記第3電荷蓄積部及び前記第4電荷蓄積部に、順に振り分けて蓄積され、
前記第4距離よりも大きい第5距離にある前記被写体に反射した前記反射光に対応する電荷が、前記第4電荷蓄積部及び前記第1電荷蓄積部に、順に振り分けて蓄積され、
前記第5距離よりも大きい第6距離にある前記被写体に反射した前記反射光に対応する電荷が、前記第1電荷蓄積部及び前記第2電荷蓄積部に、順に振り分けて蓄積されるように制御する、
請求項1に記載の距離画像撮像装置。
【請求項7】
前記距離画像処理部は、今回の1フレーム期間に前記三つ以上の電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、次回の1フレーム期間における前記近距離物体測定処理、前記排出処理、及び、前記遠距離物体測定処理の各々における処理内容を決定する、
請求項1に記載の距離画像撮像装置。
【請求項8】
前記光源部は、前記測定空間に前記光パルスを均一に照射する面光源と、前記測定空間に前記光パルスを不均一に照射するドット光源とを有し、
前記面光源による照射と前記ドット光源による照射とにおいて、前記ドット光源により照射される光の強度は前記面光源により照射される光の強度よりも大きく、単位面積当たりの光の強度は同等であり、
前記距離画像処理部は、前記面光源による照射と、前記ドット光源による照射とを切り替えて測定を行う、
請求項1に記載の距離画像撮像装置。
【請求項9】
前記距離画像処理部は、前記面光源による照射と前記ドット光源による照射とが、定期的に繰り返されるように制御する、
請求項8に記載の距離画像撮像装置。
【請求項10】
被写体が存在する測定空間に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子、及び前記電荷を蓄積する三つ以上の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させた所定のタイミングで前記画素における前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、前記光電変換素子が発生させた電荷を排出する電荷排出部と、前記電荷蓄積部のそれぞれに蓄積された電荷量を用いて前記被写体までの測定距離を決定する距離画像処理部と、を備える距離画像撮像装置による距離画像撮像方法であって、
前記距離画像処理部が、1フレーム期間に、単位蓄積処理を複数回実施し、前記三つ以上の電荷蓄積部のそれぞれに蓄積された電荷量を用いて前記被写体までの測定距離を決定し、
前記単位蓄積処理では、前記三つ以上の電荷蓄積部のうちの一部の電荷蓄積部に前記被写体に反射した前記光パルスである反射光に応じた電荷を振り分けて蓄積させる近距離物体測定処理、前記光電変換素子が発生させた電荷を前記電荷排出部が排出する排出処理、前記一部の電荷蓄積部とは異なる電荷蓄積部を含む電荷蓄積部に前記反射光に応じた電荷を蓄積させる遠距離物体測定処理が順に実施される、
距離画像撮像方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、距離画像撮像装置、及び距離画像撮像方法に関する。
【背景技術】
【0002】
従来から、物体との距離を計測するための技術として、光パルスの飛行時間を測定する技術がある。このような技術は、タイム・オブ・フライト(Time of Flight、以下、ToFという)と呼ばれる。ToFでは、光の速度が既知であることを利用し、物体に近赤外領域の光パルスを照射する。そして、この光パルスを照射した時刻と、照射した光パルスが物体によって反射してきた反射光を受光した時刻との時間差を測定する。この時間差に基づいて物体との距離を算出する。フォトダイオード(光電変換素子)を用いて距離を測定するための光を検出する測距センサ(ToFセンサ)が実用化されている。
【0003】
そして、近年では、物体との距離のみではなく、物体を含む二次元の画像における画素ごとの奥行き情報、つまり、物体に対する三次元の情報を得ることができる測距センサが実用化されている。このような測距センサは、距離画像撮像装置ともいわれている。距離画像撮像装置では、フォトダイオードを含む画素がシリコン基板に二次元の行列状に複数配置され、この画素面で物体に反射した反射光を受光する。距離画像撮像装置では、それぞれの画素が受光した光量(電荷)に基づいた光電変換信号を1つの画像分出力することによって、物体を含む二次元の画像と、この画像を構成するそれぞれの画素ごとの距離の情報を得ることができる。例えば、特許文献1には、1つの画素に3つの電荷蓄積部が設けられ、それぞれの電荷蓄積部に蓄積された電荷量に基づいて距離を計算する技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第4235729号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ToFセンサにおいて、近距離にある物体までの距離を測定する場合における測定精度を向上させる場合は、光パルスの照射時間、及び電荷蓄積部に電荷を蓄積させる蓄積時間を短くすることが考えられる。しかし、この場合、測定可能な距離範囲が短くなる。この対策として、測定精度を向上させるような照射時間及び蓄積時間の関係を維持しつつ、測定可能な距離範囲を伸ばすには、電荷蓄積部の数を増やすことが考えられる。しかし、1画素が占める面積の制約から、電荷蓄積部の数には制限があり、近距離にある物体までの測定精度を高めつつ、測定可能な距離範囲を長くすることは困難であった。特に、移動速度が速い移動体に搭載した距離画像撮像装置を用いて、移動体の周囲にある物体までの距離で測定する場合、近距離にある物体までの距離を測定するのみならず、移動体が動くことにより相対的に近づく遠距離にある物体の有無を感知して回避行動をとるなど移動体の制御を行う必要がある。このため、近距離にある物体までの距離を高精度に測定しつつも遠距離にある物体の有無を判定できる距離画像撮像装置が求められている。
【0006】
本発明は、上記の課題に基づいてなされたものであり、近距離にある物体までの距離を測定し、且つ、遠距離にある物体の有無を判定することができる距離画像撮像装置、及び距離画像撮像方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の距離画像撮像装置は、被写体が存在する測定空間に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子、及び前記電荷を蓄積する三つ以上の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させた所定のタイミングで前記画素における前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、前記光電変換素子が発生させた電荷を排出する電荷排出部と、前記電荷蓄積部のそれぞれに蓄積された電荷量を用いて前記被写体までの測定距離を決定する距離画像処理部と、を備え、前記距離画像処理部は、1フレーム期間に、単位蓄積処理を複数回実施し、前記三つ以上の電荷蓄積部のそれぞれに蓄積された電荷量を用いて前記被写体までの測定距離を決定し、前記単位蓄積処理では、前記三つ以上の電荷蓄積部のうちの一部の電荷蓄積部に前記被写体に反射した前記光パルスである反射光に応じた電荷を振り分けて蓄積させる近距離物体測定処理、前記光電変換素子が発生させた電荷を前記電荷排出部が排出する排出処理、前記一部の電荷蓄積部とは異なる電荷蓄積部を含む電荷蓄積部に前記反射光に応じた電荷を蓄積させる遠距離物体測定処理が順に実施される。
【0008】
本発明の距離画像撮像方法は、被写体が存在する測定空間に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子、及び前記電荷を蓄積する三つ以上の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させた所定のタイミングで前記画素における前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、前記光電変換素子が発生させた電荷を排出する電荷排出部と、前記電荷蓄積部のそれぞれに蓄積された電荷量を用いて前記被写体までの測定距離を決定する距離画像処理部と、を備える距離画像撮像装置による距離画像撮像方法であって、前記距離画像処理部が、1フレーム期間に、単位蓄積処理を複数回実施し、前記三つ以上の電荷蓄積部のそれぞれに蓄積された電荷量を用いて前記被写体までの測定距離を決定し、前記単位蓄積処理では、前記三つ以上の電荷蓄積部のうちの一部の電荷蓄積部に前記被写体に反射した前記光パルスである反射光に応じた電荷を振り分けて蓄積させる近距離物体測定処理、前記光電変換素子が発生させた電荷を前記電荷排出部が排出する排出処理、前記一部の電荷蓄積部とは異なる電荷蓄積部を含む電荷蓄積部に前記反射光に応じた電荷を蓄積させる遠距離物体測定処理が順に実施される。
【発明の効果】
【0009】
本発明によれば、近距離にある物体までの距離を測定し、且つ、遠距離にある物体の有無を判定することができる。
【図面の簡単な説明】
【0010】
図1】実施形態の距離画像撮像装置1の概略構成を示したブロック図である。
図2】実施形態の距離画像センサ32の概略構成を示したブロック図である。
図3】実施形態の画素321の構成の一例を示した回路図である。
図4】従来の駆動タイミングの例を示すタイミングチャートである。
図5】第1の実施形態の駆動タイミングの例を示すタイミングチャートである。
図6】第1の実施形態の距離画像処理部4が行う処理の流れを示すフローチャートである。
図7】第2の実施形態の駆動タイミングの例を示すタイミングチャートである。
図8】第2の実施形態の距離画像処理部4が行う処理の流れを示すフローチャートである。
図9】第2の実施形態に係る変形例1の駆動タイミングの例を示すタイミングチャートである。
図10】第2の実施形態に係る変形例1の距離画像処理部4が行う処理の流れを示すフローチャートである。
図11】第2の実施形態に係る変形例2の駆動タイミングの例を示すタイミングチャートである。
図12】第2の実施形態に係る変形例2の距離画像処理部4が行う処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0011】
以下、実施形態の距離画像撮像装置を、図面を参照しながら説明する。
【0012】
(実施形態の基本的な構成)
まず、実施形態の基本的な構成について説明する。図1は、本発明の実施形態の距離画像撮像装置の概略構成を示したブロック図である。図1に示した構成の距離画像撮像装置1は、光源部2と、受光部3と、距離画像処理部4とを備える。図1には、距離画像撮像装置1において距離を測定する対象物である被写体OBも併せて示している。
【0013】
光源部2は、距離画像処理部4からの制御に従って、距離画像撮像装置1において距離を測定する対象の被写体OBが存在する撮像対象の空間に光パルスPOを照射する。光源部2は、例えば、垂直共振器面発光レーザー(VCSEL:Vertical Cavity Surface Emitting Laser)などの面発光型の半導体レーザーモジュールである。光源部2は、光源装置21と、拡散板22とを備える。
【0014】
光源装置21は、被写体OBに照射する光パルスPOとなる近赤外の波長帯域(例えば、波長が850nm~940nmの波長帯域)のレーザー光を発光する光源である。光源装置21は、例えば、半導体レーザー発光素子である。光源装置21は、タイミング制御部41からの制御に応じて、パルス状のレーザー光を発光する。
【0015】
拡散板22は、光源装置21が発光した近赤外の波長帯域のレーザー光を、被写体OBに照射する面の広さに拡散する光学部品である。拡散板22が拡散したパルス状のレーザー光が、光パルスPOとして出射され、被写体OBに照射される。
【0016】
受光部3は、距離画像撮像装置1において距離を測定する対象の被写体OBによって反射された光パルスPOの反射光RLを受光し、受光した反射光RLに応じた画素信号を出力する。受光部3は、レンズ31と、距離画像センサ32とを備える。
【0017】
レンズ31は、入射した反射光RLを距離画像センサ32に導く光学レンズである。レンズ31は、入射した反射光RLを距離画像センサ32側に出射して、距離画像センサ32の受光領域に備えた画素に受光(入射)させる。
【0018】
距離画像センサ32は、距離画像撮像装置1に用いられる撮像素子である。距離画像センサ32は、二次元の受光領域に複数の画素を備える。距離画像センサ32のそれぞれの画素の中に、1つの光電変換素子と、この1つの光電変換素子に対応する複数の電荷蓄積部と、それぞれの電荷蓄積部に電荷を振り分ける構成要素とが設けられる。つまり、画素は、複数の電荷蓄積部に電荷を振り分けて蓄積させる振り分け構成の撮像素子である。
【0019】
距離画像センサ32は、タイミング制御部41からの制御に応じて、光電変換素子が発生した電荷をそれぞれの電荷蓄積部に振り分ける。また、距離画像センサ32は、電荷蓄積部に振り分けられた電荷量に応じた画素信号を出力する。距離画像センサ32には、複数の画素が二次元の行列状に配置されており、それぞれの画素の対応する1フレーム分の画素信号を出力する。
【0020】
距離画像処理部4は、距離画像撮像装置1を制御し、被写体OBまでの距離を演算する。距離画像処理部4は、タイミング制御部41と、距離演算部42と、測定制御部43と、記憶部44とを備える。なお、距離画像処理部4の機能部(タイミング制御部41、距離演算部42、測定制御部43、及び記憶部44)の一部が、距離画像センサ32に組み込まれていてもよい。
【0021】
タイミング制御部41は、測定制御部43の制御に応じて、測定に要する様々な制御信号を出力するタイミングを制御する。ここでの様々な制御信号とは、例えば、光パルスPOの照射を制御する信号、反射光RLを複数の電荷蓄積部に振り分けて蓄積させる信号、1フレームあたりの振り分け回数(蓄積回数)を制御する信号などである。振り分け回数とは、電荷蓄積部CS(図3参照)に電荷を振り分ける処理を繰返す回数である。
【0022】
距離演算部42は、距離画像センサ32から出力された画素信号と、後述する(1)式を用いてToF距離を算出する。距離演算部42は、算出したToF距離を、補正情報440を用いて補正し、補正したToF距離を、被写体OBまでの距離(測定距離)とする。補正情報440、及び、距離演算部42が補正情報440を用いてToF距離を補正する方法については、後で詳しく説明する。
【0023】
測定制御部43は、タイミング制御部41を制御する。例えば、測定制御部43は、1フレームの振り分け回数、及び蓄積時間Ta等を設定し、設定した内容で撮像が行われるようにタイミング制御部41を制御する。
【0024】
記憶部44は、記憶媒体、例えば、HDD(Hard Disk Drive)、フラッシュメモリ、EEPROM(Electrically Erasable Programmable Read Only Memory)、RAM(Random Access read/write Memory)、ROM(Read Only Memory)、または、これらの記憶媒体の任意の組み合わせによって構成される。
【0025】
このような構成によって、距離画像撮像装置1では、光源部2が被写体OBに照射した近赤外の波長帯域の光パルスPOが被写体OBによって反射された反射光RLを受光部3が受光し、距離画像処理部4が、被写体OBとの距離を測定した距離情報を出力する。
【0026】
なお、図1においては、距離画像処理部4を内部に備えた構成の距離画像撮像装置1を示しているが、距離画像処理部4は、距離画像撮像装置1の外部に備える構成要素であってもよい。
【0027】
次に、距離画像撮像装置1において撮像素子として用いられる距離画像センサ32の構成について説明する。図2は、実施形態の距離画像撮像装置1に用いられる撮像素子(距離画像センサ32)の概略構成を示したブロック図である。
【0028】
図2に示すように、距離画像センサ32は、例えば、複数の画素321が配置された受光領域320と、制御回路322と、振り分け動作を有した垂直走査回路323と、水平走査回路324と、画素信号処理回路325とを備える。
【0029】
受光領域320は、複数の画素321が配置された領域であって、図2では、8行8列に二次元の行列状に配置された例を示している。画素321は、受光した光量に応じた電荷を蓄積する。制御回路322は、距離画像センサ32を統括的に制御する。制御回路322は、例えば、距離画像処理部4のタイミング制御部41からの指示に応じて、距離画像センサ32の構成要素の動作を制御する。なお、距離画像センサ32に備えた構成要素の制御は、タイミング制御部41が直接行う構成であってもよく、この場合、制御回路322を省略することも可能である。
【0030】
垂直走査回路323は、制御回路322からの制御に応じて、受光領域320に配置された画素321を行ごとに制御する回路である。垂直走査回路323は、画素321の電荷蓄積部CSそれぞれに蓄積された電荷量に応じた電圧信号を画素信号処理回路325に出力させる。この場合、垂直走査回路323は、光電変換素子により変換された電荷を画素321の電荷蓄積部それぞれに振り分ける。つまり、垂直走査回路323は、「画素駆動回路」の一例である。
【0031】
画素信号処理回路325は、制御回路322からの制御に応じて、それぞれの列の画素321から対応する垂直信号線に出力された電圧信号に対して、予め定めた信号処理(例えば、ノイズ抑圧処理やA/D変換処理など)を行う回路である。
【0032】
水平走査回路324は、制御回路322からの制御に応じて、画素信号処理回路325から出力される信号を、水平信号線に順次出力させる回路である。これにより、1フレーム分蓄積された電荷量に相当する画素信号が、水平信号線を経由して距離画像処理部4に順次出力される。
【0033】
以下では、画素信号処理回路325がA/D変換処理を行い、画素信号がデジタル信号であるものとして説明する。
【0034】
ここで、距離画像センサ32に備える受光領域320内に配置された画素321の構成について説明する。図3は、実施形態の距離画像センサ32の受光領域320内に配置された画素321の構成の一例を示した回路図である。図3には、受光領域320内に配置された複数の画素321のうち、1つの画素321の構成の一例を示している。この図の例では、画素321が4つの画素信号読み出し部を備えた構成の一例である。
【0035】
図3に示すように、画素321は、1つの光電変換素子PDと、ドレインゲートトランジスタGDと、4つの画素信号読み出し部RU(画素信号読み出し部RU1~RU4)とを備える。それぞれの画素信号読み出し部RUは、出力端子Oから電圧信号を出力する。
【0036】
以下の説明においては、4つの画素信号読み出し部RU符号の後に、「1」、「2」、「3」または「4」の数字を付与することによって、それぞれの画素信号読み出し部RU、を区別する。また、同様に、4つの画素信号読み出し部RUに備えたそれぞれの構成要素も、それぞれの符号の後に数字を付与することによって、それぞれの構成要素を区別して表す。
【0037】
画素信号読み出し部RUのそれぞれは、電荷振り分けゲートトランジスタGと、フローティングディフュージョンFDと、電荷蓄積容量Cと、リセットゲートトランジスタRTと、ソースフォロアゲートトランジスタSFと、選択ゲートトランジスタSLとを備える。それぞれの画素信号読み出し部RUでは、フローティングディフュージョンFDと電荷蓄積容量Cとによって電荷蓄積部CSが構成されている。具体的には、画素信号読み出し部RU1は、電荷振り分けゲートトランジスタG1と、フローティングディフュージョンFD1と、電荷蓄積容量C1と、リセットゲートトランジスタRT1と、ソースフォロアゲートトランジスタSF1と、選択ゲートトランジスタSL1とを備える。画素信号読み出し部RU1では、フローティングディフュージョンFD1と電荷蓄積容量C1とによって電荷蓄積部CS1が構成されている。画素信号読み出し部RU2~RU4も同様の構成である。なお、電荷振り分けゲートトランジスタGの構成は、トランスファー方式に限定されず、フォトゲート方式の電荷振り分けであってもよい。
【0038】
光電変換素子PDは、入射した光を光電変換して電荷を発生させ、発生させた電荷を蓄積する埋め込み型のフォトダイオードである。光電変換素子PDの構造は任意であってよい。光電変換素子PDは、例えば、P型半導体とN型半導体とを接合した構造のPNフォトダイオードであってもよいし、P型半導体とN型半導体との間にI型半導体を挟んだ構造のPINフォトダイオードであってもよい。
【0039】
画素321では、光電変換素子PDが入射した光を光電変換して発生させた電荷を4つの電荷蓄積部CSのそれぞれに振り分け、振り分けられた電荷の電荷量に応じたそれぞれの電圧信号を、画素信号処理回路325に出力する。
【0040】
距離画像センサ32に配置される画素の構成は、図3に示したような、4つの画素信号読み出し部RUを備えた構成に限定されるものではなく、複数の画素信号読み出し部RUを備えた構成の画素であればよい。つまり、距離画像センサ32に配置される画素に備える画素信号読み出し部RU(電荷蓄積部CS)の数は、2つであってもよいし、3つであってもよいし、5つ以上であってもよい。
【0041】
また、図3に示した構成の画素321では、電荷蓄積部CSを、フローティングディフュージョンFDと電荷蓄積容量Cとによって構成する一例を示した。しかし、電荷蓄積部CSは、少なくともフローティングディフュージョンFDによって構成されればよく、画素321が電荷蓄積容量Cを備えない構成であってもよい。
【0042】
また、図3に示した構成の画素321では、ドレインゲートトランジスタGDを備える構成の一例を示したが、これに限定されない。例えば、電荷蓄積部CSに蓄積されずに光電変換素子PDに残っている電荷を破棄する必要がない場合には、ドレインゲートトランジスタGDを備えない構成であってもよい。
【0043】
(従来の駆動タイミング)
ここで、従来の駆動タイミングについて図4を用いて説明する。図4は、従来における駆動タイミング(画素を駆動するタイミング)を示すタイミングチャートである。
【0044】
図4では、1回の振り分け処理において、電荷蓄積部CSのそれぞれに電荷を蓄積させるまでに要する時間を「単位蓄積時間UT」と表している。「単位蓄積時間UT」において行われる振り分け処理(単位蓄積処理)を1フレームに相当する蓄積回数だけ繰り返し行った後に、その間に蓄積された電荷量を読み出す処理が行われる。この蓄積された電荷量を読み出す処理が行われる時間を「読み出し期間」と表している。
【0045】
また、図4では、光パルスPOを照射するタイミングを「L」、反射光RLが受光されるタイミングを「R」、電荷振り分けゲートトランジスタG1を駆動させるタイミングを「G1」、電荷振り分けゲートトランジスタG2を駆動させるタイミングを「G2」、電荷振り分けゲートトランジスタG3を駆動させるタイミングを「G3」、電荷振り分けゲートトランジスタG4を駆動させるタイミングを「G4」、駆動信号RSTDのタイミングを「GD」、の項目名でそれぞれ示している。
【0046】
垂直走査回路323は、光パルスPOの照射に同期させたタイミングで、電荷蓄積部CS1~CS4に電荷を蓄積させる。図4の例では、光パルスPOを照射したタイミングと同じタイミングで電荷蓄積部CS1に電荷を蓄積させ、電荷蓄積部CS1に電荷を蓄積させた後、順次、電荷蓄積部CS2~CS4に電荷を蓄積させる。
【0047】
図4の例では、光パルスPOが照射された時刻から遅延時間Td遅れて反射光RLが距離画像センサ32に受光される場合のタイミングチャートが示されている。遅延時間Tdに応じて、反射光RLに応じた電荷が電荷蓄積部CS1及びCS2に振り分けて蓄積される。電荷蓄積部CS3及びCS4が電荷を蓄積するタイミングでは、反射光RLが受光されることはなく、背景光などの外光成分に応じた電荷が電荷蓄積部CS3及びCS4に蓄積される。
【0048】
具体的に、まず、垂直走査回路323は、光パルスPOを照射させる。垂直走査回路323は照射のタイミングと同じタイミングでドレインゲートトランジスタGDをオフ状態にするとともに、電荷振り分けゲートトランジスタG1を蓄積時間Taに渡りオン状態とする。垂直走査回路323は、電荷振り分けゲートトランジスタG1を蓄積時間Taに渡りオン状態とした後に、電荷振り分けゲートトランジスタG1をオフ状態とする。これにより、電荷振り分けゲートトランジスタG1がオン状態に制御されている間に光電変換素子PDにより光電変換された電荷が、電荷振り分けゲートトランジスタG1を介して電荷蓄積部CS1に蓄積される。
【0049】
次に、垂直走査回路323は、電荷振り分けゲートトランジスタG2をオフ状態としたタイミングで、電荷振り分けゲートトランジスタG2を蓄積時間Taに渡りオン状態とする。垂直走査回路323は、電荷振り分けゲートトランジスタG2を蓄積時間Taに渡りオン状態とした後に、電荷振り分けゲートトランジスタG2をオフ状態にする。これにより、電荷振り分けゲートトランジスタG2がオン状態に制御されている間に光電変換素子PDにより光電変換された電荷が、電荷振り分けゲートトランジスタG2を介して電荷蓄積部CS2に蓄積される。
【0050】
次に、垂直走査回路323は、電荷振り分けゲートトランジスタG2をオフ状態としたタイミングで、電荷振り分けゲートトランジスタG3を蓄積時間Taに渡りオン状態にする。垂直走査回路323は、電荷振り分けゲートトランジスタG3を蓄積時間Taに渡りオン状態とした後に、電荷振り分けゲートトランジスタG3をオフ状態にする。これにより、電荷振り分けゲートトランジスタG3がオン状態に制御されている間に光電変換素子PDにより光電変換された電荷は、電荷振り分けゲートトランジスタG3を介して電荷蓄積部CS3に蓄積される。
【0051】
次に、垂直走査回路323は、電荷蓄積部CS3への電荷の蓄積を終了させたタイミングで、電荷振り分けゲートトランジスタG4を蓄積時間Taに渡りオン状態にする。垂直走査回路323は、電荷振り分けゲートトランジスタG4を蓄積時間Taに渡りオン状態とした後に、電荷振り分けゲートトランジスタG4をオフ状態とする。垂直走査回路323は、電荷振り分けゲートトランジスタG4をオフ状態としたタイミングでドレインゲートトランジスタGDをオン状態にする。ドレインゲートトランジスタGDがオン状態とされることにより、この間に光電変換素子PDにより光電変換された電荷は、電荷蓄積部CSに蓄積されることなく、ドレインゲートトランジスタGDを介して破棄される。
【0052】
垂直走査回路323は、上述したような駆動を、1フレームに渡って所定の振り分け回数分繰り返し行う。その後、垂直走査回路323は、それぞれの電荷蓄積部CSに蓄積され電荷量に応じた電圧信号を出力する。具体的に、垂直走査回路323は、選択ゲートトランジスタSL1を所定時間オン状態にすることにより、画素信号読み出し部RU1を介して電荷蓄積部CS1に蓄積された電荷量に応じた電圧信号を出力端子O1から出力させる。同様に、垂直走査回路323は、順次、選択ゲートトランジスタSL2~SL4をオン状態とすることにより、電荷蓄積部CS2~CS4に蓄積された電荷量に応じた電圧信号を出力端子O2~O4から出力させる。これによって、電荷蓄積部CSのそれぞれに蓄積された1フレーム分の電荷量に相当する電気信号が距離演算部42に出力される。
【0053】
なお、上記では、光パルスPOが照射されたタイミングで、電荷振り分けゲートトランジスタG1をオン状態とする場合を例に説明した。しかしながらこれに限定されることはない。少なくとも反射光RLに応じた電荷が電荷蓄積部CS1及びCS2、又はCS2又はCS3に振り分けて蓄積されるタイミングで光パルスPOが照射されればよい。
【0054】
図4では、光パルスPOを照射するタイミングと、反射光RLが受光されるタイミングと、電荷蓄積部CSのそれぞれに電荷を蓄積させるタイミングとの関係から、電荷蓄積部CS1及びCS2に、反射光RLに応じた電荷量が振り分けられて蓄積される。また、電荷蓄積部CS1~CS4に外光成分に応じた電荷量が蓄積される。
【0055】
電荷蓄積部CS1及びCS2に振り分けられる電荷量の配分(振り分け比率)は、光パルスPOの照射時刻から反射光RLの受光時刻までの遅延時間Tdに応じた比率となる。距離演算部42は、この原理を利用して、以下の(1)式により、遅延時間Tdを算出する。(1)式におけるRは反射光RLの振り分け比率を示す電荷比である。(1)式では、電荷蓄積部CS1~CS3のそれぞれに蓄積された外光成分に応じた電荷量が同量であることを前提とする。
【0056】
Td=To×R …(1)
但し、 R=(Q2-Q3)/(Q1+Q2-2×Q3)
Toは光パルスPOが照射された時間間隔
Q1は電荷蓄積部CS1に蓄積された電荷量
Q2は電荷蓄積部CS2に蓄積された電荷量
Q3は電荷蓄積部CS3に蓄積された電荷量
【0057】
距離演算部42は、近距離受光画素においては、(1)式で求めた遅延時間Tdに、光速(速度)を乗算させることにより、被写体OBまでの往復の距離を算出する。そして、距離演算部42は、上記で算出した往復の距離を1/2とすることにより、ToF距離を求める。
【0058】
(第1の実施形態の駆動タイミング)
ここで、第1の実施形態の駆動タイミングについて図5を用いて説明する。図5は、第1の実施形態における画素321の駆動タイミングを示すタイミングチャートである。
【0059】
図5には、本実施形態の単位蓄積時間UTにおいて行われる振り分け処理(単位蓄積処理)のタイミングチャートが示されている。図5では、図4と同様に、電荷振り分けゲートトランジスタG1を駆動させるタイミングを「G1」、電荷振り分けゲートトランジスタG2を駆動させるタイミングを「G2」、電荷振り分けゲートトランジスタG3を駆動させるタイミングを「G3」、電荷振り分けゲートトランジスタG4を駆動させるタイミングを「G4」、駆動信号RSTDのタイミングを「GD」、の項目名でそれぞれ示している。また、ここでは、単位蓄積時間UTの開始時において、電荷振り分けゲートトランジスタG1~G4のそれぞれがオフ状態であり、ドレインゲートトランジスタGDがオン状態とする。
【0060】
本実施形態では、単位蓄積処理において、近距離物体測定処理、排出処理、及び遠距離物体測定処理が、順に実施される。以下、各処理について説明する。
【0061】
まず、近距離物体測定処理について説明する。近距離物体測定処理は、比較的近距離にある物体までの距離を測定する処理であり、従来の駆動タイミングにて画素321の電荷蓄積部CS1~CS3を駆動させることにより実施される。
【0062】
具体的に、垂直走査回路323は、光パルスPOの照射に応じたタイミング、例えば、光パルスPOの照射と同じタイミングで、図4と同様に、ドレインゲートトランジスタGDをオフ状態にし、電荷振り分けゲートトランジスタG1~G3を、順次、蓄積時間Taに渡りオン状態とする。
【0063】
次に、排出処理について説明する。排出処理は、光電変換素子PDが発生させた電荷を排出する処理であり、ドレインゲートトランジスタGDをオン状態とすることにより実施される。
【0064】
具体的に、垂直走査回路323は、電荷蓄積部CS3への電荷の蓄積を終了させたタイミングで、ドレインゲートトランジスタGDを、一定時間(この図の例では、ゾーンZ3に相当する時間)、オン状態とする。
【0065】
次に、遠距離物体測定処理について説明する。遠距離物体測定処理は、遠距離に存在する物体の有無を判定する処理である。遠距離物体測定処理は、排出処理後に、電荷振り分けゲートトランジスタG4をオン状態とすることにより実施される。
【0066】
具体的に、垂直走査回路323は、ドレインゲートトランジスタGDをオフ状態にし、電荷振り分けゲートトランジスタG4を、一定時間(この図の例では、蓄積時間Tb)、オン状態とする。その後、垂直走査回路323は、電荷蓄積部CS4への電荷の蓄積を終了させたタイミングで、ドレインゲートトランジスタGDをオン状態とする。
【0067】
また、この図では、被写体OBまでの距離に応じて、反射光RLが距離画像撮像装置1に到来する時間区間が、ゾーンZ1~Z4でそれぞれ示されている。ここでは、反射光RLがゾーンZ1~Z4の何れにおいて受光されたかに応じて、被写体OBまでの距離を第1距離~第4距離まで分類する。
【0068】
第1距離は、ゾーンZ1に対応する距離である。第1距離に存在する被写体OBに反射した反射光RLはゾーンZ1にて受光される。第1距離としては、例えば、0(ゼロ)[m]~2.5[m]程度の距離が想定される。
【0069】
第2距離は、ゾーンZ2に対応する距離である。第2距離は、第1距離よりも大きい距離であり、第2距離に存在する被写体OBに反射した反射光RLはゾーンZ2にて受光される。第2距離としては、例えば、2.5[m]~5.0[m]程度の距離が想定される。
【0070】
第3距離は、ゾーンZ3に対応する距離である。第3距離は、第2距離よりも大きい距離であり、第3距離に存在する被写体OBに反射した反射光RLがゾーンZ3にて受光される。第3距離としては、例えば、5.0[m]~15.0[m]程度の距離が想定される。
【0071】
第4距離は、ゾーンZ4に対応する距離である。第4距離は、第3距離よりも大きい距離であり、第4距離に存在する被写体OBに反射した反射光RLがゾーンZ4において受光される。第4距離として、例えば、15.0[m]~25.0[m]程度の距離が想定される。
【0072】
この図の例に示すように画素321を駆動した場合、ゾーンZ1において受光された反射光に応じた電荷は、電荷蓄積部CS1及び電荷蓄積部CS2に振り分けられて蓄積される。この場合、電荷蓄積部CS3及びCS4に蓄積される電荷が外光成分に相当する。電荷蓄積部CS4に蓄積された電荷を外光成分として用いる場合、電荷蓄積部CS1~CS3とは、電荷蓄積部CS4の蓄積時間が異なる設定となることがある。その為、Ta/Tbを乗算することで、電荷蓄積部CS4の蓄積時間に応じた外光成分を導出する必要がある。Ta/Tbを乗算する計算を実行する際に蓄積時間に関係ないノイズ成分を増減(変化)させてしまう可能性がある。このため、外光成分を導出する際に計算を実行する必要がない電荷蓄積部CS3に蓄積された電荷に基づいて外光成分に相当する電荷を導出することが好ましい。
【0073】
ゾーンZ2において受光された反射光に応じた電荷は、電荷蓄積部CS2及び電荷蓄積部CS3に振り分けられて蓄積される。この場合、電荷蓄積部CS1及びCS4に蓄積される電荷が外光成分に相当する。電荷蓄積部CS4に蓄積された電荷を外光成分として用いる場合、電荷蓄積部CS1~CS3とは、電荷蓄積部CS4の蓄積時間が異なる設定となることがある。その為、Ta/Tbを乗算することで、電荷蓄積部CS4の蓄積時間に応じた外光成分を導出する必要がある。Ta/Tbを乗算する計算を実行する際に蓄積時間に関係ないノイズ成分を増減(変化)させてしまう可能性がある。このため、外光成分を導出する際に計算を実行する必要がない電荷蓄積部CS1に蓄積された電荷に基づいて外光成分に相当する電荷を導出することが好ましい。
【0074】
ゾーンZ3において受光された反射光に応じた電荷は、いずれの電荷蓄積部CSにも蓄積されることなく、排出される。すなわち、ゾーンZ3に対応する第3距離に存在する被写体OBまでの距離は測定されない。第3距離は、「測長範囲外距離」の一例である。
【0075】
ゾーンZ4において受光された反射光に応じた電荷は、電荷蓄積部CS4に蓄積される。この場合、電荷蓄積部CS1~CS3に蓄積される電荷が外光成分に相当する。
【0076】
図5に示す振り分け処理を1フレームに相当する蓄積回数だけ繰り返し行った後に、その間に蓄積された電荷量を読み出す処理が行われる。
【0077】
(第1の実施形態の処理の流れ)
ここで、第1の実施形態の処理の流れについて図6を用いて説明する。図6は、第1の実施形態の距離画像処理部4が行う処理の流れを示すフローチャートである。
【0078】
まず、距離画像処理部4は、図5に示す駆動タイミングにて、1フレーム分の電荷蓄積を実施する(ステップS10)。
【0079】
次に、距離画像処理部4は、外光成分に相当する電荷量Qgを算出する(ステップS11)。距離画像処理部4は、例えば、電荷蓄積部CS1~CS3のそれぞれに蓄積された電荷量のうち、最も少ない電荷量を、外光成分に相当する電荷量Qgとする。
【0080】
次に、距離画像処理部4は、電荷蓄積部CS4に蓄積された電荷量Q4を補正した補正後電荷量Q4#を算出する(ステップS12)。補正後電荷量Q4#は、電荷蓄積部CS4に蓄積された電荷量Q4を、他の電荷蓄積部CS(電荷蓄積部CS1~CS3)における蓄積時間に相当する電荷量に補正した値である。距離画像処理部4は、以下の(2)式により、補正後電荷量Q4#を算出する。
【0081】
Q4#=Ta/Tb×Q4 …(2)
但し、 Taは電荷蓄積部CS1に電荷が蓄積された時間間隔
Tbは電荷蓄積部CS4に電荷が蓄積された時間間隔
Q4は電荷蓄積部CS4に蓄積された電荷量
【0082】
次に、距離画像処理部4は、何れの電荷蓄積部CSに、反射光に相当する電荷量が蓄積されているか判定する(ステップS13)。距離画像処理部4は、ステップS11で算出した電荷量Qgと、電荷蓄積部CSのそれぞれに蓄積された電荷量とを比較する。この場合において、距離画像処理部4は、電荷蓄積部CS1~CS3については、電荷量Qgと、CS1~CS3のそれぞれに蓄積された電荷量Q1~Q3とを比較する。距離画像処理部4は、電荷蓄積部CS4については、電荷量Qgと、ステップS12で算出した補正後電荷量Q4#とを比較する。距離画像処理部4は、電荷量Qgよりも多い電荷量が蓄積されている電荷蓄積部CSを、反射光RLに相当する電荷量が蓄積されている電荷蓄積部CSと判定する。
【0083】
電荷蓄積部CS1及びCS2に反射光に相当する電荷が蓄積されていると判定した場合、距離画像処理部4は、ゾーンZ1に相当する距離(第1距離)に物体があると判定し、(1)式を用いて、物体までの距離を算出する(ステップS14)。
【0084】
距離画像処理部4は、ゾーンZ1に相当する距離(第1距離)に物体がある場合の制御を実施する(ステップS15)。ここでのゾーンZ1に相当する距離(第1距離)に物体がある制御は、距離画像撮像装置1が搭載される環境に応じて任意に設定される。例えば、距離画像撮像装置1が移動体に搭載されて移動しているような環境においては、近距離に物体が存在している状況にて移動し続けると衝突などの危険が高まる。このため、移動体を緊急停止させる等の処理が実施される。
【0085】
電荷蓄積部CS2及びCS3に反射光に相当する電荷が蓄積されていると判定した場合、距離画像処理部4は、ゾーンZ2に相当する距離(第2距離)に物体があると判定し、(1)式を用いて、物体までの距離を算出する(ステップS16)。この場合、(1)式における電荷比R=(Q3-Q1)/(Q2+Q3-2×Q1)である。なお、電荷比Rから距離を求めた際、ゾーンに対応するベース距離を加えることで、物体までの距離が確定する。例えば、ゾーンZ2の場合、ベース距離は2.5[m]である。ゾーンZ2の場合、上記電荷比Rに基づいて算出した距離に、ベース距離2.5[m]を加算した距離が、ゾーンZ2に存在する被写体OBまでの距離となる。
【0086】
距離画像処理部4は、ゾーンZ2に相当する距離(第2距離)に物体がある場合の制御を実施する(ステップS17)。ここでのゾーンZ2に相当する距離(第2距離)に物体がある制御は、距離画像撮像装置1が搭載される環境に応じて任意に設定される。例えば、移動体の進行方向を変更する回避行動などの処理が実施される。
【0087】
電荷蓄積部CS4に反射光に相当する電荷が蓄積されていると判定した場合、距離画像処理部4は、ゾーンZ4に相当する距離(第4距離)に物体があると判定する(ステップS18)。
【0088】
距離画像処理部4は、ゾーンZ4に相当する距離(第4距離)に物体がある場合の制御を実施する(ステップS19)。ここでのゾーンZ4に相当する距離(第4距離)に物体がある制御は、距離画像撮像装置1が搭載される環境に応じて任意に設定される。例えば、移動体の移動速度を低下する等の処理が実施される。
【0089】
なお、上記ではステップS15、S17、及びS19のそれぞれに示す処理を、距離画像処理部4が行う場合を例示して説明した。しかしながらこれに限定されることはない。距離画像処理部4は、少なくともステップS14、S15、又はS18に示す処理を実行すればよい。例えば、距離画像撮像装置1が搭載された移動体を制御する外部装置が設けられている場合を考える。外部装置は、距離画像撮像装置1と通信可能に接続される。距離画像撮像装置1は、ステップS14、又はS15により算出した物体までの距離を示す情報を外部装置に出力する。或いは、距離画像撮像装置1は、ステップSS18より判定した物体の有無を示す情報を、外部装置に出力する。外部装置は、距離画像撮像装置1から受信した情報に基づいて、移動体を制御する。
【0090】
以上説明したように、第1の実施形態の距離画像撮像装置1は、光源部2と、受光部3と、ドレインゲートトランジスタGDと、距離画像処理部4と、を備える。光源部2は、被写体OBが存在する測定空間に光パルスPOを照射する。受光部3は、画素321と、垂直走査回路323(駆動回路の一例)を備える。垂直走査回路323は、光パルスPOの照射に同期させた所定のタイミングで画素321における電荷蓄積部CSのそれぞれに電荷を振り分けて蓄積させる。ドレインゲートトランジスタGDは、光電変換素子PDが発生させた電荷を排出する。距離画像処理部4は、電荷蓄積部CSのそれぞれに蓄積された電荷量を用いて被写体OBまでの測定距離を決定する。距離画像処理部4は、1フレーム期間に、単位蓄積処理を複数回実施し、電荷蓄積部CSのそれぞれに蓄積された電荷量を用いて被写体OBまでの測定距離を決定する。単位蓄積処理では、近距離物体測定処理、排出処理、及び遠距離物体測定処理が順に実施される。近距離物体測定処理は、電荷蓄積部CS1~CS3(電荷蓄積部CSのうちの一部の電荷蓄積部CS)に、反射光RLに応じた電荷を振り分けて蓄積させる処理である。排出処理は、光電変換素子PDが発生させた電荷を、ドレインゲートトランジスタGDが排出する処理である。遠距離物体測定処理は、電荷蓄積部CS4(一部の電荷蓄積部CSとは異なる電荷蓄積部CSを含む電荷蓄積部CS)に反射光RLに応じた電荷を蓄積させる処理である。
【0091】
これにより、第1の実施形態の距離画像撮像装置1は、近距離物体測定処理にて近距離にある物体までの距離を測定することができる。また、遠距離物体測定処理にて遠距離にある物体の有無を判定することができる。すなわち、近距離にある物体までの距離を測定し、且つ、遠距離にある物体の有無を判定することが可能である。尚且つ、第1の実施形態に係る距離画像撮像装置1では、近距離物体測定処理を実施した後、遠距離物体測定処理を実施する前に、排出処理を実施する。このため、この間に電荷蓄積部CSに電荷が蓄積されないようにして、遠距離にある物体から反射した反射光に相当する電荷を精度よく蓄積することができる。
【0092】
第1の実施形態では、単位蓄積時間UTにおいて、電荷蓄積部CSに電荷を蓄積させる時間以外のタイミングで余計な電荷が蓄積されることがないように、ドレインゲートトランジスタGDがオフ状態となる。これにより、近距離物体までの距離の測定、及び遠距離物体の有無の判定を行わない時間(ゾーンZ3)において、電荷が蓄積され続けることを回避する。
【0093】
(第2の実施形態の駆動タイミング)
ここで、第2の実施形態の駆動タイミングについて図7を用いて説明する。図7は、第2の実施形態における画素321の駆動タイミングを示すタイミングチャートである。
【0094】
図7には、本実施形態の単位蓄積時間UTにおいて行われる振り分け処理(単位蓄積処理)のタイミングチャートが示されている。図7では、図5と同様に、電荷振り分けゲートトランジスタG1を駆動させるタイミングを「G1」、電荷振り分けゲートトランジスタG2を駆動させるタイミングを「G2」、電荷振り分けゲートトランジスタG3を駆動させるタイミングを「G3」、電荷振り分けゲートトランジスタG4を駆動させるタイミングを「G4」、駆動信号RSTDのタイミングを「GD」、の項目名でそれぞれ示している。また、ここでは、単位蓄積時間UTの開始時において、電荷振り分けゲートトランジスタG1~G4のそれぞれがオフ状態であり、ドレインゲートトランジスタGDがオン状態であるとする。
【0095】
本実施形態では、遠距離物体測定処理において、物体までの距離を測定する点において、第1の実施形態と相違する。以下では、第1の実施形態と相違する点について説明する。
【0096】
近距離物体測定処理、及び、排出処理については、第1の実施形態と同様であるため、その説明を省略する。
【0097】
本実施形態の遠距離物体測定処理について説明する。遠距離物体測定処理は、遠距離に存在する物体までの距離を判定する処理である。遠距離物体測定処理は、排出処理後に、電荷振り分けゲートトランジスタG4、及びG1を順にオン状態とすることにより実施される。
【0098】
具体的に、垂直走査回路323は、ドレインゲートトランジスタGDをオフ状態にし、電荷振り分けゲートトランジスタG4を、蓄積時間Taに渡りオン状態とする。垂直走査回路323は、電荷振り分けゲートトランジスタG4を蓄積時間Taに渡りオン状態とした後に、電荷振り分けゲートトランジスタG4をオフ状態にする。垂直走査回路323は、電荷蓄積部CS4への電荷の蓄積を終了させたタイミングで、電荷振り分けゲートトランジスタG1を蓄積時間Taに渡りオン状態にする。垂直走査回路323は、電荷振り分けゲートトランジスタG1を蓄積時間Taに渡りオン状態とした後に、電荷振り分けゲートトランジスタG1をオフ状態とする。垂直走査回路323は、電荷蓄積部CS1への電荷の蓄積を終了させたタイミングで、ドレインゲートトランジスタGDをオン状態とする。
【0099】
本実施形態におけるゾーンZ4に対応する第4距離は、第1の実施形態における第4距離の全範囲、又は一部の範囲である。本実施形態における第4距離は、第1の実施形態における蓄積時間Tbと、本実施形態における、遠距離物体測定処理における電荷振り分けゲートトランジスタG4及びG1への蓄積時間Taとの関係に応じて、任意に決定されてよい。例えば、本実施形態における第4距離は、17.5[m]~20.0[m]程度の距離が想定される。
【0100】
(第2の実施形態の処理の流れ)
ここで、第2の実施形態の処理の流れについて図8を用いて説明する。図8は、第2の実施形態の距離画像処理部4が行う処理の流れを示すフローチャートである。
【0101】
ステップS20については、図5のステップS10と同様であるためその説明を省略する。
【0102】
距離画像処理部4は、外光成分に相当する電荷量Qgを算出する(ステップS21)。距離画像処理部4は、例えば、電荷蓄積部CS2~CS4のそれぞれに蓄積された電荷量のうち、最も少ない電荷量を、外光成分に相当する電荷量Qgとする。
【0103】
次に、距離画像処理部4は、電荷蓄積部CS1に蓄積された電荷量Q1を補正した補正後電荷量Q1#を算出する(ステップS22)。補正後電荷量Q1#は、電荷蓄積部CS1に蓄積された電荷量Q1を、他の電荷蓄積部CS(電荷蓄積部CS2~CS4)における蓄積時間に相当する電荷量に補正した値である。距離画像処理部4は、以下の(3)式により、補正後電荷量Q1#を算出する。
【0104】
Q1#=Q1-Qg…(3)
但し、
Q1は電荷蓄積部CS1に蓄積された電荷量
Qgは外光成分に相当する電荷量
なお、(3)式では、近距離物体測定処理における電荷蓄積部CS1に電荷が蓄積された時間間隔と遠距離物体測定処理における電荷蓄積部CS1に電荷が蓄積された時間間隔(図7におけるTa)は同じ値であることを前提とする。
【0105】
次に、距離画像処理部4は、何れの電荷蓄積部CSに、反射光に相当する電荷量が蓄積されているか判定する(ステップS23)。距離画像処理部4は、ステップS21で算出した電荷量Qgと、電荷蓄積部のそれぞれに蓄積された電荷量とを比較する。この場合において、距離画像処理部4は、電荷蓄積部CS2~CS4については、電荷量Qgと、CS2~CS4のそれぞれに蓄積された電荷量Q2~Q4とを比較する。距離画像処理部4は、電荷蓄積部CS1については、電荷量Qgと、ステップS22で算出した補正後電荷量Q1#とを比較する。距離画像処理部4は、電荷量Qgよりも多い電荷量が蓄積されている電荷蓄積部CSを、反射光に相当する電荷量が蓄積されている電荷蓄積部CSと判定する。
【0106】
電荷蓄積部CS1及びCS2に反射光に相当する電荷が蓄積されていると判定した場合、距離画像処理部4は、ゾーンZ1に相当する距離(第1距離)に物体があると判定し、(1)式を用いて、物体までの距離を算出する(ステップS24)。この場合、(1)式における電荷比R=(Q2-Q3)/(Q1#+Q2-2×Q3)である。
【0107】
ステップS25~27については、図5のステップS15~17と同様であるためその説明を省略する。
【0108】
電荷蓄積部CS4及びCS1に反射光に相当する電荷が蓄積されていると判定した場合、距離画像処理部4は、ゾーンZ4に相当する距離(第4距離)に物体があると判定し、(1)式を用いて、物体までの距離を算出する(ステップS28)。この場合、(1)式における電荷比R=(Q1#-Q2)/(Q4+Q1#-2×Q2)、又は、電荷比R=(Q1#-Q3)/(Q4+Q1#-2×Q3)である。なお、電荷比Rから距離を求めた際、ゾーンに対応するベース距離を加えることで、物体までの距離が確定する。
【0109】
ステップS29については、図5のステップS19と同様であるためその説明を省略する。
【0110】
以上説明したように、第2の実施形態の距離画像撮像装置1では、遠距離物体測定処理において、電荷蓄積部CS4及びCS1(一部の電荷蓄積部CSとは異なる電荷蓄積部CSを含む電荷蓄積部CS)に反射光RLに応じた電荷を振り分けて蓄積させる。
【0111】
これにより、第2の実施形態の距離画像撮像装置1は、遠距離物体測定処理にて物体までの距離を測定することができる。このため、遠距離にある物体までの距離に応じた処理が可能となる。
【0112】
(第2の実施形態に係る変形例1の駆動タイミング)
ここで、第2の実施形態に係る変形例1の駆動タイミングについて図9を用いて説明する。図9は、第2の実施形態に係る変形例1における画素321の駆動タイミングを示すタイミングチャートである。
【0113】
図9には、本変形例の単位蓄積時間UTにおいて行われる振り分け処理(単位蓄積処理)のタイミングチャートが示されている。図9では、図5と同様に、電荷振り分けゲートトランジスタG1を駆動させるタイミングを「G1」、電荷振り分けゲートトランジスタG2を駆動させるタイミングを「G2」、電荷振り分けゲートトランジスタG3を駆動させるタイミングを「G3」、電荷振り分けゲートトランジスタG4を駆動させるタイミングを「G4」、駆動信号RSTDのタイミングを「GD」、の項目名でそれぞれ示している。また、ここでは、単位蓄積時間UTの開始時において、電荷振り分けゲートトランジスタG1~G4のそれぞれがオフ状態であり、ドレインゲートトランジスタGDがオン状態であるとする。
【0114】
本変形例では、遠距離物体測定処理において、物体までの距離を測定可能な範囲をより大きい範囲とする点において、第2の実施形態と相違する。以下では、第2の実施形態と相違する点について説明する。
【0115】
本変形例では、この図に示すように、ゾーンZ1~Z4に加えて、ゾーンZ5が示されている。ゾーンZ4に対応する第4距離は、第2の実施形態と同様に、例えば、17.5[m]~20.0[m]程度の距離である。
【0116】
本変形例では、ゾーンZ5に対応する距離を、第5距離とする。第5距離に存在する被写体OBに反射した反射光RLはゾーンZ5にて受光される。第5距離としては、例えば、20.0[m]~22.5[m]程度の距離が想定される。
【0117】
近距離物体測定処理、及び、排出処理については、第2の実施形態と同様であるため、その説明を省略する。
【0118】
本変形例の遠距離物体測定処理について説明する。遠距離物体測定処理は、排出処理後に、電荷振り分けゲートトランジスタG4、G1、及びG2を順にオン状態とすることにより実施される。
【0119】
具体的に、垂直走査回路323は、ドレインゲートトランジスタGDをオフ状態にし、第2の実施形態と同様に、電荷振り分けゲートトランジスタG4、及びG1を蓄積時間Taに渡りオン状態にする。垂直走査回路323は、電荷振り分けゲートトランジスタG1を蓄積時間Taに渡りオン状態とした後に、電荷振り分けゲートトランジスタG1をオフ状態とする。垂直走査回路323は、電荷蓄積部CS4への電荷の蓄積を終了させたタイミングで、電荷振り分けゲートトランジスタG2を蓄積時間Taに渡りオン状態にする。垂直走査回路323は、電荷振り分けゲートトランジスタG2を蓄積時間Taに渡りオン状態とした後に、電荷振り分けゲートトランジスタG2をオフ状態とする。垂直走査回路323は、電荷蓄積部CS2への電荷の蓄積を終了させたタイミングで、ドレインゲートトランジスタGDをオン状態とする。
【0120】
(第2の実施形態に係る変形例1の処理の流れ)
ここで、第2の実施形態に係る変形例1の処理の流れについて図10を用いて説明する。図10は、第2の実施形態に係る変形例1の距離画像処理部4が行う処理の流れを示すフローチャートである。
【0121】
ステップS30については、図5のステップS10と同様であるためその説明を省略する。
【0122】
距離画像処理部4は、外光成分に相当する電荷量Qgを算出する(ステップS31)。距離画像処理部4は、例えば、電荷蓄積部CS3及びCS4のそれぞれに蓄積された電荷量のうち、最も少ない電荷量を、外光成分に相当する電荷量Qgとする。
【0123】
次に、距離画像処理部4は、補正後電荷量Q1#、Q2#を算出する(ステップS32)。補正後電荷量Q1#は、電荷蓄積部CS1に蓄積された電荷量Q1を、他の電荷蓄積部CS(電荷蓄積部CS3~CS4)における蓄積時間に相当する電荷量に補正した値であり、(3)式により算出される。補正後電荷量Q2#は、電荷蓄積部CS2に蓄積された電荷量Q2を、他の電荷蓄積部CS(電荷蓄積部CS3~CS4)における蓄積時間に相当する電荷量に補正した値であり、以下の(4)式により算出される。
【0124】
Q2#=Q2-Qg…(4)
但し、
Q2は電荷蓄積部CS2に蓄積された電荷量
Qgは外光成分に相当する電荷量
なお、(4)式では、近距離物体測定処理における電荷蓄積部CS2に電荷が蓄積された時間間隔と遠距離物体測定処理における電荷蓄積部CS2に電荷が蓄積された時間間隔(図9におけるTa)は同じ値であることを前提とする。
【0125】
次に、距離画像処理部4は、何れの電荷蓄積部CSに、反射光に相当する電荷量が蓄積されているか判定する(ステップS33)。距離画像処理部4は、ステップS31で算出した電荷量Qgと、電荷蓄積部のそれぞれに蓄積された電荷量とを比較する。この場合において、距離画像処理部4は、電荷蓄積部CS3及びCS4については、電荷量Qgと、CS3及びCS4のそれぞれに蓄積された電荷量Q3及びQ4とを比較する。距離画像処理部4は、電荷蓄積部CS1及びCS2については、電荷量Qgと、ステップS22で算出した補正後電荷量Q1#及びQ2#とを比較する。距離画像処理部4は、電荷量Qgよりも多い電荷量が蓄積されている電荷蓄積部CSを、反射光に相当する電荷量が蓄積されている電荷蓄積部CSと判定する。
【0126】
電荷蓄積部CS1及びCS2に反射光に相当する電荷が蓄積されていると判定した場合、距離画像処理部4は、補正後電荷量Q1#及びQ2#との和(Q1#+Q2#)が閾値Thより大きいか否かを判定する(ステップS34)。
【0127】
閾値Thは、近距離にある物体からの反射光の強度と、遠距離にある物体からの反射光の強度との境界に相当する電荷量に応じて設定される値である。つまり、和(Q1#+Q2#)が閾値Thより大きい場合には、電荷蓄積部CS1及びCS2には、近距離にある物体からの反射光が振り分けて蓄積されたと判定することができる。一方、和(Q1#+Q2#)が閾値Th未満である場合には、電荷蓄積部CS1及びCS2には、遠距離にある物体からの反射光が振り分けて蓄積されたと判定することができる。
【0128】
和(Q1#+Q2#)が閾値Thより大きい場合、距離画像処理部4は、ゾーンZ1に相当する距離(第1距離)に物体があると判定し、(1)式を用いて、物体までの距離を算出する(ステップS35)。この場合、(1)式における電荷比R=(Q2#-Q3)/(Q1#+Q2#-2×Q3)である。ステップS36については、図5のステップS15と同様であるためその説明を省略する。
【0129】
一方、和(Q1#+Q2#)が閾値Th未満である場合、距離画像処理部4は、ゾーンZ5に相当する距離(第5距離)に物体があると判定し、(1)式を用いて、物体までの距離を算出する(ステップS37)。この場合、(1)式における電荷比R=(Q2#-Q3)/(Q1#+Q2#-2×Q3)である。ステップS38については、図5のステップS19と同様であるためその説明を省略する。
【0130】
ステップS33において、電荷蓄積部CS2及びCS3に反射光に相当する電荷が蓄積されていると判定した場合の処理(ステップS39)については、図5のステップS16と同様であるためその説明を省略する。また、その後処理(ステップS40)については、図5のステップS17と同様であるためその説明を省略する。
【0131】
ステップS33において、電荷蓄積部CS4及びCS1に反射光に相当する電荷が蓄積されていると判定した場合の処理(ステップS41)については、図8のステップS28と同様であるためその説明を省略する。また、その後処理(ステップS42)については、図8のステップS29と同様であるためその説明を省略する。
【0132】
以上説明したように、第2の実施形態に係る変形例1の距離画像撮像装置1では、遠距離物体測定処理において、電荷蓄積部CS4、CS1、及びCS2(一部の電荷蓄積部CSとは異なる電荷蓄積部CSを含む電荷蓄積部CS)に反射光RLに応じた電荷を振り分けて蓄積させる。
【0133】
これにより、第2の実施形態に係る変形例1の距離画像撮像装置1は、遠距離物体測定処理にて3タップ構成(電荷蓄積部CS4、CS1、及びCS2)にて物体までの距離を測定することができる。このため、遠距離にある物体までの距離について、より遠距離まで測定することができる。
【0134】
(第2の実施形態に係る変形例2の駆動タイミング)
ここで、第2の実施形態に係る変形例2の駆動タイミングについて図11を用いて説明する。図11は、第2の実施形態に係る変形例2における画素321の駆動タイミングを示すタイミングチャートである。
【0135】
図11には、本変形例の単位蓄積時間UTにおいて行われる振り分け処理(単位蓄積処理)のタイミングチャートが示されている。図11では、図5と同様に、電荷振り分けゲートトランジスタG1を駆動させるタイミングを「G1」、電荷振り分けゲートトランジスタG2を駆動させるタイミングを「G2」、電荷振り分けゲートトランジスタG3を駆動させるタイミングを「G3」、電荷振り分けゲートトランジスタG4を駆動させるタイミングを「G4」、駆動信号RSTDのタイミングを「GD」、の項目名でそれぞれ示している。また、ここでは、単位蓄積時間UTの開始時において、電荷振り分けゲートトランジスタG1~G4のそれぞれがオフ状態であり、ドレインゲートトランジスタGDがオン状態であるとする。
【0136】
本変形例では、遠距離物体測定処理において、物体までの距離を測定可能な範囲をより大きい範囲とする点において、第2の実施形態と相違する。以下では、第2の実施形態と相違する点について説明する。
【0137】
本変形例では、この図に示すように、ゾーンZ2がなく、ゾーンZ1、Z3~Z5が示されている。本変形例において、ゾーンZ1に対応する第1距離は、第1の実施形態と同様に、例えば、0(ゼロ)[m]~2.5[m]程度の距離である。
本変形例において、ゾーンZ3に対応する第3距離は、例えば、2.5[m]~15.0[m]程度の距離である。
本変形例において、ゾーンZ4に対応する第4距離は、例えば、15.0[m]~17.5[m]程度の距離である。
本変形例において、ゾーンZ5に対応する第5距離は、例えば、17.5[m]~20.0[m]程度の距離である。
【0138】
本変形例における近距離物体測定処理について説明する。本変形例では、従来の駆動タイミングにて画素321の電荷蓄積部CS1及びCS2を駆動させることにより、近距離物体測定処理が実施される。
【0139】
具体的に、垂直走査回路323は、光パルスPOの照射に応じたタイミング、例えば、光パルスPOの照射と同じタイミングで、ドレインゲートトランジスタGDをオフ状態にし、電荷振り分けゲートトランジスタG1及びG2を、順次、蓄積時間Taに渡りオン状態とする。
【0140】
本変形例における排出処理は、第1の実施形態の排出処理と同様であるためその説明を省略する。
【0141】
本実施形態における遠距離物体測定処理について説明する。本変形例では、排出処理後に、電荷振り分けゲートトランジスタG3、G4、及びG1を順次オン状態とすることにより実施される。
【0142】
具体的に、垂直走査回路323は、ドレインゲートトランジスタGDをオフ状態にし、電荷振り分けゲートトランジスタG3を、蓄積時間Taに渡りオン状態とする。垂直走査回路323は、電荷振り分けゲートトランジスタG3を蓄積時間Taに渡りオン状態とした後に、電荷振り分けゲートトランジスタG3をオフ状態にする。垂直走査回路323は、電荷蓄積部CS3への電荷の蓄積を終了させたタイミングで、電荷振り分けゲートトランジスタG4を蓄積時間Taに渡りオン状態にする。垂直走査回路323は、電荷振り分けゲートトランジスタG4を蓄積時間Taに渡りオン状態とした後に、電荷振り分けゲートトランジスタG4をオフ状態とする。垂直走査回路323は、電荷蓄積部CS4への電荷の蓄積を終了させたタイミングで、電荷振り分けゲートトランジスタG1を蓄積時間Taに渡りオン状態にする。垂直走査回路323は、電荷振り分けゲートトランジスタG1を蓄積時間Taに渡りオン状態とした後に、電荷振り分けゲートトランジスタG1をオフ状態とする。垂直走査回路323は、電荷蓄積部CS1への電荷の蓄積を終了させたタイミングで、ドレインゲートトランジスタGDをオン状態とする。
【0143】
(第2の実施形態に係る変形例2の処理の流れ)
ここで、第2の実施形態に係る変形例2の処理の流れについて図12を用いて説明する。図12は、第2の実施形態に係る変形例2の距離画像処理部4が行う処理の流れを示すフローチャートである。
【0144】
ステップS50については、図5のステップS10と同様であるためその説明を省略する。
【0145】
距離画像処理部4は、外光成分に相当する電荷量Qgを算出する(ステップS51)。距離画像処理部4は、例えば、電荷蓄積部CS2~CS4のそれぞれに蓄積された電荷量のうち、最も少ない電荷量を、外光成分に相当する電荷量Qgとする。
【0146】
次に、距離画像処理部4は、電荷蓄積部CS1に蓄積された電荷量Q1を補正した補正後電荷量Q1#を算出する(ステップS52)。補正後電荷量Q1#は、電荷蓄積部CS1に蓄積された電荷量Q1を、他の電荷蓄積部CS(電荷蓄積部CS2~CS4)における蓄積時間に相当する電荷量に補正した値である。距離画像処理部4は、以下の(5)式により、補正後電荷量Q1#を算出する。
【0147】
Q1#=Q1-Qg…(5)
但し、
Q1は電荷蓄積部CS1に蓄積された電荷量
Qgは外光成分に相当する電荷量
なお、(5)式では、近距離物体測定処理における電荷蓄積部CS1に電荷が蓄積された時間間隔と遠距離物体測定処理における電荷蓄積部CS1に電荷が蓄積された時間間隔(図11におけるTa)は同じ値であることを前提とする。
【0148】
次に、距離画像処理部4は、何れの電荷蓄積部CSに、反射光に相当する電荷量が蓄積されているか判定する(ステップS53)。距離画像処理部4は、ステップS51で算出した電荷量Qgと、電荷蓄積部のそれぞれに蓄積された電荷量とを比較する。この場合において、距離画像処理部4は、電荷蓄積部CS2~CS4については、電荷量Qgと、CS2~CS4のそれぞれに蓄積された電荷量Q2~Q4とを比較する。距離画像処理部4は、電荷蓄積部CS1については、電荷量Qgと、ステップS52で算出した補正後電荷量Q1#とを比較する。距離画像処理部4は、電荷量Qgよりも多い電荷量が蓄積されている電荷蓄積部CSを、反射光に相当する電荷量が蓄積されている電荷蓄積部CSと判定する。
【0149】
電荷蓄積部CS1及びCS2に反射光に相当する電荷が蓄積されていると判定した場合、ゾーンZ1に相当する距離(第1距離)に物体があると判定し、(1)式を用いて、物体までの距離を算出する(ステップS54)。この場合、(1)式における電荷比R=(Q2-Q3)/(Q1#+Q2-2×Q3)である。ステップS55については、図5のステップS15と同様であるためその説明を省略する。
【0150】
電荷蓄積部CS3及びCS4に反射光に相当する電荷が蓄積されていると判定した場合、ゾーンZ4に相当する距離(第4距離)に物体があると判定し、(1)式を用いて、物体までの距離を算出する(ステップS56)。この場合、(1)式における電荷比R=(Q4-Q2)/(Q3+Q4-2×Q2)である。ステップS57については、図5のステップS19と同様であるためその説明を省略する。
【0151】
電荷蓄積部CS4及びCS1に反射光に相当する電荷が蓄積されていると判定した場合、ゾーンZ5に相当する距離(第5距離)に物体があると判定し、(1)式を用いて、物体までの距離を算出する(ステップS58)。この場合、(1)式における電荷比R=(Q1#-Q2)/(Q4+Q1#-2×Q2)である。ステップS59については、図5のステップS19と同様であるためその説明を省略する。
【0152】
以上説明したように、第2の実施形態に係る変形例2の距離画像撮像装置1では、近距離物体測定処理において、電荷蓄積部CS1、及びCS2(一部の電荷蓄積部CS)に反射光RLに応じた電荷を振り分けて蓄積させる。遠距離物体測定処理において、電荷蓄積部CS3、CS4、及びCS1(一部の電荷蓄積部CSとは異なる電荷蓄積部CSを含む電荷蓄積部CS)に反射光RLに応じた電荷を振り分けて蓄積させる。
【0153】
これにより、第2の実施形態に係る変形例2の距離画像撮像装置1は、近距離物体測定処理にて2タップ構成(電荷蓄積部CS1及びCS2)にてごく近くにある物体までの距離を測定することができ、遠距離物体測定処理にて3タップ構成(電荷蓄積部CS3、CS4及びCS1)にて物体までの距離を測定することができる。このため、図10のステップS34に示すような分岐処理を実行しなくとも、遠距離にある物体までの距離について、より遠距離まで測定することができる。
【0154】
なお、上述した実施形態では、単位蓄積時間UTにおいて行われる振り分け処理を、1フレームに相当する回数だけ繰り返し実行する場合を例に説明した。しかしながら、これに限定されない。
【0155】
実施形態の振り分け処理には、所定時間を要する排出処理が含まれていることから、実施形態の振り分け処理を繰り返し実行した場合には、従来の振り分け処理を繰り返し実行する場合と比較して、時間がかかる。このため、1フレームにて実行できる振り分け処理の回数の最大値が、従来と比較して、少なくなる可能性がある。この対策として、1フレームに、実施形態の振り分け処理と、従来の振り分け処理とを、一定の割合で混在させるようにしてもよい。
【0156】
また、ゾーンZ3における排出処理を実行する時間区間は、距離画像撮像装置1が適用される環境に応じて、任意に設定されてよい。例えば、ゾーンZ3と第3距離との関係は、ゾーンZ3が1[ns]である場合、第3距離は15[cm]程度になる。ゾーンZ3が100[ns]である場合、第3距離は15[m]程度になる。ゾーンZ3が200[ns]である場合、第3距離は30[m]程度になる。
【0157】
例えば、距離画像撮像装置1が移動体に搭載され、移動する方向に存在する物体との衝突を回避するような目的で利用されるケースを考える。この場合、例えば、時速50[km]程度で走行中の移動体が、遠距離に存在する物体を認識してから0.033[秒]後にブレーキをかけるとする。この場合、空走距離が0.5「m」程度となり、路面の状況にもよるが制動距離が14.1[m]程度となる。すなわち、15[m]程度離れた距離に物体が存在するか否かを認識することができれば、その物体との衝突を回避することができる。この場合、第3距離の上限値、及び第4距離の下限値は15[m]に設定される。したがって、ゾーンZ3は100[ns]程度に設定されることとなる。
【0158】
この考え方を、時速70[km]程度で走行中の移動体に適用すると、空走距離が0.6「m」程度となり、制動距離が27.6[m]程度とり、30[m]程度離れた距離に物体が存在するか否かを認識することができれば、その物体との衝突を回避することができる。この場合、第3距離の上限値、及び第4距離の下限値は30[m]に設定される。したがって、ゾーンZ3は200[ns]程度に設定されることとなる。
【0159】
また、上述した少なくとも一つの実施形態において、フレーム単位で単位蓄積処理を繰り返し実施する場合において、今回の1フレーム期間に電荷蓄積部CSのそれぞれに蓄積された電荷量に基づいて、次回の1フレーム期間における単位蓄積処理の内容(近距離物体測定処理、排出処理、及び、遠距離物体測定処理の各々における処理内容)を決定するようにしてもよい。例えば、距離画像処理部4は、まず、最初のフレームで、第1の実施形態により遠距離に物体が存在するか否かを判定する。遠距離に物体が存在する場合、次のフレームで、第2の実施形態により遠距離に存在する物体までの距離を測定する。遠距離に物体が存在しない場合、次のフレームでも、第1の実施形態により距離に物体が存在するか否かを判定する。これにより、状況に応じて、遠距離に物体が存在する場合と存在しない場合とで、フレームごとに処理内容を変更することができ、状況に応じた対応が可能となる。
【0160】
なお、上述した少なくとも一つの実施形態において、光源部2が、性質の異なる複数の光源装置を備えていてもよい。ここでの複数の光源装置は、少なくとも単位面積当たりに照射される光の強度が異なればよく、任意の光源を用いたものであってよい。光源として、例えば、LED(Light Emitting Diode)、レーザー、VCSEL等を適用することが可能である。
【0161】
面光源は、撮像対象となる空間に均一に光パルスPOを照射する。撮像対象となる空間に面光源を照射した場合、空間を均一に照射することができるので、その空間における解像度を高めることができるメリットがある。一方、広範囲に均一に光パルスPOを照射する必要がある。このため、レーザー製品における安全性を規定する規格(例えば、IEC 60825-1、JIS C6802など)に定められた、いわゆるアイセーフの規格を守ろうとすると、照射する光の強度を低くしなければならないというデメリットがある。これは、アイセーフが、単位面積当たりに照射される光の強度で定義される指標であるためである。
【0162】
このため、面光源を用いて照射する光の強度を低く抑えた場合、遠い距離に存在する物体に反射した反射光の強度が弱くなってしまう。このため、1フレームあたりの単位蓄積時間UTにおいて行われる振り分け処理の回数を増やしても、信号(反射光に相当する電荷)が小さく、ノイズに埋もれてしまう可能性が高い。
【0163】
トッド光源は、例えば、所定のドットパターンを持つ光パルスPOを照射する等、撮像対象となる空間に均一に光パルスPOを照射する。例えば、光源からの光を、コリメーターレンズ等を用いて平行な光にし、並行な光に回折光学素子(DOE)を通すことによって、ドットパターンを持つ光を照射することができる。DOEの一方の面、または両面が回折面であるためである。なお、光源、及び設計を工夫することによって、コリメーターレンズを省略することも可能である(例えば、国際公開第2020/066981号を参照)。
【0164】
なお、上記では、ドットパターンが格子状である場合を例示して説明したが、これに限定されない。ドットパターンは、六方など規則的なパターンでもよいし、ランダム、または疑似ランダムパターンであってもよい。
【0165】
ドット光源を用いて光を照射する場合、空間が不均一に照射されるため空間解像度が低くなる。一方で、ドット光源を用いると、アイセーフにより規定された光強度の範囲内で、面光源よりも、ドット当たりの光の強度を高めることが可能となる。すなわち、単位面積当たりの光強度が同等である場合、面光源よりも、ドット光源の方が、局所的な光強度を高くすることが可能となる。
【0166】
このため、ドット光源を用いると、遠い距離に存在する物体に反射した反射光の強度による信号(反射光に相当する電荷)が、ノイズに埋もれてしまわない程度に大きくすることができる。そして、遠い距離からの反射信号(遠い距離に存在する物体に反射した反射光に相当する電荷)をノイズと分離して、検出することが可能となる。
【0167】
また、測定可能とする距離の範囲に応じて、ドットパターンの密度と強度を調整してもよい。例えば、ドットパターンの密度を高めて面光源に近づけることにより、空間解像度が高くなるように調整する。或いは、アイセーフの規定を考慮して、単位面積当たりの光強度が閾値を超えないように、ドットパターンの密度を低く設定してもよい。
【0168】
また、ドット光源のみを使用してもよいし、面光源とドット光源とを組み合わせて使用してもよい。面光源とドット光源とを組み合わせる場合には、面光源とドット光源とを交互に照射させてもよいし、面光源とドット光源とを併用して同時に照射させてもよい。
【0169】
面光源とドット光源とを交互に照射させる場合、定期的、例えば、1フレーム毎、数フレーム毎、1回の単位蓄積時間UT毎、或いは、複数回の単位蓄積時間UT毎に、ドット光源を用いて光パルスを照射し、その他の照射タイミングでは面光源を用いた光パルスの照射を実施する。
【0170】
以上説明したように、実施形態の距離画像撮像装置1では、光源部2が、面光源と、ドット光源とを有する。面光源による照射とドット光源による照射とにおいて、単位面積当たりの光強度は同等である。面光源による照射とドット光源による照射とにおいて、ドット光源により照射される光の強度は、面光源により照射される光の強度よりも大きく、単位面積当たりの光の強度は同等である。距離画像処理部4は、面光源による照射と、ドット光源による照射とを切り替えて測定を行う。これにより、実施形態の距離画像撮像装置1では、空間を均一的に測定できるように解像度を高めるか、遠い距離に存在する物体の測定精度を高めるか等、目的に応じて測定を切り替えることができる。
【0171】
また、実施形態の距離画像撮像装置1では、距離画像処理部4は、面光源による照射とドット光源による照射とが定期的に繰り返されるように制御する。例えば、距離画像処理部4は、1フレーム毎、数フレーム毎、1回の単位蓄積時間UT毎、或いは、複数回の単位蓄積時間UT毎などの単位で、定期的に、面光源とドット光源とを交互に発光する。これにより、空間を均一的に測定できるように解像度を維持しつつ、遠い距離に存在する物体の測定精度を高めることができる。
【0172】
なお、上述した少なくとも1つ実施形態で説明した構成が、他の構成に適用されてもよい。例えば、第1の実施形態に係る遠距離物体の有無を判定する測定と、第2の実施形態に係る遠距離物体までの距離の測定とが組み合わされて測定が実施されてもよい。第1の実施形態に係る測定を実施する際に、実施形態に係るドット光源が用いられてもよい。
【0173】
また、上述した実施形態では、(3)式において、近距離物体測定処理と遠距離物体測定処理における電荷蓄積部CS1に電荷が蓄積された時間間隔(図7におけるTa)が同じ値であることを前提とした。両者が異なる値である場合は、近距離物体測定処理と遠距離物体測定処理の何れにおいて、反射光RLが受光されたかに応じて場合分けをして、補正後電荷量Q1#を算出する必要がある。
【0174】
近距離物体測定処理において反射光RLが受光されたか、遠距離物体測定処理において反射光RLが受光されたかは、図7に示すタイミングで駆動させた場合において、電荷量Q2と電荷量Q4とを比較することによって判定することが可能である。ここで、電荷量Q2は電荷蓄積部CS2に蓄積された電荷量である。電荷量Q4は電荷蓄積部CS4に蓄積された電荷量である。具体的には、電荷量Q2>電荷量Q4である場合、近距離物体測定処理において反射光RLが受光されたと判定することができる。電荷量Q2<電荷量Q4である場合、遠距離物体測定処理において反射光RLが受光されたと判定することができる。なお、この場合、近距離物体測定処理における電荷蓄積部CS2に電荷を蓄積させる蓄積時間Taと、遠距離物体測定処理における電荷蓄積部CS4に電荷を蓄積させる蓄積時間Taとが同一であることを前提とする。同一でない場合、電荷蓄積部CS2とCS4の蓄積時間を同一とした場合に、電荷蓄積部CS4に蓄積されると推定される電荷量Q4#を、下記(6)式を用いて算出し、算出した電荷量Q4#と、電荷量Q2とを比較する。電荷量Q2は電荷蓄積部CS2に蓄積された電荷量である。
【0175】
Q4#=Ta/Ta#×Q4 …(6)
但し、
Taは近距離物体測定処理において電荷蓄積部CS2に電荷が蓄積された時間間隔
Ta#は遠距離物体測定処理において電荷蓄積部CS4に電荷が蓄積された時間間隔
Q4は電荷蓄積部CS4に蓄積された電荷量
Q4#は蓄積時間Taとした場合に電荷蓄積部CS4に蓄積されると推定される電荷量
【0176】
近距離物体測定処理において反射光RLが受光された場合、以下の(7)式により、補正後電荷量Q1#を算出する。
【0177】
Q1#=(Q1-(Ta+Ta#)/Ta×Qg)+Qg …(7)
但し、
Taは近距離物体測定処理において電荷蓄積部CS1に電荷が蓄積された時間間隔
Ta#は遠距離物体測定処理において電荷蓄積部CS1に電荷が蓄積された時間間隔
Q1は電荷蓄積部CS1に蓄積された電荷量
Qgは外光成分に相当する電荷量(蓄積時間Taで電荷を蓄積させた場合の電荷量)
【0178】
一方、遠距離物体測定処理において反射光RLが受光された場合、以下の(8)式により、補正後電荷量Q1#を算出する。
【0179】
Q1#=(Q1-(Ta+Ta#)/Ta×Qg)×Ta/Ta#+Qg …(8)
但し、
Taは近距離物体測定処理において電荷蓄積部CS1に電荷が蓄積された時間間隔
Ta#は遠距離物体測定処理において電荷蓄積部CS1に電荷が蓄積された時間間隔
Q1は電荷蓄積部CS1に蓄積された電荷量
Qgは外光成分に相当する電荷量(蓄積時間Taで電荷を蓄積させた場合の電荷量)
【0180】
(4)式においては、さらに場合分けが必要となる。具体的には、近距離物体測定処理において電荷蓄積部CS1及びCS2に反射光RLが受光された場合、及び、電荷蓄積部CS2及びCS3に反射光RLが受光された場合にそれぞれ場合分けする必要がある。さらに、遠距離物体測定処理において電荷蓄積部CS4及びCS1に反射光RLが受光された場合、及び電荷蓄積部CS1及びCS2に反射光RLが受光された場合にそれぞれ場合分けする必要がある。
【0181】
近距離物体測定処理において電荷蓄積部CS2及びCS3に反射光RLが受光された場合と、遠距離物体測定処理において電荷蓄積部CS4及びCS1に反射光RLが受光された場合とは、図9に示すタイミングで駆動させた場合において、電荷量Q3と電荷量Q4とを比較することによって判定することが可能である。ここで、電荷量Q3は電荷蓄積部CS3に蓄積された電荷量である。電荷量Q4は電荷蓄積部CS4に蓄積された電荷量である。具体的には、電荷量Q3>電荷量Q4である場合、近距離物体測定処理において電荷蓄積部CS2及びCS3に反射光RLが受光されたと判定することができる。電荷量Q2<電荷量Q4である場合、遠距離物体測定処理において電荷蓄積部CS4及びCS1に反射光RLが受光されたと判定することができる。なお、この場合、近距離物体測定処理における電荷蓄積部CS3に電荷を蓄積させる蓄積時間Taと、遠距離物体測定処理における電荷蓄積部CS4に電荷を蓄積させる蓄積時間Taとが同一であることを前提とする。同一でない場合、電荷蓄積部CS3とCS4の蓄積時間を同一とした場合に、電荷蓄積部CS4に蓄積されると推定される電荷量Q4#を、下記(9)式を用いて算出し、算出した電荷量Q4#と、電荷量Q3とを比較する。電荷量Q3は電荷蓄積部CS3に蓄積された電荷量である。
【0182】
Q4#=Ta/Ta#×Q4 …(9)
但し、
Taは近距離物体測定処理において電荷蓄積部CS3に電荷が蓄積された時間間隔
Ta#は遠距離物体測定処理において電荷蓄積部CS4に電荷が蓄積された時間間隔
Q4は電荷蓄積部CS4に蓄積された電荷量
Q4#は蓄積時間Taとした場合に電荷蓄積部CS4に蓄積されると推定される電荷量
【0183】
近距離物体測定処理において電荷蓄積部CS2及びCS3に反射光RLが受光された場合、以下の(10)式により、補正後電荷量Q2#を算出する。
【0184】
Q2#=(Q2-(Ta+Ta#)/Ta×Qg)+Qg …(10)
但し、
Taは近距離物体測定処理において電荷蓄積部CS2に電荷が蓄積された時間間隔
Ta#は遠距離物体測定処理において電荷蓄積部CS2に電荷が蓄積された時間間隔
Q2は電荷蓄積部CS2に蓄積された電荷量
Qgは外光成分に相当する電荷量(蓄積時間Taで電荷を蓄積させた場合の電荷量)
【0185】
遠距離物体測定処理において電荷蓄積部CS4及びCS1に反射光RLが受光された場合、以下の(11)式により、補正後電荷量Q1#を算出する。
【0186】
Q1#=(Q1-(Ta+Ta#)/Ta×Qg)×Ta/Ta#+Qg …(11)
但し、
Taは近距離物体測定処理において電荷蓄積部CS1に電荷が蓄積された時間間隔
Ta#は遠距離物体測定処理において電荷蓄積部CS1に電荷が蓄積された時間間隔
Q1は電荷蓄積部CS1に蓄積された電荷量
Qgは外光成分に相当する電荷量(蓄積時間Taで電荷を蓄積させた場合の電荷量)
【0187】
近距離物体測定処理において電荷蓄積部CS1及びCS2に反射光RLが受光された場合と、遠距離物体測定処理において電荷蓄積部CS1及びCS2に反射光RLが受光された場合とは、図9に示すタイミングで駆動させた場合において、電荷量Q3と電荷量Q4とがほぼ同量となると考えられる。すなわち、電荷量Q3=電荷量Q4、又は、電荷量Q3≒電荷量Q4となる。この場合、例えば、一旦、以下の(12)式により、暫定電荷量Q1##、Q2##を算出する。
【0188】
Q1##=(Q1-(Ta+Ta#)/Ta×Qg)
Q2##=(Q2-(Ta+Ta#)/Ta×Qg)
…(12)
但し、
Taは近距離物体測定処理において電荷蓄積部CS1及びCS2に電荷が蓄積された時間間隔
Ta#は遠距離物体測定処理において電荷蓄積部CS1及びCS2に電荷が蓄積された時間間隔
Q1は電荷蓄積部CS1に蓄積された電荷量
Q2は電荷蓄積部CS2に蓄積された電荷量
Qgは外光成分に相当する電荷量(蓄積時間Taで電荷を蓄積させた場合の電荷量)
【0189】
なお、この場合、近距離物体測定処理における電荷蓄積部CS3に電荷を蓄積させる蓄積時間Taと、遠距離物体測定処理における電荷蓄積部CS4に電荷を蓄積させる蓄積時間Taとが同一であることを前提とする。同一でない場合、上述したように、(9)式を用いて電荷量Q4#を算出し、算出した電荷量Q4#と、電荷量Q3とが、ほぼ同量となり、電荷量Q3=電荷量Q4#、又は、電荷量Q3≒電荷量Q4#となる。電荷量Q3は電荷蓄積部CS3に蓄積された電荷量である。電荷量Q4#は電荷蓄積部CS3とCS4の蓄積時間を同一とした場合に、電荷蓄積部CS4に蓄積されると推定される電荷量である。
【0190】
次に、暫定電荷量Q1##及びQ2##の和(Q1##+Q2##)と閾値Thとを比較する。閾値Thは、近距離にある物体からの反射光の強度と、遠距離にある物体からの反射光の強度との境界に相当する電荷量に応じて設定される値である。つまり、和(Q1##+Q2##)が閾値Thより大きい場合には、近距離物体測定処理において電荷蓄積部CS1及びCS2に反射光RLが受光されたと判定することができる。一方、和(Q1##+Q2##)が閾値Th以下である場合には、近距離物体測定処理において電荷蓄積部CS1及びCS2に反射光RLが受光されていない、つまり、遠距離物体測定処理において電荷蓄積部CS1及びCS2に反射光RLが受光されたと判定することができる。
【0191】
近距離物体測定処理において電荷蓄積部CS1及びCS2に反射光RLが受光された場合、以下の(13)式により、補正後電荷量Q1#及びQ2#を算出する。
【0192】
Q1#=(Q1-(Ta+Ta#)/Ta×Qg)+Qg
Q2#=(Q2-(Ta+Ta#)/Ta×Qg)+Qg
…(13)
但し、
Taは近距離物体測定処理において電荷蓄積部CS1及びCS2に電荷が蓄積された時間間隔
Ta#は遠距離物体測定処理において電荷蓄積部CS1及びCS2に電荷が蓄積された時間間隔
Q1は電荷蓄積部CS1に蓄積された電荷量
Q2は電荷蓄積部CS2に蓄積された電荷量
Qgは外光成分に相当する電荷量(蓄積時間Taで電荷を蓄積させた場合の電荷量)
【0193】
遠距離物体測定処理において電荷蓄積部CS1及びCS2に反射光RLが受光された場合、以下の(14)式により、補正後電荷量Q1#及びQ2#を算出する。
【0194】
Q1#=(Q1-(Ta+Ta#)/Ta×Qg)×Ta/Ta#+Qg
Q2#=(Q2-(Ta+Ta#)/Ta×Qg)×Ta/Ta#+Qg
…(14)
但し、
Taは近距離物体測定処理において電荷蓄積部CS1及びCS2に電荷が蓄積された時間間隔
Ta#は遠距離物体測定処理において電荷蓄積部CS1及びCS2に電荷が蓄積された時間間隔
Q1は電荷蓄積部CS1に蓄積された電荷量
Q2は電荷蓄積部CS2に蓄積された電荷量
Qgは外光成分に相当する電荷量(蓄積時間Taで電荷を蓄積させた場合の電荷量)
【0195】
上記で計算した電荷量を用いて、いずれのゾーンZに物体があるかの判定(ステップS23、S33、S34、S53)及び物体まで距離算出(ステップS15、S17、S19等)を行う。遠距離に物体があると判定した場合、電荷比、ベース距離、及び、蓄積時間TaとTa#の比率を用いて距離の補正を行い、補正後の距離を物体までの距離とする。また、上記の例では、蓄積時間Taに合わせて、蓄積時間Ta#で蓄積された電荷量を補正する場合を例示したが、これに限定されない。少なくとも、比較する2つ電荷量が、同じ蓄積時間に相当する時間に蓄積された電荷量であればよい。蓄積時間Ta#に合わせて、蓄積時間Taで蓄積された電荷量を補正してもよい。
【0196】
このように、時間間隔TaとTa#とを同一としない場合、振り分け処理の時間(電荷を蓄積させた時間)に応じて信号量を補正する必要がある。信号量を補正すると、ノイズを増減させたり、計算負荷が大きくなったりする場合がある。このため、近距離物体測定処理と遠距離物体測定処理とにおいて、時間間隔TaとTa#とを同一にすることが望ましい。
【0197】
また、時間間隔TaとTa#とを同一にしない場合、図10のステップS33において、距離画像処理部4は、電荷蓄積部CS3及びCS4に蓄積された電荷量Q3及びQ4を比較する。電荷量Q3>電荷量Q4である場合、距離画像処理部4は、ステップS39に進む。電荷量Q3<電荷量Q4である場合、距離画像処理部4は、ステップS41に進む。両者の電荷量がほぼ同量であり、電荷量Q3=電荷量Q4、又は電荷量Q3≒電荷量Q4である場合、距離画像処理部4は、ステップS34に進む。ステップS34において、距離画像処理部4は、一旦、(12)式に示す暫定電荷量Q1##及びQ2##を算出し、その和(Q1##+Q2##)が閾値Thより大きいか否かを判定する。和(Q1##+Q2##)が閾値Thより大きい場合、距離画像処理部4は、ステップS35に進む。和(Q1##+Q2##)が閾値Th以下である場合、距離画像処理部4は、ステップS37に進む。
【0198】
上述した実施形態における距離画像撮像装置1、距離画像処理部4の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、FPGA等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
【0199】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【0200】
1…距離画像撮像装置
2…光源部
3…受光部
32…距離画像センサ
321…画素
323…垂直走査回路
4…距離画像処理部
41…タイミング制御部
42…距離演算部
43…測定制御部
44…記憶部
CS…電荷蓄積部
PO…光パルス
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12