IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 凸版印刷株式会社の特許一覧

<>
  • 特許-距離画像撮像装置及び距離画像撮像方法 図1
  • 特許-距離画像撮像装置及び距離画像撮像方法 図2
  • 特許-距離画像撮像装置及び距離画像撮像方法 図3
  • 特許-距離画像撮像装置及び距離画像撮像方法 図4
  • 特許-距離画像撮像装置及び距離画像撮像方法 図5
  • 特許-距離画像撮像装置及び距離画像撮像方法 図6
  • 特許-距離画像撮像装置及び距離画像撮像方法 図7
  • 特許-距離画像撮像装置及び距離画像撮像方法 図8
  • 特許-距離画像撮像装置及び距離画像撮像方法 図9
  • 特許-距離画像撮像装置及び距離画像撮像方法 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-02
(45)【発行日】2024-12-10
(54)【発明の名称】距離画像撮像装置及び距離画像撮像方法
(51)【国際特許分類】
   G01S 17/894 20200101AFI20241203BHJP
   G01S 7/483 20060101ALI20241203BHJP
【FI】
G01S17/894
G01S7/483
【請求項の数】 15
(21)【出願番号】P 2021008798
(22)【出願日】2021-01-22
(65)【公開番号】P2022112828
(43)【公開日】2022-08-03
【審査請求日】2023-12-20
(73)【特許権者】
【識別番号】000003193
【氏名又は名称】TOPPANホールディングス株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100139686
【弁理士】
【氏名又は名称】鈴木 史朗
(74)【代理人】
【識別番号】100169764
【弁理士】
【氏名又は名称】清水 雄一郎
(74)【代理人】
【識別番号】100147267
【弁理士】
【氏名又は名称】大槻 真紀子
(72)【発明者】
【氏名】中込 友洋
(72)【発明者】
【氏名】高橋 聡
【審査官】▲高▼場 正光
(56)【参考文献】
【文献】特表2020-514735(JP,A)
【文献】国際公開第2019/078366(WO,A1)
【文献】国際公開第2017/110413(WO,A1)
【文献】特開2010-256291(JP,A)
【文献】国際公開第2016/208214(WO,A1)
【文献】米国特許出願公開第2020/0018834(US,A1)
【文献】特開2021-148745(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01S 7/48 - G01S 7/51
G01S 17/00 - G01S 17/95
(57)【特許請求の範囲】
【請求項1】
測定対象の空間である測定空間から入射する光である入射光に応じた電荷を発生する光電変換素子と、フレーム周期において前記電荷を蓄積するN個(N≧3)の電荷蓄積部と、前記光電変換素子から前記電荷蓄積部のそれぞれに前記電荷を転送する転送トランジスタとを備える複数の画素回路と、
光パルスの照射に同期した所定の蓄積タイミングで、前記電荷蓄積部の各々に前記転送トランジスタそれぞれのオンオフ処理を行い前記電荷を振分けて蓄積させる画素駆動回路と
を有する受光部と、
前記測定空間に前記光パルスを照射する光源部と、
前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を測定距離として求める距離画像処理部と、
前記受光部からの複数の距離に対応して設定されたゾーン閾値に応じて設定される計測ゾーンのいずれに、前記測定距離が属するかを判定し、判定された前記計測ゾーンに設定されている積算回数により前記電荷蓄積部が電荷の蓄積を行うように制御し、当該積算回数の増加に従って、前記光源部が前記光パルスのパルス周期を増加させて当該光パルスの照射を行うように制御する測定制御部と
を備え
前記測定制御部は、前記積算回数の増加に従って、前記光パルスのパルス幅及び前記電荷蓄積部への蓄積時間を一定として、前記電荷を振り分けた後の前記光電変換素子に前記電荷が留まらない期間を増加させて、前記パルス周期を増加させる
とを特徴とする距離画像撮像装置。
【請求項2】
前記測定制御部が、
前記画素回路の各々が配置された任意の領域内において最も近距離と測定された前記測定距離に基づき、前記ゾーン閾値の各々と比較することにより、当該測定距離の含まれる前記計測ゾーンの判定を行う
ことを特徴とする請求項1に記載の距離画像撮像装置。
【請求項3】
測定対象の空間である測定空間から入射する光である入射光に応じた電荷を発生する光電変換素子と、フレーム周期において前記電荷を蓄積するN個(N≧3)の電荷蓄積部と、前記光電変換素子から前記電荷蓄積部のそれぞれに前記電荷を転送する転送トランジスタとを備える複数の画素回路と、
光パルスの照射に同期した所定の蓄積タイミングで、前記電荷蓄積部の各々に前記転送トランジスタそれぞれのオンオフ処理を行い前記電荷を振分けて蓄積させる画素駆動回路と
を有する受光部と、
前記測定空間に前記光パルスを照射する光源部と、
前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を測定距離として求める距離画像処理部と、
前記電荷蓄積部の各々に蓄積された電荷量から、前記測定空間における被写体における前記光パルスの反射光による合計電荷量を求め、当該合計電荷量に対応して設定されたゾーン閾値により、前記合計電荷量がいずれの計測ゾーンに属するかを判定し、判定された前記計測ゾーンに設定されている積算回数により前記電荷蓄積部が電荷の蓄積を行うように制御し、当該積算回数の増加に従って、前記光源部が前記光パルスのパルス周期を増加させて当該光パルスの照射を行うように制御する測定制御部と
を備え
前記測定制御部は、前記積算回数の増加に従って、前記光パルスのパルス幅及び前記電荷蓄積部への蓄積時間を一定として、前記電荷を振り分けた後の前記光電変換素子に前記電荷が留まらない期間を増加させて、前記パルス周期を増加させる
とを特徴とする距離画像撮像装置。
【請求項4】
測定対象の空間である測定空間から入射する光である入射光に応じた電荷を発生する光電変換素子と、フレーム周期において前記電荷を蓄積するN個(N≧3)の電荷蓄積部と、前記光電変換素子から前記電荷蓄積部のそれぞれに前記電荷を転送する転送トランジスタとを備える複数の画素回路と、
光パルスの照射に同期した所定の蓄積タイミングで、前記電荷蓄積部の各々に前記転送トランジスタそれぞれのオンオフ処理を行い前記電荷を振分けて蓄積させる画素駆動回路と
を有する受光部と、
前記測定空間に前記光パルスを照射する光源部と、
前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を測定距離として求める距離画像処理部と、
前記電荷蓄積部の各々に蓄積された電荷量から、前記測定空間における被写体における前記光パルスの反射光による合計電荷量を求め、当該合計電荷量に対応して設定されたゾーン閾値により、前記合計電荷量がいずれの計測ゾーンに属するかを判定し、判定された前記計測ゾーンに設定されている積算回数により前記電荷蓄積部が電荷の蓄積を行うように制御し、当該積算回数の増加に従って、前記光源部が前記光パルスのパルス周期を増加させて当該光パルスの照射を行うように制御する測定制御部と
を備え、
前記測定制御部が、
前記画素回路の各々が配置された任意の領域内における最も大きい合計電荷量と、任意の距離及び反射率の物体により前記光パルスが反射した反射光により発生する電荷量である基準電荷量との電荷量比を求め、当該電荷量比と前記ゾーン閾値の各々と比較することにより、当該合計電荷量の含まれる前記計測ゾーンの判定を行う
ことを特徴とする離画像撮像装置。
【請求項5】
前記測定制御部が、
前記電荷蓄積部における蓄積電荷量から背景光に対応した電荷量である背景光電荷量を求め、前記計測ゾーンの各々における前記積算回数及び前記パルス周期の複数の組合せから、前記背景光電荷量に対応する前記組合せを選択する
ことを特徴とする請求項1から請求項4のいずれか一項に記載の距離画像撮像装置。
【請求項6】
前記基準電荷量
単位蓄積時間当りの光パルスのパルス幅、電荷蓄積部に振分ける際の転送トランジスタがオン状態の時間、単位蓄積時間による前記積算回数を用いて取得された、物体からの反射光による電荷量であって記電荷蓄積部の蓄積量以内の数値として設定されている
ことを特徴とする請求項4に記載の距離画像撮像装置。
【請求項7】
前記基準電荷量、前記電荷蓄積部の各々に蓄積される電荷量である蓄積電荷量から、背景光により発生した電荷量をそれぞれ減算し減算結果を加算して求められる前記合計電荷量である
ことを特徴とする請求項4または請求項6に記載の距離画像撮像装置。
【請求項8】
前記計測ゾーンに対する前記積算回数の各々に対して、単位蓄積時間当りの光パルスのパルス幅、及び前記転送トランジスタがオン状態の時間の各々をそれぞれ一定時間とし、前記光パルスの照射周期を前記積算回数に対応させて、放射される光パルスによる被写体への曝露量を調整する
ことを特徴とする請求項1から請求項7のいずれか一項に記載の距離画像撮像装置。
【請求項9】
前記基準電荷量が、所定の距離及び所定の反射率の各々において設定されており、前記電荷量比が、前記距離による減衰率及び前記反射率による減衰率の各々に対して相関を有する
ことを特徴とする請求項4、請求項6、請求項7のいずれか一項に記載の距離画像撮像装置。
【請求項10】
前記測定制御部が、
前記計測ゾーンにおいて選択した前記積算回数を、一定の期間もしくは、前記測定距離が現在の計測ゾーンの距離の範囲と異なる計測ゾーンにおける距離の範囲において検出されるまで使用し続ける
ことを特徴とする請求項1または請求項2に記載の距離画像撮像装置。
【請求項11】
前記測定制御部が、
前記計測ゾーンにおいて選択した前記積算回数を、一定の期間もしくは、現在の計測ゾーンと異なる計測ゾーンに含まれる前記電荷量比を検出するまで使用し続ける
ことを特徴とする請求項4、請求項6、請求項7または請求項9のいずれか一項に記載の距離画像撮像装置。
【請求項12】
前記電荷蓄積部に前記電荷を蓄積する時間以外、前記光電変換素子が発生した前記電荷を排出する電荷排出回路が前記画素回路に備えられている
ことを特徴とする請求項1から請求項11のいずれか一項に記載の距離画像撮像装置。
【請求項13】
光電変換素子と複数の電荷蓄積部と転送トランジスタとからなる複数の画素回路の各々と、光源部と、画素駆動回路と、距離画像処理部と、測定制御部とを備える距離画像撮像装置を制御する距離画像撮像方法であり、
前記光源部が、測定対象の空間である測定空間に光パルスを照射する過程と、
前記画素駆動回路が、前記光パルスの照射に同期した所定の蓄積タイミングで、前記測定空間から入射光に応じて前記光電変換素子が発生した電荷を、N個(N≧3)の電荷蓄積部の各々に、前記光電変換素子から前記電荷蓄積部に前記電荷を転送させる前記転送トランジスタそれぞれのオンオフ処理を行って振分けて蓄積させる過程と、
前記距離画像処理部が、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を測定距離として求める過程と、
前記測定制御部が、前記距離画像撮像装置からの複数の距離に対応して設定されたゾーン閾値に応じて設定される計測ゾーンのいずれに、前記測定距離が属するかを判定し、判定された前記計測ゾーンに設定されている積算回数により前記電荷蓄積部が電荷の蓄積を行うように制御し、当該積算回数の増加に従って、前記光源部が前記光パルスのパルス周期を増加させて当該光パルスの照射を行うように制御する過程と
を含み、
前記制御する過程において、前記測定制御部が、前記積算回数の増加に従って、前記光パルスのパルス幅及び前記電荷蓄積部への蓄積時間を一定として、前記電荷を振り分けた後の前記光電変換素子に前記電荷が留まらない期間を増加させて、前記パルス周期を増加させる
とを特徴とする距離画像撮像方法。
【請求項14】
光電変換素子と複数の電荷蓄積部と転送トランジスタとからなる複数の画素回路の各々と、光源部と、画素駆動回路と、距離画像処理部と、測定制御部とを備える距離画像撮像装置を制御する距離画像撮像方法であり、
前記光源部が、測定対象の空間である測定空間に光パルスを照射する過程と、
前記画素駆動回路が、前記光パルスの照射に同期した所定の蓄積タイミングで、前記測定空間から入射光に応じて前記光電変換素子が発生した電荷を、N個(N≧3)の電荷蓄積部の各々に、前記光電変換素子から前記電荷蓄積部に前記電荷を転送させる前記転送トランジスタそれぞれのオンオフ処理を行って振分けて蓄積させる過程と、
前記距離画像処理部が、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記距離画像撮像装置から前記測定空間に存在する被写体までの距離を測定距離として求める過程と、
測定制御部が、前記電荷蓄積部の各々に蓄積された電荷量から、前記測定空間における被写体における前記光パルスの反射光による合計電荷量を求め、当該合計電荷量に対応して設定されたゾーン閾値により、前記合計電荷量がいずれの計測ゾーンに属するかを判定し、判定された前記計測ゾーンに設定されている積算回数により前記電荷蓄積部が電荷の蓄積を行うように制御し、当該積算回数の増加に従って、前記光源部が前記光パルスのパルス周期を増加させて当該光パルスの照射を行うように制御する過程と
を含み、
前記制御する過程において、前記測定制御部が、前記積算回数の増加に従って、前記光パルスのパルス幅及び前記電荷蓄積部への蓄積時間を一定として、前記電荷を振り分けた後の前記光電変換素子に前記電荷が留まらない期間を増加させて、前記パルス周期を増加させる
とを特徴とする距離画像撮像方法。
【請求項15】
光電変換素子と複数の電荷蓄積部と転送トランジスタとからなる複数の画素回路の各々と、光源部と、画素駆動回路と、距離画像処理部と、測定制御部とを備える距離画像撮像装置を制御する距離画像撮像方法であり、
前記光源部が、測定対象の空間である測定空間に光パルスを照射する過程と、
前記画素駆動回路が、前記光パルスの照射に同期した所定の蓄積タイミングで、前記測定空間から入射光に応じて前記光電変換素子が発生した電荷を、N個(N≧3)の電荷蓄積部の各々に、前記光電変換素子から前記電荷蓄積部に前記電荷を転送させる前記転送トランジスタそれぞれのオンオフ処理を行って振分けて蓄積させる過程と、
前記距離画像処理部が、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記距離画像撮像装置から前記測定空間に存在する被写体までの距離を測定距離として求める過程と、
測定制御部が、前記電荷蓄積部の各々に蓄積された電荷量から、前記測定空間における被写体における前記光パルスの反射光による合計電荷量を求め、当該合計電荷量に対応して設定されたゾーン閾値により、前記合計電荷量がいずれの計測ゾーンに属するかを判定し、判定された前記計測ゾーンに設定されている積算回数により前記電荷蓄積部が電荷の蓄積を行うように制御し、当該積算回数の増加に従って、前記光源部が前記光パルスのパルス周期を増加させて当該光パルスの照射を行うように制御する過程と
を含み、
前記制御する過程において、前記測定制御部が、
前記画素回路の各々が配置された任意の領域内における最も大きい合計電荷量と、任意の距離及び反射率の物体により前記光パルスが反射した反射光により発生する電荷量である基準電荷量との電荷量比を求め、当該電荷量比と前記ゾーン閾値の各々と比較することにより、当該合計電荷量の含まれる前記計測ゾーンの判定を行う
ことを特徴とする距離画像撮像方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、距離画像撮像装置及び距離画像撮像方法に関する。
【背景技術】
【0002】
従来から、光の速度が既知であることを利用し、光の飛行時間に基づいて被写体との距離を測定するタイム・オブ・フライト(Time of Fright、以下「ToF」と記す)方式の距離画像撮像装置がある(例えば、特許文献1参照)。
ToF方式距離画像撮像装置は、光を照射する光源部と、距離を測定するための光を検出する画素回路が二次元の行列状(アレイ状)に複数配置された画素アレイを含む撮像部を備えている。上記画素回路の各々は、光の強度に対応する電荷を発生する光電変換素子(例えば、フォトダイオード)を構成要素として有している。
この構成により、ToF方式距離画像撮像装置は、測定空間(三次元空間)において、自身と被写体との間の距離の情報や、被写体の画像を取得(撮像)することができる。
【0003】
ToF方式距離画像撮像装置は、放射光を放射したタイミングから、被写体により反射した反射光を受光したタイミングまでの遅延時間により距離の計測を行う。
しかし、入射される入射光の強度に応じて光センサが発生する電荷量が変化するため、被写体までの距離が増加するに従い、反射光の強度が低下してしまう(光の強度は距離の二乗に反比例)。
ToF方式距離画像撮像装置は、電荷蓄積部に蓄積された電荷量に基づいて上記遅延時間を求めるため、信号とノイズとのSN比が大きくなるほど測定精度が向上する。
【0004】
このため、ToF方式距離画像撮像装置から被写体までの距離に対応して、光電変換素子が入射光の強度に応じて生成した電荷を電荷蓄積部に蓄積する時間である露光時間を変化させることが行われている(例えば、特許文献2参照)。
これにより、遠ければ遠くなるほど電荷を蓄積する露光時間を増加させて、TOFセンサの電荷蓄積部に蓄積される電荷量を増加させることにより、距離の計測精度を保つ。
【先行技術文献】
【特許文献】
【0005】
【文献】特開2004-294420号公報
【文献】特開2012-185171号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、照射光としてパルス方式を用いるTOFセンサの場合、積算回数(積算回数により露光時間が決まるため、露光時間と同様のパラメータである)を変化させることにより、レーザー光源からの発光回数も同様に変化する。
このため、距離が遠いからと言って、単純に積算回数を増加させた場合、レーザー光源から発光されるパルス光により、人体の影響を規定した安全基準(所謂アイセーフなどが規定されたJIS C 6801)、例えば最大許容露光量(MPE:maximum permissible exposure)を満たせなくなる可能性がある。
したがって、安全基準を満たすために、電荷の積算回数が制限され、計測に十分な電荷量を電荷蓄積部に蓄積することができず、計測の精度を向上させられない場合がある。
【0007】
また、TOF方式距離画像撮像装置は、通常のレーザー製品が人体を避けて放射するのと異なり、距離の計測を行うために、積極的に人間を含めた被写体に対してレーザー光を意図的に照射し続ける。
このため、被写体に人間が含まれることを考慮し、人間に対するレーザー光の影響を低減させ、上記安全基準を満たす(例えば、最大許容露光量を超えない露光量に抑制するなどの)計測制御を行う必要がある。
また、長期的な期間内において、人間に対して放射されるレーザー光の暴露量の積算値を低減させる必要がある。
【0008】
本発明は、このような状況に鑑みてなされたもので、パルス光が連続して照射された場合にも人体に対する安全基準(アイセーフ)を満たし、かつ電荷蓄積部に対して距離の計測に必要な電荷量を蓄積させる蓄積回数を満たすことが可能な距離画像撮像装置及び距離画像撮像方法を提供することを目的としている。
【課題を解決するための手段】
【0009】
上述した課題を解決するために、本発明の距離画像撮像装置は、測定対象の空間である測定空間から入射する光である入射光に応じた電荷を発生する光電変換素子と、フレーム周期において前記電荷を蓄積するN個(N≧3)の電荷蓄積部と、前記光電変換素子から前記電荷蓄積部のそれぞれに前記電荷を転送する転送トランジスタとを備える複数の画素回路と、光パルスの照射に同期した所定の蓄積タイミングで、前記電荷蓄積部の各々に前記転送トランジスタそれぞれのオンオフ処理を行い前記電荷を振分けて蓄積させる画素駆動回路とを有する受光部と、前記測定空間に前記光パルスを照射する光源部と、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を測定距離として求める距離画像処理部と、前記受光部からの複数の距離に対応して設定されたゾーン閾値に応じて設定される計測ゾーンのいずれに、前記測定距離が属するかを判定し、判定された前記計測ゾーンに設定されている積算回数により前記電荷蓄積部が電荷の蓄積を行うように制御し、当該積算回数の増加に従って、前記光源部が前記光パルスのパルス周期を増加させて当該光パルスの照射を行うように制御する測定制御部とを備え、前記測定制御部は、前記積算回数の増加に従って、前記光パルスのパルス幅及び前記電荷蓄積部への蓄積時間を一定として、前記電荷を振り分けた後の前記光電変換素子に前記電荷が留まらない期間を増加させて、前記パルス周期を増加させることを特徴とする。
【0010】
本発明の距離画像撮像装置は、前記測定制御部が、前記画素回路の各々が配置された任意の領域内において最も近距離と測定された前記測定距離に基づき、前記ゾーン閾値の各々と比較することにより、当該測定距離の含まれる前記計測ゾーンの判定を行うことを特徴とする。
【0011】
本発明の距離画像撮像装置は、測定対象の空間である測定空間に光パルスを照射する光源部と、前記測定空間から入射した光に応じた電荷を発生する光電変換素子と、フレーム周期において前記電荷を蓄積するN個(N≧3)の電荷蓄積部を備える複数の画素回路と、前記光パルスの照射に同期した所定の蓄積タイミングで、前記電荷蓄積部の各々に転送トランジスタそれぞれのオンオフ処理を行い前記電荷を振分けて蓄積させる画素駆動回路とを有する受光部と、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を測定距離として求める距離画像処理部と、前記電荷蓄積部の各々に蓄積された電荷量から、前記測定空間における被写体における前記光パルスの反射光による合計電荷量を求め、当該合計電荷量に対応して設定されたゾーン閾値により、前記合計電荷量がいずれの計測ゾーンに属するかを判定し、判定された前記計測ゾーンに設定されている積算回数により前記電荷蓄積部が電荷の蓄積を行うように制御し、当該積算回数の増加に従って、前記光源部が前記光パルスのパルス周期を増加させて当該光パルスの照射を行うように制御する測定制御部とを備え、前記測定制御部は、前記積算回数の増加に従って、前記光パルスのパルス幅及び前記電荷蓄積部への蓄積時間を一定として、前記電荷を振り分けた後の前記光電変換素子に前記電荷が留まらない期間を増加させて、前記パルス周期を増加させることを特徴とする。
【0012】
本発明の距離画像撮像装置は、測定対象の空間である測定空間から入射する光である入射光に応じた電荷を発生する光電変換素子と、フレーム周期において前記電荷を蓄積するN個(N≧3)の電荷蓄積部と、前記光電変換素子から前記電荷蓄積部のそれぞれに前記電荷を転送する転送トランジスタとを備える複数の画素回路と、光パルスの照射に同期した所定の蓄積タイミングで、前記電荷蓄積部の各々に前記転送トランジスタそれぞれのオンオフ処理を行い前記電荷を振分けて蓄積させる画素駆動回路とを有する受光部と、前記測定空間に前記光パルスを照射する光源部と、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を測定距離として求める距離画像処理部と、前記電荷蓄積部の各々に蓄積された電荷量から、前記測定空間における被写体における前記光パルスの反射光による合計電荷量を求め、当該合計電荷量に対応して設定されたゾーン閾値により、前記合計電荷量がいずれの計測ゾーンに属するかを判定し、判定された前記計測ゾーンに設定されている積算回数により前記電荷蓄積部が電荷の蓄積を行うように制御し、当該積算回数の増加に従って、前記光源部が前記光パルスのパルス周期を増加させて当該光パルスの照射を行うように制御する測定制御部とを備え、前記測定制御部が、前記画素回路の各々が配置された任意の領域内における最も大きい合計電荷量と、任意の距離及び反射率の物体により前記光パルスが反射した反射光により発生する電荷量である基準電荷量との電荷量比(基準値)を求め、当該電荷量比と前記ゾーン閾値の各々と比較することにより、当該合計電荷量の含まれる前記計測ゾーンの判定を行うことを特徴とする。
【0013】
本発明の距離画像撮像装置は、前記測定制御部が、前記電荷蓄積部における蓄積電荷量から背景光に対応した電荷量である背景光電荷量を求め、前記計測ゾーンの各々における前記積算回数及び前記パルス周期の複数の組合せから、前記背景光電荷量に対応する前記組合せを選択することを特徴とする。
【0014】
本発明の距離画像撮像装置は、前記基準電荷量、単位蓄積時間当りの光パルスのパルス幅、電荷蓄積部に振分ける際の転送トランジスタがオン状態の時間、単位蓄積時間による前記積算回数を用いて取得された、物体からの反射光による電荷量であって記電荷蓄積部の蓄積量以内の数値として設定されていることを特徴とする。
【0015】
本発明の距離画像撮像装置は、前記基準電荷量、前記電荷蓄積部の各々に蓄積される電荷量である蓄積電荷量から、背景光により発生した電荷量をそれぞれ減算し減算結果を加算して求められる前記合計電荷量であることを特徴とする。
【0016】
本発明の距離画像撮像装置は、前記計測ゾーンに対する前記積算回数の各々に対して、単位蓄積時間当りの光パルスのパルス幅、及び前記転送トランジスタがオン状態の時間の各々をそれぞれ一定時間とし、前記光パルスの照射周期を前記積算回数に対応させて、放射される光パルスによる被写体への曝露量を調整することを特徴とする。
【0017】
本発明の距離画像撮像装置は、前記基準電荷量が、所定の距離及び所定の反射率の各々において設定されており、前記電荷量比が、前記距離による減衰率及び前記反射率による減衰率の各々に対して相関を有することを特徴とする。
【0018】
本発明の距離画像撮像装置は、前記測定制御部が、前記計測ゾーンにおいて選択した前記積算回数を、一定の期間もしくは、前記測定距離が現在の計測ゾーンの距離の範囲と異なる計測ゾーンにおける距離の範囲において検出されるまで使用し続けることを特徴とする。
【0019】
本発明の距離画像撮像装置は、前記測定制御部が、前記計測ゾーンにおいて選択した前記積算回数を、一定の期間もしくは、現在の計測ゾーンと異なる計測ゾーンに含まれる前記電荷量比を検出するまで使用し続けることを特徴とする。
【0020】
本発明の距離画像撮像装置は、前記電荷蓄積部に前記電荷を蓄積する時間以外、前記光電変換素子が発生した前記電荷を排出する電荷排出回路が前記画素回路に備えられていることを特徴とする。
【0021】
本発明の距離画像撮像方法は、光電変換素子と複数の電荷蓄積部と転送トランジスタとからなる複数の画素回路の各々と、光源部と、画素駆動回路と、距離画像処理部と、測定制御部とを備える距離画像撮像装置を制御する距離画像撮像方法であり、前記光源部が、測定対象の空間である測定空間に光パルスを照射する過程と、前記画素駆動回路が、前記光パルスの照射に同期した所定の蓄積タイミングで、前記測定空間から入射光に応じて前記光電変換素子が発生した電荷を、N個(N≧3)の電荷蓄積部の各々に、前記光電変換素子から前記電荷蓄積部に前記電荷を転送させる前記転送トランジスタそれぞれのオンオフ処理を行って振分けて蓄積させる過程と、前記距離画像処理部が、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を測定距離として求める過程と、前記測定制御部が、前記距離画像撮像装置からの複数の距離に対応して設定されたゾーン閾値に応じて設定される計測ゾーンのいずれに、前記測定距離が属するかを判定し、判定された前記計測ゾーンに設定されている積算回数により前記電荷蓄積部が電荷の蓄積を行うように制御し、当該積算回数の増加に従って、前記光源部が前記光パルスのパルス周期を増加させて当該光パルスの照射を行うように制御する過程とを含み、前記制御する過程において、前記測定制御部が、前記積算回数の増加に従って、前記光パルスのパルス幅及び前記電荷蓄積部への蓄積時間を一定として、前記電荷を振り分けた後の前記光電変換素子に前記電荷が留まらない期間を増加させて、前記パルス周期を増加させることを特徴とする。
【0022】
本発明の距離画像撮像方法は、光電変換素子と複数の電荷蓄積部と転送トランジスタとからなる複数の画素回路の各々と、光源部と、画素駆動回路と、距離画像処理部と、測定制御部とを備える距離画像撮像装置を制御する距離画像撮像方法であり、前記光源部が、測定対象の空間である測定空間に光パルスを照射する過程と、前記画素駆動回路が、前記光パルスの照射に同期した所定の蓄積タイミングで、前記測定空間から入射光に応じて前記光電変換素子が発生した電荷を、N個(N≧3)の電荷蓄積部の各々に、前記光電変換素子から前記電荷蓄積部に前記電荷を転送させる前記転送トランジスタそれぞれのオンオフ処理を行って振分けて蓄積させる過程と、前記距離画像処理部が、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記距離画像撮像装置から前記測定空間に存在する被写体までの距離を測定距離として求める過程と、測定制御部が、前記電荷蓄積部の各々に蓄積された電荷量から、前記測定空間における被写体における前記光パルスの反射光による合計電荷量を求め、当該合計電荷量に対応して設定されたゾーン閾値により、前記合計電荷量がいずれの計測ゾーンに属するかを判定し、判定された前記計測ゾーンに設定されている積算回数により前記電荷蓄積部が電荷の蓄積を行うように制御し、当該積算回数の増加に従って、前記光源部が前記光パルスのパルス周期を増加させて当該光パルスの照射を行うように制御する過程とを含み、前記制御する過程において、前記測定制御部が、前記積算回数の増加に従って、前記光パルスのパルス幅及び前記電荷蓄積部への蓄積時間を一定として、前記電荷を振り分けた後の前記光電変換素子に前記電荷が留まらない期間を増加させて、前記パルス周期を増加させることを特徴とする。
また、本発明の距離画像撮像方法は、光電変換素子と複数の電荷蓄積部と転送トランジスタとからなる複数の画素回路の各々と、光源部と、画素駆動回路と、距離画像処理部と、測定制御部とを備える距離画像撮像装置を制御する距離画像撮像方法であり、前記光源部が、測定対象の空間である測定空間に光パルスを照射する過程と、前記画素駆動回路が、前記光パルスの照射に同期した所定の蓄積タイミングで、前記測定空間から入射光に応じて前記光電変換素子が発生した電荷を、N個(N≧3)の電荷蓄積部の各々に、前記光電変換素子から前記電荷蓄積部に前記電荷を転送させる前記転送トランジスタそれぞれのオンオフ処理を行って振分けて蓄積させる過程と、前記距離画像処理部が、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記距離画像撮像装置から前記測定空間に存在する被写体までの距離を測定距離として求める過程と、測定制御部が、前記電荷蓄積部の各々に蓄積された電荷量から、前記測定空間における被写体における前記光パルスの反射光による合計電荷量を求め、当該合計電荷量に対応して設定されたゾーン閾値により、前記合計電荷量がいずれの計測ゾーンに属するかを判定し、判定された前記計測ゾーンに設定されている積算回数により前記電荷蓄積部が電荷の蓄積を行うように制御し、当該積算回数の増加に従って、前記光源部が前記光パルスのパルス周期を増加させて当該光パルスの照射を行うように制御する過程とを含み、前記制御する過程において、前記測定制御部が、前記画素回路の各々が配置された任意の領域内における最も大きい合計電荷量と、任意の距離及び反射率の物体により前記光パルスが反射した反射光により発生する電荷量である基準電荷量との電荷量比を求め、当該電荷量比と前記ゾーン閾値の各々と比較することにより、当該合計電荷量の含まれる前記計測ゾーンの判定を行うことを特徴とする。
【発明の効果】
【0023】
以上説明したように、本発明によれば、パルス光が連続して照射された場合にも人体に対する安全基準(アイセーフ)を満たし、かつ電荷蓄積部に対して距離の計測に必要な電荷量を蓄積させる蓄積回数を満たすことが可能な距離画像撮像装置及び距離画像撮像方法を提供することができる。
【図面の簡単な説明】
【0024】
図1図1は、本発明の第1の実施形態の距離画像撮像装置の概略構成を示したブロック図である。
図2】本発明の第1の実施形態の距離画像撮像装置における距離画像センサ32に配置された画素回路321の構成の一例を示した回路図である。
図3】光電変換素子PDで生成された電荷を電荷蓄積部CSの各々に転送するタイミングチャートを示す図である。
図4】第1の実施形態の距離画像撮像装置における測定制御部43の構成例を示すブロック図である。
図5】アイセーフにおける積算回数及び光パルス周期の各々と、最大許容露光量との関係を示す図である。
図6】第1の実施形態におけるゾーン判定部432が行う計測ゾーンの判定を説明する概念図である。
図7】ゾーン別稼働条件記憶部436における計測ゾーン毎に設定されている積算回数テーブルの一例を示す図である。
図8】第1の実施形態の距離画像撮像装置1による距離画像センサ32と被写体Sとの距離の算出の処理の動作例を示すフローチャートである。
図9】第2の実施形態におけるゾーン判定部432が行う計測ゾーンの判定を説明する概念図である。
図10】第2の実施形態の距離画像撮像装置1による距離画像センサ32と被写体Sとの距離の算出の処理の動作例を示すフローチャートである。
【発明を実施するための形態】
【0025】
<第1の実施形態>
以下、本発明の第1の実施形態について、図面を参照して説明する。
図1は、本発明の第1の実施形態の距離画像撮像装置の概略構成を示したブロック図である。図1に示した構成の距離画像撮像装置1は、ToF方式の距離画像撮像装置であり、光源部2と、受光部3と、距離画像処理部4とを備える。なお、図1には、距離画像撮像装置1において距離を測定する対象物である被写体Sも併せて示している。距離画像撮像素子は、例えば、受光部3における距離画像センサ32(後述)である。
【0026】
光源部2は、距離画像処理部4からの制御に従って、距離画像撮像装置1において距離を測定する対象の被写体Sが存在する撮影対象の空間に光パルスPOを照射する。光源部2は、例えば、垂直共振器面発光レーザー(VCSEL:Vertical Cavity Surface Emitting Laser)などの面発光型の半導体レーザーモジュールである。光源部2は、光源装置21と、拡散板22とを備える。
【0027】
光源装置21は、被写体Sに照射する光パルスPOとなる近赤外の波長帯域(例えば、波長が850nm~940nmの波長帯域)のレーザー光を発光する光源である。光源装置21は、例えば、半導体レーザー発光素子である。光源装置21は、タイミング制御部41からの制御に応じて、パルス状のレーザー光を発光する。
拡散板22は、光源装置21が発光した近赤外の波長帯域のレーザー光を、被写体Sに照射する面の広さに拡散する光学部品である。拡散板22が拡散したパルス状のレーザー光が、光パルスPOとして出射され、被写体Sに照射される。
【0028】
受光部3は、距離画像撮像装置1において距離を測定する対象の被写体Sによって反射された光パルスPOの反射光RLを受光し、受光した反射光RLに応じた画素信号を出力する。受光部3は、レンズ31と、距離画像センサ32とを備える。
レンズ31は、入射した反射光RLを距離画像センサ32に導く光学レンズである。レンズ31は、入射した反射光RLを距離画像センサ32側に出射して、距離画像センサ32の受光領域に備えた画素回路に受光(入射)させる。
【0029】
距離画像センサ32は、距離画像撮像装置1に用いられる撮像素子である。距離画像センサ32は、二次元の受光領域にアレイ状(2次元配列であり、言い換えると格子状)に配列された複数の画素回路321、画素回路321の各々を制御する画素駆動回路322と備える。
上記画素回路321は、1つの光電変換素子(例えば、後述する光電変換素子PD)と、この1つの光電変換素子に対応する複数の電荷蓄積部(例えば、後述する電荷蓄積部CS1からCS4)と、それぞれの電荷蓄積部に電荷を振り分ける構成要素とが設けられている。
【0030】
距離画像センサ32は、タイミング制御部41からの制御に応じて、光電変換素子が発生した電荷をそれぞれの電荷蓄積部に振り分ける。また、距離画像センサ32は、電荷蓄積部に振り分けられた電荷量に応じた画素信号を出力する。距離画像センサ32には、複数の画素回路が二次元の行列状に配置されており、それぞれの画素回路の対応する1フレーム分の画素信号を出力する。
【0031】
距離画像処理部4は、距離画像撮像装置1を制御し、被写体Sまでの距離を演算する。
距離画像処理部4は、タイミング制御部41と、距離演算部42と、測定制御部43とを備える。
タイミング制御部41は、測定制御部43の制御に応じて、距離の測定に要する様々な制御信号を出力するタイミングを制御する。ここでの様々な制御信号とは、例えば、光パルスPOの照射を制御する信号や、反射光RLを複数の電荷蓄積部に振り分ける信号、1フレームあたりの振り分け回数を制御する信号などである。振り分け回数とは、電荷蓄積部CS(図2参照)に電荷を振り分ける処理を繰返す回数(積算回数)である。
【0032】
距離演算部42は、測定制御部43の制御に応じて、距離画像センサ32から出力された画素信号に基づいて、被写体Sまでの距離を演算した距離情報を出力する。距離演算部42は、複数の電荷蓄積部CSに蓄積された電荷量に基づいて、光パルスPOを照射してから反射光RLを受光するまでの遅延時間Tdを算出する。距離演算部42は、算出した遅延時間Tdに応じて、距離画像撮像装置1から被写体Sまでの距離を演算する。
【0033】
測定制御部43は、フレーム周期で繰返されるフレームの各々のモードを、被写体までの距離に応じた積算回数(すなわち、光パルスPOの放射回数)及び光パルスPOの照射周期(光パルスを照射する周期であるパルス周期)の各々を選択するための光パルス照射条件選択モードと、距離画像撮像装置1から被写体Sまでの距離の計測(測定距離の計測)を行う通常のフレームとする測距電荷量取得モードとを選択する。
そして、測定制御部43は、光パルス照射条件選択モードと測定距離電荷量取得モードとの各々のモードに対応して、タイミング制御部41におけるタイミングの制御、距離演算部42における演算の制御を行う(後に詳述する)。
【0034】
すなわち、本実施形態による距離画像撮像装置は、電荷蓄積部CSに蓄積される電荷により、被写体と距離画像センサ32との距離を算出する。このため、測定距離の計算において、入射光の強度が高く、光電変換素子において発生する電荷が、電荷蓄積部CSの容量を超えてしまう場合、測定距離の計算によって、距離画像撮像装置1と被写体Sとの距離を正確に求めることができない。
また、距離画像撮像装置1から被写体Sまでの距離が遠くなるに従い、また被写体Sの反射率が低い程、被写体Sで光パルスPOが反射して生成される反射光の強度が低下する。このため、光電変換素子において反射光により発生する電荷も減少するため、ノイズによって影響を受けて測定距離の計算の精度が低下するため、積算回数を増加させる必要がある。
【0035】
上述した処理を電荷蓄積部に蓄積される電荷量により、積算回数、あるいは光パルスPOの放射回数を制御するオートエクスポージャーの処理が行われる。
ここで、反射光の強度が低下した場合、積算回数を増加させて、反射光によって光電変換素子で発生する電荷の蓄積回数を増加させることにより、測定距離の計算に必要な電荷量が電荷蓄積素子に蓄積され、得られる距離の精度が向上する。
【0036】
一方、距離の計測を行うために、単に積算回数を増加させた場合、光パルスPOの放射回数が増加し、積極的に人間を含めた被写体に対してレーザー光を意図的に照射し続けてしまう。
このため、本実施形態においては、被写体に人間が含まれることを考慮し、人間に対するレーザー光の影響を低減させ、アイセーフの安全基準を満たす(例えば、最大許容露光量を超えない露光量に抑制するなどの)計測制御を行う(詳細な処理は後述)。
【0037】
このような構成によって、距離画像撮像装置1では、光源部2が被写体Sに照射した近赤外の波長帯域の光パルスPOが被写体Sによって反射された反射光RLを受光部3が受光し、距離画像処理部4が、被写体Sと距離画像撮像装置1との距離を測定した距離情報を出力する。
なお、図1においては、距離画像処理部4を内部に備えた構成の距離画像撮像装置1を示しているが、距離画像処理部4は、距離画像撮像装置1の外部に備える構成要素であってもよい。
【0038】
ここで、距離画像センサ32における画素回路321の構成について説明する。図2は、本発明の第1の実施形態の距離画像撮像装置における距離画像センサ32に配置された画素回路321の構成の一例を示した回路図である。図2の画素回路321は、例えば、4つの画素信号読み出し部RU1からRU4を備えた構成例である。本実施形態における画素回路321の構成は、一例であり、画素信号読み出し部は3個以上の複数個、すなわちn個(n≧3)の構成を有する。
【0039】
画素回路321は、1つの光電変換素子PDと、電荷排出トランジスタGDと、対応する出力端子Oから電圧信号を出力する4つの画素信号読み出し部RU(RU1からRU4)とを備える。画素信号読み出し部RUのそれぞれは、転送トランジスタGと、フローティングディフュージョンFDと、電荷蓄積容量Cと、リセットトランジスタRTと、ソースフォロアトランジスタSFと、選択トランジスタSLとを備える。フローティングディフュージョンFD(FD1、FD2、FD3、FD4)と電荷蓄積容量C(C1、C2、C3、C4)とは、電荷蓄積部CS(CS1、CS2、CS3、CS4)を構成している。
【0040】
図2に示した画素回路321において、出力端子O1から電圧信号を出力する画素信号読み出し部RU1は、転送トランジスタG1(転送MOSトランジスタ)と、フローティングディフュージョンFD1と、電荷蓄積容量C1と、リセットトランジスタRT1と、ソースフォロアトランジスタSF1と、選択トランジスタSL1とを備える。画素信号読み出し部RU1では、フローティングディフュージョンFD1と電荷蓄積容量C1とによって電荷蓄積部CS1が構成されている。画素信号読み出し部RU2、RU3及びRU4も同様の構成である。
【0041】
光電変換素子PDは、入射した光を光電変換して、入射した光(入射光)に応じた電荷を発生させ、発生させた電荷を蓄積する埋め込み型のフォトダイオードである。本実施形態においては、入射光は測定対象の空間から入射される。
画素回路321では、光電変換素子PDが入射光を光電変換して発生させた電荷を4つの電荷蓄積部CS(CS1からCS4)のそれぞれに振り分け、振り分けられた電荷の電荷量に応じたそれぞれの電圧信号を、距離画像処理部4に出力する。
また、距離画像センサ32に配置される画素回路の構成は、図2に示したような、4つの画素信号読み出し部RU(RU1からRU4)を備えた構成に限定されるものではなく、画素信号読み出し部RUが1個以上の複数の画素信号読み出し部RUを備えた構成の画素回路でもよい。
【0042】
上記距離画像撮像装置1の画素回路321の駆動において、光パルスPOが照射時間Toで照射され、遅延時間Td遅れて反射光RLが距離画像センサ32に受光される。画素駆動回路322は、タイミング制御部41に制御により、光パルスPOの照射に同期させて、光電変換素子PDに発生する電荷を、転送トランジスタG1、G2、G3、G4に対して、蓄積駆動信号TX1からTX4をそれぞれのタイミングにより供給して振り替えて、電荷蓄積部CS1、CS2、CS3、CS4の順に蓄積させる。
【0043】
そして、画素駆動回路322は、リセットトランジスタRT及び選択トランジスタSLの各々を、駆動信号RST、SELそれぞれにより制御し、電荷蓄積部CSに蓄積された電荷を、ソースフォロアトランジスタSFにより電気信号に変換し、生成された電気信号を出力端子Oを介して距離演算部42に出力する。
また、画素駆動回路322は、タイミング制御部41に制御により、駆動信号RSTDにより、光電変換素子PDにおいて発生された電荷を電源VDDに流して放電する(電荷を消去する)。
【0044】
図3は、光電変換素子PDで生成された電荷を電荷蓄積部CSの各々に転送するタイミングチャートを示す図である。
図3のタイミングチャートにおいて、縦軸はパルスのレベルを示し、横軸は時間を示している。また、フレームにおける電荷の蓄積期間に繰返される蓄積周期を示している。光パルスPO及び反射光RLの時間軸における相対関係と、転送トランジスタG1からG4の各々に供給する蓄積駆動信号TX1からTX4それぞれのタイミングと、電荷排出トランジスタGDに供給する駆動信号RSTDのタイミングとを示している。
【0045】
タイミング制御部41は、光源部2に対して光パルスPOを測定空間に対して照射させる。これにより、光パルスPOが被写体に反射し、反射光RLとして受光部3に受講される。そして、光電変換素子PDは、背景光及び反射光RLの各々に対応した電荷を発生する。画素駆動回路322は、光電変換素子PDの発生した電荷を、電荷蓄積部CS1からCS4の各々に対して転送するため、転送トランジスタG1からG4の各々のオンオフを制御する。
すなわち、画素駆動回路322は、蓄積駆動信号TX1からTX4の各々を、所定の時間幅(照射時間To、すなわち光パルスのパルス幅と同一の幅)の「H」レベルの信号として、転送トランジスタG1からG4それぞれに供給する。
【0046】
画素駆動回路322は、例えば、光電変換素子PDから電荷を電荷蓄積部CS1に転送する転送経路上に設けられた転送トランジスタG1をオン状態にする。これにより、光電変換素子PDにより光電変換された電荷が、転送トランジスタG1を介して電荷蓄積部CS1に蓄積される。その後、画素駆動回路322は、転送トランジスタG1をオフ状態にする。これにより、電荷蓄積部CS1への電荷の転送が停止される。このようにして、画素駆動回路322は、電荷蓄積部CS1に電荷を蓄積させる。他の電荷蓄積部CS2、CS3及びCS4においても同様である。
【0047】
このとき、電荷蓄積部CSに電荷の振り分けを行なう電荷蓄積期間(フレームにおける電荷蓄積部CSの各々に電荷を蓄積する期間)において、蓄積駆動信号TX1、TX2、TX3、TX4の各々が、転送トランジスタG1、G2、G3、G4それぞれに供給される蓄積周期(電荷を蓄積して積算する周期)が繰返される。
そして、転送トランジスタG1、G2、G3及びG4の各々を介して、電荷蓄積部CS1、CS2、CS3、CS4それぞれに、光電変換素子PDから入射光に対応した電荷が転送される。電荷蓄積期間に複数の蓄積周期が繰返される。
これにより、電荷蓄積期間における電荷蓄積部CS1、CS2、CS3及びCS4の各々の蓄積周期毎に、電荷蓄積部CS1、CS2、CS3、CS4それぞれに電荷が蓄積される。
【0048】
また、画素駆動回路322は、電荷蓄積部CS1、CS2、CS3及びCS4の各々の蓄積周期を繰返す際、電荷蓄積部CS4に対する電荷の転送(振替)が終了した後、光電変換素子PDから電荷を排出する排出経路上に設けられた電荷排出トランジスタGDに対して、「H」レベルの駆動信号RSTDを供給してオンさせる。
これにより、電荷排出トランジスタGDは、電荷蓄積部CS1に対する蓄積周期が開始される前に、直前の電荷蓄積部CS4の蓄積周期の後に光電変換素子PDに発生した電荷を破棄する(すなわち、光電変換素子PDをリセットさせる)。
【0049】
そして、画素駆動回路322は、受光部3内に配置された全ての画素回路321の各々から、それぞれ電圧信号を画素回路321の行(横方向の配列)単位で、順次A/D変換処理などの信号処理を行なう。
その後、画素駆動回路322は、信号処理を行った後の電圧信号を、受光部3において配置された列の順番に、順次、距離算出部42出力させる。
【0050】
上述したような、画素駆動回路322による電荷蓄積部CSへ電荷の蓄積と光電変換素子PDが光電変換した電荷の破棄とが、1フレームに渡って繰り返し行われる。これにより、所定の時間区間に距離画像撮像装置1に受光された光量に相当する電荷が、電荷蓄積部CSのそれぞれに蓄積される。画素駆動回路322は、電荷蓄積部CSのそれぞれに蓄積された、1フレーム分の電荷量に相当する電気信号を、距離演算部42に出力する。
【0051】
光パルスPOを照射するタイミングと、電荷蓄積部CS(CS1からCS4)のそれぞれに電荷を蓄積させるタイミングとの関係から、電荷蓄積部CS1には、光パルスPOを照射する前の背景光などの外光成分に相当する電荷量が保持される。また、電荷蓄積部CS2、CS3及びCS4には、反射光RL、及び外光成分に相当する電荷量が振り分けられて保持される。電荷蓄積部CS2及びCS3、あるいは電荷蓄積部CS3及びCS4に振り分けられる電荷量の配分(振り分け比率)は、光パルスPOが被写体Sに反射して距離画像撮像装置1に入射されるまでの遅延時間Tdに応じた比率となる。
【0052】
図1に戻り、距離演算部42は、この原理を利用して、以下の(1)あるいは(2)式により、遅延時間Tdを算出する。
Td=To×(Q3-Q1)/(Q2+Q3-2×Q1) …(1)
Td=To+To×(Q4-Q1)/(Q3+Q4-2×Q1) …(2)
ここで、Toは光パルスPOが照射された期間、Q1は電荷蓄積部CS1に蓄積された電荷量、Q2は電荷蓄積部CS2に蓄積された電荷量、Q3は電荷蓄積部CS3に蓄積された電荷量、Q4は電荷蓄積部CS4に蓄積された電荷量を示す。距離演算部42は、例えば、Q4=Q1である場合、(1)式で遅延時間Tdを算出し、一方、Q2=Q1である場合、(2)式で遅延時間Tdを算出する。
【0053】
(1)式においては、電荷蓄積部CS2及びCS3には反射光により発生された電荷が蓄積されるが、電荷蓄積部CS4には蓄積されない。一方、(2)式においては、電荷蓄積部CS3及びCS4には反射光により発生された電荷が蓄積されるが、電荷蓄積部CS2には蓄積されない。
なお、(1)式あるいは(2)式では、電荷蓄積部CS2、CS3及びCS4に蓄積される電荷量のうち、外光成分に相当する成分が、電荷蓄積部CS1に蓄積された電荷量と同量であることを前提とする。
【0054】
距離演算部42は、(1)式あるいは(2)式で求めた遅延時間に、光速(速度)を乗算させることにより、被写体Sまでの往復の距離を算出する。
そして、距離演算部42は、上記で算出した往復の距離を1/2とする(遅延時間Td×c(光速度)/2)ことにより、距離画像センサ32(すなわち、距離画像撮像装置1)から被写体Sまでの距離を求める。
【0055】
また、時間Trsは、図3における蓄積周期の1サイクルにおける電荷蓄積部CS4に対する光電変換素子PDからの電荷の振分け終了後における、当該光電変換素子PDに入力光により発生した電荷が留まらない(電荷が溜らない)ように、電荷排出トランジスタGDに供給する駆動信号RSTDを「H」レベルとされる期間を示している。
そして、光パルスPOのパルス幅及び電荷蓄積部CSへの蓄積時間(転送トランジスタGのオン時間)を一定として、上記時間Trsを調整することにより、光パルスPOの照射周期を任意に変更する制御を行うことができる。
【0056】
図4は、第1の実施形態の距離画像撮像装置における測定制御部43の構成例を示すブロック図である。図4において、測定制御部43は、初期稼働条件設定部431、ゾーン判定部432、ゾーン稼働条件設定部433、稼働制御部434、初期値記憶部435、ゾーン別稼働条件記憶部436の各々を備えている。
初期稼働条件設定部431は、被写体までの距離に応じた積算回数の各々を選択するための光パルス照射条件選択モードである場合、初期値記憶部435から予め設定された初期稼働光パルス照射条件を読み込む。
【0057】
この初期稼働光パルス照射条件は、被写体Sまでの距離画像撮像装置1からの距離、被写体Sの反射率が未知の場合に対応して設定された積算回数である基準積算回数(光パルスの放射回数)及び蓄積周期の各々の組合せである。ここで、蓄積周期は、図3における1サイクルであり、光パルスPOが照射される間隔である照射周期に対応しており、上記時間Trsによりアイセーフを満たすように、積算回数(照射回数)に応じて周期の時間が調整される。すなわち、積算回数が増加にしたがって、アイセーフを満たす曝露量となるように、時間Trsの長さを調整して照射周期を増加させる。
【0058】
また、初期稼働光パルス照射条件における基準積算回数は、例えば、反射率50%の物体が距離画像撮像装置1の最小測定距離(一例としては0.5m)にある際、光パルスPOが上記物体で反射されて生成された反射光RLにより光電変換素子PDが生成する電荷を、電荷蓄積部CSに蓄積し、当該電荷蓄積部CSに蓄積される電荷を積算していき、電荷蓄積部CSの最大蓄積容量の半分程度となる積算回数として求めている。
【0059】
また、初期稼働光パルス照射条件における光パルス周期は、上記時間Trsを変化させることにより調整される。ここで、光パルスPOが照射された時刻Tsから蓄積周期の終端までは、2To(光パルスのパルス幅)+Trsとして求められ、パルス周期は3To+Trsとなる。
そして、積算回数は、上述したように、ゾーン判定部432が判定した計測ゾーンに対応して、ゾーン稼働条件設定部433によって設定される。
一方、光パルス周期は、設定された積算回数と、使用する光パルスの強度及びパルス幅とにより求められる最大許容露光量を超えない周期として求められる。本実施形態においては、使用する光パルスの強度とパルス幅と、電荷蓄積部CSへの蓄積時間(転送トランジスタGのオン時間)の各々が一定で固定されている。
【0060】
そして、稼働制御部434は、上記初期稼働光パルス照射条件において、光パルス照射条件選択モードとして光源部2及び受光部3の各々を制御し、光パルスPOにより光電変換素子PDに発生する電荷を、電荷蓄積部CS1、CS2、CS3及びCS4の各々に振分けて蓄積させる。
これにより、距離演算部42は、電荷蓄積部CS1、CS2、CS3及びCS4の各々に蓄積された蓄積電荷量により、初期稼働光パルス照射条件(すなわち、光パルス照射条件選択モード)における距離画像センサ32(すなわち、距離画像撮像装置1)から被写体Sまでの距離(以下、参照測定距離と示す場合もある)を算出する。
【0061】
図5は、アイセーフにおける積算回数及び光パルス周期の各々と、最大許容露光量との関係を示す図である。図5において、縦軸が積算回数を示し、横軸がパルス周期を示している。また、パルス幅は、実線が8nsであり、破線が12nsであり、一点鎖線が16nsであり、二点鎖線が20nsである。
図5においては、所定の強度の光パルスPOのパルス幅の各々に対応して求められた、積算回数及びパルス周期の各々で決定される最大許容露光量の限界線を示している。
例えば、実線のパルス幅が8nsの光パルスを用いた場合、実線より上部の積算回数及びパルス幅の組合せは最大許容露光量を超えることを示している。他の破線のパルス幅12ns、一点鎖線のパルス幅16ns、二点鎖線のパルス幅20nsの各々については同様である。
【0062】
そして、例えば、光パルスPOが破線で示される12nsのパルス幅として設定されている際、パルス周期90nsにおいて積算回数を50000回から160000回に増加させた場合、積算回数及びパルス周期で決まる座標点が破線の上部に位置することになる。
すなわち、パルス周期90nsであり、かつ積算回数が160000回の場合、12nsのパルス幅で規定されるアイセーフの基準を上回ってしまう。
【0063】
このため、積算回数を160000回とされた場合、パルス周期を110nsに延ばして、積算回数及びパルス周期で決まる座標点を破線の下部における位置に移動させる。
これにより、座標点が破線の下部に位置することになり、積算回数を160000回として、12nsのパルス幅による光パルスPOを繰返して160000回にわたって照射しても、12nsのパルス幅で規定されるアイセーフの基準を下回る(基準を満たす)。本実施形態においては、図5に示すパルス幅、積算回数及びパルス周期の関係に基づき、使用する光パルスPOの強度及び光パルスPOのパルス幅とに対応させて、積算回数毎にアイセーフの基準を満たす光パルス周期(すなわち、時間Trs)が設定されている。
【0064】
また、光パルスPOを照射する照射周期が短い場合、設定した積算回数分を各電荷蓄積部CSに積算して蓄積した後に、電荷蓄積部CSの各々に蓄積された電荷を読み出す。
そして、電荷を読み出した後に、電荷蓄積部CSから読み出した電荷の電荷量によって、被写体までの距離計算や補正などの上述した各種処理を実施する。
このとき、1フレーム内の時間は限られているため、距離計算や補正などに用いることができる時間が長くなるほど、演算に要する負荷が低減されてシステムの動作は安定する。
このため、通常の設定においては、距離計算や補正などに用いることができる時間が長くなる観点から、光パルスPOを放射する照射周期は短いほど適している。
【0065】
一方、光パルスPOを放射する照射周期が短すぎると、遠くの被写体から反射した反射光が戻ってくるまでの遅延時間が長くなり、次の積算を行う照射周期において入射する可能性がある。
したがって、1回の積算時における照射時間Trsの長さを一定以上としているが、上述したように、照射周期が短い方がシステムの動作の安定性が向上するため、積算回数とアイセーフの観点も含めて、照射周期を設定する必要がある。
【0066】
図4に戻り、ゾーン判定部432は、上記初期稼働光パルス照射条件において距離演算部42が求めた、予め設定された位置における画素回路321の領域の中で最小の距離を参照測定距離として抽出する。
そして、ゾーン判定部432は、抽出した参照測定距離を予め設定されている距離閾値(ゾーン閾値であり、例えば、後述する距離閾値LB1、LB2)と比較し、参照測定距離がいずれの計測ゾーンに含まれているかの判定を行う。
【0067】
図6は、第1の実施形態におけるゾーン判定部432が行う計測ゾーンの判定を説明する概念図である。
計測ゾーンは、距離画像撮像装置1から距離の近い順番に計測ゾーンZ1、計測ゾーンZ2及び計測ゾーンZ3の各々が設けられている。ここで、計測ゾーンZ1、計測ゾーンZ2及び計測ゾーンZ3の各々は、距離閾値LB1、距離閾値LB2それぞれによりゾーンの境界が設定されている。
【0068】
また、距離閾値LB1及び距離閾値LB2は、LB1<LB2の関係(LB2がLB1より大きい距離の関係)にあり、アイセーフを満たす積算回数とパルス周期とを満たすように、測定距離に必要な電荷量が取得できるか否かの実験などにより求められ、予め所定の距離として設定されている。
そして、ゾーン判定部432は、参照測定距離が距離閾値LB1未満であれば、物体が計測ゾーンZ1の距離範囲にあると判定する。
また、ゾーン判定部432は、参照測定距離が距離閾値LB1以上、かつ距離閾値LB2未満であれば、物体が計測ゾーンZ2の距離範囲にあると判定する。
ゾーン判定部432は、参照測定距離が距離閾値LB2以上であれば、物体が計測ゾーンZ3の距離範囲にあると判定する。
本実施形態においては、計測ゾーンを3個として説明しているが、2個以上の複数で形成されていれば、いずれでもよい。
【0069】
図4に戻り、ゾーン稼働条件設定部433は、ゾーン判定部432が判定した計測ゾーンにおいて設定されている複数の積算回数からいずれかを選択する。本実施形態において、光パルス周期は、計測ゾーンの各々で固定された時間に設定されている。すなわち、同一の計測ゾーンであれば、光パルス周期は最大の積算回数の場合にアイセーフ(図5参照)を満足する時間として設定され、いずれの積算回数においても同じ時間である。
また、積算回数は、計測ゾーン毎に背景光(外光量)の強度に対応して複数個が設定されている。
【0070】
図7は、ゾーン別稼働条件記憶部436における計測ゾーン毎に設定されている積算回数テーブルの一例を示す図である。図7には、例えば、計測ゾーンZ1、計測ゾーンZ2及び計測ゾーンZ3の各々に対応する積算回数テーブルが示されている。
図7(a)は計測ゾーンZ1の積算回数テーブルTBL1を示し、図7(b)は計測ゾーンZ2の積算回数テーブルTBL2を示し、図7(c)は計測ゾーンZ3の積算回数テーブルTBL3を示している。
また、計測ゾーン毎に蓄積周期は異なっており、計測ゾーンZ1が90nsであり、計測ゾーンZ2が100nsであり、計測ゾーンZ3が110nsであり、距離が遠くの計測ゾーンになるに従い(言い換えると、積算回数テーブルにおける最大の積算回数が増加する毎に)、時間Trsが10nsずつ長くなっている。計測ゾーンZ1、計測ゾーンZ2及び計測ゾーンZ3の全てにおいて、光パルスPOのパルス幅、光パルス光の強度、電荷蓄積部CSへの蓄積時間(転送トランジスタGのオン時間)は同一でかつ一定である。
【0071】
例えば、計測ゾーンZ1において(蓄積周期90ns)、背景光量が10万Lux(ルクス)の場合、すなわち電荷蓄積部CSの最大蓄積容量が4080LSB(east significant bit)としたとき背景光により蓄積される電荷量が3000LSBであり、積算回数は15000回である。
同様に、3万Luxの場合、背景光により蓄積される電荷量が1000LSBであり、積算回数は25000回である。また、1万Luxの場合、背景光により蓄積される電荷量が300LSBであり、積算回数は30000回である。背景光がない場合、背景光により蓄積される電荷量が0LSBであり、積算回数は35000回である。
【0072】
図4に戻り、ゾーン稼働条件設定部433は、電荷蓄積部CS1に蓄積された電荷量、すなわち背景光電荷量(外光信号量)を、距離演算部42から取得する。
そして、ゾーン稼働条件設定部433は、ゾーン別稼働条件記憶部436において、ゾーン稼働条件設定部433が判定した計測ゾーンに対応した積算回数テーブルを参照する。
ゾーン稼働条件設定部433は、参照した積算回数テーブルから、取得した背景光電荷量に対応する積算回数を読み出す。
このとき、ゾーン稼働条件設定部433は、積算回数テーブルに対応付けられている蓄積周期も読み出す。
これにより、ゾーン稼働条件設定部433は、計測ゾーンに対応した稼働光パルス照射条件として、積算回数及び蓄積周期の各々を得る(求める)。
【0073】
そして、稼働制御部434は、測距電荷量取得モードとして、ゾーン稼働条件設定部433が求めた上記稼働光パルス照射条件において、光源部2及び受光部3の各々を制御し、光パルスPOにより発生する電荷を電荷蓄積部CS1、CS2、CS3及びCS4の各々に振分けて蓄積させる。
これにより、距離演算部42は、電荷蓄積部CS1、CS2、CS3及びCS4の各々に蓄積された電荷量により、稼働光パルス照射条件(すなわち、測距電荷量取得モード)における距離画像センサ32(すなわち、距離画像撮像装置1)から被写体Sまでの距離(以下、測定距離と示す場合もある)を算出する。
【0074】
図8は、第1の実施形態の距離画像撮像装置1による距離画像センサ32と被写体Sとの距離の算出の処理の動作例を示すフローチャートである。距離画像撮像装置1が起動された場合、以下のステップS1から処理が開始される。
ステップS1:
初期稼働条件設定部431は、初期値記憶部435から初期稼働光パルス照射条件を読み込む。
そして、初期稼働条件設定部431は、読み出した初期稼働光パルス照射条件を稼働制御部434に出力する。
【0075】
ステップS2:
稼働制御部434は、初期稼働光パルス照射条件が供給された場合、光パルス照射条件選択モードにより、光源部2及び受光部3の各々を制御する。
すなわち、光源部2は、所定の周期、すなわち初期稼働光パルス照射条件における蓄積周期及び基準積算回数(照射回数)に対応して光パルスPOを照射する。
また、画素駆動回路322は、初期稼働光パルス照射条件における蓄積周期及び基準積算回数の各々により、画素回路321の各々における電荷蓄積部CS1、CS2、CS3、CS4それぞれに、反射光RLにより光電変換素子PDが生成した電荷を振分けて蓄積させる。
そして、距離演算部42は、電荷蓄積部CS1、CS2、CS3及びCS4の各々に蓄積された電荷量により距離(参照測定距離)を算出する。
【0076】
ステップS3:
ゾーン判定部432は、予め設定された画素回路321領域における距離演算部42が算出した距離の最小値を参照測定距離として取得する。
そして、ゾーン判定部432は、距離閾値LB1と、距離閾値LB1を超える距離の距離閾値LB2の各々と、取得した参照測定距離との大小関係を比較する。
【0077】
このとき、ゾーン判定部432は、参照測定距離が距離閾値LB1未満である場合、距離画像撮像装置1に最も近い物体が計測ゾーンZ1の距離範囲内に含まれていると判定する。
また、ゾーン判定部432は、参照測定距離が距離閾値LB1以上であり、かつ距離閾値LB2未満である場合、距離画像撮像装置1に最も近い物体が計測ゾーンZ2の距離範囲内に含まれていると判定する。
さらに、ゾーン判定部432は、参照測定距離が距離閾値LB2以上である場合、距離画像撮像装置1に最も近い物体が計測ゾーンZ3の距離範囲内に含まれていると判定する。
そして、ゾーン判定部432は、判定した計測ゾーンの種類をゾーン稼働条件設定部433に対して出力する。
【0078】
ステップS4:
ゾーン稼働条件設定部433は、ゾーン判定部432から判定した計測ゾーンの種類が供給された場合、当該計測ゾーンに対応する稼働光パルス照射条件の取得を行う。
このとき、ゾーン稼働条件設定部433は、参照測定距離を算出した際に用いた画素回路321が、参照測定距離を算出する際に求めた背景光の電荷量(対応する電圧値)を、距離演算部42から取得する。
【0079】
そして、ゾーン稼働条件設定部433は、ゾーン別稼働条件記憶部436において、ゾーン判定部432から取得した計測ゾーンに対応した積算係数テーブルを参照する。
ゾーン稼働条件設定部433は、参照している積算係数テーブルから上記背景光の電荷量に対応する積算係数を読み出す。
このとき、ゾーン稼働条件設定部433は、積算係数を読み出した積算係数テーブルに付加されている蓄積周期も抽出して読み出す。
【0080】
ステップS5:
ゾーン稼働条件設定部433は、取得した積算係数及び蓄積周期の各々を、稼働光パルス照射条件として、稼働制御部434に対して出力する。
稼働制御部434は、稼働光パルス照射条件が供給された場合、測距電荷量取得モードにより、光源部2における光パルスの照射回数(積算回数)と、受光部3の光電変換素子PDから電荷蓄積部CS各々への電荷の振分けなどの稼働状態を設定する。
【0081】
ステップS6:
そして、光源部2は、所定の周期、すなわち稼働光パルス照射条件における蓄積周期及び照射回数(積算回数)に対応して光パルスPOを照射する。
また、画素駆動回路322は、稼働光パルス照射条件における蓄積周期及び積算回数の各々により、画素回路321の各々における電荷蓄積部CS1、CS2、CS3、CS4それぞれに、反射光RLにより光電変換素子PDが生成した電荷を振分けて蓄積させる。
そして、距離演算部42は、電荷蓄積部CS1、CS2、CS3及びCS4の各々に蓄積された電荷量により距離を算出する。
【0082】
ステップS7:
ゾーン判定部432は、予め設定された画素回路321領域における距離演算部42が算出した距離の最小値と、距離の最大値との画素回路321を抽出する。
そして、ゾーン判定部432は、距離の最小値と、距離の最大値との各々において、電荷蓄積部CS1、CS2、CS3、CS4それぞれで最も電荷量の大きい電荷蓄積部CSの電荷量(電圧値)を読み出す。
【0083】
このとき、ゾーン判定部432は、距離の最小値に対応する電圧値が予め設定された下限閾値を下回る場合、または距離の最大値に対応する電圧値が予め設定された上限閾値を超えた場合、処理をステップS1に進める。
上述した距離の最小値に対応する電圧値が予め設定された下限閾値を下回る場合、または距離の最大値に対応する電圧値が予め設定された上限閾値を超えた場合には、距離画像撮像装置1に最も近い物体が、現在の稼働光パルス照射条件に対応する計測ゾーンに存在しなくなったことを示しており、計測ゾーンの変更を行うため、再度、光パルス照射条件選択モードを行う必要がある。
【0084】
ゾーン判定部432は、距離の最小値に対応する電圧値が予め設定された下限閾値以上であり、かつ距離の最大値に対応する電圧値が予め設定された上限閾値以下である場合、処理をステップS6に進める。
上述した距離の最小値に対応する電圧値が予め設定された下限閾値以上であり、かつ距離の最大値に対応する電圧値が予め設定された上限閾値以下である場合には、距離画像撮像装置1に最も近い物体が、現在の稼働光パルス照射条件に対応する計測ゾーンに存在していることを示しており、計測ゾーンの変更を行う必要がないため、測距電荷量取得モードによる測定距離の測定を継続して行う。
【0085】
ここで、下限閾値は、精度を維持して測定距離の測定を行う電荷量が得られていないことを示す閾値である。
一方、上限閾値は、電荷蓄積部の最大蓄積容量の所定の割合(例えば、95%)を超えた電荷量として設定されており、電荷蓄積部が飽和する可能性があることを示す閾値である。
また、本実施形態においては、上記下限閾値及び上限閾値の各々を用いて、計測ゾーンの変更の有無を確認したが、予め設定されたフレーム数毎に光パルス照射条件選択モードを行う構成としてもよい。
この構成の場合、例えば、ステップS7において、処理したフレーム数が予め設定したフレーム数であるフレーム閾値を超えている場合にステップS1へ処理を進め、一方、フレーム閾値以下の場合にステップS6へ処理を進める。
【0086】
上述したように、本実施形態によれば、光パルス照射条件選択モードにおいて基準積算回数で得られた、距離画像撮像装置1と被写体との間の参照測定距離を、距離閾値LB1及びLB2の各々と比較し、比較結果から被写体が存在する計測ゾーン(撮像装置に対して最も近い被写体が存在する計測ゾーン)を求め、被写体に対する光パルス照射条件として、距離を所定の精度で算出可能な積算回数(すなわち照射回数)と、当該積算回数でアイセーフを満たす照射周期とを抽出し、測距電荷量取得モードにおいて当該光パルス条件により光パルスの照射及び照射毎に光電変換素子PDが生成する電荷が各電荷蓄積部に振分けられて積算される電荷量を蓄積させるため、電荷蓄積部に対して距離の計測に必要な電荷量を蓄積させる蓄積回数を満たし、かつパルス光が連続して照射された場合にも人体に対する安全基準(アイセーフ)を満たすことができる。
【0087】
また、本実施形態によれば、各計測ゾーンの積算回数テーブルにおいて、背景光量(外光量)の各々に対応して積算回数が設定されているため、光パルス照射条件選択モードで計測された背景光量に対応した積算回数を選択することが可能であり、背景光量の影響により電荷蓄積部が飽和することを容易に抑制することができる。
【0088】
<第2の実施形態>
以下、本発明の第2の実施形態について説明する。
本発明の第2の実施形態の距離画像撮像装置は、図1及び図4に示す第1の実施形態と同様の構成である。
以下、第1の実施形態の距離画像撮像装置と異なる動作のみを説明する。
【0089】
本実施形態において、測定制御部43は、被写体Sからの反射光の強度に対応させて、電荷蓄積部が飽和しないように、かつパルス光が連続して照射された場合にも人体に対する安全基準を満たすことができる積算回数及び照射周期とを求める。
そして、測定制御部43は、求めた積算回数及び照射周期により、フレーム周期で繰返されるフレームの各々において、光源部2に光パルスPOを放射させ、制御をタイミング制御部41に後述する画素回路(画素回路321)における光電変換素子が入射光に対応して発生した電荷を電荷蓄積部に振分けて蓄積させ、距離演算部42における演算の制御を行わせる(後に詳述する)。
【0090】
本実施形態においては、距離画像撮像装置1及び被写体間の距離により計測ゾーンの選択を行う第1の実施形態と異なり、被写体からの反射光の強度により計測ゾーンの選択を行うため、距離画像撮像装置1及び被写体間の距離と、当該被写体の反射率との組合せが、計測ゾーンの選択に用いられるパラメータとなる。
また、基準電荷量が、所定の距離及び所定の反射率の各々において設定されているため、電荷量比も、距離画像撮像装置1と被写体との距離による減衰率、及び当該被写体の反射率による減衰率の各々に対して相関を有している。
【0091】
このとき、ゾーン判定部432は、画素駆動回路322から供給される各電荷蓄積部CS2、CS3及びCS4の各々の電荷量から、背景光の電荷量を除いた反射光RLにより生成された電荷量(信号量)を求める。
そして、ゾーン判定部432は、電荷蓄積部CS2、CS3及びCS4の各々の蓄積電荷量(電圧値)を加算し、反射光RLにより生成された電荷量の合計電荷量を求める。
【0092】
また、ゾーン判定部432は、初期値記憶部435から基準電荷量(基準値)を読出し、当該基準電荷量により上記合計電荷量を除算して、除算結果として電荷量比を算出する。
ここで、基準電荷量は、初期値記憶部435に予め書き込まれて記憶されており、単位蓄積時間当りの光パルスPOのパルス幅と、電荷蓄積部CSの各々に光電変換素子PDに発生した電荷を振分ける際の転送トランジスタGがオン状態の時間と、単位蓄積時間による基準積算回数とを用いて、光パルスPOの物体からの反射光RLによる電荷量を取得し、取得した電荷量が電荷蓄積部CSの蓄積量以内(例えば、電荷蓄積部CSの最大蓄積容量の半分程度)の数値として設定されている。ここで、単位蓄積時間とは、図3に示す1サイクルの時間である。
また、基準積算回数は、第1の実施形態ですでに説明したように、光パルス照射条件選択モードで設定されている積算回数である。
【0093】
図9は、第2の実施形態におけるゾーン判定部432が行う計測ゾーンの判定を説明する概念図である。
本実施形態に計測ゾーンは、反射光RLの強度が強い(大きな数値)から強度が弱い(小さい数値)までの範囲を領域としたゾーンであり、強い強度から弱い強度まで、強度が弱くなっていく順番に計測ゾーンZ1、計測ゾーンZ2及び計測ゾーンZ3の各々が設けられている。ここで、計測ゾーンZ1、計測ゾーンZ2及び計測ゾーンZ3の各々は、電荷量比閾値(ゾーン閾値)LC1、電荷量比閾値LC2それぞれによりゾーンの境界が設定されている。
【0094】
また、電荷量比閾値LC1及び電荷量比閾値LC2は、LC1>LC2の関係(LC1がLC2より大きい電荷量比の関係)にあり、電荷蓄積部CSが飽和せずに、かつ測定距離の計算に必要な電荷量が取得できるか否かの実験などにより求められ、予め所定の蓄積電荷量に対応した電荷量比として設定されている。
そして、ゾーン判定部432は、電荷量比が電荷量比閾値LC1以上であれば、物体が計測ゾーンZ1の計測条件範囲にあると判定する。
【0095】
また、ゾーン判定部432は、電荷量比が電荷量比閾値LC1未満、かつ電荷量比閾値LC2以上であれば、物体が計測ゾーンZ2の計測条件範囲にあると判定する。
ゾーン判定部432は、電荷量比が電荷量比閾値LC2未満であれば、物体が計測ゾーンZ3の計測条件範囲にあると判定する。
【0096】
ここで、計測条件範囲は、計測ゾーンの範囲を示しており、距離画像撮像装置から対象物体までの距離、あるいは対象物体の表面の反射率の大きさ、あるいは距離及び反射率の双方により決定される反射光RLの強度の範囲を示している。
本実施形態においては、計測ゾーンを3個として説明しているが、2個以上の複数で形成されていれば、いずれでもよい。
また、上述においては、距離画像センサ32における全ての画素回路321の電荷量比を求めて計測ゾーンの選択に用いているが、予め所定の領域(例えば、距離画像センサ32の中央領域)を設定しておき、この所定の領域における画素回路321の電荷量比を求めて計測ゾーンの選択する構成としてもよい。
【0097】
また、ゾーン別稼働条件記憶部436には、計測ゾーンの各々に対応した積算回数テーブルが予め書き込まれて記憶されている。
この積算回数テーブルについては、第1の実施形態で説明した図7の積算回数テーブルと同様の構成である。
また、第1の実施形態と同様に、計測ゾーンZ1、計測ゾーンZ2及び計測ゾーンZ3の全てにおいて、光パルスPOのパルス幅、光パルス光の強度、電荷蓄積部CSへの蓄積時間(転送トランジスタGのオン時間)は同一でかつ一定である。
【0098】
図10は、第2の実施形態の距離画像撮像装置1による距離画像センサ32と被写体Sとの距離の算出の処理の動作例を示すフローチャートである。距離画像撮像装置1が起動された場合、以下のステップS11から処理が開始される。
ステップS11:
初期稼働条件設定部431は、初期値記憶部435から初期稼働光パルス照射条件を読み込む。
そして、初期稼働条件設定部431は、読み出した初期稼働光パルス照射条件を稼働制御部434に出力する。
【0099】
ステップS12:
稼働制御部434は、初期稼働光パルス照射条件が供給された場合、光パルス照射条件選択モードにより、光源部2及び受光部3の各々を制御する。
すなわち、光源部2は、所定の周期、すなわち初期稼働光パルス照射条件における蓄積周期(すなわち、照射周期)及び基準積算回数に対応して光パルスPOを照射する。
【0100】
また、画素駆動回路322は、初期稼働光パルス照射条件における蓄積周期及び基準積算回数の各々により、画素回路321の各々における電荷蓄積部CS1、CS2、CS3、CS4それぞれに、反射光RLにより光電変換素子PDが生成した電荷を振分けて蓄積させる。
そして、距離演算部42は、電荷蓄積部CS1、CS2、CS3及びCS4の各々に蓄積された電荷量により、距離画像撮像装置1から被写体の各々までの距離を算出して取得する。
【0101】
ゾーン判定部432は、距離演算部42から、電荷蓄積部CS1、CS2、CS3及びCS4の各々に蓄積された電荷量Q1、Q2、Q3、Q4それぞれを取得する。
ゾーン判定部432は、電荷蓄積部CS1の電荷量Q1、すなわち背景光により発生した電荷量を、電荷量Q2、Q3、Q4それぞれから減算する。
そして、ゾーン判定部432は、背景光の電荷量Q1を減算した後の電荷量Q2、Q3、Q4の各々の電荷量、すなわち反射光RLにより生成された電荷量のそれぞれを加算し、加算結果として合計電荷量を算出する(合計電荷量の取得)。
【0102】
ステップS13:
ゾーン判定部432は、予め設定された画素回路321領域における最大の合計電荷量を参照合計電荷量として取得する。
また、ゾーン判定部432は、初期値記憶部435から基準電荷量を読み出し、当該基準電荷量により参照合計電荷量を減算し、電荷量比を算出する。
そして、ゾーン判定部432は、電荷量比閾値LC1と、電荷量比閾値LC1を下回る電荷量比の電荷量比閾値LC2の各々と、算出した電荷量比との大小関係を比較する。
【0103】
このとき、ゾーン判定部432は、電荷量比が電荷量比閾値LC1以上の場合、最も反射光RLの強度の強い物体が計測ゾーンZ1の計測条件範囲内に含まれていると判定する。
また、ゾーン判定部432は、電荷量比が電荷量比閾値LC1未満であり、かつ電荷量比閾値LC2以上の場合、最も反射光RLの強度の強い物体が計測ゾーンZ2の計測条件範囲内に含まれていると判定する。
さらに、ゾーン判定部432は、電荷量比が電荷量比閾値LC2未満である場合、最も反射光強度の強い物体が計測ゾーンZ3の計測条件範囲内に含まれていると判定する。
そして、ゾーン判定部432は、判定した計測ゾーンの種類をゾーン稼働条件設定部433に対して出力する。
【0104】
ステップS14:
ゾーン稼働条件設定部433は、ゾーン判定部432から判定した計測ゾーンの種類が供給された場合、当該計測ゾーンに対応する稼働光パルス照射条件の取得を行う。
このとき、ゾーン稼働条件設定部433は、電荷量比を算出した際に用いた画素回路321が、蓄積電荷量を算出する際に求めた背景光の電荷量(対応する電圧値)を、ゾーン判定部432から取得する。
【0105】
そして、ゾーン稼働条件設定部433は、ゾーン別稼働条件記憶部436において、ゾーン判定部432から取得した計測ゾーンに対応した積算係数テーブルを参照する。
ゾーン稼働条件設定部433は、参照している積算係数テーブルから上記背景光の電荷量に対応する積算係数を読み出す。
このとき、ゾーン稼働条件設定部433は、積算係数を読み出した積算係数テーブルに付加されている蓄積周期も抽出して読み出す。
【0106】
ステップS15:
ゾーン稼働条件設定部433は、取得した積算係数及び蓄積周期の各々を、稼働光パルス照射条件として、稼働制御部434に対して出力する。
稼働制御部434は、稼働光パルス照射条件が供給された場合、測距電荷量取得モードにより、光源部2及び受光部3の各々における回路の稼働状態を設定する。
【0107】
ステップS16:
そして、光源部2は、所定の周期、すなわち稼働光パルス照射条件における蓄積周期及び照射回数(積算回数)に対応して光パルスPOを照射する。
また、画素駆動回路322は、稼働光パルス照射条件における蓄積周期及び積算回数の各々により、画素回路321の各々における電荷蓄積部CS1、CS2、CS3、CS4それぞれに、反射光RLにより光電変換素子PDが生成した電荷を振分けて蓄積させる。
そして、距離演算部42は、電荷蓄積部CS1、CS2、CS3及びCS4の各々に蓄積された電荷量により距離を算出する。
【0108】
ステップS17:
ゾーン判定部432は、距離画像センサ32内の画素回路321の各々における合計電荷量の最小値と、合計電荷量の最大値の画素回路321とのそれぞれを抽出する。
そして、ゾーン判定部432は、合計電荷量の最小値を予め設定された下限閾値と比較し、また合計電荷量の最大値を予め設定された上限閾値との比較をそれぞれ行う。
【0109】
このとき、ゾーン判定部432は、合計電荷量の最小値が予め設定された下限閾値を下回る場合、または合計電荷量の最大値が予め設定された上限閾値を超えた場合、処理をステップS11に進める。
上述した合計電荷量の最小値が予め設定された下限閾値を下回る場合、または合計電荷量の最大値が予め設定された上限閾値を超えた場合には、計測ゾーンの選択に用いた対象物体が、現在の稼働光パルス照射条件に対応する計測ゾーンに存在しなくなったことを示しており、計測ゾーンの変更を行うため、再度、光パルス照射条件選択モードを行う必要がある。
【0110】
またゾーン判定部432は、距離の最小値に対応する電圧値が予め設定された下限閾値以上であり、かつ距離の最大値に対応する電圧値が予め設定された上限閾値以下である場合、処理をステップS16に進める。
上述した合計電荷量の最小値が予め設定された下限閾値以上であり、かつ合計電荷量の最大値が予め設定された上限閾値以下である場合には、計測ゾーンの選択に用いた対象物体が、現在の稼働光パルス照射条件に対応する計測ゾーンに存在していることを示しており、計測ゾーンの変更を行う必要がないため、測距電荷量取得モードによる測定距離の測定を継続して行う。
【0111】
上述した本実施形態においては、計測ゾーンの選択に用いた被写体である対象物体が、現在の稼働光パルス照射条件に対応する計測ゾーンに存在しなくなった場合に、光パルス照射条件選択モードに戻り、計測ゾーンに存在する場合に、距電荷量取得モードを継続するとの処理の判断を行っている。
しかしながら、計測ゾーンの設定が2個や3個など少ない場合は、合計電荷量の最小値が予め設定された下限閾値を下回る場合、または合計電荷量の最大値が予め設定された上限閾値を超えた場合に、光パルス照射条件選択モードに移行せず、対応する計測ゾーンの設定に切り替えて、測距電荷量取得モードを継続する構成としても良い。
【0112】
上述したように、本実施形態によれば、距離撮像撮像装置に対して、最も強い強度の反射光RLを反射する被写体が存在する計測ゾーンを、光パルス照射条件選択モードにおいて基準積算回数で得られた蓄積電荷量を、基準値である基準電荷量により除算し、除算結果として得られた電荷量比により被写体が存在する計測ゾーンを求め、当該計測ゾーンにおける電荷蓄積部CSが飽和しないように設定された光パルス照射条件に伴い測距を行うことが可能であるため、距離画像撮像装置と被写体との距離が不明、あるいは被写体の反射強度が不明であっても、電荷蓄積部CSにおける蓄積電荷量の飽和を防止することができる。
【0113】
また、本実施形態によれば、距離撮像撮像装置に対して、最も強い強度の反射光RLを反射する被写体が存在する計測ゾーンを、光パルス照射条件選択モードにおいて基準積算回数で得られた蓄積電荷量を、基準値である基準電荷量により除算し、除算結果として得られた電荷量比により被写体が存在する計測ゾーンを求め、当該計測ゾーンにおける光パルス照射条件として、距離を所定の精度で算出可能な積算回数(すなわち照射回数)と、当該積算回数でアイセーフを満たす照射周期とを抽出し、測距電荷量取得モードにおいて当該光パルス条件により光パルスの照射及び照射毎に光電変換素子PDが生成する電荷が各電荷蓄積部に振分けられて積算される電荷量を蓄積させるため、電荷蓄積部に対して距離の計測に必要な電荷量を蓄積させる蓄積回数を満たし、かつパルス光が連続して照射された場合にも人体に対する安全基準(アイセーフ)を満たすことができる。
【0114】
また、本実施形態によれば、各計測ゾーンの積算回数テーブルにおいて、背景光量(外光量)の各々に対応して積算回数が設定されているため、光パルス照射条件選択モードで計測された背景光量に対応した積算回数を選択することが可能であり、背景光量の影響により電荷蓄積部が飽和することを容易に抑制することができる。
【0115】
上述した第1の実施形態態及び第2の実施形態の構成として、TOF技術による距離画像撮像装置を説明したが、本発明の適用対象はこれに限定されるものではなく、RGB-IR(Red Green Blue-Infrared Radiation)センサなどのフォトダイオードが一つの電荷蓄積部を供給する構造を有するセンサにおいても適用が可能である。
また、入射光によりフォトダイオードで生成された電荷を電荷蓄積部に蓄積する構成であれば、CCD(Charge Coupled Device)イメージセンサあるいはCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどにも適用が可能である。
【0116】
また、上述した第1の実施形態及び第2の実施形態の各々においては、画素信号読み出し部RU1からRU4の4個の構成について説明したが、この構成に限定されず、3個の画素信号読み出し部RUを備える構成、あるいは5個以上の画素信号読み出し部RUを備える構成についても、すなわち3個以上の画素読み出し部RUを有する構成について、「距離撮像撮像装置に対して、最も強い強度の反射光RLを反射する被写体が存在する計測ゾーンを、光パルス照射条件選択モードにおいて基準積算回数で得られた蓄積電荷量を、基準値である基準電荷量により除算し、除算結果として得られた電荷量比により被写体が存在する計測ゾーンを求め、当該計測ゾーンにおける電荷蓄積部CSが飽和しないように設定された光パルス照射条件に伴い測距を行う」という本実施形態と同様の処理を行うことにより、距離画像撮像装置と被写体との距離が不明、あるいは被写体の反射強度が不明であっても、電荷蓄積部CSにおける蓄積電荷量の飽和を防止することができる。
【0117】
また、3個以上の複数の画素信号読み出し部RUを備える構成についても、「距離撮像撮像装置に対して、最も強い強度の反射光RLを反射する被写体が存在する計測ゾーンを、光パルス照射条件選択モードにおいて基準積算回数で得られた蓄積電荷量を、基準値である基準電荷量により除算し、除算結果として得られた電荷量比により被写体が存在する計測ゾーンを求め、当該計測ゾーンにおける光パルス照射条件として、距離を所定の精度で算出可能な積算回数(すなわち照射回数)と、当該積算回数でアイセーフを満たす照射周期とを抽出し、測距電荷量取得モードにおいて当該光パルス条件により光パルスの照射及び照射毎に光電変換素子PDが生成する電荷が各電荷蓄積部に振分けられて積算される電荷量を蓄積させる」という本実施形態と同様の処理を行うことにより、電荷蓄積部に対して距離の計測に必要な電荷量を蓄積させる蓄積回数を満たし、かつパルス光が連続して照射された場合にも人体に対する安全基準(アイセーフ)を満たすことができる。
【0118】
また、3個以上の複数の画素信号読み出し部RUを備える構成についても、「各計測ゾーンの積算回数テーブルにおいて、背景光量(外光量)の各々に対応して積算回数が設定されているため、光パルス照射条件選択モードで計測された背景光量に対応した積算回数を選択する」という本実施形態と同様の処理を行うことにより、背景光量の影響により電荷蓄積部が飽和することを容易に抑制することができる。
【0119】
また、第1の実施形態及び第2の本実施形態においては、画素信号読み出し部RU1からRU4の4個の構成において、画素信号読み出し部RU1を背景光の計測に固定して説明したが、3個以上の複数の画素信号読み出し部RUを備える構成について、画素信号読み出し部RUのいずれかを背景光用として固定することなく、画素信号読み出し部RUの各々の蓄積電荷量をそれぞれ比較することにより、最小の蓄積電荷量の画素信号読み出し部RUを、背景光を読み出す画素信号読み出し部RUとして選択する構成であっても、第1の実施形態及び第2の実施形態と同様の処理を行うことにより、電荷蓄積部に対して距離の計測に必要な電荷量を蓄積させる蓄積回数を満たし、パルス光が連続して照射された場合にも人体に対する安全基準(アイセーフ)を満たし、かつ電荷蓄積部CSの各々が飽和しない積算回数を求めることができる。
【符号の説明】
【0120】
1…距離画像撮像装置
2…光源部
3…受光部
31…レンズ
32…距離画像センサ(距離画像撮像素子)
321…画素回路
322…画素駆動回路
4…距離画像処理部
41…タイミング制御部
42…距離演算部
43…測定制御部
431…初期稼働条件設定部
432…ゾーン判定部
433…ゾーン稼働条件設定部
434…稼働制御部
435…初期値記憶部
436…ゾーン別稼働条件記憶部
CS1,CS2,CS3,CS4…電荷蓄積部
FD1,FD2,FD3,FD4…フローティングディフュージョン
G1,G2,G3,G4…転送トランジスタ
GD…電荷排出トランジスタ
PD…光電変換素子
PO…光パルス
RL…反射光
RT1,RT2,RT3,RT4…リセットトランジスタ
S…被写体
SF1,SF2,SF3,SF4…ソースフォロアトランジスタ
SL1,SL2,SL3,SL4…選択トランジスタ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10