特開2021-67518(P2021-67518A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ スタンレー電気株式会社の特許一覧
<>
  • 特開2021067518-距離画像生成装置、距離画像生成方法 図000009
  • 特開2021067518-距離画像生成装置、距離画像生成方法 図000010
  • 特開2021067518-距離画像生成装置、距離画像生成方法 図000011
  • 特開2021067518-距離画像生成装置、距離画像生成方法 図000012
  • 特開2021067518-距離画像生成装置、距離画像生成方法 図000013
  • 特開2021067518-距離画像生成装置、距離画像生成方法 図000014
  • 特開2021067518-距離画像生成装置、距離画像生成方法 図000015
  • 特開2021067518-距離画像生成装置、距離画像生成方法 図000016
  • 特開2021067518-距離画像生成装置、距離画像生成方法 図000017
  • 特開2021067518-距離画像生成装置、距離画像生成方法 図000018
  • 特開2021067518-距離画像生成装置、距離画像生成方法 図000019
  • 特開2021067518-距離画像生成装置、距離画像生成方法 図000020
  • 特開2021067518-距離画像生成装置、距離画像生成方法 図000021
  • 特開2021067518-距離画像生成装置、距離画像生成方法 図000022
  • 特開2021067518-距離画像生成装置、距離画像生成方法 図000023
  • 特開2021067518-距離画像生成装置、距離画像生成方法 図000024
  • 特開2021067518-距離画像生成装置、距離画像生成方法 図000025
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2021-67518(P2021-67518A)
(43)【公開日】2021年4月30日
(54)【発明の名称】距離画像生成装置、距離画像生成方法
(51)【国際特許分類】
   G01S 17/89 20200101AFI20210402BHJP
   G01S 17/36 20060101ALI20210402BHJP
   G01C 3/06 20060101ALI20210402BHJP
   H04N 5/378 20110101ALI20210402BHJP
   H04N 5/341 20110101ALI20210402BHJP
   H04N 5/353 20110101ALI20210402BHJP
【FI】
   G01S17/89
   G01S17/36
   G01C3/06 120Q
   G01C3/06 140
   H04N5/378
   H04N5/341
   H04N5/353
【審査請求】未請求
【請求項の数】6
【出願形態】OL
【全頁数】16
(21)【出願番号】特願2019-191859(P2019-191859)
(22)【出願日】2019年10月21日
(71)【出願人】
【識別番号】000002303
【氏名又は名称】スタンレー電気株式会社
(74)【代理人】
【識別番号】110001184
【氏名又は名称】特許業務法人むつきパートナーズ
(72)【発明者】
【氏名】矢田 悠介
【テーマコード(参考)】
2F112
5C024
5J084
【Fターム(参考)】
2F112AD01
2F112BA03
2F112BA06
2F112CA05
2F112CA12
2F112DA21
2F112DA26
2F112DA28
2F112EA03
2F112FA12
2F112FA29
2F112FA35
2F112GA01
5C024AX02
5C024AX04
5C024CX03
5C024CX51
5C024CY16
5C024CY17
5C024EX11
5C024GX03
5C024GX16
5C024GY31
5C024JX41
5J084AA05
5J084AB01
5J084AB07
5J084AD02
5J084BA04
5J084BA20
5J084BA34
5J084BA38
5J084CA03
5J084CA12
5J084CA19
5J084CA31
5J084DA01
5J084DA08
5J084DA09
5J084EA01
5J084EA07
(57)【要約】      (修正有)
【課題】距離バラつきを抑え、最大測距可能距離をより大きくする。
【解決手段】対象体との間の距離値を求めて距離画像を生成する装置であって、対象体へ照射される変調光により生じる反射光に応じて発生する電荷が順番に振り分けて蓄積される複数の電荷蓄積部と、各電荷蓄積部に蓄積される電荷の量に基づいて距離値を求め、距離値を用いて距離画像を生成する制御部と、を含む。変調光は、第1期間と当該第1期間に続く第2期間において互いに出射タイミングをずらして照射される。第1期間と前記第2期間の各々は、互いに長さの異なる少なくとも2つの電荷振り分け周期を含む。電荷は、少なくとも2つの電荷振り分け周期の各々において複数の電荷蓄積部へ順番に振り分けて蓄積される。制御部は、第1期間と第2期間の各々において各電荷蓄積部へ蓄積された電荷の量に基づいて距離値を求めて距離画像を生成する。
【選択図】図12
【特許請求の範囲】
【請求項1】
対象体との間の距離値を求めて距離画像を生成する装置であって、
前記対象体へ照射される変調光により生じる反射光に応じて発生する電荷が順番に振り分けて蓄積される複数の電荷蓄積部と、
前記複数の電荷蓄積部に蓄積される電荷の量に基づいて前記距離値を求め、当該距離値を用いて前記距離画像を生成する制御部と、
を含み、
前記変調光は、第1期間と当該第1期間に続く第2期間において互いに出射タイミングをずらして照射され、
前記第1期間と前記第2期間の各々は、互いに長さの異なる少なくとも2つの電荷振り分け周期を含み、
前記電荷は、前記少なくとも2つの電荷振り分け周期の各々において前記複数の電荷蓄積部へ順番に振り分けて蓄積され、
前記制御部は、前記第1期間と前記第2期間の各々において前記複数の電荷蓄積部へ蓄積された前記電荷の量に基づいて前記距離値を求めて前記距離画像を生成する、
距離画像生成装置。
【請求項2】
対象体との間の距離値を求めて距離画像を生成する装置であって、
前記対象体へ照射するための変調光を出射する光源と、
各々が複数の電荷蓄積部を有する複数の受光部を備え、前記対象体へ照射される変調光により生じる反射光に応じた電荷を当該複数の電荷蓄積部へ順番に振り分けて蓄積する撮像素子と、
前記光源を制御するとともに、前記撮像素子における前記複数の電荷蓄積部の各々への前記電荷の蓄積タイミングを制御する駆動部と、
前記撮像素子の前記複数の受光部の各々における前記複数の電荷蓄積部に蓄積される前記電荷の量に基づいて、当該複数の受光部の各々における前記距離値を求め、当該距離値を用いて前記距離画像を生成する制御部と、
を含み、
前記駆動部は、第1期間と当該第1期間に続く第2期間において前記変調光の出射タイミングをずらして出射させるように前記光源を制御するものであり、
前記第1期間と前記第2期間の各々は、互いに長さの異なる少なくとも2つの電荷振り分け周期を含んでおり、
前記駆動部は、前記少なくとも2つの電荷振り分け周期の各々において前記複数の電荷蓄積部へ前記電荷を順番に振り分けて蓄積させるように前記撮像素子を制御し、
前記制御部は、前記第1期間と前記第2期間の各々において前記複数の電荷蓄積部へ蓄積された前記電荷の量に基づいて前記距離値を求めて前記距離画像を生成する、
距離画像生成装置。
【請求項3】
前記電荷は、前記少なくとも2つの電荷振り分け周期の各々において当該電荷振り分け期間を前記複数の電荷蓄積部の数で分割した単位期間ごとに当該複数の電荷蓄積部へ順番に振り分けて蓄積される、
請求項1又は2に記載の距離画像生成装置。
【請求項4】
前記制御部は、前記複数の電荷蓄積部へ蓄積された前記電荷の量に基づいて前記第1期間に対応する第1位相差と前記第2期間に対応する第2位相差をそれぞれ求め、当該第1位相差と第2位相差との対応関係に基づいて前記距離値を求める、
請求項1〜3の何れか1項に記載の距離画像生成装置。
【請求項5】
前記第1期間と前記第2期間の各々において、前記少なくとも2つの電荷振り分け周期からなる複数周期混合期間が複数繰り返されている、
請求項1〜4の何れか1項に記載の距離画像生成装置。
【請求項6】
対象体との間の距離値を求めて距離画像を生成する方法であって、
前記対象体へ照射される変調光により生じる反射光に応じて発生する電荷を順番に振り分けて複数の電荷蓄積部に蓄積する第1ステップと、
前記複数の電荷蓄積部に蓄積される前記電荷の量に基づいて前記距離値を求め、当該距離値を用いて前記距離画像を生成する第2ステップと、
を含み、
前記変調光は、第1期間と当該第1期間に続く第2期間において互いに出射タイミングをずらして照射され、
前記第1期間と前記第2期間の各々は、互いに長さの異なる少なくとも2つの電荷振り分け周期を含み、
前記第1ステップは、前記少なくとも2つの電荷振り分け周期の各々において前記複数の電荷蓄積部へ順番に振り分けて前記電荷を蓄積し、
前記第2ステップは、前記第1期間と前記第2期間の各々において前記複数の電荷蓄積部へ蓄積された前記電荷の量に基づいて前記距離値を求めて前記距離画像を生成する、
距離画像生成方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、光飛行時間計測法を用いて測定される光飛行時間に基づいて対象体までの距離を測定して距離画像を生成する技術に関する。
【背景技術】
【0002】
従来から、光飛行時間計測法を用いて測定される光飛行時間に基づいて対象体までの距離を測定して距離画像を生成する技術が知られている。例えば、特開2016−217907号公報(特許文献1)には、複数の画素の各々が光電変換素子と複数の電荷蓄積部を有し、各電荷蓄積部に蓄積された電荷に基づいて距離画像を生成する技術が記載されている。
【0003】
ところで、一般に光飛行時間計測法を用いる距離画像生成装置においては、理論上の最大測距可能距離と距離バラつきの間にはトレードオフの関係があり、最大測距可能距離を増大させようとすると距離バラつきが増大する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2016−217907号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明に係る具体的態様は、光飛行時間計測法を用いて距離画像を生成する際における距離バラつきを抑えつつ最大測距可能距離をより大きくすることが可能な技術を提供することを目的の1つとする。
【課題を解決するための手段】
【0006】
[1]本発明に係る一態様の距離画像生成装置は、(a)対象体との間の距離値を求めて距離画像を生成する装置であって、(b)前記対象体へ照射される変調光により生じる反射光に応じて発生する電荷が順番に振り分けて蓄積される複数の電荷蓄積部と、(c)前記複数の電荷蓄積部に蓄積される電荷の量に基づいて前記距離値を求め、当該距離値を用いて前記距離画像を生成する制御部と、を含み、(d)前記変調光は、第1期間と当該第1期間に続く第2期間において互いに出射タイミングをずらして照射され、(e)前記第1期間と前記第2期間の各々は、互いに長さの異なる少なくとも2つの電荷振り分け周期を含み、(f)前記電荷は、前記少なくとも2つの電荷振り分け周期の各々において前記複数の電荷蓄積部へ順番に振り分けて蓄積され、(g)前記制御部は、前記第1期間と前記第2期間の各々において前記複数の電荷蓄積部へ蓄積された前記電荷の量に基づいて前記距離値を求めて前記距離画像を生成する、距離画像生成装置である。
[2]本発明に係る一態様の距離画像生成装置は、(a)対象体との間の距離値を求めて距離画像を生成する装置であって、(b)前記対象体へ照射するための変調光を出射する光源と、(c)各々が複数の電荷蓄積部を有する複数の受光部を備え、前記対象体へ照射される変調光により生じる反射光に応じた電荷を当該複数の電荷蓄積部へ順番に振り分けて蓄積する撮像素子と、(d)前記光源を制御するとともに、前記撮像素子における前記複数の電荷蓄積部の各々への前記電荷の蓄積タイミングを制御する駆動部と、(e)前記撮像素子の前記複数の受光部の各々における前記複数の電荷蓄積部に蓄積される前記電荷の量に基づいて、当該複数の受光部の各々における前記距離値を求め、当該距離値を用いて前記距離画像を生成する制御部と、を含み、(f)前記駆動部は、第1期間と当該第1期間に続く第2期間において前記変調光の出射タイミングをずらして出射させるように前記光源を制御するものであり、(g)前記第1期間と前記第2期間の各々は、互いに長さの異なる少なくとも2つの電荷振り分け周期を含んでおり、(h)前記駆動部は、前記少なくとも2つの電荷振り分け周期の各々において前記複数の電荷蓄積部へ前記電荷を順番に振り分けて蓄積させるように前記撮像素子を制御し、(i)前記制御部は、前記第1期間と前記第2期間の各々において前記複数の電荷蓄積部へ蓄積された前記電荷の量に基づいて前記距離値を求めて前記距離画像を生成する、距離画像生成装置である。
[3]本発明に係る一態様の距離画像生成方法は、(a)対象体との間の距離値を求めて距離画像を生成する方法であって、(b)前記対象体へ照射される変調光により生じる反射光に応じて発生する電荷を順番に振り分けて複数の電荷蓄積部に蓄積する第1ステップと、(c)前記複数の電荷蓄積部に蓄積される前記電荷の量に基づいて前記距離値を求め、当該距離値を用いて前記距離画像を生成する第2ステップと、を含み、(d)前記変調光は、第1期間と当該第1期間に続く第2期間において互いに出射タイミングをずらして照射され、(e)前記第1期間と前記第2期間の各々は、互いに長さの異なる少なくとも2つの電荷振り分け周期を含み、(f)前記第1ステップは、前記少なくとも2つの電荷振り分け周期の各々において前記複数の電荷蓄積部へ順番に振り分けて前記電荷を蓄積し、(g)前記第2ステップは、前記第1期間と前記第2期間の各々において前記複数の電荷蓄積部へ蓄積された前記電荷の量に基づいて前記距離値を求めて前記距離画像を生成する、距離画像生成方法である。
【0007】
上記構成によれば、光飛行時間計測法を用いて距離画像を生成する際における距離バラつきを抑えつつ最大測距可能距離をより大きくすることが可能となる。
【図面の簡単な説明】
【0008】
図1図1は、一実施形態の距離画像生成装置の構成を示す図である。
図2図2(A)、図2(B)は、撮像素子の構成を示す図である。
図3図3(A)、図3(B)は、電荷振り分けのための振り分け周期について説明するための図である。
図4図4は、変調光、反射光、電荷の振り分け周期の関係性を説明するためのタイミングチャートである。
図5図5は、遅れ時間Tと位相差φとの関係を示した図である。
図6図6は、遅れ時間Tと光の強度Iとの関係を示した図である。
図7図7は、位相差の相互関係を示す図である。
図8図8は、各位相差における強度比の関係を示す図である。
図9図9は、位相差の相互関係を各振り分け周期に対して示した図である。
図10図10は、各位相差における強度比の関係を示した図である。
図11図11は、フレーム構造を説明するための図である。
図12図12は、変調光の出射タイミングを説明するための図である。
図13図13は、距離画像生成装置の動作手順を説明するためのフローチャートである。
図14図14は、実施例の距離画像生成装置のタイミングチャートである。
図15図15は、実施例における各発光タイミングに対応する位相差の相互関係を各振り分け周期ごとに求めたものを示す図である。
図16図16は、実施例における各位相差における強度比の関係を示す図である。
図17図17(A)〜図17(F)は、T=0の場合の位相差と遅れ時間との関係性の一例を示す図である。
【発明を実施するための形態】
【0009】
図1は、一実施形態の距離画像生成装置の構成を示す図である。図1に示す距離画像生成装置1は、光飛行時間計測法を用いて対象体2の各領域までの距離を求め、それらの距離値を画素値とする距離画像を生成するためのものであり、制御部10と、光源11と、撮像素子12を含んで構成されている。ここでいう対象体2とは、測距対象となるものであれば特に限定はなく、例えば、人間でもよいし、車両などの物体であってもよい。
【0010】
制御部10は、距離画像生成装置1の全体動作を制御するものであり、例えばCPU、ROM、RAM等を含むコンピュータシステムにおいて所定の動作プログラムを実行させることにより実現される。この制御部10は、動作プログラムを実行することにより実現される機能ブロックとしての駆動タイミング生成部(駆動部)20、位相/光強度算出部21、入射位置識別部22、距離算出部23、距離画像生成部24を有する。
【0011】
光源11は、例えば近赤外光などの光を放出する発光素子(例えばLED)と、この発光素子を駆動する回路などを含んで構成されており、制御部10に制御されて所定波形の変調光3を出射する。光源11から出射された変調光3は対象体2に照射される。
【0012】
撮像素子12は、光源11からの変調光3が対象体2により反射されて生じる反射光4を含む入射光を受光し、その光強度を検出するためのものである。図2(A)に示すように、撮像素子12は、例えばマトリクス状に配列された複数の受光部12aを有する。図2(B)に示すように、各受光部12aは、それぞれ、入射光の光強度に応じた電荷を生成する光電変換素子30と、この光電変換素子30によって生成される電荷を蓄積する4つの電荷蓄積部31a、31b、31c、31dを有する。本実施形態では、光源11による変調光の変調周期を4等分した時間ごとに各電荷蓄積部31a、31b、31c、31dに振り分けて電荷が蓄積される。なお、各電荷蓄積部31a等は、電荷そのものを蓄積することに代えて、その電荷の量に応じたデジタルデータ蓄積してもよい。
【0013】
駆動タイミング生成部20は、光源11による変調光の発光タイミングを制御するための信号を生成して光源11へ供給するとともに、各電荷蓄積部31a等による電荷蓄積の振り分け周期を制御するための信号を生成して撮像装置12へ出力する。
【0014】
位相/光強度算出部21は、駆動タイミング生成部20によって生成された信号により制御されて撮像素子12の各電荷蓄積部31a等に振り分けて蓄積された電荷に基づいて、変調光と反射光との位相差を算出するともに光強度を算出する。
【0015】
入射位置識別部22は、位相/光強度算出部21によって算出された位相差に基づいて、複数の振り分け期間のうちのどの振り分け期間に変調光が撮像素子12へ入射したかを識別(判定)する。
【0016】
距離算出部23は、位相/光強度算出部21にて算出された位相差と、入射位置識別部22で得られた入射位置の各情報に基づいて、距離画像の各画素における距離値を算出する。
【0017】
距離画像生成部24は、距離算出部23により算出される各画素における距離値を用いて距離画像を生成し、図示しない外部装置へこの距離画像のデータを出力する。
【0018】
次に、本実施形態の距離画像生成装置1における距離画像生成の原理について詳細に説明する。
【0019】
光飛行時間計測法を用いる場合において、対象体2までの距離値として測距可能な最大距離値D[m]は以下の(1)式により求めることができる。ただし、(1)式において、ω=2πfである。下記の(1)式から、変調周波数fを小さくすればωが小さくなるため最大距離値Dを大きくできることが分かる。
【0020】
【数1】
【0021】
光の速度c[m/s]は既知の値であるため、変調光3の変調周波数f[Hz]を用いることで最大距離値Dを求めることができる。
【0022】
変調光3と反射光4との間には、距離画像生成装置1と対象体2の間を光が往復する飛行時間によって生じる位相の遅延、すなわち位相差を生じる。この位相差をφ[rad]とする。この位相差φを用いることで、距離値Lを以下のように求めることができる。
【0023】
【数2】
【0024】
図3(A)、図3(B)は、電荷振り分けのための振り分け周期について説明するための図である。一般的な電荷振り分け周期は1つであり、例えば図3(A)に示すように1つの周期T内においてこの周期Tを4等分した期間T/4ごとに各電荷蓄積部31a、31b、31c、31dに電荷C、C、C、Cが振り分けられて蓄積される。これに対して、図3(B)に示すように、本実施形態ではそれぞれの長さが異なる複数の振り分け周期T、T、T、・・・Tを設けている。図示の例では、各振り分け周期の長さは、T>T>T>・・・>Tという関係となっている。
【0025】
このように複数の振り分け周期を設けた場合、各電荷蓄積部31a等への電荷の蓄積は、各振り分け周期T、T、T、・・・Tのそれぞれにおいて当該周期の1/4ずつの期間で振り分けられることになる。分かりやすい例として、2つの振り分け周期がT、Tが設けられている場合であれば、各電荷蓄積部31a、31b、31c、31dに蓄積される電荷量C、C、C、Cは、T/4ずつの期間で振り分けられた電荷とT/4ずつの期間で振り分けられた電荷の合計となる。
【0026】
従って、振り分け周期が1つの場合における位相差φは下記(3)式で表されるのに対して、振り分け周期が複数の場合における位相差φは下記(4)式で表されるようになる。ここで、Cn,Tkは(n=1,2,3,4;k=1,2,3,・・・x)は、ある振り分け周期の際に蓄積される電荷量(C〜C)である。
【0027】
【数3】
【0028】
【数4】
【0029】
ここで、発光幅がT/2で周期がTの変調光を光源11から照射し、対象体2に反射して得られた反射光が変調光の出射時からTだけ遅れて撮像素子12へ入射した場合を考える。ここで、下記(5)式で表されるように、Tは複数の振り分け周期の合計である。仮に振り分け周期が1つの場合にはT=T、振り分け周期が2つの場合にはT=T+Tとなる。
【0030】
【数5】
【0031】
また、このとき、光の強度Iは下記の(6)式で表される。
【0032】
【0033】
図4は、変調光、反射光、電荷の振り分け周期の関係性を説明するためのタイミングチャートである。図中、上段に変調光の出射タイミングが示され、中段に反射光の受光タイミングが示され、下段に電荷の振り分け周期が示されている。図示のように、変調光の出射開始時刻から反射光の受光開始時刻までの時間を遅れ時間をTとする。ここで、3つの振り分け周期を設けた場合と、1つの振り分け周期のみを設けた場合を考える。3つの振り分け周期の一例として、T=50ns、T=45ns、T=40nsとする。また、1つの振り分け周期の場合はT=50nsとする。
【0034】
図5は、遅れ時間Tと位相差φとの関係を示した図である。図6は、遅れ時間Tと光の強度Iとの関係を示した図である。なお、位相差φは、振り分け周期が1つの場合には上記(3)式で算出され、振り分け周期が3つの場合には上記(4)式で算出され、光の強度Iは上記(6)式で算出される。各図に示すように、振り分け周期が3つの場合には、遅れ時間に対する位相差、遅れ時間に対する強度がそれぞれ非線形になっているのがわかる。
【0035】
ここで、変調光の出射開始時刻Tを意図的に一定時間(例えばここでは30ns)だけ遅らせる場合と遅らせない場合とを考える。T=0の場合とT=30nsの場合の位相差の相互関係と、各位相差における強度Iの強度比の関係を図7図8に示す。ここでいう強度比は、T=0の場合の強度をI、T=30nsの場合の強度をI30とすると、I/I30と表される値である。また、図7は、振り分け周期が1つの場合に対応し、図8は、振り分け周期が3つの場合に対応している。
【0036】
図7を参照すると、振り分け周期が1つの場合には、T=0の場合の0〜2πまでの位相差に対して、出射開示時刻を30ns遅らせたT=30nsの場合の位相差および強度比I/I30はいずれも1つの値しか取らないことが分かる。それに比べ、図8を参照すると、振り分け周期が3つの場合には、T=0の場合の0〜2πまでの位相差に対して、出射開示時刻を30ns遅らせたT=30nsの場合の位相差および強度比I/I30は、いずれも2つの例外点P1、P2を除き、3つの値を取ることが分かる。さらに、例外点P1、P2の場合においても、強度比I/I30は3つの値を取ることが分かる。T=0の場合の位相差に対してT=30nsの場合の位相差および強度比I/I30がいずれも最大で3つの値が存在するのは、3種類の振り分け周期を用いていることから、T=30nsの場合の変調光が3つの振り分け周期のうちのどの周期において撮像素子12へ入射するかにより位相差が異なるためである。従って、T=0とT=30nsとの組み合わせと、例外点P1、P2においては強度比も合わせて用いることで、3つの振り分け周期のいずれの周期に反射光が撮像素子12へ入射したかを識別することができる。
【0037】
図9は、T=0の場合とT=30nsの場合の位相差の相互関係を各振り分け周期に対して示した図である。図中、太線は振り分け周期T、細線は振り分け周期T、点線は振り分け周期Tに対応している。なお、丸印で示した3箇所は関係線の振り分け周期が切り替わる箇所であり、以後、これを周期変化点という。例えば、左上側で点線と太線が連続している関係線では、丸印の部分の左下側の点線までは振り分け周期T3に対応し、右上側の太線からは振り分け周期Tに対応している。このような相互関係を示すデータを予め用意しておけば、例外点P1、P2の場合を除けば、T=0とT=30nsの各々における位相差φの組み合わせに基づいて、反射光がどの振り分け周期に入射したかを判別することができる。図中に示す一例では、T=0とT=30nsの各々における位相差φの組み合わせに基づいて振り分け周期がTであると判別できる。相互関係を示すデータについては、データテーブル等の形で用意してもよいが近似式で用意しておくことが好ましい。この場合、例えば多項式近似による近似式を用いて上記の関係線を表すとよい。このとき、上記のように周期変化点を含む関係線については、関係線自体の近似式と周期変化点を示すデータとを紐づけておく必要がある。
【0038】
なお、T=0とT=30nsの各々における位相差φの組み合わせが関係線と完全に一致することは少ないと考えられるので、実際の処理では、例えばT=0の位相差φ1を各々の近似式に代入してそれに対するT=30nsの位相差φ2′を算出し、これを実際のT=30の位相差φ2と比較し、最も近い位相差φ2′が得られる近似式に対応する振り分け周期を反射光が入射した振り分け周期として識別するとよい。
【0039】
図10は、各位相差における強度Iの強度比の関係を示した図である。図10においても、太線は振り分け周期T、細線は振り分け周期T、点線は振り分け周期Tに対応しており、丸印の部分は周期変化点に対応している。このような相互関係を示すデータを予め用意しておけば、例外点P1、P2についても、T=0の位相差φに対する強度比I/I30の組み合わせに基づいて、反射光がどの振り分け周期に入射したかを判別することができる。図中に示す一例では、T=0に対する強度比I/I30に基づいて振り分け周期がTであると判別できる。上記と同様、相互関係を示すデータについては、如何なる形式で用意してもよいが多項式近似による近似式で用意しておくことが好ましい。また、周期変化点については近似式に紐づけておく必要がある。
【0040】
なお、T=0に対する強度比I/I30が関係線と完全に一致することは少ないと考えられるので、実際の処理では、例えばT=0の位相差φ1を各々の近似式に代入してそれに対する強度比I/I30を算出し、これを実際に得られた強度比と比較し、最も近い強度比が得られる近似式に対応する振り分け周期を反射光が入射した振り分け周期として識別するとよい。
【0041】
上記のようにして振り分け周期が求められると、その振り分け周期に至るまでの周期合計分の時間と、位相差に基づいて算出される時間とを加算することにより、遅れ時間が求められる。ここでいう周期合計分とは、ある振り分け周期に至るまでの間に存在する他の振り分け周期を合計したものをいう。例えば、ある振り分け周期がTであればそれまでに存在する他の振り分け周期Tの時間(上記例では50ns)であり、ある振り分け周期がTであればそれまでに存在する他の振り分け周期T、Tの合計時間(上記例では95ns)である。このようにして遅れ時間が求められると、それに基づいて距離値を算出することができる。このような一連の処理を各画素について行うことで、各画素の距離値が得られ、それらを用いて距離画像を生成することができる。
【0042】
図11は、フレーム構造を説明するための図である。また、図12は、変調光の出射タイミングを説明するための図である。フレームは、1枚の距離画像を生成するために必要な電荷蓄積時間に対応するものである。本実施形態では、変調周波数を例えば数十MHzとした周期数十nsの変調光を数百〜数十万回ほど繰り返して照射し、それらの反射光による電荷を各電荷蓄積部31a等に蓄積する。そして、1つのフレームに相当する電荷量を上記した各電荷蓄積部31a、31b、31c、31dに蓄積される電荷量C、C、C、Cとして用いて、上記(4)式に基づいて位相差を求めるとともに上記(6)式に基づいて強度を求める。
【0043】
図11に示すように、1つのフレームには2つの振り分け期間(第1期間)1、振り分け期間(第2期間)2が含まれる。振り分け期間1、2の各々には、いくつかの複数周期混合期間が含まれる。反射光の検出に際して十分なS/N比を得るための電荷を蓄積するには、複数周期混合期間をより多くする必要がある。複数周期混合期間の各々には、互いの振り分け周期が異なる複数の振り分け期間T、T、・・・、Tが含まれる(図3(B)参照)。図12に示すように、振り分け期間1と振り分け期間2では、各複数周期混合期間における変調光の出射タイミング(変調光の出射開始時刻T)が異なる。上記した例でいえば、振り分け期間1ではT=0であり、振り分け期間2ではT=30nsであり、両者間では出射タイミングが30ns異なる。
【0044】
図13は、距離画像生成装置の動作手順を説明するためのフローチャートである。なお、ここに示すフローチャートに含まれる各情報処置については、情報処理の結果に矛盾や不整合などの不都合が生じない限りにおいて適宜その順序を変更することが可能であり、またここで説明しない他の情報処理を適宜追加することも可能であり、そのような実施態様も排除されない。
【0045】
駆動タイミング生成部20により光源11が制御されて、第1出射タイミングによる変調光3が光源11から出射し、その反射光4を含む入射光が撮像素子12によって受光されると、位相/光強度算出部21は、振り分け期間1の電荷量を撮像素子12の各電荷蓄積部31a等から取得し(ステップS10)、当該電荷量に基づいて振り分け期間1に対応する位相差と光の強度を算出する(ステップS11)。なお、ここでは振り分け期間1に対応する位相差をφ1、光の強度をI1と表すこととする。
【0046】
駆動タイミング生成部20により光源11が制御されて第2出射タイミングによる変調光3が光源11から出射し、その反射光4を含む入射光が撮像素子12によって受光されると、位相/光強度算出部21は、振り分け期間2の電荷量を撮像素子12の各電荷蓄積部31a等から取得し(ステップS12)、当該電荷量に基づいて振り分け期間2に対応する位相差と光の強度を算出する(ステップS13)。なお、ここでは振り分け期間2に対応する位相差をφ2、光の強度をI2と表すこととする。
【0047】
次に、入射位置識別部22は、予め用意された複数の近似式(図9参照)のそれぞれについて、ステップS11で求められた第1振り分け期間の位相差φ1に対応する複数の位相差φ2′を算出する(ステップS14)。上記した例のように近似式が3つ存在するのであれば、3つの位相差φ2′が求められる。
【0048】
次に、入射位置識別部22は、得られた複数の位相差φ2′から、ステップS13において算出された第2振り分け期間の位相差φ2に最も近いもの(差分の少ないもの)を選択する(ステップS15)。
【0049】
次に、入射位置識別部22は、ステップS15で選択した位相差φ2′が近似式で表される線分の交点(すなわち例外点)に対応するものであるか否かを判定する(ステップS16)。線分の交点ではない場合には(ステップS16;NO)、入射位置識別部22は、選択した位相差φ2′に対応する線分(近似式)を決定する(ステップS17)。
【0050】
他方で、線分の交点に対応するものであった場合には(ステップS16;YES)、入射位置識別部22は、ステップS11、S13で得られた光の強度I1、I2を用いて、振り分け期間1、2における光の強度比(I1/I2)を算出する(ステップS18)。
【0051】
次に、入射位置識別部22は、予め用意された光の強度比の近似式(図10参照)に対応する各線分から、ステップS18で求めた強度比と位相差φ1に基づいて、該当する線分を決定する(ステップS19)。
【0052】
次に、入射位置識別部22は、決定された線分に対応する近似式に周期変化点が存在するか否かを判定する(ステップS20)。周期変化点が存在しない場合には(ステップS20;NO)、入射位置識別部22は、決定された線分に対応する近似式に紐づけられている振り分け周期に基づいて、反射光4の入射タイミングに対応する振り分け周期を決定する(ステップS21)。
【0053】
他方で、周期変化点が存在する場合には(ステップS20;YES)、位相差φ1の値に基づき、決定された線分に対応する複数の近似式のうちいずれに該当するかを判定し、その近似式に紐づけられている振り分け周期に基づいて、反射光4の入射タイミングに対応する振り分け周期を決定する(ステップS22)。
【0054】
上記のようにして振り分け周期が決定されると、距離算出部23は、その振り分け周期に至るまでの周期合計分の時間と、位相差に基づいて算出される時間とを加算することにより、遅れ時間を算出し、その遅れ時間に基づいて各画素の距離値を算出する。そして、距離画像生成部24は、得られた各画素の距離値に基づいて距離画像を生成する(ステップS23)。その後、ステップ10へ戻る。
【0055】
(実施例)
以下に、最大測距可能距離を150メートルとすることが可能な実施例を説明する。この実施例の距離画像生成装置では、1000nsの期間内において、反射光4の入射タイミングがどの振り分け周期に対応するかを判別する。このため、複数周期混合期間を1000ns以上に設定する。本実施例では、図14のタイミングチャートを示すように、複数周期混合期間を1000nsに設定する。また、各々の複数周期混合期間に含まれる振り分け周期の数については、どの程度の精度を求めるかという仕様に応じて適宜設定すればよい。例えば、バラつきを1/6程度に抑えたいという要求があるとすると振り分け周期の数は6つ以上にするよく、本実施例では6つとしている。また、各電荷蓄積部31a等に電荷を蓄積する振り分けについては0°位相、90°位相、180°位相、270°位相の各タイミングにて行われる。
【0056】
本実施例では、図14に示すように6つの振り分け周期を設定し、各振り分け周期T、T、T、T、T、Tの長さをそれぞれ180ns、180ns、140ns、180ns、160ns、160nsと設定する。変調光については発光幅(発光時間)を90nsとした半波整流波とし、その周期を1000nsとする。また、振り分け期間1における変調光の出射開始時刻と振り分け期間2における変調光の出射開始時刻との差分(発光遅れ時間)を250nsとする。振り分け期間1における発光タイミングは当該振り分け期間1の始期と一致しており、振り分け期間2における発光タイミングは当該振り分け期間2の始期から250ns遅れている。振り分け期間1、振り分け期間2のそれぞれにおいて、複数周期混合期間が数千〜数万回繰り返される。この繰り返し回数は、要求されるS/N比や、光源11の出力の大きさ、フレームレート等によって決定されるものであり、場合によっては数十〜数百回でもよい。また、振り分け期間1と振り分け期間2は交互に繰り返される。
【0057】
図15に、実施例における各発光タイミングに対応する位相差の相互関係を各振り分け周期ごとに求めたものを示す。また、図16に、実施例における各位相差における強度Iの強度比の関係を示す。これらの線分に対応する近似式を用いて、上記において説明した原理によって各画素の距離値を求めて距離画像を生成することができる。
【0058】
以上のような実施形態並びに実施例によれば、光飛行時間計測法を用いて距離画像を生成する際における距離バラつきを抑えつつ最大測距可能距離をより大きくすることが可能となる。
【0059】
なお、本発明は上記した実施形態等の内容に限定されるものではなく、本発明の要旨の範囲内において種々に変形して実施をすることが可能である。例えば、上記した実施形態等において示した振り分け周期の数などの諸条件は一例であり、適宜変更することが可能である。
【0060】
また、上記した実施形態等では周期合計分の時間と位相差に基づいて算出される時間とを加算することにより遅れ時間を求めていたが、T=0の場合の位相差と遅れ時間との関係性を予め求めておき、それを用いて遅れ時間を決定することもできる。図17(A)〜図17(F)は、T=0の場合の位相差と遅れ時間との関係性の一例を示す図である。ここでは、上記した実施例と同様の条件で6つの振り分け周期を設定した場合における位相差と遅れ時間の関係を示している。これらの関係は実測やシミュレーションによって予め求めておくことができる。図17(A)は振り分け周期Tに対応し、図17(B)は振り分け周期Tに対応し、図17(C)は振り分け周期Tに対応し、図17(D)は振り分け周期Tに対応し、図17(E)は振り分け周期Tに対応し、図17(F)は振り分け周期Tに対応している。各グラフにおいて線分は2つあるので、予め求めておく近似式はそれぞれ2つとなる。これらの近似式に位相差φ1を代入することで遅れ時間を求めることができる。
【0061】
なお、図17(B)、図17(D)に示すグラフでは、ある特定範囲(点線で示す範囲)の位相差φ1に対して2つの遅れ時間が求まる場合がある。この場合は、入射位置識別部22において、位相差φ1がどの線分に対応しているかでどちらの近似式で求まる遅れ時間を採用するかを決定するとよい。例えば、図17(B)のグラフで位相差φ1が特定範囲の値となる場合であれば、入射位置識別部22で、位相差φ1に対応する線分が線分10と判定されたとすればこれは振り分け周期Tに近い遅れ時間であると判断できるため、線分4で求まる遅れ時間を採用すればよい。そして、求められた遅れ時間から距離値を算出し、距離画像を生成することができる。
【符号の説明】
【0062】
1:距離画像生成装置、2:対象体、3:変調光、4:反射光、10:制御部、11:光源、12:撮像素子、12a:受光部、20:駆動タイミング生成部、21:位相/光強度算出部、22:入射位置識別部、23:距離算出部、24:距離画像生成部、31a、31b、31c、31d:電荷蓄積部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17