特開2021-139733(P2021-139733A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ スタンレー電気株式会社の特許一覧
特開2021-139733距離検出装置、距離検出方法、距離画像生成装置、距離画像生成方法
<>
  • 特開2021139733-距離検出装置、距離検出方法、距離画像生成装置、距離画像生成方法 図000007
  • 特開2021139733-距離検出装置、距離検出方法、距離画像生成装置、距離画像生成方法 図000008
  • 特開2021139733-距離検出装置、距離検出方法、距離画像生成装置、距離画像生成方法 図000009
  • 特開2021139733-距離検出装置、距離検出方法、距離画像生成装置、距離画像生成方法 図000010
  • 特開2021139733-距離検出装置、距離検出方法、距離画像生成装置、距離画像生成方法 図000011
  • 特開2021139733-距離検出装置、距離検出方法、距離画像生成装置、距離画像生成方法 図000012
  • 特開2021139733-距離検出装置、距離検出方法、距離画像生成装置、距離画像生成方法 図000013
  • 特開2021139733-距離検出装置、距離検出方法、距離画像生成装置、距離画像生成方法 図000014
  • 特開2021139733-距離検出装置、距離検出方法、距離画像生成装置、距離画像生成方法 図000015
  • 特開2021139733-距離検出装置、距離検出方法、距離画像生成装置、距離画像生成方法 図000016
  • 特開2021139733-距離検出装置、距離検出方法、距離画像生成装置、距離画像生成方法 図000017
  • 特開2021139733-距離検出装置、距離検出方法、距離画像生成装置、距離画像生成方法 図000018
  • 特開2021139733-距離検出装置、距離検出方法、距離画像生成装置、距離画像生成方法 図000019
  • 特開2021139733-距離検出装置、距離検出方法、距離画像生成装置、距離画像生成方法 図000020
  • 特開2021139733-距離検出装置、距離検出方法、距離画像生成装置、距離画像生成方法 図000021
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2021-139733(P2021-139733A)
(43)【公開日】2021年9月16日
(54)【発明の名称】距離検出装置、距離検出方法、距離画像生成装置、距離画像生成方法
(51)【国際特許分類】
   G01S 17/32 20200101AFI20210820BHJP
   G01S 17/89 20200101ALI20210820BHJP
   G01C 3/06 20060101ALI20210820BHJP
【FI】
   G01S17/32
   G01S17/89
   G01C3/06 120Q
【審査請求】未請求
【請求項の数】9
【出願形態】OL
【全頁数】17
(21)【出願番号】特願2020-37391(P2020-37391)
(22)【出願日】2020年3月5日
(71)【出願人】
【識別番号】000002303
【氏名又は名称】スタンレー電気株式会社
(74)【代理人】
【識別番号】110001184
【氏名又は名称】特許業務法人むつきパートナーズ
(72)【発明者】
【氏名】新岡 秀将
【テーマコード(参考)】
2F112
5J084
【Fターム(参考)】
2F112AD01
2F112BA03
2F112CA12
2F112EA01
2F112EA03
2F112EA11
5J084AA05
5J084AD02
5J084BA02
5J084BA34
5J084BA40
5J084CA07
5J084CA10
5J084CA12
5J084CA20
5J084CA65
5J084DA08
5J084EA07
(57)【要約】      (修正有)
【課題】距離バラつきを抑え、最大測距可能距離をより大きくする。
【解決手段】第1変調光と第1反射光との位相差を求める第1ステップと、第1期間と第2期間を有する期間において、第2変調光により生じる第2反射光に対応して各転送ゲートから読み出される各電荷量に基づいて上記位相差の属する周期を判別する第2ステップと、位相差とこの位相差の属する周期に基づいて距離を求める第3ステップを含み、第2ステップは、第1期間内の第1時期に1つ目の第2変調光が出射して第2期間内の第2時期に2つ目の第2変調光が出射すること、第1期間と第2期間の各々において一定期間毎に各転送ゲートの各々のオン/オフが切り替えられること、第1期間と第2期間の各々において第2反射光に応じて各転送ゲート得られる電荷量の大小関係の組み合わせパターンに基づいて位相差の属する周期を判別すること、を含む、距離検出方法である。
【選択図】図4
【特許請求の範囲】
【請求項1】
対象体との間の距離を検出する装置であって、
所定の変調周波数の光を出射する光源と、
各々独立にオンとオフを切り替え可能な複数の転送ゲートを有する受光部と、
前記光源及び前記受光部の動作を制御する駆動制御部と、
位相取得期間において、前記駆動制御部の制御によって前記光源から出射する第1変調光と当該第1変調光により生じる第1反射光との位相差を、前記受光部の前記複数の転送ゲートを介して読み出される各電荷量に基づいて求める位相算出部と、
前記位相取得期間とは別途設けられる期間であって少なくとも第1期間と第2期間を有する周期判別期間において、前記駆動制御部の制御によって前記光源から出射する第2変調光により生じる第2反射光に対応して前記受光部の前記複数の転送ゲートを介して読み出される各電荷量に基づいて、前記位相差が前記第1変調光の出射時期を基準としていくつ目の周期に属するものであるかを判別する周期判別部と、
前記位相算出部によって得られる前記位相差と前記周期判別部によって得られる前記位相差の属する周期に基づいて前記距離を求める距離算出部と、
を含み、
前記光源は、前記第1期間内の第1時期に1つ目の前記第2変調光を出射するとともに前記第2期間内の第2時期に2つ目の前記第2変調光を出射するように前記駆動制御部によって制御され、
前記複数の転送ゲートの各々は、前記第1期間と前記第2期間の各々において、前記変調周波数に対応した周期で繰り返される一定期間毎にオン/オフを切り替えるように前記駆動制御部によって制御され、
前記周期判別部は、前記第1期間と前記第2期間の各々において前記第2反射光に応じて前記複数の転送ゲートの各々から得られる前記電荷量の大小関係の組み合わせパターンに基づいて前記位相差の属する周期を判別する、
距離検出装置。
【請求項2】
前記複数の転送ゲートのうちの1つの転送ゲートに対するオン/オフの制御パターンとそれ以外の1つの転送ゲートに対するオン/オフの制御パターンとが異なる、
請求項1に記載の距離検出装置。
【請求項3】
前記複数の転送ゲートの各々ごとに、前記第1期間の前記オン/オフの制御パターンと前記第2期間の前記オン/オフの制御パターンが同じである、
請求項1又は2に記載の距離検出装置。
【請求項4】
前記第2変調光の発光時間が前記一定期間の長さよりも短い、
請求項1〜3の何れか1項に記載の距離検出装置。
【請求項5】
前記第1期間の始期から前記第1時期までの時間の長さと前記第2期間の始期から前記第2時期までの時間の長さとが異なる、
請求項1〜4の何れか1項に記載の距離検出装置。
【請求項6】
前記第2反射光に応じて特定される前記電荷量の大小関係の組み合わせパターンが2つ以上の周期に重複して存在している場合に、前記複数の転送ゲートの各々に対応した前記電荷量の比に基づいて前記位相差の属する周期を判別する、
請求項1〜5の何れか1項に記載の距離検出装置。
【請求項7】
請求項1〜6の何れかに記載の距離検出装置を用いて複数の距離値からなる距離画像を生成する、距離画像生成装置。
【請求項8】
所定の変調周波数の光を出射する光源、及び、各々独立にオンとオフを切り替え可能な複数の転送ゲートを有する受光部を用いて対象体との距離を検出する方法であって、
位相取得期間において、前記光源から出射した第1変調光と当該第1変調光により生じる第1反射光との位相差を、前記受光部の前記複数の転送ゲートを介して読み出される各電荷量に基づいて求める第1ステップと、
前記位相取得期間とは別途設けられる期間であって少なくとも第1期間と第2期間を有する周期判別期間において、前記光源から出射した第2変調光により生じる第2反射光に対応して前記受光部の前記複数の転送ゲートを介して読み出される各電荷量に基づいて、前記位相差が前記第1変調光の出射時期を基準としていくつ目の周期に属するものであるかを判別する第2ステップと、
前記第1ステップで得られる前記位相差と前記第2ステップで得られる前記位相差の属する周期に基づいて前記距離を求める第3ステップと、
を含み、
前記第2ステップは、
前記光源から、前記第1期間内の第1時期に1つ目の前記第2変調光が出射し、前記第2期間内の第2時期に2つ目の前記第2変調光が出射すること、
前記第1期間と前記第2期間の各々において、前記変調周波数に対応した周期で繰り返される一定期間毎に前記複数の転送ゲートの各々のオン/オフが切り替えられること、
前記第1期間と前記第2期間の各々において前記第2反射光に応じて前記複数の転送ゲートの各々から得られる前記電荷量の大小関係の組み合わせパターンに基づいて前記位相差の属する周期を判別すること、
を含む、
距離検出方法。
【請求項9】
請求項8に記載の距離検出方法を用いて複数の距離値からなる距離画像を生成する、距離画像生成方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、光飛行時間計測法を用いて測定される光飛行時間に基づいて対象体までの距離を測定する技術並びに当該測定した距離を用いて距離画像を生成する技術に関する。
【背景技術】
【0002】
従来から、光飛行時間計測法を用いて測定される光飛行時間に基づいて対象体までの距離を測定して距離画像を生成する技術が知られている。例えば、国際公開第2010−100846号公報(特許文献1)には、多重変調光を用いて距離を測定する技術が記載されている。
【0003】
ところで、一般に光飛行時間計測法を用いる距離画像生成装置においては、理論上の最大測距可能距離と距離バラつきの間にはトレードオフの関係があり、最大測距可能距離を増大させようとすると距離バラつきが増大する。これに対し、上記特許文献1に記載の先行例では、低周波の変調光を用いて長距離測定を行い、高周波の変調光を用いて精密測定を行っている。しかし、この場合には多重変調光を用いる必要があることから装置構成の複雑化を招く。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】国際公開第2010−100846号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明に係る具体的態様は、光飛行時間計測法を用いて距離画像を生成する際における距離バラつきを抑えつつ最大測距可能距離をより大きくすることが可能な技術を提供することを目的の1つとする。
【課題を解決するための手段】
【0006】
[1]本発明に係る一態様の距離検出装置は、(a)対象体との間の距離を検出する装置であって、(b)所定の変調周波数の光を出射する光源と、(c)各々独立にオンとオフを切り替え可能な複数の転送ゲートを有する受光部と、(d)前記光源及び前記受光部の動作を制御する駆動制御部と、(e)位相取得期間において、前記駆動制御部の制御によって前記光源から出射する第1変調光と当該第1変調光により生じる第1反射光との位相差を、前記受光部の前記複数の転送ゲートを介して読み出される各電荷量に基づいて求める位相算出部と、(f)前記位相取得期間とは別途設けられる期間であって少なくとも第1期間と第2期間を有する周期判別期間において、前記駆動制御部の制御によって前記光源から出射する第2変調光により生じる第2反射光に対応して前記受光部の前記複数の転送ゲートを介して読み出される各電荷量に基づいて、前記位相差が前記第1変調光の出射時期を基準としていくつ目の周期に属するものであるかを判別する周期判別部と、(g)前記位相算出部によって得られる前記位相差と前記周期判別部によって得られる前記位相差の属する周期に基づいて前記距離を求める距離算出部と、を含み、(h)前記光源は、前記第1期間内の第1時期に1つ目の前記第2変調光を出射するとともに前記第2期間内の第2時期に2つ目の前記第2変調光を出射するように前記駆動制御部によって制御され、(i)前記複数の転送ゲートの各々は、前記第1期間と前記第2期間の各々において、前記変調周波数に対応した周期で繰り返される一定期間毎にオン/オフを切り替えるように前記駆動制御部によって制御され、(j)前記周期判別部は、前記第1期間と前記第2期間の各々において前記第2反射光に応じて前記複数の転送ゲートの各々から得られる前記電荷量の大小関係の組み合わせパターンに基づいて前記位相差の属する周期を判別する、距離検出装置である。
[2]本発明に係る一態様の距離画像生成装置は、上記[1]に記載の距離検出装置を用いて複数の距離値からなる距離画像を生成する、距離画像生成装置である。
[3]本発明に係る一態様の距離検出方法は、(a)所定の変調周波数の光を出射する光源、及び、各々独立にオンとオフを切り替え可能な複数の転送ゲートを有する受光部を用いて対象体との距離を検出する方法であって、(b)位相取得期間において、前記光源から出射した第1変調光と当該第1変調光により生じる第1反射光との位相差を、前記受光部の前記複数の転送ゲートを介して読み出される各電荷量に基づいて求める第1ステップと、(c)前記位相取得期間とは別途設けられる期間であって少なくとも第1期間と第2期間を有する周期判別期間において、前記光源から出射した第2変調光により生じる第2反射光に対応して前記受光部の前記複数の転送ゲートを介して読み出される各電荷量に基づいて、前記位相差が前記第1変調光の出射時期を基準としていくつ目の周期に属するものであるかを判別する第2ステップと、(d)前記第1ステップで得られる前記位相差と前記第2ステップで得られる前記位相差の属する周期に基づいて前記距離を求める第3ステップと、を含み、(e)前記第2ステップは、(e1)前記光源から、前記第1期間内の第1時期に1つ目の前記第2変調光が出射し、前記第2期間内の第2時期に2つ目の前記第2変調光が出射すること、(e2)前記第1期間と前記第2期間の各々において、前記変調周波数に対応した周期で繰り返される一定期間毎に前記複数の転送ゲートの各々のオン/オフが切り替えること、(e3)前記第1期間と前記第2期間の各々において前記第2反射光に応じて前記複数の転送ゲートの各々から得られる前記電荷量の大小関係の組み合わせパターンに基づいて前記位相差の属する周期を判別すること、を含む、距離検出方法である。
[4]本発明に係る一態様の距離画像生成方法は、上記[3]に記載の距離検出方法を用いて複数の距離値からなる距離画像を生成する、距離画像生成方法である。
【0007】
上記構成によれば、光飛行時間計測法を用いて距離画像を生成する際において、装置構成の複雑化を招かずに、距離バラつきを抑えつつ最大測距可能距離をより大きくすることが可能となる。
【図面の簡単な説明】
【0008】
図1図1は、一実施形態の距離画像生成装置の構成を示す図である。
図2図2(A)、図2(B)は、撮像素子の構成を示す図である。
図3図3は、距離画像生成の原理について説明するための図である。
図4図4は、距離測定時のフレーム構造を説明するための図である。
図5図5は、第1期間の一部を拡大して示す図である。
図6図6は、第1期間の一部を拡大して示す図である。
図7図7は、第2期間の一部を拡大して示す図である。
図8図8は、反射光の到達タイミングに応じて各周期における各転送ゲートA、Bにおける電荷量の比較を行った内容を示す図である。
図9図9(A)〜図9(D)は、パターン2または2′において、各転送ゲートA、Bに対応する電荷蓄積部に溜まる電荷の様子を示す図である。
図10図10(A)〜図10(D)は、パターン6または6′において、各転送ゲートA、Bに対応する電荷蓄積部に溜まる電荷の様子を示す図である。
図11図11は、距離画像生成装置の動作手順を説明するためのフローチャートである。
図12図12は、ステップS13〜S15における周期の判別(特定)に用いることができるテーブルの例である。
図13図13(A)、図13(B)は、受光部の他の構成例を示す図である。
図14図14は、転送ゲートのオンオフのパターン例を示す図である。
図15図15は、図14に示すパターン例により各転送ゲートA、Bから読み出される電荷量の大きさの組み合わせを示す図である。
【発明を実施するための形態】
【0009】
図1は、一実施形態の距離画像生成装置の構成を示す図である。図1に示す距離画像生成装置1は、光飛行時間計測法を用いて対象体2の各領域までの距離を求め、それらの距離値を画素値とする距離画像を生成するためのものであり、制御部10と、光源11と、撮像素子12を含んで構成されている。ここでいう対象体2とは、測距対象となるものであれば特に限定はなく、例えば、人間でもよいし、車両などの物体であってもよい。
【0010】
制御部10は、距離画像生成装置1の全体動作を制御するものであり、例えばCPU、ROM、RAM等を含むコンピュータシステムにおいて所定の動作プログラムを実行させることにより実現される。この制御部10は、動作プログラムを実行することにより実現される機能ブロックとしての駆動タイミング生成部(駆動制御部)20、位相算出部21、周期判別部22、距離算出部23、距離画像生成部24を有する。
【0011】
光源11は、例えば近赤外光などの光を放出する発光素子(例えばLED)と、この発光素子を駆動する回路などを含んで構成されており、制御部10に制御されて所定の変調周波数による光である変調光3を出射する。光源11から出射された変調光3は対象体2に照射される。
【0012】
撮像素子12は、光源11からの変調光3が対象体2により反射されて生じる反射光4を含む入射光を受光し、その光強度を検出するためのものである。図2(A)に示すように、撮像素子12は、例えばマトリクス状に配列された複数の受光部(画素部)12aを有する。図2(B)に示すように、各受光部12aは、それぞれ、入射光の光強度に応じた電荷を生成する光電変換素子31と、この光電変換素子31によって生成される電荷を読み出すための2つの転送ゲート32a、32bを有する。
【0013】
駆動タイミング生成部20は、光源11による変調光の発光タイミングを制御するための信号を生成して光源11へ供給するとともに、光電変換素子31から電荷を読み出すタイミングを制御するための信号を生成して撮像素子12へ出力する。
【0014】
位相算出部21は、駆動タイミング生成部20によって生成された信号により制御されて撮像素子12の光電変換素子31から読み出される電荷に基づいて、変調光3と反射光4との位相差を算出する。また、位相算出部21は、反射光の光強度を算出する。
【0015】
周期判別部22は、駆動タイミング生成部20によって生成された信号により制御されて撮像素子12の光電変換素子31から読み出される電荷に基づいて、反射光4の到達した時期が変調光3の出射時から何周期目に属するものであるかを判別する。
【0016】
距離算出部23は、位相算出部21にて算出された位相差と、周期判別部22で得られた周期の各情報に基づいて、距離画像の各画素における距離(距離値)を算出する。
【0017】
距離画像生成部24は、距離算出部23により算出される各画素における距離値を用いて距離画像を生成し、図示しない外部装置へこの距離画像のデータを出力する。
【0018】
次に、本実施形態の距離画像生成装置1における距離検出並びに距離画像生成の原理について図3を参照しながら詳細に説明する。
【0019】
本実施形態の撮像素子12における各受光部12aには光電変換素子31が含まれ、光電変換素子31には2つの転送ゲート32a、32bが設けられている(図2(B)参照)。変調光の発光タイミングと各転送ゲート32a、32bのオンオフ(開閉)タイミングは同期して制御されている。変調光の変調周波数fは、例えば10[MHz]である。図3に示すように、例えば変調光がオンとなる期間において光電変換素子31の転送ゲート32aがオン(開状態)となり、変調光がオフとなる期間において光電変換素子31の転送ゲート32bがオンとなる。
【0020】
このとき、転送ゲート32aを介して光電変換素子31の電荷蓄積部から読み出される電荷量をS0、転送ゲート32bを介して光電変換素子31の電荷蓄積部から読み出される電荷量をS180とする。また、転送ゲート32a、32bの駆動タイミングを変えず、変調光を1/4周期ずらしたときに転送ゲート32aを介して光電変換素子31の電荷蓄積部から読み出される電荷量をS270、転送ゲート32bを介して光電変換素子31の電荷蓄積部から読み出される電荷量をS90とすると、対象体2の各領域との距離Dに対応する位相差Δφは以下の式で表される。なお、位相取得期間について、S90とS270を用いるために、変調光の周期をずらす方法で説明したが、変調光の周期を一定として転送ゲートのオンオフ周期を変更し、そのときに得られる電荷量をS90、S270としてもよい。
【0021】
【数1】
【0022】
また、反射光の光強度Iは以下の式で表される。
【0023】
【0024】
また、反射光が戻るまでに要した時間tは以下の式で表される。
【0025】
【0026】
上記の(1.1)式および(1.3)式に基づき、距離Dは以下の式で求めることができる。
【0027】
【0028】
上記の関係式から、変調周波数fを小さくすれば距離Dを大きくできることが分かる。ただし、(1.3)式から分かるように、測定可能な距離は、位相差Δφに換算すると最大で2π(360°)まで、すなわち変調光の1周期分が限界であった。位相差Δφが2πを超える場合には再び0[m]から計算されることになる。これは、例えば、位相差Δφがπ/6(=30°)と得られたときに、それが実際には1つ目の周期に属するπ/6(=30°)にであるのか、2つ目の周期に属する13π/6(=390°)であるのか、3つ目の周期に属する25π/6(=750°)であるのか、それ以外であるかを判別できないからである。
【0029】
例えば、変調周波数fが10[MHz]の場合、測定可能な最大距離は15[m]であるが、従来方法によると1[m]と16[m]は同じ1[m]として算出されてしまう。他方、変調周波数fを下げることで測定可能な最大距離を大きくすることができるがその場合は測定結果にバラつきが大きくなる。例えば変調周波数fを1[MHz]とした場合には150[m]まで測定可能であるが、位相差のバラつきの影響も大きくなるので、例えばπ/6のバラつきに対して距離の測定結果は0〜12.5[m]の範囲でバラつくことになる。
【0030】
そこで本実施形態では、以下に説明する方法によって反射光の到達時期の属する周期を判別し、それに基づいて距離を求めることにより、距離バラつきを抑えつつ最大測距可能距離をより大きくすることを可能としている。以下、その詳細について説明する。
【0031】
図4は、距離測定時のフレーム構造を説明するための図である。図示のように本実施形態では、位相取得期間と周期判別期間が含まれている。位相取得期間は、上記した電荷量S0、S90、S180、S270を得るための期間である。位相取得期間では、図3に示した期間が多数回繰り返される。周期判別期間は、本実施形態における距離測定において特徴的な期間であり、位相取得期間において得られる位相差Δφの属する本来の周期を求めるために設けられた期間である。実際の距離測定時には、周期判別期間において、第1期間(α)および第2期間(β)が多数回(例えば数千回〜数万回)繰り返されるが、ここでは説明を簡単にするため第1期間および第2期間を各1回として説明する。なお、位相取得期間と周期判別期間の前後関係は不問であり、両者が入れ替わってもよい。
【0032】
位相取得期間においては、上記したように撮像素子12の光電変換素子31において、各転送ゲート32a、32bが変調光(第1変調光)に同期して所定タイミングでオン/オフを制御され、各電荷量S0、S90、S180、S270が位相算出部21によって取得される。ここで得られる各電荷量を用いて位相算出部21によって位相差Δφが算出される。
【0033】
周期判別期間は、各電荷量に基づいて得られる位相差Δφの属する本来の周期を求めるための期間である。例えば位相差Δφがπ/6と得られたときに、それが実際にはπ/6(1つ目の周期)、13π/6(3つ目の周期)、25π/6(5つ目の周期)などのいずれであるかを判別するための期間である。この周期判別期間には、少なくとも第1期間(第1判別期間)と第2期間(第2判別期間)が含まれる。本実施形態では、これら第1期間と第2期間において2つの転送ゲートのオン/オフ(開/閉)を適宜制御してそれぞれ得られる電荷量を比較することで、位相取得期間に得られた位相差Δφが実際には何周期目に属するものであるかを判別する。ここでいう2つの転送ゲートとしては、上記した各転送ゲート32a、32bを用いることができる。以降の説明では、便宜上、周期判別期間において用いられる転送ゲート32aを「転送ゲートA」と呼び、転送ゲート32bを「転送ゲートB」と呼ぶことにする。
【0034】
周期判別期間では、駆動タイミング生成部20の制御により、第1期間と第2期間のそれぞれにおいて所定タイミングで光源11から変調光(第2変調光)を出射させる。その際に、第1期間と第2期間では変調光の発光時期(出射時期)が異なるようにする。具体的には、第1期間における発光時期(第1時期)に対して、第2期間における発光時期(第2時期)は、π/4以上ずれるようにすることが好ましい。すなわち、第1期間の始期から変調光の発光時期までの長さと、第2期間の始期から変調光の発光時期までの長さとがπ/4以上異なるようにすることが好ましい。なお、原理上はπ/4より小さいずれでもよいし、π/4より大きくてもよいが、あまりずれが大きすぎないほうが好ましい。図示の例では、第1期間における変調光はこの第1期間の始期(0)から始まりπまでの間でオンとなっている。これに対して、第2期間における変調光はこの第2期間の始期(0)から2π遅れた時点から3πまでの間でオンである。すなわち、両者の発光時期のずれは2πである。
【0035】
なお、第1期間、第2期間のそれぞれにおける変調光の発光時間は、各転送ゲートA、Bの最小オンオフ幅の長さ以内に設定される。また、各転送ゲートA、Bの最小オンオフ幅は、変調光の変調周期(一定期間)と同一とする。図示の例では変調光の変調周期が100nsであり、各転送ゲートA、Bの最小オンオフ幅も同じ100nsに設定されている。
【0036】
また、第1期間と第2期間では、各転送ゲートA、Bが所定タイミングでオンまたはオフに切り換えられる。このとき、各転送ゲートA、Bごとに、第1期間と第2期間でオン/オフの制御パターンは同一に設定される。図示の例では、第1期間と第2期間のいずれにおいても、転送ゲートAについては、サブ期間(1)〜(6)でオン、オフ、オン、オン、オン、オフの順で切り換えられ、転送ゲートBについては、サブ期間(1)〜(6)の各々でオフ、オン、オン、オフ、オン、オンの順で切り換えられる。また、転送ゲートAに対するオン/オフの制御パターンと、転送ゲートBに対するオン/オフの制御パターンとは異なるように設定されている。このようなオン/オフの制御パターンで各転送ゲートA、Bを制御することで、各転送ゲートA、Bから読み出される電荷量の大小関係の組み合わせパターンに基づいて、反射光がどの周期で到達しているかを判別することができる。
【0037】
なお、各転送ゲートにおけるオン/オフの制御パターンについては、転送ゲートAと転送ゲートBのいずれもが同時にオフとなるような期間を設けることは可能であるが、構成が複雑化するため、設けないことが望ましい。
【0038】
図5に第1期間の一部を拡大して示すように、変調光の発光時期(図5(A)参照)からπ/2遅れて反射光が到達したとする(図5(B)参照)。また、転送ゲートAは0〜2πまでの周期でオン、2π〜4πまでの周期でオフであり(図5(C)参照)、転送ゲートBは0〜2πまでの周期でオフ、2π〜4πまでの周期でオンに制御されているとする(図5(D)参照)。この場合、反射光の到達時期において各転送ゲートA、Bから読み出される電荷量を比較すると、電荷は転送ゲートAに対応する電荷蓄積部のみに溜まるので、転送ゲートAの電荷量のほうが転送ゲートBの電荷量よりも大きくなる。この関係を「A>B」と表記する(図5(E)参照)。
【0039】
同様に、図6に第1期間の一部を拡大して示すように、変調光の発光時期(図6(A)参照)から3π/2遅れて反射光が到達したとする(図6(B)参照)。また、転送ゲートAは0〜2πまでの周期でオン、2π〜4πまでの周期でオフであり(図6(C)参照)、転送ゲートBは0〜2πまでの周期でオフ、2π〜4πまでの周期でオンに制御されているとする(図6(D)参照)。この場合、転送ゲートAはオンからオフになる方向へ変化し、転送ゲートBはオフからオンになる方向へ変化するので、それに応じて各転送ゲートA、Bの各電荷蓄積部に溜まる電荷量も変化する。このため、反射光の到達時期(3π/2)において各転送ゲートA、Bから読み出される電荷量を比較すると、転送ゲートAの電荷量のほうが転送ゲートBの電荷量よりも大きい。この関係を「A>B」と表記する(図6(E)参照)。
【0040】
同様に、図7に第2期間の一部を拡大して示すように、変調光の発光時期(図7(A)参照)からπ/2遅れて反射光が到達したとする(図7(B)参照)。また、転送ゲートAは0〜2πまでの周期でオン、2π〜4πまでの周期でオフであり(図7(C)参照)、転送ゲートBは0〜2πまでの周期でオフ、2π〜4πまでの周期でオンに制御されているとする(図7(D)参照)。この場合、反射光の到達時期において各転送ゲートA、Bから読み出される電荷量を比較すると、電荷は転送ゲートBに対応する電荷蓄積部のみに溜まるので、転送ゲートBの電荷量のほうが転送ゲートAの電荷量よりも大きい。この関係を「A<B」と表記する(図7(E)参照)。
【0041】
3つの例を示したように、反射光の到達時期に応じて各周期において各転送ゲートA、Bから読み出される電荷量の比較を行ったものをまとめると図8に示す通りの内容となる。具体的には、まず、0〜3π/2の期間では第1期間が「A>B」、第2期間が「A<B」となる。この組み合わせパターンを「パターン1」と呼ぶ。同様に、3π/2〜5π/2の期間では第1期間、第2期間ともに「A<B」となる。この組み合わせパターンを「パターン2」と呼ぶ。5π/2〜7π/2の期間では第1期間が「A<B」、第2期間が「A=B」となる。この組み合わせパターンを「パターン3」と呼ぶ。7π/2〜4πの期間では第1期間が「A<B」、第2期間が「A>B」となる。この組み合わせパターンを「パターン4」と呼ぶ。4π〜5πの期間では第1期間が「A=B」、第2期間が「A>B」となる。この組み合わせパターンを「パターン5」と呼ぶ。5π〜13π/2の期間では第1期間、第2期間ともに「A>B」となる。この組み合わせパターンを「パターン6」と呼ぶ。13π/2〜15π/2の期間では第1期間が「A>B」、第2期間が「A=B」となる。この組み合わせパターンを「パターン7」と呼ぶ。13π/2〜8πの期間は再び組み合わせパターンが「パターン1」となる。8π〜9πの期間では第1期間が「A=B」、第2期間が「A<B」となる。この組み合わせパターンを「パターン8」と呼ぶ。9π〜10πの期間は再び組み合わせパターンが「パターン2」となる。10π〜23π/2の期間は再び組み合わせパターンが「パターン4」となる。23π/2〜12πの期間は再び組み合わせパターンが「パターン6」となる。
【0042】
このように、各期間における転送ゲートA、Bの電荷量の組み合わせを場合分けすると、本実施形態ではパターン1〜8の8通りの組み合わせパターンが得られる。このため、転送ゲートA、Bの電荷量の組み合わせパターンを用いることで、反射光がどの周期で到達しているかを判別することができる。例えば、位相差Δφがπ〜3π/2の間の値φ1であったとすると、電荷量の関係がパターン1(「A>B」&「A<B」)であれば、位相差Δφの属する周期は1つ目の周期(0〜2π)であり、位相差Δφはφ1となる。また、電荷量の関係がパターン3(「A<B」&「A=B」)であれば、位相差Δφの属する周期は2つ目の周期(2π〜4π)であり、位相差Δφはφ1+2πとなる。また、電荷量の関係がパターン6(「A>B」&「A>B」)であれば、位相差Δφの属する周期は3つ目の周期(4π〜6π)であり、位相差はφ1+4πとなる。このようにすれば、反射光の到達時期に応じた適切な位相差を求めることができる。
【0043】
ここで、図8において一点鎖線で示すように、本実施形態ではパターン2、6については重複が存在する。このため、例えば位相差Δφが3π/2〜2πの間の値φ2であった場合に、電荷量の関係がパターン2であったとすると電荷量の関係だけでは反射光の到達時期に対応する周期が1つ目の周期(0〜2π)であるのか、5つ目の周期(8π〜10π)であるのかを判別することができない。パターン6の場合も同様である。このようなパターンの重複が生じる場合について、周期を判別する方法を以下に説明する。
【0044】
一例として、位相差Δφが3π/2であり、電荷量の関係がパターン2である場合を考える。なお、ここでは、図8に示す3π/2〜2πの期間に対応するパターン2を「パターン2」とし、19π/2〜10πの期間に対応するパターン2を「パターン2′」として両者を区別する。
【0045】
図9(A)は、パターン2に対応する第1期間において各転送ゲートA、Bに対応する電荷蓄積部に溜まる電荷の様子を示す図である。また、図9(B)は、パターン2に対応する第2期間において各転送ゲートA、Bに対応する電荷蓄積部に溜まる電荷の様子を示す図である。図9(C)は、パターン2′に対応する第1期間において各転送ゲートA、Bに対応する電荷蓄積部に溜まる電荷の様子を示す図である。また、図9(D)は、パターン2′に対応する第2期間において各転送ゲートA、Bに対応する電荷蓄積部に溜まる電荷の様子を示す図である。各図中、実線は転送ゲートAに対応する電荷蓄積部に溜まる電荷、一点鎖線は転送ゲートBに対応する電荷蓄積部に溜まる電荷にそれぞれ対応している。
【0046】
図9(A)に示すように、反射光の到達時期が変調光の発光タイミングから3π/2〜7π/4であった期間において、パターン2の第1期間における各転送ゲートA、Bに対応する電荷蓄積部の電荷量は、転送ゲートAでは0.5〜0.25の間となり、転送ゲートBでは0.5〜0.75の間となる。よって、この期間の電荷量を比で求めると、1:1〜1:3の間となる。これに対して、図9(B)〜図9(D)に示すように、対応する期間において、パターン2の第1期間の場合と同じ電荷量の比率となるものはない。従って、3π/2〜7π/4の期間においては、第1期間における各転送ゲートA、Bに対応する電荷蓄積部の電荷量の比が1:1〜1:3の間(換言すれば、1〜3の間)の値であるか否かを判断すれば、パターン2とパターン2′のいずれに当てはまるかを判別することができる。
【0047】
他方、図9(D)に示すように、反射光の到達時期が変調光の発光タイミングから7π/4〜2πであった期間(19π/2〜10πに対応する期間)において、パターン2′の第2期間における各転送ゲートA、Bに対応する電荷蓄積部の電荷量は、転送ゲートAでは0.25〜0.5の間となり、転送ゲートBでは0.75〜0.5の間となる。よって、この期間の電荷量を比で求めると、1:1〜1:3の間となる。これに対して、図9(A)〜図9(C)に示すように、同期間において、パターン2′の第2期間の場合と同じ電荷量の比率となるものはない。従って、7π/4〜2πの期間においては、第2期間における各転送ゲートA、Bに対応する電荷蓄積部の電荷量の比が1:1〜1:3の間(換言すれば、1〜3の間)の値であるか否かを判断すれば、パターン2とパターン2′のいずれに当てはまるかを判別することができる。
【0048】
パターン6の場合についても上記と同様の処理を適用することができる。ここでは、図8に示す11π/2〜6πの期間に対応するパターン6を「パターン6」とし、23π/2〜12πの期間に対応するパターン6を「パターン6′」として両者を区別する。
【0049】
図10(A)は、パターン6に対応する第1期間において各転送ゲートA、Bに対応する電荷蓄積部に溜まる電荷の様子を示す図である。また、図10(B)は、パターン6に対応する第2期間において各転送ゲートA、Bに対応する電荷蓄積部に溜まる電荷の様子を示す図である。図10(C)は、パターン6′に対応する第1期間において各転送ゲートA、Bに対応する電荷蓄積部に溜まる電荷の様子を示す図である。また、図10(D)は、パターン6′に対応する第2期間において各転送ゲートA、Bに対応する電荷蓄積部に溜まる電荷の様子を示す図である。各図中、実線は転送ゲートAに対応する電荷蓄積部に溜まる電荷、一点鎖線は転送ゲートBに対応する電荷蓄積部に溜まる電荷にそれぞれ対応している。
【0050】
図10(C)に示すように、反射光の到達時期が変調光の発光タイミングから3π/2〜7π/4であった期間において、パターン6′の第1期間における各転送ゲートA、Bに対応する電荷蓄積部の電荷量は、転送ゲートAでは0.5〜0.75の間となり、転送ゲートBでは0.5〜0.25の間となる。よって、この期間の電荷量を比で求めると、1:1〜1:3の間となる。これに対して、図10(A)、図10(B)、図10(D)に示すように、同期間において、パターン6′の第1期間の場合と同じ電荷量の比率となるものはない。従って、3π/2〜7π/4の期間においては、第1期間における各転送ゲートA、Bに対応する電荷蓄積部の電荷量の比が1:1〜1:3の間(換言すれば、1〜3の間)の値であるか否かを判断すれば、パターン6とパターン6′のいずれに当てはまるかを判別することができる。
【0051】
他方、図10(D)に示すように、反射光の到達時期が変調光の発光タイミングから7π/4〜2πであった期間において、パターン6′の第2期間における各転送ゲートA、Bに対応する電荷蓄積部の電荷量は、転送ゲートAでは0.75〜0.5の間となり、転送ゲートBでは0.25〜0.5の間となる。よって、この期間の電荷量を比で求めると、1:1〜1:3の間となる。これに対して、図10(A)〜図10(C)に示すように、同期間において、パターン6′の第2期間の場合と同じ電荷量の比率となるものはない。従って、7π/4〜2πの期間においては、第2期間における各転送ゲートA、Bに対応する電荷蓄積部の電荷量の比が1:1〜1:3の間(換言すれば、1/3〜1の間)の値であるか否かを判断すれば、パターン6とパターン6′のいずれに当てはまるかを判別することができる。
【0052】
図11は、距離画像生成装置の動作手順を説明するためのフローチャートである。なお、ここに示すフローチャートに含まれる各情報処置については、情報処理の結果に矛盾や不整合などの不都合が生じない限りにおいて適宜その順序を変更することが可能であり、またここで説明しない他の情報処理を適宜追加することも可能であり、そのような実施態様も排除されない。
【0053】
駆動タイミング生成部20により光源11が制御されて、変調光3が光源11から出射し、その反射光4を含む入射光が撮像素子12によって受光されると、位相算出部21は、位相取得期間における位相算出のためのデータ(電荷量S0、S90、S180、S270)を取得する(ステップS10)。また、周期判別部22は、周期判別期間における周期判別のためのデータ(転送ゲートA、Bに対応する電荷量)を取得する(ステップS11)。
【0054】
位相算出部21は、電荷量S0、S90、S180、S270に基づいて位相差Δφを算出する(ステップS12)。
【0055】
周期判別部22は、転送ゲートA、Bに対応する電荷量の大小関係の組み合わせパターン(1〜8)に基づいて、位相差Δφの属する周期を判別(特定)する(ステップS13)。
【0056】
ここで、組み合わせパターンに重複がある場合、本実施形態ではパターン2またはパターン6である場合に(ステップS14;YES)、周期判別部22は、転送ゲートA、Bに対応する電荷量の比に基づいて周期を判別(特定)する(ステップS15)。具体的には、上記したパターン2とパターン2′のいずれであるか、若しくはパターン6とパターン6′のいずれであるかが特定され、それに応じて周期が判別される。
【0057】
上記のようにして周期が判別されると、距離算出部23は、その判別された周期(位相差の属する周期)と、位相算出部21によって算出された位相差Δφに基づいて各画素の距離Dを算出する(ステップS16)。そして、距離画像生成部24は、得られた各画素の距離Dに基づいて距離画像を生成する(ステップS17)。その後、ステップS10へ戻る。
【0058】
ここで、上記したステップS13〜S15における周期の判別(特定)の具体的な処理手順は種々考えられ、そのいずれでもよい。例えば、転送ゲートA、Bに対応する電荷量の大小関係を全て場合分けして逐次判定してもよい。この場合、パターン2またはパターン6に当たった際にはさらに位相差Δφが3π/2〜7π/4の間にあるか否かで場合分けし、各場合に応じて第1期間または第2期間での転送ゲートA、Bに対応する電荷量の比に基づいて周期を判別すればよい。
【0059】
また、例えば図12に示すテーブルのように、第1期間、第2期間の各々における「A>B」に対して「10」、「A<B」に対して「01」、「A=B」に対して「00」のというように所定の値を割り当てておき、それらの値を組み合わせた所定の変数Adr(XXXX)を生成し、その内容に応じて周期を判別してもよい。例えば、第1期間が「A>B」、第2期間が「A<B」であれば、変数Adrの値は(1001)となり、この値に対応するのはパターン1(図中「P=1」と表記)であることが特定できる。このとき、パターン2、6に対応する変数Adrが生成された場合には、さらに上記と同様に位相差Δφが3π/2〜7π/4の間にあるか否かで場合分けし、各場合に応じて第1期間または第2期間での転送ゲートA、Bに対応する電荷量の比に基づいて周期を判別すればよい。
【0060】
以上のような実施形態によれば、光飛行時間計測法を用いて距離画像を生成する際における距離バラつきを抑えつつ最大測距可能距離をより大きくすることが可能となる。また、位相取得時と周期判別時で同じ変調周波数の変調光を用いることができるので、装置構成の複雑化を招くことがない。
【0061】
なお、本発明は上記した実施形態等の内容に限定されるものではなく、本発明の要旨の範囲内において種々に変形して実施をすることが可能である。例えば、上記した実施形態等において示した諸条件は一例であり、適宜変更することが可能である。また、各受光部12aの構成は上記したものに限定されない。例えば図13(A)に示すように1つの光電変換素子131に対して3つの転送ゲート133a、133b、133cが設けられてもよいし、図13(B)に示すように1つの光電変換素子231に対して4つの転送ゲート233a、233b、234a、234bが設けられてもよいし、原理上、各受光部12aに設けられる転送ゲートの数が多いほど測定可能な距離を伸ばすことができる。
【0062】
また、上記した実施形態では各周期における転送ゲートA、Bの電荷量の関係を場合分けした際にパターン2、6に重複を生じる場合を例示していたが、このような重複が生じないようにすることも可能である。例えば、図14に例示するような転送ゲートのオンオフのパターン、具体的には、第1期間と第2期間のいずれにおいても、転送ゲートAについては、サブ期間(1)〜(6)でオン、オフ、オン、オフ、オン、オンの順で切り換えられ、転送ゲートBについては、サブ期間(1)〜(6)の各々でオフ、オン、オン、オン、オフ、オンの順で切り換えられるというオン/オフの制御パターンで各転送ゲートA、Bを制御することで、図15に示すように各転送ゲートA、Bから読み出される電荷量の大きさの組み合わせパターンに重複を生じないようにすることができる。それにより、パターン重複の際の例外処理(図9図10参照)を省略することができるので、アルゴリズムが簡素化されて処理負荷が軽減する。なお、図14に示したパターンはあくまで例示であり、ほかにも種々のオン/オフの制御パターンを想定し得る。
【0063】
また、上記した実施形態では求められた距離から距離画像を生成する装置(方法)において本発明を適用した例を示していたが、単に対象体2との間の距離を求める装置(方法)において本発明を適用してもよい。
【符号の説明】
【0064】
1:距離画像生成装置、2:対象体、3:変調光、4:反射光、10:制御部、11:光源、12:撮像素子、12a:受光部、20:駆動タイミング生成部、21:位相算出部、22:周期判別部、23:距離算出部、24:距離画像生成部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15