特許 7407021 距離検出装置、距離検出方法、距離画像生成装置、距離画像生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-20

(45)【発行日】2023-12-28

(54)【発明の名称】距離検出装置、距離検出方法、距離画像生成装置、距離画像生成方法

(51)【国際特許分類】

   G01S 17/36 20060101AFI20231221BHJP

   G01S 17/894 20200101ALI20231221BHJP

【ＦＩ】

G01S17/36

G01S17/894

【請求項の数】 9

(21)【出願番号】P 2020037391

(22)【出願日】2020-03-05

(65)【公開番号】P2021139733

(43)【公開日】2021-09-16

【審査請求日】2023-02-01

(73)【特許権者】

【識別番号】000002303

【氏名又は名称】スタンレー電気株式会社

(74)【代理人】

【識別番号】110001184

【氏名又は名称】弁理士法人むつきパートナーズ

(72)【発明者】

【氏名】新岡 秀将

【審査官】▲高▼場 正光

(56)【参考文献】

【文献】米国特許出願公開第２０１８／００３１６８１（ＵＳ，Ａ１）

【文献】特開２０１６－０９０４３６（ＪＰ，Ａ）

【文献】特開２０１８－０２１７６４（ＪＰ，Ａ）

【文献】特開２０１７－１６７１２０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｓ ７／４８ － Ｇ０１Ｓ ７／５１

Ｇ０１Ｓ １７／００ － Ｇ０１Ｓ １７／９５

(57)【特許請求の範囲】

【請求項1】

対象体との間の距離を検出する装置であって、
所定の変調周波数の光を出射する光源と、
各々独立にオンとオフを切り替え可能な複数の転送ゲートを有する受光部と、
前記光源及び前記受光部の動作を制御する駆動制御部と、
位相取得期間において、前記駆動制御部の制御によって前記光源から出射する第１変調光と当該第１変調光により生じる第１反射光との位相差を、前記受光部の前記複数の転送ゲートを介して読み出される各電荷量に基づいて求める位相算出部と、
前記位相取得期間とは別途設けられる期間であって少なくとも第１期間と第２期間を有する周期判別期間において、前記駆動制御部の制御によって前記光源から出射する第２変調光により生じる第２反射光に対応して前記受光部の前記複数の転送ゲートを介して読み出される各電荷量に基づいて、前記位相差が前記第１変調光の出射時期を基準としていくつ目の周期に属するものであるかを判別する周期判別部と、
前記位相算出部によって得られる前記位相差と前記周期判別部によって得られる前記位相差の属する周期に基づいて前記距離を求める距離算出部と、
を含み、
前記光源は、前記第１期間内の第１時期に１つ目の前記第２変調光を出射するとともに前記第２期間内の第２時期に２つ目の前記第２変調光を出射するように前記駆動制御部によって制御され、
前記複数の転送ゲートの各々は、前記第１期間と前記第２期間の各々において、前記変調周波数に対応した周期で繰り返される一定期間毎にオン／オフを切り替えるように前記駆動制御部によって制御され、
前記周期判別部は、前記第１期間と前記第２期間の各々において前記第２反射光に応じて前記複数の転送ゲートの各々から得られる前記電荷量の大小関係の組み合わせパターンに基づいて前記位相差の属する周期を判別する、
距離検出装置。

【請求項2】

前記複数の転送ゲートのうちの１つの転送ゲートに対するオン／オフの制御パターンとそれ以外の１つの転送ゲートに対するオン／オフの制御パターンとが異なる、
請求項１に記載の距離検出装置。

【請求項3】

前記複数の転送ゲートの各々ごとに、前記第１期間の前記オン／オフの制御パターンと前記第２期間の前記オン／オフの制御パターンが同じである、
請求項１又は２に記載の距離検出装置。

【請求項4】

前記第２変調光の発光時間が前記一定期間の長さよりも短い、
請求項１～３の何れか１項に記載の距離検出装置。

【請求項5】

前記第１期間の始期から前記第１時期までの時間の長さと前記第２期間の始期から前記第２時期までの時間の長さとが異なる、
請求項１～４の何れか１項に記載の距離検出装置。

【請求項6】

前記第２反射光に応じて特定される前記電荷量の大小関係の組み合わせパターンが２つ以上の周期に重複して存在している場合に、前記複数の転送ゲートの各々に対応した前記電荷量の比に基づいて前記位相差の属する周期を判別する、
請求項１～５の何れか１項に記載の距離検出装置。

【請求項7】

請求項１～６の何れかに記載の距離検出装置を用いて複数の距離値からなる距離画像を生成する、距離画像生成装置。

【請求項8】

所定の変調周波数の光を出射する光源、及び、各々独立にオンとオフを切り替え可能な複数の転送ゲートを有する受光部を用いて対象体との距離を検出する方法であって、
位相取得期間において、前記光源から出射した第１変調光と当該第１変調光により生じる第１反射光との位相差を、前記受光部の前記複数の転送ゲートを介して読み出される各電荷量に基づいて求める第１ステップと、
前記位相取得期間とは別途設けられる期間であって少なくとも第１期間と第２期間を有する周期判別期間において、前記光源から出射した第２変調光により生じる第２反射光に対応して前記受光部の前記複数の転送ゲートを介して読み出される各電荷量に基づいて、前記位相差が前記第１変調光の出射時期を基準としていくつ目の周期に属するものであるかを判別する第２ステップと、
前記第１ステップで得られる前記位相差と前記第２ステップで得られる前記位相差の属する周期に基づいて前記距離を求める第３ステップと、
を含み、
前記第２ステップは、
前記光源から、前記第１期間内の第１時期に１つ目の前記第２変調光が出射し、前記第２期間内の第２時期に２つ目の前記第２変調光が出射すること、
前記第１期間と前記第２期間の各々において、前記変調周波数に対応した周期で繰り返される一定期間毎に前記複数の転送ゲートの各々のオン／オフが切り替えられること、
前記第１期間と前記第２期間の各々において前記第２反射光に応じて前記複数の転送ゲートの各々から得られる前記電荷量の大小関係の組み合わせパターンに基づいて前記位相差の属する周期を判別すること、
を含む、
距離検出方法。

【請求項9】

請求項８に記載の距離検出方法を用いて複数の距離値からなる距離画像を生成する、距離画像生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、光飛行時間計測法を用いて測定される光飛行時間に基づいて対象体までの距離を測定する技術並びに当該測定した距離を用いて距離画像を生成する技術に関する。

【背景技術】

【0002】

従来から、光飛行時間計測法を用いて測定される光飛行時間に基づいて対象体までの距離を測定して距離画像を生成する技術が知られている。例えば、国際公開第２０１０－１００８４６号公報（特許文献１）には、多重変調光を用いて距離を測定する技術が記載されている。

【0003】

ところで、一般に光飛行時間計測法を用いる距離画像生成装置においては、理論上の最大測距可能距離と距離バラつきの間にはトレードオフの関係があり、最大測距可能距離を増大させようとすると距離バラつきが増大する。これに対し、上記特許文献１に記載の先行例では、低周波の変調光を用いて長距離測定を行い、高周波の変調光を用いて精密測定を行っている。しかし、この場合には多重変調光を用いる必要があることから装置構成の複雑化を招く。

【先行技術文献】

【特許文献】

【0004】

【文献】国際公開第２０１０－１００８４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明に係る具体的態様は、光飛行時間計測法を用いて距離画像を生成する際における距離バラつきを抑えつつ最大測距可能距離をより大きくすることが可能な技術を提供することを目的の１つとする。

【課題を解決するための手段】

【0006】

［１］本発明に係る一態様の距離検出装置は、（ａ）対象体との間の距離を検出する装置であって、（ｂ）所定の変調周波数の光を出射する光源と、（ｃ）各々独立にオンとオフを切り替え可能な複数の転送ゲートを有する受光部と、（ｄ）前記光源及び前記受光部の動作を制御する駆動制御部と、（ｅ）位相取得期間において、前記駆動制御部の制御によって前記光源から出射する第１変調光と当該第１変調光により生じる第１反射光との位相差を、前記受光部の前記複数の転送ゲートを介して読み出される各電荷量に基づいて求める位相算出部と、（ｆ）前記位相取得期間とは別途設けられる期間であって少なくとも第１期間と第２期間を有する周期判別期間において、前記駆動制御部の制御によって前記光源から出射する第２変調光により生じる第２反射光に対応して前記受光部の前記複数の転送ゲートを介して読み出される各電荷量に基づいて、前記位相差が前記第１変調光の出射時期を基準としていくつ目の周期に属するものであるかを判別する周期判別部と、（ｇ）前記位相算出部によって得られる前記位相差と前記周期判別部によって得られる前記位相差の属する周期に基づいて前記距離を求める距離算出部と、を含み、（ｈ）前記光源は、前記第１期間内の第１時期に１つ目の前記第２変調光を出射するとともに前記第２期間内の第２時期に２つ目の前記第２変調光を出射するように前記駆動制御部によって制御され、（ｉ）前記複数の転送ゲートの各々は、前記第１期間と前記第２期間の各々において、前記変調周波数に対応した周期で繰り返される一定期間毎にオン／オフを切り替えるように前記駆動制御部によって制御され、（ｊ）前記周期判別部は、前記第１期間と前記第２期間の各々において前記第２反射光に応じて前記複数の転送ゲートの各々から得られる前記電荷量の大小関係の組み合わせパターンに基づいて前記位相差の属する周期を判別する、距離検出装置である。
［２］本発明に係る一態様の距離画像生成装置は、上記［１］に記載の距離検出装置を用いて複数の距離値からなる距離画像を生成する、距離画像生成装置である。
［３］本発明に係る一態様の距離検出方法は、（ａ）所定の変調周波数の光を出射する光源、及び、各々独立にオンとオフを切り替え可能な複数の転送ゲートを有する受光部を用いて対象体との距離を検出する方法であって、（ｂ）位相取得期間において、前記光源から出射した第１変調光と当該第１変調光により生じる第１反射光との位相差を、前記受光部の前記複数の転送ゲートを介して読み出される各電荷量に基づいて求める第１ステップと、（ｃ）前記位相取得期間とは別途設けられる期間であって少なくとも第１期間と第２期間を有する周期判別期間において、前記光源から出射した第２変調光により生じる第２反射光に対応して前記受光部の前記複数の転送ゲートを介して読み出される各電荷量に基づいて、前記位相差が前記第１変調光の出射時期を基準としていくつ目の周期に属するものであるかを判別する第２ステップと、（ｄ）前記第１ステップで得られる前記位相差と前記第２ステップで得られる前記位相差の属する周期に基づいて前記距離を求める第３ステップと、を含み、（ｅ）前記第２ステップは、（ｅ１）前記光源から、前記第１期間内の第１時期に１つ目の前記第２変調光が出射し、前記第２期間内の第２時期に２つ目の前記第２変調光が出射すること、（ｅ２）前記第１期間と前記第２期間の各々において、前記変調周波数に対応した周期で繰り返される一定期間毎に前記複数の転送ゲートの各々のオン／オフが切り替えること、（ｅ３）前記第１期間と前記第２期間の各々において前記第２反射光に応じて前記複数の転送ゲートの各々から得られる前記電荷量の大小関係の組み合わせパターンに基づいて前記位相差の属する周期を判別すること、を含む、距離検出方法である。
［４］本発明に係る一態様の距離画像生成方法は、上記［３］に記載の距離検出方法を用いて複数の距離値からなる距離画像を生成する、距離画像生成方法である。

【0007】

上記構成によれば、光飛行時間計測法を用いて距離画像を生成する際において、装置構成の複雑化を招かずに、距離バラつきを抑えつつ最大測距可能距離をより大きくすることが可能となる。

【図面の簡単な説明】

【0008】

【図1】図１は、一実施形態の距離画像生成装置の構成を示す図である。

【図2】図２（Ａ）、図２（Ｂ）は、撮像素子の構成を示す図である。

【図3】図３は、距離画像生成の原理について説明するための図である。

【図4】図４は、距離測定時のフレーム構造を説明するための図である。

【図5】図５は、第１期間の一部を拡大して示す図である。

【図6】図６は、第１期間の一部を拡大して示す図である。

【図7】図７は、第２期間の一部を拡大して示す図である。

【図8】図８は、反射光の到達タイミングに応じて各周期における各転送ゲートＡ、Ｂにおける電荷量の比較を行った内容を示す図である。

【図9】図９（Ａ）～図９(Ｄ)は、パターン２または２′において、各転送ゲートＡ、Ｂに対応する電荷蓄積部に溜まる電荷の様子を示す図である。

【図10】図１０（Ａ）～図１０(Ｄ)は、パターン６または６′において、各転送ゲートＡ、Ｂに対応する電荷蓄積部に溜まる電荷の様子を示す図である。

【図11】図１１は、距離画像生成装置の動作手順を説明するためのフローチャートである。

【図12】図１２は、ステップＳ１３～Ｓ１５における周期の判別（特定）に用いることができるテーブルの例である。

【図13】図１３（Ａ）、図１３（Ｂ）は、受光部の他の構成例を示す図である。

【図14】図１４は、転送ゲートのオンオフのパターン例を示す図である。

【図15】図１５は、図１４に示すパターン例により各転送ゲートＡ、Ｂから読み出される電荷量の大きさの組み合わせを示す図である。

【発明を実施するための形態】

【0009】

図１は、一実施形態の距離画像生成装置の構成を示す図である。図１に示す距離画像生成装置１は、光飛行時間計測法を用いて対象体２の各領域までの距離を求め、それらの距離値を画素値とする距離画像を生成するためのものであり、制御部１０と、光源１１と、撮像素子１２を含んで構成されている。ここでいう対象体２とは、測距対象となるものであれば特に限定はなく、例えば、人間でもよいし、車両などの物体であってもよい。

【0010】

制御部１０は、距離画像生成装置１の全体動作を制御するものであり、例えばＣＰＵ、ＲＯＭ、ＲＡＭ等を含むコンピュータシステムにおいて所定の動作プログラムを実行させることにより実現される。この制御部１０は、動作プログラムを実行することにより実現される機能ブロックとしての駆動タイミング生成部（駆動制御部）２０、位相算出部２１、周期判別部２２、距離算出部２３、距離画像生成部２４を有する。

【0011】

光源１１は、例えば近赤外光などの光を放出する発光素子（例えばＬＥＤ）と、この発光素子を駆動する回路などを含んで構成されており、制御部１０に制御されて所定の変調周波数による光である変調光３を出射する。光源１１から出射された変調光３は対象体２に照射される。

【0012】

撮像素子１２は、光源１１からの変調光３が対象体２により反射されて生じる反射光４を含む入射光を受光し、その光強度を検出するためのものである。図２（Ａ）に示すように、撮像素子１２は、例えばマトリクス状に配列された複数の受光部（画素部）１２ａを有する。図２（Ｂ）に示すように、各受光部１２ａは、それぞれ、入射光の光強度に応じた電荷を生成する光電変換素子３１と、この光電変換素子３１によって生成される電荷を読み出すための２つの転送ゲート３２ａ、３２ｂを有する。

【0013】

駆動タイミング生成部２０は、光源１１による変調光の発光タイミングを制御するための信号を生成して光源１１へ供給するとともに、光電変換素子３１から電荷を読み出すタイミングを制御するための信号を生成して撮像素子１２へ出力する。

【0014】

位相算出部２１は、駆動タイミング生成部２０によって生成された信号により制御されて撮像素子１２の光電変換素子３１から読み出される電荷に基づいて、変調光３と反射光４との位相差を算出する。また、位相算出部２１は、反射光の光強度を算出する。

【0015】

周期判別部２２は、駆動タイミング生成部２０によって生成された信号により制御されて撮像素子１２の光電変換素子３１から読み出される電荷に基づいて、反射光４の到達した時期が変調光３の出射時から何周期目に属するものであるかを判別する。

【0016】

距離算出部２３は、位相算出部２１にて算出された位相差と、周期判別部２２で得られた周期の各情報に基づいて、距離画像の各画素における距離（距離値）を算出する。

【0017】

距離画像生成部２４は、距離算出部２３により算出される各画素における距離値を用いて距離画像を生成し、図示しない外部装置へこの距離画像のデータを出力する。

【0018】

次に、本実施形態の距離画像生成装置１における距離検出並びに距離画像生成の原理について図３を参照しながら詳細に説明する。

【0019】

本実施形態の撮像素子１２における各受光部１２ａには光電変換素子３１が含まれ、光電変換素子３１には２つの転送ゲート３２ａ、３２ｂが設けられている（図２（Ｂ）参照）。変調光の発光タイミングと各転送ゲート３２ａ、３２ｂのオンオフ（開閉）タイミングは同期して制御されている。変調光の変調周波数ｆは、例えば１０［ＭＨｚ］である。図３に示すように、例えば変調光がオンとなる期間において光電変換素子３１の転送ゲート３２ａがオン（開状態）となり、変調光がオフとなる期間において光電変換素子３１の転送ゲート３２ｂがオンとなる。

【0020】

このとき、転送ゲート３２ａを介して光電変換素子３１の電荷蓄積部から読み出される電荷量をＳ０、転送ゲート３２ｂを介して光電変換素子３１の電荷蓄積部から読み出される電荷量をＳ１８０とする。また、転送ゲート３２ａ、３２ｂの駆動タイミングを変えず、変調光を１／４周期ずらしたときに転送ゲート３２ａを介して光電変換素子３１の電荷蓄積部から読み出される電荷量をＳ２７０、転送ゲート３２ｂを介して光電変換素子３１の電荷蓄積部から読み出される電荷量をＳ９０とすると、対象体２の各領域との距離Ｄに対応する位相差Δφは以下の式で表される。なお、位相取得期間について、Ｓ９０とＳ２７０を用いるために、変調光の周期をずらす方法で説明したが、変調光の周期を一定として転送ゲートのオンオフ周期を変更し、そのときに得られる電荷量をＳ９０、Ｓ２７０としてもよい。

【0021】

【数1】

【0022】

また、反射光の光強度Ｉは以下の式で表される。

【0023】

【0024】

また、反射光が戻るまでに要した時間ｔは以下の式で表される。

【0025】

【0026】

上記の（１．１）式および（１．３）式に基づき、距離Ｄは以下の式で求めることができる。

【0027】

【0028】

上記の関係式から、変調周波数ｆを小さくすれば距離Ｄを大きくできることが分かる。ただし、（１．３）式から分かるように、測定可能な距離は、位相差Δφに換算すると最大で２π（３６０°）まで、すなわち変調光の１周期分が限界であった。位相差Δφが２πを超える場合には再び０［ｍ］から計算されることになる。これは、例えば、位相差Δφがπ／６（＝３０°）と得られたときに、それが実際には１つ目の周期に属するπ／６（＝３０°）にであるのか、２つ目の周期に属する１３π／６（＝３９０°）であるのか、３つ目の周期に属する２５π／６（＝７５０°）であるのか、それ以外であるかを判別できないからである。

【0029】

例えば、変調周波数ｆが１０［ＭＨｚ］の場合、測定可能な最大距離は１５［ｍ］であるが、従来方法によると１［ｍ］と１６［ｍ］は同じ１［ｍ］として算出されてしまう。他方、変調周波数ｆを下げることで測定可能な最大距離を大きくすることができるがその場合は測定結果にバラつきが大きくなる。例えば変調周波数ｆを１［ＭＨｚ］とした場合には１５０［ｍ］まで測定可能であるが、位相差のバラつきの影響も大きくなるので、例えばπ／６のバラつきに対して距離の測定結果は０～１２．５［ｍ］の範囲でバラつくことになる。

【0030】

そこで本実施形態では、以下に説明する方法によって反射光の到達時期の属する周期を判別し、それに基づいて距離を求めることにより、距離バラつきを抑えつつ最大測距可能距離をより大きくすることを可能としている。以下、その詳細について説明する。

【0031】

図４は、距離測定時のフレーム構造を説明するための図である。図示のように本実施形態では、位相取得期間と周期判別期間が含まれている。位相取得期間は、上記した電荷量Ｓ０、Ｓ９０、Ｓ１８０、Ｓ２７０を得るための期間である。位相取得期間では、図３に示した期間が多数回繰り返される。周期判別期間は、本実施形態における距離測定において特徴的な期間であり、位相取得期間において得られる位相差Δφの属する本来の周期を求めるために設けられた期間である。実際の距離測定時には、周期判別期間において、第１期間（α）および第２期間（β）が多数回（例えば数千回～数万回）繰り返されるが、ここでは説明を簡単にするため第１期間および第２期間を各１回として説明する。なお、位相取得期間と周期判別期間の前後関係は不問であり、両者が入れ替わってもよい。

【0032】

位相取得期間においては、上記したように撮像素子１２の光電変換素子３１において、各転送ゲート３２ａ、３２ｂが変調光（第１変調光）に同期して所定タイミングでオン／オフを制御され、各電荷量Ｓ０、Ｓ９０、Ｓ１８０、Ｓ２７０が位相算出部２１によって取得される。ここで得られる各電荷量を用いて位相算出部２１によって位相差Δφが算出される。

【0033】

周期判別期間は、各電荷量に基づいて得られる位相差Δφの属する本来の周期を求めるための期間である。例えば位相差Δφがπ／６と得られたときに、それが実際にはπ／６（１つ目の周期）、１３π／６（３つ目の周期）、２５π／６（５つ目の周期）などのいずれであるかを判別するための期間である。この周期判別期間には、少なくとも第１期間（第１判別期間）と第２期間（第２判別期間）が含まれる。本実施形態では、これら第１期間と第２期間において２つの転送ゲートのオン／オフ（開／閉）を適宜制御してそれぞれ得られる電荷量を比較することで、位相取得期間に得られた位相差Δφが実際には何周期目に属するものであるかを判別する。ここでいう２つの転送ゲートとしては、上記した各転送ゲート３２ａ、３２ｂを用いることができる。以降の説明では、便宜上、周期判別期間において用いられる転送ゲート３２ａを「転送ゲートＡ」と呼び、転送ゲート３２ｂを「転送ゲートＢ」と呼ぶことにする。

【0034】

周期判別期間では、駆動タイミング生成部２０の制御により、第１期間と第２期間のそれぞれにおいて所定タイミングで光源１１から変調光（第２変調光）を出射させる。その際に、第１期間と第２期間では変調光の発光時期（出射時期）が異なるようにする。具体的には、第１期間における発光時期（第１時期）に対して、第２期間における発光時期（第２時期）は、π／４以上ずれるようにすることが好ましい。すなわち、第１期間の始期から変調光の発光時期までの長さと、第２期間の始期から変調光の発光時期までの長さとがπ／４以上異なるようにすることが好ましい。なお、原理上はπ／４より小さいずれでもよいし、π／４より大きくてもよいが、あまりずれが大きすぎないほうが好ましい。図示の例では、第１期間における変調光はこの第１期間の始期（０）から始まりπまでの間でオンとなっている。これに対して、第２期間における変調光はこの第２期間の始期（０）から２π遅れた時点から３πまでの間でオンである。すなわち、両者の発光時期のずれは２πである。

【0035】

なお、第１期間、第２期間のそれぞれにおける変調光の発光時間は、各転送ゲートＡ、Ｂの最小オンオフ幅の長さ以内に設定される。また、各転送ゲートＡ、Ｂの最小オンオフ幅は、変調光の変調周期（一定期間）と同一とする。図示の例では変調光の変調周期が１００ｎｓであり、各転送ゲートＡ、Ｂの最小オンオフ幅も同じ１００ｎｓに設定されている。

【0036】

また、第１期間と第２期間では、各転送ゲートＡ、Ｂが所定タイミングでオンまたはオフに切り換えられる。このとき、各転送ゲートＡ、Ｂごとに、第１期間と第２期間でオン／オフの制御パターンは同一に設定される。図示の例では、第１期間と第２期間のいずれにおいても、転送ゲートＡについては、サブ期間（１）～（６）でオン、オフ、オン、オン、オン、オフの順で切り換えられ、転送ゲートＢについては、サブ期間（１）～（６）の各々でオフ、オン、オン、オフ、オン、オンの順で切り換えられる。また、転送ゲートＡに対するオン／オフの制御パターンと、転送ゲートＢに対するオン／オフの制御パターンとは異なるように設定されている。このようなオン／オフの制御パターンで各転送ゲートＡ、Ｂを制御することで、各転送ゲートＡ、Ｂから読み出される電荷量の大小関係の組み合わせパターンに基づいて、反射光がどの周期で到達しているかを判別することができる。

【0037】

なお、各転送ゲートにおけるオン／オフの制御パターンについては、転送ゲートＡと転送ゲートＢのいずれもが同時にオフとなるような期間を設けることは可能であるが、構成が複雑化するため、設けないことが望ましい。

【0038】

図５に第１期間の一部を拡大して示すように、変調光の発光時期（図５（Ａ）参照）からπ／２遅れて反射光が到達したとする（図５（Ｂ）参照）。また、転送ゲートＡは０～２πまでの周期でオン、２π～４πまでの周期でオフであり（図５（Ｃ）参照）、転送ゲートＢは０～２πまでの周期でオフ、２π～４πまでの周期でオンに制御されているとする（図５（Ｄ）参照）。この場合、反射光の到達時期において各転送ゲートＡ、Ｂから読み出される電荷量を比較すると、電荷は転送ゲートＡに対応する電荷蓄積部のみに溜まるので、転送ゲートＡの電荷量のほうが転送ゲートＢの電荷量よりも大きくなる。この関係を「Ａ＞Ｂ」と表記する（図５（Ｅ）参照）。

【0039】

同様に、図６に第１期間の一部を拡大して示すように、変調光の発光時期（図６（Ａ）参照）から３π／２遅れて反射光が到達したとする（図６（Ｂ）参照）。また、転送ゲートＡは０～２πまでの周期でオン、２π～４πまでの周期でオフであり（図６（Ｃ）参照）、転送ゲートＢは０～２πまでの周期でオフ、２π～４πまでの周期でオンに制御されているとする（図６（Ｄ）参照）。この場合、転送ゲートＡはオンからオフになる方向へ変化し、転送ゲートＢはオフからオンになる方向へ変化するので、それに応じて各転送ゲートＡ、Ｂの各電荷蓄積部に溜まる電荷量も変化する。このため、反射光の到達時期（３π／２）において各転送ゲートＡ、Ｂから読み出される電荷量を比較すると、転送ゲートＡの電荷量のほうが転送ゲートＢの電荷量よりも大きい。この関係を「Ａ＞Ｂ」と表記する（図６（Ｅ）参照）。

【0040】

同様に、図７に第２期間の一部を拡大して示すように、変調光の発光時期（図７（Ａ）参照）からπ／２遅れて反射光が到達したとする（図７（Ｂ）参照）。また、転送ゲートＡは０～２πまでの周期でオン、２π～４πまでの周期でオフであり（図７（Ｃ）参照）、転送ゲートＢは０～２πまでの周期でオフ、２π～４πまでの周期でオンに制御されているとする（図７（Ｄ）参照）。この場合、反射光の到達時期において各転送ゲートＡ、Ｂから読み出される電荷量を比較すると、電荷は転送ゲートＢに対応する電荷蓄積部のみに溜まるので、転送ゲートＢの電荷量のほうが転送ゲートＡの電荷量よりも大きい。この関係を「Ａ＜Ｂ」と表記する（図７（Ｅ）参照）。

【0041】

３つの例を示したように、反射光の到達時期に応じて各周期において各転送ゲートＡ、Ｂから読み出される電荷量の比較を行ったものをまとめると図８に示す通りの内容となる。具体的には、まず、０～３π／２の期間では第１期間が「Ａ＞Ｂ」、第２期間が「Ａ＜Ｂ」となる。この組み合わせパターンを「パターン１」と呼ぶ。同様に、３π／２～５π／２の期間では第１期間、第２期間ともに「Ａ＜Ｂ」となる。この組み合わせパターンを「パターン２」と呼ぶ。５π／２～７π／２の期間では第１期間が「Ａ＜Ｂ」、第２期間が「Ａ＝Ｂ」となる。この組み合わせパターンを「パターン３」と呼ぶ。７π／２～４πの期間では第１期間が「Ａ＜Ｂ」、第２期間が「Ａ＞Ｂ」となる。この組み合わせパターンを「パターン４」と呼ぶ。４π～５πの期間では第１期間が「Ａ＝Ｂ」、第２期間が「Ａ＞Ｂ」となる。この組み合わせパターンを「パターン５」と呼ぶ。５π～１３π／２の期間では第１期間、第２期間ともに「Ａ＞Ｂ」となる。この組み合わせパターンを「パターン６」と呼ぶ。１３π／２～１５π／２の期間では第１期間が「Ａ＞Ｂ」、第２期間が「Ａ＝Ｂ」となる。この組み合わせパターンを「パターン７」と呼ぶ。１３π／２～８πの期間は再び組み合わせパターンが「パターン１」となる。８π～９πの期間では第１期間が「Ａ＝Ｂ」、第２期間が「Ａ＜Ｂ」となる。この組み合わせパターンを「パターン８」と呼ぶ。９π～１０πの期間は再び組み合わせパターンが「パターン２」となる。１０π～２３π／２の期間は再び組み合わせパターンが「パターン４」となる。２３π／２～１２πの期間は再び組み合わせパターンが「パターン６」となる。

【0042】

このように、各期間における転送ゲートＡ、Ｂの電荷量の組み合わせを場合分けすると、本実施形態ではパターン１～８の８通りの組み合わせパターンが得られる。このため、転送ゲートＡ、Ｂの電荷量の組み合わせパターンを用いることで、反射光がどの周期で到達しているかを判別することができる。例えば、位相差Δφがπ～３π／２の間の値φ１であったとすると、電荷量の関係がパターン１（「Ａ＞Ｂ」＆「Ａ＜Ｂ」）であれば、位相差Δφの属する周期は１つ目の周期（０～２π）であり、位相差Δφはφ１となる。また、電荷量の関係がパターン３（「Ａ＜Ｂ」＆「Ａ＝Ｂ」）であれば、位相差Δφの属する周期は２つ目の周期（２π～４π）であり、位相差Δφはφ１＋２πとなる。また、電荷量の関係がパターン６（「Ａ＞Ｂ」＆「Ａ＞Ｂ」）であれば、位相差Δφの属する周期は３つ目の周期（４π～６π）であり、位相差はφ１＋４πとなる。このようにすれば、反射光の到達時期に応じた適切な位相差を求めることができる。

【0043】

ここで、図８において一点鎖線で示すように、本実施形態ではパターン２、６については重複が存在する。このため、例えば位相差Δφが３π／２～２πの間の値φ２であった場合に、電荷量の関係がパターン２であったとすると電荷量の関係だけでは反射光の到達時期に対応する周期が１つ目の周期（０～２π）であるのか、５つ目の周期（８π～１０π）であるのかを判別することができない。パターン６の場合も同様である。このようなパターンの重複が生じる場合について、周期を判別する方法を以下に説明する。

【0044】

一例として、位相差Δφが３π／２であり、電荷量の関係がパターン２である場合を考える。なお、ここでは、図８に示す３π／２～２πの期間に対応するパターン２を「パターン２」とし、１９π／２～１０πの期間に対応するパターン２を「パターン２′」として両者を区別する。

【0045】

図９（Ａ）は、パターン２に対応する第１期間において各転送ゲートＡ、Ｂに対応する電荷蓄積部に溜まる電荷の様子を示す図である。また、図９（Ｂ）は、パターン２に対応する第２期間において各転送ゲートＡ、Ｂに対応する電荷蓄積部に溜まる電荷の様子を示す図である。図９（Ｃ）は、パターン２′に対応する第１期間において各転送ゲートＡ、Ｂに対応する電荷蓄積部に溜まる電荷の様子を示す図である。また、図９（Ｄ）は、パターン２′に対応する第２期間において各転送ゲートＡ、Ｂに対応する電荷蓄積部に溜まる電荷の様子を示す図である。各図中、実線は転送ゲートＡに対応する電荷蓄積部に溜まる電荷、一点鎖線は転送ゲートＢに対応する電荷蓄積部に溜まる電荷にそれぞれ対応している。

【0046】

図９（Ａ）に示すように、反射光の到達時期が変調光の発光タイミングから３π／２～７π／４であった期間において、パターン２の第１期間における各転送ゲートＡ、Ｂに対応する電荷蓄積部の電荷量は、転送ゲートＡでは０．５～０．２５の間となり、転送ゲートＢでは０．５～０．７５の間となる。よって、この期間の電荷量を比で求めると、１：１～１：３の間となる。これに対して、図９（Ｂ）～図９（Ｄ）に示すように、対応する期間において、パターン２の第１期間の場合と同じ電荷量の比率となるものはない。従って、３π／２～７π／４の期間においては、第１期間における各転送ゲートＡ、Ｂに対応する電荷蓄積部の電荷量の比が１：１～１：３の間（換言すれば、１～３の間）の値であるか否かを判断すれば、パターン２とパターン２′のいずれに当てはまるかを判別することができる。

【0047】

他方、図９（Ｄ）に示すように、反射光の到達時期が変調光の発光タイミングから７π／４～２πであった期間（１９π／２～１０πに対応する期間）において、パターン２′の第２期間における各転送ゲートＡ、Ｂに対応する電荷蓄積部の電荷量は、転送ゲートＡでは０．２５～０．５の間となり、転送ゲートＢでは０．７５～０．５の間となる。よって、この期間の電荷量を比で求めると、１：１～１：３の間となる。これに対して、図９（Ａ）～図９（Ｃ）に示すように、同期間において、パターン２′の第２期間の場合と同じ電荷量の比率となるものはない。従って、７π／４～２πの期間においては、第２期間における各転送ゲートＡ、Ｂに対応する電荷蓄積部の電荷量の比が１：１～１：３の間（換言すれば、１～３の間）の値であるか否かを判断すれば、パターン２とパターン２′のいずれに当てはまるかを判別することができる。

【0048】

パターン６の場合についても上記と同様の処理を適用することができる。ここでは、図８に示す１１π／２～６πの期間に対応するパターン６を「パターン６」とし、２３π／２～１２πの期間に対応するパターン６を「パターン６′」として両者を区別する。

【0049】

図１０（Ａ）は、パターン６に対応する第１期間において各転送ゲートＡ、Ｂに対応する電荷蓄積部に溜まる電荷の様子を示す図である。また、図１０（Ｂ）は、パターン６に対応する第２期間において各転送ゲートＡ、Ｂに対応する電荷蓄積部に溜まる電荷の様子を示す図である。図１０（Ｃ）は、パターン６′に対応する第１期間において各転送ゲートＡ、Ｂに対応する電荷蓄積部に溜まる電荷の様子を示す図である。また、図１０（Ｄ）は、パターン６′に対応する第２期間において各転送ゲートＡ、Ｂに対応する電荷蓄積部に溜まる電荷の様子を示す図である。各図中、実線は転送ゲートＡに対応する電荷蓄積部に溜まる電荷、一点鎖線は転送ゲートＢに対応する電荷蓄積部に溜まる電荷にそれぞれ対応している。

【0050】

図１０（Ｃ）に示すように、反射光の到達時期が変調光の発光タイミングから３π／２～７π／４であった期間において、パターン６′の第１期間における各転送ゲートＡ、Ｂに対応する電荷蓄積部の電荷量は、転送ゲートＡでは０．５～０．７５の間となり、転送ゲートＢでは０．５～０．２５の間となる。よって、この期間の電荷量を比で求めると、１：１～１：３の間となる。これに対して、図１０（Ａ）、図１０（Ｂ）、図１０（Ｄ）に示すように、同期間において、パターン６′の第１期間の場合と同じ電荷量の比率となるものはない。従って、３π／２～７π／４の期間においては、第１期間における各転送ゲートＡ、Ｂに対応する電荷蓄積部の電荷量の比が１：１～１：３の間（換言すれば、１～３の間）の値であるか否かを判断すれば、パターン６とパターン６′のいずれに当てはまるかを判別することができる。

【0051】

他方、図１０（Ｄ）に示すように、反射光の到達時期が変調光の発光タイミングから７π／４～２πであった期間において、パターン６′の第２期間における各転送ゲートＡ、Ｂに対応する電荷蓄積部の電荷量は、転送ゲートＡでは０．７５～０．５の間となり、転送ゲートＢでは０．２５～０．５の間となる。よって、この期間の電荷量を比で求めると、１：１～１：３の間となる。これに対して、図１０（Ａ）～図１０（Ｃ）に示すように、同期間において、パターン６′の第２期間の場合と同じ電荷量の比率となるものはない。従って、７π／４～２πの期間においては、第２期間における各転送ゲートＡ、Ｂに対応する電荷蓄積部の電荷量の比が１：１～１：３の間（換言すれば、１／３～１の間）の値であるか否かを判断すれば、パターン６とパターン６′のいずれに当てはまるかを判別することができる。

【0052】

図１１は、距離画像生成装置の動作手順を説明するためのフローチャートである。なお、ここに示すフローチャートに含まれる各情報処置については、情報処理の結果に矛盾や不整合などの不都合が生じない限りにおいて適宜その順序を変更することが可能であり、またここで説明しない他の情報処理を適宜追加することも可能であり、そのような実施態様も排除されない。

【0053】

駆動タイミング生成部２０により光源１１が制御されて、変調光３が光源１１から出射し、その反射光４を含む入射光が撮像素子１２によって受光されると、位相算出部２１は、位相取得期間における位相算出のためのデータ（電荷量Ｓ０、Ｓ９０、Ｓ１８０、Ｓ２７０）を取得する（ステップＳ１０）。また、周期判別部２２は、周期判別期間における周期判別のためのデータ（転送ゲートＡ、Ｂに対応する電荷量）を取得する（ステップＳ１１）。

【0054】

位相算出部２１は、電荷量Ｓ０、Ｓ９０、Ｓ１８０、Ｓ２７０に基づいて位相差Δφを算出する（ステップＳ１２）。

【0055】

周期判別部２２は、転送ゲートＡ、Ｂに対応する電荷量の大小関係の組み合わせパターン（１～８）に基づいて、位相差Δφの属する周期を判別（特定）する（ステップＳ１３）。

【0056】

ここで、組み合わせパターンに重複がある場合、本実施形態ではパターン２またはパターン６である場合に（ステップＳ１４；ＹＥＳ）、周期判別部２２は、転送ゲートＡ、Ｂに対応する電荷量の比に基づいて周期を判別（特定）する（ステップＳ１５）。具体的には、上記したパターン２とパターン２′のいずれであるか、若しくはパターン６とパターン６′のいずれであるかが特定され、それに応じて周期が判別される。

【0057】

上記のようにして周期が判別されると、距離算出部２３は、その判別された周期（位相差の属する周期）と、位相算出部２１によって算出された位相差Δφに基づいて各画素の距離Ｄを算出する（ステップＳ１６）。そして、距離画像生成部２４は、得られた各画素の距離Ｄに基づいて距離画像を生成する（ステップＳ１７）。その後、ステップＳ１０へ戻る。

【0058】

ここで、上記したステップＳ１３～Ｓ１５における周期の判別（特定）の具体的な処理手順は種々考えられ、そのいずれでもよい。例えば、転送ゲートＡ、Ｂに対応する電荷量の大小関係を全て場合分けして逐次判定してもよい。この場合、パターン２またはパターン６に当たった際にはさらに位相差Δφが３π／２～７π／４の間にあるか否かで場合分けし、各場合に応じて第１期間または第２期間での転送ゲートＡ、Ｂに対応する電荷量の比に基づいて周期を判別すればよい。

【0059】

また、例えば図１２に示すテーブルのように、第１期間、第２期間の各々における「Ａ＞Ｂ」に対して「１０」、「Ａ＜Ｂ」に対して「０１」、「Ａ＝Ｂ」に対して「００」のというように所定の値を割り当てておき、それらの値を組み合わせた所定の変数Ａｄｒ（ＸＸＸＸ）を生成し、その内容に応じて周期を判別してもよい。例えば、第１期間が「Ａ＞Ｂ」、第２期間が「Ａ＜Ｂ」であれば、変数Ａｄｒの値は（１００１）となり、この値に対応するのはパターン１（図中「Ｐ＝１」と表記）であることが特定できる。このとき、パターン２、６に対応する変数Ａｄｒが生成された場合には、さらに上記と同様に位相差Δφが３π／２～７π／４の間にあるか否かで場合分けし、各場合に応じて第１期間または第２期間での転送ゲートＡ、Ｂに対応する電荷量の比に基づいて周期を判別すればよい。

【0060】

以上のような実施形態によれば、光飛行時間計測法を用いて距離画像を生成する際における距離バラつきを抑えつつ最大測距可能距離をより大きくすることが可能となる。また、位相取得時と周期判別時で同じ変調周波数の変調光を用いることができるので、装置構成の複雑化を招くことがない。

【0061】

なお、本発明は上記した実施形態等の内容に限定されるものではなく、本発明の要旨の範囲内において種々に変形して実施をすることが可能である。例えば、上記した実施形態等において示した諸条件は一例であり、適宜変更することが可能である。また、各受光部１２ａの構成は上記したものに限定されない。例えば図１３（Ａ）に示すように１つの光電変換素子１３１に対して３つの転送ゲート１３３ａ、１３３ｂ、１３３ｃが設けられてもよいし、図１３（Ｂ）に示すように１つの光電変換素子２３１に対して４つの転送ゲート２３３ａ、２３３ｂ、２３４ａ、２３４ｂが設けられてもよいし、原理上、各受光部１２ａに設けられる転送ゲートの数が多いほど測定可能な距離を伸ばすことができる。

【0062】

また、上記した実施形態では各周期における転送ゲートＡ、Ｂの電荷量の関係を場合分けした際にパターン２、６に重複を生じる場合を例示していたが、このような重複が生じないようにすることも可能である。例えば、図１４に例示するような転送ゲートのオンオフのパターン、具体的には、第１期間と第２期間のいずれにおいても、転送ゲートＡについては、サブ期間（１）～（６）でオン、オフ、オン、オフ、オン、オンの順で切り換えられ、転送ゲートＢについては、サブ期間（１）～（６）の各々でオフ、オン、オン、オン、オフ、オンの順で切り換えられるというオン／オフの制御パターンで各転送ゲートＡ、Ｂを制御することで、図１５に示すように各転送ゲートＡ、Ｂから読み出される電荷量の大きさの組み合わせパターンに重複を生じないようにすることができる。それにより、パターン重複の際の例外処理（図９、図１０参照）を省略することができるので、アルゴリズムが簡素化されて処理負荷が軽減する。なお、図１４に示したパターンはあくまで例示であり、ほかにも種々のオン／オフの制御パターンを想定し得る。

【0063】

また、上記した実施形態では求められた距離から距離画像を生成する装置（方法）において本発明を適用した例を示していたが、単に対象体２との間の距離を求める装置（方法）において本発明を適用してもよい。

【符号の説明】

【0064】

１：距離画像生成装置、２：対象体、３：変調光、４：反射光、１０：制御部、１１：光源、１２：撮像素子、１２ａ：受光部、２０：駆動タイミング生成部、２１：位相算出部、２２：周期判別部、２３：距離算出部、２４：距離画像生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】