特許 6261681 タイムオブフライト信号の処理における又はこれに関する改良

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6261681

(24)【登録日】2017年12月22日

(45)【発行日】2018年1月17日

(54)【発明の名称】タイムオブフライト信号の処理における又はこれに関する改良

(51)【国際特許分類】

   G01S 17/36 20060101AFI20180104BHJP

   G01S 17/89 20060101ALI20180104BHJP

【ＦＩ】

   G01S17/36

   G01S17/89

【請求項の数】13

【全頁数】29

(21)【出願番号】特願2016-154963(P2016-154963)

(22)【出願日】2016年8月5日

(62)【分割の表示】特願2014-542898(P2014-542898)の分割

【原出願日】2013年1月10日

(65)【公開番号】特開2016-224062(P2016-224062A)

(43)【公開日】2016年12月28日

【審査請求日】2016年9月5日

(73)【特許権者】

【識別番号】514011044

【氏名又は名称】ソフトキネティック センサーズ エヌブイ

(74)【代理人】

【識別番号】100095957

【弁理士】

【氏名又は名称】亀谷 美明

(74)【代理人】

【識別番号】100096389

【弁理士】

【氏名又は名称】金本 哲男

(74)【代理人】

【識別番号】100101557

【弁理士】

【氏名又は名称】萩原 康司

(74)【代理人】

【識別番号】100128587

【弁理士】

【氏名又は名称】松本 一騎

(72)【発明者】

【氏名】ファン ニーウェンホーフェ ダニエル

(72)【発明者】

【氏名】ファン デン ハウウェ トーマス

(72)【発明者】

【氏名】フロートヤン ライマー

(72)【発明者】

【氏名】ファン デル テンペル ワード

【審査官】 安井 英己

(56)【参考文献】

【文献】 特表２０１３−５３８３４２（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００６／００００９６７（ＵＳ，Ａ１）

【文献】 米国特許第０７７９１７１５（ＵＳ，Ｂ１）

【文献】 米国特許出願公開第２００７／００９８３８８（ＵＳ，Ａ１）

【文献】 特開平１０−３００８５１（ＪＰ，Ａ）

【文献】 特開昭５２−１２７７９４（ＪＰ，Ａ）

【文献】 Payne, A. D. et al.，'MULTIPLE FREQUENCY RANGE IMAGING TO REMOVE MEASUREMENT AMBIGUITY'，Proceedings of at 9th Confenrence on Optical 3-D Measurement Techniques,July 1-3,2009,Vienna,Austria，オーストリア，Vienna University of Technology，２００９年，[平成29年7月5日検索]，pages 139-148，ＵＲＬ，http://researchcommons.waikato.ac.nz/handle/10289/4032

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｓ ７／００− ７／６４，

Ｇ０１Ｓ １３／００−１３／９５，

Ｇ０１Ｓ １５／００−１５／９６，

Ｇ０１Ｓ １７／００−１７／９５，

Ｇ０１Ｃ ３／００− ３／３２，

Ｇ０１Ｂ １１／００−１１／３０，

ＣＳＤＢ

(57)【特許請求の範囲】

【請求項1】

イメージングセンサを有し、照射ユニットと共に使用するためのタイムオブフライトシステム内の相関測定において、エイリアシングの存在を判定する方法であって、前記照射ユニットは、第１の周波数及び第２の周波数で変調された変調光を用いてシーンを照射するように適合され、前記システムは、相関信号と前記シーンから反射された変調光との間の相関測定値を取得するように適合され、
前記方法は、
ａ）前記シーン内の少なくとも１つの物体からの反射された光を検出し、
ｂ）１つ以上の第１の相関測定値によって、第１の相関信号と、前記イメージングセンサにおいて受信される前記反射された光との間の第１の相関を判定し、前記第１の相関信号は前記第１の周波数の周期的波形を有する前記変調光と等しく、前記第１の相関測定値は前記イメージングセンサから前記少なくとも１つの物体までの距離に関するパラメータの値を提供し、
ｃ）１つ以上の第２の相関測定値によって、前記イメージングセンサにおいて受信される前記反射された光と、第２の相関信号との間の第２の相関を判定し、前記第２の相関信号は前記第１の周波数より低い前記第２の周波数の周期的波形を有する前記変調光と等しく、
ｄ）前記第２の周波数についての複数の異なる位相オフセットにおける複数の前記第２の相関測定値から、検出される前記反射された光の同相及び／又は直角位相成分を判定することと、
ｅ）前記光の同相及び／又は直角位相成分の符号を使用して、エイリアシングの存在に関連するパラメータがとり得る値を判定することと、
を含む、方法。

【請求項2】

第１の位相測定値が、前記第１の周波数についての様々な位相オフセットにおける前記第１の相関測定値から判定され、第２の位相測定値が、前記第２の周波数についての様々な位相オフセットにおける前記第２の相関測定値から判定される、請求項１に記載の方法。

【請求項3】

前記第１の相関測定値における、検出される反射された信号の信号積分時間は、前記第２の相関測定値の信号積分時間より長い、請求項１又は２に記載の方法。

【請求項4】

前記第２の相関信号は、これが相関される検出される反射された変調光のデューティサイクルとは異なるデューティサイクルを有し、前記第２の相関信号のデューティサイクルは５０％である、請求項１〜３のいずれか一項に記載の方法。

【請求項5】

前記エイリアシングの存在に関連するパラメータは、エイリアシングされた周期の数に関連する、請求項１〜４のいずれか一項に記載の方法。

【請求項6】

エイリアシングの存在は更に、前記少なくとも１つの物体までの距離関連因子を測定することから決定される距離測定の信頼度を使用することによって判定され、前記距離関連因子は、反射された光の量、スペックルパターンのサイズ、インポーズされるパターンのサイズである、請求項１〜５のいずれか一項に記載の方法。

【請求項7】

同相及び／又は直角位相成分を判定するステップは、前記第２の周波数におけるＩ値及びＱ値、及び／又は、Ｉ及びＱの絶対値の差を判定することを含む、請求項１〜６のいずれか一項に記載の方法。

【請求項8】

前記第２の相関信号は、一周期の始まり及び終わりにおいてｈｉｇｈであるパルス形状の信号であり、デューティサイクルが５０％である、請求項１に記載の方法。

【請求項9】

タイムオブフライト又はレンジ検出センサユニットであって、
エイリアシングの存在を判定する手段を有し、センサは、照射ユニットと共に使用するためのものであり、前記照射ユニットは、第１の周波数及び第２の周波数で変調された変調光を用いてシーンを照射するように適合され、システムは、相関信号と前記シーンから反射された変調光との間の相関測定値を取得するように適合され、
前記センサユニットは、
ａ）前記シーン内の少なくとも１つの物体からの反射された光を検出する、第１の手段と、
ｂ）第１の相関測定値によって、第１の相関信号と、イメージングセンサにおいて受信される前記反射された光との間の第１の相関を判定する、第２の手段と、
ここで、前記第１の相関信号は、前記第１の周波数の周期的波形を有する前記変調光と等しく、前記第１の相関測定値は前記イメージングセンサから前記シーンまでの距離に関するパラメータの値を提供し、
ｃ）第２の相関測定値によって、前記イメージングセンサにおいて受信される前記反射された光と、第２の相関信号との間の第２の相関を判定する、第３の手段と、
ここで、前記第２の相関信号は前記第１の周波数より低い前記第２の周波数の周期的波形を有する前記変調光と等しく、前記第３の手段は、前記第２の周波数についての様々な位相オフセットにおいて第２の相関測定を実行するように適合され、
ｄ）前記第２の周波数についての複数の異なる位相オフセットにおける複数の前記第２の相関測定値から、検出される反射された光の同相及び／又は直角位相成分を判定し、エイリアシングされた周期の数に関連するパラメータがとり得る値を、前記光の同相及び／又は直角位相成分の符号を使用して判定することにより、前記エイリアシングの存在を判定する、第４の手段と
を備え、
エイリアシングの存在は更に、前記少なくとも１つの物体までの距離関連因子から決定される距離測定の信頼度を使用することによって判定され、前記距離関連因子は、前記第１の周波数及び／又は前記第２の周波数において変調された反射された光の量、スペックルパターンのサイズ、インポーズされるパターンのサイズである、
センサユニット。

【請求項10】

前記第２の手段は、前記第１の周波数についての様々な位相オフセットにおける前記第１の相関測定値から第１の位相測定値を判定するように適合され、又は、判定する前記第３の手段は、前記第２の周波数についての様々な位相オフセットにおける前記第２の相関から位相測定を行うように適合され、又は、前記第２及び第３の手段は、前記第１の相関測定値の信号積分時間が前記第２の相関測定値の積分時間より長いように適合される、請求項９に記載のセンサユニット。

【請求項11】

第２の相関信号は、これが相関される検出される反射された変調光のデューティサイクルとは異なるデューティサイクルを有し、前記第２の相関信号のデューティサイクルは５０％である、請求項９又は１０に記載のセンサユニット。

【請求項12】

前記第１の相関信号及び／又は第２の相関信号は、位相オフセットについて較正される、請求項９〜１１のいずれか一項に記載のセンサユニット。

【請求項13】

請求項９〜１２のいずれか一項に記載のセンサユニットを有するＴＯＦカメラ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、タイムオブフライト（ＴＯＦ）信号の処理における又はこれに関する改良に関し、特に、そのようなタイムオブフライト信号のディエイリアシング（ｄｅ−ａｌｉａｓｉｎｇ）に関する。特に、本発明は、タイムオブフライト信号のディエイリアシングを含む、ＴＯＦセンサ、カメラなどに関する。

【背景技術】

【0002】

タイムオブフライト（ＴＯＦ）カメラシステムは、光源から物体までの及び戻りのタイムオブフライトを解析することによって、物体までの距離に関する情報を提供することで知られている。１つの特定の適用例は、シーンの３次元（３−Ｄ）画像、すなわち２次元情報および深さすなわち距離情報を取り込むことが可能なカメラである。そのようなカメラシステムは、固定点からの深さすなわち距離情報が判定される必要がある多くの適用例において利用される。一般に、深さすなわち距離情報はＴＯＦカメラシステムから測定される。

【0003】

ＴＯＦカメラシステムの基本動作原理は、パルスなどの変調光を用いてシーンを照射することである。これらの光パルスなどの変調光は、シーン内の物体から反射されて戻り、反射された光をレンズが集光して、画像センサ上に、特に、センサのセンサ面上に、シーン内の物体の画像を形成する。カメラからの物体の距離に応じて、例えばパルスなどの、変調光の放出と、カメラにおけるその反射の受信との間で遅延が発生し、例えばカメラから２．５ｍ離れたところにある物体は、１６．６６ｎｓの遅延を発生させる。しかしパルスを使用する場合、各光パルスのパルス幅がカメラレンジ（ｃａｍｅｒａ ｒａｎｇｅ）を決定し、例えば５０ｎｓのパルス幅の場合、レンジは７．５ｍに制限される。結果として、シーンの照射はＴＯＦカメラシステムの動作に不可欠なものとなり、照射ユニットに対する要求は、そのような短い光パルスを生成するための、発光ダイオード（ＬＥＤ）又はレーザなどの専用の光源の使用を必要とする。

【0004】

ＴＯＦカメラシステムのもう１つの主要な構成要素は、イメージングセンサである。イメージングセンサは一般に、シーンの画像を形成するピクセルのアレイを含む。加えて、ピクセルの出力は、照射ユニットからシーン内の物体までの光、及び物体からイメージングセンサまで反射されて戻る光の、タイムオブフライトを判定するために使用されてもよい。タイムオブフライトは、センサに結合された別個の処理ユニット内で計算されてもよく、又は処理ユニットはセンサ内に組み込まれていてもよい。光が照射ユニットから物体まで移動し、物体からイメージングセンサまで戻るタイミングを測定する、様々な方法が知られている。

【0005】

よく知られているように、各ピクセルは、入射光を受信してこれを例えば電流信号などの電気信号に変換する、感光素子を実質的に含む。アナログタイミングイメージングセンサでは、ピクセルは、加算装置として働くメモリに電流信号を導くスイッチに接続される。デジタルタイミングイメージングセンサでは、電流信号を検知するために高周波カウンタが使用される。背景光の存在は、シーン内の物体から反射されていない追加の光をピクセルが受信する際に距離が誤って判定されることを引き起こす可能性がある。

【0006】

もちろん、イメージング光学系及び処理電子回路もＴＯＦカメラの一部を形成する。イメージング光学系は、シーン内の物体からの反射された光を集め、照射ユニットによって放出された光と同じ波長又は周波数でない光を除去する。不必要な波長又は周波数における光を除去することによって、背景光が効果的に抑止され得る。処理電子回路は、照射ユニット及びイメージングセンサの両方のためのドライバを含み、これによりこれらの構成要素は、シーンの高解像度画像が取得可能であることを保障するように正確に制御され得る。

【0007】

ＴＯＦカメラシステムは、利用されるイメージングセンサのタイプに応じて、数ミリメートルから数キロメートルまでの広いレンジをカバーする傾向がある。そのようなＴＯＦカメラシステムは、特定の適用例において使用されるＴＯＦカメラシステムの構成に応じて、センチメートル未満から数センチメートル、又は更にはメートルまでの様々な距離分解能を有する可能性がある。ＴＯＦカメラシステムと共に使用されてもよい技術としては、デジタル時間カウンタを有するパルス光源、位相検出器を有する無線周波数（ＲＦ）変調光源、及びレンジゲーテッドイメージャ（ｒａｎｇｅ−ｇａｔｅｄ ｉｍａｇｅｒｓ）が含まれる。

【0008】

シーン内の物体についてのイメージングセンサの出力から距離情報を抽出することは比較的容易な可能性があるが、ＴＯＦシステムは、上述の背景光、２つ以上のＴＯＦカメラシステムがシーンのオーバラップする視野を有して動作している場合の干渉、及び多重反射の影響を受ける。異なるＴＯＦカメラシステム間の干渉は、時分割多重化技術を使用することによって、又は各ＴＯＦカメラシステムについて異なる変調周波数を利用することによって低減させられ得る。ＴＯＦカメラシステムはシーン全体を照射するため、照射光がいくつかの経路に沿って各物体に到達するのに伴って、複数の反射が得られる可能性がある。これは、ＴＯＦカメラシステムからの物体の測定される距離が、ＴＯＦカメラシステムからのその実際の距離より大きい又は小さいものとして判定される可能性があるという影響を有する。これは従来のＴＯＦカメラシステムの主要な欠点である。レンジイメージングシステムにおける測定の曖昧性の除去は、Ａ．Ｄ．Ｐａｙｎｅ（Ａ．Ｄ．パイン）らによって「Ｍｕｌｔｉｐｌｅ Ｆｒｅｑｕｅｎｃｙ Ｒａｎｇｅ Ｉｍａｇｉｎｇ ｔｏ Ｒｅｍｏｖｅ Ｍｅａｓｕｒｅｍｅｎｔ Ａｍｂｉｇｕｉｔｙ（測定の曖昧性を除去するための複数周波数レンジイメージング）」と題された論文において説明されており、この中では、不正確な距離測定をもたらす位相の曖昧性の問題を克服するために、単一の取り込みにおいて２つの異なる変調周波数が重畳される（http://researchcommons.waikato.ac.nz/bitstram/10289/4032/1/Multiple%20Frequency%20Range%20Imaging.pdf）。

【0009】

Ｓ．Ｈ．ＭｃＣｌｕｒｅ（Ｓ．Ｈ．マクルーア）らによる「Ｒｅｓｏｌｖｉｎｇ Ｄｅｐｔｈ Ｍｅａｓｕｒｅｍｅｎｔ Ａｍｂｉｇｕｉｔｙ ｗｉｔｈ Ｃｏｍｍｅｒｃｉａｌｌｙ Ａｖａｉｌａｂｌｅ Ｒａｎｇｅ Ｉｍａｇｉｎｇ Ｃａｍｅｒａｓ（市販のレンジイメージングカメラでの深さ測定の曖昧性の解決）」と題された論文（Ｐｒｏｃ．ＳＰＩＥ−ＩＳ＆Ｔ Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｉｎｇ、ＳＰＩＥ ｖｏｌ．７５３８、ｐｐ．７５３８０Ｋ、２０１０年）では、深さの曖昧性を解決するためにソフトウェア後処理が使用される。シーンを別個の物体に分割するようにレンジデータが処理され、各物体の平均強度が、どのピクセルが曖昧でないレンジの外にあるかを判定するために使用される。この方法は、例えば、カメラが画像取り込み中に移動している可能性がある、かつシーン内の物体からの反射率の差に対する低減された感度を有する、ロボットビジョンなどの、任意のレンジイメージングカメラシステムに使用され得る。信号処理及び関連する分野において、エイリアシングは、異なる信号がサンプリングされる際に区別できなくなる（すなわち相互のエイリアスとなる）ことを引き起こすという効果を意味する。時間的エイリアシングは、サンプルが時間において区別できなくなる場合である。時間的エイリアシングは、周期的にサンプリングされている信号が周期的内容も有する場合に発生する可能性がある。ＴＯＦシステムでは、エイリアシングは、光源と、光を反射する物体との間の距離に関する曖昧性をもたらす。

【0010】

「位相アンラッピング」が、Ｄａｖｉｄ Ｄｒｏｅｓｃｈｅｌ（ダーヴィト・ドレーシェル）、Ｄｉｒｋ Ｈｏｌｚ（ディルク・ホルツ）、及びＳｖｅｎ Ｂｅｈｎｋｅ（スウェン・ベーンケ）による「Ｐｒｏｂａｂｉｌｉｓｔｉｃ Ｐｈａｓｅ Ｕｎｗｒａｐｐｉｎｇ ｆｏｒ Ｔｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ Ｃａｍｅｒａｓ（タイムオブフライトカメラのための確率的位相アンラッピング）」と題された論文（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｊｏｉｎｔ ４１ｓｔ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｒｏｂｏｔｉｃｓ ａｎｄ ６ｔｈ Ｇｅｒｍａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｒｏｂｏｔｉｃｓ、ミュンヘン、２０１０年６月）において説明されている。ラッピングされた位相信号から複数の相対位相シフトが推論され、ここで、距離情報を含む深さ画像内の不連続性に基づいて位相ジャンプ又は位相シフトを検出するために、確率的アプローチが使用される。この著者らは、「Ｍｕｌｔｉ−ｆｒｅｑｕｅｎｃｙ Ｐｈａｓｅ Ｕｎｗｒａｐｐｉｎｇ ｆｏｒ Ｔｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ Ｃａｍｅｒａｓ（タイムオブフライトカメラのためのマルチ周波数位相アンラッピング）」（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＥＥＥ／ＲＳＪ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｒｏｂｏｔｓ ａｎｄ Ｓｙｓｔｅｍｓ（ＩＲＯＳ）、台北、台湾、２０１０年１０月）においても位相アンラッピングについて説明している。

【0011】

Ｒ．Ｓｃｈｗａｒｔｅ（Ｒ．シュヴァルテ）らによる「Ａ Ｎｅｗ Ａｃｔｉｖｅ ３Ｄ−Ｖｉｓｉｏｎ Ｓｙｓｔｅｍ Ｂａｓｅｄ ｏｎ ＲＦ−Ｍｏｄｕｌａｔｉｏｎ Ｉｎｔｅｒｆｅｒｏｍｅｔｒｙ ｏｆ Ｉｎｃｏｈｅｒｅｎｔ Ｌｉｇｈｔ（インコヒーレント光のＲＦ変調インターフェロメトリに基づく新しいアクティブ３Ｄビジョンシステム）」と題された論文（Ｐｈｏｔｏｎｉｃｓ Ｅａｓｔ−Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ ａｎｄ Ａｄｖａｎｃｅｄ Ｍａｎｕｆａｃｔｕｒｉｎｇ、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＳＰＩＥ、Ｖｏｌ．２５８８、フィラデルフィア、１９９５年）において、ＴＯＦカメラシステムからの信号を処理する方法が開示されており、この中では、自己相関関数が位相シフトアルゴリズムを利用し、ここで、位相はＴＯＦカメラシステムからの距離に比例し、ここで、測定不確実性は、位相測定の数、変調コントラスト、アクティブ信号内及びノイズ信号内の電子、及び変調信号の波長に従って判定され得る。そのようなシステムは、歩行者及び車両安全システムの両方のために有用であると説明されている。

【0012】

米国特許第７７９１７１５（Ｂ）号明細書には、少なくとも２つの変調周波数を利用して位相データを取得することによって、ＴＯＦ位相派生データをディエイリアシングする方法が説明されている。ディエイリアシングを実施するために、ピクセル検出情報が、少なくとも２つの、好ましくは４つの別個の位相において取り込まれる。これらの別個の位相は、ＴＯＦカメラシステム内の変調器と、照射ユニットとの間のシフトを表す。これは、放出される光と、イメージングセンサによって受信される、物体からの反射された光との間で検出される、所望される位相シフトとは異なる。別個の位相は、変調器と照射ユニットとの間の固定されたパターンオフセットを相殺するために相互に減算される。２つの変調周波数を使用することによって、システムは、２つの変調周波数の間の差に比例する非常に低速な変調周波数において動作させられている間に位相データが収集されるかのように挙動する。複数の変調周波数の使用は、１つのみの変調周波数を使用して達成可能であるよりも良好な、深さ測定の確実性及び精度を提供する。

【0013】

複数の変調周波数の使用は、Ｃａｎｅｓｔａ Ｉｎｃ．（カネスタ・インク）のＳ．Ｂｕｒａｋ Ｇｏｋｔｕｒｋ（Ｓ．ブラク・ゴクターク）、Ｈａｋａｎ Ｙａｌｃｉｎ（ハカン・ヤルシン）、及びＣｙｒｕｓ Ｂａｍｊｉ（サイラス・バンジ）による「Ａ Ｔｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ Ｄｅｐｔｈ Ｓｅｎｓｏｒ−Ｓｙｓｔｅｍ Ｄｅｓｃｒｉｐｔｉｏｎ，Ｉｓｓｕｅｓ ａｎｄ Ｓｏｌｕｔｉｏｎｓ（タイムオブフライト深さセンサ−システム記述、問題及び解決法）」においても説明されている。一実施形態では、２つの変調周波数が使用され、結果が組み合わされて、単一の変調周波数と比較してより正確な、物体についての深さ値が提供される。加えて、曖昧でないすなわち明白レンジ（ｎｏｎ−ａｍｂｉｇｕｏｕｓ ｏｒ ｕｎａｍｂｉｇｕｏｕｓ ｒａｎｇｅ）が拡張される。別の実施形態では、ｆ、２ｆ、４ｆ、８ｆなどにおける変調周波数を用いて複数の測定が行われ、各変調周波数における結果が組み合わされて、長い曖昧でないすなわち明白レンジにわたる、距離の正確な値を提供することが可能である。それぞれの相次ぐ測定において、分解能は倍になり、レンジは半分になる。

【0014】

使用される照射源の周期的性質に、すなわち照射源の変調に起因して、距離レンジ間隔（ｄｉｓｔａｎｃｅ ｒａｎｇｅ ｉｎｔｅｒｖａｌｓ）は繰り返す傾向がある。この現象は、上述のように、ＴＯＦエイリアシングとして知られている。現在、このＴＯＦエイリアシングの問題を解決して、ＴＯＦカメラシステムが実装される特定の適用例のための、十分に長い間隔の曖昧でないすなわち明白距離をＴＯＦカメラシステムが提供することを可能にする、限られた数の技術が存在する。しかしこれらの技術は複数の既知の制限を有し、なぜならこれらは、実装が非常に複雑である、集中的な計算を必要とする、堅牢でない、データ伝送において帯域幅オーバヘッドを発生させる、又は、深さ精度又は全体的カメラ性能の減少をもたらす、という傾向があるからである。

【発明の概要】

【発明が解決しようとする課題】

【0015】

従って本発明の目的は、タイムオブフライト（ＴＯＦ）信号を処理する代替の装置及び方法を、特に、そのようなタイムオブフライト信号のディエイリアシングのための装置及び方法を提供することである。特に、本発明の目的は、タイムオブフライト信号のディエイリアシングを含む代替のＴＯＦセンサ、カメラなどを提供することに関する。

【課題を解決するための手段】

【0016】

本発明の一利点は、ＴＯＦ信号のディエイリアシングが効率的な手法で実行され得るということである。本発明の実施形態の態様は以下の通りである。
ａ）２つの相関プロセスを使用し、第１の相関プロセスは、距離又は深さ値を判定するためのものであり、第２の相関プロセスは、第１の相関内にエイリアシングが存在するかどうかを判定するためのものである。これらの２つのプロセスは相互に独立に行われてもよい。
ｂ）上記のａ）のうちの第１の相関は、第２の相関より高い優先度を与えられてもよく、例えば第１の相関についての計算量は、第２についてよりも第１について多くてもよく、かつ／又は、第１の相関における信号についての積分時間は、第２についてよりも長くてもよい。
ｃ）深さ又は距離情報を得るために１つの相関プロセスが使用されるのに対して、エイリアシングが存在するかどうかを判定するために２つの方法又はプロセスが使用されてもよい。これらのプロセスのうちの第１は、好ましくは、可能なエイリアシングされた値の数を低減させ、第２のプロセスは次に、例えば除去のプロセスによって、可能なエイリアシングされた値の数を１又は１付近まで集中又は低減させる。
ｄ）判定プロセス、すなわちエイリアシングが存在するかどうかについては、好ましくは、例えば超過又は未満の判定などの、単純な算術に基づく。

【0017】

本発明の第１の態様によれば、イメージングセンサを有し、照射ユニットと共に使用するためのタイムオブフライトシステム内の相関測定において、特定の制限内でエイリアシングの存在を判定する又はエイリアシングを回避する方法が提供され、照射ユニットは、変調光を用いてシーンを照射するように適合され、システムは、シーンから反射された変調光に相関信号を適用することによって相関測定値を取得するように適合され、
この方法は、
ａ）シーン内の少なくとも１つの物体からの反射された光を検出し、
ｂ）１つ以上の第１の相関測定値によって、第１の相関信号と、イメージングセンサにおいて受信される反射された光との間の第１の相関を判定し、第１の相関信号は第１の周波数の周期的波形を有し、第１の相関測定値はイメージングセンサから少なくとも１つの物体までの距離に関するパラメータの値を提供し、
ｃ）１つ以上の第２の相関測定値によって、イメージングセンサにおいて受信される反射された光と、第２の相関信号との間の第２の相関を判定し、第２の相関信号は第１の周波数より低い第２の周波数の周期的波形を有し、
ｄ）パラメータの値について、第２の相関測定値からエイリアシングの存在を判定することを含む。

【0018】

第１及び第２の信号は、シーンを照射するための光を変調するために使用されてもよく、第２の周波数は第１の周波数と異なる。又は、照射ユニットからの光を変調するために使用される第３の信号が、第２の相関のために使用される第２の信号と異なるデューティサイクルを有してもよい。第２の信号は、第１の信号と比較してオフセットされていてもよい。第２の相関ステップの後に依然として存在する可能性がある任意の可能なエイリアシングを除去するために、距離関連パラメータ、すなわちセンサとシーンとの間の距離を判定するための、第３のプロセスが提供されてもよい。この距離関連パラメータは、例えば反射率マップなどの、信頼度レベルであってもよい。

【0019】

本発明の別の態様によれば、タイムオブフライトシステム内の位相測定において、例えば少なくとも特定の制限内でエイリアシングの存在を判定する方法が提供され、システムは、イメージングセンサを有しかつ照射ユニットと共に使用するためのものであり、照射ユニットは、周期的波形を有する変調光を用いてシーンを照射するように適合され、システムは、シーンから反射された変調光に相関信号を適用することによって相関測定値を取得するように適合され、
この方法は、
ａ）第１の周波数及び第２の周波数で変調された光を用いてシーンを照射するために照射ユニットによって使用される、変調信号を提供するステップと、
ｂ）第１の周波数における、シーン内の少なくとも１つの物体からの反射された光を検出するステップと、
ｃ）変調信号と、イメージングセンサにおいて受信される反射された光との間の第１の相関を判定するステップと、
ｄ）照射ユニットによって放出される照射光と、イメージングセンサにおいて受信される反射された光との間の第２の相関を判定するステップと、
ｅ）第１及び／又は第２の相関から、検出される反射された光の同相及び／又は直角位相成分を判定し、同相及び／又は直角位相成分を使用してエイリアシングの存在を判定するステップとを含む。

【0020】

エイリアシングの存在又は曖昧性は、例えば第１及び第２の周波数とそれらの間の関係とによって判定される通りに、特定の距離制限内で判定されてもよい。この曖昧性は、ＴｏＦ距離が特定の距離まで確実に判定され得ることを意味する。エイリアシングの影響又は曖昧性は、いくつかの実施形態では、ＴＯＦ以外の距離依存因子又はプロセスに基づく距離測定について信頼度レベルが判定される場合、更に低減させられ得る。そのような距離関連因子は、例えば、物体から反射されるＩＲ光の量、戻る画像内のスペックルのサイズのような、パッシブなものであり、又は、発散パターンを投射し、センサによって見られるパターンのサイズを測定することなどの、アクティブなものであってもよい。本発明の実施形態によれば、信頼度閾値が適用される。この信頼度閾値は、例えば、検出されることが可能な、シーンの物体の距離依存特性に基づいてもよい。閾値はピクセルごとに適用されてもよい。代替の実施形態では、信頼度閾値は、完全画像の一部に基づいて、例えば画像処理技術によって画像内で検出されることが可能な物体（１つ又は複数）に基づいて、又は画像全体について適用されてもよい。例えば、シーン内で検出される物体の反射率は、測定される距離が正しい可能性があることを確認するために使用されてもよい。信頼度閾値が距離依存であるインテリジェント閾値プロセスを使用することによって、本発明のＴＯＦ方法によって実際にサポートされることが可能な最大距離を増加させること、又は確実に検出されることが可能な最大距離が拡張され得るように最小反射率を減少させることが可能である。

【0021】

直角位相（ｑｕａｄｒａｔｕｒｅ）という用語は、位相情報を有する信号を意味する。一般にそのような信号は９０°位相がずれているが、本発明は直角位相が９０°を意味することに限定されない。６０、３０°などのような、３６０°内に配置されるその他の角度が使用されてもよい。本発明の実施形態によって使用されるのは、少なくとも特定の制限内でエイリアシングが判定され得るような手法で、異なる周波数における２つの信号がコンステレーションダイアグラムの異なるセクタ内に入るということである。エイリアシングの判定は、コンステレーションダイアグラム内の決定領域を調べることによって行われてもよい。

【0022】

好ましくは、エイリアシングの存在は、検出される反射された光の同相及び／又は直角位相成分の符号から判定される。

【0023】

好ましくは、位相測定値が、第１の周波数についての様々な位相オフセットにおける相関から判定される。好ましくは、位相測定値が、第２の周波数についての様々な位相オフセットにおける相関から判定される。必要に応じて、第２の周波数は第１の周波数の２^−ｎであり、ここで、ｎ＝１，２，．．．などである。

【0024】

好ましくは、Ｉ値及びＱ値を判定するステップは、第１の周波数及び／又は第２の周波数において行われることが好ましい。第１の及び／又は第２の周波数を使用した位相測定ステップは、Ｉ値及びＱ値を使用して位相測定値を判定することを含んでもよい。

【0025】

本発明の実施形態では、エイリアシングの存在を判定することは、第１の周波数及び／又は第２の周波数において、例えばＩ値及び／又はＱ値を０と比較することによって、Ｉ値及び／又はＱ値の符号を判定することなどの、単純な算術演算を実行することを含む。コンステレーション円のセクタが、様々な位相オフセットを決定アルゴリズムと関連付けてエイリアシングの存在を判定するために使用されてもよい。

【0026】

別の態様では、本発明は、特定の制限内でエイリアシングの存在を判定する又はエイリアシングを回避する手段を有する、タイムオブフライト又はレンジ検出センサ（ｒａｎｇｅ ｆｉｎｄｉｎｇ ｓｅｎｓｏｒ）を提供し、センサは、第１及び第２の信号と共に使用するためのものであり、照射ユニットと共に使用するためのものでもあり、照射ユニットは、変調された変調光を用いてシーンを照射するように適合され、システムは、シーンから反射された変調光に相関信号を適用することによって相関測定値を取得するように適合され、
センサは、
ａ）シーンを照射するために照射ユニットによって使用される第１の信号を提供する手段と、
ｂ）第１の周波数における、シーン内の少なくとも１つの物体からの反射された光を検出する手段と、
ｃ）変調信号と、イメージングにおいて受信される反射された光との間の第１の相関を判定する手段と、
ｄ）イメージングセンサにおいて受信される反射された光と、第２の信号との間の第２の相関を判定する手段と、
ｅ）第１の相関から、イメージングセンサからシーンまでの距離を判定し、第２の相関から、エイリアシングの存在を判定する手段とを含む。

【0027】

手段は、第１の周波数とは異なる第２の周波数を用いてシーンを照射するための光を変調するために、第２の信号が使用され得るように提供されてもよい。又は手段は、照射ユニットからの光を変調するために使用される第３の信号が、第２の相関のために使用される第２の信号と異なるデューティサイクルを有し得るように提供されてもよい。手段は、第２の信号が第１の信号と比較してオフセットされ得るように提供されてもよい。手段は、第２の相関ステップの後に依然として存在する可能性がある任意の可能なエイリアシングを除去するために、距離関連パラメータ、すなわちセンサとシーンとの間の距離に関するパラメータを判定するために提供されてもよい。この距離関連パラメータは、例えば反射率マップなどの、信頼度レベルであってもよい。

【0028】

更に別の態様では、本発明は、特定の制限内でエイリアシングの存在を判定する又はエイリアシングを回避する手段を有する、タイムオブフライト又はレンジ検出センサを提供し、センサは、イメージングセンサを有し、照射ユニットと共に使用するためのものであり、照射ユニットは、周期的波形を有する変調光を用いてシーンを照射するように適合され、
ａ）第１の周波数及び第２の周波数で変調された光を用いてシーンを照射するために照射ユニットによって使用される、変調信号を提供する手段と、
ｂ）シーン内の少なくとも１つの物体からの反射された光を検出する手段と、
ｃ）第１の周波数について、変調信号と、イメージングセンサにおいて受信される反射された光との間の第１の相関を判定する第１の手段と、
ｄ）第２の周波数について、照射ユニットによって送られる照射光と、イメージングセンサにおいて受信される反射された光との間の第２の相関を判定する第２の手段と、
ｅ）第１及び／又は第２の相関から、検出される反射された光の同相及び／又は直角位相成分を判定し、同相及び／又は直角位相成分を使用してエイリアシングの存在を判定する第３の手段とを含む。

【0029】

反射された光を検出する手段は、ピクセルを有するセンサであってもよい。相関を判定する手段、及び／又は、同相及び／又は直角位相成分を判定する手段、又は、エイリアシングの存在を判定する手段は、センサに接続された、又はセンサと一体化された処理ユニットであってもよい。例えばこれらの手段はコンピュータによって提供されてもよく、センサの出力はコンピュータに接続される。

【0030】

エイリアシングの存在又は曖昧性は、第１及び第２の周波数、及びそれらの分離、又はそれらの間の関係によって、特定の制限内で判定されてもよい。この曖昧性は、ＴｏＦ距離が特定の距離まで確実に判定され得ることを意味する。エイリアシングの影響又は曖昧性は、いくつかの実施形態では、ＴｏＦ以外の因子又はプロセスに基づく距離測定について信頼度レベルが判定される場合、更に低減させられ得る。本発明の実施形態によれば、信頼度閾値が適用される。この信頼度閾値は、例えば、検出されることが可能な、シーンの物体の距離依存特性に基づいてもよい。そのような距離関連因子は、例えば、物体から反射されるＩＲ光の量、戻る画像内のスペックルのサイズのような、パッシブなものであり、又は、発散パターンを投射し、センサによって見られるパターンのサイズを測定することなどの、アクティブなものであってもよい。閾値はピクセルごとに適用されてもよい。代替の実施形態では、信頼度閾値は、完全画像の一部に基づいて、例えば画像処理技術によって画像内で検出されることが可能な物体（１つ又は複数）に基づいて、又は画像全体について適用されてもよい。例えば、シーン内で検出される物体の反射率は、測定される距離が正しい可能性があることを確認するために使用されてもよい。信頼度閾値が距離依存であるインテリジェント閾値プロセスを使用することによって、本発明のＴＯＦカメラシステムによって実際にサポートされることが可能な最大距離を増加させること、又は確実に検出されることが可能な最大距離が拡張され得るように最小反射率を減少させることが可能である。

【0031】

好ましくは、第３の手段は、検出される反射された光の同相及び／又は直角位相成分の符号からエイリアシングの存在を判定するように適合される。

【0032】

好ましくは、第１の手段は、第１の周波数についての様々な位相オフセットにおける相関から位相測定を行うように適合される。好ましくは、第２の手段は、第２の周波数についての様々な位相オフセットにおける相関から位相測定を行うように適合される。

【0033】

必要に応じて、第２の周波数は第１の周波数の２^−ｎであり、ここで、ｎ＝１，２，．．．などである。

【0034】

好ましくは、判定する第３の手段は、第１の周波数及び／又は第２の周波数においてＩ値及びＱ値を判定するように適合される。

【0035】

本発明の実施形態では、判定する第３の手段は、第１の周波数及び／又は第２の周波数において、例えばＩ値及び／又はＱ値を０と比較することによって、Ｉ値及び／又はＱ値の符号を判定することによって、エイリアシングの存在を判定するように適合される。

【0036】

上記のセンサのうちのいずれも、ＴＯＦ装置の一部であってもよい。

【0037】

本発明をより良く理解するために、ここで添付の図面を単なる例として参照する。

【図面の簡単な説明】

【0038】

【図1】４つの位相象限又は位相セクタを有する位相円を示す。

【図2】図１に類似しているが、８つの位相セクタを有する。

【図3】ディエイリアシングの影響、及びシーン内の物体の反射率を示すグラフを示す。

【図4】技術のうちの１つについて、光のための変調信号、それらの反射、及びＴＯＦ乗算器のミックス入力を駆動するために必要とされる信号を示すグラフを示す。

【図5】技術のうちの別の１つについて、光のための変調信号、それらの反射、及びＴＯＦ乗算器のミックス入力を駆動するために必要とされる信号を示すグラフを示す。

【図6】本発明の実施形態によるＴＯＦカメラを示す。

【図7】ＴＯＦシステムの概略図である。

【発明を実施するための形態】

【0039】

本発明について、特定の実施形態に関して特定の図面を参照して説明するが、本発明はそれらに限定されない。記載される図面は概略的なものにすぎず、非限定的なものである。図面において、要素のうちのいくつかのサイズは、説明の目的のために誇張され、縮尺通りには描かれていない場合がある。

【0040】

本明細書の残りの部分では、ディエイリアシングの原理について、位相測定に基づいて説明する。但し、本発明は他の周期的信号（例えば疑似ランダムビットストリーム又はその他のデジタル信号）に対しても使用できることに留意されたい。

【0041】

図７を参照すると、ＴＯＦ測定においては、照射ユニットを有するＴＯＦカメラシステムからの照射光がシーン内の点まで進み、それらの点からの反射された光がＴＯＦカメラシステムのセンサユニットに戻るまでの、ラウンドトリップ時間が測定される。従来のＴＯＦカメラシステムでは、照射光は、信号発生器からの信号を用いて照射ユニットを駆動することによって生成される、周期的に変調された光を含む。タイムオブフライトを判定するための１つの選択肢では、シーンを照射するためのＴＯＦカメラシステムから放出される光と、受信されるシーンから反射された光との間の位相遅延が判定される。これは、信号発生器からの変調信号を受信する相関及び評価ユニット内で行われる。

【0042】

この位相遅延は、次に、周期長及び光速を使用して、測定される距離に、すなわちＴＯＦカメラシステムからの、物体の少なくとも１つの点の距離に変換されてもよい。これはピクセルごとに行われてもよい。変調光の周期的性質に起因して、特定の距離において位相遅延測定値は繰り返され（すなわちエイリアシングされ）、これは位相遅延が周期の倍数を超過すると発生する。位相遅延測定値のこの繰り返しは、上述のように、信号の「エイリアシング」と呼ばれる。本質的に、ＴＯＦ距離測定値Ｄは、

【数1】

として判定されてもよく、上式で、ｃは光速であり、ｆは変調光の周波数であり、ｐｈａｓｅ＿ｄｅｇは度単位での位相シフトであり、ｋは「エイリアシング」された周期の数に関する。この式内の第１の因数は、ディエイリアシングのための備えを有さないシステムについてのエイリアシング距離であり、これは次の明白距離に一致する。

【数2】

この距離は、１周期内に含まれてもよい最大距離を表す。より大きな距離は、ｋ回の繰り返しであり、従って画像内に含まれる場合はエイリアシングされ、そして明白に測定されるためにはｋに関する知識が必要とされる。

【0043】

この原理に基づく距離測定値は、理論的には決して一意に規定されず、無制限の数の可能な距離測定値に一致する。現在のシステムでは、全ての測定値について、ｋの値が０に等しいと仮定する。従って、実際にはいくつかのピクセルについてｋ＞０である場合、この仮定は正しくなく、測定値は不正確である。

【0044】

本発明の態様に従って、新規なディエイリアシング方法が説明され、この方法は、ｋが０である、又は特定の範囲内であると識別するために、及び／又はｋの正確な値を識別するために使用されてもよい。本発明の実施形態は、イメージングセンサを有し、照射ユニットと共に使用するためのタイムオブフライトシステム内の相関測定において、特定の制限内で、エイリアシングの存在を判定する又はエイリアシングを回避する方法を説明し、照射ユニットは、変調光を用いてシーンを照射するように適合され、システムは、シーンから反射された変調光に相関信号を適用することによって相関測定値を取得するように適合される。この方法のステップは任意の好適な順序で実行されてもよい。この方法は、
ａ）シーン内の少なくとも１つの物体からの反射された光を検出し、
ｂ）１つ以上の第１の相関測定値によって、第１の相関信号と、イメージングセンサにおいて受信される反射された光との間の第１の相関を判定し、第１の相関信号は第１の周波数の周期的波形を有し、第１の相関測定値はイメージングセンサから少なくとも１つの物体までの距離に関するパラメータの値を提供し、
ｃ）１つ以上の第２の相関測定値によって、イメージングセンサにおいて受信される反射された光と、第２の相関信号との間の第２の相関を判定し、第２の相関信号は第１の周波数より低い第２の周波数の周期的波形を有し、
ｄ）パラメータの値について、第２の相関測定値からエイリアシングの存在を判定することを含んでもよい。

【0045】

パラメータは位相差であってもよい。この方法では、第１の位相測定値が、第１の周波数についての様々な位相オフセットにおける第１の相関測定値から判定されてもよい。好ましくは、第１の相関測定値における、検出される反射された信号の信号積分時間は、第２の相関測定値の信号積分時間より長い。これにより距離測定値の精度が向上し、同時に依然としてエイリアシングが解決される。

【0046】

第２の相関信号は、これが相関される検出される反射された変調光のデューティサイクルとは異なるデューティサイクルを有してもよい。第２の相関信号のデューティサイクルは５０％であってもよい。

【0047】

第１及び／又は第２の相関測定値はエイリアシングインジケータとして結合される。そのようなエイリアシングインジケータはＩ値及びＱ値であってもよい。別のインジケータは、シーン内の物体からの反射率などの、距離関連因子に基づいてもよい。

【0048】

この方法は、
第２の周波数についての様々な位相オフセットを使用して第２の相関測定値を判定するステップと、
１つ以上の第２の相関測定値から、検出される反射された光の同相及び／又は直角位相成分を判定し、同相及び／又は直角位相成分を使用してエイリアシングの存在を判定するステップとを更に含んでもよい。

【0049】

エイリアシングの存在は、距離関連因子を測定することから判定される信頼度レベルを使用することによって判定されてもよい。距離関連因子は、反射された光の量、スペックルパターンのサイズ、インポーズされるパターンのサイズであってもよい。

【0050】

エイリアシングの存在は、検出される反射された光の同相及び／又は直角位相成分の符号などのインジケータから判定されてもよい。

【0051】

第２の位相測定値が、第２の周波数についての様々な位相オフセットにおける第２の相関測定値から判定されてもよい。第１の周波数は第２の周波数と異なり、例えば第２の周波数より高い、又は第２の周波数の倍数である。

【0052】

同相及び／又は直角位相成分を判定するステップは、第１の周波数及び／又は第２の周波数におけるＩ値及びＱ値を判定することを含んでもよい。

【0053】

エイリアシングの存在は、Ｉ及び／又はＱの符号、及び／又は、Ｉ及びＱの絶対値の差などのインジケータから判定されてもよい。

【0054】

実施形態は、特定の制限内でエイリアシングの存在を判定する又はエイリアシングを回避する手段を有する、タイムオブフライト又はレンジ検出センサユニットを説明し、センサは、照射ユニットと共に使用するためのものであり、照射ユニットは、変調光を用いてシーンを照射するように適合され、システムは、シーンから反射された変調光に相関信号を適用することによって相関測定値を取得するように適合され、
センサユニットは、
ａ）シーン内の少なくとも１つの物体からの反射された光を検出する、第１の手段と、
ｂ）第１の相関測定値によって、第１の信号と、イメージングセンサにおいて受信される反射された光との間の第１の相関を判定する、第２の手段と（第１の相関測定値はイメージングセンサからシーンまでの距離に関するパラメータの値を提供し）、
ｄ）第２の相関測定値によって、イメージングセンサにおいて受信される反射された光と、第２の信号との間の第２の相関を判定する、第３の手段と（第２の信号は第１の周波数より低い第２の周波数の周期的波形を有し）、
ｅ）その値について、第２の相関測定値からエイリアシングの存在を判定する、第４の手段とを含む。

【0055】

パラメータは位相差であってもよい。第２の手段は、第１の周波数についての様々な位相オフセットにおける第１の相関測定値から第１の位相測定値を判定するように適合されてもよい。

【0056】

好ましくは、第２及び第３の手段は、第１の相関測定値の信号積分時間が第２の相関測定値の積分時間より長いように適合される。

【0057】

第２の相関信号は、これが相関される検出される反射された変調光のデューティサイクルとは異なるデューティサイクルを有してもよい。第２の信号のデューティサイクルは５０％であってもよい。

【0058】

第２の相関を判定する第３の手段は、第２の周波数についての様々な位相オフセットにおいて第２の相関測定を実行するように適合されてもよい。
センサユニットは、第２の相関測定値から、検出される反射された光の同相及び／又は直角位相成分を判定するように適合されてもよく、第４の手段は、同相及び／又は直角位相成分を使用してエイリアシングの存在を判定する。

【0059】

エイリアシングの存在は、距離関連因子から判定される信頼度レベルを使用することによって判定されてもよい。距離関連因子は、第１の周波数及び／又は第２の周波数において変調された反射された光の量、スペックルパターンのサイズ、インポーズされるパターンのサイズであってもよい。

【0060】

同相及び／又は直角位相成分を判定する手段は、検出される反射された光の同相及び／又は直角位相成分の符号からエイリアシングの存在を判定するように適合されてもよい。

【0061】

判定する第２の手段は、第１の周波数についての様々な位相オフセットにおける第１の相関から位相測定を行うように適合されてもよい。

【0062】

判定する第３の手段は、第２の周波数についての様々な位相オフセットにおける第２の相関から位相測定を行うように適合されてもよい。

【0063】

第１の周波数は第２の周波数と異なり、例えば第２の周波数より高い、又は第２の周波数の倍数である。

【0064】

同相及び／又は直角位相成分を判定する第４の手段は、第２の周波数におけるＩ値及びＱ値を判定するように適合されてもよい。

【0065】

同相及び／又は直角位相成分を判定する第４の手段は、Ｉ値及び／又はＱ値の符号を判定することによってエイリアシングの存在を判定するように適合されてもよい。

【0066】

第１及び／又は第２の信号は、好ましくは、オフセットエラーを回避するために位相オフセットについて較正される。

【0067】

センサユニットのセンサは、マイクロプロセッサ又はＦＰＧＡなどのプロセッサを含んでもよい相関及び評価ユニットと共に使用するためのものであってもよい。

【0068】

第１及び第２の信号が、反射された光との相関のために説明されるが、本発明は、カスケードされてもよい又は繰り返し適用されてもよい、より多くの信号の使用を含み、それらの信号は第１及び第２の信号とは異なる周波数におけるものであってもよい。

【0069】

第１の利点は、ｋが０であるかどうかを判定する場合、距離測定値は今や一意に規定される距離測定値であり、これにより、ｋ＞０の場合に上記で説明したようにシステムが不正確な距離情報を出力することが回避されるということである。第２の利点は、ｋの値を認識した場合、この識別された情報をシステムがより長い距離レンジに変換することが更に可能になるということである。第３の利点は、より高い変調周波数が使用可能であり、深さ精度に関する有利な効果を有する可能性があるということである。

【0070】

ＴＯＦなどのいくつかの距離測定技術では、測定において使用される反射されたアクティブ赤外線光の強度についての追加の値も取得され、本願発明者らはこれを信頼度と呼ぶ。信頼度は距離の２乗で低下する。

【0071】

エイリアシングの曖昧性の解決における第１のアプローチは、ｋを判定するために信頼度を見ることである。信頼度は距離の関数であるだけでなく、シーン内の表面の反射率の関数でもあるため、これは良い解決法ではない。従って、非常に低い信頼度は、１周期を超えて離れた物体（ｋ＞０）に、又は非常に低い反射率を有するすぐ近くの物体（例えば黒い革ジャケット）に対応する可能性がある。従って、この原理に依拠するためには、シーン内の全てのピクセルについて、シーン内の反射率が知られていなければならない。そのような場合、信頼度はｋを判定するために使用されてもよい。しかし実際にはこれは稀なケースである。

【0072】

本発明で使用されるアプローチでは、信頼度に部分的に依拠する。第１のアプローチは、信頼度に基づいて、ｋ＞０を有する可能性がある全てのピクセルを抑止することである。上記で示したように、信頼度は、ｋ＞０を有するピクセルが、すぐ近くのより低い反射率を有するピクセルと区別されることを可能にせず、両方が抑止される。従って、この原理を適用すれば、ｋ＞０を有する測定値が抑止されることが保証され、しかし特定の反射率制限より下の、エイリアシング距離未満の良好な測定値も抑止される。一次において、この最少反射率制限は、適用例のために必要とされる最大距離の２乗に比例し、明白距離の２乗に反比例する。高反射率、及び例えば低反射率衣料などの非常に低い反射率レベルに適合することが、この技術の使用事例の多くにおける目的であるため、この反射率制限は上記の技術の重大な制限である。従って、本発明の目的は、この制限を最小にすることである。これは明白距離を増加させること、又は適用例のために必要とされる最大距離を低減させることによって取得される。しかし後者は、ほとんどの場合はこれが適用例によって規定される固定パラメータであるため、見通しをほとんど又は全く提供せず、従って本明細書の残りの部分では考慮されない。明白距離は、変調周波数を低減させることによって容易に増加させることが可能である。しかしこれは距離測定に関する不確実性に悪影響を及ぼす。従って、本明細書で説明される、明白距離を増加させる他の手段が重要である。

【0073】

距離依存である適応閾値などの、より複雑な信頼度閾値メカニズムを使用すれば、特定の反射率制限での最大サポート距離を増加させること、及び／又は最小反射率制限を減少させることが可能である。

【0074】

説明を容易にするために、一般的なＴＯＦカメラシステムが本明細書全体を通して仮定される。ＴＯＦカメラシステムにおいて位相を測定するために、同相すなわちＩ値、及び直角位相すなわちＱ値が判定される。直角位相という用語は、位相情報を有する信号を意味する。一般にそのような信号は９０°位相がずれているが、本発明は直角位相が９０°を意味することに限定されない。６０、３０°などのような、３６０°内に配置されるその他の角度が使用されてもよい。エイリアシングの判定は、コンステレーションダイアグラム内のそのような決定領域を調べることによって行われてもよい。

【0075】

本発明の実施形態によれば、Ｉ値及びＱ値が判定される。これは一般に、例えば２つ以上の、又は、３つ、４つの異なる位相オフセットなどの、複数の位相オフセットにおいて、放出される及び反射される光信号の間の相関を測定することによって行われる。例えば４つのオフセットは、一般に０°、９０°、１８０°、及び２７０°である。これらの測定値を使用する場合、Ｉ値及びＱ値は、
Ｉ＝Ｍ＿０−Ｍ＿１８０
Ｑ＝Ｍ＿９０−Ｍ＿２７０
であり、上式で、Ｍ＿０、Ｍ＿９０、Ｍ＿１８０、及びＭ＿２７０はそれぞれ０°、９０°、１８０°、及び２７０°における測定値である。

【0076】

Ｉ及びＱは、次に、標準的な三角法の関係
φ＝ａｔａｎ２（Ｑ，Ｉ）
を使用して位相φを計算するために使用されてもよい。

【0077】

ＴＯＦ測定のための照射光として使用される変調周波数は、以下の説明全体を通して、第１の周波数又はベース周波数（ＢＦ）と呼ばれる。加えて、第２の周波数又は派生周波数が、ＢＦに対するそれらの関係に従って、例えばＨＡＬＦ及びＱＵＡＲＴＥＲなどと呼ばれる。

【0078】

本発明の目的は、ＴＯＦ距離測定に次いで、追加のより短い測定を追加することによってエイリアシングを区別し、エイリアシング状態を判定することを可能にする技術も提供することである。本発明の目的は、この測定を行うために必要とされる積分時間をできるだけ短く保って、必要とされる照射におけるエネルギーを節約し、できるだけ集中し、実際の距離測定のための長い積分時間を可能にすることである。積分時間がより長ければ、不確実性はより少ない。しかし利用可能な積分時間は、例えば５０ｆｐｓに対して２０ｍｓのように、必要とされるフレームレートによって制限される。従って、非常に短い時間フレーム内でエイリアシングを識別する技術を有することが重要であり、非常に有利である。

【0079】

本発明の第１の実施形態によれば、１つの追加の測定が、上述の標準的なＴＯＦ技術を用いて、より低い第２の周波数において行われる。この測定は、例えば第２の周波数ＨＡＬＦ、すなわち第１の周波数又はＢＦの半分において行われる。その場合、システムは以下の関係を使用して、ｋが偶数であることとｋが奇数であることを判別することが可能である。
ＱＨＡＬＦ＞０の場合→ｋが偶数でのＴＯＦ測定
ＱＨＡＬＦ＜０の場合→ｋが奇数でのＴＯＦ測定

【0080】

従って、１回の測定の符号を調べることのみで、ｋについての可能な値を奇数又は偶数のいずれかであることに低減させることが可能になる。従って、明白距離は２倍に増加させられ、これにより反射率制限は４分の１に低減させられる。

【0081】

しかし、この測定におけるノイズに起因して、例えばＱＨＡＬＦが０に非常に近い場合、測定値は誤って解釈される可能性がある。

【0082】

あるいは、ＩＨＡＬＦ測定値も、上記と同じ関係を使用して、測定におけるノイズの同じ問題を伴って使用されてもよい。

【0083】

これを改良するために、測定の時間的コヒーレンシを考慮に入れ、エイリアシング距離を完全に又はほぼ完全に変える距離を拒絶してもよく、なぜならそれらは上記で説明したノイズに起因する可能性があるからである。エイリアシング距離は一般にかなり大きく、例えば２０ＭＨｚの変調周波数に対して７．５ｍなどである。時間的コヒーレンシに次いで又はこれと共に、周囲のピクセルも考慮に入れられてもよい。

【0084】

ノイズに対する耐性を向上させるための別の手法は、例えばＩＨＡＬＦ又はＱＨＡＬＦだけでなく、両方を調べ、次にＱＨＡＬＦ、ＩＨＡＬＦの符号、並びにＱＢＦ及びＩＢＦの符号も使用することによって、追加の冗長性を測定内に追加することである。このようにして、以下でより詳細に説明するように、４つの可能性のある結果及び結論が取得され得る。

【0085】

ＱＢＦ及びＩＢＦは一般に、容易に入手可能であり、なぜならこれらはＴＯＦ測定自体を完了するために計算されなければならず、従って追加の必要とされる測定値とはみなされないからである。

【0086】

図１は、４つの象限１、２、３、及び４に分割されたコンステレーションダイアグラム１０を示す。各象限１、２、３、及び４は、それぞれ、０°と９０°との間、９０°と１８０°との間、１８０°と２７０°との間、及び２７０°と０°すなわち３６０°との間の位相範囲に対応する。第１の周波数又はベース周波数、及びベース周波数の半分である第２の周波数に関して、以下の表１は、各行が、円１０内のＨＡＬＦ又は低周波数象限に対応し、各列が、ＢＦ又は高周波数象限に対応することを示す。各測定について、ＱＨＡＬＦ、ＩＨＡＬＦ、ＱＢＦ、及びＩＢＦの符号が、次に、ＢＦ又は第１の周波数、及びＨＡＬＦ又はより低い周波数についての象限を判定するために使用されてもよい。これらの象限を使用して、ＨＡＬＦ又はより低い周波数についての正しい象限の値が表１に示されている。この正しい値は次に、上記で示したように、ｋの奇数及び偶数符号を判定するために使用される。このようにして、測定値の冗長性に起因して、最大９０°までのノイズが補正され得る。

【0087】

【表1】

【0088】

従って、最初に信頼度閾値が設定されてｋ＞１の可能性がある全ての測定値を除去しなければならず、次にＨＡＬＦ象限を認識し、「ＨＡＬＦ＿３」又は「ＨＡＬＦ＿４」の値は単一のエイリアシング距離が追加される必要があることを意味し、「ＨＡＬＦ＿１」又は「ＨＡＬＦ＿２」の象限値はエイリアシングが存在しないことを意味する。従って、ＨＡＬＦＱ及びＨＡＬＦＩの測定を追加し、ＨＡＬＦＱ、ＨＡＬＦＩ、ＱＢＦ、ＩＢＦの符号を見ることのみによって、明白距離の倍増を達成することが可能である。

【0089】

ＨＡＬＦＱ及びＨＡＬＦＩ測定値について符号のみが区別される必要があるため、これらの測定値を得るために使用されるアクティブ光の量を制限することが望ましい。上記で示したように、約９０°のノイズがこの技術を使用して修正され得る。従って、システム動作は、３Ｄタイムオブフライトカメラの当業者によって行われ得るように、９０°を超えるノイズを回避するように設計されるべきである。

【0090】

更に、第２の重要な制約条件は、両方の周波数において行われる測定の間のオフセットである。このオフセットは、９０°の許容ノイズレベルから上記の理由において導き出される。従って、このオフセットをできるだけ低減させることが重要である。これは例えば１）変調信号を位相シフトさせること、又は２）受信される相関のうちの１つを後で計算的に回転させることによって行われてもよい。

【0091】

オフセットを低減させることは、製造中のＴＯＦカメラ較正フェーズの間に、固定された既知の距離において各周波数について位相を測定し、測定されるオフセットについて補正することによって行われてもよい。このオフセット値はデジタルメモリ内に記憶され、次に、放出される光又は反射される光のうちの１つに遅延を適用してオフセットを補償するために使用される。

【0092】

一般的な実装では、第１の周波数又は高変調周波数は、ＴＯＦカメラシステム内のベースクロックによって許容される可能な最小数のデジタルステップを用いて達成され、第２の周波数又は最低周波数は、いくつかのベースクロック・ティックで作られる。従って、第２の周波数又は最低周波数（この場合はＨＡＬＦ）のみを調節することが、その遅延を第１の周波数又は最高周波数（ＢＦ）と一致させるために必要である。

【0093】

加えて、残りの不一致は、ＰＬＬ又は遅延線を使用して除去されてもよい。

【0094】

あるいは、同期は、（２×２）×（２×１）マトリクス操作を用いてＩ及びＱ座標を回転させることによって達成されてもよく、ここで（２×２）マトリクスは、較正中に決定されてもよく、又は特定のＴＯＦカメラシステム製造ラインについての固定されたマトリクスとして定義されてもよい。

【0095】

但し、本発明の第１の実施形態は、第１の周波数又は元の変調周波数すなわちＢＦ信号において取得可能な、曖昧性のないすなわち明白距離（ｎｏｎ−ａｍｂｉｇｕｉｔｙ ｏｒ ｕｎａｍｂｉｇｕｏｕｓ ｄｉｓｔａｎｃｅ）の、最大２倍までしか検出できないという点において明確な制限を有することに留意されたい。

【0096】

本発明の第２の実施形態では、第２の周波数はＱＵＡＲＴＥＲ周波数であってもよく、例えば、２０ＭＨｚの第１の周波数ＢＦに対して、使用されてもよい第２の周波数又は最低周波数は５ＭＨｚである。これはエイリアシング距離レンジの最大４倍までの、識別がもたらされ得るレンジの拡張を提供する。

【0097】

図２は、示されている８つのセクタ１、２、３、４、５、６、７、及び８に分割された円２０を示す。この場合、測定におけるノイズの存在に起因する１つのケースから別のケースへのジャンプを回避するために調べられる必要がある、以下の表２に示す８つの可能なケースが存在する。

【0098】

上記のＨＡＬＦ周波数の場合と同様に、冗長性のない、しかしノイズの傾向がある実装が可能である。この場合、これはＱＵＡＲＴＥＲ周波数を４つのみの象限に分割することに基づく。前の場合と同様に、ノイズの影響に対する補償は、時間コヒーレンシ及び／又は隣接するピクセルとのコヒーレンシを使用して提供され得る。

【0099】

【表2】

【0100】

表２では、各行が、円２０内の第２の周波数ＱＵＡＲＴＥＲ又は低周波数セクタに対応し、各列が、第１の周波数ＢＦ又は高周波数象限に対応する。表２内の値は、正しいＱＵＡＲＴＥＲに対応する。このようにして、測定値の冗長性に起因して、最大９０°までのＢＦ又は高周波数ノイズが補正され得る。

【0101】

表２では、ケース１〜８は、以下のステップが実行されるという前提で区別され得る。
１）Ｉの符号を調べる
２）Ｑの符号を調べる
３）Ｉ＞Ｑかどうかを調べる

【0102】

前と同様に、これらの全ての演算は単純な比較演算であり、しかし制約条件は同じままであり、すなわち、第１の周波数ＢＦ又は高周波数信号の９０°が、第２の周波数ＱＵＡＲＴＥＲ又は低周波数信号の２２．５°と等しい。これは、表１及び２のそれぞれが４つの列を有する理由でもある。

【0103】

より低い周波数についてＱＵＡＲＴＥＲ＿１〜ＱＵＡＲＴＥＲ＿８のケースを区別することは、次に、以下を識別するために役立つ。
ＱＵＡＲＴＥＲ＿１又はＱＵＡＲＴＥＲ＿２：ｋは［０；４；８；．．．］に属する
ＱＵＡＲＴＥＲ＿３又はＱＵＡＲＴＥＲ＿４：ｋは［１；５；９；．．．］に属する
ＱＵＡＲＴＥＲ＿５又はＱＵＡＲＴＥＲ＿６：ｋは［２；６；１０；．．．］に属する
ＱＵＡＲＴＥＲ＿７又はＱＵＡＲＴＥＲ＿８：ｋは［３；７；１１；．．．］に属する

【0104】

明白距離はこれによって４倍に拡張される。従って、信頼度閾値に課される必要がある反射率制限は、所望されたように大幅に低減される。

【0105】

本発明は、ＨＡＬＦ又はＱＵＡＲＴＥＲ周波数である第２の周波数に限定されず、ＥＩＧＨＴＨ及びより低い分数周波数などの他の周波数に拡張されてもよい、ということは容易に理解されるであろう。しかし、ＥＩＧＨＴＨ又はより低い分数周波数の利用に伴って、計算要件における関連する増加があり、なぜならその場合この技術は、全てのエイリアシングパターンを識別できるように、少なくとも８つの、及び好ましい１６のケースを使用するからである。

【0106】

エイリアシングレンジを、ＢＦ又は高周波数の曖昧性のないすなわち明白な間隔の最大４倍に拡張することは、完全にディエイリアシングされた距離測定又は関連する画像を達成するために、多くの場合すでに十分である。しかしＴＯＰカメラシステムの曖昧性のないすなわち明白レンジを更に拡張することが本発明の範囲内に含まれることは、理解されるであろう。

【0107】

反射率と距離との間のトレードオフが、距離に対する相対信号強度のグラフがプロットされた図３に示されている。トレース３０は、反射率４％の場合のエイリアシングされていない信号に関し、トレース３５は、反射率１００％の場合のエイリアシングされた信号に関する。

【0108】

しかし、変調周波数を増加させる場合、これはＴＯＦカメラシステムの性能のために有益であるが、システムの最大レンジを４倍に拡張することは適切ではない場合がある、ということが見い出された。１．５ｍの自然な曖昧性のないすなわち明白距離を有する１００ＭＨｚの第１の周波数ＢＦが使用される場合、上記の本発明の第２の実施形態に関して説明されたＱＵＡＲＴＥＲ周波数である第２の周波数を使用すれば、曖昧性のないすなわち明白距離は今や６ｍである。しかし、ＴＯＦカメラシステムが動作する領域のサイズに起因して、距離測定は３ｍに制限され、反射率制限は一次において２５％となり、これはより低い反射率の物体についての距離判定を非常に困難にする。その上、６ｍより大きな距離におけるディエイリアシングが必要とされるシステムについて、ＱＵＡＲＴＥＲ周波数である第２の周波数は、従って十分ではない。

【0109】

上述のように、ＥＩＧＨＴＨ周波数である第２の周波数がこれらの状況のために使用されてもよいが、より複雑な比較が伴う。より複雑な比較の代替として、反復技術が、曖昧性のないすなわち明白距離を拡張するために使用されてもよい。

【0110】

本発明の第１の実施形態で上述したＨＡＬＦ周波数である第２の周波数を使用する、反復方法が実装されてもよい。これは曖昧性のないすなわち明白距離を１００％拡張し、すなわち、第１の周波数ＢＦを用いて取得される明白距離を２倍にする。第１の反復において距離は１００％拡張される（２倍される）。第２の反復において距離は更に１００％拡張され（実質的に４倍され）、第３の反復において距離は更に１００％拡張される（８倍にされる）。各反復において、測定値におけるエイリアシングの存在が判定され得るように、Ｉ及びＱの符号が判定される。

【0111】

反復を無期限に実行することが可能であるが、許容ノイズ制限が慎重に守られなければならない、ということが理解されるであろう。１ステップについての最大許容ノイズは９０°であり、しかしこれはその後、この反復プロセスの全ての段階において順守されなければならない。

【0112】

あるいは、第２のＨＡＬＦ周波数の反復を使用する代わりに、第２のＱＵＡＲＴＥＲ周波数について反復が実行されてもよく、これは同じ数の測定を用いて物体が測定され得る距離のより大きな拡張を可能にする。加えて、反復は、第２のＨＡＬＦ及びＱＵＡＲＴＥＲ周波数の両方を使用して結合されてもよい。第２のＨＡＬＦ周波数を反復内に含め、これにより、曖昧性のないすなわち明白距離を他の手法で更に拡張することも可能な場合がある。

【0113】

ＴＯＦ測定は一般に、複数の異なる測定を行うことによって実施される。これらの測定は、照射源によって放出される変調信号と、ＴＯＦカメラシステムのイメージングセンサにおいて受信されるものとの間の位相差又は時間遅延差において異なる。これらの測定は「位相フレーム」と呼ばれてもよい。一般に、０°、９０°、１８０°、及び２７０°が位相フレームのために使用される。これらの測定のそれぞれは並列に、又は順次行われてもよい。本発明は１つ以上の追加の測定が行われることを必要とするため、これらの追加の測定を実施する様々な手法が可能である。

【0114】

追加の測定を実施する一方法は、位相フレームのための測定時間の長さを低減させ、必要とされる追加の測定を追加することである。一実施では、４つの追加の位相フレームが必要とされ、０＿ＨＦ、９０＿ＨＦ、１８０＿ＨＦ、２７０＿ＨＦ、０＿ＬＦ、９０＿ＬＦ、１８０＿ＬＦ、２７０＿ＬＦにおける測定がもたらされ、ここで、ＨＦは高周波数を意味し、ＬＦは低周波数に関する。一般にこれらの測定は順次行われ、ディエイリアシングの十分な精度のために必要とされる測定時間は、ＬＦについてはＨＦと比較してはるかに短い。

【0115】

別の方法は、これらの追加の測定を個々の位相フレームのそれぞれの後に追加することであり、これにより、０＿ＨＦ、０＿ＬＦ、９０＿ＨＦ、９０＿ＬＦ、１８０＿ＬＦ、１８０＿ＨＦ、２７０＿ＬＦ、２７０＿ＨＦにおける測定がもたらされる。

【0116】

これらの測定は、システムが許容する場合、並列に行われてもよい。本発明の方法は、低レベル電子回路を使用して実装されてもよい。この方法は、ホスト上のドライバ回路内に、又は更にはその背後に容易に実装されることが可能であるが、一般には、コンパニオンチップ又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）上で動作するファームウェア内に実装される。この方法はまた、イメージングセンサの集積回路（ＩＣ）内に組み込まれてもよい。加えて、本発明の方法は、逆正接（ｔａｎ−１すなわちａｒｃｔａｎ）、平方根（ｓｑｒｔ）などのような困難な代数関数にではなく、非常に単純な比較ロジックに基づくため、特に有用である。

【0117】

本発明のシステムは、必要とされる測定値の数を低減させることによって最適化され得る。ＴＯＦ理論によれば、少なくとも３つの測定値が好ましい。従って、０°及び９０°値のみを基準値と共に測定することが可能である。ここで、必要とされるＩ値及びＱ値は以下のように判定されてもよい。
Ｉ＝Ｍ＿０°−基準
Ｑ＝Ｍ＿９０°−基準
上式で、Ｍ＿０°及びＭ＿９０°は、それぞれ０°及び９０°において取られる測定値である。

【0118】

本発明について、例えば０°、９０°、１８０°、及び２７０°などの、９０°間隔で取られる測定値を使用して説明してきたが、その他の測定値も使用されてもよいということが理解されるであろう。測定値間隔は、０°、１２０°、及び２４０°、又は任意のその他の好適な測定値間隔であってもよい。同相及び／又は直角位相信号が評価される場合、０°、９０°、１８０°、及び２７０°、又は、９０°、１８０°、２７０°、及び３６０°の間隔が使用される傾向がある。

【0119】

本発明の別の実装では、追加のより低い周波数の測定のために、光源に送られる変調信号とセンサ内のミキサ２９（図６を参照）に送られるミックス信号とについて、異なるデューティサイクルが使用されてもよい。そのようなアプローチのために使用される信号を有する例示的フレームが、図４に示されている。フレームは長さ１１０を有し、これらの種類の測定において一般的なように、信号対ノイズ比を向上させるために、示されているフレームは１回の測定について複数回繰り返される。数値の一般的な例は、フレーム長について１００ｎｓ、１０００回の繰り返し、及び１００μｓの実効時間にわたる積分である。

【0120】

例えばＢＦの周期の半分である、例えば長さ１００を有するパルス１０６などの信号が、照射の変調信号として使用され、センサのミキサは、例えばＨＡＬＦ周波数パルス長に対応する、パルス長１００より長いデューティサイクル長１０３を有するパルス１０７を用いて駆動される。そのような信号を使用して、ｋが奇数であるか偶数であるかを以下のように確認することができる。
１）図４に示すＭＩＸ信号についての、第１の測定値（Ｍ１）
２）図４に示す反転されたＭＩＸ信号についての、第２の測定値（Ｍ２）
図４のＲＥＴＵＲＮ＿ＬＩＧＨＴ＿Ａによって示されているように、Ｍ１＞Ｍ２はｋ＝偶数を示す。図４のＲＥＴＵＲＮ＿ＬＩＧＨＴ＿Ｂによって示されているように、Ｍ２＞Ｍ１はｋ＝奇数を示す。

【0121】

図４における波形は、好ましくは、Ｍ１＝Ｍ２となる距離がＢＦについてのエイリアシング距離と一致するように構成される。この理由により、図４に示されているパルス１０６の開始は、パルス１０７の開始から位相シフトされている。パルス１０６はフレーム境界にまたがるため、従ってフレームの始まりにおける部分とフレームの終わりにおける部分とを有する。より小さなパルス幅１００が選択されれば、ｋの値に関してより多くのコントラストが得られ、しかしパルス幅１００がより短く選択されるにつれて、より少ないエネルギーが照射によって放出され、従ってより長い積分時間が特定のノイズレベルを得るために必要とされる、ということにも留意されたい。

【0122】

この技術の利点は、行われなければならない測定が２つだけであるということである。追加の冗長性は必要とされない。従って、実際のＴＯＦ距離測定を実行するためにより多くの時間が利用可能である。

【0123】

上記のデューティサイクル変化技術のより一般的なアプローチのために使用される信号を有する例示的フレームが、図５に示されている。再び、フレームは長さ２１０を有し、ディエイリアシングのための追加の測定の間、継続的に繰り返されるとみなされる。パルス長２０３は、ｋに関して調べるために任意に選択されてもよく、例えば、パルス長２０３がエイリアシング距離に一致しパルス長２０４がエイリアシング距離の２倍に一致するように選択されてもよく、これにより以下のようにｋに関して調べることが可能になる。
１）図５に示すＭＩＸ信号についての、Ｍ１を測定
２）図５に示す反転されたＭＩＸ信号についての、Ｍ２を測定
Ｍ１＞Ｍ２は、ｋが［０；３；４；７；８；１１．．．］に属することを示す
Ｍ２＞Ｍ１は、ｋが［１；２；５；６；９；１０．．．］に属することを示す

【0124】

従って、２つのみの追加の測定を用いて、明白距離の拡張はｋ＝２までになり得る（ｋ＝３はｋ＝０と同様となる）。

【0125】

上記は一例であるということ、及び、当業者によって構成され得るように、異なるパルス長２０３及び２０４を選択することによって、非整数を含む、ｋに関する任意の確認が、同様の手法で確認され得るということに留意されたい。また、前の技術と同様に、この技術も、明白距離を更に拡張するために反復されてもよい。

【0126】

より小さなパルス幅２００が選択されれば、ｋの値に関してより多くのコントラストが得られ、しかしパルス幅２００がより短く選択されるにつれて、より少ないエネルギーが照射によって放出され、従ってより長い積分時間が特定のノイズレベルを得るために必要とされる、ということに再び留意されたい。

【0127】

ＭＩＸ信号波形が平均して５０％のバランスの取れたデューティサイクルを依然として有するということは重要である。これは主として、背景光がバランスが取れていて、様々な必要とされるＴＯＦ測定の間に打ち消される、ということを確実にするためである。例として、図５に示すように、ＭＩＸ信号が周期の始まり及び終わりにおいてｈｉｇｈであるようにパルスを拡張することが達成される。始まりのパルス長２０５は、実際には（前のフレームの終わりにおける）パルス長２０３によって先行され、バランスが取れているために、両方の合計は２０４に等しい。

【0128】

図６は、本発明によるＴＯＦカメラ又はレンジ検出システムの別の実施形態を示す。レンジ検出システムは、光を反射する関心領域に好ましくは焦点が合わせられた周期的光５１をシーン５５上に放出するための、光源４９を含む。周期的光５１は、２つの検出可能に異なる周波数−第１の周波数又はベース周波数及び第２のより低い周波数−を含む。レンジ検出システムは、反射された光を受信するための少なくとも１つのピクセル３１を更に含む。反射された光はまた、第１及び第２の周波数における、例えばパルスなどの信号成分を含む。光源４９が変調光を放出するために、信号発生器４３が備えられる。信号発生器４３は、例えば約１０ＭＨｚにおける所定の第１の周波数又はベース周波数において好ましくは恒久的に発振している信号又は変調信号を、ノード４８上で生成する。この信号発生器４３は、類似した第２〜第５のクロック信号も生成し、これらはそれぞれ、ノード４８上の第１のクロック信号との０°、１８０°、９０°、及び２７０°の位相関係を有して、ノード４４、４５、４６、４７上に配送される。当業者は、その他の又はより多くのクロック位相を動作方式内で使用することも考慮することが可能であり、より多くのクロック位相は、より良好な測定精度を、より長い測定時間と引き換えにもたらす。信号発生器は、第２の周波数又はより低い周波数における信号も生成する。従って、信号発生器は、第２の周波数又はより低い周波数における、第１〜第５のクロック信号を生成する。これは例えば、第１の周波数又はベース周波数における信号を生成し、しかしベース周波数信号の振幅を、一定の間隔をおいて、例えばベース周波数の何分の１かの周波数において、変更する（例えばこれを増加させる）ことによって達成されることが可能である。例えば、第２の周波数は第１の周波数の２^−ｎであってもよく、ここで、ｎ＝１，２，．．．などである。フィルタリングによって、変調信号から、及び例えば観察中の物体からの反射された信号からも、第１又は第２の周波数における信号のいずれかが抽出されることが可能である。

【0129】

信号発生器４３は、変調信号変更手段による変調信号の変更を決定する制御信号４１、例えば、セレクタ５８による第２〜第５のクロック信号の間での、すなわちクロック信号の様々な位相の間での選択を決定する制御信号４１も生成してもよい。セレクタ５８は、これらの４つの位相の間を順次切り換えて、検出器及びミキサステージ２００のミキサ２９の入力ノード４２を、ノード４４、４５、４６、及び４７上の第２〜第５のクロック信号と順次接続する。これらの位置のそれぞれにおいて、セレクタ５８は、例えば約１ｍｓの緩和期間にわたって接続されたままであってもよい。

【0130】

バッファ５０は、好ましくは関心領域に焦点が合わせられた光５１をシーン５５上に放出する、光源４９を駆動する。この光の一部は反射され、従って反射された光５２を生成する。この反射された光５２は次に、レンズ５６などの光学合焦システム上に到達し、これを通してピクセル３１内の検出器２８上に結像又は合焦され、ここで、入射の一部は、反射された変調光（ＭＬ）２７と呼ばれる。

【0131】

ＴＯＦ測定を目的としない二次光源３０から生じる間接光５３及び直接光５４の両方も、シーン内に存在し、光学合焦システム５６に当たり、従って検出器２８上に合焦される。検出器２８に入る、この光の一部は、背景光（ＢＬ）２６と呼ばれる。ＢＬを生成する光源３０は、白熱灯、ＴＬ灯、太陽光、昼光、又はシーン上に存在しＴＯＦ測定のための光源４９から発するものではないその他のいかなる光も含む。

【0132】

ＭＬ２７及びＢＬ２６は光検出器２８上に当たり、当たっているＢＬ２６及びＭＬ２７による光誘起電流応答であるＭＬ電流及びＢＬ電流をそれぞれ生成する。検出器２８はこれらの電流を、当たっているＢＬ２６及びＭＬ２７による電流応答を入力ノード４２上の位相シフトされたクロック信号とミキシングするための、例えばミキサ２９などの、後続のミキシング手段に出力する。このＢＬ２６は、ＴＯＦ測定のために受信されるＭＬ２７によって誘起されるＭＬ電流より最大６桁大きいＢＬ電流を誘起する可能性がある。

【0133】

検出器及びミキサステージ２００を形成する検出器２８及びミキサ２９は、例えば欧州特許出願公開第１５１３２０２（Ａ１）号明細書に記載されているような、光生成電荷を混合してミキシングプロダクト電流を一度に生成する１つの単一装置として実装されてもよい。検出器及びミキサステージ２００は、当たっているＢＬ２６及びＭＬ２７による電流応答と位相シフトされたクロック信号とのミキシングプロダクトを生成し、これらの信号はノード３８上で、例えばキャパシタ２５を用いて実装される積分器によって積分され、キャパシタ２５は好ましくは、例えば周辺のトランジスタの寄生容量などの、小さな容量に保たれる。積分の間、積分器ノード３８上のミキサ出力信号の自動リセットが実行される。これは第１及び第２の周波数の両方について実行される。

【0134】

これは例えば、比較器３３が、例えばリセットトランジスタ３２などの、リセットスイッチをトリガすることによって実施されてもよく、これによりノード３８上のミキサ出力信号は、これが基準値Ｖｒｅｆに到達したら自動的にリセットされ、従って飽和が回避される。

【0135】

図面に示されていない代替の実施形態では、積分器ノード３８上のミキサ出力信号の自動リセットは、その他のいくつかの手法で実施されてもよい。それらのうちの１つは、リセットスイッチ３２の代わりに電荷ポンプをトリガして一定量の電荷をキャパシタ２５に追加するというものであり、これにより、複雑さのいくらかの増加を犠牲にして、より良好なノイズ性能がもたらされる。

【0136】

ミキサ出力信号を形成するミキシングプロダクトは、積分器ノード３８において、変調信号変更手段（示されている例ではセレクタ５８）と同期された順次的形式で得られる。例えばバッファなどの、出力ドライバ２４は、実質的に１の電圧利得と、電流増幅とを提供し、これにより、より強力な出力信号を出力ノード２３において提供する。

【0137】

フィルタリングによって、観察中の物体からの反射された信号から、第１又は第２の周波数における信号のいずれかが抽出されることが可能である。

【0138】

本発明について、図面及び前述の説明において詳細に図示及び説明したが、そのような図示及び説明は、限定的なものではなく、例証又は例示のためのものであるとみなされるべきであり、本発明は開示された実施形態に限定されない。開示された実施形態のその他の変形が、図面、開示、及び添付の特許請求の範囲を検討することによって、特許請求される本発明の実施において当業者によって理解され、もたらされ得る。特定の手段が相互に異なる従属請求項内に記載されているという単なる事実は、これらの手段の組み合わせが有利に使用され得ないということを示さない。特許請求の範囲内のいかなる参照符号も、範囲を限定するものと解釈されるべきではない。

【0139】

付記１
イメージングセンサを有し、照射ユニットと共に使用するためのタイムオブフライトシステム内の相関測定において、特定の制限内でエイリアシングの存在を判定する又はエイリアシングを回避する方法であって、前記照射ユニットは、変調光を用いてシーンを照射するように適合され、前記システムは、前記シーンから反射された変調光に相関信号を適用することによって相関測定値を取得するように適合され、
前記方法は、
ａ）前記シーン内の少なくとも１つの物体からの反射された光を検出し、
ｂ）１つ以上の第１の相関測定値によって、第１の相関信号と、前記イメージングセンサにおいて受信される前記反射された光との間の第１の相関を判定し、前記第１の相関信号は第１の周波数の周期的波形を有し、前記第１の相関測定値は前記イメージングセンサから前記少なくとも１つの物体までの距離に関するパラメータの値を提供し、
ｃ）１つ以上の第２の相関測定値によって、前記イメージングセンサにおいて受信される前記反射された光と、第２の相関信号との間の第２の相関を判定し、前記第２の相関信号は前記第１の周波数より低い第２の周波数の周期的波形を有し、
ｄ）前記パラメータの値について、前記第２の相関測定値からエイリアシングの存在を判定すること
を含む、方法。
付記２
第１の位相測定値が、前記第１の周波数についての様々な位相オフセットにおける前記第１の相関測定値から判定され、必要に応じて、第２の位相測定値が、前記第２の周波数についての様々な位相オフセットにおける前記第２の相関測定値から判定される、付記１に記載の方法。
付記３
前記第１の相関測定値における、検出される反射された信号の信号積分時間は、前記第２の相関測定値の信号積分時間より長い、付記１又は２に記載の方法。
付記４
前記第２の相関信号は、これが相関される検出される反射された変調光のデューティサイクルとは異なるデューティサイクルを有し、前記第２の相関信号のデューティサイクルは必要に応じて５０％である、付記１〜３のいずれか一項に記載の方法。
付記５
前記第２の周波数についての様々な位相オフセットを使用して前記第２の相関測定値を判定するステップと、
１つ以上の第２の相関測定値から、検出される反射された光の同相及び／又は直角位相成分を判定し、前記同相及び／又は直角位相成分を使用してエイリアシングの存在を判定するステップと
を更に含む、付記１〜３のいずれか一項に記載の方法。
付記６
エイリアシングの存在は、距離関連因子を測定することから判定されるコンフィデンスレベルを使用することによって判定され、前記距離関連因子は、必要に応じて、反射された光の量、スペックルパターンのサイズ、インポーズされるパターンのサイズである、付記１〜５のいずれか一項に記載の方法。
付記７
前記第１の相関測定値及び／又は第２の相関測定値はエイリアシングインジケータとして結合され、エイリアシングの存在は、検出される反射された光の同相及び／又は直角位相成分の符号であるインジケータから判定される、付記１〜６のいずれか一項に記載の方法。
付記８
同相及び／又は直角位相成分を判定するステップは、前記第１の周波数及び／又は前記第２の周波数におけるＩ値及びＱ値、及び／又は、Ｉ及びＱの絶対値の差を判定することを含む、付記５〜７のいずれか一項に記載の方法。
付記９
タイムオブフライト又はレンジ検出センサユニットであって、
特定の制限内でエイリアシングの存在を判定する又はエイリアシングを回避する手段を有し、センサは、照射ユニットと共に使用するためのものであり、前記照射ユニットは、変調光を用いてシーンを照射するように適合され、システムは、前記シーンから反射された変調光に相関信号を適用することによって相関測定値を取得するように適合され、
前記センサユニットは、
ａ）前記シーン内の少なくとも１つの物体からの反射された光を検出する、第１の手段と、
ｂ）第１の相関測定値によって、第１の信号と、イメージングセンサにおいて受信される前記反射された光との間の第１の相関を判定する、第２の手段と、
ここで、前記第１の相関測定値は前記イメージングセンサから前記シーンまでの距離に関するパラメータの値を提供し、
ｄ）第２の相関測定値によって、前記イメージングセンサにおいて受信される前記反射された光と、第２の信号との間の第２の相関を判定する、第３の手段と、
ここで、前記第２の信号は第１の周波数より低い第２の周波数の周期的波形を有し、
ｅ）その値について、前記第２の相関測定値からエイリアシングの存在を判定する、第４の手段と
を備える、センサユニット。
付記１０
前記第２の手段は、前記第１の周波数についての様々な位相オフセットにおける前記第１の相関測定値から第１の位相測定値を判定するように適合され、又は、判定する前記第３の手段は、前記第２の周波数についての様々な位相オフセットにおける前記第２の相関から位相測定を行うように適合され、又は、前記第２及び第３の手段は、前記第１の相関測定値の信号積分時間が前記第２の相関測定値の積分時間より長いように適合される、付記９に記載のセンサユニット。
付記１１
第２の相関信号は、これが相関される検出される反射された変調光のデューティサイクルとは異なるデューティサイクルを有し、必要に応じて、前記第２の信号のデューティサイクルは５０％である、付記９又は１０に記載のセンサユニット。
付記１２
前記第２の相関を判定する前記第３の手段は、前記第２の周波数についての様々な位相オフセットにおいて第２の相関測定を実行するように適合され、
前記センサユニットは、前記第２の相関測定値から、検出される反射された光の同相及び／又は直角位相成分を判定するように適合され、前記第４の手段は、前記同相及び／又は直角位相成分を使用してエイリアシングの存在を判定し、ここで、エイリアシングの存在は、必要に応じて、距離関連因子から判定されるコンフィデンスレベルを使用することによって判定され、前記距離関連因子は、必要に応じて、前記第１の周波数及び／又は第２の周波数において変調された反射された光の量、スペックルパターンのサイズ、インポーズされるパターンのサイズであり、
同相及び／又は直角位相成分を判定する手段は、必要に応じて、前記検出される反射された光の前記同相及び／又は直角位相成分の符号からエイリアシングの存在を判定するように適合される、
付記９〜１１のいずれか一項に記載のセンサユニット。
付記１３
同相及び／又は直角位相成分を判定する前記第４の手段は、前記第２の周波数におけるＩ値及びＱ値を判定するように適合され、又は、同相及び／又は直角位相成分を判定する前記第４の手段は、前記Ｉ値及び／又はＱ値の符号を判定することによってエイリアシングの存在を判定するように適合される、付記９〜１２のいずれか一項に記載のセンサユニット。
付記１４
前記第１の信号及び／又は第２の信号は、位相オフセットについて較正される、付記９〜１３のいずれか一項に記載のセンサユニット。
付記１５
付記９〜１４のいずれか一項に記載のセンサユニットを有するＴＯＦカメラ。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】