特許 7149941 装置および方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-09-29

(45)【発行日】2022-10-07

(54)【発明の名称】装置および方法

(51)【国際特許分類】

   G01S 17/36 20060101AFI20220930BHJP

   G01S 17/89 20200101ALI20220930BHJP

   G01B 11/24 20060101ALI20220930BHJP

【ＦＩ】

G01S17/36

G01S17/89

G01B11/24 A

【請求項の数】 1

(21)【出願番号】P 2019530433

(86)(22)【出願日】2017-12-07

(65)【公表番号】

(43)【公表日】2020-05-14

(86)【国際出願番号】 EP2017081856

(87)【国際公開番号】W WO2018104464

(87)【国際公開日】2018-06-14

【審査請求日】2020-12-04

(31)【優先権主張番号】16202730.4

(32)【優先日】2016-12-07

(33)【優先権主張国・地域又は機関】EP

【前置審査】

(73)【特許権者】

【識別番号】316005926

【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社

(74)【代理人】

【識別番号】110003339

【氏名又は名称】特許業務法人南青山国際特許事務所

(72)【発明者】

【氏名】ハスティン セルゲ

【審査官】梶田 真也

(56)【参考文献】

【文献】独国特許出願公開第１０２０１２２０４５１２（ＤＥ，Ａ１）

【文献】米国特許第０６７７７６５９（ＵＳ，Ｂ１）

【文献】欧州特許出願公開第０２８９４４９２（ＥＰ，Ａ１）

【文献】特表２０１１－５２０１１６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｓ ７／４８ － ７／５１

Ｇ０１Ｓ １７／００ － １７／９５

Ｇ０１Ｂ １１／００ － １１／３０

Ｇ０１Ｃ ３／００ － ３／３２

(57)【特許請求の範囲】

【請求項1】

位相シフト法によって測定された距離に基づいて、３Ｄ画像を生成する装置であって、
光検出信号と各位相シフト参照信号を相関させることによって、直交相関信号と同相相関信号を含む相関信号を取得するように構成された回路を具備し、
前記回路は、前記直交相関信号の取得の平均時間と前記同相相関信号の取得の平均時間が等しくなるように構成され、
前記回路は、
第１の時間Ｔ０ において０°の相関信号を取得し、
第２の時間Ｔ０ ＋ΔＴにおいて９０°の相関信号を取得し、
第３の時間Ｔ０ ＋２．ΔＴにおいて２７０°の相関信号を取得し、
最後の時間Ｔ０ ＋３．ΔＴにおいて１８０°の相関信号を取得するように構成され、
Ｔ０ は前記相関信号の取得が開始された時間を示し、ΔＴは所定の時間間隔を示す
装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は概して、飛行時間（Time of Flight）撮像装置および方法に関する。

【背景技術】

【0002】

ＴｏＦ（Time of Flight）３Ｄ撮像装置は、光源からオブジェクトまでの往復の飛行時間（ＴｏＦ：Time of Flight）の分析によってオブジェクトまでの距離に関する情報を提供する装置として知られている。ＴｏＦ ３Ｄ撮像装置（または３Ｄ ＴｏＦカメラ）は、カメラからオブジェクトまでの実際の距離を推定するためにどの深度から算出が行われるかの複数の連続した計測が必要なＴｏＦ原理に基づく。各測定はそれぞれ独自のインテグレーション・タイム（積分時間）を有し、デプス・マップ（深度図）を決定する必要がある複数の測定が行われる期間は、所定の期間を含む。

【発明の概要】

【発明が解決しようとする課題】

【0003】

ＴｏＦカメラは、ＴｏＦ原理（図１を参照し後述する）に基づいて行われる一連の連続した取得結果・計測結果から、３Ｄ画像または深度図を算出する。一連の連続した計測結果を通してシーンにおけるオブジェクトが動く際に（または時間と共に距離が変わるように、オブジェクトに対してシーンにおいてカメラが動く場合）、各画素におけるそれぞれの連続した計測がそのシーンにおける同じ箇所と対応しなくなり、ＴｏＦ原理に基づく連続した計測によって抽出される、算出された深度の計測によって推定される深度が不正確になるという悪影響が、算出された深度に発生する恐れがある（２Ｄ撮像においてはモーションブラー（被写体ぶれ）と呼ばれる）。

【0004】

カメラからオブジェクトまでの距離を判定するため、光検出信号は通常、元の光信号と比較してそれぞれ０°、１８０°、９０°、および２７０°でシフトされる４つの電気参照信号と相関している。取得ステップは、動的アスペクトが含まれるシーン（すなわち、カメラまたはシーン／オブジェクトの動き）の深度算出の際に発生する誤差を最小化するのに適しているべきである。従来技術の相関測定のシーケンスは、まず０°と９０°の相関測定を含む第１の組の測定が連続して行われ、次に１８０°と２７０°の相関測定を含む第２の組の測定が連続して行われるように設定されていた。４つの相関測定が行われる際のカメラの移動やシーンの変化の影響を減らすため、可能な限り迅速に４つの相関計測を行うことによってシーンの変化（モーションブラー（被写体ぶれ））による誤差を減らしたり、モーションブラー（被写体ぶれ）が発生した領域を特定するための追加の信号処理を行ったりすることが考えられてきた。

【0005】

カメラの移動やシーンの変化による影響を減らすため、上記のような技術が存在はするが、一般的に、カメラの移動やシーンの変化による影響を減らすためのより効率的な方法が求められている。

【課題を解決するための手段】

【0006】

本開示の第１の態様によると、光検出信号と各位相シフト参照信号を相関させることによって、直交相関信号と同相相関信号を含む相関信号を取得するように構成された回路を具備する装置であって、上記直交相関信号の取得の平均時間と上記同相相関信号の取得の平均時間が略等しくなるように、上記回路が構成される装置が提供される。

【0007】

本開示の他の態様によると、光検出信号と各位相シフト参照信号を相関させることによって、相関信号の第１の集合と相関信号の第２の集合を含む相関信号を取得するように構成された回路を具備する装置であって、上記相関信号の第１の集合の平均位相と上記相関信号の第２の集合の平均位相が直交する、または略直交するように上記回路が構成され、上記相関信号の第１の集合の取得の平均時間と上記相関信号の第２の集合の取得の平均時間が等しい、または略等しくなるように上記回路が構成される装置が提供される。

【0008】

本開示の他の態様によると、光検出信号と各位相シフト参照信号を相関させることによって、直交相関信号と同相相関信号を含む相関信号を取得することを含む方法であって、上記直交相関信号の取得の平均時間と上記同相相関信号の取得の平均時間が略等しくなるよう上記相関信号を取得する方法が提供される。

【0009】

本開示の他の態様によると、光検出信号と各位相シフト参照信号を相関させることによって、相関信号の第１の集合と相関信号の第２の集合を含む相関信号を取得することを含む方法であって、上記相関信号の第１の集合の平均位相と上記相関信号の第２の集合の平均位相が直交、または略直交し、上記相関信号の第１の集合の取得の平均時間と上記相関信号の第２の集合の取得の平均時間が等しい、または略等しい方法が提供される。

【0010】

さらに他の側面に関しては、従属請求項、並びに以下の説明及び図面から明らかにされる。

【0011】

図面を参照して本開示の実施形態の詳細な説明を行う前に、いくつかの一般的な説明を行う。

【0012】

回路は、マイクロチップ等の集積回路、ＣＰＵ等の処理ユニット、ＬＥＤ、および／またはレーザードライバー電子機器等を含む任意の種類の電子回路であり得る。

【0013】

光検出信号は、例えば、ＴｏＦカメラのカメラセンサによって得られる光に対応し得る。例えば、ＴｏＦ撮像において、光検出信号は変調光によって照らされたシーンによって反射された光に対応し得る。

【0014】

光検出信号はＴｏＦカメラシステムによって取得され得る。このＴｏＦカメラシステムは光の既知の速度に基づく距離の解像を行い、画像の各点におけるカメラと被写体との間の変調光信号の飛行時間（ＴｏＦ：Time of Flight）を計測する。本実施形態においては、ＴｏＦカメラに関する様々な技術が用いられ得る。例えば、距離ゲート式撮像装置や位相検出器を備えるＲＦ変調光源が挙げられる。例えば、反射光は画素配列を含むセンサによって捕捉される。この場合、１個の画素は入射光を電流に変換する感光素子（例えば、フォトダイオード）からなる。

【0015】

ＴｏＦ撮像において、例えば、参照信号は相関信号を生成するための光検出信号と相関している。参照信号は電気参照信号等であり得る。いくつかの実施形態によると、参照信号とは、変調光信号と比較して、それぞれ０°、１８０°、９０°、および２７０°位相シフトされた電気参照信号である。

【0016】

直交相関とは、例えば９０°または略９０°位相シフトされた参照信号、または２７０°または略２７０°位相シフトされた参照信号に関するものであってもよい。一方、同相相関とは、例えば０°または１８０°位相シフトされた参照信号、または略０°または略１８０°位相シフトされた参照信号に関するものであってもよい。

【0017】

本実施形態によると、直交相関信号の取得の平均時間と同相相関信号の取得の平均時間は略等しい。直交相関信号の取得の平均時間と同相相関信号の取得の平均時間が略等しい場合、変調光信号と光検出信号間の位相シフト角度を表す式の分子で用いる相関の取得の平均時間と、この位相シフト角度を表す式の分母における相関の取得の平均時間は略等しくなり得る。つまり、直交相関信号の取得の平均時間と同相相関信号の取得の平均時間が略等しい場合、モーションブラーを引き起こす位相オフセット誤差は大幅に減少されることになり得る。

【0018】

いくつかの実施形態によると、相関信号は直交変調信号であり、回路は１８０°反対の位相において第１および最後の相関信号を取得し、第２と第３の相関信号も１８０°反対の位相において取得するように構成される。

【0019】

いくつかの実施形態によると、第１および最後の相関信号は直交相関信号であり、一方で第２と第３の相関信号は同相相関信号である。

【0020】

さらに他の実施形態によると、第１および最後の相関信号は同相相関信号であり、一方で第２と第３の相関信号は直交相関信号である。

【0021】

いくつかの実施形態によると、回路は、まず０°と１８０°の相関測定の第１の集合を続けて取得し、次に９０°と２７０°の相関測定の第２の集合を続けて取得するように構成される。

【0022】

いくつかの実施形態によると、回路は、第１の時間Ｔ_０において０°の相関信号を取得し、第２の時間Ｔ_０＋ΔＴにおいて９０°の相関信号を取得し、第３の時間Ｔ_０＋２．ΔＴにおいて２７０°の相関信号を取得し、最後の時間Ｔ_０＋３．ΔＴにおいて１８０°の相関信号を取得するように構成される。この場合、Ｔ_０は相関信号の取得が開始された時間を示し、ΔＴは所定の時間間隔を示す。

【0023】

いくつかの実施形態によると、他の位相シフトシーケンスに基づき相関信号を取得するように回路が構成される。

【0024】

例えば、本出願に記載の基本概念を逸脱しない範囲で、相関信号のすべての位相を同一の所定の位相角でシフトしてもよい。

【0025】

つまり、例えば、光検出信号と各位相シフト参照信号を相関させることによって、相関信号の第１の集合と相関信号の第２の集合を含む相関信号を取得するように回路が構成されてもよい。この場合、相関信号の第１の集合の平均位相と相関信号の第２の集合の平均位相が直交、または略直交するように回路が構成され、また、相関信号の第１の集合の取得の平均時間と相関信号の第２の集合の取得の平均時間が等しい、または略等しくなるように回路が構成される。

【0026】

特に、相関信号の第１の集合は、所定の位相角で位相シフトされた直交変調信号を含み得る。相関信号の第２の集合は、同じ上記所定の位相角で位相シフトされた同相相関信号を含み得る。

【0027】

例えば、相関信号の第１の集合は、直交変調信号を含み得る。相関信号の第２の集合は、任意の位相角で位相シフトされた同相相関信号を含み得る。

【0028】

この装置は、変調光信号でシーンを照らすための照明ユニットをさらに含んでもよい。例えば、照明ユニットとは発光ダイオード（ＬＥＤ）であってもよく、特に、レーザーダイオード等であってもよい。

【0029】

この装置は、光検出信号を受信するための撮像素子をさらに含んでもよい。例えば、この撮像素子はＣＣＤ画素配列を含んでもよい。

【0030】

例えば、本実施形態に係る方法は、光検出信号と各位相シフト参照信号を相関させることによって、直交相関信号と同相相関信号を含む相関信号を取得することを含んでもよい。この場合、直交相関信号の取得の平均時間と同相相関信号の取得の平均時間が略等しくなるよう相関信号を取得する。

【発明の効果】

【0031】

以上のように、本開示によれば、カメラの移動やシーンの変化による影響を減らすためのより効率的な方法を提供することができる。

【図面の簡単な説明】

【0032】

【図1】ＴｏＦカメラの基本動作原理を概略的に示す図である。

【図2】飛行時間（Time of Flight）測定に関する信号の例を示す図である。

【図3】光検出信号Ｓ_φの極形式を示す図である。

【図4】相関測定制御シーケンスの例を示す図である。

【図5】従来技術の位相シフトシーケンスによるＴｏＦ ３Ｄ画像の例と、実質的なモーションブラーを示す図である。

【図6】どのようにして分子Ｑと分母Ｉに対する取得の平均時間を判定するかの例を概略的に示す図である。

【図7】本開示の実施形態に係る位相シフトシーケンスを用いたＴｏＦ画像の取得方法を概略的に示す図である。

【図8】人差し指を立てた状態で手を回すような動作を行った際に手の上部に設置した３Ｄ ＴｏＦカメラで取得したシーンにおける手を後ろから見た図である。

【発明を実施するための形態】

【0033】

以下、添付図面を参照しながら、実施形態について例示する。

【0034】

図１はＴｏＦカメラ３の基本動作原理を概略的に示す図である。ＴｏＦカメラ３は、専用の照明ユニット１８からオブジェクトまでの光の飛行時間（ＴｏＦ：Time of Flight）を分析して、シーン１５の３Ｄ画像を撮影する。ＴｏＦカメラ３は例えば３Ｄセンサ１等のカメラと、プロセッサ４を含む。シーン１５は、専用の照明ユニット１８を用いて所定の波長の変調光１６によって能動的に照らされる。例えば、タイミング発生器５によって生成された少なくとも１の所定の周波数のいくつかの光パルスによって照らされる。変調光１６はシーン１５内のオブジェクトによって反射される。レンズ２は反射光１７を集光し、カメラの撮像素子１上にオブジェクトの像を結像する。オブジェクトとカメラの距離に応じて、変調光１６、例えばいわゆる光パルスの照射と、反射された光パルス１７のカメラにおける受光との間に遅延が発生する。カメラと反射オブジェクト間の距離は、観察された時間遅延作用および光定数値の速度として判定されてもよい。

【0035】

オブジェクトとカメラの距離は以下のように計算される。

【0036】

図２はＴｏＦ測定に関する信号の例を示す図である。変調信号Ｓ（図１における１６）はオブジェクトに向かって送信される。オブジェクトよる反射の後、反射光（図１における１７）を受光した光検出器によって信号Ｓ_φが検出される。移動時間があるため、元の信号Ｓと比較して位相φの分だけ信号Ｓ_φは位相シフトされる。例えば、信号Ｓが正弦波形の場合は、

【数1】

・・・（式１）
そして、Ｓ_φは、下記の数式を用いて位相シフト波とみなされ得る。

【数2】

・・・（式２）

【0037】

下記の式によって、いわゆる同相Ｉ成分と直交Ｑ成分を定義する。

【数3】

・・・（式３）

【数4】

・・・（式４）
そして、Ｓ_φは以下のように表すことができる。

【数5】

・・・（式５）

【0038】

この式は、図３に示すベクトルとしてＳ_φの極形式を表すことができる。φはＳ_φの位相を示し、ｒは信号Ｓ_φの振幅Ａに対応するパラメータであり、いわゆる信頼度に関する。

【0039】

φ、Ｉ、Ｑはオブジェクトとカメラの距離を計測するための主要パラメータである。これらのパラメータを計測するために、光検出信号Ｓ_φは通常、電気参照信号Ｓ_Ｉ、Ｓ_Ｉ￣、Ｓ_Ｑ、Ｓ_Ｑ￣と相関させられる。図２に示すように、Ｓ_Ｉ、Ｓ_Ｉ￣、Ｓ_Ｑ、Ｓ_Ｑ￣は、元の光信号Ｓと比較して、それぞれ０°、１８０°、９０°、および２７０°シフトされた電気参照信号である。取得される相関信号は以下のように定義される。

【数6】

・・・（式６）

【数7】

・・・（式７）

【数8】

・・・（式８）

【数9】

・・・（式９）

【0040】

そして、２つのパラメータＩとＱは以下のように計算される。

【数10】

・・・（式１０）

【数11】

・・・（式１１）

【0041】

Ａ_Ｓおよびαはそれぞれ、光検出信号Ｓ_φの振幅変化と、相関の効率を表し、両者は動作中に測定される。

【0042】

φの抽出は、変調信号Ｓの形に基づく。例えば、Ｓが正弦波の場合、

【数12】

・・・（式１２～１４）

【0043】

一度位相φが既知となると、下記の式に基づき、オブジェクトとカメラの距離Ｄ_φを取得することができる。

【数13】

・・・（式１５）
ｃは光の速度を表し、ｆ_ｍｏｄは変調周波数を表し、ｎは位相アンビギュイティに関する整数を表す。

【0044】

（シーンまたはカメラの変化）
式１２～１４の逆正接項は、４つの相関が計測される際にはシーンもカメラも変化しないという仮定に基づく。例えば、φが定数で、０°、９０°、１８０°、２７０°の信号シフトが行われた相関の間でＡ_Ｓが定数ΔＡ_Ｓの分だけ増加する場合、位相オフセット誤差は以下のようになる。

【数14】

・・・（式１６）

【0045】

詳述すると、従来技術の相関計測シーケンスは以下のように論理的に設定される。まず０°（Ｓ_φ,Ｉ）と９０°（Ｓ_φ,Ｑ）の相関測定を含む第１の組の測定が連続して行われ、次に１８０°（Ｓ_φ,Ｉ￣）と２７０°（Ｓ_φ,Ｑ￣）の相関測定を含む第２の組の測定が連続して行われるように設定される。これは、ある位相からその隣の位相にオフセットが線形増加するのを容易にするためである。この増加は、毎回１つの同じ９０°のオフセットに基づき設定される（このオフセットを格納するために１つのメモリを割り当てる必要がある）。

【0046】

図４は相関測定制御シーケンスの例を示す図である。制御シーケンスはｕＦｒａｍｅ ｕＦを含み、ｕＦｒａｍｅ ｕＦは４つのサブフレームＳＦ１、ＳＦ２、ＳＦ３、ＳＦ４を含む。各サブフレームは、特定の参照信号に対する特定の相関測定に関する。従来技術の位相シフトシーケンスによると、サブフレームＳＦ１は０°の相関測定（Ｓ_φ,Ｉ）を制御し、サブフレームＳＦ２は９０°の相関測定（Ｓ_φ,Ｑ）を制御し、サブフレームＳＦ３は１８０°の相関測定（Ｓ_φ,Ｉ￣）を制御し、サブフレームＳＦ４は２７０°の相関測定（Ｓ_φ,Ｑ￣）を制御する。各サブフレームは積分（ｉｎｔｅｇｒａｔｉｏｎ）シーケンスを含む。この積分シーケンスにおいて、相関信号は受信され、積分される。この積分シーケンスの後に、Ｒ／Ｏシーケンスが続く。Ｒ／Ｏシーケンスにおいて、積分結果が読み出される。Ｒ／Ｏシーケンスの後に、ＳＦ ＤＴシーケンスが続く。ＳＦ ＤＴシーケンスでサブフレームは終わりとなる。ＤＴとはサブフレーム・ダウンタイムのことであり、この間には何も起こらない。

【0047】

図５は従来技術の位相シフトシーケンスによるＴｏＦ ３Ｄ画像の例を示す図である。ＴｏＦ ３Ｄカメラの前でユーザが手を振ったときにこのＴｏＦ ３Ｄ画像が取得されると、ＴｏＦ ３Ｄ画像は著しいモーションブラーを含むことになる。

【0048】

下記の本実施形態は、時間とともに行われる取得についての好適な構成に関する。この構成によると、ＴｏＦ原理によって推測を行う際の深度算出誤差を最小化するこができる。特に本実施形態は、位相誤差が減少するように信号シフトを並び変えることに関する。

【0049】

この構成によると、（位相シフト角φを表す式１２～１４における）分子に用いられる相関の取得の平均時間と、（位相シフト角φを表す式１２～１４における）分母に用いられる相関の取得の平均時間とが等しくなる。

【0050】

上記のような直交変調において、これは、１８０°反対の位相において第１および最後の３Ｄ写真を取得し、第２と第３の３Ｄ写真は、例えば下記の改良された位相シフトにおいて取得されることを意味する。

【0051】

図６は、本発明の実施形態の０°（Ｓ_φ,Ｉ）、９０°（Ｓ_φ,Ｑ）、２７０°（Ｓ_φ,Ｑ￣）、１８０°（Ｓ_φ,Ｉ￣）の位相シフトシーケンスを用いる際に式１２～１４においてどのようにして分子Ｑと分母Ｉに対する取得の平均時間を判定するかの例を概略的に示す図である。図６の下のグラフは、時間ｔの経過とともに行われる、式１２～１４における分子Ｑに対する相関信号Ｓ_φ,ＱおよびＳ_φ,Ｑ￣（直交相関）の取得について信号振幅Ａとして示す。それに応じて、図６の上のグラフは、時間ｔの経過とともに行われる、式１２～１４における分母Ｉに対する相関信号Ｓ_φ,ＩおよびＳ_φ,Ｉ￣（同相相関）の取得について信号振幅Ａとして示す。相関信号Ｓ_φ,Ｉの取得は時刻Ｔ_０に開始し、積分時間δｔの間継続する。相関信号Ｓ_φ,Ｑの取得は時刻Ｔ_０＋ΔＴに開始し、積分時間δｔの間継続する。相関信号Ｓ_φ,Ｑ￣の取得は時刻Ｔ_０＋２．ΔＴに開始し、積分時間δｔの間継続する。相関信号Ｓ_φ,Ｉ￣の取得は時刻Ｔ_０＋３．ΔＴに開始し、積分時間δｔの間継続する。例示のため、ここでは積分時間δｔと信号振幅Ａ（ｔ）＝Ａ_０が各相関測定において同一であると仮定する。従って、分子相関Ｓ_φ,ＱおよびＳ_φ,Ｑ￣に対する取得ｙ_Ｑの平均時間は以下のようになる。

【数15】

【0052】

従って、分母相関Ｓ_φ,ＩおよびＳ_φ,Ｉ￣の取得ｙ_Ｉの平均時間は以下のようになる。

【数16】

【0053】

つまり、図６に例示した位相シフトシーケンスを用いた場合、分子相関Ｓ_φ,ＱおよびＳ_φ,Ｑ￣（直交相関）の取得ｙ_Ｑの平均時間と分母相関Ｓ_φ,ＩおよびＳ_φ,Ｉ￣（同相相関）の取得ｙ_Ｉの平均時間は等しくなる。

【0054】

図６の実施形態に示すように、積分時間δｔと信号振幅Ａ（ｔ）＝Ａ_０は各相関測定において同一であり、分子相関（直交相関）の取得ｙ_Ｑの平均時間と分母相関（同相相関）の取得ｙ_Ｉの平均時間は完全に同一であると仮定される。他の実施例においては、振幅Ａ，時間間隔ΔＴ、及び積分期間δｔは各相関測定において同一であってはならない。このような場合、分子相関（直交相関）の取得ｙ_Ｑの平均時間と分母相関（同相相関）の取得ｙ_Ｉの平均時間は完全に同一であってはならない。両者は略同一であればよい。

【0055】

以下の表は、従来技術の位相シフトシーケンスと比較した上記第１の実施形態の位相シフトシーケンスを示す。

【表1】

【0056】

例えば、この順番で式１６を以下に示す式１７に変換する。式１７は位相の誤差が０まで減少したことを示す。

【数17】

・・・（式１７）

【0057】

また、他の実施形態の位相シフトシーケンスを下記の表に示す。ここで、位相シフトシーケンスＡは上記の表を用いて説明したものと同一である。

【表2】

【0058】

上記の位相シフトシーケンスによると、１８０°反対の位相において第１および最後の相関信号が取得され、第２と第３の相関信号も１８０°反対の位相において取得される。

【0059】

さらに他の実施形態の場合、相関信号は放出信号に対して二次式または同相である必要はない。例えば、各位相の差が維持されたまま、実施形態の効果が失われないように、相関信号の全ての位相を同じ角度δでシフトすることができる。例えば、０°、９０°、２７０°、１８０°の位相シフトシーケンスＡの代わりに、実施形態の要旨から逸脱しない範囲内で、０°＋δ、９０°＋δ、２７０°＋δ、１８０°＋δの位相シフトシーケンスＡ'が用いられてもよい。

【0060】

これらの実施形態によると、位相シフト直交相関信号の平均位相と、位相シフト同相相関信号の平均位相は互いに直交する。例えば、上記の位相シフトシーケンスＡ'によると、シフト同相相関信号０°＋δ、１８０°＋δの平均値は９０°＋δであり、シフト直交相関信号９０°＋δ、２７０°＋δの平均値は１８０°＋δである。つまり、シフト同相相関信号の平均値９０°＋δとシフト直交相関信号の平均値１８０°＋δは互いに直交する（｜（１８０°＋δ）－（９０°＋δ）｜＝９０°）。

【0061】

このような実施形態によると、相関信号のすべての位相が同じ角度δでシフトされる場合、式１６は以下の形を取る。

【数18】

・・・（式１６'）

【0062】

以下の表は、さらに他の実施形態の位相シフトシーケンスを示す。

【表3】

【0063】

この場合も、各位相の差が維持されたまま、実施形態の効果が失われないように、すべての角度を同じ角度δでシフトすることができる。例えば、０°、９０°、２１０°、１２０°の位相シフトシーケンスＩの代わりに、実施形態の要旨から逸脱しない範囲内で、０°＋δ、９０°＋δ、２１０°＋δ、１２０°＋δの位相シフトシーケンスＩ'が用いられてもよい。これらの実施形態によると、この場合も、位相シフト直交相関信号の平均位相と、位相シフト同相相関信号の平均位相は互いに直交する。例えば、上記の位相シフトシーケンスＩ'によると、シフト同相相関信号０°＋δ、１８０°＋δの平均値は９０°＋δであり、シフト直交相関信号９０°＋δ、２７０°＋δの平均値は１８０°＋δである。つまり、シフト同相相関信号の平均値９０°＋δとシフト直交相関信号の平均値１８０°＋δは互いに直交する（｜（１８０°＋δ）－（９０°＋δ）｜＝９０°）。

【0064】

上記の位相シフトシーケンスによると、１２０°反対の位相において第１および最後の相関信号が取得され、第２と第３の相関信号も１２０°反対の位相において取得される。

【0065】

このような実施形態によると、式１６は以下の形（式１６'と同一）を取る。

【数19】

・・・（式１６"）

【0066】

先行技術においては、可能な限り迅速に４つの相関計測を行うことによってシーンの変化（モーションブラー（被写体ぶれ））による誤差を減らしてシーン変化の影響を減らしたり、モーションブラー（被写体ぶれ）が発生した領域を特定するための追加の信号処理を行ったりする。しかしながら、上記の本実施形態においては、追加の計算やシステムの変更をすることなく、メソッドパラメータを変更するだけで、主要な共通のケースにおける深度計測誤差を誘発するモーションブラーを制限したり、大幅に削減したりする。

【0067】

図７は本開示の一実施形態に係る位相シフトシーケンスを用いたＴｏＦ画像の取得方法を概略的に示す図である。処理８０１において、光検出信号Ｓ_φを各位相シフト参照信号Ｓ_Ｑと相関させることによって相関信号Ｓ_φ,Ｑが取得される。処理８０２において、光検出信号Ｓ_φを各位相シフト参照信号Ｓ_Ｉと相関させることによって相関信号Ｓ_φ,Ｉが取得される。処理８０３において、光検出信号Ｓ_φを各位相シフト参照信号Ｓ_Ｉ￣と相関させることによって相関信号Ｓ_φ,Ｉ￣が取得される。処理８０４において、光検出信号Ｓ_φを各位相シフト参照信号Ｓ_Ｑ￣と相関させることによって相関信号Ｓ_φ,Ｑ￣が取得される。相関信号Ｓ_φ,Ｑ、Ｓ_φ,Ｑ￣、Ｓ_φ,Ｉ、Ｓ_φ,Ｉ￣は、直交相関信号Ｓ_φ,Ｑ、Ｓ_φ,Ｑ￣と同相相関信号Ｓ_φ,Ｉ、Ｓ_φ,Ｉ￣を含む。直交相関信号Ｓ_φ,Ｑ、Ｓ_φ,Ｑ￣の取得の平均時間と同相相関信号Ｓ_φ,Ｉ、Ｓ_φ,Ｉ￣の取得の平均時間が略等しくなるよう相関信号Ｓ_φ,Ｑ、Ｓ_φ,Ｑ￣、Ｓ_φ,Ｉ、Ｓ_φ,Ｉ￣を取得する。

【0068】

（実施形態の効果）
図８は人差し指を立てた状態で手を回すような動作を行った際に手の上部に設置した３Ｄ ＴｏＦカメラで取得したシーンにおける手を後ろから見た図である。連続して取得された相関から算出された位相差の誤差は、Ｙ軸上のカメラに近づいたり離れたりするような誤った深度計測を引き起こす。対象画素とその周囲の画素との勾配とともに深度計測の誤差が増加する。左の画像（図８ａ）は、従来技術の位相シフトシーケンスによって取得された画像である。右の画像（図８ｂ）は上記の実施形態の位相シフトシーケンスによって取得された画像である。図８から分かるように、従来技術の位相シフトシーケンスによるモーションブラーと比較して、本実施形態の位相シフトシーケンスによるモーションブラーは減少されている。

【0069】

本実施形態はＴｏＦカメラが動作するすべての状況に適用される。特に、モーションブラーを最小化しなければならない状況、および／またはシステム制約が一定のモーションブラーにおいて緩和される状況に適用される。例えば、動いている手や指の追跡や、車内における、動いている全身の追跡、または動いているオブジェクト／カメラによる３Ｄオブジェクトのスキャニングなどである。

【0070】

本明細書及び添付の特許請求の範囲に記載されるすべてのユニットおよびエンティティは、別段の記載がない限り、例えばオンチップ論理集積回路として実装することができ、このようなユニットおよびエンティティによって提供される機能は、別段の記載がない限り、ソフトウェアによって実装することができる。

【0071】

上述の本開示の実施形態の少なくとも一部が、ソフトウェア制御データ処理装置を使用して実施される限り、このようなソフトウェア制御を提供するコンピュータ・プログラムと、このようなコンピュータ・プログラムが提供される送信、記憶または他の媒体とが、本開示の態様として想定される。つまり、本明細書において説明される方法は、いくつかの実施形態では、コンピュータおよび／またはプロセッサが、コンピュータおよび／またはプロセッサ上においてその方法を実行するためのコンピュータ・プログラムとして実装されてもよい。いくつかの実施形態では、上述のプロセッサのようなプロセッサによって、本明細書で説明される方法を実行させるコンピュータ・プログラム製品を内部に格納する、非一過性のコンピュータ読み取り可能な記録媒体も提供される。

【0072】

上記のいくつかの実施形態によると、４つの異なる相関信号Ｓ_φ,Ｑ、Ｓ_φ,Ｑ￣、Ｓ_φ,Ｉ、Ｓ_φ,Ｉ￣とともに直交変調相関信号が用いられる。しかし、本実施形態はこのような特定の構造に限定されない。例えば、他の実施形態として、４つ以上または４つ以下の相関信号が使用されてもよい。

【0073】

同様に、上記のいくつかの実施形態において、光検出信号Ｓ_φを各位相シフト参照信号Ｓ_Ｉ、Ｓ_Ｉ￣、Ｓ_Ｑ、Ｓ_Ｑ￣と相関させることによって相関信号Ｓ_φ,Ｑ、Ｓ_φ,Ｑ￣、Ｓ_φ,Ｉ、Ｓ_φ,Ｉ￣が取得される。各位相シフト参照信号Ｓ_Ｉ、Ｓ_Ｉ￣、Ｓ_Ｑ、Ｓ_Ｑ￣は、それぞれ変調光信号Ｓと比較して、０°、１８０°、９０°、２７０°位相シフトされている。しかし、本実施形態はこのような特定の構造に限定されない。例えば、他の実施形態として、０°、９０°、１２０°、２７０°といった他の位相シフトや、他の組み合わせが用いられてもよい。

【0074】

当業者にとっては、本開示が実施形態に記載された具体的な処理手順に限定されないことは容易に理解できるものである。例えば、図７における処理８０１と例８０２は入れ替え可能である。

【0075】

なお、本技術は、以下のような構成をとることも可能である。
（１）
光検出信号（Ｓ_φ）と各位相シフト参照信号（Ｓ_Ｑ、Ｓ_Ｑ￣、Ｓ_Ｉ、Ｓ_Ｉ￣）を相関させることによって、直交相関信号（Ｓ_φ,Ｑ、Ｓ_φ,Ｑ￣）と同相相関信号（Ｓ_φ,Ｉ、Ｓ_φ,Ｉ￣）を含む相関信号（Ｓ_φ,Ｑ、Ｓ_φ,Ｑ￣、Ｓ_φ,Ｉ、Ｓ_φ,Ｉ￣）を取得するように構成された回路を具備する装置であって、
上記直交相関信号（Ｓ_φ,Ｑ、Ｓ_φ,Ｑ￣）の取得の平均時間と上記同相相関信号（Ｓ_φ,Ｉ、Ｓ_φ,Ｉ￣）の取得の平均時間が等しい、または略等しくなるように、上記回路が構成される
装置。
（２）
（１）に記載の装置であって、
プロセッサは、下記の位相シフトシーケンス（ＡからＨ）のいずれか１つに基づき上記相関信号（Ｓ_φ,Ｑ、Ｓ_φ,Ｑ￣、Ｓ_φ,Ｉ、Ｓ_φ,Ｉ￣）を取得するように構成される
装置。

【表4】

（３）
（１）または（２）に記載の装置であって、
変調光信号（Ｓ）と比較して、参照信号（Ｓ_Ｉ、Ｓ_Ｑ、Ｓ_Ｑ￣、Ｓ_Ｉ￣）はそれぞれ０°、９０°、２７０°、および１８０°位相シフトされる
装置。
（４）
（１）から（３）のいずれか１つに記載の装置であって、
上記相関信号は直交変調信号であり、
上記回路は１８０°反対の位相において第１および最後の相関信号を取得し、第２および第３の相関信号も１８０°反対の位相において取得するように構成される
装置。
（５）
（１）から（３）のいずれか１つに記載の装置であって、
上記回路は、まず０°と９０°の相関測定の第１の集合を続けて取得し、次に２１０°と１２０°の相関測定の第２の集合を続けて取得するように構成される
装置。
（６）
（３）に記載の装置であって、
上記回路は
第１の時間Ｔ_０において０°の相関信号（Ｓ_φ,Ｉ）を取得し、
第２の時間Ｔ_０＋ΔＴにおいて９０°の相関信号（Ｓ_φ,Ｑ）を取得し、
第３の時間Ｔ_０＋２．ΔＴにおいて２７０°の相関信号（Ｓ_φ,Ｑ￣）を取得し、
最後の時間Ｔ_０＋３．ΔＴにおいて１８０°の相関信号（Ｓ_φ,Ｉ￣）を取得するように構成され、
Ｔ_０は上記相関信号（Ｓ_φ,Ｑ、Ｓ_φ,Ｑ￣、Ｓ_φ,Ｉ、Ｓ_φ,Ｉ￣）の取得が開始された時間を示し、ΔＴは所定の時間間隔を示す
装置。
（７）
（１）から（４）のいずれか１つに記載の装置であって、
プロセッサは、下記の位相シフトシーケンス（ＡからＨ）のいずれか１つに基づき上記相関信号（Ｓ_φ,Ｑ、Ｓ_φ,Ｑ￣、Ｓ_φ,Ｉ、Ｓ_φ,Ｉ￣）を取得するように構成される
装置。

【表5】

（８）
（１）から（３）のいずれか１つに記載の装置であって、
プロセッサは、下記の位相シフトシーケンス（ＩからＰ）のいずれか１つに基づき上記相関信号（Ｓ_φ,Ｑ、Ｓ_φ,Ｑ￣、Ｓ_φ,Ｉ、Ｓ_φ,Ｉ￣）を取得するように構成される
装置。

【表6】

（９）
（１）から（３）のいずれか１つに記載の装置であって、
変調光信号（Ｓ）でシーン（２４）を照らすように構成される照明ユニット（１８）をさらに具備する
装置。
（１０）
（１）から（９）に記載の装置であって、
上記光検出信号（Ｓ_φ）を受信するように構成された撮像素子（１）をさらに具備する
装置。
（１１）
光検出信号（Ｓ_φ）と各位相シフト参照信号（Ｓ_Ｑ、Ｓ_Ｑ￣、Ｓ_Ｉ、Ｓ_Ｉ￣）を相関させることによって、相関信号（Ｓ_φ,Ｑ、Ｓ_φ,Ｑ￣）の第１の集合と相関信号（Ｓ_φ,Ｉ、Ｓ_φ,Ｉ￣）の第２の集合を含む相関信号（Ｓ_φ,Ｑ、Ｓ_φ,Ｑ￣、Ｓ_φ,Ｉ、Ｓ_φ,Ｉ￣を取得するように構成された回路を具備する装置であって、
上記相関信号（Ｓ_φ,Ｑ、Ｓ_φ,Ｑ￣）の第１の集合の平均位相と上記相関信号（Ｓ_φ,Ｉ、Ｓ_φ,Ｉ￣の第２の集合の平均位相が直交する、または略直交するように上記回路が構成され、
上記相関信号（Ｓ_φ,Ｑ、Ｓ_φ,Ｑ￣）の第１の集合の取得の平均時間と上記相関信号（Ｓ_φ,Ｉ、Ｓ_φ,Ｉ￣）の第２の集合の取得の平均時間が等しい、または略等しくなるように上記回路が構成される
装置。
（１２）
（１１）に記載の装置であって、
上記相関信号（Ｓ_φ,Ｑ、Ｓ_φ,Ｑ￣）の第１の集合は直交変調信号を含み、
上記相関信号の第２の集合は同相相関信号（Ｓ_φ,Ｉ、Ｓ_φ,Ｉ￣）を含む
装置。
（１３）
（１１）または（１２）に記載の装置であって、
上記相関信号（Ｓ_φ,Ｑ、Ｓ_φ,Ｑ￣）の第１の集合は、所定の位相角で位相シフトされた直交変調信号を含み、
上記相関信号の第２の集合は、上記所定の位相角で位相シフトされた同相相関信号（Ｓ_φ,Ｉ、Ｓ_φ,Ｉ￣）を含む
装置。
（１４）
（１１）から（１３）のいずれか１つに記載の装置であって、
プロセッサは、下記の位相シフトシーケンス（ＡからＨ）のいずれか１つに基づき上記相関信号（Ｓ_φ,Ｑ、Ｓ_φ,Ｑ￣）の第１の集合および上記相関信号（Ｓ_φ,Ｉ、Ｓ_φ,Ｉ￣）の第２の集合を取得するように構成される
装置。

【表7】

（１５）
（１１）から（１３）のいずれか１つに記載の装置であって、
プロセッサは、下記の位相シフトシーケンス（ＩからＰ）のいずれか１つに基づき上記相関信号（Ｓ_φ,Ｑ、Ｓ_φ,Ｑ￣）の第１の集合および上記相関信号（Ｓ_φ,Ｉ、Ｓ_φ,Ｉ￣）の第２の集合を取得するように構成される
装置。

【表8】

（１６）
光検出信号（Ｓ_φ）と各位相シフト参照信号（Ｓ_Ｑ、Ｓ_Ｑ￣、Ｓ_Ｉ、Ｓ_Ｉ￣）を相関させることによって、直交相関信号（Ｓ_φ,Ｑ、Ｓ_φ,Ｑ￣）と同相相関信号（Ｓ_φ,Ｉ、Ｓ_φ,Ｉ￣）を含む相関信号（Ｓ_φ,Ｑ、Ｓ_φ,Ｑ￣、Ｓ_φ,Ｉ、Ｓ_φ,Ｉ￣）を取得することを含む方法であって、
上記直交相関信号（Ｓ_φ,Ｑ、Ｓ_φ,Ｑ￣）の取得の平均時間と上記同相相関信号（Ｓ_φ,Ｉ、Ｓ_φ,Ｉ￣）の取得の平均時間が略等しくなるよう上記相関信号（Ｓ_φ,Ｑ、Ｓ_φ,Ｑ￣、Ｓ_φ,Ｉ、Ｓ_φ,Ｉ￣）を取得する
方法。
（１７）
プロセッサ上で実行される際に上記プロセッサに（１６）に記載の方法を実行させる命令を含むコンピュータ・プログラム。
（１８）
光検出信号（Ｓ_φ）と各位相シフト参照信号（Ｓ_Ｑ、Ｓ_Ｑ￣、Ｓ_Ｉ、Ｓ_Ｉ￣）を相関させることによって、相関信号（Ｓ_φ,Ｑ、Ｓ_φ,Ｑ￣）の第１の集合と相関信号（Ｓ_φ,Ｉ、Ｓ_φ,Ｉ￣）の第２の集合を含む相関信号（Ｓ_φ,Ｑ、Ｓ_φ,Ｑ￣、Ｓ_φ,Ｉ、Ｓ_φ,Ｉ￣）を取得することを含む方法であって、
上記相関信号（Ｓ_φ,Ｑ、Ｓ_φ,Ｑ￣）の第１の集合の平均位相と上記相関信号（Ｓ_φ,Ｉ、Ｓ_φ,Ｉ￣）の第２の集合の平均位相が直交、または略直交し、
上記相関信号（Ｓ_φ,Ｑ、Ｓ_φ,Ｑ￣）の第１の集合の取得の平均時間と上記相関信号（Ｓ_φ,Ｉ、Ｓ_φ,Ｉ￣）の第２の集合の取得の平均時間が等しい、または略等しい
方法。
（１９）
プロセッサ上で実行される際に上記プロセッサに（１８）に記載の方法を実行させる命令を含むコンピュータ・プログラム。
（２０）
プロセッサ上で実行される際に上記プロセッサに、
光検出信号（Ｓ_φ）と各位相シフト参照信号（Ｓ_Ｑ、Ｓ_Ｑ￣、Ｓ_Ｉ、Ｓ_Ｉ￣）を相関させることによって、直交相関信号（Ｓ_φ,Ｑ、Ｓ_φ,Ｑ￣）と同相相関信号（Ｓ_φ,Ｉ、Ｓ_φ,Ｉ￣）を含む相関信号（Ｓ_φ,Ｑ、Ｓ_φ,Ｑ￣、Ｓ_φ,Ｉ、Ｓ_φ,Ｉ￣）を取得すること
を実行させる命令を含むコンピュータ・プログラムであって、
上記直交相関信号（Ｓ_φ,Ｑ、Ｓ_φ,Ｑ￣）の取得の平均時間と上記同相相関信号（Ｓ_φ,Ｉ、Ｓ_φ,Ｉ￣）の取得の平均時間が略等しくなるよう相関信号（Ｓ_φ,Ｑ、Ｓ_φ,Ｑ￣、Ｓ_φ,Ｉ、Ｓ_φ,Ｉ￣）を取得させる
コンピュータ・プログラム。
（２１）
プロセッサ上で実行される際に上記プロセッサに、
光検出信号（Ｓ_φ）と各位相シフト参照信号（Ｓ_Ｑ、Ｓ_Ｑ￣、Ｓ_Ｉ、Ｓ_Ｉ￣）を相関させることによって、相関信号（Ｓ_φ,Ｑ、Ｓ_φ,Ｑ￣）の第１の集合と相関信号（Ｓ_φ,Ｉ、Ｓ_φ,Ｉ￣）の第２の集合を含む相関信号（Ｓ_φ,Ｑ、Ｓ_φ,Ｑ￣、Ｓ_φ,Ｉ、Ｓ_φ,Ｉ￣）を取得すること
を実行させる命令を含むコンピュータ・プログラムであって、
上記相関信号（Ｓ_φ,Ｑ、Ｓ_φ,Ｑ￣）の第１の集合の平均位相と上記相関信号（Ｓ_φ,Ｉ、Ｓ_φ,Ｉ￣）の第２の集合の平均位相が直交、または略直交し、
上記相関信号（Ｓ_φ,Ｑ、Ｓ_φ,Ｑ￣）の第１の集合の取得の平均時間と上記相関信号（Ｓ_φ,Ｉ、Ｓ_φ,Ｉ￣）の第２の集合の取得の平均時間が等しい、または略等しい
コンピュータ・プログラム。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】