特許 7438555 三次元計測方法および三次元計測装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-16

(45)【発行日】2024-02-27

(54)【発明の名称】三次元計測方法および三次元計測装置

(51)【国際特許分類】

   G01B 11/25 20060101AFI20240219BHJP

   G01B 11/00 20060101ALI20240219BHJP

【ＦＩ】

G01B11/25 H

G01B11/00 H

【請求項の数】 10

(21)【出願番号】P 2021516082

(86)(22)【出願日】2020-04-17

(86)【国際出願番号】 JP2020016921

(87)【国際公開番号】W WO2020218208

(87)【国際公開日】2020-10-29

【審査請求日】2023-04-14

(31)【優先権主張番号】P 2019081347

(32)【優先日】2019-04-22

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】504143441

【氏名又は名称】国立大学法人 奈良先端科学技術大学院大学

(74)【代理人】

【識別番号】100163186

【弁理士】

【氏名又は名称】松永 裕吉

(72)【発明者】

【氏名】櫛田 貴弘

(72)【発明者】

【氏名】田中 賢一郎

(72)【発明者】

【氏名】舩冨 卓哉

(72)【発明者】

【氏名】向川 康博

(72)【発明者】

【氏名】青砥 隆仁

【審査官】飯村 悠斗

(56)【参考文献】

【文献】特表２０１９－５０４３１３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１５／００６２５５８（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ １１／２５

Ｇ０１Ｂ １１／００

Ｇ０１Ｓ １７／８９

(57)【特許請求の範囲】

【請求項1】

プロジェクタから時間的および空間的に変調された時空間変調照明を空間に照射して時間相関カメラで空間を撮像する第１のステップと、
前記時間相関カメラの撮像画像の各ピクセルについて、当該ピクセルの時間相関値から時間位相および空間位相を算出する第２のステップと、
前記時間相関カメラの撮像画像の各ピクセルについて、前記算出された時間位相および空間位相のペアに対応する奥行きを求める第３のステップと、
を備えた三次元計測方法。

【請求項2】

前記第２のステップにおいて、一連の複数の時間相関値から時間位相および空間位相を一度に算出する、請求項１に記載の三次元計測方法。

【請求項3】

前記第３のステップにおいて、時間位相、空間位相および奥行きの対応関係が特定されたルックアップテーブルを参照して前記算出された時間位相および空間位相のペアに対応する奥行きを見つける、請求項１または請求項２に記載の三次元計測方法。

【請求項4】

前記時空間変調照明における最も暗い部分が、前記時間相関カメラが当該部分の反射光を検出できる程度の明るさを有する、請求項１ないし請求項３のいずれかに記載の三次元計測方法。

【請求項5】

前記時空間変調照明の明暗パターンの間隔が、前記時間相関カメラの解像度よりも細かく設定されている、請求項１ないし請求項３のいずれかに記載の三次元計測方法。

【請求項6】

時間的および空間的な変調を施した時空間変調照明を生成して空間に照射するプロジェクタと、
前記時空間変調照明が照射された空間を撮像する時間相関カメラと、
前記プロジェクタおよび前記時間相関カメラの動作を制御するコントローラと、を備え、
前記コントローラは、前記時間相関カメラの撮像画像の各ピクセルについて、当該ピクセルの時間相関値から時間位相および空間位相を算出し、当該算出した時間位相および空間位相のペアに対応する奥行きを求めるものである
ことを特徴とする三次元計測装置。

【請求項7】

前記コントローラが、一連の複数の時間相関値から時間位相および空間位相を一度に算出するものである、請求項６に記載の三次元計測装置。

【請求項8】

前記コントローラが、時間位相、空間位相および奥行きの対応関係が特定されたルックアップテーブルを参照して前記算出した時間位相および空間位相のペアに対応する奥行きを見つけるものである、請求項６または請求項７に記載の三次元計測装置。

【請求項9】

前記時空間変調照明における最も暗い部分が、前記時間相関カメラが当該部分の反射光を検出できる程度の明るさを有する、請求項６ないし請求項８のいずれかに記載の三次元計測装置。

【請求項10】

前記時空間変調照明の明暗パターンの間隔が、前記時間相関カメラの解像度よりも細かく設定されている、請求項６ないし請求項８のいずれかに記載の三次元計測装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、三次元計測方法および三次元計測装置に関し、特に、アクティブ照明を使用して物体の三次元形状を計測する技術に関する。

【背景技術】

【0002】

現在、三次元計測技術が三次元再構成、物体検知、ロボティクス、自動運転などのさまざまなアプリケーションに広く用いられている。コンピュータビジョンの分野では、対象物に変調照明を照射するアクティブ照明を使用した三次元計測技術として、時間変調を利用したＴｏＦ（Time of Flight）法と空間変調を利用した位相シフト法とが知られている。

【0003】

ＴｏＦ法は、時間的な変調が施された照明（例えば、連続パルス光）を空間に照射して空間内の物体からの反射光を受光し、照明を照射してから反射光を受光するまでの時間、すなわち、時間位相から当該物体の三次元形状を求めるものである（例えば、下記非特許文献１を参照）。一方、位相シフト法は、空間的な変調が施された照明（例えば、正弦波縞パターン）を空間に照射して空間内の物体に投影された光パターンの変形の様子から空間位相を検出し、視差による三角測量原理に基づいて当該物体の三次元形状を求めるものである（例えば、下記非特許文献２を参照）。

【0004】

また、ＴｏＦ法と位相シフト法とを組み合わせたＴｏＦアシスト・ストラクチャード・ライト（ToF assisted structured light）法という方法も知られている。例えば、空間内の物体に複数の高周波ストラクチャード・ライト・パターンを位相シフトしながら投影してそれを時間相関カメラで撮像し、各撮像画像の明領域から得られる断片的なＴｏＦ情報を組み合わせて全体的なＴｏＦ奥行マップを生成し、当該ＴｏＦ奥行マップを用いて位相シフト法における後述する位相曖昧性を解消する手法が提案されている（例えば、下記特許文献１を参照）。また、局所領域内の対象物にストラクチャード・ライトの変調パターンを照射して検出器が反射光を捕捉するまでの時間に基づいて当該対象物までの距離を決定し、個々の時間に検出器の各画素群により捕捉された光からストラクチャード・ライトのパターンを含むフレームを生成する手法が提案されている（例えば、下記特許文献２を参照）。

【先行技術文献】

【特許文献】

【0005】

【文献】米国特許第１００６１０２８号明細書

【文献】国際公開第２０１７／１２３４５２号

【非特許文献】

【0006】

【文献】R. Lange and P. Seitz, “Solid-State Time-of-Flight Range Camera,” IEEE Journal of Quantum Electronics, vol. 37, no. 3, pp. 390-397, MARCH 2001.

【文献】M. Gupta and S. Nayer, “Micro Phase Shifting,” in Proc. CVPR, 2012, pp. 813-820.

【発明の概要】

【発明が解決しようとする課題】

【0007】

ＴｏＦ法にせよ位相シフト法にせよアクティブ照明を使用した三次元計測で問題となるのは位相曖昧性である。すなわち、位相は２πで一周することから観測される時間位相あるいは空間位相は０から２πまでの範囲にラッピング（wrapping）されてしまい、位相２πｎ＋φ（ただし、ｎは自然数であり、０≦φ＜２πである。）はすべて位相φとして観測される。このため、観測された位相φから実際の位相２πｎ＋φを推定してその推定位相に対応する奥行きを算出する位相アンラッピング（unwrapping）が必要になるが、「ｎ」が一意に決定できないことにより奥行きの候補が複数存在するというのが位相曖昧性の問題である。上記特許文献１、２に記載の従来技術ではＴｏＦ法と位相シフト法とを組み合わせているものの、先にＴｏＦ法を適用し、その後位相シフト法を適用するといったようにＴｏＦ法と位相シフト法をそれぞれ別個に適用しているため、依然として位相曖昧性の問題が残る。

【0008】

このような位相曖昧性問題を解決する方法の一つが照明の変調周波数を下げることである。照明の変調周波数を下げると０から２πまでの一位相でカバーできる奥行きレンジが広くなるため位相曖昧性問題は解消される。しかし、その一方で、照明の変調周波数を下げると奥行き計測精度が下がってしまうという別の問題が生じる。すなわち、高精度の三次元計測が必要なアプリケーションでは照明の変調周波数を下げる方法は採用し難い。

【0009】

位相曖昧性問題を解決する別の方法は変調周波数をさまざまに切り替えながら照明を変調することである。この方法の利点は、各変調周波数では位相曖昧性があっても複数の変調周波数による観測位相から実際の位相を一意に決定することができる点にある。すなわち、照明の変調周波数を下げずに位相曖昧性を解消できるため、高精度な三次元計測が実現できる。しかし、この方法は照明の変調周波数を切り替えて何度も照明を照射する必要があるため計測速度の低下が避けられず、時々刻々と形状が変化する動体物の三次元形状をリアルタイムに計測する用途には不向きである。

【0010】

このように変調照明を使用した三次元計測には、位相曖昧性の存在により、計測精度と計測範囲および計測速度との間にトレードオフが存在する。すなわち、計測範囲を広げるまたは計測速度を上げようとすると計測精度が下がってしまい、逆に計測精度を上げようとすると今度は計測範囲が狭くなるかまたは計測速度が低下してしまう。

【0011】

上記問題に鑑み、本発明は、上記のトレードオフを克服して高精度、広い奥行き範囲、高フレームレートで物体の三次元形状を計測することができる三次元計測方法および三次元計測装置を提供することを目的とする。

【課題を解決するための手段】

【0012】

本発明の一局面に従うと、プロジェクタから時間的および空間的に変調された時空間変調照明を空間に照射して時間相関カメラで空間を撮像する第１のステップと、前記時間相関カメラの撮像画像の各ピクセルについて、当該ピクセルの時間相関値から時間位相および空間位相を算出する第２のステップと、前記時間相関カメラの撮像画像の各ピクセルについて、前記算出された時間位相および空間位相のペアに対応する奥行きを求める第３のステップと、を備えた三次元計測方法が提供される。

【0013】

また、本発明の一局面に従うと、時間的および空間的な変調を施した時空間変調照明を生成して空間に照射するプロジェクタと、前記時空間変調照明が照射された空間を撮像する時間相関カメラと、前記プロジェクタおよび前記時間相関カメラの動作を制御するコントローラと、を備え、前記コントローラは、前記時間相関カメラの撮像画像の各ピクセルについて、当該ピクセルの時間相関値から時間位相および空間位相を算出し、当該算出した時間位相および空間位相のペアに対応する奥行きを求めるものであることを特徴とする三次元計測装置が提供される。

【発明の効果】

【0014】

本発明によると、時間および空間の各ドメインでの位相曖昧性を相互に補完・補償して位相曖昧性の問題が解消される。これにより、高精度、広い奥行き範囲、高フレームレートで物体の三次元形状を計測することができる。

【図面の簡単な説明】

【0015】

【図1】本発明の一実施形態に係る三次元計測装置のハードウェア構成図

【図2】各種変調照明を使用した三次元計測の模式図

【図3】時間位相および空間位相のそれぞれと奥行き候補との関係を表すグラフ

【図4】本発明の一実施形態に係る三次元計測方法のフローチャート

【図5A】検証実験１に係る三次元計測のシチュエーションを説明する図

【図5B】図５ＡのシチュエーションについてのＴｏＦ法、位相シフト法および本実施形態の各方法で生成された奥行きマップ

【図5C】図５Ｂの各奥行きマップに記した水平方向線分についてのＴｏＦ法、位相シフト法および本実施形態の各方法で算出された奥行き候補を表すグラフ

【図6A】検証実験２に係る三次元計測のシチュエーションを説明する図

【図6B】図６ＡのシチュエーションについてのＴｏＦ法、位相シフト法および本実施形態の各方法で生成された奥行きマップ

【図6C】図６Ｂの各奥行きマップに記した水平方向線分についてのＴｏＦ法、位相シフト法および本実施形態の各方法で算出された奥行き候補を表すグラフ

【発明を実施するための形態】

【0016】

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

【0017】

なお、発明者は、当業者が本発明を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

【0018】

≪装置構成例≫
図１は、本発明の一実施形態に係る三次元計測装置１００のハードウェア構成図である。本実施形態に係る三次元計測装置１００は、プロジェクタ１０と、時間相関カメラ２０と、コントローラ３０とを備えている。プロジェクタ１０および時間相関カメラ２０は、プロジェクタ１０から照射された照明で照らされた空間をカメラ２０が撮像可能なように図略の支持部材に位置決めされて固定されている。プロジェクト１０および時間相関カメラ２０とはケーブルで接続されている。

【0019】

プロジェクタ１０は、コリメートレンズ付きの近赤外レーザーダイオード１０１と、拡大光学系１０２と、ＤＭＤ（Digital Micromirror Device）１０３と、投影光学系１０４とを備え、時間的および空間的な変調が施された時空間変調照明１０５を生成して空間に照射する。具体的には、レーザーダイオード１０１は、コントローラ３０の制御により連続レーザーパルス光１０６を発生させる。拡大光学系１０２は、レーザーダイオード１０１から射出されるコリメートビーム（連続レーザーパルス光１０６）を受けてそのビーム径をＤＭＤ１０３の有効領域に拡大してＤＭＤ１０３に拡大連続レーザーパルス光１０７を入射する。ＤＭＤ１０３は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）プロセスで作られた半導体集積回路上に多数の可動式の微小鏡面（マイクロミラー）を平面状に配列したＭＥＭＳ（Micro Electro Mechanical Systems）デバイスであり、個々のマイクロミラーの動作を制御することで拡大光学系１０２からの拡大連続レーザーパルス光１０７を所望のパターンで反射させて正弦波縞状の空間光パターン１０８を生成する。投影光学系１０４は、ＤＭＤ１０３で生成された空間光パターン１０８を受けてそれを拡散して空間に時空間変調照明１０５を投射する。

【0020】

時間相関カメラ２０は、図略の結像光学系により結像された光学像を撮像して時間相関画像を生成する時間相関イメージセンサ２０１と、メモリ２０２とを備えている。時間相関イメージセンサ２０１は、撮像画像の各ピクセルについて、経時変化する入射光信号と全ピクセル共通の参照信号との時間相関値を出力することができる。時間相関値とは入射光信号と参照信号との積を短時間積分した値のことである。メモリ２０２は、時間相関イメージセンサ２０１により生成される時間相関画像を一時的に記憶する。

【0021】

コントローラ３０は、図略のプロセッサ、メモリ、インターフェイスなどを備えたコンピュータ装置であり、プロジェクタ１０および時間相関カメラ２０の動作を制御し、また、時間相関カメラ２０から適宜時間相関画像を取得してそれを処理する。具体的には、コントローラ３０は、プロジェクタ１０のレーザーダイオード１０１の発光制御、ＤＭＤ１０３による空間光パターン１０８の生成に関する制御、時間相関カメラ２０のシャッター制御などを行う。また、コントローラ２０は、時間相関カメラ２０のメモリ２０２から任意のピクセルの時間相関値を読みだして下述の三次元計測方法を実行して、時間相関カメラ２０の撮像画像に写った物体の三次元形状を計測する。

【0022】

≪時空間変調照明を使用した三次元計測方法≫
次に、本実施形態に係る三次元計測装置１００による時空間変調照明を使用した三次元計測方法について、時間変調照明を使用するＴｏＦ法および空間変調照明を使用する位相シフト法と対比して説明する。

【0023】

図２は、各種変調照明を使用した三次元計測を模式的に表したものであり、（ａ）は時間変調照明を使用したＴｏＦ法を、（ｂ）は空間変調照明を使用した位相シフト法を、（ｃ）は時空間変調照明を使用した本実施形態に係る三次元計測方法を表す。

【0024】

ＴｏＦ法は、図２（ａ）に示したように、光源から空間に時間変調した照明（例えば、連続パルス光）を照射してカメラで反射光を受光し、カメラに入射された光の振幅減衰および位相遅延すなわち時間位相を計測する。この計測された時間位相は光源から照射された光が空間内の物体に反射してカメラに戻ってくるまでの往復時間を表している。ＴｏＦ法では光源から空間に照射され空間内の物体に反射してカメラに入射された光信号の時間相関値が算出される。具体的には、カメラとしてＴｏＦセンサを用いて、撮像画像の各ピクセルについて、経時変化する入射光信号と全ピクセル共通の参照信号との時間相関値を算出する。そして、カメラに入射された光信号と位相シフトされたＮ_Ｔ個の参照信号との時間相関から時間位相を算出することができる。例えば、ｋ番目の参照信号について、ピクセルｘの時間相関値ｃ_ｋ（ｘ）は次式のように表される。

【0025】

ただし、ｇ（ｔ＋２πｋ／Ｎ_Ｔ）は２πｋ／Ｎ_Ｔだけ位相シフトされた参照信号を、ｓはカメラへの入射光信号を、＊は時間位相計算の演算子を、Ａは振幅減衰を、φ_Ｔは時間位相を、Ｏは環境光を表す。例えば、Ｎ_Ｔ＝４の場合、入射光信号の時間位相φ_Ｔおよび振幅減衰Ａは、参照信号の位相をπ／２ずつシフトさせながら入射光を複数回観測することで次式のように直接算出することができる。

【0026】

そして、この算出した時間位相φ_Ｔを用いて、ピクセルｘの奥行きｄは次式のように表される。

【0027】

ただし、ω_Ｔは時間変調周波数を、ｃは光速を表す。

【0028】

位相シフト法は、図２（ｂ）に示したように、プロジェクタから空間に空間変調した照明（例えば、正弦波縞パターン）を照射してカメラで反射光を受光し、空間内の物体に投影された光パターンの変形の様子から各ピクセルの空間位相を検出し、視差による三角測量原理に基づいてそのピクセルの奥行きを求める。例えば、ｌ番目の位相シフトパターンについて、ピクセルｘにおける入射光強度Ｉ_ｌ（ｘ）は次式で表される。

【0029】

ただし、Ａは振幅減衰を、φ_Ｓはプロジェクタとカメラの視差による投射光パターンの空間位相を、Ｎ_Ｓは光パターン数を、Ｏはオフセットを表す。上式ではオフセットＯ、振幅減衰Ａ、および空間位相φ_Ｓの３つが未知であるが、Ｎ_Ｓを３以上にして投射光パターンの位相をシフトしながら入射光を観測することでこれら３つの未知パラメータを求めることができる。例えば、Ｎ_Ｓ＝４の場合、空間位相φ_Ｓおよび振幅減衰ＡはＴｏＦ法のときと同様に次式で算出することができる。

【0030】

そして、この算出した空間位相φ_Ｓすなわち視差から三角測量原理に基づいて奥行きを求めることができる。例えば、平行ステレオ法に従うと、ピクセルｘの奥行きｄは次式のように表される。

【0031】

ただし、ｘ－φ_Ｓ（ｘ）／ω_Ｓは視差を、ω_Ｓは空間変調周波数を、ｆは焦点距離を、ｂはプロジェクタとカメラとのベースライン距離を表す。

【0032】

上記のＴｏＦ法および位相シフト法に対して、本実施形態に係る三次元計測装置１００による三次元計測方法（以下、本方法という）は、図２（ｃ）に示したように、プロジェクタ１０から空間に時間変調と空間変調とを組み合わせた時空間変調照明を照射し、時間相関カメラ２０でその反射光を受光して撮像画像の各ピクセルの時間位相および空間位相を求めてそのピクセルの奥行きを算出する。すなわち、本方法は、時間および空間の各ドメインでの位相曖昧性を相互に補完・補償して位相曖昧性の問題を解消するものである。

【0033】

図３は、時間位相および空間位相のそれぞれと奥行き候補との関係を表すグラフである。縦軸は位相を、横軸は奥行きを表す。位相曖昧性のため、時間位相および空間位相のいずれについてもある位相に関して候補となる奥行きが複数存在する。時間位相に関する奥行き候補は、式（５）からわかるように、位相一周期内で時間位相に比例して増加し、位相一周期分の奥行き幅は奥行きの近い位置および遠い位置にかかわらず一定である。一方、空間位相に関する奥行き候補は、式（９）からわかるように、位相一周期内で空間位相に反比例して増加し、位相一周期分の奥行き幅は奥行き位置が遠くなるにつれて大きくなる。このため、時間位相と空間位相とでは奥行き位置に応じて位相一周期分の奥行き幅にずれが生じる。数式を用いて説明すると、時間位相φ_Ｔに関する奥行き候補ｄ_Ｔおよび空間位相φ_Ｓに関する奥行き候補ｄ_Ｓは、それぞれ、次の各式で表される。

【0034】

ここで、上述したように時間位相と空間位相とでは奥行き位置に応じて位相一周期分の奥行き幅にずれが生じるため、ｄ_Ｔ＝ｄ_Ｓを満たす整数ペア（ｎ_Ｔ，ｎ_Ｓ）は２つ以上存在しない。すなわち、近い位置から遠い位置までの幅広い奥行きレンジにおいて任意の奥行き候補に対応する時間位相および空間位相のペアは一意に絞り込まれる。

【0035】

図４は、本発明の一実施形態に係る三次元計測方法のフローチャートである。まず、プロジェクタ１０から時間的および空間的に変調された時空間変調照明１０５を空間に照射して時間相関カメラ２０で空間を撮像する（Ｓ１）。ここで、時間相関イメージセンサ２０１における入射光信号の蓄積期間中は時空間変調照明１０５の空間位相を固定する、すなわち、ＤＭＤ１０３による空間光パターン１０７の位相シフトは行わないようにする。このとき、時間相関カメラ２０の撮像画像のピクセルｘについて、ｋ番目の参照信号およびｌ番目の位相シフトパターンに係るピクセルｘの時間相関値ｃ（ｘ，ｋ，ｌ）は次式で表される。

【0036】

例えば、Ｎ_Ｔ＝４、Ｎ_Ｓ＝２の場合、時間位相φ_Ｔおよび空間位相φ_Ｓは次式で算出される。

【0037】

このように、ピクセルｘの一連の６つの時間相関値からピクセルｘの時間位相および空間位相を一度に算出することができる（Ｓ２）。

【0038】

これら一連の６つの時間相関値は２タップ出力の時間相関カメラ２０を使用すると３つのサブフレームで取得することができる。例えば、あるサブフレームでｃ（ｘ，０，ｌ）およびｃ（ｘ，２，ｌ）が取得され、次のサブフレームでｃ（ｘ，１，ｌ）およびｃ（ｘ，３，ｌ）が取得される。これは時間的および空間的な変調が施された時空間変調照明１０５を使用することによるメリットである。時空間変調照明１０５の照射回数をさらに削減するには、ベイヤーパターンに倣って、隣接する２つのピクセルまたはサブピクセルをまとめて１フレームにおける空間位相としてもよい。隣接ピクセル間で奥行きおよび反射率が同じであると仮定すると、隣接するピクセルでは投射光パターンの空間位相が１／ω_Ｓだけずれている。この場合、空間位相の算出に必要なサブフレーム数はＴｏＦ法と同じ２つにまで削減することができる。ＴｏＦ法では２つのサブフレームで時間位相のみを算出するが、本実施形態に係る方法では２つのサブフレームで時間位相および空間位相の２つを一度に算出することができる。

【0039】

算出された時間位相および空間位相のペアをキーとしてルックアップテーブルをサーチすることで、算出された時間位相および空間位相に対応する奥行きを求めることができる（Ｓ３）。奥行きｄに対応する時間位相φ_Ｔ（ｄ）および空間位相φ_Ｓ（ｄ，ｘ）は次式で表される。

【0040】

ただし、ｘは水平方向のピクセル位置である。空間位相は水平方向のピクセル位置に応じて異なるため、ルックアップテーブルはカメラ２０の撮像画像における水平方向のピクセル位置ごとに用意しておく。例えば、水平方向のピクセル位置ｘのルックアップテーブルＴｘは、次式のように、奥行き候補Ｄ_ｉに対応する時間位相φ_Ｔ（Ｄ_ｉ）および空間位相φ_Ｓ（Ｄ_ｉ，ｘ）からなる位相ベクトルΦ_Ｄｉ，ｘ＝［φ_Ｔ（Ｄ_ｉ），φ_Ｓ（Ｄ_ｉ，ｘ）］の集合として定義することができる。

【0041】

そして、時間相関カメラ２０の撮像画像のピクセルｘについて、次式で表されるように、ルックアップテーブルに登録された位相ベクトルの中から、式（１３）で算出された時間位相φ_Ｔ（ｘ）および空間位相φ_Ｓ（ｘ）からなる位相ベクトル［φ_Ｔ（ｘ），φ_Ｓ（ｘ）］とのユークリッド距離が最も近い位相ベクトルを見つける。

【0042】

こうして見つかった位相ベクトルに対応づけられた奥行きがピクセルｘの奥行きである。上記の手順を時間相関カメラ２０の撮像画像の各ピクセルについて実施することで、時間相関カメラ２０の撮像画像に写った物体の三次元形状を計測することができる。

【0043】

以上のように、本実施形態に係る三次元計測装置１００よると、広い奥行き範囲で高精度に物体の三次元形状を計測することができる。さらに、本実施形態に係る三次元計測装置１００は、時間および空間の各ドメインにおいてそれぞれ複数の変調周波数で変調された照明を使用することなく各ドメインにつき一つの変調周波数で変調された時空間変調照明１０５を使用して三次元計測を行うため、変調周波数を切り替えて何度も照明を照射しなくて済むことから、高フレームレートで物体の三次元形状を計測することができる。

【0044】

なお、時間変調周波数および空間変調周波数をできるだけ高くすることで計測精度が向上する。しかし、時間変調周波数に対して空間変調周波数を高くし過ぎると位相曖昧性が解消できなくなってしまうため適切な周波数を選択する必要がある。詳しい途中計算式は省略するが、次式の条件を満たすように時間変調周波数ω_Ｔおよび空間変調周波数ω_Ｓを選択するとよい。

【0045】

ただし、ｄ_ｍａｘは計測可能な最大奥行きを、ｄ_ｍｉｎは計測可能な最小奥行きを、Δｄ_Ｔは時間位相による奥行き計測精度を表す。

【0046】

≪実験結果≫
次に、本実施形態に係る三次元計測方法の効果を検証するために行った実験とその結果について説明する。検証実験は２つ行った。一つは白色の平面板の三次元計測、もう一つは石膏製の胸像の三次元計測である。

【0047】

図５Ａは、検証実験１に係る三次元計測のシチュエーションを説明する図である。検証実験１では、カメラからおよそ３５０ｍｍ離れた位置に白色の平面板を、向かって右側が左側に対して相対的にカメラから遠ざかるようにわずかに傾けて置き、その三次元形状をＴｏＦ法、位相シフト法および本実施形態の各方法で計測した。ＴｏＦ法では単一の低変調周波数で時間変調された照明を用いた。位相シフト法では単一の高変調周波数で空間変調された照明を用いた。本実施形態に係る方法では照明の時間変調周波数は６０ＭＨｚとし、プロジェクタから照射される空間変調された照明（縞パターン）のパターン間隔は６０ピクセルとした。プロジェクタとカメラとのベースライン距離は７０ｍｍであり、プロジェクタの投影光学系の焦点距離は３５ｍｍである。

【0048】

図５Ｂは、図５ＡのシチュエーションについてのＴｏＦ法、位相シフト法および本実施形態の各方法で生成された奥行きマップであり、図５Ｃは、図５Ｂの各奥行きマップに記した水平方向線分についてのＴｏＦ法、位相シフト法および本実施形態の各方法で算出された奥行き候補を表すグラフである。図５Ｂからわかるように、ＴｏＦ法および本実施形態に係る方法ではなだらかに変化する奥行きが計測できているが、位相シフト法では奥行きがステップ状になって現れている。また、図５Ｃからわかるように、位相シフト法では位相曖昧性が解消できずに奥行き候補が複数存在し、ＴｏＦ法では計測結果にノイズが多く含まれる。これに対して、本実施形態に係る方法では位相曖昧性が解消されているとともに実際の対象物の奥行き変化を反映した滑らかな計測結果が得られている。

【0049】

図６Ａは、検証実験２に係る三次元計測のシチュエーションを説明する図である。検証実験２は、上記の白色の平面板に代えて、カメラからおよそ４００ｍｍ離れた位置に石膏製の胸像を置き、その三次元形状をＴｏＦ法、位相シフト法および本実施形態の各方法で計測した。計測対象物を代えたこと以外は検証実験１と同じである。

【0050】

図６Ｂは、図６ＡのシチュエーションについてのＴｏＦ法、位相シフト法および本実施形態の各方法で生成された奥行きマップであり、図６Ｃは、図６Ｂの各奥行きマップに記した水平方向線分についてのＴｏＦ法、位相シフト法および本実施形態の各方法で算出された奥行き候補を表すグラフである。検証実験１の結果と同様に、ＴｏＦ法および本実施形態に係る方法ではなだらかに変化する奥行きが計測できているが、位相シフト法では奥行きがステップ状になって現れている。また、位相シフト法では位相曖昧性が解消できずに奥行き候補が複数存在し、ＴｏＦ法では計測結果にノイズが多く含まれるのに対して、本実施形態に係る方法では位相曖昧性が解消されているとともに実際の対象物の奥行き変化を反映した滑らかな計測結果が得られている。

【0051】

≪変形例≫
プロジェクタ１０から照射される時空間変調照明１０５は空間的に明るい部分と暗い部分とが交互に現れる明暗パターンであることから、暗い部分については時間相関カメラ２０が反射光を受光できずに時間相関値が得られないおそれがある。そこで、時空間変調照明１０５における最も暗い部分を真っ暗にするのではなく、時間相関カメラ２０が当該部分の反射光を検出できる程度の明るさを有するようにしてもよい。あるいは、時空間変調照明１０５の明暗パターンの間隔を時間相関カメラ２０の解像度よりも細かくしてもよい。これより、時間相関カメラ２０が撮像画像のすべてのピクセルで時間相関値を取得できるようになり、計測精度を良好に保つことができる。

【0052】

本実施形態では空間光パターン１０８を生成するデバイスとしてＤＭＤ１０３を用いたが、これに代えてＬＣＤ（Liquid Crystal Display）やＬＣＯＳ（Liquid Crystal On Silicon）などを用いてもよい。また、空間光パターン１０８は正弦波縞パターンに限定されず、格子パターン、ドットパターンなどのさまざまなパターンを使用することができる。

【0053】

本実施形態では算出された時間位相および空間位相のペアに対応する奥行きを見つけるのにルックアップテーブルを使用したが、ルックアップテーブルに代えて、時間位相および空間位相を引数とする関数により奥行きを算出するようにしてもよい。

【0054】

以上のように、本発明における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

【0055】

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

【0056】

また、上述の実施の形態は、本発明における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

【符号の説明】

【0057】

１００…三次元計測装置、１０…プロジェクタ、２０…時間相関カメラ、３０…コントローラ、１０５…時空間変調照明

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図5C】

【図6A】

【図6B】

【図6C】