特許 6286359 形状測定のためのシステム、方法および媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6286359

(24)【登録日】2018年2月9日

(45)【発行日】2018年2月28日

(54)【発明の名称】形状測定のためのシステム、方法および媒体

(51)【国際特許分類】

   G01B 11/25 20060101AFI20180215BHJP

【ＦＩ】

   G01B11/25 H

【請求項の数】21

【全頁数】18

(21)【出願番号】特願2014-543568(P2014-543568)

(86)(22)【出願日】2012年11月21日

(65)【公表番号】特表2015-501933(P2015-501933A)

(43)【公表日】2015年1月19日

(86)【国際出願番号】US2012066307

(87)【国際公開番号】WO2013078349

(87)【国際公開日】20130530

【審査請求日】2015年11月6日

(31)【優先権主張番号】61/563,470

(32)【優先日】2011年11月23日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】306018457

【氏名又は名称】ザ・トラスティーズ・オブ・コロンビア・ユニバーシティ・イン・ザ・シティ・オブ・ニューヨーク

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(72)【発明者】

【氏名】グプタ モヒト

(72)【発明者】

【氏名】ナヤル シュリー ケー

【審査官】 清水 靖記

(56)【参考文献】

【文献】 米国特許出願公開第２０１１／００８０４７１（ＵＳ，Ａ１）

【文献】 特開２０１０−１７５５５４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｂ １１／００−１１／３０

(57)【特許請求の範囲】

【請求項1】

形状測定のためのシステムであって、
シーンに複数の照明パターンを投影するためのプロジェクターであって、前記各照明パターンは前記照明パターンを生成するために用いられる波形を表す対応周波数を有し、前記各照明パターンは異なる期間に前記シーンに投影され、３つの位相が異なる各照明パターンの前記対応周波数は第１の所定周波数であり、１つのみまたは２つの位相が異なる各照明パターンの前記対応周波数は第２の所定周波数であるプロジェクターと、
各々が前記各期間に検出された、前記シーンの複数の検出画像を検出するためのカメラと、
固有のプロジェクター縦列（ｐ）にそれぞれ対応する複数の第１の多次元輝度ベクトルと固有の算出した縦列（ｑ）にそれぞれ対応する複数の第２の多次元輝度ベクトルとの間の距離ｄ_ｐｑの平均を最大にする制限されたＦ次元最適化問題

【数1】

を解く、前記複数の照明パターンの前記第１の所定周波数及び前記第２の所定周波数を決定し、
ここで、
Ωは、前記第１の所定周波数及び前記第２の所定周波数を含む周波数集合であり、

【数2】

は、各々が１からＮまでの値をとるｐおよびｑの全組み合わせにわたる、ｐとｑとの差及びｄ_ｐｑの積の平均であり、
ω_fは、Ω内の周波数を表し、
ω_ｍは、Ωの平均周波数を表し、かつ、
δは、帯域幅であり、
前記プロジェクターに前記複数の照明パターンを投影させ、
前記複数の検出画像を取得し、
前記複数の検出画像に基づいて、前記シーンにおける物体の形状を測定するように設置されたハードウェアプロセッサーと、
を含むことを特徴とするシステム。

【請求項2】

前記ハードウェアプロセッサーは更に、異なる周波数の照明パターンの反射光の振幅を測定し、前記振幅が略同一となる周波数を選択することによって、前記複数の照明パターンの所定周波数を決定するように設置されたことを特徴とする請求項１に記載のシステム。

【請求項3】

前記振幅の最大変化は互いに１％を超えないことを特徴とする請求項２に記載のシステム。

【請求項4】

前記振幅の最大変化は互いに５％を超えないことを特徴とする請求項２に記載のシステム。

【請求項5】

前記振幅の最大変化は互いに１０％を超えないことを特徴とする請求項２に記載のシステム。

【請求項6】

前記ハードウェアプロセッサーは更に、各正弦波パターンのパラメータを決定するように設置されることで、前記複数の検出画像の全体照明およびディフォーカス効果は不変であることを特徴とする請求項１に記載のシステム。

【請求項7】

前記ハードウェアプロセッサーは更に、Ｇｕｓｈｏｖ−Ｓｏｌｏｄｋｉｎ（Ｇ−Ｓ）算法により位相アンラッピングを実行するように設置されることを特徴とする請求項１に記載のシステム。

【請求項8】

形状測定のための方法であって、
プロジェクターを用いてシーンに複数の照明パターンを投影し、前記各照明パターンは前記照明パターンを生成するために用いられる波形を表す対応周波数を有し、前記各照明パターンは異なる期間に前記シーンに投影され、３つの位相が異なる各照明パターンの前記対応周波数は第１の所定周波数であり、１つのみまたは２つの位相が異なる各照明パターンの前記対応周波数は第２の所定周波数であることと、
カメラを用いて各々が前記各期間に検出された、前記シーンの複数の検出画像を検出することと、
ハードウェアプロセッサーを用いて、固有のプロジェクター縦列（ｐ）にそれぞれ対応する複数の第１の多次元輝度ベクトルと固有の算出した縦列（ｑ）にそれぞれ対応する複数の第２の多次元輝度ベクトルとの間の距離ｄ_ｐｑの平均を最大にする制限されたＦ次元最適化問題

【数3】

を解く、前記複数の照明パターンの前記第１の所定周波数及び前記第２の所定周波数を決定し、
ここで、
Ωは、前記第１の所定周波数及び前記第２の所定周波数を含む周波数集合であり、

【数4】

は、各々が１からＮまでの値をとるpおよびqの全組み合わせにわたる、pとqとの差及びｄ_ｐｑの積の平均であり、
ω_fは、Ω内の周波数を表し、
ω_ｍは、Ωの平均周波数を表し、かつ、
δは、帯域幅であることと、
前記ハードウェアプロセッサーを用いて、前記プロジェクターに前記複数の照明パターンを投影させることと、
前記ハードウェアプロセッサーを用いて、前記複数の検出画像を取得することと、
前記ハードウェアプロセッサーを用いて、前記複数の検出画像に基づいて、前記シーンにおける物体の形状を測定することと、
を含むことを特徴とする方法。

【請求項9】

異なる周波数の照明パターンの反射光の振幅を測定し、前記振幅が略同一となる周波数を選択することによって、前記複数の照明パターンの所定周波数を決定することを特徴とする請求項８に記載の方法。

【請求項10】

前記振幅の最大変化は互いに１％を超えないことを特徴とする請求項９に記載の方法。

【請求項11】

前記振幅の最大変化は互いに５％を超えないことを特徴とする請求項９に記載の方法。

【請求項12】

前記振幅の最大変化は互いに１０％を超えないことを特徴とする請求項９に記載の方法。

【請求項13】

各正弦波パターンのパラメータを決定することを更に含むことで、前記複数の検出画像の全体照明およびディフォーカス効果は不変であることを特徴とする請求項８に記載の方法。

【請求項14】

Ｇｕｓｈｏｖ−Ｓｏｌｏｄｋｉｎ（Ｇ−Ｓ）算法により位相アンラッピングを実行することを更に含むことを特徴とする請求項８に記載の方法。

【請求項15】

コンピュータ実行可能な命令を有する非一時的なコンピュータ可読媒体であって、プロセッサーにより処理される時に、前記命令により、前記プロセッサーは形状を測定する方法を実行し、前記方法は、
プロジェクターを用いてシーンに複数の照明パターンを投影し、前記各照明パターンは前記照明パターンを生成するために用いられる波形を表す対応周波数を有し、前記各照明パターンは異なる期間に前記シーンに投影され、３つの位相が異なる各照明パターンの前記対応周波数は第１の所定周波数であり、１つのみまたは２つの位相が異なる各照明パターンの前記対応周波数は第２の所定周波数であることと、
各々が前記各期間に検出された、前記シーンの複数の検出画像を検出することと、
固有のプロジェクター縦列（p）にそれぞれ対応する複数の第１の多次元輝度ベクトルと固有の算出した縦列（q）にそれぞれ対応する複数の第２の多次元輝度ベクトルとの間の距離ｄ_ｐｑの平均を最大にする制限されたＦ次元最適化問題

【数5】

を解く、前記複数の照明パターンの前記第１の所定周波数及び前記第２の所定周波数を決定し、
ここで、
Ωは、前記第１の所定周波数及び前記第２の所定周波数を含む周波数集合であり、

【数6】

は、各々が１からＮまでの値をとるpおよびqの全組み合わせにわたる、pとqとの差及びｄ_ｐｑの積の平均であり、
ω_fは、Ω内の周波数を表し、
ω_ｍは、Ωの平均周波数を表し、かつ、
δは、帯域幅であることと、
前記プロセッサーを用いて、前記プロジェクターに前記複数の照明パターンを投影させることと、
前記プロセッサーを用いて、前記複数の検出画像を取得することと、
前記複数の検出画像に基づいて、前記シーンにおける物体の形状を測定することと、
を含むことを特徴とする非一時的なコンピュータ可読媒体。

【請求項16】

異なる周波数の照明パターンの反射光の振幅を測定し、前記振幅が略同一となる周波数を選択することによって、前記複数の照明パターンの所定周波数を決定することを特徴とする請求項１５に記載の非一時的なコンピュータ可読媒体。

【請求項17】

前記振幅の最大変化は互いに１％を超えないことを特徴とする請求項１６に記載の非一時的なコンピュータ可読媒体。

【請求項18】

前記振幅の最大変化は互いに５％を超えないことを特徴とする請求項１６に記載の非一時的なコンピュータ可読媒体。

【請求項19】

前記振幅の最大変化は互いに１０％を超えないことを特徴とする請求項１６に記載の非一時的なコンピュータ可読媒体。

【請求項20】

前記方法は、各正弦波パターンのパラメータを決定することで、前記複数の検出画像の全体照明およびディフォーカス効果は不変であることを特徴とする請求項１５に記載の非一時的なコンピュータ可読媒体。

【請求項21】

前記方法は、Ｇｕｓｈｏｖ−Ｓｏｌｏｄｋｉｎ（Ｇ−Ｓ）算法により位相アンラッピングを実行することを更に含むことを特徴とする請求項１５に記載の非一時的なコンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

［連邦政府の資金による研究についての声明］
この発明は、アメリカ国立科学財団（Ｎａｔｉｏｎａｌ Ｓｃｉｅｎｃｅ Ｆｏｕｎｄａｔｉｏｎ）から受賞された契約書ＩＩＳ−０９６４４２９による政府支援、及び、米国海軍研究署（Ｏｆｆｉｃｅ ｏｆ Ｎａｖａｌ Ｒｅｓｅａｒｃｈ）から受賞された契約書Ｎ０００１４−１１−１−０２８５による政府支援を受けてなされたものであり、米国政府はこの発明に対して一部の権利を有する。

【0002】

［関連出願の相互参照］
本出願は、２０１１年１１月２３日に出願された米国仮特許出願第６１／５６３，４７０号の優先権の利益を主張するものであり、この特許出願の全内容は参考として本出願に援用されている。

【背景技術】

【0003】

位相シフトは、信頼性があり、幅広く用いられる形状測定技術である。この技術は、低コスト、高速度および精密性などのメリットを有するため、外科手術、工場自動化、パフォーマンス・キャプチャー、文化遺産のデジタル化及び他の応用に用いられる。

【0004】

位相シフトは、アクティブステレオ三角測量技術の種類に属する。このような技術は、コード化された輝度パターンをシーンに投影するによって、プロジェクター画素とカメラとの間の対応関係を確立している。そして、この対応関係により、シーンにおける点に対して三角測量を行い、シーンにおける物体の形状を確立する。

【0005】

他のアクティブシーン回復技術と同様に、位相シフトは、シーンの点が１つのみの単一光源により直接照らされると仮定するので、全体照明が発生しない。しかし、実際に、相互反射およびサブサーフェス散乱により、全体照明は避けられないことである。事実、全体照明はほとんどの現実な世界シーンに発生している。結果として、典型的な位相シフトはこのような全体照明により誤った結果を生じさせる。

【0006】

また、位相シフト算法は、通常、光源が無限の被写界深さを有する理想点であると仮定する。しかし、すべての光源の被写界深さは有限であるので、ディフォーカスを招く。ディフォーカスを解消するために、従来の位相シフト技術は大量の入力画像を取る必要がある。

【0007】

そのため、新規な形状測定機構が必要となっている。

【発明の概要】

【0008】

形状測定のためのシステム、方法および媒体を提供した。幾つかの実施形態では、形状測定のためのシステムを提供した。前記システムは、シーンに複数の照明パターンを投影するためのプロジェクターを含み、前記各照明パターンはいずれも所定周波数を有し、前記各照明パターンは異なる期間に前記シーンに投影され、３つの異なる照明パターンは第１の所定周波数で投影され、１つのみまたは２つの異なる照明パターンは第２の所定周波数で投影される。前記システムはさらに、前記各期間にシーン画像を検出するためのカメラと、前記複数の照明パターンの所定周波数を決定し、前記シーンにおける物体の形状を測定するように設置されたハードウェアプロセッサーと、を含む。

【0009】

幾つかの実施形態では、形状測定のための方法を提供した。前記方法では、プロジェクターを用いてシーンに複数の照明パターンを投影し、前記各照明パターンはいずれも１つの所定周波数を有し、前記各照明パターンは異なる期間に前記シーンに投影され、３つの異なる照明パターンは第１の所定周波数で投影され、１つのみまたは２つの異なる照明パターンは第２の所定周波数で投影される。前記方法はさらに、カメラを用いて前記各期間に前記シーンの画像を検出することと、ハードウェアプロセッサーを用いて前記複数の照明パターンの所定周波数を決定することと、前記ハードウェアプロセッサーを用いて前記シーンにおける物体の形状を測定することと、を含む。

【0010】

幾つかの実施形態では、コンピュータ実行可能な命令を有する非一時的なコンピュータ可読媒体を提供し、プロセッサーにより処理される時に、前記プロセッサーは形状を測定する方法を実行する。前記方法では、シーンに複数の照明パターンを投影し、前記各照明パターンはいずれも１つの所定周波数を有し、前記各照明パターンは異なる期間に前記シーンに投影され、３つの異なる照明パターンは第１の所定周波数で投影され、１つのみまたは２つの異なる照明パターンは第２の所定周波数で投影される。前記方法はさらに、前記各期間に前記シーンの画像を検出することと、前記複数の照明パターンの所定周波数を決定することと、前記シーンにおける物体の形状を測定することと、を含む。

【図面の簡単な説明】

【0011】

【図1】幾つかの実施形態に用いられる形状測定のためのハードウェアの実例を示すブロック図である。

【図2】幾つかの実施形態に用いられるコンピュータハードウェアの実例を示すブロック図である。

【図3】幾つかの実施形態に用いられる照明パターンの実例を示す図である。

【図4】幾つかの実施形態において形状測定に用いられるプロセスの実例を示す図である。

【発明を実施するための形態】

【0012】

形状測定のためのシステム、方法および媒体は提供される。幾つかの実施形態では、形状測定機構は、任意の適切なプロジェクターを用いて照明パターンを、１つまたは複数の物体を含むシーンに投影し、前記シーンから反射したこれらの照明パターンは、任意の適切なカメラにより検出されて画像として記憶される。前記の投影パターンは、任意の適切なパターン、例えば、正弦波パターンでよい。これらのパターンに使用される周波数は、十分に高い周波数を選択することが可能であり、これによって、検出・記憶されたすべての画像に対して全体照明およびディフォーカス効果は、実質上、不変となる。そして、プロジェクター画素とカメラ画素との間の対応関係を決定することができ、シーンにある物体の表面における点に対して三角測量を行うことで、これらの物体の形状を決定する。

【0013】

図１は、幾つかの実施形態に用いられるハードウェア１００の実例を示す。図に示すように、幾つかの実施形態では、ハードウェア１００はコンピュータ、プロジェクター、カメラ、１つまたは複数の入力装置１０８及び１つまたは複数の出力装置１１０を含んでいる。

【0014】

幾つかの実施形態では、作動中、コンピュータ１０２によって、プロジェクター１０４は適切な数の構造光画像をシーン１１２に投影し、前記シーンは任意の適切な物体、例えば物体１１４および１１６を含んでいる。同時に、幾つかの実施形態では、カメラ１０６はシーンから反射した光線を検出し、検出した画像をコンピュータに提供する。また、幾つかの実施形態では、コンピュータは、ここに記載のプロセスを行うことによって、シーンにおける物体に関する形状および他の適切なデータを決定することができる。

【0015】

幾つかの実施形態では、コンピュータ１０２は、任意の適切な処理装置でよく、プロジェクター１０４およびカメラ１０６の動作を制御し、ここに記載の演算、適切な出力データの生成、及び／又は他の適切な機能の実行を行うことができればよい。後に、図２を参照し、幾つかの実施形態のコンピュータ１０２の特徴を更に説明する。

【0016】

プロジェクター１０４は、ここに記載されているような投影構造光画像に適用できる任意の装置でよい。例えば、プロジェクター１０４は投影システム、ディスプレイ等でよい。具体的には、例えば、幾つかの実施形態では、プロジェクター１０４は、米国カリフォルニア洲サンディエゴに位置する三洋北アメリカ社により製造されるＳＡＮＹＯ ＰＬＣ−ＸＰ１８Ｎ投影システムでよい。

【0017】

カメラ１０６は、ここに記載されているような画像検出に適用できる任意の装置でよい。例えば、カメラ１０６は写真用のカメラ、ビデオカメラ、光センサー、画像センサー等でよい。具体的には、例えば、幾つかの実施形態では、カメラ１０６は、カナダブリティッシュコロンビア州リッチモンドに位置するＰＯＩＮＴ ＧＲＥＹ ＲＥＳＥＡＲＣＨ社、またはカナダオンタリオ州オダワに位置するＬＵＭＥＮＥＲＡ ＣＯＲＰＯＲＡＴＩＯＮ社により製造されるマシンビジョンカメラでよい。

【0018】

幾つかの実施形態では、入力装置１０８は、コンピュータ１０２を制御することに適用できる任意の１つまたは複数の入力装置でよい。例えば、入力装置１０８はタッチスクリーン、コンピュータマウス、ポインティングデバイス、１つまたは複数のボタン、キーパッド、キーボード、音声識別回路、マイクロフォン等でよい。

【0019】

幾つかの実施形態では、出力装置１１０は、コンピュータ１０２からデータを出力することに適用できる任意の１つまたは複数の出力装置でよい。例えば、出力装置１１０はディスプレイ、オーディオデバイス等を含む。

【0020】

幾つかの実施形態によれば、ハードウェア１００は他の適切な素子を含んでよい。また、幾つかの実施形態では、ハードウェア１００における任意の適切な素子の組み合わせ及び／又は省略を行うことができる。

【0021】

幾つかの実施形態では、任意の適切なハードウェアを用いてコンピュータ１０２を作動させてもよい。例えば、幾つかの実施形態では、コンピュータ１０２は任意の適切な汎用コンピュータまたは専用コンピュータでよい。このような汎用コンピュータまたは専用コンピュータは、適切なハードウェアを含んでよい。例えば、図２に示すハードウェア２００の実例のように、このようなハードウェアは、ハードウェアプロセッサー２０２、メモリシステム及び／又は記憶装置２０４、通信インターフェース（１つまたは複数）２０６、入力コントローラ２０８、出力コントローラ２１０、プロジェクターインターフェース２１２、カメラインターフェース２１４及びバス２１６を含む。

【0022】

幾つかの実施形態では、ハードウェアプロセッサー２０２は、任意の適切なハードウェアプロセッサー、例えば、マイクロプロセッサー、マイクロコントローラ、デジタル信号プロセッサー、専用ロジック回路及び／又は汎用コンピュータまたは専用コンピュータの動作を制御することに適用できる他の回路システムを含んでよい。

【0023】

幾つかの実施形態では、メモリ及び／又は記憶装置２０４は、プログラム、データ、投影される画像、検出した画像、測定値等を記憶することに適用できる任意のメモリシステム及び／又は記憶装置でよい。例えば、メモリ及び／又は記憶装置２０４は、ランダムアクセスメモリ、リードオンリーメモリ、フラッシュメモリ、ハードディスク記憶装置、光学式媒体等を含んでよい。

【0024】

幾つかの実施形態では、通信インターフェース（１つまたは複数）２０６は１つまたは複数の通信ネットワークに接続されることに適用できる任意の回路システムでよい。例えば、インターフェース（１つまたは複数）２０６はネットワークインターフェースカード回路システム、無線通信回路システム等を含んでよい。

【0025】

幾つかの実施形態では、入力コントローラ２０８は、１つまたは複数の入力装置１０８からの入力データを受信することに適用できる任意の適切な回路システムでよい。例えば、入力コントローラ２０８は、入力データを受信するための回路システムでよく、前記入力データはタッチスクリーン、コンピュータマウス、ポインティングデバイス、１つまたは複数のボタン、キーパッド、キーボード、音声識別回路、マイクロフォン等からのものとなる。

【0026】

幾つかの実施形態では、出力コントローラ２１０は、１つまたは複数の出力装置１１０を制御・駆動することに適用できる任意の適切な回路システムでよい。例えば、出力コントローラ２１０は、データをディスプレイ、オーディオデバイス等に出力するための回路システムでよい。

【0027】

幾つかの実施形態では、プロジェクターインターフェース２１２は、ハードウェア２００をプロジェクター（例えば、プロジェクター１０４）と接続させることに適用できる任意の適切なインターフェースでよい。幾つかの実施形態では、インターフェース２１２は、任意の適切なプロトコルを用いてよい。

【0028】

幾つかの実施形態では、カメラインターフェース２１４は、ハードウェア２００をカメラ（例えば、カメラ１０６）と接続させることに適用できる任意の適切なインターフェースでよい。幾つかの実施形態では、インターフェース２１４は、任意の適切なプロトコルを用いてよい。

【0029】

幾つかの実施形態では、バス２１６は、素子２０２、２０４、２０６、２０８、２１０、２１２および２１４のうち２つまたは複数の間の通信に適用できる任意の機構でよい。

【0030】

幾つかの実施形態によれば、ハードウェア２００は他の適切な素子を含んでよい。さらに、幾つかの実施形態では、ハードウェア２００におけるすべての適切な素子の組み合わせ及び／又は省略を行うことができる。

【0031】

図３は、幾つかの実施形態による、プロジェクター１０４によってシーン１１２に投影される構造光パターン３０２の実例を示している。幾つかの実施形態では、パターン３０２は、例えば、正弦波３０４に示すように、白色と黒色との間で正弦関数により変化する輝度を有する。従って、パターン３０２における各画素列は１つの所定の輝度ベクトルを有する。さらに、幾つかの実施形態では、３０６で示されるパターンの周期を画素で測定することができる。

【0032】

図４は、幾つかの実施形態による形状測定のプロセスの実例４００を示している。幾つかの実施形態では、このプロセスは図１に示すコンピュータ１０２により実行される。

【0033】

図４に示すように、幾つかの実施形態では、プロセス４００は４０２で開始された後、投影される構造光の周波数を４０４で決定する。ここで、任意の適切な周波数を用いることができ、任意の適切な方式でこれらの周波数を決定することもできる。

【0034】

例えば、幾つかの実施形態では、以下の２つの条件を満たすように、パターン周波数集合Ω（即ちΩ＝{ω_１、…、ω_Ｆ}）を選択する。すなわち、（１）平均周波数ω_ｍが十分に高く（周期λが小さい）、全体照明が回復位相に重大なエラーを生じさせない。（２）周波数帯域幅δ（即ち、δは、Ωにおけるすべての周波数が帯域幅［ω_ｍ−δ／２、ω_ｍ＋δ／２］内に位置する周波数帯域幅である）が十分に小さく、すべての周波数に対してカメラが検出した振幅はほぼ同一となる。即ち、

【数1】

となる。

【0035】

上述した第１の条件について、幾つかの実施形態では、任意の適切なω_ｍ値を用いて良い。例えば、幾つかの実施形態では、９６画素以下（例えば、１６画素、３２画素等）の周期λ_ｍに対応する平均周波数ω_ｍ（図３に示すように）は、シーンの大量収集時に全体照明による回復位相に現れるエラーを十分に防止するように、充分に高くすることができる。また、他の幾つかの実例では、１０Ｈｚより高い平均周波数ω_ｍを充分に高く（例えば、３０Ｈｚ、６０Ｈｚ等）して、シーンの大量収集時に全体照明による回復位相に現れるエラーを防止することができる。

【0036】

幾つかの実施形態では、平均周波数の選択は、次のことを考慮すべきである。すなわち、これらの実施例に用いられる所定のプロジェクターに存在する光学収差により、プロジェクターがある高周波数を確実に投射することができないので、このような高周波数より低い平均周波数を選択すべきである。

【0037】

上述した第２の条件について、幾つかの実施形態では、任意の適切なδ値を用いることができる。例えば、幾つかの実施形態では、周波数帯域幅δは最大値を選択し、この最大値により、前記周波数帯域における任意の一対となる投影パターン周波数の間の反射光振幅の最大変化は、カメラのノイズレベルにより、ある程度のパーセンテージ、例えば１％、５％、１０％等を超えない。例えば、カメラのノイズレベルが高ければ、投影パターン周波数対の間の反射光振幅の大きい変化が許される。幾つかの実施形態では、このような変化は、反射光振幅平均値を測定して算出することによって確認することができ、前記反射光は、異なる量の全体照明およびディフォーカスを受け付ける大量のシーンポイントからのものである。

【0038】

幾つかの実施形態では、平均周波数ω_ｍは１６画素の周期λ_ｍに対応するため、周波数帯域幅δは３画素の周期に対応する。

【0039】

幾つかの実施形態では、周波数帯域幅δの選択は、次のことを考慮すべきである。すなわち、これらの実施例に用いられる所定プロジェクターの空間および輝度の分解能が限られているので、２つの周波数間の差が閾値εより小さいと、プロジェクターがこの２つの周波数を区別することができない。従って、このような実施形態では、周波数帯域幅δは十分に大きく選択されて、Ｆ個の異なる周波数を区別することを確保し、すなわち、少なくともε離れるようにする。

【0040】

平均周波数ω_ｍおよび周波数帯域幅δが選択されると、結果としての周波数帯域を決定することができる。例えば、１６画素の周期λ_ｍに対応する平均周波数ω_ｍ、及び３画素の周期に対応する周波数帯域幅δに基づき、１４．５〜１７．５画素の周期に対応する最終周波数帯域を決定することができる。

【0041】

次に、照明パターンの各周波数を選択する。幾つかの実施形態では、任意の適切な方式でこれらの周波数を選択することができる。例えば、幾つかの実施形態では、これらの周波数が選択されることで、位相エラーによる深さエラーを最小に低減することができる。幾つかの実施形態では、
（ａ）このような深さエラーは位相エラーに比例していて、ΔΦ＝|ｐ−ｑ|となり、ここで、所定のカメラ画素に対して、ｐは正確なプロジェクター縦列であり、ｑは算出した縦列である。
（ｂ）Ｆ個の周波数を用いる場合に、唯一のＦ＋２次元輝度ベクトル（即ち、各投影画像に１個ずつ）を用いて各縦列を符号化する。
よって、位相エラー発生の可能性を最小に低減させるために、周波数集合を選択し、すなわち、異なる縦列に対応するベクトル間の距離ｄ_ｐｑを最大にする周波数集合を選択する。所定の周波数集合Ωにとって、輝度ベクトル間の平均加重距離は下記の式により算出される。

【0042】

【数2】

【0043】

式では、Ｎは縦列の総数である。幾つかの実施形態では、ｄ_ｐｑについて、標準−２ユークリッド距離を選択してよい。そして、幾つかの実施形態では、以下の制限されたＦ次元最適化問題を用いてＥ（Ω）を最大にする周波数帯域［ω_ｍｉｎ、ω_ｍａｘ］内の周波数集合を選択することができる。

【0044】

【数3】

【0045】

この最適化問題は、任意の適切な方式で解決することができる。例えば、幾つかの実施形態では、シンプレックスサーチ法（例えば、ＭＡＴＬＡＢ最適化ツールボックスでの実施）は最適化問題の解決に用いられる。

【0046】

幾つかの実施形態では、［１４．５、１７．５］画素の周波数帯域について、且つＦ＝５となる場合に、上述した手順は１４．５７、１６．０９、１６．２４、１６．４７および１６．６０画素の周期に対応する周波数集合を取得することができる。

【0047】

幾つかの実施形態では、プロセス４００は照明パターン周波数を選択すると、プロセス４００は、４０６でこれらの周波数の第１の周波数を選択することができる。幾つかの実施形態では、任意の１つの適切な周波数を任意の適切な方式で選択することができる。例えば、幾つかの実施形態では、これらの周波数の第１の周波数として最少周波数、最大周波数または平均周波数に最も近い周波数を選択することができる。

【0048】

そして、幾つかの実施形態では、プロセス４００は４０８でプロジェクターに特定の周波数で照明パターンを投影させる。例えば、プロセス４００は、図１に示すプロジェクター１０４に、選択された第１の周波数に等しい周波数で図３に示す照明パターン３０２を投影させる。

【0049】

幾つかの実施形態では、プロジェクターが４０８で照明パターンを投影するとき、プロセス４００は、カメラに、検出された画像としてシーンから反射された投影パターンを検出させ、４１０でカメラからこの画像を取得する。

【0050】

そして、プロセスは４１２で、４０８で行われた投影が最後の投影であるか否かを判断する。「いいえ」と判断された場合、プロセス４１２は４１４で、他の異なる周波数を用いて次の投影を行うか否かを決定する。上述した判断は、任意の適切な標準および任意の適切な方式で行うことができる。例えば、４０４で決定した周波数集合におけるすべての周波数はいずれも４０６または４１６で選択されていない場合に、プロセス４００はもう１回の投影を決定することができる。また、例えば、２つまたは２つ以上の移行位相の投影が所定の周波数に規定され、４０８で各投影が実施されていない場合に、プロセス４００はもう１回の投影を決定することができる。

【0051】

具体的には、例えば、幾つかの実施形態では、所定周波数の数Ｆについて、Ｆ＋２画像を投影し検出することができる。さらに具体的には、幾つかの実施形態では、第１の周波数について、３つの画像を投影して検出することができる。残りのＦ−１周波数のそれぞれに対しては、１つの画像を投影し検出することができる。

【0052】

従って、プロセス４００は４１２で、最後の投影が行われたばかりか否かを判断することができる。「はい」と判断された場合、後述するように、プロセス４００は４１８に進み、各投影周波数下のプロジェクター画素の位相を回復する。「いいえ」と判断された場合、プロセス４００は４１４で他の異なる周波数を用いて次の投影を行うか否かを決定する。「はい」と決定した場合、プロセス４００は４１６で隣接の周波数を選択し、そして４０８に戻る。「いいえ」と決定した場合、プロセス４００は４０８に戻る。

【0053】

以上に記載したように、幾つかの実施形態では、プロセス４００は４１８で、各投影周波数でのプロジェクター画素の位相を回復する。さらに、幾つかの実施形態では、任意の適切な方式で位相を回復することができる。例えば、４１０で取得した検出画像により、プロセス４００は下記の式により位相値を回復することができる。

【0054】

【数4】

【0055】

ここで、
ｆは、集合Ωにおいて番号が１〜Ｆの周波数の識別子である。
ｐは、カメラ画素ｃを照射するプロジェクター画素である。
Ａ(ｃ)は、カメラ画素ｃが周波数ｆでの振幅であり、シーン双方向反射分布関数（ＢＲＤＦ）、表面シェーディング効果およびプロジェクター輝度減衰を含み、

【数5】

で示されてもよい。

【0056】

【数6】

【0057】

Ｕ_ｆａｃｔは、以下の式から取得したリニアシステムを解くことにより算出される。

【0058】

【数7】

【0059】

ここで、
Ｒ_{ｍｉｃｒｏ}は、記録した輝度のベクトルである。
Ｍ_{ｍｉｃｒｏ}は、Ｆ＋２サイズの正方行列であり、かつ

【数8】

により示される。

【0060】

ここで、II_Ｆ−１は、Ｆ−１×Ｆ−１サイズの単位行列である。

【0061】

【数9】

【0062】

Ｏ(ｃ)は、カメラ画素ｃのオフセット項であり、環境照明分布を含む。

【0063】

幾つかの実施形態では、位相が回復すると、４２０で位相アンラッピングを行うことができる。幾つかの実施形態では、位相アンラッピングは、任意の適切な技術で実施することができる。例えば、Ｇｕｓｈｏｖ−Ｓｏｌｏｄｋｉｎ（Ｇ−Ｓ）算法（Ｖ．Ｉ．ＧｕｓｈｏｖおよびＹ．Ｎ．Ｓｏｌｏｄｋｉｎが『光学レーザー技術』誌の１９９１年第１４期に発表した「整数干渉計における縞模様の自動処理」で説明しており、その全部内容は参考として本出願に援用されている）は、複数の高周波数位相を単一低周波数位相に合併することができる。この高周波数正弦波の周期がペアワイズ共同素数（公因数無し）であれば、すべての高周波数正弦波の周期の積に等しい周期の低周波数正弦波を模擬することができる。

【0064】

幾つかの実施形態では、Ｇｕｓｈｏｖ−Ｓｏｌｏｄｋｉｎ（Ｇ−Ｓ）算法は、任意の適切なアプローチで実行することができる。例えば、幾つかの実施形態では、まず、各周波数の位相は、下記の式により残留プロジェクター縦列数ｐ_ｆに転換される。

【0065】

【数10】

【0066】

例えば、仮にλ_ｆ＝１６画素（周波数ｆの周期）、Ф_ｆ＝π／４(周波数ｆの位相)とした場合、残留縦列数はｐ_ｆ＝２となる。そして、曖昧性を解消した最終縦列の対応関係ｐは、下記の式により取得することができる。

【0067】

【数11】

【0068】

ここで、Ｍ_ｆ＝(λ_１λ_２。。。λ_Ｆ)／λ_ｆ、係数ｂ_ｆは合同式ｂ_ｆＭ_ｆ＝１(ｍｏｄλ_ｆ)を解くことにより取得される。このような合同式は、ユークリッド算法により解かれる。幾つかの実施形態では、上述したプロシージャは、以下のような変更を行うことによって、非整数残差ｐ_ｆと周期λ_ｆにも用いることができる。すなわち、残差の整数部分を取ってアンラッピングされた縦列数ｐを算出し、そしてｐに対して小数部分を再び加える。

【0069】

位相アンラッピングが完成された後、４２２で、カメラ画素縦列ｃの位相とプロジェクター画素縦列ｐの位相との間の対応関係を決定し、そして三角測量によりシーンにおける物体表面（Ｓ_ｘ、Ｓ_ｙ、Ｓ_ｚ）各点の３次元（３Ｄ）位置を決定することによって、シーンにおける物体の形状を算出することができる。そして、形状データは適切なメモリ装置及び／又は記憶装置に記憶される。

【0070】

幾つかの実施形態によれば、任意の適切な方式で三角測量を行う。例えば、幾つかの実施形態では、三角測量は以下の方式で行って良い。

【0071】

カメラ中心の３Ｄ座標（Ｃ_Ｃａｍ１、Ｃ_Ｃａｍ２、Ｃ_Ｃａｍ３）およびプロジェクター中心の３Ｄ座標（Ｃ_{Ｐｒｏｊ１}、Ｃ_{Ｐｒｏｊ２}、Ｃ_{Ｐｒｏｊ３}）はそれぞれ、従来の技術で知られているように、プロジェクターおよびカメラを幾何学的に校正することによって先験的に算出することができる。ここで、カメラ画素ｃの３Ｄ座標を（Ｖ_ｃ１、Ｖ_ｃ２、Ｖ_ｃ３）とする。カメラ画素座標が既知のものであるため、カメラ画素ｃの３Ｄ座標（Ｖ_ｃ１、Ｖ_ｃ２、Ｖ_ｃ３）も判るものである。

【0072】

プロジェクター縦列ｐおよびプロジェクター中心（Ｃ_{Ｐｒｏｊ１}、Ｃ_{Ｐｒｏｊ２}、Ｃ_{Ｐｒｏｊ３}）は、３Ｄ空間で唯一の平面を定義することができる。この平面をＰと称し、その３Ｄ方程式は、

【数12】

となる。

【0073】

ここで、縦列座標ｐが既知のものであるため、Ｐ_１、Ｐ_２、Ｐ_３およびＰ_４も分かるものである。

【0074】

画素ｃおよびカメラ中心を通過する線をＬと称する。ここで注意すべきことは、シーン点Ｓは、線Ｌと平面Ｐとが交差する所に位置することである。三角測量によりこの交差点を発見できる。３Ｄにおける線Ｌの方程式は、

【数13】

となる。

【0075】

線Ｌは、スカラーパラメータｔによりのパラメーター化される。目的はｔ値を発見し、このように算出した線上の点は平面Ｐに位置する。ｔ値は下記式により算出される。

【0076】

【数14】

【0077】

ｔ値を算出した後、点Ｓの３Ｄ座標は、

【数15】

となる。

【0078】

最後に、プロセス４００は４２４で終了する。

【0079】

なお、次のことも注意すべきである。すなわち、図４に示すプロセス４００における少なくとも一部のステップは、図に示す順序またはシーケンスに限られることなく、任意の順序またはシーケンスで実行または進行してもよい。また、図４に示すプロセス４００の前記ステップの一部は、適切な場合にほぼ同時に実行または進行してもよく、或いは、プロセスの長さおよび処理時間の短縮と並行させてもよい。

【0080】

幾つかの実施形態では、任意の適切なコンピュータ可読媒体は、上記の機能およびプロセスを実行する命令を記憶するために使用可能である。

【0081】

例えば、幾つかの実施形態では、コンピュータ可読媒体は、一時的なものまたは非一時的なものである。非一時的なコンピュータ可読媒体は、例えば、磁性媒体（例えば、ハードディスク、フロッピーディスク等）、光学式媒体（例えば、コンパクトディスク、デジタルビデオディスク、ブルーレイディスク）、半導体媒体（例えば、フラッシュメモリ、電気的プログラマブル読取り専用メモリ（ＥＰＲＯＭ）、電気的消去可能なプログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）等）、伝送中に永続性の外観を有して快速に消失しない任意の適切な媒体、及び／又は任意の適切な実体媒体を含んでよい。また、他の実例では、一時的なコンピュータ可読媒体は、ネットワーク信号、線路信号、光ファイバー信号、回路信号、伝送中に永続性の外観を有しなく快速に消失する任意の適切な媒体、及び／又は任意の適切な無形媒体を含んでよい。

【0082】

上述した実施形態では、本発明を例示し説明したが、これらは、本発明を例示するものに過ぎず、本発明実施の細部への多数の変更は、特許請求の範囲に規定される本発明の精神と範囲から逸脱することなくできる。また、ここで公開された実施例の複数特徴は、組合せや再編が可能である。

【図1】

【図2】

【図3】

【図4】