特許 7473558 可動スキャナを使用したテクスチャモデルの生成

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-15

(45)【発行日】2024-04-23

(54)【発明の名称】可動スキャナを使用したテクスチャモデルの生成

(51)【国際特許分類】

   G06T 17/00 20060101AFI20240416BHJP

   G06T 15/04 20110101ALI20240416BHJP

   G06T 19/00 20110101ALI20240416BHJP

   G01B 11/24 20060101ALI20240416BHJP

【ＦＩ】

G06T17/00

G06T15/04

G06T19/00 A

G01B11/24 K

【請求項の数】 22

(21)【出願番号】P 2021544727

(86)(22)【出願日】2020-01-21

(65)【公表番号】

(43)【公表日】2022-04-21

(86)【国際出願番号】 IB2020000009

(87)【国際公開番号】W WO2020161540

(87)【国際公開日】2020-08-13

【審査請求日】2022-07-25

(31)【優先権主張番号】62/801,568

(32)【優先日】2019-02-05

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/840,290

(32)【優先日】2019-04-29

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】515121542

【氏名又は名称】アルテック・ヨーロッパ・ソシエテ・ア・レスポンサビリテ・リミテ

(74)【代理人】

【識別番号】100118902

【弁理士】

【氏名又は名称】山本 修

(74)【代理人】

【識別番号】100106208

【弁理士】

【氏名又は名称】宮前 徹

(74)【代理人】

【識別番号】100196508

【弁理士】

【氏名又は名称】松尾 淳一

(74)【代理人】

【識別番号】100161908

【弁理士】

【氏名又は名称】藤木 依子

(72)【発明者】

【氏名】ボスネアガ，アントン

【審査官】▲高▼橋 真之

(56)【参考文献】

【文献】特開２００１－０８４４０８（ＪＰ，Ａ）

【文献】国際公開第２０１７／１５１６６９（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１８／０３５０１３４（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １７／００

Ｇ０６Ｔ １５／０４

Ｇ０６Ｔ １９／００

Ｇ０１Ｂ １１／２４

(57)【特許請求の範囲】

【請求項1】

１つ以上の光学センサを備えた３次元（３Ｄ）スキャナを使用して、表面を有するオブジェクトをスキャンすることであって、前記オブジェクトに対して前記３Ｄスキャナの複数の向きからのカラーデータを生成する、前記スキャンすることと、
少なくとも前記カラーデータを使用して、前記オブジェクトの前記表面のピクセルマップを生成することであって、前記ピクセルマップは、複数のピクセルのそれぞれのピクセルごとに、
前記オブジェクトの前記表面上の対応するポイントのカラー値と、
前記オブジェクトの前記表面上の前記対応するポイントの非カラープロパティの値と
を含む、前記生成することと
を含む、方法であって、
前記スキャンすることは、前記オブジェクトの前記表面の少なくとも一部の３次元（３Ｄ）形状に対応するデータを生成し、
前記方法は、
前記オブジェクトの前記表面の前記少なくとも一部の前記３次元（３Ｄ）形状に対応する前記データを使用して、前記オブジェクトの前記表面の前記形状の前記少なくとも一部の３Ｄ再構成を生成することと、
前記オブジェクトの前記表面の前記形状の前記少なくとも一部の前記３Ｄ再構成を使用して、前記カラーデータが生成された前記オブジェクトに対する前記３Ｄスキャナの前記複数の向きを決定することと、
をさらに含む、方法。

【請求項2】

１つ以上の光学センサを備えた３次元（３Ｄ）スキャナを使用して、表面を有するオブジェクトをスキャンすることであって、前記オブジェクトに対して前記３Ｄスキャナの複数の向きからのカラーデータを生成する、前記スキャンすることと、
少なくとも前記カラーデータを使用して、前記オブジェクトの前記表面のピクセルマップを生成することであって、前記ピクセルマップは、複数のピクセルのそれぞれのピクセルごとに、
前記オブジェクトの前記表面上の対応するポイントのカラー値と、
前記オブジェクトの前記表面上の前記対応するポイントの非カラープロパティの値と
を含む、前記生成することと
を含む、方法であって、
前記１つ以上の光学センサはカメラを含み、
前記オブジェクトに対して前記３Ｄスキャナの前記複数の向きからの前記カラーデータを生成することは、前記オブジェクトに対して前記複数の向きのそれぞれに配置された前記カメラを用いて、前記オブジェクトの前記表面の画像を取得することを含み、
前記ピクセルマップの前記複数のピクセルのピクセルごとに、前記オブジェクトの前記表面上の前記対応するポイントの前記非カラープロパティの前記値は、
１つ以上のテクスチャ方程式のセットのソルバに、前記画像が取得された前記オブジェクトに対する前記３Ｄスキャナの前記向きを示す情報とともに、前記オブジェクトの前記表面の前記画像を提供することと、
１つ以上のテクスチャ方程式の前記セットの前記ソルバからの出力として、前記オブジェクトの前記表面上の前記対応するポイントの前記非カラープロパティの前記値を受け取ることと
によって決定される、方法。

【請求項3】

前記ピクセルマップは前記オブジェクトの前記表面のテクスチャマップである、請求項１または２に記載の方法。

【請求項4】

前記非カラープロパティは、反射率パラメータ、鏡面反射パラメータ、金属性パラメータ、表面粗さ、または法線方向からなる群から選択される、請求項１～３のいずれかに記載の方法。

【請求項5】

前記スキャンすることは、前記オブジェクトに対して前記複数の向きで前記３Ｄスキャナを再配置することを含む、請求項１～４のいずれかに記載の方法。

【請求項6】

単一の光学センサが、前記オブジェクトに対して前記３Ｄスキャナの前記複数の向きからの前記カラーデータを生成する、請求項１～５のいずれかに記載の方法。

【請求項7】

前記オブジェクトの前記表面の前記形状の前記少なくとも一部の前記３Ｄ再構成とピクセルマップとを使用して、前記オブジェクトのテクスチャ化３Ｄ表現を生成すること
をさらに含む、請求項１に記載の方法。

【請求項8】

前記オブジェクトの前記テクスチャ化３Ｄ表現を使用して、アニメーション内の対応するオブジェクトをアニメーション化すること
をさらに含む、請求項７に記載の方法。

【請求項9】

前記１つ以上の光学センサは第１の光学センサを含み、前記オブジェクトの前記表面の前記少なくとも一部の３次元（３Ｄ）形状に対応する前記データを生成することは、
光の空間パターンを前記オブジェクトの前記表面に投射することと、
前記光の空間パターンが前記オブジェクトの前記表面に投射されている間に、前記第１の光学センサを使用して、前記オブジェクトの前記表面の画像を取得することと、
の動作を繰り返し実行することを含む、
請求項１～８のいずれかに記載の方法。

【請求項10】

前記１つ以上の光学センサは第２の光学センサを含み、
前記オブジェクトに対して前記３Ｄスキャナの前記複数の向きからの前記カラーデータを生成することは、前記第２の光学センサを使用して、前記オブジェクトに対して前記複数の向きのそれぞれに配置された前記３Ｄスキャナを用いて、前記オブジェクトの前記表面の画像を取得することを含む、
請求項１～９のいずれかに記載の方法。

【請求項11】

前記オブジェクトの前記表面の異なる画像のピクセル間のピクセルレベルの対応関係を決定すること
をさらに含む、請求項１０に記載の方法。

【請求項12】

前記ピクセルマップの前記複数のピクセルのそれぞれのピクセルごとに、前記オブジェクトの前記表面上の前記対応するポイントの前記カラー値は、補正されたカラー値であり、
前記オブジェクトの前記表面のピクセルマップを生成することは、
前記カラーデータを使用して、前記それぞれのピクセルの公称カラー値を決定することと、
前記オブジェクトの前記表面上の前記対応するポイントの前記非カラープロパティの前記値を使用して、前記ピクセルマップの前記それぞれのピクセルの前記公称カラー値を調整することによって前記補正されたカラー値を生成することと
を含む、
請求項１～１１のいずれかに記載の方法。

【請求項13】

前記非カラープロパティは法線方向であり、
前記ピクセルマップの前記複数のピクセルのそれぞれのピクセルごとに、前記カラー値は、前記それぞれのピクセルの前記法線方向に対して事前に定義された角度の範囲からのカラーデータを使用して決定される、
請求項１～１２のいずれかに記載の方法。

【請求項14】

前記事前に定義された角度の範囲は、拡散角度の閾値よりも大きい角度の範囲であり、
前記方法は、前記ピクセルマップの前記複数のピクセルのそれぞれのピクセルごとに、
前記拡散角度の閾値よりも小さい前記法線方向に対する角度で取得されたカラーデータを使用して、鏡面反射パラメータを決定すること
をさらに含む、
請求項１３に記載の方法。

【請求項15】

前記ピクセルマップの前記複数のピクセルのそれぞれのピクセルごとに、前記法線方向が、前記カラーデータで最大輝度が発生する前記角度を前記法線方向として選択することによって決定される、請求項１３または１４に記載の方法。

【請求項16】

前記ピクセルマップの前記複数のピクセルのそれぞれのピクセルごとに、前記法線方向が、
前記カラーデータを前記カラーデータが取得された前記角度の予め定められた関数に適合させることと、
前記適合された予め定められた関数が最大輝度を有する前記角度を前記法線方向として選択することと
によって決定される、請求項１３または１４に記載の方法。

【請求項17】

前記オブジェクトの前記表面上の前記対応するポイントの前記カラー値がベクトル値である、請求項１～１６のいずれか１項に記載の方法。

【請求項18】

前記オブジェクトの前記表面上の前記対応するポイントの前記非カラープロパティの前記値がスカラー値である、請求項１～１７のいずれかに記載の方法。

【請求項19】

前記３Ｄスキャナは、携帯型ハンドヘルド３Ｄスキャナである、請求項１～１８のいずれかに記載の方法。

【請求項20】

前記３Ｄスキャナは、３０ｃｍ×３０ｃｍ×３０ｃｍ未満のサイズを有する、請求項１～１９のいずれかに記載の方法。

【請求項21】

１つ以上の光学センサを含む３Ｄスキャナと、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに、請求項１～２０のいずれかに記載の方法を実行させる命令を記憶するメモリと
を含む、電子システム。

【請求項22】

１つ以上のプロセッサ、メモリ、及び１つ以上の光学センサを含む３Ｄスキャナを備えた電子システムによって実行されると、前記１つ以上のプロセッサに、請求項１～２０のいずれかに記載の方法を実行させるコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、一般に、テクスチャモデルを生成すること、より具体的には、ストラクチャードライト３次元スキャナ及び／または写真測量スキャナなどの可動スキャナを使用してテクスチャモデルを生成することに関する。

【背景技術】

【0002】

コンピュータグラフィックスの目標は、様々な照明条件下で、カラーを含むオブジェクトの物理的外観を正確にモデル化することである。そのためには、オブジェクトのテクスチャモデルが必要である。物理的に正確なテクスチャモデルの生成は、単にオブジェクトの写真を撮ってそのカラーを観察するよりも複雑である。例えば、人がオブジェクトの写真を撮るとき、写真は、写真が撮られたときに存在した特定の照明条件下でオブジェクトがどのように見えるかしか示していない。さらに、フラッシュなどの特定の照明条件では、写真に漂遊ハイライトが残る可能性がある（例えば、オブジェクトの領域が過度に明るく光沢があるように見える）。

【0003】

したがって、オブジェクトの３Ｄモデルがそのような写真からテクスチャ化された場合（例えば、テクスチャモデルがそのような写真を使用して生成された場合）、追加の処理なしでは、３Ｄモデルは物理的に正確に見えない。物理的に正確なテクスチャモデルを生成する際の課題は、例えば単一の写真に存在する特性ではなく、オブジェクトの外観に影響を与える物理的特性のモデルを作成することである。このようなモデルは、アニメーションに特に役立ち、その結果オブジェクトのテクスチャを様々な角度から様々な照明条件で正確に表示できる。

【発明の概要】

【0004】

いくつかの実施形態によれば、オブジェクトのテクスチャモデルを生成する方法が提供される。この方法は、表面を有するオブジェクトをスキャンすることを含む。スキャンすることは、オブジェクトに対する３Ｄスキャナの複数の向きからのカラーデータを生成する。この方法は、少なくともカラーデータを使用して、オブジェクトの表面のピクセルマップを生成することをさらに含み、ピクセルマップは、複数のピクセルのそれぞれのピクセルごとに、オブジェクトの表面上の対応するポイントのカラー値、及びオブジェクトの表面上の対応するポイントの非カラープロパティの値を含む。

【0005】

いくつかの実施形態によれば、オブジェクトのテクスチャモデルを生成する電子システムが提供される。電子システムは、１つ以上の光学センサ、１つ以上のプロセッサ、及びメモリを含むスキャナ（例えば、可動３Ｄスキャナなどの可動スキャナ）を含む。メモリは、１つ以上のプロセッサによって実行されると１つ以上のプロセッサに本明細書に記載の方法のいずれかを実行させる命令を記憶する。

【0006】

いくつかの実施形態によれば、非一時的コンピュータ可読記憶媒体が提供される。非一時的コンピュータ可読記憶媒体は、１つ以上のプロセッサ、メモリ、及び１つ以上の光学センサを含む可動スキャナを備えた、電子システムによって実行されると、１つ以上のプロセッサに本明細書に説明された方法のいずれかを実行させる命令を記憶する。

【0007】

記載された様々な実施形態をよりよく理解するために、以下の発明を実施するための形態を、同様の参照番号が図全体で対応する部分を参照している以下の図面と併せて参照する必要がある。

【図面の簡単な説明】

【0008】

【図1A】いくつかの実施形態による、３Ｄスキャナの様々な図を示す。

【図1B】いくつかの実施形態による、３Ｄスキャナの様々な図を示す。

【図2】いくつかの実施形態による、３Ｄスキャナのブロック図である。

【図3】いくつかの実施形態による、データ取得環境の概略図である。

【図4】いくつかの実施形態による、図３に示されるデータ取得環境から収集されたデータの予言的な例である。

【図5A】いくつかの実施形態による、オブジェクトのテクスチャ化３Ｄ表現を生成するために使用されるオブジェクトの表面の画像の概略例を示す。

【図5B】いくつかの実施形態による、オブジェクトのテクスチャ化３Ｄ表現を生成するために使用されるオブジェクトの表面の画像の概略例を示す。

【図5C】いくつかの実施形態による、オブジェクトのテクスチャ化３Ｄ表現を生成するために使用されるオブジェクトの表面の画像の概略例を示す。

【図5D】いくつかの実施形態に従って生成された、図５Ａから図５Ｃに示されるオブジェクトのテクスチャ化３Ｄ表現の概略例を示す。

【図6】いくつかの実施形態による、３Ｄスキャナの機械的図面である。

【図7A】いくつかの実施形態による、オブジェクトのテクスチャモデルを生成する方法の流れ図を示す。

【図7B】いくつかの実施形態による、オブジェクトのテクスチャモデルを生成する方法の流れ図を示す。

【図7C】いくつかの実施形態による、オブジェクトのテクスチャモデルを生成する方法の流れ図を示す。

【図7D】いくつかの実施形態による、オブジェクトのテクスチャモデルを生成する方法の流れ図を示す。

【発明を実施するための形態】

【0009】

開示された実施形態は、可動スキャナによって取得されたカラーデータを使用して、オブジェクトのリアルなテクスチャマップを生成する。いくつかの実施形態では、可動スキャナは、３次元（３Ｄ）スキャナ（例えば、オブジェクトの表面の３Ｄモデルを構築するデバイス）である。これらの３Ｄスキャナは、物理オブジェクトのリアルなテクスチャ化３Ｄ表現を生成するために使用される。いくつかの３Ｄスキャナは、以下で説明するストラクチャードライトアプローチに基づいているが、他の３Ｄスキャナは写真測量アプローチに基づいている。３次元スキャナは、工業デザインと製造、コンピュータアニメーション、科学、教育、医学、芸術、デザインなど、多くの分野での用途がある。

【0010】

従来の３Ｄスキャナでは、ユーザが利用できるピクセルごとのマテリアル情報のタイプは、一貫性のない照明で組み立てられたカラーマップのみである。このようなスキャナでは、オブジェクトの表面の所定の領域の観測値に基づいて、ピクセルごとに赤、緑、青（ＲＧＢ）の値が生成される。例えば、各ピクセルの異なるカラー値が平均化されるか、カラー値の１つ（例えば、最も明るいピクセル）が代表として選択される。別の言い方をすれば、これらのスキャナによって生成されたテクスチャは、反射光の動作や、カラーテクスチャの各ピクセルがキャプチャされた方向と強度に関係なく組み立てられる。結果として得られるカラーマップには、一貫性のない照明とシェーディングの情報が含まれ、オブジェクトのフォトリアリスティックなレンダリングに役立つであろうマテリアル情報は含まれていない。

【0011】

あるいは、マテリアルのフォトリアリスティックなテクスチャモデルを生成するように特別に設計された従来のシステムは、一般に、正確に配置され、注意深く較正されたライトとカメラの複雑なシステムを必要とする。

【0012】

本開示は、正確に配置され注意深く較正されたライト及びカメラの複雑なシステムを必要とせずに、可動スキャナ（例えば、３Ｄスキャナ）を使用して、一貫性のない照明及びシェーディングをオブジェクトの真の表面カラーから分離するシステム及び方法を提供する。さらに、本明細書で提供されるシステム及び方法は、マテリアルプロパティ（反射率、鏡面反射カラー、金属性、表面粗さ）が、オブジェクトのテクスチャマップの各ピクセルについて測定されることを可能にする。これは、オブジェクトの表面の様々な画像からの対応するピクセル（例えば、スキャナがオブジェクトに対して移動するときに様々な向きでキャプチャされる）と、様々な値がキャプチャされた向きに関する情報を提供するトラッキングデータを使用して行われる。別の言い方をすれば、いくつかの実施形態では、３Ｄスキャナは、様々なピクセルのカラー値（例えば、ＲＧＢ値）を収集し、それらの値がキャプチャされる角度を記録する。対応するピクセルからのカラー値は、オブジェクトの表面に様々な角度で入射する光の動作を説明する方程式（例えば、ランバート拡散モデルまたはより複雑なテクスチャモデル）を使用して、マテリアルプロパティに関連付けられる。このプロセスにより、ピクセルポイントごとに単一の修正されたＲＧＢ値が生成されるため、漂遊ハイライトが削除される。さらに、最大鏡面反射値及びこの値が発生する角度などのプロパティを計算することができる。

【0013】

これらのシステム及び方法により、３Ｄスキャンによって生成されるテクスチャモデルを大幅に改善できる。さらに、これらのシステム及び方法は、様々なマテリアルプロパティの検出に役立つ。

【0014】

ここで、実施例が添付図面において例示される実施形態を参照する。以下の説明では、説明する様々な実施形態の理解を与えるために多数の具体的な詳細を記載する。しかしながら、説明する様々な実施形態が、これらの具体的な詳細なしに実施され得ることは、当業者に明らかであろう。他の例では、当業者に周知の方法、手順、構成要素、回路、及びネットワークは、実施形態の態様を不必要に曖昧にしないように、詳細には説明されていない。

【0015】

図１Ａから図１Ｂは、いくつかの実施形態による、３Ｄスキャナ１００の正面図及び背面図を示す。いくつかの実施形態では、３Ｄスキャナ１００は、オブジェクトのリアルなカラーマップを生成することができるデータを取得するために使用される。しかしながら、３Ｄスキャナ１００は、そのようなデバイスの一例にすぎないことを理解されたい。本開示の実施形態によれば、他のデバイス（写真測量スキャナなど）を使用して、オブジェクトのリアルなカラーマップを生成することもできる。

【0016】

スキャナ１００は、本体ハウジング１０２、ハンドル１０８、及び（例えば、バッテリを含む）バッテリハウジング１１０を含む。いくつかの実施形態では、３Ｄスキャナ１００は、携帯型ハンドヘルドスキャナである。その目的のために、いくつかの実施形態では、３Ｄスキャナ１００は、３０ｃｍ×３０ｃｍ×３０ｃｍ未満の寸法を有する（例えば、３０ｃｍ×３０ｃｍ×３０ｃｍの寸法のボックス内に適合する）。いくつかの実施形態では、３Ｄスキャナ１００は、片手で人が運ぶのに十分に軽い（例えば、３Ｄスキャナ１００は、約２．５ｋｇの重さである）。

【0017】

いくつかの実施形態では、本体ハウジング１０２は、ハンドル１０８から分離することができる。いくつかの実施形態では、本体ハウジング１０２は、取り付けポイント１１２（例えば、取り付けポイント１１２ａから取り付けポイント１１２ｃ）を介して、別個の装置（例えば、ロボット電動スキャンアーム）に（例えば、ハンドル１０８及びバッテリハウジング１１０なしで）取り付けることができる。したがって、３Ｄスキャナ１００は、ハンドヘルドスキャナから工業用または実験室用スキャナに変換され得る。

【0018】

いくつかの実施形態では、３Ｄスキャナ１００は、光の空間パターン（本明細書では「ストラクチャードライト」と呼ばれる）をオブジェクトの表面に投射することによってオブジェクトの３Ｄモデルを生成し、一方、光の空間パターンは、オブジェクトの表面に投射され、光学センサ（例えば、カメラ）を使用して、オブジェクトの表面の画像を取得する。その目的のために、本体ハウジング１０２は、１つ以上の内部光源（例えば、図６のＶＣＳＥＬレーザー６０６）及び光源光学系１０４を収容する。１つ以上の内部光源は、光源光学系１０４を介して、本体ハウジング１０２の内部の空間的にパターン化されたスライド（例えば、図６のスライド６１６）を通して、オブジェクトの表面に特定の周波数でストロボスコープ的に光を投射する（例えば、パルス光を投射する）。オブジェクトの表面に投射されたストラクチャードライトの画像は、本体ハウジング１０２によって収容されたカメラ光学系１０６を通して取得される。１つ以上のカメラ／センサ（例えば、図６のＣＣＤ検出器６０２）は、オブジェクトの表面に投射されたストラクチャードライトの画像を記録する。オブジェクトの表面の形状の３Ｄモデルは、オブジェクトの表面に投射された光のパターンの歪みによって決定できる（つまり、歪みがオブジェクトの表面の形状によって引き起こされる）が、これは「Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｔｈｒｅｅ－Ｄｉｍｅｎｓｉｏｎａｌ Ｍｅａｓｕｒｅｍｅｎｔ ｏｆ ｔｈｅ Ｓｈａｐｅ ｏｆ Ｍａｔｅｒｉａｌ Ｏｂｊｅｃｔｓ」と題された米国特許第７，７６８，６５６号にさらに詳細に記載されており、これは参照によりその全体が本明細書に組み込まれる。

【0019】

いくつかの実施形態では、内部光源はレーザーである。いくつかの実施形態では、内部光源は、垂直共振器面発光レーザー（ＶＣＳＥＬ）である。いくつかの実施形態では、３Ｄスキャナ１００は、クラス１光源として動作し、これは、レーザーが、本体ハウジング１０２の外側のあらゆる場所でクラス１と見なされることを意味する（すなわち、本開示の出願日時点で連邦規則集（ＣＦＲ）パート１０４０の２１によって定義されるように）。

【0020】

いくつかの実施形態では、３Ｄスキャナ１００は、屋外の昼光条件で取得された画像が、少なくともオブジェクトの一部の３Ｄ形状を（例えば、少なくとも０．１ｍｍ、０．２ｍｍ、０．３ｍｍ、０．４ｍｍ、または０．５ｍｍの精度で、あるいは、０．２５ｍｍ、０．５ｍｍ、０．７５ｍｍ、または１ｍｍの分解能で）再構築するのに十分な信号対雑音比を有するように、オブジェクトの表面の十分な照明を提供することに留意されたい。レーザーがクラス１の範囲で動作することを保証するための通常のアプローチは、レーザーを大きなハウジングに封入することであり、これにより、光がハウジングを出るときまでに、光はクラス１と見なされるほど十分に減衰する。ハンドヘルドスキャナは比較的小さいサイズ（例えば、３０ｃｍ×３０ｃｍ×３０ｃｍ未満）である必要があるため、このアプローチはハンドヘルドスキャナでは機能しない。本開示のいくつかの実施形態は、パルス幅、ピーク電力、繰り返し率、及び／またはデューティサイクルの適切な選択を通じて、本体ハウジング１０２に封入された光源をクラス１光源として動作させ、スキャナ１００をハンドヘルド型で、安全、及び通常の日光条件（例えば、１２０，０００ルクス、１００，０００ルクス、２０，０００ルクス、２，０００ルクス、または１，０００ルクス）で操作できるようにする。これはまた、スキャナ１００が比較的短い最小作動距離（例えば、３５ｍｍ以下の最小作動距離）を有することを可能にする。

【0021】

さらに、ストラクチャードライトデータからの信号対雑音を増加させ、ストラクチャードライトデータをテクスチャ（例えば、カラー）データから区別するために、いくつかの実施形態では、上記のＶＣＳＥＬレーザーは、可視スペクトル範囲外（例えば、赤外線（ＩＲ）周波数）で動作する。そのような実施形態では、本体ハウジング１０２は、カメラレンズ（例えば、カメラ光学系１０６）に加えて、ＩＲ光を第１の光学センサ（例えば、図６のＣＣＤ検出器６０２－ａ）に向け、可視光を第２の光学センサ（例えば、図６のＣＣＤ検出器６０２－ｂ）に向ける、ＩＲ／可視ビームスプリッタを封入する。いくつかの実施形態では、第１の光学センサからのデータは、１つ以上の内部光源からのストロボライトと同期して検出されるため、ストロボ周波数のデータは、他の周波数の情報よりも優先的に検出される。これは、例えば、光を生成する１つ以上の光源と同期してデータを収集するために同期復調を使用して、または第１の光学センサをゲート制御することによって行うことができる。

【0022】

いくつかの実施形態では、本体ハウジング１０２に封入された第２の光学センサ（例えば、図６のＣＣＤ検出器６０２－ｂ）は、テクスチャデータ（例えば、カラーデータ）を取得する。いくつかの実施形態では、テクスチャデータ（例えば、画像）は、３Ｄ再構成をカラーでレンダリングするため、ならびにスキャナ１００の位置及び／または回転を（例えば、写真測量分析によって）追跡するための両方に使用され、これは、次に、３Ｄスキャナ１００によって取られたストラクチャードライトデータ（例えば、３Ｄ形状データ）を、オブジェクトに対して異なる位置で登録（例えば整列）するために使用される（例えば、図３を参照して以下に説明するように）。

【0023】

いくつかの実施形態では、本体ハウジング１０２はまた、スキャナ１００の動きを追跡する１つ以上の動きセンサを封入する。１つ以上の動きセンサには、任意選択で３軸加速度計、３軸ジャイロスコープ、及び／または３軸磁力計が含まれ、スキャナ１００の位置及び／または回転を測定する。いくつかの実施形態では、１つ以上の動きセンサは、３軸加速度計、３軸ジャイロスコープ、及び３軸磁力計の３つすべてを含み、したがって、スキャナ１００が６つの機械的自由度（すなわち、３つの位置的自由度、及び３つの回転自由度）しかないという事実にもかかわらず、９自由度（ＤＯＦ）センサと呼ばれる。１つ以上の動きセンサからの位置及び／または回転データを使用してスキャナ１００の位置及び／または回転を（例えば、カルマンフィルタの適用によって）追跡し、これは、次に、オブジェクトに対して異なる位置でスキャナ１００によって取られたストラクチャードライトデータ（例えば、３Ｄ形状データ）及びカラーデータ（例えば、画像）を登録（例えば、整列）するために使用される（例えば、図３を参照して以下に説明するように）。

【0024】

オンボード自動処理を容易にするために（例えば、オブジェクトの少なくとも初期３Ｄ再構成を生成するために）、ユーザに完全なモバイルスキャン体験を与えるために、いくつかの実施形態では、本体ハウジング１０２は、１つ以上のフィールドプログラマブルゲートアレイ、１つ以上のグラフィック処理ユニット（ＧＰＵ）、及び／または１つ以上のＣＰＵを含む複数のプロセッサを収容する。いくつかの実施形態では、本体ハウジング１０２は、オブジェクトの３Ｄモデルの少なくとも初期再構成（例えば、オブジェクトの３Ｄモデルのプレビュー）を生成するのに十分な処理を含む。

【0025】

いくつかの実施形態では、本体ハウジング１０２は、スキャナ１００のグラフィカルユーザインタフェースを表示するディスプレイ１１４をさらに収容する。とりわけ、スキャナ１００がオブジェクトをスキャンするとき、スキャナ１００のグラフィカルユーザインタフェースは、オブジェクトの初期３Ｄ再構成（例えば、オブジェクトの３Ｄ再構成のプレビュー）を表示する。いくつかの実施形態では、ディスプレイ１１４は、タッチ感知ディスプレイ（タッチスクリーンと呼ばれることもある）であり、したがって、ユーザ入力を受信することもできる（例えば、スキャンを開始し、スキャンを一時停止し、スキャンを終了し、その他の方法でスキャナ１００を制御する）。

【0026】

図２は、いくつかの実施形態による、３Ｄスキャナ１００及び／または３Ｄスキャナ１００からデータを受信し、取得後処理を実行する３Ｄデータ処理コンピュータシステム３１０のブロック図である（総称して、スキャナ１００及びシステム３１０は、「システム１００／３１０」と呼ばれる）。いくつかの実施形態では、図２に記載されている様々なモジュールが、３Ｄスキャナと３Ｄデータ処理コンピュータシステム３１０との間で分割されていることに留意されたい。

【0027】

システム１００／３１０は通常、メモリ２０４、１つ以上のプロセッサ２０２、電源２０６、ユーザ入出力（Ｉ／Ｏ）サブシステム２０８、センサ２０９、光源２１１、及びこれらの構成要素を相互接続するための通信バス２１０を含む。プロセッサ（複数可）２０２は、メモリ２０４に記憶されているモジュール、プログラム、及び／または命令を実行し、それによって処理動作を行う。

【0028】

いくつかの実施形態では、プロセッサ（複数可）２０２は少なくとも１つのグラフィック処理ユニットを含む。いくつかの実施形態では、プロセッサ（複数可）２０２は少なくとも１つのフィールドプログラマブルゲートアレイを含む。

【0029】

いくつかの実施形態では、メモリ２０４は、１つ以上のプログラム（例えば、命令のセット）及び／またはデータ構造を記憶する。いくつかの実施形態では、メモリ２０４、またはメモリ２０４の非一時的コンピュータ可読記憶媒体は、以下の、
● オペレーティングシステム２１２、
● カルマンフィルタモジュール２１４、
● モーショントラッキングモジュール２１６、
● カラートラッキングモジュール２１８、
● ３Ｄ登録モジュール２２０、
● カラー統一モジュール２２２、
● 融合モジュール２２４、
● カラー較正モジュール２２６、
● テクスチャ化モジュール２２８、
● システム１００／３１０によって使用及び生成されるバッファ（複数可）、ＲＡＭ、ＲＯＭ、及び／またはデータを記憶するその他のメモリを含むストレージ２３０
という、プログラム、モジュール、及びデータ構造、あるいはそれらのサブセットまたはスーパーセットを記憶する。

【0030】

上記識別されたモジュール（例えば、データ構造及び／または命令のセットを含むプログラム）は、別個のソフトウェアプログラム、手順、またはモジュールとして実装される必要はなく、したがってこれらのモジュールの様々なサブセットは、様々な実施態様で組み合わされ、または他の方法で様々な実施形態において再配置されてよい。いくつかの実施形態では、メモリ２０４は、上記識別されたモジュールのサブセットを記憶する。さらに、メモリ２０４は、上で説明されていない追加のモジュールを記憶してもよい。いくつかの実施形態では、メモリ２０４、またはメモリ２０４の非一時的コンピュータ可読記憶媒体に記憶されたモジュールは、以下に説明する方法においてそれぞれの動作を実施するための命令を提供する。いくつかの実施形態では、これらのモジュールのいくつかまたはすべては、モジュール機能の一部またはすべてを包含する専用のハードウェア回路（例えば、ＦＰＧＡ）で実装され得る。上記識別された要素のうちの１つ以上は、プロセッサ２０２の１つ以上によって実行され得る。

【0031】

いくつかの実施形態では、Ｉ／Ｏサブシステム２０８は、通信ネットワーク２５０を介して、及び／または有線経由及び／またはワイヤレス接続を介して、システム１００／３１０を１つ以上のリモートデバイス２３６（例えば、外部ディスプレイ）などの１つ以上のデバイスに通信可能に結合する。いくつかの実施形態では、通信ネットワーク２５０はインターネットである。いくつかの実施形態では、Ｉ／Ｏサブシステム２０８は、システム１００／３１０をディスプレイ１１４などの１つ以上の統合デバイスまたは周辺デバイスに通信可能に結合する。

【0032】

いくつかの実施形態では、センサ２０９は、３Ｄデータを収集する第１の光学センサ（例えば、図６のＣＣＤ検出器６０２－ａなどの第１のＣＣＤ検出器）、テクスチャ（例えば、カラー）データを収集する第２の光学センサ（例えば、図６のＣＣＤ検出器６０２－ｂなどの第２のＣＣＤ検出器）、及びモーションセンサ（例えば、マイクロ電気機械システム（ＭＥＭＳ）、ジャイロスコープ、及び１つ以上のホールセンサを使用して実装され得る９ＤＯＦセンサ）を含む。

【0033】

いくつかの実施形態では、光源２１１は、１つ以上のレーザーを含む。いくつかの実施形態では、１つ以上のレーザーは、垂直共振器面発光レーザー（ＶＣＳＥＬ）を含む。いくつかの実施形態では、光源２１１はまた、可視光を生成する発光ダイオード（ＬＥＤ）のアレイを含む。

【0034】

通信バス２１０は、任意選択で、システムコンポーネント間の通信を相互接続及び制御する回路（チップセットと呼ばれることもある）を含む。

【0035】

図３は、いくつかの実施形態による、データ取得環境３００の概略図である。データ取得環境３００では、３Ｄスキャナ１００は、表面を有するオブジェクト３０２をスキャンする。スキャンすることは、オブジェクト３０２に対する３Ｄスキャナ１００の複数の向き（例えば、位置３０４から）からのカラーデータ（例えば、オブジェクトの表面のカラー画像）を生成する。例えば、図３では、３Ｄスキャナは、位置３０４ａ（第１のカラー画像を取得する位置）から位置３０４ｂ（第２のカラー画像を取得する位置）、位置３０４ｃ（第３のカラー画像を取得する位置）に再配置される。いくつかの実施形態では、カラーデータ（例えば、カラー画像）を取得すると同時に、３Ｄスキャナ１００は、（例えば、光の空間パターンをオブジェクトの表面に投射し、光の空間パターンがオブジェクトの表面に投射されている間に（例えば、カラー画像とは異なる）オブジェクトの表面の画像を取得することによって）３次元（３Ｄ）形状に対応するデータを取得することに留意されたい。

【0036】

第１のカラー画像（位置３０４ａで３Ｄスキャナ１００により取得される）、第２のカラー画像（位置３０４ｂで３Ｄスキャナ１００により取得される）、及び第３のカラー画像（位置３０４ｃで３Ｄスキャナ１００により取得される）のそれぞれがオブジェクト３０２の表面上のポイント３０６をキャプチャすることに留意されたい。すなわち、オブジェクト３０２の表面上のポイント３０６に対応する、第１、第２、及び第３のカラー画像のそれぞれに対応するピクセルが存在する。いくつかの実施形態では、第１、第２、及び第３のカラー画像のそれぞれの対応するピクセルは、ＲＧＢ値を有し、そこから、輝度は、赤（Ｒ）値、緑（Ｇ）値、及び青（Ｂ）値の線形結合（例えば、輝度関数）として計算することができる。このような輝度値は、「相対輝度」と呼ばれることもあり、１または１００に正規化された値を有する。

【0037】

いくつかの実施形態では、３Ｄスキャナ１００によって取得されたデータは、（例えば、有線または無線接続を介して）３Ｄデータ処理コンピュータシステム３１０に送信され、そこで受信される。いくつかの実施形態では、３Ｄデータ処理コンピュータシステム３１０は、オブジェクトの表面のピクセルマップ（例えば、テクスチャマップ）を生成する。あるいは、いくつかの実施形態では、ピクセルマップは、３Ｄスキャナ１００によって生成される。

【0038】

図４は、いくつかの実施形態による、図３に示されるデータ取得環境３００から収集されたデータの予言的な例である。特に、図４は、オブジェクト３０２の表面上のポイント３０６から収集されたデータを示している。図４のグラフは、オブジェクトの表面に対して異なる向きで取得された異なるカラー画像からの様々なデータピクセルの輝度を示している。その目的のために、いくつかの実施形態では、３Ｄスキャナ１００及び／または３Ｄデータ処理コンピュータシステム３１０は、オブジェクトの表面の異なる画像内のピクセル間のピクセルレベルの対応を決定する（例えば、提供されている例では、第１、第２、及び第３のカラー画像を登録する）。いくつかの実施形態では、オブジェクトの表面の異なる画像のピクセル間のピクセルレベルの対応を決定することは、第１のカラー画像の第１のピクセルが、第２のカラー画像の第２のピクセルと同じオブジェクトの表面上の位置に対応することを決定することを含む。

【0039】

輝度値は、オブジェクトの表面上のポイント３０６の公称法線ベクトルからの角度に対してプロットされる。いくつかの実施形態では、公称法線ベクトルは、オブジェクトの３Ｄ再構成からの法線ベクトルである（例えば、スキャン中に取得された３次元（３Ｄ）形状に対応するデータから再構成される）。

【0040】

データは、輝度４０４ａを有する第１のカラー画像からの第１のピクセル、輝度４０４ｂを有する第２のカラー画像からの第２のピクセル、及び輝度４０４ｃを有する第３のカラー画像からの第３のピクセルを含む。いくつかの実施形態では、これらのデータから、「真の法線」方向θ_{N, T}が決定される（例えば、図７Ａから図７Ｃの方法７００を参照してより詳細に説明されるように、最大輝度を有するデータピクセルが取得された角度を選択することによって、または、データを所定の関数（例えば、ガウス関数）に適合させて適合された所定の関数が最大となる角度を選択することによって）。いくつかの実施形態では、「真の法線」方向を使用して、拡散値が決定される（例えば、真の法線方向に対して事前定義された角度を超える角度で取得されたデータピクセルを使用することによるが、これらのデータは、図４に黒塗りの点として示されており、一方、事前定義された角度内の角度は白抜きの点で示されている）。鏡面反射性、金属性パラメータ、表面粗さなどの他のマテリアルプロパティは、真の法線方向を使用して決定できる。

【0041】

図５Ａから図５Ｃは、いくつかの実施形態による、オブジェクトのテクスチャ化３Ｄ表現を生成するために使用されるオブジェクトの表面の画像の概略例（すなわち、図解）を示す。例えば、図５Ａは、第１の向きから取られたナットの画像５０２ａを示す。画像５０２ａでは、漂遊ハイライト５０４ａ（例えば、画像５０２ａが取得されたときに存在する光源からの鏡のような反射）をナット上で観察することができる。漂遊ハイライト５０４ａは、画像５０２ａが取得されたときに存在した光源からの鏡面（例えば、鏡のような）反射である。図５Ｂは、第１の向きとは異なる、第２の向きから取られた第２の画像５０２ｂを示し、図５Ｃは、第１及び第２の向きとは異なる、第３の向きから取られた第３の画像５０２ｃを示している。図５Ｄは、本発明のいくつかの実施形態に従って生成された、図５Ａから図５Ｃに示されるオブジェクト（すなわち、ナット）のテクスチャ化３Ｄ表現５０６の例を示す。オブジェクトのテクスチャ化３Ｄ表現５０６は、漂遊ハイライトを含まない（例えば、オブジェクトの表面の画像に存在した１つ以上の漂遊ハイライトを含まない）。さらに、テクスチャ化３Ｄ表現５０６は、図５Ａから図５Ｃの画像（生データ）と比較して、オブジェクト及びテーブルの両方のテクスチャ（カラー）をより正確に表すモデルを提供し、それにより、様々な照明条件の下で、オブジェクトとテーブルの両方のテクスチャをより正確に表示できる。

【0042】

図６は、いくつかの実施形態による、３Ｄスキャナ１００の様々な構成要素を示す図である。特に、図６は、本体ハウジング１０２（図１）の断面を示している。図６に示されるように、スキャナ１００は、（他の構成要素の中でとりわけ）以下を含む。
● スキャンされているオブジェクトの３Ｄデータを収集する（例えば、オブジェクトの表面に照らされてそれによって歪められたストラクチャードライトの画像を収集し、そこからオブジェクトの３Ｄ形状の再構成を決定できる）第１の光学センサ６０２ａ（例えば、第１の電荷結合デバイス（ＣＣＤ）検出器）。いくつかの実施形態では、第１の光学センサ６０２ａは、赤外線（ＩＲ）光を感知する（ただし、第１の光学センサ６０２ａは、可視光も感知し得る）。
● スキャンされているオブジェクトからテクスチャ（例えば、カラー）データを収集する（例えば、ストラクチャードライトがオブジェクトの表面に示されていない間に画像を収集し、例えば、オブジェクト上に照らされるストラクチャードライトのストロボパルスの間に画像を収集する）第２の光学センサ６０２ｂ（例えば、第２のＣＣＤ検出器）。いくつかの実施形態では、第２の光学センサ６０２ｂは、可視光を感知する（ただし、第２の光学センサ６０２ｂは、ＩＲ光も感知し得る）。
● 可視光とＩＲ光を分離するビームスプリッタ６０４。ビームスプリッタ６０４は、カメラ光学系１０６を介して受信したＩＲ光を第１の光学センサ６０２ａに優先的に向け、カメラ光学系１０６を介して受信した可視光を第２の光学センサ６０２ｂに優先的に向ける。
● 光源６０６。いくつかの実施形態では、光源６０６は、パルス光源（例えば、ストロボライト光源）である。いくつかの実施形態では、光源６０６は赤外線光源である。いくつかの実施形態では、光源６０６はレーザーである。いくつかの実施形態では、光源６０６は、垂直共振器面発光レーザーである。いくつかの実施形態では、光源６０６は、（例えば、パルス幅、ピーク電力、繰り返し率、及び／またはデューティサイクルの適切な選択によって）本体ハウジング１０２の外側のあらゆる場所でクラス１レーザーとして動作するように構成されている。
● 光がオブジェクトの表面に投射される空間パターンをその上に形成した（例えば、印刷またはエッチングした）スライド６１６（例えば、空間パターンは、スライドに不透明及び透明として形成される）。したがって、光源６０６によって生成された光は、スライド６１６を通過し、ストラクチャードライトとしてオブジェクトの表面に向かって（例えば、その上に）光源光学系１０４を通って投射される。
● 光源６０６、光学センサ６０２、及び位置６１４に配置されたＧＰＵと位置６１２に配置されたＦＰＧＡとを含む複数のプロセッサに熱的に結合された単一の金属片を含む、冷却マニホールド６０８（図面のいくつかの場所にラベルが付けられている）。

【0043】

３Ｄデータを取得する方法（例えば、かなり強力な光源からストロボスコープで光を生成する方法、及び毎秒多くの画像を収集して処理する方法）のため、熱の生成と除去は、オブジェクトの３Ｄ再構成をリアルタイムでプレビューできるハンドヘルド３Ｄスキャナを設計する際の最大の課題の１つである。比較的低温を維持することは重要であるが、一定の温度（空間的及び時間的の両方）を維持することは少なくとも同等に重要である。冷却マニホールド６０８は、３Ｄスキャナの主要な発熱部品間の熱接続を提供することにより、３Ｄスキャナ１００の様々な構成要素を一貫した安定した温度に維持する。したがって、冷却マニホールド６０８は、３Ｄスキャナが安定した温度に到達するのに必要な「ウォームアップ」時間を短縮し、より大きな処理能力を可能にし、３Ｄスキャナがデータを収集できる時間を増加させる。

【0044】

図７Ａから図７Ｄは、いくつかの実施形態による、オブジェクトのテクスチャモデルを生成する方法７００の流れ図を示す。いくつかの実施形態では、方法７００は、スキャナ（例えば、単一の可動スキャナ）（例えば、図１Ａから図１Ｂの３Ｄスキャナ１００、または写真測量スキャナ）で実行される。可動スキャナは、１つ以上の光学センサを含む。いくつかの実施形態では、可動スキャナはディスプレイを含む。いくつかの実施形態では、可動スキャナは、オブジェクトの表面の形状の少なくとも一部の３Ｄ再構成を生成するためのプロセッサを含む３Ｄスキャナである。いくつかの実施形態では、可動スキャナは、携帯型ハンドヘルドスキャナである（例えば、デバイス全体が３０ｃｍ×３０ｃｍ×３０ｃｍのボックス内に収まるように、３０ｃｍ×３０ｃｍ×３０ｃｍ未満のサイズを有する）。いくつかの実施形態では、可動スキャナは３Ｄスキャナではない（例えば、可動スキャナは、オブジェクトの形状の３Ｄ再構成を生成せず、むしろオブジェクトの既存のテクスチャ化されていない３Ｄモデルのテクスチャマップを生成する写真測量スキャナである）。いくつかの実施形態では、スキャナは、オブジェクトの表面の３Ｄ再構成を生成する写真測量スキャナである。説明を容易にするために、方法７００は、３Ｄスキャナ１００によって実行されるものとして説明されている。しかしながら、方法７００は、本開示に従って構築された任意の可動スキャナを使用して実行することができる。いくつかの実施形態では、方法７００の動作のうちの１つ以上は、可動スキャナとは別のコンピュータシステム（例えば、取得後処理を実行してテクスチャモデルを生成する図３のシステム３１０）で実行される。逆に、他の実施形態では、３Ｄスキャナ１００は、本開示の教示に従って、方法７００以外の方法を実行する。方法７００の一部の動作は、任意選択で結合され、かつ／または一部の動作の順序は、任意選択で変更される。

【0045】

方法７００を使用して、可動スキャナを用いてスキャンされたオブジェクトの真の表面カラーから一貫性のない照明及びシェーディングを分離することができる。加えて、方法７００を使用して、オブジェクトのテクスチャマップの各ピクセルのマテリアルプロパティ（反射率、鏡面反射カラー、金属性、表面粗さ）を決定することができる。その目的のために、いくつかの実施形態では、方法７００は、オブジェクトの表面の異なる画像からの対応するピクセル（例えば、オブジェクトに対してスキャナの異なる向きでキャプチャされたもの）を、テクスチャマップ（以下、ピクセルマップと呼ぶ）の単一ピクセルを生成するために異なる値がキャプチャされた向きの知識を提供するトラッキングデータと共に使用する。対応するデータピクセルからのカラー値は、オブジェクトの表面に様々な角度で入射する光の動作を記述する方程式（例えば、ランバート拡散モデルまたは、照明もしくはシェーディングモデルとも呼ばれる、より複雑なテクスチャモデル）を使用して、マテリアルプロパティに関連付けられる。いくつかの実施形態では、方法７００は、各ピクセルポイントに対して単一の補正されたＲＧＢ値を生成し、したがって、漂遊ハイライト（すなわち、カラーデータが取得されたときに存在する、異なる照明でテクスチャ化３Ｄ再構成をレンダリングするときに必ずしも存在するとは限らない光源からの鏡面反射）を除去する。方法７００はさらに、最大鏡面反射値及びこの値が発生する角度（例えば、「真の法線」）などの、非カラーマテリアルプロパティについて少なくとも１つのピクセルごとの値をもたらす。

【0046】

図７Ａを参照すると、３Ｄスキャナ１００は、表面を有するオブジェクトをスキャンする（７０２）。スキャンすることは、オブジェクトに対する３Ｄスキャナ１００の複数の向きからのカラーデータを生成する。いくつかの実施形態では、３Ｄスキャナ１００とは別の３Ｄデータ処理コンピュータシステム３１０は、オブジェクトに対して３Ｄスキャナ１００の複数の向きから３Ｄスキャナ１００によって生成されたカラーデータを受信する（例えば、図３を参照して説明したように）。いくつかの実施形態では、３Ｄスキャナ１００は、オブジェクトに対する３Ｄスキャナ１００の向きについての先験的な知識を持たない（例えば、向きは、事前定義されておらず、あるいは正確に較正されていない）。

【0047】

いくつかの実施形態では、スキャンすることは、オブジェクトに対して複数の向きで３Ｄスキャナ１００を再配置することを含む（７０４）。例えば、図３に示すように、３Ｄスキャナ１００は、位置３０４ａから位置３０４ｂ、そして位置３０４ｃに再配置される。３Ｄスキャナ１００は、これらの位置のそれぞれでオブジェクト３０２の画像を取得する。

【0048】

いくつかの実施形態では、単一の光学センサは、オブジェクトに対する３Ｄスキャナ１００の複数の向きからのカラーデータを取得する（７０６）（例えば、単一の光学センサは、スキャンプロセス中に再配置される）。以下に述べるように、いくつかのそのような実施形態では、３Ｄスキャナ１００は、カラーデータ以外のデータを取得する追加の光学センサを含む。

【0049】

いくつかの実施形態では、スキャンすることは、オブジェクトの表面の少なくとも一部の３次元（３Ｄ）形状に対応するデータ（例えば、オブジェクトの表面の少なくとも一部の３Ｄ形状がそこから再構築できるデータ）を生成する（７０８）。

【0050】

いくつかの実施形態では、１つ以上の光学センサは、第１の光学センサ（例えば、第１の赤外線ＣＣＤ）（例えば、図６のＣＣＤ検出器６０２ａ）を含む（７１０）。いくつかの実施形態では、第１の光学センサは、オブジェクトの表面の少なくとも一部の３Ｄ形状に対応するデータを生成するためのものである。オブジェクトの表面の少なくとも一部の３次元（３Ｄ）形状に対応するデータを生成することは、光の空間パターンをオブジェクトの表面に投射する動作を繰り返し実行し、光の空間パターンがオブジェクトの表面に投射されている間、第１の光学センサを使用してオブジェクトの表面の画像を取得することを含む。

【0051】

いくつかの実施形態では、１つ以上の光学センサは、第２の光学センサ（例えば、第２の光学カメラ）（例えば、図６のＣＣＤ検出器６０２ｂ）を含む（７１２）。いくつかの実施形態では、第２の光学センサは、カラーデータを生成するためのものである（例えば、第２の光学センサは、動作７０６で説明されている単一の光学センサである）。オブジェクトに対して３Ｄスキャナ１００の複数の向きからのカラーデータを生成することは、第２の光学センサを使用して、オブジェクトに対して複数の向きのそれぞれに配置された３Ｄスキャナ１００を用いて、オブジェクトの表面の画像を取得することを含む。そのような実施形態では、カラーデータからの複数のピクセルを使用して、ピクセルマップの単一のピクセルの値を生成することに留意されたい（例えば、複数のピクセルが異なる画像からの対応するピクセルを含む場合）。混乱を避けるために、オブジェクトの表面の画像のピクセルは、本明細書では「データピクセル」と呼ばれることがある。

【0052】

いくつかの実施形態では、画像は、データピクセルのＲＧＢ値を提供する。いくつかの実施形態では、第２の光学センサによって取得される画像は、オブジェクトの表面の少なくとも一部の３次元（３Ｄ）形状に対応するデータを生成するために使用される第１の光学センサによって取得される画像とは異なる。いくつかの実施形態では、カラーデータを生成するために使用される画像は、光の空間パターンがオブジェクトの表面に投射されていない間に（例えば、光の空間パターンのオブジェクトの表面への投射の間に）取得される。

【0053】

いくつかの実施形態では、３Ｄスキャナ１００は、オブジェクトの表面の異なる画像内のデータピクセル間のピクセルレベルの対応を決定する（７１４）（例えば、第２の光学センサによって取得されたカラー画像を登録する）。いくつかの実施形態では、オブジェクトの表面の異なる画像のピクセル間のピクセルレベルの対応を決定することは、第１の画像の第１のピクセルが、（第１の画像とは異なる）第２の画像の第２のピクセルと同じオブジェクトの表面上の位置に対応することを決定することを含む。

【0054】

図７Ｂを参照すると、いくつかの実施形態では、３Ｄスキャナ１００は、オブジェクトの表面の少なくとも一部の３次元（３Ｄ）形状に対応するデータを使用して、オブジェクトの表面の形状の少なくとも一部の３Ｄ再構成を生成する（７１６）。いくつかの実施形態では、ピクセルレベルの対応は、オブジェクトの表面の少なくとも一部の３次元（３Ｄ）形状に対応するデータを使用して決定される（例えば、オブジェクトの表面の少なくとも一部の３次元（３Ｄ）形状に対応するデータを使用して３Ｄ再構成が生成され、それがカラー画像を登録するために使用される）。いくつかの実施形態では、ピクセルレベルの対応は、画像登録を使用して（例えば、特徴の検出及びマッチングによって、または画像間の対応を定義することによって）決定される。いくつかの実施形態では、ピクセルレベルの対応は、写真測量を使用して決定される（例えば、画像分析を使用して、異なる画像内の２つのピクセルがオブジェクトの表面上の同じ位置に対応することを決定することによって）。状況によっては、カメラの位置だけでなく表面の３Ｄ形状が既知であり、射影幾何学を使用してピクセルレベルの対応が計算される。

【0055】

いくつかの実施形態では、３Ｄ再構成は、オブジェクトのポリゴン表現（例えば、複数のポリゴンの各ポリゴンがオブジェクトの表面の領域を表す、複数のポリゴンを含むポリゴンメッシュ）である。したがって、複数のポリゴンの各ポリゴンは、公称法線ベクトルを有する。オブジェクトの表面の異なる画像内のデータピクセル間のピクセルレベルの対応を決定することは、対応するピクセルとして、同じポリゴンによって表される領域に対応する異なる画像からのピクセル（例えば、同じポリゴンを表す異なる画像からの複数のピクセルがグループ化される）を選択することを含む。図４を参照すると、いくつかの実施形態では、公称法線ベクトルは、ポリゴンの公称法線ベクトルである。いくつかの実施形態では、対応するピクセルとして、同じポリゴンによって表される領域に対応する異なる画像からピクセルを選択することは、オブジェクトの３Ｄ再構成の座標系にカラーデータをマッピングすることを含む。

【0056】

いくつかの実施形態では、３Ｄスキャナ１００は、オブジェクトの表面の形状の少なくとも一部の３Ｄ再構成を使用して、カラーデータが取得されたオブジェクトに対して３Ｄスキャナ１００の複数の向きを決定する（７１８）。いくつかの実施形態では、モーションデータ（例えば、９ＤＯＦセンサからの）もまた、複数の向きを決定するために使用される（例えば、カラーデータのピクセルがオブジェクトの表面に対して取得された角度を決定する）。例えば、複数のソースからの情報、例えば、３Ｄデータ、カラーデータ、及び９ＤＯＦセンサからのモーションデータを組み合わせて、異なる画像のオブジェクトに対する３Ｄスキャナ１００の向きを決定する。

【0057】

３Ｄスキャナ１００は、少なくともカラーデータを使用して、オブジェクトの表面のピクセルマップを生成する（７２０）。ピクセルマップは、複数のピクセルのそれぞれのピクセルごとに、オブジェクトの表面上の対応するポイントのカラー値、及びオブジェクトの表面上の対応するポイントの非カラープロパティの値を含む。いくつかの実施形態では、ピクセルマップは、複数のピクセルのそれぞれのピクセルごとに、オブジェクトの表面上の対応するポイントの複数の非カラープロパティの値を含む。いくつかの実施形態では、ピクセルマップは、オブジェクトの表面のテクスチャマップである（７２２）（例えば、３Ｄモデルをフォトリアリスティックに表現するために一緒に使用されるパラメータの値のセットを含む）。いくつかの実施形態では、カラー値は、ピクセルの拡散値である。いくつかの実施形態では、拡散値（例えば、ＲＧＢ値）は、すべての方向に（例えば、すべての方向に等しく）光を散乱するマテリアルの傾向を表す。ピクセルマップのピクセルは、データピクセル（つまり、画像のピクセル）とは異なり、オブジェクトの表面の領域を表すことに留意されたい。したがって、状況によっては、ピクセルマップのピクセルはサーフェル（すなわち、表面要素）と呼ばれ、ピクセルマップはサーフェルマップと呼ばれる。

【0058】

いくつかの実施形態では、非カラープロパティは、テクスチャプロパティ（例えば、オブジェクトの表面上の対応するポイントの外観に影響を与えるプロパティ）である。いくつかの実施形態では、非カラープロパティ（単数または複数）は、反射率パラメータ、鏡面反射パラメータ、金属性パラメータ、表面粗さ、または法線方向からなる群から選択される（７２４）。いくつかの実施形態では、鏡面反射パラメータは、鏡のように光を散乱する（例えば、入射角が反射角に等しい）マテリアルの傾向を表す傾向を表している。

【0059】

いくつかの実施形態では、ピクセルマップの複数のピクセルのそれぞれのカラー値は、ベクトル値（例えば、ＲＧＢ値）である（７２６）。

【0060】

いくつかの実施形態では、ピクセルマップの複数のピクセルのそれぞれの非カラープロパティの値は、スカラー値（例えば、０から１の間の単一の値）である（７２８）。

【0061】

いくつかの実施形態では、ピクセルマップの複数のピクセルのそれぞれのピクセルごとに、オブジェクトの表面上の対応するポイントのカラー値は、補正されたカラー値（例えば、「真の拡散」値）である（７３０）。補正されたカラー値を生成することは、カラーデータを使用して（例えば、オブジェクトの表面の異なる画像からの対応するピクセルを使用して）、それぞれのピクセルの公称カラー値を決定することと、オブジェクトの表面上の対応するポイントの非カラープロパティの値を使用して、ピクセルマップのそれぞれのピクセルの公称カラー値を調整する（例えば、３Ｄスキャナ１００が、カラーデータを使用して「真の法線」方向を決定し、「真の法線」方向を使用して「真の拡散」値を決定する）こととを含む。

【0062】

いくつかの実施形態では、ピクセルマップのピクセルの公称カラー値の調整を使用して、（例えば、フラッシュからの反射及び／または他の照明のために過度に明るく見えるピクセルの強度を弱めることによって）漂遊ハイライトを除去する。従来のシステムでは、そのような漂遊ハイライトは手動で（例えば、アーティストによって）削除されている。したがって、本開示のいくつかの実施形態は、テクスチャデータからホットスポットを手動で除去する必要性を取り除く。

【0063】

図７Ｃを参照すると、いくつかの実施形態では、非カラープロパティは法線方向である（７３２）。ピクセルマップの複数のピクセルのそれぞれのピクセルごとに、カラー値は、それぞれのピクセルの法線方向に対して事前定義された角度の範囲からのカラーデータを使用して決定される。

【0064】

いくつかの実施形態では、事前定義された角度の範囲は、拡散角度閾値よりも大きい角度の範囲である（７３４）。ピクセルマップの複数のピクセルのそれぞれのピクセルごとに、拡散角度閾値よりも小さい法線方向に対する角度で取得されたカラーデータを使用して、鏡面反射パラメータが決定される。

【0065】

いくつかの実施形態では、ピクセルマップの複数のピクセルのそれぞれのピクセルごとに、法線方向が、カラーデータで最大輝度が発生する角度を法線方向として選択することによって、決定される（７３６）。

【0066】

例えば、いくつかの実施形態では、方法７００は、ピクセルマップの複数のピクセルのそれぞれのピクセルごとに、対応するデータピクセルのどれが最高の輝度を有するかを決定することを含む。最高の輝度を有する対応するデータピクセルが取得された角度は、法線方向（例えば、「真の法線」）であると決定される。例えば、この「真の法線」の５５°より大きい角度で取得されたデータピクセルは、拡散輝度のランバートの拡散反射モデルを介して、それぞれのピクセルの調整されたカラー値を決定するために使用される。

【数1】

ここで、Ｌ_ｄは、法線方向に対する観察角度θ_ｉでの輝度であり、Ｅ_ｏは、表面に入射する光のエネルギーであり、ρは、表面の拡散カラー（また、時には、ピクセルまたはサーフェルの拡散アルベドと称される）である。

【0067】

いくつかの実施形態では、鏡面反射パラメータ（例えば、光沢または逆に粗さ）は、最高の輝度を有するデータピクセルの輝度から適合されたランバートの拡散反射モデルの最大値（例えば、θ_ｉ＝０値）を差し引くことによって、それぞれのピクセルについて決定され、これは次のマイクロファセット理論のレンダリング方程式による。

【数2】

ここで、Ｌ_Ｓは鏡面反射輝度、Ｌ_ｏは法線入射での輝度である。

【0068】

いくつかの実施形態では、ピクセルマップの複数のピクセルのそれぞれのピクセルごとに、法線方向は、カラーデータ（例えば、知覚される輝度）をカラーデータが取得された角度の所定の関数に適合させることと、法線方向として、適合された所定の関数が最大輝度を有する角度を選択することとによって決定される（７３８）。この「真の法線」の、例えば５５°を超える角度で取得されたデータピクセルは、前述のように、拡散輝度のランバートの反射率モデルを介して、それぞれのピクセルの調整されたカラー値を決定するために使用される。鏡面反射パラメータ（例えば、光沢または逆に粗さ）は、適合された知覚輝度の最大値から適合されたランバートの反射率モデルの最大値（例えば、θ_ｉ＝０値）を差し引くことによって、それぞれのピクセルに対して決定され、これは式（２）による。

【0069】

より一般的には、いくつかの実施形態では、方法７００は、ピクセルマップの複数のピクセルのそれぞれのピクセルごとに、ピクセルに対応するカラーデータの第１のサブセットを使用して、第１のパラメータ（例えば、鏡面反射パラメータまたは真の法線方向）を決定することと、カラーデータの第１のサブセットとは異なる、ピクセルに対応するカラーデータの第２のサブセットを使用して、第２のパラメータ（例えば、拡散パラメータ）を決定することとを含む。いくつかの実施形態では、上記のように、カラーデータの２つのサブセット（拡散カラーの計算のためのデータ及び鏡面反射カラー計算のためのデータ）への分離は、データが取得された角度に基づくことができる。いくつかの実施形態では、カラーデータの２つのサブセットへの分離は、絶対カラーまたはそれらの任意の変形のような他の原理に基づいて行うことができる。

【0070】

図７Ｄを参照すると、いくつかの実施形態では、ピクセルマップの複数のピクセルのピクセルごとに、オブジェクトの表面上の対応するポイントの非カラープロパティの値は、１つ以上のテクスチャ方程式のセット（例えば、照明及び／またはシェーディング方程式）（例えば、シェーディング方程式を含み得るテクスチャモデル及び／または反射率モデル）のソルバに、画像が取得されたオブジェクトに対する３Ｄスキャナ１００の向きを示す情報とともに、オブジェクトの表面の画像を提供することと、１つ以上のテクスチャ方程式のセットのソルバからの出力として、オブジェクトの表面上の対応するポイントの非カラープロパティの値を受け取ることと、によって決定される（７４０）。

【0071】

いくつかの実施形態では、テクスチャモデルは、物理ベースのレンダリングに従来使用されている方程式のセットを含むことに留意されたい。したがって、いくつかの実施形態では、動作７４０は、物理ベースのレンダリング（ＰＢＲ）モデルを「逆向きに」実行することに等しい。通常、このようなＰＢＲモデルは、コンピュータアニメータによって（例えば、ビデオゲームや映画のために）使用され、コンピュータアニメータは、選択したマテリアルプロパティを入力し、アニメータが選択した照明に応じて知覚されるカラーを出力として受け取る。動作７４０は、入力として、様々な角度で知覚されたカラーを使用し、マテリアルプロパティを決定する。

【0072】

いくつかの実施形態では、テクスチャモデルは、双方向反射率分布関数（ＢＲＤＦ）モデルである。例えば、ランバート拡散反射モデルは次のように記述できる。

【数3】

ここで、ｌは光源の方向の単位ベクトル、ｖは観察者の方向の単位ベクトルである。

【0073】

いくつかの実施形態では、テクスチャモデルは、Ｃｏｏｋ－Ｔｏｒｒａｎｃｅマイクロファセット鏡面シェーディングモデルまたは他のマイクロファセットモデルなどのマイクロファセット鏡面ＢＲＤＦモデルである。Ｃｏｏｋ－Ｔｏｒｒａｎｃｅマイクロファセット鏡面シェーディングモデルは、表面がマイクロファセットで構成されており、それぞれが鏡面反射することを想定している。Ｃｏｏｋ－Ｔｏｒｒａｎｃｅマイクロファセット鏡面シェーディングモデルは次のように記述できる。

【数4】

ここで、ｈは、ｖとｌの単位角二等分線であり、ｎは単位法線ベクトル（例えば、「真の法線」の方向の単位ベクトル）である。関数Ｄ、Ｆ、及びＧは以下に定義される。状況によっては、Ｃｏｏｋ－Ｔｏｒｒａｎｃｅモデルを使用して鏡面反射パラメータ（例えば、鏡面シェーディング）の値を決定し、ランバート反射モデルを使用して拡散値を決定する。

【0074】

法線が方向ｈにあるファセットのみが、ｌからｖへの反射の鏡面成分に寄与する。したがって、関数Ｄ（ｈ）は、ファセット勾配分布関数であり、方向ｈに向けられたファセットの割合を表す。関数Ｄは次のように記述できる。

【数5】

ここで、αは粗さの２乗である。

【0075】

関数Ｇは、あるファセットの別のファセットによるシャドウイングとマスキングを説明する幾何学的減衰係数であり、次のように記述できる。

【数6】

ここで、ｋはモデルに固有のパラメータである。例えば、いくつかの実施形態では、ｋはマテリアルの粗さに関係する。

【0076】

関数Ｆは、それぞれの滑らかなマイクロファセットから光がどのように反射されるかを表すフレネル項であり、次のように記述できる。

【数7】

ここで、Ｆ_ｏは法線入射での鏡面反射率である。

【0077】

Ｃｏｏｋ－Ｔｏｒｒａｎｃｅマイクロファセット鏡面シェーディングモデルを含む上記のＢＲＤＦモデルと式は、テクスチャモデルの単なる例であることに留意されたい。当業者は、本開示の利点を与えられて、本開示の様々な実施形態に従って、任意の数のテクスチャモデルを使用できることを認識するであろう。他のテクスチャモデルには、フォン反射モデル、ガウス分布モデル、ベックマン分布モデル、ハイドリヒ－ザイデル異方性モデル、及び／またはウォード異方性モデルが含まれるが、これらに限定されない。

【0078】

したがって、本開示のいくつかの実施形態は、オブジェクト上の表面のテクスチャが（例えば、付加的に）マテリアルの複数のテクスチャプロパティ（例えば、鏡面及び拡散輝度）に分解されてもよく、それらのテクスチャプロパティがテクスチャモデルを介してカラーの観察に関連付けられ得ると想定している。しかしながら、以下の特許請求の範囲は、明示的に述べられていない限り、特定のテクスチャモデルに限定されると解釈されるべきではない。

【0079】

さらに、上記の方程式からわかるように、一部のテクスチャモデルは、１つ以上の光源の位置を観察されたカラーに関連付ける。いくつかの実施形態では、３Ｄスキャナは光源を含む。いくつかの実施形態では、３Ｄスキャナ上の光源は、３Ｄスキャナの外部のどの光源よりも実質的に明るい。したがって、いくつかの実施形態では、光源の位置は既知であり、この方法は、テクスチャ化方程式において光源の既知の位置を使用することを含む。例えば、この方法には、鏡面反射が３Ｄスキャナの光源のみによるものであると想定することと、３Ｄスキャナの外部の光源に関係なくテクスチャ方程式を解くこととが含まれる（例えば、テクスチャ方程式を解くことは、周囲光は３Ｄスキャナの光源から放出される光と比較して無視できる、と仮定することを含む）。

【0080】

いくつかの実施形態では、３Ｄスキャナ１００は、オブジェクトの表面の形状の少なくとも一部の３Ｄ再構成とピクセルマップとを使用して、オブジェクトのテクスチャ化３Ｄ表現を生成する（７４２）。

【0081】

いくつかの実施形態では、３Ｄスキャナ１００は、オブジェクトのテクスチャ化３Ｄ表現を使用して、（例えば、カラーマップをオブジェクトの３Ｄ再構成のポリゴングリッドにマッピングすることによって）アニメーション内の対応するオブジェクトをアニメーション化する（７４４）。

【0082】

いくつかの実施形態では、非カラープロパティは法線方向であり、ピクセルマップの法線方向は、計測、検査、及び／または品質保証の目的（例えば、表面検査、引っかき傷及び亀裂検出など）のために使用される。いくつかの実施形態では、３Ｄスキャナ１００は、１つ以上の亀裂（または引っかき傷）を検出し、亀裂（または引っかき傷）の位置を示す視覚的しるしを伴うオブジェクトの３Ｄ表現を、（一体型ディスプレイまたは３Ｄスキャナ１００とは別のディスプレイ上に）表示する。いくつかの実施形態では、オブジェクトが事前定義された閾値（例えば、品質保証閾値）を超えて引っかき傷がある（または亀裂が入っている）という決定に従って、３Ｄスキャナ１００は、オブジェクトが事前定義された閾値を超えて引っかき傷がある（または亀裂が入っている）ことを示すレポートを生成する。

【0083】

いくつかの実施形態では、３Ｄスキャナ１００は、（一体型ディスプレイまたは３Ｄスキャナ１００とは別のディスプレイ上に）ピクセルマップを表示する（例えば、オブジェクトのテクスチャ化３Ｄ表現を表示する）。いくつかの実施形態では、３Ｄスキャナ１００は、ピクセルマップの非カラープロパティの値を表示せずにピクセルマップのカラー値を表示する（例えば、拡散カラーのみでオブジェクトのテクスチャ化３Ｄ表現を表示する）。いくつかの実施形態では、３Ｄスキャナ１００は、ピクセルマップのカラー値を表示せずに、ピクセルマップの非カラープロパティの値を表示する（例えば、拡散カラーのみでオブジェクトのテクスチャ化３Ｄ表現を表示する）。いくつかの実施形態では、３Ｄスキャナ１００は、ユーザ入力を受け取り、ユーザ入力に応答して、オブジェクトのテクスチャ化３Ｄ表現の表示、ピクセルマップのカラー値の表示、及び非カラープロパティ（または複数のプロパティ）の値の間で表示を切り替える（例えば、ユーザ入力の受信に応答して、３Ｄスキャナ１００は、オブジェクトのテクスチャ化３Ｄ表現の表示から、ピクセルマップのカラー値または非カラープロパティの値の表示に移行するか、または、ユーザ入力の受信に応答して、３Ｄスキャナ１００は、ピクセルマップのカラー値の表示から、オブジェクトのテクスチャ化３Ｄ表現の表示または非カラープロパティの値の表示に移行するか、または、ユーザ入力の受信に応答して、３Ｄスキャナ１００は、非カラープロパティの値の表示から、オブジェクトのテクスチャ化３Ｄ表現の表示またはピクセルマップのカラー値の表示に移行する）。

【0084】

上記記述は、説明の目的ために、具体的な実施形態及び図面を参照して説明されている。しかしながら、上記の例証的な考察は、網羅的であることを意図するものではなく、また、本発明を開示されている正確な形態に限定することを意図するものでもない。上述の教示に照らして多くの修正及び変形が可能である。実施形態は、本発明の原理及びその実際的な応用を最もよく説明するために選択されて記述されたものであり、それによって当業者が、本発明及び様々な実施形態を、考えられる特定の使用に合わせて様々な変更をしながら、最も良く使用できるようにする。

【0085】

また、第１の、第２の、などの用語は、いくつかの例で様々な要素を説明するために本明細書で使用されているが、これらの要素がこれらの用語によって制限されるべきではないことも理解されよう。これらの用語は、ある要素を別の要素と区別するためだけに使用される。例えば、記載された様々な実施形態の範囲から逸脱することなく、第１のセンサは第２のセンサと呼ぶことができ、同様に、第２のセンサは第１のセンサと呼ぶことができる。第１のセンサと第２のセンサは両方ともセンサであるが、文脈で明確に示されていない限り、同じセンサではない。

【0086】

本明細書の様々な記述された実施形態の説明に使用される用語は、特定の実施形態のみを説明する目的であり、限定することを意図するものではない。様々な記述された実施形態の説明及び添付の特許請求の範囲で使用される場合、単数形「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈が別途明確に示さない限り、複数形も含むことが意図されている。また、本明細書で使用される用語「及び／または」は、関連する列挙されている項目のうちの１つ以上のあらゆる全ての可能な組み合わせを指し、包含することも理解されよう。用語「含む（ｉｎｃｌｕｄｅｓ）」、「含んでいる（ｉｎｃｌｕｄｉｎｇ）」、「含む（ｃｏｍｐｒｉｓｅｓ）」及び／または「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」は、本明細書で使用される場合、述べられた特徴、整数、ステップ、動作、要素、及び／または構成要素の存在を指定するが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び／またはそれらのグループの存在または追加を排除しないことがさらに理解されよう。

【0087】

本明細書で使用される場合、用語「場合（ｉｆ）」は、任意選択的に、文脈に応じて、「とき（ｗｈｅｎ）」または「時（ｕｐｏｎ）」または「決定することに応じて（ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｒｍｉｎｉｎｇ）」、または「検出することに応じて（ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｃｔｉｎｇ）」を意味すると解釈される。同様に、句「と決定される場合（ｉｆ ｉｔ ｉｓ ｄｅｔｅｒｍｉｎｅｄ）」または「［述べられている条件または事象］が検出される場合」は、任意選択的に、文脈に応じて、「決定時（ｕｐｏｎ ｄｅｔｅｒｍｉｎｉｎｇ）」または「決定することに応じて（ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｒｍｉｎｉｎｇ）」または「［述べられている条件または事象］を検出時（ｕｐｏｎ ｄｅｔｅｃｔｉｎｇ）」または「［述べられている条件または事象］を検出することに応じて（ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｃｔｉｎｇ）」を意味すると解釈される。

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図5C】

【図5D】

【図6】

【図7A】

【図7B】

【図7C】

【図7D】