特表 2024-540144 ２Ｄスキャンと３Ｄスキャンを使用した環境特徴のキャプチャ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-31

(54)【発明の名称】２Ｄスキャンと３Ｄスキャンを使用した環境特徴のキャプチャ

(51)【国際特許分類】

   G06T 19/00 20110101AFI20241024BHJP

   G06T 7/55 20170101ALI20241024BHJP

   G06T 7/174 20170101ALI20241024BHJP

【ＦＩ】

G06T19/00 600

G06T7/55

G06T7/174

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024525539

(86)(22)【出願日】2022-08-25

(85)【翻訳文提出日】2024-04-26

(86)【国際出願番号】 US2022041528

(87)【国際公開番号】W WO2023028231

(87)【国際公開日】2023-03-02

(31)【優先権主張番号】17/459,084

(32)【優先日】2021-09-15

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】524016644

【氏名又は名称】パッシブロジック，インコーポレイテッド

(74)【代理人】

【識別番号】100118902

【弁理士】

【氏名又は名称】山本 修

(74)【代理人】

【識別番号】100106208

【弁理士】

【氏名又は名称】宮前 徹

(74)【代理人】

【識別番号】100196508

【弁理士】

【氏名又は名称】松尾 淳一

(72)【発明者】

【氏名】メイナーズ，ジャスティン

【テーマコード（参考）】

5B050

5L096

【Ｆターム（参考）】

5B050BA09

5B050CA07

5B050DA04

5B050DA05

5B050EA07

5B050FA05

5B050FA10

5L096AA09

5L096CA04

5L096CA05

5L096DA02

5L096FA66

5L096FA67

5L096FA69

5L096FA77

(57)【要約】

環境の３次元メッシュのキャプチャ時に、対話式に３次元メッシュ環境内に注釈を配置するためにユーザ入力と機械学習との組合せが使用される。完全メッシュが組み立てられると、３次元メッシュのどの部分が関心特徴を構成するかを検出するために注釈が使用される。これらの結果から、間取図の２Ｄ画像などの追加の特徴を導出することができる。
【選択図】図４Ａ

【特許請求の範囲】

【請求項1】

空間の画像において関心領域を検出する方法であって、
デバイスに装着された深度センサーによってキャプチャされた複数の深度測定値を取得するステップであって、前記複数の深度測定値が３次元格子を使用して前記深度センサーから前記空間内のそれぞれの点までの距離を定義する、複数の深度測定値を取得するステップと、
それらの深度測定値を前記空間の一部であると宣言するステップと、
前記３次元格子の２次元を使用する機械学習認識システムによってキャプチャされた、前記空間の前記一部の前記画像内の検出関心領域を取得するステップと、
２次元検出関心領域を作成するために、２次元において前記検出関心領域を前記３次元格子にマッピングするステップと、
前記空間の完成深度測定３次元格子を取得するステップと、
投影３次元形状を作成するために前記検出関心領域を前記空間の前記完成深度測定３次元格子に投影するステップと、
前記投影３次元形状と前記空間の前記完成深度測定３次元格子との交差部を関心領域として見つけるステップとを含む、方法。

【請求項2】

前記機械学習認識システムが２Ｄカメラに関連付けられ、前記３次元格子の前記２次元が前記２Ｄカメラによって作成された２Ｄ格子から変換される、請求項１に記載の方法。

【請求項3】

前記空間の前記一部における検出関心領域を取得するステップが、前記２Ｄ格子の表現の表面上への注釈配置を受け付けるステップを含む、請求項２に記載の方法。

【請求項4】

投影３次元形状を作成するために前記２次元検出関心領域を前記空間の前記完成深度測定３次元格子に投影するステップが、前記注釈配置を使用して前記３次元格子と交差する射線を作成し、それによっていくつかの交点を作成するステップを含む、請求項３に記載の方法。

【請求項5】

壁部分を作成するために前記交点の隣接面が識別される、請求項４に記載の方法。

【請求項6】

前記壁部分が、マーカーが前記空間の内部を指した状態でｚ軸に沿って平坦化され、それによって空間内で方向づけられた２Ｄマーカーを作成する、請求項５に記載の方法。

【請求項7】

複数の２Ｄマーカーがあり、前記空間内で方向づけられた前記複数の２Ｄマーカーが、前記空間の２Ｄ輪郭を作成するように延長される、請求項６に記載の方法。

【請求項8】

前記２Ｄ格子の表現の表面上にマーカーを配置して前記注釈配置に関連付けられた壁をマークするステップをさらに含む、請求項３に記載の方法。

【請求項9】

前記空間の前記一部における検出関心領域を取得するステップが、前記３次元格子の２次元の変換を使用する画像認識ソフトウェアとともに２次元カメラを使用して前記検出関心領域をキャプチャするステップを含む、請求項１に記載の方法。

【請求項10】

前記３次元格子の２次元を使用する画像認識ソフトウェアとともに２次元カメラを使用して前記検出関心領域をキャプチャするステップが、物体の角に対応する少なくとも３つの点をキャプチャするステップをさらに含む、請求項９に記載の方法。

【請求項11】

マークされた関心領域を有する空間の３Ｄスキャンを生成するシステムであって、
３次元の空間の一部をスキャンして３Ｄスキャン部分を作成するように動作可能であり、空間全体をスキャンして全体３Ｄスキャンを作成するように動作可能な３Ｄスキャナと、
前記３Ｄスキャナに動作可能に接続された２Ｄスキャナであって、２Ｄスキャン内で関心領域を検出するために機械学習を使用するように動作可能であり、前記３Ｄスキャン部分から前記３次元のうちの２次元を使用して前記２Ｄスキャンにおける前記関心領域をマークするように動作可能な２Ｄスキャナと、
射線を作成するために前記３Ｄスキャン部分のうちの２次元によって前記２Ｄスキャン内の前記関心領域をマークするように動作可能な結合器と、
前記関心領域がマークされた空間の３Ｄスキャンを作成するために前記全体３Ｄスキャンによって前記射線を位置づけるように動作可能な後処理器とを含む、システム。

【請求項12】

前記関心領域が壁、ドア、窓または機器を含む、請求項１１に記載のシステム。

【請求項13】

前記後処理器が、前記射線を第３次元軸に沿って前記全体３Ｄスキャンと交差させることによって壁部分を判定するように動作可能な、請求項１２に記載のシステム。

【請求項14】

関心領域のキャプチャのための命令を記憶する非一過性のコンピュータ可読記憶媒体であって、前記命令がプロセッサによって実行されると前記プロセッサに、
デバイスに取り付けられたＬｉＤＡＲシステムによって、空間の部分３Ｄスキャンを受け取るステップと、
前記デバイスに取り付けられた２Ｄカメラによって２Ｄ検出関心領域を受け取るステップと、
前記部分３Ｄスキャン内の前記２Ｄ検出関心領域をマークして２ＤマークＲＯＩを作成するステップと、
完成３Ｄスキャンを受け取るステップと、
前記完成３Ｄスキャンにおいて前記２ＤマークＲＯＩの交差部を、マークされた関心領域としてマークするステップと、を含むステップを行わせる、非一過性のコンピュータ可読記憶媒体。

【請求項15】

前記デバイスに取り付けられた２Ｄカメラによって２Ｄ検出関心領域を受け取るステップが、前記２Ｄ検出関心領域をマークする２Ｄユーザ入力を受け付けるステップを含む、請求項１４に記載の非一過性のコンピュータ可読記憶媒体。

【請求項16】

前記デバイスに取り付けられた２Ｄカメラによって第２の２Ｄ検出関心領域を受け取るステップと、
２次元において前記部分３Ｄスキャン内の前記第２の２Ｄ検出関心領域をマークするステップと、
前記第２の２Ｄ検出関心領域を前記完成３Ｄスキャンと交差させて第２の３Ｄスキャン交差部を作成するステップと、
前記第２の３Ｄスキャン交差部を第２のマークされた２Ｄ関心領域としてマークするステップと、
延長２Ｄ検出関心領域と第２の延長２Ｄ検出関心領域とを作成するために、前記２Ｄ検出関心領域と前記マークされた第２の２Ｄ検出関心領域とを交点まで延長するステップと、
前記延長２Ｄ検出関心領域と前記第２の延長２Ｄ検出関心領域とを壁間取図部分としてマークするステップと、をさらに含む、請求項１５に記載の非一過性のコンピュータ可読記憶媒体。

【請求項17】

前記２Ｄ検出関心領域を前記完成３Ｄスキャンと交差させて３Ｄスキャン交差部を作成するステップが、前記完成３Ｄスキャン内で類似の向きを有する隣接面を識別するステップをさらに含み、前記２Ｄ検出関心領域を前記完成３Ｄスキャンと交差させて３Ｄスキャン交差部を作成するステップが、前記壁間取図部分を２Ｄマーカーに平坦化するステップを含む、請求項１６に記載の非一過性のコンピュータ可読記憶媒体。

【請求項18】

２Ｄ検出関心領域を受け取るステップが、関心領域を検出するために、前記デバイスに取り付けられた２Ｄカメラからのカメラフィードを使用する機械学習画像認識システムを含む、請求項１７に記載の非一過性のコンピュータ可読記憶媒体。

【請求項19】

前記第２の２Ｄ検出関心領域を前記完成３Ｄスキャンと交差させて第２の３Ｄスキャン交差部を作成するステップが、
前記完成３Ｄスキャン上で表面を探索するステップと、
３つのユーザ関心点の３Ｄ延長部を作成して前記完成３Ｄスキャンの前記表面に対して９０°の射線の周囲の領域をマークするステップと、
前記３つのユーザ関心点の前記３Ｄ延長部の前記完成３Ｄスキャンとの交差部を前記関心領域としてマークするステップとを含む、請求項１８に記載の非一過性のコンピュータ可読記憶媒体。

【請求項20】

前記２Ｄ検出関心領域が、壁、ドア、窓、本棚、机、照明器具、テーブルまたはセンサーの２Ｄ表現である、請求項１４に記載の非一過性のコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

(1)本開示は、建物のスキャンから特徴を抽出すること、より詳細には、連携する２次元スキャンと３次元スキャンとを使用した特徴抽出に関する。

【背景技術】

【0002】

【発明の概要】

【0003】

(2)本概要は、「発明を実施するための形態」の項で詳述されている一連の概念を簡略化された形態で概説するために示されている。本概要は、特許請求される主題の必要または必須の特徴を特定しない。革新は特許請求の範囲によって定義され、本概要が特許請求の範囲と矛盾するところでは、特許請求の範囲が優先する。

【0004】

(3)一般に、本明細書に記載のいくつかの技術は、２Ｄスキャンと３Ｄスキャンとを使用した環境特徴のキャプチャについて説明している。
(4)実施形態において、空間の画像において関心領域を検出する方法であって、方法は、デバイスに装着された深度センサーによってキャプチャされた複数の深度測定値を取得することであって、複数の深度測定値が３次元格子を使用して深度センサーから空間内のそれぞれの点までの距離を定義する、複数の深度測定値を取得することと、それらの深度測定値を空間の一部であると宣言することと、３次元格子の２次元を使用する機械学習認識システムによってキャプチャされた、空間の一部の画像内の検出関心領域を取得することと、２次元検出関心領域を作成するために、２次元において検出関心領域を３次元格子にマッピングすることと、空間の完成深度測定３次元格子を取得することと、投影３次元形状を作成するために２次元検出関心領域を空間の完成深度測定３次元格子に投影することと、投影３次元形状と空間の前記完成深度測定３次元格子との交差部を関心領域として見つけることとを含む、方法が開示される。

【0005】

(5)実施形態において、関心領域は壁または窓である。
(6)実施形態において、部屋の一部の検出領域を取得することが、２次元格子の表現の表面上の注釈配置を受け付けることを含む。

【0006】

(7)実施形態において、投影３次元形状を作成するために２次元検出関心領域を空間の完成深度測定格子上に投影することが、注釈配置を使用して３次元格子と交差する射線を作成し、それによって交点を作成することを含む。

【0007】

(8)実施形態において、壁部分を作成するために交点の隣接面が識別される。
(9)実施形態において、壁部分が、マーカーが空間の内部を指した状態でｚ軸に沿って平坦化され、それによって空間内で方向づけられた２Ｄマーカーが作成される。

【0008】

(10)実施形態において、複数の２Ｄマーカーがあり、空間内で方向づけられた複数の２Ｄマーカーが、空間の２Ｄ輪郭を作成するように延長される。
(11)実施形態において、方法は、２次元格子の表現の表面上にマーカーを配置して注釈に関連付けられた壁をマークすることをさらに含む。

【0009】

(12)実施形態において、部屋の一部における検出関心領域を取得することが、３次元格子の２次元の変換を使用する画像認識ソフトウェアとともに２次元カメラを使用して検出関心領域をキャプチャすることを含む。

【0010】

(13)実施形態において、３次元格子の２次元を使用する画像認識ソフトウェアとともに２次元カメラを使用して検出関心領域をキャプチャすることが、物体の角に対応する少なくとも３つの点をキャプチャすることをさらに含む。

【0011】

(14)実施形態において、マークされた関心領域を有する空間の３Ｄスキャンを生成するシステムであって、３次元の空間の一部をスキャンして３Ｄスキャン部分を作成するように動作可能であり、空間全体をスキャンして全体３Ｄスキャンを作成するように動作可能な３Ｄスキャナと、３Ｄスキャナに動作可能に接続された２Ｄスキャナであって、２Ｄスキャン内で関心領域を検出するために機械学習を使用するように動作可能であり、３Ｄスキャン部分から３次元のうちの２次元を使用して２Ｄスキャンにおける関心領域をマークするように動作可能な２Ｄスキャナと、射線を作成するために３Ｄスキャン部分のうちの２次元によって２Ｄスキャン関心領域をマークするように動作可能な結合器と、関心領域がマークされた空間の３Ｄスキャンを作成するために全体３Ｄスキャンによって射線を位置づけるように動作可能な後処理器とを含む、システムが開示される。

【0012】

(15)実施形態において、意味特徴が壁、ドア、窓または機器を含む。
(16)実施形態において、後処理器は、射線を第３次元軸に沿って全体３Ｄスキャンと交差させることによって壁部分を判定するように動作可能である。

【0013】

(17)実施形態において、関心領域のキャプチャのための命令を記憶する非一過性のコンピュータ可読記憶媒体であって、命令がプロセッサによって実行されるとプロセッサに、デバイスに取り付けられたＬｉＤＡＲシステムによって、空間の部分３Ｄスキャンを受け取るステップと、デバイスに取り付けられた２Ｄカメラによって２Ｄ検出関心領域を受け取るステップと、部分３Ｄスキャン内の２Ｄ検出関心領域をマークして２ＤマークＲＯＩを作成するステップと、完成３Ｄスキャンを受け取るステップと、完成３Ｄスキャン交差部において２ＤマークＲＯＩを、関心領域としてマークするステップと、を含むステップを行わせる、非一過性のコンピュータ可読記憶媒体が開示される。

【0014】

(18)実施形態において、デバイス上に取り付けられた２Ｄカメラによって２Ｄ検出関心領域を受け取ることが、２Ｄ検出関心領域をマークする２Ｄユーザ入力を受け付けることを含む。

【0015】

(19)実施形態において、プロセッサはさらに、デバイス上に取り付けられた２Ｄカメラによって第２の２Ｄ検出関心領域を受け取るステップと、２次元において部分３Ｄスキャン内の第２の２Ｄ検出関心領域をマークするステップと、第２の２Ｄ関心領域を完成３Ｄスキャンと交差させるステップと、第２の３Ｄスキャン交差部を第２の関心領域としてマークするステップと、延長２Ｄ検出関心領域と第２の２Ｄ検出関心領域とを作成するように、２Ｄ検出関心領域と第２の２Ｄ検出関心領域とを交点まで延長するステップと、延長２Ｄ検出関心領域と第２の２Ｄ検出関心領域とを壁間取図部分としてマークするステップとを行う。

【0016】

(20)実施形態において、２Ｄ検出関心領域を完成３Ｄスキャンと交差させて３Ｄスキャン交差部を作成することが、完成３Ｄスキャン内の類似の向きを有する隣接面を識別することをさらに含み、２Ｄ検出関心領域を完成３Ｄスキャンと交差させて３Ｄスキャン交差部を作成することが、壁間取図部分を２Ｄマーカーに平坦化することをさらに含む。

【0017】

(21)実施形態において、２Ｄ検出関心領域を受け取ることが、関心領域を検出するためにデバイス上に取り付けられた２Ｄカメラからのカメラフィードを使用する機械学習画像認識システムを含む。

【0018】

(22)実施形態において、第２の２Ｄ検出関心領域を３Ｄスキャンと交差させて３Ｄスキャン交差部を作成することが、完成３Ｄスキャン上で表面を探索することと、完成３Ｄスキャンの表面に対して９０°の射線の周囲の領域をマークする３つのユーザ関心点の３Ｄ延長部を作成することと、３つのユーザ関心点の３Ｄ延長部の完成３Ｄスキャンとの交差部を関心領域としてマークすることとを含む。

【0019】

(23)実施形態において、関心領域は、壁、ドア、窓、本棚、机、照明器具、テーブルまたはセンサーである。
(24)本発明の上記およびその他の態様は、以下の説明および添付図面とともに検討すればよりよく認識および理解されるであろう。以下の説明は、実施形態のうちの様々な実施形態およびその多くの具体的詳細を示しているが、例示として示されるものであり、限定ではない。実施形態の範囲内で多くの置換、修正、追加または配置変更が行われてもよく、実施形態にはそのようなすべての置換、修正、追加または配置変更が含まれる。

【0020】

(25)本実施形態のうちの非限定的および非網羅的実施形態について以下の図面を参照しながら説明するが、特に明記されていない限り、様々な図面を通じて同様の参照番号は同様の部分を指す。

【図面の簡単な説明】

【0021】

【図1】(26)非構造化データアーチファクトを示すＬＩＤＡＲスキャンを示す図である。

【図2】(27)スキャニングデバイスのいくつかの特徴の例示の実施形態を示す機能ブロック図である。

【図3】(28)特定の記載の実施形態による、２Ｄスキャンと３Ｄスキャンとを使用して建物の特徴をキャプチャする方法を示すフローチャートである。

【図4A】(29)特定の記載の実施形態による、カメラシステムからの入力を使用する機械学習アルゴリズムによって検出可能な例示の関心領域の映像４００Ａを示す図である。

【図4B】(30)特定の記載の実施形態による、３次元射線に置き換えられた２次元注釈を有する図４Ａに示す関心領域を示す図である。

【図4C】(31)特定の記載の実施形態による、壁を通って投影するコーンを有する図４Ａに示す関心領域を示す図である。

【図5A】(32)特定の記載の実施形態による、例示のタッチセンシティブ表面の映像を示す図である。

【図5B】特定の記載の実施形態による、例示のタッチセンシティブ表面の映像を示す図である。

【図5C】特定の記載の実施形態による、例示のタッチセンシティブ表面の映像を示す図である。

【図5D】特定の記載の実施形態による、例示のタッチセンシティブ表面の映像を示す図である。

【図6】(33)特定の記載の実施形態によるマルチルームスキャンセッションを示す図である。

【図7】(34)図７Ａは、特定の記載の実施形態による、３Ｄメッシュスキャンのスライスを示す図である。 (35)図７Ｂは、間取図が描き込まれた３Ｄメッシュスキャンのスライスを示す図である。

【図8A】(36)特定の記載の実施形態による、３Ｄモデル内の元の射線位置から投射されている射線を示す図である。

【図8B】特定の記載の実施形態による、３Ｄモデル内の元の射線位置から投射されている射線を示す図である。

【図8C】(37)特定の記載の実施形態による、マーカーの向きが初期射線投射におけるのと同じ向きであることが明らかになった壁の一部を示す図である。

【図8D】(38)特定の記載の実施形態による、平坦化された２次元マーカーを示す図である。

【図8E】(39)当初配置された射線位置がドリフトに起因して正しくない場合に調整された射線を示す、壁の一部を示す図である。

【図8F】(40)特定の記載の実施形態による、マーカーを接続するための例示の方式を示す図である。

【図8G】(41)特定の記載の実施形態による、接続されるべきでない例示の１組のマーカーを示す図である。

【図8H】(42)特定の記載の実施形態により構築可能な部屋の輪郭を示す図である。

【図9】(43)特定の記載の実施形態による、注釈が配置される場合に壁をマークするために画面上に配置可能なマーカーを示す図である。

【図10】(44)特定の記載の実施形態による、２Ｄスキャンと３Ｄスキャンとを使用して建物の特徴をキャプチャするための例示のシステムを示す機能ブロック図である。

【図11】(45)特定の記載の実施形態による、スキャンにおける例示のｚ軸を示す図である。

【図12】(46)特定の記載の実施形態による、２Ｄスキャンと３Ｄスキャンとを使用して建物の特徴をキャプチャする方法を示すフローチャートである。

【図13】(47)図１３Ａは、一部の記載の実施形態において使用可能な例示のスキャナの背面を示す図である。 (48)図１３Ｂは、一部の記載の実施形態において使用可能な例示のスキャナの前面を示す図である。

【図14】(49)図１４Ａは、一部の記載の実施形態において使用可能な例示のスキャナの背面を示す図である。 (50)図１４Ｂは、一部の記載の実施形態において使用可能な例示のスキャナの前面を示す図である。

【発明を実施するための形態】

【0022】

(51)図面のうちのいくつかの図を通して、対応する参照文字は対応するコンポーネントを示す。当業者は、図中の要素は簡単にするために示されており、必ずしも一律の縮尺で描かれていないことがわかるであろう。たとえば、様々な実施形態を理解しやすくするために、図中の要素のうちの一部の要素の寸法が他の要素に対して相対的に誇張されている場合がある。また、様々な実施形態の図が見にくくならないようにするために、商業的に実現可能な実施形態において有用または必要な、一般的であるがよく理解されている要素は、多くの場合、図示されていない。

【0023】

(52)以下、配線図を自動的に作成するためのシステムおよび方法に特に適用性を有する、方法、コンピュータ可読媒体およびシステムの代表的な実施形態を開示する。記載の実施形態は、記載の技術のうちの１つまたは複数の技術を実装する。

【0024】

(53)以下の説明では、本実施形態が十分に理解されるようにするために、多くの具体的な詳細が記載されている。しかし、当業者には、この具体的な詳細は本実施形態を実施するために採用される必要はないことがわかるであろう。また、本実施形態がわかりにくくなるのを避けるために、よく知られている材料または方法については詳細に説明されていない。「一実施形態」、「実施形態」、「一実施例」または「実施例」は、その実施形態または実施例との関連で記載されている特定の特徴、構造または特性が本実施形態のうちの少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書全体の様々な箇所における「一実施形態において」、「実施形態において」、「一実施例」、または「実施例」という語句の記載は、必ずしもすべてが同じ実施形態または実施例を指しているとは限らない。本開示の範囲から逸脱することなく、本明細書に記載のシステム、装置および方法に対して、修正、追加または省略が行われてもよい。たとえば、システムおよび装置のコンポーネントが統合または分離されてもよい。また、本明細書で開示されているシステムおよび装置の動作は、より多いかより少ないコンポーネント、または他のコンポーネントによって行われてもよく、記載されている方法は、より多いかより少ないステップ、または他のステップを含んでもよい。さらに、ステップは任意の適切な順序で行われてもよい。

【0025】

(54)便宜上、本開示について、たとえば左、右、最上部、最下部、前部、後部、上部、下部、上方および下方およびその他を含む相対的な語を使用して説明されている場合がある。これらの用語は、例示を目的として使用されているに過ぎず、いかなる形でも限定を意味していない。

【0026】

(55)さらに、本明細書とともに提供される図は、当業者に対する説明を目的としていることと、図面は必ずしも一律の縮尺で描かれていないことを理解されたい。特許庁および本出願に対して発行されるいずれの特許のいずれの読者にも、本出願に添付されている特許請求の範囲を解釈する助けとなるように、出願人らは特定の請求項において「～する手段（ｍｅａｎｓ ｆｏｒ）」または「～するステップ（ｓｔｅｐ ｆｏｒ）」と言う語が明示的に使用されていない限り、添付の特許請求の範囲または請求要素のいずれも米国特許法第１１２条（ｆ）を行使することを意図していないことを特記したい。

【0027】

(56)本実施形態による実施形態は、装置、方法またはコンピュータプログラム製品として実装可能である。したがって、本実施形態は、完全にハードウェア実施形態、完全にソフトウェア実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、または、「システム」と呼ばれる場合があるソフトウェア態様とハードウェア態様を組み合わせた実施形態の形態をとることができる。また、本実施形態は、媒体において具現化されたコンピュータ使用可能プログラムコードを有する表現の任意の有形媒体で具現化されたコンピュータプログラム製品の形態をとることも可能である。

【0028】

(57)１つまたは複数のコンピュータ使用可能またはコンピュータ可読媒体の任意の組合せが使用されてもよい。たとえば、コンピュータ可読媒体は、可搬型コンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）デバイス、読み出し専用メモリ（ＲＯＭ）デバイス、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）デバイス、可搬型コンパクトディスク読み出し専用メモリ（ＣＤＲＯＭ）、光記憶デバイス、および磁気記憶デバイスのうちの１つまたは複数を含み得る。本実施形態の動作を実施するためのコンピュータプログラムコードは、１つまたは複数のプログラミング言語の任意の組合せで書くことができる。

【0029】

(58)流れ図におけるフローチャートおよびブロック図は、本実施形態のうちの様々な実施形態によるシステム、方法およびコンピュータプログラム製品の可能な実装形態のアーキテクチャ、機能および動作を示す。これに関連して、フローチャートまたはブロック図における各ブロックは、指定されている論理機能を実施するための１つまたは複数の実行可能命令を含むコードのモジュール、セグメントまたは一部を表す場合がある。ブロック図および／またはフローチャート図の各ブロックおよびブロック図および／またはフローチャート図のブロックの組合せは、指定されている機能または動作を行う専用ハードウェアベースのシステム、または専用ハードウェアとコンピュータ命令との組合せによって実施可能であることにも留意されたい。これらのコンピュータプログラム命令は、コンピュータ可読媒体に記憶されている命令が、フローチャートおよび／またはブロック図の１つまたは複数のブロックで指定されている機能／動作を実施する命令手段を含む製造品をもたらすように、コンピュータまたはその他のプログラマブルデータ処理装置に特定の方式で機能するように指示することができるコンピュータ可読媒体に記憶可能である。

【0030】

(59)本明細書で使用されている、「含んでいる（ｃｏｍｐｒｉｓｅｓ）」、「含む（ｃｏｍｐｒｉｓｉｎｇ）」、「含んでいる（ｉｎｃｌｕｄｉｎｇ）」、「含む（ｉｎｃｌｕｄｅ）」、「有している（ｈａｓ）」、「有する（ｈａｖｉｎｇ）」またはこれらの任意のその他の変形は、非排他的包含を対象として含むことが意図されている。たとえば、要素の列挙を含むプロセス、物または装置は、必ずしもそれらの要素のみには限定されず、明示的に列挙されていないかまたはそのようなプロセス、物または装置に本来備わるその他の要素を含み得る。

【0031】

(60)また、これに反するように明記されていない限り、「または」は包含的またはを指し、排他的またはを指さない。たとえば、ＡまたはＢという条件は、以下のいずれか１つによって満たされる。すなわち、Ａが真であり（または存在し）、Ｂが偽である（存在しない）、Ａが偽であり（または存在せず）、Ｂが真である（または存在する）、およびＡとＢの両方が真である（または存在する）。本明細書において「プログラム」は、プログラマー（開発者とも呼ばれる）によって書かれ、および／または自動的に生成される、アプリケーション、カーネル、ドライバ、割り込みハンドラ、ファームウェア、状態機械、ライブラリおよびその他のコードを含むように広義に使用されている。「最適化する」とは、改良を意味し、必ずしも完璧を意味しない。たとえば、最適化されたプログラムまたはアルゴリズムにさらなる改良を加えることが可能な場合がある。

【0032】

(61)さらに、本明細書で示される例または例示は、それとともに使用されるいずれの１つまたは複数の用語の定義の制限、限定または明示的定義と決してみなされるべきではない。そうではなく、これらの例または例示は、１つの特定の実施形態に関して説明されているものとして、および、例示に過ぎないものとみなされるべきである。当業者は、これらの例または例示がそれとともに使用されているいずれの１つまたは複数の用語も、それとともにまたは本出願の他の箇所で示されている場合も示されていない場合もある他の実施形態を包含し、すべてのそのような実施形態がその１つまたは複数の用語の範囲内に含まれることが意図されていることがわかるであろう。このような非限定的な例および例示を示す表現には、「たとえば」、「例として」、「ｅ．ｇ．」および「一実施形態では」が含まれるが、これらには限定されない。

【0033】

(62)本明細書に記載の技術的特徴は、当業者には明らかであり、広範な注意深い読者にもいくつかの方法で明らかであろう。一部の実施形態は、記録を必要とせずに環境内で利用可能なエネルギーに依存する電力柔軟性を使用するセンサーの提供など、コンピューティング技術に根ざした技術活動を扱う。これは、実装に要する労力がはるかに少なく、類似のものよりもはるかに低頻度でバッテリ交換を必要とするセンサーを提供する。本教示の技術的特徴に基づくその他の利点も、提供される説明から当業者には明らかになるであろう。
Ｉ．概説
(63)拡張現実ＡＲ／ＬｉＤＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ（拡張現実）／Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ（光検出および測距））は、人が建物内を通って歩き、カメラによってその区域を調べるだけで、妥当な正確さと精度でリアルタイムで詳細な３Ｄ点群をキャプチャすることを可能にする。３Ｄメッシュを作成するためにこの３Ｄ点群を自動的に構造化することができる。しかし、図１の１００を参照しながら示すように、代表的なＬｉＤＡＲメッシュは、多くのノイズとアーチファクト１０５、１１０を有する非構造化「三角形スープ」として現れ、家具、電化製品および存在するその他の物質などから、壁１１５などの場面のうちの重要な側面を区別するのをきわめて困難にする。また、未加工の細部の量が、壁、窓、ドアなどの関心領域を抽出するのを困難にする。たとえば、建物は、壁ではない多くの平坦な「壁状」表面、たとえば１２０、戸棚を含み、壁ではないものから壁を指定するための幾何学的基準を判定するのを困難にする。これらの特徴の定義は文脈に大きく依存する。

【0034】

(64)本明細書では、多くの特徴がインテリジェントに検出可能であるかのように３Ｄ環境がキャプチャされる方法およびシステムが開示される。環境の３Ｄ点群または３Ｄメッシュが、ＬｉＤＡＲなどの深度測定システムを使用して、人工現実（ＡＲ）環境において同じ系がキャプチャされるのと同時にキャプチャされる。次に、ＡＲ環境上に注釈を配置するためにユーザ入力と機械学習との組合せを使用する。これらの注釈は、３Ｄ ＬｉＤＡＲシステムから２Ｄ座標を使用して配置される。注釈は関心のある特徴のおおよその位置を識別するためのヒントの役割を果たす。しかし、注釈の初期配置は、特徴がどこに位置するかを厳密には示さず、注釈は関心特徴を見つけるために３Ｄメッシュ内を探索するためのおおよその区域を示唆する。３Ｄメッシュが完成した後は、後処理ステップにおいて、２Ｄ注釈が３Ｄ空間における特定の位置に変換され、関心特徴の位置が突き止められる。配置を後処理まで遅らせることによって、正確さと一貫性の有意な向上を可能にする。

【0035】

(65)人間によって壁などの特定の関心特徴上に配置される注釈と、機械学習システムによって認識される注釈の２種類の注釈が開示される。両方の種類の注釈は、最初、メッシュが構築されるときに配置され、次に、後処理ステップにおいて配置が最終的に決定される。移動した経路を取得するために定期的にデバイスの位置を記録するなど、他の注釈の種類も可能である。これは、床またはその他の特徴を検出するために使用することができる。
ＩＩ．適切なコンピューティング環境
(66)図２に、記載の実施形態を実装可能な適切なコンピューティング環境２００の一般化された実施例を示す。本開示は多様な汎用または専用コンピューティング環境において実装可能であるため、コンピューティング環境２００は本開示の使用または機能の範囲についていかなる限定を示唆することも意図されていない。

【0036】

(67)図２を参照すると、コア処理がコア処理２３０ボックスによって示されている。コンピューティング環境２００は、少なくとも１つの中央処理装置２１０と、ＧＰＵ２１５と、メモリ２２０とを含む。中央処理装置２１０は、コンピュータ実行可能命令を実行し、実プロセッサまたは仮想プロセッサとすることができる。メモリ２２０は、揮発性メモリ（たとえば、レジスタ、キャッシュ、ＲＡＭ）、不揮発性メモリ（たとえば、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリなど）、またはこの２つの何らかの組合せとすることができる。メモリ２２０は、深度スキャンを使用して建物の特徴をキャプチャする記載の方法を実施するソフトウェア２８５を記憶する。

【0037】

(68)コンピューティング環境は追加の特徴を有してもよい。たとえば、コンピューティング環境２００は、ストレージ２４０と通信接続２７０とを含み、通信接続２７０は１つまたは複数の入力／出力デバイス２５０、１つまたは複数のネットワーク接続（たとえば、有線、無線など）２６０と、その他の通信接続（図示せず）とを含むことができる。通信接続２７０は、無線通信を行うための１つまたは複数の無線送受信器、および／または、有線通信を行うための１つまたは複数の通信ポートを含んでもよい。実施形態において、通信デバイス２７０は、２Ｄセンサーおよび３Ｄセンサーを使用してキャプチャされた建物の特徴を受信するように構成可能である。入力／出力デバイスは、２次元カメラ２５２を含み得る。ＬｉＤＡＲ（光検出および測距）システムなどの深度センサー２５４と、ユーザが情報を入力し、画像情報を表示することを可能にするタッチスクリーン２５６も含み得る。バス、コントローラ、またはネットワークなどの相互接続機構（図示せず）が、コンピューティング環境２００のコンポーネントを相互接続する。典型的には、オペレーティングシステムソフトウェア（図示せず）が、コンピューティング環境２００内で実行される他のソフトウェアに動作環境を与え、コンピューティング環境２００のコンポーネントの活動を連携させる。コンピューティングシステムは分散型であってもよく、ソフトウェア２８５の各部を異なるＣＰＵで実行してもよい。

【0038】

(69)ストレージ２４０は、取り外し型または非取り外し型であってもよく、磁気ディスク、磁気テープもしくはカセット、ＣＤ－ＲＯＭ、ＣＤ－ＲＷ、ＤＶＤ、フラッシュドライブ、または情報を記憶するために使用することができ、コンピューティング環境２００内でアクセス可能な任意のその他の媒体とすることができる。ストレージ２４０は、深度スキャンを使用して建物の特徴をキャプチャする方法を実施する関心領域検出ソフトウェア２８５などのソフトウェアの命令を記憶する。

【0039】

(70)入力デバイス２５０は、キーボードなどのタッチ入力デバイス、カメラ２５２、ＬＩＤＡＲシステムなどの深度測定システム２５４、マイクロフォン、マウス、ペン、またはトラックボール、スキャニングデバイス、タッチスクリーン２５６、またはコンピューティング環境２００に入力を提供する他のデバイスなど、ユーザまたは他のデバイスがコンピューティング環境２００とやり取りすることを可能にするデバイスとすることができる。音声のために、入力デバイス２５０は、アナログまたはデジタルの形態の音声入力を受け付けるサウンドカードまたは同様のデバイス、またはコンピューティング環境に音声サンプルを供給するＣＤ－ＲＯＭリーダーであってもよい。出力デバイス２５０は、タッチスクリーン、ディスプレイ、プリンタ、スピーカー、ＣＤライター、またはコンピューティング環境２００から出力を提供する他のデバイスであってもよい。デバイスが、２Ｄスキャナ２５２および深度センサー２５４によってどの方向で映像が撮られるかを判定することができるようにし得るコンパス／マグノメータ２９０が含まれてもよい。

【0040】

(71)通信接続２７０は、別のコンピューティングエンティティとの通信媒体を介した通信を可能にする。通信媒体は、コンピュータ実行可能命令、圧縮グラフィックス情報または、その他のデータを変調データ信号として伝達する。通信接続２７０は、入力／出力デバイス２５０と、クライアントデバイスがネットワーク２６０を介して別のデバイスと通信することができるようにする入力／出力デバイスとを含むことができる。通信デバイスは、無線通信を行うための１つまたは複数の無線送受信器、および／または有線通信を行うための１つまたは複数の通信ポートを含んでもよい。これらの接続は、インターネット、イントラネット、ＬＡＮ、ＷＡＮ、セルラネットワーク、または他の種類のネットワークなど、有線または無線ネットワークとすることができる、ネットワーク接続を含むことができる。ネットワーク２６０は、複数の異なる種類の有線または無線ネットワークの組合せであってもよいことを理解されたい。ネットワーク２６０は、協調して機能するビルディングコントローラであってもよい複数のコンピュータを有する分散ネットワークであってもよい。コンピューティング接続２７０は、無線ハンドヘルドデバイス、携帯電話デバイスなどの携帯型通信デバイスであってもよい。

【0041】

(72)コンピュータ可読媒体は、コンピューティング環境内でアクセス可能な任意の利用可能な非一過性の有形媒体である。例として、限定ではなく、コンピューティング環境２００の場合、コンピュータ可読媒体は、メモリ２２０、ストレージ２４０、通信媒体および上記のいずれかの組合せとすることができる。コンピュータ可読媒体を記憶するために使用可能なコンピュータ可読記憶媒体２６５は、命令２７５とデータ２８０を含むことができる。データソースは、通信接続２７０を介して情報を送受信するように構成された汎用ハードウェアプラットフォームサーバなどのコンピューティングデバイスであってもよい。コンピューティング環境２００は、ＨＶＡＣリソースなどの様々なリソースに直接接続され、ＣＰＵ２１０、ＧＰＵ２１５，メモリ２２０、入力デバイス２５０、通信接続２７０、および／またはコンピューティング環境２００において示されているその他の特徴を有する、電気コントローラであってもよい。コンピューティング環境２００は、一連の分散コンピュータであってもよい。これらの分散コンピュータは、一連の接続された電気コントローラを含むことができる。

【0042】

(73)本開示の方法のうちの一部の方法の動作について好都合な提示のために順次的な順序で具体的に説明されているが、以下に記載されている特定の言語によって特定の順序付けが必要とされない限り、この説明方法は並べ替えを包含することを理解されたい。たとえば、順次に記載されている動作は並べ替えることができ、または並行して行うことができる。また、簡単にするために、添付図面は、本開示の方法、装置およびシステムを他の方法、装置およびシステムとともに使用することができる様々な方式を示していない場合がある。さらに、説明では、本開示の技術を説明するために、「判定する」、「構築する」および「識別する」のような用語を使用する場合がある。これらの用語は、行われる実際の動作を高度に抽象化したものである。これらの用語に対応する実際の動作は、特定の実施形態に応じて異なることになり、当業者によって容易に識別可能である。

【0043】

(74)また、本開示の方法のいずれかから生成されるデータは、様々な異なるデータ構造または形式を使用して、作成、更新、または有形コンピュータ可読媒体（たとえば、１つまたは複数のＣＤ、揮発性メモリコンポーネント（ＤＲＡＭまたはＳＲＡＭなど）、または不揮発性メモリコンポーネント（ハードドライブなど）に記憶することができる。そのようなデータは、ローカルコンピュータにおいて、またはネットワークを介して（たとえばサーバコンピュータによって）作成または更新することができ、あるいはクラウドコンピューティング環境において記憶およびアクセス可能である。
ＩＩ．方法実施形態
(75)図３を参照すると、フローチャート３００が本明細書で開示されている実施形態におけるデバイスによって使用可能な方法を説明している。以下に示す方法３００の動作は、例示であることが意図されている。実施形態によっては、方法３００は、記載されていない１つまたは複数の追加の動作とともに、および／または記載の動作のうちの１つまたは複数の動作なしに、行われてもよい。さらに、方法３００の動作が図３に示され、以下で説明されている順序は、限定的であることは意図されていない。

【0044】

(76)実施形態によっては、方法３００は、中央処理装置２１０とメモリ素子２２０とを含むコア処理要素内など、１つまたは複数の処理デバイス（たとえば、デジタルプロセッサ、アナログプロセッサ、マイクロプロセッシングユニット、情報を処理するように設計されたデジタル回路、および／または情報を電子的に処理するための機構）内のプロセッサおよびメモリ素子２３０に記憶されたプログラム２８５によって実施可能である。１つまたは複数の処理デバイスは、電子記憶媒体に電子的に記憶されている命令に応答して方法３００の動作の一部または全部を実行する、１つまたは複数のデバイスを含み得る。１つまたは複数の処理デバイスは、方法３００の動作のうちの１つまたは複数の動作の実行のために特に設計されるハードウェア、ファームウェアおよび／またはソフトウェアにより構成された１つまたは複数のデバイスを含むことができる。動作３０５は、プロセッサとメモリと入力／出力デバイスと深度センサーとを有するデバイスに装着されたカメラを使用して関心領域を取得することを示しており、カメラは２次元格子を使用してカメラから空間内のそれぞれの点までの距離を定義する。関心領域は、画像認識ソフトウェアを使用して取得されてもよい。この画像認識ソフトウェアは、機械学習ソフトウェア、人工現実ソフトウェア、両者の組合せ、何らかの他のものなどであってもよい。ソフトウェアは、カメラ入力に関連付けることができる。画像認識ソフトウェアは、スキャニングにぴったり合致するように見えない場合がある。従来の拡張現実は、カメラの直前の世界観を構築するためにカメラの視差とフィードを使用する。しかし、これは局所的な世界観に過ぎず、新たな点に移動するとその特定の点で構築された世界と前に記録されたいずれかの世界との間に対応関係がほとんどない場合がある。これは、スキャンのため、または現実世界を表現するために、ＡＲまたはＬＩＤＡＲを使用する誰もが直面する問題である。カメラは、直接視野内にある特徴を追跡することができるかも知れないが、局所的に正しい測定値を大域的な一貫性のあるマップになるようにどのようにして継ぎ合わせるかは不明確である。たとえば、３Ｄビューを作成するためにＬｉＤＡＲが使用される場合、ＬｉＤＡＲは、ＬｉＤＡＲのセンサーからの新たな入力に基づいてマップが作成され続けるときにその世界観を絶えず調整する。その結果、特に空間を動き回るときに、前に有効だった位置が無効になる可能性がある。これは、特に物体が現在の３Ｄキャプチャ視野の範囲外にある場合に、さらなる情報が追加されると３次元キャプチャ内に配置された物体を３次元格子上でドリフトさせる。この現実を念頭に置いて注釈が作成される。３Ｄメッシュは座標における更新に対して堅牢であるため、注釈は真実性のソースとして３Ｄメッシュに従う。注釈は、メッシュのおおよその区域のみを示し、これは幾何形状全体が最終決定されるときに精緻化される。

【0045】

(77)空間をキャプチャするために、実施形態によっては、ユーザがカメラと深度スキャナの両方を有するデバイス（たとえば図２）を、複数の観点から空間内の区域に向けながら歩き回る。この２次元キャプチャは、３次元格子の２次元の変換を使用して３Ｄ深度幾何形状の表現を提示する。変換は、カメラ、深度スキャナあるいはその両方に関連付けられたソフトウェアによって提供される。このスキャンは、向きとコンパス方位とを含む、センサーからの関連読み取り値を含む。窓、通気孔、ドアなどの関心図は、認識ソフトウェアを使用して認識可能な明確に異なる形状を有する。１つまたは複数の機械学習アルゴリズムなどを含み得る認識ソフトウェアは、例示の関心領域を判定するために２次元キャプチャを使用することができる場合がある。図４Ａは、２Ｄカメラシステムからの入力を使用する機械学習アルゴリズムによって検出可能な例示の関心領域の映像４００Ａを示す。たとえば、ドアを検出することができる。この検出は、物体の角に対応する少なくとも３つの関心点を検出することを含み得る。図の実施例では、ドアの角に対応する４つの点４０５Ａ、４１０Ａ、４１５Ａおよび４２０Ａが検出される。これらの点４０５Ａ～４２０Ａは、ドアの位置をマークするために２次元で検出される。

【0046】

(78)動作３１０において、深度センサーによってキャプチャされた複数の深度測定値が取得される。これらの深度測定値は、深度測定キャプチャに関連付けられたプログラムから取得可能である。深度測定値は、３次元格子を使用して深度センサーから空間内のそれぞれの点までの距離を定義する。

【0047】

(79)動作３１５において、３次元射線を作成するために、（２次元における）検出された関心領域が３次元格子上にマッピングされる。この２次元は２次元格子において検出可能であり、これは次に３Ｄメッシュ系、２Ｄカメラ系、何らかの組合せなどとともに、利用可能なソフトウェアを使用して３次元メッシュ格子位置に変換することができる。検出された点について、２次元は次に、関心領域が付属する３次元形状と交差する第３次元尾部を有する射線に変換される。仮想３Ｄ場面内で、２Ｄおよび３Ｄ光学系と一致する方式で射線を３Ｄ世界に投射する方法およびシステムが当業者に知られている。実施形態によっては、交差は９０°とすることができる。他の実施形態は異なる角度での交差部を有してもよく、角度を規定しなくてもよく、特定の割合内の角度を許容してもよい、などとすることができる。次に、射線が３Ｄ世界内のどこでメッシュに当たるかを調べるために射線が辿られる。これが３Ｄ点を与える射線の点である。これの一例は、図４Ｂに関して見ることができる。図４Ｂの４００Ｂは、２次元注釈が、３次元格子に関連付けられた３次元射線に置き換えられ、３Ｄシステムによって検出された物体と射線が約９０°で交差している、図４Ａに示す関心領域を示す。３Ｄキャプチャシステムは空間のより多くをキャプチャするため、個別の３次元点が３Ｄキャプチャシステムによって調整されてもよい。射線（たとえば４０５Ｂ、４１０Ｂ、４１５Ｂ、４２０Ｂ）は３次元系に関連付けられているため、射線は系に変更が加えられると系とともに移動することになる。

【0048】

(80)実施形態によっては、特定の特徴をマークするための注釈が、格子線によってさらに指定することができる３次元深度ビューの表現の表面（２次元表現）上に配置される。図５Ａは、３次元深度ビューを表す格子線５０５Ａ、５１０Ａを備えた３次元深度ビューの２次元ビューを示す、例示のタッチセンシティブ表面の映像５００Ａである。この３次元ビューは、完成画像ではなく、このビューが生成されるときなど、空間のスキャンが進行中に生成される映像とみなされるべきである。図５Ｂは、２次元、すなわちタッチスクリーンの２次元においてユーザによって配置された注釈５０５Ｂを有する例示のタッチスクリーンの映像５００Ｂである。この注釈は、壁を定義するために配置されている。この実施形態についてタッチスクリーンを参照しながら説明するが、入力は３次元ビューの２次元版を表示するコンピュータモニターを使用して提供することができ、入力は、マウスポインターが注釈位置の上に位置する間にマウスクリックによって、または当業者に知られているその他の入力方法によって提供される。これらの注釈は保存される。注釈は、注釈内を指す線を表す（３Ｄビュー内の）第３の次元を有する３Ｄ座標系における２つの位置次元に変換された２次元ビューからの２つの既知の次元を有する射線として保存可能である。図５Ｃの５００Ｃに、注釈５０５Ｂから作成され、次に３Ｄ座標系内に保存される射線５０５Ｃを示す。図５Ｄの５００Ｄに、スキャン全体が行われたときに移動した例示の３次元座標系を示す。元の注釈点５０５Ｄが５１０Ｄによって表された位置に移動している。注釈を表す射線が座標シフト位置として３次元座標系とともに保存されるため、射線は他の座標とともに位置をシフトさせることになり、スキャンの終わりにおける射線が位置５１５Ｄに残る。

【0049】

(81)動作３２０で、空間の完成深度測定３次元格子が取得される。ユーザがスキャンを完了した後、このステップを行うことができる。この格子は深度測定デバイスに関連付けられた深度測定ソフトウェアから取得可能である。たとえば、ＬｉＤＡＲを有するＡｐｐｌｅ ｉＰｈｏｎｅ（登録商標）は、このような情報を提供することができる様々なアプリケーションを有する。再構成ソフトウェアがそのセンサーからの新たな入力に基づいて後のスナップショットにおける世界観を絶えず修正する場合があるため、完成深度測定３次元格子はその特定の注釈が生成されたときの個別のスナップショットによって最初に生成された元の格子とはわずかに異なる可能性がある。その結果、前の注釈位置（たとえば４０５、５０５Ｂ）が位置を変化させている可能性がある。これの一例は、図５Ｄで見ることができる。空間全体がスキャンされ、壁などが調整された後、元の注釈位置５０５Ｃは位置５１０Ｄに移動している。元は５０５Ｂ、５０５Ｄにあった射線５０５Ｃ、５１５Ｄが、ここでは位置５１０Ｄに移動している。

【0050】

(82)図６に、３つの部屋ＲＭ１ ６３０、ＲＭ２ ６３５およびＲＭ３ ６４０を有するマルチルームスキャンセッション６００を示す。これは上面図であり、点線はユーザがスキャンを行うときに歩いた経路を示す。ユーザは、部屋６３０の１点６０５から開始し、部屋６３０の端６１０まで続けることができる。１つの区域が完了すると、それをたとえば６１０において明示的に保存してもよい。しかし、ユーザが最初の座標系を維持しながら追加の部屋、たとえばＲＭ２ ６３５およびＲＭ３ ６４０をスキャンすることができるように、スキャンセッションは中断しないままとすることができる。したがって、ユーザは６１０と６１５の間の経路の後にＲＭ２ ６３５をスキャンすることができる。６１５において保存があると仮定すると、中断、たとえば位置６１５と６２０との相違は、コンパス／マグノメータ２９０を使用して正しい向きとされ得る。しかし、異なるスキャンの何らかの縫合を手動で行う必要がある場合がある。スキャンは離散的な区域に分離されることがある。これは、論理構成の理由から、および、メモリ、レンダリング、ストレージなどのリソース限界に対処するために行われる場合がある。スキャンがキャプチャされた後は、実施形態によっては、変換されたスキャンを長期記憶により適するようにするために、変換、圧縮（たとえばｇｚｉｐ、ｚｉｐ、または当業者に知られているその他の圧縮手段）、および／または最適化の何らかの組合せが行われてもよい。実施形態において、スキャンからの３次元メッシュ（ＬｉＤＡＲメッシュであってもよい）をチャンクに分割することができる。実施形態によっては、３次元メッシュを異なるデータ構造などに分割するなど、他の方法が使用されてもよい。チャンクが使用される場合、チャンクは、扱われるシステム、使用される機器などにとって適切なサイズのものとすることができる。場合によっては、これはシームレスに嵌め合わされる１立方メートル体積であってもよい。ある実施形態ではチャンクは等しい大きさとすることができ、ある実施形態ではチャンクは異なる大きさなどであってもよい。データは、正確さと一貫性のために元のキャプチャと同じ座標系で記憶可能である。整数演算とは異なり、浮動小数点演算が行われるたびに、精度が失われる。３Ｄメッシュは多数の点を有し、点はわずかな測定差を有するため、計算時間をスピードアップするためと３Ｄメッシュ内の正確さが失われるのを防ぐ両方の目的のために、可能な限り少ない浮動小数点演算を行うことが有利である。本明細書に記載の実施形態において、浮動小数点は最初に３Ｄメッシュに入力されるときに元のデータに対して１回だけで判定される。間取図を組み立てるなどの他の移動は、基礎にある浮動小数点数を変更するのではなく、元のソースを参照し、それを変換するだけである。実施形態によっては、３Ｄデータは必要以上に詳細である。そのような場合、形状定義を失わずに頂点と面の数を減らすために簡約化ステップが使用されてもよい。これにより、所要記憶量と処理するデータの量とが削減される。簡約化アルゴリズムは当業者に知られている。

【0051】

(83)動作３２５において、投影３次元形状を作成するために２次元検出関心領域が空間の完成深度測定格子上に投影される。図４Ｃの４００Ｃに、関心領域、この場合は壁を通って投影するコーンを有する図４Ａに示す関心領域を示す。３Ｄスキャンが完了し、基礎にある３Ｄ格子の移動に従って射線が移動した後、関心領域を配置し直す必要がある可能性がある。実施形態によっては、円４３０Ｃを画定するように関心領域射線位置４０５Ｂ～４２０Ｂ（ここでは基礎にある移動は示されていない）が使用され、次にこの円４３０Ｃが３Ｄ格子に投影される部分コーンを画定するために使用される。３つの点が使用されてもよく、４つの点が使用されてもよく、それによって交差部などのために使用される円錐台が作成される。空所（窓または出入口など）を含む関心領域が検索される場合、射線４１０５Ｂ～４２０Ｂに対して直角な（大部分が）平坦な表面４２５Ｃ（たとえば４２５Ｂなどの壁）が検索される。この表面は、全体が平坦である必要はない。実施形態によっては、「間取図抽出」の項に関連して説明されている方法およびシステムも組み込むことができる。

【0052】

(84)動作３３０において、投影された３次元形状と空間の完成深度測定３次元格子との交差部が検出され、関心領域としてマークされる。壁位置とコーンに沿って投影された射線４０５Ｃ、４１０Ｃ、４１５Ｃ、４２０Ｃとの交差部が関心領域の新たな角になる。この新たな関心領域は次に、図８Ａ～図８Ｆに関連して説明されている方法を使用して点を接続することによってさらに画定されてもよく、または異なる方法が使用されてもよい。

【0053】

(85)間取図の概念は直観的であるように思われるが、厳密に定義するのは難しい。たとえば、「家具がすべて取り除かれた歩きやすい区域」などの定義は、キャビネット、暖炉、段差など、間取図の一部ではない構造体がすべて含まれることになるため、不十分である。図７Ａの７００Ａに、３Ｄメッシュスキャンのスライスを示す。このスライスにおいて、どの線が間取図を構成するかを恐らく推定することができるが、そのためには、脳は余分な情報を無視し、欠けている詳細を挿入する。また、間取図がどのようなものであるかの決定は幾何形状にのみ基づいているわけではなく、むしろ空間の概念とその時点で人が何を重要とみなすかの暗黙の了解を含み、たとえば、隣接区域が別個の部屋とみなされるか否かは人間の入力を必要とする場合がある。間取図の定義は、幾何形状ではなく用途または美的感覚で表される場合が多い。図７Ｂを参照すると、恐らくユーザは間取図７００Ｂを描くことができるが、機械にはきわめて困難である。そのために、欠けている隙間を埋めるためにユーザ注釈と文脈分析を使用することができる。壁を識別するために、ユーザは図５Ｂを参照しながら示したように各壁上にマーカーを配置することができる。

【0054】

(86)図８Ａの８００Ａおよび図８Ｂの８００Ｂに、３Ｄモデル内の元の射線位置から投射されている射線を示す。空間のスキャンが完了した後の後処理において、わずかな量だけオフセットされた射線８０５Ａが、元のマーカー位置８１０Ａから３Ｄモデル内に投射される。実施形態によっては、射線８１５Ａの尾部はスキャンが行われた方向を指す。これらの射線位置８０５Ａは、壁の領域の向きと位置とを判定するためのサンプルの役割を果たす。それらの面の向きの大部分が一致している場所では、壁部分が存在すると判定される。８０５Ｂ、８１０Ｂおよび８１５Ｂに関して示すように、面の向きが一致しない場合、それらの射線は拒否される。図８Ｃの８００Ｃに、マーカーの向きが初期射線投射において同じ方向の向き８０５Ｃであることが明らかになった壁の一部を示す。実施形態によっては、８１０Ｃに示すように、壁のより広い区画を見つけるためにより広い区域がないか格子の向きが調べられる。図８Ｄの８００Ｄを参照しながら示すように、見つかった区画が、床の推定向きに垂直な２次元マーカー８０５Ｄに平坦化される。この床の推定向きはｚ軸であってもよい。マーカーは位置を提供するだけでなく、そこから向きが導き出される表面法線８１０Ｄも提供する。これによって、我々はどちら側が内側でどちら側が外側であるかもわかる。

【0055】

(87)図８Ｅに、元々配置されていた射線位置８０５Ｅがドリフトに起因して正しくない場合に調整される射線を示す壁８００Ｅの一部を示す。ここでは射線位置は３Ｄスキャンにおける隙間８１０Ｅに入る。この場合のように元の配置位置がドリフトに起因して正しくない場合であっても、向き（表面法線）は正しいと想定される。したがって、面によって十分に表現可能で向きにも一致する元の射線投射付近の位置が判定される。グレーで示すように元の射線をわずかにシフトさせる８１５Ｅと、今度は意図された表面８２０Ｅに当たる。これは、制約付き最適化問題とみなすことができ、変数は注釈位置である。交点への面のフィッティングを、特異値分解などの回帰を使用して解決することができる。実施形態によっては、受容可能な検索領域は注釈位置周辺の小さい立方体、円などの場合がある。

【0056】

(88)図８Ｆの８００Ｆおよび図８Ｈの８００Ｈに、マーカーを接続する例示の方法を示す。３Ｄメッシュ内で見つかった１つのマーカー８０５Ｆが、マーカー８０５Ｆの法線８３０Ｆもその内部に向けられている空間の内部に向けられた法線８３５Ｆを有するネイバー８１０Ｆを検出する。次に、この２つが接触８２５Ｆして角を形成するまで延長され８１５Ｆ、８２０Ｆ、３Ｄ交差部を作成する。３Ｄメッシュの向きおよびコンパス読み取り値がわかっているため、構築される壁の部分がわかる。これは、稜線が延長されるべき方向を判定するのに役立つ。部屋８００Ｈの輪郭が構築されるまで、コンパス向きなどの特徴を使用して稜線がネイバーごとに継ぎ合わされる。これらの輪郭線は稜線からなる閉路と呼ばれる場合がある。

【0057】

(89)図８Ｇの８００Ｇに、同じ空間の内部を指す法線８１０Ｇ、８２０Ｇを持たない２つのマーカー８０５Ｇおよび８１５Ｇを示す。マーカー８１５Ｇによって表される壁は、法線８１０Ｇ、８２０Ｇが向けられている異なる方向で表されているように、マーカー８０５Ｇの向きとは異なる向きにその内部を有する。これらは同じ空間の方に向けられていない。これらの２つのマーカーは、異なる部屋または部屋状の空間に向けられているため、図８Ｆを参照しながら示すように接続されるべきではない。

【0058】

(90)図９の９００に、注釈が配置される場合に壁をマークするために画面上に配置することができるマーカー９１０を示す。部屋などの空間をスキャンするとき、壁の前にある、収納部９１５、電子レンジなどの機器のある棚などの構造体がある場合があり、スキャナが壁深度を正しく測定するのを妨害する可能性がある。壁が見える空間がある場合、電話の画面などの２Ｄ表現内に、壁深度をマークする注釈９０５を配置することができる。実施形態によっては、画定された壁の部分を示す矩形などのマーカー９１０が２Ｄ表現上に示されてもよい。これは、間取図閉路のプレビューとすることができ、したがって接続性（どの注釈がネイバーであるか）と形状とを示すことができる。これにより、この時点までにどのような間取図がわかったかを示す上から見たプレビューを示す、「ミニマップ」が与えられる。一例が図７Ａを参照しながら示されている。
ＩＶ．システム実施形態
(91)次に図１０を参照すると、図１０は２Ｄスキャンと３Ｄスキャンを使用した建物の特徴をキャプチャするための１つのトポロジを示している。トポロジ１０００は、１つまたは複数の中央処理装置２１０と、メモリ２２０と、通信接続２７０とを含むことができる。ストレージ２４０は、１つまたは複数のコンピュータ可読記憶媒体を含むことができる。コンピューティング環境は、パーソナル電子デバイスにおいて見られるような可搬型とすることができる。

【0059】

(92)システム１０００は、３次元の空間をスキャンするように動作可能な３Ｄスキャナ１００５を含む。カメラなどの２Ｄスキャナ１０１０が、３Ｄスキャナに動作可能に接続されている。したがって、２Ｄスキャナは、３Ｄスキャナと同じ空間を同時にスキャンすることが可能とすることができる。２Ｄスキャンと３Ｄスキャンは、スキャンによって作成される２Ｄメッシュまたは３Ｄメッシュの変換を使用して（２Ｄ）位置を共有することが可能とすることができる。これらの変換は、２Ｄスキャナ１０１０と３Ｄスキャナ１００５とを保持するデバイスに関連付けられたソフトウェアによって提供可能である。２Ｄスキャナは、２次元における関心領域を検出するために機械学習またはその他の技術を使用するように動作可能である。関心領域は、壁、窓、ドアなど、建物の特徴とすることができる。関心領域は、機器、棚、家具など、移動可能な物体であってもよい。結合器が、関心特徴の２Ｄスキャン位置を３Ｄスキャン内の相当する位置に結合することが可能であってもよい。また、結合器は、３Ｄスキャナからの３次元のうちの２次元を使用して２Ｄスキャンにおいて関心特徴をマークするように動作可能であってもよい。これらのマークは、キャプチャされた２Ｄ次元である２次元を有する射線とすることができる。２Ｄ次元は次に、３Ｄ格子内のそれらに相当する位置に変換され得る。結合器は、これらの２Ｄ次元を、２Ｄスキャナと３Ｄスキャナの両方によって共有されている向きとともに射線に変換することが可能とすることができる。射線の尾部は、スキャン上の位置内部を指すｚ軸（ａ ｚ ａｘｉｓ ｔｈａｔ ｐｏｉｎｔｓ ｉｎｔｏ ｔｈｅ ｌｏｃａｔｉｏｎ ｏｎ ｔｈｅ ｓｃａｎ）とすることができ、ここで「内部を（ｉｎｔｏ）」は、スキャンが行われたときに２Ｄスキャナ１００５と２Ｄスキャナ１０１０が指していた方向を表す相対次元である。結合器１０２０は、２Ｄスキャナを使用して見つかった関心領域を結合する。

【0060】

(93)図１１の１１００に、スキャンされている場面１１１５（たとえば建物正面）の方を指すスキャナ１１０５を示す。スキャンが行われる線１１００は、２Ｄスキャナ１０１０にはない軸であるため、第３の次元軸とみなすことができる。これは、ｚ軸とも呼ばれる場合がある。このｚ軸は、３Ｄスキャナによって行われるスキャンの座標系によって決定可能とすることができる。次にそれを、射線尾部を作成するために使用することができる。これらのマークは、スキャンが行われている間に作成することができ、２Ｄ格子座標が適切な３Ｄ格子座標に変換されることを必要とする場合がある。２Ｄ格子座標は、２Ｄスキャナ、３Ｄスキャナ、または連携する２Ｄスキャナと３Ｄスキャナによって作成することができる。実施形態によっては、２Ｄ座標は、スキャナを含むデバイスに関連付けられたソフトウェア、ファームウェアおよび／またはハードウェアを使用して３Ｄ座標に変換されてもよい。関心領域のそれらの２Ｄマークを、空間の３Ｄ深度メッシュ内の集合体と交差する３Ｄ空間内の射線に変換するように動作可能な注釈器１０１５も含めることができる。集合体は、壁またはその他の大型の特徴であってもよい。集合体は、機器、センサーなどのはるかにより小さい特徴であってもよい。スキャンが行われているときに、３Ｄ格子が、スキャン作成プロセス中に３Ｄスキャナによって発見される新たな情報に従って調整されてもよい。したがって、３Ｄメッシュにおける３Ｄ位置は、元の位置から位置を移動している可能性がある。空間全体がスキャンされた後、たとえばスキャンが完了したとき、全体３Ｄスキャンに対して動作する後処理器１０２５が、３Ｄスキャン内の同等の位置に変換された元の２Ｄ位置を使用して関心領域がマークされた空間の３Ｄスキャンを作成するように動作可能とすることができる。３Ｄスキャンが作成されるときに、基礎にある３Ｄメッシュが位置を変える可能性があり、それによって、マークされた関心領域の位置が変わる可能性がある。２Ｄスキャンにおいて認められた関心領域が３Ｄスキャン内でマークされるため、新たな情報が組み込まれるために３Ｄスキャンがシフトすると、関心領域マークがそれらとともに移動する。後処理において、マークされた領域が再び注視され、関心領域により向け直される。これをどのように行うかを示す実施形態が、図８Ａ～図８Ｆおよび周囲のテキストを参照しながら示されている。
Ｖ．コンピュータ可読媒体実施形態
(94)図１２を参照すると、フローチャート１２００が、本明細書で開示されている実施形態におけるデバイスによって使用可能な方法を説明している。以下に示す方法１２００の動作は、例示であることが意図されている。実施形態によっては、方法１２００は記載されていない１つまたは複数の追加の動作とともに、および／または説明されている動作のうちの１つまたは複数の動作なしに行われてもよい。また、図１２に示され、以下で説明されている方法１２００の動作の順序は限定的であることが意図されていない。

【0061】

(95)実施形態によっては、方法１２００は、関心領域のキャプチャを行うための命令を記憶することができる非一過性のコンピュータ可読記憶媒体に記憶されてもよい。命令がプロセッサ、たとえば２１０または何らかの類似のプロセッサによって実行されると、プロセッサに方法１２００の動作を行わせることができる。

【0062】

(96)動作１２０５において、空間の３Ｄ部分スキャンが受け取られる。このスキャンは、デバイスに取り付けられたＬｉＤＡＲ計器によって元々作成されたものであってもよい。動作１２１０において、２Ｄ関心領域が受け取られてもよい。２Ｄ関心領域は、壁、ドア、窓、本棚、机、照明器具、テーブル、センサー、車両、人物、植物などの特徴とすることができる。この２Ｄ関心領域は、ＬｉＤＡＲ計器を保持する同じデバイスに取り付けられた２Ｄカメラによって生成されてもよい。３Ｄセンサーと２Ｄセンサーの両方を保持し得る一般的なデバイスは、パーソナルハンドヘルドコンピュータである。同じデバイス上の２Ｄセンサーと３Ｄセンサーは、連携することもでき、したがって、この２つの間のインターフェースを有してもよい。これは、スキャンされた２Ｄメッシュ内の２Ｄ位置が、部分的に完成された連携スキャン３Ｄメッシュ、すなわち部分３Ｄスキャン内の適切な位置内に配置されることを可能にする。メッシュがまだ部分的にのみ完成しているときに、２Ｄメッシュと３Ｄメッシュとの間の変換を使用して、２Ｄ位置を３Ｄ射線に変えることができる。これのいくつかの実施例は、図５Ａ～図５Ｄおよび周辺テキストを参照しながら示されている。

【0063】

(97)動作１２１０において、スキャンが部分的に完成しているときに、２Ｄ関心領域（ＲＯＩ）が受け取られる。このＲＯＩは、２ＤスキャンがそのＲＯＩに遭遇したときに受け取られてもよい。実施形態によっては、この関心領域は、デバイスに取り付けられた２Ｄカメラからのカメラフィードを使用する機械学習認識システムから受け取られてもよい。実施形態によっては、他の認識システムが使用されてもよい。機械学習認識システムについては当業者によって理解されている。これの一例は、図４Ａ～図４Ｂの４００Ａおよび４００Ｂにある。実施形態によっては、これは、３Ｄスキャンが上に重ねされた空間の一部を表示する画面上の関心領域をユーザがマークすることを含む。これの一例は図５Ａ～図５Ｂの５００Ａおよび５００Ｂにある。

【0064】

(98)動作１２１５において、スキャンがまだ部分的にのみ完成した状態で、３Ｄスキャン内でＲＯＩがマークされる。２Ｄスキャン内のＲＯＩの位置（または複数の位置）は３Ｄスキャン内の座標に変換可能である。この座標は次に、尾部が３Ｄスキャン内の広い表面を指す射線に変えられる。この射線尾部は、２Ｄカメラ、３Ｄスキャナ、その両方または異なる方法に関連付けられた、ソフトウェアを使用して、または異なる方法で推定可能である。この射線を２ＤマークＲＯＩと呼ぶ場合がある。これの実施例が図４Ａ～図４Ｂの４００Ａおよび４００Ｂにある。スキャンが完了した後は、スキャンの継続時に３Ｄスキャンにおいてマークされている位置がシフトしている可能性があり、それによってさらなる情報が取得される。

【0065】

(99)後処理段階において、元のマークされていたＲＯＩ位置が新たなスキャン内で配置し直される。動作１２２０において、完成３Ｄスキャンが受け取られる。これは、ＬｉＤＡＲ計器によって、または、デバイスに関連付けられたプロセッサに３Ｄスキャンを供給することができるＬｉＤＡＲ計器に接続されたシステムによって受け取られてもよい。３Ｄスキャンは、３Ｄデータ、センサー履歴（カメラ情報など）、および配置された任意の注釈であってもよい。これは３Ｄメッシュに変換可能とすることができる。動作１２２５において、２ＤマークＲＯＩが完成３Ｄスキャンと交差させられ、３Ｄスキャン交差部が作成される。図５Ｄを参照しながら説明したように、２Ｄ検出関心領域がマークされる時点と３Ｄスキャンの完了との間に、２Ｄ検出関心領域の位置が基礎にある３Ｄ格子におけるシフトとともに移動する可能性がある。したがって、基礎にある関心領域の位置も移動している可能性がある。動作１２３０において、３Ｄメッシュ内のメッシュ面とすることができる３Ｄスキャン交差部の周辺の区域が、３Ｄスキャン交差部におけるメッシュ面と類似した向きを有するメッシュ面がないか調べられる。これらのメッシュ面は隣接メッシュ面である可能性がある。類似の向きを有する隣接メッシュ面が見つかった場合、この見つかったメッシュ面の隣接面が調べられる等々が行われてもよい。類似の向きを有するこれらのメッシュ面は、次に関心領域の一部としてマークされる。関心領域の一部が見つかった後は、これが壁間取図部分であると判定されてもよい。この壁間取図部分は、平坦化された部分が床に平行になるようにマーカーを平坦化することによって２Ｄマーカーに平坦化されてもよい。床は、コンパス向きと、２ＤカメラおよびＬｉＤＡＲ作成３Ｄスキャンによって自動的に判定されたその他の向きによって判定可能である。

【0066】

(100)動作１２３５において、平坦化された関心領域が延長される。延長された領域が角を形成するように、近傍の平坦化された関心領域も延長可能である。動作１２４０において、一連の関心領域を接続することによって間取図が作成される。これについては図８Ａ～図８Ｆを参照しながら説明されている。動作１２４５において、建物が組み立てられる。個々の部屋が建物全体の間取図に組み立てられる。組み立ての可能な限り多くの部分が自動化される。たとえば、２つのスキャンが座標系、コンパス、見出しなどの情報を共有していると判定可能な場合、その共有情報をユーザが間取図を組み立てるのを支援するために使用することができる。たとえば、別々の区域がコンパス読み取り値を共有する場合があり、したがってそれらのコンパス読み取り値をそれらの区域を一緒に向けるために使用することができる。同じセッション中の区域（図６を参照しながら示したように）が同じ座標を使用する場合があり、したがってそれぞれが互いに対して相対的に位置づけられるようにするなどとすることができる。

【0067】

(101)図１３Ａの１３００Ａおよび図１３Ｂの１３００Ｂは、一部の記載実施形態において使用可能な例示のスキャナの背面と前面である。すなわち、図１に記載されているシステムは、２Ｄカメラ１３０５Ａと深度スキャナ１３１０Ａとを有する携帯電話１３００Ａまたはその他の携帯型コンピューティングデバイスを使用して実装可能である。実装形態によっては、システムはユーザ入力デバイスを含む。このユーザ入力／出力デバイスはタッチスクリーン１３０５Ｂであってもよい。図５Ａ～図５Ｅおよび図９を参照しながら示した画面を、このようなタッチスクリーン１３０５Ｂ上で実装可能である。

【0068】

(102)図１４Ａの１４００Ａおよび図１４Ｂの１４００Ｂは、一部の記載されている実施形態において使用可能な例示のタブレットスキャナの背面と前面である。すなわち、図１に記載されているようなシステムは、タブレット（たとえばｉＰａｄ（登録商標）、Ｓｕｒｆａｃｅ、Ｔｈｉｎｋｐａｄなど）、またはカメラ１１４１０Ｃと装着された外部３Ｄスキャナ１４１５Ａとを有する他の携帯型コンピューティングデバイス１４０５Ａを使用して実装されてもよい。実装形態によっては、深度スキャナがタブレットに組み込まれる。実装形態によっては、システムはユーザ入力／出力デバイスを含む。このユーザ入力／出力デバイスは、タッチスクリーン１５０５Ｂであってもよい。実施形態によっては、キーボードと非タッチスクリーンが使用されてもよい。図５Ａ～図５Ｅおよび図９を参照しながら示した画面がそのようなタッチスクリーン１４０５Ｂ上で実装されてもよい。

【0069】

(103)本技術の原理を適用可能な多くの考えられる実施形態に鑑みて、示されている実施形態は例であり、本発明に対する限定であるとみなされるべきではないことを認識されたい。たとえば、本明細書に記載のシステムおよび手段の様々なコンポーネントは、機能および用途の点で組み合わされてもよい。したがって、発明人らは、発明人らの発明として、これらの特許請求の範囲および思想内に含まれるすべての主題について特許請求する。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図5A】

【図5B】

【図5C】

【図5D】

【図6】

【図7A】

【図7B】

【図8A】

【図8B】

【図8C】

【図8D】

【図8E】

【図8F】

【図8G】

【図9】

【図10】

【図11】

【図12】

【図13A】

【図13B】

【図14A】

【図14B】

【国際調査報告】