特表 2023-532090 動的な３次元表面スケッチング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-07-26

(54)【発明の名称】動的な３次元表面スケッチング

(51)【国際特許分類】

   G06T 19/20 20110101AFI20230719BHJP

   G06F 3/0346 20130101ALI20230719BHJP

   G06F 3/01 20060101ALI20230719BHJP

【ＦＩ】

G06T19/20

G06F3/0346 422

G06F3/01 510

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022580857

(86)(22)【出願日】2021-06-25

(85)【翻訳文提出日】2022-12-27

(86)【国際出願番号】 IB2021055651

(87)【国際公開番号】W WO2022003513

(87)【国際公開日】2022-01-06

(31)【優先権主張番号】16/918,845

(32)【優先日】2020-07-01

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】000139403

【氏名又は名称】株式会社ワコム

(74)【代理人】

【識別番号】100130982

【弁理士】

【氏名又は名称】黒瀬 泰之

(72)【発明者】

【氏名】オルワセユイ ソサニャ

(72)【発明者】

【氏名】ダニエラ パレデス フェンテス

(72)【発明者】

【氏名】ダニエル トーマス

【テーマコード（参考）】

5B050

5B087

5E555

【Ｆターム（参考）】

5B050AA10

5B050BA09

5B050BA13

5B050CA07

5B050CA08

5B050DA04

5B050EA09

5B050EA19

5B050EA27

5B050FA02

5B050FA05

5B087AA07

5B087AB02

5B087AE07

5B087BC03

5B087BC12

5B087BC13

5B087BC32

5E555AA64

5E555AA79

5E555BA21

5E555BA23

5E555BA70

5E555BB21

5E555BB23

5E555BC04

5E555BE17

5E555CA03

5E555CA29

5E555CA42

5E555CB02

5E555CB10

5E555CB21

5E555CC05

5E555DA08

5E555DB53

5E555DC13

5E555DD05

5E555EA11

5E555EA22

5E555FA00

(57)【要約】

３次元（３Ｄ）表面スケッチのための方法及びシステムが提供される。３Ｄスキャナが、物理オブジェクトの外表面をスキャンし、外表面を表すデータを出力する。プロセッサが、受信されたデータに基づいて、オブジェクトの３Ｄモデルを生成し、オブジェクトの３Ｄレンダリングを出力する。ディスプレイが、オブジェクトの３Ｄレンダリングを表示する。入力デバイスが、オブジェクトの外表面の一部分を物理的にトレースし、入力デバイスがオブジェクトの外表面の一部分を物理的にトレースすることに伴って、追跡デバイスが、入力デバイスの位置取りを追跡する。プロセッサは、入力デバイスの少なくとも１つの空間位置を表すデータを受信し、データに少なくとも部分的に基づいて、オブジェクトの３Ｄレンダリングを拡張し、拡張された３Ｄレンダリングをディスプレイに出力する。

【特許請求の範囲】

【請求項1】

システムであって、
物理的なオブジェクトの外表面をスキャンし、かつ前記オブジェクトの前記外表面を表すデータを出力するように構成された３次元（３Ｄ）スキャナと、
前記オブジェクトの前記外表面を表す前記データを受信し、かつ前記受信されたデータに基づいて、前記オブジェクトの３Ｄモデルを生成し、かつ前記生成された３Ｄモデルに基づいて、前記オブジェクトの３Ｄレンダリングを出力するように構成されたプロセッサと、
前記オブジェクトの前記３Ｄレンダリングを受信し、かつ前記オブジェクトの前記３Ｄレンダリングを表示するように構成されたディスプレイと、
前記オブジェクトの前記外表面の少なくとも一部分を物理的にトレースするように動作可能な入力デバイスと、
前記入力デバイスが前記オブジェクトの前記外表面の前記少なくとも一部分を物理的にトレースすることに伴って、前記入力デバイスの位置取りを追跡し、かつ前記入力デバイスが前記オブジェクトをトレースすることに伴って、前記入力デバイスの少なくとも１つの空間位置を表すデータを出力するように構成された追跡デバイスと、を備え、
前記プロセッサは、前記入力デバイスの前記少なくとも１つの空間位置を表す前記データを受信し、前記入力デバイスの前記少なくとも１つの空間位置を表す前記データに少なくとも部分的に基づいて、前記オブジェクトの前記３Ｄレンダリングを拡張し、前記オブジェクトの前記３Ｄレンダリングを拡張することに応答して、前記オブジェクトの前記拡張された３Ｄレンダリングを前記ディスプレイに出力するように構成されており、
前記ディスプレイは、前記オブジェクトの前記拡張された３Ｄレンダリングを表示するように構成されている、
システム。

【請求項2】

前記プロセッサは、少なくとも、
前記入力デバイスの前記少なくとも１つの空間位置を表す前記データに基づいて、前記オブジェクトの前記外表面を基準とする１つ以上のそれぞれの空間内位置を有する１つ以上の曲線を特定することと、
それぞれ前記オブジェクトの前記外表面を基準とする前記１つ以上の空間内位置に対応する１つ以上のレンダリング位置において、前記オブジェクトの前記３Ｄレンダリングに前記１つ以上の曲線を重畳することと、
によって、前記オブジェクトの前記３Ｄレンダリングを拡張するように構成されている、
請求項１に記載のシステム。

【請求項3】

前記入力デバイスは、感圧式であり、前記入力デバイスが前記オブジェクトの前記外表面の前記少なくとも一部分を物理的にトレースすることに伴って前記入力デバイスに加えられた圧力を検知し、かつ前記圧力を表すデータを出力するように構成されており、
前記プロセッサは、
前記入力デバイスが前記オブジェクトの前記外表面の前記少なくとも一部分を物理的にトレースすることに伴って前記入力デバイスに加えられた圧力に少なくとも部分的に基づいて、前記１つ以上の曲線のそれぞれ１つ以上の幅を決定して、前記１つ以上の曲線を形成し、かつ
前記オブジェクトの前記３Ｄレンダリングに、前記それぞれ１つ以上の幅を有する前記１つ以上の曲線を重畳するように構成されている、
請求項２に記載のシステム。

【請求項4】

前記入力デバイスは、前記入力デバイスが前記オブジェクトの前記外表面の前記少なくとも一部分を物理的にトレースすることに伴って前記入力デバイスに加えられた前記圧力を検知するように動作可能な感圧式の先端部を含む、
請求項３に記載のシステム。

【請求項5】

前記入力デバイスは、前記１つ以上の曲線の１つ以上のそれぞれの幅指示を受信するように動作可能な第１の制御入力を含み、
前記入力デバイスは、前記プロセッサに、１つ以上のそれぞれの幅指示を表すデータを出力するように構成されており、
前記プロセッサは、
前記１つ以上の幅指示のそれぞれを表すデータを受信し、
前記１つ以上の幅指示のそれぞれを表すデータに基づいて、前記１つ以上の曲線それぞれの幅を決定し、かつ
前記オブジェクトの前記３Ｄレンダリングに、決定した幅を有する前記１つ以上の曲線を重畳するように構成されている、
請求項２に記載のシステム。

【請求項6】

前記ディスプレイは、ヘッドマウントディスプレイであり、
前記ヘッドマウントディスプレイは、前記オブジェクトの前記３Ｄレンダリングを前記オブジェクトの実体に重ねて表示する一方、前記オブジェクトの前記３Ｄレンダリングを表示しない場合には、前記オブジェクトの前記実体が前記ヘッドマウントディスプレイを通して視覚的に視認可能となるように構成される、
請求項１に記載のシステム。

【請求項7】

システムであって、
物理的なオブジェクトの外表面をスキャンし、かつ前記オブジェクトの前記外表面を表すデータを出力するように構成された３次元（３Ｄ）スキャナと、
前記オブジェクトの前記外表面を表す前記データを受信し、前記受信されたデータに基づいて、前記オブジェクトの３Ｄモデルを生成し、かつ前記生成された３Ｄモデルに基づいて、前記オブジェクトの３Ｄレンダリングを出力するように構成されたプロセッサと、
前記オブジェクトの前記３Ｄレンダリングを受信し、かつ前記オブジェクトの前記３Ｄレンダリングを表示するように構成されたディスプレイと、
前記オブジェクトの前記外表面の少なくとも一部分を物理的にトレースするように動作可能な入力デバイスと、
前記入力デバイスが前記オブジェクトの前記外表面の前記少なくとも一部分をトレースすることに伴って、前記入力デバイスの位置取りを追跡し、かつ前記入力デバイスが前記オブジェクトの前記外表面をトレースすることに伴って、３Ｄ空間における前記入力デバイスの少なくとも１つの位置を表すデータを出力するように構成された追跡デバイスと、を備え、
前記プロセッサは、前記入力デバイスの前記少なくとも１つの位置を表す前記データを受信し、前記入力デバイスの前記少なくとも１つの位置を表す前記データに少なくとも部分的に基づいて、前記オブジェクトの前記３Ｄモデルを修正し、修正された前記３Ｄモデルに基づいて、前記オブジェクトの更新された３Ｄレンダリングを生成し、前記オブジェクトの前記更新された３Ｄレンダリングを生成することに応答して、前記オブジェクトの前記更新された３Ｄレンダリングを前記ディスプレイに出力するように構成されており、
前記ディスプレイは、前記オブジェクトの前記更新された３Ｄレンダリングを表示するように構成されている、
システム。

【請求項8】

前記プロセッサは、複数の頂点及び複数の縁を含むポリゴンメッシュを生成することによって、前記オブジェクトの前記３Ｄモデルを生成するように構成されている、
請求項７に記載のシステム。

【請求項9】

前記プロセッサは、少なくとも、前記複数の頂点のうちの１つの頂点または前記複数の縁のうちの１つの縁を、３Ｄ空間における前記入力デバイスの前記少なくとも１つの位置に対応するように変化させることによって、前記オブジェクトの前記３Ｄモデルを修正するように構成されている、
請求項８に記載のシステム。

【請求項10】

前記プロセッサは、少なくとも、前記複数の頂点に、３Ｄ空間における前記入力デバイスの前記少なくとも１つの位置に対応する空間内位置を有する第１の頂点を追加することによって、前記オブジェクトの前記３Ｄモデルを修正するように構成されている、
請求項８に記載のシステム。

【請求項11】

前記プロセッサは、少なくとも、前記複数の頂点から、３Ｄ空間において前記第１の頂点の前記位置に最も近い位置を有する第２の頂点を除去することによって、前記オブジェクトの前記３Ｄモデルを修正するように構成されている、
請求項１０に記載のシステム。

【請求項12】

前記ディスプレイは、ヘッドマウントディスプレイであり、
前記ヘッドマウントディスプレイは、前記オブジェクトの前記３Ｄレンダリングを前記オブジェクトの実体に重ねて表示する一方、前記オブジェクトの前記３Ｄレンダリングを表示しない場合には、前記オブジェクトの前記実体が前記ヘッドマウントディスプレイを通して視覚的に視認可能となるように構成され、さらに、前記オブジェクトの前記更新された前記３Ｄレンダリングを前記オブジェクトの実体に重ねて表示する一方、前記オブジェクトの前記更新された前記３Ｄレンダリングを表示しない場合には、前記オブジェクトの前記実体が前記ヘッドマウントディスプレイを通して視覚的に視認可能となるように構成される、
請求項７に記載のシステム。

【請求項13】

システムであって、
物理的なオブジェクトの外表面をスキャンし、かつ前記オブジェクトの前記外表面を表すデータを出力するように構成された３次元（３Ｄ）スキャナと、
前記オブジェクトの前記外表面を表す前記データを受信し、かつ前記受信されたデータに基づいて、前記オブジェクトの３Ｄモデルを生成し、かつ前記生成された３Ｄモデルに基づいて、前記オブジェクトの３Ｄレンダリングを出力するように構成されたプロセッサと、
前記オブジェクトの前記３Ｄレンダリングを受信し、かつ前記オブジェクトの前記３Ｄレンダリングを表示するように構成されたディスプレイと、
前記オブジェクトの前記外表面の少なくとも一部分を物理的にトレースするように動作可能な入力デバイスと、
前記入力デバイスが前記オブジェクトの前記外表面の前記少なくとも一部分をトレースすることに伴って、前記入力デバイスの位置取りを追跡し、かつ前記入力デバイスが前記オブジェクトをトレースすることに伴って、前記入力デバイスの少なくとも２つの位置を表すデータを出力するように構成された追跡デバイスと、を備え、
前記プロセッサは、前記少なくとも２つの位置を表す前記データを受信し、前記少なくとも２つの位置の間の距離を求め、かつ前記距離を表すデータを出力するように構成されている、
システム。

【請求項14】

前記プロセッサは、前記少なくとも２つの位置の間の前記入力デバイスの位置を表すデータに基づいて、曲線を特定し、前記特定された曲線に沿った前記少なくとも２つの位置の間の前記距離を求めるように構成されている、
請求項１３に記載のシステム。

【請求項15】

前記ディスプレイは、
前記距離を表す前記データを受信し、かつ
前記距離を前記ディスプレイに表示するように構成されている、
請求項１３に記載のシステム。

【請求項16】

前記入力デバイスは、前記入力デバイスの複数の動作モードのうちの第１の動作モードの選択を受信し、かつ前記第１の動作モードを示すデータを出力するように動作可能な制御入力を含む、
請求項１３に記載のシステム。

【請求項17】

前記プロセッサは、
前記第１の動作モードを示すデータを受信し、かつ
前記第１の動作モードを示す前記データを受信することに応答して、前記少なくとも２つの位置の間の前記距離を求め、かつ前記距離を表す前記データを出力するように構成されている、
請求項１６に記載のシステム。

【請求項18】

前記入力デバイスは、前記制御入力を介して、前記入力デバイスの前記複数の動作モードのうちの第２の動作モードの選択を受信し、かつ前記第２の動作モードを示すデータを出力する、
請求項１６に記載のシステム。

【請求項19】

前記プロセッサは、
前記第２の動作モードを示す前記データを受信し、かつ
前記第２の動作モードを示す前記データを受信することに応答して、前記入力デバイスが前記オブジェクトの前記外表面の少なくとも一部分をトレースすることに伴って、前記入力デバイスを追跡している前記追跡デバイスから受信された位置取り情報に基づいて、前記オブジェクトの前記３Ｄレンダリングを拡張するように構成されている、
請求項１８に記載のシステム。

【請求項20】

前記プロセッサは、
前記第２の動作モードを示す前記データを受信し、かつ
前記第２の動作モードを示す前記データを受信することに応答して、前記入力デバイスが前記オブジェクトの前記外表面の少なくとも一部分をトレースすることに伴って、前記入力デバイスを追跡している前記追跡デバイスから受信された位置取り情報に基づいて、前記オブジェクトの前記３Ｄモデルを修正し、かつ前記修正された３Ｄモデルに基づいて、前記オブジェクトの更新された３Ｄレンダリングを生成するように構成されている、
請求項１８に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、物理オブジェクトの３次元（３Ｄ）レンダリングを生成し、物理オブジェクト上で入力デバイスを物理的にトレースすることによって、３Ｄレンダリングにアノテートし、及び３Ｄレンダリングを精緻化することを対象とする。本出願はまた、入力デバイスによってトレースされる曲線の距離測定を対象とする。

【背景技術】

【0002】

自動車産業を含む多くの産業において、自動車デザインをモデル化し、かつ自動車のデザイン特徴を物理的に図示するために、クレイモデルなどの物理モデルが使用される。物理モデルを精緻化及び拡張することは、車並びに他の工業製品または消費者製品を設計する上で重要な作業である。工業デザインプロセス時に、デザイナ及び３Ｄモデラーは、物理モデルを工具で成形し、物理モデルの変更をテープマーキングする。しかしながら、物理モデルを物理的に成形することは、時間を要し、モデルになされた変更を元に戻すためには、物理モデルにパッチワークを施す必要があり得ることから、元に戻すことは容易でないことが多い。

【0003】

したがって、物理オブジェクトの３Ｄモデルをレンダリングし、かつ３Ｄモデル上でスケッチすることによって３Ｄモデルを拡張して、拡張された３Ｄモデルをデジタルでまたは仮想的に映示するための方法及び装置が望まれている。

【発明の概要】

【課題を解決するための手段】

【0004】

一実施形態において、システムは、物理オブジェクトの外表面をスキャンし、かつオブジェクトの外表面を表すデータを出力するように構成された３次元（３Ｄ）スキャナを含む。一実施形態において、システムは、オブジェクトの外表面を表す前記データを受信し、かつ受信されたデータに基づいて、オブジェクトの３Ｄモデルを生成し、かつ生成された３Ｄモデルに基づいて、オブジェクトの３Ｄレンダリングを出力するように構成されたプロセッサを含む。一実施形態において、システムは、オブジェクトの３Ｄレンダリングを受信し、かつオブジェクトの３Ｄレンダリングを表示するように構成されたディスプレイを含む。システムは、オブジェクトの外表面の一部分を物理的にトレースするように動作可能な入力デバイスと、オブジェクトの外表面の少なくとも一部分を物理的にトレースすることに伴って、入力デバイスの位置取りを追跡し、かつ入力デバイスがオブジェクトをトレースすることに伴って、入力デバイスの少なくとも１つの空間位置を表すデータを出力するように構成された追跡デバイスとを含む。プロセッサは、入力デバイスの少なくとも１つの空間位置を表すデータを受信し、入力デバイスの少なくとも１つの空間位置を表すデータに少なくとも部分的に基づいて、オブジェクトの３Ｄレンダリングを拡張し、オブジェクトの３Ｄレンダリングを拡張することに応答して、オブジェクトの拡張された３Ｄレンダリングをディスプレイに出力するように構成されている。一実施形態において、ディスプレイは、オブジェクトの拡張された３Ｄレンダリングを表示するように構成されている。

【0005】

一実施形態において、プロセッサは、少なくとも、入力デバイスの少なくとも１つの空間位置を表すデータに基づいて、オブジェクトの外表面を基準とする１つ以上のそれぞれの空間内位置を有する１つ以上の曲線を特定することと、それぞれオブジェクトの外表面を基準とする１つ以上の空間内位置に対応する１つ以上のレンダリング位置において、オブジェクトの３Ｄレンダリングに１つ以上の曲線を重畳することとによって、オブジェクトの３Ｄレンダリングを拡張するように構成されている。

【0006】

一実施形態において、入力デバイスは、感圧式であり、入力デバイスがオブジェクトの外表面の少なくとも一部分を物理的にトレースすることに伴って入力デバイスに加えられた圧力を検知し、かつ圧力を表すデータを出力するように構成されている。プロセッサは、入力デバイスがオブジェクトの外表面の少なくとも一部分を物理的にトレースすることに伴って入力デバイスに加えられた圧力に少なくとも部分的に基づいて、１つ以上の曲線のそれぞれ１つ以上の幅を決定して、１つ以上の曲線を形成し、かつオブジェクトの３Ｄレンダリングに、それぞれ１つ以上の幅を有する１つ以上の曲線を重畳するように構成されている。

【0007】

一実施形態において、入力デバイスは、入力デバイスがオブジェクトの外表面の少なくとも一部分を物理的にトレースすることに伴って入力デバイスに加えられた圧力を検知するように動作可能な感圧式の先端部を含む。一実施形態において、入力デバイスは、１つ以上の曲線の１つ以上のそれぞれの幅指示を受信するように動作可能な第１の制御入力を含む。入力デバイスは、プロセッサに、１つ以上のそれぞれの幅指示を表すデータを出力するように構成されており、プロセッサは、１つ以上のそれぞれの幅指示を表すデータを受信し、１つ以上のそれぞれの幅指示を表すデータに基づいて、１つ以上の曲線のそれぞれ１つ以上の幅を決定し、かつオブジェクトの３Ｄレンダリングに、それぞれ１つ以上の幅を有する１つ以上の曲線を重畳するように構成されている。一実施形態において、ディスプレイは、ヘッドマウントディスプレイであって、ヘッドマウントディスプレイを通して別様に目視で視認可能である、物理オブジェクトに重畳された、オブジェクトの３Ｄレンダリングを表示するように構成されたヘッドマウントディスプレイである。

【0008】

一実施形態において、システムは、物理オブジェクトの外表面をスキャンし、かつオブジェクトの外表面を表すデータを出力するように構成された３次元（３Ｄ）スキャナを含む。システムは、オブジェクトの外表面を表すデータを受信し、受信されたデータに基づいて、オブジェクトの３Ｄモデルを生成し、かつ生成された３Ｄモデルに基づいて、オブジェクトの３Ｄレンダリングを出力するように構成されたプロセッサを含む。一実施形態において、システムは、オブジェクトの３Ｄレンダリングを受信し、かつオブジェクトの３Ｄレンダリングを表示するように構成されたディスプレイと、オブジェクトの外表面の少なくとも一部分を物理的にトレースするように動作可能な入力デバイスとを含む。システムは、入力デバイスがオブジェクトの外表面の少なくとも一部分をトレースすることに伴って、入力デバイスの位置取りを追跡し、かつ入力デバイスがオブジェクトの外表面をトレースすることに伴って、３Ｄ空間における入力デバイスの少なくとも１つの位置を表すデータを出力するように構成された追跡デバイスを含む。プロセッサは、入力デバイスの少なくとも１つの位置を表すデータを受信し、入力デバイスの少なくとも１つの位置を表すデータに少なくとも部分的に基づいて、オブジェクトの３Ｄモデルを修正し、修正された３Ｄモデルに基づいて、オブジェクトの更新された３Ｄレンダリングを生成し、オブジェクトの更新された３Ｄレンダリングを生成することに応答して、オブジェクトの更新された３Ｄレンダリングをディスプレイに出力するように構成されている。一実施形態において、ディスプレイは、オブジェクトの更新された３Ｄレンダリングを表示するように構成されている。

【0009】

一実施形態において、プロセッサは、複数の頂点及び複数の縁を含むポリゴンメッシュを生成することによって、オブジェクトの３Ｄモデルを生成するように構成されている。一実施形態において、プロセッサは、少なくとも、複数の頂点のうちの１つの頂点または複数の縁のうちの１つの縁を、３Ｄ空間における入力デバイスの少なくとも１つの位置に対応するように変化させることによって、オブジェクトの３Ｄモデルを修正するように構成されている。一実施形態において、プロセッサは、少なくとも、複数の頂点に、３Ｄ空間における入力デバイスの少なくとも１つの位置に対応する空間内位置を有する第１の頂点を追加することによって、オブジェクトの３Ｄモデルを修正するように構成されている。一実施形態において、プロセッサは、少なくとも、複数の頂点から、３Ｄ空間において第１の頂点の位置に最も近い位置を有する第２の頂点を除去することによって、オブジェクトの３Ｄモデルを修正するように構成されている。一実施形態において、ディスプレイは、ヘッドマウントディスプレイであって、ヘッドマウントディスプレイを通して別様に目視で視認可能である、物理オブジェクトに重畳された、オブジェクトの３Ｄレンダリングを表示するように構成され、かつさらに、ヘッドマウントディスプレイを通して別様に目視で視認可能である、物理オブジェクトに重畳された、オブジェクトの更新された３Ｄレンダリングを表示するように構成された、ヘッドマウントディスプレイである。

【0010】

一実施形態において、システムは、物理オブジェクトの外表面をスキャンし、かつオブジェクトの外表面を表すデータを出力するように構成された３次元（３Ｄ）スキャナを含む。一実施形態において、システムは、オブジェクトの外表面を表すデータを受信し、かつ受信されたデータに基づいて、オブジェクトの３Ｄモデルを生成し、かつ生成された３Ｄモデルに基づいて、オブジェクトの３Ｄレンダリングを出力するように構成されたプロセッサを含む。一実施形態において、システムは、オブジェクトの３Ｄレンダリングを受信し、かつオブジェクトの３Ｄレンダリングを表示するように構成されたディスプレイを含む。システムは、オブジェクトの外表面の少なくとも一部分を物理的にトレースするように動作可能な入力デバイスと、入力デバイスがオブジェクトの外表面の少なくとも一部分をトレースすることに伴って、入力デバイスの位置取りを追跡し、かつ入力デバイスがオブジェクトをトレースすることに伴って、入力デバイスの少なくとも２つの位置を表すデータを出力するように構成された追跡デバイスとを含む。プロセッサは、少なくとも２つの位置を表すデータを受信し、少なくとも２つの位置の間の距離を求め、かつ距離を表すデータを出力するように構成されている。

【0011】

プロセッサは、少なくとも２つの位置の間の入力デバイスの位置を表すデータに基づいて、曲線を特定し、特定された曲線に沿った少なくとも２つの位置の間の距離を求めるように構成されている。ディスプレイは、距離を表すデータを受信し、かつ距離をディスプレイに表示するように構成されている。入力デバイスは、入力デバイスの複数の動作モードのうちの第１の動作モードの選択を受信し、かつ第１の動作モードを示すデータを出力するように動作可能な制御入力を含む。

【0012】

一実施形態において、プロセッサは、第１の動作モードを示すデータを受信し、かつ第１の動作モードを示すデータを受信することに応答して、少なくとも２つの位置の間の距離を求め、かつ距離を表すデータを出力するように構成されている。一実施形態において、入力デバイスは、制御入力を介して、入力デバイスの複数の動作モードのうちの第２の動作モードの選択を受信し、かつ第２の動作モードを示すデータを出力する。プロセッサは、第２の動作モードを示すデータを受信し、かつ第２の動作モードを示すデータを受信することに応答して、入力デバイスがオブジェクトの外表面の少なくとも一部分をトレースすることに伴って、入力デバイスを追跡している追跡デバイスから受信された位置取り情報に基づいて、オブジェクトの３Ｄレンダリングを拡張するように構成されている。プロセッサは、第２の動作モードを示すデータを受信し、かつ第２の動作モードを示すデータを受信することに応答して、入力デバイスがオブジェクトの外表面の少なくとも一部分をトレースすることに伴って、入力デバイスを追跡している追跡デバイスから受信された位置取り情報に基づいて、オブジェクトの３Ｄモデルを修正し、かつ修正された３Ｄモデルに基づいて、オブジェクトの更新された３Ｄレンダリングを生成するように構成されている。

【図面の簡単な説明】

【0013】

【図1】図１は、物理オブジェクトをスキャンしている３次元（３Ｄ）スキャナを示す。

【図2】図２は、３Ｄレンダリングシステムを示す。

【図3】図３は、本開示の一実施形態による入力デバイスを示す。

【図4】図４は、オブジェクトの３Ｄレンダリングを拡張する方法のフロー図を示す。

【図5】図５は、入力デバイスの位置に基づいてオブジェクトの３Ｄレンダリングを修正する方法のフロー図を示す。

【図6】図６は、入力デバイスの位置に基づく距離測定の方法のフロー図を示す。

【発明を実施するための形態】

【0014】

図１は、物理オブジェクト１０１をスキャンしている３次元（３Ｄ）スキャナ１０２を示す。３Ｄスキャナ１０２は、物理オブジェクト１０１の３次元モデルを生成するために、物理オブジェクト１０１または物理オブジェクト１０１の外表面をスキャンするように構成された任意のデバイスであり得る。３Ｄスキャナ１０２は、非接触スキャナであっても、接触スキャナであってもよい。さらに、３Ｄスキャナ１０２は、アクティブスキャナであっても、非アクティブスキャナであってもよい。３Ｄスキャナ１０２は、タイムオブフライト（ＴｏＦ）または三角測量などの、オブジェクトをスキャンする任意の手法を使用し得る。

【0015】

３Ｄスキャナ１０２は、ＴｏＦ ３Ｄレーザスキャナであり得る。３Ｄスキャナ１０２は、レーザ光を使用して物理オブジェクト１０１をプローブするアクティブスキャナであり得る。３Ｄスキャナ１０２は、立体スキャナであり得る。３Ｄスキャナ１０２は、ＴｏＦレーザレンジファインダを含み得る。レーザレンジファインダは、３Ｄスキャナ１０２によって放出された光のパルスの往復時間のタイミングに基づいて、３Ｄスキャナ１０２と物理オブジェクト１０１の表面との間の距離を特定し得る。３Ｄスキャナ１０２は、レーザパルスを放出し、物理オブジェクト１０１の表面によって反射されたレーザパルスの反射を検出し、レーザパルスが放出された時刻とレーザパルスの反射が検出された時刻との間の所要時間（往復時間）を求める。３Ｄスキャナ１０２は、求められた時間及び光速に基づいて、３Ｄスキャナ１０２と物理オブジェクト１０１の表面との間の距離を求める。

【0016】

３Ｄスキャナ１０２は、指向性を有してレーザパルスを放出して、物理オブジェクト１０１をスキャンし得る。３Ｄスキャナ１０２は、相応に、多視点から物理オブジェクト１０１をスキャンする。ＴｏＦレーザレンジファインダは、一度に一点ずつ全視野をスキャンしてもよく、ＴｏＦレーザレンジファインダの視方向を変化させて、オブジェクト１０１の外表面の異なる点をスキャンしてもよい。視方向を、とりわけ、レンジファインダを回転させることによって、または回転ミラー系を使用することによってのいずれかで、変化させ得る。

【0017】

図２は、３Ｄレンダリングシステム１０６を示す。システム１０６は、３Ｄスキャナ１０２、３Ｄレンダリングデバイス１０８（ブロック図の形態で示す）、ディスプレイ１１０（例えばヘッドマウントディスプレイとして、絵で示す）、入力デバイス１１２、及び入力デバイス１１２の追跡デバイス１１３を含む。３Ｄレンダリングデバイス１０８は、プロセッサ１１４、メモリ１１６、及び１つ以上の通信デバイス１１８を含む。メモリ１１６及び１つ以上の通信デバイス１１８は、プロセッサ１１４に通信可能に結合されている。３Ｄレンダリングデバイス１０８は、３Ｄスキャナ１０２、ディスプレイ１１０、入力デバイス１１２、及び追跡デバイス１１３に通信可能に結合されている。

【0018】

プロセッサ１１４は、本明細書に記載した動作を実行するように構成された任意のタイプの計算デバイスであり得る。プロセッサ１１４は、とりわけ、グラフィック処理装置（ＧＰＵ）または中央処理装置（ＣＰＵ）であり得る。プロセッサ１１４はまた、とりわけ、コントローラ、マイクロコントローラ、またはマイクロプロセッサであってもよい。メモリ１１６は、データを記憶するように構成された任意のタイプの記憶デバイスであり得る。データは、グラフィックデータ（物理オブジェクト１０１の表面の３Ｄレンダリングなど）であってもよいし、データは、プロセッサ１１４によって実行されると、プロセッサに、本明細書に記載した動作を実行させる実行可能命令であってもよい。

【0019】

１つ以上の通信デバイス１１８は、他の通信デバイスとデータを交換またはやりとりするように構成された任意のタイプの通信デバイスであり得る。通信デバイス１１８は、無線通信デバイスであっても、有線デバイスであってもよく、とりわけ、モデムまたはトランシーバであり得る。通信デバイス１１８は、他の一通信デバイスからデータを受信し、または他の一通信デバイスにデータを送信し得る。図２には示さないが、他の通信デバイスは、３Ｄスキャナ１０２、ディスプレイ１１０、入力デバイス１１２、及び／または追跡デバイス１１３の一部であり得る。１つまたは複数の通信デバイスを含み得る１つ以上の通信デバイスは、それぞれの通信デバイスと関連付けられた任意のタイプのプロトコルを使用して通信し得る。プロトコルは、とりわけ、米国電気電子学会（ＩＥＥＥ）８０２．１１プロトコル、Ｂｌｕｅｔｏｏｔｈプロトコル、ユニバーサルシリアルバス（ＵＳＢ）プロトコル、または、第３世代パートナーシッププロジェクト（３ＧＰＰ（登録商標））ロングタームエボリューション（ＬＴＥ）プロトコルなどのセルラ通信であり得る。

【0020】

なお、３Ｄレンダリングデバイス１０８は、とりわけ、コンピュータ、タブレット、またはスマートフォンであり得る。３Ｄレンダリングデバイス１０８は、ディスプレイ１１０または追跡デバイス１０２から独立していてもよい。ただし、代替実施形態において、３Ｄレンダリングデバイス１０８は、ディスプレイ１１０または追跡デバイス１０２の一部であってもよいし、３Ｄレンダリングデバイス１０８によって実行される動作は、代わりに、ディスプレイ１１０及び、３Ｄレンダリングデバイス１０８のプロセッサ、メモリ、または１つ以上の通信デバイスによって実行されてもよい。

【0021】

３Ｄレンダリングデバイス１０８は、１つ以上の通信デバイス１１８を介して、スキャンされた物理オブジェクト１０１を表すデータを搬送する信号を受信する。信号は、１つ以上の通信デバイス１１８によって使用される通信プロトコルのそれぞれの変調及び符号化に従って、変調及び符号化され得る。

【0022】

１つ以上の通信デバイス１１８は、信号を復調及び符号化し、スキャンされた物理オブジェクト１０１を表すデータをプロセッサ１１４に出力する。プロセッサ１１４は、スキャンされた物理オブジェクト１０１を表すデータを評価する。プロセッサ１１４は、物理オブジェクト１０１を表すデータに基づいて、物理オブジェクト１０１の３Ｄモデルを生成する。物理オブジェクト１０１の３Ｄモデルは、複数の頂点及び複数の縁を含むポリゴンメッシュを含み得る。ポリゴンメッシュはまた、複数の表面を含んでもよい。各表面は、複数の縁のうちの、３つ以上のそれぞれの縁の間にあり得る。複数の頂点のうちの１つの頂点は、物理オブジェクト１０１の外表面上の点の空間内位置に対応する空間内位置を有する。複数の頂点、複数の縁、及び複数の表面は、スキャンされた物理オブジェクト１０１を、仮想的に（及びデジタルで）表す。プロセッサ１１４は、物理オブジェクト１０１の３Ｄモデルをメモリ１１６に記憶する。プロセッサ１１４は、物理オブジェクト１０１の３Ｄモデルを、１つ以上の通信デバイス１１８を介してディスプレイ１１０に出力する。

【0023】

ディスプレイ１１０は、ヘッドマウントディスプレイ（ＨＭＤ）であり得る。ヘッドマウントディスプレイとして、ディスプレイ１１０は、仮想現実ディスプレイまたは拡張現実ディスプレイであり得る。拡張現実ディスプレイとして、ディスプレイ１１０は、透過型または半透過型であり得る。したがって、ディスプレイ１１０を通して物理オブジェクト１０１を視認する視認者には、ディスプレイ１１０の透過特性によって物理オブジェクト１０１が見える。物理オブジェクト１０１がディスプレイ１１０を通して透過して視認可能であることから、ディスプレイ１１０は、オブジェクトの３Ｄモデルを使用して、物理オブジェクト１０１に物理オブジェクト１０１の３Ｄレンダリングを重畳し得る。したがって、このような実施形態において、視認者には、物理オブジェクト１０１にオーバレイされた物理オブジェクト１０１の３Ｄレンダリングが見える。

【0024】

視認者またはユーザは、入力デバイス１１２を使用して、物理オブジェクトの３Ｄレンダリングをアノテート、拡張、精緻化、または変更（総称して「拡張」）し得る。ユーザは、入力デバイス１１２を使用して、３Ｄレンダリング上に、一般に１つ以上の曲線、または任意の他の形状を描画することによって、物理オブジェクトの３Ｄレンダリングを拡張し得る。この点に関して、ユーザは、物理オブジェクト１０１の少なくとも一部分上の３次元空間において、入力デバイスまたは入力デバイスの先端部をトレースし得る。追跡デバイス１１３は、３次元空間における入力デバイス１１２の位置を追跡し、位置を表すデータを３Ｄレンダリングデバイス１０８に出力する。３Ｄレンダリングデバイス１０８は、入力デバイス１１２の位置を表すデータを受信し、入力デバイス１１２の追跡位置を表すデータに基づいて、物理オブジェクトの拡張された３Ｄレンダリングを生成する。本明細書における記載から分かるように、物理オブジェクトの拡張された３Ｄレンダリングは、物理オブジェクトの表面上に、またはこの表面に対して仮想的に現れるが、物理オブジェクトの実際の３次元空間には別途現れないデザイン及び特徴を含み得る。

【0025】

図３は、一実施形態による入力デバイス１１２の一例を示す。入力デバイス１１２は、ハウジング１１９、先端部１２０、マーカ１２２、及び複数の制御入力１２４ａ、１２４ｂ、１２４ｃを含む。先端部１２０は、感圧式であり得る。マーカ１２２は、入力デバイス１１２の先端部１２０上に配置され得る。他の実施形態において、マーカ１２２は、入力デバイス１１２上の他の箇所に配置されてもよい。マーカ１２２は、先端部１２０の位置を追跡し、及び求めるために使用されるパッシブマーカまたはアクティブマーカであり得る。例えば、マーカ１２２は、光を反射する反射コーティングであり得る。代わりに、または加えて、マーカ１２２は、入力デバイス１１２の先端部１２０を追跡するための光をアクティブに照明する発光ダイオード（ＬＥＤ）であってもよい。様々な実施形態において、マーカ１２２は、指定された波長またはサインを有する光を放出するストロボ光であってもよい。様々な実施形態において、入力デバイス１１２は、マーカレスであってもよく、こうすることで、入力デバイスの先端部１２０または他の一部の位置を、入力デバイス１１２の形状または他の特性に基づいて追跡し得る。

【0026】

図２を再度参照し、追跡デバイス１１３は、入力デバイス１１２が３次元空間中を移動することに伴って、入力デバイス１１２または入力デバイス１１２のマーカ１２２の空間位置を追跡する。追跡デバイス１１３は、マーカ１２２の空間位置を求め、位置を表すデータを３Ｄレンダリングデバイス１０８に出力する。少なくとも１つの実施形態において、追跡デバイス１１３は、モーションキャプチャカメラなどの１つ以上のカメラを含み得る。１つ以上のカメラは、マーカ１２２の画像をキャプチャし、キャプチャされた画像に基づいて、マーカ、ひいては先端部１２０及び入力デバイス１１２の位置を求め得る。

【0027】

追跡デバイス１１３は、通信デバイス（図示せず）を含み得る。追跡デバイス１１３は、通信デバイスを介して、入力デバイス１１２の空間位置を表すデータを含む信号を送る。３Ｄレンダリングデバイス１０８は、１つ以上の通信デバイス１１８を介して信号を受信し、空間位置を表すデータをプロセッサ１１４に出力する。プロセッサ１１４は、受信された位置データに基づいて、入力デバイス１１２またはマーカ１２２の位置を特定する。その後、プロセッサ１１４は、受信された位置データに基づいて、物理オブジェクトの３Ｄレンダリングを拡張する。

【0028】

例えば、ユーザは、入力デバイス１１４または入力デバイス１１４の先端部１２０を用いて物理オブジェクト１０１の外表面を物理的にトレースして、線、または一般には曲線を描画し得る。こうして、入力デバイス１１４を使用して、物理オブジェクトの３Ｄレンダリングをスケッチ（または図化）し得る。ユーザが物理オブジェクト１０１の外表面をトレースすることに伴って、追跡デバイス１１３は、先端部１２２の空間位置を追跡し、位置を表すデータを３Ｄレンダリングデバイス１０８に出力する。３Ｄレンダリングデバイス１０８は、物理オブジェクトの３Ｄレンダリングに、対応する曲線を追加することによって、物理オブジェクトの３Ｄレンダリングを拡張する。曲線は、互いに接続され、かつ追跡デバイス１１３によって検出された先端部の位置に対応する空間内位置を有する、点の集合であり得る。３Ｄレンダリングデバイス１０８は、曲線を物理オブジェクトの３Ｄレンダリング上に重畳する。その後、３Ｄレンダリングデバイス１０８は、物理オブジェクトの拡張された３Ｄレンダリングを生成する。拡張された３Ｄレンダリングは、曲線が重畳された（先に生成された）物理オブジェクトの３Ｄレンダリングを含む。

【0029】

３Ｄレンダリングデバイス１０８は、物理オブジェクトの拡張された３Ｄレンダリングを表すデータをディスプレイ１１０に出力する。ディスプレイ１１０は、物理オブジェクトの拡張された３Ｄレンダリングを表示する。なお、入力デバイス１１２の空間位置を検出すること、拡張された３Ｄレンダリングを生成すること、及び拡張された３Ｄレンダリングを表すデータをディスプレイ１１０に出力することは、リアルタイムに実行され得る。こうして、ディスプレイ１１０を視認するユーザには、リアルタイムに、かつユーザが入力デバイス１１２を使用し「描画」しながら（またはユーザが入力デバイス１１２を使用して、物理オブジェクト１０１の外表面をトレースしながら）、拡張された３Ｄレンダリング中に曲線が見える。なお、「曲線」との用語は、本明細書では、ユーザによって入力デバイス１１２を使用して描画された任意の一般の形状を表すために使用される。曲線は、例えば、直線または任意の他の形状であり得る。

【0030】

一実施形態において、入力デバイス１１２の先端部１２０は、感圧式であり得る。入力デバイス１１２は、ユーザが入力デバイス１１２を操作することに伴ってユーザによって先端部に加えられた圧力を検知し得る。圧力を使用して、ユーザによって描画された曲線の太さを求め得る。入力デバイス１１２は、先端部１２０に加えられた圧力を表すデータを出力し得る。入力デバイス１１２は、圧力データを３Ｄレンダリングデバイス１０８に出力し得る。本明細書に記載したように、入力デバイス１１２は、３Ｄレンダリングデバイス１０８の１つ以上の通信デバイス１１８と通信するように動作可能な、かつ先端部１２０に加えられた圧力を表すデータを含む信号を出力するように動作可能な通信デバイス（図示せず）を含み得る。３Ｄレンダリングデバイス１０８の１つ以上の通信デバイス１１８は、信号を受信し、圧力を表すデータをプロセッサ１１４に出力し得る。プロセッサ１１４は、受信された圧力データに基づいて、圧力を特定する。プロセッサ１１４は、特定された圧力に対応する線太さで曲線をレンダリングする。圧力と太さとの間の関係は、比例してもよく、こうすることで、ユーザによって加えられる圧力の量が大きいほど太い曲線をレンダリングする結果となる。

【0031】

プロセッサ１１４は、特定された圧力を先端部１２０の位置とともに評価し得る。プロセッサ１１４は、圧力データと位置データとの両方に基づいて、物理オブジェクトの３Ｄレンダリング上に重畳する曲線を生成する。空間内位置における曲線の太さは、その空間内位置において先端部１２０に加えられた特定された圧力に対応する。

【0032】

入力デバイス１１２の複数の制御入力１２４ａ～ｃを使用して、曲線の属性を制御し得る。例えば、第１の制御入力１２４ａを使用して、入力デバイス１１２の動作モード間で選択を行い得る。第１の動作モードは、３Ｄレンダリングに１つ以上の追加の曲線が重畳される、本明細書に記載したような３Ｄレンダリングの拡張であり得る。第２の動作モードは、３Ｄレンダリングの修正であり得、第３の動作モードは、本明細書に記載したような距離測定であり得る。ユーザは、多極スイッチまたは多方向スイッチであり得る第１の制御入力１２４ａを動作させて、様々な利用可能な動作モードから動作モードを選択し得る。

【0033】

同様に、第２及び第３の制御入力１２４ｂ、１２４ｃを使用して、曲線を構成する線の色、種類、または太さなどの、曲線の属性を選択し得る。一実施形態において、第２の制御入力１２４ｂを使用して、とりわけ、赤、緑、または青などの曲線の色、及び／またはとりわけ、実線または破線などの、曲線の種類を選択し得る。一実施形態において、第３の制御入力１２４ｃを使用して、曲線の静的なまたは一定の太さを選択し得る。第３の制御入力１２４ｃを使用して選択された太さは、先端部１２０に加えられた圧力に基づいて求められた太さをオーバライドし、またはこの太さに優先し得る。一実施形態において、制御入力は、ユーザ構成可能であり得る。例えば、ユーザは、入力デバイス１１２の既定の制御入力機能とは異なる、制御入力１２４ａ～ｃにそれぞれ関連付けられた制御入力機能を指定し得る。

【0034】

なお、図３の入力デバイス１１２は、例示的かつ非限定的である。様々な実施形態において、任意の他のタイプの入力デバイス１１２が使用され得る。入力デバイス１１２は、図３に図示されたフォームファクタとは異なるフォームファクタを有してもよい。一実施形態において、入力デバイスは、とりわけ、ジョイスティック、タッチパッド、感圧式パッド、またはホイールであり得る。さらに、入力デバイス１１２は、図３に図示されたものよりも多い制御入力、または少ない制御入力を有してもよい。

【0035】

入力デバイス１１２は、３Ｄレンダリングデバイス１０８に、選択された動作モード及び／または曲線の属性を表すデータを出力する。３Ｄレンダリングデバイス１０８は、選択された動作モード及び／または曲線の属性を表すデータを受信し、このデータを、先端部１２０の位置を表すデータとともに使用して、物理オブジェクトの拡張された３Ｄレンダリングを生成する。例えば、３Ｄレンダリングデバイス１０８は、曲線に色を付与したり、曲線を、受信された属性に従う太さを有するようにレンダリングしたりし得る。

【0036】

物理オブジェクト１０１の３Ｄレンダリングを拡張することに加えて、または代えて、３Ｄレンダリングデバイス１０８は、入力デバイス１１２を使用して与えられたユーザ入力に基づいて、物理オブジェクト１０１の３Ｄレンダリングを精緻化または変更してもよい。物理オブジェクトの３Ｄレンダリングを精緻化または変更する（及び３Ｄレンダリングの精度を改善する）ために、ユーザは、入力デバイスを使用して、物理オブジェクト１０１の外表面をトレースし得る。例えば、ユーザは、物理オブジェクト１０１をトレースして、物理オブジェクト１０１の外表面における、またはこの外表面の近くの先端部１２０の正確な位置を与え得る。次いで、先端部１２０の位置を使用して、物理オブジェクト１０１の３Ｄレンダリングを変更し、物理オブジェクト１０１の３Ｄレンダリングの精度を改善する。

【0037】

ユーザが入力デバイス１１２を利用して物理オブジェクト１０１の外表面をトレースすることに伴って、追跡デバイス１１３は、先端部の位置を追跡する。追跡デバイス１１３は、先端部１２０の空間位置を表すデータを３Ｄレンダリングデバイス１０８に出力する。位置は、３つの座標（例えば、（ｘ，ｙ，ｚ））として３次元空間のデカルト座標系で表されるか、または基準点（または原点）に対する３つの座標（例えば、半径方向距離、極角、及び方位角）として極座標系で表される空間内位置であり得る。入力デバイス１１２の位置追跡は、図１及び図２に関して上述したように、物理オブジェクトの３次元モデルを生成するために別途使用される３Ｄスキャナ１０２よりも正確な空間分解能を有し得る。３Ｄレンダリングデバイス１０８は、入力デバイス１１２の先端部１２０の追跡位置を表すデータを受信し、追跡位置データを使用して、物理オブジェクトの３Ｄレンダリングを与える３Ｄモデルを調整または変更する。

【0038】

本明細書に記載したように、物理オブジェクトの３Ｄレンダリングは、頂点の各対が複数の縁のうちの１つの縁によって接続された、複数の頂点を含み得る。３Ｄレンダリングデバイス１０８は、追跡デバイス１１３から受信された先端部１２０の位置を、複数の頂点のうちの１つの頂点として設定し得る。したがって、物理オブジェクトの３Ｄレンダリングは、追跡デバイス１１３から受信されたデータ位置に基づいて調整される。さらに、３Ｄレンダリングデバイス１０８は、３Ｄレンダリングの既存の頂点を除去し、除去された頂点を、入力デバイス１１２の受信された位置の頂点で置換し得る。除去された頂点は、入力デバイス１１２の受信された位置に最も近いユークリッド空間における位置を有する頂点であり得る。３Ｄレンダリングデバイス１０８は、頂点を除去し、追跡デバイス１１３から受信された先端部１２０の空間位置に対応する（またはこの空間位置と同一である）位置を有する新たな頂点で置換し得る。こうして、３Ｄレンダリングデバイス１０８は、入力デバイス１１２が物理オブジェクトの表面の部分をトレースすることに伴って、入力デバイス１１２の追跡位置データを使用して物理オブジェクトの３Ｄレンダリングを繰り返し改善する。物理オブジェクトの３Ｄモデルに対して行われた調整に基づいて、３Ｄレンダリングデバイス１０８は、物理オブジェクト１０１の更新された３Ｄレンダリングを生成し、更新された３Ｄレンダリングを表すデータをディスプレイ１１０に出力する。

【0039】

こうして、３Ｄレンダリングデバイス１０８は、最初に、３Ｄスキャナ１０２によって出力されたスキャンされた物理オブジェクト１０１を表すデータに基づいて、物理オブジェクト１０１の３Ｄモデルを生成する。次いで、３Ｄレンダリングデバイス１０８は、入力デバイス１１２が物理オブジェクトの表面の部分をトレースすることに伴って、入力デバイス１１２または入力デバイス１１２の先端部１２０の位置を表すデータに基づいて、３Ｄモデルを精緻化する。したがって、３Ｄレンダリングデバイス１０８は、物理オブジェクトの３Ｄレンダリングを漸次改善する。

【0040】

一実施形態において、システム１０６を使用して、空間内距離を測定し得る。ユークリッド距離であり得るこの距離は、空間内のいずれかの箇所に存在し得る。距離は、例えば、物理オブジェクト１０１の外表面上の２点間のものであり得る。距離を測定するために、ユーザは、入力デバイス１１２の先端部１２０を第１の位置に置き、先端部１２０を物理オブジェクトの表面に沿って、第１の点とは異なる第２の点まで移動させ得る。

【0041】

先端部１２０が第１の点にあるとき、追跡デバイス１１３は、先端部の第１の空間位置を特定し、第１の位置データを３Ｄレンダリングデバイス１０８に出力する。３Ｄレンダリングデバイス１０８は、第１の位置データをメモリ１１６に記憶する。次いで、ユーザは、入力デバイス１１２の先端部１２０を物理オブジェクトの表面に沿って第２の点まで移動させる。追跡デバイス１１３は、第２の空間内位置に関連付けられた第２の位置を特定する。追跡デバイス１０３は、第２の位置を３Ｄレンダリングデバイス１０８に出力する。第１及び第２の位置を受信すると、３Ｄレンダリングデバイス１０８は、第１及び第２の位置間のユークリッド距離を求める。次いで、３Ｄレンダリングデバイス１０８は、距離を示すデータをディスプレイ１１０に出力して、ユーザに対して、または距離をユーザに出力する任意の他のデバイスに対して表示させる。

【0042】

なお、様々な実施形態において、距離は、第１及び第２の点などの２点間の直線距離であり得る。加えて、または代わりに、距離は、入力デバイス１１２の先端部１２０によってトレースされた弧または曲線の長さであってもよい。ユーザが曲線をトレースすることに伴って、追跡デバイス１１３は、先端部１２０の空間位置をリアルタイムに求め、位置を表すデータを３Ｄレンダリングデバイス１０８に出力する。ユーザが曲線または弧をゆっくりとトレースして、追跡デバイス１１３が、互いに対する小さい距離増分で、かつより大きい粒度で、先端部１２０の様々な位置を求めることができるようにすることが有利であり得ると認識される。より小さい増分で先端部１２０の変位を特定することは、曲線の長さを求める精度の改善につながる。

【0043】

なお、様々な実施形態において、追跡デバイス１１３が、３Ｄスキャナ１０２の一部であってもよいし、追跡デバイス１１３が不要とされ得、かつ３Ｄスキャナ１０２が、追跡デバイス１１３によって実行される追跡機能を実行してもよい。したがって、３Ｄスキャナ１０２が、入力デバイス１１２の空間位置を追跡し、追跡位置を表すデータを３Ｄレンダリングデバイス１０８に出力してもよい。追跡デバイス１１３は、固定された場所にあり、かつ入力デバイス１１２の方に向けられたカメラまたは他のセンサが、入力デバイスがカメラまたは他のセンサの視認可能範囲内で移動することに伴って入力デバイスの移動を追跡する、アウトサイドイン追跡デバイスであってもよい。さらに、追跡デバイス１１３は、ヘッドマウントディスプレイまたは３Ｄレンダリングデバイス１０８の一部であってもよいし、これに含まれてもよい。代わりに、または加えて、ディスプレイ１１０は、インサイドアウト追跡を含んでもよく、こうするために、ディスプレイ１１０は、外部の周囲環境または空間を、この環境または空間に対するディスプレイ１１０または入力デバイス１１２の位置を求めるために、「見張る」か、または観測するカメラを含んでもよい。

【0044】

図４は、オブジェクトの３Ｄレンダリングを拡張する方法４００のフロー図を示す。方法４００では、４０２において、図１を参照して記載した３Ｄスキャナ１０２などの３Ｄスキャナが、物理オブジェクトの外表面をスキャンする。４０４において、図２を参照して記載した３Ｄレンダリングデバイス１０８などの３Ｄレンダリングデバイスが、４０２において外表面をスキャンすることから結果として得られたデータに基づいて、オブジェクトの３Ｄモデルを生成する。オブジェクトの３Ｄモデルは、オブジェクトの外表面の３Ｄスキャンから求められた複数の頂点、複数の縁、及び複数の表面を含み得る。

【0045】

４０６において、図２を参照して記載したディスプレイ１１０などのディスプレイが、生成された３Ｄモデルに基づいて、物理オブジェクトの３Ｄレンダリングを表示する。ディスプレイは、仮想現実（ＶＲ）または拡張現実（ＡＲ）ディスプレイであり得る。物理オブジェクトは、ディスプレイを通して透過的に視認可能であり得る。ディスプレイは、物理オブジェクトに３Ｄレンダリングを重畳し得、これは、ディスプレイを通して別様に視認可能である。４０８において、図２を参照して記載した追跡デバイス１１３などの追跡デバイスが、入力デバイスがオブジェクトの外表面の少なくとも一部分を物理的にトレースすることに伴って、入力デバイスの位置取りを追跡する。４１０において、追跡デバイスが、入力デバイスがオブジェクトの外表面をトレースすることに伴って、入力デバイスの少なくとも１つの空間位置を特定する。

【0046】

４１２において、３Ｄレンダリングデバイスが、入力デバイスの１つ以上の追跡位置に少なくとも部分的に基づいて、オブジェクトの３Ｄレンダリングを拡張する。ユーザは、物理オブジェクトの外表面の一部分上で入力デバイスを物理的にトレースして、曲線または任意の形状を描画し得る。追跡デバイスは、ユーザが物理オブジェクトの外表面上で入力デバイスを物理的にトレースすることに伴って、入力デバイスを追跡する。入力デバイスの空間位置を表すデータは、３Ｄレンダリングデバイスに与えられ、３Ｄレンダリングデバイスは、このデータを使用して、曲線の形状、並びにオブジェクトの３Ｄレンダリングに対する曲線の位置を求める。３Ｄレンダリングデバイスは、３Ｄレンダリングを、曲線のレンダリングを含むように拡張する。４１４において、ディスプレイが、オブジェクトの拡張された３Ｄレンダリングを表示する。

【0047】

図５は、入力デバイスの追跡位置に基づいてオブジェクトの３Ｄレンダリングを修正する方法５００のフロー図を示す。方法５００のステップ５０２、５０４、５０６、５０８、及び５１０は、図４を参照して記載した方法４００のステップ４０２、４０４、４０６、４０８、及び４１０と同様である。方法５００は、５０２において、物理オブジェクトの外表面をスキャンすること、５０４において、外表面のスキャンに基づいてオブジェクトの３Ｄモデルを生成すること、及び５０６において、生成された３Ｄモデルに基づいてオブジェクトの３Ｄレンダリングを表示することを含む。方法５００はまた、５０８において、入力デバイスがオブジェクトの外表面の少なくとも一部分を物理的にトレースすることに伴って、入力デバイスの位置取りを追跡すること、及び５１０において、入力デバイスがオブジェクトの外表面をトレースすることに伴って、入力デバイスの少なくとも１つの空間位置を特定することを含む。

【0048】

物理オブジェクトの表面のより正確な物理座標を与えるために、ユーザは、物理オブジェクトの表面上で入力デバイスを物理的にトレースし得る。入力デバイスを追跡しながら、物理オブジェクトの表面上で入力デバイスをトレースするか、またはこの表面において入力デバイスを定位することによって、ユーザは、表面の位置取り（または座標）を効率的に与える。表面の位置取りを反映したより正確なデータを使用して、物理オブジェクトの３Ｄレンダリングを修正し、及び向上させることができる（例えば、オブジェクトの３Ｄスキャンが不正確である場合）。

【0049】

こうして、３Ｄレンダリングを拡張することとは対照的に、方法５００は、５１２において、３Ｄレンダリングデバイスによって、入力デバイスの１つ以上の追跡位置に少なくとも部分的に基づいて、オブジェクトの３Ｄモデルを修正するように進む。入力デバイスの追跡空間位置を使用して、３Ｄレンダリングを拡張するか、または３Ｄレンダリングに付加するよりも、オブジェクトの３Ｄモデルを精緻化するか、または３Ｄモデルの精度を向上させる。本明細書に記載したように、入力デバイスの位置は、オブジェクトの修正された３Ｄモデルに頂点として含められる。オブジェクトの３Ｄモデルを修正した後、ディスプレイが、５１４において、オブジェクトの修正された３Ｄモデルに基づいて、オブジェクトの更新された３Ｄレンダリングを表示する。

【0050】

図６は、入力デバイスの１つ以上の追跡位置に基づく距離測定の方法６００のフロー図を示す。方法６００では、追跡デバイスが、６０２において、入力デバイスが物理オブジェクトの外表面の少なくとも一部分をトレースすることに伴って、入力デバイスの空間の位置取りを追跡する。ユーザは、物理オブジェクトの外表面をトレースして、物理オブジェクトの外表面に沿った、２つの点または位置の間の距離を測定し得る。６０４において、追跡デバイスが、入力デバイスがオブジェクトをトレースすることに伴って、入力デバイスの少なくとも２つの位置を特定する。

【0051】

６０６において、３Ｄレンダリングデバイスが、少なくとも２つの位置の間の距離を求める。距離は、少なくとも２つの位置の間のユークリッド距離であり得る。距離は、入力デバイスによってトラバースされた、直線に沿った直線距離、または曲線に沿った距離であり得る。入力デバイスによってトラバースされた曲線は、入力デバイスが曲線をトラバースしたことに伴って、入力デバイスの多数の検知位置の間に延在する複数の短い線セグメントによって近似され得る。曲線に沿った距離は、短い線セグメントの個々の距離を合計することによって求められ得る。６０８において、３Ｄレンダリングデバイスが、ディスプレイに表示され得る、距離を表すデータを出力する。

【0052】

上述した様々な実施形態を組み合わせて、さらなる実施形態を提供することができる。上記に詳述した説明に照らして、これら及び他の変更を実施形態に行うことができる。一般に、以下の特許請求の範囲において、使用される用語は、特許請求の範囲を、明細書及び特許請求の範囲に開示された特定の実施形態に限定すると解釈されるものではなく、すべての可能な実施形態を、そのような特許請求の範囲に与えられるものと均等な全範囲とともに含むと解釈されるものである。したがって、特許請求の範囲は、本開示によって限定されない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【国際調査報告】