知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6625523
(24)【登録日】2019年12月6日
(45)【発行日】2019年12月25日
(54)【発明の名称】ＨＵＤオブジェクト設計および表示方法。
(51)【国際特許分類】
G06F 3/01 20060101AFI20191216BHJP
G06F 3/0481 20130101ALI20191216BHJP
G06T 19/00 20110101ALI20191216BHJP
【ＦＩ】
G06F3/01 510
G06F3/0481 150
G06T19/00 600
【請求項の数】28
【全頁数】24
(21)【出願番号】特願2016-515147(P2016-515147)
(86)(22)【出願日】2014年5月29日
(65)【公表番号】特表2016-526222(P2016-526222A)
(43)【公表日】2016年9月1日
(86)【国際出願番号】US2014039987
(87)【国際公開番号】WO2014194066
(87)【国際公開日】20141204
【審査請求日】2015年11月20日
【審判番号】不服2018-7413(P2018-7413/J1)
【審判請求日】2018年5月30日
(31)【優先権主張番号】61/828,745
(32)【優先日】2013年5月30日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】515324741
【氏名又は名称】スミス， チャールズ， アンソニー
【氏名又は名称原語表記】ＳＭＩＴＨ， Ｃｈａｒｌｅｓ， Ａｎｔｈｏｎｙ
(74)【代理人】
【識別番号】110001494
【氏名又は名称】前田・鈴木国際特許業務法人
(72)【発明者】
【氏名】スミス， チャールズ， アンソニー
【合議体】
【審判長】
▲吉▼田 耕一
【審判官】
梶尾 誠哉
【審判官】
白井 亮
(56)【参考文献】
【文献】
特表２０１５−５０４６１６（ＪＰ，Ａ）
【文献】
特開２０１０−１４６２８５（ＪＰ，Ａ）
【文献】
特開２００６−２８５８３３（ＪＰ，Ａ）
【文献】
特開２００２−１３９３２１（ＪＰ，Ａ）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
G06F 3/01
G06F 3/0481
G06T 19/00
(57)【特許請求の範囲】
【請求項1】
コンピュータに３次元オブジェクトの一人称拡張現実視野を生成させるためのプログラムが格納されたコンピュータ読み取り可能な記録媒体であって、
前記プログラムは、前記コンピュータに、
表示装置と複数の位置センサとの通信を開始する手順と、
前記位置センサからのセンサデータを受信する手順と、
前記表示装置のセンサは、前記複数の位置センサと同期し、前記表示装置のＣＰＵは、前記表示装置と前記複数の位置センサ間の距離を計算する手順と、
前記センサデータを用いて拡張現実環境を生成する手順と、
前記拡張現実環境内に３次元対象オブジェクトを組み込む手順と、
前記拡張現実環境に直交座標グリッドを適用する手順と、
一人称拡張現実視野における前記拡張現実環境に前記対象オブジェクトを表示する手順とを実行させることを特徴とするコンピュータ読み取り可能な記録媒体。
前記プログラムは、前記コンピュータに、
表示装置と複数の位置センサとの通信を開始する手順と、
前記位置センサからのセンサデータを受信する手順と、
前記表示装置のセンサは、前記複数の位置センサと同期し、前記表示装置のＣＰＵは、前記表示装置と前記複数の位置センサ間の距離を計算する手順と、
前記センサデータを用いて拡張現実環境を生成する手順と、
前記拡張現実環境内に３次元対象オブジェクトを組み込む手順と、
前記拡張現実環境に直交座標グリッドを適用する手順と、
一人称拡張現実視野における前記拡張現実環境に前記対象オブジェクトを表示する手順とを実行させることを特徴とするコンピュータ読み取り可能な記録媒体。
【請求項2】
前記プログラムは、前記対象オブジェクトの操作を可能とする手順をさらに実行させることを特徴とする請求項１に記載のコンピュータ読み取り可能な記録媒体。
【請求項3】
前記プログラムは、前記表示装置の位置または方向の変化を反映させるために、前記対象オブジェクトの表示を変更する手順をさらに実行させることを特徴とする請求項１に記載のコンピュータ読み取り可能な記録媒体。
【請求項4】
前記センサデータは、前記拡張現実環境の物理的特性、スケール、位置および方向に関するデータを含むことを特徴とする請求項１に記載のコンピュータ読み取り可能な記録媒体。
【請求項5】
前記プログラムは、前記拡張現実環境に３次元画像を重ね合わせる手順をさらに実行させることを特徴とする請求項１に記載のコンピュータ読み取り可能な記録媒体。
【請求項6】
前記拡張現実環境は、前記複数の位置センサの配置により生成されることを特徴とする請求項１に記載のコンピュータ読み取り可能な記録媒体。
【請求項7】
前記プログラムは、前記直交座標グリッドの仮想表現を行う手順をさらに実行させることを特徴とする請求項１に記載のコンピュータ読み取り可能な記録媒体。
【請求項8】
前記仮想表現は、前記表示装置と前記複数の位置センサとの同期により行われることを特徴とする請求項７に記載のコンピュータ読み取り可能な記録媒体。
【請求項9】
前記プログラムは、前記複数の位置センサの実際の位置を用いて表示原点を決定する手順をさらに実行させることを特徴とする請求項１に記載のコンピュータ読み取り可能な記録媒体。
【請求項10】
前記プログラムは、写実的ユーザインターフェスをシミュレートするために、リアルタイム効果をレンダリングする手順をさらに実行させることを特徴とする請求項１に記載のコンピュータ読み取り可能な記録媒体。
【請求項11】
前記プログラムは、前記拡張現実環境におけるユーザの存在をシミュレートする手順をさらに実行させることを特徴とする請求項１に記載のコンピュータ読み取り可能な記録媒体。
【請求項12】
前記プログラムは、前記対象オブジェクトに物理的属性を適用する手順をさらに実行させることを特徴とする請求項１に記載のコンピュータ読み取り可能な記録媒体。
【請求項13】
前記プログラムは、前記対象オブジェクトに物理的属性を適用した効果をシミュレートする手順をさらに実行させることを特徴とする請求項１２に記載のコンピュータ読み取り可能な記録媒体。
【請求項14】
前記プログラムは、前記対象オブジェクトに物理的属性を適用した効果をシミュレートした結果を表示する手順をさらに含むことを特徴とする請求項１３に記載のコンピュータ読み取り可能な記録媒体。
【請求項15】
前記対象オブジェクトは、前記表示装置によって取得された実際のオブジェクトの画像であることを特徴とする請求項１に記載のコンピュータ読み取り可能な記録媒体。
【請求項16】
前記対象オブジェクトは、ユーザにより前記拡張現実環境内に生成された３次元デザインであることを特徴とする請求項１に記載のコンピュータ読み取り可能な記録媒体。
【請求項17】
前記プログラムは、前記表示装置によるモーションキャプチャおよび距離検知を可能とする手順をさらに実行させることを特徴とする請求項１に記載のコンピュータ読み取り可能な記録媒体。
【請求項18】
前記プログラムは、前記拡張現実環境に複数のユーザが参加することを可能とする手順をさらに実行させることを特徴とする請求項１に記載のコンピュータ読み取り可能な記録媒体。
【請求項19】
前記プログラムは、前記複数のユーザによる共同設計を可能とする手順をさらに実行させることを特徴とする請求項１８に記載のコンピュータ読み取り可能な記録媒体。
【請求項20】
前記プログラムは、前記拡張現実環境のユーザ視点を生成し、前記ユーザが前記拡張現実環境内を視認および移動することを可能とする手順をさらに実行させることを特徴とする請求項１に記載のコンピュータ読み取り可能な記録媒体。
【請求項21】
前記ユーザが前記拡張現実環境内を視認および移動することを可能とする手順は、前記表示装置の位置および前記拡張現実環境におけるオブジェクトと表示装置の焦点を結ぶ手順を含むことを特徴とする請求項２０に記載のコンピュータ読み取り可能な記録媒体。
【請求項22】
前記プログラムは、前記表示装置による前記対象オブジェクトの拡大または縮小のシミュレーションを可能とする手順をさらに実行させることを特徴とする請求項１に記載のコンピュータ読み取り可能な記録媒体。
【請求項23】
前記プログラムは、前記拡張現実環境の移動を可能とする手順をさらに実行させることを特徴とする請求項１に記載のコンピュータ読み取り可能な記録媒体。
【請求項24】
前記拡張現実環境の移動を可能とする手順は、
前記表示装置の動きを検知する手順と、
前記表示装置と前記複数の位置センサとの距離を判定する手順とを含むことを特徴とする請求項２３に記載のコンピュータ読み取り可能な記録媒体。
前記表示装置の動きを検知する手順と、
前記表示装置と前記複数の位置センサとの距離を判定する手順とを含むことを特徴とする請求項２３に記載のコンピュータ読み取り可能な記録媒体。
【請求項25】
前記プログラムは、物理的特性を適用した対象オブジェクトを生成および表示する手順をさらに実行させることを特徴とする請求項１に記載のコンピュータ読み取り可能な記録媒体。
【請求項26】
前記プログラムは、前記表示装置の前記拡張現実環境に対する距離の変化に基づいて音声を再生する手順をさらに実行させることを特徴とする請求項１に記載のコンピュータ読み取り可能な記録媒体。
【請求項27】
前記プログラムは、表示原点を決定する手順をさらに実行させることを特徴とする請求項１に記載のコンピュータ読み取り可能な記録媒体。
【請求項28】
前記表示原点を決定する手順は、
前記複数の位置センサによって形成された配置レイアウトの幅および長さの変数を決定する手順と、
前記幅および長さの変数を２で割る手順とを含むことを特徴とする請求項２７に記載のコンピュータ読み取り可能な記録媒体。
前記複数の位置センサによって形成された配置レイアウトの幅および長さの変数を決定する手順と、
前記幅および長さの変数を２で割る手順とを含むことを特徴とする請求項２７に記載のコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【関連出願】
【0001】
本出願は、２０１３年５月３０日に出願された「ＨＵＤオブジェクト設計および方法」（HUD OBJECT DESIGN AND METHOD）と題する米国仮特許出願第６１／８２８，７４５号に基づく優先権を主張する。
【技術分野】
【0002】
本発明は、３次元オブジェクトを設計し、上記オブジェクトに特性を追加し、HUD装置の動きおよび／またはこれと位置センサ間の相互関係に基づき上記オブジェクトの視野を表示することができるヘッドアップディスプレイ（HUD）拡張現実（AR）表示環境に関する。
【背景技術】
【0003】
３次元（３Ｄ）レンダリングは、ワイヤフレーム３ＤモデルをＸ、ＹおよびＺグリッド線にプロットし、３Ｄ効果を有する２Ｄ画像に変換する。３Ｄレンダリングされたオブジェクトは一般的に見られるが、これらを生成および描画するためには３Ｄモデリングソフトウェアが必要である。しかし、上記ソフトウェアは、オブジェクトを一人称拡張現実（ＡＲ）視野に提示しない。拡張現実（ＡＲ）とは、コンピュータ生成ソフトウェアによって要素がシミュレート（または変更）された物理的な実世界環境のリアルタイム視野である。現在の拡張現実の表示方法は、３Ｄモデルを表示するために画像認識用のカメラを必要とする。
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記方法は、大規模３Ｄモデルを表示するためには限界がある。センサではなくカメラを用いることで、ユーザにレンダリング待ち時間および視点の範囲の限界をもたらす可能性がある。また、例えば、特異な性質のオブジェクトは、物理的または視覚的特性をシミュレートすることが困難である。さらに、現在のモデリングソフトウェアは複雑であり、高品質でリアリティのある画像を作成することができない。
【課題を解決するための手段】
【0005】
本発明は、カスタマイズされた３Ｄモデルの拡張現実表現を生成することができるヘッドアップディスプレイを提供する。
【0006】
本発明の実施形態の一態様は、手持ち式またはウェアラブル装置のソフトウェアによりレンダリングされた視点を有するヘッドアップディスプレイを特徴とする。
【0007】
本発明の実施形態の一態様は、高品質な３Ｄモデルを生成することができるユーザフレンドリーなシステムを提供する。
【0008】
本発明の実施形態の一態様は、静止センサの配置に基づいてＸ、Ｙ、Ｚ軸を決定する直交グリッドを特徴とする。
【0009】
本発明の実施形態の一態様は、モーションセンサにより検知されたＨＵＤの物理的運動と、ＨＵＤから同期した静止センサまでの距離とを組み合わせることで移動するユーザインターフェースを含むソフトウェアを特徴とする。
【0010】
本発明の実施形態の一態様は、ＨＵＤの運動に基づいて、レンダリングされた３Ｄオブジェクトのユーザ視野を計算することができるＨＵＤ上のモーションセンサを特徴とする。
【0011】
本発明の態様、目的、特徴および利点は、以下の実施形態に関する記載および添付の図面により明らかとなる。
【図面の簡単な説明】
【0012】
【発明を実施するための形態】
【0013】
本発明の態様は、３次元オブジェクトの一人称拡張現実視野、設計および生成を可能とするシステム、方法およびコンピュータプログラム製品に関する。本発明の実施形態の一態様は、コンピュータにより３次元オブジェクトの一人称拡張現実視野を可能とするコンピュータプログラム製品である。本態様におけるコンピュータプログラム製品には、コンピュータにより３次元オブジェクトの一人称拡張現実視野を生成できるようにするための制御論理が格納されたコンピュータ使用可能媒体が含まれる。制御論理には、表示装置と１つまたは複数のセンサとの通信の初期化、１つまたは複数のセンサからのセンサデータの受信、１つまたは複数のセンサからのデータを用いた拡張現実環境の生成、拡張現実環境への３次元対象オブジェクトの組み込み、拡張現実環境への直交座標グリッドの適用、および一人称拡張現実視野における拡張現実環境への対象オブジェクトの表示等の様々な動作を行うコンピュータ可読プログラムコードが含まれる。
【0014】
本発明の実施形態の一態様において、制御論理には、対象オブジェクトの操作を可能とするコンピュータ可読プログラムコードが含まれる。
【0015】
本発明の実施形態の一態様において、制御論理には、対象オブジェクトの表示を変更して表示装置の位置および／または方向の変化を反映させるためのコンピュータ可読プログラムコードが含まれる。
【0016】
また、他の態様では、全地球測位システム（ＧＰＳ）を用いて表示装置の位置および／または方向の変化を反映できるようにするためのコンピュータ可読プログラムコードが含まれる。
【0017】
本発明の実施形態の一態様において、センサデータには、対象オブジェクトの物理的特性、スケール、位置および／または方向に関する情報またはデータが含まれる。
【0018】
本発明の実施形態の一態様において、制御論理には、拡張現実環境に３次元画像を重ね合わせることを可能とするコンピュータ可読プログラムコードが含まれる。
【0019】
本発明の実施形態の一態様において、拡張現実環境は、１つまたは複数のセンサの配置により生成される。
【0020】
本発明の実施形態の一態様において、制御論理には、直交座標グリッドの仮想表現を行うためのコンピュータ可読プログラムコードが含まれる。
【0021】
本発明の実施形態の一態様において、直交座標グリッドの仮想表現は、表示装置と１つまたは複数のセンサとの同期によって行われる。
【0022】
本発明の実施形態の一態様において、制御論理には、１つまたは複数のセンサのリアルタイムおよび／または実際の位置を用いて表示原点を決定するためのコンピュータ可読プログラムコードが含まれる。
【0023】
本発明の実施形態の一態様において、制御論理には、リアルタイム効果をレンダリングして写実的ユーザインターフェスをシミュレートするためのコンピュータ可読プログラムコードが含まれる。
【0024】
本発明の実施形態の一態様において、制御論理には、拡張現実環境のユーザ視点を生成し、ユーザが拡張現実環境内を視認および移動できるようにするためのコンピュータ可読プログラムコードが含まれる。例えば、ユーザは、表示装置に投影された拡張現実環境において歩き回ったり、相互作用することができる。
【0025】
本発明の実施形態の一態様において、制御論理には、対象オブジェクトに物理的属性を適用できるようにするためのコンピュータ可読プログラムコードが含まれる。他の態様として、拡張現実環境自体に物理的属性を適用できるようにするためのコンピュータ可読プログラムコードが含まれる。
【0026】
本発明の実施形態の一態様において、制御論理には、対象オブジェクトに物理的属性を適用した効果をシミュレートするためのコンピュータ可読プログラムコード、および、対象オブジェクトに物理的属性をシミュレートした結果を表示するためのコンピュータ可読プログラムコードが含まれる。
【0027】
本発明の実施形態の一態様において、対象オブジェクトは、表示装置によって取得された実際のオブジェクトの画像である。他の態様では、対象オブジェクトの画像は、表示装置のカメラによって取得される。さらに他の態様では、対象オブジェクトの画像は表示装置にアップロードされる。
【0028】
本発明の実施形態の一態様において、対象オブジェクトは、ユーザにより拡張現実環境内に生成された３次元デザインである。
【0029】
本発明の実施形態の一態様において、本発明に係るシステムは、外部ソースから３次元モデルをアップロードすることができる。
【0030】
本発明の実施形態の一態様において、制御論理には、表示装置によるモーションキャプチャおよび距離検知を可能とするためのコンピュータ可読プログラムコードが含まれる。
【0031】
本発明の実施形態の一態様において、制御論理には、拡張現実環境に複数のユーザが参加できるようにするためのコンピュータ可読プログラムコードが含まれる。また、他の態様では、複数のユーザによる共同設計を可能とするためのコンピュータ可読プログラムコードが含まれる。
【0032】
本発明の実施形態の一態様において、制御論理には、表示装置による対象オブジェクトの拡大または縮小のシミュレーションを可能とするためのコンピュータ可読プログラムコードが含まれる。
【0033】
本発明の実施形態の一態様において、制御論理には、拡張現実環境におけるユーザの視野視線をシミュレートするためのコンピュータ可読プログラムコードが含まれる。他の態様では、コンピュータ可読プログラムコードには、表示装置の位置および拡張現実環境におけるオブジェクトと表示装置の焦点を結ぶためのコンピュータ可読プログラムコードが含まれる。
【0034】
本発明の実施形態の一態様において、制御論理には、拡張現実環境の移動を可能にするためのコンピュータ可読プログラムコードが含まれる。また、他の態様では、コンピュータ可読プログラムコードには、表示装置の動きを検知するためのコンピュータ可読プログラムコード、および、表示装置と１つまたは複数のセンサとの距離を判定するためのコンピュータ可読プログラムコードが含まれる。
【0035】
本発明の実施形態の一態様において、制御論理には、ユーザが決定した物理的特性を適用して対象オブジェクトを生成および表示するためのコンピュータ可読プログラムコードが含まれる。
【0036】
本発明の実施形態の一態様において、制御論理には、表示装置の拡張現実環境に対する距離の変化に基づいて音声を再生するためのコンピュータ可読プログラムコードが含まれる。
【0037】
本発明の実施形態の一態様において、制御論理には、表示原点を決定するためのコンピュータ可読プログラムコードが含まれる。他の態様では、コンピュータ可読プログラムコードには、１つまたは複数のセンサによって形成された配置レイアウトの幅および長さの変数を決定するためのコンピュータ可読プログラムコードが含まれる。配置レイアウトは、例えば矩形形状であり、この場合の表示原点は長さおよび幅をそれぞれ２で割ることにより決定される。
【0038】
ヘッドアップディスプレイ（ＨＵＤ）は、ユーザが通常の視点から視線を逸らすことなく視認可能なデータを表示することができる透明ディスプレイである。本発明は、ヘッドアップディプレイと、ユーザが拡張現実環境に３次元（３Ｄ）モデルを表示することができるように構成されたコンピュータ支援設計（ＣＡＤ）ソフトウェアとを組み合わせたものである。また、ＨＵＤは、モーションキャプチャと距離検知機能を備える。本発明に必要なソフトウェアは、内部または外部に格納される。内部に格納される場合、ＣＡＤソフトウェアは局部的（ローカル）に格納され、ＨＵＤ装置の内蔵ＣＰＵにおいて処理される。他方で、外部装置（携帯電話、ＰＣ、ウェブサーバー）からのコンテンツを表示するGoogle Glass（登録商標）などのＨＵＤ装置の場合、使用されるＣＡＤソフトウェアはＨＵＤ装置の外部に格納され、処理される。なお、本発明に係るＨＵＤ装置は、ヘッドアップディスプレイのみに限定されず、透明の、および／またはシミュレートされた拡張現実一人称視野を表示することができるウェアラブル装置などのモバイル装置も含む。透明な拡張現実視野を表示するＨＵＤ装置では、透明ＬＥＤディスプレイ技術を用いることで、３Ｄ画像が重畳された現実を視認することができる。ＨＵＤの一人称３Ｄ視点をシミュレートする装置は、その内部または外部のカメラによって取得された現実視野の上に重ねて、画像をレンダリングすることができる。その一つの例は、内部カメラによって取得された（または内部カメラによって視認された）現実のユーザの視点を拡張する３Ｄ環境の一人称視野を表示可能なタブレットがある。以下、上記装置および本発明に係るＨＵＤ装置は、表示装置および／またはＨＵＤと呼ぶ。
【0039】
図１は、直交座標グリッドの一例を示す。３次元空間のための直交座標系は、図１に示すように、互いに直交する３つの線（軸）を配置し、３つの軸の単位長さおよび方向を定めたものである。２次元の例のように、各軸は数値線となる。点Ｐの座標は、図１に示すように、点Ｐから各座標軸に向かって垂直に線を引き、上記線が各座標軸との交わる点の数値線における数値を読み取ることにより得られる。これらの座標系は、主にコンピュータ支援設計（ＣＡＤ）または３Ｄモデリングソフトウェアを用いた３Ｄモデルの設計において使用される。本発明において、拡張現実環境は、カメラの視線を利用した画像認識ではなく、センサ配置を用いて生成される。上記座標系は、位置センサによって現実の位置を正確に決定できるように表示される。
【0040】
図２は、本発明の実施形態の一態様における位置センサ２０４の付近に位置するユーザ２０２を示す。ユーザ２０２は、位置センサ２０４とともに示されている。後述のように、１つまたは複数の位置センサ２０４が配置される。各位置センサ２０４は、相互に、および表示装置との間で認識、検知および通信可能に構成された距離センサである。位置センサ２０４は、各位置センサ２０４間の距離、および位置センサ２０４と表示装置との間の距離を測定する。これらの測定結果から、拡張現実環境の物理的特性、スケール、位置および／または方向が決定される。
【0041】
図３、４および５は、本発明の実施形態の一態様におけるユーザ２０２と複数の位置センサ２０４、位置センサ同期プロセス、および配置された表示環境の例を示す。位置センサ２０４は、ユーザ２０２が位置センサ２０４を平面上に設置でき、かつ、表示装置が位置センサ２０４を検知できる程度に間隔を開けて配置されている。位置センサ２０４は、図示されるように、現実環境のサイズおよび寸法の正確な複製をシミュレートできるように配置される。これにより、図５に示されるように、高層ビルのように大きな、あるいは硬貨のように小さな３Ｄモデルまたは対象オブジェクト５０２を正確なスケールでレンダリングすることが可能な拡張現実環境を生成することができる。位置センサ２０４は、ユーザのワークスペースの境界または周長寸法を決定するために平面上に配置される。位置センサ２０４は、表示装置と同期して直交デカルトグリッドの物理的位置の基点を仮想的に表現する。表示装置のソフトウェアは、表示装置の内部または外部に設けられたセンサを用いて、位置センサ２０４を検知し、これらと同期する。同期プロセスにおいて、表示装置は、位置センサ２０４から、位置センサ２０４の数および各位置センサ２０４間の距離等のセンサデータを受信する。表示装置は、各位置センサ２０４間の距離から、拡張現実環境の寸法容量／限界を、現実環境の寸法容量／限界に一致するように取得する。
【0042】
図４に示されるように、各位置センサ２０４間の距離を計算する位置センサ同期プロセスでは、１つの位置センサ２０４から他の位置センサ２０４までコンピュータ生成仮想水平線を引き、目盛りを付ける。目盛りは、センサ間のすべての測定可能な仮想単位（センチメートル、インチ、フィート等）を測定することができる。同期プロセスにおいて生成された線および目盛りは、デフォルトでは表示装置ユーザインターフェースから隠されているが、ユーザは自由に表示させることができる。ユーザは、各位置センサ２０４間の長さおよび幅を特定することで、ワークスペースが適切なサイズ容量を有すること、および、位置センサ２０４がユーザの意図する投影を行うために正確な平行配置を有することを確認することができる。図６は、同期によって生成された、拡張現実環境または表示環境６００と呼ばれるコンピュータ生成３軸、３Ｄ直交グリッドである。１つまたは複数の位置センサ２０４によって表示環境６００が形成されることで、拡張現実表示エリアまたはワークスペースが生成される。表示環境６００は、主に拡張現実オブジェクト、アプリケーションまたはオペレーティングシステムを表示および／または設計するために用いられる。
【0044】
表示環境６００を配置するには、表示原点を決定するための単一センサ原点（ＳＳＯ）７０２または複数センサ原点（ＭＳＯ）８０２が必要である。表示原点は、ＳＳＯまたは表示環境の物理的境界を定める直交点のセットとして配置された複数の位置センサ２０４の位置により定められた現実の単一点である。単一センサ原点（ＳＳＯ）７０２は、表示環境６００の原点値（０，０，０）および表示環境６００のソフトウェア配置点を自動的に特定するために、ユーザ２０２の所望の物理的位置に配置された位置センサ２０４に基づく。ＳＳＯ７０２は、表示環境６００の長さおよび幅の設定のための中心点として用いられる。また、ＳＳＯ７０２は、表示環境６００の高さまたは深さの起点として用いられる。長さ、上記幅および高さ（または深さ）の値は、ユーザ２０２が手動で設定してもよい。これにより、図７および図８に示すように、ソフトウェアはＳＳＯ７０２またはＭＳＯ８０２を表示環境６００の原点として計算し、これにユーザ２０２が設定した長さ、幅および高さ（または深さ）の値を用いて自動的に３Ｄ直交境界を生成することができる。ＭＳＯ８０２を用いて表示環境６００を配置するためには、ソフトウェアが、１つの位置センサ２０４を仮の原点として、２つの隣接する位置センサ２０４から上記原点までの距離を計算して長さおよび幅の値を生成することが必要である。上記計算により、ソフトウェアがＭＳＯ８０２を生成できるようにするための現実の物理点が提供される。ＭＳＯ８０２は、複数の（主に直交構造に結合された４つの）位置センサ２０４の中点の値である。図８に示すように、上記４つの位置センサ２０４間の長さおよび幅の値を２で割り、ｘとｙをＭＳＯ８０２の変数値とする。例えば、ｘ＝幅／２、ｙ＝長さ／２であれば、ＭＳＯ８０２の点は座標（Ｘ，Ｙ，Ｚ）に等しくなる。ＭＳＯの計算において、ユーザが表示環境の高さ値を設定していない場合、ｚ変数の初期値は０となる。
【0045】
（ＭＳＯ）プロセスの例１．４つの位置センサ２０４を配置して、表示環境直交形状の四隅を決定する
２．上記直交する四隅の長さおよび幅の変数を計算する
例：Ｌ＝１２、Ｗ＝６
３．長さおよび幅を２で割り、ｘおよびｙ変数を計算する
例：Ｘ＝１２／２、Ｙ＝６／２
Ｘ＝６、Ｙ＝３、Ｚ＝０
ＭＳＯ＝（６，３，０）
４．ソフトウェアが上記計算したＭＳＯ点を表示環境特性に格納する
【0046】
表示環境６００の表示原点が設定されると、ユーザ２０２は表示環境特性と呼ばれる環境特性のリストを決定する。表示環境特性は、ユーザ２０２が表示環境６００に適用される属性値のリストを管理できるようにするためのソフトウェア生成メニューである。格納される属性は、表示環境６００の物理的および相互作用的特性に関するメタデータなどである。格納される特性の非限定的な例としては、ＭＳＯ、ＳＳＯ、環境長さ、環境幅、環境高さ、ｘ軸の最大値、ｙ軸の最大値、ｚ軸の最大値などがあり、表示環境６００の視覚的特性も上記特性によって設定された属性により決定される。
【0047】
図９は、本発明の実施形態の一態様に係る表示装置９０２の位置同期プロセスの一例を示す。表示装置９０２の位置は、表示装置９０２から表示環境６００の位置センサ２０４までの距離から計算される。図９に示すように、上記計算の結果はＨＵＤセンサ同期プロセスと呼ばれる。ＨＵＤセンサ同期プロセスは、それが位置センサ２０４から表示装置９０２まで引かれた目盛線を測定に用いる点以外は、前述のセンサ同期プロセスと同一である。ＨＵＤセンサ同期プロセスにより表示装置９０２の位置が決定され、表示装置９０２から、ＳＳＯ７０２またはＭＳＯ８０２からの垂直線と交差する水平線が生成される。表示装置９０２の水平距離は、表示装置９０２からＳＳＯ７０２またはＭＳＯ８０２の垂直交差点までの水平目盛りをカウントすることで測定される。一方、表示装置９０２の高さは、ＳＳＯ７０２またはＭＳＯ８０２の水平交差点から表示装置９０２までの垂直目盛りをカウントすることで測定される。ユーザ２０２（表示装置９０２の使用者）が表示装置９０２の物理的位置および方向を変化させるにしたがい、表示装置９０２の位置の値も変化するため、その特定は動的計算による。表示装置９０２の位置の再計算は、表示装置９０２のモーションキャプチャ検知機能によって受信された信号により開始される。
【0048】
図１０〜図１２は、本発明の実施形態の一態様における、３Ｄレンダリングおよび投影、焦点および視線を含む表示装置９０２の一人称視点（ＰＯＶ）、および、焦点および視線を含む表示装置９０２の三人称視点（ＰＯＶ）の例を示す。
【0049】
視点（ＰＯＶ）として参照された表示装置ユーザインターフェース（ＵＩ）１１０２は、３Ｄレンダリングのコンピュータグラフィックスプロセスを用いて、自動的に３Ｄワイヤフレームモデルを２Ｄ画像に変換することができる。図１０に示すように、３Ｄワイヤモデル上の点を表示環境にプロットした後、表示装置９０２のソフトウェアが３Ｄレンダリングを適用して写実的ユーザインターフェースをシミュレートする。視点（ＰＯＶ）１１０２は、３Ｄレンダリングされたオブジェクトを含むユーザ２０２の現実の一人称視点をシミュレートする。また、図１１および図１２に示すように、視点（ＰＯＶ）１１０２は、３Ｄ投影および正射投影を用いて投影面としての２Ｄ画像を表示することにより、表示環境６００の態様を表示する。上記投影面は、表示装置９０２の焦点および表示環境６００からの視線に垂直な平面である。透視投影の焦点は、ユーザ２０２の視野の中心または原点である。図１１および図１２に示すように、表示装置９０２の位置および表示環境６００の特性を上記焦点と組み合わせることで、ユーザ２０２からの視線をシミュレートすることができる。
【0050】
図１３〜図１５は、それぞれ、本発明の実施形態の一態様において、距離が変化する表示環境を表示視点（ＰＯＶ）から見た様子を示した図、ディスプレイにおけるモーションキャプチャおよび画像変化の様子を一人称視野からの視線とともに示した図、および、ディスプレイにおけるモーションキャプチャおよび画像変化の様子を、三人称視野からの視線とともに示した図である。
【0051】
モーションキャプチャ技術は、表示装置９０２から表示環境６００までの距離が変化した場合の表示装置９０２の視線の再計算のために用いられる。図１３〜図１５に示すように、ユーザ２０２が表示装置９０２と表示環境６００との距離を変化させると、その動きが取得され、ソフトウェアが表示装置９０２により投影された画像を再レンダリングする。図１４および図１５に示すように、再レンダリングでは、表示装置９０２の視点（ＰＯＶ）の視線１１０２が表示環境６００と交わる点を再計算することにより、表示環境６００の移動をシミュレートする。
【0052】
図１６〜図１８は、本発明の実施形態の一態様における、三人称視野からの表示環境６００の３Ｄ方向移動、および一人称／三人称視点（ＰＯＶ）ヘッドチルトモーションキャプチャ視野効果を示す。図１６に示すように、表示環境の移動は、現実世界の３次元運動の効果および上下左右前後の視野を生成する。また、図１７および図１８に示すように、ユーザは傾斜した角度で視野を見ることができる。
【0053】
図１９および図２０は、一人称および三人称視点からの内部および外部位置視点（ＰＯＶ）の例を示す。位置視点は、ユーザ２０２が表示環境６００の境界の内部または外部に存在しているようにシミュレートする。大規模表示環境が配置され、表示装置９０２の位置が表示環境６００の境界の内部にことが測定できる場合、表示された画像から内部次元視点（ＰＯＶ）を生成する。内部次元視点（ＰＯＶ）は、ユーザの視線を調節して表示環境６００を内部から３６０度の水平および垂直視野範囲で表示する。例えば、図１９および図２０に示すように、大きな建物の３Ｄモデル生成するために十分な間隔を有する複数のセンサを備える表示環境６００において、ユーザ２０２は自由に移動し、上記モデルを内部および外部のあらゆる角度から眺めることができる。ユーザの表示装置の水平視線が表示環境の座標と交わらない場合、画像は表示されず、ユーザが表示環境またはオブジェクトを見ていないかのようにシミュレートする。
【0054】
図２１および図２２は、本発明の実施形態の一態様における、相互作用装置同期プロセス、および、ユーザ２０２が相互作用装置２１０２を使用している様子の一例を示す。相互作用装置２１０２には、ユーザ２０２によって入力されたソフトウェアコマンドを取得するための表示装置９０２のソフトウェアと同期する周辺装置が含まれる。また、相互作用２１０２は、ユーザが相互作用装置同期プロセスを用いて、ユーザ視点（ＰＯＶ）１１０２から視認することができるソフトウェアコマンドを生成するための相互作用装置の位置座標を取得することにより、表示環境インターフェースおよび３Ｄモデルを操作することを可能とする。図２１に示すように、相互作用装置同期プロセスは、表示装置ではなく周辺装置を用いる点を除けば、ＨＵＤセンサ同期プロセスと同様である。上記装置には、例えば、スタイラスワンド、キーボード、マウス、リモコン、手、目または体の動きを取得するための装置、および脳コンピュータインターフェース（ＢＣＩ）装置が含まれるが、これらに限定されない。図２２に示すように、相互作用装置ソフトウェアコマンド入力機能は、前述の表示環境におけるユーザ視点（ＰＯＶ）の表示方法と同様に処理され、相互作用装置と表示環境の距離が取得された後、画像がレンダリングされるのではなく、上記ソフトウェアが装置の位置におけるコマンドを処理する。
【0055】
図２３〜図２７は、本発明の実施形態の一態様における、グリッド線を含まない三人称視点視野からの設計ユーザインターフェース、トグルされたグリッド線を含む三人称視点視野からの設計ユーザインターフェース、グリッド線を含まない設計ユーザインターフェースの代替表示環境視野、グリッド線を含む設計ユーザインターフェースの代替表示環境視野、およびユーザが１Ｄから３Ｄへオブジェクトを段階的に設計したり、傾斜やサイズ変更を加えている様子を示す。
【0056】
オブジェクトは、現実世界の物理的寸法、テクスチャなどの構成をシミュレートするための特定の属性を備えるように設計され、表示環境６００に表示される。ユーザは、オブジェクトを設計する際、複数の表示環境視点およびオブジェクトの方向を視認したり操作することができる。設計インターフェース２５０４は、相互作用装置を用いて生成されたソフトウェアコマンドからのオブジェクトを設計するために使用される複数のオブジェクト生成ツールを提供する。表示装置を表示環境６００と同期させることで、ユーザは表示環境６００上の特定の点に基づいて３Ｄオブジェクトを設計および操作することができる。本発明において参照される３Ｄオブジェクトは、表示環境６００として表示されたソフトウェア生成直交座標系にプロットされた３Ｄモデルである。図２３〜図２６に示すように、オブジェクト設計プロセスにおいて、ユーザはオブジェクトの設計精度を高めるための透明グリッドの代替表示環境視野をトグルオン／オフすることができる。従来のＣＡＤソフトウェアの態様は、３Ｄオブジェクト設計プロセスにおいて、ユーザに一人称視野をもたらす設計インターフェースにより提供される。上記プロセスでは、長さ、幅、高さ、および半径などの物理的特性を特定することにより、１次元形状を決定する。例えば、一般的な１Ｄ形状には、円、四角形および三角形がある。これらの１Ｄ形状を修正して、円錐、直方体および球などの３Ｄモデルが生成される。その後、３Ｄモデルは、図２７に示すように、サイズおよび特殊な形状などの物理的特性を取得するためにカスタマイズされる。また、１Ｄ形状は、ベーシックフリーハンドまたはユーザが形状の物理的特性を決定するために用いる直線描画ツールにより設計される。ユーザの設計視野は、表示環境６００との距離が変化する表示装置視点に基づく。
【0057】
図２８〜図３１は、本発明の実施形態の一態様において、表示装置９０２の一人称および三人称視点から見たオブジェクトの方向を回転させる様子、および、ユーザの距離に基づく一人称および三人称視点から見たスナップ点３００２を示す。スナップ点は、Autodesk社のAuto CAD Object Snaps（Osnaps）に類似し、オブジェクトを正確に描画および操作するために、他のＣＡＤソフトウェアコマンドとともに用いられる。スナップ点により、特定のオブジェクト位置をスナップして、これを相互作用点として特定することができる。図２８および図２９に示すように、ユーザは表示装置に表示されたオブジェクトを距離に基づいて視認するため、ユーザは、より良好な視点を得るために表示環境の周りを移動するか、スナップ点を備える相互作用装置を用いて所望のオブジェクトを移動または回転させることにより、３Ｄオブジェクトの方向を調整する必要がある。
【0058】
また、図３０および図３１に示すように、スナップ点は線の終点または円の中心まで正確にスナップすることができるため、３Ｄオブジェクトの特殊な形状の一部となる他の線の一部分を引くことができる。
【0059】
図３２および図３３は、本発明の実施形態の一態様における、一人称および三人称視点から見た、スナップ点を変更するための視野の移動／変化の様子を示す。表示装置の距離が変化するにつれ、スナップ点３００２は視認できたり、できなくなったりする。これにより、図３２および図３３に示すように、ユーザは、ユーザ視点またはオブジェクト方向に基づく相互作用を制限することができる。
【0060】
図３４は、本発明の実施形態の一態様における、メニューを用いて物理的特性を追加している様子を、図３５は、本発明の実施形態の一態様における、オブジェクトにテクスチャおよび重力の物理的特性を付与している様子をそれぞれ示す。物理特性ユーザインターフェース（ＵＩ）３４０２を用いて、あらかじめ設計された３Ｄオブジェクトに物理的特性を付与することができる。上記ユーザインターフェースは、図３４に示すように、ユーザによって付与された属性のメニューを表示して、オブジェクトの物理的または視覚的特性をシミュレートする。オブジェクトの属性としては、下記の表１に列挙する属性が含まれるが、これらに限定されない。
【0061】
【表1】
【0062】
ソフトウェアが物理的特性を認識することで、表示装置９０２のソフトウェアまたは相互作用装置による様々なオブジェクト反応および相互作用がもたらされる。上記３Ｄオブジェクト反応は、現実世界における反応または異なるタイプの物理系の概略シミュレーションを提供できるようにソフトウェアによって処理された選択可能かつカスタマイズ可能な物理エンジンによりあらかじめ決められている。本発明の実施形態の一態様において、物理エンジンは、現実世界の物理反応をシミュレートするための計算結果を生成する。物理エンジンは、ソフトウェアの一部、あるいは装置の内部または外部に存在するソフトウェアである。
【0063】
表示装置９０２のソフトウェアにより、ユーザ２０２は、異なるシミュレート環境でのオブジェクトの一人称視野からそれらの反応の様子を視認することができる。図３６に示すように、シミュレート環境は、温度や環境的効果などの現実正解の設定におけるオブジェクト効果を含むことができる。
【0064】
本発明の実施形態の一態様において、ユーザから見たオブジェクトおよび反応／応答の様子を選択および整理するために、表示レイヤ指数が用いられる。各レイヤは、０を最下層として順に積層される特定の指数によって整列される。レイヤは、不可視化、記録、削除または上書き制限をすることができる。
【0065】
図３６は、本発明の実施形態の一態様における物理エンジンにより重力が適用されたオブジェクト２５０２をユーザの３人称視野から視認した様子を、図３７は、本発明の実施形態の一態様における衝突の物理エンジンシミュレーションおよびオブジェクトへの衝突検知効果をユーザの三人称視野から視認した様子をそれぞれ示す。
【0066】
図３８および図３９は、本発明の実施形態の一態様における三人称視点から見たオブジェクトの段階的なアニメーションキャプチャを示す。図４０および図４１は、本発明の実施形態の一態様におけるソフトウェアイベントトリガのための物理反応条件文の例、および相互作用装置イベントのための物理反応条件文の例を示す。前述の物理エンジンは、ユーザが決定した物理的特性に基づくオブジェクトの運動の効果を計算する。ユーザは、あらかじめ設定された物理エンジンまたは外部から取り込んだ物理エンジンを用いて、シミュレーションの結果を修正することができる。カスタム物理エンジンの適用例としては、地球の大気特性とは異なる月の大気特性をシミュレートした環境などがある。ユーザは、オブジェクトの物理的特性値を調整することで物理計算を修正することができる。表示環境６００を用いることで、ユーザ２０２は、現実世界における反応と同等のリアルタイムな動的反応を得ることができる。
【0067】
オブジェクト思考は、オブジェクトのために人工知能をシミュレートする。オブジェクト思考ユーザインターフェースにより、ユーザは、相互作用装置、またはソフトウェアにより提供された自動イベントトリガによりトリガされたユーザの行動に基づいて再生されるフレーム単位のオブジェクトアニメーションを取得することができる。図３８および図３９に示すように、オブジェクトの運動の取得においては、ユーザがオブジェクトを動かし、ソフトウェアを用いてオブジェクト３７０２のスナップ点３８０２の位置の変化の段階的な計算結果を取得する。サイズや形状などのオブジェクトの物理的特性の変化も、段階的操作により取得することができる。フレーム単位のオブジェクトアニメーションを取得した後、ユーザは、オブジェクトの論理的運動、反応および一般的な運動性をシミュレートするための物理反応論理を構成することができる。物理反応論理は、上記取得されたオブジェクト思考アニメーションを用い、条件文計算論理を適用して、ソフトウェアおよび／またはユーザ２０２により開始されたイベントトリガに対するオブジェクトの反応を判定する。条件文計算は、イニシエータのコマンド（開始イベント）および動作からなる段階的プロセスを生成する。条件文は、一般的に、開始イベント、応答、複数の論理的結果を生成する節、パラメータおよび変数を有する。例えば、図４０および図４１に示すように、ユーザがタイヤ４００２を支えるオブジェクト４００４を動かすと（開始イベント）、タイヤ４００２が転がる（オブジェクト思考回転動作（運動））。上記人工知能（物理反応論理）に基づく条件文により、オブジェクトは動的状況におけるスクリプト化された動作および応答を行うことができる。
【0068】
本発明の実施形態の一態様では、オブジェクトソリューション環境（ＯＳＥ）ユーザインターフェースが、ユーザがカスタム動作計算、先端科学数式、メニュー、コンテンツおよびメディアタイプ（画像、動画、音声等）を組み込むプロセスソリューション（ＨＵＤアプリケーションまたはメディアコンテンツ）を生成できるようにするためのツールを提供する。オブジェクトソリューションは、モバイルアプリケーションおよび／またはコンピュータプログラムのコンセプトと同様に、他のＨＵＤユーザによる再利用および相互作用のために包括されてもよい。
【0069】
音声再生は、表示装置９０２の物理的位置による影響も受ける。オブジェクトにより生成された音声は、ユーザ２０２が表示環境６００を移動しつつ３Ｄ音声を聞くことができるように、ソフトウェアによりシミュレートされる。ソフトウェアは、表示装置９０２と表示環境６００の距離の変化に応じて再生音声を変化させる。頭部伝達関数および反響を用いて、音源（壁や床からの反射を含む）から聴取者の耳に到達するまでの間における音声の変化がシミュレートされる。上記効果には、聴取者の後方、上方および下方の音源の定位が含まれる。３Ｄ技術により、バイノーラル録音をステレオ録音に変換することもできる。Morrow Sound True 3D（登録商標）は、バイノーラル、ステレオ、５．１ｃｈ等のフォーマットをリアルタイムに８．１ｃｈ単一／複数ゾーン３Ｄ音声に変換する。
【0070】
図４２および図４３は、本発明の実施形態の一態様における、１人称および３人称視野から見た複数のユーザによる共同設計の様子を示す。本発明の態様は、表示環境の相互作用、移動および視野を同時に実現する複数ユーザ４３０２間の連携を可能とする。一態様において、上記連携には、ユーザが３Ｄ環境データに一度にアクセスできるようにするためのインターネットまたはローカルサーバ接続が必要である。複数のユーザ４３０２によるアクセスは共同設計を実現する。共同設計は、複数のユーザが同時にオブジェクトを設計するとともに、オブジェクトおよび／または環境についてのコメント、編集等のリアルタイムのマークアップを付することができるオブジェクト設計および表示におけるプロセスである。また、共同設計機能は、複数のユーザが表示環境を眺め、または表示するためのキーツールとして用いられる。本発明の実施形態の一態様において、ユーザは、メモや経過の変更を保存するために、環境にコメントや図を付加することができる。また、ＣＡＤ等の適用可能なソフトウェアを用いることで、複数のユーザが１つの環境で共同設計を行うことができる。ＣＡＤソフトウェアをウェブサーバを通じて外的に処理する場合でも、複数のユーザは連携してオブジェクトを設計することができる。図４２および図４３に示すように、表示環境のユーザ視点（ＰＯＶ）は、それぞれ表示されるオブジェクトおよび角度の異なる固有の視野を有する。
【0071】
図４４は、本発明の実施形態の一態様における、タイヤが回転／反跳するように相互作用する音声付き画像４４０２を、図４５は、本発明の実施形態の一態様における、表示環境６００において視認／相互作用される人間の３Ｄ動画４５０２をそれぞれ示す。
【0072】
ソリューション設計プロセスは、設計されたオブジェクトの包括化、物理法則、メニューおよびメディアコンテンツを備える人工知能（ＡＩ）、からなる。上記プロセスにより、ユーザは、表示環境、または表示装置にアプリケーションとして表示するために設計されたオブジェクトを眺め、生成し、保存し、共有および相互作用することができる。インタラクティブメニューおよび動作は、保存されたソフトウェアコマンドを開始するためにユーザにより適用される種々のオプションを提供する。本例のソフトウェアコマンドは、あらかじめ設計された動作／イベントトリガまたはユーザが決定したオブジェクト物理反応論理模倣イベントである。相互作用装置は、ユーザ相互作用のソースを生成する上記ソフトウェアコマンドを開始することができる。また、画像、音声および動画などのメディアコンテンツを用いて、ユーザの相互作用および体験をより一層高めることができる。一つの例として、図４４に示すような、タイヤの３Ｄモデルが音声効果を伴って回転動作をするイベントをトリガするユーザ決定画像がある。また、別の図例として、図４５に示すような、本発明の３Ｄオブジェクト特性と同様に、ユーザが相互作用でき、その周囲を表示装置とともに移動することができる３Ｄキャプチャされた人間の動画がある。
【0073】
本発明の実施形態の一態様の適用例を以下に示す。まず、ユーザは、位置センサを用いて表示環境のＯＳＥワークスペースの輪郭／境界を決定することで、ワークスペースを特定する。次に、ユーザは、設計ツールを用いてオブジェクトの形状を操作し、所望の物理的寸法を有するオブジェクトを生成する。次に、ユーザは、オブジェクトごとに物理的特性を選択、適用して、ＯＳＥ物理現象との関係性を生成する。次に、ユーザは、シミュレートするＯＳＥに物理現象を設定する。次に、ユーザは、オブジェクトのための人工知能をシミュレートするためのオブジェト思考を設計する。「思考」ユーザインターフェースにより、ユーザは、相互作用装置によりトリガされた（またはユーザにより割り当てられた）ユーザの動作、またはソフトウェアによりトリガ／提供された自動イベントに基づいて再生されるフレーム単位のアニメーションによりオブジェクトの運動を取得することができる。次に、ユーザは、特定のオブジェクトに論理および／またはアニメーションを適用して、運動を生じさせる。ユーザは、選択的にロジスティクスや他の統計的手法を取り入れることができる。ユーザは、包括的なプロジェクトを保存し、他のユーザと共有することができる。
【0074】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範囲内において、種々の変更または修正を行うことが可能であるものと理解される。