▶ アンドゥリル・インダストリーズ・インコーポレーテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-01-21
(54)【発明の名称】連携仮想インターフェース
(51)【国際特許分類】
G06F 3/01 20060101AFI20220114BHJP
G06T 19/00 20110101ALI20220114BHJP
【ＦＩ】
G06F3/01 510
G06T19/00 A
G06F3/01 570
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021523236
(86)(22)【出願日】2018-11-29
(85)【翻訳文提出日】2021-06-21
(86)【国際出願番号】 US2018063151
(87)【国際公開番号】W WO2020112122
(87)【国際公開日】2020-06-04
(31)【優先権主張番号】16/201,882
(32)【優先日】2018-11-27
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】520441626
【氏名又は名称】アンドゥリル・インダストリーズ・インコーポレーテッド
【氏名又は名称原語表記】ＡＮＤＵＲＩＬ ＩＮＤＵＳＴＲＩＥＳ ＩＮＣ．
(74)【代理人】
【識別番号】110000028
【氏名又は名称】特許業務法人明成国際特許事務所
(72)【発明者】
【氏名】ラッキー・パーマー・エフ．
(72)【発明者】
【氏名】レビン・ジェイソン
(72)【発明者】
【氏名】ハマーシュタイン・ジュリアン
(72)【発明者】
【氏名】チェン・ジョセフ
(72)【発明者】
【氏名】ワン・マキシミリアン・ツェン
【テーマコード（参考）】
5B050
5E555
【Ｆターム（参考）】
5B050BA09
5B050CA07
5B050DA00
5B050EA07
5B050EA28
5B050FA02
5B050FA10
5B050FA13
5E555AA26
5E555AA46
5E555BA01
5E555BB01
5E555BC01
5E555BE17
5E555CB64
5E555CB66
5E555DA01
5E555DA08
5E555DB11
5E555DC09
5E555DC31
5E555DC35
5E555DD08
5E555FA00
(57)【要約】
表示・連携システムは、インターフェースとプロセッサを含む。インターフェースは、１つ又は複数のセンサからデータを受信するように構成されている。プロセッサは、データを共通合成データ空間に変換し、表示のための共通合成データ空間を提供し、共通合成データ空間内に表される物体に関連付けられているコマンドを受信するように構成されている。いくつかの実施形態では、プロセッサは、プロセッサのための命令を記憶するメモリに結合されている。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
ユーザに表示し、ユーザと連携するシステムであって、１つ又は複数のセンサからデータを受信するように構成されているインターフェースと、
プロセッサであって、
前記データを共通合成データ空間に変換し、
表示のための前記共通合成データ空間を提供し、
前記共通合成データ空間内に表される物体に関連付けられているコマンドを受信する
ように構成されているプロセッサと
を備えるシステム。
【請求項2】
請求項１に記載のシステムであって、受信された前記データは、ＬＩＤＡＲデータを含む、システム。
【請求項3】
請求項１に記載のシステムであって、受信された前記データは、光学撮像データを含む、システム。
【請求項4】
請求項１に記載のシステムであって、受信された前記データは、温度データを含む、システム。
【請求項5】
請求項１に記載のシステムであって、受信された前記データは、ドローンによって収集されたデータを含む、システム。
【請求項6】
請求項１に記載のシステムであって、共通合成データ空間への前記データの前記変換は、低次元のデータを高次元の表現に変換することを含む、システム。
【請求項7】
請求項６に記載のシステムであって、前記低次元のデータは、ＬＩＤＡＲ点クラウドを含み、前記高次元の表現は、表面のメッシュを含む、システム。
【請求項8】
請求項１に記載のシステムであって、表示のための前記共通合成データ空間の前記提供は、前記共通合成データ空間内に表される前記物体からの一人称視点を提供することを含む、システム。
【請求項9】
請求項１に記載のシステムであって、表示のための前記共通合成データ空間の前記提供は、前記共通合成データ空間内に表される前記物体からの三人称視点を提供することを含む、システム。
【請求項10】
請求項１に記載のシステムであって、表示のための前記共通合成データ空間の前記提供は、前記共通合成データ空間の少なくとも一部分の頭上視点を提供することを含む、システム。
【請求項11】
請求項１に記載のシステムであって、表示のための前記共通合成データ空間の前記提供は、視点に関連付けられているスケールの調節を可能にすることを含む、システム。
【請求項12】
請求項１に記載のシステムであって、前記共通合成データ空間の前記表示は、複数の層のセンサ・データを組み合わせる、システム。
【請求項13】
請求項１に記載のシステムであって、前記共通合成データ空間の前記表示は、１つ又は複数の物体の更新位置を提供することを含む、システム。
【請求項14】
請求項１に記載のシステムであって、受信された前記コマンドは、音声コマンドを含む、システム。
【請求項15】
請求項１に記載のシステムであって、受信された前記コマンドは、ハンド・ジェスチャ・コマンドを含む、システム。
【請求項16】
請求項１に記載のシステムであって、受信された前記コマンドは、コンピュータ・インターフェース・デバイスを使用して開始されたコマンドを含む、システム。
【請求項17】
請求項１に記載のシステムであって、受信された前記コマンドは、前記共通合成データ空間内に表される前記物体を監視することであり、前記物体は、現実世界の物体に対応する、システム。
【請求項18】
請求項１に記載のシステムであって、受信された前記コマンドは、１つ又は複数の発行元から受信される、システム。
【請求項19】
請求項１に記載のシステムであって、前記プロセッサは、前記物体に関連付けられている１つ又は複数の可能なコマンドを示すメニューを表示するように更に構成する、システム。
【請求項20】
請求項１に記載のシステムであって、前記物体に関して受信された前記コマンドに応答して、前記物体は、前記表示内で強調表示される、システム。
【請求項21】
請求項１に記載のシステムであって、前記物体に関して受信された前記コマンドに応答して、前記物体に関連付けられている色は、前記表示内で修正される、システム。
【請求項22】
請求項１に記載のシステムであって、前記物体に関して受信された前記コマンドに応答して、音声キューは、前記物体に関連付けられている、システム。
【請求項23】
請求項１に記載のシステムであって、前記プロセッサは、可能性のある関心項目に関して警告を与えるように更に構成されている、システム。
【請求項24】
請求項２３に記載のシステムであって、前記可能性のある関心項目は、既にタグ付けされた物体の再出現を含む、システム。
【請求項25】
請求項２３に記載のシステムであって、前記可能性のある関心項目は、第２の物体が関心領域に入ることを含む、システム。
【請求項26】
請求項１に記載のシステムであって、前記合成表示データ空間の前記提供は、ユーザの役割に少なくとも部分的に基づいて視点がスケール化又は変更される、システム。
【請求項27】
ユーザに表示し、ユーザと連携する方法であって、データを共通合成データ空間に変換し、
表示のための前記共通合成データ空間を提供し、
前記共通合成データ空間内に表される物体に関連付けられているコマンドを受信すること
を備える方法。
【請求項28】
ユーザに表示し、ユーザと連携するコンピュータ・プログラム製品であって、前記コンピュータ・プログラム製品は、非一時的コンピュータ可読記憶媒体内で具現化され、データを共通合成データ空間に変換し、
表示のための前記共通合成データ空間を提供し、
前記共通合成データ空間内に表される物体に関連付けられているコマンドを受信する
ためのコンピュータ命令を含む、コンピュータ・プログラム製品。
【発明の詳細な説明】
【背景技術】
【0001】
電子視聴技術により、パーソナル・コンピュータ及び携帯デバイスを含む多数の種類のデバイスのためのコンテンツ－例えば、テキスト、画像、動画、及び他の視覚媒体－の表示を広範囲のアプリケーションにわたり可能にしている。平面型画面表示技術は、上述の種類のコンテンツを視覚化するために使用される主な電子視聴技術である。平面型画面表示技術は、十分に確立され、信頼できることがわかっている。平面型画面表示技術は、絶えず進化しつつあるが、この技術に固有のいくつかの制限がある。例えば、唯一の従来の平面型画面を両眼で視聴する一般的なケースでは、立体視、視差の影響、及び単眼にわずかに異なる角度からの視覚表現の視界が与えられる際に受けるスケール感を完全に再現することは可能ではない。こうした制限は、表示されるものが現実世界の環境又は現実世界の環境の表現である場合、より顕著である。したがって、現実世界の環境及び現実世界の環境が含む物体の表現をより効果的に表示し、そのような表現とのより効果的な連携を促進する方式に対する必要性が存在する。
【図面の簡単な説明】
【0002】
本発明の様々な実施形態を以下の詳細な説明及び添付の図面で開示する。
【0003】
【0004】
【0005】
【0006】
【0007】
【0008】
【0009】
【0010】
【発明を実施するための形態】
【0011】
本発明は、多くの様式で実施することができ、これらには、工程として、装置、システム、構成物、コンピュータ可読記憶媒体上で具現化されるコンピュータ・プログラム製品、並びに／又はメモリ上に記憶した命令及び／若しくはプロセッサに結合したメモリによって提供される命令を実行するように構成されているプロセッサ等のプロセッサを含む。本明細書では、これらの実装形態、又は本発明が取り得るあらゆる他の形態を技法として言及してよい。概して、開示する工程のステップの順序は、本発明の範囲内で変更してもよい。別段に記載されていない限り、タスクを実施するように構成されるものとして記載するプロセッサ又はメモリ等の構成要素は、所与の時間でタスクを実施するのに一時的に構成される汎用構成要素、又はタスクを実施するために製造される専用構成要素として実装し得る。本明細書で使用する用語「プロセッサ」は、コンピュータ・プログラム命令等のデータを処理するように構成されている１つ又は複数のデバイス、回路及び／又は処理コアを指す。
【0012】
本発明の原理を示す添付の図面と共に本発明の１つ又は複数の実施形態の詳細な説明を以下で提供する。本発明は、そのような実施形態に関して説明するが、本発明はこれらの実施形態に一切限定されない。本発明の範囲は、特許請求の範囲によってのみ限定され、本発明は、多数の代替形態、修正形態及び等価物を包含する。本発明の完全な理解をもたらすように、多数の具体的な詳細を以下の説明で示す。これらの詳細は、例のために提供し、本発明は、具体的な詳細の一部又は全てを伴わずに、特許請求の範囲に従って実行してよい。明確にする目的で、本発明に関連付けられている技術分野で公知の技術的な材料は、本発明を不必要に不明瞭にしないため、詳細に説明しない。
【0013】
表示・連携システムを開示する。システムは、インターフェースとプロセッサとを備える。インターフェースは、１つ又は複数のセンサからデータを受信するように構成される。プロセッサは、データを共通合成データ空間に変換し、共通合成データ空間を表示に提供し、共通合成データ空間内に表される物体に関連付けられているコマンドを受信するように構成される。いくつかの実施形態では、プロセッサは、プロセッサのための命令を記憶するメモリに結合される。
【0014】
共通合成データ空間を表示し、共通合成データ空間との連携をもたらすことを開示する。様々な実施形態では、共通合成データ空間は、現実世界の物体を含む現実世界の環境の表現である（即ち、共通合成データ空間は、現実世界で物理的に存在する場所を表す）。例えば、表される現実世界の環境は、丘及びまばらな植生（例えば、藪及び点在する木々）がある荒野の領域、並びに人間が作製したいくつかの構造体（例えば、数個の建造物及び道路）とすることができる。現実世界の環境に含まれる現実世界の物体の例は、動物、人間、車及び他の物体を含む。共通合成データ空間は、写実的レンダリングとして表示しても、あまり写実的ではないレンダリングとして表示してもよい。写実的レンダリングと、あまり写実的ではないレンダリングとの組合せを有してもよい。共通合成データ空間は、取り込まれる現実世界の物体の表現が、同じデータ空間内に全て存在するという意味で共通である。共通合成データ空間は、現実世界の物体の表現に取り付けられたタグ又はラベル等の合成要素があり得るという意味で合成である。センサは、現実世界の環境及び現実世界の環境の物体を取り込むために使用される。センサの例は、ＬＩＤＡＲ（光による検知と測距、ｌｉｇｈｔ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｒａｎｇｉｎｇ）センサ、光センサ及び温度センサを含む。衛星画像を使用し、頻繁に変化する可能性の低い地形並びに道路及び建造物等の他の特徴を取り込む他の種類のセンサ・データを補うことができる。センサ及び衛星画像からのデータを使用し、共通合成データ空間を生成する。共通合成データ空間の生成には、１つ又は複数のセットの低次元のセンサ・データを高次元の表現に変換することを必要とし、高次元の表現は、現実世界の環境に対応する座標系上に重ねられ、この座標系と共に地理的に修正される。様々な実施形態では、仮想現実表示デバイスを使用し、共通合成データ空間を表示する。仮想現実表示デバイスの一例は、様々な仮想場面の視界をそれぞれの目に提示するヘッドセット型立体表示器である。１つ又は複数の層のセンサ・データは、選択した視点から、選択したスケールで現実世界の環境の表現の上部にレンダリングすることができる。例えば、温度データは、写実的画像の上に重ねて表示することができる。物体を表示し、物体に関連付けられているメタデータ（例えば、識別情報及び／又は位置に対する不確実性を表す識別ラベル及びアイコン）を表示してもよい。いくつかの実施形態では、警告が出される。例えば、警告は、新たな形跡が人間の形跡に出現していることが検知された場合に出してよい。様々な実施形態では、共通合成データ空間は、連携することができ、合成データ空間内で物体に関連付けられているコマンドを発行することができる。コマンドは、典型的には、現実世界の物体上での現実世界の動作に対応し、現実世界の物体は、共通合成データ空間内の物体に対応する。例えば、監視コマンドは、物体に対して発行することができ、これにより、アセット（例えば、ドローン、有人車両又は人間）を送るという現実世界の動作をトリガし、現実世界の物体を監視する。コマンドは、様々な方式で発行してよい。例は、メニューからの選択、音声コマンド、ハンド・ジェスチャ・コマンド、及び従来の入力デバイスからのコマンド（例えば、キーボードとマウスとの組合せ）を含む。いくつかの実施形態では、インターフェース・デバイスを装着する。例えば、位置センサを有するグローブを使用し、共通合成データ空間内での物体との連携に使用される手の動きを追跡することができる。いくつかの実施形態では、多数のオペレータは、アセット（例えば、ドローン、有人車両及び人間）に指示し、アセットに対するコマンドを発行することができる。これらの実施形態では、この種のマルチユーザ連携を管理する様々な手法を使用することができる。例えば、ユーザは、アセットに指示するための許可を互いに与えることができる、調整者は、誰がアセットに指示してよいかを決定することができる、及び／又は自動コンテンション・モデルを採用することができる。
【0015】
いくつかの実施形態では、システムは、１人又は複数のユーザにもたらされるスケール及び視点を、役割又は他の要素（例えば、ユーザＩＤ、グループ、会社、階級等）に基づき変更することを可能にする。例えば、前線での兵士のパン／ズーム及び視点制御と比較して、司令官に対してはパン／ズーム及び視点制御を向上させることが可能である。
【0016】
システムは、コンピュータ・システムとの向上した連携を提供する。特に、合成データ空間は、ユーザが、物体に関連付けられている重要なデータを視覚化し、物体、又は合成データ空間に対応する現実空間内で物体を観察するために配備し得るアセットと連携することを可能にする。場合によっては、システムは、屋外領域を通過する又は境界領域を横断する物体、人、動物を含む事象のための監視を必要とする現実の屋外領域又は境界領域を監視することを可能にする。合成データ空間との連携は、直観的であるように設計され、合成空間に対応する現実空間と連携し、現実空間を観察するデバイスに関連付けられている複雑なコマンドの発行を簡略化する。
【0017】
図１は、共通合成データ空間を表示し、共通合成データ空間との連携をもたらすシステムの一実施形態を示すブロック図である。図示の例では、共通合成データ空間を表示し、共通合成データ空間との連携をもたらすシステムは、センサ１０２と、可動アセット１０４と、ネットワーク１０６と、連携仮想インターフェース・システム１０８とを含む。センサ１０２は、現実世界の物体を含む現実世界の環境を表す共通合成データ空間を生成するために使用されるデータを提供する。センサの例は、ＬＩＤＡＲ構成要素（１つ若しくは複数のレーザによって生成された反射光を検出する１つ又は複数の光検出器を含む）、他の光学機器（静止画像及び／又は動画を取り込むことができる１つ若しくは複数の光学カメラを含む）、並びに温度カメラを含む。いくつかの実施形態では、センサ（例えば、ＬＩＤＡＲ、光学カメラ及び温度カメラ）は、取り込むべき現実世界の環境のタワー・ステーション上に組み付けられる。いくつかの実施形態では、センサは、現実世界の環境の地形がセンサに見えるような高さで組み付けられ、タワー・ステーションの数及び配置は、現実世界の環境の地形を十分に覆うように選択される。タワー・ステーションは、全地球測位システム（ＧＰＳ）位置特定器を備えてよく、タワー・ステーションの物理的な座標の決定を可能にする。いくつかの実施形態では、センサ（例えば、ＬＩＤＡＲ、光学カメラ及び温度カメラ）は、空中ドローン上に組み付けられる。空中ドローンによって収集されたセンサ・データは、他の手段によって収集されたデータを補うために使用してよい。図１に示す例では、センサ１０２は、ネットワーク１０６を介して連携仮想インターフェース・システム１０８に入力（即ち、センサ・データ入力）を提供する。図示の例では、可動アセット１０４も、ネットワーク１０６を介して連携仮想インターフェース・システム１０８に接続される。いくつかの実施形態では、可動アセット１０４は、自律デバイスである。例えば、可動アセット１０４は、ドローン（空中ドローン又は非空中ドローンのいずれか）とすることができ、ドローンは、ネットワーク１０６を介してドローンに発行されたコマンドを実行することができる。実行し得るコマンドの一例は、現実世界の環境における物体の監督及び／又は追跡である。いくつかの実施形態では、可動アセット１０４は、有人車両（例えば、飛行機若しくはトラック）又は１人若しくは複数の人間である。可動アセット１０４は、ネットワーク１０６を介してコマンドを受信する。可動アセットは、典型的には、可動アセットに関連付けられているメタデータ、例えば、アクセス制御、及びアセットに発行し得るコマンドの種類に関係するメタデータを有する。
【0018】
図１に示す例では、ネットワーク１０６は、センサ１０２、可動アセット１０４及び連携仮想インターフェース・システム１０８を接続する。ネットワーク１０６の例は、以下の１つ又は複数：直接的又は間接的な物理的通信接続、モバイル通信ネットワーク、インターネット、イントラネット、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワーク、ストレージ・エリア・ネットワーク、２つ以上のシステム、構成要素又は記憶デバイスを一緒に接続する任意の他の形態を含む。図示の例では、構成要素間の通信経路の部分が示される。他の通信経路が存在してよく、図１の例は、例を明確に示すように簡略化されている。図を簡略化するように単一の例の構成要素を示しているが、図１に示す構成要素のいずれかの更なる例が存在してよい。図１に示す構成要素の数及び接続は、例示的なものにすぎない。例えば、可動アセット１０４の更なる例が存在してよい。構成要素は、同じ地理的場所内に必ずしも位置しない。例えば、連携仮想インターフェース・システム１０８は、センサ１０２又は可動アセット１０４と同じ地理的場所にある必要はない。
【0019】
図１に示す例では、連携仮想インターフェース・システム１０８は、プロセッサ１１０と、メモリ１１２と、大容量記憶装置１１４と、ネットワーク・インターフェース１１６と、入力構成要素１１８と、表示構成要素１２０とを含む。他のシステム・アーキテクチャ及び構成を使用して、共通合成データ空間を表示し、共通合成データ空間との連携をもたらすことができる。以下で説明する様々なサブシステムを含む連携仮想インターフェース・システム１０８は、少なくとも１つのマイクロプロセッサ・サブシステム（プロセッサ又は中央処理ユニット（ＣＰＵ）とも呼ばれる）を含む。例えば、プロセッサ１１０は、シングル・チップ・プロセッサ又は複数のプロセッサによって実装することができる。いくつかの実施形態では、プロセッサ１１０は、連携仮想インターフェース・システム１０８の動作を制御する汎用デジタル・プロセッサである。メモリ１１２から抽出した命令を使用して、プロセッサ１１０は、センサ１０２から受け取ったセンサ・データの受信及び操作を制御し、入力構成要素１１８から発行されたコマンドを受信し、共通合成データ空間のレンダリングを表示構成要素１２０に出力する。プロセッサ１１０は、メモリ１１２と双方向に結合され、メモリ１１２は、第１の主記憶領域、典型的には、ランダム・アクセス・メモリ（ＲＡＭ）と、第２の主記憶領域、典型的には、読取り専用メモリ（ＲＯＭ）とを含むことができる。当技術分野で周知であるように、主記憶領域は、汎用記憶領域及びスクラッチパッド・メモリとして使用することができ、入力データ及び処理データを記憶するために使用することもできる。主記憶領域は、プロセッサ１１０上で動作させる工程のための他のデータ及び命令に加えて、データ・オブジェクト及びテキスト・オブジェクトの形態で、プログラム命令及びデータを記憶することもできる。また、当技術分野では周知であるように、主記憶領域は、典型的には、プロセッサ１１０が機能を実施するのに使用する基本動作命令、プログラム・コード、データ及びオブジェクト（例えば、プログラム命令）を含む。メモリ１１２は、例えば、双方向で必要なデータ・アクセスであるか、又は単方向で必要なデータ・アクセスであるかに応じて、以下で説明するあらゆる適切なコンピュータ可読記憶媒体を含むことができる。プロセッサ１１０は、キャッシュ・メモリ（図示せず）内で、頻繁に必要とするデータを直接的に、かなり迅速に検索し、記憶することもできる。大容量記憶装置１１４は、更なるデータ記憶容量を連携仮想インターフェース・システム１０８にもたらし、双方向（読取り／書込み）又は単方向（読取り専用）のいずれかでプロセッサ１１０に結合される。例えば、大容量記憶装置１１４は、フラッシュ・メモリ、可搬大容量記憶デバイス及び他の記憶デバイス等のコンピュータ可読媒体を含むことができる。大容量記憶装置１１４は、一般に、典型的にはプロセッサ１１０によって能動的に使用されない更なるプログラム命令、データ等を記憶する。大容量記憶装置１１４内で保持される情報は、必要な場合、仮想メモリとして、メモリ１１２（例えば、ＲＡＭ）の一部として標準的な様式で組み込むことができることは了解されよう。ネットワーク・インターフェース１１６は、プロセッサ１１０をネットワーク１０６に結合可能にする。ネットワーク・インターフェース１１６を通じて、プロセッサ１１０は、センサ１０２から情報（例えば、センサ・データ）を受信し、可動アセット１０４にコマンドを出力することができる。プロセッサ１１０によって実装される（例えば、プロセッサ１１０上で実行／実施される）インターフェース・カード又は同様のデバイス及び適切なソフトウェアを使用し、連携仮想インターフェース・システム１０８をネットワーク１０６に接続し、規格のプロトコルに従ってデータを転送することができる。
【0020】
入力構成要素１１８は、共通合成データ空間内の物体に関連付けられているコマンドをプロセッサ１１０に入力し、プロセッサ１１０は、コマンドを処理、送信する。例えば、（現実世界の物体に対応する）共通合成データ空間内の物体に対して与え得るコマンドは、ドローンで物体を監視、追跡するというコマンドである。いくつかの実施形態では、入力構成要素１１８は、装着可能インターフェース・デバイスを含む。例えば、位置センサを有するグローブを使用し、共通合成データ空間内で物体と連携するために使用される手の動きを追跡することができる。位置センサを使用し、グローブの動きを共通合成データ空間内の視覚的なキュー（例えば、手の表現）にリンクさせる。特定の動きは、共通合成データ空間内の物体に対する動作に対応する。例えば、共通合成データ空間内で物体をタップすると、物体に関連付けられているコマンド・メニューが表示される。いくつかの実施形態では、入力構成要素１１８は、音声コマンドを受信するように構成されているマイクロフォンを含む。いくつかの実施形態では、入力構成要素１１８は、キーボードとマウスとの組合せ等、従来の入力デバイスを含む。いくつかの実施形態では、２つ以上の入力デバイスが含まれる。例えば、装着可能インターフェース・デバイス、マイクロフォン及びキーボード／マウスは、これらのデバイスのいずれかを介してコマンドを入力することが可能であるように含んでよい。表示構成要素１２０は、共通合成データ空間を表示するために使用される仮想現実表示デバイスである。仮想現実表示デバイスの一例は、様々な仮想場面の視界をそれぞれの目に提示するヘッドセット型立体表示器である。様々な実施形態では、ヘッドセットは、ステレオ・ヘッドフォン、及び３軸で頭部を追跡するヘッド・モーション追跡センサ（例えば、ジャイロスコープ及び加速度計）を有する。いくつかの実施形態では、目追跡センサ（例えば、映像ベースの目追跡器）がヘッドセット内に含まれる。いくつかの実施形態では、位置センサによって追跡した頭部の動きの測定値と、追跡した目の動きの測定値とを組み合わせ、視線の方向を検出する。共通合成データ空間は、写実的レンダリング又はあまり写実的ではないレンダリングとして表示してよい。写実的レンダリングと、あまり写実的ではないレンダリングとの組合せを有してもよい。例えば、光学撮像センサによって検出し、取り込んだ移動物体は、写実的表現として表示し得る一方で、背景の地形は、あまり写実的ではないレンダリングとして表示し得る。更に、識別タグ及びラベル等のメタデータは、非写実的合成画像（例えば、アイコン）として出現する。図１に示さない構成要素が存在してもよい。
【0021】
図２は、共通合成データ空間を表示し、共通合成データ空間との連携をもたらす工程の一実施形態を示す流れ図である。いくつかの実施形態では、図２の工程は、図１の連携仮想インターフェース・システム１０８において実施される。
【0022】
２０２において、１つ又は複数のセンサからのデータを受信する。いくつかの実施形態では、図１のセンサ１０２は、センサ・データを提供する。センサの例は、ＬＩＤＡＲ（光による検知と測距）センサ、光センサ及び温度センサを含む。センサは、現実世界の環境、及び現実世界の環境が含む物体を取り込むために使用される。衛星画像を使用し、頻繁に変化する可能性の低い地形並びに道路及び建造物等の他の特徴を取り込む他の種類のセンサ・データを補うことができる。衛星画像を使用し、現実世界の地形の全体的なレイアウト及び主要な特徴を取り込む。例えば、比較的平らでまばらな荒野（例えば、低い丘、及び藪や低木が点在する領域）の領域で、建造物及び道路がわずかである地形の場合、衛星画像を使用し、主要な特徴（例えば、丘、道路及び建造物）の位置が互いに正確に位置する状態で、地形の全体図を示す表現を生成することができる。衛星画像は、リアルタイムで収集、更新する必要はない。というのは、取り込まれる主要な特徴（例えば、丘、道路及び建造物）は、経時的に頻繁に変化する可能性が低いためである。衛星画像の履歴データを使用してよい。他の種類のデータは、典型的には、リアルタイムで収集、更新される。例えば、温度センサからのデータは、典型的には、データを使用して、物体（生物、機械のエンジン）の動きを追跡するか又は原野火災の強度変化を追跡する際、リアルタイムで収集、更新される。
【0023】
２０４において、１つ又は複数のセンサからの受信データを共通合成データ空間に変換する。いくつかの実施形態では、共通合成データ空間へのセンサ・データの変換は、図１のプロセッサ１１０によって実施される。様々な実施形態では、衛星画像データは、地形の基幹表現及び地形の目立つ特徴（例えば、丘、道路及び建造物）に変換される。この表現は、表現が衛星画像データ自体と同様である写実的表現であってよい。地形の表現及び地形の目立つ特徴は、合成表現であってもよく、地形の目立つ特徴に対する正確な描写（例えば、丘の正確な高度、並びに道路及び建造物の正確な位置）を有する地形のデジタル表現は、デジタル合成される。例えば、道路は、道路の写真画像ではなく、「道路」のラベルにより、デジタル表現によって描写してよい。他のセンサ・データは、衛星画像データに基づき生成した基幹表現を洗練するために使用される。例えば、ＬＩＤＡＲデータは、主要な特徴の３次元マップをより正確に生成するために使用される。ＬＩＤＡＲは、典型的には、丘及び建造物の高さを検出するのに、衛星で撮像するよりも好適である。様々な種類のデータを収集し、共通合成データ空間内で地形の基幹表現の上部に階層化することができる。例えば、建造物のＬＩＤＡＲ表現を、衛星画像データから生成した基幹表現に追加することができる。光学層及び温度層を共通合成データ空間に追加することもできる。様々な実施形態では、低次元のセンサ・データを高次元の表現に変換する。例えば、建造物のＬＩＤＡＲ点クラウドは、処理を通じて、共通合成データ空間内で建造物の３次元表現に変換される。同様に、光学データ及び／又は温度データから生成した深度マップは、処理を通じて３次元表現に変換される。深度マップは、取り込むべき物体からの様々な角度、様々な距離で光学データ及び／又は温度データを収集することによって生成される。本明細書で後述するメッシュ化、変化の検出及び地理的な修正等の更なる処理も、共通合成データ空間内でセンサ・データを高次元の表現に変換する工程において採用される。
【0024】
２０６において、共通合成データ空間の表示を提供する。いくつかの実施形態では、図１の表示構成要素１２０は、共通合成データ空間を表示する。共通合成データ空間は、写実的レンダリング又はあまり写実的ではないレンダリングとして表示してよい。共通合成データ空間は、合成要素（例えば、共通合成データ空間内で物体を識別し、物体に関連付けられるタグ及びラベル等のメタデータ）を含む。様々な視点（例えば、一人称視点、三人称視点及び頭上視点）を選択することができ、表示スケールを調節することができる。センサ・データの１つ又は複数の層は、互いの上部にレンダリングしてよい。例えば、温度データは、頭上衛星図の上に重畳することができる。センサが取り込む全ての物体を共通合成データ空間内表示する必要はない。例えば、全ての藪又は小動物は示さなくてよい。いくつかの実施形態では、どの物体が表示に関連付けられているかという判断は、人工知能によって行われる。こうした判断は、人が行ってもよい。同様に、表示される物体に対してどのメタデータを示すかという判断も、人によって又は人工知能によって行うことができる。メタデータの例は、物体に関連付けられている識別情報、並びに物体の識別及び／又は位置に対する不確実性及び／又は曖昧さを含む。
【0025】
２０８において、共通合成データ空間内に表される物体に関連付けられているコマンドを受信する。いくつかの実施形態では、図１のプロセッサ１１０は、図１の入力構成要素１１８によって入力されたコマンドを受信する。コマンドを入力する方法の例は、音声コマンド、ハンド・ジェスチャ、従来の入力デバイス（例えば、キーボードとマウスとの組合せ）の使用、及び共通合成データ空間内での合成オブジェクト（例えば、メニュー）との連携を含む。様々な実施形態では、プロセッサ１１０は、入力されたコマンドを解釈し、（例えば、ネットワーク１０６を介して送信するネットワーク・インターフェース１１６を使用して）コマンドを送信し、現実世界の環境において動作を実施する。いくつかの実施形態では、可動アセット１０４は、動作を実行する（例えば、現実世界において物体を監視、追跡する）ように指示される。
【0026】
図３は、センサ・データを共通合成データ空間に変換する工程の一実施形態を示す流れ図である。いくつかの実施形態では、図３の工程は、図１のプロセッサ１１０において実施される。連携仮想インターフェース・システム１０８は、デジタル空間において現実世界の再現を合成する。様々な実施形態では、共通合成データ空間の実質的部分は、変更せず、更なる処理を伴わずにロードすることができる。例えば、ＬＩＤＡＲが取り込んだ丘及び建造物並びに衛星画像が取り込んだ道路の表現は、これらを合成した後、頻繁に更新する必要はない。いくつかの実施形態では、レンダリング・リソースは、地形のいくつかの態様（例えば、丘及び道路）を、細部があまり写実的ではないデジタル表現としてレンダリングすることによって保存される。現実世界の環境の物体又は特徴をどれくらいの頻度で取り込んだかにかかわらず、共通合成データ空間内にこれらの表現を生成することは、低次元のセンサ・データ・セットを高次元の表現に変換することを必要とする。
【0027】
３０２において、低次元のセンサ・データ・セットを高次元の表現に変換する。例えば、ＬＩＤＡＲセンサが収集したＬＩＤＡＲ点クラウドは、幾何学的形状区域に似た表面セット（例えば、三角形及び多角形）に変換される（即ち、メッシュを生成する）。生成されるメッシュは、共通合成データ空間内に存在する３次元表現である。点クラウドのメッシュへの変換は、様々なメッシュ化アルゴリズムによって実施することができる。メッシュ化アルゴリズムの例は、点クラウド内の既存の頂角にわたり三角形網を構築するドロネー三角形分割、初期の元の三角形からメッシュを成長させるボール・ピボット、及び点クラウドを体積格子に変換した後のマーチング・キューブを含む。いくつかの実施形態では、入力が点クラウドであり、出力がメッシュであるニューラル・ネットワークを訓練し、メッシュを生成する。これらの実施形態では、真のメッシュ化アルゴリズムを点クラウド・データ上で使用し、ニューラル・ネットワークを訓練する例を生成する。例えば、入力層、１つ又は複数の隠れ畳み込み層、プーリング層及び／又は全結合層を有する畳み込みニューラル・ネットワーク（ＣＮＮ）、並びに出力層を訓練し、特定の物体の点クラウドを分類し、対応するメッシュに関連付けるようにすることができる。３次元表現をメッシュ化によって生成した後、衛星データ及び／又はテクスチャを付けるのに適した他の撮像データを使用することによって、３次元表現にテクスチャを付け、写実的にレンダリングすることができる。テクスチャを付けるのにあまり写実的ではない撮像データが使用されると、３次元表現は、あまり写実的ではないレンダリングとなる。いくつかの実施形態では、光学センサ及び／又は温度センサを使用し、物体への多数の角度及び距離から、物体の複数の画像を収集する。物体への距離は、ＧＰＳ三角測量から得ることができる。様々な角度は、多数のタワー・ステーション及び／又は（例えば、空中ドローンに組み付けた）移動センサからデータを収集することによって達成することができる。収集した画像（例えば、光学画像及び／又は温度画像）並びに角度及び距離情報に基づき、深度マップを生成することができる。ＬＩＤＡＲ点クラウドを表面セットに変換するのに使用したものと同様のメッシュ化アルゴリズムは、深度マップ上でも使用し、共通合成データ空間のための３次元表現を生成することができる。
【0028】
３０４において、高次元の表現は、現実世界の環境に対応する座標系上に重ねられる。様々な実施形態では、座標系は、３次元座標系であり、２つの次元は、衛星画像データからの経度及び緯度での次元に対応し、第３の次元は、高度である。共通合成データ空間内で高次元の表現をどこに配置するかという決定には、いくつかの手法が存在する。本明細書で後述するように、上に重畳するステップは、共通特徴の整合に基づく地理修正ステップと一緒に実施することができる。いくつかの実施形態では、物理学に基づく手法を使用し、１つ又は複数の物体に対する座標を決定する。１つ又は複数の物体の座標を正確に決定すると、これらの物体は、他の物体の座標を決定するための目印として働く。例えば、センサを現実世界の環境内でタワー・ステーションの上に組み付けた実施形態では、到着時間法は、（例えば、タワー・ステーション上に置いたＧＰＳ位置特定器からのタワー・ステーションの座標に対する正確な知識と併せて）物体の位置を三角法で測定するために使用される。
【0029】
３０６において、共通合成データ空間内に、層として追加すべき種類のセンサ・データが更にあるか否かを決定する。３０６において、層として追加すべき更なる種類のセンサ・データがあることを決定した場合、ステップ３０２及び３０４を繰り返す。例えば、ＬＩＤＡＲから生成される高次元の表現に加えて、光学データ及び／又は温度データから生成される高次元の表現があってよく、これらは、共通合成データ空間の座標系の上に重畳することができる。
【0030】
３０６において、層として追加すべき他の種類のデータがないことが決定された（即ち、共通合成データ空間において、全ての関連付けられているデータが高次元の表現に変換されている）場合、３０８において、現実世界の環境における１つ又は複数の変化していない目立つ特徴を決定する。これらの特徴は、様々な層のセンサ・データ（例えば、ＬＩＤＡＲデータ、光学データ及び温度データ）を整合する共通特徴として使用される。変化していない特徴を使用して様々な層のデータを整合するため、現実世界の環境の変化を検出する。例えば、現実世界の環境の丘の頂上又は建造物を使用して様々な層のセンサ・データを整合する場合、整合は、丘の頂上又は建造物の、様々な層のセンサ・データ内での一致によって決まる。より古いデータ（例えば、衛星データ）が丘の頂上又は建造物を含むが、より新たなデータ（例えば、ＬＩＤＡＲ）がこれらを含まない（又は変化したバージョンを含む）場合、丘の頂上又は建造物に基づく整合は有効ではない。様々な実施形態では、画素レベルのセマンティック・セグメンテーション・アルゴリズムを使用して画像間の変化を検出する。例えば、様々な層のセンサ・データに使用される建造物が依然として存在するか否かを検出するため、現在の衛星画像をより古い衛星画像と比較することができる。まず、画素レベルのセマンティック・セグメンテーション・アルゴリズムを使用して、２つの衛星画像の特徴にラベルを付けることができる（例えば、空、建造物、道路等として物体にラベルを付ける）。次に、２つの衛星画像の間の２つの差を計算し、どのセマンティック特徴が変化しているかを決定する。例えば、２つの衛星画像の間で異なる画素のみが、「建造物」としてセマンティックにラベルを付けた画素である場合、建造物に関連付けられている変化が生じている。
【0031】
３１０において、複数の層の高次元の表現は、少なくとも部分的に１つ又は複数の変化していない目立つ特徴の整合に基づき、互いに地理的に修正される。ＬＩＤＡＲ層、光学層及び温度層は、建造物及び／又は丘の頂等の共通特徴に基づき、互いに地理的に修正することができる。例えば、ＬＩＤＡＲによる風景の走査が建造物を取り込み、空中ドローンが取り込んだ光学画像が同じ風景を概観する場合、２つの走査物は、建造物の角等、共通特徴の照合によって整合することができる。ＬＩＤＡＲデータ及びドローンが取り込んだ光学データを衛星画像データにより地理的に修正し、ＬＩＤＡＲデータ及びドローンが取り込んだ光学データが生成した高次元の表現を、現実世界に基づく座標系内に置くこともできる。典型的には、入手可能な最新の衛星画像データを使用し、リアルタイムＬＩＤＡＲデータ及び光学データにより地理的に修正する。
【0032】
３１２において、物体を識別し、メタデータによりタグ付けする。共通合成データ空間内の物体は、自動手段により識別される。標準の技法を使用してもよい。例えば、エッジ検出技法を使用して輪郭を生成した後、形状の輪郭をモデル・データベース内のパターンと一致させることができる。色、物体の下位部品及び動き（例えば、物体の速度）を含め、物体の他の特徴を一致させることができる。いくつかの実施形態では、機械学習を使用して、コンピュータ・システムを訓練し、物体を識別、分類する（例えば、人間、人間の形跡、動物、動物の形跡又は車両として物体を分類する）。例えば、入力層、１つ又は複数の隠れ畳み込み層、プーリング層及び／又は全結合層を有するＣＮＮ、並びに出力層を訓練し、光学画像に基づき物体を分類することができる。物体に関連付けられているメタデータは、後に表示できるように記憶させる。メタデータの例は、物体に関連付けられている識別情報、識別情報に対する確実性（例えば、パーセントで示す信頼度）、物体の座標、速度（物体が移動している場合）、並びに最後の既知の座標及び／又は予測される座標（物体が移動しており、当該物体に関連付けられているリアルタイムでの位置情報が入手可能ではない場合）を含む。
【0033】
【0034】
４０２において、表示をレンダリングするための視点及びスケールを決定する。視点の例は、一人称視点、三人称視点及び頭上視点を含む。スケールの例は、１対１の現実世界スケール及び圧縮スケールを含む。例えば、監視、追跡される物体から見た１対１の現実世界スケールにおける一人称視点を選択することができる。共通合成データ空間は、共通合成データ空間内のあらゆる物体の視点から見ることができる。したがって、共通合成データ空間は、監視、追跡される物体に対し監視、追跡を行う物体の視点から見てもよい。共通合成データ空間は、現実世界の物体に対応しない合成物体の視点から見てもよい。例えば、共通合成データ空間内の他の物体とは無関係に、共通合成データ空間を調査する方法として働く仮想の人を生成し、共通合成データ空間内で自由に動き回らせることができる。この仮想の人は、現実世界の人々及び共通合成データ空間内の他の物体の表現と連携してもよい。（上記した）１対１現実世界スケールにおける一人称視点は、強力な没入感をもたらす。いくつかの実施形態では、ユーザは、少なくとも部分的に役割又は他の要素（例えば、ユーザＩＤ、グループ、会社、階級等）に基づくスケール及び／又は視点の変化を伴う表示を受信する。例えば、軍事行動に関する戦略の管理を有する役割は、管理及び許可を伴う戦場の広い第３者視点を受信し、管理下、多数の部隊にコマンドを与えてもよい。反対に、単一部隊又は少数部隊に対する戦術的な監督を伴う役割は、対応する制御及び許可と共に、制御する部隊のより狭い視点を受信してもよい。様々な視点及びスケールは、強力な没入感が必要ではない場合により適し得る。例えば、圧縮スケールでの頭上視点は、地形の全体的な理解を得るのにより適している。様々な実施形態では、センサ・データがリアルタイムで収集される限り、リアルタイムで更新を行う。例えば、空中ドローンが移動物体に追従する場合、移動物体の場所をリアルタイムで決定することができ、物体がその視点から見ているものまで、リアルタイムでの更新を可能にする。
【0035】
４０４において、現実世界の環境の表現の上部にレンダリングされた１つ又は複数の層のセンサ・データは、決定した視点から、決定したスケールで表示される。例えば、温度データ及び光学データは、共通合成データ空間内の現実世界の環境の地形表現の上部に階層化することができる。いくつかの実施形態では、地形表現は、地形の主要な特徴の相対的な位置を決定する衛星画像、及び特徴及び物体の高さを決定するＬＩＤＡＲに基づき生成される。移動物体を示す光学データは、リアルタイムでの物体の移動を示すように上部に追加してもよい。様々な実施形態では、どのくらいのデータを示すかを調節することができる。例えば、光学データ層の表示は、特定の領域（例えば、移動物体が位置する領域）に焦点を当てるように調節することができる。いくつかの実施形態では、完全な暗闇である場合、光学データ層を取り除き、温度データ層を表示する。温度データ層は、全ての温度を示すか、又は特定の温度範囲（例えば、人の体温に対応する温度範囲）を示すように調節してもよい。温度データ層は、特定の領域（例えば、人々が位置する領域）に焦点を当てるように調節してもよい。閾値を設定してもよい。例えば、原野火災の場合、閾値は、特定の温度（例えば、華氏５００度以上（摂氏２６０度））のみを表示するように設定してもよい。
【0036】
４０６において、どの物体を表示するか決定し、これらの物体を表示する。いくつかの実施形態では、どの物体を表示するかを決定する手動規則が設定される。例えば、手動規則は、人及び車を表示しなければならないことを規定し得る。何も示さない立入禁止区域を設定してもよい。手動規則に基づく表示項目の他の例は、特定の建造物に対して指定距離内に来た物体、特定領域内の物体、及び人の形跡に似た物体を含む。手動規則は、物体及び特徴をどのように表示するかを決定するように設定してもよい。例えば、人の形跡は、形跡の古さに応じて色分けしてもよい（例えば、最近の形跡は赤、１時間よりも古い形跡は青）。いくつかの実施形態では、人工知能は、示すのに関連付けられているものを判定する。例えば、対象物体の履歴の例を使用した訓練に基づき、ニューラル・ネットワークは、可能性のある対象に従って物体を分類し、最も関連付けられている物体を表示することができる。様々な実施形態では、物体は、図１の表示構成要素１２０上に表示される。本明細書で後述するように、いくつかの実施形態では、特定の物体に対して警報を設定し、これらの物体を見落とさないことを保証してもよい。
【0037】
４０８において、表示物体に対し、どの（識別情報、不確実性／曖昧さ及び／又は待ち時間に関連付けられている）メタデータを表示すべきかを決定し、当該メタデータを表示する。様々な実施形態では、各物体（地形特徴等の項目を含む）の識別情報に関連付けられている確実性がある。この確実性が指定の閾値を上回る場合、物体を表示する。いくつかの物体は、識別ラベルが不要であり、共通合成データ空間を煩雑にするほど高い物体関連信頼度を有する。例えば、地形特徴は、高度の確実性で既知であり、識別ラベルを必要としない。物体の識別情報に関連付けられている確実性が指定の閾値を下回った場合、識別情報は、識別情報の信頼度を示す状態で表示される。例えば、人工知能アルゴリズムが物体を９０％の信頼度で人として識別した場合、「人」及び「９０％」を示すアイコン又はラベルを物体に隣接して出現させてもよい。色を使用して信頼度を示してもよい。例えば、語「人」を表示する場合、緑は高信頼度の識別情報を表し、黄色は中程度の信頼度を表し、赤は低い信頼度を表してもよい。いくつかの実施形態では、不確実性は更なる評価のためにフラグが立てられる。例えば、形跡に似た物体は、「形跡？」を示すラベルでタグ付けされ得る。様々な実施形態では、物体の位置に対する不確実性が表される。例えば、物体の位置を更新してから指定の時間期間が経過した場合、可能性のある場所の区域を表示することができる。この区域は、物体が最後に既知であった場所を中心とする円とすることができ、この円の半径は、物体の平均速度に、物体が最後に更新されてからの時間期間を乗算したものに等しい。いくつかの実施形態では、統計モデル（例えば、カルマン・フィルタ）を使用し、物体の過去の場所の一連の測定に基づき、物体の将来の場所を予測する。物体の場所を最後に更新してからの時間期間が長すぎる（即ち、指定時間量を超えた）場合、物体は行方不明としてタグ付けしてもよい。物体の場所をリアルタイムで更新する場合、不確実性を表さず、物体の更新場所を示せば十分である。様々な実施形態では、待ち時間が表示される。例えば、物体の最後に既知の場所が１０秒前である場合、最後の場所の更新が生じた時間を伴うラベルを物体に隣接して示してもよい。同様にコマンドをアセットに発行し、アセットが応答しない場合、コマンドが送信された時間を伴うラベルをアセットに隣接して示してもよい。
【0038】
【0039】
５０２において、共通合成データ空間内の物体（例えば、人又は人の形跡）が識別される。いくつかの実施形態では、画素レベルの統計モデルを使用し、新たな物体を識別する。このモデルでは、多数の画像が収集される。画像種の例は、光学画像及び温度画像を含む。多数の画像から、各画素の平均及び標準偏差が計算される。更に、画像処理を実施してもよい（例えば、カメラの動きを補償する変換又はワーピング）。画素の値が、指定の時間期間にわたり、指定の標準偏差数よりも多く変化した場合、変化が登録される。温度画像の場合、画素の変化は、温度変化に対応する。個々の画素の変化ではなく、物体レベルでの変化を検出するため、畳み込みフィルタ（例えば、ボックス・フィルタ）を使用し、物体サイズ領域にわたり、画素レベルの変化を平滑化する。例えば、人サイズの変化の検出が望ましい場合、ボックス・フィルタを選択し、分析画像内で人が占有する画素数を近似的に対応させる。
【0040】
５０４において、物体が既に強調表示されているか又は他の様式で目立つように表示されているか否かを決定する。５０４において、物体が既に強調表示されているか又は他の様式で目立つように表示されているか否かを決定した場合、更なる動作は取られない。例えば、新たな形跡が明るい色で既に示されており、警告が向けられるユーザの視界内にある場合、ユーザが新たな形跡に既に気づいている可能性が高いため、警告はなくてよい。
【0041】
５０４において、物体がまだ強調表示されていないか又は他の様式で目立つように表示されていない場合、５０６において、タグ付けの前に警告が必要か否かが決定される。５０６において、警告がタグ付けの前に必要であることが決定された場合、５１０において、物体に関する警告がもたらされる。例えば、新たな形跡が、以前にタグ付けした形跡に似ているため、新たな形跡として識別された物体が警告をトリガすることがある。新たな形跡が以前にタグ付けした形跡に似ているという指摘の例には、新たな形跡が、以前にタグ付けした形跡と同じ場所にあること、新たな形跡が、以前にタグ付けした形跡で発見した他の形跡と同様の数で発見されること、並びに新たな形跡が、以前にタグ付けした形跡の特性と同様の特性を有すること（例えば、痕跡のサイズ及び痕跡の間の距離）を含む。同様に、警告は、以前にタグ付けした物体（例えば、人又は車両）が再度出現した際にトリガしてもよい。
【0042】
５０６において、タグ付けの前に警告が不要であることが決定された場合、５０８において、システム規則による警告が必要か否かが決定される。５０８において、警告がシステム規則により必要であることが決定された場合、５１０において、物体に関する警告がもたらされる。システム規則の例には、任意の時間で、人間サイズの新たな物体が検出された際、及び物体が対象区域（例えば、立入禁止区域）に進入した際は常に警告をもたらすことを含む。５０８において、警告がシステム規則により必要ではないことが決定された場合、更なる動作は取られない。
【0043】
５１０において、物体に関する警告がもたらされる。警告の例には、警告の性質を表す音声通知、警告の性質を表す点滅視覚通知、及びユーザの注意を引きつけることができるあらゆる他の種類の通知を含む。様々な実施形態では、警告は、図１の表示構成要素１２０によって表示される。
【0044】
図６は、共通合成データ空間内に表される物体に関連付けられているコマンドを受信する工程の一実施形態を示す流れ図である。いくつかの実施形態では、図６の工程は、図１の連携仮想インターフェース・システム１０８において実施される。
【0045】
６０２において、共通合成データ空間内に表される物体に関連付けられている入力を受信する。いくつかの実施形態では、図１の入力構成要素１１８は、入力を提供するために使用される。例えば、位置センサを有するグローブを使用し、共通合成データ空間内の仮想の動き（例えば、仮想の手又はカーソルの動き）に対応する手の動きを追跡することができ、共通合成データ空間内で物体をタップする等の仮想の動きは、入力が与えられたことを示すことができる。入力を受けることができる他の方式は、音声コマンド及び従来の入力デバイス（例えば、キーボードとマウスとの組合せ）を通じたものを含む。
【0046】
６０４において、入力がコマンド・メニューに関する要求であるか否かを決定する。いくつかの実施形態では、特定の物体に関連付けられている入力は、コマンド・メニューに関する要求をトリガする。例えば、共通合成データ空間内で人をタップ又はクリックし、人に関連付けられているコマンド・メニューをトリガしてもよい。更に、人に関連付けられている関連情報（例えば、速度、場所及び識別情報）を表示してもよい。いくつかの実施形態では、コマンド・メニューに関する要求は、音声入力を通じて行われる。６０４において、入力がコマンド・メニューに関する要求であることが決定された場合、６０６において、コマンド・メニューからのコマンドを選択する。共通合成データ空間内の人をタップ又はクリックする例の場合、可能性のあるコマンドは、ドローンで人を監視及び／又は追跡する、ドローンで人の周りを周回する、並びにドローンを隠すように人と太陽との間にドローンが位置する状態で、ドローンにより人を追うコマンドを含む。６０４において、入力がコマンド・メニューに関する要求ではないことが決定された場合、６０８において、入力が直接コマンドであるか否かを決定する。６０８において、入力が直接コマンドではないことが決定された（即ち、コマンドが与えられていない）場合、更なる動作は取られない。
【0047】
６１０において、コマンド（例えば、コマンド・メニューから選択されたコマンド又は直接コマンド）を実行する。いくつかの実施形態では、図１のプロセッサ１１０は、図１のネットワーク・インターフェース１１６を使用し、図１のネットワーク１０６を介して図１の可動アセット１０４にコマンドを発行する。例えば、可動アセット１０４が空中ドローンである場合、可能性のあるコマンドは、物体を監視及び／又は追跡するコマンド、空中ドローン上に搭載したセンサを使用して物体の走査を確立するコマンド、アイテムを物体付近に投下又は物体に届けるコマンド、指定領域内を巡回するコマンド、指定領域内を捜索するコマンド、並びに指定領域（例えば、建造物の出入口及び／又は窓を監視するコマンドを含む。コマンドは、可動物体による動作を生じさせなくてもよい。例えば、人に関連して起こり得るコマンドは、人についての情報を表示するコマンド、人と通信するコマンド、人が見ている視線を表示するコマンド、地位（例えば、味方又は敵）により印を付けるコマンド、人を強調表示するコマンド、人に関連付けられている色を修正するコマンド、及び人に対して音声キュー（例えば、ブザー音）を関連付けるコマンドを含む。コマンドは、共通合成データ空間内の場所に対しても可能である。例えば、ピンを指定場所に落とし、集合地点の印を付けることができる。いくつかの実施形態では、コマンドを発行した後、アイコンを表示し、コマンドが発行されたことを示す。例えば、荷重率指標は、巡回コマンドを受信した空中ドローンに隣接して表示してもよい。コマンドが受信、承認された後、荷重率指標は除かれる。
【0048】
【0049】
７０２において、既に第１のユーザによって制御されているアセットの制御を得るための、第２のユーザからの要求を受信する。アセットに対する制御の決定は、複数のユーザが共通合成データ空間内で連携する際の事項である。複数のユーザは、共通合成データ空間内で同じ表現を見て、同じ物体の制御を希望する可能性がある。制御が望ましいアセットの例は、空中ドローン、陸ベースのドローン、有人車両及び１人又は複数の歩兵を含む。いくつかの実施形態では、図１のプロセッサ１１０は、既に制御されているアセットを制御する要求を受信する。
【0050】
７０４において、第１のユーザのアセットの制御を移譲する許可が受信されたことが決定される（最初の許可は、所定のアクセス制御系統図に基づき、管理者又は特権を有するユーザによって設定してもよい）。いくつかの実施形態では、アセット制御に対する競合を解決する第１のステップは、アセット制御を求める関係者等に、当事者同士で競合を解決するように指示することである。いくつかの実施形態では、図１の連携仮想インターフェース・システム１０８は、アセットを制御する第２のユーザの要求を第１のユーザに中継する。７０４において、アセットの制御の移譲に対して第１のユーザの許可が受信されたことが決定された場合、７２０においてアセットの制御を第２のユーザに移譲される。
【0051】
７０４において、アセットの制御の移譲に対する第１のユーザの許可が受信されていないことが決定された場合、７０６において、調整者を利用可能か否かが決定される。調整者は、アセットの制御に対する優先度を決定する代理人である。調整者は、そのような決定を行う権限を有する人であってよい。調整者は、制御が望ましいアセットに従って変化してよい。例えば、アセットに指定の作業が課せられた場合、調整者は、人を当該作業に能動的に従事させるか又は当該作業を監督する必要があり得る。いくつかの実施形態では、調整者は、優先度に関する決定を行うように訓練されている人工知能である。７０６において、調整者が利用可能ではないことが決定された場合、７１０において、コンテンション・モデルが検討され、アセットの制御を移譲するか否か決定する。調整者は、調整者を使用していないか又は調整者が応答しないために、利用可能ではないことがある。
【0052】
７０６において、調整者が利用可能であることが決定された場合、７０８において、アセットの制御の移譲に対する調整者からの決定を受信したか否かが決定される。７０８において、アセットの制御の移譲に対する調整者からの決定が受信されたことが決定された場合、７１２において、アセットの制御を第２のユーザに移譲する。それ以外の場合、７１０において、コンテンション・モデルを検討し、アセットの制御を移譲するか否かを決定する。
【0053】
７１０において、アセットの制御の移譲に対するコンテンション・モデルからの決定が受信されていることが決定される。いくつかの実施形態では、コンテンション・モデルは、ユーザの指定ランクに基づく。例えば、第２のユーザが第１のユーザよりも高いランクを有する場合、第２のユーザがアセットに対する優先度を有することを決定し得る。ランクは、作業に特有であってよい。例えば、アセットに対して課せられた作業に能動的に従事するよりランクの高いユーザのみ、アセットの制御を得ることが可能であり得る。７１０において、アセットの制御の移動に対するコンテンション・モデルからの決定が受信されたことが決定された場合、７１２において、アセットの制御を第２のユーザに移譲する。それ以外の場合、更なる動作は取られない。
【0054】
７１２において、アセットの制御を移譲する。いくつかの実施形態では、図１の連携仮想インターフェース・システム１０８は、アセットの制御を管理する。いくつかの実施形態では、アセットに関連付けられている状況情報が表示され、この場合、誰がアセットの制御を有するかに関する情報が更新される。
【0055】
図８Ａ～図８Ｅは、表示の実施形態を示す概略的な図である。図８Ａは、ステップ３１０で説明したように、目立つ特徴を使用して、複数の層の高次元の表現を整合することを示す。図示の例では、丘の頂上を使用して、（例えば、衛星画像から得られる）図の左側に示される表現と、（例えば、ＬＩＤＡＲデータから得られる）図の右側に示される別の表現とを整合し、修正の組合せを生成する。図８Ｂは、ステップ４０４で説明したように、１つ又は複数の層のデータを重畳することによって、共通合成データ空間を表示することを示す。上部の図は、（例えば、衛星画像を介して収集した）地形の特徴を表す。中間の図は、異なる種類のセンサ（例えば、ＬＩＤＡＲ）を使用して取り込んだ物体を表す。下の図は、上の図と中間の図とを一体化し、共通合成データ空間のレンダリングを形成することを表す。図８Ｃは、ステップ４０４で説明したように、共通合成データ空間内の物体からの視点の表示を示す。図示の例では、視点は、（上の図で表される）共通合成データ空間内の人からの一人称視点である。下の図は、一人称視点から見えるものを示す。図８Ｄは、ステップ６０６で説明したように、物体に関連付けられているコマンド・メニューを示す。図示の例では、コマンド・メニューは、人に対する動作に関連付けられている。図８Ｅは、ステップ６１０で説明したように、共通合成データ空間内で発行されたコマンドに応答する、現実世界内のアセットの動作を示す。いくつかの実施形態では、コマンドは、アセット（例えば、ドローン又はタワー）に直接送信される。場合によっては、ドローンは、どこかに（発着場であれ、何であれ）停止しており、標的を追跡するようにコマンドを与えられる場合がある。図示の例では、（図の左側に示す）人に対する偵察、追跡コマンドに応じて、空中ドローンは、人の背後で、追跡位置に移動し、（図の右側に示す）人と同じ方向で移動する。
【0056】
上述の実施形態は、理解を明快にするためにある程度詳細に説明してきたが、本発明は、提供した詳細に限定するものではない。本発明を実施する多くの代替様式がある。開示する実施形態は、例示的であり、限定的ではない。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図8C】
【図8D】
【図8E】
【国際調査報告】