特許 7054255 マルチソースのリアルタイムかつコンテキストアウェアな実世界データによる仮想知能および最適化

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-04-05

(45)【発行日】2022-04-13

(54)【発明の名称】マルチソースのリアルタイムかつコンテキストアウェアな実世界データによる仮想知能および最適化

(51)【国際特許分類】

   G06N 20/00 20190101AFI20220406BHJP

【ＦＩ】

G06N20/00

【請求項の数】 19

【外国語出願】

(21)【出願番号】P 2020137512

(22)【出願日】2020-08-17

(65)【公開番号】P2021039750

(43)【公開日】2021-03-11

【審査請求日】2020-11-17

(31)【優先権主張番号】16/545876

(32)【優先日】2019-08-20

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】519186347

【氏名又は名称】ザ カラニー ホールディング エスエーアールエル

(74)【代理人】

【識別番号】100114775

【弁理士】

【氏名又は名称】高岡 亮一

(74)【代理人】

【識別番号】100121511

【弁理士】

【氏名又は名称】小田 直

(74)【代理人】

【識別番号】100202751

【弁理士】

【氏名又は名称】岩堀 明代

(74)【代理人】

【識別番号】100208580

【弁理士】

【氏名又は名称】三好 玲奈

(74)【代理人】

【識別番号】100191086

【弁理士】

【氏名又は名称】高橋 香元

(72)【発明者】

【氏名】セヴァト，イエルリ

【審査官】吉倉 大智

(56)【参考文献】

【文献】特開２０１８－１４８２９７（ＪＰ，Ａ）

【文献】国際公開第２０１９／１１３５１０（ＷＯ，Ａ１）

【文献】特開２０１７－１９１６０７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／０１２９４３６（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

(57)【特許請求の範囲】

【請求項1】

人工知能アプリケーションに使用するために、機械学習アルゴリズムにマルチソースのリアルタイムかつコンテキストアウェアな実世界データを提供するためのシステムであって、前記システムは、
入力データを格納および処理するように構成されたサーバコンピュータシステムであって、前記サーバコンピュータシステムは、メモリおよびプロセッサをそれぞれ備える１つ以上のサーバコンピュータを備える、サーバコンピュータシステムと、
ネットワークを介して互いにおよび前記サーバコンピュータシステムに接続された複数の接続要素であって、各接続要素は、実世界実体からマルチソース感知データを取り込むように構成されたセンシング機構を備えている、接続要素と、
を備え、
前記サーバコンピュータシステムの前記メモリは、前記マルチソース感知データに基づいて更新される前記実世界実体の仮想レプリカを格納しているパーシステント仮想世界システムを格納しており、かつ前記サーバコンピュータシステムは、実世界実体を含む実世界システムの実行動を反映した新しいデータの推論および暗黙的データの生成のために前記メモリからのデータを用いてデータ準備および機械学習トレーニングを行うように構成されており、
前記仮想レプリカは、前記実世界実体のそれぞれに対応する明示的データおよび命令を追加することにより前記メモリに格納されているレプリカエディタによりモデル化されている、システム。

【請求項2】

前記サーバコンピュータシステムは、シミュレーション、システム動作中に生じた各仮想レプリカおよび前記複数の仮想レプリカの影響を表す影響データの使用による影響分析、および前記メモリから得られたデータを用いた実世界の最適化を行うようにさらに構成されており、前記最適化は前記実世界システムの悪影響を軽減することを目的としており、かつ前記最適化は前記パーシステント仮想世界システムの対応物レプリカを管理することを含む、請求項１に記載のシステム。

【請求項3】

前記レプリカエディタにより入力された前記明示的データおよび命令は、前記実世界実体のそれぞれの形状、場所、位置および向き、物理的特性ならびに期待される機能および影響を記述している、請求項１に記載のシステム。

【請求項4】

前記仮想レプリカは、ユーザ入力、サーバコンピュータシステム計算またはそれらの組み合わせに基づいてさらに更新される、請求項１に記載のシステム。

【請求項5】

前記マルチソース感知データは、３Ｄ画像データ、３Ｄジオメトリ、３Ｄ実体、３Ｄ感知データ、３Ｄ動的オブジェクト、ビデオデータ、音声データ、優先度データ、化学組成、廃棄物データ、テキストデータ、時間データ、位置データ、向きデータ、速度データ、温度データ、湿度データ、汚染データ、照明データ、体積データ、流量データ、色データ、電力消費量データ、帯域幅データまたは質量データのうちの１つ以上を含む前記実世界実体のそれぞれの取り込み可能なデータを含む、請求項１に記載のシステム。

【請求項6】

前記マルチソース感知データはコンテキストデータをさらに含み、前記コンテキストデータは実世界要素に直接影響を与えるマイクロコンテキストおよび複数のマイクロコンテキストから導出されるマクロコンテキストを含み、前記マイクロコンテキストは、３Ｄ画像データ、３Ｄジオメトリ、３Ｄ実体、３Ｄ感知データ、３Ｄ動的オブジェクト、ビデオデータ、音声データ、テキストデータ、時間データ、メタデータ、優先度データ、セキュリティデータ、位置データ、照明データ、温度データ、サービス品質（ＱｏＳ）、またはターゲット実世界要素を直接取り囲んで影響を与える環境のサービスコンテキストを含み、かつ前記マクロコンテキストは、製造工場の現在の効率、空気品質、気候変動レベル、企業効率、都市効率、国効率または世界効率を含むシステムの全体論的な情報を含む、請求項５に記載のシステム。

【請求項7】

前記センシング機構は、１つ以上の温度センサ、近接センサ、慣性センサ、赤外線センサ、汚染センサ、圧力センサ、光センサ、超音波センサ、煙センサ、接触センサ、色センサ、湿度センサ、水センサまたは電気センサあるいはそれらの組み合わせを備える、請求項１に記載のシステム。

【請求項8】

前記接続要素は、１つ以上の携帯電話、ラップトップ、ウェアラブコンピュータ、モバイルゲームコンソール、ヘッドマウントディスプレイ、シースルー装置、スマートコンタクトレンズ、監視カメラ、車両、交通信号機、建物、街路、線路または家庭用電化製品を含む、請求項１に記載のシステム。

【請求項9】

前記機械学習トレーニングおよび推論は目標により動作または組織に関して実行される、請求項１に記載のシステム。

【請求項10】

前記機械学習トレーニングは、複数のコンテキストリッチシナリオ、明示的データ、および接続要素によって取り込まれたマルチソース感知データをシミュレートすることにより得られた結果としてのデータセットを組み合わせることにより前記パーシステント仮想世界システム内で行われる、請求項１に記載のシステム。

【請求項11】

人工知能アプリケーションにおける使用のための、機械学習アルゴリズムにマルチソースのリアルタイムかつコンテキストアウェアな実世界データを提供するための方法であって、前記方法は、
プロセッサおよびメモリをそれぞれ備えている１つ以上のサーバコンピュータを備えたサーバコンピュータシステムを提供することであって、前記サーバコンピュータシステムは実世界実体の複数の仮想レプリカを格納しているパーシステント仮想世界システムを実行することと、
各接続要素が１つ以上のセンシング機構を備えている、ネットワークを介して前記サーバコンピュータシステムに接続された複数の接続要素を提供することと、
前記接続要素によって実世界実体から前記仮想レプリカをエンリッチ化および更新するマルチソース感知データを取り込み、かつ前記データを前記サーバコンピュータシステムに伝送することと、
前記サーバコンピュータシステムによって明示的データおよびマルチソース感知データを含むデータを準備し、それにより感知および明示的データセットを生成し、前記サーバコンピュータシステムによって機械学習アルゴリズムを機械学習マルチソース感知データセットを含む入力データセットでトレーニングし、トレーニングされた機械学習データセットを生成することと、
前記サーバコンピュータシステムによって、実世界実体からなる実世界システムの実行動を反映した新しいデータの推論および暗黙的データの生成のためにトレーニングされた機械データセットを適用することと、
を含み、
前記仮想レプリカは、前記実世界実体のそれぞれに対応する明示的データおよび命令を追加することにより前記メモリに格納されているレプリカエディタによりモデル化されている、方法。

【請求項12】

前記サーバコンピュータシステムによって十分な暗黙的データが利用可能であるかを確認することと、
十分な暗黙的データが利用可能でない場合は、暗黙的データからのフィードバックを組み込んで機械学習アルゴリズムをトレーニングし続けることと、
十分な暗黙的データが利用可能である場合は、前記サーバコンピュータシステムによって前記暗黙的データを分析して、システム動作中に生じた各仮想レプリカおよび前記複数
の仮想レプリカの影響を表す影響データを得ることと、
前記実世界実体からなる実世界システムを最適化することであって、前記最適化は前記実世界システムの悪影響を軽減することを目的としており、かつ前記最適化は前記パーシステント仮想世界システムの対応物レプリカを管理することを含むことと、
をさらに含む、請求項１１に記載の方法。

【請求項13】

前記サーバコンピュータシステムによって前記感知および明示的データセットを用いてシミュレーションを行い、それによりさらなる機械学習入力データセットを生成することをさらに含む、請求項１１に記載の方法。

【請求項14】

前記メモリに格納されているレプリカエディタにより入力された前記明示的データは、前記実世界実体のそれぞれの形状、場所、位置および向き、物理的特性ならびに期待される機能および影響を記述している、請求項１１に記載の方法。

【請求項15】

前記マルチソース感知データは、３Ｄ画像データ、３Ｄジオメトリ、３Ｄ実体、３Ｄ感知データ、３Ｄ動的オブジェクト、ビデオデータ、音声データ、優先度データ、化学組成、廃棄物データ、テキストデータ、時間データ、位置データ、向きデータ、速度データ、温度データ、湿度データ、汚染データ、照明データ、体積データ、流量データ、色データ、電力消費量データ、帯域幅データまたは質量データのうちの１つ以上を含む、請求項１１に記載の方法。

【請求項16】

前記マルチソース感知データはコンテキストデータを含み、前記コンテキストデータは実世界要素に直接影響を与えるマイクロコンテキストおよび複数のマイクロコンテキストから導出されるマクロコンテキストを含み、前記マイクロコンテキストは、３Ｄ画像データ、３Ｄジオメトリ、３Ｄ実体、３Ｄ感知データ、３Ｄ動的オブジェクト、ビデオデータ、音声データ、テキストデータ、時間データ、メタデータ、優先度データ、セキュリティデータ、位置データ、照明データ、温度データ、サービス品質（ＱｏＳ）、またはターゲット実世界要素を直接取り囲んで影響を与える環境のサービスコンテキストを含み、かつ前記マクロコンテキストは、製造工場の現在の効率、空気品質、気候変動レベル、企業効率、都市効率、国効率または世界効率を含むシステムの全体論的な情報を含む、請求項１１に記載の方法。

【請求項17】

前記データを準備することは同一性標識を複数の仮想レプリカの１つ以上に取り付けることを含み、前記同一性標識は対応する実世界要素に対する記述的情報を含み、かつ前記同一性標識を使用して教師ありトレーニングアルゴリズムに既にラベル付けされたデータを供給する、請求項１１に記載の方法。

【請求項18】

前記トレーニングおよび推論は目標により動作または組織に関して実行される、請求項１１に記載の方法。

【請求項19】

前記トレーニングされた機械学習データセットを生成することは、複数のコンテキストリッチシナリオ、明示的データ、および接続要素によって取り込まれたマルチソース感知データをシミュレートすることにより得られた結果としてのデータセットを組み合わせることを含む、請求項１１に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の態様は一般にコンピュータシステムに関し、特に実世界要素のそれぞれの仮想世界対応物の処理によりそれらを管理および最適化するための解決法として用いることができる人工知能アプリケーションに使用するために、機械学習アルゴリズムにマルチソースのリアルタイムかつコンテキストアウェアな実世界データを提供するのを可能にするためのシステムおよび方法に関する。

【背景技術】

【0002】

人工知能すなわち仮想知能の発展は、機械学習のために使用することができる計算能力および大きなデータセットの利用可能性の増加によって可能になってきた。機械学習では、プログラマはコンピュータにサンプルデータのセットおよび所望の結果を与え、コンピュータはあらゆる将来のデータに適用することができるそれらのデータに基づいてそれ独自のアルゴリズムを生成する。大量のデータ収集に適用されるごく最近の「ディープラーニング」技術または機械学習は、いわゆる「人工ニューラルネットワーク」において人間の脳の構造および機能のアルゴリズムの複雑さをシミュレートする。

【0003】

多くの実践的な機械学習では、例示的な入力／出力対に基づいて入力を出力にマッピングすることを含む教師あり学習を行う。例示的な入力／出力対はラベル付けされたトレーニングデータを含み、そのようなデータにラベル付けするためには高レベルの人間の関与が典型的に必要とされる。例えば自動運転車をトレーニングする場合、人間によってラベル付けする必要があるビデオ時間を表す何百万もの運転時間の大きなデータセットが必要とされる。これは高コストを必要とすると共に、そのような処理のために必要な時間を増加させる。

【0004】

現在の機械学習および推論の他の妨げは、たった数個のソースに由来する断片化されたデータセットの使用に関わるものであり、これによりコンテキスト情報（それなしでは全体論的機械学習および推論が制約されるか不可能になり得る）を無視する制限された決定となる。自動運転の例に戻ると車両は具体的には、自動運転を学習するために使用することができ、かつ推論中に使用ことができるデータを取り込む。しかし一方で、このデータは一般人の行動、車両優先、日付、時刻などの因子を考慮に入れることができないためにかなり限定されており、故にその決定は当該車両が極めて速い反応および処理速度を必要とするセンシング機構を介して見ることができるものに限定されており、他方で、取り込まれたデータは当該車両のトレーニングのためにのみ使用され、他の領域での潜在的な使用を含まない。

【0005】

さらに一般的に言えば、建物、製造工場、近隣、都市などの仮想モデルは主にこれらの実体の外観をシミュレートする形状データを含み、他の関連データを欠いているため、それらの対応する実世界実体の機械学習および推論の管理および調整を行うことができない。

【0006】

故に機械学習および推論の分野において、過剰な人間の関与を必要とすることなく大きなデータセットを得て処理し、かつ全体論的決定を組み込むことができると共に、実世界実体を含むシステムの最適化を可能にする改良が必要とされている。

【発明の概要】

【0007】

本概要は、発明を実施するための形態において以下にさらに説明されている単純化された形態での選択された概念を紹介するために提供されている。本概要は特許請求されている主題の重要な特徴を特定するためのものでもなければ、特許請求されている主題の範囲を決定するのを助けるものとして使用されるものでもない。

【0008】

本開示は、実世界実体のそれぞれの仮想世界対応物の処理により実世界実体を管理および最適化するための解決法として用いることができる人工知能アプリケーションに使用するために、機械学習アルゴリズムにマルチソースのリアルタイムかつコンテキストアウェアな実世界データを提供するのを可能にするシステムおよび方法により背景技術に記載されている１つ以上の問題を解決する。

【0009】

本開示のシステムは、サーバコンピュータシステムと、ネットワークを介して相互に接続され、かつサーバコンピュータシステムに接続された複数の要素とを備える。サーバコンピュータシステムはそれぞれがメモリおよびプロセッサを備えている１つ以上のサーバコンピュータを備え、接続要素は複数のソースからの感知データすなわちマルチソース感知データを取り込むように構成された感知機構を備える。メモリに格納されているパーシステント仮想世界システムは、データベースまたはデータ構造に格納されている実世界実体の仮想レプリカを含み、これらはサーバコンピュータシステムに接続された感知機構を介して実世界実体に関連づけられている。複数のセンシング機構は、実世界要素に直接対応するデータの他に、マイクロコンテキストおよびマクロコンテキストとして分類することができるコンテキストデータを周囲環境から取り込む。絶えず実世界からデータを取り込む感知機構を備えた複数の接続要素を提供することにより、仮想世界および仮想レプリカは実世界の条件を反映したリアルタイムマルチソース感知データにより更新され続ける。このデータはトレーニング中に使用するための価値ある情報を機械学習アルゴリズムに提供することができ、これにより実世界の最適化中に使用される影響データを得るための新しいデータの全体論的推論およびその後のデータ分析を実現するためにトレーニングされた機械学習モデルを生成することができる。さらなる実施形態では、仮想レプリカはユーザ入力、サーバコンピュータシステム計算またはそれらの組み合わせに基づいてさらに更新される。

【0010】

一実施形態によれば、メモリはレプリカエディタをさらに含んでいてもよく、これはユーザが実世界実体の仮想レプリカをモデル化および編集するのを可能にするように構成されたソフトウェアおよびハードウェアを含んでもよい。レプリカエディタは例えば、仮想レプリカを入力および編集するのに必要なデータおよび命令を格納することができるコンピュータ支援設計（ＣＡＤ）ソフトウェアであってもよい。レプリカエディタは、各レプリカおよび全体としての本システムの形状、場所、位置および向き、物理的特性ならびに期待される機能および影響について記述するデータおよび命令などの各デジタルレプリカに関する明示的データおよび命令の入力を可能にすることができる。明示的データおよび命令により実世界実体を仮想レプリカに変換し、かつそれらをパーシステント仮想世界システムにおいて利用可能にするためのモデル化技術は、実世界実体の容易に入手可能なＣＡＤモデルに基づいていてもよい。他の実施形態では、合成開口レーダ、実開口レーダ、光検出および測距（ＬＩＤＡＲ）、逆合成開口レーダ、モノパルスレーダなどのレーダーイメージング、および他の種類のイメージング技術を使用して実世界実体をマッピングおよびモデル化した後にそれらをパーシステント仮想世界システムの中に一体化させてもよい。

【0011】

レプリカエディタによって入力される明示的データおよび命令は、実世界要素の形状および他の特性の他に、例えば予測される電気および水の消費などの実世界要素の予測される機能および行動を詳述している記述的データおよび命令を含んでもよい。この情報は予測される影響（例えば二酸化炭素排出量）を得るために使用してもよく、かつ実世界実体が動作に入ると測定される影響と比較するために使用してもよく、これらは本開示のシステムおよび方法により実世界要素および実世界実体からなるシステムの機能を最適化するためにその後に使用してもよい。一実施形態によれば、マルチソース感知データはマイクロコンテキストおよびマクロコンテキストなどのコンテキストデータも含んでいてもよく、次いでこれらをそれぞれデジタルマイクロコンテキストおよびデジタルマクロコンテキストになるようにパーシステント仮想世界システムに転送してもよい。デジタルコンテキストデータは、接続要素のセンシング機構によって得られたマルチソース感知データに基づいてリアルタイムで更新される。

【0012】

プロセッサはメモリからのデータおよび命令を実行するように構成されており、これは、感知および明示的データセットを生成するためにマルチソース感知データおよび明示的データを用いてデータ準備を行うことと、さらなる機械学習入力データセットを生成するために感知および明示的データセットを用いてシミュレーションを行うことと、機械学習入力データセットに対して機械学習アルゴリズムを実行することにより機械学習トレーニングを行い、新しいデータを推論するためにトレーニングされた機械学習モデルを生成することと、暗黙的データを得るためにトレーニングされたデータセットを使用することにより新しいデータを用いて機械推論を行うことと、影響データを得るために暗黙的データに対して影響分析を行うことと、実世界の最適化を行うこととを含む。本開示では、「暗黙的」データという用語は、システムの予測される行動（例えば明示的データ）とは対照的に、本システムが動作すると測定され、かつ実データを反映したデータを指す。

【0013】

プロセッサによって行われるデータ準備は、生データを機械学習データセットとしての適用のために実行可能な機械で使用可能なデータセットに変換するプロセスである。データ準備は、生データをクリーンなデータセットに変換するために使用することができ、かつデータクリーニング、データ統合、データ変換およびデータ整理などの技術を使用することができるデータ前処理ならびに生データを機械学習中に使用するのに適したフォーマットに変換するために使用することができ、かつデータの抽出、データのソート、データの好適な構造化されたフォーマットへの分解、およびデータの格納などの技術を使用することができるデータラングリングなどの当該技術分野で知られている技術を含んでもよい。いくつかの実施形態では、データ準備は、パーシステント仮想世界システムに含まれている同一性標識を取り付けることを含んでもよい。同一性標識は様々な実世界実体に関する記述的情報を含んでいてもよい。記述的情報はレプリカエディタにより既に入力されているか、パーシステント仮想世界システムの生成または更新中にセンシング機構によって取り込まれてもよく、従ってそれは人間の介入を必要とすることなく本システムから自動的に抽出することができるデータである。データ準備は好ましくは当該技術分野で知られているような自動化機械学習により行ってもよく、これはプロセス中の人間の介入を減らすかまたは排除することができる。

【0014】

プロセッサは、機械学習アルゴリズムをトレーニングするために使用することができる機械学習入力データのさらなるセットを得るためにシミュレーションを行ってもよい。パーシステント仮想世界システムに含まれているデータは複数のソースからのリアルタイムなコンテキストリッチデータを含むので、このシミュレーションは限定化および断片化されたソースからのデータセットを使用するシミュレーションよりもかなり正確になり得る。

【0015】

一実施形態によれば、機械学習アルゴリズムとしては、限定されるものではないが、任意の組み合わせでの特に単純ベイズ分類器アルゴリズム、最近傍アルゴリズム、Ｋ平均アルゴリズム、サポートベクターアルゴリズム、アプリオリアルゴリズム、線形回帰アルゴリズム、ロジスティック回帰アルゴリズム、ニューラルネットワークアルゴリズム、ランダムフォレストアルゴリズムおよび決定木アルゴリズムが挙げられる。さらに機械学習アルゴリズムは、教師あり学習、教師なし学習および強化学習のうちの１つ以上を組み合わせたものであってもよい。いくつかの実施形態では、教師あり学習アルゴリズムは、パーシステント仮想世界システムに含まれている同一性標識を含むデータセットを使用してもよい。これらの同一性標識はプロセッサによってマルチソース感知データ準備に自動的に取り付けられてもよく、かつ典型的には教師あり機械学習アルゴリズムのために使用されるデータラベルの同等物であってもよい。従って、パーシステント仮想世界システム内のデータは既に特定されているデータであるため、典型的には人間によって行うことができるラベル付け工程は代わりにプロセッサによって自動的に行ってもよい。

【0016】

コンテキストリッチ実世界感知データ、明示的データおよびシミュレーションデータを用いた機械学習アルゴリズムのトレーニングによりデータを推論し、かつ実世界実体の動作を管理するために使用することができる全体論的にトレーニングされた機械学習アルゴリズムを提供することができる。本開示のシステムを利用して、トレーニングされた機械学習アルゴリズムにより新しいデータを推論することにより、各実世界要素のコンテキストおよび視覚的影響を生成するのに十分な時間量を考慮に入れてシステムの実行動を反映した暗黙的データを生成してもよい。このように十分な暗黙的データが利用可能になったら、プロセッサは動作（例えば、本開示のシステムおよび方法を用いる建物の動作）中に生じた実影響を分析および評価することに進んでもよい。この影響データを、仮想レプリカを生成する際に明示的データ入力に元々含まれていた影響データと比較してもよい。それにより機械学習アルゴリズムを含むシステムを改良および最適化してもよい。

【0017】

一実施形態によれば、トレーニングされた機械学習モデルの適用による機械学習および推論は組織または動作向けである。組織的トレーニングおよび推論は、機械学習アルゴリズムに明示的データおよびマルチソース感知データの他にパーシステント仮想世界システムを管理するために必要になり得る組織的データを含むデータを供給し、当該アルゴリズムをこのデータでトレーニングし、かつ組織的管理のために使用することができるトレーニングされた機械学習モデルを生成することによって実行してもよい。いくつかの実施形態では、組織的学習および推論は目標指向であってもよく、これは機械学習アルゴリズムをトレーニングするために使用される組織的データを１つ以上の特定の目標を考慮に入れてトレーニングすることができることを意味する。従って機械学習アルゴリズムによって実行された結果としてのアクションは、この目標に応じるために本システムを組織化することができ、この目標は例えばエネルギーが必要とされ得ない場合により少ないエネルギーを消費すること、１車両当たりのＣＯ_２排出を減らすために交通量を最適化することなどを含んでもよい。

【0018】

動作的機械学習および推論は、機械学習アルゴリズムに個々の実世界実体を動作させるのに必要な機能専用のサブセットを含むデータを供給し、機械学習アルゴリズムをこのデータでトレーニングし、かつ装置の動作のために使用することができるトレーニングされた機械学習モデルを生成することによって実行してもよい。いくつかの実施形態では、組織的学習および推論は、システムの個々の接続要素の動作的推論を調整するためにサーバコンピュータシステムによって行ってもよい。動作的学習および推論は接続要素、サーバコンピュータシステムまたはそれらの組み合わせによって個々に行ってもよく、かつ当該データは、本システムの個々の接続要素の動作を調整するためにサーバコンピュータシステムによって送信および使用してもよい。

【0019】

中央構造（例えばサーバ）に命令と共に複数のデータソースに由来する入力データ（例えば、マルチソース感知データ、明示的データ、シミュレーションデータ、暗黙的データおよび影響データ）を提供し、かつ実世界に基づいて複製されたパーシステント仮想世界システムにおいてこのデータおよび命令を格納および更新することにより、機械学習アルゴリズムを複数のアプリケーションのために全体論的にトレーニングしてもよい。従って、例えば新しいデータの推論のためにトレーニングされた機械学習モデルを使用することにより決定を行うことは複数のソースを用いることによって実行することができ、ターゲット実体に直接関連するデータすなわちターゲットデータだけでなくそのターゲット実体を取り囲むコンテキストデータも考慮に入れた全体論的アプローチが得られる。

【0020】

パーシステント仮想世界システムは、いつでもアクセスすることができ、かつ本システムにおいて特定された既に構造化されているデータである連続的に更新されるデータを含む。実世界における様々な実体は、様々な接続要素上に装着されたセンシング機構によってだけでなく、接続装置内に装着された送受信機ユニットによっても提供される追跡の使用によっても連続的に追跡される。送受信機はアンテナへ／からデータを送信および受信し、かついくつかの最新技術の追跡技術に従うものであってもよい。接続要素の正確な向き、速度、加速度および他のパラメータを提供するセンシング機構、特に慣性センシング装置のいくつかを備えた送受信機によって可能になる追跡を組み合わせて、本システムに含まれる正確な追跡装置を使用可能にしてもよい。一実施形態では、各実体の位置および向きデータは本システムに既に入力されており、従って他の記述的識別子と共に本システムに知られているため、教師ありトレーニングアルゴリズムにラベル付けされたデータを供給するために当該データに手作業でラベル付けする必要はなく、機械学習アルゴリズムのトレーニングのより速く、かつより費用効率の高い方法を可能にする。さらにデータとして、特に位置および向きデータは本システムにおいてリアルタイムで既に利用可能であり、当該装置はその後のデータ推論のためにこれらの他の実体がどこに位置しているかを最初に感知および追跡する必要がないため、トレーニングされた機械学習モデルを用いて新しいデータを推論するのがより速くなり得る。さらにパーシステント仮想世界システムは建物の材料情報、壁の幅、窓の場所、建物の場所および他のインフラの詳細と共にユーザからサービスコンテキストを取り込むので、基地局における無線アクセスネットワーク（ＲＡＮ）からの無線信号の提供はこの情報を考慮に入れてもよく、かつＱｏＳを最適化するためにそれに応じて調整されてもよい。

【0021】

一実施形態によれば、アンテナは本システムの要素（例えば、接続要素およびサーバ）へのモバイル通信を可能にする電波を送信および受信するように構成されていてもよい。アンテナは、サーバコンピュータを設置することができる計算センタまたはデータセンタに有線もしくは無線手段を介して接続されていてもよい。他の実施形態では、アンテナは計算センタおよび／または計算センタによるエリアサービス内に設けられている。いくつかの実施形態では、屋外に位置している計算装置への接続を提供するために、アンテナはミリ波（ｍｍＷ）を利用するアンテナシステムまたは５世代無線システム通信（５Ｇ）などによるｍｍＷを利用するアンテナとサブ６ＧＨｚアンテナシステムとの組み合わせを含んでもよい。他の実施形態では、アンテナは４Ｇアンテナなどの他の種類のアンテナを含んでもよく、これはｍｍＷ／サブＧＨｚアンテナシステムのためのサポートアンテナとして使用してもよい。屋内に位置している接続要素への接続を提供するためにアンテナが使用される実施形態では、アンテナは好ましくは限定されるものではないがデータを１６ＧＨｚで提供する無線ローカルエリアネットワーキング（ＷｉＦｉ）を使用してもよい。

【0022】

一実施形態によれば、接続要素上に装着されたセンシング機構は、慣性追跡センシング機構と送受信機との組み合わせを含む。慣性追跡センシング機構は加速度計やジャイロスコープなどの装置を利用することができ、これらは慣性測定ユニット（ＩＭＵ）に一体化されていてもよい。送受信機は、アンテナへ／から無線通信信号を送信および受信するように実装されていてもよい。好ましくは、送受信機はｍｍＷ送受信機である。ｍｍＷアンテナが用いられる実施形態では、ｍｍＷ送受信機はアンテナからｍｍＷ信号を受信し、かつそのデータをアンテナに送り戻すように構成されている。ｍｍＷ送受信機によって提供される慣性センサおよび位置追跡ならびにｍｍＷを利用するアンテナによって提供される正確な追跡、低レイテンシおよび高ＱｏＳ機能は、サブセンチメートルまたはサブミリメートルでの位置および向きの追跡を可能にしてもよく、これにより接続要素のリアルタイムな位置および向きを追跡する場合の正確性を高めてもよい。いくつかの実施形態では、追跡は、到着時間（ＴＯＡ）、到着角度（ＡＯＡ）または当該技術分野で知られている他の追跡技術（例えば、視覚的イメージング、レーダ技術など）などの当該技術分野で知られているいくつかの技術を用いて実行してもよい。他の実施形態では、センシング機構および送受信機は単一の追跡モジュール装置として互いに結合されていてもよい。

【0023】

接続要素の正確な追跡を提供することは、様々なアプリケーションのために関連し得るパーシステント仮想世界システム内での実体の信頼できる状態、特にそれらの位置および向きを表示するのに有用になり得る。さらに接続要素の正確なリアルタイム追跡を可能にすることにより、データ推論を行い、かつそれに応じて決定を行う前に本システムにおいて他の接続要素を物理的に感知する必要性を減らしてもよい。但し、人間、動物、木または他の要素などのパーシステント仮想世界システムにまだ格納されていない可能性のある非接続要素または他の実体の存在に基づいてサーバコンピュータシステムがアクションを起こす必要がある場合などのいくつかの状況では、カメラなどの特定のセンシング機構がまだ必要な場合がある。

【0024】

一実施形態によれば、送受信機は、接続要素間の直接通信を可能にするためにネットワークに接続された分散型台帳ベースの通信パイプラインを介して計算装置間の直接通信を可能にする。接続要素間の直接通信および従ってサーバによるバイパス処理を必要とし得る状況としては、非常に短い期間内で決定を行う必要があり得る緊急事態が挙げられる。

【0025】

一実施形態によれば、コンピュータ実装方法は、実世界実体を管理および最適化するための解決法として用いることができる人工知能アプリケーションに使用するために、機械学習アルゴリズムにマルチソースのリアルタイムかつコンテキストアウェアな実世界データを提供するのを可能にする。本方法は、各サーバコンピュータがプロセッサおよびメモリを備えている１つ以上のサーバコンピュータを備えたサーバコンピュータシステムを提供することによって開始し、ここではプロセッサはメモリに格納されている命令およびデータを実行するように構成されており、かつメモリは実世界実体の仮想レプリカを格納しているパーシステント仮想世界システムを含む。一実施形態によれば、仮想レプリカは各仮想レプリカの明示的データを入力するのを可能にするレプリカエディタにより生成される。

【0026】

本方法は、各接続要素が１つ以上のセンシング機構を備えている、ネットワークを介してサーバコンピュータシステムに接続された複数の計算装置を提供することにより継続する。その後にセンシング機構は、実世界実体からパーシステント仮想世界システムに含まれている仮想レプリカをエンリッチ化および更新するマルチソース感知データを取り込み、かつその後に当該データをサーバコンピュータシステムに伝送する。マルチソース感知データは、マイクロコンテキストデータおよびマクロコンテキストデータを含むコンテキストデータと共に実世界要素から取り込まれたデータを含む。いくつかの実施形態では、接続要素はさらにネットワークを介して互いに接続されていてもよい。他の実施形態では、接続要素は互いにまたは分散型台帳を介してサーバに接続されていてもよい。

【0027】

その後に、本方法はサーバコンピュータシステムによって明示的データおよびマルチソース感知データを含むデータを準備することにより続行する。次いで結果としてのデータセットは、さらなるデータセットを提供するシミュレーション中に使用される。一実施形態では、本方法は機械学習アルゴリズムをシミュレーションデータセット、明示的データセットおよびマルチソース感知データセットを含む機械学習入力データセットを用いてトレーニングし、トレーニングされた機械学習モデルを生成することにより続行する。次いで本方法は、新しいデータの推論および暗黙的データの生成のためにトレーニングされた機械学習モデルを適用することにより継続する。次いで本方法は十分な暗黙的データが利用可能であるかを確認する。利用可能な十分な暗黙的データが存在しない否定的事例では、本方法は、暗黙的データからのフィードバックを考慮に入れて機械学習アルゴリズムをトレーニングするために戻る。十分なデータが利用可能である場合は、本方法はデータを分析して影響データを得ることにより継続する。次いで悪影響を減らすという目的で影響データを利用して実世界実体を最適化する。

【0028】

上記概要は本開示の全ての態様の包括的なリストを含んでいない。本開示は、上に要約されている様々な態様の全ての好適な組み合わせならびに以下の発明を実施するための形態に開示されているものおよび特に本出願と共に特許請求の範囲の箇所に示されているものから実施することができる全てのシステムおよび方法を含むことが企図される。そのような組み合わせは上記概要に具体的に記載されていない特定の利点を有する。他の特徴および利点は添付の図面および以下に続く発明を実施するための形態から明らかになるであろう。

【0029】

上記態様および付随する利点の多くは、添付の図面と共に解釈される場合に以下の発明を実施するための形態を参照することによってより良好に理解されるようになるので、より容易に理解されることになるであろう。

【図面の簡単な説明】

【0030】

【図1】機械学習アルゴリズムにマルチソースのリアルタイムかつコンテキストアウェアな実世界データを提供するのを可能にするシステムの概略図を示す。

【図2】接続要素に接続されているサーバの表示を詳述している、本開示の一実施形態に係るシステムの概略図を示す。

【図3】接続要素の表示を詳述している、本開示の一実施形態に係るシステムの概略図を示す。

【図4】サーバにおけるプロセッサとメモリとの対話によって表されている、機械学習アルゴリズムにマルチソースのリアルタイムかつコンテキストアウェアな実世界データを提供するのを可能にする方法の概略図を示す。

【図5】機械学習アルゴリズムにマルチソースのリアルタイムかつコンテキストアウェアな実世界データを提供するのを可能にする方法を示す。

【発明を実施するための形態】

【0031】

以下の説明では、様々な実施形態を例示として示す図面を参照する。また様々な実施形態をいくつかの例を参照することによって以下に説明する。当然のことながら当該実施形態は特許請求されている主題の範囲から逸脱することなく設計および構造における変化を含んでもよい。

【0032】

図１は、実世界実体のそれぞれの仮想世界対応物の処理によりそれらを管理および最適化するための解決法として用いることができる人工知能アプリケーションのために、機械学習アルゴリズムにマルチソースのリアルタイムかつコンテキストアウェアな実世界データを提供するように構成されたシステム１００の概略図を示す。システム１００は、様々なセンシング機構（図示せず）を介してマルチソース感知データ１０８を取り込む複数の接続要素１０６にネットワーク１０４を介して接続されたサーバ１０２を備える。接続要素１０６上に装着された複数のセンシング機構はそれ自体から、および任意の実世界要素を含む各接続要素１０６に関するコンテキストからマルチソース感知データを取り込む。従って各実世界要素は接続要素１０６であってもそうでなくてもよい。例えば建物は接続要素１０６および実世界要素の両方であってもよく、木は実世界要素のみを表し、接続要素１０６を表さない。

【0033】

複数の接続要素１０６は、１つ以上の携帯電話、ラップトップ、ウェアラブコンピュータ、パーソナルコンピュータ、モバイルゲームコンソール、スマートコンタクトレンズ、ヘッドマウントディスプレイ、シースルー装置、監視カメラ、車両、交通信号機、建物および他の構造、街路、線路、家庭用電化製品、またはネットワーク１０４を介して接続することができるあらゆる他の装置、あるいはそのような装置を備えたあらゆる装置を含んでもよい。一実施形態によれば、接続要素１０６上に装着された複数のセンシング機構は、１つ以上の温度センサ、近接センサ、慣性センサ、赤外線センサ、汚染センサ（例えばガスセンサ）、圧力センサ、光センサ、超音波センサ、煙センサ、接触センサ、色センサ、湿度センサ、水センサまたは電気センサあるいはそれらの組み合わせを備える。

【0034】

図１は例示を容易にするために１つのサーバ１０２を示しているが、１つ以上の場所にある２つ以上のサーバ１０２がサーバコンピュータシステムに組み込まれていてもよく、これらは様々な場所に位置する複数の接続要素１０６を含む複合システムにサービスを提供するように使用されてもよい。従って複数の接続要素１０６は、特定の時点で接続要素１０６の場所に応じて１つ以上のサーバ１０２に接続されてもよい。さらに単一のサーバ１０２を参照しながら本明細書に記載されている例はいずれも複数のサーバに実装されていてもよい。さらに複数の接続要素１０６は図１に示すようにネットワーク１０４を介してサーバ１０２に接続されていてもよく、かつ同時に互いに接続していてもよい。

【0035】

マルチソース感知データ１０８は、３Ｄ画像データ、３Ｄジオメトリ、３Ｄ実体、３Ｄ感知データ、３Ｄ動的オブジェクト、ビデオデータ、音声データ、優先度データ、化学組成、廃棄物データ、テキストデータ、時間データ、位置データ、向きデータ、速度データ、温度データ、湿度データ、汚染データ、照明データ、体積データ、流量データ、色データ、電力消費量データ、帯域幅データ、質量データ、またはセンシング機構によって取り込むことができるあらゆる他のデータを含む実世界要素の取り込み可能なデータを含む。複数のセンシング機構は、１つ以上の実世界要素に直接対応するデータの他に、マイクロコンテキスト１１０およびマクロコンテキスト１１２として分類することができるコンテキストデータを周囲環境から取り込む。

【0036】

本開示で使用される「実世界要素」という用語は、センシング機構によって感知することができ、かつ機械学習アルゴリズムにより決定されやすい実世界で見られる要素を指す。実世界要素は、人間、車両、建物、物体、レクリエーションエリア、自然形成物、街路、および実世界で見ることができるあらゆる他の要素などの実世界で見られる動的もしくは静的実体であってもよい。接続要素１０６のセンシング機構によって取り込まれる実世界要素データは、３Ｄ画像データ、３Ｄジオメトリ、ビデオデータ、音声データ、温度データ、質量データ、放射線データ、触覚データ、動作データ、またはセンシング機構によって得ることができるあらゆる他の取り込み可能なデータから抽出されてもよい。従って実世界要素それ自体がセンシング機構を備えていてもよく、かつそれ自体がマルチソース感知データ１０８を取り込んでもよい。従って他の接続要素の知覚に対して、他の接続要素が実世界要素として分類される場合もある。

【0037】

本開示で使用される「コンテキスト」または「コンテキストデータ」という用語は、特定の実世界要素の直接もしくは間接的な環境に関するデータを指し、これはマイクロコンテキストおよびマクロコンテキストとして分類することができる。

【0038】

「マイクロコンテキスト」という用語は、実世界要素に直接影響を与え得る人々、物体または条件などの実世界要素を直接取り囲んでいるコンテキストを指す。マイクロコンテキスト１１０としては、ターゲット実世界要素を直接取り囲んで影響を与える環境の特に３Ｄ画像データ、３Ｄジオメトリ、３Ｄ実体、３Ｄ感知データ、３Ｄ動的オブジェクト、ビデオデータ、音声データ、テキストデータ、時間データ、メタデータ、優先度データ、セキュリティデータ、位置データ、照明データ、温度データおよびサービス品質（ＱｏＳ）などのデータが挙げられる。一実施形態では、マイクロコンテキスト１１０はサービスコンテキストも含み、これは近くにいる１人以上のユーザによって使用されている実際のアプリケーションを指す。アプリケーションが帯域幅を消費するにつれて、サービスコンテキストは、接続要素１０６へのネットワーク信号の提供を評価するために必要とされる価値あるコンテキスト情報を本システムに提供してもよい。

【0039】

「マクロコンテキスト」という用語は、実世界要素を取り囲んでいる間接的すなわちより遠隔のコンテキストを指す。マクロコンテキストは、複数のマイクロコンテキスト１１０からサーバ１０２によって導出されてもよく、製造工場、空気品質、気候変動レベル、企業効率、都市効率、国効率などの現在の効率などのシステムのより全体論的な情報が得られる。マクロコンテキストは、局所レベル（例えば、職場または製造工場）、近隣レベル、都市レベル、国レベルまたはさらには惑星レベルなどの指定された機械学習機能および目標に応じた異なるレベルで検討および計算されてもよい。従って、指定された機械学習機能および目標に応じて、同じ実世界要素データおよびマイクロコンテキストデータが異なる種類のマクロコンテキスト１１２を導出してもよい。

【0040】

いくつかの実施形態では、ネットワーク１０４は例えばセルラーネットワークであってもよく、かつエンハンスド・データ・レート・フォー・グローバル・エボリューション（ＥＤＧＥ）、汎用パケット無線システム（ＧＰＲＳ）、汎ヨーロッパデジタル移動通信システム（ＧＳＭ）、インターネットプロトコルマルチメディアサブシステム（ＩＭＳ）、ユニバーサル・モバイル・テレコミュニケーション・システム（ＵＭＴＳ）など、ならびに任意の他の好適な無線媒体、例えばマイクロ波アクセス（ＷｉＭＡＸ）、ロング・ターム・エボリューション（ＬＴＥ）ネットワーク、符号分割多重アクセス（ＣＤＭＡ）、広帯域符号分割多元接続（ＷＣＤＭＡ）、およびワイヤレス・フィディリティー（ＷｉＦｉ）、衛星、モバイルアドホックネットワーク（ＭＡＮＥＴ）などを含む様々な技術を用いてもよい。

【0041】

一実施形態によれば、アンテナ（図示せず）はシステム１００の要素（すなわち、接続要素１０６およびサーバ１０２）へのモバイル通信を可能にする電波を送信および受信するように構成されていてもよい。アンテナはサーバを設置することができる計算センタまたはデータセンタに有線もしくは無線手段を介して接続されていてもよい。他の実施形態では、アンテナは計算センタおよび／または計算センタによるエリアサービス内に設けられている。いくつかの実施形態では、屋外に位置している計算装置への接続を提供するために、アンテナはミリ波（ｍｍＷ）を利用するアンテナシステムまたは５世代無線システム通信（５Ｇ）などによるｍｍＷを利用するアンテナとサブ６ＧＨｚアンテナシステムとの組み合わせを含んでもよい。他の実施形態では、アンテナは４Ｇアンテナなどの他の種類のアンテナを含んでもよく、これはｍｍＷ／サブＧＨｚアンテナシステムのためのサポートアンテナとして使用してもよい。屋内に位置している計算装置への接続を提供するためにアンテナが使用される実施形態では、アンテナは好ましくは限定されるものではないがデータを１６ＧＨｚで提供する無線ローカルエリアネットワーキング（ＷｉＦｉ）を使用してもよい。

【0042】

センシング機構は、送受信機を備えることができる追跡モジュール（図示せず）の一部であってもよい。追跡モジュールにおいて使用することができるセンシング機構は、接続要素１０６の正確な向き、速度、加速度および他のパラメータを提供する慣性センサを備えていてもよい。追跡モジュールの送受信機は、アンテナへ／からデータを送信および受信し、かついくつかの最新技術の追跡技術に従うものであってもよい。一実施形態では、送受信機によって可能になる追跡を慣性センサと組み合わせることにより本システムに含まれている接続要素１０６の正確な追跡が可能になる。

【0043】

図２は、ネットワーク１０４を介して接続要素１０６に通信接続されたサーバ１０２の表示を詳述している本開示の一実施形態に係るシステム２００の概略図を示す。図２のいくつかの要素は図１の要素と同様である場合があり、従ってそれらの要素を示すために同様もしくは同一の符号が使用されている場合がある。

【0044】

本開示のシステム２００は、サーバ１０２と、ネットワーク１０４を介してサーバ１０２に接続された複数の接続要素１０６とを備える。サーバ１０２はメモリ２０２およびプロセッサ２０４を備える。サーバ１０２は例示を容易にするために単一のメモリ２０２およびプロセッサ２０４を含むものとして示されているが、当然のことながらサーバは複数のプロセッサ２０４および複数のメモリ２０２を備えていてもよい。従って、単一のプロセッサ２０４またはメモリ２０２を参照しながら本明細書に記載されている例のいずれにも複数のプロセッサ２０４および／またはメモリ２０２が実装されていてもよい。

【0045】

メモリ２０２は、パーシステント仮想世界システム２０６をデータベースまたはデータ構造内に格納しており、かつそれぞれの実世界要素に対応する仮想レプリカ２０８Ａ、ＢおよびＣなどの複数の仮想レプリカ２０８を含む。仮想レプリカ２０８は、ネットワーク１０４を介してサーバ１０２に接続された感知機構を介して実世界要素に通信接続する。仮想レプリカ２０８のいくつか、例えば任意の感知機構を備えていない要素に対応するもの（すなわち、サーバ１０２にまだ接続されていない自然形成物、古い車両、古い建物、新しい要素など）は、パーシステント仮想世界システム２０６においてグラフィックでのみ現れてもよく、かつ他の接続要素１０６に取り付けらえたカメラなどの光学センサにより視覚的にのみ更新されてもよい。

【0046】

本開示では「パーシステント」という用語は、プロセスまたはネットワーク接続を連続的に実行することなく存在し続けることができるシステムの状態を特徴づけるために使用することができる。例えば「パーシステント」という用語は、仮想レプリカを作成するために使用されるプロセスが純粋に仮想の物体およびデジタルリアリティアプリケーションを停止した後に、仮想世界システムおよびその中に含まれている仮想レプリカ、純粋に仮想の物体およびデジタルリアリティアプリケーションの全てが、ユーザが仮想世界システムに接続されているかに関わらず存在し続ける仮想世界システムを特徴づけるために使用することができる。従って仮想世界システムは、例えばサーバ内の不揮発性記憶装置位置に保存されている。このように仮想レプリカ、純粋に仮想の物体およびデジタルリアリティアプリケーションは、ユーザがサーバに接続されていないとしても特定の目標を達成するために構成されている場合には互いに対話および共同することができる。

【0047】

一実施形態によればメモリ２０２は、ユーザが実世界実体の仮想レプリカ２０８をモデル化および編集するのを可能にするように構成されたソフトウェアおよびハードウェアを含むことができるレプリカエディタ２１０をさらに含む。レプリカエディタ２１０は例えば、仮想レプリカ２０８を入力および編集するのに必要なデータおよび命令を格納することができるコンピュータ支援設計（ＣＡＤ）ソフトウェアであってもよい。レプリカエディタ２１０はデジタルレプリカに関する明示的データおよび命令２１２の入力を可能にしてもよい。一実施形態では明示的データおよび命令は、各仮想レプリカ２０８および全体としてのパーシステント仮想世界システム２０６の形状、場所、位置および向き、物理的特性ならびに期待される機能および影響を記述またはモデル化する。

【0048】

明示的データは本明細書では、センシング機構によって得ることができないが代わりに優先度データ、建物の材料、壁の厚さ、電気設備および回路、水道管、消火器、非常口、窓の場所、機械性能パラメータ、機械センサおよび弁の場所などのレプリカエディタ２１０を介してデジタルで入力することを必要とし得るデータを指す。本明細書で使用される「優先度データ」は実世界実体の階層的分類を指す。例えば、特定の車両（例えば救急車）または人々（例えば大統領、官僚、警官など）は、データ推論に基づいて行われる決定に影響を及ぼし得るより高い優先度を有していてもよい。本明細書で使用される「命令」は、プロセッサ２０４によって実行されるコード（例えば２進コード）を指す。仮想レプリカ２０８の文脈では、命令は実世界要素の行動を表してもよい。

【0049】

例としてエレベータの仮想レプリカ２０８は、エレベータのジオメトリ、材料、物理的特性、機械的構造および機能を表すデータおよび命令を含んでいてもよい。ある階から別の階への移動などの機能は、エレベータが実生活において移動するにつれてパーシステント仮想世界システム２０６においてリアルタイムで更新されてもよい。同様にエレベータは、仮想レプリカ２０８を操作することにより実生活において間接的に操作してもよい。

【0050】

明示的データおよび命令により実世界実体を仮想レプリカ２０８に変換し、かつそれらをパーシステント仮想世界システム２０６において利用可能にするためのモデル化技術は、実世界実体の容易に入手可能なＣＡＤモデルに基づいていてもよい。例えば機械所有者は、彼らの機械の既に存在しているデジタルＣＡＤモデルをパーシステント仮想世界システム２０６の管理者に提供してもよく、あるいはそれらを自分自身で入力してもよい。同様に建物所有者は、建物情報モデル（ＢＩＭ）にパーシステント仮想世界システム２０６に格納されている建物の詳細を提供してもよく、この詳細は目で見たりセンシング機構を介して容易に入手可能であったりし得ない情報を含んでいてもよい。これらの実施形態では、これらの実世界実体の所有者は、仮想レプリカをパーシステント仮想世界システム２０６の中に追加する責任を担ってもよく、これは例えばインセンティブシステムまたは法的必要条件によって達成してもよい。いくつかの実施形態では、パーシステント仮想世界システム２０６の管理者およびさらには官僚までもが、実世界実体をパーシステント仮想世界システム２０６の中に入力するために実世界実体の所有者と共同し、従ってパーシステント仮想世界システム２０６のより速くかつより完全な作成を実現してもよい。

【0051】

他の実施形態では、合成開口レーダ、実開口レーダ、光検出と測距（ＬＩＤＡＲ）、逆合成開口レーダ、モノパルスレーダなどのレーダーイメージングおよび他の種類のイメージング技術を使用して、実世界実体をマッピングおよびモデル化した後にそれらをパーシステント仮想世界システム２０６の中に一体化させてもよい。これらのより技術的な解決法は、特に構造物の元のモデルが利用可能でない場合または欠損している情報が存在するかさらなる情報をＣＡＤモデルによって提供されない仮想世界実体に追加する必要がある場合に行ってもよい。

【0052】

レプリカエディタ２１０によって入力される明示的データおよび命令２１２は、実世界要素の形状および他の特性の他に、例えば予測される電気および水の消費を含む実世界要素の期待される機能を詳述している記述的データおよび命令を含んでもよい。この情報を予測される影響（例えば二酸化炭素排出量）を得るために使用してもよく、かつ実世界実体が動作に入ると測定される影響と比較するために使用してもよく、これらは本開示のシステムおよび方法により実世界要素の機能を最適化するためにその後に使用してもよい。

【0053】

例えば建物の明示的データおよび命令２１２は、建物がどの程度の水、電気、ガスおよび帯域幅を消費するように設計されているかを詳述している記述的データおよび命令と共に、建物の形状および特性（例えば、３Ｄ形状、壁の厚さ、火災探知機の場所、各セグメントのために使用される材料、窓の場所、電線路および水道管の位置など）、建物が許容することができる人々の数、毎日何人の人々が出入りするかなどを含んでいてもよい。この記述的な明示的データおよび命令は、推定される建物の効率および影響を計算するための基礎としての役割を果たしてもよい。例えば当該影響は、特定の建物において行われている活動の結果として大気中に放出される二酸化炭素の量を指す建物の二酸化炭素排出量として表されてもよい。推定される二酸化炭素排出量は、建物が営業状態になり、かつ本開示のシステムおよび方法により管理されると実際の二酸化炭素排出量が得られる場合に建物の効率を比較するための基礎として使用してもよく、かつその後に機械学習トレーニングにより最適化してもよい。

【0054】

一実施形態では、仮想レプリカ２０８を作成するために使用されるモデル化技術とは無関係に、各実世界要素の非常に正確な仮想レプリカ２０８が利用可能になるように、各仮想レプリカ２０８の情報は各対応する実世界要素に関する十分な詳細を提供する。次いで仮想レプリカ２０８はマルチソース感知データ１０８によりエンリッチ化および更新される。従って仮想レプリカ２０８は、それらのそれぞれの実際の外観のみを提供し、かつそれらの機能に関するデータおよび命令を提供することができない非接続要素の仮想レプリカ２０８を指すものでない限り、各実世界要素の実際の外観および行動を記述するための役割を果たすデータ２１４および命令２１６を含んでいてもよい。

【0055】

本開示では「エンリッチ化する」という用語は、マルチソース感知データに基づいて仮想レプリカにさらなる特性を提供するという行為を記述するために使用されている。例えば仮想レプリカをエンリッチ化することは感知機構から取り込まれた実世界データを提供することを含んでもよく、ここではさらなる実世界データは、ビデオデータ、温度データ、リアルタイムエネルギー消費データおよびリアルタイム水消費データなどを含む。

【0056】

図１に関して記載されているように、マルチソース感知データ１０８は、マイクロコンテキストＡ、ＢおよびＣを含むマイクロコンテキスト１１０ならびにマクロコンテキスト１１２などのコンテキストデータも含む。次いでこの同じデータをそれぞれデジタルマイクロコンテキストＡ、ＢおよびＣを含む仮想マイクロコンテキスト２１８ならびに仮想マクロコンテキスト２２０になるようにパーシステント仮想世界システム２０６に転送してもよく、これらは接続要素１０６のセンシング機構によって得られたマルチソース感知データ１０８に基づいてリアルタイムで更新される。仮想マイクロコンテキスト２１８および仮想マクロコンテキスト２２０は、それぞれの実世界の外観および行動を記述するための役割を果たすデータ２１４および命令２１６も含む。

【0057】

図３は、接続要素の例示的な表示を詳述している本開示の一実施形態に係るシステムの概略図を示す。図３のいくつかの要素は図１～図２の要素と同様である場合があり、従って同様もしくは同一の符号がこれらの要素を示すために使用されている場合がある。

【0058】

接続要素１０６は、入力／出力（Ｉ／Ｏ）モジュール３０２、電源３０４、メモリ３０６、追跡モジュール３１０を形成するセンシング機構および送受信機３０８ならびにネットワークインタフェース３１２などの動作構成要素を備えていてもよく、これら全てがプロセッサ３１４に動作可能に接続されている。

【0059】

Ｉ／Ｏモジュール３０２は、ユーザと対話し、かつユーザ入力データを１つ以上の他のシステム構成要素に提供するように構成されたコンピューティングハードウェアおよびソフトウェアとして実装されている。例えばＩ／Ｏモジュール３０２はユーザと対話し、その対話に基づいてユーザ入力データを生成し、かつネットワークを介してサーバなどの他の処理システムに転送する前にユーザ入力データをプロセッサ３１４に提供するように構成されていてもよい。別の例では、Ｉ／Ｏモジュール３０２は他の接続要素１０６と対話するように構成された外部コンピューティングポインティングデバイス（例えば、タッチスクリーン、マウス、３Ｄ制御、ジョイスティックおよびゲームパッドなど）および／またはテキスト入力装置（例えば、キーボードおよびディクテーションツールなど）として実装されている。さらに他の実施形態では、Ｉ／Ｏモジュール３０２は上に記載されているものにさらなる機能、より少ない機能または異なる機能を提供してもよい。

【0060】

電源３０４は、電力を接続要素１０６に提供するように構成されたコンピューティングハードウェアおよびソフトウェアとして実装されている。一実施形態では、電源３０４は電池であってもよい。電源３０４は当該装置に内蔵されていても当該装置から取外し可能であってもよく、かつ充電式であっても非充電式であってもよい。一実施形態では、ある電源３０４を別の電源３０４と置き換えることによって当該装置に電力を再供給してもよい。別の実施形態では、電源３０４は、パーソナルコンピュータに取り付けられたユニバーサル・シリアル・バス（「ＵＳＢ」）、ファイアワイヤ（ＦｉｒｅＷｉｒｅ）、イーサネット（Ｅｔｈｅｒｎｅｔ）、サンダーボルト（Ｔｈｕｎｄｅｒｂｏｌｔ）、またはヘッドホンケーブルなどの充電源に取り付けられたケーブルによって再充電してもよい。さらに別の実施形態では、電源３０４は電磁誘導充電によって再充電してもよく、ここではエネルギーを電磁誘導充電器から電源３０４に移動させるために電磁場が使用され（その２つを至極近接させた場合）、ケーブルを介して互いにプラグを差し込む必要はない。別の実施形態では、ドッキングステーションを使用して充電を容易にしてもよい。

【0061】

メモリ３０６は、アプリケーションプログラム命令２１６を格納し、かつ複数のセンシング機構によって取り込まれたマルチソース感知データ１０８を格納するように構成されたコンピューティングハードウェアおよびソフトウェアとして実装されていてもよい。メモリ３０６は、ハードドライブ、メモリカード、フラッシュドライブ、ＲＯＭ、ＲＡＭ、ＤＶＤまたは他の光ディスクなどのコンピュータ可読媒体または電子装置の助けを借りて読み込むことができるデータを格納する他の媒体ならびに他の書込み可能および読取り専用メモリなどの、プロセッサ３１４によってアクセス可能な情報を格納することができる任意の好適な種類のものであればよい。メモリ３０６はパーシステント記憶装置に加えて一時記憶装置を含んでいてもよい。

【0062】

センシング機構は、実世界から様々なマルチソース感知データ１０８を得、かつ接続要素１０６およびひいては接続要素１０６がそこに関連づけられていてもよい１つ以上の実世界要素の位置および向きを決定／追跡するように構成されたコンピューティングハードウェアおよびソフトウェアとして実装されていてもよい。センシング機構は、限定されるものではないが、１つ以上の温度センサ、近接センサ、慣性センサ、赤外線センサ、汚染センサ（例えばガスセンサ）、圧力センサ、光センサ、超音波センサ、煙センサ、接触センサ、色センサ、湿度センサ、水センサ、電気センサまたはそれらの組み合わせを備えていてもよい。特にセンシング機構は、特に１つ以上の慣性測定ユニット（ＩＭＵ）、加速度計およびジャイロスコープを備える。ＩＭＵは、加速度計およびジャイロスコープの組み合わせを用いて、接続要素１０６の速度、加速度、角運動量、並進速度、回転速度および他の遠隔測定メタデータを測定および報告するように構成されている。ＩＭＵ内の加速度計および／またはＩＭＵとは別個に構成された加速度計は、地球の重力場による加速度を含む対話装置の加速度を測定するように構成されていてもよい。一実施形態では加速度計は、加速度を３つの直交方向で測定することができる三軸加速度計を含む。

【0063】

送受信機３０８は、装置がアンテナから無線電波を受信し、かつデータをアンテナに送り戻すことを可能にするように構成されたコンピューティングハードウェアおよびソフトウェアとして実装されていてもよい。いくつかの実施形態ではｍｍＷ送受信機が用いられてもよく、これはイマーシブコンテンツと対話する場合に、アンテナからｍｍＷ波信号を受信し、かつデータをアンテナに送り戻すように構成されていてもよい。送受信機３０８は双方向通信送受信機３０８であってもよい。

【0064】

一実施形態によれば、送受信機３０８はネットワークに接続された分散型台帳ベースの通信パイプラインを介して計算装置間の直接通信を可能にする。分散型台帳ベースの通信パイプラインは、暗号学的「鍵」および暗号学的署名を用いる暗号法を用いた安全かつ正確な方法での情報の格納を可能にすることにより、分散型ネットワークを介した接続要素１０６間の直接通信を可能にすることができる。接続要素１０６間の直接通信および従ってサーバによるバイパス処理を必要とし得る状況としては、非常に短い期間内で決定を行う必要があり得る緊急事態が挙げられる。例えば２台の車両が衝突しようとしている自動運転の場合に、衝突を防ぐことができるより速い応答を引き起こすために両方の車両間の直接通信を可能にすることが望ましい場合がある。他の実施形態では、分散型台帳をサーバと接続要素１０６との間で利用することもでき、ここではサーバがデータを接続要素１０６に分散させる前にそれを認証する権限を担ってもよい。さらなる実施形態では、分散型台帳は、データを認証して分散させるための中央構造としてこれらの接続要素１０６を割り当てるために、サーバ、アンテナまたは両方により近い特定の接続要素１０６を利用することができる。

【0065】

一実施形態では、追跡モジュール３１０は、ＩＭＵ、加速度計およびジャイロスコープの能力を送受信機３０８によって提供される位置追跡と組み合わせることによって実装されていてもよく、かつｍｍＷを利用するアンテナによって提供される正確な追跡、低レイテンシおよび高ＱｏＳ機能は、サブセンチメートルまたはサブミリメートルでの位置および向きの追跡を可能にしてもよく、これにより接続要素１０６のリアルタイムな位置および向きを追跡する際の正確性を高めてもよい。他の実施形態では、センシング機構および送受信機３０８は単一の追跡モジュール装置として互いに結合されていてもよい。

【0066】

ネットワークインタフェース３１２は、ネットワークに通信接続し、サーバまたは他の接続要素１０６によって送信されるネットワークからのコンピュータ可読プログラム命令２１６を受信し、かつプロセッサ３１４による実行のためにメモリ３０６に格納するためにコンピュータ可読プログラム命令２１６を転送するためのコンピューティングソフトウェアおよびハードウェアとして実装されていてもよい。

【0067】

プロセッサ３１４は、マルチソース感知データを受信して処理するように構成されたコンピューティングハードウェアおよびソフトウェアとして実装されていてもよい。例えばプロセッサ３１４は、イメージング要求を行い、イメージングデータを受信し、イメージングデータを処理して環境もしくは他のデータにし、ユーザ入力データおよび／またはイメージングデータを処理してユーザ対話データを生成し、エッジベース（オンデバイス）機械学習のトレーニングおよび推論を行い、サーバ要求を行い、サーバ応答を受信し、かつ／またはユーザ対話データ、環境データおよびコンテンツ物体データを１つ以上の他のシステム構成要素に提供するように構成されていてもよい。例えばプロセッサ３１４は、Ｉ／Ｏモジュール３０２からユーザ入力データを受信してもよく、かつメモリ３０６に格納されているアプリケーションプログラムをそれぞれ実行してもよい。他の例では、プロセッサ３１４は実世界から取り込まれたセンシング機構からマルチソース感知データを受信してもよく、あるいは追跡モジュール３１０を介して接続要素１０６の正確な位置および向きを受信してもよく、かつさらなる処理のために当該データをサーバに送信する前に当該データのいくつかを準備してもよい。例として、プロセッサ３１４は当該データをサーバに送信する前に生データ整理またはマルチソース感知データ４０６のフィルタリングなどのアナログもしくはデジタル信号処理アルゴリズムを含むデータ準備中に必要とされる工程のいくつかを実現してもよい。

【0068】

図４は一実施形態に係る、機械学習アルゴリズムにマルチソースのリアルタイムかつコンテキストアウェアな実世界データを提供するためのプロセッサ２０４とメモリ２０２との対話を示すシステム４００の概略図を示す。図４のいくつかの要素は図２の要素と同様である場合があり、従って、それらの要素を示すために同様もしくは同一の符号が使用されている場合がある。点線はプロセッサ２０４とメモリ２０２との間で行われる工程の順序を表す。

【0069】

図４のシステム４００を参照すると、メモリ２０２は、データ２１４および命令２１６を格納して必要に応じて実行のためにデータ２１４および命令２１６をプロセッサ２０４に伝送するように構成されている。図４ではプロセッサ２０４は、プロセッサ２０４によって実行することができるプログラムまたはルーチンを表すための機能ブロック４０２、４１２、４１８、４２２、４２６および４３０を含むものとして示されている。図４に示されている例は単一のプロセッサ２０４を参照しながら記載されているが、実際には、この機能は１つ以上のコンピュータ上の２つ以上のプロセッサ２０４によって実行されてもよい。

【0070】

より具体的には、プロセッサ２０４は、感知および明示的データセット４１０を生成するためにマルチソース感知データ４０６および明示的データ４０８を含む初期データ４０４を用いてデータ準備４０２を行う。その後にプロセッサ２０４は、さらなる機械学習入力データセット４１６を構成するシミュレーションデータセット４１４を生成するために感知および明示的データセット４１０を用いてシミュレーション４１２を行う。プロセッサ２０４は、機械学習トレーニング４１８を行うために機械学習入力データセット４１６に対して機械学習アルゴリズムを実行し、新しいデータを推論するために機械学習モデルを構成するトレーニングされたデータセット４２０を生成する。プロセッサ２０４は暗黙的データ４２４を得るために、トレーニングされたデータセット４２０を使用することにより新しいデータを用いて機械推論４２２を行い、影響データ４２８を得るために暗黙的データ４２４に対して影響分析４２６を行い、かつ影響データ４２８を考慮に入れて実世界の最適化４３０を行うことにより続行する。本開示では「暗黙的」データという用語は、実世界システムの予測される行動を反映した明示的データ４０８とは対照的に、本システムが動作すると測定され、かつ実データを反映したデータを指す。

【0071】

マルチソース感知データ４０６に対してプロセッサ２０４によって行われるデータ準備４０２は、生データを機械学習データセットとしてアプリケーションのために実行可能な機械で使用可能なデータセットに変換するプロセスである。データ準備４０２は、生データをクリーンなデータセットに変換するために使用することができ、かつ限界されるものではないがデータクリーニング、データ統合、データ変換およびデータ整理などの技術を使用することができるデータ前処理、ならびに限界されるものではないがデータの抽出、データのソート、データの好適な構造化されたフォーマットへの分解、およびデータの格納などの技術を使用することにより生データを機械学習中に使用するのに適したフォーマットに変換するために使用することができるデータラングリングなどの当該技術分野で知られている技術を含んでもよい。いくつかの実施形態では、データ準備４０２は、パーシステント仮想世界システムに含まれている同一性標識を取り付けることを含んでもよい。同一性標識は様々な実世界要素についての記述的情報を含んでいてもよい。記述的情報はレプリカエディタにより明示的データ４０８の中に既に入力されていてもよく、あるいはマルチソース感知データ４０６を介してパーシステント仮想世界システム２０６の生成または更新中にセンシング機構によって取り込まれてもよく、従ってそれは人間の介入を必要とすることなく本システムから自動的に抽出することができるデータである。例えば車の所有者が車のＣＡＤモデルを入力することにより自身の車をパーシステント仮想世界システムに追加した場合、パーシステント仮想世界システムは、その車のブランド、動作パラメータ、燃料の種類などを含む「車」としてその車に自動的にラベル付けしてもよい。データ準備中にこれらの同一性標識のいくつかを、機械学習トレーニングおよび推論中にその後に使用するために自動的に抽出してもよい。データ準備は好ましくは当該技術分野で知られているような自動化機械学習により行ってもよく、これによりプロセス中の人間の介入を減らしたり無くしたりしてもよい。

【0072】

一実施形態によれば、プロセッサ２０４は、機械学習トレーニング４１８中に使用することができるさらなる機械学習入力データセット４１６を生成するために感知および明示的データセット４１０を用いてシミュレーション４１２を行う。パーシステント仮想世界システム２０６に含まれているデータが複数のソースからのリアルタイムなコンテキストリッチデータを含むので、シミュレーション４１２は限定化および断片化されたソースからのデータセットを使用するシミュレーション４１２よりもかなり正確になり得る。シミュレーション４１２は、パーシステント仮想世界システムの行動を取り込むために使用されるアルゴリズムおよび方程式からなるコンピュータモデルを使用してもよい。先行技術からのあらゆる好適なシミュレーション技術を使用してもよい。シミュレーション４１２により、感知および明示的データセット４１０と組み合わせることができるシミュレーションデータセット４１４を生成して機械学習アルゴリズムをより多くの数のデータセットを用いて訓練してもよい。シミュレーションデータセット４１４は、仮定の状況または稀にのみ生じる状況からデータが必要とされる場合など、必要とされるデータセットを得ることが難しい場合には、特定の値であってもよい。

【0073】

機械学習アルゴリズムはトレーニングおよび推論段階を含んでもよい。機械学習アルゴリズムのトレーニングならびに推論では通常、いわゆる「テンソル演算」すなわち多次元テンソルの計算演算が行われる。多次元テンソルは実数の多次元配列を指す。機械学習アルゴリズムに関与するテンソル演算の大部分は「テンソル縮約」と呼ばれるカテゴリに入り、これは入力として２つのテンソルを取り、かつ乗算および累算などの演算をこの２つのテンソルに適用し、出力テンソルを得る。いくつかの実施形態では、プロセッサはＣＰＵプロセッサ、ＧＰＵプロセッサまたはオンチッププロセッサであってもよい。他の実施形態では、機械学習の処理および推論は、あらゆる好適な順番または大きさでＣＰＵプロセッサ、ＧＰＵプロセッサおよびオンチッププロセッサの能力を組み合わせることによって行ってもよい。

【0074】

一実施形態によれば、機械学習アルゴリズムとしては、限定されるものではないが、任意の組み合わせでの特に単純ベイズ分類器アルゴリズム、最近傍アルゴリズム、Ｋ平均アルゴリズム、サポートベクターアルゴリズム、アプリオリアルゴリズム、線形回帰アルゴリズム、ロジスティック回帰アルゴリズム、ニューラルネットワークアルゴリズム、ランダムフォレストアルゴリズムおよび決定木アルゴリズムが挙げられる。さらに機械学習アルゴリズムは、教師あり学習、教師なし学習および強化学習のうちの１つ以上を組み合わせたものであってもよい。いくつかの実施形態では、教師あり学習アルゴリズムはパーシステント仮想世界システムに含まれている同一性標識を含むデータセットを使用してもよい。これらの同一性標識はプロセッサ２０４によるデータ準備４０２中にマルチソース感知データ４０６に自動的に取り付けられてもよく、典型的には教師あり機械学習アルゴリズムのために使用されるデータラベルの同等物であってもよい。従ってパーシステント仮想世界システム内のデータは既に特定されているデータであるため、典型的には人間によって行うことができるラベル付け工程は代わりにプロセッサ２０４によって自動的に行ってもよい。

【0075】

シミュレーションデータセット４１４と共に感知および明示的データセット４１０を用いた機械学習アルゴリズムのトレーニングは、機械推論４２２中に使用してデータを推論し、かつ人工知能アプリケーションにより実世界実体の動作を自律的に管理するトレーニングされたデータセット４２０を提供することができる。本開示のシステムおよび方法を利用してトレーニングされた機械学習アルゴリズムにより新しいデータを推論することにより、パーシステント仮想世界システムの実行動を反映した暗黙的データ４２４を生成してもよい。次いで、視覚的影響を生成するために十分な時間量が経過した後であって、従って十分な暗黙的データ４２４が利用可能になったら、プロセッサは動作（例えば、本開示のシステムおよび方法を用いる建物の動作）中に生じた実影響を分析および評価する工程に進んでもよい。この影響データ４２８を各仮想レプリカを生成した際に入力された明示的データ４０８に元々含まれている影響情報と比較してもよい。影響データ４２８を利用して、プロセッサ２０４は実世界の最適化４３０を行う工程に進んでもよく、これは例えば実世界実体によって生じたあらゆる悪影響を軽減することにより実世界の効率を高めることに焦点が当てられた機械学習トレーニングおよび推論の利用を含んでもよい。それによりトレーニングおよび推論中に使用される機械学習アルゴリズムを含むシステムを改良および最適化してもよい。

【0076】

一実施形態によれば、トレーニングされた機械学習モデルの適用による機械学習および推論は組織または動作向けである。組織的トレーニングおよび推論は機械学習アルゴリズムに、明示的データ４０８およびマルチソース感知データ４０６の他にパーシステント仮想世界システムを管理するために必要になり得る組織的データを含むデータを供給し、当該アルゴリズムをこのデータでトレーニングし、かつ組織的管理のために使用することができるトレーニングされた機械学習モデルを生成することによって実行してもよい。いくつかの実施形態では、組織的学習および推論は目標指向であってもよく、これは機械学習アルゴリズムをトレーニングするために使用される組織的データを１つ以上の特定の目標を考慮に入れてトレーニングすることができることを意味する。特定の目標により、特定の方法で本システム内の全ての要素を管理することによってのみ達成することができる所望の結果を定めてもよい。例えば特定の目標により、特定の都市において特定の割合で汚染を減らしてもよい。機械学習アルゴリズムを、機械学習パーミュテーションの所望の結果が特定の都市における汚染の減少に一致するようにトレーニングしてもよい。従って機械学習アルゴリズムによって実行された結果としてのアクションはこの目標に応じるために本システムを組織化することができ、これは、例えばエネルギーが必要とされ得ない場合により少ないエネルギーを消費すること、１車両当たりのＣＯ_２排出を減らすために交通量を最適化すること、特定の瞬間に流れることができる車両の数を減少させるか制御すること、製造中に使用される材料およびプロセスを減少させるか最適化すること、近くに人や車両などが存在しない場合に不必要な街灯を消すことなどを含んでもよい。従って、機械学習アルゴリズムで使用される入力データのより多くの部分がデータの抽出を難しくさせる仮定の状況に由来している可能性があるので、シミュレーションデータセット４１４は目標指向の推論には特に重要であり得る。

【0077】

動作的機械学習および推論は、機械学習アルゴリズムに個々の実世界実体を動作させるのに必要な機能専用のサブセットを含むデータを供給し、機械学習アルゴリズムをこのデータでトレーニングし、かつ装置の動作のために使用することができるトレーニングされた機械学習モデルを生成することによって実行してもよい。特定の機能は例えば、特定の機械を操作すること、特定の自動運転車を運転すること、特定の家庭用電化製品を操作すること、およびドローンを操作することなどであってもよい。いくつかの実施形態では、組織的学習および推論は、システムの個々の接続要素の動作的推論を調整するためにサーバによって行ってもよい。動作的学習および推論は１つ以上の接続要素によって、１つ以上のサーバによって、あるいはそれらの組み合わせによって個々に行ってもよく、かつ当該データは本システムの個々の接続要素の動作を調整するために１つ以上のサーバによって送信および使用してもよい。

【0078】

サーバに命令２１６と共に複数のデータソースに由来する入力データ（例えば、感知および明示的データセット４１０、シミュレーションデータセット４１４、暗黙的データ４２４および影響データ４２８）を提供し、かつ実世界に基づいて複製されたパーシステント仮想世界システムにおいてこのデータ２１４および命令２１６を格納および更新することにより、機械学習アルゴリズムを複数のアプリケーションのために全体論的にトレーニングしてもよい。従ってトレーニングされた機械学習モデルを使用することにより決定を行うことは複数のソースを用いることによって実施することができ、ターゲット実体に直接関連するデータまたはターゲットデータだけでなくそのターゲット実体を取り囲むコンテキストデータも考慮に入れた全体論的アプローチが得られる。本開示で使用される「ターゲット」または「ターゲットデータ」という用語は、機械学習アルゴリズムにより特定されるか決定されやすい実世界要素（例えば、動物、物体、人、場所など）に直接関するデータを指す。一般に、機械学習アルゴリズムがその実世界要素およびそれぞれの仮想レプリカに対して別のアクションを認識または実行しなければならない場合に、あらゆる実世界要素およびそのそれぞれの仮想レプリカがターゲットになり得る。

【0079】

サーバのメモリ２０２に格納されているパーシステント仮想世界システムは、いつでもアクセスすることができ、かつ本システムにおいて既に特定されている実世界実体に関連づけられている連続的に更新されるパーシステントデータ２１４を含む。送受信機は、アンテナへ／からデータを送信および受信し、かついくつかの最新技術の追跡技術に従うものであってもよい。接続要素の正確な向き、速度、加速度および他のパラメータを提供するセンシング機構、特に慣性センシング装置のいくつかを備えた送受信機によって可能になる追跡を組み合わせることにより、本システムに含まれている装置の正確な追跡を可能にしてもよい。従って、他の特性と共に実世界要素の位置および向きデータがパーシステント仮想世界システムに既に入力されているので、教師ありトレーニングアルゴリズムにラベル付けされたデータを供給するために当該データにラベル付けする必要はなく、機械学習アルゴリズムのトレーニングのより速く、かつより費用効率の高い方法が可能になる。さらにデータとして、特に位置および向きデータはパーシステント仮想世界システムにおいてリアルタイムで既に利用可能であり、当該装置はその後のデータ推論のためにこれらの他の実体がどこに位置しているかを最初に感知および追跡する必要がないため、トレーニングされた機械学習モデルを用いて新しいデータを推論するのがより速くなり得る。さらにパーシステント仮想世界システムは、材料情報、壁の幅、窓の場所、建物の場所および建物の他のインフラの詳細と共にユーザからサービスコンテキストを取り込むので、基地局における無線アクセスネットワーク（ＲＡＮ）からの無線信号の提供は、ＱｏＳを最適化するためにこの情報を考慮に入れてもよく、かつそれに応じて調整されてもよい。

【0080】

接続要素の正確な追跡を提供することは、パーシステント仮想世界システム内での実体の信頼できる状態、特に様々なアプリケーションのために関連し得るそれらの位置および向きを表示するのに有用になり得る。さらに、接続要素の正確なリアルタイム追跡を可能にすることにより、データ推論を行い、かつそれに応じて決定を行う前に本システム内の他の接続要素を物理的に感知する必要性を減らすことができる。例えば自動運転などの仮想知能アプリケーションのために、脅威が車両の視覚に入る前であっても車両が脅威を特定し、故にそれに応じて反応することができるように、本システム内に位置している車両または他の障害物の正確な位置および向きを有することは非常に重要であり得る。但し、人間、動物、木または他の要素などのパーシステント仮想世界システムにまだ格納されていない可能性のある非接続要素または他の実体の存在に基づいてサーバがアクションを起こす必要がある場合などのいくつかの状況では、カメラなどの特定のセンシング機構がまだ必要な場合がある。さらに、マルチソース感知データ４０６を含む仮想世界の更新された状況を維持し、かつ機械学習アルゴリズムに新しいデータの全体論的推論を実現するために必要とされる実世界からのマルチソース感知データ４０６を提供するために、いくつかの状況では複数のセンシング機構が必要になる場合がある。

【0081】

図５は、実世界実体を管理および最適化するための解決法として用いることができる人工知能アプリケーションに使用するために、機械学習アルゴリズムにマルチソースのリアルタイムかつコンテキストアウェアな実世界データを提供するのを可能にするコンピュータ実装方法５００のフローチャートを示す。方法５００は図１、図２および図４に示されているシステムなどのシステムに実装されていてもよい。

【0082】

方法５００は、プロセッサおよびメモリを備えたサーバを提供することにより工程５０２および５０４で開始し、ここではプロセッサは命令を実行し、かつメモリに格納されているデータを処理するように構成されており、かつメモリは実世界実体の仮想レプリカを格納しているパーシステント仮想世界システムを含む。一実施形態によれば、仮想レプリカは各仮想レプリカの明示的データを入力するのを可能にするレプリカエディタにより生成される。

【0083】

方法５００は、各接続要素が１つ以上のセンシング機構を備えている、ネットワークを介してサーバに接続された複数の接続要素を提供することにより工程５０６において継続する。その後に工程５０８では、センシング機構は実世界実体からパーシステント仮想世界システムに含まれている仮想レプリカをエンリッチ化および更新するマルチソース感知データを取り込み、かつその後に当該データをサーバに伝送する。マルチソース感知データは、マイクロコンテキストデータおよびマクロコンテキストデータを含むコンテキストデータと共に実世界要素から取り込まれたデータを含む。いくつかの実施形態では、接続要素はさらにネットワークを介して互いに接続されていてもよい。他の実施形態では、接続要素は分散型台帳を介して互いにまたはサーバに接続されていてもよい。

【0084】

その後に方法５００はプロセッサによる工程５１０に進み、明示的データおよびマルチソース感知データを含むデータを準備する。次いで工程５１２では、得られたデータセットをさらなるデータセットを提供するシミュレーション中に使用する。方法５００は、機械学習アルゴリズムをシミュレーションデータセット、明示的データセットおよびマルチソース感知データセットを含む機械学習入力データセットを用いてトレーニングすることによって工程５１４に進む。次いで工程５１６では、方法５００は、新しいデータの推論および暗黙的データの生成のためにトレーニングされた機械学習モデルを適用することにより継続する。次いで方法５００は確認工程５１８において十分な暗黙的データが利用可能であるかを確認する。十分なデータが利用可能でない場合、方法５００は暗黙的データからのフィードバックを考慮に入れて機械学習アルゴリズムをトレーニングするために戻る。十分なデータが利用可能である場合は、方法５００はデータを分析することによって工程５２０を継続する。次いで工程５２２に見られるように実世界システムの実世界要素からの影響を軽減するために、影響データを利用して実世界実体を最適化する。

【0085】

特定の実施形態が説明され、かつ添付の図面に図示されてきたが、当然のことながらそのような実施形態は広範な本発明の単に例示であってそれを限定するものではなく、様々な他の修正を当業者が思い付くことができるため、本発明は図示および説明されている特定の構成および配置に限定されない。従って上記説明は、本発明を限定するものではなく例示とみなされるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】