特許 7601519 物理環境の予測的仮想再構成

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-09

(45)【発行日】2024-12-17

(54)【発明の名称】物理環境の予測的仮想再構成

(51)【国際特許分類】

   G06T 19/00 20110101AFI20241210BHJP

【ＦＩ】

G06T19/00 600

【請求項の数】 9

(21)【出願番号】P 2022528288

(86)(22)【出願日】2020-11-30

(65)【公表番号】

(43)【公表日】2023-02-01

(86)【国際出願番号】 IB2020061256

(87)【国際公開番号】W WO2021111269

(87)【国際公開日】2021-06-10

【審査請求日】2023-04-24

(31)【優先権主張番号】16/699,836

(32)【優先日】2019-12-02

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】390009531

【氏名又は名称】インターナショナル・ビジネス・マシーンズ・コーポレーション

【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ

【住所又は居所原語表記】Ｎｅｗ Ｏｒｃｈａｒｄ Ｒｏａｄ， Ａｒｍｏｎｋ， Ｎｅｗ Ｙｏｒｋ １０５０４， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100112690

【弁理士】

【氏名又は名称】太佐 種一

(74)【代理人】

【識別番号】100120710

【弁理士】

【氏名又は名称】片岡 忠彦

(72)【発明者】

【氏名】コズロスキー、ジェームズ

(72)【発明者】

【氏名】ラクシット、サルバジット

(72)【発明者】

【氏名】ゴードン、マイケル

(72)【発明者】

【氏名】ウェルドマリアム、コミニスト

【審査官】渡部 幸和

(56)【参考文献】

【文献】特開２０１４－１０６６８１（ＪＰ，Ａ）

【文献】特開２０１３－１５０３２０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８ － ３／０４８９５

(57)【特許請求の範囲】

【請求項1】

拡張現実を使用して物理イベントを予測的に再構成するためのコンピュータ実装方法であって、前記コンピュータ実装方法が、
少なくとも１つの物体を含む物理イベントの前後の前記物理イベントの領域から収集されたビデオ・フィードを分析するためのビデオ分析を使用して、前記物理イベントの領域内に配置された前記物体の相対的な状況を識別すること、
前記物理イベント及び前記物理イベントの領域内で物体の相対的位置が前記物理イベントによりどのように変化したのかを相関させるための以前の物理イベントからの履歴的情報に関連する前記ビデオ分析及び前記収集されたビデオ・フィード、事後イベントに関連する物理イベントのタイプ、及び、前記事後イベントを生じさせた物理イベントの期間を含むナレッジ・コーパスを生成すること、
コンピューティング・デバイスにより、前記物理イベントの領域のデータをキャプチャすること、
前記キャプチャされたデータ及び前記ナレッジ・コーパスに基づいて可能な事前イベントを識別すること、
可能な前記事前イベントを使用して前記物理イベントの仮想再構成を生成することであって、前記物理イベントの前記仮想再構成が、前記物理イベントの間に最も発生しやすい予測された物理イベントであり、及び
前記コンピューティング・デバイスにより、前記予測された物理イベントの生成された前記仮想再構成を表示することであって、前記予測された物理イベントの表示される前記仮想再構成を、前記物理イベントの領域のイメージにオーバーレイする、
コンピュータ実装方法。

【請求項2】

前記物理イベントの前記生成された仮想再構成を表示することが、さらに
前記物理イベントが発生した時の明るさ、気象条件及び前記物理イベントの領域の環境的条件を模倣すること、
前記物理イベントが発生する前の前記物理イベントに含まれる種々の物体のオリジナルの位置を予測すること、
前記物理イベントにより前記物体の前記相対的位置がどのように変化したかを視覚的に表示すること、及び
物理イベントの異なるタイプのビデオ・フィード、如何なる物理イベントに関連するＩｏＴフィード、異なるタイプの物理イベントの以前に生成されたコンピュータ・グラフィックスのシミュレーション結果、物理イベントのレポート、現在の前記物理イベントの領域のライブ・ビデオ・フィードといった情報の種々のソースから履歴的情報を収集すること
を含む、請求項１に記載のコンピュータ実装方法。

【請求項3】

さらに、
前記物理イベントの前記生成された仮想再構成を、データベースから得られた種々の規制及び制限と比較することであって、前記データベースから得られた前記種々の規制及び制限が、建築規則、交通法規、安全性証明、技術規格、及び製品保証を含み、
前記物理イベントの前記生成された仮想再構成内に物体、シーケンス、及び原因・効果関係をハイライトすること、及び
前記物理イベントにおいて発生した制限、規則、証明、規格、及び保証からの逸脱を示すため、前記物体、前記シーケンス、及び原因・効果関係を、色、又はシンボルでアノテーションすること
を含む、請求項１に記載のコンピュータ実装方法。

【請求項4】

さらに、
ユーザに対して事前イベントの可能性のあるシナリオのリストを提示することであって、前記事前イベントの可能性のあるシナリオのリストが前記コンピューティング・デバイスを通して前記ユーザに提示されること、及び
前記ユーザに対して、前記物理イベントのタイプを含み、かつ前記物体の前記位置がどのように移動したか、又は損傷したかを説明する、どのようにして前記物理イベントが発生したのかを示す異なるシナリオを表示すること
を含む請求項１に記載のコンピュータ実装方法。

【請求項5】

請求項１～４の何れか１項のコンピュータ実装方法をコンピュータが実行するためのコンピュータ・プログラム。

【請求項6】

拡張現実環境内に仮想物体を配置するためのコンピュータ・システムであって、前記コンピュータ・システムが、
１つ又はそれ以上のコンピュータ・プロセッサと、
１つ又はそれ以上のコンピュータ可読なストレージ・デバイスと、
前記１つ又はそれ以上のコンピュータ可読なストレージ・デバイスに格納され、少なくとも１つの前記１つ又はそれ以上のコンピュータ・プロセッサによる実行のためのプログラム命令であって、前記格納されたプログラム命令が、
少なくとも１つの物体を含む物理イベントの前後の前記物理イベントの領域から収集されたビデオ・フィードを分析するためのビデオ分析を使用して前記物理イベントの領域内に配置された前記物体の相対的な状況を識別するプログラム命令と、
前記物理イベント及び前記物理イベントの領域内で物体の相対的位置が前記物理イベントによりどのように変化したのかを相関させるための以前の物理イベントからの履歴的情報に関連する前記ビデオ分析及び前記収集されたビデオ・フィード、事後イベントに関連する物理イベントのタイプ、及び、前記事後イベントを生じさせた物理イベントの期間を含むナレッジ・コーパスを生成するプログラム命令と、
コンピューティング・デバイスにより、前記物理イベントの領域のデータをキャプチャするプログラム命令と、
前記キャプチャされたデータ及び前記ナレッジ・コーパスに基づいて可能な事前イベントを識別するプログラム命令と、
前記可能な事前イベントを使用して前記物理イベントの仮想再構成を生成するプログラム命令であって、前記物理イベントの前記仮想再構成が、前記物理イベントの間に最も発生しやすい予測された物理イベントであり、及び
前記コンピューティング・デバイスにより、前記予測された物理イベントの生成された前記仮想再構成を表示するプログラム命令であって、前記予測された物理イベントの表示される前記仮想再構成を、前記物理イベントの領域のイメージにオーバーレイする、
コンピュータ・システム。

【請求項7】

前記物理イベントの前記生成された仮想再構成を表示することが、さらに、
前記物理イベントが発生した時の明るさ、気象条件及び前記物理イベントの領域の環境的条件を模倣するプログラム命令、
前記物理イベントが発生する前の前記物理イベントに含まれる種々の物体のオリジナルの位置を予測するプログラム命令、
前記物理イベントにより前記物体の前記相対的位置がどのように変化したかを視覚的に表示するプログラム命令、及び
物理イベントの異なるタイプのビデオ・フィード、如何なる物理イベントに関連するＩｏＴフィード、異なるタイプの物理イベントの以前に生成されたコンピュータ・グラフィックス・のシミュレーション結果、物理イベントのレポート、現在の前記物理イベントの領域のライブ・ビデオ・フィードといった情報の種々のソースから履歴的情報を収集するプログラム命令
を含む、請求項６に記載のコンピュータ・システム。

【請求項8】

さらに、
前記物理イベントの前記生成された仮想再構成を、データベースから得られた種々の規制及び制限と比較するプログラム命令であって、前記データベースから得られた前記種々の規制及び制限が、建築規則、交通法規、安全性証明、技術規格、及び製品保証を含み、
前記物理イベントの前記生成された仮想再構成内に物体、シーケンス、及び原因・効果関係をハイライトするプログラム命令、及び
前記物理イベントにおいて発生した制約、規則、証明、規格、及び保証からの逸脱を示すため、前記物体、前記シーケンス、及び原因・効果関係を、色、又はシンボルでアノテーションするプログラム命令
を含む、請求項６に記載のコンピュータ・システム。

【請求項9】

さらに、
ユーザに対して事前イベントの可能性のあるシナリオのリストを提示することであって、前記事前イベントの可能性のあるシナリオのリストが前記コンピューティング・デバイスを通して前記ユーザに提示されるプログラム命令、及び
前記ユーザに対して、前記物理イベントのタイプを含み、かつ前記物体の前記位置がどのように移動したか、又は損傷したかを説明する、どのようにして前記物理イベントが発生したのかを示す異なるシナリオを表示するプログラム命令
を含む、請求項６に記載のコンピュータ・システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、一般に、拡張現実の分野に関し、より詳細には、物理環境の予測的仮想再構成に関する。

【背景技術】

【0002】

拡張現実（ＡＲ）は、実世界の環境のインタラクティブなエクスペリエンスであり、そこでは、実世界に存在する物体がコンピュータ生成された知覚的情報により、ある場合には視覚、音響、触覚、体感、及び嗅覚を含む多数の知覚的な様相を横断して増強される。ＡＲは、３つの基本的特徴を満足するシステムとして定義することができる：現実及び仮想世界の組み合わせ、リアルタイムな相互作用、及び仮想及び実物体の正確な３Ｄ記述である。重ね合わされた知覚的な情報は、自然環境に追加することができるか、又は自然環境をマスクすることができる。ＡＲエクスペリエンスは、物理的世界が継ぎ目なく織り交ぜられたたものとなることができるので、これは、実環境の没入型の側面として理解することができる。この方法において、実世界の環境について人の現在進行している知覚を変更する拡張現実は、ユーザの実世界の環境をシミュレートされたもので置き換えているのである。拡張現実は、大きく２つの同義的用語に関連する：混合された現実及びコンピュータ仲介の現実。

【0003】

仮想現実は、自然環境、又は状況を増強するために使用され、知覚的に強化されたエクスペリエンスを提供する。進歩したＡＲ技術の支援（例えば、コンピュータ・ビジョンを追加すること、スマートホン・アプリケーション及び物体認識にＡＲカメラを組み込むこと）により、ユーザの実世界を取り巻く情報は、インタラクティブなものとなる。環境及びその物体に関する情報は、実世界に重ね合わされる。没入型の知覚的情報は、時としてスポーツイベントのライブ・ビデオ・フィードに上乗せされるスコアの様な補足的情報と組み合わされる。この組み合わせは、拡張現実技術及びヘッドアップ・ディスプレイ技術（ＨＵＤ）の両方に利益的である。

【発明の概要】

【0004】

本発明の実施形態は、拡張現実を使用して物理イベントを予測的に再構成するための方法、コンピュータ・プログラム製品及びシステムを開示し、前記コンピュータ実装方法は、少なくとも１つの物体を含む物理イベントの前後の前記物理イベントの領域から収集されたビデオ・フィードを分析するためのビデオ分析を使用して前記物理イベントの領域内に配置された前記物体の相対的な状況を識別すること、前記物理イベントの領域内で物体の相対的位置が前記物理イベントによりどのように変化したのか、事後イベントに関連する物理イベントのタイプ、及び前記事後イベントを生じさせた前記物理イベントの期間を相関させるため、以前の物理イベントから前記物理イベント及び履歴的情報に関連する前記ビデオ分析及び収集された前記ビデオ・フィードを含むナレッジ・コーパスを生成すること、コンピューティング・デバイスにより、前記物理イベントの領域のデータをキャプチャすること、前記キャプチャされたデータ及び前記ナレッジ・コーパスに基づいて可能な事前イベントを識別すること、前記可能な事前イベントを使用して前記物理イベントの仮想再構成を生成することであって、前記物理イベントの前記仮想再構成が、前記物理イベントの間に最も発生しやすい予測された物理イベントであり、及び前記コンピューティング・デバイスにより、前記予測された物理イベントの生成された前記仮想再構成を表示することであって、前記予測された物理イベントの表示される前記仮想再構成が、前記物理イベントの領域のイメージにオーバーレイされる。

【0005】

本発明の実施形態を、実施例のみの目的で添付する図面を参照しつつ、ここに説明する。

【図面の簡単な説明】

【0006】

【図1】図１は、本発明の実施形態による分散データ処理環境を示す機能的ブロック図である。

【図2】図２は、本発明の実施形態により拡張現実を使用して物理的エベントを予測的に再構成するための、図１の分散データ処理環境内のコンピューティング・デバイスと通信する、仮想再構成ツールの動作ステップを示す。

【図3】図３は、本発明の実施形態による図１の分散データ処理環境内の仮想再構成ツールを実行するコンピューティング・デバイスのコンポーネントのブロック図を示す。

【発明を実施するための形態】

【0007】

物理環境の試験中、ユーザは、周囲の物理イベントにアクセスし、破損した物体、物体の相対的位置、地上の異なる目印、周囲環境の損傷、又は本技術において知られている物理イベントに関連する如何なる他の情報、又はそれらの組み合わせのようなサンプルを収集する。したがって、ユーザは、物理イベント及び物理イベント（すなわち物理イベント領域）を取り巻く領域を分析して、発生した可能性のあるインシデントのタイプを判断することができる（例えば、車両事故、自然災害、又は本技術において知られている物理イベントを含むいかなる事情）。物理的イベントは、もう１つの１つ又はそれ以上の物理的物体と相互作用する、１つ又はそれ以上の物理的物体を含む（例えば、車両事故、自然災害、又は本技術において知られている物理イベントを含むいかなる事情）。現現在、本技術においては、物理イベントに先行するイベント（すなわち、事前イベント）及び物理イベントの間に発生したイベントを判断するためのアプローチは、ユーザが物理イベント領域内、又はその周囲で発生した可能性のある多くの異なるインシデントを推定しようとする試みを含む。度々、ユーザが集合的に先行イベントとして参照される、物理的イベントまでに発生したイベント、及び物理イベントの間及びその後に発生したイベントを正確に推定し、又は判断することは極めて困難である。さらに、現在、本技術においては先行イベント及び物理イベントの後のイベント（すなわち事後イベント）を予測し、かつ判断することは多くの場合可能ではなく、これは、また遅延及び判断エラーを導く。

【0008】

本発明の実施形態は、履歴的（物理）イベントについてトレーニングされた１つ又はそれ以上の規格学習モデルを使用して、周囲領域を分析することができ、かつ物理イベントの領域において何が発生したかを予測することができる人工知能（ＡＩ）ベースの拡張現実システムを提供することにより上述した問題を解決することができる。例えば、イベントのシーケンスをモデル化するため及び事前イベントを予測するために、マルコフ・モデル、強化学習（ＲＬ）、リカレント・ニューラル・ネットワーク、シーケンス・マイニング・モデル、又は時系列モデル、又はそれらの組み合わせを含む、１つ又はそれ以上の機械学習モデルを使用することができる。追加的に、本発明の実施形態は、拡張現実（ＡＲ）グラス、又はスマートホン上のＡＲアプリケーションを通して１つ又はそれ以上の機械学習モデルによって予測されたものとして、予測された事前イベント、物理イベントの間に発生したイベント及び事後イベントを表示することにより、現在技術を改善することができる。本発明の実施形態は、リカレント・ニューラル・ネットワーク（ＲＮＮ）及び物理イベントの間に発生したイベントを使用してシーケンスを生成することにより、事前イベントの可能性のあるシナリオのリストをユーザに提示することにより、現在の技術を改善することができ、ここで、物理イベントの可能性のあるシナリオのリストは、発生した最も可能性のあるものから最も発生しそうがないものへとランク付けされる。

【0009】

本発明の実施形態は、異なるタイプの物理イベントのビデオ・フィード（すなわち、キャップチャされたビデオ）、以前に記録、又は報告された物理イベント、如何なる物理イベントにでも関連するインターネット・オブ・シングス（ＩｏＴ）フィード、及び異なるタイプの物理イベントの、コンピュータにより生成されたシミュレーション結果を含む履歴的物理イベントの情報を収集するデータ収集モジュールを使用することによって、ＡＲ技術を改善することができる。したがって、本発明の実施形態は、機械学習モデルを使用して、現在の物理イベント及び以前の物理イベントに関連して収集された履歴的情報を収集及び格納することによってナレッジ・コーパスを生成することにより、ＡＲ技術を改善することができる。本発明の実施形態は、以前に収集されたデータから事前イベント及び事後イベントの種々のパラメータを相関させることによって、ナレッジ・コーパスを生成するので、本発明の実施形態は、物理イベントを効率的に予測することができると共に、領域及び物理イベントを仮想的に再構成することが可能である（例えば、どのようにして異なるオブジェクトが破壊、又は損傷したのかについて説明すること、物体の相対的位置がどのようにして変化したのかを示すこと、物理イベントを及び事後イベントを生成するために発生したであろう１つ又はそれ以上の機械学習モデルによって学習されたようなイベントのタイプのリスト、及び物理的イベントの危険性及び重大性の程度の判断）。物理的イベントの危険性及び重大性の程度の分類は、双方向長短期記記憶（ＬＳＴＭ）モデルを使用して行うことができる。

【0010】

ユーザがＡＲグラスを通して周囲の物理イベントを見る場合、本発明の実施形態は、周囲の物理イベントの領域にアクセスすることができる。本発明の実施形態は、拡張現実を介して、可能性のある事前イベントの異なるタイプを含んで物理イベントがどのようにして発生したのか、物体の位置がどのようにして動いたのか、又はどのようにして物体が損傷したのかを説明するシミュレーションを仮想的に表示することができる。本発明の実施形態は、ＡＩにより可能とされた拡張現実を介して、明るさ、気象条件、又は物理イベントが発生した時点での物理イベントの領域の環境的条件、又はそれらの組み合わせを模倣することができる。例えば、ユーザは、ドライバーが夕日、又はサイド・ミラーからの太陽のまぶしさにより一時的に防眩したかどうかを観察することができる。

【0011】

本発明の実施形態は、物理イベントの強度タイプ、強度の方向、及び強度の期間を予測することができると共に、したがって、１つ又はそれ以上の機械学習モデル（例えばＲＮＮ）を使用して、ユーザに対し、ＡＲグラス、又はＡＲ能力を有するコンピューティング・デバイスを通して物理イベントの予測されたイベントを表示することができる。本発明の実施形態は、物理イベントを再構成すると共に、拡張現実コンポーネントを通して物理イベントの再構成を表示することができる。本発明の実施形態は、どのようにして物理イベントが物理イベントの領域で発生したのかを説明するためのアニメーション化された仮想現実グラフィックスを表示して、ユーザが事前イベントを再構成すると共に、物理イベントについての詳細を理解することの支援を可能とする（例えば、地震、ハリケーン、交通パターンなど）。本発明の実施形態は、同様のロケーションで、ＡＲシミュレーションされた、又は学習され、再構成された物理イベントのシナリオを、現在の物理イベントにオーバーレイして、物理イベント、又は事後イベント、又はそれらの両方における類似性、又は相違性、又はそれらの両方を識別することを可能とする。本発明の実施形態は、物理イベントが発生する前の種々の物体のオリジナル位置を予測すると共に、物体の相対的位置が物理的イベントによりどのように変化したかを予測することができる。例えば、ＡＲシミュレーションを介して物体の軌跡を視覚的に表示することである。

【0012】

説明する実施形態においては、関連する当事者（すなわちユーザ）は、彼らのイメージを取得させ、アップロードさせ、及び保存させ、かつ記録させ、及びモニタさせることについて合意したことについて留意されたい。追加的に、関連する当事者は、そのような記録及びモニタリングが発生するであろうことについて認識している。種々の実施形態においては、例えば、本発明の実施形態をダウンロード、又は動作する場合、本発明の実施形態は、関心のある当事者が参加への同意、又は不同意することを迅速に可能とする期間及び条件を提示する。

【0013】

本発明の実施形態の実装は、種々の形態を取ることができ、例示的な実装の詳細を、図面（すなわち、図１～図３）を参照して以下に説明する。

【0014】

図１は、本発明の１実施形態による一般に１００で指定された分散データ処理環境を示す機能ブロック図である。本明細書で使用される用語“分散”とは、単一のコンピュータ・システムとして互いに動作する、多数の物理的に異なるデバイスを含むコンピュータ・システムを記述する。図１は、１つの実装形態の例示を提供するのみであり、異なる実施形態が実装可能な環境に関連して、如何なる限定を意味するものではない。図示された環境に対する多くの修正は、請求項により列挙されるとおりの本発明の範囲から逸脱することなしに、当業者において成すことができる。分散データ処理環境１００は、ネットワーク１３０越しに相互接続された、コンピューティング・デバイス１１０及びサーバ・コンピュータ１２０を含む。

【0015】

ネットワーク１３０は、例えば、ストレージ・エリア・ネットワーク（ＳＡＮ）、通信ネットワーク、ローカル・エリア・ネットワーク（ＬＡＮ）、インターネットといったワイド・エリア・ネットワーク（ＷＡＮ）、短距離でデータを交換するためのワイヤレス技術（短波長の超高周波数（ＵＨＦ）ラジオ波、固定及びモバイル・デバイスからの２．４～２．４８５ＧＨｚの工業、科学及び医学（ＩＳＭ）バンド、及びビルディング・パーソナル・エリア・ネットワーク（ＰＡＮｓ）、又はこれら３つの組み合わせ）とすることができ、かつ、有線、ワイヤレス、又はファイバ光学接続を含むことができる。ネットワーク１３０は、データ、音声、又は音声、データ、テキスト、又はビデオ情報、又はこれらの組み合わせを含むビデオ信号を受領することができる、１つ又はそれ以上の有線、又はワイヤレス・ネットワーク、又はこれらの組み合わせを含むことができる。一般に、ネットワーク１３０は、分散データ処理環境１００内のコンピューティング・デバイス１１０、サーバ・コンピュータ１２０、及び如何なる他のコンピューティング・デバイス、又はストレージ・デバイス（図１には示していない）との間の通信をサポートする接続及びプロトコルの如何なる組み合わせとすることができる。

【0016】

本発明のいくつかの実施形態においては、コンピューティング・デバイス１１０は、これらに限定されることはなく、スタンドアローン・デバイス、クライアント、サーバ、ラップトップ・コンピュータ、タブレット・コンピュータ、ネットブック・コンピュータ、パーソナル・コンピュータ（ＰＣ）、スマートホン、デスクトップ・コンピュータ、スマートテレビ、スマートウォッチ、ラジオ、ステレオ・システム、クラウドベースのサービス（例えば、コグニッティブ・クラウド・ベースのサービス）ＡＲグラス、バーチャルリアリティ・ヘッドセット、本技術において知られた如何なるＨＵＤ、又はネットワーク１３０又はその内部の如何なる組み合わせを介して、分散データ処理環境１００内の種々のコンポーネント及びデバイスと通信することができる如何なるプログラム可能な電子的コンピューティング・デバイス、又はこれらの組み合わせとすることができる。一般に、コンピューティング・デバイス１１０は、如何なるプログラム可能なコンピューティング・デバイス、又は機械可読なプログラム命令を実行し、ネットワーク１３０を介して他のコンピューティング・デバイスのユーザと通信することができるか、又は機械可読なプログラム命令を実行し、かつサーバ・コンピュータ１２０と通信可能であるか、又はそれら両方が可能なプログラム可能なコンピューティング・デバイスの組み合わせを代表することができる。

【0017】

種々の実施形態においては、カメラ・コンポーネント１０８は、コンピューティング・デバイス１１０上で実行される。いくつかの実施形態においては、カメラ・コンポーネント１０８は、分散データ処理環境１００内に配置され、又は何処かで実行され、又はその両方とすることができる。カメラ・コンポーネント１０８は、本技術において知られた１つ又はそれ以上のカメラとすることができる。種々の実施形態においては、カメラ・コンポーネント１０８は、ユーザがコンピューティング・デバイス１１０で見るか、又はより具体的には仮想再構成ツール１１２で見るビデオ・フィード（ビデオ・フィード）を提供することができる。ビデオ・フィードは、ライブ・ビデオ・フィードとしてリアルタイムに通信することができるし、又、記録されたビデオ・フィードとして記録され、通信することができる。本明細書で使用する用語“ビデオ・フィード”は、ビデオ・フィードの１つ、又は両方のタイプを参照することができる。種々の実施形態においては、仮想再構成ツール１１２は、コンピューティング・デバイス１１０がキャプチャされたビデオ・フィード、又は写真、又はそれらの両方を共有ストレージ１２４、又はローカル・ストレージ１０４、又はそれらの両方に格納することを可能とすることができる。種々の実施形態においては、カメラ・コンポーネント１０８は、ビデオ・フィードを記録し、通信し、かつ格納することが可能であり、かつ、写真を撮影し、通信し、かつ格納することができる。

【0018】

本発明のいくつかの実施形態においては、コンピューティング・デバイス１１０は、機械可読なプログラム命令を実行することができ、機械可読な命令の実行を操作することができ、かつネットワーク１３０といったネットワークを介して分散データ処理環境１００内のサーバ・コンピュータ１２０及び他のコンピューティング・デバイス（不図示）と通信することができる、如何なるプログラム可能な電子的コンピューティング・デバイス、又はプログラム可能な電子的コンピューティング・デバイスの組み合わせを表すことができる。コンピューティング・デバイス１１０は、ユーザ・インタフェ－ス（インタフェース）のインスタンス１０６及びローカル・ストレージ１０４を含むことができる。種々の実施形態では、図１に示されていないが、コンピューティング・デバイス１１０は、複数のユーザ・インタフェースを有することができる。他の実施形態では、図１には示されていないが、分散データ処理環境１００は、複数のコンピューティング・デバイス、複数のサーバ・コンピュータ、又は複数のネットワークの内の１つ、又はこれらの組み合わせを含むことができる。コンピューティング・デバイス１１０は、さらに図３を参照してより詳細に図示し、かつ説明されるように、内部的及び外部的なハードウェア・コンポーネントを含むことができる。

【0019】

ユーザ・インタフェース（インタフェース）１０６は、予測的仮想再構成ツール（仮想再構成ツール）１１２へのインタフェースを提供する。ユーザ・インタフェース１０６を介してコンピューティング・デバイス１１０は、プログラム命令を送付し、プログラム命令を受領し、メッセージを送付、又は受領、又はそれらの両方を行い、データをアップデートし、データを送付し、データを入力し、データを編集し、データを収集し、又はデータを受領し、又はこれらの組み合わせといった種々の方法において、ユーザ、又はクライアント、又はそれらの両方を、仮想再構成ツール１１２、又はサーバ・コンピュータ１２０、又はそれらの両方と相互作用させることを可能とする。１つの実施形態においては、インタフェース１０６は、グラフィカル・ユーザ・インタフェース（ＧＵＩ）又はウェブ・ユーザ・インタフェース（ＷＵＩ）とすることができ、かつ少なくともテキスト、ドキュメント、ウェブ・ブラウザのウィンドウ、ユーザ・オプション、アプリケーション・インタフェース、及び動作のための命令を表示することができる。インタフェース１０６は、ユーザに対して提示される情報（グラフィックス、テキスト及びサウンドといった）を含むことができ、かつ、ユーザが動作を制御するために用いるシーケンスを制御することができる。もう１つの実施形態では、インタフェース１０６は、コンピューティング・デバイス１１０のユーザと、サーバ・コンピュータ１２０との間のインタフェースを提供する、モバイル・アプリケーション・ソフトウェアとすることができる。モバイル・アプリケーション・ソフトウェア、又は“アプリ”は、スマートホン、タブレット・コンピュータ、及び他のコンピューティング・デバイス上で動作するように設計されることができる。実施形態においては、インタフェース１０６は、コンピューティング・デバイス１１０のユーザが少なくともデータを送付し、データを入力し、データを編集（アノテーション）し、データを訂正し、又はデータを受領し、又はこれらの組み合わせを可能とすることができる。

【0020】

サーバ・コンピュータ１２０は、スタンドアローンのコンピューティング・デバイス、管理サーバ、ウェブ・サーバ、モバイル・コンピューティング・デバイス、１つ又はそれ以上のクライアント・サーバ、又はデータを受領し、送付し、かつ処理することが可能な如何なる他の電子的デバイス又はコンピューティング・システムとすることができる。他の実施形態においては、サーバ・コンピュータ１２０は、例えば、これらに限定されるはなく、クラウド・コンピューティング環境内といったサーバ・システムというような、多数のコンピュータを使用するサーバ・コンピューティング・システムを表すことができる。もう１つの実施形態においては、サーバ・コンピュータ１２０は、分散データ処理環境１００内にアクセスされた場合に、シームレスなリソースの単一のプールとして機能する、クラスタ・コンピュータ及びコンポーネントを使用するコンピューティング・システムを表すことができる（例えば、データベース・サーバ・コンピュータ、アプリケーション・サーバ・コンピュータなど）。サーバ・コンピュータ１２０は、より詳細に図３を参照して図示し、かつ説明されるように、内部及び外部ハードウェア・コンポーネントを含むことができる。

【0021】

共有ストレージ１２４及びローカル・ストレージ１０４のそれぞれは、データ／ナレッジ・リポジトリ、又は仮想再構成ツール１１２、サーバ・コンピュータ１２０及びコンピューティング・デバイス１１０の１つ又は組み合わせによって書き込み、又は読み出し、又はそれらの両方が可能なデータベース、又はこれらの組み合わせとすることができる。図示する実施形態においては、共有ストレージ１２４は、サーバ・コンピュータ１２０上に滞在し、かつローカル・ストレージ１０４は、コンピューティング・デバイス１１０上に滞在する。もう１つの実施形態においては、共有ストレージ１２４、又はローカル・ストレージ１０４、又はそれらの両方は、それぞれがアクセスできると共に、コンピューティング・デバイス１１０及びサーバ・コンピュータ１２０によりアクセス可能なように分散データ処理環境１００内の何処かに滞在することができる。共有ストレージ１２４、又はローカル・ストレージ１０４は、これらに限定されることはなく、サーバ・コンピュータ１２０によりアクセス及び使用することができるデータベース・サーバ、ハードディスク、又はフラッシュ・メモリといった、データ及び構成ファイルを格納することができる如何なるタイプのストレージ・デバイスを使用してそれぞれ実装することができる。

【0022】

本発明のいくつかの実施形態においては、共有ストレージ１２４、又はローカル・ストレージ１０４、又はこれら両方は、それぞれハードドライブ、メモリ・カード、レーザ・ディスクへのコンピュータ出力（コールド・ストレージ）、又は本技術で知られた如何なる形態のデータ・ストレージ、又はこれらの組み合わせとすることができる。いくつかの実施形態では、共有ストレージ１２４，又はローカル・ストレージ１０４、又はそれらの両方は、それぞれ１つ又はそれ以上のクラウド・ストレージ・システム、又はクラウド・ネットワークにリンクされたデータベース、又はそれらの組み合わせとすることができる。種々の実施形態では、共有ストレージ１２４、又はローカル・ストレージ１０４、又はそれらの組み合わせは、分散データ処理環境１００全体にわたって共有された物理イベント・データ、又はデータ、又はそれらの両方にアクセスでき、格納でき、又は収容するか、又はこれらの組み合わせができる。

【0023】

種々の実施形態においては、仮想再構成ツール１１２は、サーバ・コンピュータ１２０上で実行される。他の実施形態では、仮想再構成ツール１１２は、コンピューティング・デバイス１１０で実行することができる。いくつかの実施形態では、仮想再構成ツール１１２は、分散データ処理環境１００内の何処かに配置することができ、又は実行することができ、又はこれらの両方が可能である。種々の実施形態においては、仮想再構成ツール１１２は、コンピューティング・デバイス１１０又はサーバ・コンピュータ１２０又はそれらの両方を接続され、かつ通信することができる。図示する実施形態においては、仮想再構成ツール１１２は、データ収集コンポーネント１１４、機械学習コンポーネント１１６、及び拡張現実コンポーネント１１８を含む。図示する実施形態においては、データ収集コンポーネント１１４、機械学習コンポーネント１１６、及び拡張現実コンポーネント１１８は、それぞれ仮想再構成ツール１１２上で実行する。本発明のいくつかの実施形態においては、データ収集コンポーネント１１４、機械学習コンポーネント１１６、及び拡張現実コンポーネント１１８は、データ収集コンポーネント１１４、機械学習コンポーネント１１６、及び拡張現実コンポーネント１１８が仮想再構成ツール１１２、コンピューティング・デバイス１１０、又はサーバ・コンピュータ１２０又はこれらの組み合わせと通信できれば、分散データ処理環境１００内の何処に配置され、又は実行され、又はこれらの両方がなされてもよい。

【0024】

本発明の種々の実施形態においては、仮想再構成ツール１１２は、データ収集コンポーネント１１４を介して、異なるタイプの物理イベントの以前に記録されたビデオ・フィード、如何なる物理イベントに関連するＩｏＴフィード、異なるタイプの物理イベントのコンピュータ・グラフィックスの以前のシミュレーション結果、物理イベントのレポート、現在の物理イベントの領域のライブ・ビデオ・フィード、又は本技術分野で知られている以前の物理イベントからの如何なる他のデータ、又はそれらの組み合わせといった、種々の情報ソースからの履歴的情報を収集することができる。本発明の種々の実施形態においては、仮想再構成ツール１１２は、１つ又はそれ以上の機械学習モデルからなる機械学習コンポーネント１１６を介して、収集された履歴的情報（すなわち、以前に収集されたデータ）を使用してナレッジ・コーパスを生成することができる。本発明の種々の実施形態においては、仮想再構成ツール１１２は、機械学習コンポーネント１１６を介して収集された履歴的情報から、事前イベント及び事後イベントの種々のパラメータを相関させることにより、ナレッジ・コーパスを生成することができ、そのため、仮想再構成ツール１１２は、現在の物理イベントの事前イベント及び事後イベントを予測し、かつ判断することができる。本発明の種々の実施形態においては、仮想再構成ツール１１２は、ナレッジ・コーパスから識別された相関パラメータを使用して、物理イベント及び物理イベントの領域を再構成することができる（例えば、どの程度の物体が破壊又は損傷したかを示すこと、物体の相対的位置変化が変化することができることを示すこと、事後的な物理イベントを生成する物理イベントの種類、物理イベント、及び物理イベントの危険性又は重大性の程度）。

【0025】

本発明のいくつかの実施形態においては、ユーザがＡＲグラスを使用し、かつ物理的に周囲の物理イベントの領域を調査する場合、仮想再構成ツール１１２は、同時的にカメラ・コンポーネント１０８を通して周囲の物理イベントの領域にアクセスするためのビデオ及び写真を収集することができる。本発明の種々の実施形態においては、仮想再構成ツール１１２は、ユーザに対し、物理イベントのタイプを含む物体の位置がどれだけ移動し、又は損傷したかを説明すると共に、どのように物理イベントが発生した可能性があるかを示す、異なるシナリオを表示することができる。本発明の種々の実施形態においては、仮想再構成ツール１１２は、生成された物理イベントの再構成の明るさを変更することができるので、ユーザは、ドライバーが夕日、又はサイド・ミラーからの太陽のまぶしさにより一時的に防眩したかどうかを“観察”することができる。

【0026】

本発明の種々の実施形態においては、仮想再構成ツール１１２は、物理イベントのタイプ、物理イベントの方向、物理イベントの強度、物理イベントの期間を予測することができ、このため、予測されたイベントの再現映像を生成し、かつ生成された再現映像を、コンピューティング・デバイス１１０を通して、拡張現実コンポーネント１１８を介して表示することができる。本発明の種々の実施形態においては、仮想再構成ツール１１２は、拡張現実コンポーネント１１８を介してコンピューティング・デバイス１１０上でアニメーションされたグラフィックスを生成し、かつ表示することができ、ここで、アニメーションされたグラフィックスは、物理イベントがどのようにして発生したかを説明し、かつ示すことができると共に、物理イベントの領域がどのようにして発生したのかを説明することを支援することができる拡張現実（仮想）再構成シミュレーションである。本発明の種々の実施形態においては、仮想再構成ツール１１２は、データ収集コンポーネント１１４を介して、類似のロケーションで以前に再構成された物理イベントのシナリオを検索及び分析することができると共に、類似性、又は相違性、又はそれらの両方を探すため、現在の物理イベント及び物理イベントの領域に以前の再構成された物理イベントのシナリオを重ね合わせることができる。

【0027】

本発明の種々の実施形態においては、仮想再構成ツール１１２は、種々のアイテム／物体の物理イベントが発生する前のオリジナルの位置を予測することができると共に、物理イベントにより位置が変わった物体の相対的位置を表示することができる。本発明の種々の実施形態においては、仮想再構成ツール１１２は、拡張現実コンポーネント１１８を介して、物理イベントにより影響を受けた物体のアニメーションされた運動、又は経路軌跡を生成し、かつ表示することができる。本発明の１つの特定の実施形態においては、仮想再構成ツール１１２は、物理イベントの機構、シーケンス、物理イベントの原因及び効果を、記述されたテキスト・レポートから収集することができる。本発明の１つの特定の実施形態においては、仮想再構成ツール１１２は、記述されたテキスト・レポートから、物理イベントの機構、シーケンス、物理イベントの原因・効果を収集することができる。この特定の実施形態においては、仮想再構成ツール１１２は、提案するイベント・シーケンスの拡張現実表現を構成するために、記述されたテキスト・レポート及び以前に収集されたデータを使用することができる（すなわち、物理イベントの仮想再構成）。シミュレーションされた位置、シーケンス、又はイベント及び物体の結果が記録された最終的な状況と矛盾する場合（例えば、品物がもう１つの品物の頂部に落下するにもかかわらず、それらが実世界の物理イベンとは異なる構成にある）、その後、可視化シミュレーションは停止し、矛盾をハイライトすると共に、ユーザがレポートを修正するか、又はより情報を追加することを要求する。

【0028】

本発明の種々の実施形態においては、仮想再構成ツール１１２は、協働的な説明の起案及び仮想現実シミュレーションを可能とし、かつサポートすることができる。仮想再構成ツール１１２は、マスタ説明から分岐し、この分岐でシミュレーションを動作し、かつその後マスタへと受領された修正を渡すことによって、物理イベントの仮想再構成シミュレーションで異なるユーザが並列的に説明を編集することを可能とし、かくして他の協働するユーザが説明の最新バージョンを見るために利用することを可能とする。本発明の種々の実施形態においては、仮想再構成ツール１１２は、マスタに渡す前に投票を要求すると共に実行することができ、このことが説明のクラウドソース化を可能とする。

【0029】

本発明の種々の実施形態においては、仮想再構成ツール１１２は、物理イベントの現在の再構成シミュレーションを、データベースから得られた種々の規制及び制限と比較することを可能とする：ｉ）建築規則、ｉｉ）交通法規、ｉｉｉ）安全性証明、ｉｖ）技術規格、又はｖ）製品保証。本発明の種々の実施形態においては、仮想再構成ツール１１２は、側面（例えば、物体、シーケンス、原因・効果関係）を、仮想現実内、又は拡張現実シミュレーションでハイライトすることを可能とすると共に、側面をアノテート（例えば、色、又はシンボル）して、制限、規則、証明、規格、保証から何時、何処で逸脱するかを示すこと、又は本技術において知られた如何なる他の種々の規制が物理イベントの領域において発生した可能性があるか、又はそれらの両方を示すことを可能とする。本発明のもう１つの実施形態においては、物体、イベントのシーケンス、原因・効果関係、及び他のデータ・ソース（例えば、ローカル及びリモートのセンシング、又はクラウドソース化データ）を使用して、仮想再構成ツール１１２は、どのようにして物理イベントが発生したのかの予測を再構成及びシミュレートすることを可能とすると共に、物理イベントの再生として、コンピューティング・デバイス１１０（すなわち、仮想現実システム、又はＡＲシステム）上で物理イベントの予測されたシナリオを表示することができる。ここで、再生とは、物理イベントにおけるイベントを生じさせるであろうとの可能性のあるリスキーなパターン、又はイベントをマークするためのアノテーションを使用して、関連する規制を交差的に参照しながら“ホット・スポットのポイント”を示すことである。再構成された再生は、１つのコンピューティング・デバイスからもう１つへと共有されることができ、かつ必要に応じて三次元（３Ｄ）モデルに変換することができる。

【0030】

本発明のいくつかの実施形態においては、現在の物理イベント、応答、及び関連する協働的に説明／編集された起案がスマート・コントラクト及びびブロックチェーンを使用して管理及び追跡できる。本発明の種々の実施形態では、ユーザは、対となったＡＲ可能化グラス、又は仮想現実ヘッドセットを装着すると共に、事前イベント、物理イベント、及び事後イベントを追体験することができる。例えば、ユーザは、あたかもそれが物理イベントにある車両であるかのように車両を運転しており、ＡＲ可能化グラスは、この車両が事故を起こそうとする仕方で彼の前方に車両をカットインするシミュレーションをディスプレイする。代替的に、仮想再構成ツール１１２は、ユーザに対してＨＵＤのようにリアルタイムで車両のフロントガラス上に仮想再構成シミュレーションを表示することができる。本発明の種々の実施形態においては、仮想再構成ツール１１２は、機械学習コンポーネント１１６を介して、履歴的な物理イベントのレポート、履歴的物理イベントのシミュレーション、物理イベントに関連するビデオ・フィード及びＩｏＴフィードを収集して、ナレッジ・コーパスを生成する。本発明の種々の実施形態においては、仮想再構成ツール１１２は、拡張現実コンポーネント１１８を介して、ユーザがコンピューティング・デバイス１１０を通して現在の物理イベントにおけるイベントの予測的説明の仮想的な再生成を視聴することを可能とする（例えば、対となった拡張現実グラス、又はスマートホン）。

【0031】

本発明の種々の実施形態においては、仮想再構成ツール１１２は、データ収集コンポーネント１１４を介して、如何なるダッシュボード・カメラ、交通カメラ、ＩｏＴフィード、又は本技術において知られた如何なる他のカメラ、又はカメラ・フィード、又はそれらの組み合わせを含む、以前に記録され、かつ保存された種々の物理イベントのビデオ・フィードを収集することができる。本発明の種々の実施形態においては、仮想再構成ツール１１２は、物理イベントの領域内の固定カメラ、又はＩｏＴデバイス、又はそれら両方からのＩｏＴフィードから、イメージ又はビデオ又はそれら両方を検索することができ、ここで、ＩｏＴフィードは、これらに限定されることなく、物理イベントに関連する力のタイプ、温度、衝撃の方向（もし必要であれば）、１日の中の時間、及び気象条件を含むことができる。本発明の種々の実施形態においては、仮想再構成ツール１１２は、データ収集コンポーネント１１４を介して、ユーザから、又はナレッジ・リポジトリの物理イベントに関するレポートを収集、又は検索することができると共に（例えば、ローカル・ストレージ１０４、又は共有ストレージ１２４又はそれらの両方）、同時に予測された物理イベントの異なるタイプのビデオ・ベースのシミュレーション結果を収集し、ここで、予測された物理イベントは、最も発生しやすいものから最も起こりにくいものへとランク付けされる。本発明の種々の実施形態においては、仮想再構成ツール１１２は、収集されたデータを、事前イベント、物理イベント及び事後イベントに基づいてクラスタ化することができる。本発明の種々の実施形態においては、仮想再構成ツール１１２は、物理イベントの間のイベントの結果として周囲の領域及び物体に発生してしまった変化を識別するために、事前イベント及び事後イベントを比較することができる。

【0032】

本発明の種々の実施形態においては、事前イベント及び事後イベントの比較の間に、仮想再構成ツール１１２は、収集されたイメージ、ビデオ・フレーム、ＩｏＴフィード、又は本技術において知られた物理イベントに関連する如何なる他の収集されたデータ、又はこれらの組み合わせの間の比較を実行することができる。本発明の種々の実施形態においては、イメージ、物体の境界及び物体認識により、仮想再構成ツール１１２は、物理イベントの結果として変化した物体の相対的位置及び相対的状況がどのようなものなのかを認識することができる。

【0033】

本発明の種々の実施形態においては、仮想再構成ツール１１２は、ビデオ分析を介して、物理イベントに関連するビデオ部分を分析すると共に、物理イベントのタイプ、衝撃のタイプ（もし必要であれば）、衝撃の方向（もし必要であれば）、衝撃の期間（もし必要であれば）、及び物理イベントの衝撃の量／数を識別することが可能である。本発明の種々の実施形態においては、仮想再構成ツール１１２は、機械学習コンポーネント１１６を介して、現在の物理イベント及び以前の物理イベントに関連して収集された履歴的な情報を収集し、かつ格納することによって、ナレッジ・コーパスを生成することができる。本発明の種々の実施形態においては、仮想再構成ツール１１２は、収集されたデータ（すなわち、以前に収集されたデータ）を使用することによって、物理イベントのために物体の相対的位置がどのようにして変化することができたのかを関連付けるため、ナレッジ・コーパスを生成することができる。仮想再構成ツール１１２は、そのような物理イベントを生成することとなった現在の物理イベント及び物理イベントの期間を与ることができる物理イベントの多数のタイプを識別することができる。本発明の種々の実施形態においては、ナレッジ・コーパスは、物理イベントの仮想再構成を支援することができる。本発明の種々の実施形態においては、ユーザが、コンピューティング・デバイス１１０（例えば、ＡＲグラス）を通して仮想再構成ツール１１２を実行させる場合、その後、仮想再構成ツール１１２は、物理イベントを再構成するために生成されたナレッジ・コーパスに接続して、物理イベントに関連するデータを検索するが、ここで、仮想再構成ツール１１２は、同様の物理イベント及び同様の事後イベントからデータを検索するためにナレッジ・コーパスを使用する。

【0034】

本発明の種々の実施形態においては、仮想再構成ツール１１２は、カメラ及びセンサが（図１には図示していない）コンピューティング・デバイス１１０で物理イベント及び物理イベントの領域の周囲のキャプチャを実行することを可能とすることができる。追加的に、本発明の種々の実施形態においては、仮想再構成ツール１１２は、カメラ及びセンサがコンピューティング・デバイス１１０でＩｏＴフィードからデータにアクセスすること、キャプチャすること、又は検索すること、又はこれらの組み合わせを実行することを可能とする。本発明の種々の実施形態においては、本発明の種々の実施形態においては、仮想再構成ツール１１２は、物理イベントの領域内の１つ又はそれ以上の物体を認識することができ、ここで仮想再構成ツール１１２は、個別的な物体の認識、物体の現在位置、及び物体の状況（例えば、焼けた、破損した、そのままであることなど）を認識することができる。本発明の種々の実施形態においては、仮想再構成ツール１１２は、収集され、かつ分析されたデータに基づいて、どのように事後イベントが発生したのかを予測することができる。

【0035】

本発明の種々の実施形態においては、仮想再構成ツール１１２は、生成されたナレッジ・コーパスに基づいて、物理イベントの可能な説明を識別することができる。本発明の種々の実施形態においては、仮想再構成ツール１１２は、コンピューティング・デバイス１１０（例えば、拡張現実グラス）へと、識別された予測データを送付することができ、ここで、仮想再構成ツール１１２は、現在の物理イベントに関連する仮想的にアニメートされた物体を生成する。本発明の種々の実施形態においては、仮想再構成ツール１１２は、物理イベントを誘導し、かつ発生させた生成・予測されたイベントに基づいて、物理イベントを再構成することができると共に、コンピューティング・デバイス１１０を通して物理イベントの領域の上にオーバーレイとして仮想再構成を表示することができる。

【0036】

図２は、本発明の実施形態による拡張現実を使用して予測的に物理イベントを再構成するための、図１の分散データ処理環境１００内のコンピューティング・デバイス１１０と通信する概ね２００で示された仮想再構成ツール１１２の操作ステップを示す。図２は、１つの実装の例示を提供し、かつ異なる実施形態が実装可能な環境に関連して如何なる限定を意味するものではない。図示された実施形態に対する多くの修正は、請求項により列挙される本発明の範囲から逸脱することなく当業者により成しえる。

【0037】

ステップ２０２で、仮想再構成ツール１１２は、種々のイメージ又はビデオ・フィードを収集する。種々の実施形態においては、仮想再構成ツール１１２は、データ収集コンポーネント１１４を介して種々のイメージ、又はビデオ・フィードを種々のソース（例えば、カメラ・コンポーネント１０８、ＩｏＴデバイス、又はＩｏＴセンサ、又はそれらの組み合わせ）から収集することができる。本発明の種々の実施形態では、仮想再構成ツール１１２は、データ収集コンポーネント１１４を介して、現在の物理イベントの提供されたレポート及び以前に提供された物理イベントを収集することができる。

【0038】

ステップ２０４では、仮想再構成ツール１１２は、以前に生成された物理イベントのシミュレーションを収集する。本発明の種々の実施形態においては、仮想再構成ツール１１２は、データ収集コンポーネント１１４を介して、データベース（例えば、ローカル・ストレージ１０４、又は共有ストレージ１２４、又はそれら両方）から以前に生成された物理イベントのシミュレーションを収集することができる。

【0039】

ステップ２０６では、仮想再構成ツール１１２は、収集されたデータをクラスタ化する。ション発明の種々の実施形態においては、仮想再構成ツール１１２は、データ収集コンポーネント１１４を介して、収集されたデータ（例えば、種々のソース、提出されたレポート、又は以前に生成された物理イベントのシミュレーションからビデオ・フィードを収集する）を、３つのカテゴリ（例えば、事前イベント、物理イベント、及び事後イベント）へとクラスタ化することができる。

【0040】

ステップ２０８では、仮想再構成ツール１１２は、クラスタ化されたデータを分析する。本発明の種々の実施形態においては、仮想再構成ツール１１２は、機械学習コンポーネント１１６を介して、事前イベントと、事後イベントを比較することによって、クラスタ化されたデータを分析し、物理イベントによって引き起こされた変化を識別することができる。本発明の種々の実施形態においては、仮想再構成ツール１１２は、機械学習コンポーネント１１６を介して、イメージの物体境界及び物体認識を使用して、物体の相対的位置及び相対的状況が物理イベントによりどのように変化したのかを識別することができる。例えば、地震の後、店舗内の物体の相対的位置が変化するか、又は損傷してしまうであろう（棚から落下した皿及び床の損害）。

【0041】

ステップ２１０で、仮想再構成ツール１１２は、物理イベントに含まれる物体の相対的状況を識別する。本発明の種々の実施形態においては、仮想再構成ツール１１２は、機械学習コンポーネント１１６を介して収集されたビデオ・フィードを分析すると共に、物理イベントに関連する収集されたビデオ・フィードの部分を識別する、ビデオ分析を使用することができる。本発明の種々の実施形態においては、仮想再構成ツール１１２は、機械学習コンポーネント１１６を介して、物理イベントのタイプ、物理イベントの前後、又はその間に発生した衝撃のタイプ、衝撃の方向、衝撃の期間、及び現在の物理イベントに含まれる衝撃の数を識別するためにビデオ分析を使用することができる。

【0042】

ステップ２１２では、仮想再構成ツール１１２は、ナレッジ・コーパスを生成する。本発明の種々の実施形態においては、仮想再構成ツール１１２は、機械学習コンポーネント１１６を介して、現在の物理イベント及び以前の物理イベントに関連して収集された履歴的情報を収集すると共に格納する。本発明の種々の実施形態においては、仮想再構成ツール１１２は、機械学習コンポーネント１１６を使用して、物理イベントの領域内で物理イベントにより物体の相対的位置がどのように変化したのか、事後イベントに関連する物理イベントのタイプ、及び事後イベントと生じさせた物理イベントの期間を相関付けるために、現在の物理イベント及び以前の物理イベントに関連する収集された履歴的情報を使用して、ナレッジ・コーパスを生成することができる。本発明の種々の実施形態においては、仮想再構成ツール１１２は、シミュレーションされた物理イベントのシナリオを構成するためにクラスタ化及び識別された関連するビデオ部分を使用して、物理イベントの再構成を支援するためにナレッジ・コーパスを使用することができる。

【0043】

ステップ２１４では、仮想再構成ツール１１２は、物理イベント領域のデータをキャプチャする。本発明の種々の実施形態においては、仮想再構成ツール１１２は、データ収集コンポーネント１１４を介して、物理イベントの領域からデータを収集することができると共に、ユーザは、コンピューティング・デバイス１１０で物理イベント及び物理イベントの領域を観察する。ＡＲグラスに搭載されたカメラ及びセンサは、物理イベントの領域のビデオ、又は写真、又はそれらの両方をキャプチャすることができると共に、ＩｏＴフィードを生成することができる。キャプチャされた物理イベントの領域のビデオ、又は写真、又はそれら両方及び生成されたＩｏＴフィードは、物理イベント（すなわち、事前イベント）を生じさせたイベントの予測を支援するデータ・ポイントについて、仮想再構成ツール１１２により分析することができる。本発明の種々の実施形態においては、仮想再構成ツール１１２は、それぞれの、かつすべての物体、物体の現在の位置、物体の状況（例えば、焼けた、破損した、そのままであること、へこんだ、傷ついた、又は本技術で知られた如何なる物体の他の状態及び状況）を個別的に認識することができる。例えば、ユーザは、ＡＲグラスを着用して、車両事故の周りを歩き、記述されたレポートのためのシーンを観察し、かつノートを取る。この実施例においては、ユーザが記述されたレポートのために情報を収集するので、仮想再構成ツール１１２は、受動的にビデオを取得すると共に、車両事故に含まれる車両、それらの車両の損傷、車両の確度、及び車両の位置の写真をキャプチャする。

【0044】

ステップ２１６では、仮想再構成ツール１１２は、物理イベントの間に発生したイベントの可能な説明を識別する。本発明の種々の実施形態においては、仮想再構成ツール１１２、機械学習コンポーネント１１６は、収集されたデータ及びナレッジ・コーパスに基づいて可能な事前イベントを識別することができる。本発明の種々の実施形態においては、仮想再構成ツール１１２は、どのようにして物理イベントが発生したのかとしての可能な理由、又は説明を識別することができる。

【0045】

ステップ２１８では、仮想再構成ツール１１２は、物理イベントの仮想再構成を生成する。本発明の種々の実施形態においては、仮想再構成ツール１１２は、拡張現実コンポーネント１１８を介して、物理イベントの仮想再構成を生成することができ、ここで、物理イベントの物理的再構成は、ＡＲシミュレーションである。本発明の種々の実施形態においては、仮想再構成ツール１１２は、識別された可能な事前イベントに基づいて物理イベントの仮想再構成を生成する。

【0046】

ステップ２２０では、仮想再構成ツール１１２は、物理イベントの仮想再構成を表示する。本発明の種々の実施形態においては、仮想再構成ツール１１２は、拡張現実コンポーネント１１８を介して、コンピューティング・デバイス１１０（例えば、スマートホン又はＡＲグラス）上で、生成された物理イベントの仮想再構成を表示することができる。本発明の種々の実施形態においては、表示される物理イベントの仮想再構成は、実際の物理イベント又は物理イベントの領域、又はそれらの両方の上に重ね合わされる。

【0047】

図３は、本発明の実施形態による図１の分散データ処理環境１００内の仮想再構成ツール１１２を実行するコンピューティング・デバイス１１０のコンポーネントのブロック図を示す。図３は、１つの実装の例示を提供し、かつ異なる実施形態が実装可能な環境に関連して如何なる限定を意味するものではない。図示された実施形態に対する多くの修正は、請求項により列挙される本発明の範囲から逸脱することなく当業者により成しえる。

【0048】

図３は、コンピュータ・システム３００を示しており、ここで、コンピューティング・デバイス１１０は、仮想再構成ツール１１２を含むコンピュータ・システム３００の実施例を代表する。コンピュータ・システムは、プロセッサ３０１、キャッシュ３０３、メモリ３０２、持続性ストレージ３０５、通信ユニット３０７、入力／出力（Ｉ／Ｏ）インタフェース３０６、ディスプレイ３０９、外部デバイス（複数でもよい）３０８、及び通信機能３０４を含む。通信機能３０４は、キャッシュ３０３、メモリ３０２、持続性ストレージ３０５、通信ユニット３０７、及び入力／出力（Ｉ／Ｏ）インタフェース（複数でもよい）３０６の間の通信を提供する。通信機能３０４は、プロセッサ（マイクロプロセッサ、通信、及びネットワーク・プロセッサなどといった）、システム・メモリ、周辺デバイス、及びシステム内の如何なる他のハードウェア・コンポーネントの間で、データを渡し、又は情報を制御し、又はこれら両方のために設計された如何なるアーキテクチャででも実装することができる。例えば、通信機能３０４は、１つ又はそれ以上のバス又はクロスバー・スイッチで実装することができる。

【0049】

メモリ３０２及び持続性ストレージ３０５は、コンピュータ可読なストレージ媒体である。本実施形態では、メモリ３０２は、ランダム・アクセス・メモリ（ＲＡＭ）を含む。一般に、メモリ３０２は、如何なる好適な揮発性、又は不揮発性のコンピュータ可読なストレージ媒体を含むことができる。キャッシュ３０３は、メモリ３０２から最近アクセスしたデータ及び最近アクセスしたデータに近いデータを保持することによって、プロセッサ３０１の性能を増強する後続メモリである。

【0050】

本発明の実施形態を実施するために使用されるプログラム命令及びデータは、キャッシュ３０３を介した１つ又はそれ以上のそれぞれのプロセッサ３０１による実行のため、持続性ストレージ３０５及びメモリ３０２に格納することができる。実施形態においては、持続性ストレージ３０５は、磁気ハードディスク・ドライブを含む。代替的に、又は磁気ハードディスク・ドライブに追加的に、持続性ストレージ３０５は、ソリッド・ステート・ハードドライブ、半導体ストレージ・デバイス、リード・オンリー・メモリ（ＲＯＭ）、消去可能なプログラマブル・リード・オンリー・メモリ（ＥＰＲＯＭ）、フラッシュ・メモリ、又はプログラム命令、又はデジタル情報を格納することができる如何なる他のコンピュータ可読なストレージ媒体を含むことができる。

【0051】

持続性ストレージ３０５により使用される媒体は、また、取り外し可能とすることができる。例えば、取り外し可能なハードドライブは、持続性ストレージ３０５のために使用することができる。他の実施例は、光学及び磁気ディスク、サムドライブ（商標）、及びまた持続性ストレージ３０５の部分であるもう１つのコンピュータ可読なストレージ媒体への転送のためドライブに挿入されるスマート・カードを含む。

【0052】

通信ユニット３０７は、これらの実施形態において、他のデータ処理システム、又はデバイスとの通信を提供する。これらの実施例では、通信ユニット３０７は、１つ又はそれ以上のネットワーク・インタフェース・カードを含む。通信ユニット３０７は、物理的又はワイヤレス通信リンクの何れか又は両方の使用を通して通信を提供する。本発明の実施形態に実施のために使用されるプログラム命令及びデータは、通信ユニット３０７を通して持続性ストレージ３０５にダウンロードすることができる。

【0053】

Ｉ／Ｏインタフェース（複数でもよい）３０６は、それぞれのコンピュータ・システムに接続することができる多のデバイスとデータの入力及び出力を可能とする。例えば、Ｉ／Ｏインタフェース３０６は、キーボード、キーパッド、タッチ・スクリーン、又はいくつかの他の好適な入力デバイスといった外部デバイス３０８との接続を提供することができる。外部デバイス３０８は、また、例えば、サムドライブ、携行可能な光学、又は磁気ディスク、及びメモリ・カードといった携行可能なコンピュータ可読なストレージ媒体を含むことができる。本発明の実施形態を実施するために使用されるソフトウェア及びデータは、そのような携行可能なコンピュータ可読なストレージ媒体に格納できると共に、Ｉ／Ｏインタフェース（複数でもよい）３０６を介して持続性ストレージ３０５にロードすることができる。Ｉ／Ｏインタフェース（複数でもよい）３０６は、また、ディスプレイ３０９を接続する。

【0054】

ディスプレイ３０９は、ユーザに対してデータを表示する機構を提供し、かつ、例えば、コンピュータ・モニタとすることができる。

【0055】

本明細書で記載したプログラムは、本発明の特定の実施形態を実装するためのアプリケーションに基づいて識別される。しかしながら、本明細書における如何なる特定のプログラム命名であっても単に便宜上使用され、かつしたがって本発明は、そのような命名によって識別され、又は暗示され、又はそれらの両方である如何なる特定のアプリケーションについてだけ使用されるべく限定するものではないことについて認識されるべきである。

【0056】

本発明は、システム、方法、又はコンピュータ・プログラム製品、又はそれらの組み合わせとすることができる。コンピュータ・プログラム製品は、それ上に、プロセッサに対して本開示の特徴を遂行させるためのコンピュータ可読なプログラム命令を有する、コンピュータ可読な記録媒体（又は複数の媒体）を含む。

【0057】

コンピュータ可読な記録媒体は、命令実行デバイスが使用するための複数の命令を保持し格納することができる有形のデバイスとすることができる。コンピュータ可読な媒体は、例えば、これらに限定されないが、電気的記録デバイス、磁気的記録デバイス、光学的記録デバイス、電気磁気的記録デバイス、半導体記録デバイス、又はこれらの如何なる好ましい組み合わせとすることができる。コンピュータ可読な記録媒体のより具体的な実施例は、次のポータブル・コンピュータ・ディスク、ハードディスク、ランダム・アクセス・メモリ（ＲＡＭ）、リード・オンリー・メモリ（ＲＯＭ）、消去可能なプログラマブル・リード・オンリー・メモリ（ＥＰＲＯＭ又はフラッシュ・メモリ（登録商標））、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）、ポータブル・コンパクト・ディスク・リード・イオンリー・メモリ（ＣＤ－ＲＯＭ）、デジタル多目的ディスク（ＤＶＤ）、メモリ・スティック、フロッピー・ディスク（登録商標）、パンチ・カード又は命令を記録した溝内に突出する構造を有する機械的にエンコードされたデバイス、及びこれらの好ましい如何なる組合せを含む。本明細書で使用するように、コンピュータ可読な記録媒体は、ラジオ波又は他の自由に伝搬する電磁波、導波路又は他の通信媒体（例えば、光ファイバ・ケーブルを通過する光パルス）といった電磁波、又はワイヤを通して通信される電気信号といったそれ自体が一時的な信号として解釈されることはない。

【0058】

本明細書において説明されるコンピュータ・プログラム命令は、コンピュータ可読な記録媒体からそれぞれのコンピューティング／プロセッシング・デバイスにダウンロードでき、又は例えばインターネット、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワーク又はワイヤレス・ネットワーク及びそれからの組み合わせといったネットワークを介して外部コンピュータ又は外部記録デバイスにダウンロードすることができる。ネットワークは、銅通信ケーブル、光通信ファイバ、ワイヤレス通信、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ及びエッジ・サーバ又はこれらの組み合わせを含むことができる。それぞれのコンピューティング／プロセッシング・デバイスにおけるネットワーク・アダプタ・カード又はネットワーク・インタフェースは、ネットワークからコンピュータ可読なプログラム命令を受領し、このコンピュータ可読なプログラム命令を格納するためにそれぞれのコンピューティング／プロセッシング・デバイス内のコンピュータ可読な記録媒体内に転送する。

【0059】

本発明の操作を遂行するためのコンピュータ可読なプログラム命令は、アセンブラ命令、命令セット・アーキテクチャ（ＩＳＡ）命令、機械語命令、マシン依存命令、マイクロ・コード、ファームウェア命令、状態設定データ、集積回路のための構成データ、又は１つ又はそれ以上の、Ｓｍａｌｌｔａｌｋ（登録商標）、Ｃ＋＋などのオブジェクト指向プログラミング言語、“Ｃ”プログラミング言語又は類似のプログラム言語といった従来の手続き型プログラミング言語を含むプログラミング言語のいかなる組合せにおいて記述されたソース・コード、又はオブジェクト・コードのいずれかとすることができる。コンピュータ可読なプログラム命令は、全体がユーザ・コンピュータ上で、部分的にユーザ・コンピュータ上でスタンドアローン・ソフトウェア・パッケージとして、部分的にユーザ・コンピュータ上で、かつ部分的にリモート・コンピュータ上で、又は全体がリモート・コンピュータ又はサーバ上で実行することができる。後者のシナリオにおいて、リモート・コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）を含むいかなるタイプのネットワークを通してユーザ・コンピュータに接続することができ、又は接続は、外部コンピュータ（例えばインターネット・サービス・プロバイダを通じて）へと行うことができる。いくつかの実施形態では、例えばプログラマブル論理回路、フィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）、又はプログラマブル論理アレイ（ＰＬＡ）を含む電気回路がコンピュータ可読なプログラム命令を、コンピュータ可読なプログラム命令の状態情報を使用して、本発明の特徴を実行するために電気回路をパーソナライズして実行することができる。

【0060】

本明細書で説明した本発明の側面を、本発明の実施形態にしたがい、フローチャート命令及び方法のブロック図、又はそれらの両方、装置（システム）、及びコンピュータ可読な記録媒体及びコンピュータ・プログラム製品を参照して説明した。フローチャートの図示及びブロック図又はそれら両方及びフローチャートの図示におけるブロック及びブロック図、又はそれらの両方のいかなる組み合せでもコンピュータ可読なプログラム命令により実装することができることを理解されたい。

【0061】

これらのコンピュータ可読なプログラム命令は、汎用目的のコンピュータ、特定目的のコンピュータ、又は他のプロセッサ又は機械を生成するための他のプログラマブル・データ・プロセッシング装置に提供することができ、コンピュータのプロセッサ又は他のプログラマブル・データ・プロセッシング装置による実行がフローチャート及びブロック図のブロック又は複数のブロック又はこれらの組み合わせで特定される機能／動作を実装するための手段を生成する。コンピュータ、プログラマブル・データ・プロセッシング装置及び他の装置又はこれらの組み合わせが特定の仕方で機能するように指令するこれらのコンピュータ可読なプログラム命令は、またコンピュータ可読な記録媒体に格納することができ、その内に命令を格納したコンピュータ可読な記録媒体は、フローチャート及びブロック図のブロック又は複数のブロック、又はこれらの組み合わせで特定される機能／動作の特徴を実装する命令を含む製造品を構成する

【0062】

コンピュータ可読なプログラム命令は、またコンピュータ、他のプログラマブル・データ・プロセッシング装置、又は他のデバイス上にロードされ、コンピュータ、他のプログラマブル装置、又は他のデバイス上で操作ステップのシリーズに対してコンピュータ実装プロセスを生じさせることで、コンピュータ、他のプログラマブル装置又は他のデバイス上でフローチャート及びブロック図のブロック又は複数のブロック、又はこれらの組み合わせで特定される機能／動作を実装させる。

【0063】

図のフローチャート及びブロック図は、本発明の種々の実施形態にしたがったシステム、方法及びコンピュータ・プログラムのアーキテクチャ、機能、及び可能な実装操作を示す。この観点において、フローチャート又はブロック図は、モジュール、セグメント又は命令の部分を表すことかでき、これらは、特定の論理的機能（又は複数の機能）を実装するための１つ又はそれ以上の実行可能な命令を含む。いくつかの代替的な実装においては、ブロックにおいて記述された機能は、図示した以外で実行することができる。例えば、連続して示された２つのブロックは、含まれる機能に応じて、同時的、実質的に同時的に実行することができ、又は複数のブロックは、時として逆の順番で実行することができる。またブロック図及びフローチャートの図示、又はこれらの両方及びブロック図中のブロック及びフローチャートの図示又はこれらの組み合わせは、特定の機能又は動作を実行するか又は特定の目的のハードウェア及びコンピュータ命令を遂行する特定目的のハードウェアに基づいたシステムにより実装することができることを指摘する。

【0064】

本開示の種々の実施形態の説明は、例示の目的のために提示されたが、開示された実施形態に尽きるものとか、又は限定を意図するものではない。多くの変更例又は変形例は、本開示の範囲及び精神から逸脱することなく、当業者において自明である。本明細書で使用する用語は、本実施形態の原理、実用的用途、又は市場において見出される技術を超える技術的改善を最良に説明するため、又は本明細書において開示された実施形態を当業者の他の者が理解できるようにするために選択したものである。

【図1】

【図2】

【図3】