特開 2023-178141 仮想空間でのシーン記録再構築装置およびシーン記録再構築方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023178141

(43)【公開日】2023-12-14

(54)【発明の名称】仮想空間でのシーン記録再構築装置およびシーン記録再構築方法

(51)【国際特許分類】

   G06T 13/20 20110101AFI20231207BHJP

   A63F 13/497 20140101ALI20231207BHJP

   G09B 9/00 20060101ALN20231207BHJP

【ＦＩ】

G06T13/20

A63F13/497

G09B9/00 M

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022091231

(22)【出願日】2022-06-03

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110001689

【氏名又は名称】青稜弁理士法人

(72)【発明者】

【氏名】鈴木 真太郎

(72)【発明者】

【氏名】兵頭 章彦

【テーマコード（参考）】

5B050

【Ｆターム（参考）】

5B050BA08

5B050BA09

5B050CA07

5B050EA07

5B050EA27

(57)【要約】

【課題】
意味論的な情報に基づいて所望のシーンを簡便に抽出及び再構築でき、オブジェクトの相互作用を考慮した適切なシーン抽出が可能なシーン記録再構築装置およびシーン記録再構築方法を提供する。
【解決手段】
仮想空間でのシーンを記録再構築するシーン記録再構築装置であって、シーンを構成するオブジェクトの形状や外観を表現するジオメトリ情報を記録するジオメトリ記録部と、オブジェクトが行ったイベントの時系列情報であるレコード情報を記録するレコード記録部と、シーンのコンテキストをナレッジグラフとして記録するナレッジグラフ記録部と、ナレッジグラフ記録部に記録されたシーンのコンテキストから再構築対象のシーンを特定し当該シーンの再構築に必要なジオメトリ情報とレコード情報を取得し再統合することで所望のシーンを仮想空間上に再構築するシーン再構築部を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

仮想空間でのシーンを記録再構築するシーン記録再構築装置であって、
シーンを構成するオブジェクトの形状や外観を表現するジオメトリ情報を記録するジオメトリ記録部と、
オブジェクトが行ったイベントの時系列情報であるレコード情報を記録するレコード記録部と、
シーンのコンテキストをナレッジグラフとして記録するナレッジグラフ記録部と、
要求に応じて、前記ナレッジグラフ記録部に記録されたシーンのコンテキストから再構築対象のシーンを特定し、当該シーンの再構築に必要なジオメトリ情報とレコード情報を、それぞれ前記ジオメトリ記録部と前記レコード記録部から取得し再統合することで、所望のシーンを仮想空間上に再構築するシーン再構築部を備えることを特徴とするシーン記録再構築装置。

【請求項2】

請求項１に記載のシーン記録再構築装置であって、
前記ナレッジグラフは、個々のジオメトリ情報もしくはレコード情報のいずれかに対応するノードと、それらの関係性を表現するリンクによって構成され、
前記シーン再構築部は、前記ジオメトリ情報に対応するノードと、前記レコード情報に対応するノードと、それらを関連付けるリンクによって構成される部分グラフを特定し、前記ジオメトリ情報と前記レコード情報が、それぞれ前記ジオメトリ記録部と前記レコード記録部から読み出され、統合されることによって、所望のシーンを仮想空間上に再構成することを特徴とするシーン記録再構築装置。

【請求項3】

請求項２に記載のシーン記録再構築装置であって、
前記シーン再構築部は、前記特定された部分グラフに対して、同一空間・同一時間範囲の全オブジェクト及びイベントが含まれるように、部分グラフを拡張し、拡張された部分グラフを用いて、シーンを仮想空間上に再構築することを特徴とするシーン記録再構築装置。

【請求項4】

請求項２に記載のシーン記録再構築装置であって、
前記シーン再構築部は、前記特定された部分グラフに対して、空間的・時間的に隣接または近接するオブジェクト及びイベントを拡張候補としてユーザに提示し、ユーザによる候補の選択・除外に基づいて、シーンの再構成範囲を対話的に選択させることを特徴とするシーン記録再構築装置。

【請求項5】

仮想空間でのシーンを記録再構築するシーン記録再構築装置のシーン記録再構築方法であって、
シーンを構成するオブジェクトの形状や外観を表現するジオメトリ情報を記録し、
オブジェクトが行ったイベントの時系列情報であるレコード情報を記録し、
シーンのコンテキストをナレッジグラフとして記録し、
要求に応じて、記録されたシーンのコンテキストから再構築対象のシーンを特定し、当該シーンの再構築に必要な記録されたジオメトリ情報とレコード情報を再統合することで、所望のシーンを仮想空間上に再構築することを特徴とするシーン記録再構築方法。

【請求項6】

請求項５に記載のシーン記録再構築方法であって、
前記ナレッジグラフは、個々のジオメトリ情報もしくはレコード情報のいずれかに対応するノードと、それらの関係性を表現するリンクによって構成され、
前記ジオメトリ情報に対応するノードと、前記レコード情報に対応するノードと、それらを関連付けるリンクによって構成される部分グラフを特定し、記録された前記ジオメトリ情報と前記レコード情報が統合されることによって、所望のシーンを仮想空間上に再構成することを特徴とするシーン記録再構築方法。

【請求項7】

請求項６に記載のシーン記録再構築方法であって、
前記特定された部分グラフに対して、同一空間・同一時間範囲の全オブジェクト及びイベントが含まれるように、部分グラフを拡張し、拡張された部分グラフを用いて、シーンを仮想空間上に再構築することを特徴とするシーン記録再構築方法。

【請求項8】

請求項６に記載のシーン記録再構築方法であって、
前記特定された部分グラフに対して、空間的・時間的に隣接または近接するオブジェクト及びイベントを拡張候補としてユーザに提示し、ユーザによる候補の選択・除外に基づいて、シーンの再構成範囲を対話的に選択させることを特徴とするシーン記録再構築方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、仮想空間でのシーン記録再構築装置およびシーン記録再構築方法に関する。

【背景技術】

【0002】

ＣＧ（Computer Graphics）で作成した仮想オブジェクトで構成される仮想空間を表示する仮想現実（ＶＲ：Virtual Reality）の技術が、ゲーム、スポーツ、遠隔医療、保守作業等に幅広く用いられている。例えば、仮想空間での各種作業のトレーニングや検証、ＡＩ学習等への利用が行われている。

【0003】

ここで、例えば、仮想空間で過去シーンを再現し、体験型トレーニングやＡＩエージェント訓練および検証を実現する際の課題としては、膨大な過去シーンの中から、所望の特徴を有するシーンを検索して選び出すのは非常に困難である。何故ならば、現実と同じ環境をデジタル上に再現したコモングラウンドでは、現実空間での事象が常に仮想空間に再現・記録されるため、記録された過去シーンは膨大な規模になるためである。また、特定のシーンがいつ、どこで起こっているかを探し出すには、記録されたすべてのシーンを確認する必要があるためである。

【0004】

また、ＡＩエージェント訓練のように、仮想シーンを多数回／多数並列で動作させるケースでは、必要最小限かつ適切な空間および時間範囲でシーンを再現したいという要求がある。

【0005】

本技術分野における先行技術文献として特許文献１がある。特許文献１では、ゲームを進行させて得られるゲーム画像を、プレイヤからのリプレイ表示の要求に応じて、リプレイ表示させるゲーム装置であって、キャラクタステータス、プレイヤから入力されたパッド情報、ゲームの進行の過程で乱数を発生させるために用いられた初期値、及び仮想カメラの制御情報をもとに、仮想３次元空間を仮想カメラから仮想スクリーン上に透視変換して生成した２次元画像を表示装置にリプレイ表示する構成が開示されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１０－１４２３０５号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

特許文献１は、ゲームシーンの再現に必要な全情報を記録しておき、記録された情報をもとに、仮想空間上にシーンを再構築するもので、任意の時間範囲での再構築が可能である。しかしながら、シーンの構成要素の意味論的断片化は行われておらず、時間指定で特定のカットを抽出することはできても、イベントやアクションなどの意味論情報によるカット抽出や、再構成対象要素の選択はできず、必要最小限かつ適切な空間および時間範囲でシーンを再現したいという要求に対応できないという課題があった。

【0008】

本発明は、上記課題に鑑み、意味論的な情報に基づいて所望のシーンを簡便に抽出及び再構築でき、オブジェクトの相互作用を考慮した適切なシーン抽出が可能なシーン記録再構築装置およびシーン記録再構築方法を提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明は、その一例を挙げるならば、仮想空間でのシーンを記録再構築するシーン記録再構築装置であって、シーンを構成するオブジェクトの形状や外観を表現するジオメトリ情報を記録するジオメトリ記録部と、オブジェクトが行ったイベントの時系列情報であるレコード情報を記録するレコード記録部と、シーンのコンテキストをナレッジグラフとして記録するナレッジグラフ記録部と、要求に応じて、ナレッジグラフ記録部に記録されたシーンのコンテキストから再構築対象のシーンを特定し、当該シーンの再構築に必要なジオメトリ情報とレコード情報を、それぞれジオメトリ記録部とレコード記録部から取得し再統合することで、所望のシーンを仮想空間上に再構築するシーン再構築部を備える。

【発明の効果】

【0010】

本発明によれば、所望のシーンを簡便に抽出及び再構築でき、適切なシーン抽出が可能なシーン記録再構築装置およびシーン記録再構築方法を提供できる。

【図面の簡単な説明】

【0011】

【図1】実施例におけるシーン記録再構築システムの構成ブロック図である。

【図2】実施例におけるナレッジグラフ記録部に格納されるナレッジグラフの概要図である。

【図3】実施例におけるナレッジグラフの空間レイヤの各ノードに格納されるプロパティ情報である。

【図4】実施例におけるナレッジグラフのエージェント・オブジェクトレイヤのうち、動的オブジェクトを表現するエージェントノードに格納されるプロパティ情報である。

【図5】実施例におけるナレッジグラフのエージェント・オブジェクトレイヤのうち、静的オブジェクトを表現するエージェントノードに格納されるプロパティ情報である。

【図6】実施例におけるナレッジグラフの滞在イベントレイヤの滞在ノードに格納されるプロパティ情報である。

【図7】実施例におけるナレッジグラフのアクティビティレイヤのノードに格納されるプロパティ情報である。

【図8】実施例におけるシーン登録部の処理フローチャートである。

【図9】図８における既存要素に対するレコード追加処理の詳細フローチャートである。

【図10】図８における新規要素に対するレコード作成処理の詳細フローチャートである。

【図11】実施例におけるシーン再構築部の処理フローチャートである。

【図12】図１１におけるシーン自動拡張処理の詳細フローチャートである。

【図13】図１１における対話的シーン拡張処理の詳細フローチャートである。

【図14】図１３の対話的シーン拡張処理におけるユーザーインターフェース部の表示例である。

【図15】図１４において、候補グラフ要素を選択した後に更新されたユーザーインターフェース部の表示例である。

【発明を実施するための形態】

【0012】

以下、本発明の実施例について図面を用いて説明する。なお、以下の実施例は、消火/救助活動の仮想訓練システムを例にして説明する。

【実施例0013】

図１は、本実施例におけるシーン記録再構築システムの構成ブロック図である。図１において、シーン記録再構築システムは、シーン記録再構築装置１０１と現実空間センシング機器１０２がネットワーク１０３を介して接続されて構成されている。

【0014】

現実空間センシング機器１０２は、複数のセンサ１０４で現実空間のシーン、すなわち、人やモノの位置、活動などを計測し、センサデータ統合部１０５で各センサからの情報を統合し、センサデータ送信部１０６を介して、計測データをシーン記録再構築装置１０１に送信する。

【0015】

シーン記録再構築装置１０１は、現実空間センシング機器１０２からの計測データをセンサデータ受信部１０７で受け取り、シーン登録部１０８において、シーンをレコード情報（イベントやアクションなどの時系列情報を表現する）、ジオメトリ情報（形状や外観を表現する）、ナレッジグラフ（シーンの前後の関係等を表すコンテキストや、ジオメトリとレコードの紐付けを表現する）に分けて、それぞれをレコード記録部１０９、ジオメトリ記録部１１０、ナレッジグラフ記録部１１１に格納する。

【0016】

シーン再構築部１１２は、ユーザーインターフェース部１１３からの要求を受け取り、ナレッジグラフ記録部１１１に記録されたシーンのコンテキストから、再構築対象のシーンを検索・抽出して特定し、当該シーンの再構築に必要なレコード情報、ジオメトリ情報を、それぞれレコード記録部１０９とジオメトリ記録部１１０から取得し再統合することで、３Ｄ仮想空間上にシーンを再構築し、描画結果ないしは空間情報をユーザーインターフェース部１１３に提供する。

【0017】

なお、シーン記録再構築装置１０１は、ハードウェアイメージとしては、一般的な情報処理装置であるＣＰＵとストレージ部からなり、ＣＰＵがそれぞれの機能を実現する動作プログラムを解釈して実行するソフトウェア処理により実現される。また、レコード記録部１０９、ジオメトリ記録部１１０、ナレッジグラフ記録部１１１等の蓄積部はクラウド上に設けてもよい。

【0018】

図２は、本実施例におけるナレッジグラフ記録部１１１に格納されるナレッジグラフの概要図である。ナレッジグラフは、個々のジオメトリ情報もしくはレコード情報のいずれかに対応するノードと、それらの関係性を表現するリンクによって構成される。図２においては、例として、災害時における消火・救助のシーンを示している。

【0019】

図２において、ナレッジグラフは、空間レイヤ２０１、滞在イベントレイヤ２０２、エージェント・オブジェクトレイヤ２０３、アクティビティレイヤ２０４から構成される。

【0020】

空間レイヤ２０１は、街区ノード２０５、建物ノード２０６、フロアノード２０７、部屋ノード２０８などのノード（以降、要素とも称する）で構成され、ジオメトリ情報（形状や外観）に対応する。各ノードは、包含関係や位置関係を表すリンクであるリレーション２０９によって関連付けられる。

【0021】

滞在イベントレイヤ２０２およびエージェント・オブジェクトレイヤ２０３は、滞在ノード２１０や、人物・ロボットなどを表現するエージェントノード２１１、物体を表現するオブジェクトノード２１２から構成され、エージェント・オブジェクトレイヤ２０３と空間レイヤ２０１のノードがリレーション２０９によって直接、もしくは滞在ノード２１０を介して関連付けられることで、エージェント・オブジェクトレイヤ２０３のノードの所在を表現する。なお、滞在ノード２１０はレコード情報（イベントやアクションなどの時系列情報を表現する）に対応する。また、エージェントノード２１１、オブジェクトノード２１２は、ジオメトリ情報（形状や外観）に対応する。

【0022】

アクティビティレイヤ２０４は、エージェント・オブジェクトレイヤ２０３のノードの行動情報を表現する。歩行やジェスチャなどのエージェント単独の行動ノード２１３は、行動を行ったエージェントノード２１１に対して、リレーション２０９で関連付けられることによって表現される。救助や消火など、行為者と対象者／対象物が存在する行動ノード２１４は、行為者と対象者／対象物のノードに対して、それぞれリレーション２０９で関連付けられることで表現される。なお、行動ノード２１３や２１４はレコード情報（イベントやアクションなどの時系列情報を表現する）に対応する。

【0023】

図３は、本実施例におけるナレッジグラフの空間レイヤ２０１の各ノードに格納されるプロパティ情報を示した表である。図３において、空間レイヤ２０１の各ノードは、名称３０１、ノードをユニークに特定するためのノードＩＤ３０２、ノードの種別を表すクラス３０３、ノードの物理的な形状・外観を表す物理ジオメトリ情報の名称ないしファイルパスを表す物理ジオメトリデータ３０４、ノードが占める空間範囲を表現する空間ジオメトリ情報の名称ないしファイルパスを表す空間ジオメトリデータ３０５を格納する。

【0024】

図４は、本実施例におけるナレッジグラフのエージェント・オブジェクトレイヤ２０３のうち、動的オブジェクトを表現するエージェントノード２１１に格納されるプロパティ情報を示した表である。図４において、動的オブジェクトとは、固定されていない家具のように位置が変化しうる物体を指し、動的オブジェクトのノードは、滞在ノード２１０を介して空間レイヤ２０１のノードに関連付けられることで、所在を表現する。図４において、動的オブジェクトのノードは、名称４０１、ノードをユニークに特定するためのノードＩＤ４０２、ノードの種別を表すクラス４０３、動的オブジェクトの物理的な形状・外観を表現するジオメトリ情報の名称またはファイルパスを表すジオメトリデータ４０４を格納する。

【0025】

図５は、本実施例におけるナレッジグラフのエージェント・オブジェクトレイヤ２０３のうち、静的オブジェクトを表現するオブジェクトノード２１２に格納されるプロパティ情報を示した表である。図５において、静的オブジェクトとは、造作家具や、壁や床など、位置が変化しない物体を指し、静的オブジェクトのノードは、空間レイヤ２０１のノードに対してリレーション２０９で直接関連付けられることにより、その所在を表現する。図５において、静的オブジェクトのノードは、名称５０１、ノードをユニークに特定するためのノードＩＤ５０２、ノードの種別を表すクラス５０３、静的オブジェクトの物理的な形状・外観を表現するジオメトリ情報の名称またはファイルパスを表すジオメトリデータ５Ｏ４、静的オブジェクトの詳細な位置座標を表す位置５０５を格納する。

【0026】

図６は、本実施例におけるナレッジグラフの滞在イベントレイヤ２０２の滞在ノード２１０に格納されるプロパティ情報を示した表である。図６において、滞在ノード２１０は、名称６０１、ノードをユニークに特定するためのノードＩＤ６０２、ノードの種別を表すクラス６０３、滞在の開始時刻６０４および終了時刻６０５、滞在中の軌跡を表現するレコード情報の名称ないしファイルパスを表す軌跡レコード６０６、滞在中の行動・ジェスチャを表現するレコード情報の名称ないしファイルパスを表す骨格レコード６０７などを格納する。

【0027】

図７は、本実施例におけるナレッジグラフのアクティビティレイヤ２０４のノードに格納されるプロパティ情報を示した表である。図７において、アクティビティレイヤ２０４のノードは、名称７０１、ノードをユニークに特定するためのノードＩＤ７０２、ノードの種別を表すクラス７０３、アクティビティの開始時刻７０４および終了時刻７０５、アクティビティ中の軌跡を表現するレコード情報の名称ないしファイルパスを表す軌跡レコード７０６、アクティビティ中の行動・ジェスチャを表現するレコード情報の名称ないしファイルパスを表す骨格レコード７０７などを格納する。

【0028】

図８は、本実施例におけるシーン登録部１０８の処理フローチャートである。図８において、シーン登録部１０８は、ユーザーインターフェース部１１３からの記録開始指示を受け取り、シーンの記録を開始する（Ｓ８０１）。

【0029】

シーン記録開始後に、センサデータ受信部１０７より計測データを受信（Ｓ８０２）すると、ナレッジグラフ記録部１１１に登録された要素との比較統合を行うフュージョン処理（Ｓ８０３）を行い、計測データが既存のシーン要素に対する更新であるか、未知のシーン要素に該当するものかを判定する（Ｓ８０４）。既存要素に対する更新であれば、当該の要素に対するレコードを追加する（Ｓ８０５）。未知の要素に関する情報であれば、ナレッジグラフに要素を追加し、新規レコードを作成する（Ｓ８０６）。

【0030】

その後、ユーザーインターフェース部１１３からの操作入力をチェック（Ｓ８０７）し、シーン記録の終了指示が出ているかを確認（Ｓ８０８）し、出ていればシーンの記録を終了、出ていなければ処理Ｓ８０２に戻り、シーンの記録を継続する。

【0031】

図９は、図８における既存要素に対するレコード追加処理Ｓ８０５の詳細フローチャートである。図９において、まず、ナレッジグラフ記録部１１１にアクセスし、更新対象の要素を特定する（Ｓ９０１）。次に、当該の要素に関するレコード情報の更新を、レコード記録部１０９に書き込む（Ｓ９０２）。続いて、ジオメトリ情報とレコード情報を紐付けたシーンのコンテキスト情報の更新を、ナレッジグラフ記録部１１１に書き込む（Ｓ９０３）。

【0032】

図１０は、図８における新規要素に対するレコード作成処理Ｓ８０６の詳細フローチャートである。図１０において、まず、ジオメトリ記録部１１０にアクセスし、新規に追加するレコードの行為者および対象者／対象物に該当するジオメトリデータを特定する（Ｓ１００１）。次に、軌跡やジェスチャなどのレコード情報を、レコード記録部１０９に書き込む（Ｓ１００２）。続いて、ジオメトリ情報とレコード情報を紐付けたシーンのコンテキスト情報を、ナレッジグラフ記録部１１１に書き込む（Ｓ１００３）。

【0033】

図１１は、本実施例におけるシーン再構築部１１２の処理フローチャートである。図１１において、シーン再構築部１１２は、ユーザーインターフェース部１１３からのシーン再構築指示を受け取り、シーンの再構築処理を開始する（Ｓ１１０１）。

【0034】

処理Ｓ１１０１において、検索対象のシーンの特徴を表現するクエリグラフを受け取り、処理Ｓ１１０２において、ナレッジグラフ記録部１１１にアクセスし、蓄積されたシーンのコンテキスト情報の中から、クエリグラフに合致する部分グラフを特定する（Ｓ１１０２）。

【0035】

そして、部分グラフをもとに、同一空間・同一時間の事象を包括的に含むよう、部分グラフを拡張し、シーン再構築の対象とする空間・時間範囲を調整するシーン自動拡張を行い（Ｓ１１０３）、拡張された部分グラフをユーザーインターフェース部１１３にて提示して、対話的シーン拡張を行う（Ｓ１１０４）。そして、再構築対象のシーンが確定されたかどうかを判定し（Ｓ１１０５）、確定されていなければ処理Ｓ１１０３に戻って自動拡張と対話的拡張を繰り返す。

【0036】

シーンが確定された場合、該シーンに含まれるレコード情報を、レコード記録部１０９から取得（Ｓ１１０６）、該シーンに含まれるジオメトリ情報を、ジオメトリ記録部１１０から取得（Ｓ１１０７）し、部分グラフに格納されるコンテキスト情報をもとに、これらの情報を結合する（Ｓ１１０８）。

【0037】

そして、結合されたシーン情報をもとに、仮想空間上でシーンを再生し、その様子の描画結果、ないしは空間情報、仮想空間上での処理結果を、ユーザーインターフェース部１１３に提示する（Ｓ１１０９）。

【0038】

図１２は、図１１におけるシーン自動拡張処理Ｓ１１０３の詳細フローチャートである。図１２において、まず、現在のシーン再構築対象を表す部分グラフ（対象グラフ）に、孤立したジオメトリ要素・イベント要素が含まれる場合、これらを対象グラフから削除する（Ｓ１２０１）。

【0039】

次に、対象グラフに空間レイヤ２０１のノードが１つ以上含まれるかを判定し（Ｓ１２０２）、含まれない場合は、対象グラフの要素が関連付けられている空間要素を特定し、対象グラフに追加する（Ｓ１２０３）。

【0040】

続いて、対象グラフに含まれる空間要素が一つであるかを判定し（Ｓ１２０４）、複数の空間要素が含まれる場合は、さらに各空間要素が隣接しているかを判定する（Ｓ１２０５）。いずれもＮｏである場合、対象グラフに含まれる各空間要素の共通の親である空間要素をナレッジグラフ上で特定し、対象グラフに追加する（Ｓ１２０６）。

【0041】

次に、対象グラフ中の各空間要素に紐づく静的オブジェクト要素を対象グラフに追加し、（Ｓ１２０７）、同じく各空間要素に紐づく滞在イベントのうち、対象グラフの候補時間範囲に重複するものを対象グラフに追加する（Ｓ１２０８）。そして、各滞在イベントに紐づく動的オブジェクト要素を対象グラフに追加する（Ｓ１２０９）。

【0042】

続いて、対象グラフ中の各エージェント・オブジェクト要素に関連付けられたアクティビティ要素のうち、候補時間範囲に重複するものをナレッジグラフ上で特定し、対象グラフに追加する（Ｓ１２１０）。

【0043】

そして、対象グラフ中のすべてのアクティビティ要素が、行為者および対象者／対象物に相当するエージェント・オブジェクトに紐付けられているかを確認し（Ｓ１２１１）、満たされない場合は、当該アクティビティ要素に関連付けられたエージェント・オブジェクト要素をナレッジグラフ上で特定し、対象グラフに追加する（Ｓ１２１２）。そして処理Ｓ１２１０に戻る。

【0044】

図１３は、図１１における対話的シーン拡張処理Ｓ１１０４の詳細フローチャートである。図１３において、まず、現在のシーン再構築対象を表す部分グラフ（対象グラフ）に含まれる空間要素について、親となる空間要素および空間的に隣接する空間要素をナレッジグラフ上で特定し、これらの空間要素を、シーン再構築対象の候補要素を表すグラフ（候補グラフ）に追加する（Ｓ１３０１）。

【0045】

次に、対象グラフに含まれるイベント（滞在・アクティビティ）要素に時間的に隣接・近接するイベント要素をナレッジグラフ上で特定し、これらを候補グラフに追加し（Ｓ１３０２）、さらに、追加されたイベント要素に関連付けられたジオメトリ要素（空間要素、エージェント・オブジェクト要素）をナレッジグラフ上で特定し、これらを候補グラフに追加する（Ｓ１３０３）。

【0046】

続いて、現在の対象グラフ中のイベント要素が覆う時間範囲（候補時間範囲）を算出し、対象グラフ、候補グラフ、候補時間範囲をユーザーインターフェース部１１３に提示し（Ｓ１３０４）、ユーザの候補選択入力を受け付ける（Ｓ１３０５）。

【0047】

そして、入力の内容を判定し（Ｓ１３０６）、対象グラフの確定入力であった場合は、処理を終了する。確定入力でなく、候補グラフの中から、新規に対象グラフに追加する要素を選択する入力であった場合、選択された要素を対象グラフに追加し（Ｓ１３０７）、候補時間範囲を更新する（Ｓ１３０８）。

【0048】

図１４は、図１３の対話的シーン拡張処理における処理Ｓ１３０４によるユーザーインターフェース部１１３への提示処理でのユーザーインターフェース部１１３の表示例である。図１４において、シーン検索結果一覧画面１４０１には、クエリグラフに一致する候補シーンのタブ１４０２が複数表示される。各候補シーンを選択すると、シーン再構築範囲選択画面１４０３が表示される。

【0049】

シーン再構築範囲選択画面１４０３には、シーン再構築の対象・候補の部分グラフが表示され、クエリグラフに一致する部分グラフ１４０４（点線で囲まれた範囲）と、クエリグラフに一致する部分グラフ１４０４をもとにシーン自動拡張処理Ｓ１１０３によって拡張された部分グラフ１４０５（実線で囲まれた範囲）が再構成対象の部分グラフとして示される。すなわち、拡張された部分グラフ１４０５は、同一空間・同一時間の範囲で拡張された部分グラフとなる。さらに、対話的シーン拡張処理Ｓ１１０４で追加された候補グラフ要素１４０６が表示される。さらに、候補時間範囲を表す時刻ウインドウ１４０７、シーンの確定を行う確定ボタン１４０８が表示される。

【0050】

シーン再構築範囲選択画面１４０３は、候補グラフ要素１４０６のうちのひとつを選択するか、確定ボタン１４０８を押下するか、のいずれかの操作入力を受け付ける。

【0051】

すなわち、具体例として、図１４は、災害時における消火・救助のシーンを示しており、クエリグラフは、「火点のある部屋での救護活動」であり、シーン自動拡張後の再構成対象の拡張された部分グラフ１４０５は、クエリに一致する範囲をもとに、同一時間・同一空間内のシーン全体を再構成対象とする「救護員が負傷者を救護し、同時に消火員が火点の消火を行うシーン」である。また、現在の再構成対象の拡張された部分グラフ１４０５に対して、空間的・時間的に近接する候補グラフ要素１４０６を、候補グラフとしてユーザに提示する。

【0052】

図１５は、図１４において、候補グラフ要素１４０６のうちの一つの要素１４０９を選択した後に更新された表示例である。図１５において、選択された要素１４０９が対象グラフに追加され、シーン自動拡張処理Ｓ１１０３および対話的シーン拡張処理Ｓ１１０４によって、選択された要素１４０９が含まれるように部分グラフ１５０５（実線で囲まれた範囲）が再構成対象の部分グラフとして更新され、候補グラフ１５０６、および対象時間範囲を示す時刻ウインドウ１４０７が更新された様子を示す。

【0053】

すなわち、具体例として、図１５において、ユーザ選択に基づく自動拡張後の再構成対象の部分グラフ１５０５は、「隣接する部屋Bでの救護を完了した救護員が部屋Aに合流し、負傷者を救護し、同時に消火員が火点の消火を行うシーン」が包括的に表現される。

【0054】

以上のように、本実施例は、シーンをジオメトリとレコードとコンテキストに分割して記録し、コンテキストを記録したナレッジグラフ上で、シーン再構築の対象範囲を操作する。すなわち、コンテキストはナレッジグラフで表現され、ジオメトリ及びレコードはグラフのノード単位で断片化され保存されており、必要に応じてノード単位での再構築が可能である。また、ナレッジグラフが、シーンの時系列コンテキストを保持することにより、コンテキストを考慮した検索が可能である。

【0055】

そして、ジオメトリ及びレコードがグラフのノード単位で断片化されていることにより、シーン再構築の対象範囲をグラフ上で操作可能である。また、ナレッジグラフ上に表現された空間的・時間的な近接・包含関係を考慮したシーン拡張を実現できる。すなわち、ルールに基づき、シーンとしての整合性・包括性を満たすようにシーンを自動拡張し、空間的・時間的に隣接・近接する要素を候補として提示し、自動拡張と組合せて所望のシーンを実現する対話的シーン拡張を行う。言い換えれば、ナレッジグラフに記録された空間的・時間的関係性を考慮し、対象範囲の自動拡張・拡張候補提示を行う。

【0056】

これにより、シーン再構築の対象範囲をナレッジグラフ上で操作できるため、意味論的な情報（イベント、アクション等）に基づいて所望のシーンを簡便に抽出・再構築できる。また、ナレッジグラフに記録された空間的・時間的な近接・包含関係を用いて、オブジェクトの相互作用を考慮した適切（包括的）なシーン抽出が可能となる。すなわち、対象範囲として一部のみを切り取ることで、人や物体等の相互作用が適切に表現されない誤解を招くシーンが生成されてしまうとい懸念を払拭できる。

【0057】

よって、本実施例によれば、所望のシーンを簡便に抽出及び再構築でき、適切なシーン抽出が可能なシーン記録再構築装置およびシーン記録再構築方法を提供できる。

【0058】

以上、本発明による実施例を示したが、本発明は、蓄積された事例や過去の実事例の中から、所望のシーンを容易に選び出して再現、体験、検証等を行える。そのため、特定の人物や特定のアクションに着目したシーンを容易に再構築することができ、訓練、体験、検証等の効率が向上する。従って、本発明は、ＳＤＧｓ（Sustainable Development Goals）を実現するための特に項目８の“働きがいも経済成長も”における、技術向上及びイノベーションを通じた高いレベルの経済生産性を達成することに貢献する。

【0059】

また、本発明は、上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

【符号の説明】

【0060】

１０１：シーン記録再構築装置、１０２：現実空間センシング機器、１０３：ネットワーク、１０４：センサ、１０５：センサデータ統合部、１０６：センサデータ送信部、１０７：センサデータ受信部、１０８：シーン登録部、１０９：レコード記録部、１１０：ジオメトリ記録部、１１１：ナレッジグラフ記録部、１１２：シーン再構築部、１１３：ユーザーインターフェース部、２０１：空間レイヤ、２０２：滞在イベントレイヤ、２０３：エージェント・オブジェクトレイヤ、２０４：アクティビティレイヤ、２０５：街区ノード、２０６：建物ノード、２０７：フロアノード、２０８：部屋ノード、２０９：リレーション、２１０：滞在ノード、２１１：エージェントノード、２１２：オブジェクトノード、２１３、２１４：行動ノード、１４０１：シーン検索結果一覧画面、１４０２：タブ、１４０３：シーン再構築範囲選択画面、１４０４：クエリグラフに一致する部分グラフ、１４０５：拡張された部分グラフ、１４０６：候補グラフ要素、１４０７：時刻ウインドウ、１４０８：確定ボタン、１５０５：部分グラフ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】