特許 7546522 仮想空間内で実行されたミーティングのまとめ映像を作成するシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-29

(45)【発行日】2024-09-06

(54)【発明の名称】仮想空間内で実行されたミーティングのまとめ映像を作成するシステム及び方法

(51)【国際特許分類】

   H04N 7/15 20060101AFI20240830BHJP

   G06Q 10/00 20230101ALI20240830BHJP

【ＦＩ】

H04N7/15

G06Q10/00

【請求項の数】 10

(21)【出願番号】P 2021125155

(22)【出願日】2021-07-30

(65)【公開番号】P2023020023

(43)【公開日】2023-02-09

【審査請求日】2024-02-22

(73)【特許権者】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110001678

【氏名又は名称】藤央弁理士法人

(72)【発明者】

【氏名】石黒 正雄

(72)【発明者】

【氏名】黒澤 雄一

(72)【発明者】

【氏名】松下 耕太郎

【審査官】大西 宏

(56)【参考文献】

【文献】特開２００６－２７９１１１（ＪＰ，Ａ）

【文献】特開２０１３－１０５４７１（ＪＰ，Ａ）

【文献】特開２０１６－１８１２４４（ＪＰ，Ａ）

【文献】特開２０１７－２２９０６０（ＪＰ，Ａ）

【文献】特開２０１９－１７４８９４（ＪＰ，Ａ）

【文献】特開２０２１－０１２３８４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１４ － ７／１７３

Ｇ０６Ｑ １０／００ －１０／１０

(57)【特許請求の範囲】

【請求項1】

仮想空間内で実行されたミーティングのまとめ映像を作成するシステムであって、
１以上の演算装置と、
１以上の記憶装置と、を含み、
前記１以上の記憶装置は、仮想空間におけるミーティングの履歴データを格納し、
１以上の画面が、前記仮想空間内に存在し、
複数のプレイヤが前記ミーティングに参加し、
前記１以上の演算装置は、
前記履歴データから、前記１以上の画面の各画面に関連付けられる、１以上の議論単位を抽出し、
前記１以上の議論単位に基づき、前記ミーティングのまとめ映像を作成し、
第１閾値を超える複数のプレイヤが同一画面を向いており、かつ１以上の予め定められている条件の一つが満たされている時間帯、のシーケンスにおいて、隣接する時間帯の間隔が第２閾値未満である１以上の時間帯で構成されるグループの開始時刻から終了時刻の時間帯を、前記同一画面に関連付けられる議論単位と決定し、
前記１以上の予め定められている条件は、前記同一画面を向いているプレイヤの発話が存在することを含む、システム。

【請求項2】

請求項１に記載のシステムであって、
前記１以上の予め定められている条件は、前記同一画面の操作が存在することを含む、システム。

【請求項3】

請求項１に記載のシステムであって、
前記１以上の演算装置は、
前記１以上の議論単位の各議論単位について、各議論単位が関連付けられている画面に向いている議論プレイヤを特定し、
共通する議論プレイヤの人数に基づいて互いに関連する議論単位をグループ化して、議論グループを形成し、
前記議論グループのまとめ映像を生成する、システム。

【請求項4】

請求項３に記載のシステムであって、
前記１以上の演算装置は、前記議論グループに最後に追加した議論単位と共通の議論プレイヤの数が閾値を超える、前記最後に追加した議論単位より後の議論単位を前記議論グループに追加する、ことを繰り返して、前記議論グループを形成する、システム。

【請求項5】

請求項１に記載のシステムであって、
前記１以上の演算装置は、前記まとめ映像において、前記まとめ映像の含まれる議論単位の画面及び議論プレイヤの画像を表示する、システム。

【請求項6】

請求項３に記載のシステムであって、
前記１以上の演算装置は、前記議論グループにおいて複数の議論単位が重複する時間帯において、前記複数の議論単位それぞれの画面及び議論プレイヤを前記まとめ映像で表示する、システム。

【請求項7】

システムが、仮想空間内で実行されたミーティングのまとめ映像を作成する方法であって、
前記システムは、仮想空間におけるミーティングの履歴データを格納し、
１以上の画面が、前記仮想空間内に存在し、
複数のプレイヤが前記ミーティングに参加し、
前記方法は、
前記システムが、前記履歴データから、前記１以上の画面の各画面に関連付けられる、１以上の議論単位を抽出し、
前記システムが、前記１以上の議論単位に基づき、前記ミーティングのまとめ映像を作成する、ことを含み、
前記議論単位の抽出は、第１閾値を超える複数のプレイヤが同一画面を向いており、かつ１以上の予め定められている条件の一つが満たされている時間帯、のシーケンスにおいて、隣接する時間帯の間隔が第２閾値未満である１以上の時間帯で構成されるグループの開始時刻から終了時刻の時間帯を、前記同一画面に関連付けられる議論単位と決定し、
前記１以上の予め定められている条件は、前記同一画面を向いているプレイヤの発話が存在することを含む、方法。

【請求項8】

請求項７に記載の方法であって、
前記１以上の予め定められている条件は、前記同一画面の操作が存在することを含む、方法。

【請求項9】

請求項７に記載の方法であって、
前記システムが、前記１以上の議論単位の各議論単位について、各議論単位が関連付けられている画面に向いている議論プレイヤを特定し、
前記システムが、共通する議論プレイヤの人数に基づいて互いに関連する議論単位をグループ化して、議論グループを形成し、
前記システムが、前記議論グループのまとめ映像を生成する、方法。

【請求項10】

請求項９に記載の方法であって、
前記システムが、前記議論グループに最後に追加した議論単位と共通の議論プレイヤの数が閾値を超える、前記最後に追加した議論単位より後の議論単位を前記議論グループに追加する、ことを繰り返して、前記議論グループを形成する、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、仮想空間内で実行されたミーティングのまとめ映像を作成する技術に関するものである。

【背景技術】

【0002】

近年、直接の対面ではなく、デジタルな仮想空間においてワークショップを行うことへの要求が高まっている。本開示の背景技術として、例えば、特開２０１９－２０９０８号公報がある。特開２０１９－２０９０８号公報は、「ヘッドマウントデバイス（ＨＭＤ）を備えたシステムにおける情報処理方法は、（ａ）仮想空間２００を定義する仮想空間データを生成するステップと、（ｂ）ＨＭＤの動きおよび仮想空間データに基づいて、ＨＭＤに表示される視野画像を示す視野画像データを生成するステップと、（ｃ）ＨＭＤを装着したユーザＡ，Ｂ，Ｃの感情を特定するステップと、（ｄ）特定された感情が予め定められた第一条件を満たした場合には、第一条件を満たした時刻におけるＨＭＤの向きに応じた仮想空間２００における第一領域Ｒ１の評価値を更新するステップと、を含む。」ことを開示する（例えば要約）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－２０９０８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

例えば、仮想空間におけるワークショップでの議論を、ワークショップ終了時やそれ以降に振り返ることが望まれることがある。または、ワークショップに参加することができなかった人が、ワークショップにおいてなされた議論を、正確かつ端的に把握することを望むことがある。

【0005】

一方、仮想空間におけるワークショップにおいては、複数の参加者がチームに分かれて議論を行う、全員が集まって議論を行う、又は、議論の間に休憩を取ること等がある。したがって、複数のプレイヤが参加するワークショップのような、仮想空間におけるミーティングの内容を適切にまとめた映像を作成できる技術が望まれる。

【課題を解決するための手段】

【0006】

本発明の一態様は、仮想空間内で実行されたミーティングのまとめ映像を作成するシステムであって、１以上の演算装置と、１以上の記憶装置と、を含み、前記１以上の記憶装置は、仮想空間におけるミーティングの履歴データを格納し、１以上の画面が、前記仮想空間内に存在し、複数のプレイヤが前記ミーティングに参加し、前記１以上の演算装置は、前記履歴データから、前記１以上の画面の各画面に関連付けられる、１以上の議論単位を抽出し、前記１以上の議論単位に基づき、前記ミーティングのまとめ映像を作成し、第１閾値を超える複数のプレイヤが同一画面を向いており、かつ１以上の予め設定されている条件の一つが満たされている時間帯、のシーケンスにおいて、隣接する時間帯の間隔が第２閾値未満である１以上の時間帯で構成されるグループの開始時刻から終了時刻の時間帯を、前記同一画面に関連付けられる議論単位と決定し、前記予め定められている条件は、前記同一画面を向いているプレイヤの発話が存在することを含む。

【発明の効果】

【0007】

本発明の一態様によれば、仮想空間におけるミーティングを適切にまとめた映像を生成することができる。

【図面の簡単な説明】

【0008】

【図1】本明細書の一本実施形態の計算機システムの構成例を示す。

【図2】仮想空間管理システムのハードウェア構成例を示す。

【図3】ユーザ端末のハードウェア構成例を示す。

【図4】本明細書の一実施形態に係る仮想空間管理システムの機能構成例を示す。

【図5】本明細書の一実施形態に係るユーザ端末の機能構成例を示す。

【図6A】仮想空間において行われているワークショップの様子の例を模式的に示す。

【図6B】ユーザによる画面操作の例を模式的に示す。

【図7】仮想空間構成情報の構成例を示す。

【図8】位置・向き情報の構成例を示す。

【図9】画面操作情報の構成例を示す。

【図10】音声情報の構成例を示す。

【図11】ユーザ端末の処理例のフローチャートを示す。

【図12】仮想空間管理システムによる仮想空間の管理及び制御の例を示すフローチャートである。

【図13】仮想空間管理システムによる、まとめ映像の生成方法例のフローチャートを示す。

【図14】議論単位を生成する処理を説明するための図である。

【図15】議論グループを生成する処理を説明するための図である。

【図16】議論グループのまとめ画像を生成する処理を説明するための図である。

【図17】他の議論グループのまとめ画像を生成する処理を説明するための図である。

【発明を実施するための形態】

【0009】

以下においては、便宜上その必要があるときは、複数のセクションまたは実施形態に分割して説明するが、特に明示した場合を除き、それらは互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。また、以下において、要素の数等（個数、数値、量、範囲等を含む）に言及する場合、特に明示した場合及び原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。

【0010】

本システムは、物理的な計算機システム（一つ以上の物理的な計算機）でもよいし、クラウド基盤のような計算リソース群（複数の計算リソース）上に構築されたシステムでもよい。計算機システムあるいは計算リソース群は、１以上のインタフェイス装置（例えば通信装置及び入出力装置を含む）、１以上の記憶装置（例えば、メモリ（主記憶）及び補助記憶装置を含む）、及び、１以上の演算装置を含む。

【0011】

プログラムが演算装置によって実行されることで機能が実現される場合、定められた処理が、適宜に記憶装置及び／またはインタフェイス装置等を用いながら行われるため、機能は演算装置の少なくとも一部とされてもよい。機能を主語として説明された処理は、演算装置を有するシステムが行う処理としてもよい。プログラムは、プログラムソースからインストールされてもよい。プログラムソースは、例えば、プログラム配布計算機または計算機が読み取り可能な記憶媒体（例えば計算機読み取り可能な非一過性記憶媒体）であってもよい。各機能の説明は一例であり、複数の機能が一つの機能にまとめられたり、一つの機能が複数の機能に分割されたりしてもよい。

【0012】

以下において、仮想空間におけるミーティングのまとめ映像の生成を説明する。仮想空間内でのミーティングにおいて、複数の参加者がチームに分かれたり、集まったり、休憩をとったりしながら議論を行い得る。システムは、参加者が議論中に注目している画面に基づき、まとめ映像を作成する。これにより、ユーザがミーティングの内容を振り返ることができるように、ミーティングの内容を示すまとめ映像を作成できる。

【0013】

＜システム構成例＞
図１は、本明細書の本実施形態の計算機システムの構成例を示す。計算機システムは、サーバ１０１及び複数のユーザ端末１０４を含む。ユーザ端末１０４は、図１に示すように無線によって、又はケーブルを介して、アクセスポイント１０３にアクセスする。サーバ１０１及びユーザ端末１０４は、ネットワーク１０２及びアクセスポイント１０３を介して、互いに通信する。なお、サーバ１０１とユーザ端末１０４との間の通信ネットワークの構成は任意である。

【0014】

サーバ１０１は、ユーザ端末１０４に対して、仮想空間においてワークショップを行うサービスを提供する、仮想空間管理システムである。仮想空間管理システム１０１は、１又は複数の計算機で構成することができる他、クラウド上の計算機リソースにより構成することができる。このように、仮想空間管理システム１０１は、１以上の演算装置及び１以上の記憶装置を含むことができる。

【0015】

複数のユーザは、ユーザ端末１０４をそれぞれ使用して、仮想空間管理システム１０１が提供する仮想空間において、ワークショップ、グループワーク、セミナ等、大小様々なミーティングを行うことができる。ユーザは、ユーザ端末１０４によって、仮想空間における自分のアバタを操作して、ミーティングに参加する。

【0016】

後述するように、仮想空間管理システム１０１は、ユーザが操作可能な複数の画面を仮想空間において提供する。ユーザは、一つのグループにおいて、又は、複数のグループに分かれて、画面を使用して議論を行う。以下において、仮想空間管理システム１０１が提供する仮想空間において、ワークショップが実行される例を説明する。ワークショップに参加しているユーザ又は仮想空間におけるそのアバタを、プレイヤと呼ぶ。ワークショップは、一般に、議論の進行を促すファシリテータと、他の参加者により行われるが、以下に説明する例においては、全ての参加者が平等に管理される。

【0017】

＜ハードウェア構成例＞
図２は、仮想空間管理システム１０１のハードウェア構成例を示す。仮想空間管理システム１０１は、ＲＡＭなど揮発性記憶素子で構成される主記憶装置２０２、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）やハードディスクドライブなど適宜な不揮発性記憶素子で構成される補助記憶装置２０３を含む。仮想空間管理システム１０１は、さらに、補助記憶装置２０３等に格納されているプログラム２０６を主記憶装置２０２に読み出すなどして実行し、システム自体の統括制御を行うとともに、各種判定、演算及び制御処理を行うＣＰＵなどの演算装置２０１を含む。

【0018】

仮想空間管理システム１０１は、ネットワークに接続しデータをやり取りするための通信インタフェイス２０４を含む。これら仮想空間管理システム１０１の構成要素は、内部バス２０５によって、相互に通信することができる。仮想空間管理システム１０１は、さらに、システムユーザからの入力動作を受け付けるキーボードやマウス、タッチパネルなどの入力装置、ユーザに対して処理結果を表示するディスプレイなどの出力装置を含んでもよい。

【0019】

補助記憶装置２０３内には、本実施形態の仮想空間管理システム１０１として必要な機能を実装するためのプログラム２０６の他、各種処理に必要なデータを格納した情報データベース（ＤＢ）２０７が格納されている。情報データベース２０７には、後述する情報４０１、４０３、４０５、４０７が格納されている。

【0020】

図３は、ユーザ端末１０４のハードウェア構成例を示す。ユーザ端末１０４は、ＲＡＭなど揮発性記憶素子で構成される主記憶装置３０２、ＳＳＤやハードディスクドライブなど適宜な不揮発性記憶素子で構成される補助記憶装置３０３を含む。ユーザ端末１０４は、さらに、補助記憶装置３０３等に格納されているプログラム３０８を主記憶装置３０２に読み出すなどして実行し、システム自体の統括制御を行うとともに、各種判定、演算及び制御処理を行うＣＰＵなどの演算装置３０１を含む。プログラム３０８は、ユーザ端末１０４が仮想空間におけるワークショップに参加することを可能とするプログラムを含む。

【0021】

ユーザ端末１０４は、ネットワークに接続しデータをやり取りするための通信インタフェイス３０６、ユーザからの入力動作を受け付けるキーボード、マウス、タッチパネル、マイクなどの入力装置３０４、及びユーザに対して処理結果を表示するディスプレイや音声を出力するスピーカ等の出力装置３０５を含む。これらユーザ端末１０４の構成要素は、内部バス３０７によって、相互に通信することができる。補助記憶装置３０３内には、必要な機能を実装するためのプログラム３０８の他、必要な情報（データ）が格納される。

【0022】

ユーザ端末１０４は、例えば、一般的なデスクトップ型、ノート型又はタブレッド型コンピュータの他、例えば、ゴーグル型表示装置、ヘッドフォン、マイク及びジャイロセンサを含むヘッドセットであってもよい。

【0023】

＜論理構成例＞
次に、仮想空間管理システム１０１の機能を説明する。図４は、本明細書の一実施形態に係る仮想空間管理システム１０１の機能構成例を示す。以下に説明する機能は、例えば仮想空間管理システム１０１の演算装置２０１が、プログラム２０６を実行することにより実装される。

【0024】

仮想空間管理システム１０１は、メイン処理部４００、リクエスト・レスポンス送受信部４１３、及びリクエスト・レスポンス処理部４１２を含む。メイン処理部４００は、ユーザ端末１０４に仮想空間を提供するための処理を行う。リクエスト・レスポンス送受信部４１３及びリクエスト・レスポンス処理部４１２は、ユーザ端末１０４とメイン処理部４００との間のインタフェイス処理を行う。

【0025】

リクエスト・レスポンス送受信部４１３は、仮想空間におけるワークショップに参加するユーザ端末１０４との間で、データの送受信を行う。リクエスト・レスポンス処理部４１２は、メイン処理部４００からのデータの後処理を行ってリクエスト・レスポンス送受信部４１３に渡す。リクエスト・レスポンス処理部４１２は、リクエスト・レスポンス送受信部４１３を介してユーザ端末１０４から取得したデータの前処理を行い、メイン処理部４００に渡す。

【0026】

メイン処理部４００は、情報データベース２０７に格納される情報及び複数の処理モジュールを含む。情報データベース２０７は、仮想空間構成情報４０１、位置・向き情報４０３、画面操作情報４０５、及び音声情報４０７を含む。仮想空間構成情報４０１は、仮想空間に配置されたオブジェクトの情報を管理する。位置・向き情報４０３は、仮想空間に存在するプレイヤ（アバタ）の位置及び向きを管理する。画面操作情報４０５は、仮想空間内の画面に対するプレイヤの操作を管理する。音声情報４０７は、仮想空間に存在するプレイヤの音声を管理する。これら情報の詳細は、図７－１０を参照して後述する。

【0027】

メイン処理部４００の処理モジュールは、位置・向き情報取得部４０２、画面操作情報取得部４０４、音声情報取得部４０６、仮想空間映像生成部４０８、議論単位生成部４０９、議論グループ生成部４１０、及びまとめ映像生成部４１１を含む。

【0028】

位置・向き情報取得部４０２は、ユーザ端末１０４から受信した操作入力情報から、仮想空間におけるプレイヤ（アバタ）の位置及び向きの情報を抽出して、位置・向き情報４０３に格納する。操作入力情報は、仮想空間でのプレイヤの動作のためにユーザ端末１０４の操作を示す。

【0029】

画面操作情報取得部４０４は、ユーザ端末１０４から受信した操作入力情報から、画面に対する操作の情報を抽出して、画面操作情報４０５に格納する。音声情報取得部４０６は、ユーザ端末１０４から受信した操作入力情報から音声情報を抽出して、音声情報４０７に格納する。

【0030】

仮想空間映像生成部４０８は、仮想空間構成情報４０１及びユーザ端末１０４から受信した操作入力情報から抽出された位置・向き情報４０３、画面操作情報４０５及び音声情報取得部４０６からの音声情報に基づき、仮想空間を示す映像を生成する。音声情報は、例えば、音声信号（音声データ）である。仮想空間映像は、リクエスト・レスポンス処理部４１２及びリクエスト・レスポンス送受信部４１３を介して、ユーザ端末１０４に送信される。

【0031】

議論単位生成部４０９は、ワークショップの終了後、ワークショップにおいて収集された情報４０３、４０５及び４０７を解析して議論単位を生成する。議論単位及び議論単位生成部４０９の処理の詳細は、図１４を参照して後述する。議論グループ生成部４１０は、議論単位生成部４０９により生成された議論単位から、１以上の議論単位で構成される議論グループを生成する。議論グループ及び議論グループ生成部４１０の処理の詳細は、図１５を参照して後述する。

【0032】

まとめ映像生成部４１１は、ワークショップの振り返りを可能とする、ワークショップの１以上のまとめ映像を生成する。まとめ映像生成部４１１は、議論グループ生成部４１０により生成された議論グループに基づき、まとめ映像を生成する。まとめ映像及びまとめ映像生成部４１１の処理の詳細は、図１６を参照して後述する。

【0033】

図５は、本明細書の一実施形態に係るユーザ端末１０４の機能構成例を示す。以下に説明する機能は、例えばユーザ端末１０４の演算装置３０１が、プログラム３０８を実行することにより実装される。

【0034】

ユーザ端末１０４は、入力処理部５０１、リクエスト・レスポンス処理部５０２、リクエスト・レスポンス送受信部５０３、及び表示処理部５０４を含む。入力処理部５０１は、ユーザによる入力装置３０４からの入力操作を受け付ける。入力操作は、マウスやキーボードの操作の他、マイクを介した音声入力を含む。

【0035】

リクエスト・レスポンス処理部５０２及びリクエスト・レスポンス送受信部５０３は、仮想空間管理システム１０１との通信のインタフェイスとして機能する。リクエスト・レスポンス処理部５０２は、入力処理部５０１から入力操作の後処理を行い、リクエスト・レスポンス送受信部５０３に渡す。リクエスト・レスポンス送受信部５０３は、受け取った情報を仮想空間管理システム１０１に送信する。

【0036】

リクエスト・レスポンス送受信部５０３は、仮想空間管理システム１０１から受信した仮想空間映像データを、リクエスト・レスポンス処理部５０２に渡す。リクエスト・レスポンス処理部５０２は、そのデータの前処理を行って、表示処理部５０４に渡す。表示処理部５０４は、受け取った仮想空間映像データを処理して、出力装置３０５において仮想空間映像を出力する。

【0037】

＜ワークショップの例＞
図６Ａは、仮想空間において行われているワークショップの様子の例を模式的に示す。図６Ａが示す仮想空間６００には、複数の画面６０１及び複数のプレイヤ（アバタ）６０２が存在している。図６Ａにおいて、例ととして、一つの画面及び一人のプレイヤが符号６０１及び６０２でそれぞれ指示されている。

【0038】

図６Ａの例において、画面６０１は固定されており、その位置、向き、及び法線を中心とする回転角は一定である。また、図６Ａの例において、画面６０１は矩形である。なお、画面６０１の形状は任意であり、画面６０１が可動であってもよい。ユーザは、ユーザ端末１０４の入力装置３０４を介して、仮想空間におけるアバタ６０２を操作することができる。

【0039】

具体的には、ユーザは、アバタを動かして、その位置及び向きを変更することができる。ユーザ端末１０４の出力装置３０５は、仮想空間におけるアバタの視点からの映像を表示する。

【0040】

プレイヤ６０２は、複数のプレイヤグループに分かれ、各プレイヤグループにおいて議論が行われている。図６Ａの例において、プレイヤ６０２は二つのプレイヤグループに分かれて、一方のプレイヤグループは三人のプレイヤで構成され、もう一方のプレイヤグループは二人のプレイヤで構成されている。二つのプレイヤグループは、異なる画面６０１を使用して議論を行っている。三人のプレイヤは、一つ又は二つの画面６０１を使用しながら議論を行っている。二人のプレイヤは、一つの画面６０１を使用しながら議論を行っている。

【0041】

図６Ｂは、ユーザによる画面操作の例を模式的に示す。例えば、ユーザは、画面６０１内へメモ６０３を投稿する、又は、画面６０１内のメモ６０３を移動することができる。図６Ｂの例においては、二つのメモのうちの一つが例として符号６０３で指示されている。さらに、ユーザは、自身のアバタ６０２から画面６０１上の点にレーザポインタ６０４を当てることができる。なお、図６Ｂは、画面操作の例を示しており、他の画面操作が可能であってよい。

【0042】

＜管理情報＞
以下において、仮想空間管理システム１０１が保持する情報を具体的に説明する図７は、仮想空間構成情報４０１の構成例を示す。仮想空間構成情報４０１は、仮想空間内に存在するオブジェクトを管理し、仮想空間でのワークショップの前に予め保存されている。本明細書の一実施形態において、仮想空間構成情報４０１は、仮想空間内に配置されている画面を管理する。図７の例において、仮想空間構成情報４０１は、テーブルフォーマットを有する。なお、記憶装置に格納されている任意の情報のフォーマットは任意である。

【0043】

図７の構成例において、仮想空間構成情報４０１は、画面ＩＤ欄７０１、中心座標欄７０２、法線ベクトル欄７０３、サイズ欄７０４、傾き欄７０５、画面名欄７０６、ＵＲＬ欄７０７を有する。画面ＩＤ欄７０１は、仮想空間内の画面を一意に識別する識別子を示す。

【0044】

中心座標欄７０２は、仮想空間における画面の中心座標を示す。本明細書の一実施形態において、仮想空間は３次元空間であり、中心座標は、互いに垂直な三つの座標軸の値で表されている。法線ベクトル欄７０３は、画面の法線ベクトルを示す。本例においては、画面は矩形でありかつフラットであるとする。なお、画面の形状は矩形平面に限定されず、任意である。

【0045】

サイズ欄７０４は、画面のサイズ、具体的には、矩形の垂直な二辺の長さを示す。傾き欄７０５は、画面の法線を軸とする回転角度を示す。画面名欄７０６は、画面の名称を示す。ＵＲＬ欄７０７は、画面が表示する画像のソースを示す。ＵＲＬ欄７０７が示すＵＲＬからの画像が、画面に埋め込まれる。

【0046】

図８は、位置・向き情報４０３の構成例を示す。位置・向き情報４０３は、仮想空間においてワークショップに参加しているプレイヤ（アバタ）の位置及び向きを管理する。上述のように、位置・向き情報取得部４０２によってユーザ端末１０４の操作入力情報から抽出されたアバタの位置及び向きの情報が、位置・向き情報４０３に随時格納される。

【0047】

図８の例において、位置・向き情報４０３は、テーブルフォーマットを有する。図８の構成例において、位置・向き情報４０３は、プレイヤＩＤ欄８０１、時刻欄８０２、位置座標欄８０３、向きベクトル欄８０４を有する。プレイヤの位置又は向きが変化すると、対応する情報を示す一つのレコードが、位置・向き情報４０３に追加される。

【0048】

プレイヤＩＤ欄８０１は、プレイヤを一意に識別する識別子を示す。時刻欄８０２は、レコードが追加された時刻を示す。位置座標欄８０３は、仮想空間におけるプレイヤの位置座標を示す。向きベクトル欄８０４は、プレイヤの向きを表すベクトル示す。つまり、一つのレコードは、時刻欄８０２が示す時刻における、プレイヤＩＤ欄８０１が示すプレイヤの位置及び向きの情報を示す。位置座標欄８０３が仮想空間におけるプレイヤの位置を示し、向きベクトル欄８０４が、プレイヤが向いている方向を示す。プレイヤの連続する前後レコードの間の状態は、前のレコードが示す状態が維持されている。

【0049】

図９は、画面操作情報４０５の構成例を示す。画面操作情報４０５は、仮想空間に配置された画面に対するプレイヤによる操作を管理する。上述のように、画面操作情報取得部４０４によってユーザ端末１０４の操作入力情報から抽出された画面操作の情報が、画面操作情報４０５に随時格納される。

【0050】

図９の例において、画面操作情報４０５は、テーブルフォーマットを有する。図９の構成例において、画面操作情報４０５は、プレイヤＩＤ欄９０１、時刻欄９０２、操作対象画面ＩＤ欄９０３、操作種別欄９０４、操作時間欄９０５を有する。画面操作が実行される毎に、対応する情報を示す一つのレコードが画面操作情報４０５に追加される。

【0051】

プレイヤＩＤ欄９０１は、画面に対する操作を実行したプレイヤの識別子を示す。時刻欄９０２は、プレイヤが画面に対する操作を実行した時刻を示す。例えば、操作の開始時刻が格納される。操作対象画面ＩＤ欄９０３は、操作された画面の識別子を示す。

【0052】

操作種別欄９０４は、画面に対して実行された操作の種類を示す。図９において、複数種類の画面内操作とレーザポインタの例が示されている。画面内操作の例は、画面へのメモの添付、画面上のメモの移動、画面上の画像切り替え等を含む。レーザポインタ操作は、プレイヤから画面上の点にレーザ光を照射する。操作時間欄９０５は、実行された操作の継続時間を示す。つまり、操作の開始から操作の終了までの時間長を示す。

【0053】

図１０は、音声情報４０７の構成例を示す。音声情報４０７は、ワークショップに参加しているプレイヤにより発話された音声を管理する。上述のように、音声情報取得部４０６によってユーザ端末１０４の操作入力情報から抽出された発話の情報が、音声情報４０７に随時格納される。

【0054】

図１０の例において、音声情報４０７は、テーブルフォーマットを有する。図１０の構成例において、音声情報４０７は、プレイヤＩＤ欄１００１、時刻欄１００２、音声テキスト欄１００３、発話時間欄１００４を有する。プレイヤによる発話がなされる毎に、対応する情報を示す一つのレコードが音声情報４０７に追加される。

【0055】

プレイヤＩＤ欄１００１は、発話したプレイヤの識別子を示す。時刻欄１００２は、発話の開始時刻を示す。音声テキスト欄１００３は、発話内容のテキストを示す。発話内容をテキストで保持することでデータ量を削減できる。なお、例えば、圧縮された音声データが格納されてもよく、テキストをプレイヤの声に類似した音声に変換するメタデータが格納されていてもよい。発話時間欄１００４は、発話の長さを示す。

【0056】

＜仮想空間管理システム及びユーザ端末の処理＞
以下において、仮想空間管理システム１０１及びユーザ端末１０４の処理をより具体的に説明する。まず、ユーザ端末１０４の処理を説明する。図１１は、ユーザ端末１０４の処理例のフローチャートを示す。ユーザ操作入力があると（Ｓ１１０１：ＹＥＳ）、入力処理部５０１は、それがワークショップへの参加を終了する操作入力は判定する（Ｓ１１０２）。操作入力がワークショップからの退出示す場合（Ｓ１１０２：ＹＥＳ）、ユーザ端末１０４は、仮想空間の映像データの表示を終了する。

【0057】

ユーザ操作が、ワークショップへの参加の終了と異なる内容を示す場合（Ｓ１１０２：ＮＯ）、入力処理部５０１は、リクエスト・レスポンス処理部５０２及びクエスト・レスポンス送受信部５０３を介して、操作入力情報を仮想空間管理システム（サーバ）１０１に送信する（Ｓ１１０３）。

【0058】

ユーザ操作入力がない場合（Ｓ１１０１：ＮＯ）、フローはステップＳ１１０４に進む。映像データが受信されていない場合（Ｓ１１０４：ＮＯ）、フローはステップＳ１１０１に戻る。クエスト・レスポンス送受信部５０３及びリクエスト・レスポンス処理部５０２を介して仮想空間映像データを受信すると（Ｓ１１０４：ＹＥＳ）、表示処理部５０４は、出力装置３０５において仮想空間の映像を、新たに受信した映像に更新する（Ｓ１１０５）。

【0059】

次に、仮想空間管理システム１０１の処理を説明する。まず、仮想空間管理システム１０１による仮想空間でのワークショップの管理及び制御を説明する。上述のように、仮想空間管理システム１０１は、ユーザ端末１０４からの操作入力に応じて、更新された仮想空間映像を生成し、ユーザ端末１０４に送信する。

【0060】

図１２は、仮想空間管理システム１０１による仮想空間の管理及び制御の例を示すフローチャートである。ユーザ端末１０４から操作入力情報が送信されると、リクエスト・レスポンス送受信部４１３が、その操作入力情報を受信する（Ｓ１２０１：ＹＥＳ）。操作入力情報は、リクエスト・レスポンス処理部４１２に前処理されて、メイン処理部４００に渡される。

【0061】

メイン処理部４００は、受け取った操作入力情報から所定の情報を生成して、情報データベース２０７に格納する（Ｓ１２０２）。具体的には、位置・向き情報取得部４０２は、操作入力情報からプレイヤ（アバタ）の位置及び向きの変化を示す情報を取得する。位置・向き情報取得部４０２は、当該プレイヤの直前の位置及び向きの情報を保持している。位置・向き情報取得部４０２は、直前の状態と入力操作情報が示す状態変化とから、プレイヤの新たな位置及び向きを決定する。位置・向き情報取得部４０２は、プレイヤの新たな状態の情報を位置・向き情報４０３に格納する。

【0062】

画面操作情報取得部４０４は、操作入力情報からプレイヤによる画面操作を示す情報を取得する。画面操作情報取得部４０４は、その情報を、画面操作情報４０５に格納する。音声情報取得部４０６は、操作入力情報からプレイヤによる音声データを取得する。音声情報取得部４０６は、音声データをテキスト化して、他の情報と共に音声情報４０７に格納する。

【0063】

仮想空間映像生成部４０８は、仮想空間構成情報４０１、位置・向き情報４０３、画面操作情報４０５及び音声情報取得から取得した音声データに基づいて、プレイヤそれぞれのための仮想空間映像を生成する（Ｓ１２０３）。リクエスト・レスポンス処理部４１２は、プレイヤそれぞれの仮想空間映像データの後処理を行い、リクエスト・レスポンス送受信部４１３は、プレイヤそれぞれのユーザ端末１０４に、仮想空間映像データを送信する（Ｓ１２０４）。

【0064】

仮想空間管理システム１０１が、仮想空間のサービスの終了を指示する操作を管理者から受信すると（Ｓ１２０５）、仮想空間管理システム１０１は、仮想空間のサービスを終了する。仮想空間のサービスの終了指示がない場合（Ｓ１２０５：ＮＯ）、フローはステップＳ１２０１に戻る。

【0065】

次に、仮想空間管理システム１０１がまとめ映像を生成する処理の例を説明する。まとめ映像は、例えばワークショップを振り返るために視聴される映像であり、ワークショップの履歴を示す、位置・向き情報４０３、画面操作情報４０５、及び音声情報４０７に基づき生成される。仮想空間管理システム１０１は、ワークショップの履歴データから議論単位を抽出し、さらに、関連する議論単位をまとめて議論グループを構成する。仮想空間管理システム１０１は、議論グループ毎にまとめ映像を生成する。

【0066】

図１３は、仮想空間管理システム１０１による、まとめ映像の生成方法例のフローチャートを示す。議論単位生成部４０９は、情報データベース２０７から、まとめ映像を生成するための情報を読み出す（Ｓ１３０１）。具体的には、議論単位生成部４０９は、仮想空間構成情報４０１、位置・向き情報４０３、画面操作情報４０５、及び音声情報４０７から、仮想空間におけるワークショップの開始から終了までの映像データ（履歴情報）を取得する。

【0067】

次に、議論単位生成部４０９は、ワークショップの間において、各プレイヤが見ている画面及びその画面を見ている時間帯を特定する（Ｓ１３０２）。議論単位生成部４０９は、画面の位置及び向き、並びに、プレイヤの位置及び向きから、プレイヤが見ている画面を特定することができる。

【0068】

例えば、プレイヤの位置座標から向きベクトルが向かう方向と画面が交差する場合、当該プレイヤは当該画面を見ていると判定できる。なお、プレイヤが見ている画面の特定方法は、この例に限定されず、設計に応じて適切な方法を適用し得る。例えば、プレイヤの視野角が定義され、視野の含まれる面積が最も多い画面をプレイヤが見ていると判定してもよい。

【0069】

次に、議論単位生成部４０９は、プレイヤそれぞれの見ている画面及びプレイヤの音声、並びに、画面それぞれへの操作の情報に基づき、各画面についての議論単位を抽出する（Ｓ１３０３）。議論単位を抽出する方法の詳細は、図１４を参照して後述する。

【0070】

次に、議論グループ生成部４１０は、関連する議論単位をまとめて、議論グループを生成する（Ｓ１３０４）。議論グループ生成部４１０は、議論単位に付随するプレイヤの情報に基づき、関連する議論単位を決定する。関連する議論単位をグルーピングして議論グループを構成する方法の詳細は、図１５を参照して後述する。

【0071】

次に、まとめ映像生成部４１１は、議論グループ生成部４１０により生成された議論グループ毎に、まとめ映像（議論ストリームとも呼ぶ）を生成する。生成されたまとめ映像は、補助記憶装置２０３に格納される。まとめ映像を生成する方法の詳細は、図１６を参照して後述する。以上により、ワークショップのまとめ映像を生成する処理が終了する。

【0072】

＜議論単位生成＞
次に、図１４を参照しつつ、議論単位生成部４０９による議論単位の生成の方法例を説明する。図１４は、議論単位を生成する処理を説明するための図である。議論単位は、一つの議論のまとまりである。複数人のプレイヤからなるプレイヤグループでの議論は、画面６０１を使用して行われると考えることができる。そのため、本明細書の一実施形態において、一つの議論単位は、一つ画面６０１に対して決定される。

【0073】

本明細書の一実施形態において、議論単位は、仮想空間管理システム１０１によって一つの議論のまとまりと見なされる、画面６０１と関連付けられた時間帯である。一般に、一つの議論は、１又は関連する複数の議題について行われる。議論単位において、議論に参加するプレイヤは変化し得て、一定とは限らない。

【0074】

上述のように、議論単位は、仮想空間６００における各画面６０１（図６Ａ参照）に対して決定される。図１４は、画面ＩＤが４である画面に対して議論単位を決定する例を示す。矢印で示される横軸は、時間経過を示す。

【0075】

図１４において、三種類の時間帯が定義されている。一つは視認時間帯、一つは操作時間帯、一つは議論単位である。図１４は、画面ＩＤ４の画面６０１に対する視認時間帯１４０１Ａ～１４０１Ｉを示している。各操作時間帯は、白塗の実線の矩形で示されている。各白塗の実線の矩形内の数字は、時間順に視認時間帯１４０１Ａ～１４０１Ｉそれぞれにおいて、画面ＩＤ４の画面６０１に向いているプレイヤのＩＤを示す。

【0076】

図１４は、時間順に、１０の操作時間帯１４０２Ａ～１４０２Ｊをしている。各操作時間帯は、斜線パタンが付された実線の矩形で示されている。図１４は、時間順に三つの議論単位１４０３Ａ、１４０３Ｂ及び１４０３Ｃを示している。各議論単位は、視認時間帯１４０１Ａ～１４０１Ｉ内で、ドットパタンが付与された破線の矩形で示されている。

【0077】

議論単位１４０３Ａに参加している議論プレイヤは、プレイヤ１、２及び４である。議論単位１４０３Ｂに参加している議論プレイヤは、プレイヤ１、２及び４である。議論単位１４０３Ｃに参加している議論プレイヤは、プレイヤ１、２、３及び４である。

【0078】

まず、視認時間帯を説明する。視認時間帯は、同一のプレイヤグループが、同一の画面を向いている時間帯である。一つのプレイヤグループは、１以上のプレイヤで構成される。したがって、視認時間帯は、１以上の同一のプレイヤが、一つの画面に向いている時間帯である。全ての視認時間帯は重複することなく、分離されている。図１４において、常にいずれかのプレイヤが、画面ＩＤ４の画面６０１に向いている。他の例において、時間軸で隣接する視認時間帯の間に、だれも画面に向いていない時間帯が存在し得る。

【0079】

上述のように、視認時間帯を表す矩形内の数字は、画面ＩＤ４の画面６０１に向いているプレイヤのＩＤを示す。以下において、いくつかの視認時間帯を例として説明する。他の視認時間帯にも同様に説明できる。例えば、視認時間帯１４０１Ａにおいて、一人のプレイヤ１が、画面ＩＤ４の画面６０１を向いている。視認時間帯１４０１Ｃにおいて、三人のプレイヤ１、２及び４が、画面ＩＤ４の画面６０１を向いている。

【0080】

次に、操作時間帯を説明する。操作時間帯は、画面が操作されている又は画面に向いているプレイヤが音声を発している時間帯である。時間軸において隣接する操作時間帯の間の間隙は、画面ＩＤ４の画面６０１に向いているプレイヤのだれも発話せず、かつ、画面ＩＤ４の画面が操作されていない時間帯（無操作時間帯）である。

【0081】

議論においては、議論に参加しているプレイヤが、互いに意見を述べる、又は、画面を操作して議論を進める。このように操作時間帯を定義することで、議論単位をより適切に抽出することができる。なお、発話及び画面操作と異なる条件が追加されてもよく、例えば画面操作の条件が省略されてもよい。

【0082】

図１４を参照して、いくつかの操作時間帯を例として説明する。他の操作時間帯も同様に説明され得る。例えば、操作時間帯１４０２Ａにおいて、当初、プレイヤ１及び２が画面ＩＤ４の画面６０１を向いており、かつ、プレイヤ１及び２の少なくも一方が発話を行っている又は画面ＩＤ４の画面６０１が操作されている。

【0083】

その後、プレイヤ４が動いて位置及び／又は向きを変え、画面ＩＤ４の画面６０１に向く。操作時間帯１４０２Ａの途中から、プレイヤ１、２及び４が、画面ＩＤ４の画面６０１に向いており、かつ、プレイヤ１、２及び４の少なくも一人が発話を行っている又は画面ＩＤ４の画面６０１が操作されている。

【0084】

操作時間帯１４０２Ｂ～１４０２Ｅにおいて、プレイヤ１、２及び４が、画面ＩＤ４の画面６０１に向いており、かつ、プレイヤ１、２及び４の少なくも一人が発話を行っている又は画面ＩＤ４の画面６０１が操作されている。

【0085】

操作時間帯１４０２Ｆにおいて、プレイヤ２及び４が、開始時刻から途中時刻まで画面ＩＤ４の画面６０１に向いてる。また、プレイヤ２及び４の少なくとも一人が発話している又は画面ＩＤ４の画面６０１が操作されている。その後、プレイヤ４が画面ＩＤ４の画面６０１から離れ、プレイヤ２のみが画面ＩＤ４の画面６０１を向いている。プレイヤ２は、画面ＩＤ４の画面６０１をしばらく操作した後、操作を終了する。

【0086】

次に、議論単位を説明する。議論単位は、視認時間帯及び操作時間帯に基づき決定される。議論単位生成部４０９は、視認時間帯１４０１Ａ～１４０１Ｉから、プレイヤ数が閾値ｎ（第１閾値）を超える視認時間帯を選択する。

【0087】

閾値ｎは例えば１である。この場合、二人以上、つまり複数のプレイヤの視認時間帯が選択される。閾値ｎは、例えば、１以上の任意の数とすることができる。議論は複数のプレイヤによって行われるので、より適切に議論単位を抽出できる。図１４の例において、視認時間帯１４０１Ｂから１４０１Ｄ、１４０１Ｆから１４０１Ｈが選択される。

【0088】

次に、議論単位生成部４０９は、時間軸で隣接する操作時間帯の間隔が閾値ｍ（第２閾値）未満の、連続する操作時間帯をグループ化する。閾値ｍは、例えば３０秒としてもよい。図１４の例において、操作時間帯１４０２Ａ及び１４０２Ｂがグループ化され、操作時間帯グループ１４１０Ａが構成される。操作時間帯１４０２Ｃから１４０２Ｆがグループ化され、操作時間帯グループ１４１０Ｂが構成される。また、操作時間帯１４０２Ｇから１４０２Ｊがグループ化され、操作時間帯グループ１４１０Ｃが構成される。

【0089】

各操作時間帯グループは、一つの時間帯と見なされる。つまり、最初の操作時間帯の開始時刻から最後の操作時間帯の終了時刻までの時間帯が、操作時間帯グループの時間帯である。連続する操作時間帯の間の間隔は、操作時間帯グループに属する時間として埋められる。

【0090】

議論単位生成部４０９は、選択された視認時間帯と操作時間帯グループとの重複時間帯を、議論単位と決定する。図１４の例において、操作時間帯グループ１４１０Ａと視認時間帯１４０１Ｂとの重複時間帯、及び、操作時間帯グループ１４１０Ａと視認時間帯１４０１Ｃとの重複時間帯が、一つの時間帯を構成している。この時間帯が、議論単位１４０３Ａと決定される。視認時間帯１４０１Ｂ又は視認時間帯１４０１Ｃの少なくとも一方のプレイヤが、議論単位１４０３Ａの議論プレイヤと決定される。

【0091】

操作時間帯グループ１４１０Ｂと視認時間帯１４０１Ｃとの重複時間帯、及び、操作時間帯グループ１４１０Ｂと視認時間帯１４０１Ｄとの重複時間帯が、一つの時間帯を構成している。この時間帯が、議論単位１４０３Ｂと決定される。視認時間帯１４０１Ｃ又は視認時間帯１４０１Ｄの少なくとも一方のプレイヤが、議論単位１４０３Ｂの議論プレイヤと決定される。

【0092】

操作時間帯グループ１４１０Ｃと視認時間帯１４０１Ｆとの重複時間帯、及び、操作時間帯グループ１４１０Ｃと視認時間帯１４０１Ｇとの重複時間帯が、一つの時間帯を構成している。この時間帯が、議論単位１４０３Ｃと決定される。視認時間帯１４０１Ｆ又は視認時間帯１４０１Ｇの少なくとも一方のプレイヤが、議論単位１４０３Ｃの議論プレイヤと決定される。

【0093】

上述のように、議論単位生成部４０９は、各画面について、プレイヤの数及びプレイヤ間のインタラクションに基づき議論単位を決定する。これにより、より適切に議論単位を決定することができる。

【0094】

つまり、議論単位生成部４０９は、同一プレイヤグループが選択された画面を見ている視認時間帯を特定する。具体的には、議論単位生成部４０９は、位置・向き情報４０３を参照して、各時刻における、各プレイヤの位置及び向きを特定する。さらに、議論単位生成部４０９は、仮想空間構成情報４０１を参照して、画面それぞれの位置及び向きを特定する。

【0095】

議論単位生成部４０９は、上記プレイヤ及び画面の情報から、各時刻において選択された画面に向いているプレイヤを特定することができる。一例において、プレイヤの位置から向きベクトルが向く方向において最初に存在する画面が、当該プレイヤが向いている画面と決定してもよい。

【0096】

さらに、議論単位生成部４０９は、選択された画面に対する画面操作及び当該画面に向いているプレイヤの音声の少なくとも一方が存在する操作時間帯を特定する。議論単位生成部４０９は、画面操作情報４０５を参照することで、選択された画面が操作された時間帯を知ることができる。また、議論単位生成部４０９は、音声情報４０７を参照することで、選択された画面に向いているプレイヤの発話時間帯を知ることができる。

【0097】

議論単位生成部４０９は、上記視認時間帯から、閾値ｎを超えるプレイヤの視認時間帯を選択する。さらに、議論単位生成部４０９は、時間軸で隣接する操作時間帯の間隔がｍ秒未満の操作時間帯で操作時間帯グループを構成する。操作時間帯グループが、一つの時間帯を構成する。上述のように、操作時間帯グループ内で、隣接する操作時間帯の間の時間は、操作時間帯グループの時間に含まれる。

【0098】

議論単位生成部４０９は、閾値ｎを超えるプレイヤの全視認時間帯と、全操作時間帯グループとの間の各重複時間帯を、議論単位と決定する。また、議論単位において画面に向いている全てのプレイヤを、その議論単位の議論プレイヤと決定する。

【0099】

上記例において、議論単位生成部４０９は、操作時間帯グループを構成してから、操作時間帯グループと複数人が画面を見ている視認時間帯との重複時間帯を特定する。その重複期間の開始時刻から終了時刻の時間帯が議論単位である。他の例において、議論単位生成部４０９は、操作時間帯と複数人が画面を見ている視認時間帯との重複時間帯を特定し、隣接する時間帯の間隔が閾値ｍ未満の重複時間帯で、グループを構成してもよい。このグループの開始時刻から終了時刻までの時間帯が、議論単位である。

【0100】

いずれの方法も、閾値ｎより多いプレイヤが同一画面を向いており、かつ、それらプレイヤの音声及びその同一画面の操作の少なくとも一方が検出されている時間帯、のシーケンスにおいて、時間軸において隣接する時間帯の間隔が閾値ｍ未満である１以上の時間帯で構成されるグループの開始時刻から終了時刻の時間帯を、同一画面に関連付けれる議論単位と決定している。上記例は、議論単位を抽出する条件として、プレイヤの音声が存在すること、及び同一画面の操作が存在することが予め設定されている。これらの一方のみが設定されていてもよく、これらに加えて又は代えて、他の条件が予め設定されていてもよい。

【0101】

＜議論グループ生成＞
次に、図１５を参照しつつ、議論グループ生成部４１０による議論グループの生成の方法例を説明する。図１５は、議論グループを生成する処理を説明するための図である。議論グループは、関連する１以上の議論単位で構成されるグループである。議論グループは、１以上の議論単位で構成され、一つの議論単位は複数の議論グループに属し得る。後述するように、議論グループは、まとめ映像を生成するための単位である。なお、議論グループの生成は省略されてもよい。この例において、まとめ映像は、議論単に毎に生成され得る。

【0102】

図１５は、議論グループを構成する方法の例を示す。図１５は、二つの議論グループ１５０１Ａ及び１５０１Ｂを示す。議論グループ１５０１Ａは、議論単位１５０５Ａから１５０５Ｄ及び１５０５Ｆで構成されている。議論グループ１５０１Ｂは、議論単位１５０５Ｅ及び１５０５Ｆで構成されている。

【0103】

議論単位１５０５Ａは、画面ＩＤ４に対して割り当てられており、その議論プレイヤは、議論プレイヤ１、２及び４である。議論単位１５０５Ｂは、画面ＩＤ４に対して割り当てられており、その議論プレイヤは、議論プレイヤ１、２及び４である。議論単位１５０５Ｃは、画面ＩＤ４に対して割り当てられており、その議論プレイヤは、議論プレイヤ１、２、３及び４である。

【0104】

議論単位１５０５Ｄは、画面ＩＤ３に対して割り当てられており、その議論プレイヤは、議論プレイヤ１、３及び４である。議論単位１５０５Ｅは、画面ＩＤ５に対して割り当てられており、その議論プレイヤは、議論プレイヤ５、６、７及び８である。議論単位１５０５Ｆは、画面ＩＤ２に対して割り当てられており、その議論プレイヤは、議論プレイヤ１、２、３、５、６及び７である。

【0105】

議論グループ生成部４１０は、共通する議論プレイヤが閾値ｐを超える議論単位を、時系列にグループ化して、議論グループを構成する。これにより、連続して関連する議論単位を一つの議論グループに適切に含めることができる。図１５の例において、閾値ｐは、１である。つまり、共通の議論プレイヤが二人以上である議論単位が、時系列にグループ化される。閾値ｐは設計により適切に設定される。このように、共通する人数に応じて議論単位をグループ化することで、互いに関連する議論単位を一つの議論グループに適切にまとめることができる。なお、議論グループを構成する他の条件が使用されてもよい。

【0106】

図１５の例において、議論単位１５０５Ａと議論単位１５０５Ｂの議論プレイヤは同一であり、それらは同一の議論グループ１５０１Ａに含められる。議論単位１５０５Ｂと議論単位１５０５Ｄとの間において、議論プレイヤ１及び４が共通である。そのため、議論単位１５０５Ｄは、議論グループ１５０１Ａに含められる。

【0107】

議論単位１５０５Ｄと議論単位１５０５Ｃとの間において、議論プレイヤ１、３及び４が共通である。そのため、議論単位１５０５Ｃは、議論グループ１５０１Ａに含められる。議論単位１５０５Ｃと議論単位１５０５Ｆとの間において、議論プレイヤ１、２及び３が共通である。そのため、議論単位１５０５Ｄは、議論グループ１５０１Ａに含められる。

【0108】

議論単位１５０５Ａと議論単位１５０５Ｅとの間において、共通する議論プレイヤは存在しない。そのため、議論単位１５０５Ａと議論単位１５０５Ｅとは、異なる議論グループに分けられる。つまり、議論単位１５０５Ｅは、議論グループ１５０１Ａと異なる議論グループに含められる。

【0109】

議論単位１５０５Ｅと、議論単位１５０５Ｂ、１５０５Ｄ及び１５０５Ｃのそれぞれとの間において、共通する議論プレイヤは存在しない。そのため、議論単位１５０５Ｅは、議論単位１５０５Ｂ、１５０５Ｄ及び１５０５Ｃのそれぞれと異なる議論グループに含まれる。

【0110】

議論単位１５０５Ｅと議論単位１５０５Ｆとの間において、議論プレイヤ５、６及び７が共通である。そのため、議論単位１５０５Ｆは、同一の議論グループ１５０１Ｂに含められる。

【0111】

上述のように、議論グループ生成部４１０は、同一の議論グループを構成する議論単位を時間軸に沿って並べる。各議論グループの議論単位シーケンスが構成される。例えば、議論グループ１０５１Ａの議論単位シーケンスは、議論単位１５０５Ａ、１５０５Ｂ、１５０５Ｃ及び１５０５Ｆで構成され、議論グループ１０５１Ｂの議論単位シーケンスは、議論単位１５０５Ｅ及び１５０５Ｆで構成されている。

【0112】

議論グループ生成部４１０は、例えば開始時刻を基準として、グループ化前の先頭の議論単位を選択する。図１５の例において、議論単位１５０５Ａが選択される。議論グループ生成部４１０は、選択した議論単位より後に開始された議論単位の先頭から、議論プレイヤを比較する。共通する議論プレイヤが閾値ｐを超える議論単位が見つかるまで、比較が繰り返される。共通する議論プレイヤが閾値ｐを超える議論単位が見つからない場合、比較は、例えば、開始時刻が選択した議論単位（例えば議論単位１５０５Ａ）の終了時刻から規定時間内の議論単位まで繰り返されてもよい。または、比較は、最後の議論単位（例えば議論単位１５０５Ｆ）まで続けられてもよい。

【0113】

図１５の例において、議論グループ生成部４１０は、開始時刻が、選択した議論単位１５０５Ａの次の議論単位である、議論単位１５０５Ｅを選択する。これらに共通する議論プレイヤは存在しない。そのため、次に、議論グループ生成部４１０は、議論単位１５０５Ｂを選択する。これらは３人の共通する議論プレイヤを有するので、同一議論グループ１５０１Ａに含まれる。

【0114】

次に、現在の議論グループ１５０１Ａの最後の議論単位１５０５Ｂを選択して、それと同一議論グループに含まれる議論単位を探索する。探索方法は上述の通りである。議論単位１５０５Ｄが、議論グループ１５０１Ａに含められる。以下、同様の処理を繰り返して、議論単位Ｃ及び議論単位Ｆが、議論グループ１５０１Ａに含めれられる。このように、議論グループ生成部４１０は、議論グループに最後に追加した議論単位と共通の議論プレイヤの数が閾値を超え、最後に追加した議論単位より後の議論単位を、議論グループに追加することを繰り返して、議論グループを形成する。

【0115】

議論グループ１５０１Ａの構成が終了した後、議論グループ生成部４１０は、グループ化前の先頭の議論単位を選択する。図１５の例において、議論単位１５０５Ｅが選択される。

【0116】

議論グループ生成部４１０は、議論単位１５０５Ｅと、その次の議論単位１５０５Ｂの議論プレイヤを比較する。共通の議論プレイヤが存在しないため、これらは関連がないと判定され、グループ化されない。次に、議論グループ生成部４１０は、議論単位１５０５Ｂの次の議論単位１５０５Ｄを選択する。共通の議論プレイヤが存在しないため、これらは関連がないと判定され、グループ化されない。

【0117】

次に、議論グループ生成部４１０は、議論単位１５０５Ｄの次の議論単位１５０５Ｃを選択する。共通の議論プレイヤが存在しないため、これらは関連がないと判定され、グループ化されない。

【0118】

最後に、議論グループ生成部４１０は、議論単位１５０５Ｃの次の議論単位１５０５Ｆを選択する。３人の議論プレイヤが共通である。議論グループ生成部４１０は、議論単位１５０５Ｅと議論単位１５０５Ｆとを関連付けて、同一の議論グループ１５０１Ｂに含める。

【0119】

上述のように、議論グループ生成部４１０は、画面それぞれの議論単位の時間に沿ったシーケンスを構成し、グループ化前の先頭の議論単位を選択する。議論グループ生成部４１０は、選択した議論単位と次の議論単位との間で、議論プレイヤを比較する。共通する議論プレイヤが閾値を超えている場合、議論グループ生成部４１０は、それら議論単位を関連付けて同一グループに含める。議論グループ生成部４１０は、時間軸に沿って、選択した議論単位に関連する議論単位を探索する。

【0120】

関連する議論単位が見つかると、その見つかった議論単位を選択した議論単位として、議論グループ生成部４１０は、上記関連する議論単位の探索を実行する。議論グループに最後に追加した議論単位に関連する議論単位が見つからない場合、その議論グループのグループ化は終了する。

【0121】

議論グループ生成部４１０は、グループ化前の先頭の議論単位を選択から、上記処理を繰り返す。全ての議論単位のグループ化が終了すると、議論グループ生成部４１０により議論グループの生成処理が終了する。

【0122】

＜まとめ映像生成＞
次に、ワークショップのまとめ映像の生成を説明する。図１６を参照しつつ、まとめ映像生成部４１１によるまとめ映像の生成の方法例を説明する。図１６は、議論グループ１５０１Ａのまとめ画像を生成する処理を説明するための図である。

【0123】

上述のように、議論グループ１５０１Ａは、議論単位１５０５Ａ、１５０５Ｂ、１５０５Ｄ、１５０５Ｃ、１５０５Ｆからなる議論単位シーケンスである。まとめ映像生成部４１１は、議論単位に基づき部分映像１６０１Ａから１６０６Ａを生成し、それら映像を時間軸にそってつなぎ合わせて、まとめ映像１６００Ａを構成する。

【0124】

本明細書の一実施形態において、まとめ映像生成部４１１は、議論グループにおける各時間帯において、使用されている全ての画面を映像に含める。使用されている画面は、プレイヤが向いている画面である。部分映像において、各時刻において使用されている画面を向いている全てのプレイヤが表示される。これにより、議論グループにおける情報を適切に映像にまとめることができる。

【0125】

まとめ映像生成部４１１は、使用されている画面が一定である時間帯で、各部分映像を生成する。このとき、議論単位間の空白の時間帯の映像は省略される。これにより、まとめ映像において不要な時間帯を省略できる。

【0126】

時間帯ａは、議論単位１５０５Ａの時間帯であり、画面ＩＤ４の画面のみが使用されている。また、時間帯ｂは、議論単位１５０５Ｂの前部分であって、画面ＩＤ４の画面のみが使用されている。まとめ映像生成部４１１は、画面ＩＤ４の画面及びそれを見ているプレイヤを映す、時間帯ａ及び時間帯ｂの部分映像１６０１Ａを生成する。

【0127】

時間帯ｃにおいて、議論単位が重複している。具体的には、時間帯ｃは、議論単位１５０５Ｂの後部分及び議論単位１５０５Ｄの前部分が含まれる。つまり、画面ＩＤ３及び画面ＩＤ４の画面が同時に使用されている。まとめ映像生成部４１１は、画面ＩＤ３及び画面ＩＤ４の画面並びにそれらに向いているプレイヤを映す、時間帯ｃの部分映像１６０２Ａを生成する。これにより、重複した双方の議論単位の映像を確認できる。

【0128】

時間帯ｄは、議論単位１５０５Ｄの中間部の時間帯であり、画面ＩＤ３の画面のみが使用されている。まとめ映像生成部４１１は、画面ＩＤ３の画面及びそれを見ているプレイヤを映す、時間帯ｄの部分映像１６０３Ａを生成する。

【0129】

時間帯ｅにおいて、議論単位が重複している。具体的には、時間帯ｅは、議論単位１５０５Ｄの後部分及び議論単位１５０５Ｃの前部分が含まれる。つまり、画面ＩＤ３及び画面ＩＤ４の画面が同時に使用されている。まとめ映像生成部４１１は、画面ＩＤ３及び画面ＩＤ４の画面並びにそれらに向いているプレイヤを映す、時間帯ｅの部分映像１６０４Ａを生成する。これにより、重複した双方の議論単位の映像を確認できる。

【0130】

時間帯ｆは、議論単位１５０５Ｃの後部の時間帯であり、画面ＩＤ４の画面のみが使用されている。まとめ映像生成部４１１は、画面ＩＤ４の画面及びそれを見ているプレイヤを映す、時間帯ｄの部分映像１６０５Ａを生成する。

【0131】

時間帯ｇは、議論単位１５０５Ｆの時間帯であり、画面ＩＤ２の画面のみが使用されている。まとめ映像生成部４１１は、画面ＩＤ２の画面及びそれを見ているプレイヤを映す、時間帯ｇの部分映像１６０６Ａを生成する。まとめ映像生成部４１１は、部分映像１６０１Ａから１６０６Ａを、時間順に連結して、議論ストリーム（まとめ映像）１６００Ａを構成する。

【0132】

次に、議論グループ１５０１Ｂのまとめ映像の生成の例を説明する。図１７は、議論グループ１５０１Ｂのまとめ画像を生成する処理を説明するための図である。議論グループ１５０１Ａと同様に、議論グループ１５０１Ｂのまとめ映像１７００Ａが生成される。

【0133】

時間帯ｈは、議論単位１５０５Ｅの時間帯であり、画面ＩＤ５の画面のみが使用されている。まとめ映像生成部４１１は、画面ＩＤ５の画面及びそれを見ているプレイヤを映す、時間帯ｈの部分映像１６０１Ｂを生成する。

【0134】

時間帯ｇは、議論単位１５０５Ｆの時間帯であり、画面ＩＤ２の画面のみが使用されている。まとめ映像生成部４１１は、画面ＩＤ２の画面及びそれを見ているプレイヤを映す、時間帯ｇの部分映像１６０２Ｂを生成する。まとめ映像生成部４１１は、部分映像１６０１Ｂ及び１６０２Ｂを、時間順に連結して、議論ストリーム（まとめ映像）１６００Ｂを構成する。

【0135】

なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明したすべての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

【0136】

また、上記の各構成・機能・処理部等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード等の記録媒体に置くことができる。

【0137】

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には殆どすべての構成が相互に接続されていると考えてもよい。

【符号の説明】

【0138】

１０１ 仮想空間管理システム
２０１ 演算装置
２０２ 主記憶装置
２０３ 補助記憶装置
２０７ 情報データベース
４００ メイン処理部
４０１ 仮想空間構成情報
４０２ 位置・向き情報取得部
４０３ 位置・向き情報
４０４ 画面操作情報取得部
４０５ 画面操作情報
４０６ 音声情報取得部
４０７ 音声情報
４０８ 仮想空間映像生成部
４０９ 議論単位生成部
４１０ 議論グループ生成部
４１１ まとめ映像生成部
４１２ リクエスト・レスポンス処理部
４１３ リクエスト・レスポンス送受信部
１４０２ 操作時間帯
１４１０ 操作時間帯グループ
１４０１ 視認時間帯
１４０３、１５０５ 議論単位
１５０１ 議論グループ
１６００ まとめ映像
１６０２ 部分映像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】