特開 2024-166398 仮想イベントシステム、情報処理装置、出力制御方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024166398

(43)【公開日】2024-11-28

(54)【発明の名称】仮想イベントシステム、情報処理装置、出力制御方法及びプログラム

(51)【国際特許分類】

   H04M 3/56 20060101AFI20241121BHJP

   G10L 15/10 20060101ALI20241121BHJP

   G10L 25/21 20130101ALI20241121BHJP

   H04N 7/15 20060101ALI20241121BHJP

   G06F 3/16 20060101ALI20241121BHJP

   G06F 3/01 20060101ALI20241121BHJP

   G06F 3/0481 20220101ALI20241121BHJP

【ＦＩ】

H04M3/56 C

G10L15/10 500T

G10L25/21

H04N7/15 120

G06F3/16 650

G06F3/16 620

G06F3/01 510

G06F3/0481

【審査請求】有

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2024162341

(22)【出願日】2024-09-19

(62)【分割の表示】P 2020181910の分割

【原出願日】2020-10-29

(71)【出願人】

【識別番号】000006633

【氏名又は名称】京セラ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】内藤 昌宏

(72)【発明者】

【氏名】藤原 卓矢

(57)【要約】

【課題】仮想イベントに参加する複数のユーザの全てを盛り上げること。
【解決手段】例えば、仮想イベントシステム１は、ユーザの音量を識別可能な取得情報を提供する電子機器１００と、複数の電子機器１００と通信可能な情報処理装置２００と、を備える。情報処理装置２００は、仮想イベントに参加する複数のユーザの仮想テーブルにおける席次情報を記憶する記憶部２４０と、電子機器１００が提供した取得情報と席次情報とに基づいて、仮想テーブルにおける盛り上がり状態を分析する分析部２５２と、分析した仮想テーブルにおける盛り上がり状態を示す状態情報を作成する作成部２５４と、状態情報を出力するように、電子機器１００を制御する出力制御部２５５と、を備える。
【選択図】図７

【特許請求の範囲】

【請求項1】

ユーザの音量を識別可能な取得情報を提供する電子機器と、
複数の電子機器と通信可能な情報処理装置と、
を備え、
前記情報処理装置は、
仮想イベントに参加する複数の前記ユーザの仮想テーブルにおける席次情報を記憶する記憶部と、
前記電子機器が提供した前記取得情報と前記席次情報とに基づいて、前記仮想テーブルにおける盛り上がり状態を分析する分析部と、
分析した前記仮想テーブルにおける前記盛り上がり状態を示す状態情報を作成する作成部と、
前記状態情報を出力するように、前記電子機器を制御する出力制御部と、
を備える仮想イベントシステム。

【請求項2】

請求項１に記載の仮想イベントシステムにおいて、
前記状態情報は、分析した前記仮想テーブルにおける前記盛り上がり状態のマップを示す情報である、仮想イベントシステム。

【請求項3】

請求項１または２に記載の仮想イベントシステムにおいて、
前記分析部は、所定時間における前記取得情報が示す前記ユーザの音量に基づいて、前記仮想テーブルにおける前記盛り上がり状態を分析する、仮想イベントシステム。

【請求項4】

請求項１から３のいずれか１項に記載の仮想イベントシステムにおいて、
前記取得情報が示す前記ユーザの発話情報に基づいて、前記盛り上がり状態に関連する話題情報を推定する推定部をさらに備え、
前記作成部は、前記話題情報を前記盛り上がり状態に関連付けた前記状態情報を作成する、仮想イベントシステム。

【請求項5】

請求項１から４のいずれか１項に記載の仮想イベントシステムにおいて、
前記出力制御部は、前記ユーザの発話を促すための提示情報を出力するように、前記電子機器を制御する、仮想イベントシステム。

【請求項6】

請求項５に記載の仮想イベントシステムにおいて、
前記出力制御部は、前記提示情報を出力するように、前記分析部が盛り上がっていないと分析した前記ユーザの前記電子機器を制御する、仮想イベントシステム。

【請求項7】

複数の電子機器と通信可能な通信部と、
前記電子機器の出力を制御可能な制御部と、
を備え、
前記制御部は、
仮想イベントに参加する複数のユーザの仮想テーブルにおける席次情報を記憶する記憶部と、
前記ユーザの前記電子機器が提供した取得情報と前記席次情報とに基づいて、前記仮想テーブルにおける盛り上がり状態を分析する分析部と、
分析した前記仮想テーブルにおける前記盛り上がり状態を示す状態情報を作成する作成部と、
前記状態情報を出力するように、前記電子機器を制御する出力制御部と、
を備える情報処理装置。

【請求項8】

複数の電子機器の出力を制御する情報処理装置が実行する出力制御方法であって、
仮想イベントに参加する複数のユーザの仮想テーブルにおける席次情報を記憶部に記憶すること、
前記ユーザの前記電子機器が提供した取得情報と前記席次情報とに基づいて、前記仮想テーブルにおける盛り上がり状態を分析すること、
分析した前記仮想テーブルにおける前記盛り上がり状態を示す状態情報を作成すること、
前記状態情報を出力するように、前記電子機器を制御すること、
を含む出力制御方法。

【請求項9】

複数の電子機器と通信可能な通信部を備える情報処理装置に、
仮想イベントに参加する複数のユーザの仮想テーブルにおける席次情報を記憶部に記憶すること、
前記ユーザの前記電子機器が提供した取得情報と前記席次情報とに基づいて、前記仮想テーブルにおける盛り上がり状態を分析すること、
分析した前記仮想テーブルにおける前記盛り上がり状態を示す状態情報を作成すること、
前記状態情報を出力するように、前記電子機器を制御すること、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、仮想イベントシステム、情報処理装置、出力制御方法及びプログラムに関する。

【背景技術】

【0002】

近年では、例えば、遠隔地のコンピュータを用いて、打ち合わせ、会議、懇親会、飲み会、授業等をオンラインで実施する傾向にある。特許文献１には、参加する拠点の音量の大きさの変化に応じて、注目すべき拠点を決定するウェッブ会議システムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１８－１７４４７９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来の技術は、注目すべき拠点を把握できるものの、ユーザの盛り上がり状態を把握するものではない。このため、従来の技術では、イベントに参加する複数のユーザの全てを盛り上げることに改善の余地があった。

【課題を解決するための手段】

【0005】

態様の１つに係る仮想イベントシステムは、ユーザの音量を識別可能な取得情報を提供する電子機器と、複数の電子機器と通信可能な情報処理装置と、を備え、前記情報処理装置は、仮想イベントに参加する複数の前記ユーザの仮想テーブルにおける席次情報を記憶する記憶部と、前記電子機器が提供した前記取得情報と前記席次情報とに基づいて、前記仮想テーブルにおける盛り上がり状態を分析する分析部と、分析した前記仮想テーブルにおける前記盛り上がり状態を示す状態情報を作成する作成部と、前記状態情報を出力するように、前記電子機器を制御する出力制御部と、を備える。

【0006】

態様の１つに係る情報処理装置は、複数の電子機器と通信可能な通信部と、前記電子機器の出力を制御可能な制御部と、を備え、前記制御部は、仮想イベントに参加する複数の前記ユーザの仮想テーブルにおける席次情報を記憶する記憶部と、前記ユーザの前記電子機器が提供した前記取得情報と前記席次情報とに基づいて、前記仮想テーブルにおける盛り上がり状態を分析する分析部と、分析した前記仮想テーブルにおける前記盛り上がり状態を示す状態情報を作成する作成部と、前記状態情報を出力するように、前記電子機器を制御する出力制御部と、を備える。

【0007】

態様の１つに係る出力制御方法は、複数の電子機器の出力を制御する情報処理装置が実行する出力制御方法であって、仮想イベントに参加する複数の前記ユーザの仮想テーブルにおける席次情報を記憶部に記憶すること、前記ユーザの前記電子機器が提供した前記取得情報と前記席次情報とに基づいて、前記仮想テーブルにおける盛り上がり状態を分析すること、分析した前記仮想テーブルにおける前記盛り上がり状態を示す状態情報を作成すること、前記状態情報を出力するように、前記電子機器を制御すること、を含む。

【0008】

態様の１つに係るプログラムは、複数の電子機器と通信可能な通信部を備える情報処理装置に、仮想イベントに参加する複数の前記ユーザの仮想テーブルにおける席次情報を記憶部に記憶すること、前記ユーザの前記電子機器が提供した前記取得情報と前記席次情報とに基づいて、前記仮想テーブルにおける盛り上がり状態を分析すること、分析した前記仮想テーブルにおける前記盛り上がり状態を示す状態情報を作成すること、前記状態情報を出力するように、前記電子機器を制御すること、を実行させる。

【図面の簡単な説明】

【0009】

【図1】図１は、実施形態に係る仮想イベントシステムのシステム構成の一例を示す図である。

【図2】図２は、実施形態に係る仮想イベントシステムが用いる仮想テーブルの一例を示す図である。

【図3】図３は、実施形態に係る参加者のリストと属性の一例を示す図である。

【図4】図４は、実施形態に係る情報処理装置が分析した仮想テーブルにおける盛り上がり状態の分析例を説明するための図である。

【図5】図５は、実施形態に係る仮想イベントシステムの処理概要の一例を説明するための図である。

【図6】図６は、実施形態に係る電子機器の構成の一例を示す図である。

【図7】図７は、実施形態に係る情報処理装置の構成の一例を示す図である。

【図8】図８は、実施形態に係る電子機器が実行する処理手順の一例を示すフローチャートである。

【図9】図９は、実施形態に係る情報処理装置が実行する出力制御の処理手順の一例を示すフローチャートである。

【図10】図１０は、実施形態に係る仮想イベントシステムにおける電子機器の表示例を説明するための図である。

【図11】図１１は、実施形態に係る仮想イベントシステムにおける他の表示例を説明するための図である。

【発明を実施するための形態】

【0010】

［実施形態］
本出願に係る仮想イベントシステム等を実施するための複数の実施形態を、図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。以下の説明において、同様の構成要素について同一の符号を付すことがある。さらに、重複する説明は省略することがある。

【0011】

図１は、実施形態に係る仮想イベントシステムのシステム構成の一例を示す図である。図１に示す仮想イベントシステム１は、例えば、複数の電子機器１００を用いて、仮想空間での仮想イベントを実現するシステム構成の一例を示している。仮想イベントは、例えば、遠隔地の電子機器１００を用いたリモート会議を含む。仮想イベントは、例えば、仮想空間におけるコンパニー（コンパ）、飲み会、会議、会合、儀式、集会、歓送迎会等を含んでもよい。

【0012】

図１に示す一例では、仮想イベントシステム１は、ユーザＵ－１、・・・、ユーザＵ－８の仮想イベントを、電子機器１００を用いて実現する。以下の説明では、ユーザＵ－１、・・・、ユーザＵ－８を特に区別しない場合、ユーザＵ－１、・・・、ユーザＵ－８は、「ユーザＵ」と記載する。なお、仮想イベントシステム１に参加可能なユーザＵの数は、８人に限定するものではない。

【0013】

仮想イベントシステム１は、複数の電子機器１００と、情報処理装置２００と、を備える。複数の電子機器１００の各々と情報処理装置２００とは、ネットワーク４００を介して、相互に通信可能なように構成されている。

【0014】

ネットワーク４００は、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、電話網（携帯電話網、固定電話網等）、地域ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）網、インターネット等を含む。ネットワーク４００の接続形態は、無線であるか、有線であるか、又は有線と無線との組合せであるかを問わない。

【0015】

電子機器１００は、例えば、ユーザＵ－１、・・・、ユーザＵ－８の各々が仮想イベントで使用する個人向けの機器である。電子機器１００は、例えば、パーソナル・コンピュータ、ヘッドマウントディスプレイ、スマートフォン、タブレット端末、テレビジョン受信機、ゲーム機等を含む。電子機器１００は、例えば、ユーザＵの音声等を集音するマイクと、ユーザＵを撮像可能なカメラと、音声を出力可能なスピーカと、を備える。スピーカは、例えば、複数のチャンネルの音声を出力可能なステレオスピーカ、サラウンドスピーカ等を含む。

【0016】

電子機器１００は、ユーザＵの音声、ユーザＵを撮像した画像等を示す取得情報３００を取得する機能、取得した取得情報３００を情報処理装置２００に提供（送信）する機能、情報処理装置２００から受信した情報を出力する機能等を有する。取得情報３００は、例えば、ユーザＵが発した音声、当該音声の音量、ユーザＵを撮像した画像等の情報を含む。画像は、例えば、動画、静止画等を含む。電子機器１００は、例えば、マイクロフォン、カメラ等を用いて、ユーザＵに関する音声、画像等を識別可能な取得情報３００を取得する。

【0017】

情報処理装置２００は、例えば、クラウドサーバである。情報処理装置２００は、複数の電子機器１００と連携して、仮想イベントに関する処理を実行する。情報処理装置２００は、ネットワーク４００を介してアクセスされた複数の電子機器１００に、仮想イベントの機能を提供できる。情報処理装置２００は、電子機器１００で取得した取得情報３００を、他の電子機器１００で出力させることで、仮想イベントを実現できる。

【0018】

情報処理装置２００は、仮想イベントに参加する複数のユーザＵの属性情報３２０に基づいて、仮想テーブルにおけるユーザＵの席次を決定する機能を提供できる。属性情報３２０は、例えば、役職、年齢、職務、性別等の情報を含む。情報処理装置２００は、仮想イベントに参加する複数のユーザＵの属性と仮想テーブルの配置アルゴリズムとに基づいて、仮想テーブルにおける複数のユーザＵの席次を決定する機能を提供できる。配置アルゴリズムは、例えば、仮想テーブルに割り当てられた席順と参加する複数のユーザＵの属性、上下関係、性別等とに基づいて席次を決定するアルゴリズムを含む。情報処理装置２００は、仮想イベントの種類に応じて異なる配置アルゴリズムを用いることができる。例えば、仮想イベントがビジネスに関する会議である場合、情報処理装置２００は、役職、上下関係等に特化した配置アルゴリズムを用いる。情報処理装置２００は、仮想イベントに参加する複数のユーザＵの仮想テーブルにおける配置情報を記憶部に記憶する。

【0019】

情報処理装置２００は、仮想テーブルに配置したユーザＵの電子機器１００が提供した取得情報３００の音声、画像等の情報を、出力情報３１０として仮想テーブルに配置した他のユーザＵの電子機器１００に出力させる機能を提供できる。例えば、情報処理装置２００は、出力対象の第２ユーザごとに、電子機器１００のスペック等に応じた出力情報３１０を生成し、電子機器１００に出力させる。

【0020】

情報処理装置２００は、仮想イベントに参加する複数のユーザＵの電子機器１００が提供した取得情報３００と配置情報とに基づいて、仮想テーブルにおける盛り上がり状態を分析する機能を提供できる。情報処理装置２００は、分析した盛り上がり状態を示す状態情報を作成する機能を提供できる。情報処理装置２００は、作成した状態情報を電子機器１００に提供する機能を提供できる。情報処理装置２００は、電子機器１００が提供した取得情報３００が示す発話の情報を、公知である自然言語理解、自然言語処理等を用いて解析する機能を提供できる。情報処理装置２００は、ユーザＵの発話内容から話題を推定する機能を提供できる。本開示での盛り上がりとは、イベントに参加した参加者がイベントを楽しんでいる状態、興奮している状態、集中している状態及び発言している割合が高い状態のうちの少なくともいずれか１つを含むとしてよい。

【0021】

図１に示す一例では、仮想イベントシステム１は、ユーザＵ－１からユーザＵ－８の電子機器１００の各々が提供した取得情報３００を収集し、仮想テーブルにおける盛り上がり状態を分析する。仮想イベントシステム１は、分析した盛り上がり状態を示す状態情報５００を、ユーザＵ－１からユーザＵ－８の少なくとも１つの電子機器１００に提供できる。例えば、仮想イベントシステム１は、予め設定された仮想イベントの主催者、幹事、管理者等の属性を有するユーザＵの電子機器１００に、状態情報５００を提供できる。

【0022】

図２から図５を参照しながら、仮想イベントシステム１の処理概要の一例について説明する。図２は、実施形態に係る仮想イベントシステム１が用いる仮想テーブルの一例を示す図である。図３は、実施形態に係る参加者のリストと属性の一例を示す図である。図４は、実施形態に係る情報処理装置２００が分析した仮想テーブルにおける盛り上がり状態の分析例を説明するための図である。図５は、実施形態に係る仮想イベントシステム１の処理概要の一例を説明するための図である。

【0023】

図２に示すように、仮想イベントシステム１は、仮想テーブル１０００における座席１１００に対するユーザＵの席次を決定するアルゴリズム情報３３０を用いて、複数のユーザＵの席次を情報処理装置２００が決定する。アルゴリズム情報３３０は、例えば、８つの座席１１００を配置可能な仮想テーブル１０００に対して席次を決定するアルゴリズムを含む。

【0024】

図２に示す一例では、アルゴリズム情報３３０は、例えば、仮想テーブル１０００における左上の座席１１００から横方向に座席番号が大きくなるように割り振り、続いて、仮想テーブル１０００における左下の座席１１００から横方向に座席番号が大きくなるように割り振るアルゴリズムを含んでいる。アルゴリズム情報３３０は、例えば、ビジネスマナーに基づいたアルゴリズム、管理者が規定したアルゴリズム等を含んでもよい。アルゴリズム情報３３０は、４つのテーブルによって仮想テーブル１０００を構成している場合について説明するが、これに限定されない。アルゴリズム情報３３０は、例えば、長方形、円形等の１つのテーブルで仮想テーブル１０００に対応したアルゴリズムを含んでもよい。アルゴリズム情報３３０は、仮想テーブル１０００の種類、構成等に対応するように設けてもよい。

【0025】

仮想イベントシステム１は、仮想イベントに参加するユーザＵを識別可能な参加者情報３４０とアルゴリズム情報３３０とに基づいて、仮想テーブル１０００におけるユーザＵの席次を情報処理装置２００が決定する。図３に示すように、参加者情報３４０は、例えば、仮想イベントに参加するユーザＵの識別情報、名前等を識別可能なリストを示す情報を含む。参加者情報３４０は、ユーザＵを示す情報に、属性情報３２０の情報が関連付けられている。図３に示す一例では、参加者情報３４０の「Ｕ－１」を示す情報に、「事業部長」の役職を示す属性情報３２０が関連付けられている。すなわち、参加者情報３４０は、仮想イベントに参加する８人のユーザＵを、役職の高い順に並べたリストを示している。参加者情報３４０は、例えば、仮想イベントの幹事、主催者等を識別可能な情報を含んでもよい。

【0026】

図４に示すステップＳＴ１では、情報処理装置２００は、仮想イベントに参加するユーザＵ－１からユーザＵ－８を参加者情報３４０によって特定し、仮想イベントで用いる仮想テーブル１０００を決定する。情報処理装置２００は、属性情報３２０と配置アルゴリズムとに基づいて、仮想テーブル１０００におけるユーザＵ－１からユーザＵ－８の席次を決定する。例えば、情報処理装置２００は、参加するユーザＵの役職の高い順に並べる配置アルゴリズムで、仮想テーブル１０００における席次を決定する。情報処理装置２００は、仮想イベントに用いる仮想テーブル１０００の配置と決定したユーザＵの席次との関係を示す席次情報３５０に基づいて、状態情報５００を作成する。ステップＳＴ１に示す一例では、状態情報５００は、仮想イベントの開始直後のため、盛り上がっていない状態を示している。

【0027】

その後、情報処理装置２００は、ユーザＵ－１からユーザＵ－８の複数の電子機器１００の各々から所定時間ごとに取得情報３００を受信する。情報処理装置２００は、電子機器１００から取得情報３００を受信すると、取得情報３００に対応したユーザＵと仮想テーブル１０００の席次を特定する。情報処理装置２００は、取得情報３００が示す音量に基づいて、ユーザＵの盛り上がり状態を分析すると、分析結果をユーザＵに関連付けて記憶する。情報処理装置２００は、例えば、取得情報３００が示すユーザＵの顔を示す画像からユーザＵの表情を認識し、当該表情に基づいて盛り上がり状態を分析してもよい。

【0028】

情報処理装置２００は、例えば、所定時間ごとに、分析した複数のユーザＵの分析結果と席次情報３５０とに基づいて、状態情報５００を作成する。情報処理装置２００は、取得情報３００が示す発話の情報に基づいて発話内容を解析し、解析結果からユーザＵの話題を推定する。情報処理装置２００は、推定した話題を示す話題情報５１０をユーザＵに関連付けて記憶する。

【0029】

ステップＳＴ２では、情報処理装置２００は、ユーザＵ－３、ユーザＵ－４及びユーザＵ－８の取得情報が示す音量が第１閾値を超えているため、第１盛り上がり状態であると分析している。情報処理装置２００は、ユーザＵ－２、ユーザＵ－６及びユーザＵ－７の取得情報が示す音量が第１閾値以下かつ第２閾値を超えているため、第２盛り上がり状態であると分析している。第２盛り上がり状態は、第１盛り上がり状態よりも盛り上がり状態が低い状態を示している。情報処理装置２００は、ユーザＵ－１及びユーザＵ－５の取得情報が示す音量が第２閾値以下であるため、第３盛り上がり状態であると分析している。第３盛り上がり状態は、第２盛り上がり状態よりも盛り上がり状態が低い状態を示している。情報処理装置２００は、各盛り上がり状態を数値と対応付けてもよい。例えば、情報処理装置２００は、盛り上がり状態が高いほど高い数値とし、第１盛り上がり状態を数値３、第２盛り上がり状態を数値２、第３盛り上がり状態を数値１と対応付けてよい。情報処理装置２００が行う各盛り上がり状態と数値との対応付けは、その他任意の方法でもよい。情報処理装置２００は、各盛り上がり状態を数値と対応付けることにより、各盛り上がり状態を数値的に取り扱うことができる。

【0030】

ステップＳＴ２に示す一例では、情報処理装置２００は、席次情報３５０と盛り上がり度の分析結果とに基づいて、第１盛り上がり状態から第３盛り上がり状態を識別可能な状態情報５００を作成する。情報処理装置２００は、状態情報５００の第１盛り上がり状態から第３盛り上がり状態の各々に、話題情報５１０を関連付けている。例えば、状態情報５００は、第１盛り上がり状態に、「サッカーの話題」を示す話題情報５１０が関連付けられている。例えば、状態情報５００は、第２盛り上がり状態に、「好きなタレントの話題」を示す話題情報５１０が関連付けられている。情報処理装置２００は、状態情報５００を電子機器１００に表示させることで、仮想テーブル１０００における第３盛り上がり状態の領域が盛り上がっていないことをユーザＵに認識させることができる。

【0031】

ステップＳＴ３では、情報処理装置２００は、ユーザＵに提供する話題を提示するための提示情報５２０を、第３盛り上がり状態であると分析したユーザＵ－１及びユーザＵ－５の電子機器１００に出力させる。例えば、情報処理装置２００は、予め用意されたお題を示す提示情報５２０の中からランダムに取得したり、第１盛り上がり状態の話題に類似した提示情報５２０を取得したりする。提示情報５２０は、例えば、自己紹介タイム、好きな食べ物を質問、仕事に関する質問等を促すための情報を含む。提示情報５２０は、例えば、表示、音声等を出力するための情報を含む。電子機器１００は、情報処理装置２００の制御によって、提示情報５２０を出力することで、ユーザＵの発話を促す。これにより、仮想イベントシステム１は、第１盛り上がり状態と分析したユーザＵとの発話を促すことで、仮想テーブル１０００に配置された複数のユーザＵの全体を盛り上げる支援を行うことができる。

【0032】

図５に示すステップＳＴ１１では、ユーザＵ－２の電子機器１００は、ユーザＵ－２の音声、画像等を取得情報３００として取得すると、当該取得情報３００を情報処理装置２００に提供する。この場合、取得情報３００は、例えば、「Ｕ－１さん こんにちは」の音声を示す情報を含む。なお、図５では、説明を簡単化するため、情報処理装置２００がユーザＵ－１の電子機器１００に出力させる処理概要を説明し、他のユーザＵの電子機器１００に出力させる処理概要を省略する。

【0033】

情報処理装置２００は、ユーザＵ－２の電子機器１００が提供した取得情報３００に基づいて、仮想テーブル１０００に配置したユーザＵ－１、ユーザＵ－３からユーザＵ－８の各々の出力情報３１０を作成する。例えば、情報処理装置２００は、席次情報３５０に基づいてユーザ同士の配置関係に応じた音量及び電子機器１００において出力に用いるチャンネル、表示領域等を識別可能な出力情報３１０を作成してもよい。

【0034】

例えば、配置関係に応じた音量は、ユーザＵ－２から近い位置のユーザＵに対する音量を１００％、ユーザＵ－２から遠い位置のユーザＵに対する音量を５０％とする。例えば、電子機器１００が左右２つのスピーカを有するステレオを用いる場合、情報処理装置２００は、左右２つのチャンネルのうち出力に用いるチャンネルを決定する。例えば、電子機器１００が３つ以上のスピーカを有するサラウンドを用いる場合、情報処理装置２００は、３つ以上のチャンネルのうち出力に用いるチャンネルを決定する。

【0035】

例えば、電子機器１００が左右２つのチャンネルであり、ユーザＵ－２がユーザＵ－１の左側に位置していることを席次情報３５０が示しているとする。この場合、情報処理装置２００は、電子機器１００の右側のチャンネルからユーザＵ－１に対して取得情報３００の音声を１００％の音量で出力するための出力情報３１０を作成する。情報処理装置２００は、取得情報３００の画像を、ユーザＵ－２の第１表示領域１１０Ａに表示するための出力情報３１０を作成する。情報処理装置２００は、作成した出力情報３１０を出力するように、ユーザＵ－１の電子機器１００を制御する。

【0036】

ステップＳＴ１２に示すように、ユーザＵ－１の電子機器１００は、情報処理装置２００が指示した取得情報３００の出力を行う。電子機器１００は、例えば、取得情報３００を配置関係に基づいて定められたユーザＵ－２の表示領域に画像を表示するとともに、ユーザＵ－２の音声をスピーカ等から出力する。

【0037】

図６は、実施形態に係る電子機器１００の構成の一例を示す図である。図６に示すように、電子機器１００は、表示部１１０と、操作部１２０と、スピーカ部１３０と、センサ部１４０と、通信部１５０と、記憶部１６０と、制御部１７０と、を備える。制御部１７０は、表示部１１０、操作部１２０、スピーカ部１３０、センサ部１４０、通信部１５０、記憶部１６０等と電気的に接続されている。

【0038】

表示部１１０は、例えば、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬディスプレイ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）等の表示パネルを有する。表示部１１０は、制御部１７０から入力される信号に応じて、文字、図形、画像等の情報を表示できる。表示部１１０が表示する情報には、上述した出力情報３１０が示す画像、ボタンや状態情報５００等の情報が含まれる。

【0039】

操作部１２０は、ユーザＵの操作を受け付けるための１ないし複数のデバイスを有する。ユーザＵの操作を受け付けるためのデバイスは、例えば、キー、ボタン、タッチスクリーン等を含む。操作部１２０は、受け付けた操作に応じた情報を制御部１７０へ供給できる。操作部１２０は、ユーザＵの操作、指示等に応じた情報を制御部１７０へ供給できる。

【0040】

スピーカ部１３０は、例えば、ステレオスピーカ、サラウンドスピーカ等を有する。本実施形態では、スピーカ部１３０は、左スピーカ１３１と、右スピーカ１３２と、を有する。スピーカ部１３０は、制御部１７０から入力されたモノラル信号、ステレオ信号、サラウンド信号等を出力する。スピーカ部１３０は、左右の２つのチャンネルで独立した音声を出力することで、単一の音声を出力するよりも、臨場感を表現可能な構成になっている。

【0041】

センサ部１４０は、ユーザＵや周囲に係る音、画像等の種々の取得情報３００を取得できる。本実施形態に係るセンサ部１４０は、例えば、カメラ、マイクロフォン等を含む。センサ部１４０は、例えば、地磁気センサ、タッチセンサ、赤外線センサ、温度センサ、湿度センサなどの様々なセンサを含んでもよい。センサ部１４０は、取得した取得情報３００を制御部１７０に供給できる。センサ部１４０は、マイクロフォンによって取得したユーザＵの音声等を示す取得情報３００を制御部１７０に供給できる。センサ部１４０は、カメラで取得したユーザＵの画像、映像等を示す取得情報３００を制御部１７０に供給できる。

【0042】

通信部１５０は、例えば、情報処理装置２００、他の電子機器１００等と通信できる。通信部１５０は、各種通信規格をサポートできる。通信部１５０は、例えば、有線又は無線ネットワーク等を介して各種情報を送受信できる。通信部１５０は、受信した情報を制御部１７０に供給できる。通信部１５０は、制御部１７０が指示した送信先に情報を送信できる。

【0043】

記憶部１６０は、プログラム及びデータを記憶できる。記憶部１６０は、制御部１７０の処理結果を一時的に記憶する作業領域としても利用される。記憶部１６０は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）な記憶媒体を含んでよい。記憶部１６０は、複数の種類の記憶媒体を含んでよい。記憶部１６０は、メモリカード、光ディスク、又は光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。記憶部１６０は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の一時的な記憶領域として利用される記憶デバイスを含んでよい。

【0044】

記憶部１６０は、例えば、プログラム１６１、取得情報３００、出力情報３１０、状態情報５００等を記憶できる。プログラム１６１は、情報処理装置２００と連携して仮想イベントを実現するための各種制御に関する機能を提供できる。取得情報３００は、例えば、センサ部１４０で取得した情報である。出力情報３１０及び状態情報５００は、例えば、情報処理装置２００から受信した情報である。記憶部１６０は、取得情報３００、出力情報３１０及び状態情報５００を時系列順に記憶できる。

【0045】

制御部１７０は、演算処理装置である。演算処理装置は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）、ＭＣＵ（Ｍｉｃｒｏ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、及びコプロセッサを含むが、これらに限定されない。制御部１７０は、電子機器１００の動作を統括的に制御して各種の機能を実現する。

【0046】

具体的には、制御部１７０は、記憶部１６０に記憶されている情報を必要に応じて参照しつつ、記憶部１６０に記憶されているプログラム１６１に含まれる命令を実行する。そして、制御部１７０は、データ及び命令に応じて機能部を制御し、それによって各種機能を実現する。機能部は、例えば、表示部１１０、操作部１２０、スピーカ部１３０、センサ部１４０、及び通信部１５０を含むが、これらに限定されない。

【0047】

制御部１７０は、センサ部１４０によってユーザＵの音声、音量等を識別可能な取得情報３００を取得した場合、通信部１５０を介して、取得情報３００を情報処理装置２００に送信する制御を行う。制御部１７０は、通信部１５０を介して、情報処理装置２００から出力情報３１０の出力が指示されると、出力情報３１０が示す画像を表示部１１０に表示させ、出力情報３１０が示す音声をスピーカ部１３０から出力させる。制御部１７０は、通信部１５０を介して、情報処理装置２００から状態情報５００の出力が指示されると、状態情報５００の画像を表示部１１０に表示させたり、状態情報５００が示す音声をスピーカ部１３０から出力させたりする。

【0048】

以上、本実施形態に係る電子機器１００の機能構成例について説明した。なお、図６を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る電子機器１００の機能構成は係る例に限定されない。本実施形態に係る電子機器１００の機能構成は、仕様や運用に応じて柔軟に変形可能である。

【0049】

本実施形態では、電子機器１００は、表示部１１０及びスピーカ部１３０を、出力情報３１０、状態情報５００等を出力する出力部として機能させる場合について説明するが、これに限定されない。例えば、電子機器１００は、電気的に接続された外部の出力装置に出力情報３１０を出力させるように構成してもよい。

【0050】

図７は、実施形態に係る情報処理装置２００の構成の一例を示す図である。図７に示すように、情報処理装置２００は、表示部２１０と、操作部２２０と、通信部２３０と、記憶部２４０と、制御部２５０と、を備える。制御部２５０は、表示部２１０、操作部２２０、通信部２３０、記憶部２４０等と電気的に接続されている。

【0051】

表示部２１０は、制御部２５０の制御によって各種情報を表示可能なように構成されている。表示部２１０は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ等の表示パネルを有する。表示部２１０は、制御部２５０から入力される信号に応じて、文字、図形、画像等の情報を表示する。

【0052】

操作部２２０は、ユーザの操作を受け付けるための１ないし複数のデバイスを有する。ユーザの操作を受け付けるためのデバイスは、例えば、キー、ボタン、タッチスクリーン等を含む。操作部２２０は、受け付けた操作に応じた信号を制御部２５０へ供給できる。

【0053】

通信部２３０は、例えば、電子機器１００、他の通信機器等と通信できる。通信部２３０は、各種通信規格をサポートできる。通信部２３０は、例えば、有線又は無線ネットワーク等を介して各種情報を送受信できる。通信部２３０は、受信した情報を制御部２５０に供給できる。通信部２３０は、制御部２５０が指示した送信先に情報を送信できる。

【0054】

記憶部２４０は、プログラム及びデータを記憶できる。記憶部２４０は、制御部２５０の処理結果を一時的に記憶する作業領域としても利用される。記憶部２４０は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的な記憶媒体を含んでよい。記憶部２４０は、複数の種類の記憶媒体を含んでよい。記憶部２４０は、メモリカード、光ディスク、又は光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。記憶部２４０は、ＲＡＭ等の一時的な記憶領域として利用される記憶デバイスを含んでよい。

【0055】

記憶部２４０は、例えば、プログラム２４１、取得情報３００、出力情報３１０、属性情報３２０、アルゴリズム情報３３０、参加者情報３４０、席次情報３５０、状態情報５００、話題情報５１０、提示情報５２０等を記憶できる。プログラム２４１は、複数の電子機器１００と連携して仮想イベントを実現するための各種制御に関する機能を提供できる。取得情報３００は、例えば、電子機器１００が提供した情報である。出力情報３１０は、例えば、複数の電子機器１００ごとに、取得情報３００に基づいて作成した情報である。属性情報３２０は、例えば、仮想イベントに参加する複数のユーザＵの属性を示す情報である。アルゴリズム情報３３０は、例えば、仮想テーブル１０００に対する席次を決定するアルゴリズムを含む。参加者情報３４０は、例えば、仮想イベントに参加するユーザＵを識別可能な情報を含む。席次情報３５０は、例えば、仮想テーブル１０００における座席１１００の配置とユーザＵの席次との関係を示す情報を含む。状態情報５００は、例えば、分析した盛り上がり状態を識別可能な情報を含む。話題情報５１０は、例えば、ユーザＵの発話内容を分析した話題を示す情報を含む。提示情報５２０は、例えば、ユーザＵの発話を促すための情報を含む。提示情報５２０は、例えば、お題、質問文等を提示するための情報を含む。

【0056】

本実施形態では、情報処理装置２００は、属性情報３２０、アルゴリズム情報３３０、参加者情報３４０、席次情報３５０、状態情報５００、話題情報５１０、提示情報５２０等を記憶部２４０に記憶する場合について説明するが、これに限定されない。情報処理装置２００は、属性情報３２０、アルゴリズム情報３３０、参加者情報３４０、席次情報３５０、状態情報５００、話題情報５１０、提示情報５２０等の情報を、アクセス可能な外部の記憶装置、サーバ等から取得する構成としてもよい。

【0057】

制御部２５０は、演算処理装置である。演算処理装置は、例えば、ＣＰＵ、ＳｏＣ、ＭＣＵ、ＦＰＧＡ、及びコプロセッサを含むが、これらに限定されない。制御部２５０は、情報処理装置２００の動作を統括的に制御して各種の機能を実現できる。

【0058】

具体的には、制御部２５０は、記憶部２４０に記憶されている情報を必要に応じて参照しつつ、記憶部２４０に記憶されているプログラム２４１に含まれる命令を実行できる。そして、制御部２５０は、データ及び命令に応じて機能部を制御し、それによって各種機能を実現できる。機能部は、例えば、表示部２１０及び通信部２３０を含むが、これらに限定されない。

【0059】

制御部２５０は、決定部２５１、分析部２５２、推定部２５３、作成部２５４、出力制御部２５５等の機能部を有する。制御部２５０は、プログラム２４１を実行することによって、決定部２５１、分析部２５２、推定部２５３、作成部２５４、出力制御部２５５等の機能を実現する。プログラム２４１は、情報処理装置２００の制御部２５０に、決定部２５１、分析部２５２、推定部２５３、作成部２５４及び出力制御部２５５を機能させるためのプログラムである。

【0060】

決定部２５１は、仮想イベントに参加する複数のユーザＵの属性情報３２０に基づいて、仮想テーブル１０００におけるユーザＵの席次を決定する。決定部２５１は、例えば、仮想イベントに参加するユーザＵの属性と仮想テーブル１０００の配置アルゴリズムとに基づいて、仮想テーブル１０００におけるユーザＵの席次を決定する。

【0061】

分析部２５２は、電子機器１００が提供した取得情報３００と席次情報３５０とに基づいて、仮想テーブル１０００における盛り上がり状態を分析する。分析部２５２は、例えば、仮想テーブル１０００における複数のユーザＵごと、または対話しているユーザＵのグループごとに、取得情報３００が示す音量に基づいて盛り上がり状態を分析する。対話しているか否かは、取得情報３００の発話内容から判別することができる。分析部２５２は、例えば、所定時間における音量の平均値に基づいて盛り上がり状態を分析する。所定時間は、例えば、１０分間等の設定された時間を含む。分析部２５２は、取得情報３００が示すユーザの顔画像に基づいて、盛り上がり状態を分析する。分析部２５２は、例えば、所定時間における笑顔の割合等に基づいて盛り上がり状態を分析する。

【0062】

推定部２５３は、取得情報３００が示すユーザＵの発話情報に基づいて、盛り上がり状態に関連する話題情報５１０を推定する。推定部２５３は、例えば、取得情報３００が示す発話情報を、公知である自然言語理解、自然言語処理等を用いて解析する。推定部２５３は、例えば、所定時間における発話情報が示すキーワード、複数のユーザＵが発した共通のキーワード等に基づいて話題情報５１０を推定する。推定部２５３は、キーワードと話題との対応関係を示すデータベース、機械学習等を用いて、キーワードに基づく話題情報５１０を推定する。推定部２５３は、推定した話題情報５１０を盛り上がり状態、ユーザＵ等に関連付けて記憶部２４０に記憶できる。

【0063】

作成部２５４は、分析した仮想テーブル１０００における盛り上がり状態のマップを示す状態情報５００を作成する。作成部２５４は、複数のユーザごとに分析した盛り上がり状態をユーザＵに関連付けて記憶しておき、席次情報３５０に基づいて仮想テーブル１０００を模式的に示すマップに、分析した盛り上がり状態を割り当てた状態情報５００を作成する。作成部２５４は、分析結果に基づいて盛り上がり状態をグルーピングした状態情報５００を作成してもよい。

【0064】

出力制御部２５５は、出力情報３１０、状態情報５００、話題情報５１０、提示情報５２０等を出力するように、電子機器１００を制御する。出力制御部２５５は、例えば、出力対象のユーザＵの電子機器１００に、通信部２３０を介して、情報の出力を指示する。出力制御部２５５は、ユーザＵの発話を促すための提示情報５２０を出力するように、電子機器１００を制御する。出力制御部２５５は、例えば、複数の提示情報５２０の中から抽出条件に基づいて抽出した提示情報５２０を出力するように、電子機器１００を制御する。抽出条件は、例えば、複数の提示情報５２０の中から、提示情報５２０をランダムに抽出する条件、出力対象のユーザＵの属性に適した提示情報を抽出する条件等を含む。出力制御部２５５は、提示情報５２０を出力するように、分析部２５２が盛り上がっていないと分析したユーザＵの電子機器１００を制御する。

【0065】

以上、本実施形態に係る情報処理装置２００の機能構成例について説明した。なお、図８を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理装置２００の機能構成は係る例に限定されない。本実施形態に係る情報処理装置２００の機能構成は、仕様や運用に応じて柔軟に変形可能である。

【0066】

図８は、実施形態に係る電子機器１００が実行する処理手順の一例を示すフローチャートである。図８に示す処理手順は、電子機器１００の制御部１７０がプログラム１６１を実行することによって実現される。図８に示す処理手順は、制御部１７０によって繰り返し実行される。

【0067】

図８に示すように、電子機器１００の制御部１７０は、センサ部１４０から取得情報３００を取得したか否かを判定する（ステップＳ１０１）。例えば、制御部１７０は、センサ部１４０が取得情報３００を供給した場合に、取得情報３００を取得したと判定する。制御部１７０は、センサ部１４０から取得情報３００を取得したと判定した場合（ステップＳ１０１でＹｅｓ）、処理をステップＳ１０２に進める。

【0068】

制御部１７０は、取得情報３００を情報処理装置２００に送信する（ステップＳ１０２）。例えば、制御部１７０は、電子機器１００を識別可能な情報を付加した取得情報３００を圧縮し、通信部１５０を介して情報処理装置２００に送信する。制御部１７０は、ステップＳ１０２の処理が終了すると、処理を後述するステップＳ１０７に進める。

【0069】

また、制御部１７０は、センサ部１４０から取得情報３００を取得していないと判定した場合（ステップＳ１０１でＮｏ）、処理をステップＳ１０３に進める。制御部１７０は、出力情報３１０を受信したか否かを判定する（ステップＳ１０３）。例えば、制御部１７０は、通信部１５０を介して、情報処理装置２００から出力情報３１０を受信している場合に、出力情報３１０を受信したと判定する。制御部１７０は、出力情報３１０を受信していると判定した場合（ステップＳ１０３でＹｅｓ）、処理をステップＳ１０４に進める。

【0070】

制御部１７０は、出力情報３１０の出力処理を実行する（ステップＳ１０４）。例えば、制御部１７０は、出力処理を実行することで、出力情報３１０の音声をスピーカ部１３０から出力させる。例えば、制御部１７０は、出力処理を実行することで、出力情報３１０の画像を該当する表示部１１０の表示領域に表示させる。制御部１７０は、ステップＳ１０４の処理が終了すると、処理を後述するステップＳ１０７に進める。

【0071】

また、制御部１７０は、出力情報３１０を受信していないと判定した場合（ステップＳ１０３でＮｏ）、処理を後述するステップＳ１０５に進める。制御部１７０は、状態情報５００または提示情報５２０を受信したか否かを判定する（ステップＳ１０５）。例えば、制御部１７０は、通信部１５０を介して、情報処理装置２００から状態情報５００または提示情報５２０を受信している場合に、受信したと判定する。制御部１７０は、状態情報５００または提示情報５２０を受信していないと判定した場合（ステップＳ１０５でＮｏ）、処理を後述するステップＳ１０７に進める。

【0072】

また、制御部１７０は、状態情報５００または提示情報５２０を受信したと判定した場合（ステップＳ１０５でＹｅｓ）、処理をステップＳ１０６に進める。制御部１７０は、状態情報５００または提示情報５２０の出力処理を実行する（ステップＳ１０６）。例えば、制御部１７０は、出力処理を実行することで、受信した状態情報５００を、表示部１１０に表示させる。例えば、制御部１７０は、出力処理を実行することで、受信した提示情報５２０の画像を表示部１１０に表示させたり、受信した提示情報５２０の音声をスピーカ部１３０から出力させたりする。制御部１７０は、ステップＳ１０６の処理が終了すると、処理をステップＳ１０７に進める。

【0073】

制御部１７０は、終了するか否かを判定する（ステップＳ１０７）。例えば、制御部１７０は、仮想イベントの終了、ユーザＵからの終了指示等を受け付けている場合に、終了すると判定する。制御部１７０は、終了しないと判定した場合（ステップＳ１０７でＮｏ）、処理を既に説明したステップＳ１０１に戻し、処理を継続する。また、制御部１７０は、終了すると判定した場合（ステップＳ１０７でＹｅｓ）、処理をステップＳ１０８に進める。

【0074】

制御部１７０は、出力終了処理を実行する（ステップＳ１０８）。例えば、制御部１７０は、出力終了処理を実行することで、出力を指示した表示部１１０、スピーカ部１３０等の出力を終了させる。制御部１７０は、ステップＳ１０８の処理が終了すると、図８に示す処理手順を終了させる。

【0075】

図９は、実施形態に係る情報処理装置２００が実行する出力制御の処理手順の一例を示すフローチャートである。図９に示す処理手順は、情報処理装置２００の制御部２５０がプログラム２４１を実行することによって実現される。図９に示す処理手順は、仮想イベントに参加するユーザＵの席次が決定した状態で、制御部２５０によって実行される。

【0076】

図９に示すように、情報処理装置２００の制御部２５０は、電子機器１００から取得情報３００を受信したか否かを判定する（ステップＳ２０１）。例えば、制御部２５０は、通信部２３０を介して、取得情報３００を受信している場合に、取得情報３００を受信したと判定する。制御部２５０は、電子機器１００から取得情報３００を受信していないと判定した場合（ステップＳ２０１でＮｏ）、処理を後述するステップＳ２０４に進める。また、制御部２５０は、電子機器１００から取得情報３００を受信したと判定した場合（ステップＳ２０１でＹｅｓ）、処理をステップＳ２０２に進める。

【0077】

制御部２５０は、取得情報３００と席次情報３５０とに基づいて、仮想テーブル１０００における盛り上がり状態を分析する（ステップＳ２０２）。例えば、制御部２５０は、分析部２５２として機能することで、仮想テーブル１０００で対話をしているユーザＵ、グループごとに、取得情報３００が示す所定時間における音量に基づいて盛り上がり状態を分析する。例えば、制御部２５０は、所定時間における音量の平均音量、最大音量等に基づいて盛り上がり状態を分析する。例えば、制御部２５０は、音量に基づいて盛り上がり状態を判別する機械学習プログラム等を用いてもよい。

【0078】

例えば、制御部２５０は、音量が第１閾値を超えている場合、第１盛り上がり状態であると分析する。例えば、制御部２５０は、音量が第１閾値以下かつ第２閾値を超えている場合、第２盛り上がり状態であると分析する。例えば、制御部２５０は、第２閾値以下である場合、第３盛り上がり状態であると分析する。制御部２５０は、ステップＳ２０２の処理が終了すると、処理をステップＳ２０３に進める。

【0079】

制御部２５０は、取得情報３００が示す発話情報に基づいて、ユーザの話題情報５１０を推定する（ステップＳ２０３）例えば、制御部２５０は、推定部２５３として機能することで、取得情報３００が示す発話情報を解析し、所定時間における発話情報が示すキーワード、複数のユーザＵが発した共通のキーワード等に基づいて話題情報５１０を推定する。制御部２５０は、推定した話題情報５１０をユーザＵ、仮想テーブル１０００の領域等に関連付けて記憶部２４０に記憶すると、処理をステップＳ２０４に進める。

【0080】

制御部２５０は、所定時間であるか否かを判定する（ステップＳ２０４）。例えば、制御部２５０は、盛り上がり状態を作成してから所定時間が経過した場合に、所定時間であると判定する。制御部２５０は、所定時間ではないと判定した場合（ステップＳ２０４でＮｏ）、処理を後述するステップＳ２０７に進める。また、制御部２５０は、所定時間であると判定した場合（ステップＳ２０４でＹｅｓ）、処理をステップＳ２０５に進める。

【0081】

制御部２５０は、仮想テーブル１０００における盛り上がり状態の状態情報５００を作成する（ステップＳ２０５）。例えば、制御部２５０は、作成部２５４と機能することで、所定時間が経過する間に分析した仮想テーブル１０００の盛り上がり状態と席次情報３５０とに基づいて、仮想テーブル１０００を模式的に示すマップに、分析した盛り上がり状態を割り当てた状態情報５００を作成する。制御部２５０は、ステップＳ２０５の処理が終了すると、処理をステップＳ２０６に進める。

【0082】

制御部２５０は、状態情報５００の出力処理を実行する（ステップＳ２０６）。出力処理は、例えば、状態情報５００を出力させる電子機器１００を特定する処理、特定した電子機器１００に状態情報５００の出力を指示する処理等を含む。制御部２５０は、状態情報５００を電子機器１００に出力させると、処理をステップＳ２０７に進める。

【0083】

制御部２５０は、提示タイミングであるか否かを判定する（ステップＳ２０７）。提示タイミングは、例えば、盛り上がっていない状態を分析したタイミング、予め設定された時間が経過したタイミング、ユーザＵからの提示指示を受け付けたタイミング等を含む。制御部２５０は、提示タイミングではないと判定した場合（ステップＳ２０７でＮｏ）、処理を後述するステップＳ２０９に進める。また、制御部２５０は、提示タイミングであると判定した場合（ステップＳ２０７でＹｅｓ）、処理をステップＳ２０８に進める。

【0084】

制御部２５０は、提示情報５２０の出力処理を実行する（ステップＳ２０８）。出力処理は、例えば、提示情報５２０をデータベース等から抽出する処理、提示情報５２０を出力させる電子機器１００を特定する処理、特定した電子機器１００に提示情報５２０の出力を指示する処理等を含む。制御部２５０は、提示情報５２０を電子機器１００に出力させると、処理をステップＳ２０９に進める。

【0085】

制御部２５０は、終了するか否かを判定する（ステップＳ２０９）。例えば、制御部２５０は、仮想イベントの終了等を受け付けている場合に、終了すると判定する。制御部２５０は、終了しないと判定した場合（ステップＳ２０９でＮｏ）、処理を既に説明したステップＳ２０１に戻し、処理を継続する。また、制御部２５０は、終了すると判定した場合（ステップＳ２０９でＹｅｓ）、処理をステップＳ２１０に進める。

【0086】

制御部２５０は、出力終了を電子機器１００に指示させる（ステップＳ２１０）。例えば、制御部２５０は、通信部２３０を介して、出力を指示した電子機器１００に対し、出力終了を指示する。制御部２５０は、ステップＳ２１０の処理が終了すると、図９に示す処理手順を終了させる。

【0087】

図１０は、実施形態に係る仮想イベントシステム１における電子機器１００の表示例を説明するための図である。図１０に示す一例では、仮想イベントは、ユーザＵ－６が主催者であることを前提とする。

【0088】

図１０に示すステップＳＴ１１では、情報処理装置２００は、仮想テーブル１０００において、ユーザＵ－３、ユーザＵ－４及びユーザＵ－８が第１盛り上がり状態であると分析し、第１グループを形成していると分析する。情報処理装置２００は、仮想テーブル１０００において、ユーザＵ－２、ユーザＵ－６及びユーザＵ－７が第２盛り上がり状態であると分析し、第２グループを形成していると分析する。情報処理装置２００は、仮想テーブル１０００において、ユーザＵ－１及びユーザＵ－５が盛り上がっていない状態であると分析している。情報処理装置２００は、これらの盛り上がり状態のマップを示す状態情報５００を、ユーザＵ－６の電子機器１００の表示部１１０に表示させている。情報処理装置２００は、推定した第１グループの「サッカーの話題」及び「オリンピックの話題」を示す話題情報５１０を状態情報５００に関連付けて表示させている。情報処理装置２００は、推定した第２グループの「好きなタレントの話題」を示す話題情報５１０を状態情報５００に関連付けて表示させている。情報処理装置２００は、これらの盛り上がり状態のマップにおいて、各盛り上がりの状態を、仮想テーブル１０００における領域の濃淡で表現するとしてよい。また、情報処理装置２００は、これらの盛り上がり状態のマップにおいて、各盛り上がりの状態を、仮想テーブル１０００における領域の色を変えて表示するとしてもよい。例えば、情報処理装置２００は、ユーザＵ－３、ユーザＵ－４及びユーザＵ－８が第１盛り上がり状態である場合これらグループの領域を赤色で表示し、ユーザＵ－２、ユーザＵ－６及びユーザＵ－７が第２盛り上がり状態である場合これらグループの領域を黄色で表示し、ユーザＵ－１及びユーザＵ－５が盛り上がっていない状態の場合これらグループの領域を灰色で表示するとしてもよい。情報処理装置２００が表示する上記色の組み合わせは任意に変更することができる。

【0089】

ステップＳＴ１２では、情報処理装置２００は、第１グループの話題情報５１０に基づいて、「サッカーに興味ある？」の提示情報５２０をデータベース等から抽出し、当該提示情報５２０をユーザＵ－１及びユーザＵ－５の電子機器１００に出力させている。ユーザＵ－１及びユーザＵ－５は、提示情報５２０を参照することで、提示情報５２０に関する対話を開始し、盛り上がっているとする。

【0090】

情報処理装置２００は、ユーザＵ－１及びユーザＵ－５の電子機器１００が提供した取得情報３００に基づいて、盛り上がり状態を分析する。この場合、情報処理装置２００は、ユーザＵ－１及びユーザＵ－５の各々の音量に基づいて、第１盛り上がり状態であると分析する。情報処理装置２００は、ユーザＵ－１及びユーザＵ－５の各々の発話情報に基づいて、話題情報５１０を推定する。ステップＳＴ１２に示す一例では、情報処理装置２００は、「サッカーの話題」を示す話題情報５１０を推定している。

【0091】

ステップＳＴ１３では、情報処理装置２００は、ユーザＵ－１及びユーザＵ－５が第１盛り上がり状態に遷移したので、ユーザＵ－１、ユーザＵ－３、ユーザＵ－４、ユーザ－５及びユーザＵ－８が第１盛り上がり状態、ユーザＵ－２、ユーザＵ－６及びユーザＵ－７が第２盛り上がり状態であることを示す状態情報５００を作成する。情報処理装置２００は、作成した状態情報５００を表示するように、電子機器１００を制御する。主催者であるユーザＵ－６は、電子機器１００の表示部１１０に表示された状態情報５００を参照することで、ユーザＵ－１及びユーザＵ－５が提示情報５２０によって盛り上がっていることを確認することができる。

【0092】

また、ユーザＵ－６は、提示情報５２０によってもユーザＵ－１及びユーザＵ－５が盛り上がらないことを確認した場合は、ユーザＵ－１及びユーザＵ－５に対して発話を行う。電子機器１００は、当該発話を示す取得情報３００を情報処理装置２００に提供する。情報処理装置２００は、取得情報３００に基づく出力情報３１０を電子機器１００に出力させる。これにより、仮想イベントシステム１は、主催者がユーザＵ－１及びユーザＵ－５の対話を促すことができるので、仮想テーブル１０００が全体的に盛り上げることを支援することができる。

【0093】

以上により、仮想イベントシステム１は、仮想イベントに参加するユーザＵの属性に応じて、仮想テーブル１０００におけるユーザＵの席次を決定することができる。そして、仮想イベントシステム１は、電子機器１００が提供した取得情報３００と、仮想テーブル１０００におけるユーザＵの席次情報３５０とに基づいて、仮想テーブル１０００における持ち上がり状態を分析できる。仮想イベントシステム１は、分析した持ち上がり状態のマップを示す状態情報５００を作成すると、当該状態情報５００を電子機器１００に出力させる。これにより、仮想イベントシステム１は、仮想テーブル１０００にユーザＵの席次を決定すると、状態情報５００によって仮想テーブル１０００における持ち上がり状態を電子機器１００で確認させることができる。その結果、仮想イベントシステム１は、状態情報５００を電子機器１００に出力させることで、仮想イベントに参加する複数のユーザの全てが盛り上げるように支援することができる。さらに、仮想イベントシステム１は、仮想イベントに適した一体感をユーザＵに提供できるとともに、ユーザ同士の信頼関係の向上に貢献することができる。

【0094】

仮想イベントシステム１は、状態情報５００を、分析した仮想テーブル１０００における盛り上がり状態のマップを示す情報とすることができる、これにより、仮想イベントシステム１は、情報処理装置２００が仮想テーブル１０００における盛り上がり状態のマップを示す状態情報５００を電子機器１００に出力させるで、仮想テーブル１０００における持ち上がり状態をユーザＵに目視させることができる。その結果、仮想イベントシステム１は、盛り上がりに欠ける仮想テーブル１０００をユーザＵに把握させるで、主催者等による盛り上げを図ることができる。

【0095】

仮想イベントシステム１は、所定時間における取得情報３００が示すユーザＵの音量に基づいて、仮想テーブル１０００における盛り上がり状態を分析できる。これにより、仮想イベントシステム１は、仮想テーブル１０００におけるユーザＵの音量に着目することで、仮想テーブル１０００の席次と音量との関係に基づいて盛り上がり状態を分析することができる。その結果、仮想イベントシステム１は、音量を計測するだけで、仮想イベントに参加する複数のユーザの全てが盛り上げるように支援することができる。

【0096】

仮想イベントシステム１は、取得情報３００が示すユーザＵの発話情報に基づいて、盛り上がり状態に関連する話題情報５１０を推定し、話題情報５１０を盛り上がり状態に関連付けた状態情報５００を作成できる。これにより、仮想イベントシステム１は、情報処理装置２００が仮想テーブル１０００における盛り上がり状態と話題とを電子機器１００で確認させることができる。その結果、仮想イベントシステム１は、仮想テーブル１０００における盛り上がり状態と話題とを認識させることで、盛り上がっていないユーザＵに対するきっかけを提供することができる。

【0097】

仮想イベントシステム１は、情報処理装置２００がユーザの発話を促すための提示情報５２０を、電子機器１００を出力させることができる。これにより、仮想イベントシステム１は、提示情報５２０を電子機器１００に出力させることで、仮想テーブル１０００のユーザＵの発話を促進させることができる。その結果、仮想イベントシステム１は、提示情報５２０を出力することで、仮想イベントに参加する複数のユーザの全てが盛り上げるように支援することができる。

【0098】

仮想イベントシステム１は、情報処理装置２００が提示情報５２０を出力するように、盛り上がっていないと分析したユーザＵの電子機器１００を制御できる。これにより、仮想イベントシステム１は、提示情報５２０を盛り上がっていないユーザＵの電子機器１００に出力させることで、仮想テーブル１０００のユーザＵの発話を促進させることができる。その結果、仮想イベントシステム１は、提示情報５２０を出力することで、仮想イベントで盛り上がっていないユーザが盛り上がるように支援することができる。

【0099】

情報処理装置２００は、仮想イベントに参加するユーザＵの属性に応じて、仮想テーブル１０００におけるユーザＵの席次を決定することができる。情報処理装置２００は、電子機器１００が提供した取得情報３００と、仮想テーブル１０００におけるユーザＵの席次情報３５０とに基づいて、仮想テーブル１０００における持ち上がり状態を分析できる。情報処理装置２００は、分析した持ち上がり状態のマップを示す状態情報５００を作成すると、当該状態情報５００を電子機器１００に出力させる。これにより、情報処理装置２００は、仮想テーブル１０００にユーザＵの席次を決定すると、状態情報５００によって仮想テーブル１０００における持ち上がり状態を電子機器１００で確認させることができる。その結果、情報処理装置２００は、状態情報５００を電子機器１００に出力させることで、仮想イベントに参加する複数のユーザの全てが盛り上げるように支援することができる。

【0100】

図１１は、実施形態に係る仮想イベントシステム１における他の表示例を説明するための図である。図１１に示すように、上述した仮想イベントシステム１は、仮想テーブル１０００の座席位置にユーザＵのキャラクタ情報３１０Ａを移動が可能なように、電子機器１００に出力させることができる。キャラクタ情報３１０Ａは、例えば、アバターを含む。情報処理装置２００は、複数の仮想テーブル１０００ごとの盛り上がり状態を分析すると、分析した盛り上がり状態を示す状態情報５００Ａを仮想テーブル１０００の近傍に表示するように、電子機器１００を制御する。状態情報５００Ａは、例えば、アイコン、キャラクタ、文字等を含む。電子機器１００は、情報処理装置２００の指示に応じて、状態情報５００Ａを表示部１１０に表示する。

【0101】

図１１に示す一例では、情報処理装置２００は、第１盛り上がり状態を示す「盛り上がり状態：大」と、第２盛り上がり状態を示す「盛り上がり状態：中」とを関連付けた状態情報５００Ａを電子機器１００に表示させている。情報処理装置２００は、仮想テーブル１０００に対して推定した話題情報５１０を、仮想テーブル１０００を介して状態情報５００Ａに関連付けて電子機器１００に表示させている。情報処理装置２００は、各盛り上がり状態を、文字列、数値、色、文字の太さなどを任意に組み合わせて表示してもよい。

【0102】

上述した実施形態では、仮想イベントシステム１は、情報処理装置２００が仮想テーブル１０００における領域の濃淡によって盛り上がり状態を示す状態情報５００を電子機器１００に出力させる場合について説明したが、これに限定されない。仮想イベントシステム１は、仮想テーブル１０００における領域ごとの棒グラフ等盛り上がり状態を示す状態情報５００を電子機器１００に出力させてもよい。

【0103】

上述の実施形態では、仮想イベントシステム１は、情報処理装置２００が吹き出しの提示情報５２０を電子機器１００に出力させる場合について説明したが、これに限定されない。仮想イベントシステム１は、提示情報５２０をテロップ、音声等で電子機器１００に表示させる構成としてもよい。

【0104】

上述した実施形態では、仮想イベントシステム１では、情報処理装置２００をクラウドサーバとした場合について説明したが、これに限定されない。例えば、仮想イベントシステム１は、情報処理装置２００の機能をユーザＵの電子機器１００で実現してもよい。また、本開示に含まれるシステムの構成として、複数の電子機器１００でやりとりを行うPeer to Peerのシステムで実施してもよい。本開示に含まれるシステムの構成として、サーバを持たずに複数の電子機器１００でやりとりを行う方式としてもよい。また、情報処理装置２００の機能、構成が電子機器１００に含まれるとしてもよい。

【0105】

添付の請求項に係る技術を完全かつ明瞭に開示するために特徴的な実施形態に関し記載してきた。しかし、添付の請求項は、上記実施形態に限定されるべきものでなく、本明細書に示した基礎的事項の範囲内で当該技術分野の当業者が創作しうるすべての変形例及び代替可能な構成を具現化するように構成されるべきである。

【符号の説明】

【0106】

１ 仮想イベントシステム
１００ 電子機器
１１０ 表示部
１２０ 操作部
１３０ スピーカ部
１４０ センサ部
１５０ 通信部
１６０ 記憶部
１６１ プログラム
１７０ 制御部
２００ 情報処理装置
２１０ 表示部
２２０ 操作部
２３０ 通信部
２４０ 記憶部
２４１ プログラム
２５０ 制御部
２５１ 決定部
２５２ 分析部
２５３ 推定部
２５４ 作成部
２５５ 出力制御部
３００ 取得情報
３１０ 出力情報
３２０ 属性情報
３３０ アルゴリズム情報
３４０ 参加者情報
３５０ 席次情報
５００ 状態情報
５１０ 話題情報
５２０ 提示情報
１０００ 仮想テーブル
１１００ 座席

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【手続補正書】

【提出日】2024-10-10

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

ユーザの音量を取得して取得情報を提供する電子機器と、
複数の電子機器と通信可能な情報処理装置と、
を備え、
前記情報処理装置は、
前記電子機器が提供した前記取得情報に基づいて盛り上がり状態を分析する分析部と、
前記取得情報が示す前記ユーザの発話情報に基づいて、前記盛り上がり状態に関連する話題情報を推定する推定部と、
前記盛り上がり状態に前記話題情報を関連付けた状態情報を作成する作成部と、
を備える仮想イベントシステム。

【請求項2】

請求項１に記載の仮想イベントシステムにおいて、
前記状態情報は、前記盛り上がり状態のマップを示す情報である、仮想イベントシステム。

【請求項3】

請求項１または２に記載の仮想イベントシステムにおいて、
前記分析部は、所定時間における前記取得情報が示す前記ユーザの音量に基づいて、前記盛り上がり状態を分析する、仮想イベントシステム。

【請求項4】

請求項１から３のいずれか１項に記載の仮想イベントシステムにおいて、
前記作成部は、前記ユーザを示すアバターを作成する、仮想イベントシステム。

【請求項5】

請求項１から４のいずれか１項に記載の仮想イベントシステムにおいて、
前記状態情報を出力するように、前記電子機器を制御する出力制御部をさらに備え、
前記出力制御部は、前記ユーザの発話を促すための提示情報を出力するように、前記電子機器を制御する、仮想イベントシステム。

【請求項6】

請求項５に記載の仮想イベントシステムにおいて、
前記出力制御部は、前記提示情報を出力するように、前記分析部が盛り上がっていないと分析した前記ユーザの前記電子機器を制御する、仮想イベントシステム。

【請求項7】

複数の電子機器と通信可能な通信部と、
前記電子機器の出力を制御可能な制御部と、
を備え、
前記制御部は、
ユーザの音量を取得して前記電子機器が提供した取得情報に基づいて盛り上がり状態を分析する分析部と、
前記取得情報が示す前記ユーザの発話情報に基づいて、前記盛り上がり状態に関連する話題情報を推定する推定部と、
前記盛り上がり状態に前記話題情報を関連付けた状態情報を作成する作成部と、
を備える情報処理装置。

【請求項8】

複数の電子機器の出力を制御する情報処理装置が実行する出力制御方法であって、
ユーザの音量を取得して前記電子機器が提供した取得情報に基づいて盛り上がり状態を分析すること、
前記取得情報が示す前記ユーザの発話情報に基づいて、前記盛り上がり状態に関連する話題情報を推定すること、
前記盛り上がり状態に前記話題情報を関連付けた状態情報を作成すること、
を含む出力制御方法。

【請求項9】

複数の電子機器と通信可能な通信部を備える情報処理装置に、
ユーザの音量を取得して前記電子機器が提供した取得情報に基づいて盛り上がり状態を分析すること、
前記取得情報が示す前記ユーザの発話情報に基づいて、前記盛り上がり状態に関連する話題情報を推定すること、
前記盛り上がり状態に前記話題情報を関連付けた状態情報を作成すること、
を実行させるプログラム。