特許 7150114 コミュニケーション支援システム、コミュニケーション支援方法、及びコミュニケーション支援プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2022-09-29

(45)【発行日】2022-10-07

(54)【発明の名称】コミュニケーション支援システム、コミュニケーション支援方法、及びコミュニケーション支援プログラム

(51)【国際特許分類】

   G06F 3/16 20060101AFI20220930BHJP

   G06F 3/01 20060101ALI20220930BHJP

   G06F 3/0481 20220101ALI20220930BHJP

   H04N 7/15 20060101ALI20220930BHJP

   G10L 21/034 20130101ALI20220930BHJP

   H04M 3/56 20060101ALI20220930BHJP

【ＦＩ】

G06F3/16 540

G06F3/16 610

G06F3/16 620

G06F3/01 510

G06F3/0481

G06F3/16 650

H04N7/15 120

G10L21/034

H04M3/56

【請求項の数】 18

(21)【出願番号】P 2021143002

(22)【出願日】2021-09-02

【審査請求日】2021-09-02

【早期審査対象出願】

【前置審査】

(73)【特許権者】

【識別番号】598138327

【氏名又は名称】株式会社ドワンゴ

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(74)【代理人】

【識別番号】100144440

【弁理士】

【氏名又は名称】保坂 一之

(74)【代理人】

【識別番号】100183081

【弁理士】

【氏名又は名称】岡▲崎▼ 大志

(74)【代理人】

【識別番号】100208524

【弁理士】

【氏名又は名称】小曳 満昭

(72)【発明者】

【氏名】戀塚 昭彦

【審査官】鈴木 順三

(56)【参考文献】

【文献】特開２０１４－２２５８０１（ＪＰ，Ａ）

【文献】特開２０２０－０２８０８４（ＪＰ，Ａ）

【文献】特開２０１８－０３６８７１（ＪＰ，Ａ）

【文献】特開２０１７－０６９６８７（ＪＰ，Ａ）

【文献】特開２０１６－２０１７３９（ＪＰ，Ａ）

【文献】特開２０１７－１１８３６４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／１６

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８ － ３／０４８９

Ｈ０４Ｎ ７／１０

Ｈ０４Ｎ ７／１４ － ７／１７３

Ｈ０４Ｎ ７／２０ － ７／５６

Ｇ１０Ｌ ２１／００ － ２１／１８

Ｈ０４Ｍ ３／３８ － ３／５８

(57)【特許請求の範囲】

【請求項1】

複数のユーザ間の音声コミュニケーションを支援するコミュニケーション支援システムであって、
少なくとも一つのプロセッサを備え、
前記少なくとも一つのプロセッサは、
前記複数のユーザの各々に対応するユーザオブジェクトが配置される２次元又は３次元の仮想空間を表す画面に対する第１ユーザの視線と前記ユーザオブジェクトとの位置関係と、前記第１ユーザの発話の検出結果と、に基づいて、前記第１ユーザの対話相手である第２ユーザを特定し、
前記第１ユーザと前記第２ユーザとを含むグループを設定し、
前記グループに所属する前記第２ユーザの発話音声を、前記第２ユーザが前記グループに所属していない場合における前記第２ユーザの発話音声よりも大きい音量で前記第１ユーザに対して出力し、
前記仮想空間において、前記グループの範囲を視覚的に示すグループ領域を設定し、
前記第１ユーザが前記グループ領域を注視した状態で発話した場合に、前記グループに所属するユーザに対して出力される前記第１ユーザの発話音声の第１音量を、前記グループに所属しないユーザに対して出力される前記第１ユーザの発話音声の第２音量よりも大きくするとともに、前記グループに所属しない第３ユーザが前記グループ領域を注視した状態で発話した場合にも、前記グループに所属するユーザに対して出力される前記第３ユーザの発話音声の第１音量を、前記グループに所属しないユーザに対して出力される前記第３ユーザの発話音声の第２音量よりも大きくする、
コミュニケーション支援システム。

【請求項2】

前記少なくとも一つのプロセッサは、
前記第１ユーザが前記グループ領域を注視した状態で発話した量に基づいて、前記第１ユーザの前記グループへの関与度を算出し、
前記第１ユーザに対して出力される前記第２ユーザの発話音声の音量を、前記関与度に基づいて決定する、
請求項１に記載のコミュニケーション支援システム。

【請求項3】

複数のユーザ間の音声コミュニケーションを支援するコミュニケーション支援システムであって、
少なくとも一つのプロセッサを備え、
前記少なくとも一つのプロセッサは、
前記複数のユーザの各々に対応するユーザオブジェクトが配置される２次元又は３次元の仮想空間を表す画面に対する第１ユーザの視線と前記ユーザオブジェクトとの位置関係と、前記第１ユーザの発話の検出結果と、に基づいて、前記第１ユーザの対話相手である第２ユーザを特定し、
前記第１ユーザと前記第２ユーザとを含むグループを設定し、
前記グループに所属する前記第２ユーザの発話音声を、前記第２ユーザが前記グループに所属していない場合における前記第２ユーザの発話音声よりも大きい音量で前記第１ユーザに対して出力し、
前記グループに所属するユーザ間の会話に基づいて、前記グループの特徴を抽出し、
前記仮想空間において、抽出された前記特徴を示す表示情報を前記グループに関連付けて配置する、
コミュニケーション支援システム。

【請求項4】

複数のユーザ間の音声コミュニケーションを支援するコミュニケーション支援システムであって、
少なくとも一つのプロセッサを備え、
前記少なくとも一つのプロセッサは、
前記複数のユーザの各々に対応するユーザオブジェクトが配置される２次元又は３次元の仮想空間を表す画面に対する第１ユーザの視線と前記ユーザオブジェクトとの位置関係と、前記第１ユーザの発話の検出結果と、に基づいて、前記第１ユーザの対話相手である第２ユーザを特定し、
前記第１ユーザと前記第２ユーザとを含むグループを設定し、
前記グループに所属する前記第２ユーザの発話音声を、前記第２ユーザが前記グループに所属していない場合における前記第２ユーザの発話音声よりも大きい音量で前記第１ユーザに対して出力し、
前記グループに所属している前記第１ユーザが前記グループに所属していない第３ユーザに対応する第３ユーザオブジェクトに関連付けられた領域を注視した状態で、予め定められたアクションが前記第１ユーザによって実行されたことに応じて、前記グループに前記第３ユーザを所属させる、
コミュニケーション支援システム。

【請求項5】

複数のユーザ間の音声コミュニケーションを支援するコミュニケーション支援システムであって、
少なくとも一つのプロセッサを備え、
前記少なくとも一つのプロセッサは、
前記複数のユーザの各々に対応するユーザオブジェクトが配置される２次元又は３次元の仮想空間を表す画面に対する第１ユーザの視線と前記ユーザオブジェクトとの位置関係と、前記第１ユーザの発話の検出結果と、に基づいて、前記第１ユーザの対話相手である第２ユーザを特定し、
前記第１ユーザと前記第２ユーザとを含むグループを設定し、
前記グループに所属する前記第２ユーザの発話音声を、前記第２ユーザが前記グループに所属していない場合における前記第２ユーザの発話音声よりも大きい音量で前記第１ユーザに対して出力し、
前記第１ユーザが第１グループに所属する状態において、前記第１グループに所属しない第４ユーザが前記第１ユーザの対話相手として特定された場合に、前記第１ユーザが前記第１グループに所属する状態を維持したまま、前記第１ユーザと前記第４ユーザとを含む第２グループを設定する、
コミュニケーション支援システム。

【請求項6】

複数のユーザ間の音声コミュニケーションを支援するコミュニケーション支援システムであって、
少なくとも一つのプロセッサを備え、
前記少なくとも一つのプロセッサは、
前記複数のユーザの各々に対応するユーザオブジェクトが配置される２次元又は３次元の仮想空間を表す画面に対する第１ユーザの視線と前記ユーザオブジェクトとの位置関係と、前記第１ユーザの発話の検出結果と、に基づいて、前記第１ユーザの対話相手である第２ユーザを特定し、
前記第１ユーザと前記第２ユーザとを含むグループを設定し、
前記グループに所属する前記第２ユーザの発話音声を、前記第２ユーザが前記グループに所属していない場合における前記第２ユーザの発話音声よりも大きい音量で前記第１ユーザに対して出力し、
複数の前記グループが設定されている場合に、各前記グループに所属するユーザ間の会話内容を認識し、
第３グループについて認識された前記会話内容と第４グループについて認識された前記会話内容とが予め定められた関係を有する場合に、前記第３グループと前記第４グループとを併合する、
コミュニケーション支援システム。

【請求項7】

前記少なくとも一つのプロセッサは、前記仮想空間における前記第１ユーザに対応する第１ユーザオブジェクトと前記第２ユーザに対応する第２ユーザオブジェクトとの距離が短くなるように、前記第１ユーザオブジェクト及び前記第２ユーザオブジェクトの少なくとも一方の位置を変更する、
請求項１～５のいずれか一項に記載のコミュニケーション支援システム。

【請求項8】

前記少なくとも一つのプロセッサは、前記仮想空間において、各前記ユーザの視線に関する表示情報を配置する、
請求項１～７のいずれか一項に記載のコミュニケーション支援システム。

【請求項9】

少なくとも一つのプロセッサを備えるコミュニケーション支援システムによって実行されるコミュニケーション支援方法であって、
複数のユーザの各々に対応するユーザオブジェクトが配置される２次元又は３次元の仮想空間を表す画面に対する第１ユーザの視線と前記ユーザオブジェクトとの位置関係と、前記第１ユーザの発話の検出結果と、に基づいて、前記第１ユーザの対話相手である第２ユーザを特定するステップと、
前記第１ユーザと前記第２ユーザとを含むグループを設定するステップと、
前記グループに所属する前記第２ユーザの発話音声を、前記第２ユーザが前記グループに所属していない場合における前記第２ユーザの発話音声よりも大きい音量で前記第１ユーザに対して出力するステップと、
前記仮想空間において、前記グループの範囲を視覚的に示すグループ領域を設定するステップと、
前記第１ユーザが前記グループ領域を注視した状態で発話した場合に、前記グループに所属するユーザに対して出力される前記第１ユーザの発話音声の第１音量を、前記グループに所属しないユーザに対して出力される前記第１ユーザの発話音声の第２音量よりも大きくするとともに、前記グループに所属しない第３ユーザが前記グループ領域を注視した状態で発話した場合にも、前記グループに所属するユーザに対して出力される前記第３ユーザの発話音声の第１音量を、前記グループに所属しないユーザに対して出力される前記第３ユーザの発話音声の第２音量よりも大きくする、ステップと、
を含む、コミュニケーション支援方法。

【請求項10】

少なくとも一つのプロセッサを備えるコミュニケーション支援システムによって実行されるコミュニケーション支援方法であって、
複数のユーザの各々に対応するユーザオブジェクトが配置される２次元又は３次元の仮想空間を表す画面に対する第１ユーザの視線と前記ユーザオブジェクトとの位置関係と、前記第１ユーザの発話の検出結果と、に基づいて、前記第１ユーザの対話相手である第２ユーザを特定するステップと、
前記第１ユーザと前記第２ユーザとを含むグループを設定するステップと、
前記グループに所属する前記第２ユーザの発話音声を、前記第２ユーザが前記グループに所属していない場合における前記第２ユーザの発話音声よりも大きい音量で前記第１ユーザに対して出力するステップと、
前記グループに所属するユーザ間の会話に基づいて、前記グループの特徴を抽出するステップと、
前記仮想空間において、抽出された前記特徴を示す表示情報を前記グループに関連付けて配置するステップと、
を含む、コミュニケーション支援方法。

【請求項11】

少なくとも一つのプロセッサを備えるコミュニケーション支援システムによって実行されるコミュニケーション支援方法であって、
複数のユーザの各々に対応するユーザオブジェクトが配置される２次元又は３次元の仮想空間を表す画面に対する第１ユーザの視線と前記ユーザオブジェクトとの位置関係と、前記第１ユーザの発話の検出結果と、に基づいて、前記第１ユーザの対話相手である第２ユーザを特定するステップと、
前記第１ユーザと前記第２ユーザとを含むグループを設定するステップと、
前記グループに所属する前記第２ユーザの発話音声を、前記第２ユーザが前記グループに所属していない場合における前記第２ユーザの発話音声よりも大きい音量で前記第１ユーザに対して出力するステップと、
前記グループに所属している前記第１ユーザが前記グループに所属していない第３ユーザに対応する第３ユーザオブジェクトに関連付けられた領域を注視した状態で、予め定められたアクションが前記第１ユーザによって実行されたことに応じて、前記グループに前記第３ユーザを所属させるステップと、
を含む、コミュニケーション支援方法。

【請求項12】

少なくとも一つのプロセッサを備えるコミュニケーション支援システムによって実行されるコミュニケーション支援方法であって、
複数のユーザの各々に対応するユーザオブジェクトが配置される２次元又は３次元の仮想空間を表す画面に対する第１ユーザの視線と前記ユーザオブジェクトとの位置関係と、前記第１ユーザの発話の検出結果と、に基づいて、前記第１ユーザの対話相手である第２ユーザを特定するステップと、
前記第１ユーザと前記第２ユーザとを含むグループを設定するステップと、
前記グループに所属する前記第２ユーザの発話音声を、前記第２ユーザが前記グループに所属していない場合における前記第２ユーザの発話音声よりも大きい音量で前記第１ユーザに対して出力するステップと、
前記第１ユーザが第１グループに所属する状態において、前記第１グループに所属しない第４ユーザが前記第１ユーザの対話相手として特定された場合に、前記第１ユーザが前記第１グループに所属する状態を維持したまま、前記第１ユーザと前記第４ユーザとを含む第２グループを設定するステップと、
を含む、コミュニケーション支援方法。

【請求項13】

少なくとも一つのプロセッサを備えるコミュニケーション支援システムによって実行されるコミュニケーション支援方法であって、
複数のユーザの各々に対応するユーザオブジェクトが配置される２次元又は３次元の仮想空間を表す画面に対する第１ユーザの視線と前記ユーザオブジェクトとの位置関係と、前記第１ユーザの発話の検出結果と、に基づいて、前記第１ユーザの対話相手である第２ユーザを特定するステップと、
前記第１ユーザと前記第２ユーザとを含むグループを設定するステップと、
前記グループに所属する前記第２ユーザの発話音声を、前記第２ユーザが前記グループに所属していない場合における前記第２ユーザの発話音声よりも大きい音量で前記第１ユーザに対して出力するステップと、
複数の前記グループが設定されている場合に、各前記グループに所属するユーザ間の会話内容を認識するステップと、
第３グループについて認識された前記会話内容と第４グループについて認識された前記会話内容とが予め定められた関係を有する場合に、前記第３グループと前記第４グループとを併合するステップと、
を含む、コミュニケーション支援方法。

【請求項14】

複数のユーザの各々に対応するユーザオブジェクトが配置される２次元又は３次元の仮想空間を表す画面に対する第１ユーザの視線と前記ユーザオブジェクトとの位置関係と、前記第１ユーザの発話の検出結果と、に基づいて、前記第１ユーザの対話相手である第２ユーザを特定するステップと、
前記第１ユーザと前記第２ユーザとを含むグループを設定するステップと、
前記グループに所属する前記第２ユーザの発話音声を、前記第２ユーザが前記グループに所属していない場合における前記第２ユーザの発話音声よりも大きい音量で前記第１ユーザに対して出力するステップと、
前記仮想空間において、前記グループの範囲を視覚的に示すグループ領域を設定するステップと、
前記第１ユーザが前記グループ領域を注視した状態で発話した場合に、前記グループに所属するユーザに対して出力される前記第１ユーザの発話音声の第１音量を、前記グループに所属しないユーザに対して出力される前記第１ユーザの発話音声の第２音量よりも大きくするとともに、前記グループに所属しない第３ユーザが前記グループ領域を注視した状態で発話した場合にも、前記グループに所属するユーザに対して出力される前記第３ユーザの発話音声の第１音量を、前記グループに所属しないユーザに対して出力される前記第３ユーザの発話音声の第２音量よりも大きくする、ステップと、
をコンピュータに実行させるコミュニケーション支援プログラム。

【請求項15】

複数のユーザの各々に対応するユーザオブジェクトが配置される２次元又は３次元の仮想空間を表す画面に対する第１ユーザの視線と前記ユーザオブジェクトとの位置関係と、前記第１ユーザの発話の検出結果と、に基づいて、前記第１ユーザの対話相手である第２ユーザを特定するステップと、
前記第１ユーザと前記第２ユーザとを含むグループを設定するステップと、
前記グループに所属する前記第２ユーザの発話音声を、前記第２ユーザが前記グループに所属していない場合における前記第２ユーザの発話音声よりも大きい音量で前記第１ユーザに対して出力するステップと、
前記グループに所属するユーザ間の会話に基づいて、前記グループの特徴を抽出するステップと、
前記仮想空間において、抽出された前記特徴を示す表示情報を前記グループに関連付けて配置するステップと、
をコンピュータに実行させるコミュニケーション支援プログラム。

【請求項16】

複数のユーザの各々に対応するユーザオブジェクトが配置される２次元又は３次元の仮想空間を表す画面に対する第１ユーザの視線と前記ユーザオブジェクトとの位置関係と、前記第１ユーザの発話の検出結果と、に基づいて、前記第１ユーザの対話相手である第２ユーザを特定するステップと、
前記第１ユーザと前記第２ユーザとを含むグループを設定するステップと、
前記グループに所属する前記第２ユーザの発話音声を、前記第２ユーザが前記グループに所属していない場合における前記第２ユーザの発話音声よりも大きい音量で前記第１ユーザに対して出力するステップと、
前記グループに所属している前記第１ユーザが前記グループに所属していない第３ユーザに対応する第３ユーザオブジェクトに関連付けられた領域を注視した状態で、予め定められたアクションが前記第１ユーザによって実行されたことに応じて、前記グループに前記第３ユーザを所属させるステップと、
をコンピュータに実行させるコミュニケーション支援プログラム。

【請求項17】

複数のユーザの各々に対応するユーザオブジェクトが配置される２次元又は３次元の仮想空間を表す画面に対する第１ユーザの視線と前記ユーザオブジェクトとの位置関係と、前記第１ユーザの発話の検出結果と、に基づいて、前記第１ユーザの対話相手である第２ユーザを特定するステップと、
前記第１ユーザと前記第２ユーザとを含むグループを設定するステップと、
前記グループに所属する前記第２ユーザの発話音声を、前記第２ユーザが前記グループに所属していない場合における前記第２ユーザの発話音声よりも大きい音量で前記第１ユーザに対して出力するステップと、
前記第１ユーザが第１グループに所属する状態において、前記第１グループに所属しない第４ユーザが前記第１ユーザの対話相手として特定された場合に、前記第１ユーザが前記第１グループに所属する状態を維持したまま、前記第１ユーザと前記第４ユーザとを含む第２グループを設定するステップと、
をコンピュータに実行させるコミュニケーション支援プログラム。

【請求項18】

複数のユーザの各々に対応するユーザオブジェクトが配置される２次元又は３次元の仮想空間を表す画面に対する第１ユーザの視線と前記ユーザオブジェクトとの位置関係と、前記第１ユーザの発話の検出結果と、に基づいて、前記第１ユーザの対話相手である第２ユーザを特定するステップと、
前記第１ユーザと前記第２ユーザとを含むグループを設定するステップと、
前記グループに所属する前記第２ユーザの発話音声を、前記第２ユーザが前記グループに所属していない場合における前記第２ユーザの発話音声よりも大きい音量で前記第１ユーザに対して出力するステップと、
複数の前記グループが設定されている場合に、各前記グループに所属するユーザ間の会話内容を認識するステップと、
第３グループについて認識された前記会話内容と第４グループについて認識された前記会話内容とが予め定められた関係を有する場合に、前記第３グループと前記第４グループとを併合するステップと、
をコンピュータに実行させるコミュニケーション支援プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の一側面は、コミュニケーション支援システム、コミュニケーション支援方法、及びコミュニケーション支援プログラムに関する。

【背景技術】

【0002】

オンラインで行われる遠隔会議において、全会議参加者のうちの一部の会議参加者により構成されるグループを作成した場合に、自分が含まれるグループの音声を他のグループの音声よりも大きくする仕組みが知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２０－２８０８４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記特許文献１に開示された仕組みでは、グループ設定操作は、グループ設定画面に表示された参加者画像を仕切る手動操作（例えば、ポインティングデバイス、キーボード等を用いた操作）により行われる。すなわち、上記仕組みにおいては、ユーザは、ユーザ間の会話を行う前に、上記グループ設定操作によってグループを作成しておく必要がある。また、ユーザは会話の途中で自分が所属するグループを変更したくなった場合、その都度、手動でグループ設定を行う必要があるため手間がかかる。

【0005】

そこで、本開示の一側面は、複数のユーザ間の音声コミュニケーションにおいて、一部のユーザ同士の会話を円滑且つ容易に行うことができるコミュニケーション支援システム、コミュニケーション支援方法、及びコミュニケーション支援プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示の一側面に係るコミュニケーション支援システムは、複数のユーザ間の音声コミュニケーションを支援するコミュニケーション支援システムであって、少なくとも一つのプロセッサを備える。少なくとも一つのプロセッサは、複数のユーザの各々に対応するユーザオブジェクトが配置される２次元又は３次元の仮想空間を表す画面に対する第１ユーザの視線とユーザオブジェクトとの位置関係と、第１ユーザの発話の検出結果と、に基づいて、第１ユーザの対話相手である第２ユーザを特定し、第１ユーザと第２ユーザとを含むグループを設定し、グループに所属する第２ユーザの発話音声を、第２ユーザがグループに所属していない場合における第２ユーザの発話音声よりも大きい音量で第１ユーザに対して出力する。

【発明の効果】

【0007】

本開示の一側面によれば、複数のユーザ間の音声コミュニケーションにおいて、一部のユーザ同士の会話を円滑且つ容易に行うことができるコミュニケーション支援システム、コミュニケーション支援方法、及びコミュニケーション支援プログラムを提供することができる。

【図面の簡単な説明】

【0008】

【図1】実施形態に係るコミュニケーション支援システムの適用の一例を示す図である。

【図2】図１のコミュニケーション支援システムに関連するハードウェア構成の一例を示す図である。

【図3】図１のコミュニケーション支援システムに関連する機能構成の一例を示す図である。

【図4】図１のコミュニケーション支援システムの動作の一例を示すシーケンス図である。

【図5】ユーザ端末上に表示される画面例を示す図である。

【図6】第２の制御例の動作を示すフローチャートである。

【図7】第２の制御例の実行結果である画面例を示す図である。

【図8】第３の制御例の動作を示すフローチャートである。

【図9】第３の制御例の実行結果である画面例を示す図である。

【図10】第４の制御例の動作を示すフローチャートである。

【図11】第４の制御例の実行結果である画面例を示す図である。

【図12】第５の制御例の実行結果である画面例を示す図である。

【図13】第６の制御例の実行結果である画面例を示す図である。

【発明を実施するための形態】

【0009】

以下、添付図面を参照しながら本開示での実施形態を詳細に説明する。なお、図面の説明において同一又は同等の要素には同一の符号を付し、重複する説明を省略する。

【0010】

［システムの概要］
実施形態に係るコミュニケーション支援システムは、複数のユーザが参加して行う音声コミュニケーションを支援するコンピュータシステムである。音声コミュニケーションは、電話回線、インターネット回線等の任意の有線又は無線の通信ネットワークを介して接続された多地点に存在する複数のユーザの端末装置を用いて実行される。このような音声コミュニケーションは、一般に、Ｗｅｂ会議、オンライン会議、遠隔会議等と呼ばれることもある。

【0011】

コミュニケーション支援システムでは、音声コミュニケーションに参加する各ユーザが端末装置（以下「ユーザ端末」という。）を有する。各ユーザは、ユーザ端末のディスプレイに表示された画面を見ながら発話することで、他のユーザのユーザ端末へと自身の発話音声を届けることができる。また、他のユーザの発話音声は、ユーザ端末のスピーカから出力される。コミュニケーション支援システムは、このようにユーザ端末間で送受信されるデータ（発話音声等）を制御することで、ユーザ間の会話を円滑化する。

【0012】

なお、本開示において、データ又は情報を第１コンピュータから第２コンピュータ“に送信する”との表現は、第２コンピュータに最終的にデータ又は情報を届けるための送信を意味する。すなわち、上記表現は、その送信において別のコンピュータ又は通信装置がデータ又は情報を中継する場合を含む。

【0013】

［コミュニケーション支援システムの全体構成］
図１は、実施形態に係るコミュニケーション支援システム１の適用の一例を示す図である。本実施形態では、コミュニケーション支援システム１は、サーバ１０と、複数のユーザ端末２０と、設定情報記憶部３０と、を備える。

【0014】

サーバ１０は、ユーザ端末２０間の通信を中継するコンピュータである。サーバ１０は、通信ネットワークＮを介して、各ユーザ端末２０及び設定情報記憶部３０と接続されている。通信ネットワークＮの構成は限定されない。例えば、通信ネットワークＮは、インターネットを含んで構成されてもよいし、イントラネットを含んで構成されてもよい。

【0015】

ユーザ端末２０は、音声コミュニケーションに参加するユーザによって用いられるコンピュータである。本実施形態では、ユーザ端末２０は、複数のユーザの各々に対応するユーザオブジェクトが配置される２次元又は３次元の仮想空間を表す画面を提示する機能と、ユーザの視線を検出する機能と、ユーザの発話音声を検出（入力）する機能と、他のユーザの発話音声を出力する機能と、を有する。ユーザ端末２０の種類及び構成は限定されない。例えば、ユーザ端末２０は、高機能携帯電話機（スマートフォン）、タブレット端末、ウェアラブル端末（例えば、ヘッドマウントディスプレイ（ＨＭＤ）、スマートグラス等）、ラップトップ型パーソナルコンピュータ、携帯電話機等の携帯端末でもよい。或いは、ユーザ端末２０は、デスクトップ型パーソナルコンピュータ等の据置型端末でもよい。

【0016】

本実施形態では、ユーザ端末２０Ａは、複数のユーザのうち着目する一のユーザＡ（第１ユーザ）のユーザ端末である。ユーザ端末２０Ｂ，２０Ｃは、ユーザＡとは異なるユーザＢ，Ｃのユーザ端末である。図１は、３台のユーザ端末２０を例示しているが、ユーザ端末２０の台数（すなわち、音声コミュニケーションに参加するユーザの数）は特に限定されない。

【0017】

ユーザは、例えば、ユーザ端末２０を操作してコミュニケーション支援システム１にログインすることにより、音声コミュニケーションに参加することができる。本実施形態では、各ユーザがコミュニケーション支援システム１にログインしていることを前提とする。

【0018】

設定情報記憶部３０は、サーバ１０において生成又は更新された種々の設定情報を記憶する非一時的な記憶媒体又は記憶装置である。設定情報記憶部３０は、例えば、上記仮想空間における各ユーザオブジェクトの位置を示す配置情報、後述するグループに関するグループ情報等を記憶する。

【0019】

設定情報記憶部３０の設置場所は限定されない。例えば、設定情報記憶部３０は、コミュニケーション支援システム１とは別のコンピュータシステム内に設けられてもよいし、コミュニケーション支援システム１の構成要素であってもよい。

【0020】

［コミュニケーション支援システムのハードウェア構成］
図２は、コミュニケーション支援システム１に関連するハードウェア構成の一例を示す図である。図２は、サーバ１０として機能するサーバコンピュータ１００と、ユーザ端末２０として機能する端末コンピュータ２００とを示す。

【0021】

一例として、サーバコンピュータ１００は、ハードウェア構成要素として、プロセッサ１０１、主記憶部１０２、補助記憶部１０３、及び通信部１０４を備える。

【0022】

プロセッサ１０１は、オペレーティングシステム及びアプリケーションプログラムを実行する演算装置である。プロセッサの例としては、ＣＰＵ（Central Processing Unit）及びＧＰＵ（Graphics Processing Unit）が挙げられるが、プロセッサ１０１の種類はこれらに限定されない。例えば、プロセッサ１０１は、センサ及び専用回路の組合せでもよい。専用回路は、ＦＰＧＡ（Field-Programmable Gate Array）のようなプログラム可能な回路でもよいし、他の種類の回路でもよい。

【0023】

主記憶部１０２は、サーバ１０を実現するためのプログラム、プロセッサ１０１から出力された演算結果等を記憶する装置である。主記憶部１０２は、例えばＲＯＭ（Read Only Memory）又はＲＡＭ（Random Access Memory）等により構成される。

【0024】

補助記憶部１０３は、一般に主記憶部１０２よりも大量のデータを記憶することが可能な装置である。補助記憶部１０３は、例えばハードディスク、フラッシュメモリ等の不揮発性記憶媒体によって構成される。補助記憶部１０３は、サーバコンピュータ１００をサーバ１０として機能させるためのサーバプログラムＰ１と各種のデータとを記憶する。本実施形態では、コミュニケーション支援プログラムは、サーバプログラムＰ１として実装される。

【0025】

通信部１０４は、通信ネットワークＮを介して他のコンピュータとの間でデータ通信を実行する装置である。通信部１０４は、例えばネットワークカード又は無線通信モジュールにより構成される。

【0026】

サーバ１０の各機能要素は、プロセッサ１０１又は主記憶部１０２にサーバプログラムＰ１を読み込ませ、プロセッサ１０１に当該サーバプログラムＰ１を実行させることにより実現される。サーバプログラムＰ１は、サーバ１０の各機能要素を実現するためのコードを含む。プロセッサ１０１は、サーバプログラムＰ１に従って通信部１０４を動作させ、主記憶部１０２又は補助記憶部１０３におけるデータの読み出し及び書き込みを実行する。このような処理により、サーバ１０の各機能要素が実現される。

【0027】

サーバ１０は、一つ又は複数のコンピュータにより構成され得る。複数のコンピュータが用いられる場合には、通信ネットワークを介して当該複数のコンピュータが互いに接続されることにより、論理的に一つのサーバ１０が構成される。

【0028】

一例として、端末コンピュータ２００は、ハードウェア構成要素として、プロセッサ２０１、主記憶部２０２、補助記憶部２０３、通信部２０４、入力インタフェース２０５、出力インタフェース２０６、及び撮像部２０７を備える。

【0029】

プロセッサ２０１は、オペレーティングシステム及びアプリケーションプログラムを実行する演算装置である。プロセッサ２０１は、例えばＣＰＵ又はＧＰＵであり得るが、プロセッサ２０１の種類はこれらに限定されない。

【0030】

主記憶部２０２は、ユーザ端末２０を実現させるためのプログラム、プロセッサ２０１から出力された演算結果等を記憶する装置である。主記憶部２０２は、例えばＲＯＭ又はＲＡＭ等により構成される。

【0031】

補助記憶部２０３は、一般に主記憶部２０２よりも大量のデータを記憶することが可能な装置である。補助記憶部２０３は、例えばハードディスク、フラッシュメモリ等の不揮発性記憶媒体によって構成される。補助記憶部２０３は、端末コンピュータ２００をユーザ端末２０として機能させるためのクライアントプログラムＰ２と各種のデータとを記憶する。

【0032】

通信部２０４は、通信ネットワークＮを介して他のコンピュータとの間でデータ通信を実行する装置である。通信部２０４は、例えばネットワークカード又は無線通信モジュールにより構成される。

【0033】

入力インタフェース２０５は、ユーザの操作又は動作に基づいて、データを受け付ける装置である。例えば、入力インタフェース２０５は、コントローラ、キーボード、操作ボタン、ポインティングデバイス、マイクロフォン、センサ、及びカメラのうちの少なくとも一つによって構成される。本実施形態では、入力インタフェース２０５は、少なくとも、ユーザの視線を検出するセンサ又はカメラと、ユーザの発話音声を検出するマイクロフォンと、を含んでいる。キーボード及び操作ボタンは、タッチパネル上に表示されてもよい。入力インタフェース２０５の種類が限定されないことに対応して、入力インタフェース２０５に入力されるデータも限定されない。例えば、入力インタフェース２０５は、キーボード、操作ボタン、又はポインティングデバイスによって入力又は選択されたデータを受け付けてもよい。或いは、入力インタフェース２０５は、マイクロフォンにより入力された音声データを受け付けてもよい。或いは、入力インタフェース２０５は、カメラによって撮影された画像データ（例えば、映像データ又は静止画データ）を受け付けてもよい。或いは、入力インタフェース２０５は、センサ又はカメラを用いたモーションキャプチャ機能によって検知されたユーザの非言語活動（例えば、視線、ジェスチャ、表情等）を示すデータをモーションデータとして受け付けてもよい。

【0034】

出力インタフェース２０６は、端末コンピュータ２００で処理されたデータを出力する装置である。例えば、出力インタフェース２０６は、モニタ、タッチパネル、ＨＭＤ等の表示装置と、スピーカと、によって構成される。表示装置は、処理されたデータを画面上に表示する。スピーカは、処理された音声データにより示される音声を出力する。

【0035】

撮像部２０７は、現実世界を写した画像を撮影する装置であり、具体的にはカメラである。撮像部２０７は、動画像（映像）を撮影してもよいし、静止画（写真）を撮影してもよい。動画像を撮影する場合には、撮像部２０７は、映像信号を所与のフレームレートに基づいて処理することにより、時系列に並ぶ一連のフレーム画像を動画像として取得する。撮像部２０７は、入力インタフェース２０５としても機能し得る。例えば、撮像部２０７は、表示装置（出力インタフェース２０６）の前方（ユーザ側）に設けられ、ユーザの顔画像を撮影する。撮像部２０７により撮影されたユーザの顔画像は、例えば、上記仮想空間に配置されるユーザオブジェクトの表示情報として用いられ得る。なお、音声コミュニケーションの画面上にユーザの顔画像を表示しない場合（例えば、ユーザオブジェクトの表示情報としてユーザの顔画像を利用しない場合）、撮像部２０７は省略されてもよい。

【0036】

ユーザ端末２０の各機能要素は、プロセッサ２０１又は主記憶部２０２にクライアントプログラムＰ２を読み込ませ、当該クライアントプログラムＰ２を実行させることにより実現される。クライアントプログラムＰ２は、ユーザ端末２０の各機能要素を実現するためのコードを含む。プロセッサ２０１は、クライアントプログラムＰ２に従って、通信部２０４、入力インタフェース２０５、出力インタフェース２０６、又は撮像部２０７を動作させ、主記憶部２０２又は補助記憶部２０３におけるデータの読み出し及び書き込みを行う。この処理により、ユーザ端末２０の各機能要素が実現される。

【0037】

サーバプログラムＰ１及びクライアントプログラムＰ２の少なくとも一つは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等の有形の記録媒体に固定的に記録された上で提供されてもよい。或いは、これらのプログラムの少なくとも一つは、搬送波に重畳されたデータ信号として通信ネットワークを介して提供されてもよい。これらのプログラムは、別々に提供されてもよいし、一緒に提供されてもよい。

【0038】

［コミュニケーション支援システムの機能構成］
図３は、コミュニケーション支援システム１に関連する機能構成の一例を示す図である。サーバ１０は、機能要素として、受信部１１、グループ設定部１２、制御部１３、及び送信部１４を備える。

【0039】

受信部１１は、ユーザ端末２０から送信されたデータ信号を受信する。データ信号は、例えば、視線情報、音声データ、アクション情報等を含み得る。視線情報は、ユーザ端末２０のセンサ又はカメラ（入力インタフェース２０５）により検出されたユーザの視線に関する情報である。音声データは、ユーザ端末２０のマイクロフォン（入力インタフェース２０５）により検出されたユーザの発話音声を示すデータである。アクション情報は、ユーザ端末２０のコントローラ、キーボード、センサ、カメラ等（入力インタフェース２０５）により検出されたユーザの所定のアクション（例えば、コントローラ操作、ジェスチャ等）を示す情報である。

【0040】

グループ設定部１２は、ユーザ端末２０から受信したデータ信号に基づいて、グループを設定する。グループ設定部１２は、グループの生成（新規作成）、グループの更新（例えば、グループのメンバの変更（追加・削除）等）、グループの削除等を行う。グループ及びグループ設定部１２の処理の詳細については後述する。グループ設定部１２によって設定されたグループに関するグループ情報は、設定情報記憶部３０（図１参照）に記憶される。

【0041】

制御部１３は、ユーザ端末２０から受信したデータ信号と、グループ設定部１２により設定されたグループ情報（すなわち、設定情報記憶部３０に記憶されたグループ情報）と、に基づいて、各ユーザのユーザ端末２０に送信する音声データの制御及び仮想空間の表示内容の制御を行う。例えば、制御部１３は、グループ情報に基づいて、各ユーザに送信する音声データの音量調整等を行う。また、制御部１３は、仮想空間における各種表示情報を制御（決定）する。例えば、制御部１３は、仮想空間における各ユーザのユーザオブジェクトの配置の設定、グループの範囲を示すグループ領域の設定、グループに関連付ける表示情報の設定、ユーザの視線を示す表示情報の設定等を行う。各制御内容の具体例は後述する。

【0042】

送信部１４は、制御部１３によって制御された音声データ及び表示情報を各ユーザ端末２０に送信する。なお、本実施形態では、共通の表示情報が各ユーザのユーザ端末２０に送信される。一方、音声データについては、ユーザ毎に個別に選別及び調整された音声データが各ユーザのユーザ端末２０に送信される。すなわち、ユーザ毎（ユーザ端末２０毎）に、サーバ１０（送信部１４）から送信される音声データの内容（音量等）が異なる。

【0043】

ユーザ端末２０は、機能要素として、視線検出部２１、発話検出部２２、アクション検出部２３、送信部２４、受信部２５、表示制御部２６、及び音声出力部２７を備える。

【0044】

視線検出部２１は、ユーザ端末２０の入力インタフェース２０５（カメラ等）によって検出されたユーザの視線に関する視線情報を取得する。ユーザの視線を検出する手法としては、例えば、公知のアイトラッキング技術を用いることができる。例えば、視線検出部２１は、カメラ（入力インタフェース２０５）によって検出されたユーザの目（例えば、虹彩、瞳孔等）の位置又は状態に基づいて、ユーザの視線方向及び焦点位置等を検出する。

【0045】

視線検出部２１は、表示装置（出力インタフェース２０６）の画面に表示された仮想空間におけるユーザの注視点を検出する。例えば、視線検出部２１は、カメラ等によって検出されたユーザの視線方向及び焦点位置と表示装置の画面との位置関係に基づいて、ユーザが表示装置の画面に表示された仮想空間のどの位置を注視しているかを特定する。このようにして視線検出部２１により取得される視線情報は、仮想空間におけるユーザの注視点を示す情報を含み得る。例えば、仮想空間が２次元空間（平面）である場合、注視点を示す情報は２次元座標（ＸＹ座標）で表現され得る。また、仮想空間が３次元空間である場合、注視点を示す情報は３次元座標（ＸＹＺ座標）で表現され得る。

【0046】

発話検出部２２は、マイクロフォン（入力インタフェース２０５）により検出されたユーザの発話音声を検出し、検出された発話音声を音声データとして取得する。

【0047】

アクション検出部２３は、コントローラ、キーボード、センサ、カメラ等（入力インタフェース２０５）により検出されたユーザの所定のアクション（例えば、予め定められたコントローラ操作、ジェスチャ等）を検出し、検出されたアクションの内容を示すアクション情報を取得する。

【0048】

送信部２４は、視線検出部２１により視線情報が取得された際に、当該視線情報をサーバ１０に送信する。また、送信部２４は、発話検出部２２により音声データが取得された際に、当該音声データをサーバ１０に送信する。また、送信部２４は、アクション検出部２３によりアクション情報が取得された際に、当該アクション情報をサーバ１０に送信する。

【0049】

受信部２５は、サーバ１０から音声データ及び表示情報を受信する。

【0050】

表示制御部２６は、サーバ１０から受信した表示情報に基づいて、表示装置（出力インタフェース２０６）に、音声コミュニケーションに参加する複数のユーザの各々のユーザオブジェクトが配置された仮想空間を表す画面を表示する。

【0051】

音声出力部２７は、サーバ１０から受信した音声データをスピーカ（出力インタフェース２０６）から出力する。

【0052】

［コミュニケーション支援システムの動作］
図４及び図５を参照して、コミュニケーション支援システム１の動作を説明すると共に、本実施形態に係るコミュニケーション支援方法について説明する。図４は、コミュニケーション支援システム１の動作の一例を示すシーケンス図である。図５は、各ユーザのユーザ端末２０の表示装置に表示される画面例を模式的に示した図である。なお、ここでは一例として、各ユーザのユーザオブジェクト５０が配置される仮想空間ＶＳは２次元空間（平面）であるものとする。この場合、図５に示される例のように、仮想空間ＶＳ上に、複数のユーザ（ここでは、Ａ～Ｅの５人のユーザ）の各々に対応するユーザオブジェクト５０が、２次元的に配置される。

【0053】

まず、各ユーザが音声コミュニケーション（オンライン会議）にログインした直後の初期状態として、各ユーザのユーザ端末２０の表示装置には、図５に示される画面ＳＣ０が表示される。画面ＳＣ０は、例えば、サーバ１０により生成される。例えば、サーバ１０は、各ユーザからのログイン処理を受け付け、ログインされたユーザに対応するユーザオブジェクト５０を仮想空間ＶＳ上に配置する。サーバ１０は、このように各ユーザのユーザオブジェクト５０が配置された仮想空間ＶＳを表す画面ＳＣ０を生成し、各ユーザのユーザ端末２０に送信する。そして、各ユーザのユーザ端末２０の表示制御部２６が、サーバ１０から受信した画面ＳＣ０を表示装置に表示する。

【0054】

なお、ユーザオブジェクト５０は、ユーザを識別可能な態様で表示されればよく、ユーザオブジェクト５０の表示態様は特定の表示態様に限定されない。例えば、ユーザオブジェクト５０には、ユーザの名前（或いは、名前の一部、イニシャル等）、ユーザの実写画像、予め登録されたユーザのアバター画像、或いはこれらの組み合わせ等を関連付けて表示してもよい。仮想空間ＶＳが３次元空間の場合には、上記アバター画像の代わりに、３次元のアバターオブジェクトが用いられてもよい。また、ユーザ端末２０のカメラでリアルタイムに撮影されるユーザの顔画像を含んだ画像（映像）が、ユーザオブジェクト５０として用いられてもよい。

【0055】

ステップＳ１０１において、ユーザＡ（第１ユーザ）のユーザ端末２０Ａの視線検出部２１は、ユーザＡの視線を検出する。本実施形態では、視線検出部２１は、仮想空間ＶＳにおけるユーザの注視点５１（図５の画面ＳＣ１参照）を示す情報（例えば、２次元座標）を含む視線情報を取得する。なお、注視点５１を示す表示情報（例えば、図５の画面ＳＣ１に示されるような星印のマーク）は、画面上に表示されてもよい。この場合、ユーザＡは、注視点５１を示す表示情報を参照することにより、自身が見ていると認識している位置と視線検出部２１により推定された注視点５１とが一致しているか否かを確認することができる。仮に、ユーザＡ自身が見ていると認識している位置と注視点５１とが一致しない場合には、ユーザ端末２０Ａは、ユーザＡによる操作（例えば、コントローラ操作等）を受け付けることにより、注視点５１の位置を調整するキャリブレーション処理を実行してもよい。

【0056】

ステップＳ１０２において、ユーザ端末２０Ａの送信部２４がユーザＡの視線情報をサーバ１０に送信し、受信部１１が当該視線情報を受信する。なお、ユーザ端末２０Ａからサーバ１０への視線情報の送信は、例えば予め定められた時間間隔で継続的に実行される。

【0057】

ステップＳ１０３において、ユーザ端末２０Ａの発話検出部２２は、ユーザＡの発話を検出し、ユーザＡの発話音声を示す音声データを取得する。

【0058】

ステップＳ１０４において、ユーザ端末２０Ａの送信部２４がユーザＡの音声データをサーバ１０に送信し、受信部１１が当該音声データを受信する。

【0059】

ステップＳ１０５において、グループ設定部１２は、ユーザＡの対話相手を特定する。グループ設定部１２は、仮想空間ＶＳを表す画面に対するユーザＡの視線と仮想空間ＶＳに配置された各ユーザのユーザオブジェクト５０との位置関係と、ユーザＡの発話の検出結果と、に基づいて、ユーザＡの対話相手を特定する。

【0060】

例えば、図５の画面ＳＣ１に示されるように、グループ設定部１２は、視線情報に示されるユーザＡの注視点５１が特定のユーザ（この例では、第２ユーザであるユーザＢ）のユーザオブジェクト５０Ｂ（或いは、ユーザオブジェクト５０Ｂの近傍を含む領域５２。以下同じ。）と重なった状態で、ユーザＡの発話が検出された場合（すなわち、ユーザＡの音声データが受信された場合）に、ユーザＢをユーザＡの対話相手として特定してもよい。

【0061】

ただし、ユーザＡの注視点５１がユーザオブジェクト５０Ｂと偶然重なった状態でユーザＡの咳払い等の音声データがユーザ端末２０Ａの発話検出部２２により検出される可能性もある。このような場合、実際にはユーザＢはユーザＡの対話相手ではないにもかかわらず、ユーザＡの対話相手として特定されてしまうことになる。そこで、このような事態を回避するために、グループ設定部１２は、上記以外の方法でユーザＡの対話相手を特定してもよい。例えば、グループ設定部１２は、ユーザＡの注視点５１がユーザオブジェクト５０Ｂと重なった状態で、ユーザＡの発話が所定の閾値回数以上検出された場合、又は所定の閾値時間以上継続して検出された場合に、ユーザＢをユーザＡの対話相手として特定してもよい。或いは、グループ設定部１２は、ユーザＡの注視点５１がユーザオブジェクト５０Ｂと重なった状態でユーザＡの発話が検出された後、ユーザＢ（第２ユーザ）からユーザＡに対する発話がされたこと（例えば、ユーザＢが、ユーザＢの注視点をユーザＡに対応するユーザオブジェクト５０Ａに合わせた状態で発話したこと）に応じて、ユーザＢをユーザＡの対話相手として特定してもよい。また、グループ設定部１２は、上記のようなユーザＡとユーザＢとの間の発話のやり取りが所定の閾値回数以上往復した場合に、ユーザＢをユーザＡの対話相手として特定してもよい。以上のように、グループ設定部１２は、ユーザＡの注視点と各ユーザのユーザオブジェクト５０との位置関係と、ユーザＡの発話の検出結果と、を基本情報として用いつつ、他の情報も用いることで、ユーザＡの対話相手をより精度良く特定するようにしてもよい。

【0062】

なお、仮想空間ＶＳが３次元空間であり、ユーザオブジェクト５０が３次元のアバターオブジェクトとして表現される場合、ユーザＡから見た視界（すなわち、ユーザ端末２０Ａの表示装置に表示される画面）において、複数のユーザのユーザオブジェクトが重なる場合がある。例えば、ユーザＢのユーザオブジェクトがユーザＣのユーザオブジェクトの後方に存在し、ユーザＡがユーザＣのユーザオブジェクトを注視できない場合がある。このような場合、制御部１３は、例えば、ユーザＣのユーザオブジェクトに関連付けられる吹き出し等の関連オブジェクトを、ユーザＡから見てユーザＢのユーザオブジェクトと重ならない位置に配置してもよい。そして、グループ設定部１２は、ユーザＡの注視点が上記関連オブジェクトに合わされた状態でユーザＡの発話が検出された場合に、ユーザＣをユーザＡの対話相手として特定してもよい。

【0063】

ステップＳ１０６において、グループ設定部１２は、ユーザＡと、ステップＳ１０５においてユーザＡの対話相手として特定されたユーザＢと、を含むグループＧを設定する。グループ設定部１２により設定されたグループＧに関する情報（例えば、グループＧに含まれるメンバ等の情報）は、設定情報記憶部３０（図１参照）に記憶される。

【0064】

なお、この例では、ユーザＡ及びユーザＢのいずれもグループに所属していない状態であるため、グループ設定部１２によって、ユーザＡ及びユーザＢをメンバに含むグループＧが新たに生成されたが、ユーザＡ及びユーザＢの一方が既存のグループに所属している場合には、グループ設定部１２は、ユーザＡ及びユーザＢの他方を当該既存のグループに追加してもよい。例えば、ユーザＡが既存のグループ（例えば、ユーザＡ及びユーザＣをメンバに含むグループ）に所属していた場合、グループ設定部１２は、当該既存のグループにユーザＢを新たなメンバとして加えてもよい。すなわち、グループ設定部１２は、ユーザＡ，Ｂ，Ｃを含むグループを設定してもよい。また、仮に、ユーザＢが既存のグループ（例えば、ユーザＢ及びユーザＣをメンバに含むグループ）に所属していた場合、グループ設定部１２は、当該既存のグループにユーザＡを新たなメンバとして加えてもよい。すなわち、グループ設定部１２は、ユーザＡ，Ｂ，Ｃを含むグループを設定してもよい。

【0065】

ステップＳ１０７において、制御部１３は、仮想空間ＶＳの表示制御を行う。例えば、制御部１３は、仮想空間ＶＳ内に配置される各ユーザオブジェクト５０の位置を変更したり、各ユーザのユーザ端末２０の表示装置の画面上に表示するための表示情報を設定したりする。

【0066】

本実施形態では、制御部１３は、仮想空間ＶＳにおけるユーザＡ（第１ユーザ）に対応するユーザオブジェクト５０Ａ（第１ユーザオブジェクト）とユーザＢ（第２ユーザ）に対応するユーザオブジェクト５０Ｂ（第２ユーザオブジェクト）との距離が短くなるように、ユーザオブジェクト５０Ａ及びユーザオブジェクト５０Ｂの少なくとも一方の位置を変更する。その上で、制御部１３は、仮想空間ＶＳに、グループＧの範囲を視覚的に示すグループ領域６０を設定する。

【0067】

本実施形態では一例として、画面ＳＣ２に示されるように、制御部１３は、ユーザＤのユーザオブジェクト５０とユーザＢのユーザオブジェクト５０Ｂとの位置を入れ替えることにより、ユーザオブジェクト５０Ｂをユーザオブジェクト５０Ａに近づける。ただし、上記のような操作を行った場合、仮想空間ＶＳにおけるユーザＤのユーザオブジェクト５０の位置がユーザＤの操作と無関係に変化してしまうため、ユーザＤに違和感を与えるおそれがある。そこで、このような問題を回避するために、制御部１３は、他のユーザのユーザオブジェクト５０の位置を変えることなく、ユーザオブジェクト５０Ａ及びユーザオブジェクト５０Ｂの少なくとも一方の位置を変更することにより、ユーザオブジェクト５０Ａとユーザオブジェクト５０Ｂとの距離を短くしてもよい。

【0068】

ステップＳ１０８において、送信部１４は、ステップＳ１０７における表示制御の結果を反映するための表示情報をユーザ端末２０Ａに送信し、ユーザ端末２０Ａの受信部２５が当該表示情報を受信する。

【0069】

ステップＳ１０９において、ユーザ端末２０Ａの表示制御部２６は、ステップＳ１０８において受信された表示情報が反映された画面ＳＣ２（図５参照）を表示装置に表示する。画面ＳＣ２では、ユーザオブジェクト５０Ｂがユーザオブジェクト５０Ａに近づけられた上で設定されたグループＧのグループ領域６０が表示されている。この例では、グループ領域６０は、グループＧのメンバであるユーザＡ，Ｂのユーザオブジェクト５０Ａ，５０Ｂを含む楕円状の領域とされている。ただし、グループ領域６０の形状は、特に限定されず、楕円状以外の形状とされてもよい。

【0070】

ユーザＡは、画面ＳＣ２に表示されたグループ領域６０を確認することによって、グループの設定状況を把握することができる。なお、図４においては処理フローを省略しているが、ステップＳ１０７における表示制御の結果を反映するための表示情報は、サーバ１０からユーザＡ以外の各ユーザのユーザ端末２０にも送信され、各ユーザ端末２０の表示装置にも画面ＳＣ２と同様の画面が表示されてもよい。この場合、複数のユーザ（図５の例ではＡ～Ｅの５人のユーザ）の各々が、自身が所属するか否かにかかわらず、グループの設定状況をリアルタイムに把握することができる。

【0071】

ステップＳ１１０において、ユーザ端末２０Ｂの発話検出部２２は、ユーザＢ（第２ユーザ）の発話を検出し、ユーザＢの発話音声を示す音声データを取得する。

【0072】

ステップＳ１１１において、ユーザ端末２０Ｂの送信部２４がユーザＢの音声データをサーバ１０に送信し、受信部１１が当該音声データを受信する。

【0073】

ステップＳ１１２において、制御部１３は、ステップＳ１１１において取得されたユーザＢの音声データを制御する。より具体的には、制御部１３は、ユーザＢがユーザＡと同一のグループに所属しているか否かに基づいて、ユーザＡに送信すべきユーザＢの音声データの音量を調整する。ここで、ユーザＢは、ユーザＡと同一のグループＧに所属している。この場合、一例として、制御部１３は、ユーザＢの音声データの基準音量を、ユーザ端末２０Ｂの発話検出部２２により検出されたユーザＢの発話音声の音量と同一の音量に設定する。

【0074】

ステップＳ１１３において、送信部１４は、ステップＳ１１２で制御されたユーザＢの音声データをユーザ端末２０Ａに送信する。

【0075】

ステップＳ１１４において、ユーザ端末２０Ａの音声出力部２７は、ユーザ端末２０が備えるスピーカ（出力インタフェース２０６）等から、ステップＳ１１３において取得されたユーザＢの音声データを出力する。ここで、音声出力部２７から出力されるユーザＢの音声データの音量は、ステップＳ１１２で設定された基準音量とユーザ端末２０Ａで設定されているスピーカ音量（ローカル設定）とに基づいて決定される。

【0076】

ステップＳ１１５において、ユーザ端末２０Ｃの発話検出部２２は、ユーザＣの発話を検出し、ユーザＣの発話音声を示す音声データを取得する。

【0077】

ステップＳ１１６において、ユーザ端末２０Ｃの送信部２４がユーザＣの音声データをサーバ１０に送信し、受信部１１が当該音声データを受信する。

【0078】

ステップＳ１１７において、制御部１３は、ステップＳ１１６において取得されたユーザＣの音声データを制御する。より具体的には、制御部１３は、ユーザＣがユーザＡと同一のグループに所属しているか否かに基づいて、ユーザＡに送信すべきユーザＣの音声データの音量を調整する。ここで、ユーザＣは、ユーザＡと同一のグループＧに所属していない。この場合、一例として、制御部１３は、ユーザＣの音声データの基準音量を、ユーザ端末２０Ｃの発話検出部２２により検出されたユーザＣの発話音声の音量よりも小さい音量に設定する。

【0079】

ステップＳ１１８において、送信部１４は、ステップＳ１１７で制御されたユーザＣの音声データをユーザ端末２０Ａに送信する。

【0080】

ステップＳ１１９において、ユーザ端末２０Ａの音声出力部２７は、ユーザ端末２０が備えるスピーカ（出力インタフェース２０６）等から、ステップＳ１１８において取得されたユーザＣの音声データを出力する。ここで、音声出力部２７から出力されるユーザＣの音声データの音量は、ステップＳ１１７で設定された基準音量とユーザ端末２０Ａで設定されているスピーカ音量（ローカル設定）とに基づいて決定される。

【0081】

ここで、ステップＳ１１２において、ユーザＢの音声データの基準音量は、ユーザ端末２０Ｂの発話検出部２２により検出されたユーザＢの発話音声の音量と同一に設定されるのに対して、ステップＳ１１７において、ユーザＣの音声データの基準音量は、ユーザ端末２０Ｃの発話検出部２２により検出されたユーザＢの発話音声の音量よりも小さく設定される。その結果、ユーザ端末２０Ａにおいて、ユーザＡと同一のグループＧに所属するユーザＢの音声データの方が、ユーザＡと同一のグループＧに所属していないユーザＣの音声データよりも聞こえやすくなる。すなわち、仮にユーザＢの発話音量とユーザＣの発話音量とが同一であった場合、ステップＳ１１４において出力されるユーザＢの音声データの音量は、ステップＳ１１９において出力されるユーザＣの音声データの音量よりも大きくなる。

【0082】

［他の制御例］
以下、図４のシーケンス図に含めなかった他のいくつかの制御例について説明する。

【0083】

（第１の制御例）
制御部１３は、ユーザＡがグループＧのグループ領域６０（図５の画面ＳＣ２参照）を注視した状態（すなわち、ユーザＡの注視点５１がグループ領域６０内に位置する状態）で発話した場合に、グループＧに所属するユーザ（ここでは、発話元のユーザＡ以外のユーザＢ）に対して出力されるユーザＡの発話音声の第１音量を、グループＧに所属しないユーザ（ここでは、ユーザＣ，Ｄ，Ｅ）に対して出力されるユーザＡの発話音声の第２音量よりも大きくしてもよい。なお、第２音量は０でもよい。すなわち、上記状態におけるユーザＡの発話音声は、グループＧに所属するユーザのみに対して出力されてもよい。上記構成によれば、グループ領域６０に視線を合わせる簡単な操作によってグループＧ内に閉じた会話（すなわち、グループＧ外のユーザには聞こえなくなるか、或いは聞き難くなる会話）を行うことが可能となる。

【0084】

なお、上記では、ユーザＡが自身の所属するグループＧに対して発信する場合を例示したが、上記仕組みは、あるユーザが自身の所属しないグループに対して発話する場合にも適用可能である。例えば、制御部１３は、グループＧに所属しないユーザＣがグループＧのグループ領域６０を注視した状態で発話した場合に、グループＧに所属するユーザ（ここでは、ユーザＡ，Ｂ）に対して出力されるユーザＣの発話音声の音量を、グループＧに所属しないユーザ（ここでは、発話元のユーザＣ以外のユーザＤ，Ｅ）に対して出力されるユーザＣの発話音声の音量よりも大きくしてもよい。

【0085】

（第２の制御例）
制御部１３は、既存のグループ（ここでは一例として、ユーザＡ及びユーザＢを含むグループＧ）に所属しているユーザＡが当該グループＧに所属していないユーザＣ（第３ユーザ）に対応するユーザオブジェクト５０Ｃに関連付けられた領域を注視した状態で、予め定められたアクションがユーザＡによって実行されたことに応じて、当該グループにユーザＣを所属させてもよい。以下、図６に示されるフローチャートを参照して、上記制御の動作例を説明する。

【0086】

ステップＳ２０１において、制御部１３は、ユーザＡ（第１ユーザ）の視線情報を取得する。具体的には、ユーザ端末２０Ａの視線検出部２１により検出（取得）されたユーザＡの視線情報が、ユーザ端末２０Ａからサーバ１０に送信される。その結果、制御部１３は、ユーザＡの視線情報を取得することができる。

【0087】

ステップＳ２０２において、制御部１３は、ユーザＡ（第１ユーザ）のアクション情報を取得する。具体的には、ユーザ端末２０Ａのアクション検出部２３により検出（取得）されたユーザＡのアクション情報が、ユーザ端末２０Ａからサーバ１０に送信される。その結果、制御部１３は、ユーザＡの視線情報を取得することができる。

【0088】

ステップＳ２０３において、制御部１３は、ステップＳ２０１において取得されたユーザＡの視線情報に基づいて、ユーザＡがユーザＣに対応するユーザオブジェクト５０Ｃに関連付けられる領域を注視しているか否かを判定する。ユーザオブジェクト５０Ｃに関連付けられる領域は、例えば、ユーザオブジェクト５０Ｃが表示された領域であってもよいし、ユーザオブジェクト５０Ｃから所定の距離以内の領域（ユーザオブジェクト５０Ｃの近傍の領域）を含む領域であってもよいし、上述した吹き出し等の関連オブジェクトであってもよい。ステップＳ２０３の判定結果がＹＥＳの場合、ステップＳ２０４の処理が実行される。ステップＳ２０３の判定結果がＮＯの場合、ユーザＣをユーザＡが所属するグループに追加することなく処理が終了される。

【0089】

ステップＳ２０４において、制御部１３は、ステップＳ２０２において取得されたユーザＡのアクション情報に基づいて、ユーザＡが予め定められた特定のアクションを実行したか否かを判定する。特定のアクションの例としては、例えば、「Ｃさん、来て下さい。」等の発話（例えば、グループに新たに追加したいユーザを示す名称、グループへの参加を呼びかけるものとして予め登録されたキーワード等を含む発話）を行うこと、手招き等の予め定められたジェスチャ動作を行うこと等が挙げられる。ステップＳ２０４の判定結果がＹＥＳの場合、ステップＳ２０５の処理が実行される。ステップＳ２０４の判定結果がＮＯの場合、ユーザＣをユーザＡが所属するグループに追加することなく処理が終了される。

【0090】

ステップＳ２０５において、制御部１３は、ユーザＣをユーザＡが所属する既存のグループのメンバとして追加する。その結果、図７の画面ＳＣ３のように、ユーザＡ及びユーザＢを含む既存のグループＧのメンバとしてユーザＣが新たに追加され、設定情報記憶部３０に記憶されているグループＧに関するグループ情報が更新される。また、グループＧのグループ領域６０は、ユーザＡ，Ｂ，Ｃのユーザオブジェクト５０Ａ，５０Ｂ，５０Ｃを含む領域に変更される。第２の制御例によれば、既存のグループＧに対する新たなメンバ（上記例ではユーザＣ）の追加を、直感的且つ容易な操作により実行することが可能となる。

【0091】

（第３の制御例）
制御部１３は、グループに所属するユーザ間の会話に基づいて、当該グループの特徴を抽出し、仮想空間ＶＳにおいて、抽出された特徴を示すアイコンオブジェクト（表示情報）を当該グループに関連付けて配置してもよい。以下、図８に示されるフローチャートを参照して、上記制御の動作例を説明する。

【0092】

ステップＳ３０１において、制御部１３は、グループ（ここでは一例として、図７に示されるユーザＡ，Ｂ，Ｃを含むグループＧ）内の会話に基づいて、グループＧの特徴を抽出する。例えば、制御部１３は、グループＧ内において発言しているユーザの数、ユーザの発話音量、沈黙状態（無音の状態）の割合等に基づいて、会話の盛り上がり度をグループＧの特徴として算出してもよい。また、制御部１３は、各ユーザの発話音声の特徴（声の音量、トーン、スピード等）に基づく公知の感情分析を行うことにより、楽しい会話をしているのか、或いは真面目な会話をしているのかといった会話の雰囲気をグループＧの特徴として特定してもよい。また、制御部１３は、各ユーザの発話内容を認識（音声認識）した結果に基づいて、会話のテーマ（例えば、仕事、政治、趣味等）を特定し、特定された会話のテーマをグループＧの特徴として抽出してもよい。

【0093】

ステップＳ３０２において、制御部１３は、ステップＳ３０１で抽出されたグループＧの特徴に対応するアイコンオブジェクトを決定する。各特徴に対応するアイコンオブジェクトは、例えば、設定情報記憶部３０に予め記憶（登録）されていてもよい。

【0094】

ステップＳ３０３において、制御部１３は、仮想空間ＶＳ上で、ステップＳ３０２で決定されたアイコンオブジェクトをグループＧに関連付けて配置する。その結果、図９の画面ＳＣ４のように、ユーザＡ，Ｂ，Ｃを含むグループＧに対して、当該グループＧの特徴（この例では、楽しい会話をしていることを示す特徴）に対応するアイコンオブジェクト７０が関連付けて配置される。第３の制御例によれば、グループＧの特徴を示すアイコンオブジェクト７０に基づいて、各ユーザがグループＧの特徴を容易に把握することが可能となる。

【0095】

（第４の制御例）
制御部１３は、複数のグループが設定されている場合に、各グループに所属するユーザ間の会話内容を認識し、一のグループ（第３グループ）について認識された会話内容と他のグループ（第４グループ）について認識された会話内容とが予め定められた関係を有する場合に、当該一のグループと当該他のグループとを併合してもよい。以下、図１０及び図１１を参照して、上記制御の動作例を説明する。ここでは、初期状態として、図１１の画面ＳＣ５に示されるように、ユーザＡ及びユーザＢを含む一のグループＧ１とユーザＣ及びユーザＤを含む他のグループＧ２とが存在している。

【0096】

ステップＳ４０１において、制御部１３は、複数のグループＧ１，Ｇ２の各々の会話内容を認識する。例えば、制御部１３は、上記第３の制御例のように、グループＧ１，Ｇ２毎に、各ユーザの発話内容を認識（音声認識）した結果に基づいて各グループＧ１，Ｇ２における会話のテーマを認識してもよい。

【0097】

ステップＳ４０２において、制御部１３は、グループＧ１について認識された会話内容（例えば、会話のテーマ等）とグループＧ２について認識された会話内容とが予め定められた関係を有するか否かを判定する。例えば、制御部１３は、グループＧ１について認識された会話のテーマとグループＧ２について認識された会話のテーマとが同一であるか、或いは予め定められた類似の関係にある場合に、上記予め定められた関係を有すると判定してもよい。一方、制御部１３は、グループＧ１について認識された会話のテーマとグループＧ２について認識された会話のテーマとが上記のような同一又は類似の関係にない場合に、上記予め定められた関係を有さないと判定してもよい。ステップＳ４０２の判定結果がＹＥＳの場合、ステップＳ４０３の処理が実行される。ステップＳ４０２の判定結果がＮＯの場合、グループＧ１とグループＧ２とは併合されない。

【0098】

ステップＳ４０３において、制御部１３は、グループＧ１とグループＧ２とを併合する。その結果、図１１の画面ＳＣ６に示されるように、ユーザＡ，Ｂ，Ｃ，Ｄを含む１つのグループＧ３が、グループＧ１，Ｇ２の併合結果として新たに生成（設定）される。第４の制御例によれば、例えば同一又は類似のテーマについて別々に会話しているグループＧ１，Ｇ２同士を併合することにより、より大人数で同一又は類似のテーマについて会話することが可能となるため、ユーザ間の会話を盛り上げることができる。

【0099】

（第５の制御例）
図１２の画面ＳＣ７に示されるように、制御部１３は、ユーザＡ（第１ユーザ）がグループＧ１（第１グループ）に所属する状態において、グループＧ１に所属しないユーザＤ（第４ユーザ）がユーザＡの対話相手として特定された場合に、ユーザＡがグループＧ１に所属する状態を維持したまま、ユーザＡとユーザＤとを含むグループＧ２（第２グループ）を設定してもよい。

【0100】

第５の制御例においては、第１の制御例と同様に、制御部１３は、ユーザＡがグループＧ１のグループ領域と重なり且つグループＧ２のグループ領域と重ならない領域を注視した状態（すなわち、ユーザＡの注視点がグループＧ１のグループ領域内に位置する一方でグループＧ２のグループ領域内に位置しない状態）で発話した場合に、グループＧ１に所属するユーザ（ここでは、発話元のユーザＡ以外のユーザＢ）に対して出力されるユーザＡの発話音声の音量を、グループＧ１に所属しないユーザ（ここでは、ユーザＣ，Ｄ，Ｅ）に対して出力されるユーザＡの発話音声の音量よりも大きくしてもよい。同様に、制御部１３は、ユーザＡがグループＧ２のグループ領域と重なり且つグループＧ１のグループ領域と重ならない領域を注視した状態（すなわち、ユーザＡの注視点がグループＧ２のグループ領域内に位置する一方でグループＧ１のグループ領域内に位置しない状態）で発話した場合に、グループＧ２に所属するユーザ（ここでは、発話元のユーザＡ以外のユーザＤ）に対して出力されるユーザＡの発話音声の音量を、グループＧ２に所属しないユーザ（ここでは、ユーザＢ，Ｃ，Ｅ）に対して出力されるユーザＡの発話音声の音量よりも大きくしてもよい。このような構成によれば、ユーザＡは、複数のグループＧ１，Ｇ２をかけもちしつつ、視線（注視点）を切り替えながら発話を行うことで、各グループＧ１，Ｇ２に閉じた会話を円滑且つ容易に行うことができる。

【0101】

また、第５の制御例において、制御部１３は、ユーザＡの各グループＧ１，Ｇ２への関与度に応じて、ユーザＡに対して出力される各グループＧ１，Ｇ２に所属するユーザの発話音声の音量を決定してもよい。例えば、制御部１３は、ユーザＡのグループＧ１への関与度を、ユーザＡのグループＧ１に対する発話量（発話時間、発話回数等）が多い程大きくなるように設定してもよい。すなわち、制御部１３は、グループＧ１に対応するグループ領域を注視した状態で発話した量に基づいて、グループＧ１への関与度を設定してもよい。そして、制御部１３は、ユーザＡのグループＧ１への関与度が大きい程、ユーザＡに対して出力されるグループＧ１に所属するユーザの発話音声の音量を大きくしてもよい。例えば、ユーザＡのグループＧ１への関与度がユーザＡのグループＧ２への関与度よりも大きい場合について考える。この場合、グループＧ１に所属するユーザ（例えば、ユーザＢ）の発話音量とグループＧ２に所属するユーザ（例えば、ユーザＤ）の発話音量とが同一であったときには、制御部１３は、ユーザＡに対して出力されるユーザＢの発話音声の音量を、ユーザＡに対して出力されるユーザＤの発話音声の音量よりも大きくする。これにより、ユーザＡが複数のグループＧ１，Ｇ２に所属する場合において、ユーザＡの各グループＧ１，Ｇ２への関与度に応じて、ユーザＡに対する各グループＧ１，Ｇ２内の音声の音量を適切に調整することができる。つまり、ユーザＡがより重視しているグループ内の会話音声を、ユーザＡに対してより大きく聞こえるように出力することが可能となる。なお、上記の仕組みは、ユーザＡが１つのグループのみに所属している場合にも適用可能である。

【0102】

（第６の制御例）
制御部１３は、仮想空間ＶＳにおいて、各ユーザの視線に関する表示情報を配置してもよい。図１３の画面ＳＣ８は、ユーザＤの視線に関する表示情報８０が配置された仮想空間ＶＳを表している。なお、実際には、ユーザＤ以外のユーザの視線に関する表示情報も仮想空間ＶＳに配置され得るが、この例では、説明を簡単にするためにユーザＤの視線に関する表示情報８０のみを図示している。なお、自分の視線（自分がどこを見ているか）を他のユーザに知られたくないユーザも存在し得る。そこで、制御部１３は、予め視線情報の公開可否を各ユーザに設定させ、視線情報の公開を許可したユーザの視線に関する表示情報のみを仮想空間ＶＳに配置してもよい。

【0103】

図１３の例では、ユーザＤが、ユーザＤのユーザ端末２０の表示装置に表示された画面上において、ユーザＡに対応するユーザオブジェクト５０を注視しており、制御部１３は、ユーザＤに対応するユーザオブジェクト５０から注視先のユーザＡに対応するユーザオブジェクト５０へと延びる矢印状のオブジェクトである表示情報８０を仮想空間ＶＳ内に配置している。第６の制御例によれば、各ユーザは、画面ＳＣ８上に表示された表示情報８０を参照することにより、誰が誰と話しているか、誰が誰と話そうとしているか、誰がどのグループに興味を持っているか、といった情報を得ることができる。各ユーザは、このような情報に基づいて、話しかける相手を選択したり、グループへの参加を促す相手を選択したりすることが可能となる。

【0104】

（第７の制御例）
各ユーザのユーザオブジェクト５０は、仮想空間ＶＳ内を移動可能に構成されてもよい。例えば、制御部１３は、あるユーザからのユーザ操作を受け付け、当該ユーザ操作に応じて、当該ユーザに対応するユーザオブジェクト５０を移動させてもよい。また、ユーザオブジェクト５０同士の距離に応じて、発話音量が制御されてもよい。例えば、ユーザＡ，Ｂ，Ｃに対応するユーザオブジェクト５０Ａ，５０Ｂ，５０Ｃが仮想空間ＶＳ内に存在し、ユーザオブジェクト５０Ａとユーザオブジェクト５０Ｂとの距離がユーザオブジェクト５０Ａとユーザオブジェクト５０Ｃとの距離よりも短く、ユーザＢ及びユーザＣが同一の音量の発話を行った場合について考える。この場合、制御部１３は、ユーザＡ（すなわち、ユーザＡのユーザ端末２０）に対して出力されるユーザＢの音声データの音量を、ユーザＡに対して出力されるユーザＣの音声データの音量よりも大きくしてもよい。上記構成によれば、近くにいる人の声の方が遠くにいる人の声よりも聞こえやすいという直感的に分かり易い仕組みをユーザに提供することが可能となる。

【0105】

（第８の制御例）
仮想空間ＶＳ内には、グループを形成するためのオブジェクト（以下「グループ形成オブジェクト」）が配置されてもよい。グループ形成オブジェクトは、例えば、ユーザオブジェクト５０と同様の表示態様で表示されてもよい。例えば、グループ形成オブジェクトは、実際には存在しないユーザ（仮想的な参加者）を模したダミーオブジェクト（ダミーアバター）として、仮想空間ＶＳ内に配置されてもよい。また、グループ形成オブジェクトには、属性が関連付けられてもよい。グループ形成オブジェクトの属性の例としては、会話のテーマ（トピック）が挙げられる。会話のテーマの例としては、「政治」、「音楽」、「スポーツ」、「アニメ」、「ゲーム」等が挙げられる。また、グループの属性の他の例としては、グループへの参加条件（例えば、「女性のみ」、「１０代のみ」等）等が挙げられる。グループ形成オブジェクトは、音声コミュニケーションのサービス提供者によって設定されてもよいし、音声コミュニケーションに参加するユーザによって設定されてもよい。

【0106】

各ユーザは、上記実施形態と同様の方法により、グループ形成オブジェクトに対応するグループに参加することができる。例えば、図５の例において、ユーザオブジェクト５０Ｂがグループ形成オブジェクト（例えば、会話テーマ「音楽」が設定されたダミーアバター）であると仮定する。この場合、「音楽」について他のユーザと会話をしたいユーザＡは、視線を仮想空間ＶＳに配置されたダミーアバター（ユーザオブジェクト５０Ｂ）に関連付けられた領域に合わせた状態で発話することにより、当該ダミーアバターに対応するグループＧに参加することができる。他のユーザ（例えばユーザＣ）も、同様の方法により、当該ダミーアバターに対応するグループＧに参加することができる。このように、会話テーマを関連付けたダミーアバターを仮想空間ＶＳ内に配置することにより、ユーザの音声コミュニケーションをより円滑化することができる。すなわち、複数のユーザ（この例では、ユーザＡ，Ｃ）が、同一のダミーアバターに対応するグループＧに参加することによって、当該ダミーアバターに設定された会話テーマ（上記例では「音楽」）に関する会話を楽しむことが可能となる。

【0107】

［効果］
以上説明したように、本開示の一側面に係るコミュニケーション支援システムは、複数のユーザ間の音声コミュニケーションを支援するコミュニケーション支援システムであって、少なくとも一つのプロセッサを備える。少なくとも一つのプロセッサは、複数のユーザの各々に対応するユーザオブジェクトが配置される２次元又は３次元の仮想空間を表す画面に対する第１ユーザの視線とユーザオブジェクトとの位置関係と、第１ユーザの発話の検出結果と、に基づいて、第１ユーザの対話相手である第２ユーザを特定し、第１ユーザと第２ユーザとを含むグループを設定し、グループに所属する第２ユーザの発話音声を、第２ユーザがグループに所属していない場合における第２ユーザの発話音声よりも大きい音量で第１ユーザに対して出力する。

【0108】

本開示の一側面に係るコミュニケーション支援方法は、少なくとも一つのプロセッサを備えるコミュニケーション支援システムによって実行される。コミュニケーション支援方法は、複数のユーザの各々に対応するユーザオブジェクトが配置される２次元又は３次元の仮想空間を表す画面に対する第１ユーザの視線とユーザオブジェクトとの位置関係と、第１ユーザの発話の検出結果と、に基づいて、第１ユーザの対話相手である第２ユーザを特定するステップと、第１ユーザと第２ユーザとを含むグループを設定するステップと、グループに所属する第２ユーザの発話音声を、第２ユーザがグループに所属していない場合における第２ユーザの発話音声よりも大きい音量で第１ユーザに対して出力するステップと、を含む。

【0109】

本開示の一側面に係るコミュニケーション支援プログラムは、複数のユーザの各々に対応するユーザオブジェクトが配置される２次元又は３次元の仮想空間を表す画面に対する第１ユーザの視線とユーザオブジェクトとの位置関係と、第１ユーザの発話の検出結果と、に基づいて、第１ユーザの対話相手である第２ユーザを特定するステップと、第１ユーザと第２ユーザとを含むグループを設定するステップと、グループに所属する第２ユーザの発話音声を、第２ユーザがグループに所属していない場合における第２ユーザの発話音声よりも大きい音量で第１ユーザに対して出力するステップと、をコンピュータに実行させる。

【0110】

このような側面においては、各ユーザの視線及び発話の検出結果に基づいて、会話しているユーザ同士を自動的に同一のグループに分類することができる。そして、各ユーザに対して、自分と同じグループに属しているユーザの発話音声が、自分と同じグループに属していないユーザの発話音声よりも大きく出力される。その結果、複数のユーザ間の音声コミュニケーションにおいて、一部のユーザ同士の会話（すなわち、グループ内の会話）を円滑且つ容易に行うことが可能となる。

【0111】

コミュニケーション支援システムでは、少なくとも一つのプロセッサは、仮想空間における第１ユーザに対応する第１ユーザオブジェクトと第２ユーザに対応する第２ユーザオブジェクトとの距離が短くなるように、第１ユーザオブジェクト及び第２ユーザオブジェクトの少なくとも一方の位置を変更してもよい。すなわち、上記実施形態（図５）のように、同一のグループＧに所属させるユーザＡ（第１ユーザ）のユーザオブジェクト５０ＡとユーザＢ（第２ユーザ）のユーザオブジェクト５０Ｂとの距離が短くなるように、ユーザオブジェクト５０Ａ及びユーザオブジェクト５０Ｂの少なくとも一方（図５の例では、ユーザオブジェクト５０Ｂのみ）の位置を変更してもよい。このように、同一のグループＧに所属するユーザＡ，Ｂのユーザオブジェクト５０Ａ，５０Ｂをなるべく近づけることにより、グループＧを示すグループ領域６０をなるべくコンパクトに表示することが可能となる。

【0112】

コミュニケーション支援システムでは、少なくとも一つのプロセッサは、仮想空間において、グループの範囲を視覚的に示すグループ領域を設定してもよく、第１ユーザがグループ領域を注視した状態で発話した場合に、グループに所属するユーザに対して出力される第１ユーザの発話音声の第１音量を、グループに所属しないユーザに対して出力される第１ユーザの発話音声の第２音量よりも大きくしてもよい。すなわち、コミュニケーション支援システムは、上述した第１の制御例の処理を実行する機能を有してもよい。上記構成によれば、グループ領域に視線を合わせる簡単な操作によってグループ内に閉じた会話を行うことが可能となる。

【0113】

コミュニケーション支援システムでは、少なくとも一つのプロセッサは、第１ユーザがグループ領域を注視した状態で発話した量に基づいて、第１ユーザの当該グループへの関与度を算出してもよく、第１ユーザに対して出力される第２ユーザの発話音声の音量を、関与度に基づいて決定してもよい。すなわち、コミュニケーション支援システムは、上述した第５の制御例において説明した機能を有してもよい。上記構成によれば、第１ユーザのグループへの関与度に応じて、第１ユーザに対するグループ内の音声の音量を適切に調整することができる。

【0114】

コミュニケーション支援システムでは、少なくとも一つのプロセッサは、グループに所属するユーザ間の会話に基づいて、グループの特徴を抽出してもよく、仮想空間において、抽出された特徴を示す表示情報をグループに関連付けて配置してもよい。すなわち、コミュニケーション支援システムは、上述した第３の制御例の処理を実行する機能を有してもよい。上記構成によれば、グループの特徴を示す表示情報（一例として、図９に示されるアイコンオブジェクト７０）に基づいて、各ユーザがグループの特徴（例えば、グループ内の雰囲気、会話内容等）を容易に把握することが可能となる。

【0115】

コミュニケーション支援システムでは、少なくとも一つのプロセッサは、グループに所属している第１ユーザがグループに所属していない第３ユーザに対応する第３ユーザオブジェクトに関連付けられた領域を注視した状態で、予め定められたアクションが第１ユーザによって実行されたことに応じて、グループに第３ユーザを所属させてもよい。すなわち、コミュニケーション支援システムは、上述した第２の制御例の処理を実行する機能を有してもよい。上記構成によれば、既存のグループに対する新たなメンバの追加を、直感的且つ容易な操作により実行することが可能となる。

【0116】

コミュニケーション支援システムでは、少なくとも一つのプロセッサは、第１ユーザが第１グループに所属する状態において、第１グループに所属しない第４ユーザが第１ユーザの対話相手として特定された場合に、第１ユーザが第１グループに所属する状態を維持したまま、第１ユーザと第４ユーザとを含む第２グループを設定してもよい。すなわち、コミュニケーション支援システムは、上述した第５の制御例の処理を実行する機能を有してもよい。上記構成によれば、第１ユーザは、複数のグループ（第１グループ及び第２グループ）をかけもちしつつ、視線（注視点）を切り替えながら発話を行うことで、各グループに閉じた会話を円滑且つ容易に行うことができる。

【0117】

コミュニケーション支援システムでは、少なくとも一つのプロセッサは、複数のグループが設定されている場合に、各グループに所属するユーザ間の会話内容を認識してもよく、第３グループについて認識された会話内容と第４グループについて認識された会話内容とが予め定められた関係を有する場合に、第３グループと第４グループとを併合してもよい。すなわち、コミュニケーション支援システムは、上述した第４の制御例の処理を実行する機能を有してもよい。上記構成によれば、例えば同一又は類似のテーマについて別々に会話しているグループ同士を併合することにより、より大人数で同一又は類似のテーマについて会話することが可能となるため、ユーザ間の会話を盛り上げることができる。

【0118】

コミュニケーション支援システムでは、少なくとも一つのプロセッサは、仮想空間において、各ユーザの視線に関する表示情報を配置してもよい。すなわち、コミュニケーション支援システムは、上述した第６の制御例の処理を実行する機能を有してもよい。上記構成によれば、音声コミュニケーションに参加する各ユーザの利便性を向上させることができる。例えば、各ユーザは、画面上に表示された表示情報を参照することにより、誰が誰と話しているか、誰が誰と話そうとしているか、誰がどのグループに興味を持っているか、といった情報を得ることができる。また、各ユーザは、このような情報に基づいて、話しかける相手を選択したり、グループへの参加を促す相手を選択したりすることが可能となる。

【0119】

［変形例］
以上、本開示について、実施形態に基づいて詳細に説明した。しかし、本開示は、上記実施形態に限定されない。本開示は、その要旨を逸脱しない範囲で様々な変形が可能である。

【0120】

上記実施形態では、コミュニケーション支援システム１がサーバ１０を用いて構成されたが、コミュニケーション支援システムは、サーバ１０を含まなくてもよい。例えば、複数のユーザ端末２０のうちのいずれかが音声コミュニケーションを管理するホスト機能を担い、上述したサーバ１０の機能を実行してもよい。或いは、コミュニケーション支援システムは、複数のユーザ端末２０間の直接通信（Ｐ２Ｐ）により実現されてもよい。この場合、上述したサーバ１０の各機能は、各ユーザ端末２０間で分担して実行されてもよい。これに関連して、コミュニケーション支援プログラムはクライアントプログラムとして実現されてもよい。

【0121】

また、上述したサーバ１０の機能の一部は、ユーザ端末２０で実行されてもよい。例えば、図４のステップＳ１０５においてユーザＡの対話相手を特定する処理は、ユーザ端末２０Ａ側で実行されてもよい。この場合、ユーザ端末２０Ａにおいて特定したユーザＡの対話相手であるユーザを示す情報が、ユーザ端末２０Ａからサーバ１０に通知されればよい。また、図４のステップＳ１１２，Ｓ１１７における音声データの制御は、ユーザ端末２０Ａ側で実行されてもよい。

【0122】

本開示において、「少なくとも一つのプロセッサが、第１の処理を実行し、第２の処理を実行し、…第ｎの処理を実行する。」との表現、又はこれに対応する表現は、第１の処理から第ｎの処理までのｎ個の処理の実行主体（すなわちプロセッサ）が途中で変わる場合を含む概念である。すなわち、この表現は、ｎ個の処理のすべてが同じプロセッサで実行される場合と、ｎ個の処理においてプロセッサが任意の方針で変わる場合との双方を含む概念である。

【0123】

少なくとも一つのプロセッサにより実行される方法の処理手順は上記実施形態での例に限定されない。例えば、上述したステップ（処理）の一部が省略されてもよいし、別の順序で各ステップが実行されてもよい。また、上述したステップのうちの任意の２以上のステップが組み合わされてもよいし、ステップの一部が修正又は削除されてもよい。あるいは、上記の各ステップに加えて他のステップが実行されてもよい。

【0124】

本明細書で述べた各機能部の任意の一部または全部がプログラムによって実現されてもよい。本明細書で言及したプログラムは、コンピュータ読み取り可能な記録媒体に非一時的に記録して頒布されてもよいし、インターネットなどの通信回線（無線通信も含む）を介して頒布されてもよいし、任意の端末にインストールされた状態で頒布されてもよい。

【0125】

上記の記載に基づいて、当業者であれば、本開示についての追加の効果または種々の変形例を想到できるかもしれないが、本開示の態様は、上述した個々の実施形態に限定されるものではない。特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨とを逸脱しない範囲で、種々の追加、変更および部分的削除が可能である。

【0126】

例えば、本明細書において１台の装置（あるいは部材。以下同じ）として説明される構成（これは、図面において１台の装置として描かれている構成を含む）が、複数の装置によって実現されもよい。あるいは、本明細書において複数の装置として説明される構成（これは、図面において複数の装置として描かれている構成を含む）が１台の装置によって実現されてもよい。あるいは、或る装置（例えばサーバ）に含まれる手段または機能の一部または全部が、他の装置（例えばユーザ端末）に含まれてもよい。

【0127】

本明細書に記載された事項のすべてが必須の要件というわけではない。例えば、本明細書に記載されているが特許請求の範囲に記載されていない事項は、任意の付加的事項ということができる。

【0128】

本出願人は本明細書の「先行技術文献」欄に記載された公知技術を知っているにすぎない。本開示は必ずしもその公知技術における課題を解決することを目的とするものではないことにも留意されたい。本開示において解決しようとする課題は、本明細書の全体を考慮して認定されるべきものである。例えば、本明細書において、特定の構成によって所定の効果を奏する旨の記載がある場合、当該所定の効果に対応する課題が解決されるということもできる。しかし、その効果に関する記載は必ずしも、そのような特定の構成を必須の要件とする趣旨ではない。

【符号の説明】

【0129】

１…コミュニケーション支援システム、１０…サーバ、１１…受信部、１２…グループ設定部、１３…制御部、１４…送信部、２０，２０Ａ，２０Ｂ，２０Ｃ…ユーザ端末、２１…視線検出部、２２…発話検出部、２３…アクション検出部、２４…送信部、２５…受信部、２６…表示制御部、２７…音声出力部、５０，５０Ａ，５０Ｂ，５０Ｃ…ユーザオブジェクト、６０…グループ領域、７０…アイコンオブジェクト（表示情報）、８０…表示情報、１０１…プロセッサ、２０１…プロセッサ、Ｐ１…サーバプログラム、Ｐ２…クライアントプログラム、Ｇ，Ｇ１，Ｇ２，Ｇ３…グループ、ＳＣ０～ＳＣ８…画面、ＶＳ…仮想空間。

【要約】

【課題】複数のユーザ間の音声コミュニケーションにおいて、一部のユーザ同士の会話を円滑且つ容易に行うことができる。
【解決手段】一実施形態に係るコミュニケーション支援システムは、複数のユーザ間の音声コミュニケーションを支援するコミュニケーション支援システムであって、少なくとも一つのプロセッサを備える。少なくとも一つのプロセッサは、複数のユーザの各々に対応するユーザオブジェクトが配置される２次元又は３次元の仮想空間を表す画面に対する第１ユーザの視線とユーザオブジェクトとの位置関係と、第１ユーザの発話の検出結果と、に基づいて、第１ユーザの対話相手である第２ユーザを特定し、第１ユーザと第２ユーザとを含むグループを設定し、グループに所属する第２ユーザの発話音声を、第２ユーザがグループに所属していない場合における第２ユーザの発話音声よりも大きい音量で第１ユーザに対して出力する。
【選択図】図４

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】