(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024112518
(43)【公開日】2024-08-21
(54)【発明の名称】情報処理装置、通信装置、情報処理方法、及び通信方法
(51)【国際特許分類】
H04M 3/56 20060101AFI20240814BHJP
G06F 3/16 20060101ALI20240814BHJP
G10L 15/00 20130101ALI20240814BHJP
G10L 15/10 20060101ALI20240814BHJP
【FI】
H04M3/56
G06F3/16 650
G06F3/16 690
G10L15/00 200U
G10L15/10 500T
【審査請求】未請求
【請求項の数】20
【出願形態】OL
(21)【出願番号】P 2023017590
(22)【出願日】2023-02-08
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】仲 義昭
【テーマコード(参考)】
5K201
【Fターム(参考)】
5K201BB09
5K201CA01
5K201CC10
5K201DC05
5K201DC06
5K201EB07
5K201EC06
5K201ED05
5K201ED09
5K201EF03
5K201EF08
(57)【要約】
【課題】円滑なグループ通話を実現可能な情報処理装置、通信装置、情報処理方法、及び通信方法を提案する。
【解決手段】情報処理装置は、グループ通話に参加する第1の通信装置の第1のユーザの音声を認識する認識部と、前記認識した音声が所定の基準を満たす場合、前記グループ通話に参加又は参加予定の一又は複数のユーザの状態に紐づけられたフレーズを含む音声データを生成する生成部と、前記生成した音声データを前記グループ通話に参加する一又は複数の通信装置に出力する発信制御部と、を備える。
【選択図】
図3
【特許請求の範囲】
【請求項1】
グループ通話に参加する第1の通信装置の第1のユーザの音声を認識する認識部と、
前記認識した音声が所定の基準を満たす場合、前記グループ通話に参加又は参加予定の一又は複数のユーザの状態に紐づけられたフレーズを含む音声データを生成する生成部と、
前記生成した音声データを前記グループ通話に参加する一又は複数の通信装置に出力する発信制御部と、を備える、
情報処理装置。
【請求項2】
前記生成部は、前記認識した音声が第2の通信装置の第2のユーザへの呼びかけを示す場合、且つ、前記第2のユーザが応答可能を示す第1の状態とは異なる第2の状態である場合に、前記第2の状態に紐づけられた第1のフレーズを含む音声データを生成し、
前記発信制御部は、前記第1のフレーズを含む音声データを少なくとも前記第1の通信装置へ出力する、
請求項1に記載の情報処理装置。
【請求項3】
前記第2の状態には、前記第2のユーザが前記グループ通話を管理するシステムに接続中であると、前記システムに認識されていない状態が含まれ、
前記生成部は、前記認識した音声が第2の通信装置の第2のユーザへの呼びかけを示す場合、且つ、前記第2の通信装置が前記システムに接続されていない状態である場合に、前記第1のフレーズを含む音声データとして、前記第2の通信装置が前記システムに接続されていないことを示す音声データを生成する、
請求項2に記載の情報処理装置。
【請求項4】
前記第2の状態には、前記第2のユーザが前記グループ通話を管理するシステムに接続中であると前記システムに認識されている状態、且つ、前記第2のユーザが前記グループ通話に不参加の状態が含まれ、
前記生成部は、前記認識した音声が第2の通信装置の第2のユーザへの呼びかけを示す場合、且つ、前記第2の通信装置が前記システムに接続中の状態および前記第2のユーザが前記グループ通話に不参加の状態である場合に、前記第1のフレーズを含む音声データとして、前記第2のユーザが前記グループ通話に不参加であることを示す音声データを生成する、
請求項2に記載の情報処理装置。
【請求項5】
前記生成部は、前記認識した音声が第2の通信装置の第2のユーザへの呼びかけを示す場合、且つ、前記第2の通信装置が前記システムに接続中の状態および前記第2のユーザが前記グループ通話に不参加の状態である場合であって、前記システムが管理する他のグループ通話に前記第2のユーザが参加している場合に、前記第1のフレーズを含む音声データとして、前記第2のユーザが前記他のグループ通話に参加中であることを示す音声データを生成する、
請求項4に記載の情報処理装置。
【請求項6】
前記生成部は、前記認識した音声が第2の通信装置の第2のユーザへの呼びかけを示す場合、且つ、前記第2の通信装置が前記システムに接続中の状態および前記第2のユーザが前記グループ通話に不参加の状態である場合に、前記第2のユーザを呼び出すか否かを前記第1のユーザに問う第2のフレーズを含む音声データを生成する、
請求項4に記載の情報処理装置。
【請求項7】
前記発信制御部は、前記第1のユーザが前記第2のフレーズを含む音声に対して前記第2のユーザを呼び出す旨の応答を行った場合には、前記第2のユーザに対して、前記グループ通話への参加を要求する旨の発信を行う、
請求項6に記載の情報処理装置。
【請求項8】
前記第2の状態には、前記第2のユーザが前記グループ通話に参加中で応答不可の状態が含まれ、
前記生成部は、前記認識した音声が第2の通信装置の第2のユーザへの呼びかけを示す場合、且つ、前記第2のユーザが前記グループ通話に参加中で応答不可の状態である場合に、前記第1のフレーズを含む音声データとして、前記第2のユーザが応答不可の状態であることを示す音声データを生成する、
請求項2に記載の情報処理装置。
【請求項9】
前記第2の状態には、前記第2のユーザが前記グループ通話に参加中で一時的な不在の状態が含まれ、
前記生成部は、前記認識した音声が第2の通信装置の第2のユーザへの呼びかけを示す場合、且つ、前記第2のユーザが前記グループ通話に参加中で一時的な不在の状態である場合に、前記第1のフレーズを含む音声データとして、前記第2のユーザが一時的な不在であることを示す音声データを生成する、
請求項2に記載の情報処理装置。
【請求項10】
前記グループ通話に参加するユーザの状態を判別する判別部を備え、
前記第2の通信装置は、近接センサを備える装着型の装置であり、
前記判別部は、前記第2の通信装置は、前記第2の通信装置が備える近接センサの検出結果に基づく前記第2のユーザの状態に関する情報に基づいて、前記第2のユーザが前記グループ通話に参加中で一時的な不在であるか否かを判別する、
請求項9に記載の情報処理装置。
【請求項11】
前記第2の状態には、前記第2のユーザが前記グループ通話に参加中で音声ミュートの状態が含まれ、
前記生成部は、前記認識した音声が第2の通信装置の第2のユーザへの呼びかけを示す場合、且つ、前記第2のユーザが前記グループ通話に参加中で音声ミュートの状態である場合に、前記第1のフレーズを含む音声データとして、前記第2のユーザが前記グループ通話に参加していることを示す音声データを生成する、
請求項2に記載の情報処理装置。
【請求項12】
前記生成部は、前記認識した音声が第2の通信装置の第2のユーザへの呼びかけを示す場合、且つ、前記第2のユーザが前記グループ通話に参加中で音声ミュートの状態である場合に、前記第2のユーザの音声がミュートとなっていることを示すフレーズを含む音声データを生成し、
前記発信制御部は、前記第2のユーザの音声がミュートとなっていることを示すフレーズを含む音声データを前記第2の通信装置に対してのみ出力する、
請求項11に記載の情報処理装置。
【請求項13】
前記生成部は、前記認識した音声が第2の通信装置の第2のユーザへの呼びかけを示す場合、且つ、前記第1のユーザが音声ミュートの状態である場合に、前記第2のユーザの状態に紐づけられた第1のフレーズを含む音声データを生成し、
前記発信制御部は、前記第1のフレーズを含む音声データを前記第1の通信装置に対してのみ出力する、
請求項1に記載の情報処理装置。
【請求項14】
前記第2の状態には、前記第2のユーザが前記グループ通話に参加している状態、且つ、前記第2の通信装置の通信リンクの品質が所定の基準より低い状態が含まれ、
前記生成部は、前記認識した音声が第2の通信装置の第2のユーザへの呼びかけを示す場合、且つ、前記第2のユーザが前記グループ通話に参加中の状態および前記第2の通信装置の通信品質が所定の基準より低い状態の場合に、前記第1のフレーズを含む音声データとして、前記第2の通信装置の通信品質が低下していることを示す音声データを生成する、
請求項2に記載の情報処理装置。
【請求項15】
前記生成部は、前記認識した音声が前記グループ通話に参加又は参加予定のユーザ全員に対する呼びかけである場合に、前記グループ通話に参加又は参加予定の一又は複数のユーザの状態に紐づけられた第3のフレーズを含む音声データを生成する、
請求項1に記載の情報処理装置。
【請求項16】
前記生成部は、前記認識した音声が前記グループ通話に参加又は参加予定のユーザ全員に対する呼びかけである場合に、前記第3のフレーズを含む音声データとして、参加ユーザもしくは不参加ユーザのうちの少ない方の全員の名前を含む音声データを生成する、
請求項15に記載の情報処理装置。
【請求項17】
前記生成部は、前記認識した音声が前記グループ通話に参加又は参加予定のユーザ全員に対する呼びかけである場合、且つ、参加ユーザもしくは不参加ユーザのうちの少ない方の人数が所定の数より多い場合に、前記第3のフレーズを含む音声データとして、参加ユーザ及び不参加ユーザの少なくとも一方の人数の情報を含む音声データを生成する、
請求項16に記載の情報処理装置。
【請求項18】
グループ通話に使用可能な通信装置であって、
前記グループ通話に参加する第1の通信装置の第1のユーザの音声を認識する認識部と、前記認識した音声が所定の基準を満たす場合、前記グループ通話に参加又は参加予定の一又は複数のユーザの状態に紐づけられたフレーズを含む音声データを生成する生成部と、前記生成した音声データを前記グループ通話に参加する一又は複数の通信装置に出力する発信制御部と、を備える情報処理装置に、前記通信装置を使用するユーザの状態に関する情報と該ユーザの音声データとを送信する送信制御部と、
前記情報処理装置の前記生成部で生成された音声データを受信する受信制御部と、を備える、
通信装置。
【請求項19】
グループ通話に参加する第1の通信装置の第1のユーザの音声を認識し、
前記認識した音声が所定の基準を満たす場合、前記グループ通話に参加又は参加予定の一又は複数のユーザの状態に紐づけられたフレーズを含む音声データを生成し、
前記生成した音声データを前記グループ通話に参加する一又は複数の通信装置に出力する、
情報処理方法。
【請求項20】
グループ通話に使用可能な通信装置が実行する通信方法であって、
前記グループ通話に参加する第1の通信装置の第1のユーザの音声を認識する認識部と、前記認識した音声が所定の基準を満たす場合、前記グループ通話に参加又は参加予定の一又は複数のユーザの状態に紐づけられたフレーズを含む音声データを生成する生成部と、前記生成した音声データを前記グループ通話に参加する一又は複数の通信装置に出力する発信制御部と、を備える情報処理装置に、前記通信装置を使用するユーザの状態の情報と該ユーザの音声データとを送信し、
前記情報処理装置の前記生成部で生成された音声データを受信する、
通信方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、通信装置、情報処理方法、及び通信方法に関する。
【背景技術】
【0002】
多人数で行われる通話/オンライン会議(以下、グループ通話という。)の機会が増えている。近年では、様々な機能を備えたグループ通話システムが開発されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
グループ通話では、他のユーザの状態の把握が困難である。他のユーザの状態把握が困難な状況では、他のユーザの状態の把握のためにグループ通話が中断する等、グループ通話が円滑に行われないことがある。
【0005】
そこで、本開示では、円滑なグループ通話を実現可能な情報処理装置、通信装置、情報処理方法、及び通信方法を提案する。
【0006】
なお、上記課題又は目的は、本明細書に開示される複数の実施形態が解決し得、又は達成し得る複数の課題又は目的の1つに過ぎない。
【課題を解決するための手段】
【0007】
上記の課題を解決するために、本開示に係る一形態の情報処理装置は、グループ通話に参加する第1の通信装置の第1のユーザの音声を認識する認識部と、前記認識した音声が所定の基準を満たす場合、前記グループ通話に参加又は参加予定の一又は複数のユーザの状態に紐づけられたフレーズを含む音声データを生成する生成部と、前記生成した音声データを前記グループ通話に参加する一又は複数の通信装置に出力する発信制御部と、を備える。
【図面の簡単な説明】
【0008】
【
図1】本実施形態の課題を説明するための図である。
【
図2】本実施形態の課題を説明するための図である。
【
図3】本実施形態の解決手段の一例を説明するための図である。
【
図4A】本実施形態の解決手段の他の例を説明するための図である。
【
図4B】本実施形態の解決手段の他の例を説明するための図である。
【
図5】本開示の実施形態に係る情報処理システムの構成例を示す図である。
【
図6】情報処理システムの具体的構成例を示す図である。
【
図7】本開示の実施形態に係るサーバの構成例を示す図である。
【
図8】本開示の実施形態に係る端末装置の構成例を示す図である。
【
図9】本開示の実施形態に係るグループ通話システムの構成例を示す図である。
【
図10】グループ通話でのユーザ状態の遷移を示す状態遷移図である。
【
図11】情報処理システムの動作の概要を説明するためのシーケンス図である。
【
図12】初期処理の一例を示すシーケンス図である。
【
図13】グループ通話参加処理の一例を示すシーケンス図である。
【
図14】ユーザ状態更新処理の一例を示すシーケンス図である。
【
図15】ユーザ状態更新処理の一例を示すシーケンス図である。
【
図16】グループ通話離脱処理の一例を示すシーケンス図である。
【
図17】終了処理の一例を示すシーケンス図である。
【
図18】代理応答処理の一例を示すフローチャートである。
【発明を実施するための形態】
【0009】
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
【0010】
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の構成を、必要に応じてサーバ1001、及び1002のように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、サーバ1001、及び1002を特に区別する必要が無い場合には、単にサーバ100と称する。
【0011】
以下に説明される1又は複数の実施形態(実施例、変形例を含む)は、各々が独立に実施されることが可能である。一方で、以下に説明される複数の実施形態は少なくとも一部が他の実施形態の少なくとも一部と適宜組み合わせて実施されてもよい。これら複数の実施形態は、互いに異なる新規な特徴を含み得る。したがって、これら複数の実施形態は、互いに異なる目的又は課題を解決することに寄与し得、互いに異なる効果を奏し得る。
【0012】
<<1.概要>>
多人数(例えば、3名以上)で行われる通話/オンライン会議(以下、グループ通話という。)の機会が増えている。近年では、様々な機能を備えたグループ通話システム(オンライン会議システムともいう。)が開発されている。また、近年では、グループ通話を含む幅広い用途(例えば、レジャー、作業、及びビジネスシーン)に用いられることを想定した、ディスプレイレスの通信装置(又は、ユーザがディスプレイを常時注視することを予定していない通信装置)が開発されている。
【0013】
グループ通話では、他のユーザの状態の把握が困難な場面がよくある。他のユーザの状態把握が困難な状況では、他のユーザの状態把握のためにグループ通話が中断する等、グループ通話が円滑に行われないことがある。例えば、あるユーザが他のユーザのグループ通話への参加(在席、present)/不参加(不在、absent)を確認する場面を考える。
図1及び
図2は、本実施形態の課題を説明するための図である。
図1及び
図2の例は、ユーザAがユーザDのグループ通話へ参加(在席、present)/不参加(不在、absent)を確認している。
図1及び
図2の例では、ユーザAは、ディスプレイレスの通信装置を使ってグループ通話に参加している。
【0014】
ユーザAは、ディスプレイレスの通信装置を使ってグループ通話に参加しているので、ユーザDへの呼びかけに対するユーザDの返事の有無を以って、ユーザDがグループ通話へ参加しているか否を判断することになる。
図1の例では、ユーザDがグループ通話へ参加している。そのため、ユーザAは、ユーザDの返事を即座に得ることができ、結果として、ユーザAは、ユーザDがグループ通話に参加していることを即座に判断できる。
【0015】
一方、ユーザDが
図2に示すようにグループ通話に参加していない場合、当然ながらユーザDから返事はない。この場合、ユーザAは、ユーザDからの返事がしばらくないことを以って、ユーザDが不在であると判断せざるを得ず、結果として、グループ通話への参加/不参加の確認のために時間を要することになる。特に、不在者が多人数に及ぶ場合、グループ通話への参加/不参加の確認のために極めて長時間を要することになる。こうなると、グループ通話が円滑に行われない。
【0016】
この課題は、グループ通話の参加者のリストを常時表示可能なグループ通話システム(オンライン会議システム)においてもしばしば見受けられる。ディスプレイレスの通信装置(又は、ユーザがディスプレイを常時注視することを予定していない通信装置)においては、尚一層この課題を解決することが求められる。
【0017】
そこで、本実施形態では、以下の通り上記課題を解決する。
【0018】
図3は、本実施形態の解決手段の一例を説明するための図である。本実施形態のグループ通話システムは、グループ通話に参加するユーザの音声を認識する機能を備える。また、本実施形態のグループ通話システムは、グループ通話に参加するユーザの状態を管理する機能を備える。
【0019】
まず、グループ通話システムは、ユーザのグループ通話での音声を取得し、その音声の内容を認識する。グループ通話システムは、認識した音声の内容が所定の基準を満たすか否か判別する。例えば、グループ通話システムは、グループ通話に参加するあるユーザの音声の内容が、グループ通話に参加又は参加予定の他のユーザへの呼びかけであるか否か判別する。音声の内容が他のユーザへの呼びかけである場合、グループ通話システムは、さらに当該他のユーザが応答可能な状態であるか否かを判別する。
【0020】
当該他のユーザが応答可能な状態でない場合(例えば、不在の場合)、グループ通話システムは、当該他のユーザの状態に紐づけられたフレーズを含む返答(音声データ)を生成し、当該他のユーザに代理して返答を行う。
図3の例では、ユーザAに呼びかけられたユーザDが不在であるので、グループ通話システムは、ユーザDが不在である旨の返答を行っている。
【0021】
なお、当該他のユーザが通話に参加している場合、例えば
図1に示したように、呼びかけに対する当該他のユーザの返答を期待できる。そのため、当該他のユーザがグループ通話に参加していると判断される場合には、グループ通話システムは、必ずしも返答を代理しなくてもよい。
【0022】
なお、呼びかけられた他のユーザが音声ミュート(マイクミュート)の状態にある場合、当然ながら当該他のユーザの返答を期待することはできない。この場合、グループ通話システムは、当該他のユーザが現在どのような状態にあるかに関わらず、当該他のユーザに代理して返答を行ってもよい。
図4Aは、本実施形態の解決手段の他の例を説明するための図である。
図4Aの例では、ユーザAに呼びかけられたユーザCが音声ミュートの状態にある。そのため、この場合、グループ通話システムは、ユーザCがグループ通話に参加している旨の返答を行ってもよい。グループ通話システムは、ユーザCがグループ通話に参加している旨の返答に加えて又は替えて、ユーザCが音声ミュート(マイクミュート)の状態にある旨の出力を行ってもよい。
【0023】
なお、グループ通話システムは、呼びかけられた側のユーザではなく、呼びかけた側のユーザの状態に応じて返答を行ってもよい。例えば、呼びかけを行ったユーザが音声ミュート(マイクミュート)の状態にある場合、当然ながら音声は相手に届かないので、呼びかけられた他のユーザからの返答を期待することはできない。この場合も、グループ通話システムは、呼びかけた側のユーザに対して、当該他のユーザの状態に紐づけられたフレーズを含む返答を行ってもよい。
図4Bは、本実施形態の解決手段の他の例を説明するための図である。
図4Bの例では、呼びかけを行ったユーザAが音声ミュートの状態にある。また、
図4Bの例では、呼びかけ対象であるユーザCはグループ通話に参加している。そのため、この場合、グループ通話システムは、ユーザAに対して、ユーザCがグループ通話に参加している旨の返答を行う。
【0024】
なお、呼びかけた側のユーザが音声ミュートの状態にある場合、グループ通話システムは、呼びかけられた他のユーザが現在どのような状態にあるかに関わらず返答を行ってもよい。また、グループ通話システムは、呼びかけたユーザ(
図4Bの例ではユーザA)に対してのみ返答を行ってもよい。ユーザが自身のマイクをミュートしてから他のユーザへの呼びがけを行うことにより、呼びかけを行うユーザは、呼びかけの音声をグループ通話の音声にのせることなく、当該他のユーザの参加/不参加等を確認することができる。
【0025】
本実施形態によれば、グループ通話の参加者は、話しかけたい相手が応答可能な状態ではない場合に、その者が応答可能な状態でないことを速やかに把握できる。従来のグループ通話で行われている「呼びかけた相手からの返答をしばらく待つ」といった方法での不在確認の必要がなくなる。結果として、グループ通話システムは、円滑なグループ通話を実現できる。
【0026】
以上、本実施形態の概要を述べたが、以下、本実施形態に係る情報処理システム1を詳細に説明する。
【0027】
<<2.通信システムの構成>>
まず、情報処理システム1の構成を説明する。
【0028】
図5は、本開示の実施形態に係る情報処理システム1の構成例を示す図である。情報処理システム1は、グループ通話システム10と、複数の端末装置200と、を備える。グループ通話システム10は、グループ通話を管理するシステムである。グループ通話システム10は、広域または閉域のネットワーク上に配置される。また、端末装置200は、グループ通話に使用される通信装置(ユーザ端末)である。
図5の例では、情報処理システム1は、端末装置200として端末装置200
1~200
6を備えている。グループ通話システム10と端末装置200は、ネットワークNを介して接続される。
【0029】
なお、グループ通話システム10は、ユーザがグループ通話に参加しているか否かのみならず、ユーザが応答不可状態(ユーザがグループ通話に参加しているが応答できない状態)にあるか否かも管理するよう構成されることが望ましい。しかしながら、ユーザが応答不可状態(例えば、ユーザが移動中の状態又は公共の場所にいる状態)であることを、グループ通話システム10や端末装置200が高い精度で推定することは難しい。そのため、端末装置200は、ユーザが不在理由を能動的に設定することを可能にする入力装置を備えることが望ましい。ここで、入力装置は、ボタン、ジョグダイヤル、タッチスクリーン、又はタッチセンサ等を備えた操作装置であってもよいし、発話コマンドの入力を可能にするマイクロフォンであってもよい。勿論、入力装置はこれらに限定されない。
【0030】
本実施形態では、入力装置の有無又は入力装置のタイプを基準に、端末装置200をタイプA~タイプDの4つに分類する。なお、ユーザの不在理由を設定可能にする何らかの物理的な入力装置の有無という観点でみれば、必ずしもタイプB/C/Dを区別する必要はない。
【0031】
(A)タイプA
タイプAの端末装置200は、ユーザが不在理由を設定するための装置(例えば、操作装置)を持たない通信装置である。例えば、タイプAの端末装置200は、ボタン、ジョグダイヤル、タッチセンサなどの入力装置を持たない装着型の通信装置(例えば、イヤホン/ヘッドホン型の通信装置)である。なお、タイプAであっても、端末装置200は、近接センサなどのユーザの状態を検出するためのセンサを有していてもよい。
【0032】
(B)タイプB
タイプBの端末装置200は、ユーザが不在理由を設定するための入力装置を搭載する装着型の通信装置である。例えば、タイプBの端末装置200は、ボタン、ジョグダイヤル、タッチセンサなどの入力装置を搭載するイヤホン/ヘッドホン型の通信装置である。
【0033】
(C)タイプC
タイプCの端末装置200は、ユーザが不在理由を設定するために利用可能な別体の入力装置を備える装着型の通信装置である。例えば、タイプCの端末装置200は、ボタン、ジョグダイヤル、タッチセンサなどの入力部を備えるリモートコントローラと共に使用されるイヤホン/ヘッドホン型の通信装置である。
【0034】
(D)タイプD
タイプDの端末装置200は、ユーザが不在理由を設定するための入力装置を備える非装着型の通信装置である。例えば、タイプDの端末装置200は、タッチパネルやキーボードなどの入力装置を持つ、スマートフォンやPC(Personal Computer)などの通信装置である。入力装置は、端末装置200と一体の装置であってもよいし、端末装置200の本体とは別体の装置であってもよい。
【0035】
図6は、情報処理システム1の具体的構成例を示す図である。情報処理システム1は、サーバ100により構成されるグループ通話システム10と、端末装置200と、を備える。情報処理システム1は、サーバ100、及び端末装置200をそれぞれ複数備えていてもよい。
図6の例では、情報処理システム1は、サーバ100として、サーバ100
1、100
2等を備えており、端末装置200として端末装置200
1、200
2、200
3等を備えている。
【0036】
なお、
図6の例では、グループ通話システム10を構成する情報処理装置として、複数のサーバ100が示されているが、グループ通話システム10は一のサーバ100により構成されていてもよい。
【0037】
サーバ100と端末装置200は、ネットワークNを介して接続される。ネットワークNは、例えば、LAN(Local Area Network)、WAN(Wide Area Network)、セルラーネットワーク、固定電話網、地域IP(Internet Protocol)網、インターネット等の通信ネットワークである。ネットワークNには、有線ネットワークが含まれていてもよいし、無線ネットワークが含まれていてもよい。また、ネットワークNには、コアネットワークが含まれていてもよい。コアネットワークは、例えば、EPC(Evolved Packet Core)や5GC(5G Core network)である。勿論、ネットワークNは、コアネットワークに接続されるデータネットワークであってもよい。データネットワークは、通信事業者のサービスネットワーク、例えば、IMS(IP Multimedia Subsystem)ネットワークであってもよい。また、データネットワークは、企業内ネットワーク等、プライベートなネットワークであってもよい。
【0038】
なお、
図6の例では、ネットワークNが1つしか示されていないが、端末装置200が接続可能なネットワークは1つに限られない。端末装置200が接続可能なネットワークは、複数あってもよい。例えば、端末装置200は、セルラーネットワークと、無線LANネットワーク(例えば、Wi-Fi(登録商標))と、に接続可能であってもよい。また、端末装置200は、通信事業者が異なる複数のセルラーネットワークに接続可能であってもよい。
【0039】
なお、図中の装置は、論理的な意味での装置と考えてもよい。つまり、同図の装置の一部または全部が、仮想マシン(VM:Virtual Machine)、コンテナ(Container)、ドッカー(Docker)などで実現され、それらが物理的に同一のハードウェア上で実装されてもよい。
【0040】
以下、情報処理システム1を構成する各装置の構成を具体的に説明する。なお、以下に示す各装置の構成はあくまで一例である。各装置の構成は、以下に示す構成とは異なっていてもよい。
【0041】
<2-1.サーバの構成例>
最初に、サーバ100の構成例を説明する。
【0042】
サーバ100は、グループ通話を実現するための各種処理を行う情報処理装置(コンピュータ)である。サーバ100は、アプリケーションサーバであってもよいし、Webサーバであってもよい。また、サーバ100は、PCサーバであってもよいし、ミッドレンジサーバであってもよいし、メインフレームサーバであってもよい。また、サーバ100は、ユーザや端末の近くでデータ処理(エッジ処理)を行う情報処理装置であってもよい。例えば、サーバ100は、基地局に併設又は内蔵された情報処理装置(コンピュータ)であってもよい。勿論、サーバ100は、クラウドコンピューティングを行う情報処理装置であってもよい。
【0043】
図7は、本開示の実施形態に係るサーバ100の構成例を示す図である。サーバ100は、通信部110と、記憶部120と、制御部130と、を備える。なお、
図7に示した構成は機能的な構成であり、ハードウェア構成はこれとは異なっていてもよい。また、サーバ100の機能は、複数の物理的に分離された構成に分散して実装されてもよい。例えば、サーバ100は、複数の情報処理装置により構成されていてもよい。
【0044】
通信部110は、他の装置と通信するための通信インタフェースである。例えば、通信部110は、ネットワークインタフェースである。例えば、通信部110は、NIC(Network Interface Card)等のLAN(Local Area Network)インタフェースである。通信部110は、USB(Universal Serial Bus)等の機器接続インタフェースであってもよい。なお、通信部110は、有線インタフェースであってもよいし、無線インタフェースであってもよい。通信部110は、サーバ100の通信手段として機能する。通信部110は、制御部130の制御に従って外部の装置(例えば、端末装置200、又は他のサーバ100)と通信する。
【0045】
なお、通信部110が無線インタフェースを備える場合、通信部110は、LTE、NR、6GWi-Fi(登録商標)、Bluetooth(登録商標)、等の無線アクセス技術を使ってネットワークNと接続するよう構成されていてもよい。このとき、通信部110は、異なる無線アクセス技術を使用可能に構成されていてもよい。例えば、通信部110は、NRとWi-Fiを使用可能に構成されていてもよい。また、通信部110は、異なるセルラー通信技術(例えば、LTEとNR)を使用可能に構成されていてもよい。その他、通信部110は、LTE、NR、Wi-Fi、Bluetooth以外の無線アクセス技術を使ってネットワークNに接続可能であってもよい。
【0046】
記憶部120は、DRAM(Dynamic Random Access Memory)、SRAM(Static Random Access Memory)、フラッシュメモリ、ハードディスク等のデータ読み書き可能な記憶装置である。記憶部120は、サーバ100の記憶手段として機能する。記憶部120は、例えば、グループ通話の識別情報、グループ通話を行うユーザの情報、及び、グループ通話を行うユーザの状態の情報を記憶する。
【0047】
制御部130は、サーバ100の各部を制御するコントローラ(controller)である。制御部130は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)等のプロセッサにより実現される。例えば、制御部130は、サーバ100内部の記憶装置に記憶されている各種プログラムを、プロセッサがRAM(Random Access Memory)等を作業領域として実行することにより実現される。なお、制御部130は、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されてもよい。また、制御部130は、GPU(Graphics Processing Unit)により実現されてもよい。CPU、MPU、ASIC、FPGA、及びGPUは何れもコントローラとみなすことができる。
【0048】
制御部130は、
図7に示すように、要求受付部131と、通話制御部132と、管理部133と、エージェント制御部134と、を備える。制御部130を構成する各ブロック(要求受付部131~エージェント制御部134)はそれぞれ制御部130の機能を示す機能ブロックである。これら機能ブロックはソフトウェアブロックであってもよいし、ハードウェアブロックであってもよい。例えば、上述の機能ブロックが、それぞれ、ソフトウェア(マイクロプログラムを含む。)で実現される1つのソフトウェアモジュールであってもよいし、半導体チップ(ダイ)上の1つの回路ブロックであってもよい。勿論、各機能ブロックがそれぞれ1つのプロセッサ又は1つの集積回路であってもよい。機能ブロックの構成方法は任意である。なお、制御部130は上述の機能ブロックとは異なる機能単位で構成されていてもよい。制御部130の動作は、端末装置200の制御部230の各ブロックの動作と同じであってもよい。
【0049】
<2-2.端末装置の構成例>
次に、端末装置200の構成例を説明する。
【0050】
端末装置200は、ユーザがグループ通話に使用する通信装置である。例えば、端末装置200は、装着型の通信装置である。端末装置200には、さまざまな種類の情報処理装置(コンピュータ)を採用可能である。例えば、端末装置200は、ヘッドホン、ヘッドセット、又はイヤホンであってもよい。勿論、端末装置200は、これらに限定されない。例えば、端末装置200は、インカム(インターコミュニケーションシステム)であってもよいし、ネックバンド式スピーカーであってもよい。また、端末装置200は、スマートウォッチ等のウェアラブルデバイスであってもよい。
【0051】
また、端末装置200は、AR(Augmented Reality)デバイス、VR(Virtual Reality)デバイス、MR(Mixed Reality)デバイス等のxRデバイスであってもよい。このとき、xRデバイスは、ARグラス、MRグラス等のメガネ型デバイスであってもよいし、VRヘッドマウントディスプレイ等のヘッドマウント型デバイスであってもよい。端末装置200をxRデバイスとする場合、端末装置200は、ユーザ装着部分(例えば、メガネ部分)のみで構成されるスタンドアローン型のデバイスであってもよい。また、端末装置200は、ユーザ装着部分(例えば、メガネ部分)と、当該部分と連動する端末部分(例えば、スマートデバイス)と、で構成される端末連動型デバイスであってもよい。
【0052】
また、端末装置200は、装着型の通信装置に限られない。例えば、端末装置200は、据え置き型のスピーカーであってもよい。また、音出力装置は、パーソナルコンピュータ、携帯電話、スマートデバイス(スマートフォン、又はタブレット)、PDA(Personal Digital Assistant)、ノートPC等のモバイル端末であってもよい。また、端末装置200は、持ち運び可能なIoT(Internet of Things)デバイスであってもよい。また、端末装置200は、FPU(Field Pickup Unit)等の通信機器が搭載されたバイクや移動中継車等であってもよい。また、端末装置200は、IoT(Internet of Things)デバイスであってもよい。その他、端末装置200には、あらゆる形態のコンピュータを採用可能である。
【0053】
図8は、本開示の実施形態に係る端末装置200の構成例を示す図である。端末装置200は、通信部210と、記憶部220と、制御部230と、入力部240と、出力部250と、センサ部260と、を備える。なお、
図8に示した構成は機能的な構成であり、ハードウェア構成はこれとは異なっていてもよい。また、端末装置200の機能は、複数の物理的に分離された構成に分散して実装されてもよい。端末装置200は、必ずしも、以下に示す構成を全て備える必要はない。例えば、端末装置200は、センサ部260を備えていてなくてもよい。
【0054】
通信部210は、他の装置と通信するための通信インタフェースである。例えば、通信部210は、NIC)等のLANインタフェースである。通信部210は、USB等の機器接続インタフェースであってもよい。なお、通信部210は、有線インタフェースであってもよいし、無線インタフェースであってもよい。通信部210は、制御部230の制御に従って外部の装置(例えば、サーバ100、又は他の端末装置200)と通信する。
【0055】
なお、通信部210が無線インタフェースを備える場合、通信部210は、LTE、NR、6GWi-Fi(登録商標)、Bluetooth(登録商標)、等の無線アクセス技術を使ってネットワークNと接続するよう構成されていてもよい。このとき、通信部210は、異なる無線アクセス技術を使用可能に構成されていてもよい。例えば、通信部210は、NRとWi-Fiを使用可能に構成されていてもよい。また、通信部210は、異なるセルラー通信技術(例えば、LTEとNR)を使用可能に構成されていてもよい。その他、通信部210は、LTE、NR、Wi-Fi、Bluetooth以外の無線アクセス技術を使ってネットワークNに接続可能であってもよい。
【0056】
記憶部220は、DRAM、SRAM、フラッシュメモリ、ハードディスク等のデータ読み書き可能な記憶装置である。記憶部220は、端末装置200の記憶手段として機能する。
【0057】
制御部230は、端末装置200の各部を制御するコントローラである。制御部230は、例えば、CPU、MPU等のプロセッサにより実現される。例えば、制御部230は、端末装置200内部の記憶装置に記憶されている各種プログラムを、プロセッサがRAM等を作業領域として実行することにより実現される。なお、制御部230は、ASICやFPGA等の集積回路により実現されてもよい。また、制御部230は、GPU(Graphics Processing Unit)により実現されてもよい。CPU、MPU、ASIC、FPGA、及びGPUは何れもコントローラとみなすことができる。
【0058】
制御部230は、
図8に示すように、要求受付部231と、通話制御部232と、管理部233と、エージェント制御部234と、送信制御部235と、受信制御部236と、を備える。制御部230を構成する各ブロック(要求受付部231~受信制御部236)はそれぞれ制御部230の機能を示す機能ブロックである。これら機能ブロックはソフトウェアブロックであってもよいし、ハードウェアブロックであってもよい。例えば、上述の機能ブロックが、それぞれ、ソフトウェア(マイクロプログラムを含む。)で実現される1つのソフトウェアモジュールであってもよいし、半導体チップ(ダイ)上の1つの回路ブロックであってもよい。勿論、各機能ブロックがそれぞれ1つのプロセッサ又は1つの集積回路であってもよい。制御部230は上述の機能ブロックとは異なる機能単位で構成されていてもよい。機能ブロックの構成方法は任意である。制御部230の動作は、サーバ100の制御部130の各ブロックの動作と同じであってもよい。この場合、サーバ100の制御部130は、必ずしも、対応のブロック(例えば、要求受付部131、通話制御部132、管理部133、及び/又はエージェント制御部134)を有していなくてもよい。
【0059】
入力部240は、外部から各種入力を受け付ける入力装置である。例えば、入力部240は、ボタン、ジョグダイヤル、タッチセンサ、キーボード、マウスや操作キー等、ユーザが各種操作を行うための操作装置である。なお、端末装置200にタッチパネル、又はタッチスクリーンが採用される場合には、タッチパネル、又はタッチスクリーンも入力部240に含まれる。この場合、ユーザは、指やスタイラスで画面をタッチすることにより各種操作を行う。なお、入力部240は、発話コマンドの入力を可能にするマイクロフォンであってもよい。
【0060】
出力部250は、音、光、振動、画像等、外部に各種出力を行う装置である。出力部250は、制御部230の制御に従って、ユーザに各種出力を行う。なお、出力部250は、各種情報を表示する表示装置を備える。表示装置は、例えば、液晶ディスプレイ、又は、有機ELディスプレイ(Organic Electro Luminescence Display)(例えば、OLED(Organic Light Emitting Diode)ディスプレイ)である。なお、出力部250は、タッチパネル式の表示装置であってもよい。この場合、入力部240と出力部250は一体の構成とみなしてもよい。出力部250は、ARグラス等のxRデバイスの出力部であってもよい。なお、端末装置200がディスプレイレスの通信装置の場合には、端末装置200は表示装置を備えていなくてもよい。
【0061】
センサ部260は、ユーザの状態を検出する検出装置である。例えば、センサ部260は、物体を非接触で検出する非接触型のセンサを備える検出装置である。例えば、センサ部260は、1又は複数の近接センサ(非接触センサともいう。)を備え、検出領域内に位置する物体を検出する。近接センサは、光学式のセンサであってもよいし、静電容量式のセンサであってもよい。光学式の近接センサは、物体が反射した光を検出するセンサである。また、静電容量式の近接センサは、物体とセンサの間に生じる静電容量の変化を検出するセンサである。
【0062】
なお、センサ部260が非接触型の場合、センサ部260は2Dセンサであってもよいし、3Dセンサであってもよい。センサ部260が2Dセンサの場合、センサ部260が形成する検出領域は二次元の領域となり、センサ部260が3Dセンサの場合、センサ部260が形成する検出領域は三次元の領域となる。
【0063】
センサ部260は、非接触式に限定されない。センサ部260は、接触式の検出装置であってもよい。この場合、センサ部260は、1又は複数のタッチセンサを備え、端末装置200の所定の場所に接触した物体を検出する。端末装置200がヘッドホン型の装置なのであれば、所定の場所は、ヘッドホン側面(スピーカ面の反対面)であってもよい。また、端末装置200がイヤホン型の装置なのであれば、所定の場所は、イヤホン側面(スピーカ面の反対面)であってもよい。
【0064】
センサ部260は、端末装置200の状態に関する検出を行う1又は複数のセンサにより構成されていてもよい。このとき、センサ部260は、例えば、1又は複数の加速度センサを備えていてもよい。また、センサ部260は、1又は複数のジャイロセンサを備えていてもよい。また、センサ部260は、1又は複数の地磁気センサを備えていてもよい。センサ部260は、これら複数種類のセンサを組み合わせたモーションセンサを備えていてもよい。
【0065】
その他、センサ部260は、音を検出するセンサであってもよい。例えば、センサ部260は、マイクロフォン或いはマイクロフォンアレイであってもよい。また、センサ部260は、デプスセンサ(例えば、LiDAR)であってもよい。また、センサ部260は、GNSS(Global Navigation Satellite System)センサであってもよい。GNSSセンサは、GPS(Global Positioning System)センサであってもよいし、GLONASSセンサであってもよいし、Galileoセンサであってもよいし、QZSS(Quasi-Zenith Satellite System)センサであってもよい。
【0066】
<2-3.グループ通話システムの構成例>
次に、グループ通話システム10の構成例を説明する。
【0067】
グループ通話システム10は、グループ通話を管理するシステムである。上述の例では、グループ通話システム10は、一又は複数のサーバ100により構成されていたが、グループ通話システム10は、一又は複数の端末装置200により構成されていてもよい。また、グループ通話システム10は、一又は複数のサーバ100と一又は複数の端末装置200との組み合わせであってもよい。グループ通話システム10を構成する情報処理装置には、サーバ100及び端末装置200以外の情報処理装置が含まれていてもよい。
【0068】
グループ通話システム10が複数の情報処理装置で構成される場合、これらの情報処理装置は協働してグループ通話システム10の機能(例えば、グループ通話機能)を実現してもよい。なお、グループ通話システム10が複数の情報処理装置で構成される場合、これら複数の情報処理装置は、複数の物理的に分離された構成(例えば、複数のサーバ装置)で構成される一の情報処理装置(例えば、一のサーバ)とみなすことが可能である。このとき、複数の物理的に分離された構成(例えば、複数のサーバ装置)は、遠隔地にあってもよい。
【0069】
図9は、本開示の実施形態に係るグループ通話システム10の構成例を示す図である。グループ通話システム10は、要求受付部11と、通話制御部12と、管理部13と、エージェント制御部14と、を備える。なお、
図9に示した構成は機能的な構成であり、ハードウェア構成はこれとは異なっていてもよい。また、グループ通話システム10の機能は、複数の物理的に分離された構成に分散して実装されてもよい。
【0070】
要求受付部11は、グループ通話システムのエントランスとして機能する。グループ通話システム10がサーバ100により構成される場合、要求受付部11の機能はサーバ100の要求受付部131により実現される。グループ通話システム10が端末装置200により構成される場合、要求受付部11の機能は端末装置200の要求受付部231により実現される。グループ通話システム10がサーバ100と端末装置200とにより構成される場合、要求受付部11の機能は、要求受付部131と要求受付部231の協働により実現される。
【0071】
通話制御部12は、グループ通話を制御する。グループ通話システム10が一又は複数のサーバ100により構成される場合、通話制御部12の機能はサーバ100の通話制御部132により実現される。グループ通話システム10が端末装置200により構成される場合、通話制御部12の機能は端末装置200の通話制御部232により実現される。グループ通話システム10がサーバ100と端末装置200とにより構成される場合、通話制御部12の機能は、通話制御部132と通話制御部232の協働により実現される。
【0072】
管理部13は、グループ通話に関する管理を行う。グループ通話システム10が一又は複数のサーバ100により構成される場合、管理部13の機能はサーバ100の管理部133により実現される。グループ通話システム10が端末装置200により構成される場合、管理部13の機能は端末装置200の管理部233により実現される。グループ通話システム10がサーバ100と端末装置200とにより構成される場合、管理部13の機能は、管理部133と管理部233の協働により実現される。
【0073】
管理部13は、
図9に示すように、通話グループ管理部13aと、ユーザ情報管理部13bと、ユーザ状態管理部13cと、を備える。
【0074】
通話グループ管理部13aは、通話グループに関する管理を行う。通話グループ管理部13aは、通話グループ情報(例えば、グループ識別情報、参加予定者リスト等)を管理する。
【0075】
ユーザ情報管理部13bは、ユーザの情報を管理する。例えば、ユーザ情報管理部13bは、グループ通話に参加する/参加予定のユーザの名前やニックネーム等を管理する。ユーザ状態管理部13cは、ユーザの状態(例えば、応答可/応答不可等)を管理する。ユーザの状態に関しては後述する。
【0076】
エージェント制御部14は、代理応答エージェントを生成するとともに、その代理応答エージェントの制御を行う。代理応答エージェントは、例えば、呼びかけに応答できないユーザに代理して返答を行うオブジェクト(インスタンス)である。グループ通話システム10が一又は複数のサーバ100により構成される場合、エージェント制御部14の機能はサーバ100のエージェント制御部134により実現される。グループ通話システム10が端末装置200により構成される場合、エージェント制御部14の機能は端末装置200のエージェント制御部234により実現される。グループ通話システム10がサーバ100と端末装置200とにより構成される場合、エージェント制御部14の機能は、エージェント制御部134とエージェント制御部234の協働により実現される。
【0077】
エージェント制御部14は、認識部14aと、生成部14bと、判別部14cと、発信制御部14dと、を備える。
【0078】
認識部14aは、グループ通話内の音声を認識する。認識部14aは、ユーザの発話が別のユーザに対する呼びかけであることを理解するAI機能モジュールであってもよい。
【0079】
生成部14bは、ユーザの代理で応答を行うための応答メッセージを生成する。例えば、生成部14bは、認識部14aが認識した音声があるユーザの他のユーザへの呼びかけである場合、当該他のユーザの現在の状態に合わせた応答メッセージを合成する。
【0080】
また、判別部14cは、グループ通話に参加するユーザの状態を判別/監視する。ユーザの状態を判別/監視することを可能にするため、判別部14cは、通話グループ管理部13aによって管理される参加予定者リストを参照し、通話グループに登録されているユーザを把握してもよい。また、発話者によって呼びかけられたユーザを特定するため、判別部14cは、ユーザ情報管理部13bにて管理されるユーザの名前やニックネームなどを参照してもよい。また、判別部14cは、グループ通話システム上に存在するユーザ状態管理部13cからユーザの状態や参加中の通話グループの変化についての通知を受けるよう構成されていてよい。そして、判別部14cは、通知を受け、グループ通話における各ユーザの状態の情報を作成し、管理してもよい。
【0081】
発信制御部14dは、生成部14bが生成した応答メッセージをグループ通話に反映する。
【0082】
<<3.状態遷移>>
以上、情報処理システム1の構成を説明したが、情報処理システム1の動作を詳細に説明する前に、グループ通話システム10が管理するユーザ状態について説明する。
【0083】
図10は、グループ通話でのユーザ状態の遷移を示す状態遷移図である。なお、
図10に示したユーザ状態及び遷移はあくまで一例である。本実施形態のユーザ状態及び遷移は、
図10に示したユーザ状態及び遷移に限られない。以下の説明では、該当ユーザが参加する又は参加所定のグループ通話のことを対象のグループ通話ということがある。
【0084】
ユーザ状態には、オフライン状態とオンライン状態とがある。
【0085】
オフライン状態は、該当のユーザがグループ通話システム10に接続中であると、グループ通話システム10に認識されていない状態である。例えば、オフライン状態は、電源オフ、インターネット未接続等の理由により、該当のユーザの端末装置200がグループ通話システム10に接続されていない状態である。或いは、オフライン状態は、端末装置200がグループ通話システム10に接続中であっても、グループ通話システム10が接続中の端末装置200を該当ユーザのものと認識できていない状態である。オフライン状態でそのユーザが呼びかけられた場合、グループ通話システム10は、例えば、「Dさんはオフラインです。」のような代理応答を行う。
【0086】
オンライン状態は、オフライン状態以外の状態である。例えば、オンライン状態は、該当のユーザがグループ通話システム10に接続中であるとグループ通話システム10に認識されている状態である。オンライン状態には、不参加状態と、参加状態と、がある。
【0087】
不参加状態は、対象のグループ通話に該当ユーザが参加していない状態である。この状態であれば該当ユーザが呼びかけに応じて参加する可能性がある。そのため、この状態でそのユーザが呼びかけられた場合、グループ通話システム10は、例えば、「Dさんは参加していません。お呼びしますか。」のような代理応答を行う。発話者がそれを希望すれば、システムは、発話者に代わって該当ユーザに対して発信し、グループ通話への該当ユーザ参加を促す。
【0088】
参加状態は、不参加状態以外の状態である。例えば、参加状態は、対象のグループ通話に該当ユーザが参加している状態である。参加状態には、応答可状態と、応答不可状態と、一時的な不在状態と、がある。
【0089】
応答可状態は、該当ユーザが対象のグループ通話に参加中で呼びかけに応じることができる状態である。この状態では、グループ通話システム10は、必ずしも、該当ユーザの代わりに応答する必要はない。
【0090】
応答不可状態は、該当ユーザが対象のグループ通話に参加中で応答できない状態である。例えば、応答不可状態は、該当ユーザが対象のグループ通話に参加中であるが、移動中/公共の場所にいるなどの理由により、呼び掛けられても発話できない状態である。この状態でそのユーザが呼びかけられた場合、グループ通話システム10は、例えば、「Dさんは現在発言することができません。」のような代理応答を行う。この状態への遷移や他状態への復帰には、端末装置200に設けられた入力装置(例えば、ボタン操作や音声コマンド)が利用されてもよい。一時的な応答不可状態への遷移/他状態への復帰の方法はこの例に限定されない。
【0091】
一時的な不在状態は、該当ユーザが対象のグループ通話に参加中で一時的に不在の状態である。例えば、一時的な不在状態は、該当ユーザが対象のグループ通話に参加中であるが、急な来客、宅配便受け取りなどを理由として呼びかけに応答できない状態である。この状態でそのユーザが呼びかけられた場合、グループ通話システム10は、例えば、「Dさんは現在席を外しています。」のような代理応答を行う。例えば、端末装置200は、ユーザの状態に関する情報として、センサ部260(例えば、近接センサ)の検出結果に基づく情報をグループ通話システム10に送信してもよい。そして、グループ通話システム10は、ユーザの状態に関する情報に基づいて、例えば、ユーザの体から端末装置200(例えば、インカム)が取り外されたことを認識した場合に、ユーザ状態を一時的な不在状態に遷移させてもよい。また、グループ通話システム10は、ユーザの状態に関する情報に基づいて、例えば、ユーザの体に端末装置200(例えば、インカム)が再装着されたことを認識した場合に、ユーザ状態を一時的な不在状態から他状態(例えば、応答可状態)に復帰させてもよい。一時的な不在状態への遷移/他状態への復帰の方法はこの例に限定されない。
【0092】
なお、グループ通話システム10が行う代理応答は、1つのユーザ状態につき1つの応答に限られない。グループ通話システム10が行う代理応答は、様々なバリュエーションがあってもよい。例えば、グループ通話システム10は、グループ通話システム10が把握するユーザの状況に合わせて応答を変化させてもよい。例えば、呼び掛けられたユーザが不参加状態であり、かつ、グループ通話システム10が管理する他のグループ通話にそのユーザが参加している場合には、「Dさんは他の通話に参加しています。」のような代理応答を行ってもよい。
【0093】
また、ユーザ状態は上記に限定されない。例えば、参加状態には、ミュート状態が含まれていてもよい。ミュート状態は、該当ユーザの音声がミュートされている状態である。例えば、ミュート状態は、該当ユーザが端末装置200のマイクロフォン(音声検出機能)を無効にしている状態、又は、該当ユーザがグループ通話システム10の機能を使ってグループ通話での音声出力をオフにしている状態である。この状態でそのユーザが呼びかけられた場合、グループ通話システム10は、例えば、「Dさんの音声がミュートとなっています。」のような代理応答を行ってもよい。なお、ミュート状態を応答不可状態又は一時的な不在状態の一種とみなすことも可能である。
【0094】
<<4.情報処理システム1の動作>>
以上、情報処理システム1の構成を説明したが、次に、このような構成を有する情報処理システム1の動作を説明する。
【0095】
<4-1.通信システムの動作の概要>
図11は、情報処理システム1の動作の概要を説明するためのシーケンス図である。以下、
図11のシーケンス図を参照しながら情報処理システム1の動作の概要を説明する。
【0096】
まず、端末装置200及びグループ通話システム10は、端末装置200の電源ON等に伴う初期処理を実行する(ステップS1)。その後、端末装置200及びグループ通話システム10は、端末装置200を操作するユーザのグループ通話参加処理を実行する(ステップS2)。グループ通話参加処理が完了したら、端末装置200及びグループ通話システム10は、端末装置200のユーザがグループ通話を離脱するまで(或いは、グループ通話が終了するまで)、ユーザ状態更新処理と代理応答処理を繰り返す(ステップS3、ステップS4)。端末装置200のユーザがグループ通話を離脱したら、端末装置200及びグループ通話システム10は、グループ通話離脱処理を実行する(ステップS5)。端末装置200及びグループ通話システム10は、グループ通話の終了処理を実行する(ステップS6)。
【0097】
以下、初期処理~終了処理を詳細に説明する。まず、初期処理(ステップS1)、グループ通話参加処理(ステップS2)、ユーザ状態更新処理(ステップS3)、グループ通話離脱処理(ステップS5)、終了処理(ステップS6)を説明する。その後、代理応答処理(ステップS4)を説明する。
【0098】
なお、ユーザの名前、呼びかけに使用される可能性があるニックネーム、認証情報などのユーザ情報は、ユーザがグループ通話システム10を利用する前に予め設定されているものとする。なお、端末装置200がディスプレイやキーボードが装備されていないなどの理由により、ユーザが各種情報を入力することが困難な場合には、ユーザは他の端末装置200を利用してユーザ情報をグループ通話システム10に設定してもよい。
【0099】
また、ユーザが参加する可能性がある通話グループの情報についても、ユーザがグループ通話システム10を利用する前に予め作成されているものとする。また、通話グループへの参加が期待される他ユーザたちの情報も、同グループに紐づけられた状態でグループ通話システム10に設定されているものとする。また、グループ通話システム10は、ユーザがデフォルトで使用する通話グループ(以下、デフォルトの通話グループという。)を登録できるよう構成されていてもよい。
【0100】
以下の説明では、グループ通話システム10のことを単にシステムということがある。
【0101】
<4-2.初期処理>
まず、ステップS1の初期処理を説明する。
【0102】
図12は、初期処理の一例を示すシーケンス図である。初期処理は、グループ通話の処理に先立って行われるログイン処理等の各種処理である。以下、
図12のシーケンス図を参照しながら、初期処理を説明する。
【0103】
まず、端末装置200は、電源ONに伴う起動処理を行う(ステップS101)。起動処理が完了したら、端末装置200とグループ通話システム10の要求受付部11は、端末装置200を操作するユーザのログイン処理を行う(ステップS102)。
【0104】
ログイン後、要求受付部11は、グループ通話システム10の管理部13(ユーザ情報管理部13b)から、ユーザ情報を取得する(ステップS103)。また、要求受付部11は、グループ通話システム10の管理部13(ユーザ状態管理部13c)から、ユーザ状態情報を取得する(ステップS104)。ユーザ状態情報は、ユーザの現在の状態を示す情報である。
【0105】
ユーザ状態情報がすでにオンライン状態になっている場合、要求受付部11は、端末装置200にログイン成功を通知し(ステップS108)、初期処理を終了する。
【0106】
一方、ユーザ状態がオフライン状態の場合、要求受付部11は、ステップS103で取得したユーザ情報等に基づいて、ユーザ認証を行う(ステップS105)。そして、要求受付部11は、管理部13(ユーザ状態管理部13c)に対して、ユーザ状態の更新要求を行う(ステップS106)。管理部13(ユーザ状態管理部13c)は、更新要求に基づいて、ユーザ状態情報をオンライン状態(不参加状態)に更新する(ステップS107)。更新が完了したら、要求受付部11は、端末装置200にログイン成功を通知し(ステップS108)、初期処理を終了する。
【0107】
<4-3.グループ通話参加処理>
次に、ステップS2のグループ通話参加処理を説明する。
【0108】
図13は、グループ通話参加処理の一例を示すシーケンス図である。グループ通話参加処理は、ユーザがグループ通話に参加する際に行われる処理である。以下、
図13のシーケンス図を参照しながら、グループ通話参加処理を説明する。
【0109】
まず、端末装置200は、グループ通話参加に伴うユーザの操作を検出する(ステップS201)。なお、グループ通話システム10は、端末装置200の電源ON後にユーザをデフォルトの通話グループ(又は、前回利用時に最後に指定された通話グループ)に自動的に参加させる仕様となっていてもよい。この場合、端末装置200は、ステップS201の処理を省略することが可能である。勿論、グループ通話システム10は、ユーザが、マニュアル操作で、参加する通話グループを指定する仕様となっていてもよい。
【0110】
続いて、端末装置200は、グループ通話システム10の要求受付部11に、ユーザをグループ通話へ参加させるための要求を送信する(ステップS202)。ユーザがマニュアル操作で参加する通話グループを指定した場合は、この要求とともに、ユーザが参加する通話グループの識別情報を送信してもよい。
【0111】
続いて、要求受付部11は、グループ通話システム10の管理部13(ユーザ情報管理部13b)から、ユーザが参加予定の通話グループの識別情報を取得する(ステップS203)。例えば、要求受付部11は、ユーザが参加予定としてシステムの予定表等に登録している通話グループの識別情報を管理部13から取得してもよい。また、グループ通話システム10が、端末装置200の電源ON後にユーザをデフォルトの通話グループ(又は、最後に指定された通話グループ)に自動的に参加させる仕様となっている場合、要求受付部11は、デフォルトの通話グループ(又は、最後に指定された通話グループ)の識別情報を管理部13から取得してもよい。
【0112】
続いて、要求受付部11と通話制御部12は、グループ通話の開始に伴う各種処理を行う(ステップS204)。例えば、グループ通話システム10の通話制御部12は、要求受付部11からの要求に基づいて、端末装置200がグループ通話に使用する通信リンクの確立を行う。
【0113】
なお、端末装置200のユーザがその通話グループにアクセスした最初のユーザの場合、通話制御部12は、管理部13(通話グループ管理部13a)からその通話グループの情報を取得する(ステップS205)。そして、通話制御部12は、グループ通話システム10のエージェント制御部14に、代理応答エージェントの作成を要求する(ステップS206)。
【0114】
エージェント制御部14は、通話制御部12からの要求に基づいて代理応答エージェントの作成を行う(ステップS207)。代理応答エージェントは、例えば、呼びかけに応答できないユーザ(例えば、不参加状態/応答不可状態/一時的な不在状態/ミュート状態のユーザ)に代理して返答を行うオブジェクト(インスタンス)である。
【0115】
そして、通話制御部12は、ステップS205で取得した情報に基づいて通話グループの作成を行う(ステップS208)。このとき、通話制御部12は、作成した通話グループに、ステップS207で作成した代理応答エージェントを紐づけてもよい。
【0116】
続いて、通話制御部12は、ユーザをグループ通話へ追加し(ステップS209)、管理部13(通話グループ管理部13a)に通話グループ及びユーザの状態に関する情報の更新要求を行う(ステップS210)。管理部13(ユーザ状態管理部13c)は、通話制御部12からの要求に基づいて通話グループ及びユーザの状態に関する情報の更新を行う。例えば、管理部13は、該当ユーザがその通話グループに参加した旨の更新を行うともに、該当ユーザの状態情報を不参加状態から参加状態(応答可状態)に遷移させる。
【0117】
<4-4.ユーザ状態更新処理>
次に、ステップS3のユーザ状態更新処理を説明する。
【0118】
図14及び
図15は、それぞれ、ユーザ状態更新処理の一例を示すシーケンス図である。ユーザ状態更新処理は、ユーザ状態情報を更新するための処理である。ユーザ状態更新処理は、(1)物理的な入力装置をユーザ状態の遷移に利用できる場合(以下、ケース1という。)と、(2)物理的な入力装置をユーザ状態の遷移に利用できない場合(以下、ケース2という。)と、に分けられる。
【0119】
(1)ケース1
まず、ケース1ついて説明する。ケース1の処理は、例えば、ユーザが物理的な入力装置(例えば、ボタン、ジョグダイヤル、タッチセンサ等)をユーザ状態の遷移に利用できない場合に適用される。ケース1の処理は、特に、応答不可状態の設定/解除に適用される。勿論、ケース1のシーケンスは、他状態(例えば、応答可、一時的な不在等)の設定/解除に準用されてもよい。
【0120】
図14は、ケース1に係るユーザ状態更新処理を示すシーケンス図である。以下、応答不可状態の設定/解除を例に、シーケンス例1に係るユーザ状態更新処理を説明する。
【0121】
ユーザは、自身が応答できない状態となったら、自身が応答できない状態であることをシステムに設定するためのユーザ操作を行う。ユーザ操作は、例えば、ボタン、ジョグダイヤル、タッチセンサなどの物理的な入力装置を使ったユーザによる能動的な入力操作である。端末装置200は、そのユーザ操作を検出する(ステップS301)。
【0122】
続いて、端末装置200は、グループ通話システム10の要求受付部11に、ユーザの状態に関する情報を送信する。例えば、端末装置200は、要求受付部11に、ユーザ状態を応答不可状態に遷移させるための設定要求を送信する(ステップS302)。要求受付部11は、通話制御部12にその設定要求を送信する(ステップS303)。
【0123】
通話制御部12は、受信した設定要求に基づいて、管理部13(ユーザ状態管理部13c)にユーザ状態の更新要求を送信する(ステップS304)。管理部13(ユーザ状態管理部13c)は、更新要求に基づいて、ユーザ状態情報を応答不可状態に更新する(ステップS305)。
【0124】
ユーザは、自身が応答可能な状態となったら、自身が応答可能な状態であることをシステムに設定するためのユーザ操作を行う。ユーザ操作は、例えば、端末装置200の入力部240を使ったユーザによる能動的な入力操作である。端末装置200は、そのユーザ操作を検出する(ステップS306)。
【0125】
続いて、端末装置200は、グループ通話システム10の要求受付部11に、ユーザ状態を応答可状態に遷移させるための設定要求を送信する(ステップS307)。要求受付部11は、通話制御部12にその設定要求を送信する(ステップS308)。
【0126】
通話制御部12は、受信した設定要求に基づいて、管理部13(ユーザ状態管理部13c)にユーザ状態の更新要求を送信する(ステップS309)。管理部13(ユーザ状態管理部13c)は、更新要求に基づいて、ユーザ状態情報を応答可状態に更新する(ステップS310)。
【0127】
(2)ケース2
次に、ケース2について説明する。上述したように、ケース2の処理は、例えば、ユーザがマイクロフォン以外の入力装置をユーザ状態の設定/解除に利用できない場合に適用される。
【0128】
ケース2では、代理応答エージェントがユーザ状態を遷移させる。例えば、代理応答エージェントはグループ通話システム10に送信されるユーザの発話を監視する。端末装置200は、ユーザの状態に関する情報が含まれる音声データをグループ通話システム10に送信する。例えば、端末装置200は、ユーザ状態(例えば、応答不可状態)の設定/解除を要求する音声コマンドが含まれる音声データをグループ通話システム10に送信する。代理応答エージェントは、その発話の中からユーザ状態(例えば、応答不可状態)の設定/解除を要求する音声コマンドを検出すると、通話制御部12を介して、ユーザ状態を音声コマンドに対応する状態(例えば、応答不可状態/応答可状態)へ遷移させる。
【0129】
図15は、ケース2に係るユーザ状態更新処理を示すシーケンス図である。以下、応答不可状態の設定/解除を例に、シーケンス例1に係るユーザ状態更新処理を説明する。なお、本シーケンス例は、他状態(例えば、応答可、一時的な不在等)の設定/解除に準用されてもよい。
【0130】
エージェント制御部234が生成した代理応答エージェントは、ユーザの発話の中から応答不可状態の設定/解除を要求する音声コマンドを検出する(ステップS401)。代理応答エージェントは、通話制御部12に、ユーザ状態を応答不可状態に遷移させるための設定要求を送信する(ステップS402)。
【0131】
通話制御部12は、受信した設定要求に基づいて、管理部13(ユーザ状態管理部13c)にユーザ状態の更新要求を送信する(ステップS403)。管理部13(ユーザ状態管理部13c)は、更新要求に基づいて、ユーザ状態情報を応答不可状態に更新する(ステップS404)。
【0132】
代理応答エージェントは、ユーザの発話の中から応答可状態の設定/解除を要求する音声コマンドを検出する(ステップS405)。代理応答エージェントは、通話制御部12に、ユーザ状態を応答可状態に遷移させるための設定要求を送信する(ステップS406)。
【0133】
通話制御部12は、受信した設定要求に基づいて、管理部13(ユーザ状態管理部13c)にユーザ状態の更新要求を送信する(ステップS407)。管理部13(ユーザ状態管理部13c)は、更新要求に基づいて、ユーザ状態情報を応答可状態に更新する(ステップS408)。
【0134】
<4-5.グループ通話離脱処理>
次に、ステップS5のグループ通話離脱処理を説明する。
【0135】
図16は、グループ通話離脱処理の一例を示すシーケンス図である。グループ通話離脱処理は、グループ通話の終了の際に行われる各種処理である。以下、
図16のシーケンス図を参照しながら、ユーザ状態更新処理を説明する。
【0136】
まず、端末装置200は、グループ通話離脱に伴うユーザの操作を検出する(ステップS501)。端末装置200は、グループ通話システム10の要求受付部11に、ユーザをグループ通話から離脱させるための要求を送信する(ステップS502)。要求受付部11は、グループ通話システム10の管理部13(ユーザ状態管理部13c)から、離脱するユーザのユーザ状態情報を取得する(ステップS503)。
【0137】
続いて、要求受付部11と通話制御部12は、ユーザのグループ通話からの離脱に伴う各種処理を行う(ステップS504)。例えば、グループ通話システム10の通話制御部12は、要求受付部11からの要求に基づいて、端末装置200とグループ通話システム10との通信リンクの切断等を行う。
【0138】
なお、離脱したユーザがそのグループ通話から離脱する最後のユーザの場合、通話制御部12は、エージェント制御部14へグループ通話の終了を通知する(ステップS505)。そして、エージェント制御部14は、終了通知に係る通話グループの代理応答エージェントを破棄する(ステップS506)。そして、通話制御部12は、グループ通話を破棄する(ステップS507)。なお、離脱したユーザが最後のユーザでない場合、通話制御部12は、エージェント制御部14への終了通知およびグループ通話の破棄を行わず、通話グループからの該当ユーザの削除のみを行う。
【0139】
続いて、要求受付部11は、管理部13(通話グループ管理部13a)に通話グループ及びユーザの状態に関する情報の更新要求を行う(ステップS508)。管理部13(ユーザ状態管理部13c)は、要求受付部11からの要求に基づいて通話グループ及びユーザの状態に関する情報の更新を行う。例えば、管理部13は、該当ユーザがその通話グループから離脱した旨の更新を行うともに、該当ユーザの状態情報をオンライン状態の参加状態(応答可状態)からオンライン状態の不参加状態に遷移させる。
【0140】
<4-6.終了処理>
次に、ステップS6の終了処理を説明する。
【0141】
図17は、終了処理の一例を示すシーケンス図である。終了処理は、ユーザがグループ通話から離脱するための処理である。以下、
図17のシーケンス図を参照しながら、終了処理を説明する。
【0142】
まず、ユーザの電源OFF操作を検出したら(ステップS601)、端末装置200とグループ通話システム10の要求受付部11は、端末装置200を操作するユーザのログアウト処理を行う(ステップS602)。
【0143】
ログアウト後、要求受付部11は、グループ通話システム10の管理部13(ユーザ状態管理部13c)から、ユーザ状態情報を取得する(ステップS603)。
【0144】
ユーザ状態情報がすでにオフライン状態になっている場合、要求受付部11は、端末装置200にログアウト成功を通知し(ステップS606)、初期処理を終了する。
【0145】
一方、ユーザ状態がオンライン状態の場合、要求受付部11は、管理部13(ユーザ状態管理部13c)に対して、ユーザ状態の更新要求を行う(ステップS604)。管理部13(ユーザ状態管理部13c)は、更新要求に基づいて、ユーザ状態情報をオフライン状態に更新する(ステップS605)。更新が完了したら、要求受付部11は、端末装置200にログアウト成功を通知し(ステップS606)、初期処理を終了する。
【0146】
<4-7.代理応答処理>
次に、ステップS4の代理応答処理を説明する。
【0147】
図18は、代理応答処理の一例を示すフローチャートである。代理応答処理は、呼びかけに応答できないユーザに代わってシステムが応答するための処理である。代理応答処理は、グループ通話が実行されている間、常時実行される。代理応答処理は、例えば、グループ通話システム10のエージェント制御部14(認識部14a、生成部14b、判別部14c、発信制御部14d)によって実行される。以下、
図18のフローチャートを参照しながら、代理応答処理を説明する。
【0148】
認識部14aは、グループ通話に参加する複数のユーザのいずれかから発言があったか判別する(ステップS701)。発言がない場合(ステップS701:No)、認識部14aは、発言が検出されるまでステップS701を繰り返す。発言があった場合、認識部14aは、発言したユーザ(以下、第1のユーザという。)のグループ通話での音声を取得する(ステップS702)。そして、認識部14aは、取得した音声の音声認識を実行する(ステップS703)。
【0149】
続いて、判別部14cは、認識した音声が、グループ通話に参加/参加予定の他のユーザ(以下、第2のユーザという。)への呼びかけか否かを判別する(ステップS704)。認識した音声が第2のユーザへの呼びかけでない場合(ステップS704:No)、判別部14cは、ステップS701に処理を戻す。
【0150】
認識した音声が第2のユーザへの呼びかけを示す場合(ステップS704:Yes)、判別部14cは、第2のユーザの現在の状態を判別する(ステップS705)。例えば、判別部14cは、管理部13(ユーザ状態管理部13c)から第2のユーザのユーザ状態情報を取得する。そして、判別部14cは、取得したユーザ状態情報に基づいて、第2のユーザの現在の状態を判別する。なお、判別部14cは、第2のユーザの状態に加えて、第1のユーザの現在の状態を判別してもよい。例えば、判別部14cは、第1のユーザの現在の状態がミュート状態か否かを判別してもよい。
【0151】
続いて、判別部14cは、第2のユーザの状態が応答可能状態以外の所定の状態か判別する(ステップS706)。所定の状態は、オフライン状態であってもよいし、不参加状態であってもよいし、応答不可状態であってもよいし、一時的な不在状態であってもよい。また、所定の状態は、ミュート状態であってもよい。なお、ミュート状態を応答不可状態又は一時的な不在状態の一種とみなすことが可能である。
【0152】
なお、グループ通話システム10は、第2のユーザが一時的な不在状態か否かを、端末装置200が備えるセンサ部260(例えば、近接センサ)の検出結果に基づいて判別してもよい。例えば、グループ通話システム10は、近接センサの検出結果に基づいて第2ユーザの体から端末装置200(例えば、インカム)が取り外されたことを認識した場合に、第2のユーザのユーザ状態情報を一時的な不在状態に更新してもよい。また、グループ通話システム10は、例えば、近接センサの検出結果に基づいて第2のユーザの体に端末装置200(例えば、インカム)が再装着されたことを認識した場合に、第2のユーザのユーザ状態情報を一時的な不在状態から他状態(例えば、応答可状態)に更新してもよい。判別部14cは、このように更新されたユーザ状態情報に基づいて、第2のユーザが一時的な不在状態か否かを判別してもよい。
【0153】
第2のユーザの状態が所定の状態ではない場合(ステップS706:No)、判別部14cは、ステップS701に処理を戻す。
【0154】
第2のユーザの状態が所定の状態の場合(ステップS706:Yes)、生成部14bは、第2のユーザの状態に紐づけられたフレーズ(以下、第1のフレーズという。)を含む音声データを生成する(ステップS707)。ここで生成される音声又はフレーズ(第1のフレーズ)は、該フレーズに紐づく第2のユーザの状態を示す音声又はフレーズであってもよい。より具体的には、生成される音声又はフレーズは、該フレーズに紐づく第2のユーザの状態を示す音声又はフレーズと、当該第2のユーザを識別する音声又はフレーズとの組み合わせであってもよい。さらに、当該生成される音声又はフレーズは、第2のユーザの状態によって異なっていてもよい。
【0155】
(1)オフライン状態
オフライン状態は、第2のユーザがシステムに接続中であるとシステムに認識されていない状態である。第2のユーザの状態がオフライン状態の場合、生成部14bは、第1のフレーズを含む音声データとして、第2のユーザの端末装置200がシステムに接続されていないことを示す音声データを生成してもよい。例えば、生成部14bは、「Dさんは現在オンラインではありません」のような音声データを生成してもよい。この場合、「Dさん」が第2のユーザを識別する音声又はフレーズに該当し、「現在オンラインではありません」が第2のユーザの状態を示す音声又はフレーズに該当する。
【0156】
(2)不参加状態
不参加状態は、第2のユーザがオンラインの状態、且つ、第2のユーザがグループ通話に不参加の状態である。第2のユーザの状態が不参加状態の場合、生成部14bは、第1のフレーズを含む音声データとして、第2のユーザがグループ通話に不参加であることを示す音声データを生成してもよい。例えば、生成部14bは、「Dさんは参加していません。」のような音声データを生成してもよい。この場合、「Dさん」が第2のユーザを識別する音声又はフレーズに該当し、「参加していません」が第2のユーザの状態を示す音声又はフレーズに該当する。
【0157】
なお、第2のユーザの状態が不参加状態であって、グループ通話システム10が管理する他のグループ通話に第2のユーザが参加している場合には、第1のフレーズを含む音声データとして、第2のユーザが他のグループ通話に参加中であることを示す音声データを生成してもよい。例えば、生成部14bは、「Dさんは他の通話に参加しています。」のような音声データを生成してもよい。この場合、「Dさん」が第2のユーザを識別する音声又はフレーズに該当し、「他の通話に参加しています」が第2のユーザの状態を示す音声又はフレーズに該当する。
【0158】
また、第2のユーザの状態が不参加状態の場合、生成部14bは、第2のユーザを呼び出すか否かを第1のユーザに問うフレーズ(以下、第2のフレーズという。)を含む音声データを生成してもよい。より具体的には、ここで生成される音声又はフレーズ(第2のフレーズ)は、第2のユーザを識別する音声又はフレーズと、第1のユーザに問いあわせるフレーズとの組み合わせであってもよい。例えば、生成部14bは、「Dさんをお呼びしますか。」のような音声データを生成してもよい。この場合、「Dさん」が第2のユーザを識別する音声又はフレーズに該当し、「お呼びしますか」が第1のユーザに問いあわせる音声又はフレーズに該当する。音声データは、第1のフレーズと第2のフレーズの双方を含むものであってもよい。例えば、生成部14bは、第1のフレーズと第2のフレーズを含む音声として、「Dさんは参加していません。お呼びしますか。」のような音声データを生成してもよい。
【0159】
なお、第1のユーザが第2のフレーズを含む音声に対して第2のユーザを呼び出す旨の応答を行った場合には、発信制御部14dは、第2のユーザに対して、グループ通話への参加を要求する旨の発信を行ってもよい。例えば、発信制御部14dは、第2のユーザの端末装置200に対して、グループ通話への参加を要求する通知(例えば、プッシュ通知、又はメールの送信)を行ってもよい。
【0160】
(3)応答不可状態
応答不可状態は、第2のユーザがグループ通話に参加中で応答不可の状態である。第2のユーザの状態が応答不可状態の場合、生成部14bは、第1のフレーズを含む音声データとして、第2のユーザが応答不可の状態であることを示す音声データを生成してもよい。例えば、生成部14bは、「Dさんは現在発言することができません。」のような音声データを生成してもよい。この場合、「Dさん」が第2のユーザを識別する音声又はフレーズに該当し、「現在発言することができません」が第2のユーザの状態を示す音声又はフレーズに該当する。
【0161】
(4)一時的な不在状態
一時的な不在状態は、第2のユーザがグループ通話に参加中で一時的な不在の状態である。第2のユーザの状態が応答不可状態の場合、生成部14bは、第1のフレーズを含む音声データとして、第2のユーザが一時的な不在状態であることを示す音声データを生成してもよい。例えば、生成部14bは、「Dさんは現在発言することができません。」のような音声データを生成してもよい。この場合、「Dさん」が第2のユーザを識別する音声又はフレーズに該当し、「現在発言することができません」が第2のユーザの状態を示す音声又はフレーズに該当する。
【0162】
(5)ミュート状態
ミュート状態は、ユーザ(例えば、第1のユーザ、又は第2のユーザ)が前記グループ通話に参加中で音声ミュートの状態である。生成部14bは、第1のユーザがミュート状態の場合と第2のユーザの状態がミュート状態の場合とで異なる処理を行ってもよい。勿論、生成部14bは、第1のユーザがミュート状態の場合のみステップS707の処理を行ってもよいし、第2のユーザがミュート状態の場合のみステップS707の処理を行ってもよい。
【0163】
(第1のユーザがミュート状態の場合)
まず、第1のユーザがミュート状態の場合について説明する。第1のユーザの状態がミュート状態の場合、生成部14bは、第1のフレーズを含む音声データとして、第2のユーザの現在の状態を示す音声データを生成してもよい。例えば、生成部14bは、「Dさんは参加しています。」又は「Dさんは参加していません。」のような音声データを生成してもよい。この場合、「Dさん」が第2のユーザを識別する音声又はフレーズに該当し、「参加していません」又は「参加しています」が第2のユーザの状態を示す音声又はフレーズに該当する。
【0164】
なお、第1のユーザの状態がミュート状態の場合には、第1のユーザの音声がミュートとなっていることを示すフレーズ(以下、ミュート通知フレーズという。)を含む音声データを生成してもよい。例えば、生成部14bは、「音声がミュートとなっています。」のような音声データを生成してもよい。
【0165】
(第2のユーザがミュート状態の場合)
次に、第2のユーザがミュート状態の場合について説明する。第2のユーザの状態がミュート状態の場合、生成部14bは、第1のフレーズを含む音声データとして、第2のユーザがグループ通話に参加していることを示す音声データを生成してもよい。例えば、生成部14bは、「Dさんは参加しています。」のような音声データを生成してもよい。
【0166】
なお、第2のユーザの状態がミュート状態の場合には、第2のユーザの音声がミュートとなっていることを示すフレーズ(以下、ミュート通知フレーズという。)を含む音声データを生成してもよい。例えば、生成部14bは、「Dさんの音声がミュートとなっています。」のような音声データを生成してもよい。なお、ミュート通知フレーズを含む音声データでも、第2のユーザがグループ通話に参加していることを示すことができる。そのため、ミュート通知フレーズを含む音声データも第1のフレーズを含む音声データの一種とみなすことができる。
【0167】
音声データの生成が完了したら、発信制御部14dは、ステップS707で生成した音声データをグループ通話に参加する一又は複数のユーザに出力する(ステップS708)。なお、発信制御部14dは、グループ通話に参加する全員に音声データを出力してもよいし、一部のユーザにのみ音声データを出力してもよい。例えば、発信制御部14dは、呼びかけを行った第1のユーザにのみ音声データを出力してもよい。例えば、第1のユーザがミュート状態の場合において、生成部14bが第1のフレーズを含む音声データを生成した場合、発信制御部14dは、第1のフレーズを含む音声を第1のユーザのみに出力してもよい。第1のユーザは、呼びかけの音声をグループ通話の音声にのせることなく、第1のユーザの参加/不参加等を確認することができる。
【0168】
なお、第2のユーザがミュート状態の場合において、生成部14bがミュート通知フレーズを含む音声データを生成した場合、発信制御部14dは、ミュート通知フレーズを含む音声を第2のユーザのみに出力してもよい。他のユーザに知られることなく、第2のユーザのみにミュート状態となっていることを知らせることができる。
【0169】
本実施形態によれば、第2ユーザが応答可能な状態ではない場合に、グループ通話に参加する他のユーザは、第2のユーザが応答可能な状態でないことを速やかに把握できる。結果として、グループ通話システムは、円滑なグループ通話を実現できる。
【0170】
<<5.変形例>>
上述の実施形態は一例を示したものであり、種々の変更及び応用が可能である。
【0171】
<5-1.通信品質低下状態>
上述の実施形態では、ユーザ状態として、オフライン状態、不参加状態、応答可状態、応答不可状態、一時的な不在状態、ミュート状態を例示した。しかし、ユーザ状態はこれらに限定されない。
【0172】
例えば、ユーザ状態には、通信品質低下状態が含まれていてもよい。通信品質低下状態は、通信品質低下により応答が難しい状態である。より具体的には、通信品質低下状態は、第2のユーザがグループ通話に参加している状態、且つ、システムと第2のユーザの端末装置200との通信リンクの品質が所定の基準より低い状態である。グループ通話システム10と第2のユーザの端末装置200との間でグループ通話セッションが保たれている場合でも、通信品質が所定の基準を下回っていると判断される場合には、グループ通話システム10の判別部14cは、ユーザ状態は通信品質低下状態であると判別可能である。
【0173】
第2のユーザの状態が通信品質低下状態の場合、グループ通話システム10の生成部14bは、第1のフレーズを含む音声データとして、第2の通信装置の通信品質が低下していることを示す音声データを生成してもよい。例えば、生成部14bは、「Dさんとの通信の品質が低下しています。」のような音声データを生成してもよい。そして、グループ通話システム10の発信制御部14dは、生成した音声データをグループ通話に参加する一又は複数のユーザに出力してもよい。
【0174】
<5-2.他の機能との連携>
上述の実施形態では、第2のユーザの状態が不参加状態の場合、グループ通話システム10は、第1のフレーズを含む代理応答に続けて、第2のフレーズを含む代理発信を行った。グループ通話システム10が行う代理応答/代理発言には、他のバリュエーションがあってもよい。例えば、第2のユーザの状態が不参加状態の場合、グループ通話システム10の生成部14bは、例えば予定表サービスと連携して、「勤務時間外」や「長期休暇中」などの不参加事由のフレーズ(第1のフレーズ/第2のフレーズ)を含む音声データを生成してもよい。そして、グループ通話システム10の発信制御部14dは、生成した音声データをグループ通話に参加する一又は複数のユーザに出力してもよい。
【0175】
<5-3.ユーザ全員への呼びかけ>
グループ通話システム10は、本機能を搭載するシステムは参加予定者のリストを持ち、グループ通話の参加者及び不参加者について把握していてもよい。そして、グループ通話システム10の生成部14bは、認識した音声が、例えば「みなさんお揃いですか?」や「全員参加していますか?」といったような、グループ通話に参加又は参加予定のユーザ全員に対する呼びかけである場合に、グループ通話に参加又は参加予定の一又は複数のユーザの状態に紐づけられたフレーズ(以下、第3のフレーズという。)を含む音声データを生成してもよい。
【0176】
このとき、生成部14bは、第3のフレーズを含む音声データとして、参加ユーザもしくは不参加ユーザのうちの少ない方の全員の名前を含む音声データを生成してもよい。なお、参加ユーザもしくは不参加ユーザのうちの少ない方の人数が所定の数より多い場合には、生成部14bは、第3のフレーズを含む音声データとして、参加ユーザ及び不参加ユーザの少なくとも一方の人数の情報を含む音声データを生成してもよい。例えば、生成部14bは、第3のフレーズを含む音声データとして、例えば、「N人が参加している」若しくは「N人が不参加である」といった音声データを生成してもよい。そして、グループ通話システム10の発信制御部14dは、生成した音声データをグループ通話に参加する一又は複数のユーザに出力してもよい。
【0177】
<5-4.その他の変形例>
本実施形態のグループ通話システム10、サーバ100、又は端末装置200を制御する制御装置は、専用のコンピュータシステムにより実現してもよいし、汎用のコンピュータシステムによって実現してもよい。
【0178】
例えば、上述の動作を実行するための通信プログラムを、光ディスク、半導体メモリ、磁気テープ、フレキシブルディスク等のコンピュータ読み取り可能な記録媒体に格納して配布する。そして、例えば、該プログラムをコンピュータにインストールし、上述の処理を実行することによって制御装置を構成する。このとき、制御装置は、グループ通話システム10、サーバ100、又は端末装置200の外部の装置(例えば、パーソナルコンピュータ)であってもよい。また、制御装置は、グループ通話システム10、サーバ100、又は端末装置200の内部の装置(例えば、制御部130、又は制御部230)であってもよい。
【0179】
また、上記通信プログラムをインターネット等のネットワーク上のサーバが備えるディスク装置に格納しておき、コンピュータにダウンロード等できるようにしてもよい。また、上述の機能を、OS(Operating System)とアプリケーションソフトとの協働により実現してもよい。この場合には、OS以外の部分を媒体に格納して配布してもよいし、OS以外の部分をサーバに格納しておき、コンピュータにダウンロード等できるようにしてもよい。
【0180】
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
【0181】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散又は統合して構成することができる。なお、この分散又は統合による構成は動的に行われてもよい。
【0182】
また、上述の実施形態は、処理内容を矛盾させない領域で適宜組み合わせることが可能である。また、上述の実施形態のフローチャート及びシーケンス図に示された各ステップは、適宜順序を変更することが可能である。
【0183】
また、例えば、本実施形態は、装置またはシステムを構成するあらゆる構成、例えば、システムLSI(Large Scale Integration)等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等(すなわち、装置の一部の構成)として実施することもできる。
【0184】
なお、本実施形態において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
【0185】
また、例えば、本実施形態は、1つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【0186】
<<6.むすび>>
以上説明したように、本開示の一実施形態によれば、グループ通話システム10は、グループ通話に参加するユーザの音声を認識する。認識した音声が所定の基準を満たす場合、グループ通話システム10は、グループ通話に参加又は参加予定の一又は複数のユーザの状態に紐づけられたフレーズを含む音声データを生成する。例えば、認識した音声がグループ通話に参加又は参加予定の他のユーザへの呼びかけであって、その他のユーザが応答可能状態とは異なる状態(例えば、オフライン状態、不参加状態、応答不可状態、一時的な不在状態、又はミュート状態)である場合に、グループ通話システム10は、その他のユーザの状態に紐づけられたフレーズを含む音声データを生成する。例えば、グループ通話システム10は、「Dさんは参加していません」といった音声データを生成する。そして、グループ通話システム10は、生成した音声データをグループ通話に参加する一又は複数のユーザに出力する。
【0187】
これにより、グループ通話の参加者は、話しかけたい相手が応答可能状態ではない場合に、その者が応答可能状態でないことを速やかに把握できる。結果として、グループ通話システム10は、円滑なグループ通話を実現できる。
【0188】
以上、本開示の各実施形態について説明したが、本開示の技術的範囲は、上述の各実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
【0189】
また、本明細書に記載された各実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
【0190】
なお、本技術は以下のような構成も取ることができる。
(1)
グループ通話に参加する第1の通信装置の第1のユーザの音声を認識する認識部と、
前記認識した音声が所定の基準を満たす場合、前記グループ通話に参加又は参加予定の一又は複数のユーザの状態に紐づけられたフレーズを含む音声データを生成する生成部と、
前記生成した音声データを前記グループ通話に参加する一又は複数の通信装置に出力する発信制御部と、を備える、
情報処理装置。
(2)
前記生成部は、前記認識した音声が第2の通信装置の第2のユーザへの呼びかけを示す場合、且つ、前記第2のユーザが応答可能を示す第1の状態とは異なる第2の状態である場合に、前記第2の状態に紐づけられた第1のフレーズを含む音声データを生成し、
前記発信制御部は、前記第1のフレーズを含む音声データを少なくとも前記第1の通信装置へ出力する、
前記(1)に記載の情報処理装置。
(3)
前記第2の状態には、前記第2のユーザが前記グループ通話を管理するシステムに接続中であると、前記システムに認識されていない状態が含まれ、
前記生成部は、前記認識した音声が第2の通信装置の第2のユーザへの呼びかけを示す場合、且つ、前記第2の通信装置が前記システムに接続されていない状態である場合に、前記第1のフレーズを含む音声データとして、前記第2の通信装置が前記システムに接続されていないことを示す音声データを生成する、
前記(2)に記載の情報処理装置。
(4)
前記第2の状態には、前記第2のユーザが前記グループ通話を管理するシステムに接続中であると前記システムに認識されている状態、且つ、前記第2のユーザが前記グループ通話に不参加の状態が含まれ、
前記生成部は、前記認識した音声が第2の通信装置の第2のユーザへの呼びかけを示す場合、且つ、前記第2の通信装置が前記システムに接続中の状態および前記第2のユーザが前記グループ通話に不参加の状態である場合に、前記第1のフレーズを含む音声データとして、前記第2のユーザが前記グループ通話に不参加であることを示す音声データを生成する、
前記(2)又は(3)に記載の情報処理装置。
(5)
前記生成部は、前記認識した音声が第2の通信装置の第2のユーザへの呼びかけを示す場合、且つ、前記第2の通信装置が前記システムに接続中の状態および前記第2のユーザが前記グループ通話に不参加の状態である場合であって、前記システムが管理する他のグループ通話に前記第2のユーザが参加している場合に、前記第1のフレーズを含む音声データとして、前記第2のユーザが前記他のグループ通話に参加中であることを示す音声データを生成する、
前記(4)に記載の情報処理装置。
(6)
前記生成部は、前記認識した音声が第2の通信装置の第2のユーザへの呼びかけを示す場合、且つ、前記第2の通信装置が前記システムに接続中の状態および前記第2のユーザが前記グループ通話に不参加の状態である場合に、前記第2のユーザを呼び出すか否かを前記第1のユーザに問う第2のフレーズを含む音声データを生成する、
前記(4)又は(5)に記載の情報処理装置。
(7)
前記発信制御部は、前記第1のユーザが前記第2のフレーズを含む音声に対して前記第2のユーザを呼び出す旨の応答を行った場合には、前記第2のユーザに対して、前記グループ通話への参加を要求する旨の発信を行う、
前記(6)に記載の情報処理装置。
(8)
前記第2の状態には、前記第2のユーザが前記グループ通話に参加中で応答不可の状態が含まれ、
前記生成部は、前記認識した音声が第2の通信装置の第2のユーザへの呼びかけを示す場合、且つ、前記第2のユーザが前記グループ通話に参加中で応答不可の状態である場合に、前記第1のフレーズを含む音声データとして、前記第2のユーザが応答不可の状態であることを示す音声データを生成する、
前記(2)~(7)のいずれかに記載の情報処理装置。
(9)
前記第2の状態には、前記第2のユーザが前記グループ通話に参加中で一時的な不在の状態が含まれ、
前記生成部は、前記認識した音声が第2の通信装置の第2のユーザへの呼びかけを示す場合、且つ、前記第2のユーザが前記グループ通話に参加中で一時的な不在の状態である場合に、前記第1のフレーズを含む音声データとして、前記第2のユーザが一時的な不在であることを示す音声データを生成する、
前記(2)~(8)のいずれかに記載の情報処理装置。
(10)
前記グループ通話に参加するユーザの状態を判別する判別部を備え、
前記第2の通信装置は、近接センサを備える装着型の装置であり、
前記判別部は、前記第2の通信装置は、前記第2の通信装置が備える近接センサの検出結果に基づく前記第2のユーザの状態に関する情報に基づいて、前記第2のユーザが前記グループ通話に参加中で一時的な不在であるか否かを判別する、
前記(9)に記載の情報処理装置。
(11)
前記第2の状態には、前記第2のユーザが前記グループ通話に参加中で音声ミュートの状態が含まれ、
前記生成部は、前記認識した音声が第2の通信装置の第2のユーザへの呼びかけを示す場合、且つ、前記第2のユーザが前記グループ通話に参加中で音声ミュートの状態である場合に、前記第1のフレーズを含む音声データとして、前記第2のユーザが前記グループ通話に参加していることを示す音声データを生成する、
前記(2)~(10)のいずれかに記載の情報処理装置。
(12)
前記生成部は、前記認識した音声が第2の通信装置の第2のユーザへの呼びかけを示す場合、且つ、前記第2のユーザが前記グループ通話に参加中で音声ミュートの状態である場合に、前記第2のユーザの音声がミュートとなっていることを示すフレーズを含む音声データを生成し、
前記発信制御部は、前記第2のユーザの音声がミュートとなっていることを示すフレーズを含む音声データを前記第2の通信装置に対してのみ出力する、
前記(11)に記載の情報処理装置。
(13)
前記生成部は、前記認識した音声が第2の通信装置の第2のユーザへの呼びかけを示す場合、且つ、前記第1のユーザが音声ミュートの状態である場合に、前記第2のユーザの状態に紐づけられた第1のフレーズを含む音声データを生成し、
前記発信制御部は、前記第1のフレーズを含む音声データを前記第1の通信装置に対してのみ出力する、
前記(1)~(12)のいずれかに記載の情報処理装置。
(14)
前記第2の状態には、前記第2のユーザが前記グループ通話に参加している状態、且つ、前記第2の通信装置の通信リンクの品質が所定の基準より低い状態が含まれ、
前記生成部は、前記認識した音声が第2の通信装置の第2のユーザへの呼びかけを示す場合、且つ、前記第2のユーザが前記グループ通話に参加中の状態および前記第2の通信装置の通信品質が所定の基準より低い状態の場合に、前記第1のフレーズを含む音声データとして、前記第2の通信装置の通信品質が低下していることを示す音声データを生成する、
前記(2)~(13)のいずれかに記載の情報処理装置。
(15)
前記生成部は、前記認識した音声が前記グループ通話に参加又は参加予定のユーザ全員に対する呼びかけである場合に、前記グループ通話に参加又は参加予定の一又は複数のユーザの状態に紐づけられた第3のフレーズを含む音声データを生成する、
前記(1)~(14)のいずれかに記載の情報処理装置。
(16)
前記生成部は、前記認識した音声が前記グループ通話に参加又は参加予定のユーザ全員に対する呼びかけである場合に、前記第3のフレーズを含む音声データとして、参加ユーザもしくは不参加ユーザのうちの少ない方の全員の名前を含む音声データを生成する、
前記(15)に記載の情報処理装置。
(17)
前記生成部は、前記認識した音声が前記グループ通話に参加又は参加予定のユーザ全員に対する呼びかけである場合、且つ、参加ユーザもしくは不参加ユーザのうちの少ない方の人数が所定の数より多い場合に、前記第3のフレーズを含む音声データとして、参加ユーザ及び不参加ユーザの少なくとも一方の人数の情報を含む音声データを生成する、
前記(16)に記載の情報処理装置。
(18)
グループ通話に使用可能な通信装置であって、
前記グループ通話に参加する第1の通信装置の第1のユーザの音声を認識する認識部と、前記認識した音声が所定の基準を満たす場合、前記グループ通話に参加又は参加予定の一又は複数のユーザの状態に紐づけられたフレーズを含む音声データを生成する生成部と、前記生成した音声データを前記グループ通話に参加する一又は複数の通信装置に出力する発信制御部と、を備える情報処理装置に、前記通信装置を使用するユーザの状態に関する情報と該ユーザの音声データとを送信する送信制御部と、
前記情報処理装置の前記生成部で生成された音声データを受信する受信制御部と、を備える、
通信装置。
(19)
グループ通話に参加する第1の通信装置の第1のユーザの音声を認識し、
前記認識した音声が所定の基準を満たす場合、前記グループ通話に参加又は参加予定の一又は複数のユーザの状態に紐づけられたフレーズを含む音声データを生成し、
前記生成した音声データを前記グループ通話に参加する一又は複数の通信装置に出力する、
情報処理方法。
(20)
グループ通話に使用可能な通信装置が実行する通信方法であって、
前記グループ通話に参加する第1の通信装置の第1のユーザの音声を認識する認識部と、前記認識した音声が所定の基準を満たす場合、前記グループ通話に参加又は参加予定の一又は複数のユーザの状態に紐づけられたフレーズを含む音声データを生成する生成部と、前記生成した音声データを前記グループ通話に参加する一又は複数の通信装置に出力する発信制御部と、を備える情報処理装置に、前記通信装置を使用するユーザの状態の情報と該ユーザの音声データとを送信し、
前記情報処理装置の前記生成部で生成された音声データを受信する、
通信方法。
【符号の説明】
【0191】
1 情報処理システム
10 グループ通話システム
100 サーバ
200 端末装置
110、210 通信部
120、220 記憶部
130、230 制御部
240 入力部
250 出力部
260 センサ部
11、131、231 要求受付部
12、132、232 通話制御部
13、133、233 管理部
14、134、234 エージェント制御部
235 送信制御部
236 受信制御部
13a 通話グループ管理部
13b ユーザ情報管理部
13c ユーザ状態管理部
14a 認識部
14b 生成部
14c 判別部
14d 発信制御部
N ネットワーク