特許 7657656 会議システム、会議方法、及び会議プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-03-28

(45)【発行日】2025-04-07

(54)【発明の名称】会議システム、会議方法、及び会議プログラム

(51)【国際特許分類】

   H04M 3/56 20060101AFI20250331BHJP

   H04R 3/00 20060101ALI20250331BHJP

【ＦＩ】

H04M3/56

H04R3/00 310

【請求項の数】 9

(21)【出願番号】P 2021089301

(22)【出願日】2021-05-27

(65)【公開番号】P2022182019

(43)【公開日】2022-12-08

【審査請求日】2024-03-21

(73)【特許権者】

【識別番号】000005049

【氏名又は名称】シャープ株式会社

(74)【代理人】

【識別番号】100167302

【弁理士】

【氏名又は名称】種村 一幸

(74)【代理人】

【識別番号】100135817

【弁理士】

【氏名又は名称】華山 浩伸

(72)【発明者】

【氏名】齋藤 健允

【審査官】山中 実

(56)【参考文献】

【文献】特開２０１９－１４０５１７（ＪＰ，Ａ）

【文献】米国特許第０７８３５７７４（ＵＳ，Ｂ１）

【文献】特開２０１７－０２８３５１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｍ ３／５６

Ｈ０４Ｒ ３／００

(57)【特許請求の範囲】

【請求項1】

第１ユーザーと第２ユーザーとを含む複数のユーザーのそれぞれに対してマイク及びスピーカーが割り当てられ、前記複数のユーザーがそれぞれ各自に割り当てられたマイク及びスピーカーを利用して会議を行う会議システムであって、
前記第１ユーザーに対して割り当てられた第１マイクが第１取得音声を取得して、当該第１取得音声を前記第２ユーザーに割り当てられた第２スピーカーから出力すると共に、前記第２ユーザーに対して割り当てられた第２マイクが第２取得音声を取得して、当該第２取得音声を前記第１ユーザーに割り当てられた第１スピーカーから出力する通話システムと、
前記第１ユーザー及び前記第２ユーザーの状態が前記通話システムを介さずに直接会話可能な直接会話状態であるか否かを判定する会話状態判定部と、
前記会話状態判定部の判定結果に基づき、前記通話システムに対して前記第１取得音声を前記第２スピーカーから出力させるか否かを制御する出力制御部と、
を備え、
前記会話状態判定部は、前記第１マイクから取得した前記第１取得音声と前記第２マイクから取得した前記第２取得音声とが一致する場合に、前記第１ユーザー及び前記第２ユーザーの状態が前記直接会話状態であると判定し、前記第１取得音声と前記第２取得音声とが一致しない場合に、前記第１ユーザー及び前記第２ユーザーの状態が前記直接会話状態ではないと判定し、
前記出力制御部は、
前記会話状態判定部が前記第１ユーザー及び前記第２ユーザーの状態が前記直接会話状態であると判定した場合に、前記通話システムに対して前記第１取得音声を前記第２スピーカーから出力させず、
前記会話状態判定部が前記第１ユーザー及び前記第２ユーザーの状態が前記直接会話状態ではないと判定した場合に、前記通話システムに対して前記第１取得音声を前記第２スピーカーから出力させる、会議システム。

【請求項2】

前記出力制御部は、前記会話状態判定部の判定結果に基づき、前記通話システムに対して前記第２取得音声を前記第１スピーカーから出力させるか否かを制御する、
請求項１に記載の会議システム。

【請求項3】

前記出力制御部は、
前記会話状態判定部が前記第１ユーザー及び前記第２ユーザーの状態が前記直接会話状態であると判定した場合に、前記通話システムに対して前記第２取得音声を前記第１スピーカーから出力させず、
前記会話状態判定部が前記第１ユーザー及び前記第２ユーザーの状態が前記直接会話状態ではないと判定した場合に、前記通話システムに対して前記第２取得音声を前記第１スピーカーから出力させる、
請求項２に記載の会議システム。

【請求項4】

前記会話状態判定部は、前記第１取得音声に前記第２ユーザーの発話音声が含まれるか否かを判定し、前記第１取得音声に前記第２ユーザーの発話音声が含まれると判定した場合に、前記第１ユーザー及び前記第２ユーザーの状態が前記直接会話状態であると判定する、
請求項１から請求項３のいずれか１項に記載の会議システム。

【請求項5】

前記会話状態判定部は、前記第１取得音声に含まれる発話音声の発話者を特定し、特定結果に基づいて前記第１取得音声に前記第２ユーザーの発話音声が含まれるか否かを判定する、
請求項４に記載の会議システム。

【請求項6】

前記会話状態判定部は、前記第２取得音声に前記第１ユーザーの発話音声が含まれるか否かを判定し、前記第２取得音声に前記第１ユーザーの発話音声が含まれると判定した場合に、前記第１ユーザー及び前記第２ユーザーの状態が前記直接会話状態であると判定する、
請求項１から請求項３のいずれか１項に記載の会議システム。

【請求項7】

前記会話状態判定部は、前記第２取得音声に含まれる発話音声の発話者を特定し、特定結果に基づいて前記第２取得音声に前記第１ユーザーの発話音声が含まれるか否かを判定する、
請求項６に記載の会議システム。

【請求項8】

第１ユーザーと第２ユーザーとを含む複数のユーザーのそれぞれに対してマイク及びスピーカーが割り当てられ、前記複数のユーザーがそれぞれ各自に割り当てられたマイク及びスピーカーを利用して会議を行う会議方法であって、
一又は複数のプロセッサーが、
前記第１ユーザーに対して割り当てられた第１マイクが第１取得音声を取得して、当該第１取得音声を前記第２ユーザーに割り当てられた第２スピーカーから出力すると共に、前記第２ユーザーに対して割り当てられた第２マイクが第２取得音声を取得して、当該第２取得音声を前記第１ユーザーに割り当てられた第１スピーカーから出力する通話ステップと、
前記第１ユーザー及び前記第２ユーザーの状態が前記通話ステップを介さずに直接会話可能な直接会話状態であるか否かを判定する判定ステップと、
前記判定ステップにおける判定結果に基づき、前記通話ステップにおいて前記第１取得音声を前記第２スピーカーから出力させるか否かを制御する制御ステップと、
を実行し、
前記判定ステップにおいて、前記第１マイクから取得した前記第１取得音声と前記第２マイクから取得した前記第２取得音声とが一致する場合に、前記第１ユーザー及び前記第２ユーザーの状態が前記直接会話状態であると判定し、前記第１取得音声と前記第２取得音声とが一致しない場合に、前記第１ユーザー及び前記第２ユーザーの状態が前記直接会話状態ではないと判定し、
前記制御ステップにおいて、
前記判定ステップで前記第１ユーザー及び前記第２ユーザーの状態が前記直接会話状態であると判定した場合に、前記第１取得音声を前記第２スピーカーから出力させず、
前記判定ステップで前記第１ユーザー及び前記第２ユーザーの状態が前記直接会話状態ではないと判定した場合に、前記第１取得音声を前記第２スピーカーから出力させる、会議方法。

【請求項9】

第１ユーザーと第２ユーザーとを含む複数のユーザーのそれぞれに対してマイク及びスピーカーが割り当てられ、前記複数のユーザーがそれぞれ各自に割り当てられたマイク及びスピーカーを利用して会議を行う会議プログラムであって、
前記第１ユーザーに対して割り当てられた第１マイクが第１取得音声を取得して、当該第１取得音声を前記第２ユーザーに割り当てられた第２スピーカーから出力すると共に、前記第２ユーザーに対して割り当てられた第２マイクが第２取得音声を取得して、当該第２取得音声を前記第１ユーザーに割り当てられた第１スピーカーから出力する通話ステップと、
前記第１ユーザー及び前記第２ユーザーの状態が前記通話ステップを介さずに直接会話可能な直接会話状態であるか否かを判定する判定ステップと、
前記判定ステップにおける判定結果に基づき、前記通話ステップにおいて前記第１取得音声を前記第２スピーカーから出力させるか否かを制御する制御ステップと、
を一又は複数のプロセッサーに実行させ、
前記判定ステップにおいて、前記第１マイクから取得した前記第１取得音声と前記第２マイクから取得した前記第２取得音声とが一致する場合に、前記第１ユーザー及び前記第２ユーザーの状態が前記直接会話状態であると判定し、前記第１取得音声と前記第２取得音声とが一致しない場合に、前記第１ユーザー及び前記第２ユーザーの状態が前記直接会話状態ではないと判定し、
前記制御ステップにおいて、
前記判定ステップで前記第１ユーザー及び前記第２ユーザーの状態が前記直接会話状態であると判定した場合に、前記第１取得音声を前記第２スピーカーから出力させず、
前記判定ステップで前記第１ユーザー及び前記第２ユーザーの状態が前記直接会話状態ではないと判定した場合に、前記第１取得音声を前記第２スピーカーから出力させる、会議プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、会議システム、会議方法、及び会議プログラムに関する。

【背景技術】

【0002】

従来、複数の拠点で複数のユーザー（会議参加者）が会議を行うことが可能な会議システムが知られている。例えば特許文献１には、各拠点に配置された無線機器をネットワーク接続して各拠点間の音声データを送受信することにより会議を行う会議システムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開平１０－１３６１００号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、近年、各ユーザーが自身のＰＣ（ユーザー端末）を所持して会議に参加する場合がある。このような会議では、以下の問題が生じる場合がある。例えば同じ拠点（会議室）にいるユーザーＡ，ＢのうちユーザーＡが発言した場合に、ユーザーＢは、ユーザーＡの発言（発話音声）を直接聞き取ることができる。また、ユーザーＢのユーザー端末は、会議アプリケーションを利用して、ユーザーＡのユーザー端末のマイクが集音したユーザーＡの発話音声を自端末のスピーカーから出力することができる。この場合、ユーザーＢは、ユーザーＡから直接聞こえる音声と、ユーザー端末から聞こえる音声との同一音声が二重に聞こえてしまう問題が生じる。

【0005】

本発明の目的は、ユーザーの発話音声を適切に聞き取らせることを可能にする会議システム、会議方法、及び会議プログラムを提供することにある。

【課題を解決するための手段】

【0006】

本発明の一の態様に係る会議システムは、第１ユーザーと第２ユーザーとを含む複数のユーザーのそれぞれに対してマイク及びスピーカーが割り当てられ、前記複数のユーザーがそれぞれ各自に割り当てられたマイク及びスピーカーを利用して会議を行う会議システムであって、前記第１ユーザーに対して割り当てられた第１マイクが第１取得音声を取得して、当該第１取得音声を前記第２ユーザーに割り当てられた第２スピーカーから出力すると共に、前記第２ユーザーに対して割り当てられた第２マイクが第２取得音声を取得して、当該第２取得音声を前記第１ユーザーに割り当てられた第１スピーカーから出力する通話システムと、前記第１ユーザー及び前記第２ユーザーの状態が前記通話システムを介さずに直接会話可能な直接会話状態であるか否かを判定する会話状態判定部と、前記会話状態判定部の判定結果に基づき、前記通話システムに対して前記第１取得音声を前記第２スピーカーから出力させるか否かを制御する出力制御部と、を備えるシステムである。

【0007】

本発明の他の態様に係る会議方法は、第１ユーザーと第２ユーザーとを含む複数のユーザーのそれぞれに対してマイク及びスピーカーが割り当てられ、前記複数のユーザーがそれぞれ各自に割り当てられたマイク及びスピーカーを利用して会議を行う会議方法であって、一又は複数のプロセッサーが、前記第１ユーザーに対して割り当てられた第１マイクが第１取得音声を取得して、当該第１取得音声を前記第２ユーザーに割り当てられた第２スピーカーから出力すると共に、前記第２ユーザーに対して割り当てられた第２マイクが第２取得音声を取得して、当該第２取得音声を前記第１ユーザーに割り当てられた第１スピーカーから出力する通話ステップと、前記第１ユーザー及び前記第２ユーザーの状態が前記通話ステップを介さずに直接会話可能な直接会話状態であるか否かを判定する判定ステップと、前記判定ステップにおける判定結果に基づき、前記通話ステップにおいて前記第１取得音声を前記第２スピーカーから出力させるか否かを制御する制御ステップと、を実行する方法である。

【0008】

本発明の他の態様に係る会議プログラムは、第１ユーザーと第２ユーザーとを含む複数のユーザーのそれぞれに対してマイク及びスピーカーが割り当てられ、前記複数のユーザーがそれぞれ各自に割り当てられたマイク及びスピーカーを利用して会議を行う会議プログラムであって、前記第１ユーザーに対して割り当てられた第１マイクが第１取得音声を取得して、当該第１取得音声を前記第２ユーザーに割り当てられた第２スピーカーから出力すると共に、前記第２ユーザーに対して割り当てられた第２マイクが第２取得音声を取得して、当該第２取得音声を前記第１ユーザーに割り当てられた第１スピーカーから出力する通話ステップと、前記第１ユーザー及び前記第２ユーザーの状態が前記通話ステップを介さずに直接会話可能な直接会話状態であるか否かを判定する判定ステップと、前記判定ステップにおける判定結果に基づき、前記通話ステップにおいて前記第１取得音声を前記第２スピーカーから出力させるか否かを制御する制御ステップと、を一又は複数のプロセッサーに実行させるためのプログラムである。

【発明の効果】

【0009】

本発明によれば、ユーザーの発話音声を適切に聞き取らせることを可能にする会議システム、会議方法、及び会議プログラムが提供される。

【図面の簡単な説明】

【0010】

【図1】図１は、本発明の実施形態に係る会議システムの概略構成を示す模式図である。

【図2】図２は、本発明の実施形態に係る会議システムの構成を示す機能ブロック図である。

【図3】図３は、本発明の実施形態に係る会議システムで利用される会議室情報の一例を示す図である。

【図4】図４は、本発明の実施形態に係る会議システムで利用されるユーザー情報の一例を示す図である。

【図5】図５は、本発明の実施形態に係る会議システムで利用される会議情報の一例を示す図である。

【図6】図６は、従来の会議システムにおける音声出力方法を示す模式図である。

【図7】図７は、本発明の実施形態に係る会議システムにおける音声出力方法の一例を示す模式図である。

【図8】図８は、本発明の実施形態に係る会議システムにおける音声出力方法の一例を示す模式図である。

【図9】図９は、本発明の実施形態に係る会議システムにおける音声出力方法の一例を示す模式図である。

【図10】図１０は、本発明の実施形態に係る会議システムで実行される会議処理の手順の一例を説明するためのフローチャートである。

【発明を実施するための形態】

【0011】

以下、添付図面を参照しながら、本発明の実施形態について説明する。なお、以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定する性格を有さない。

【0012】

本発明に係る会議システムは、例えば複数の拠点（会議室）において一又は複数のユーザーが参加する会議に適用することができる。例えば本実施形態に係る会議システムでは、各会議室に、会議に参加する各ユーザーが利用するユーザー端末と、当該ユーザー端末の表示画面などの各種情報を表示する表示装置とが配置される。また、各ユーザー端末には、マイク及びスピーカーが搭載されている。

【0013】

［会議システム１００］
図１は、本発明の実施形態に係る会議システムの概略構成を示す図である。会議システム１００は、会議サーバー１と、ユーザー端末２と、表示装置ＤＰとを含んでいる。例えば図１に示すように、会議室Ｒ１には、会議の参加者であるユーザーＡが利用するユーザー端末２ａと、会議の参加者であるユーザーＢが利用するユーザー端末２ｂと、表示装置ＤＰ１とが配置されており、会議室Ｒ２には、会議の参加者であるユーザーＣが利用するユーザー端末２ｃと、会議の参加者であるユーザーＤが利用するユーザー端末２ｄと、表示装置ＤＰ２とが配置されている。

【0014】

会議システム１００は、第１ユーザーと第２ユーザーとを含む複数のユーザーのそれぞれに対してマイク及びスピーカーが割り当てられ、前記複数のユーザーがそれぞれ各自に割り当てられたマイク及びスピーカーを利用して会議を行うシステムである。例えば、ユーザーＡには、ユーザー端末２ａのマイク及びスピーカーが割り当てられ、ユーザーＢには、ユーザー端末２ｂのマイク及びスピーカーが割り当てられている。

【0015】

また、会議システム１００は、前記第１ユーザーに対して割り当てられた第１マイクが第１取得音声を取得して、当該第１取得音声を前記第２ユーザーに割り当てられた第２スピーカーから出力すると共に、前記第２ユーザーに対して割り当てられた第２マイクが第２取得音声を取得して、当該第２取得音声を前記第１ユーザーに割り当てられた第１スピーカーから出力する通話システムを備える。例えば、会議システム１００は、ユーザーＡに割り当てられたユーザー端末２ａのマイクが取得したユーザーＡの発話音声を、ユーザーＣに割り当てられたユーザー端末２ｃのスピーカーから出力し、ユーザーＣに割り当てられたユーザー端末２ｃのマイクが取得したユーザーＣの発話音声を、ユーザーＡに割り当てられたユーザー端末２ａのスピーカーから出力する。

【0016】

［会議サーバー１］
図２に示すように、会議サーバー１は、制御部１１、記憶部１２、操作表示部１３、通信部１４などを備える。会議サーバー１は、１台又は複数台の仮想サーバ（クラウドサーバ）であってもよいし、１台又は複数台の物理サーバーであってもよい。

【0017】

通信部１４は、会議サーバー１を有線又は無線でネットワークＮ１に接続し、ネットワークＮ１を介して他の機器（例えばユーザー端末２、表示装置ＤＰ）との間で所定の通信プロトコルに従ったデータ通信を実行するための通信インターフェースである。

【0018】

操作表示部１３は、各種の情報を表示する液晶ディスプレイ又は有機ＥＬディスプレイのような表示部と、操作を受け付けるマウス、キーボード、又はタッチパネルのような操作部とを備えるユーザーインターフェースである。

【0019】

記憶部１２は、各種の情報を記憶するフラッシュメモリー、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの不揮発性の記憶部である。記憶部１２には、制御部１１に後述の会議処理（図１０参照）を実行させるための会議プログラムなどの制御プログラムが記憶されている。例えば、前記会議プログラムは、ＣＤ又はＤＶＤなどのコンピュータ読取可能な記録媒体に非一時的に記録され、会議サーバー１が備えるＣＤドライブ又はＤＶＤドライブなどの読取装置（不図示）で読み取られて記憶部１２に記憶されてもよい。

【0020】

また、記憶部１２には、会議室情報Ｄ１、ユーザー情報Ｄ２、会議情報Ｄ３などのデータが記憶される。

【0021】

図３には会議室情報Ｄ１の一例を示している。会議室情報Ｄ１には、会議室ごとに、対応する「会議室ＩＤ」、「会議室名」などの情報が互いに関連付けられて登録される。「会議室ＩＤ」は、会議室の識別情報である。「会議室名」は会議室の名前であり、部屋番号などが登録される。

【0022】

図４にはユーザー情報Ｄ２の一例を示している。ユーザー情報Ｄ２には、ユーザーごとに、対応する「ユーザーＩＤ」、「ユーザー名」、「パスワード」などの情報が互いに関連付けられて登録される。ユーザー情報Ｄ２には、会議に参加するユーザーだけでなく、会議システム１００を利用する権限を有する全てのユーザーに関する情報が事前に登録される。例えば、企業の全社員の情報がユーザー情報Ｄ２に登録される。「ユーザーＩＤ」はユーザーの識別情報であり、「ユーザー名」はユーザーの名前である。「ユーザーＩＤ」及び「パスワード」はユーザーが会議に参加する際のログイン処理に利用される情報である。

【0023】

例えば、会議に参加するユーザーは、会議を開始する際に自身のユーザー端末２において会議アプリケーションを起動させて、ログイン画面にログイン情報である前記ユーザーＩＤ及び前記パスワードを入力する。会議サーバー１は前記ログイン情報に基づいてログイン処理（認証処理）を行う。ログインしたユーザーは、会議アプリケーションを利用した会議に参加することが可能となる。

【0024】

図５には会議情報Ｄ３の一例を示している。会議情報Ｄ３には、会議ごとに、対応する「会議ＩＤ」、「会議名」、「会議室ＩＤ」、「開始日時」、「終了日時」、「参加者ＩＤ」、「ファイルＩＤ」などの情報（予約情報）が互いに関連付けられて登録される。「会議ＩＤ」は会議の識別情報であり、「会議名」は会議の名称（件名）である。「開始日時」は会議の開始予定日時であり、「終了日時」は会議の終了予定日時である。「参加者ＩＤ」は、会議に参加するユーザーの識別情報（ユーザーＩＤ）である。「ファイルＩＤ」は、会議に使用されるファイル（資料）の識別情報であり、ファイルＩＤに対応するファイルデータは、記憶部１２又はデータベース（不図示）に記憶される。会議情報Ｄ３は、会議の開催予定が決定すると責任者などにより事前に登録される。

【0025】

なお、会議室情報Ｄ１、ユーザー情報Ｄ２、会議情報Ｄ３などの情報の一部又は全部が、会議サーバー１、ユーザー端末２、及び他のサーバー（不図示）のいずれかに記憶されてもよいし、これら複数の装置に分散して記憶されてもよい。

【0026】

制御部１１は、ＣＰＵ、ＲＯＭ、及びＲＡＭなどの制御機器を有する。前記ＣＰＵは、各種の演算処理を実行するプロセッサーである。前記ＲＯＭは、前記ＣＰＵに各種の処理を実行させるためのＢＩＯＳ及びＯＳなどの制御プログラムを予め記憶する。前記ＲＡＭは、各種の情報を記憶し、前記ＣＰＵが実行する各種の処理の一時記憶メモリー（作業領域）として使用される。そして、制御部１１は、前記ＲＯＭ又は記憶部１２に予め記憶された各種の制御プログラムを前記ＣＰＵで実行することにより会議サーバー１を制御する。

【0027】

制御部１１は、前記ＣＰＵで前記制御プログラムに従った各種の処理を実行することによって前記各種の処理部として機能する。また、制御部１１に含まれる一部又は全部の処理部が電子回路で構成されていてもよい。なお、前記制御プログラムは、複数のプロセッサーを前記各種の処理部として機能させるためのプログラムであってもよい。

【0028】

具体的には、制御部１１は、会議室情報Ｄ１、ユーザー情報Ｄ２、及び会議情報Ｄ３を登録する。制御部１１は、ユーザーによる登録操作に基づいて各情報を記憶部１２に予め登録する。例えばユーザーが自身のユーザー端末２においてユーザー情報Ｄ２及び会議情報Ｄ３を登録する操作を行うと、制御部１１は、当該操作を受け付けてユーザー情報Ｄ２及び会議情報Ｄ３を記憶部１２に登録する。また、例えば会議室の管理者が自身のユーザー端末２又は管理端末において会議室情報Ｄ１を登録する操作を行うと、制御部１１は、当該操作を受け付けて会議室情報Ｄ１を記憶部１２に登録する。

【0029】

また、制御部１１は、会議に参加するユーザーのログイン処理（認証処理）を実行する。例えば、会議に参観するユーザーがログイン画面にログイン情報である前記ユーザーＩＤ及び前記パスワードを入力すると、制御部１１は、ユーザー情報Ｄ２及び会議情報Ｄ３を参照して、ログイン処理を実行する。

【0030】

また、制御部１１は、会議が開始されると、ユーザー端末２から音声データを取得し、取得した音声データを各ユーザー端末２に出力する。例えば、制御部１１は、ユーザーＡが発言した発話音声Ｖａの音声データをユーザー端末２ａから取得すると、当該音声データをユーザー端末２ｃ及びユーザー端末２ｄに出力する。また例えば、制御部１１は、ユーザーＣが発言した発話音声Ｖｃの音声データをユーザー端末２ｃから取得すると、当該音声データをユーザー端末２ａ及びユーザー端末２ｂに出力する。

【0031】

［ユーザー端末２］
図２に示すように、ユーザー端末２は、制御部２１、記憶部２２、操作表示部２３、マイク２４、スピーカー２５、通信部２６などを備える。図１では、会議室Ｒ１に配置されるユーザー端末２ａ及びユーザー端末２ｂと、会議室Ｒ２に配置されるユーザー端末２ｃ及びユーザー端末２ｄとを例示している。ユーザー端末２ａ～２ｄは、互いに同一の機能を備える。

【0032】

操作表示部２３は、各種の情報を表示する液晶ディスプレイ又は有機ＥＬディスプレイのような表示部と、操作を受け付けるマウス、キーボード、又はタッチパネルのような操作部とを備えるユーザーインターフェースである。

【0033】

マイク２４は、ユーザー端末２のユーザーの発話音声を集音する。マイク２４により集音された発話音声のデータ（音声データ）は制御部２１に入力される。スピーカー２５は、制御部２１の命令に基づいて音声を出力（放音）する。例えば、スピーカー２５は、会議サーバー１を介してユーザー端末２が取得する音声データの音声を制御部２１の命令に従って外部に出力する。

【0034】

通信部２６は、ユーザー端末２を有線又は無線でネットワークＮ１に接続し、ネットワークＮ１を介して他の機器（例えば会議サーバー１など）との間で所定の通信プロトコルに従ったデータ通信を実行するための通信インターフェースである。

【0035】

記憶部２２は、各種の情報を記憶するフラッシュメモリー、ＨＤＤ又はＳＳＤなどの不揮発性の記憶部である。記憶部２２には、制御部２１に後述の会議処理（図１０参照）を実行させるための会議プログラムなどの制御プログラムが記憶されている。例えば、前記会議プログラムは、ＣＤ又はＤＶＤなどのコンピュータ読取可能な記録媒体に非一時的に記録され、ユーザー端末２が備えるＣＤドライブ又はＤＶＤドライブなどの読取装置（不図示）で読み取られて記憶部２２に記憶されてもよい。

【0036】

制御部２１は、ＣＰＵ、ＲＯＭ、及びＲＡＭなどの制御機器を有する。前記ＣＰＵは、各種の演算処理を実行するプロセッサーである。前記ＲＯＭは、前記ＣＰＵに各種の処理を実行させるためのＢＩＯＳ及びＯＳなどの制御プログラムを予め記憶する。前記ＲＡＭは、各種の情報を記憶し、前記ＣＰＵが実行する各種の処理の一時記憶メモリー（作業領域）として使用される。そして、制御部２１は、前記ＲＯＭ又は記憶部２２に予め記憶された各種の制御プログラムを前記ＣＰＵで実行することによりユーザー端末２を制御する。

【0037】

ところで、各ユーザーが自身のユーザー端末２を所持して会議に参加する場合、以下の問題が生じることがある。例えば図６に示すように、同じ会議室Ｒ１にいるユーザーＡ，ＢのうちユーザーＡが発言した場合に、ユーザーＢは、ユーザーＡが発言した発話音声Ｖａを直接聞き取ることができる。また、ユーザーＢのユーザー端末２ｂは、会議アプリケーションを利用して、ユーザーＡのユーザー端末２ａのマイク２４が集音したユーザーＡの発話音声Ｖａを会議サーバー１を介してユーザー端末２ｂのスピーカー２５から出力することができる。この場合、ユーザーＢは、ユーザーＡから直接聞こえる音声と、ユーザー端末２ｂから聞こえる音声との同一音声が二重に聞こえてしまう問題が生じる。これに対して、本実施形態に係る会議システム１００によれば、ユーザーの発話音声を適切に聞き取らせることが可能である。

【0038】

具体的には、制御部２１は、図２に示すように、音声取得部２１１、会話状態判定部２１２、出力制御部２１３、位置取得部２１４などの各種の処理部を含む。なお、制御部２１は、前記ＣＰＵで前記制御プログラムに従った各種の処理を実行することによって前記各種の処理部として機能する。また、制御部２１に含まれる一部又は全部の処理部が電子回路で構成されていてもよい。なお、前記制御プログラムは、複数のプロセッサーを前記各種の処理部として機能させるためのプログラムであってもよい。

【0039】

音声取得部２１１は、マイク２４が集音した発話音声の音声データを取得する。例えば、ユーザー端末２ａのマイク２４がユーザーＡの発言した発話音声Ｖａを集音すると、ユーザー端末２ａの音声取得部２１１は、ユーザー端末２ａのマイク２４から当該発話音声Ｖａの音声データを取得する。制御部２１は、音声取得部２１１が取得した前記音声データを会議サーバー１に出力する。

【0040】

ここで、例えば図７に示すように、ユーザー端末２ｂがユーザーＡの近くにいる場合、ユーザー端末２ｂのマイク２４がユーザーＡの発言した発話音声Ｖａを集音する。この場合、ユーザー端末２ｂの音声取得部２１１は、ユーザー端末２ｂのマイク２４から当該発話音声Ｖａの音声データを取得する。また、ユーザー端末２ｂの音声取得部２１１は、会議サーバー１から出力される発話音声Ｖａの音声データを取得する（図７参照）。

【0041】

会話状態判定部２１２は、第１ユーザー及び第２ユーザーの状態が直接会話可能な直接会話状態であるか否かを判定する。例えば、第１ユーザー及び第２ユーザーが同じ会議室内で近くにいる場合、直接会話することが可能である。この場合、第１ユーザー及び第２ユーザーは直接会話状態にある。前記第１ユーザー及び前記第２ユーザーは、例えば、会議室Ｒ１にいるユーザーＡ及びユーザーＢ、又は、会議室Ｒ２にいるユーザーＣ及びユーザーＤである。

【0042】

具体的には、第１ユーザーのユーザー端末２の会話状態判定部２１２は、第１ユーザーのユーザー端末２のマイク２４が取得（集音）した第１取得音声に第２ユーザーの発話音声が含まれるか否かを判定する。例えば、第１ユーザーのユーザー端末２の会話状態判定部２１２は、第１ユーザーのユーザー端末２のマイク２４が取得した第１取得音声と、第２ユーザーのユーザー端末２のマイク２４が取得した第２取得音声とを比較して、比較結果に基づいて前記第１取得音声に前記第２ユーザーの発話音声が含まれるか否かを判定する。

【0043】

例えば、ユーザー端末２ｂの会話状態判定部２１２は、ユーザー端末２ｂのマイク２４が取得した音声（第１取得音声）と、ユーザー端末２ａのマイク２４が取得した音声（第２取得音声）とを比較して、両音声が一致する場合に前記第１取得音声に前記第２ユーザーの発話音声が含まれると判定する。

【0044】

会話状態判定部２１２は、前記第１取得音声に前記第２ユーザーの発話音声が含まれると判定した場合に、前記第１ユーザー及び前記第２ユーザーの状態が前記直接会話状態であると判定する。例えば、ユーザー端末２ｂの会話状態判定部２１２は、ユーザー端末２ｂのマイク２４が取得した前記第１取得音声にユーザーＡの発話音声Ｖａが含まれると判定した場合に、ユーザーＡ及びユーザーＢの状態が前記直接会話状態であると判定する。

【0045】

同様に、第２ユーザーのユーザー端末２の会話状態判定部２１２は、第２ユーザーのユーザー端末２のマイク２４が取得（集音）した第２取得音声に第１ユーザーの発話音声が含まれるか否かを判定する。例えば、第２ユーザーのユーザー端末２の会話状態判定部２１２は、第２ユーザーのユーザー端末２のマイク２４が取得した第２取得音声と、第１ユーザーのユーザー端末２のマイク２４が取得した第１取得音声とを比較して、比較結果に基づいて前記第２取得音声に前記第１ユーザーの発話音声が含まれるか否かを判定する。

【0046】

例えば、ユーザー端末２ａの会話状態判定部２１２は、ユーザー端末２ａのマイク２４が取得した音声（第２取得音声）と、ユーザー端末２ｂのマイク２４が取得した音声（第１取得音声）とを比較して、両音声が一致する場合に前記第２取得音声に前記第１ユーザーの発話音声が含まれると判定する。

【0047】

会話状態判定部２１２は、前記第２取得音声に前記第１ユーザーの発話音声が含まれると判定した場合に、前記第１ユーザー及び前記第２ユーザーの状態が前記直接会話状態であると判定する。例えば、ユーザー端末２ａの会話状態判定部２１２は、ユーザー端末２ａのマイク２４が取得した前記第２取得音声にユーザーＢの発話音声Ｖｂが含まれると判定した場合に、ユーザーＡ及びユーザーＢの状態が前記直接会話状態であると判定する。

【0048】

なお、例えば図８に示すように、ユーザー端末２ｂの会話状態判定部２１２は、ユーザー端末２ｂのマイク２４がユーザーＣの発話音声Ｖｃを取得しないため、ユーザー端末２ｂのマイク２４が取得した音声にユーザーＣの発話音声Ｖｃが含まれないと判定する。この場合、ユーザー端末２ｂの会話状態判定部２１２は、ユーザーＢ及びユーザーＣの状態が前記直接会話状態ではないと判定する。

【0049】

出力制御部２１３は、会話状態判定部２１２の判定結果に基づき、前記第１取得音声をスピーカー２５から出力させるか否かを制御する。

【0050】

具体的には、会話状態判定部２１２が前記第１ユーザー及び前記第２ユーザーの状態が前記直接会話状態であると判定した場合に、出力制御部２１３は、前記第１取得音声をスピーカー２５から出力させない。例えば図９に示すように、ユーザー端末２ｂの会話状態判定部２１２がユーザーＡ及びユーザーＢの状態が前記直接会話状態であると判定した場合に、ユーザー端末２ｂの出力制御部２１３は、会議サーバー１から取得したユーザーＡの発話音声Ｖａをユーザー端末２ｂのスピーカー２５から出力させない。例えば、ユーザー端末２ｂの出力制御部２１３は、会議サーバー１から取得したユーザーＡの発話音声Ｖａの音声信号に逆位相の音声信号を重ねることにより発話音声Ｖａをキャンセルする。

【0051】

また、会話状態判定部２１２が前記第１ユーザー及び前記第２ユーザーの状態が前記直接会話状態ではないと判定した場合には、出力制御部２１３は、前記第１取得音声をスピーカーから出力させる。例えば図８に示すように、ユーザー端末２ｂの会話状態判定部２１２がユーザーＢ及びユーザーＣの状態が前記直接会話状態ではないと判定した場合に、ユーザー端末２ｂの出力制御部２１３は、会議サーバー１から取得したユーザーＣの発話音声Ｖｃをユーザー端末２ｂのスピーカー２５から出力させる。

【0052】

同様に、出力制御部２１３は、会話状態判定部２１２の判定結果に基づき、前記第２取得音声をスピーカー２５から出力させるか否かを制御する。

【0053】

具体的には、会話状態判定部２１２が前記第１ユーザー及び前記第２ユーザーの状態が前記直接会話状態であると判定した場合に、出力制御部２１３は、前記第２取得音声をスピーカー２５から出力させない。例えば、ユーザー端末２ａの会話状態判定部２１２がユーザーＡ及びユーザーＢの状態が前記直接会話状態であると判定した場合に、ユーザー端末２ａの出力制御部２１３は、会議サーバー１から取得したユーザーＢの発話音声Ｖｂをユーザー端末２ａのスピーカー２５から出力させない。例えば、ユーザー端末２ａの出力制御部２１３は、会議サーバー１から取得したユーザーＢの発話音声Ｖｂの音声信号に逆位相の音声信号を重ねることにより発話音声Ｖｂをキャンセルする。

【0054】

また、会話状態判定部２１２が前記第１ユーザー及び前記第２ユーザーの状態が前記直接会話状態ではないと判定した場合には、出力制御部２１３は、前記第２取得音声をスピーカーから出力させる。例えば、ユーザー端末２ｃの会話状態判定部２１２がユーザーＢ及びユーザーＣの状態が前記直接会話状態ではないと判定した場合に、ユーザー端末２ｃの出力制御部２１３は、会議サーバー１から取得したユーザーＢの発話音声Ｖｂをユーザー端末２ｃのスピーカー２５から出力させる。

【0055】

［会議処理］
以下、図１０を参照しつつ、会議システム１００において実行される会議処理の手順の一例について説明する。

【0056】

なお、本発明は、前記会議処理に含まれる一又は複数のステップを実行する会議方法（本発明の会議方法の一例）の発明として捉えることができる。また、ここで説明する前記会議処理に含まれる一又は複数のステップが適宜省略されてもよい。また、前記会議処理における各ステップは、同様の作用効果を生じる範囲で実行順序が異なってもよい。さらに、ここでは会議システム１００に含まれるユーザー端末２の制御部２１が前記会議処理における各ステップを実行する場合を例に挙げて説明するが、他の実施形態では、１又は複数のプロセッサーが前記会議処理における各ステップを分散して実行してもよい。

【0057】

なお、前記会議処理は、例えば、各ユーザー端末２において、個別に並行して実行される。ここでは、ユーザーＢのユーザー端末２ｂにおいて実行される前記会議処理を例に挙げて説明する。

【0058】

先ずステップＳ１において、ユーザーＢのユーザー端末２ｂの制御部２１は、音声を取得したか否かを判定する。例えば、ユーザー端末２ｂの制御部２１は、会議サーバー１から出力される第１ユーザーの音声データの音声、ユーザー端末２ｂのマイク２４が集音する第２ユーザーの音声を取得する。

【0059】

次にステップＳ２において、ユーザー端末２ｂの制御部２１は、取得した音声に、ユーザー端末２ｂのマイク２４が取得した第２ユーザー（例えばユーザーＡ）の発話音声（マイク音声）が含まれるか否かを判定する。前記取得した音声にユーザーＡの発話音声が含まれる場合（Ｓ２：Ｙｅｓ）（図７参照）、処理はステップＳ３に移行する。一方、前記取得した音声にユーザーＡの発話音声が含まれない場合（Ｓ２：Ｎｏ）、処理はステップＳ２１に移行する。

【0060】

ステップＳ３では、ユーザー端末２ｂの制御部２１は、ユーザーＡ及びユーザーＢの状態が直接会話状態であると判定する。その後、処理はステップＳ４に移行する。

【0061】

ステップＳ４では、ユーザー端末２ｂの制御部２１は、ユーザーＡの発話音声をユーザー端末２ｂのスピーカー２５から出力させない。例えば図９に示すように、ユーザー端末２ｂの制御部２１は、ユーザーＡ及びユーザーＢの状態が前記直接会話状態であると判定した場合に、会議サーバー１から取得したユーザーＡの発話音声Ｖａをユーザー端末２ｂのスピーカー２５から出力させない。例えば、ユーザー端末２ｂの制御部２１は、ユーザーＡの発話音声Ｖａの音声信号に逆位相の音声信号を重ねることにより発話音声Ｖａをキャンセルする。その後、処理はステップＳ１に戻る。

【0062】

これに対して、例えばステップＳ１において取得した音声が会議サーバー１から出力されたユーザーＣ（第１ユーザー）の音声であった場合に、ユーザー端末２ｂの制御部２１は、ステップＳ２１では、ユーザーＢ及びユーザーＣの状態が直接会話状態ではないと判定する。例えば、ユーザー端末２ｂの制御部２１は、会議サーバー１からユーザーＣの発話音声Ｖｃを取得した場合に、ユーザーＢ及びユーザーＣの状態が直接会話状態ではないと判定する。その後、処理はステップＳ２２に移行する。

【0063】

ステップＳ２２では、ユーザー端末２ｂの制御部２１は、会議サーバー１から取得したユーザーＣ（第１ユーザー）の発話音声Ｖｃをユーザー端末２ｂのスピーカー２５から出力させる（図８参照）。その後、処理はステップＳ１に戻る。

【0064】

各ユーザー端末２の制御部２１は、上述の会議処理を繰り返し実行する。

【0065】

以上のように、本実施形態に係る会議システム１００は、第１ユーザーと第２ユーザーとを含む複数のユーザーのそれぞれに対してマイク及びスピーカーが割り当てられ、前記複数のユーザーがそれぞれ各自に割り当てられたマイク及びスピーカーを利用して会議を行うシステムである。また、会議システム１００は、前記第１ユーザーに対して割り当てられた第１マイクが第１取得音声を取得して、当該第１取得音声を前記第２ユーザーに割り当てられた第２スピーカーから出力すると共に、前記第２ユーザーに対して割り当てられた第２マイクが第２取得音声を取得して、当該第２取得音声を前記第１ユーザーに割り当てられた第１スピーカーから出力する。また、会議システム１００は、前記第１ユーザー及び前記第２ユーザーの状態が前記通話システムを介さずに直接会話可能な直接会話状態であるか否かを判定し、前記会話状態判定部の判定結果に基づき、前記通話システムに対して前記第１取得音声を前記第２スピーカーから出力させるか否かを制御する。

【0066】

これにより、例えば同じ会議室Ｒ１でユーザーＡ及びユーザーＢが会議に参加する場合において、ユーザーＡが発言した場合に、ユーザー端末２ｂからユーザーＡの発話音声が出力されず、ユーザーＢは、ユーザーＡの発話音声を直接聞き取ることができる。よって、ユーザーＡの発話音声が二重に聞こえてしまう問題を防ぐことができる。

【0067】

本発明の会議システムは上述の実施形態に限定されない。例えば、本発明の他の実施形態として、会話状態判定部２１２は、マイク２４が取得したマイク音声に含まれる発話音声の発話者を特定する特定処理を実行し、特定処理の結果に基づいて前記マイク音声に第１ユーザーの発話音声が含まれるか否かを判定してもよい。例えば、ユーザー端末２ｂの会話状態判定部２１２は、ユーザー端末２ｂのマイク２４が取得したマイク音声に基づいて発話者を特定する。例えば会話状態判定部２１２は、ユーザーごとの音声識別情報を記憶したデータベース（発話者リスト）を参照して発話者を特定する。ユーザー端末２ｂの会話状態判定部２１２は、ユーザー端末２ｂのマイク２４が取得した音声の発話者としてユーザーＡを特定した場合に、前記マイク音声にユーザーＡの発話音声が含まれると判定する。この場合、会話状態判定部２１２は、ユーザーＡ及びユーザーＢの状態が前記直接会話状態であると判定する。

【0068】

同様に、ユーザー端末２ａの会話状態判定部２１２は、ユーザー端末２ａのマイク２４が取得したマイク音声に基づいて発話者を特定する。ユーザー端末２ａの会話状態判定部２１２は、ユーザー端末２ａのマイク２４が取得した音声の発話者としてユーザーＢを特定した場合に、前記マイク音声にユーザーＢの発話音声が含まれると判定する。この場合、会話状態判定部２１２は、ユーザーＡ及びユーザーＢの状態が前記直接会話状態であると判定する。

【0069】

また、本発明の他の実施形態として、制御部２１は、第１ユーザーの位置情報と第２ユーザーの位置情報とを取得する位置取得部２１４（図２参照）を備えてもよい。この場合、会話状態判定部２１２は、前記第１ユーザーの位置と前記第２ユーザーの位置とが所定の位置関係にある場合に、前記第１ユーザー及び前記第２ユーザーの状態が前記直接会話状態であると判定する。

【0070】

例えば、会話状態判定部２１２は、前記第１ユーザーの位置と前記第２ユーザーの位置との離間距離が所定距離以下である場合に、前記第１ユーザー及び前記第２ユーザーの状態が前記直接会話状態であると判定する。また、会話状態判定部２１２は、前記第１ユーザーの位置と前記第２ユーザーの位置とが同一の部屋（会議室）にある場合に、前記第１ユーザー及び前記第２ユーザーの状態が前記直接会話状態であると判定する。

【0071】

上述の実施形態では、会議システム１００が本発明の会議システムに相当するが、本発明の会議システムは、これに限定されない。例えば、本発明の会議システムは、ユーザー端末２単体で構成されてもよいし、会議サーバー１単体で構成されてもよいし、ユーザー端末２及び会議サーバー１により構成されてもよい。例えば、会議サーバー１が、ユーザー端末２の音声取得部２１１、会話状態判定部２１２、出力制御部２１３、位置取得部２１４の各機能を備えてもよい。

【0072】

また、マイク２４、スピーカー２５、及び通信部２６を含むユーザー端末２と、会議サーバー１と、ネットワークＮ１とは、本発明の通話システムの一例である。すなわち、本発明の通話システムは、通信機能を利用して音声データを送受信することにより会話を実現するための複数の構成要素を備えている。

【0073】

なお、本発明の会議システムは、各請求項に記載された発明の範囲において、以上に示された各実施形態を自由に組み合わせること、或いは各実施形態を適宜、変形又は一部を省略することによって構成されることも可能である。

【符号の説明】

【0074】

１ ：会議サーバー
２ ：ユーザー端末
２１ ：制御部
２２ ：記憶部
２３ ：操作表示部
２４ ：マイク
２５ ：スピーカー
２６ ：通信部
１００ ：会議システム
２１１ ：音声取得部
２１２ ：会話状態判定部
２１３ ：出力制御部
２１４ ：位置取得部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】