特許 7529267 コミュニケーションシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-29

(45)【発行日】2024-08-06

(54)【発明の名称】コミュニケーションシステム

(51)【国際特許分類】

   H04M 3/56 20060101AFI20240730BHJP

   H04M 1/72 20210101ALI20240730BHJP

【ＦＩ】

H04M3/56 Z

H04M1/72

【請求項の数】 11

(21)【出願番号】P 2021000968

(22)【出願日】2021-01-06

(65)【公開番号】P2022106164

(43)【公開日】2022-07-19

【審査請求日】2024-01-09

【早期審査対象出願】

(73)【特許権者】

【識別番号】524009026

【氏名又は名称】ボイット株式会社

(74)【代理人】

【識別番号】100087398

【弁理士】

【氏名又は名称】水野 勝文

(74)【代理人】

【識別番号】100128783

【弁理士】

【氏名又は名称】井出 真

(74)【代理人】

【識別番号】100128473

【弁理士】

【氏名又は名称】須澤 洋

(72)【発明者】

【氏名】掛村 篤

【審査官】山岸 登

(56)【参考文献】

【文献】特開２００６－０３３４３０（ＪＰ，Ａ）

【文献】特開２００５－１８４８５２（ＪＰ，Ａ）

【文献】特開２００６－３２４８３２（ＪＰ，Ａ）

【文献】特開２００８－２２７５９２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｍ１／００

１／２４－３／００

３／１６－３／２０

３／３８－３／５８

７／００－７／１６

１１／００－１１／１０

９９／００

(57)【特許請求の範囲】

【請求項1】

コミュニケーショングループ内の複数の各ユーザがそれぞれ携帯する移動通信端末と、移動通信端末から受信した発話音声データをコミュニケーショングループ内の各移動通信端末に同報配信するコミュニケーションサーバと、を有するコミュニケーションシステムであって、
前記移動通信端末は、
前記コミュニケーションサーバから送信される発話音声データの受信チャネルを確立してグループ通話通信モードを実行するとともに、前記グループ通話通信モード中に発話ボタンが押されたとき、確立中の受信チャネルとは別に前記コミュニケーションサーバに発話音声データを送信するための送信チャネルを確立し、自分の発話音声データの送信とコミュニケーショングループ内の発話音声データの受信とを双方向で同時に行う通信部と、
コミュニケーショングループ内の全二重通信による同時接続上限数と、同時接続中のユーザ及び同時接続ユーザ数を含む全二重通話ログと、を記憶する記憶部と、
前記全二重通話ログと前記同時接続上限数とに基づいて、前記送信チャネルの確立を許容しない制限全二重通信制御を行う制限全二重通信制御部と、
を有することを特徴とするコミュニケーションシステム。

【請求項2】

前記制限全二重通信制御部は、
前記コミュニケーションサーバから受信するコミュニケーショングループ内の発話音声データに基づいて前記全二重通話ログを更新し、
前記発話ボタンが押されたときに、前記全二重通話ログに含まれる同時接続中のユーザに存在しない自身を新たに加算した後の同時接続ユーザ数が前記同時接続上限数を超過するか否かを判別し、前記同時接続上限数を超過すると判別された場合、前記発話ボタンの押下に伴う前記送信チャネルの確立処理を行わないように制御することを特徴とする請求項１に記載のコミュニケーションシステム。

【請求項3】

前記制限全二重通信制御部は、
前記コミュニケーションサーバから発話音声データを受信したとき、受信した発話音声データが前記全二重通話ログに含まれる同時接続中のユーザか否かを判別する第１判定処理と、前記第１判定処理において前記全二重通話ログに存在しない新たなユーザと判別された場合に、前記新たなユーザを加算した後の同時接続ユーザ数が前記同時接続上限数を超過するか否かを判別する第２判定処理と、を行い、
前記第２判定処理において前記同時接続上限数を超過していないと判別された場合、前記新たなユーザを加えて前記全二重通話ログを更新するとともに、前記新たなユーザが自身であれば、受信した発話音声データを破棄して再生を許容しないように制御し、
前記同時接続上限数を超過していると判別された場合、受信した前記発話音声データを破棄して再生を許容しないように制御することを特徴とする請求項２に記載のコミュニケーションシステム。

【請求項4】

前記制限全二重通信制御部は、
前記送信チャネルを通じて自ら発した発話音声データを、前記コミュニケーションサーバから受信したとき、前記全二重通話ログに含まれる同時接続中のユーザに存在しない自身を新たに加算した後の同時接続ユーザ数が前記同時接続上限数を超過するか否かを判別し、前記同時接続上限数を超過すると判別された場合、前記発話ボタンの押下に伴って確立されていた前記送信チャネルを遮断することを特徴とする請求項１に記載のコミュニケーションシステム。

【請求項5】

前記制限全二重通信制御部は、
前記コミュニケーションサーバから受信した自分が発した発話音声データ及び他のユーザの発話音声データに基づいて前記全二重通話ログを更新し、
前記コミュニケーションサーバから発話音声データを受信したとき、受信した発話音声データが前記全二重通話ログに含まれる同時接続中のユーザか否かを判別する第１判定処理と、前記第１判定処理において前記全二重通話ログに存在しない新たなユーザと判別された場合に、前記新たなユーザを加算した後の同時接続ユーザ数が前記同時接続上限数を超過するか否かを判別する第２判定処理と、を行い、
前記第２判定処理において前記同時接続上限数を超過していないと判別された場合、前記新たなユーザを加えて前記全二重通話ログを更新するとともに、前記新たなユーザが自身であれば、受信した発話音声データを破棄して再生を許容しないように制御しつつ、前記発話ボタンが押されたことに伴って確立されていた前記送信チャネルをそのまま維持し、前記新たなユーザが自身以外のユーザであれば、受信した前記発話音声データの再生を許容し、
前記同時接続上限数を超過していると判別された場合、受信した前記発話音声データを破棄して再生を許容しないように制御するとともに、前記新たなユーザが自身であれば、前記発話ボタンが押されたことに伴って確立されていた前記送信チャネルを遮断する、
ことを特徴とする請求項４に記載のコミュニケーションシステム。

【請求項6】

前記制限全二重通信制御部は、前記送信チャネルの確立を許容しない場合、同時通話に参加できない旨のメッセージを出力することを特徴とする請求項１から５のいずれか１つに記載のコミュニケーションシステム。

【請求項7】

前記制限全二重通信制御部は、発話終了ボタンが押されたとき、前記送信チャネルを通じて終了フラグを前記コミュニケーションサーバに送信するとともに、前記送信チャネルを遮断し、
前記制限全二重通信制御部は、前記コミュニケーションサーバから前記終了フラグを受信したとき、受信した前記終了フラグのユーザを前記全二重通話ログから削除して前記同時接続ユーザ数をデクリメントすることを特徴とする請求項１から６のいずれか１つに記載のコミュニケーションシステム。

【請求項8】

前記制限全二重通信制御部は、前記発話終了ボタンが押されたとき、前記終了フラグを含む音声データを生成し、接続中の前記送信チャネルに乗せて終了フラグ付き音声データを前記コミュニケーションサーバに送信し、
前記コミュニケーションサーバは、受信した前記終了フラグ付き音声データを、コミュニケーショングループ内の前記各移動通信端末に同報配信する、
ことを特徴とする請求項７に記載のコミュニケーションシステム。

【請求項9】

前記コミュニケーションサーバは、
前記移動通信端末から受信した発話音声データをコミュニケーショングループ内の前記移動通信端末それぞれに同報配信する第１処理と、受信した発話音声データを音声認識処理して得られる発話音声認識結果を、コミュニケーション履歴として時系列に蓄積するとともに、前記各移動通信端末において前記コミュニケーション履歴が同期して表示されるようにテキスト配信制御を行う第２処理と、を行うコミュニケーション制御部を有し、
前記コミュニケーション制御部は、
同時接続中の各ユーザから受信する連続した音声データにおいて、一のユーザの隣り合う発話の間隔が所定時間以上離間している場合、隣り合う発話の各発話音声認識結果が分離した状態で前記移動通信端末に表示されるように制御し、隣り合う発話の間隔が所定時間未満であれば、隣り合う発話の各発話音声認識結果を分離せずに表示されるように制御し、
複数のユーザの発話が混在する区間において、前記コミュニケーションサーバが受信した各ユーザの発話開始時刻順に、ユーザ別の発話音声認識結果が吹き出し表示されるように制御することを特徴とする請求項１から８のいずれか１つに記載のコミュニケーションシステム。

【請求項10】

コミュニケーショングループ内の複数の各ユーザがそれぞれ携帯する移動通信端末を通じた発話音声が、コミュニケーションサーバを介してコミュニケーショングループ内の各移動通信端末に同報配信されるコミュニケーションシステムにおける前記移動通信端末によって実行されるプログラムであって、
前記コミュニケーションサーバから送信される発話音声データの受信チャネルを確立してグループ通話通信モードを実行するとともに、前記グループ通話通信モード中に発話ボタンが押されたとき、確立中の受信チャネルとは別に前記コミュニケーションサーバに発話音声データを送信するための送信チャネルを確立し、自分の発話音声データの送信とコミュニケーショングループ内の発話音声データの受信とを双方向で同時に行う第１機能と、
コミュニケーショングループ内の全二重通信による同時接続上限数と、同時接続中のユーザ及び同時接続ユーザ数を含む全二重通話ログと、を記憶する第２機能と、
前記全二重通話ログと前記同時接続上限数とに基づいて、前記送信チャネルの確立を許容しない制限全二重通信制御を行う第３機能と、
を実現させるためのプログラム。

【請求項11】

コミュニケーショングループ内の複数の各ユーザがそれぞれ携帯する移動通信端末を通じた発話音声が、コミュニケーションサーバを介してコミュニケーショングループ内の各移動通信端末に同報配信されるコミュニケーションシステムで利用される前記移動通信端末であって、
前記コミュニケーションサーバから送信される発話音声データの受信チャネルを確立してグループ通話通信モードを実行するとともに、前記グループ通話通信モード中に発話ボタンが押されたとき、確立中の受信チャネルとは別に前記コミュニケーションサーバに発話音声データを送信するための送信チャネルを確立し、自分の発話音声データの送信とコミュニケーショングループ内の発話音声データの受信とを双方向で同時に行う通信部と、
コミュニケーショングループ内の全二重通信による同時接続上限数と、同時接続中のユーザ及び同時接続ユーザ数を含む全二重通話ログと、を記憶する記憶部と、
前記全二重通話ログと前記同時接続上限数とに基づいて、前記送信チャネルの確立を許容しない制限全二重通信制御を行う制限全二重通信制御部と、
を有することを特徴とする移動通信端末。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、複数ユーザによるグループ通話の全二重通信技術に関する。

【背景技術】

【0002】

音声コミュニケーションの一例として、トランシーバ(transceiver)がある。トランシーバは、無線電波の送信機能と受信機能を兼ね備えた無線機であり、１人のユーザが複数人のユーザと通話（一方向又は双方向の情報伝達）を行うことができる。トランシーバの活用例は、工事現場やイベント会場、ホテルや旅館などの施設等で目にすることができる。また、タクシー無線もトランシーバ活用の一例として挙げることができる。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第４７８０３９７号

【発明の概要】

【発明が解決しようとする課題】

【0004】

ネットワーク回線負荷及び処理負荷を低減させ、グループ通話の全二重通信（full-duplex transmission）を円滑に行うことができるコミュニケーションシステムを提供することを目的とする。

【課題を解決するための手段】

【0005】

実施形態のコミュニケーションシステムは、コミュニケーショングループ内の複数の各ユーザがそれぞれ携帯する移動通信端末と、移動通信端末から受信した発話音声データをコミュニケーショングループ内の各移動通信端末に同報配信するコミュニケーションサーバと、を有する。前記移動通信端末は、前記コミュニケーションサーバから送信される発話音声データの受信チャネルを確立してグループ通話通信モードを実行するとともに、前記グループ通話通信モード中に発話ボタンが押されたとき、確立中の受信チャネルとは別に前記コミュニケーションサーバに発話音声データを送信するための送信チャネルを確立し、自分の発話音声データの送信とコミュニケーショングループ内の発話音声データの受信とを双方向で同時に行う通信部と、コミュニケーショングループ内の全二重通信による同時接続上限数と、同時接続中のユーザ及び同時接続ユーザ数を含む全二重通話ログと、を記憶する記憶部と、前記全二重通話ログと前記同時接続上限数とに基づいて、前記送信チャネルの確立を許容しない制限全二重通信制御を行う制限全二重通信制御部と、を有する。

【図面の簡単な説明】

【0006】

【図1】第１実施形態のコミュニケーションシステムのネットワーク構成図である。

【図2】第１実施形態のコミュニケーション管理装置、ユーザ端末の各構成ブロック図である。

【図3】第１実施形態の各種情報の一例を示す図である。

【図4】第１実施形態の制限全二重通信制御の説明図である。

【図5】第１実施形態のコミュニケーションシステムの制限全二重通信制御（Ａ）を含む処理フローを示す図である。

【図6】第１実施形態のコミュニケーションシステムの制限全二重通信制御（Ｂ）を含む処理フローを示す図である。

【図7】第１実施形態のコミュニケーションシステムの制限全二重通信制御（Ｃ）を含む処理フローを示す図である。

【図8】第２実施形態の制限全二重通信制御の説明図である。

【図9】第２実施形態のコミュニケーションシステムの制限全二重通信制御（Ａ）－１を含む処理フローを示す図である。

【図10】第２実施形態の制限全二重通信制御の全二重通話ログ更新と制限制御を説明するための図である。

【図11】第３実施形態のコミュニケーション管理装置、ユーザ端末の各構成ブロック図である。

【図12】第３実施形態のコミュニケーションシステムのコミュニケーション履歴を説明するための図である。

【図13】第３実施形態の全二重通信（全二重通話）における音声認識結果の一例である。

【図14】第３実施形態の全二重通信（全二重通話）における音声認識結果の一例である。

【図15】第３実施形態の音声認識結果に基づく表示処理を説明するための図である。

【図16】第３実施形態の複数ユーザの会話が重なり合う領域を含む音声認識結果に基づく表示処理を説明するための図である。

【発明を実施するための最良の形態】

【0007】

（第１実施形態）
図１から図７は、第１実施形態を説明するための図であり、図１は、コミュニケーションシステムのネットワーク構成図である。コミュニケーションシステムは、コミュニケーション管理装置（以下、管理装置と称する）１００を中心に、グループ通話通信モードを用いた情報伝達支援機能を提供する。

【0008】

管理装置１００は、複数の各ユーザがそれぞれ携帯するユーザ端末（移動通信端末）５００が無線通信で接続し、ユーザの発話音声をコミュニケーショングループ内の各ユーザ端末５００に同報配信する。一のユーザの発話音声が他の複数のユーザ端末５００に同報配信される範囲は、コミュニケーショングループとして設定され、対象ユーザのユーザ端末５００それぞれが登録される。

【0009】

ユーザ端末５００は、例えば、スマートフォンなどの多機能携帯電話機やＰＤＡ(Personal Digital Assistant)、タブレット型端末などの持ち運び可能な携帯端末（モバイル端末）である。ユーザ端末５００は、通信機能、演算機能及び入力機能を備え、ＩＰ（Internet protocol）網又は移動通信回線網（Mobile communication network）を通じて無線通信で管理装置１００と接続し、データ通信を行う。

【0010】

本実施形態のコミュニケーションシステムは、例えば、複数の各ユーザが対話を行い、認識共有や意思疎通のための情報伝達環境を提供する。また、ハンズフリーで対話を行うことができる情報伝達環境を提供することもでき、例えば、施設管理を行う複数の従業員等が連携して連絡を取り合うなどの、ユーザ間の様々な連絡系統における情報伝達を支援することができる。

【0011】

ここで、通話形態について説明する。複数のユーザが参加するグループ通話は、半二重（ｈａｌｆ ｄｕｐｌｅｘ）通信による通話（半二重通話）と、全二重（ＦＵＬＬ ＤＵＰＬＥＸ）通信による通話（全二重通話）とがある。半二重通信は、トランシーバ通信方式、全二重通信は、双方向通信とも称される。

【0012】

半二重通信は、データの送信と受信を同時に行えず、例えば、相手の発話を聞いている間は自分が発話できず、自分が発話している間は相手の発話を聞くことができない通信方式である。一般的にトランシーバのように自分の発話が終わるたびに、送信と受信の切り換えを行う必要があり、音声データの送信路と受信路とが、１つの通信路（１つの帯域）を共有して使用する。具体的な仕組みとしては、複数のユーザのうち、一のユーザが発話ボタンを押すと、他のユーザが発話できないようにロックを掛ける。これにより、発話の送信権を獲得したユーザの発話音声のみが他のユーザに送信される。

【0013】

全二重通信は、データの流れる経路が２つ用意され、方向の異なるデータが同時に流れることを許容する通信方式である。つまり、複数のユーザが互いに同時にしゃべったり、聞いたりすることが可能な通信方式であり、送信と受信の２つの通信路（２つの帯域）を使用し、自分が発話している間に相手の発話も聞くことができる。

【0014】

一方で、全二重通信は、帯域を多く使用するのでトラフィック量の増加によるネットワーク負荷の課題がある。また、参加ユーザ数が多くなればなるほど、発話音声の送信及び受信の処理負荷が大きくなり、サーバ負荷の課題もある。このような課題に対し、全二重通信での発話に参加できるユーザ数をサーバ側で制限する仕組みを導入する技術が提案されている。

【0015】

しかしながら、複数のユーザに向けた発話音声の配信を管理するサーバ側が、全二重通信に参加可能なユーザを制限すると、サーバ処理負荷が増大する。つまり、複数の各ユーザ端末に対し、発話の許可／不可を集中して制御しなければならない。

【0016】

さらに、サーバで発話の許可／不可を集中して制御すると、発話の遅延及びしゃべり出し冒頭箇所が欠落するなどの課題がある。

【0017】

つまり、サーバ側で制限に基づく発話の許可／不許可を制御すると、ユーザ（端末）は、発話音声をサーバに送信する前に、発話可能かどうかを当該サーバに問合せしなければならない。このため、発話したくてもサーバの許可が下りるまで発話ができない、もしくは、発話してもサーバに送信できない。このため、発話タイミングに遅延が発生し、円滑なグループ通話を提供することが難しい。

【0018】

また、発話ボタンを押した後、ユーザは、すぐにしゃべり始める傾向がある。つまり、発話ボタンを押しても、サーバ側に一度発話可能かを問い合わせて許可が下りるまでの間のタイムラグが生じ、このタイムラグ中に発話した内容は、許可された後に送信された発話音声データには含まれず、しゃべり出し冒頭の発話内容が欠損した音声データが、他のユーザに送信されることになる。

【0019】

そこで、本実施形態のコミュニケーションシステムは、コミュニケーショングループ内で全二重通信を行う人数に制限を設けつつ、制限に基づく全二重通信環境の制御をユーザ端末５００側で行う。これにより、ネットワーク回線負荷及び処理負荷を低減させ、全二重通信を含む円滑なグループ通話を実現することができる。

【0020】

図１に示すように、グループ通話通信モードは、管理装置１００が各ユーザ端末５００との間で、管理装置１００から送信する発話音声データに対する受信チャネルを確立する。これにより、１人のユーザの発話音声が、他の複数のユーザに届けられ、聞くことができる。

【0021】

グループ通話通信モード中に発話ボタンが押されたとき、確立中の受信チャネルとは別に管理装置１００に発話音声データを送信するための送信チャネルが、ユーザ端末５００との間で形成される。ユーザによる発話ボタンの押下により、ユーザ端末５００別に、自分の発話音声データの送信とコミュニケーショングループ内の発話音声データの受信とを双方向で同時に行う全二重通信環境が構築される。図１の例では、ユーザＡとユーザＢが発話ボタンを押し、これら二人のユーザの全二重通信環境が構築され、他のユーザは、全二重通信で会話する２人のユーザの発話を聞く（受信する）だけである。

【0022】

図２は、管理装置１００、ユーザ端末５００の各構成ブロック図である。管理装置１００は、制御装置１１０、記憶装置１２０及び通信装置１３０を含む。

【0023】

通信装置１３０は、複数の各ユーザ端末５００との間の通信接続管理及びデータ通信制御を行う。通信装置１３０は、グループ通話機能に対応して、一のユーザによる発話音声データを複数の各ユーザ端末５００に一斉に送る同報配信通信制御を行う。さらに、発話するユーザのユーザ端末５００との間で送信チャネルを確立し、ユーザ端末５００との受信チャネルを維持したまま、発話音声データを受け付ける環境を構築する。

【0024】

制御装置１１０は、ユーザ管理部１１１、コミュニケーション制御部１１２、グループ通話制御部１１２Ａを含んで構成されている。記憶装置１２０は、ユーザ情報１２１、グループ情報１２２、同時接続上限数１２３を含んで構成されている。

【0025】

ユーザ端末５００は、通信・通話部５１０、コミュニケーションＡｐｐ制御部５２０、制限全二重通信制御部５２１、マイク５３０、スピーカー５４０、タッチパネル等の表示入力部５５０、及び記憶部５６０を含んで構成されている。なお、スピーカー５４０は、実際には、イヤホンやヘッドホン（有線又はワイヤレス）などで構成される。

【0026】

図３は、各種情報の一例を示す図であり、ユーザ情報１２１は、本コミュニケーションシステムを利用するユーザ登録情報である。ユーザ管理部１１１は、所定の管理画面を通じて、ユーザＩＤ、ユーザ名、属性、グループを設定することができるように制御する。また、ユーザ管理部１１１は、各ユーザ端末５００における本コミュニケーションシステムへのログイン履歴と、ログインしたユーザＩＤとそのユーザ端末５００の識別情報（ユーザ端末５００固有のＭＡＣアドレスや固体識別情報など）との対応リストと、を管理する。

【0027】

グループ情報１２２は、コミュニケーショングループに区画するグループ識別情報である。コミュニケーショングループＩＤ別に伝達情報の送受信及び同報配信を制御し、異なるコミュニケーショングループ間で情報が混在しないように制御される。ユーザ情報１２１において、グループ情報１２２に登録されたコミュニケーショングループを、各ユーザに紐付けることができる。本実施形態のユーザ管理部１１１は、複数の各ユーザの登録制御を行い、グループ通話を行うコミュニケーショングループを設定する機能を提供する。

【0028】

なお、グループ分けについては、本実施形態のコミュニケーションシステムを導入する場所や目的に応じて任意に設定することができる。例えば、施設等に応じて施設を複数の部門に分割して管理することもできる。例えば、宿泊施設を一例に説明すると、ベルパーソン（荷物運び）、コンシェルジュ、ハウスキーピング（清掃）をそれぞれ異なるグループに設定し、客室管理をそれぞれのグループ毎に細分化したコミュニケーション環境を構築することもできる。他の観点として、役割的にコミュニケーションが不要なケースも考えられる。例えば、料理の配膳係と、ベルパーソン（荷物運び）は、直接コミュニケーションをとる必要がないのでグループを分けることができる。また、地理的にコミュニケーションが不要なケースも考えられ、例えば、Ａ支店、Ｂ支店などが地理的に離れており、かつ頻繁にコミュニケーションをする必要がない場合などは、グループを分けることができる。

【0029】

同時接続上限数１２３は、制限全二重通信制御の設定情報であり、全二重通話に参加できる人数を規定している。この同時接続上限数１２３は、例えば、コミュニケーショングループ内の管理者がユーザ端末５００を操作して、管理者権限でログインし、コミュニケーション制御部１１２が提供する所定の設定画面から入力・設定することができる。また、本システムの運営管理者が、管理装置１００に対して所定の管理画面から入力・設定することができる。

【0030】

管理装置１００のコミュニケーション制御部１１２は、グループ通話制御部１１２Ａを含む。グループ通話制御部１１２Ａは、第１制御部として機能する。第１制御部は、グループ通話通信モードに参加するコミュニティグループ内の各ユーザ端末５００との間で第１チャネルを確立し、発話音声データの送信路（ユーザ端末５００からの観点では、受信チャネル）を形成する。また、ユーザ端末５００側の発話アクション（発話ボタンの押下）に伴う発話音声データの受信チャネルを確立し、受信路（ユーザ端末５００からの観点では、送信チャネル）を形成する。

【0031】

そして、グループ通話制御部１１２Ａは、一のユーザ端末５００から受信した発話音声データを他の複数のユーザ端末５００それぞれに同報配信制御を行う。このとき、グループ通話制御部１１２Ａは、発話したユーザ端末５００にも自身の発話音声データを送信することができる。この場合、発話したユーザのユーザ端末５００では、自身の発話音声データであるか否かを判別し、自身の発話音声データである場合は、音声再生を行わずに破棄し、自分以外の発話音声データである場合に音声再生を行うように構成することができる。

【0032】

ユーザ端末５００から受け付ける発話音声データは、ユーザを識別するための情報、例えば、ユーザ端末５００の識別情報又はユーザＩＤなどを含むように構成することができる。グループ通話制御部１１２Ａは、受け付けた発話音声データをコミュニケーショングループ内の各ユーザ端末５００に送信する際に、ユーザ識別情報を含む発話音声データを同報配信するように制御することができる。

【0033】

本実施形態の管理装置１００は、ユーザ端末５００から受け付けた発話音声データをコミュニケーショングループ内の各ユーザ端末５００に一律に同報配信するだけであり、配信先のユーザを選定したり、ユーザ別に発話音声データを受け付けたりするなどの制御は行わず、シンプルな制御体制を構築することができる。このため、本実施形態のグループ通話制御部１１２Ａは、上述したように、発話者の発話音声データが、本人のユーザ端末５００にも送信されるように構成され、ユーザ端末５００側で、音声再生可否の制御を行う。

【0034】

図４は、本実施形態の制限全二重通信制御の説明図である。図４に示すように、まず同時接続上限数が設定され、コミュニケーショングループ内の各ユーザ端末５００には、同時接続上限数が登録されている。

【0035】

ユーザ端末５００のコミュニケーションＡｐｐ制御部５２０は、管理装置１００から送信される発話音声データの受信チャネルを管理装置１００との間で確立してグループ通話通信モードを実行するとともに、グループ通話通信モード中に発話ボタンが押されたとき、確立中の受信チャネルとは別に管理装置１００に発話音声データを送信するための送信チャネルを当該ユーザ端末５００から確立し、自分の発話音声データの送信とコミュニケーショングループ内の発話音声データの受信とを双方向で同時に行うように制御する。

【0036】

つまり、図４の例では、ユーザＡ～Ｅの各ユーザ端末５００は、グループ通話通信モードを実行すると、管理装置１００との間で発話音声データを受信するための受信チャネルをそれぞれ確立する。そして、ユーザＡが発話ボタンを押して発話すると、ユーザＡのユーザ端末５００は、管理装置１００との間で、確立済みの受信チャネルとは別に、発話音声データ送信用の送信チャネルを確立し、発話音声データを管理装置１００に送信する。ユーザＡの発話音声データは、管理装置１００から各ユーザＢ～Ｅにそれぞれに配信される。各ユーザ端末５００では、発話音声データにユーザ識別情報が含まれているので、発話音声データの受信をトリガーに、制限全二重通信に参加している発話ユーザをカウントする。同時接続上限数と比較して、同時接続上限数未満であれば、自分も発話することができ、自分の発話が同時接続上限数を超える参加人数となる場合、発話が制限される。

【0037】

図４の例では、ユーザＡ、ユーザＢ及びユーザＣがそれぞれ発話ボタンを押して発話している状態を示している。このとき、同時接続上限数が３に設定されているため、例えば、ユーザＤが発話ボタンを押して発話しようとすると、ユーザＤのユーザ端末５００は、同時接続上限数の制限により、ユーザＤの発話を規制する。つまり、すでにユーザＡ、ユーザＢ及びユーザＣの各発話音声データを受信しているので、発話ユーザのカウント数は「３」となっており、ユーザＤが全二重通信に参加すると、同時接続上限数「３」を超えてしまうからである。ユーザＤのユーザ端末５００は、発話ボタンが押されても、管理装置１００との間で送信チャネルを確立しないように制御し、所定のメッセージを音声出力することができる。例えば、「３人が発話中です。誰かの発話が終わるまで、お待ちください」といった音声メッセージを出力することができる。

【0038】

ユーザ端末５００の制限全二重通信制御部５２１は、コミュニケーショングループ内の全二重通信による同時接続上限数と、同時接続中のユーザ及び同時接続ユーザ数を含む全二重通話ログと、を記憶部５６０に記憶し、管理装置１００から受信する発話音声データに基づいて全二重通話ログを更新し、全二重通話ログと同時接続上限数とに基づいて、送信チャネルの確立を許容しない又は許容する制限全二重通信制御を行う。

【0039】

図５は、本コミュニケーションシステムの処理フロー（制限全二重通信制御処理（Ａ）を含む）を示す図である。管理装置１００は、コミュニケーショングループ別に、同時接続上限数の設定（入力）を受け付け（Ｓ１０１）、記憶装置１２０に記憶する。

【0040】

各ユーザは、ユーザ端末５００において、コミュニケーションＡｐｐ制御部５２０を起動し、コミュニケーションＡｐｐ制御部５２０が管理装置１００との接続処理を行う。そして、所定のログイン画面から自分のユーザＩＤ及びパスワードを入力して管理装置１００にログインする（Ｓ５０１ａ，Ｓ５０１ｂ，Ｓ５０１ｃ）。ログイン認証処理は、ユーザ管理部１１１によって遂行される（Ｓ１０２）。なお、初回ログイン後は、ユーザＩＤ及びパスワードの入力操作を省略して、コミュニケーションＡｐｐ制御部５２０が起動に伴い、初回ログイン時に入力されたユーザＩＤ及びパスワードを用いて自動的にログイン処理を行うことができる。

【0041】

管理装置１００は、ログイン認証処理に伴い、各ユーザが属するコミュニケーショングループを判別し（Ｓ１０２）、コミュニケーショングループ別に設定されている同時接続上限数を取得する（Ｓ１０３）。

【0042】

管理装置１００は、複数の各ユーザ端末５００に対し、取得した同時接続上限数を送信すると共に、自動的にグループ通話通信モードでの通信チャネル確立処理を行い、管理装置１００を中心としたグループ通話チャネルを開通させる（Ｓ１０４）。

【0043】

ログイン後の各ユーザ端末５００は、受信した同時接続上限数を記憶部５６０に記憶すると共に、グループ通話通信モードを開始し、管理装置１００との間で発話音声データの受信チャネルを確立する（Ｓ５０２ａ，Ｓ５０２ｂ，Ｓ５０２ｃ）。以後、任意のタイミングで又は所定の時間間隔で、管理装置１００との間で情報取得処理を行う。

【0044】

ユーザＡは、発話する際、不図示の発話ボタンを押す。発話ボタンは、グループ通話モードを実行している所定の画面に設けられたボタンである。

【0045】

ユーザ端末５００の制限全二重通信制御部５２１は、発話ボタンが押下されると、ステップＳ５０３ａの制限全二重通信制御処理（Ａ）を行う。発話ボタンが押下されると（Ｓ５００１）、自身が既に全二重通話に参加しているユーザか否かを判別する（Ｓ５００２）。全二重通話ログには、発話ユーザとその人数が記録されているので、全二重通話ログを参照して判別することができる。制限全二重通信制御部５２１は、自身が全二重通話ログに記録されていない新たな参加ユーザであると判別された場合、自身が全二重通話に参加して発話すると、自分の発話が同時接続上限数を超えるか否かを判別する。言い換えれば、全二重通話ログの同時接続ユーザ数を「１」インクリメントしたとき、同時接続ユーザ数が同時接続上限数以下となるか否かを判別する（Ｓ５００３）。

【0046】

全二重通話ログの同時接続ユーザ数を「１」インクリメントしても、同時接続ユーザ数が同時接続上限数以下となると判別された場合（Ｓ５００３のＹＥＳ）、制限全二重通信制御部５２１は、発話ボタンの押下に伴う送信チャネルの確立処理を行う（Ｓ５００４）。そして、発話音声を集音し、発話音声データを管理装置１００に送信する（Ｓ５００５）。

【0047】

一方、全二重通話ログの同時接続ユーザ数を「１」インクリメントしたら、同時接続ユーザ数が同時接続上限数を超えてしまうと判別された場合（Ｓ５００３のＮＯ）、制限全二重通信制御部５２１は、予め設定された所定の音声メッセージ（エラーメッセージ）を出力し（Ｓ５００６）、発話ボタンの押下に伴う送信チャネルの確立処理を行わないように制御する（Ｓ５００７）。

【0048】

このように、図５の制限全二重通信制御処理（Ａ）では、発話ボタンが押されたときに、全二重通話ログに含まれる同時接続中のユーザに存在しない自身を新たに加算した後の同時接続ユーザ数が同時接続上限数を超過するか否かを判別し、同時接続上限数を超過すると判別された場合、発話ボタンの押下に伴う送信チャネルの確立処理を行わないように制御する。これにより、ユーザ端末５００側で、上限数以下での発話ユーザ数制限を行い、ネットワーク負荷及び管理装置１００側の処理負荷を低減させた全二重通話環境を実現することができる。ステップＳ５０３ｂ，ステップＳ５０３ｃについても同様である。

【0049】

図６は、本コミュニケーションシステムの制限全二重通信制御処理（Ｂ）を含む処理フローを示す図である。ステップＳ５０４ａの制限全二重通信制御処理（Ｂ）は、管理装置１００から発話音声データを受信した際の制御である。ステップＳ５０４ｂ，Ｓ５０４ｃも同様である。

【0050】

図６に示すように、各ユーザ端末５００は、管理装置１００から発話音声データを受信する。このとき、ユーザ識別情報（発話者）も含まれる。制限全二重通信制御部５２１は、管理装置１００から発話音声データを受信したとき（Ｓ５０４１）、受信した発話音声データが全二重通話ログに含まれる同時接続中のユーザか否かを判別する第１判定処理を行う（Ｓ５０４２）。

【0051】

第１判定処理において受信した発話音声データのユーザが、全二重通話ログに存在するユーザであると判別された場合に（Ｓ５０４２のＹＥＳ）、ステップＳ５０４５に進む。つまり、同時接続ユーザとして既に参加し、その参加が維持されているユーザは、本人または他のユーザに関わらず、全二重通話ログによる制限判定を行わず、ステップＳ５０４５による再生可否の判定処理に進む。

【0052】

そして、第１判定処理において受信した発話音声データのユーザが、全二重通話ログに存在しない新たなユーザと判別された場合に（Ｓ５０４２のＮＯ）、新たなユーザを加算した（「１」インクリメント）後の同時接続ユーザ数が同時接続上限数を超過するか否かを判別する第２判定処理を行う（Ｓ５０４３）。

【0053】

第２判定処理において同時接続上限数を超過していない、言い換えれば、同時接続上限数以下と判別された場合（Ｓ５０４３のＹＥＳ）、新たなユーザを加えて全二重通話ログを更新する。同時接続ユーザリストに新たなユーザを加え、同時接続ユーザ数を「１」インクリメントするログ更新を行う（Ｓ５０４４）。次に、新たなユーザが自分自身であれば、受信した発話音声データを破棄して再生を許容しないように制御する（Ｓ５０４５）。つまり、自分自身の発話音声データか否かを判別し、自分自身の発話音声データであると判別された場合は（Ｓ５０４５のＹＥＳ）、受信した発話音声データを破棄して再生しない（Ｓ５０４７）。一方、自分自身以外の他のユーザの発話音声データであると判別された場合は（Ｓ５０４５のＮＯ）、受信した発話音声データを再生する（Ｓ５０４６）。

【0054】

ステップＳ５０４３（第２判定処理）において、同時接続上限数を超過していると判別された場合（Ｓ５０４３のＮＯ）、ステップＳ５０４７に進み、受信した発話音声データを破棄して再生を許容しないように制御する。

【0055】

図７は、本コミュニケーションシステムの制限全二重通信制御処理（Ｃ）を含む処理フローを示す図である。ステップＳ５０７ａの制限全二重通信制御処理（Ｃ）は、全二重通話による発話を終了する際の制御である。

【0056】

ユーザＡは、発話を終了する際、不図示の発話終了ボタンを押す（Ｓ５０５ａ）。発話終了ボタンは、グループ通話モードを実行している所定の画面に設けられたボタンである。

【0057】

制限全二重通信制御部５２１は、発話終了ボタンが押されたとき、送信チャネルを通じて終了フラグを管理装置１００に送信する（Ｓ５０６ａ）。このとき、制限全二重通信制御部５２１は、終了フラグを含む音声データを生成し、接続中の送信チャネルに乗せて終了フラグ付き音声データを管理装置１００に送信するように構成することができる。終了フラグ送信後、制限全二重通信制御部５２１は、送信チャネルを遮断する（Ｓ５０７ａ）。

【0058】

管理装置１００のグループ通話制御部１１２Ａは、終了フラグを受け付け、各ユーザ端末との間の通信チャネル（ユーザ端末５００側の受信チャネル）を通じて終了フラグを送信する（Ｓ１０６）。このとき、発話音声データの配信同様に、受信した終了フラグ付き音声データを、コミュニケーショングループ内の各ユーザ端末５００に同報配信することができる。

【0059】

制限全二重通信制御部５２１は、管理装置１００から終了フラグを受信したとき（Ｓ５０８１）、受信した終了フラグのユーザが全二重通話ログに存在することを確認する（Ｓ５０８２）。全二重通話ログに存在していると確認ができた後、制限全二重通信制御部５２１は、全二重通話ログから該当のユーザを削除して同時接続ユーザ数を「１」デクリメントする（Ｓ５０８３）。

【0060】

（第２実施形態）
図８から図１０は、第２実施形態を説明するための図であり、図８は、本実施形態の制限全二重通信制御の説明図であり、上記第１実施形態に対して、送信チャネルの確立及び遮断の制御が異なる。

【0061】

図８に示すように、本実施形態においても上記第１実施形態同様、発話者の発話音声データが、本人のユーザ端末５００にも一斉に配信される。そして、本実施形態では、ユーザＤが発話ボタンを押下したとき、制限制御を行わずに送信チャネルを確立して発話音声データを管理装置１００に送信するが、その後管理装置１００から受信する発話音声データを用いて、同時接続上限数に基づいて全二重通話に参加できるか否かを判定し、参加できないと判定された場合に、一旦確立していた送信チャネルを遮断して閉じるように制御する。

【0062】

図９は、本実施形態のコミュニケーションシステムの制限全二重通信制御（Ａ）－１を含む処理フローを示す図である。なお、以下の説明では、同じ機能等については上記第１実施形態と同符号を付してその説明を省略し、相違点を中心に説明する。

【0063】

ステップＳ５０６１ａの制限全二重通信制御（Ａ）－１は、送信チャネルを通じて自ら発した発話音声データを受信したとき、全二重通話ログに含まれる同時接続中のユーザに存在しない自身を新たに加算した後の同時接続ユーザ数が同時接続上限数を超過するか否かを判別し、同時接続上限数を超過すると判別された場合、発話ボタンの押下に伴って確立されていた送信チャネルを遮断するように制御する。

【0064】

図９に示すように、ログイン後の各ユーザ端末５００は、受信した同時接続上限数を記憶部５６０に記憶すると共に、グループ通話通信モードを開始し、管理装置１００との間で発話音声データの受信チャネルを確立する（Ｓ５０２ａ，Ｓ５０２ｂ，Ｓ５０２ｃ）。

【0065】

ユーザＡは、発話する際、不図示の発話ボタンを押す。ユーザ端末５００の制限全二重通信制御部５２１は、発話ボタンが押下されると（Ｓ５０３１ａ）、同時接続上限数と全二重通話ログとに基づく制限処理をここでは行わずに、発話ボタンの押下をトリガーに、一旦送信チャネルの確立処理を行う（Ｓ５０４１ａ）。そして、発話音声を集音し、発話音声データを管理装置１００に送信する（Ｓ５０５１ａ）。

【0066】

管理装置１００は、受け付けた発話音声データを、発話者本人を含むコミュニケーショングループ内の全てのユーザに、同報配信する（Ｓ１０５）。なお、発話音声データは、ユーザ識別情報を含む。

【0067】

ユーザ端末５００は、管理装置１００から発話音声データを受信する（Ｓ５６０１）。制限全二重通信制御部５２１は、受信した自分が発した発話音声データ及び他のユーザの発話音声データに基づいて全二重通話ログを更新する。

【0068】

制限全二重通信制御部５２１は、発話音声データを受信すると、受信した発話音声データが全二重通話ログに含まれる同時接続中のユーザか否かを判別する第１判定処理を行う（Ｓ５６０２）。第１判定処理において、受信した発話音声データのユーザが、全二重通話ログに存在するユーザであると判別された場合に（Ｓ５６０２ＹＥＳ）、ステップＳ５６０５に進む。同時接続ユーザとして既に参加し、その参加が維持されているユーザは、本人または他のユーザに関わらず、全二重通話ログによる制限判定を行わず、ステップＳ５６０５による再生可否の判定処理に進む。

【0069】

第１判定処理において全二重通話ログに存在しない新たなユーザと判別された場合（Ｓ５６０２のＮＯ）、新たなユーザを加算した後の同時接続ユーザ数が同時接続上限数を超過するか否か、つまり、新たなユーザを加算した後の同時接続ユーザ数が同時接続上限数以下であるか否かを判別する第２判定処理を行う（Ｓ５６０３）。

【0070】

第２判定処理において同時接続上限数を超過していないと判別された場合（Ｓ５６０３のＹＥＳ）、新たなユーザを加えて全二重通話ログを更新し（Ｓ５６０４）、新たなユーザが自身であれば（Ｓ５６０５のＹＥＳ）、受信した発話音声データを破棄して再生を許容しない（再生しない）ように制御する（Ｓ５６０７）。発話ボタンの押下に伴って確立されている送信チャネルは維持される（Ｓ５６０８）。新たなユーザが自分自身以外の他のユーザであれば（Ｓ５６０５のＮＯ）、受信した発話音声データの再生を許容するように制御する（Ｓ５６０６）。

【0071】

第２判定処理において同時接続上限数を超過していると判別された場合（Ｓ５６０３のＮＯ）、受信した発話音声データを破棄して再生を許容しないように制御するとともに、新たなユーザが自分自身であれば（Ｓ５６０９のＹＥＳ）、発話ボタンが押されたことに伴って一旦確立していた送信チャネルを遮断し（Ｓ５６１１）、送信チャネルの確立を許容しないように制御する。このとき、上記第１実施形態同様に、同時通話に参加できない旨のメッセージを音声出力するように構成することができる（Ｓ５６１０）。ステップＳ５６０９において、自分自身以外の他のユーザの発話音声データである場合は（Ｓ５６０９のＮＯ）、送信チャネルの遮断制御等に関係なく、受信した発話音声データを破棄して再生しないように制御する。

【0072】

図１０に示した制限全二重通信制御（Ａ）－１は、図５の制限全二重通信制御（Ａ）と図６の制限全二重通信制御（Ｂ）の双方の処理に相当するものである。また、図７の制限全二重通信制御（Ｃ）については、本実施形態においても同様に適用される。

【0073】

図１０は、本実施形態の制限全二重通信制御の全二重通話ログ更新と制限制御を説明するための図である。図１０の例において、ユーザ１が発話ボタンを押して発話すると、ユーザ１を含む全てのユーザに発話音声データが、管理装置１００から配信される。ユーザ１からユーザ７の各ユーザ端末５００は、制限全二重通信制御（Ａ）－１を経て、さらに自分自身の発話音声データであれば再生せず、自分以外の発話音声データであれば再生する。

【0074】

ユーザ１の発話音声データを受信すると、全二重通話ログの同時接続ユーザに「ユーザ１」が追加され、かつ同時接続ユーザ数が「１」に更新される。続いて、ユーザ３が発話ボタンを押下して発話すると、ユーザ３を含む全てのユーザに発話音声データが、管理装置１００から配信され、同様に、制限全二重通信制御（Ａ）－１を経て、ユーザ３の発話音声データの受信に伴い、全二重通話ログの同時接続ユーザに「ユーザ３」が追加されて、かつ同時接続ユーザ数が「２」に更新される。その後、ユーザ６も発話ボタンを押下した発話すると、ユーザ６を含む全てのユーザに発話音声データが、管理装置１００から配信され、制限全二重通信制御（Ａ）－１を経て、ユーザ６の発話音声データの受信に伴い、全二重通話ログの同時接続ユーザに「ユーザ６」が追加されて、かつ同時接続ユーザ数が「３」に更新される。

【0075】

同時接続上限数は「３」に設定されている場合、この時点でユーザ１，ユーザ３及びユーザ６が全二重通話に参加しており、上限に達している状態である。上限に達している状態でユーザ４が発話ボタンを押下して発話すると、ユーザ４のユーザ端末５００は、一旦送信チャネルを確立してユーザ４の発話音声データを管理装置１００に送信するが、管理装置１００から配信される発話音声データを受信すると、各ユーザ端末５００側での制限全二重通信制御（Ａ）－１により、ユーザ４の発話音声データの破棄及び再生ＮＧ制御が行われ、ユーザ４自身のユーザ端末５００は、管理装置１００に対する送信チャネルを閉じる。そして、全二重通話に参加できない旨のエラーメッセージを流す。

【0076】

一方、全二重通話に参加していたユーザ３が、発話終了ボタンを押下すると、制限全二重通信制御部５２１は、送信チャネルを通じて終了フラグ付き音声データを管理装置１００に送信する。フラグ送信後、制限全二重通信制御部５２１は、送信チャネルを遮断する。

【0077】

管理装置１００は、受け付けた終了フラグ付き音声データをコミュニケーショングループ内のユーザ３を含む全てのユーザ端末５００に同報配信する。各ユーザ端末５００は、受信した終了フラグのユーザを、全二重通話ログから削除して同時接続ユーザ数を「１」デクリメントする。図１０に示すように、ユーザ３の発話終了に伴い、全二重通話ログの同時接続ユーザが「ユーザ１，ユーザ６」となり、同時接続ユーザ数が「２」に更新されている。

【0078】

なお、本実施形態及び上記第１実施形態において、図７の発話終了ボタンの押下に伴って送信チャネルを遮断するタイミングは、終了フラグ付き音声データの送信とセットではなく、例えば、自分自身を含んで管理装置１００から終了フラグ付き音声データを受信したことをトリガーとして、確立していた送信チャネルの遮断処理を行うように構成してもよい。

【0079】

（第３実施形態）
図１１から図１６は、第３実施形態を説明するための図である。本実施形態は、上記第１実施形態及び第２実施形態のコミュニケーションシステムが、コミュニケーション履歴を蓄積し、各ユーザ端末５００においてコミュニケーション履歴を表示させる機能を備えた態様である。なお、以下の説明では、同じ機能等については上記第１，第２実施形態と同符号を付してその説明を省略し、相違点を中心に説明する。

【0080】

図１１は、本実施形態のコミュニケーションシステムの機能ブロックを示す図であり、音声認識部１１３、コミュニケーション履歴情報１２４、及び音声認識辞書１２５が追加されている。本実施形態では、管理装置１００が受け付けたユーザの発話音声を音声認識処理した音声認識結果（発話テキスト）を、コミュニケーション履歴として蓄積しつつ、コミュニケーショングループ内の各ユーザ端末５００に、コミュニケーション履歴を同期して表示させる機能を提供する。

【0081】

管理装置１００のグループ通話制御部１１２Ａは、上述したユーザによる発話音声データの同報配信制御に加え、その発話内容のテキスト情報（発話音声データを音声認識処理して得られたテキスト情報）を複数の各ユーザ端末５００に一斉に送る同報配信制御を行う。

【0082】

このため、グループ通話制御部１１２Ａは、第１制御部と第２制御部とを備え、第１制御部は、上述した、一のユーザ端末５００から受信した発話音声データをコミュニケーショングループ内の複数のユーザ端末５００それぞれに同報配信制御を行う。第２制御部は、受信した発話音声データを音声認識処理して得られる発話音声認識結果を、ユーザ同士のコミュニケーション履歴１２４として時系列に蓄積するとともに、発話したユーザのユーザ端末５００を含む全てのユーザ端末５００においてコミュニケーション履歴１２４が同期して表示されるようにテキスト配信制御を行う。

【0083】

つまり、ユーザ端末５００において再生される音声は、すべてテキスト化されてコミュニケーション履歴１２４に時系列に蓄積され、各ユーザ端末５００において同期して表示される。音声認識部１１３は、音声認識辞書１２５を用いて音声認識処理を行い、発話音声認識結果としてテキストデータを出力する。音声認識処理については公知の技術を適用することができる。

【0084】

コミュニケーション履歴情報１２４は、各ユーザの発話内容が時間情報と共に、テキストベースで時系列に蓄積されたログ情報である。なお、各テキストに対応する音声データは、音声ファイルとして所定の記憶領域に格納してもよく、この場合、コミュニケーション履歴１２４には、音声ファイルの格納場所も記録される。コミュニケーション履歴情報１２４は、コミュニケーショングループ別にそれぞれ生成され、蓄積される。

【0085】

図１２は、各ユーザ端末５００で表示されるコミュニケーション履歴１２４の一例を示す図である。ユーザ端末５００それぞれは、管理装置１００からリアルタイムに又は所定のタイミングでコミュニケーション履歴１２４を受信し、複数のユーザ間で表示同期が取られる。各ユーザは、時系列に過去のコミュニケーションログを参照することができる。

【0086】

図１２の例のように、各ユーザ端末５００は、自分の発話内容及び自分以外の他のユーザの発話内容が表示欄Ｄに時系列に表示され、管理装置１００に蓄積されるコミュニケーション履歴１２４がログ情報として共有される。なお、表示欄Ｄにおいて、ユーザ自身の発話音声に対応するテキストには、マイクマークＨを表示し、発話者以外の他のユーザに対しては、マイクマークＨの代わりに、表示欄ＤにおいてスピーカーマークＭを表示したりすることができる。

【0087】

このような音声認識技術を用いたテキスト化及び表示技術は、複数のユーザで全二重通話による双方向対話している場合、各ユーザの発話音声が完了するのを待って、音声認識処理を行い、テキスト化することが考えられる。しかしながら、対話中の「発話のキャッチボール」を識別せずに、各ユーザの発話開始から終了までの音声データそれぞれを、単に音声認識してしまうと、図１３の例のように、複数ユーザ間の「発話のキャッチボール」を理解することができない状態となる。

【0088】

対話中の発話のキャッチボールを考慮したコミュニケーション履歴の表示を行うためには、図１４の例のように、音声認識処理又は音声認識結果を、双方向の発話の時系列情報に基づいて細分化する必要がある。特に、対話が長ければ長いほど、図１３の例のように対話を理解することが難しい音声認識結果となってしまうため、全二重通話では、特に、双方向の発話の時系列性を考慮した、言い換えれば、複数ユーザ間の発話のキャッチボールを考慮した音声認識処理及びテキスト表示を行う必要がある。

【0089】

そこで、本実施形態のコミュニケーション制御部１１２は、全二重通話で同時接続中の各ユーザから受信する連続した音声データにおいて、一のユーザの隣り合う発話の間隔が所定時間以上離間している場合、隣り合う発話の各発話音声認識結果が分離した状態でユーザ端末５００に表示されるように制御し、隣り合う発話の間隔が所定時間未満であれば、隣り合う発話の各発話音声認識結果を分離せずに表示されるように制御する。

【0090】

そして、複数のユーザの発話音声が混在する区間において、受信した各ユーザの発話開始時刻順に、ユーザ別の発話音声認識結果が吹き出し表示されるように制御する。

【0091】

このように構成することで、図１４の例のように、複数ユーザによる全二重通話のコミュニケーション履歴が理解しやすい形で、各ユーザ端末に提供することができる。

【0092】

図１５は、本実施形態の音声認識結果に基づく表示処理を説明するための図である。説明の便宜上、発話開始から発話終了までの区間を、１マス１秒で表し、マス内の英字は、発話音声に対応する音声認識結果を示している。図１６も同様である。

【0093】

図１５において、発話開始時刻から発話音声が記録され、時間を空けてまた発話音声が記憶される。これは、全二重通話における発話のキャッチボールであり、自分が発話し、それに対して相手の発話を聞き、聞いた相手の発話に対してさらに自分が発話する。図１５の例では、自分の発話が英字で表現され、相手の発話を聞いている状態を空欄で表現している。

【0094】

本実施形態では、発話開始から発話終了までの間に複数点在する発話の間隔に設定値を設ける。例えば、６秒を設定することができる。なお、設定値の秒数は任意である。そして、隣り合う発話の間隔が６秒以上離間している場合、隣り合う発話の各発話音声認識結果を分離し、６秒未満であれば、分離せずに一括する（隣り合う発話を一緒にする）。このような区画制御を行い、区画された領域で、発話音声認識結果が時系列に吹き出し表示されるように制御する。

【0095】

図１６は、複数ユーザの会話が重なり合う領域を含む音声認識結果に基づく表示処理を説明するための図である。

【0096】

図１６においても同様であり、各ユーザＡ，Ｂ，Ｃが、全二重通話で対話し、各ユーザ別に、発話開始から発話終了までに間隔を空けて複数点在する各発話を、設定値を用いて区画する。区画された各発話の開始時刻に基づいて、各ユーザＡ，Ｂ，Ｃの発話吹き出しを時系列に並べて表示するように制御する。

【0097】

以上、実施形態について説明したが、コミュニケーション管理装置１００及びユーザ端末５００の各機能は、プログラムによって実現可能であり、各機能を実現するために予め用意されたコンピュータプログラムが補助記憶装置に格納され、ＣＰＵ等の制御部が補助記憶装置に格納されたプログラムを主記憶装置に読み出し、主記憶装置に読み出された該プログラムを制御部が実行することで、各部の機能を動作させることができる。

【0098】

また、上記プログラムは、コンピュータ読取可能な記録媒体に記録された状態で、コンピュータに提供することも可能である。コンピュータ読取可能な記録媒体としては、ＣＤ－ＲＯＭ等の光ディスク、ＤＶＤ－ＲＯＭ等の相変化型光ディスク、ＭＯ（Magnet Optical）やＭＤ(Mini Disk)などの光磁気ディスク、フロッピー（登録商標）ディスクやリムーバブルハードディスクなどの磁気ディスク、コンパクトフラッシュ（登録商標）、スマートメディア、SDメモリカード、メモリスティック等のメモリカードが挙げられる。また、本発明の目的のために特別に設計されて構成された集積回路（ICチップ等）等のハードウェア装置も記録媒体として含まれる。

【0099】

なお、本発明の実施形態を説明したが、当該実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0100】

１００ コミュニケーション管理装置
１１０ 制御装置
１１１ ユーザ管理部
１１２ コミュニケーション制御部
１１２Ａ グループ通話制御部
１１３ 音声認識部
１２０ 記憶装置
１２１ ユーザ情報
１２２ グループ情報
１２３ 同時接続上限数
１２４ コミュニケーション履歴情報
１２５ 音声認識辞書
１３０ 通信装置
５００ ユーザ端末（移動通信端末）
５１０ 通信・通話部
５２０ コミュニケーションＡｐｐ制御部
５２１ 制限全二重通信制御部
５３０ マイク（集音部）
５４０ スピーカー（音声出力部）
５５０ 表示・入力部
５６０ 記憶部
Ｄ 表示欄

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】