特許 7536279 コミュニケーションシステム及び評価方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-09

(45)【発行日】2024-08-20

(54)【発明の名称】コミュニケーションシステム及び評価方法

(51)【国際特許分類】

   G06Q 10/0639 20230101AFI20240813BHJP

   G06Q 10/105 20230101ALI20240813BHJP

   G06F 40/279 20200101ALI20240813BHJP

   G10L 15/00 20130101ALI20240813BHJP

   H04M 3/56 20060101ALI20240813BHJP

【ＦＩ】

G06Q10/0639

G06Q10/105

G06F40/279

G10L15/00 200A

H04M3/56 Z

【請求項の数】 9

(21)【出願番号】P 2020126410

(22)【出願日】2020-07-27

(65)【公開番号】P2022023459

(43)【公開日】2022-02-08

【審査請求日】2023-07-06

(73)【特許権者】

【識別番号】524009026

【氏名又は名称】ボイット株式会社

(74)【代理人】

【識別番号】100087398

【弁理士】

【氏名又は名称】水野 勝文

(74)【代理人】

【識別番号】100128783

【弁理士】

【氏名又は名称】井出 真

(74)【代理人】

【識別番号】100128473

【弁理士】

【氏名又は名称】須澤 洋

(72)【発明者】

【氏名】掛村 篤

(72)【発明者】

【氏名】園尾 聡

(72)【発明者】

【氏名】降幡 建太郎

【審査官】渡邉 加寿磨

(56)【参考文献】

【文献】特開２０１９－０６１５９４（ＪＰ，Ａ）

【文献】特開２０１７－２０１４７９（ＪＰ，Ａ）

【文献】特開２００７－０９４８５０（ＪＰ，Ａ）

【文献】特開２０１９－１３３４５１（ＪＰ，Ａ）

【文献】特開２０１８－００４８１３（ＪＰ，Ａ）

【文献】特開２０１９－２１５８５１（ＪＰ，Ａ）

【文献】特開２０１７－１１７１６１（ＪＰ，Ａ）

【文献】国際公開第２０２０／１１６５３１（ＷＯ，Ａ１）

【文献】特開２０２０－０３５０３０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

Ｇ０６Ｆ ４０／２７９

Ｇ１０Ｌ １５／００

Ｈ０４Ｍ ３／５６

(57)【特許請求の範囲】

【請求項1】

複数の各ユーザがそれぞれ携帯する移動通信端末を通じて、ユーザの発話音声を他のユーザの移動通信端末に同報配信するコミュニケーションシステムであって、
移動通信端末から受信した発話音声データを他の複数の移動通信端末それぞれに同報配信する第１制御部と、受信した発話音声データを音声認識処理して得られる発話音声認識結果を、前記各移動通信端末において同期して表示されるようにテキスト配信制御を行う第２制御部と、を有するコミュニケーション制御部と、
発話音声認識結果を用いて、コミュニケーション評価を行う評価制御部と、を有し、
前記評価制御部は、
ユーザ間で交わされる対話が、ユーザ間の発話応答時間に関する指標、対話を構成する複数発話内の特定キーワードの有無の指標、連絡事項に対する確認応答の有無の指標、及びユーザの自発的アクションに基づく発話の有無の指標の少なくとも１つを含むグループ対話指標を充足する割合によって第１評価値を算出し、算出された前記第１評価値に基づくグループコミュニケーション評価情報を生成する第１評価部と、
前記ユーザ間で交わされる対話を構成する各発話が、連絡事項に対する相手ユーザの固有名詞の有無の指標、連絡事項の冗長化の有無の指標、及び発話内の指示代名詞の有無の指標の少なくとも１つを含む個人発話指標を充足する割合によって第２評価値を算出し、算出された前記第２評価値に基づく個人発話評価情報を生成する第２評価部と、
前記グループコミュニケーション評価情報及び前記個人発話評価情報を用いて、コミュニケーショングループ全体評価情報を生成する第３評価部と、
を有することを特徴とするコミュニケーションシステム。

【請求項2】

前記評価制御部は、複数の異なるコミュニケーショングループ別に、前記グループコミュニケーション評価情報及び前記個人発話評価情報を生成し、
前記第３評価部は、複数の異なるコミュニケーショングループの前記コミュニケーショングループ全体評価情報それぞれを、１つの評価フィールドにマッピングしたグループ比較評価情報を生成することを特徴とする請求項１に記載のコミュニケーションシステム。

【請求項3】

前記評価制御部は、１つのコミュニケーショングループにおける所定期間毎の前記グループコミュニケーション評価情報及び前記個人発話評価情報を生成し、
前記第３評価部は、各所定期間における前記コミュニケーショングループ全体評価情報それぞれを１つの評価フィールドにマッピングした期間比較評価情報を生成することを特徴とする請求項１に記載のコミュニケーションシステム。

【請求項4】

前記第３評価部は、縦軸及び横軸で表現され、それぞれの軸が前記グループコミュニケーション評価情報及び前記個人発話評価情報に対応付けられた評価フィールドを含む前記コミュニケーショングループ全体評価情報を生成することを特徴とする請求項１から３のいずれか１つに記載のコミュニケーションシステム。

【請求項5】

前記評価制御部は、
前記グループコミュニケーション評価情報を、所定の閾値と比較した比較結果、又はコミュニケーショングループ同士で比較した比較結果に基づく、コミュニケーショングループ別のグループ特性情報を生成する第１処理と、
前記個人発話評価情報を、所定の閾値と比較した比較結果、又はユーザ同士で比較した比較結果に基づく、ユーザ特性情報を生成する第２処理と、を行うことを特徴とする請求項１から４のいずれか１つに記載のコミュニケーションシステム。

【請求項6】

前記評価制御部は、前記グループコミュニケーション評価情報を生成するための複数の前記グループ対話指標に対する第１重み値を設定する第１重み値設定部と、前記個人発話評価情報を生成するための複数の前記個人発話指標に対する第２重み値を設定する第２重み値設定部と、を備え、
前記第１重み値及び前記第２重み値の設定情報を、コミュニケーショングループ別に保持しており、
前記第１評価部は、前記第１重み値を適用した前記グループコミュニケーション評価情報を生成し、
前記第２評価部は、前記第２重み値を適用した前記個人発話評価情報を生成することを特徴とする請求項１から５のいずれか１つに記載のコミュニケーションシステム。

【請求項7】

前記コミュニケーション制御部は、前記発話音声認識結果の前記テキスト配信制御において、前記発話音声認識結果の付加情報として、前記グループコミュニケーション評価情報に基づく評価コメント又は／及び前記個人発話評価情報に基づく評価コメントをテキスト配信することを特徴とする請求項１から６のいずれか１つに記載のコミュニケーションシステム。

【請求項8】

複数の各ユーザがそれぞれ携帯する移動通信端末を通じて、ユーザの発話音声を他のユーザの移動通信端末に同報配信するコミュニケーショングループのコミュニケーション評価方法であって、
移動通信端末から受信した発話音声データを他の複数の移動通信端末それぞれに同報配信するとともに、受信した発話音声データを音声認識処理して得られる発話音声認識結果を、前記各移動通信端末において同期して表示されるようにテキスト配信を行う第１ステップと、
前記第１ステップを通じて得られた発話音声認識結果を用いて、コミュニケーション評価を行う第２ステップと、を含み、
前記第２ステップは、
ユーザ間で交わされる対話が、ユーザ間の発話応答時間に関する指標、対話を構成する複数発話内の特定キーワードの有無の指標、連絡事項に対する確認応答の有無の指標、及びユーザの自発的アクションに基づく発話の有無の指標の少なくとも１つを含むグループ対話指標を充足する割合によって第１評価値を算出し、算出された前記第１評価値に基づくグループコミュニケーション評価情報を生成する第３ステップと、
前記ユーザ間で交わされる対話を構成する各発話が、連絡事項に対する相手ユーザの固有名詞の有無の指標、連絡事項の冗長化の有無の指標、及び発話内の指示代名詞の有無の指標の少なくとも１つを含む個人発話指標を充足する割合によって第２評価値を算出し、算出された前記第２評価値に基づく個人発話評価情報を生成する第４ステップと、
前記グループコミュニケーション評価情報及び前記個人発話評価情報を用いてコミュニケーショングループ全体評価情報を生成する第５ステップと、
を含むことを特徴とするコミュニケーション評価方法。

【請求項9】

複数の各ユーザがそれぞれ携帯する移動通信端末を通じて、ユーザの発話音声を他のユーザの移動通信端末に同報配信する管理装置によって実行されるプログラムであって、
移動通信端末から受信した発話音声データを他の複数の移動通信端末それぞれに同報配信する第１機能と、
受信した発話音声データを音声認識処理して得られる発話音声認識結果を、前記各移動通信端末において同期して表示されるようにテキスト配信制御を行う第２機能と、
発話音声認識結果を用いて、コミュニケーション評価を行う第３機能と、
を前記管理装置に実現させ、
前記第３機能は、
ユーザ間で交わされる対話が、ユーザ間の発話応答時間に関する指標、対話を構成する複数発話内の特定キーワードの有無の指標、連絡事項に対する確認応答の有無の指標、及びユーザの自発的アクションに基づく発話の有無の指標の少なくとも１つを含むグループ対話指標を充足する割合によって第１評価値を算出し、算出された前記第１評価値に基づくグループコミュニケーション評価情報を生成する機能と、
前記ユーザ間で交わされる対話を構成する各発話が、連絡事項に対する相手ユーザの固有名詞の有無の指標、連絡事項の冗長化の有無の指標、及び発話内の指示代名詞の有無の指標の少なくとも１つを含む個人発話指標を充足する割合によって第２評価値を算出し、算出された前記第２評価値に基づく個人発話評価情報を生成する機能と、
前記グループコミュニケーション評価情報及び前記個人発話評価情報を用いてコミュニケーショングループ全体評価情報を生成する機能と、
を備えることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、音声及びテキストを使用したコミュニケーション（認識共有、意思疎通など）支援技術に関し、特に、コミュニケーション評価技術に関する。

【背景技術】

【0002】

音声コミュニケーションの一例として、トランシーバ(transceiver)がある。トランシーバは、無線電波の送信機能と受信機能を兼ね備えた無線機であり、１人のユーザが複数人のユーザと通話（一方向又は双方向の情報伝達）を行うことができる。トランシーバの活用例は、工事現場やイベント会場、ホテルや旅館などの施設等で目にすることができる。また、タクシー無線もトランシーバ活用の一例として挙げることができる。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１４－８６９４２号公報

【文献】特開２０１８－７００５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

コミュニケーショングループ内のグループ発話全体の評価及びグループ発話内の個人（個別）発話の評価を行い、情報伝達の品質向上を支援することを目的とする。

【課題を解決するための手段】

【0005】

実施形態のコミュニケーションシステムは、複数の各ユーザがそれぞれ携帯する移動通信端末を通じて、ユーザの発話音声を他のユーザの移動通信端末に同報配信する。本コミュニケーションシステムは、移動通信端末から受信した発話音声データを他の複数の移動通信端末それぞれに同報配信する第１制御部と、受信した発話音声データを音声認識処理して得られる発話音声認識結果を、前記各移動通信端末において同期して表示されるようにテキスト配信制御を行う第２制御部と、を有するコミュニケーション制御部と、発話音声認識結果を用いて、コミュニケーション評価を行う評価制御部と、を有する。前記評価制御部は、ユーザ間で交わされる対話が、ユーザ間の発話応答時間に関する指標、対話を構成する複数発話内の特定キーワードの有無の指標、連絡事項に対する確認応答の有無の指標、及びユーザの自発的アクションに基づく発話の有無の指標の少なくとも１つを含むグループ対話指標を充足する割合によって第１評価値を算出し、算出された前記第１評価値に基づくグループコミュニケーション評価情報を生成する第１評価部と、前記ユーザ間で交わされる対話を構成する各発話が、連絡事項に対する相手ユーザの固有名詞の有無の指標、連絡事項の冗長化の有無の指標、及び発話内の指示代名詞の有無の指標の少なくとも１つを含む個人発話指標を充足する割合によって第２評価値を算出し、算出された前記第２評価値に基づく個人発話評価情報を生成する第２評価部と、前記グループコミュニケーション評価情報及び前記個人発話評価情報を用いてコミュニケーショングループ全体評価情報を生成する第３評価部と、を有する。

【図面の簡単な説明】

【0006】

【図1】第１実施形態のコミュニケーションシステムのネットワーク構成図である。

【図2】第１実施形態のコミュニケーション管理装置及びユーザ端末の各構成ブロック図である。

【図3】第１実施形態のユーザ情報及びグループ情報の一例を示す図である。

【図4】第１実施形態のユーザ端末に表示される画面例である。

【図5】第１実施形態のグループ発話のグループ対話評価と個人発話評価の抽出例を示す図である。

【図6】第１実施形態の各グループ対話指標の評価例を示す図である。

【図7】第１実施形態の各個人発話指標の評価例を示す図である。

【図8】第１実施形態の評価手法の説明図である。

【図9】第１実施形態の２軸評価フィールドにマッピングされたコミュニケーショングループ全体評価情報の一例である（コミュニケーショングループ間比較）。

【図10】第１実施形態の２軸評価フィールドにマッピングされたコミュニケーショングループ全体評価情報の一例である（同一グループでの月別比較）。

【図11】第１実施形態の各評価指標に対する重み値の設定例を示す図である。

【図12】第１実施形態のユーザ端末で同期されるコミュニケーションログに付加された評価情報の一例である。

【図13】第１実施形態のコミュニケーションシステムの処理フローを示す図である。

【図14】第１実施形態のコミュニケーションシステムの処理フローを示す図であり、同報配信時のリアルタイム評価と評価結果の配信処理を示す図である。

【発明を実施するための最良の形態】

【0007】

（第１実施形態）
図１から図１４は、第１実施形態に係るコミュニケーションシステムのネットワーク構成図、機能構成、処理フロー等を示す図である。コミュニケーションシステムは、コミュニケーション管理装置（以下、管理装置と称する）１００を中心に、音声及びテキストを用いた情報伝達支援機能を提供する。以下では、宿泊施設などの施設運営管理を一例に、コミュニケーションシステムを適用した態様について説明する。

【0008】

図１に示すように、管理装置１００は、複数の各ユーザがそれぞれ携帯する各ユーザ端末（移動通信端末）５００と無線通信で接続される。管理装置１００は、一のユーザ端末５００から受信した発話音声データを、他のユーザ端末５００に同報配信する。

【0009】

ユーザ端末５００は、例えば、スマートフォンなどの多機能携帯電話機やＰＤＡ(Personal Digital Assistant)、タブレット型端末などの持ち運び可能な携帯端末（モバイル端末）である。ユーザ端末５００は、通信機能、演算機能及び入力機能を備え、ＩＰ（Internet protocol）網又は移動通信回線網（Mobile communication network）を通じて無線通信で管理装置１００と接続し、データ通信を行う。

【0010】

一のユーザの発話音声が他の複数のユーザ端末５００に同報配信される範囲（又は後述するコミュニケーション履歴が同期して表示される範囲）は、コミュニケーショングループとして設定され、対象ユーザ（現場ユーザ）のユーザ端末５００それぞれが登録される。

【0011】

本実施形態のコミュニケーションシステムは、複数の各ユーザがハンズフリーで対話を行うことができることを前提とした、情報共有や意思疎通のための情報伝達を支援する。特に、本コミュニケーションシステムは、各ユーザが情報共有や意思疎通のために行った発話を、グループ対話指標及び個人発話指標の各指標に基づいて評価すると共に、これらの各評価結果を用いたコミュニケーショングループ全体の評価を行う。

【0012】

喋り方や問い掛け方、問い掛けに対する応答内容など、ユーザ個々人やその会話グループ全体のコミュニケーションによって、業務効率は変わってくる。例えば、指示が的確であれば、その指示に対応する対応者は、指示された業務を円滑に行うことができる。また、指示に対する応答内容が的確であれば、指示した側が相手ユーザに指示が伝わっていることを把握でき、業務を適切に進めることができる。

【0013】

一方で、指示に対する応答が遅く、反応が悪い場合、その指示が相手ユーザにきちんと伝わっていない可能性があり、再度指示を出したり、初めに指示を出した相手ユーザ以外のユーザに指示を出し直したりするなど、業務効率の低下を招くおそれがある。また、指示内容があいまいだったり、応答があいまいだったりすると、誤認識や誤伝達による作業ミスが発生する可能性もある。

【0014】

したがって、コミュニケーショングループ全体のコミュニケーションの良し悪しは、業務効率を評価する上で重要なファクターとなる。そこで、本実施形態では、コミュニケーショングループ内の発話ログを、グループ対話指標と個人発話指標の２つの指標で客観的に評価する。

【0015】

グループ対話指標に基づいて生成されるグループコミュニケーション評価情報は、円滑な会話が成立しやすい指標として、「対話」の良し悪しを評価する。個人発話指標に基づいて生成される個人発話評価情報は、円滑な情報伝達が成立しやすい指標として「発話」の良し悪しを評価する。

【0016】

本コミュニケーションシステムは、グループ対話指標に基づく評価及び個人発話指標に基づく評価をそれぞれ行い、これら２つの指標を軸とした評価フィールドでコミュニケーショングループの全体評価を行う。このように構成することで、コミュニケーショングループ全体の「対話」及び「発話」の相対関係で、業務効率を客観的に評価することができる。そして、フィードバックされるグループとしての評価とユーザ個人としての評価とにより、「対話」の観点からの具体的な良し悪しと、「発話」の観点からの具体的な良し悪しのそれぞれのアプローチで、各コミュニケーショングループそれぞれが目指す全体の業務効率の向上を促進させることができる。

【0017】

図２は、管理装置１００及びユーザ端末５００の各構成ブロック図である。

【0018】

管理装置１００は、制御装置１１０、記憶装置１２０及び通信装置１３０を含む。通信装置１３０は、複数の各ユーザ端末５００との間の通信接続管理及びデータ通信制御を行い、一のユーザによる発話音声データ及びその発話内容のテキスト情報（発話音声データを音声認識処理して得られたテキスト情報）を複数の各ユーザ端末５００に一斉に送る同報配信通信制御を行う。

【0019】

制御装置１１０は、ユーザ管理部１１１、コミュニケーション制御部１１２、音声認識部１１３、音声合成部１１４、及び評価制御部１１５を含んで構成されている。記憶装置１２０は、ユーザ情報１２１、グループ情報１２２、コミュニケーション履歴（コミュニケーションログ）情報１２３、音声認識辞書１２４、音声合成辞書１２５及びコミュニケーション評価情報１２６を含んで構成されている。

【0020】

音声合成部１１４及び音声合成辞書１２５は、ユーザ端末５００からテキスト入力された文字情報や、ユーザ端末５００以外の情報入力装置（例えば、管理者や運営者、監督者が操作するモバイル端末やデスクトップＰＣ）からテキスト入力された文字情報を受信し、音声データに変換する音声合成機能を提供する。しかしながら、本実施形態のコミュニケーションシステムの音声合成機能は、任意の機能である。つまり、本実施形態のコミュニケーションシステムは、当該音声合成機能を具備しない構成であってもよい。音声合成機能を備える場合、管理装置１００のコミュニケーション制御部１１２は、ユーザ端末５００から入力されたテキスト情報を受信し、音声合成部１１４が音声合成辞書１２５を用いて、受信したテキストの文字に対応する音声データを合成し、音声合成データを生成する。このとき、音声合成データを構成する音声データの素材は、任意である。そして、合成音声データ及び受信したテキスト情報を、他のユーザ端末５００に同報配信する。なお、上述の音声合成データによる連絡においてもコミュニケーション履歴として蓄積されるので、本評価機能の対象ログとして取り扱うことができる。

【0021】

ユーザ端末５００は、通信・通話部５１０、コミュニケーションＡｐｐ制御部５２０、マイク５３０、スピーカー５４０、タッチパネル等の表示入力部５５０、及び記憶部５６０を含んで構成されている。なお、スピーカー５４０は、実際には、イヤホンやヘッドホン（有線又はワイヤレス）などで構成される。また、バイブレーション装置５７０は、ユーザ端末５００の振動装置である。

【0022】

図３は、各種情報の一例を示す図であり、ユーザ情報１２１は、本コミュニケーションシステムを利用するユーザ登録情報である。ユーザ管理部１１１は、所定の管理画面を通じて、ユーザＩＤ、ユーザ名、属性、グループを設定することができるように制御する。また、ユーザ管理部１１１は、各ユーザ端末５００における本コミュニケーションシステムへのログイン履歴と、ログインしたユーザＩＤとそのユーザ端末５００の識別情報（ユーザ端末５００固有のＭＡＣアドレスや固体識別情報など）との対応リストと、を管理する。

【0023】

グループ情報１２２は、コミュニケーショングループを識別するグループ識別情報である。コミュニケーショングループＩＤ別に伝達情報の送受信及び同報配信を制御し、異なるコミュニケーショングループ間で情報が混在しないように制御される。ユーザ情報１２１において、グループ情報１２２に登録されたコミュニケーショングループを、各ユーザに紐付けることができる。

【0024】

本実施形態のユーザ管理部１１１は、複数の各ユーザの登録制御を行い、後述する第１制御（発話音声データの同報配信）及び第２制御（ユーザの発話音声認識結果のテキスト同報配信）の対象のコミュニケーショングループを設定する機能を提供する。

【0025】

なお、グループ分けについては、本実施形態のコミュニケーションシステムを導入する施設等に応じて施設を複数の部門に分割して管理することもできる。例えば、宿泊施設を一例に説明すると、ベルパーソン（荷物運び）、コンシェルジュ、ハウスキーピング（清掃）をそれぞれ異なるグループに設定し、客室管理をそれぞれのグループ毎に細分化したコミュニケーション環境を構築することもできる。他の観点として、役割的にコミュニケーションが不要なケースも考えられる。例えば、料理の配膳係と、ベルパーソン（荷物運び）は、直接コミュニケーションをとる必要がないのでグループを分けることができる。また、地理的にコミュニケーションが不要なケースも考えられ、例えば、Ａ支店、Ｂ支店などが地理的に離れており、かつ頻繁にコミュニケーションをする必要がない場合などは、グループを分けることができる。

【0026】

管理装置１００のコミュニケーション制御部１１２は、第１制御部と第２制御部の各制御部として機能する。第１制御部は、一のユーザ端末５００から受信した発話音声データを他の複数のユーザ端末５００それぞれに同報配信制御（グループ通話制御）を行う。第２制御部は、受信した発話音声データを音声認識処理して得られる発話音声認識結果を、ユーザ同士のコミュニケーション履歴１２３として時系列に蓄積するとともに、発話したユーザのユーザ端末５００を含む全てのユーザ端末５００においてコミュニケーション履歴１２３が同期して表示されるようにテキスト配信制御を行う。

【0027】

第１制御部としての機能は、発話音声データの同報配信である。発話音声データは、主に、ユーザが発声した音声データである。また、上述したように、音声合成機能を備える場合は、ユーザ端末５００から入力されたテキスト情報から人工的に生成された音声合成データも、第１制御部による同報配信の対象となる。

【0028】

第２制御部としての機能は、ユーザの発話音声認識結果のテキスト同報配信である。ユーザ端末５００において入力された音声及びユーザ端末５００において再生される音声は、すべてテキスト化されてコミュニケーション履歴１２３に時系列に蓄積され、各ユーザ端末５００において同期して表示されるように制御される。音声認識部１１３は、音声認識辞書１２４を用いて音声認識処理を行い、発話音声認識結果としてテキストデータを出力する。音声認識処理については公知の技術を適用することができる。

【0029】

コミュニケーション履歴情報１２３は、各ユーザの発話内容が時間情報と共に、テキストベースで時系列に蓄積されたログ情報である。各テキストに対応する音声データは、音声ファイルとして所定の記憶領域に格納しておくことができ、例えば、コミュニケーション履歴１２３には、音声ファイルの格納場所を記録する。コミュニケーション履歴情報１２３は、コミュニケーショングループ別にそれぞれ生成され、蓄積される。なお、音声品質評価結果は、コミュニケーション履歴情報１２３に含まれるように蓄積したり、対応する発話内容と紐付けて個別の記憶領域に蓄積したりしてもよい。

【0030】

図４は、各ユーザ端末５００で表示されるコミュニケーション履歴１２３の一例を示す図である。ユーザ端末５００それぞれは、管理装置１００からリアルタイムに又は所定のタイミングでコミュニケーション履歴１２３を受信し、複数のユーザ間で表示同期が取られる。各ユーザは、時系列に過去のコミュニケーションログを参照することができる。

【0031】

図４の例のように、各ユーザ端末５００は、自分の発話内容及び自分以外の他のユーザの発話内容が表示欄Ｄに時系列に表示され、管理装置１００に蓄積されるコミュニケーション履歴１２３がログ情報として共有される。なお、表示欄Ｄにおいて、ユーザ自身の発話音声に対応するテキストには、マイクマークＨを表示し、発話者以外の他のユーザに対しては、マイクマークＨの代わりに、表示欄ＤにおいてスピーカーマークＭを表示したりすることができる。

【0032】

ここで、本実施形態のコミュニケーション評価について詳細に説明する。評価制御部１１５は、発話音声認識結果を用いて、コミュニケーション評価を行い、第１評価部１１５Ａ、第２評価部１１５Ｂ、及び第３評価部１１５Ｃの各評価機能を備えている。

【0033】

第１評価部１１５Ａは、グループ対話指標（Group Dialogue Index）を用いて、ユーザ間で交わされる対話（Dialogue）を評価し、グループコミュニケーション評価情報を生成する。

【0034】

第２評価部１１５Ｂは、個人発話指標（Personal utterance Index）を用いて、ユーザ間で交わされる対話を構成する各発話（utterance）を評価し、個人発話評価情報を生成する。

【0035】

第３評価部１１５Ｃは、グループコミュニケーション評価情報及び個人発話評価情報を用いて、コミュニケーショングループ全体評価情報を生成する。コミュニケーショングループ全体評価情報は、後述するように、グループコミュニケーション評価情報及び個人発話評価情報が縦軸及び横軸それぞれに対応付けられた評価フィールドに、「対話」と「発話」の相対関係をプロットした評価情報である。

【0036】

図５は、グループ発話のグループ対話評価と個人発話評価の抽出例を示す図である。図５に示すように、グループ対話評価は、コミュニケーションログにおいて、連絡元と連絡先との間の対話を構成する２人以上の発話群を評価対象として抽出する。例えば、「〇〇をお願いします」、「了解しました」などの受け答え発話例を予め設定しておき、抽出する最初の発話文と最後の発話文を特定し、特定された発話群を抽出することができる。また、最初の発話文だけを特定し、最初から所定数分の発話群を抽出したり、逆に最後の発話文を特定して最後から所定数分前までの発話群を抽出したりすることができる。

【0037】

一方、個人発話評価は、グループ対話評価において抽出された発話群（対話）を構成する発話文それぞれを評価対象として抽出する。

【0038】

本実施形態のグループ対話指標は、応答時間、お礼有無、確認有無、ボトムアップ率の各指標を含む。応答時間は、ユーザ間の発話応答時間（秒）を評価する指標であり、連絡元ユーザの発話に対して連絡先ユーザが発話するまでの時間である。お礼有無は、対話を構成する複数発話内に特定キーワードが存在するか否かを評価する指標の一例であり、例えば、ありがとうございます、ご苦労さまでした、などの連絡先ユーザの対応結果に対して連絡元が感謝する用語（キーワード）の有無を評価する。

【0039】

確認有無は、連絡元ユーザからの連絡事項に対する連絡先ユーザの確認応答の有無を評価する。確認応答としては、連絡事項の復唱がある。ボトムアップ率とは、ユーザの自発的アクションを抽出したものである。例えば、連絡事項に対して対応する、言い換えれば、指示に基づく対応が受動的アクションであり、指示されなくても自発的に行った対応が自発的アクションである。ボトムアップ率を評価するための発話文は、例えば、作業完了の報告の発話文であり、「～しておきました。」、「～を先にやりました。」などを対象に発話文を抽出することができる。このとき、抽出した発話文から所定数分前までの発話文に、連絡元ユーザからの連絡事項や指示に相当する発話文が無いこと確認し、連絡元ユーザからの連絡事項や指示に基づく対応と区別するように抽出することができる。

【0040】

図６は、第１実施形態の各グループ対話指標の評価例を示す図である。図６の例は、複数の各コミュニケーショングループの月別評価をグラフ化したものである。また、評価値は、指標を充足する割合で示されており、０．０～１．０の範囲で表現されている。応答時間が３０秒未満であった割合、対応結果の発話文においてお礼に関するキーワードを含む割合、指示に対する応答発話文において確認（復唱）キーワードを含む割合、対応報告の報告発話に、自発的アクションに基づく発話が含まれている割合が、評価値として生成されている。

【0041】

個人発話指標は、固有名詞の有無、連絡事項の冗長化（指示会話長、フィラーの有無）、指示代名詞の有無の各指標を含む。固有名詞は、ユーザに氏又は名である。連絡事項の冗長化は、指示会話長とフィラー有無の各指標に分かれており、指示会話長は、一つの文章内に複数の連絡事項（指示文）が含まれていたり、１発話あたりの文字数が多かったりするか否かを評価する。フィラー有無は、「あのー」、「えっと」などのフィラー（filler）が含まれているかを評価する。指示代名詞は、事物、場所、方角などを指し示す言葉であり、「これ」、「そこ」、「あれ」、「あそこ」などのあいまい語が含まれているかを評価する。

【0042】

図７は、第１実施形態の各個人発話指標の評価例を示す図である。図７の例と同様に、複数の各コミュニケーショングループの月別評価をグラフ化したものである。また、評価値は、指標を充足する割合で示されており、０．０～１．０の範囲で表現されている。依頼先有無とは、連絡事項に連絡先ユーザの固有名詞が含まれている発話文の割合である。指示会話長とは、１発話あたりの文字数が所定数以下の発話文の割合又は／及び指示内容が所定数以下の発話文の割合である。フィラー有無は、１発話あたりのフィラーの含有数が所定数以下の発話文の割合である。指示代名詞は、指示等の連絡事項に指示代名詞が２つ以上含まれている発話文の割合が、評価値として生成されている。

【0043】

なお、指示代名詞の含有数などの、各指標における閾値等の設定値は、任意に設定可能であり、グループ対話指標についても同様である。また、一例として評価値を割合で算出した態様を示しているが、点数化による評価値算出を行うようにしてもよい。例えば、指標の条件を満足する場合には加点し、満足しない場合は減点したり、条件を満足する場合だけ加点したり、条件を満足しない場合だけ減点したりするように構成することも可能である。

【0044】

図８は、各指標を用いた評価手法の説明図である。図８において、左側が評価が高く算出され、右側が評価が低く算出される態様を示している。

【0045】

グループ対話指標の「応答時間」は、設定値として３０秒が設定されている。リーダーＡが指示した発話に対して、清掃員Ｂが応答した時間が６秒なので、左側の例示では評価が高く（良く）なる。一方、右側の例示では、応答までの時間が３３秒なので、評価が低く（悪く）なる。連絡に対する応答時間が短ければ、コミュニケーション効率が高く、業務効率の向上を図ることができる。

【0046】

グループ対話指標の「お礼有無」は、お礼に関する文章やキーワードが含まれているか否かを評価条件としている。左側の例示では、清掃員Ｂの応答（報告の発話）に対して、リーダーＡが「ありがとうございます」と発話しているので、評価が高くなる。右側の例示では、清掃員Ｂの応答に対してリーダーＡがお礼に関する文章やキーワードを発話していないので、評価が低くなる。ユーザのアクションに対するお礼を述べることで、感謝の意の気持ちが伝わり、ユーザの業務に対するモチベーションが向上する。

【0047】

グループ対話指標の「確認有無」は、リーダーＡの指示に対して清掃員Ｂが応答する発話内容に、リーダーＡの指示語（指示内容に関する文章やキーワード）が復唱されて含まれているかを評価する。左側の例示では、リーダーＡの「２０１の清掃をお願いします」という指示発話に対し、清掃信Ｂが「２０１ですね、了解です」と、「２０１」というリーダーの指示発話の一部を復唱している。このため、評価が高くなる。右側の例示では、「了解です」とだけ答えており、リーダーＡの指示語が含まれていないため、評価が低くなる。コミュニケーションは、情報伝達に対して双方で意思疎通が取れているかが重要である。このため、連絡元は、連絡先に対して連絡内容がきちんと伝わったかどうかを確認できると、再度同じ連絡を念のため行うなどといった手間を抑制することができる。また、連絡を受ける側としても、指示語を復唱することで、指示された内容の理解度を深めることができる。情報伝達に対して双方での意思疎通の確度を向上させることができる。

【0048】

グループ対話指標の「ボトムアップ率」は、ユーザの自発的アクションを評価するものである。左側の例示では、清掃員Ｂが自らアクションを起こした結果を報告（発話）しているので評価が高くなる。右側の例示では、リーダーＡの指示発話に対して清掃員Ｂが応答して受動的にアクションを起こしており、評価が低くなる。なお、本実施形態の「ボトムアップ率」は、上述のユーザの自発的アクション、すなわち、ユーザが自己判断で行った行動以外にも、ユーザからの自発的な提案や提言、率先した行動などの発話アクションを含むように構成することができる。例えば、「そろそろ混み合う時間なので、これから点検及び補充作業に向かいます。」、「手が空いたので清掃作業のヘルプに向かいます。よろしいでしょうか。」といった発話などがある。

【0049】

このようなボトムアップ率の評価は、業務効率の観点において重要なファクターであり、ユーザ自らが考えて行動することで業務効率は向上する。

【0050】

個人発話指標の「依頼先有無」は、連絡先を明示した発話を行っているかを評価する。左側の例示では、発話に依頼したい清掃員Ｂさんの名前があるので、評価が高くなる。右側の例示では、発話に依頼先の名前がないので、評価が低くなる。なお、依頼先を指名する場合と、依頼先を指名せずに、コミュニケーショングループ全体に連絡したい場合もある。しかしながら、複数のユーザそれぞれに同じ連絡が届くので、ユーザ間で誰が応答してアクションを起こすのかといった混乱を生じる恐れがある。このため、連絡先を明示した発話を行っているかを評価することで、業務効率を向上させることができる。

【0051】

個人発話指標の「指示会話長」とは、発話内容の冗長化を評価するものであり、左側の例示では、リーダーＡの発話（連絡）は、複数の指示を一文毎に端的に短く発話しており、１発話あたりの文字数が少なく、かつ１発話あたりの指示内容も少ないので評価が高くなる。右側の例示では、複数の指示を含む発話が長文化しており、一文が長い。このため、評価が低くなる。複数の指示を含む発話が長文化すると、各指示内容の区切りが付きにくく、情報伝達の確度が低下する。このため、連絡する側の連絡内容が端的でかつ短い方が、情報伝達の確度を向上させることができ、業務効率の向上を図ることができる。

【0052】

また、同様の観点において、「フィラー有無」とは、「あのー」、「えっと」などのフィラー（filler）が含まれているかについても冗長化の評価対象として含めたものである。図８の例に示すように、左側の例示では、リーダーＡの発話（連絡）は、フィラーが含まれておらず、指示内容がフィラーに邪魔されずに伝わり易いので評価が高くなる。右側の例示では、フィラーが含まれており、フィラーが入ることで、指示内容の情報伝達が邪魔され、伝わりにくいので、評価が低くなる。このように、フィラーが無い又は少ない方が、情報伝達の確度を向上させることができ、業務効率の向上を図ることができる。

【0053】

個人発話指標の「指示代名詞」は、「これ」、「そこ」、「あれ」、「あそこ」などのあいまい語が含まれているかを評価する。左側の例示では、依頼したいユーザの氏名、場所（２Ｆのエレベータホール）、目的（花柄の花瓶、倉庫に持っていく）が明示されており、評価が高くなる。右側の例示では、場所及び目的が、指示代名詞となっているため、評価が低くなる。指示代名詞による連絡は、コミュニケーションの習熟度などに応じて増えたりすることもあるが、誰が、どこで、何をするのかが明示されていなければ、情報伝達の確度は低下する。したがって、指示代名詞が少なく、指示連絡の相手及び相手に依頼する作業内容の場所、目的を明示的に発話することで、業務効率が向上する。

【0054】

図９は、２軸評価フィールドにマッピングされたコミュニケーショングループ全体評価情報の一例であり、図９の例は、コミュニケーショングループ間比較評価の一例である。

【0055】

本実施形態では、グループ対話指標の評価結果（グループコミュニケーション評価情報）と、個人発話指標の評価結果（個人発話評価情報）とを用いて、コミュニケーショングループ全体評価情報を生成する。

【0056】

本コミュニケーションシステムでは、グループ対話指標の評価結果や個人発話指標の評価結果をそれぞれ個別に提供可能であるが、グループ対話指標の評価結果だけでは、グループ内のユーザ個々人の評価を行うことができず、逆に個人発話指標の評価結果だけでは、グループ全体の実体を把握することができない。そこで、本実施形態では、縦軸及び横軸で表現された評価フィールドを生成し、グループコミュニケーション評価情報及び個人発話評価情報を、これらの２軸に対応付ける。そして、評価フィールドに、グループ対話指標の評価結果と個人発話指標の評価結果をパラメータとしてマッピングすることで、コミュニケーショングループ全体評価情報を生成する。なお、円の大きさは、発話量（評価対象の発話文の数）を表し、発話量が多いほど、円の大きさが大きくなるように図示している。

【0057】

図９は、複数の異なるコミュニケーショングループのコミュニケーショングループ全体評価情報それぞれを、１つの評価フィールドにマッピングしたグループ比較評価情報の生成例である。評価制御部１１５は、複数の異なるコミュニケーショングループ別に、グループ対話指標の評価結果及び個人発話評価情報を生成し、各コミュニケーショングループを、評価フィールド上にマッピングする。このとき、個人発話評価情報は、複数のユーザ別個人発話評価情報の平均値や中央値などを用いることができる。図７に示した個人発話評価情報も同様である。

【0058】

図９のコミュニケーショングループ全体評価を紐解くと、総合的にＢ支店が一番良いコミュニケーション状況であり、Ａ支店のグループ対話評価は、「Very good」の領域であるが、個人発話評価が「Good」の領域なので、コミュニケーショングループ全体評価として、個人発話評価を上げる（改善）する必要がある。一方、Ｃ支店は、個人発話評価が「Good」だが、グループ対話評価が「Passed」なので、グループ対話指標に留意してコミュニケーションを図るべき、という評価結果を読み取ることができる。

【0059】

なお、図９の例では、「Passed」、「Good」、「Very good」、「Excellent」の順で4つの領域に区画している。これらの順で評価が高い領域となるとともに、Ａ支店のように、グループ対話評価が「Very good」に属していても、個人発話評価が「Good」なので、コミュニケーショングループ全体評価は、「Good」になる。なお、これらの領域区画は、任意に設定可能である。

【0060】

図１０は、２軸評価フィールドにマッピングされたコミュニケーショングループ全体評価情報の一例であり、図１０の例は、同一グループの評価を月別で比較したものである。評価制御部１１５は、１つのコミュニケーショングループにおける所定期間毎のグループコミュニケーション評価情報及び個人発話評価情報を生成することができ、各所定期間におけるコミュニケーショングループ全体評価情報をマッピングする。図１０の期間比較評価情報では、５月から６月で個人発話評価の向上が見られ、６月から７月で個人発話評価は微増だが、グループ対話評価が向上し、改善した傾向が把握できる。なお、図１０においても、円の大きさは、発話量（評価対象の発話文の数）を表している。

【0061】

図１１は、本実施形態の各評価指標に対する重み値の設定例を示す図である。複数の各コミュニケーショングループを評価する場合、全てのグループに対して同じ評価基準であってもよいが、コミュニケーションは、属するユーザ個人の習熟度やグループ内のコミュニケーション慣れや独自のコミュニケーション術といった要素も含まれる。このため、各グループで重視する評価指標が相違することを評価に含める手法として、複数の各指標に対する重み値（係数）を設定する。このように構成することで、各グループの特殊性に合わせて、グループ対話の良し悪し、個人発話の良し悪しをどこに置くかを設定することができ、例えば、業務内容や従事するユーザの属性の違い（年齢層、習熟度、性別、国籍）などを反映したグループ対話指標評価及び個人発話指標評価を行い、コミュニケーショングループ全体評価を行うことができる。

【0062】

図１１の例において、点線が重み値のデフォルト値であり、実線が設定値である。例えば、グループ対話指標の応答時間、お礼有無、確認有無は、デフォルト値よりも高く設定され、グループ対話評価にこれらの指標がより色濃く反映されるように設定されている。一方、ボトムアップ率は、デフォルト値よりも低く設定されており、グループ対話評価にボトムアップ率の指標があまり反映されないように設定している。個人発話指標に対する重み値についても同様であり、依頼先有無、指示会話長、フィラー有無、指示代名詞の各指標の重み値が、デフォルト値よりも高く設定され、個人発話評価に色濃く反映されるように設定している。

【0063】

このように評価制御部１１５は、グループコミュニケーション評価情報を生成するための複数のグループ対話指標に対する重み値（第１重み値）を設定する第１重み値設定機能、及び個人発話評価情報を生成するための複数の個人発話指標に対する重み値（第２重み値）を設定する第２重み値設定機能と、を備えることができる。

【0064】

そして、記憶装置１２０は、各重み値の設定情報を、コミュニケーショングループ別に保持し、第１評価部１１５Ａは、重み値を適用したグループコミュニケーション評価情報を生成し、第２評価部１１５Ｂは、重み値を適用した個人発話評価情報を生成することができる。例えば、図６及び図７に示した各指標の評価値に、設定された重み値（係数）を適用し、重み値適用後の評価値を各指標の評価情報として用い、かつコミュニケーショングループ全体評価とすることができる。

【0065】

図１２は、ユーザ端末５００で表示同期されるコミュニケーションログに、評価情報を付加して提供した一例を示す図である。本実施形態では、コミュニケーション履歴がテキスト配信されて、リアルタイムに各ユーザ端末５００で表示されるので、グループ対話評価情報及び個人発話評価情報をユーザにフィードバックすることができる。

【0066】

図１２の例は、各ユーザの発話テキストに対する付加情報として、評価情報に基づく評価コメントがフィードバックされた態様を示す図である。例えば、各指標の評価情報に対する評価コメントを予め用意して保持しておき、評価制御部１１５は、各指標の評価情報が評価基準を満たす場合に、該当する評価コメントを抽出・生成してユーザ端末５００に提供することができる。左側の例示は、応答時間が３０秒以内なので、清掃員Ｂの発話テキスト（音声認識結果）に、「Good Response!」という評価コメントがフィードバック配信されている。右側の例示は、リーダーＡが依頼先として清掃員Ｂの名前を含む発話を行ったので、リーダーＡの発話テキスト（音声認識結果）に、「Good Instruction!」という評価コメントがフィードバック配信されている。

【0067】

なお、本実施形態の音声認識結果のテキスト配信のタイミングと、各指標の評価結果に基づく評価コメントのテキスト配信のタイミングは、任意に設定することができる。例えば、音声認識結果のテキスト配信（第２制御部による処理）の際に、評価コメントを一緒に配信したり、音声認識結果のテキスト配信後の異なるタイミングで評価コメントを配信したり、業務中又は業務終了後に、ユーザ端末５００からの評価コメント表示要求に基づいて、任意のタイミングで評価コメントを受け取れるようにしたりすることができる。

【0068】

このように本実施形態のコミュニケーションシステムは、グループ対話指標、個人発話指標に基づく各評価情報を生成し、これらを評価結果としてコミュニケーショングループ別に提供するが、上述のユーザのフィードバック処理の観点において、ウィークポイント（Weak Point）をフィードバックするように構成することもできる。

【0069】

具体的には、図１２の評価コメントが、ウェークポイントを指摘するコメントとなる。評価制御部１１５は、図６のグループ対話指標に基づく評価情報（グループコミュニケーション評価情報）において、所定の閾値と比較した比較結果、又は異なるコミュニケーショングループ同士で比較した比較結果を用いて、コミュニケーショングループ別のグループ特性情報を生成することができる（第１処理）。例えば、比較結果が、閾値を下回れば、「全体的に応答するまでの時間が長い傾向にあるので、グループ全体でクイックレスポンスを心がける取り組みをしましょう。」といったウィークポイント又はウィークポイントを含む評価コメントを、グループ特性情報として生成し、提供することができる。

【0070】

同様に、評価制御部１１５は、図７の個人発話指標に基づく評価情報（個人発話評価情報）を、所定の閾値と比較した比較結果、又はユーザ同士で比較した比較結果を用いて、各ユーザのユーザ特性情報を生成するができる（第２処理）。例えば、比較結果が、閾値を下回れば、「あたなは、発話に指示代名詞が多い傾向があります。相手ユーザ、場所、目的を明示する発話を心がけましょう。」といったウィークポイント又はウィークポイントを含む評価コメントを、ユーザ特性情報として生成し、提供することができる。

【0071】

尚、評価結果として、所定の閾値と比較した結果、閾値を上回る結果の場合は、例えば「全体的に応答するまでの時間が早く、良いコミュニケーションが図れている傾向にあります。このままスピーディな応答を心がけていきましょう。」といったストロングポイント（strong point）を含む評価コメントをグループ特性情報として生成して、提供することもできる。

【0072】

図１３は、本コミュニケーションシステムの処理フローを示す図である。

【0073】

各ユーザは、ユーザ端末５００において、コミュニケーションＡｐｐ制御部５２０を起動し、コミュニケーションＡｐｐ制御部５２０が管理装置１００との接続処理を行う。そして、所定のログイン画面から自分のユーザＩＤ及びパスワードを入力して管理装置１００にログインする。ログイン認証処理は、ユーザ管理部１１１によって遂行される。なお、初回ログイン後は、ユーザＩＤ及びパスワードの入力操作を省略して、コミュニケーションＡｐｐ制御部５２０が起動に伴い、初回ログイン時に入力されたユーザＩＤ及びパスワードを用いて自動的にログイン処理を行うことができる。

【0074】

ログイン後、管理装置１００は、複数の各ユーザ端末５００に対し、自動的にグループ通話モードでの通信チャネル確立処理を行い、管理装置１００を中心としたグループ通話チャネルを開通させる。

【0075】

ログイン後の各ユーザ端末５００は、任意のタイミングで又は所定の時間間隔で、管理装置１００との間で情報取得処理を行う。

【0076】

ユーザＡが発話すると、コミュニケーションＡｐｐ制御部５２０は、発話音声を集音し、発話音声データを管理装置１００に送信する（Ｓ５０１ａ）。管理装置１００の音声認識部１１３は、受信した発話音声データを音声認識処理し（Ｓ１０１）、発話内容の音声認識結果を出力する。コミュニケーション制御部１１２は、音声認識結果をコミュニケーション履歴１２３に記憶し、発話音声データを記憶装置１２０に記憶する（Ｓ１０２）。

【0077】

コミュニケーション制御部１１２は、発話したユーザＡ以外の他のユーザ端末５００それぞれにユーザＡの発話音声データを同報送信する。また、コミュニケーション履歴１２３に記憶したユーザＡの発話内容（テキスト）を、表示同期のために、ユーザＡ自身を含むコミュニケーショングループ内の各ユーザ端末５００に送信する（Ｓ１０３）。

【0078】

ユーザＡ以外の各ユーザ端末５００のコミュニケーションＡｐｐ制御部５２０は、受信した発話音声データの自動再生処理を行い、発話音声出力を行いつつ（Ｓ５０２ｂ，Ｓ５０２ｃ）、ユーザＡを含む全てのユーザ端末５００は、音声出力された発話音声に対応するテキスト形式の発話内容を表示欄Ｄに表示させる（Ｓ５０２ａ、Ｓ５０３ｂ、Ｓ５０３ｃ）。

【0079】

管理装置１００は、コミュニケーション評価処理を行う（Ｓ１０４）。評価処理のタイミングは、上述の通り、任意である。評価制御部１１５は、コミュニケーション履歴情報１２３を参照し、日別、月別などの所定期間内の発話群を、コミュニケーショングループ別に抽出する。そして、抽出した発話群を対象に、グループ対話指標に基づくグループコミュニケーション評価情報を生成する（Ｓ１０５）。また、同じ発話群を対象に、個人発話指標に基づく個人発話評価情報を、発話毎に生成する（Ｓ１０６）。さらに、生成されたグループコミュニケーション評価情報及び個人発話評価情報を用いて、図９又は／及び図１０に例示したコミュニケーショングループ全体評価情報を生成する（Ｓ１０７）。

【0080】

なお、上述の重み値を適用する場合は、ステップＳ１０５及びＳ１０６の各処理において行われる。また、図１２の例の評価コメントやウィークポイントの評価コメントは、ステップＳ１０５、Ｓ１０６の各段階で行ったり、ステップＳ１０７の処理後に実行したりするように構成することができる。

【0081】

ユーザは、ユーザ端末５００において評価情報要求操作を行い（Ｓ５０３ａ）、管理装置１００は、グループ通話における発話音声及び音声認識結果の配信処理とは別の処理で（音声認識結果のテキスト配信には乗せずに）、評価情報を提供する処理を行う（Ｓ１０８）。

【0082】

図１４は、本コミュニケーションシステムの処理フローを示す図であり、同報配信時のリアルタイム評価と評価結果の配信処理を示す図である。

【0083】

図１４の例では、発話音声データの受信に伴って行われる発話音声データの同報配信及び音声認識結果のテキスト配信の各処理とセットにしてコミュニケーション評価処理を行い、音声認識結果に評価コメントを加えたテキスト配信を行う。

【0084】

つまり、図１４に示すように、ユーザＡが発話すると、発話音声データが管理装置１００に送信され（Ｓ５０３ａ）、管理装置１００が受信した発話音声データを音声認識処理する（Ｓ１０１）。コミュニケーション制御部１１２は、音声認識結果をコミュニケーション履歴１２３に記憶し、発話音声データを記憶装置１２０に記憶する（Ｓ１０２）。

【0085】

さらに、評価制御部１１５は、受信した発話音声データの音声認識結果を対象にコミュニケーション評価処理を行い（Ｓ１０４）、グループ対話指標に基づくグループコミュニケーション評価情報の生成（Ｓ１０５）、及び個人発話指標に基づく個人発話評価情報の生成処理を行う（Ｓ１０６）。そして、生成された評価情報に基づく評価コメントを生成する（Ｓ１０７１）。

【0086】

ステップＳ１０３１は、発話音声データの同報配信及び音声認識結果のテキスト配信を行う処理であり、上述のように、音声認識結果に、ステップＳ１０７１で生成されたリアルタイム評価コメントを付加して、テキスト配信を行う。このとき、評価コメントの配信に対して、例えば、発話したユーザ端末５００のバイブレーション装置５７０と連動した通知処理を行うように構成することもできる。

【0087】

図１４の例では、音声認識結果及び評価コメントのテキスト配信において、バイブレーション制御値を発話したユーザ端末５００に送信する（Ｓ１０３１）。ユーザ端末５００のバイブレーション装置５７０は、受信したバイブレーション制御値に従ってバイブレーション動作を行い（Ｓ５０５ａ）、評価コメントが通知されたことを知らせることができる。

【0088】

例えば、予め評価コメントに紐付くバイブレーション制御値を設定しておき、評価コメントの内容に応じて異なるバイブレーションパターン（振動パターン）を任意に設定することができる。これにより、評価内容に応じてバイブレーションパターンが違う通知が行われるので、発話したユーザに対し、リアルタイムでのフィードバック環境を実現することができる。

【0089】

以上、本実施形態について説明したが、コミュニケーション管理装置１００及びユーザ端末５００の各機能は、プログラムによって実現可能であり、各機能を実現するために予め用意されたコンピュータプログラムが補助記憶装置に格納され、ＣＰＵ等の制御部が補助記憶装置に格納されたプログラムを主記憶装置に読み出し、主記憶装置に読み出された該プログラムを制御部が実行することで、各部の機能を動作させることができる。

【0090】

また、上記プログラムは、コンピュータ読取可能な記録媒体に記録された状態で、コンピュータに提供することも可能である。コンピュータ読取可能な記録媒体としては、ＣＤ－ＲＯＭ等の光ディスク、ＤＶＤ－ＲＯＭ等の相変化型光ディスク、ＭＯ（Magnet Optical）やＭＤ(Mini Disk)などの光磁気ディスク、フロッピー（登録商標）ディスクやリムーバブルハードディスクなどの磁気ディスク、コンパクトフラッシュ（登録商標）、スマートメディア、SDメモリカード、メモリスティック等のメモリカードが挙げられる。また、本発明の目的のために特別に設計されて構成された集積回路（ICチップ等）等のハードウェア装置も記録媒体として含まれる。

【0091】

なお、本発明の実施形態を説明したが、当該実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0092】

１００ コミュニケーション管理装置
１１０ 制御装置
１１１ ユーザ管理部
１１２ コミュニケーション制御部（第１制御部，第２制御部）
１１３ 音声認識部
１１４ 音声合成部
１１５ 評価制御部
１１５Ａ 第１評価部
１１５Ｂ 第２評価部
１１５Ｃ 第３評価部
１２０ 記憶装置
１２１ ユーザ情報
１２２ グループ情報
１２３ コミュニケーション履歴情報
１２４ 音声認識辞書
１２５ 音声合成辞書
１２６ 音声品質評価情報
１３０ 通信装置
５００ ユーザ端末（移動通信端末）
５１０ 通信・通話部
５２０ コミュニケーションＡｐｐ制御部
５３０ マイク（集音部）
５４０ スピーカー（音声出力部）
５５０ 表示・入力部
５６０ 記憶部
５７０ バイブレーション装置
Ｄ 表示欄

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】