(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-07
(45)【発行日】2024-06-17
(54)【発明の名称】コミュニケーション管理装置及び方法
(51)【国際特許分類】
H04M 3/56 20060101AFI20240610BHJP
【ＦＩ】
H04M3/56 Z
【請求項の数】
9
(21)【出願番号】P 2020112961
(22)【出願日】2020-06-30
(65)【公開番号】P2021117965
(43)【公開日】2021-08-10
【審査請求日】2023-06-19
(31)【優先権主張番号】P 2020010639
(32)【優先日】2020-01-27
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】524009026
【氏名又は名称】ボイット株式会社
(74)【代理人】
【識別番号】100087398
【弁理士】
【氏名又は名称】水野 勝文
(74)【代理人】
【識別番号】100128783
【弁理士】
【氏名又は名称】井出 真
(74)【代理人】
【識別番号】100128473
【弁理士】
【氏名又は名称】須澤 洋
(72)【発明者】
【氏名】掛村 篤
(72)【発明者】
【氏名】吉澤 涼太
(72)【発明者】
【氏名】佐伯 祐太郎
【審査官】吉村 伊佐雄
(56)【参考文献】
【文献】米国特許出願公開第２００８／０１８１１４０（ＵＳ，Ａ１）
【文献】特開２０１１－２１５８３６（ＪＰ，Ａ）
【文献】特開２０１２－９０１７３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｌ１５／００
Ｇ０６Ｆ３／０１、３／０４８４、３／１６
Ｈ０４Ｌ４１／００－４３／５５
５１／００－５１／５８
６７／００－６７／７５
Ｈ０４Ｍ３／００
３／１６－３／２０
３／３８－３／５８
７／００－７／１６
１１／００－１１／１０
Ｈ０４Ｎ７／１０
７／１４－７／１７３
７／２０－７／５６
２１／００－２１／８５８
(57)【特許請求の範囲】
【請求項1】
複数の各ユーザがそれぞれ携帯する移動通信端末を通じて、ユーザの発話音声が他のユーザの移動通信端末に同報配信されるコミュニケーションシステムであって、前記各移動通信端末が無線通信で接続するコミュニケーション管理装置と、監視対象の状態検出機器から出力される検出情報が入力され、前記コミュニケーション管理装置に接続するエージェント装置と、を含み、
前記コミュニケーション管理装置は、
移動通信端末から受信した発話音声データを他の複数の移動通信端末それぞれに同報配信する第１制御部と、受信した発話音声データを音声認識処理して得られる発話音声認識結果を、ユーザ同士のコミュニケーション履歴として時系列に蓄積するとともに、前記各移動通信端末において前記コミュニケーション履歴が同期して表示されるようにテキスト配信制御を行う第２制御部と、を有するコミュニケーション制御部を備え、
前記エージェント装置は、前記検出情報に基づくエージェント発話テキストを生成し、前記コミュニケーション管理装置に送信する発話テキスト送信部を備え、
前記コミュニケーション制御部は、合成音声処理によって生成された前記エージェント発話テキストの合成音声データを、複数の前記移動通信端末それぞれに同報配信するとともに、受信した前記エージェント発話テキストを、ユーザ同士の前記コミュニケーション履歴に含ませて時系列に蓄積し、前記各移動通信端末へのテキスト配信制御を行うことを特徴とするコミュニケーションシステム。
【請求項2】
前記コミュニケーション管理装置は、複数の前記移動通信端末が登録され、前記第１制御部及び前記第２制御部による制御対象のコミュニケーショングループを設定するユーザ管理部を備え、前記ユーザ管理部は、前記エージェント装置を前記コミュニケーショングループに登録する機能を提供することを特徴とする請求項１に記載のコミュニケーションシステム。
【請求項3】
前記エージェント装置は、予め設定された判定条件に基づいて、前記検出情報が前記判定条件を満たすか否かを判断する制御部をさらに備え、前記発話テキスト送信部は、前記検出情報が前記判定条件を満たすと判断された場合に、前記エージェント発話テキストを生成することを特徴とする請求項１又は２に記載のコミュニケーションシステム。
【請求項4】
前記コミュニケーション制御部は、前記発話音声認識結果を前記エージェント装置に送信し、前記エージェント装置は、
前記発話音声認識結果を受信するテキスト受信部と、
前記発話音声認識結果に基づいて、前記エージェント発話テキストを提供するか否かを判定する情報提供部と、を備え、
前記発話テキスト送信部は、前記情報提供部の判定結果に基づいて、前記エージェント発話テキストを生成し、前記コミュニケーション管理装置に送信することを特徴とする請求項１から３のいずれか１つに記載のコミュニケーションシステム。
【請求項5】
前記情報提供部は、前記発話音声認識結果に、前記状態検出機器又は前記検出情報に対する問い掛けに関するキーワードが含まれているか否かを判定することを特徴とする請求項４に記載のコミュニケーションシステム。
【請求項6】
前記コミュニケーション制御部は、同報配信されるコミュニケーショングループ内の特定のユーザだけに向けて発話音声データを送信する個別通話制御部と、を備え、
前記個別通話制御部は、合成音声処理によって生成された前記エージェント発話テキストの合成音声データを、特定のユーザに向けて送信する個別通話制御を行うことを特徴とする請求項１から５のいずれか１つに記載のコミュニケーションシステム。
【請求項7】
複数の各ユーザがそれぞれ携帯する移動通信端末を通じて、ユーザの発話音声が他のユーザの移動通信端末に同報配信されるコミュニケーション方法であって、前記各移動通信端末が無線通信でコミュニケーション管理装置と接続し、監視対象の状態検出機器から出力される検出情報が入力されるエージェント装置が前記コミュニケーション管理装置に接続しており、コミュニケーション管理装置が、移動通信端末から受信した発話音声データを他の複数の移動通信端末それぞれに同報配信する第１ステップと、
コミュニケーション管理装置が、受信した発話音声データを音声認識処理して得られる発話音声認識結果を、ユーザ同士のコミュニケーション履歴として時系列に蓄積するとともに、前記各移動通信端末において前記コミュニケーション履歴が同期して表示されるようにテキスト配信制御を行う第２ステップと、
前記エージェント装置が、前記検出情報に基づくエージェント発話テキストを生成し、前記コミュニケーション管理装置に送信する第３ステップと、を含み、
前記第１ステップは、合成音声処理によって生成された前記エージェント発話テキストの合成音声データを、複数の前記移動通信端末それぞれに同報配信し、
前記第２ステップは、受信した前記エージェント発話テキストを、ユーザ同士の前記コミュニケーション履歴に含ませて時系列に蓄積し、前記各移動通信端末へのテキスト配信制御を行うことを特徴とするコミュニケーション方法。
【請求項8】
複数の各ユーザがそれぞれ携帯する移動通信端末と無線通信で接続され、ユーザの発話音声を他のユーザの移動通信端末に同報配信する管理装置によって実行されるプログラムであって、移動通信端末から受信した発話音声データを他の複数の移動通信端末それぞれに同報配信する第１機能と、
受信した発話音声データを音声認識処理して得られる発話音声認識結果を、ユーザ同士のコミュニケーション履歴として時系列に蓄積するとともに、前記各移動通信端末において前記コミュニケーション履歴が同期して表示されるようにテキスト配信制御を行う第２機能と、
監視対象の状態検出機器から出力される検出情報が入力され、前記管理装置に接続するエージェント装置によって生成された前記検出情報に基づくエージェント発話テキストを受信し、前記エージェント発話テキストの合成音声データを生成する第３機能と、を実現させ、
前記第１機能は、前記エージェント発話テキストの合成音声データを複数の前記移動通信端末それぞれに同報配信し、
前記第２機能は、受信した前記エージェント発話テキストを、ユーザ同士の前記コミュニケーション履歴に含ませて時系列に蓄積し、前記各移動通信端末へのテキスト配信制御を行うことを特徴とするプログラム。
【請求項9】
複数の各ユーザがそれぞれ携帯する移動通信端末を通じて、ユーザの発話音声が他のユーザの移動通信端末に同報配信されるコミュニケーションシステムであって、移動通信端末から受信した発話音声データを他の複数の移動通信端末それぞれに同報配信する第１制御部と、受信した発話音声データを音声認識処理して得られる発話音声認識結果を、ユーザ同士のコミュニケーション履歴として時系列に蓄積するとともに、前記各移動通信端末において前記コミュニケーション履歴が同期して表示されるようにテキスト配信制御を行う第２制御部と、を有するコミュニケーション制御部と、
監視対象の状態検出機器から出力される検出情報を受け付け、前記検出情報に基づくエージェント発話テキストを生成するエージェント部を備え、
前記コミュニケーション制御部は、合成音声処理によって生成された前記エージェント発話テキストの合成音声データを、複数の前記移動通信端末それぞれに同報配信するとともに、受信した前記エージェント発話テキストを、ユーザ同士の前記コミュニケーション履歴に含ませて時系列に蓄積し、前記各移動通信端末へのテキスト配信制御を行うことを特徴とするコミュニケーションシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、音声及びテキストを使用したコミュニケーション（認識共有、意思疎通など）支援技術に関する。
【背景技術】
【0002】
音声コミュニケーションの一例として、トランシーバ(transceiver)がある。トランシーバは、無線電波の送信機能と受信機能を兼ね備えた無線機であり、１人のユーザが複数人のユーザと通話（一方向又は双方向の情報伝達）を行うことができる。トランシーバの活用例は、工事現場やイベント会場、ホテルや旅館などの施設等で目にすることができる。また、タクシー無線もトランシーバ活用の一例として挙げることができる。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１３－１８７５９９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
状態又は状況変化を伝達するエージェントを含むコミュニケーショングループを形成し、複数のユーザ間での情報伝達を支援するコミュニケーションシステムを提供することを目的とする。
【課題を解決するための手段】
【0005】
実施形態のコミュニケーションシステムは、複数の各ユーザがそれぞれ携帯する移動通信端末を通じて、ユーザの発話音声が他のユーザの移動通信端末に同報配信する。コミュニケーションシステムは、前記各移動通信端末が無線通信で接続するコミュニケーション管理装置と、監視対象の状態検出機器から出力される検出情報が入力され、前記コミュニケーション管理装置に接続するエージェント装置と、を含む。前記コミュニケーション管理装置は、移動通信端末から受信した発話音声データを他の複数の移動通信端末それぞれに同報配信する第１制御部と、受信した発話音声データを音声認識処理して得られる発話音声認識結果を、ユーザ同士のコミュニケーション履歴として時系列に蓄積するとともに、前記各移動通信端末において前記コミュニケーション履歴が同期して表示されるようにテキスト配信制御を行う第２制御部と、を有するコミュニケーション制御部を備える。前記エージェント装置は、前記検出情報に基づくエージェント発話テキストを生成し、前記コミュニケーション管理装置に送信する発話テキスト送信部を備える。そして、前記コミュニケーション制御部は、合成音声処理によって生成された前記エージェント発話テキストの合成音声データを、複数の前記移動通信端末それぞれに同報配信するとともに、受信した前記エージェント発話テキストを、ユーザ同士の前記コミュニケーション履歴に含ませて時系列に蓄積し、前記各移動通信端末へのテキスト配信制御を行う。
【図面の簡単な説明】
【0006】
【図1】第１実施形態のコミュニケーションシステムのネットワーク構成図である。
【図2】第１実施形態のコミュニケーション管理装置、エージェント装置、ユーザ端末の各構成ブロック図である。
【図3】第１実施形態のユーザ情報及びグループ情報の一例を示す図である。
【図4】第１実施形態のユーザ端末に表示される画面例である。
【図5】第１実施形態の設定管理情報の一例を示す図である。
【図6】第１実施形態のコミュニケーションシステムの処理フローを示す図である。
【図7】第１実施形態のコミュニケーションシステムの第１事例に基づく処理フローを示す図である。
【図8】第２実施形態のコミュニケーションシステムのネットワーク構成図である。
【図9】第２実施形態のコミュニケーション管理装置、エージェント装置、ユーザ端末の各構成ブロック図である。
【図10】第２実施形態のコミュニケーションシステムの第２事例に基づく処理フローを示す図である。
【図11】第２実施形態のユーザ端末に表示される画面例である。
【図12】第３実施形態のグループ通話モード中の個別通話モード割り込み処理の一例を説明するための図である。
【図13】第３実施形態のコミュニケーション管理装置、エージェント装置、ユーザ端末の各構成ブロック図である。
【図14】第３実施形態の特定通知設定情報の一例を示す図である。
【図15】第３実施形態のコミュニケーションシステムの第３事例に基づく処理フローを示す図である。
【発明を実施するための最良の形態】
【0007】
（第１実施形態）
図１から図７は、第１実施形態を説明するための図である。図１は、本実施形態に係るコミュニケーションシステムのネットワーク構成図である。コミュニケーションシステムは、コミュニケーション管理装置（以下、管理装置と称する）１００を中心に、音声及びテキストを用いた情報伝達支援機能を提供する。以下では、施設管理を一例に、コミュニケーションシステムを適用した態様について説明する。
図１から図７は、第１実施形態を説明するための図である。図１は、本実施形態に係るコミュニケーションシステムのネットワーク構成図である。コミュニケーションシステムは、コミュニケーション管理装置（以下、管理装置と称する）１００を中心に、音声及びテキストを用いた情報伝達支援機能を提供する。以下では、施設管理を一例に、コミュニケーションシステムを適用した態様について説明する。
【0008】
管理装置１００は、複数の各ユーザがそれぞれ携帯するユーザ端末（移動通信端末）５００が無線通信で接続し、ユーザの発話音声を他のユーザ端末５００に同報配信する。
【0009】
ユーザ端末５００は、例えば、スマートフォンなどの多機能携帯電話機やＰＤＡ(Personal Digital Assistant)、タブレット型端末などの持ち運び可能な携帯端末（モバイル端末）である。ユーザ端末５００は、通信機能、演算機能及び入力機能を備え、ＩＰ（Internet protocol）網又は移動通信回線網（Mobile communication network）を通じて無線通信で管理装置１００と接続し、データ通信を行う。
【0010】
ユーザの発話音声が他の複数のユーザ端末５００に同報配信される範囲（又は後述するコミュニケーション履歴が同期して表示される範囲）は、コミュニケーショングループとして設定され、対象ユーザ（現場ユーザ）のユーザ端末５００それぞれが登録される。そして、図１に示すように、本実施形態では、施設管理における監視対象の状態検出機器（センサ機器１）から出力される検出情報が入力され、無線通信又は有線通信で管理装置１００に接続するエージェント装置３００が、複数のユーザが登録されるコミュニケーショングループの一員（エージェント）として登録される。
【0011】
監視対象が、温泉である場合、温泉の状態とは、例えば、温度である。この場合、状態検出機器は、温度センサ１等の計測機器である。温度センサ１は、検出情報として検出温度をエージェント装置３００に出力する。エージェント装置３００は、検出温度が入力されると、検出温度に基づくエージェント発話テキストを生成して管理装置１００に送信する。つまり、エージェント装置３００は、ユーザ端末５００を携帯するユーザと同様の、コミュニケーショングループ内の一員として、検出情報に基づく発話を行う機器であり、状態検出機器に代わって発話する発話代理者として位置付けられる。
【0012】
エージェント装置３００は、デスクトップ型コンピュータやタブレット型コンピュータ、ラップトップ型コンピュータである。エージェント装置３００は、ＩＰ網又は移動通信回線網を通じ、無線通信又は有線通信でのデータ通信機能及び演算機能（ＣＰＵ等）を備えている。また、エージェント装置３００は、ディスプレイ装置（又はタッチパネル方式の表示装置）及び文字入力手段を備えるように構成することもできる。また、エージェント装置３００は、本実施形態の各機能を備えた専用機器であってもよい。
【0013】
本実施形態のコミュニケーションシステムは、複数の各ユーザがハンズフリーで対話を行うことができることを前提とした、認識共有や意思疎通のための情報伝達を支援する。それとともに、施設管理における監視対象の状態又は状況変化を伝達するエージェントを含むコミュニケーショングループを形成し、エージェントの発話機能によって今まで人手で行っていた監視対象の状態又は状況変化の情報取得及び伝達の効率化を支援する。
【0014】
特に、施設の設備管理は、人的な労働力で支えられており、設備機器を操作・制御する作業が必ず存在する。このような設備機器の操作・制御は、設備機器の状態や状況を継続的に確認して行う必要があり、そのためには、ユーザが、設備機器を訪れて状況を確認したり、状態検出機器の設置場所に訪れて検出情報を確認したりしなければならない。このため、多大な労力が必要であった。一方で、近年は、ＩｏＴ（Ｉｎｔｅｒｎｅｔｏｆ Ｔｈｉｎｇｓ）化によるセンサ機器と、設備機器の操作や制御等との連携が注目されているが、コスト面の課題等により、上述のように、人的な労力により支えられているのが実情である。
【0015】
本実施形態では、設備機器の操作・制御を人手で行う際に、設備機器の状態や状況を把握するための検出情報を出力するセンサ機器等がユーザコミュニケーショングループの一員として検出情報に基づく発話を行う仕組みを導入して、ユーザの労力の軽減を実現する。これと共に、既設のセンサ機器等の状態検出機器に対し、検出情報を受信するエージェント装置３００を設備管理の現場に設置するだけでユーザコミュニケーショングループに容易に参加することができるシンプルで低コストなシステム構成を実現する。
【0016】
図２は、管理装置１００、エージェント装置３００、ユーザ端末５００の各構成ブロック図である。
【0017】
管理装置１００は、制御装置１１０、記憶装置１２０及び通信装置１３０を含む。通信装置１３０は、複数の各ユーザ端末５００との間の通信接続管理及びデータ通信制御を行い、同じ内容の発話音声及び発話テキストを複数の各ユーザ端末５００に一斉に送る同報配信通信制御を行う。
【0018】
制御装置１１０は、ユーザ管理部１１１、コミュニケーション制御部１１２、音声認識部１１３及び音声合成部１１４を含んで構成されている。記憶装置１２０は、ユーザ情報１２１、グループ情報１２２、コミュニケーション履歴（コミュニケーションログ）情報１２３、音声認識辞書１２４、及び音声合成辞書１２５を含んで構成されている。
【0019】
エージェント装置３００は、管理対象の設備に設けられた状態検出装置（センサ機器１）と無線又は有線で接続され、通信部３１０を介して状態検出装置から出力される検出情報を受け付けるセンサ情報取得部３２０を備えている。また、制御部（判定部）３３０、発話テキスト送信部３４０、設定管理部３５０、及び記憶部３６０を備えている。
【0020】
ユーザ端末５００は、通信・通話部５１０、コミュニケーションＡｐｐ制御部５２０、マイク５３０、スピーカー５４０、タッチパネル等の表示入力部５５０、及び記憶部５６０を含んで構成されている。なお、スピーカー５４０は、実際には、イヤホンやヘッドホン（有線又はワイヤレス）などで構成される。
【0021】
図３は、各種情報の一例を示す図であり、ユーザ情報１２１は、本コミュニケーションシステムを利用するユーザ登録情報である。ユーザ管理部１１１は、所定の管理画面を通じて、ユーザＩＤ、ユーザ名、属性、グループを設定することができるように制御する。また、エージェント装置３００もユーザ登録される。グループ情報１２２は、コミュニケーショングループを区画するグループ識別情報である。コミュニケーショングループＩＤ別に伝達情報の送受信及び同報配信を制御し、異なるコミュニケーショングループ間で情報が混在しないように制御される。ユーザ情報１２１において、グループ情報１２２に登録されたコミュニケーショングループを、各ユーザに紐付けることができる。
【0022】
本実施形態のユーザ管理部１１１は、後述する第１制御（発話音声データの同報配信）及び第２制御（エージェント発話テキストまたは／及びユーザの発話音声認識結果のテキスト同報配信）の対象となる、複数のユーザが登録されたコミュニケーショングループを設定する機能を提供しつつ、エージェント装置３００をコミュニケーショングループに登録する機能を提供する。
【0023】
なお、グループ分けについては、本実施形態のコミュニケーションシステムを導入する施設等に応じて施設を複数の部門に分割して管理することもできる。例えば、宿泊施設を一例に説明すると、ベルパーソン（荷物運び）、コンシェルジュ、ハウスキーピング（清掃）をそれぞれ異なるグループに設定し、客室管理をそれぞれのグループ毎に細分化したコミュニケーション環境を構築することもできる。他の観点として、役割的にコミュニケーションが不要なケースも考えられる。例えば、料理の配膳係と、ベルパーソン（荷物運び）は、直接コミュニケーションをとる必要がないのでグループを分けることができる。また、地理的にコミュニケーションが不要なケースも考えられ、例えば、Ａ支店、Ｂ支店などが地理的に離れており、かつ頻繁にコミュニケーションをする必要がない場合などは、グループを分けることができる。
【0024】
したがって、エージェント装置３００が登録されたコミュニケーショングループ、エージェント装置３００が登録されていないコミュニケーショングループ、複数のエージェント装置３００が登録されたコミュニケーショングループなど、様々なコミュニケーショングループを混在して設定することができる。施設内に管理対象の設備が複数存在する場合は、各設備別にエージェント装置３００を個別に設置することができ、また、同じ設備であっても、状態検出機器が複数設置されている場合は、各状態検出機器に対してエージェント装置３００をそれぞれ設置し、１つのコミュニケーショングループに登録することもできる。
【0025】
管理装置１００のコミュニケーション制御部１１２は、第１制御部と第２制御部の各制御部として機能する。第１制御部は、ユーザ端末５００から受信した発話音声データを他の複数のユーザ端末５００それぞれに同報配信制御を行う。第２制御部は、受信した発話音声データを音声認識処理して得られる発話音声認識結果を、ユーザ同士のコミュニケーション履歴１２３として時系列に蓄積するとともに、各ユーザ端末５００においてコミュニケーション履歴１２３が同期して表示されるようにテキスト配信制御を行う。
【0026】
第１制御部としての機能は、発話音声データの同報配信である。発話音声データには、テキスト（例えば、エージェント発話テキスト）から音声合成処理によって人工的に生成された音声データと、ユーザが発声した音声データとが含まれる。音声合成部１１４は、音声合成辞書１２５を用いて、エージェント発話テキストの文字に対応する音声データを合成し、音声合成データを生成する。このとき、音声合成データを構成する音声データの素材は、任意である。
【0027】
第２制御部としての機能は、エージェント発話テキスト及びユーザの発話音声認識結果のテキスト同報配信である。本実施形態では、ユーザ端末５００において入力された音声及びユーザ端末５００において再生される音声は、すべてテキスト化されてコミュニケーション履歴１２３に時系列に蓄積され、各ユーザ端末５００において同期して表示されるように制御される。音声認識部１１３は、音声認識辞書１２４を用いて音声認識処理を行い発話音声認識結果としてテキストデータを出力する。音声認識処理については公知の技術を適用することができる。
【0028】
そして、エージェント装置３００は、状態検出機器から出力される検出情報に基づくエージェント発話テキストを生成し、管理装置１００に送信する発話テキスト送信部３４０を備えている。管理装置１００のコミュニケーション制御部１１２は、第１制御の機能として、発話テキスト送信部３４０から受信したエージェント発話テキストに対して合成音声処理を行ってエージェント発話テキストの合成音声データを生成して、複数のユーザ端末５００それぞれに同報配信する。それとともに、第２制御の機能として、発話テキスト送信部３４０から受信したエージェント発話テキストを、ユーザ同士のコミュニケーション履歴１２３に含ませて時系列に蓄積し、各ユーザ端末５００へのテキスト配信制御を行う。
【0029】
なお、コミュニケーション履歴情報１２３は、各ユーザの発話内容とエージェント装置３００のエージェント発話テキストとが時間情報と共に、テキストベースで時系列に蓄積されたログ情報である。各テキストに対応する音声データは、音声ファイルとして所定の記憶領域に格納しておくことができ、例えば、コミュニケーション履歴１２３には、音声ファイルの格納場所を記録する。コミュニケーション履歴情報１２３は、コミュニケーショングループ別にそれぞれ生成され、蓄積される。
【0030】
図４は、各ユーザ端末５００で表示されるコミュニケーション履歴１２３の一例を示す図である。ユーザ端末５００それぞれは、管理装置１００からリアルタイムに又は所定のタイミングでコミュニケーション履歴１２３を受信し、複数のユーザ間で表示同期が取られ、時系列に過去のコミュニケーションログを参照することができる。
【0031】
なお、表示欄Ｄにおいて、合成音声データに対応するテキストには、音声マークＭを表示したり、発話者自身の発話テキストには、表示欄ＤにおいてマイクマークＨを表示したりすることができる。
【0032】
図４の例のように、各ユーザ端末５００は、自分の発話内容及び自分以外の他のユーザの発話内容と共に、エージェント装置３００の発話内容が表示欄Ｄに時系列に表示され、管理装置１００に蓄積されるコミュニケーション履歴１２３がログ情報として共有される。
【0033】
図５は、エージェント装置３００で使用される設定管理情報の一例を示す図である。エージェント装置３００が発話を行う条件及び発話テキストの内容が設定管理情報として登録されている。制御部３３０は、設定管理情報において設定された判定条件に基づいて、検出情報が判定条件を満たすか否かを判断する判定部として機能する。
【0034】
図５の例では、「設定１」において、条件：温度が３６度未満、エージェント発話テキスト「温度が３６度を下回りました」が設定されている。「設定２」では、条件：温度が４２度以上、エージェント発話テキスト「温度が４２度を超えました」が設定されている。制御部３３０は、センサ情報取得部３２０によって任意の時間間隔で取得される検出情報を用いて、設定管理情報に設定された判定条件とマッチングし、判定条件を満たすか否かを判定する。
【0035】
発話テキスト送信部３４０は、制御部３３０によって判定条件を満たすと判定された場合、設定管理情報の発話テキストを抽出してエージェント発話テキストデータを生成し、管理装置１００に送信する。
【0036】
設定管理情報は、エージェント装置３００が備える管理情報登録画面を通じて入力したり、互いに異なる判定条件及び発話テキストの複数のペアが記録された設定管理情報ファイルを他のコンピュータ装置で作成し、エージェント装置３００に記憶させたりすることができる。
【0037】
図６は、本実施形態のコミュニケーションシステムの処理フローを示す図である。
【0038】
各ユーザは、ユーザ端末５００において、コミュニケーションＡｐｐ制御部５２０を起動し、コミュニケーションＡｐｐ制御部５２０が管理装置１００との接続処理を行う。そして、所定のログイン画面から自分のユーザＩＤ及びパスワードを入力して管理装置１００にログインする。ログイン認証処理は、ユーザ管理部１１１によって遂行される。ログイン後の各ユーザ端末５００は、任意のタイミングで又は所定の時間間隔で、管理装置１００との間で情報取得処理を行う。
【0039】
ユーザＡが発話すると、コミュニケーションＡｐｐ制御部５２０は、発話音声を集音し、発話音声データを管理装置１００に送信する（Ｓ５０１ａ）。管理装置１００の音声認識部１１３は、受信した発話音声データを音声認識処理し（Ｓ１０１）、発話内容の音声認識結果を出力する。コミュニケーション制御部１１２は、音声認識結果をコミュニケーション履歴１２３に記憶し、発話音声データを記憶装置１２０に記憶する（Ｓ１０２）。
【0040】
コミュニケーション制御部１１２は、発話したユーザＡ以外の他のユーザ端末５００それぞれにユーザＡの発話音声データを同報送信する。また、コミュニケーション履歴１２３に記憶したユーザＡの発話内容（テキスト）を、表示同期のために、ユーザＡ自身を含むコミュニケーショングループ内の各ユーザ端末５００に送信する（Ｓ１０３）。
【0041】
ユーザＡ以外の各ユーザ端末５００のコミュニケーションＡｐｐ制御部５２０は、受信した発話音声データの自動再生処理を行い、発話音声出力を行いつつ（Ｓ５０２ｂ，Ｓ５０２ｃ）、音声出力された発話音声に対応するテキスト形式の発話内容を表示欄Ｄに表示させる。
【0042】
続いて、エージェント装置３００は、状態検出機器から出力される検出情報を監視し、検出情報が判定条件を満たすと判別された場合、発話テキスト送信部３４０は、判定結果に基づいてエージェント発話テキストを生成し、管理装置１００に送信する（Ｓ３０１）。
【0043】
このとき、エージェント発話テキストには、センサ値等の検出情報が含まれていてもいなくてもよい。つまり、判定条件を満たす状態であることを通知する内容であればよく、例えば、「温度が下がってきました」、「温度が高すぎます」などのセンサ値自体を含まない発話テキストであってもよい。また、「温度が３６度を下回りました。現在の温度は、３５.１度です」のように、センサ値を含むように、エージェント発話テキストを生成することもできる。実測値を含むことで、緊急対応しなければならないのか、対応までに時間的猶予があるのかなどをユーザに知らせることができる。
【0044】
管理装置１００のコミュニケーション制御部１１２は、受信したエージェント発話テキストをコミュニケーション履歴１２３に記憶し（Ｓ１０４）、音声合成部１１４は、エージェント発話テキストに対応する合成音声を生成し（Ｓ１０５）、生成した合成音声データを記憶装置１２０に記憶する。
【0045】
コミュニケーション制御部１１２は、コミュニケーショングループに登録されたすべてのユーザ端末５００それぞれにエージェント装置３００の発話音声データを同報送信する。また、コミュニケーション履歴１２３に記憶したエージェント発話テキストを、表示同期のために、コミュニケーショングループ内の各ユーザ端末５００に送信する（Ｓ１０６）。
【0046】
各ユーザ端末５００のコミュニケーションＡｐｐ制御部５２０は、受信したエージェントの発話音声データの自動再生処理を行い、発話音声出力を行いつつ（Ｓ５０３ａ，Ｓ５０３ｂ，Ｓ５０３ｃ）、発話音声に対応するテキスト形式のエージェント発話内容を表示欄Ｄに表示させる。
【0047】
図７は、本実施形態のコミュニケーションシステムが適用された第１事例に基づく処理フローを示す図である。
【0048】
図７に示すように、エージェント装置３００のセンサ情報取得部３２０は、任意のタイミング又は所定の時間間隔で、状態検出機器（センサ機器１）が出力する温泉の温度情報を取得する（Ｓ３００１）。制御部３３０は、温泉情報が取得される度に、温泉の温度が設定管理情報として登録された判定条件を満たすか否かの判定処理を行う（Ｓ３００２）。
【0049】
温泉の温度が、判定条件を満たす温度である場合（Ｓ３００３のＹＥＳ）、発話テキスト送信部３４０は、設定管理情報に設定されている発話テキストを抽出し、エージェント発話テキストデータ「温度が３６度を下回りました」を生成する（Ｓ３００４）。発話テキスト送信部３４０は、生成したエージェント発話テキストを管理装置１００に送信する（Ｓ３００５）。
【0050】
管理装置１００の音声合成部１１４は、受信したエージェント発話テキストの合成音声データを生成する（Ｓ１００１）。また、管理装置１００のコミュニケーション制御部１１２は、エージェント装置３００から受信したエージェント発話テキストを、ユーザ同士のコミュニケーション履歴１２３に含ませて時系列に記憶する（Ｓ１００２）。
【0051】
コミュニケーション制御部１１２は、表示同期のため、テキスト形式のエージェント発話テキストを、ユーザ端末５００に送信すると共に（Ｓ１００３）、エージェント発話内容の合成音声データを複数の各ユーザ端末５００に同報配信する（Ｓ１００４）。
【0052】
各ユーザ端末５００のコミュニケーションＡｐｐ制御部５２０は、テキスト形式のエージェント発話内容を表示欄Ｄに表示させ、かつ合成音声データの自動再生処理を行い、音声出力を行う。このとき、各ユーザ端末５００の表示欄Ｄにおいて、同じエージェント発話内容が同期して表示され、かつエージェント発話内容「温度が３６度を下回りました」の音声出力がそれぞれ行われる。
【0053】
続いて、エージェント発話内容を聞いたユーザＣが、「ちょっと手が離せません」と発話すると、コミュニケーションＡｐｐ制御部５２０は、発話音声を集音し、発話音声データを管理装置１００に送信する。管理装置１００の音声認識部１１３は、受信した発話音声データを音声認識処理し（１００５）、発話内容の音声認識結果を出力する。コミュニケーション制御部１１２は、音声認識結果をコミュニケーション履歴１２３に記憶し、発話音声データを記憶装置１２０に記憶する（Ｓ１００６）。
【0054】
コミュニケーション制御部１１２は、発話したユーザＣ以外の他のユーザ端末５００それぞれにユーザＣの発話音声データを同報送信する（１００８）。また、コミュニケーション履歴１２３に記憶したユーザＣの発話内容「ちょっと手が離せません」を、表示同期のために、ユーザＣ自身を含むコミュニケーショングループ内の各ユーザ端末５００に送信する（Ｓ１００７）。
【0055】
各ユーザ端末５００のコミュニケーションＡｐｐ制御部５２０は、受信した発話音声データの自動再生処理を行い、「ちょっと手が離せません」の発話音声出力を行い、音声出力された発話音声に対応するテキスト形式の発話内容「ちょっと手が離せません」を表示欄Ｄに表示させる。なお、発話したユーザＣのユーザ端末５００には、自分が発話した発話音声データが送信されないように管理装置１００側で制御される。
【0056】
ユーザＣの発言を聞いたユーザＢは、「隣に居るので私が対応します」と発話すると、コミュニケーションＡｐｐ制御部５２０は、発話音声を集音し、発話音声データを管理装置１００に送信する。管理装置１００の音声認識部１１３は、受信した発話音声データを音声認識処理し（１００９）、発話内容の音声認識結果を出力する。コミュニケーション制御部１１２は、音声認識結果をコミュニケーション履歴１２３に記憶し、発話音声データを記憶装置１２０に記憶する（Ｓ１０１０）。
【0057】
コミュニケーション制御部１１２は、発話したユーザＢ以外の他のユーザ端末５００それぞれにユーザＢの発話音声データを同報送信する（１０１２）。また、コミュニケーション履歴１２３に記憶したユーザＢの発話内容「隣に居るので私が対応します」を、表示同期のために、ユーザＢ自身を含むコミュニケーショングループ内の各ユーザ端末５００に送信する（Ｓ１０１１）。
【0058】
各ユーザ端末５００のコミュニケーションＡｐｐ制御部５２０は、受信した発話音声データの自動再生処理を行い、「隣に居るので私が対応します」の発話音声出力を行い、音声出力された発話音声に対応するテキスト形式の発話内容「隣に居るので私が対応します」を表示欄Ｄに表示させる。このときも、発話したユーザＢのユーザ端末５００には、自分が発話した発話音声データが送信されないように管理装置１００側で制御される。
【0059】
（第２実施形態）
図８から図１１は、第２実施形態を説明するための図である。図８は、本実施形態に係るコミュニケーションシステムのネットワーク構成図である。本実施形態のコミュニケーションシステムは、上記第１実施形態に対し、ユーザ端末５００において発話されたユーザからの問い掛けに応じてエージェント機能を提供する態様である。なお、上記第１実施形態と同様の構成については、同符号を付して説明を省略する。
図８から図１１は、第２実施形態を説明するための図である。図８は、本実施形態に係るコミュニケーションシステムのネットワーク構成図である。本実施形態のコミュニケーションシステムは、上記第１実施形態に対し、ユーザ端末５００において発話されたユーザからの問い掛けに応じてエージェント機能を提供する態様である。なお、上記第１実施形態と同様の構成については、同符号を付して説明を省略する。
【0060】
図９は、本実施形態のコミュニケーション管理装置１００、エージェント装置３００、ユーザ端末５００の各構成ブロック図である。第１実施形態の図２に対し、エージェント装置３００の構成が一部変更・追加され、ユーザ端末５００でのユーザの発話をトリガーに、エージェント装置３００が、検出情報に基づくエージェント発話テキストを生成して管理装置１００に送信する。
【0061】
具体的には、管理装置１００のコミュニケーション制御部１１１は、ユーザ端末５００から受信した発話音声の音声認識結果をエージェント装置３００に送信する機能を備える。エージェント装置３００は、ユーザの発話音声の音声認識結果を受信するテキスト受信部３７０と、テキスト形式の音声認識結果を解析するテキスト解析部３８０と、テキスト解析部３８０の解析結果に基づいて、エージェント発話テキストを提供するか否かを判定する制御部（情報提供部）３３０Ａと、を備える。発話テキスト送信部３４０は、制御部３３０Ａの判定結果に基づいて、エージェント発話テキストを生成し、管理装置１００に送信する。
【0062】
図１０は、本実施形態のコミュニケーションシステムの第２事例に基づく処理フローを示す図である。
【0063】
図１０に示すように、ユーザＣが、「今のＢ温泉の温度を教えて」と発話すると、コミュニケーションＡｐｐ制御部５２０は、発話音声を集音し、発話音声データを管理装置１００に送信する。管理装置１００の音声認識部１１３は、受信した発話音声データを音声認識処理し（１００５）、発話内容の音声認識結果を出力する。コミュニケーション制御部１１２は、音声認識結果をコミュニケーション履歴１２３に記憶し、発話音声データを記憶装置１２０に記憶する（Ｓ１００６）。
【0064】
コミュニケーション制御部１１２は、発話したユーザＣ以外の他のユーザ端末５００それぞれにユーザＣの発話音声データを同報送信する（１００８）。一方、コミュニケーション履歴１２３に記憶したユーザＣの発話内容「今のＢ温泉の温度を教えて」を、表示同期のために、ユーザＣ自身を含むコミュニケーショングループ内の各ユーザ端末５００に送信するとともに、エージェント装置３００にもテキスト形式の発話内容「今のＢ温泉の温度を教えて」を送信する（Ｓ１００７Ａ）。
【0065】
エージェント装置３００は、テキスト受信部３７０を介して「今のＢ温泉の温度を教えて」の発話テキストを受信する。受信した発話テキストは、テキスト解析部３８０によって解析され、例えば、周知の形態素解析を行って、キーワードを抽出する（Ｓ３１０１）。例えば、「Ｂ温泉」、「温度」、「教えて」の各キーワードを抽出する。
【0066】
エージェント装置３００の制御部（情報提供部）３３０Ａは、テキスト解析部３８０の解析結果であるキーワードを用いて、情報提供判定処理を行う（３１０２）。例えば、設定管理情報として、エージェント装置３００の管理対象の名称（Ｂ温泉）、エージェント装置３００に接続される状態検出機器によって検出される検出属性（温度）、質問文例示情報（「教えて」、「は？」、「いくつ」、「知りたい」）などを登録しておく。なお、本実施形態においても、これらの設定管理情報の登録処理は、設定管理部３５０を通じて行われる。
【0067】
制御部（情報提供部）３３０Ａは、ユーザＣの音声認識結果に、状態検出機器又は検出情報に対する問い掛けに関するキーワードが含まれているか否かを判定し、含まれていると判定された場合に（Ｓ３１０３のＹＥＳ）、センサ情報取得部３２０を通じて検出情報を取得する（３００１）。上記例示の場合、ユーザＣの音声認識結果に、「Ｂ温泉」が含まれており、かつ検出属性の「温度」と、質問文「教えて」が入っているので、制御部３３０Ａは、情報提供判定結果として「可」を出力する。
【0068】
なお、上記説明では、複数のエージェント装置３００がコミュニケーショングループに登録されていることを想定し、各エージェント装置３００が自身に対する問い掛けかを判断するために、エージェント装置３００の管理対象の名称が含まれているかを判定要素として取り入れている。しかしながら、例えば、コミュニケーショングループに１つのエージェント装置３００しか登場しない場合は、「温度教えて」などのユーザの発話で、状態検出機器から検出情報を取得するように構成することができる。また、状態検出機器の名称（温度センサ）などを情報提供判定情報として登録し、ユーザＣが、「温度センサの値は？」というような問い掛けに対して、エージェント装置３００が、検出情報に基づく発話を行うように構成することができる。
【0069】
エージェント装置３００のセンサ情報取得部３２０は、制御部３３０Ａの判定結果が「可」である場合に、状態検出機器（センサ機器１）が出力する温泉の温度情報を取得する（Ｓ３００１）。発話テキスト送信部３４０は、設定管理情報に設定されている発話テキストを抽出し、エージェント発話テキストデータ「現在の温度は３７．５度です」を生成する（Ｓ３００４）。発話テキスト送信部３４０は、生成したエージェント発話テキストを管理装置１００に送信する（Ｓ３００５）。このとき、定型文「現在の温度は○○度です」を設定管理情報として登録しておき、「○○」の部分を検出情報「３７．５」に置き換えて、エージェント発話テキストを生成することができる。
【0070】
管理装置１００の音声合成部１１４は、受信したエージェント発話テキストの合成音声データを生成する（Ｓ１００１）。また、管理装置１００のコミュニケーション制御部１１２は、エージェント装置３００から受信したエージェント発話テキストを、ユーザ同士のコミュニケーション履歴１２３に含ませて時系列に記憶する（Ｓ１００２）。
【0071】
コミュニケーション制御部１１２は、表示同期のため、テキスト形式のエージェント発話テキストを、ユーザ端末５００に送信すると共に（Ｓ１００３）、エージェント発話内容の合成音声データを複数の各ユーザ端末５００に同報配信する（Ｓ１００４）。
【0072】
各ユーザ端末５００のコミュニケーションＡｐｐ制御部５２０は、テキスト形式のエージェント発話内容を表示欄Ｄに表示させ、かつ合成音声データの自動再生処理を行い、音声出力を行う。このとき、各ユーザ端末５００の表示欄Ｄにおいて、同じエージェント発話内容が同期して表示され、かつエージェント発話内容「現在の温度は○○度です」の音声出力がそれぞれ行われる。
【0073】
続いて、エージェント発話内容を音声で聞いたユーザＣが、「基準温度よりも高いですがボイラー入れてください」と発話すると、コミュニケーションＡｐｐ制御部５２０は、発話音声を集音し、発話音声データを管理装置１００に送信する。管理装置１００の音声認識部１１３は、受信した発話音声データを音声認識処理し（１００９）、発話内容の音声認識結果を出力する。コミュニケーション制御部１１２は、音声認識結果をコミュニケーション履歴１２３に記憶し、発話音声データを記憶装置１２０に記憶する（Ｓ１０１０）。
【0074】
コミュニケーション制御部１１２は、発話したユーザＣ以外の他のユーザ端末５００それぞれにユーザＣの発話音声データを同報送信する（１０１２）。また、コミュニケーション履歴１２３に記憶したユーザＣの発話内容「基準温度よりも高いですがボイラー入れてください」を、表示同期のために、ユーザＣ自身を含むコミュニケーショングループ内の各ユーザ端末５００に送信する（Ｓ１０１２）。
【0075】
図１１は、本実施形態のユーザ端末５００に表示される画面例である。図１１に示すように、各ユーザ端末５００は、自分の発話内容及び自分以外の他のユーザの発話内容と共に、エージェント装置３００への問い掛けや呼び掛けに対する発話内容と、問い掛けや呼び掛けをトリガーに発話したエージェント装置３００の発話内容が表示欄Ｄに時系列に表示される。そして、管理装置１００に蓄積されるコミュニケーション履歴１２３がログ情報として共有される。
【0076】
本実施形態は、エージェント装置３００が、ユーザの問い掛けや呼び掛けを理解して、その都度、状態検出機器の検出情報に基づくエージェント発話テキストを生成して提供するので、エージェント装置３００がコミュニケーショングループ内の疑似ユーザとして登場し、ユーザ同士の情報伝達の会話により近いコミュニケーション環境を提供することができる。
【0077】
また、上記例示の施設以外にも、警備業におけるビル施設、物流業のバース（発着所）などがある。また、状態検出機器は、温度センサ以外にも、本コミュニケーションシステムの適用シーンに合わせて、様々な検出機器を用いることができる。
【0078】
例えば、状態検出機器として、カメラがある。人の動きや混雑度を、カメラで撮影した画像を用いて解析・判定し、「浴場に多数移動した」、「フロントに行列ができている」などの解析結果をトリガーに、エージェント装置３００がこれらの解析結果に対するエージェント発話テキストを管理装置１００に送信し、ユーザ端末５００に合成音声通知及びテキスト表示通知を行うことができる。また、混雑等に関する他の例としては、例えば、駐車場の混雑度を解析・判定し、「もうすぐ駐車場が満車になります」、「第２駐車場の準備をお願いします」などをユーザ端末５００に合成音声通知及びテキスト表示通知を行うこともできる。
【0079】
また、エージェント装置３００が、特定の人物をカメラ画像から抽出する機能を備えるように構成することもできる。この場合、例えば、予め登録された人物画像と撮影された画像とのマッチング処理を行い、状態検出機器であるカメラが設置された場所の情報を用いて、「誰が何処に到着した」という解析結果を得ることができる。このような解析結果をトリガーとして使用し、例えば、「～さんが、～にいます」というエージェント発話テキストをエージェント装置３００が出力し、管理装置１００を通じて各ユーザ端末５００に合成音声で通知することができる。
【0080】
また、他の例としては、状態検出機器として重量センサを適用することができる。例えば、エレベーター等に使われている重量センサと連携し、１０分間に５回以上重量オーバーの発生を検知したことをトリガーに、エージェント装置３００が「エレベーターが混雑しています」などのエージェント発話テキストを出力し、管理装置１００を通じて合成音声で各ユーザ端末５００（各ユーザ）に通知する。各ユーザは、必要に応じて人通り整理に向かうことができる。
【0081】
さらに、状態検出機器としてＧＰＳ装置（位置情報検出機器）を適用することができる。例えば、人力で引く荷車などにＧＰＳ装置を取り付けておき、エージェント装置３００は、ＧＰＳ装置から荷車の位置情報を取得可能に構成する。そして、エージェント装置３００は、予め設定されたルートや進入禁止場所と荷車の現在位置とをマッチングし、ルートから所定の範囲ズレていることや進入禁止場所への侵入を検知することができる。そして、これらを検知した場合に、「ルートは間違っていませんか？」、「そこは進入禁止場所です」といったエージェント発話テキストを出力し、管理装置１００を通じて合成音声で各ユーザ端末５００（各ユーザ）に通知する。このとき、進入禁止場所への侵入は、ユーザ端末５００のユーザ以外にも施設利用者も想定される。この場合、通知を受けた各ユーザ端末５００のユーザは、進入禁止場所へ向かい、施設利用者に適切にガイドすることができる。
【0082】
なお、コミュニケーション管理装置１００が、エージェント装置３００の各機能を備えるように構成することもできる。すなわち、図２又は図９で示したエージェント装置３００の機能が、コミュニケーション管理装置１００内にエージェント部として設けられる。そして、状態検出機器による検出情報が、コミュニケーション管理装置１００に送信されるように構成する。このとき、状態検出機器は、データ通信機能を内的に備えていてもよく、また、状態検出機器を個別のデータ通信機器に接続し、データ通信機器を介してコミュニケーション管理装置１００の検出情報を送信できるように構成してもよい。コミュニケーション管理装置１００のエージェント部は、監視対象の状態検出機器から出力される検出情報を受け付け、検出情報に基づくエージェント発話テキストを生成し、上記実施形態同様に、コミュニケーショングループの一員として動作することができる。
【0083】
【0084】
本実施形態のコミュニケーション管理装置１００は、上述のグループ通話機能に加えて、個別通話機能を備えている。図１２は、本実施形態のグループ通話モード中の個別通話モード割り込み処理の一例を説明するための図である。図１２に示すように、エージェント装置３００から発信されるエージェント発話テキストに基づく合成音声を、グループ通話中のコミュニケーショングループ内の特定のユーザだけに向けて送信する。
【0085】
上述のように、エージェント装置３００は、コミュニケーショングループ内のメンバ（エージェント）として登録される。本実施形態では、管理装置１００を通じたエージェントと特定のユーザとの間の個別通話機能を提供する。
【0086】
図１３は、本実施形態の管理装置（コミュニケーション管理装置）１００、エージェント装置３００、ユーザ端末５００の各構成ブロック図である。図１３に示すように、上記第１実施形態及び第２実施形態において説明した第１制御部及び第２制御部は、グループ通話制御部１１２Ａとして示されている。コミュニケーション制御部１１２は、グループ通話制御部１１２Ａ及び個別通話制御部１１２Ｂを備えるように構成される。
【0087】
管理装置１００は、コミュニケーショングループに登録された複数のユーザを含むグループメンバリストを生成し、保持している。個別通話制御部１１２Ｂは、エージェント装置３００から送信される個別通話要求に基づいて、グループメンバリストから該当するユーザを指定する。
【0088】
個別通話制御部１１２Ｂは、グループ通話で同報配信されるコミュニケーショングループ内のユーザを対象に、特定のユーザだけに向けて発話音声データを送信する個別通話機能を提供する。個別通話制御部１１２Ｂは、グループ通話モード中に、管理装置１００を通じてエージェント装置３００が特定のユーザと一対一で通話を行うために、指定されたユーザに対してコール（呼）を発信するコール処理を行う。コール処理は、維持されているグループ通話モードに対する割り込み処理であり、コール処理に対してユーザが応答すると、呼接続処理（個別通話通信チャネルの確立処理）を行う。これにより、確立された通話チャネルを通じ、エージェントから特定のユーザだけに向けた発話音声データの配信処理が開始される。これらの処理全体は、コミュニケーショングループ内のグループ通話状態を維持しつつ、特定のユーザをコミュニケーショングループ内の他のユーザとは区画した状態で通話を行うための個別通話割り込み処理として実行される。
【0089】
なお、本実施形態の個別通話機能は、エージェント以外の２人のユーザ間にも適用可能である。つまり、管理装置１００は、コミュニケーショングループに登録された複数のユーザを含むグループメンバリストを、事前に各ユーザ端末５００に配信することができる。そして、ユーザ端末５００は、グループメンバリストから個別通話相手のユーザが選択されると、選択されたユーザを含む個別通話要求を管理装置１００に送信することができる。個別通話制御部１１２Ｂは、選択されたユーザに対してコール処理を行い、コールされたユーザの応答アクションに基づいて、個別通話通信チャネルの確立することができる。
【0090】
なお、個別通話制御部１１２Ｂは、グループ通話モード中でなくても、個別通話要求を受け付け、指定又は選択されたユーザとの間で個別通話チャネルを開き、一対一で通話機能を提供することもできる。
【0091】
個別通話終了後は、コミュニケーショングループ内で維持されているグループ通話モードへの自動復帰処理を行うことができる。自動復帰処理は、コミュニケーション制御部１１２によって遂行される。ユーザ端末５００において個別通話モードに対する切断操作が行われると、コミュニケーション制御部１１２は、確立していた個別通話チャネルの切断処理を行って、実行中のグループ通話モードの通話チャネルに自動復帰させる。また、個別通話制御部１１２Ｂ側からの個別通話通信チャネルの切断処理に伴って、グループ通話モードへの自動復帰を行うように構成してもよい。
【0092】
個別通話モードの通話時間（コール開始時刻、呼応答後の通話時間、通話終了時刻）は、個別通話モード実行履歴として、個別通話相手の履歴と共に管理装置１００に蓄積される。また、個別通話中の発話音声データは、グループ通話モードと同様に、音声認識処理されてテキスト化し、コミュニケーション履歴情報１２３内に、又はコミュニケーション履歴情報１２３の時間経過と紐付けて個別に格納することができる。個別通話モード中の発話音声データも同様に記憶装置１２０に格納することができる。
【0093】
このように本実施形態の管理装置１００（通信装置１３０）は、グループ通話機能に対応して、一のユーザによる発話音声データ及びその発話内容のテキスト情報（発話音声データを音声認識処理して得られたテキスト情報）を複数の各ユーザ端末５００に一斉に送る同報配信通信制御を行う。また、個別通話機能に対応して、特定のユーザ（個別通話ユーザ）間での発話音声データの個別配信通信制御を行う。
【0094】
次に、エージェント装置３００は、図１４に示す特定通知設定情報を事前に保持することができる。図１４に示すように、状況判定条件が設定され、各条件毎に個別通話で連絡をする特定ユーザが決められている。また、連絡する内容（エージェント発話テキスト）も予め設定されている。
【0095】
図１４に示す特定通知設定情報は、上記第１，第２実施形態における図５の設定管理情報に、連絡するユーザ（特定ユーザ、ユーザ特性）と、連絡手段としての回線種別（個別通話、グループ通話）が追加された情報である。図５の判定条件が、図１４の状況判定条件に相当する。
【0096】
図１５は、本実施形態のコミュニケーションシステムの第３事例に基づく処理フローを示す図である
【0097】
エージェント装置３００の制御部（判定部）３３０は、監視対象のセンサ機器（状態検出機器）１から出力される検出情報を受け付け（Ｓ３００１）、特定通知設定情報の「状況判定条件」とマッチングする（Ｓ３００２）。受け付けた検出情報が、状況判定条件を満たすか否かを判定し（Ｓ３００３）、状況判定条件を満たすと判定された場合（Ｓ３００３のＹＥＳ）、予め設定された発話テキストを抽出し（Ｓ３００４）、連絡するユーザ、回線種別及び発話テキストの各情報を含む連絡要求を、管理装置１００に送信する（Ｓ３００５）。
【0098】
管理装置１００は、エージェント装置３００から連絡要求を受け付けると、音声合成部１１４が、受信したエージェント発話テキストの音声合成データを生成する（Ｓ１００１）。
【0099】
次に、コミュニケーション制御部１１２は、受け付けた連絡要求に含まれる回線種別と連絡先である特定ユーザを参照し、特定ユーザへの個別通話設定があるか否かを確認する（Ｓ１００１Ａ）。回線種別が「グループ通話」であれば、ステップＳ１００２に進み、個別通話モードではなく、グループ通話モードで連絡処理を行う（Ｓ１００３，Ｓ１００４）。このとき、コミュニケーション履歴１２３に、発話テキスト等が時系列に蓄積される（Ｓ１００２）。
【0100】
ステップＳ１００１Ａにおいて、特定ユーザへの個別通話設定があると判定された場合（Ｓ１００１ＡのＹＥＳ）、個別通話制御部１１２Ｂは、現在のグループ通話モードに対し、連絡要求に含まれる特定ユーザへの個別通話モード（割り込み）処理を行う（Ｓ１００１Ｂ）。具体的には、個別通話通信チャネルを用いて、特定ユーザへのコール処理を行う（１００１Ｃ）。コールを受けた特定ユーザは、着信呼に対する応答操作を行う（Ｓ５０４ａ）。特定ユーザが着信呼に対する応答する旨の操作を行うと、管理装置１００は、個別通話通信チャネルで、管理装置１００と特定ユーザとの個別通話回線を確立する通話処理を行う（Ｓ１００１Ｄ）。個別通話制御部１１２Ｂは、個別通話回線を通じて、エージェント発話テキストの音声合成データを、特定ユーザのユーザ端末５００に配信する。したがって、エージェントと特定ユーザとの間の個別通話回線による連絡が実現される。
【0101】
なお、個別通話モードに移行した特定ユーザは、グループ通話の通話チャネルに対して「保留」と同じ取り扱いとなり、個別通話終了後はグループ通話の通信チャネルに自動復帰することができる。また、コミュニケーション制御部１１２は、個別通話モードを利用した特定ユーザへの連絡履歴も、コミュニケーション履歴１２３に格納する（Ｓ１００２）。
【0102】
また、エージェントに対する個別通話相手は、２人以上であってよい。この場合、各特定ユーザに対して別々の個別通話チャネルを確立し、それぞれにエージェント発話テキストに基づく音声合成データを配信することができる。また、個別通話相手別に異なるエージェント発話テキストを設定することもできる。つまり、図１４の例のように、フロアマネージャーには「温度が閾値を下回りました。設定ユーザへの要対応通知を行います。」のエージェント発話テキストを設定し、有資格者（例えば、ボイラー技士）には、「至急、温度調節作業をお願いします。」のエージェント発話テキストを設定することができる。フロアマネージャー及び有資格者は、同じ状況判定条件）に対して異なる発話テキストに基づく音声合成データが配信されることになる。
【0103】
また、連絡先ユーザは、予め設定されたユーザでなくてもよい。図１４の例のように、各ユーザ（ユーザ端末）の位置情報を予め把握し、状況判定条件を満たすことで発生した事象への対応者として、その事象が発生した場所に近い１人又は２人以上のユーザを特定ユーザとして決定することができる。図１４の例では、進入禁止エリアで進入が検知された場合に、ユーザの位置情報に応じて特定ユーザを選定し、発話テキスト「進入禁止エリアでセンサ検知が発生しました。近距離ユーザとして対応願います。」の音声合成データを、選定した特定ユーザに配信することができる。
【0104】
なお、上述したように、管理装置１００が、エージェント装置３００の各機能を備えるように構成することもできるので、本実施形態の変形例として、管理装置１００内に、エージェント装置３００に相当するエージェント機能部を備えるように構成する。そして、管理装置１００が、センサ機器１から検出情報を受け付けて、図１５のステップＳ３００２、Ｓ３００３、及びＳ３００４を遂行し、グループ通話中に個別通話モードでの連絡を行うように構成することができる。
【0105】
以上、本実施形態について説明したが、コミュニケーション管理装置１００及びエージェント装置３００の各機能は、プログラムによって実現可能であり、各機能を実現するために予め用意されたコンピュータプログラムが補助記憶装置に格納され、ＣＰＵ等の制御部が補助記憶装置に格納されたプログラムを主記憶装置に読み出し、主記憶装置に読み出された該プログラムを制御部が実行することで、各部の機能を動作させることができる。
【0106】
また、上記プログラムは、コンピュータ読取可能な記録媒体に記録された状態で、コンピュータに提供することも可能である。コンピュータ読取可能な記録媒体としては、ＣＤ－ＲＯＭ等の光ディスク、ＤＶＤ－ＲＯＭ等の相変化型光ディスク、ＭＯ（Magnet Optical）やＭＤ(Mini Disk)などの光磁気ディスク、フロッピー（登録商標）ディスクやリムーバブルハードディスクなどの磁気ディスク、コンパクトフラッシュ（登録商標）、スマートメディア、SDメモリカード、メモリスティック等のメモリカードが挙げられる。また、本発明の目的のために特別に設計されて構成された集積回路（ICチップ等）等のハードウェア装置も記録媒体として含まれる。
【0107】
なお、本発明の実施形態を説明したが、当該実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0108】
１００ コミュニケーション管理装置
１１０ 制御装置
１１１ ユーザ管理部
１１２ コミュニケーション制御部（第１制御部，第２制御部）
１１２Ａ グループ通話制御部（第１制御部，第２制御部）
１１２Ｂ 個別通話制御部
１１３ 音声認識部
１１４ 音声合成部
１２０ 記憶装置
１２１ ユーザ情報
１２２ グループ情報
１２３ コミュニケーション履歴情報
１２４ 音声認識辞書
１２５ 音声合成辞書
１３０ 通信装置
３００ エージェント装置
３１０ 通信部
３２０ センサ情報取得部
３３０ 制御部（判定部）
３３０Ａ 制御部（情報提供部）
３４０ 発話テキスト送信部
３５０ 設定管理部
３６０ 記憶部
３７０ テキスト受信部
３８０ テキスト解析部
５００ ユーザ端末（移動通信端末）
５１０ 通信・通話部
５２０ コミュニケーションＡｐｐ制御部
５３０ マイク（集音部）
５４０ スピーカー（音声出力部）
５５０ 表示・入力部
５６０ 記憶部
Ｄ 表示欄
１１０ 制御装置
１１１ ユーザ管理部
１１２ コミュニケーション制御部（第１制御部，第２制御部）
１１２Ａ グループ通話制御部（第１制御部，第２制御部）
１１２Ｂ 個別通話制御部
１１３ 音声認識部
１１４ 音声合成部
１２０ 記憶装置
１２１ ユーザ情報
１２２ グループ情報
１２３ コミュニケーション履歴情報
１２４ 音声認識辞書
１２５ 音声合成辞書
１３０ 通信装置
３００ エージェント装置
３１０ 通信部
３２０ センサ情報取得部
３３０ 制御部（判定部）
３３０Ａ 制御部（情報提供部）
３４０ 発話テキスト送信部
３５０ 設定管理部
３６０ 記憶部
３７０ テキスト受信部
３８０ テキスト解析部
５００ ユーザ端末（移動通信端末）
５１０ 通信・通話部
５２０ コミュニケーションＡｐｐ制御部
５３０ マイク（集音部）
５４０ スピーカー（音声出力部）
５５０ 表示・入力部
５６０ 記憶部
Ｄ 表示欄
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
