ホーム > 特許ランキング > 株式会社コトバデザイン
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023081469
(43)【公開日】2023-06-13
(54)【発明の名称】プログラム、装置、方法及びシステム
(51)【国際特許分類】
H04M 11/00 20060101AFI20230606BHJP
G10L 25/78 20130101ALI20230606BHJP
G10L 25/60 20130101ALI20230606BHJP
G10L 25/51 20130101ALI20230606BHJP
H04M 3/56 20060101ALI20230606BHJP
【ＦＩ】
H04M11/00 302
G10L25/78
G10L25/60
G10L25/51
H04M3/56 Z
【審査請求】未請求
【請求項の数】34
【出願形態】ＯＬ
(21)【出願番号】P 2021195194
(22)【出願日】2021-12-01
(71)【出願人】
【識別番号】517303292
【氏名又は名称】株式会社コトバデザイン
(74)【代理人】
【識別番号】110002815
【氏名又は名称】ＩＰＴｅｃｈ弁理士法人
(72)【発明者】
【氏名】山上 勝義
(72)【発明者】
【氏名】松田 繁樹
(72)【発明者】
【氏名】土田 正明
【テーマコード（参考）】
5K201
【Ｆターム（参考）】
5K201AA01
5K201AA05
5K201BB09
5K201BC27
5K201CA01
5K201CA05
5K201CA06
5K201DC04
5K201EC06
5K201ED07
5K201EF03
5K201EF07
5K201EF10
(57)【要約】
【課題】通話相手の音声の状態を容易に把握する。
【解決手段】プロセッサ１９とメモリ１５とを備え、他の端末装置１０と音声データの送受信が可能な端末装置１０を動作させるためのプログラムであって、プログラムは、プロセッサ２９に、他の端末装置１０から送信された音声データを受信するステップと、受信した音声データの状態を評価して第１の評価結果として出力するステップと、第１の評価結果を他の端末装置１０に返信するステップと、受信した音声データに基づく音声をユーザに出力するステップとを実行させる。
【選択図】 図１
【解決手段】プロセッサ１９とメモリ１５とを備え、他の端末装置１０と音声データの送受信が可能な端末装置１０を動作させるためのプログラムであって、プログラムは、プロセッサ２９に、他の端末装置１０から送信された音声データを受信するステップと、受信した音声データの状態を評価して第１の評価結果として出力するステップと、第１の評価結果を他の端末装置１０に返信するステップと、受信した音声データに基づく音声をユーザに出力するステップとを実行させる。
【選択図】 図１
【特許請求の範囲】
【請求項1】
プロセッサとメモリとを備え、他の端末装置と音声データの送受信が可能な端末装置を動作させるためのプログラムであって、
前記プログラムは、前記プロセッサに、
前記他の端末装置から送信された前記音声データを受信するステップと、
受信した前記音声データの状態を評価して第１の評価結果として出力するステップと、
前記第１の評価結果を前記他の端末装置に返信するステップと、
前記受信した前記音声データに基づく音声をユーザに出力するステップと
を実行させるプログラム。
前記プログラムは、前記プロセッサに、
前記他の端末装置から送信された前記音声データを受信するステップと、
受信した前記音声データの状態を評価して第１の評価結果として出力するステップと、
前記第１の評価結果を前記他の端末装置に返信するステップと、
前記受信した前記音声データに基づく音声をユーザに出力するステップと
を実行させるプログラム。
【請求項2】
前記他の端末装置から送信される、前記端末装置から送信されて前記他の端末装置で受信された前記音声データの状態を評価した第２の評価結果を受信するステップと、
受信した前記第２の評価結果を前記ユーザに提示するステップと
をさらに実行させる請求項１に記載のプログラム。
受信した前記第２の評価結果を前記ユーザに提示するステップと
をさらに実行させる請求項１に記載のプログラム。
【請求項3】
前記第２の評価結果に応じたアイコンを前記ユーザに提示するステップをさらに実行させる請求項２に記載のプログラム。
【請求項4】
前記アイコンを前記ユーザに提示するステップでは、前記第２の評価結果に応じて、前記他の端末装置の前記ユーザに関する画像の表示態様を変化させる請求項３に記載のプログラム。
【請求項5】
前記第２の評価結果を前記ユーザに提示するステップでは、前記第２の評価結果に応じた音を発生させる請求項２に記載のプログラム。
【請求項6】
前記第２の評価結果を前記ユーザに提示するステップでは、前記第２の評価結果が所定状態よりも良好である場合、前記第２の評価結果を提示しない請求項２～５のいずれか一項に記載のプログラム。
【請求項7】
前記第２の評価結果には、前記音声データを受信した前記他の端末装置を特定する識別子が付されており、
前記第２の評価結果を前記ユーザに提示するステップでは、前記第２の評価結果を、他の端末装置が識別可能に前記ユーザに提示する請求項２～６のいずれか一項に記載のプログラム。
前記第２の評価結果を前記ユーザに提示するステップでは、前記第２の評価結果を、他の端末装置が識別可能に前記ユーザに提示する請求項２～６のいずれか一項に記載のプログラム。
【請求項8】
前記第２の評価結果を前記ユーザに提示するステップでは、前記他の端末装置の前記ユーザの画像と関連付けて提示する請求項７に記載のプログラム。
【請求項9】
前記音声データを受信するステップでは、符号化されてパケットに変換されている前記音声データを受信してこの音声データを復号化し、
前記第１の評価結果として出力するステップでは、前記復号化の際のパケットロス率に基づいて前記音声データの状態を評価する
請求項２～８のいずれか一項に記載のプログラム。
前記第１の評価結果として出力するステップでは、前記復号化の際のパケットロス率に基づいて前記音声データの状態を評価する
請求項２～８のいずれか一項に記載のプログラム。
【請求項10】
前記第２の評価結果を前記ユーザに提示するステップでは、前記第２の評価結果として前記他の端末装置との通信における前記パケットロス率を前記ユーザに提示する請求項９に記載のプログラム。
【請求項11】
前記第１の評価結果を出力するステップでは、音声区間検出を利用し、前記音声データの状態を評価する請求項２～８のいずれか一項に記載のプログラム。
【請求項12】
前記第１の評価結果を出力するステップでは、前記音声データの品質に基づいて前記音声データの状態を評価する請求項２～８のいずれか一項に記載のプログラム。
【請求項13】
前記第２の評価結果を前記ユーザに提示するステップでは、前記ユーザが発した音声に基づく前記音声データの品質を、前記第２の評価結果として前記ユーザに提示する請求項１２に記載のプログラム。
【請求項14】
前記第２の評価結果を受信するステップでは、複数の前記他の端末装置から前記音声データの品質の基づく前記音声データの状態の評価を受信し、
前記第２の評価結果を前記ユーザに提示するステップでは、少なくとも１つ以外の前記第２の評価結果を除去する請求項１３に記載のプログラム。
前記第２の評価結果を前記ユーザに提示するステップでは、少なくとも１つ以外の前記第２の評価結果を除去する請求項１３に記載のプログラム。
【請求項15】
前記音声データを受信するステップでは、前記他の端末装置を特定する第１識別子が付与された前記音声データを受信し、
前記第１の評価結果として出力するステップでは、前記第１の評価結果に前記端末装置を特定する第２識別子を付し、
前記第１の評価結果を前記他の端末装置に返信するステップでは、前記第２識別子が付された前記第１の評価結果を、前記第１識別子により特定される前記他の端末装置を送信先として送信する
請求項１～１４のいずれか一項に記載のプログラム。
前記第１の評価結果として出力するステップでは、前記第１の評価結果に前記端末装置を特定する第２識別子を付し、
前記第１の評価結果を前記他の端末装置に返信するステップでは、前記第２識別子が付された前記第１の評価結果を、前記第１識別子により特定される前記他の端末装置を送信先として送信する
請求項１～１４のいずれか一項に記載のプログラム。
【請求項16】
前記端末装置の前記ユーザから発せられた音声に基づく前記音声データの品質を評価するステップと、
前記端末装置の前記ユーザから発せられた音声に基づく前記音声データの品質の評価結果である第３の評価結果を前記ユーザに提示するステップと
をさらに実行させる請求項１～１５のいずれか一項に記載のプログラム。
前記端末装置の前記ユーザから発せられた音声に基づく前記音声データの品質の評価結果である第３の評価結果を前記ユーザに提示するステップと
をさらに実行させる請求項１～１５のいずれか一項に記載のプログラム。
【請求項17】
前記音声データの品質を評価するステップでは、前記端末装置の前記ユーザから発せられた前記音声の特性である前記音声のパワー、SN比、マイク特性、又はこれらのうち少なくとも２つの検出の組み合わせに基づいて前記音声データの品質を評価する請求項１６に記載のプログラム。
【請求項18】
前記音声データの品質を評価するステップでは、前記端末装置の前記ユーザから前記音声データが入力される毎に前記特性を検出し、前記音声データの入力が途絶えたら最後に検出した前記特性の値を保持する請求項１７に記載のプログラム。
【請求項19】
前記音声データの品質を評価するステップでは、前記特性の検出結果に基づいてスコアを算出することで前記音声データの品質を評価する請求項１７または１８に記載のプログラム。
【請求項20】
前記第３の評価結果を前記端末装置のユーザに提示するステップでは、前記端末装置の前記ユーザから前記音声データが入力されていない状態では前記第３の評価結果を提示しない請求項１６～１９のいずれか一項に記載のプログラム。
【請求項21】
前記第３の評価結果を前記前記端末装置のユーザに提示するステップでは、前記第３の評価結果として前記音声の前記パワー、前記SN比、前記マイク特性、又はこれらのうち少なくとも２つの検出の組み合わせを前記端末装置の前記ユーザに提示する請求項１７～１９のいずれか一項に記載のプログラム。
【請求項22】
プロセッサとメモリとを備え、複数の端末装置の間で音声データの送受信をさせるサーバを動作させるためのプログラムであって、
前記プログラムは、前記プロセッサに、
前記端末装置毎の入力音声の音声パワーを検出するステップと、
前記音声パワーの検出結果に基づいて、前記音声パワーの平均値及び分散を算出するステップと、
算出した前記平均値及び前記分散に基づいて、前記複数の端末装置を利用する各々の発話者の前記音声パワーと前記平均値とのずれが所定値以上であるか否かを判定するステップと、
前記音声パワーと前記平均値とのずれが所定値以上であると判定された前記発話者に対して第４の判定結果を提示するステップと
を実行させるプログラム。
前記プログラムは、前記プロセッサに、
前記端末装置毎の入力音声の音声パワーを検出するステップと、
前記音声パワーの検出結果に基づいて、前記音声パワーの平均値及び分散を算出するステップと、
算出した前記平均値及び前記分散に基づいて、前記複数の端末装置を利用する各々の発話者の前記音声パワーと前記平均値とのずれが所定値以上であるか否かを判定するステップと、
前記音声パワーと前記平均値とのずれが所定値以上であると判定された前記発話者に対して第４の判定結果を提示するステップと
を実行させるプログラム。
【請求項23】
前記音声パワーを検出するステップでは、前記端末装置から音声が入力される毎に前記音声パワーの検出を行い、前記音声の入力が途絶えたら最後の検出値を保持する請求項２２に記載のプログラム。
【請求項24】
前記音声パワーの前記平均値及び前記分散を算出するステップでは、秒単位での間隔を置いて音声パワーの平均値及び分散を算出する請求項２２または２３に記載のプログラム。
【請求項25】
前記音声パワーと前記平均値とのずれが所定値以上であるか否かを判定するステップでは、秒単位での間隔を置いて判定する請求項２２～２４のいずれか一項に記載のプログラム。
【請求項26】
前記音声データには、前記音声データを送出した前記端末装置を特定する識別子が付されており、
前記音声パワーの前記平均値及び前記分散を算出するステップでは、前記識別子に基づいて現在通話をしている前記発話者が変更されたことを検出したら、前記音声パワーの前記平均値及び前記分散を算出し直す
請求項２２～２５のいずれか一項に記載のプログラム。
前記音声パワーの前記平均値及び前記分散を算出するステップでは、前記識別子に基づいて現在通話をしている前記発話者が変更されたことを検出したら、前記音声パワーの前記平均値及び前記分散を算出し直す
請求項２２～２５のいずれか一項に記載のプログラム。
【請求項27】
前記第４の判定結果を提示するステップでは、通信回線が接続されているが発話をしていない発話者がいたら、前記第４の判定結果を提示しない請求項２２～２６のいずれか一項に記載のプログラム。
【請求項28】
前記第４の判定結果を提示するステップでは、前記第４の判定結果とともに解決策を提示する請求項２２～２７のいずれか一項に記載のプログラム。
【請求項29】
プロセッサとメモリとを備え、他の装置と音声データの送受信が可能な装置であって、
前記プロセッサは、
前記他の装置から送信された前記音声データを受信するステップと、
受信した前記音声データの状態を評価して第１の評価結果として出力するステップと、
前記第１の評価結果を前記他の装置に返信するステップと、
前記受信した前記音声データに基づく音声をユーザに出力するステップと
を実行する装置。
前記プロセッサは、
前記他の装置から送信された前記音声データを受信するステップと、
受信した前記音声データの状態を評価して第１の評価結果として出力するステップと、
前記第１の評価結果を前記他の装置に返信するステップと、
前記受信した前記音声データに基づく音声をユーザに出力するステップと
を実行する装置。
【請求項30】
プロセッサとメモリとを備え、他のコンピュータと音声データの送受信が可能なコンピュータにより実行される方法であって、
前記プロセッサは、
前記他のコンピュータから送信された前記音声データを受信するステップと、
受信した前記音声データの状態を評価して第１の評価結果として出力するステップと、
前記第１の評価結果を前記他のコンピュータに返信するステップと、
前記受信した前記音声データに基づく音声をユーザに出力するステップと
を実行する方法。
前記プロセッサは、
前記他のコンピュータから送信された前記音声データを受信するステップと、
受信した前記音声データの状態を評価して第１の評価結果として出力するステップと、
前記第１の評価結果を前記他のコンピュータに返信するステップと、
前記受信した前記音声データに基づく音声をユーザに出力するステップと
を実行する方法。
【請求項31】
端末装置と他の端末装置との間での音声データの送受信が可能なシステムであって、
前記端末装置は、
前記他の端末装置から送信された前記音声データを受信する手段と、
受信した前記音声データの状態を評価して第１の評価結果として出力する手段と、
前記第１の評価結果を前記他の端末装置に返信する手段と、
前記受信した前記音声データに基づく音声をユーザに出力する手段と
を具備するシステム。
前記端末装置は、
前記他の端末装置から送信された前記音声データを受信する手段と、
受信した前記音声データの状態を評価して第１の評価結果として出力する手段と、
前記第１の評価結果を前記他の端末装置に返信する手段と、
前記受信した前記音声データに基づく音声をユーザに出力する手段と
を具備するシステム。
【請求項32】
プロセッサとメモリとを備え、複数の端末装置の間で音声データの送受信をさせる装置であって、
前記プロセッサは、
前記端末装置毎の入力音声の音声パワーを検出するステップと、
前記音声パワーの検出結果に基づいて、前記音声パワーの平均値及び分散を算出するステップと、
算出した前記平均値及び前記分散に基づいて、前記複数の端末装置を利用する各々の発話者の前記音声パワーと前記平均値とのずれが所定値以上であるか否かを判定するステップと、
前記音声パワーと前記平均値とのずれが所定値以上であると判定された前記発話者に対して第４の判定結果を提示するステップと
を実行する装置。
前記プロセッサは、
前記端末装置毎の入力音声の音声パワーを検出するステップと、
前記音声パワーの検出結果に基づいて、前記音声パワーの平均値及び分散を算出するステップと、
算出した前記平均値及び前記分散に基づいて、前記複数の端末装置を利用する各々の発話者の前記音声パワーと前記平均値とのずれが所定値以上であるか否かを判定するステップと、
前記音声パワーと前記平均値とのずれが所定値以上であると判定された前記発話者に対して第４の判定結果を提示するステップと
を実行する装置。
【請求項33】
プロセッサとメモリとを備え、複数の端末装置の間で音声データの送受信をさせるコンピュータにより実行される方法であって、
前記プロセッサは、
前記端末装置毎の入力音声の音声パワーを検出するステップと、
前記音声パワーの検出結果に基づいて、前記音声パワーの平均値及び分散を算出するステップと、
算出した前記平均値及び前記分散に基づいて、前記複数の端末装置を利用する各々の発話者の前記音声パワーと前記平均値とのずれが所定値以上であるか否かを判定するステップと、
前記音声パワーと前記平均値とのずれが所定値以上であると判定された前記発話者に対して第４の判定結果を提示するステップと
を実行する方法。
前記プロセッサは、
前記端末装置毎の入力音声の音声パワーを検出するステップと、
前記音声パワーの検出結果に基づいて、前記音声パワーの平均値及び分散を算出するステップと、
算出した前記平均値及び前記分散に基づいて、前記複数の端末装置を利用する各々の発話者の前記音声パワーと前記平均値とのずれが所定値以上であるか否かを判定するステップと、
前記音声パワーと前記平均値とのずれが所定値以上であると判定された前記発話者に対して第４の判定結果を提示するステップと
を実行する方法。
【請求項34】
複数の端末装置と、これら複数の端末装置の間で音声データの送受信をさせるサーバとを有するシステムであって、
前記サーバは、
前記端末装置毎の入力音声の音声パワーを検出する手段と、
前記音声パワーの検出結果に基づいて、前記音声パワーの平均値及び分散を算出する手段と、
算出した前記平均値及び前記分散に基づいて、前記複数の端末装置を利用する各々の発話者の前記音声パワーと前記平均値とのずれが所定値以上であるか否かを判定する手段と、
前記音声パワーと前記平均値とのずれが所定値以上であると判定された前記発話者に対して第４の判定結果を提示する手段と
を具備するシステム。
前記サーバは、
前記端末装置毎の入力音声の音声パワーを検出する手段と、
前記音声パワーの検出結果に基づいて、前記音声パワーの平均値及び分散を算出する手段と、
算出した前記平均値及び前記分散に基づいて、前記複数の端末装置を利用する各々の発話者の前記音声パワーと前記平均値とのずれが所定値以上であるか否かを判定する手段と、
前記音声パワーと前記平均値とのずれが所定値以上であると判定された前記発話者に対して第４の判定結果を提示する手段と
を具備するシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、プログラム、装置、方法及びシステムに関する。
【背景技術】
【0002】
Web会議システムや音声通信アプリなどで通話している時に、発話者の音声が通話相手に届かない、もしくは、聞き取りにくい状態の音声となることがある。その原因として、発話側の音声入力の問題、発話側の通信の問題及び／または受話側の通信の問題が考えられる。上記のような原因で音声が聞き取りにくいとき、発話者自身がそれに気づくことは難しく、通話相手に指摘されて初めて気づくことになる。
【0003】
上述した問題に関連する技術として、例えば特許文献１、特許文献２に開示された技術がある。
【0004】
特許文献１には、ユーザから受信したメッセージが理解可能であることを自動的に検証するためのシステムおよび方法が開示されている。一例として、システムは、入力音声の了解度の推定値を計算し、了解度のしきい値と比較して、計算された了解度の推定値が了解度のしきい値を下回ると判断された場合、ユーザはメッセージの少なくとも一部を繰り返すように促される。
【0005】
また、特許文献２には、信号対雑音比が悪いために音声入力がデバイスによって処理されない可能性が高い時期をユーザに示す音声制御装置が開示されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】米国特許第７６６０７１６号明細書
【特許文献2】米国特許第９５５８７５８号明細書
【発明の概要】
【発明が解決しようとする課題】
【0007】
複数のユーザが音声通話を行っている状況においては、音声の状態に関して、少なくとも発話するユーザの端末入力時の音声の状態と、その音声が通話相手に到達した状態での音声の状態は、同一とは限らない。このため、複数人と通話中のユーザは、音声の状態に関して、自身側に問題があるのか、通話相手側に問題があるのかを容易に知ることができない。
【0008】
そこで、本開示は、上記課題を解決すべくなされたものであって、その目的は、通話相手の音声の状態を容易に把握することである。
【課題を解決するための手段】
【0009】
プロセッサとメモリとを備え、他の端末装置と音声データの送受信が可能な端末装置を動作させるためのプログラムである。プログラムは、プロセッサに、他の端末装置から送信された音声データを受信するステップと、受信した音声データの状態を評価して第１の評価結果として出力するステップと、第１の評価結果を他の端末装置に返信するステップと、受信した音声データに基づく音声をユーザに出力するステップとを実行させる。
【発明の効果】
【0010】
本開示によれば、通話相手の音声の状態を容易に把握することができる。
【図面の簡単な説明】
【0011】
【図1】実施形態のシステムの全体の構成を示す図である。
【図2】実施形態の端末装置の機能的な構成を示す図である。
【図3】実施形態の音声判定部及び提示制御部の機能構成の例を表すブロック図である。
【図4】実施形態のサーバの機能的な構成を示す図である。
【図5】実施形態のデータベースのデータ構造を示す図である。
【図6】実施形態のデータベースのデータ構造を示す図である。
【図7】実施形態のシステムにおける処理流れの一例を示すフローチャートである。
【図8】実施形態のシステムにおける処理流れの他の例を示すフローチャートである。
【図9】実施形態のシステムにおける処理流れの他の例を示すフローチャートである。
【図10】実施形態のシステムにおける処理流れの一例を示すシーケンス図である。
【図11】実施形態の端末装置で表示される画面の一例を表す模式図である。
【図12】実施形態の端末装置で表示される画面の別の一例を表す模式図である。
【図13】実施形態の端末装置で表示される画面の一例を表す模式図である。
【図14】実施形態の端末装置で表示される画面の別の一例を表す模式図である。
【図15】実施形態の端末装置で表示される画面の別の一例を表す模式図である。
【発明を実施するための形態】
【0012】
以下、本開示の実施形態について図面を参照して説明する。実施形態を説明する全図において、共通の構成要素には同一の符号を付し、繰り返しの説明を省略する。なお、以下の実施形態は、特許請求の範囲に記載された本開示の内容を不当に限定するものではない。また、実施形態に示される構成要素のすべてが、本開示の必須の構成要素であるとは限らない。また、各図は模式図であり、必ずしも厳密に図示されたものではない。
【0013】
また、以下の説明において、「プロセッサ」は、１以上のプロセッサである。少なくとも１つのプロセッサは、典型的には、ＣＰＵ（Central Processing Unit）のようなマイクロプロセッサであるが、ＧＰＵ（Graphics Processing Unit）のような他種のプロセッサでもよい。少なくとも１つのプロセッサは、シングルコアでもよいしマルチコアでもよい。
【0014】
また、少なくとも１つのプロセッサは、処理の一部又は全部を行うハードウェア回路（例えばＦＰＧＡ（Field-Programmable Gate Array）又はＡＳＩＣ（Application Specific Integrated Circuit））といった広義のプロセッサでもよい。
【0015】
また、以下の説明において、「ｘｘｘテーブル」といった表現により、入力に対して出力が得られる情報を説明することがあるが、この情報は、どのような構造のデータでもよいし、入力に対する出力を発生するニューラルネットワークのような学習モデルでもよい。従って、「ｘｘｘテーブル」を「ｘｘｘ情報」と言うことができる。
【0016】
また、以下の説明において、各テーブルの構成は一例であり、１つのテーブルは、２以上のテーブルに分割されてもよいし、２以上のテーブルの全部又は一部が１つのテーブルであってもよい。
【0017】
また、以下の説明において、「プログラム」を主語として処理を説明する場合があるが、プログラムは、プロセッサによって実行されることで、定められた処理を、適宜に記憶部及び／又はインタフェース部などを用いながら行うため、処理の主語が、プロセッサ（或いは、そのプロセッサを有するコントローラのようなデバイス）とされてもよい。
【0018】
プログラムは、計算機のような装置にインストールされてもよいし、例えば、プログラム配布サーバ又は計算機が読み取り可能な（例えば非一時的な）記録媒体にあってもよい。また、以下の説明において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。
【0019】
また、以下の説明において、種々の対象の識別情報として、識別番号が使用されるが、識別番号以外の種類の識別情報（例えば、英字や符号を含んだ識別子）が採用されてもよい。
【0020】
また、以下の説明において、同種の要素を区別しないで説明する場合には、参照符号（又は、参照符号のうちの共通符号）を使用し、同種の要素を区別して説明する場合は、要素の識別番号（又は参照符号）を使用することがある。
【0021】
また、以下の説明において、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。
【0022】
＜０ システムの概要＞
本開示のシステムでは、一例としてスマートフォン、タブレット端末など、移動体通信網などのネットワークを用いて相互通話可能な端末装置間において、端末装置のユーザが発話した音声が通話相手の端末装置においてどのように受信されているか、すなわち、通話相手における音声状態を容易に把握できる。このため、端末装置は、通話相手である他の端末装置から送信された音声データを受信し、受信した音声データの状態を評価して第１の評価結果として出力し、この第１の評価結果を前記他の端末装置に返信する。
本開示のシステムでは、一例としてスマートフォン、タブレット端末など、移動体通信網などのネットワークを用いて相互通話可能な端末装置間において、端末装置のユーザが発話した音声が通話相手の端末装置においてどのように受信されているか、すなわち、通話相手における音声状態を容易に把握できる。このため、端末装置は、通話相手である他の端末装置から送信された音声データを受信し、受信した音声データの状態を評価して第１の評価結果として出力し、この第１の評価結果を前記他の端末装置に返信する。
【0023】
また、本開示のシステムでは、端末装置のユーザが発話した音声の状態を容易に把握できる。このため、端末装置は、ユーザから発せられた音声に基づく音声データの品質を評価し、品質の評価結果である第３の評価結果をユーザに提示する。
【0024】
さらに、本開示のシステムでは、端末装置を用いて相互通話中のユーザの音声パワーのバラツキを評価し、バラツキの評価結果をユーザに提示する。このため、端末装置間での通話を仲介するサーバは、端末装置毎の入力音声の音声パワーを検出し、検出結果に基づいて、音声パワーの平均値及び分散を算出し、算出した平均値及び分散に基づいて、複数の端末装置を利用する各々の発話者の音声パワーと平均値とのずれが所定値以上であるか否かを判定し、ずれが所定値以上であると判定された発話者に対して第４の判定結果を提示する。
【0025】
＜１ システム全体の構成図＞
図１は、実施形態に係るシステム１の全体構成の例を示す図である。図１に示すように、システム１は、端末装置１０と、サーバ２０とを備えている。端末装置１０と、サーバ２０とは、有線又は無線の通信規格（含む移動体通信規格）を用い、ネットワーク８０を介して相互に通信可能に接続されている。図示の例では、複数の端末装置１０がシステム１に含まれている。
図１は、実施形態に係るシステム１の全体構成の例を示す図である。図１に示すように、システム１は、端末装置１０と、サーバ２０とを備えている。端末装置１０と、サーバ２０とは、有線又は無線の通信規格（含む移動体通信規格）を用い、ネットワーク８０を介して相互に通信可能に接続されている。図示の例では、複数の端末装置１０がシステム１に含まれている。
【0026】
ネットワーク８０は、インターネット、ＬＡＮ、無線基地局等によって構築される各種移動通信システム等で構成される。例えば、ネットワークには、３Ｇ、４Ｇ、５Ｇ移動通信システム、ＬＴＥ（Long Term Evolution）、所定のアクセスポイントによってインターネットに接続可能な無線ネットワーク（例えばWi-Fi（登録商標））等が含まれる。無線で接続する場合、通信プロトコルとして例えば、Ｚ－Ｗａｖｅ（登録商標）、ＺｉｇＢｅｅ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等が含まれる。有線で接続する場合は、ネットワークには、ＵＳＢ（Universal Serial Bus）ケーブル等により直接接続するものも含む。
【0027】
なお、図１では、サーバ２０が１台のコンピュータである場合を示しているが、サーバ２０は、複数台のコンピュータが組み合わされて実現されてもよい。また、図１では、端末装置１０が３台である場合を示しているが、システム１に収容される端末装置１０の台数に制限はなく、２台、あるいは４台以上であっても構わない。
【0028】
端末装置１０は、サーバ２０を介して相互に通信可能に構成された端末である。さらに、端末装置１０は、他の端末装置１０との間で音声データの送受信が可能な、言い換えれば端末装置１０のユーザが発話した音声により相互通話可能な端末である。例えば、端末装置１０は、スマートフォン、タブレット端末など、移動体通信網などのネットワークを用いて相互通話可能な情報処理装置である。あるいは、端末装置１０は、所定の音声会話アプリケーションが搭載された据え置き型のＰＣ（Personal Computer）、ラップトップＰＣ、ヘッドマウントディスプレイ等の情報処理装置であってもよい。
【0029】
図１に示すように、端末装置１０は、通信ＩＦ（Interface）１２と、入力装置１３と、出力装置１４と、メモリ１５と、ストレージ１６と、プロセッサ１９とを備える。通信ＩＦ１２、入力装置１３、出力装置１４、メモリ１５、ストレージ１６、及びプロセッサ１９は、例えば、バスを介して互いに通信可能に接続されている。
【0030】
通信ＩＦ１２は、端末装置１０が外部の装置との音声通信を含む通信をするため、音声データを含む信号を送受信するためのインタフェースである。入力装置１３は、ユーザからの入力操作を受け付けるための入力装置である。入力装置１３は、例えば、タッチパネル、タッチパッド、マウス等のポインティングデバイス、キーボード等を含む。出力装置１４は、ユーザに対し情報を提示するための出力装置である。出力装置１４は、例えば、ディスプレイ、スピーカ等を含む。
【0031】
メモリ１５は、プログラム、及び、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性のメモリにより実現される。ストレージ１６は、データを保存するための記憶装置であり、例えば、フラッシュメモリ、ＨＤＤ（Hard Disc Drive）等の不揮発性のメモリにより実現される。プロセッサ１９は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路等により構成される。
【0032】
サーバ２０は、サービスに関する情報を管理し、管理している情報を参照し、サービスを提供する情報処理装置である。さらに、サーバ２０は、複数の端末装置１０の間で（２台の端末装置１０のみならず、図１に示すように３台の端末装置１０があれば、これら３台の間で）相互に音声データの送受信を行い、相互通話を可能にするサービスを提供する。サーバ２０は、例えば、ネットワーク８０に接続されたコンピュータである。
【0033】
なお、サーバ２０は、相互通話可能なサービスに加えて、相互にデータ通信（含むテキストベースのメッセージ）を行うサービスを提供してもよい。このようなサービスの一例として、端末装置１０によりインターネット上のサイトにアクセスできるサービスや、テキスト形式でメッセージを伝えるサービス、つまり、チャットサービスが挙げられる。
【0034】
図１に示すように、サーバ２０は、通信ＩＦ２２と、入出力ＩＦ２３と、メモリ２５と、ストレージ２６と、プロセッサ２９とを備える。通信ＩＦ２２、入出力ＩＦ２３、メモリ２５、ストレージ２６、及びプロセッサ２９は、例えば、バスを介して互いに通信可能に接続されている。
【0035】
通信ＩＦ２２は、サーバ２０が外部の装置と通信するため、信号を送受信するためのインタフェースである。入出力ＩＦ２３は、ユーザからの入力操作を受け付けるための入力装置、及び、ユーザに対し情報を提示するための出力装置とのインタフェースとして機能する。メモリ２５は、プログラム、及び、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばＤＲＡＭ等の揮発性のメモリにより実現される。
【0036】
ストレージ２６は、データを保存するための記憶装置であり、例えばフラッシュメモリ、ＨＤＤ等の不揮発性のメモリにより実現される。ストレージ２６は、必ずしも単独の回路により実現されなくてもよい。ストレージ２６は、例えば、複数の記憶回路により実現されてもよい。プロセッサ２９は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路などにより構成される。
【0037】
＜１．１ 端末装置の構成＞
図２は、本実施形態のシステム１に含まれる端末装置１０の構成を示すブロック図である。図２に示すように、端末装置１０は、通信部１２１と、入力装置１３と、出力装置１４と、カメラ１６０と、記憶部１７０と、制御部１８０とを備える。
図２は、本実施形態のシステム１に含まれる端末装置１０の構成を示すブロック図である。図２に示すように、端末装置１０は、通信部１２１と、入力装置１３と、出力装置１４と、カメラ１６０と、記憶部１７０と、制御部１８０とを備える。
【0038】
通信部１２１は、端末装置１０が他の装置と通信するための処理を行う。通信部１２１は、制御部１８０で生成された信号に送信処理を施し、外部（例えば、サーバ２０）へ送信する。通信部１２１は、外部から受信した信号に受信処理を施し、制御部１８０へ出力する。
【0039】
加えて、通信部１２１は、他の端末装置１０との間で音声データの送受信を行うための処理を行う。従って、通信部１２１は、移動体通信網の規格に準拠した通信を行う。一義的には、通信部１２１は、端末装置１０が存在するエリアに割り当てられた基地局との間での通信を行い、基地局及びサーバ２０を含む移動体通信システムが、端末装置１０間の音声データの送受信を実現する。移動体通信網の規格は、本実施形態のシステム１が運用されている時期において、移動体通信システムを運用する通信事業者が提供しているサービスが準拠する規格である。このような規格の一例として、第４世代移動体通信システムの規格であるＩＭＴ－Ａｄｖａｎｃｅｄ、第５世代移動通信システムの規格であるＩＭＴ－２０２０などが挙げられる。また、第３世代移動通信システムが依然として運用されている地域においては、この第３世代移動通信システムの規格であるＩＭＴ－２０００であってもよい。上に上げた移動体通信規格は、音声通信にもデータ通信にも適用される規格であるので、通信部１２１は、音声通話及びデータ通信のいずれも行いうる。
【0040】
入力装置１３は、端末装置１０を所有するユーザが指示を入力するための装置である。入力装置１３は、例えば、マウス１３１、キーボード１３２、及び、操作面へ触れることで指示が入力されるタッチ・センシティブ・デバイス１３３等により実現される。また、入力装置１３は、マイク１３４により実現される。入力装置１３は、ユーザから入力される指示又は音声を電気信号へ変換し、電気信号を制御部１８０へ出力する。なお、入力装置１３は、マウス１３１、及びキーボード１３２等の物理的な操作デバイスに限定されない。入力装置１３には、例えば、外部の入力機器から入力される電気信号を受け付ける受信ポートが含まれてもよい。さらに、端末装置１０の仕様によってはマウス１３１、キーボード１３２を省略してもよい。この場合、タッチ・センシティブ・デバイス１３３によりテキスト等の各種入力がされる。
【0041】
出力装置１４は、端末装置１０を所有するユーザへ情報を提示するための装置である。出力装置１４は、例えば、ディスプレイ１４１、スピーカ１４２等により実現される。ディスプレイ１４１は、制御部１８０の制御に応じて、画像、動画、テキスト等のデータを表示する。ディスプレイ１４１は、例えば、ＬＣＤ（Liquid Crystal Display）、又は有機ＥＬ（Electro-Luminescence）ディスプレイ等によって実現される。スピーカ１４２は、制御部１８０の制御に応じて、音声を出力する。
【0042】
なお、図２では端末装置１０のマイク１３４及び／またはスピーカ１４２には、例えばBluetooth（登録商標）等の無線通信手段により端末装置１０のその他の構成要素と離間して使用可能なものも含まれる。例えば、これらマイク１３４及びスピーカ１４２がいわゆるヘッドセットとして別体に構成されるものである。
【0043】
カメラ１６０は、受光素子により光を受光し、撮影信号として出力するためのデバイスである。カメラ１６０は、例えば、光を受光するレンズがディスプレイ１４１と並べて設置されている。これにより、カメラ１６０は、ディスプレイ１４１を視認するユーザを撮影可能となっている。
【0044】
記憶部１７０は、例えば、メモリ１５、及びストレージ１６等により実現され、端末装置１０が使用するデータ、及びプログラムを記憶する。具体的には、記憶部１７０は、例えば、アプリケーション１７１を記憶する。アプリケーション１７１は、制御部１８０により実行されることで、後述する制御部１８０における操作受付部１８１等の機能実現部を実現する。また、記憶部１７０は、音声判定部１８５による評価結果、判定結果が格納される検出結果データ１７２、及び音声判定部１８５による判定の基準となる評価テーブル１７３を記憶する。
【0045】
制御部１８０は、プロセッサ１９が記憶部１７０に記憶されるプログラム（アプリケーション１７１）を読み込み、プログラムに含まれる命令を実行することにより実現される。制御部１８０は、端末装置１０の動作を制御する。具体的には、例えば、制御部１８０は、操作受付部１８１、通信制御部１８２、音声入力部１８３、音声出力部１８４、音声判定部１８５、提示制御部１８６としての機能を発揮する。
【0046】
操作受付部１８１は、入力装置１３から入力されるユーザの操作を受け付けるための処理を行う。
【0047】
通信制御部１８２は、端末装置１０が、相互通信（含む相互通話）中である他の端末装置１０と、通信プロトコルに従って通信するための処理を行う。通信制御部１８２は、例えば、マイク１３４から入力される音声が音声入力部１８３により変換された音声データを、相互通話中の他の端末装置１０へ送信する。また、通信制御部１８２は、他の端末装置１０から送信される音声データを受信して音声出力部１８４に送出し、この音声出力部１８４により音声に変換してスピーカ１４２から出力させる。
【0048】
また、通信制御部１８２は、例えば、キーボード１３２、タッチ・センシティブ・デバイス１３３等から入力されるテキストデータを相互通信中の他の端末装置１０へ送信する。また、通信制御部１８２は、他の端末装置１０から送信されるデータを受信し、テキストデータに変換してディスプレイ１４１から出力する。
【0049】
音声入力部１８３は、端末装置１０のユーザが発話し、マイク１７４から入力された音声を音声データに変換し、通信制御部１８２に送出する。音声出力部１８４は、通信制御部１８２が出力する音声データを音声に変換し、スピーカ１４２から出力させる。
【0050】
音声判定部１８５は、音声入力部１８３及び音声出力部１８４が出力する音声データに対して各種信号処理を行い、音声データの品質についての評価、判定を行ってその評価結果、判定結果を検出結果データ１７２に格納する。詳細は後述する。
【0051】
提示制御部１８６は、ユーザに対して種々の情報を提示するため、出力装置１４を制御する。具体的には、例えば、提示制御部１８６は、音声判定部１８５による評価結果をディスプレイ１４１に表示させる。また、例えば、提示制御部１８６は、評価結果を音声に変換して音声出力部１８４に送出し、この音声出力部１８４及びスピーカ１４２を介して評価結果を音声出力する。
【0052】
図３は、通信制御部１８２、音声判定部１８５及び提示制御部１８６を含む端末装置１０の機能構成の例を表すブロック図である。通信制御部１８２は、符号化処理部１８２１、送信部１８２２、受信部１８２３及び復号化処理部１８２４を有する。また、音声判定部１８５は、音声パワー検出部１８５１、SN比検出部１８５２、マイク特性検出部１８５３、入力音声評価部１８５４及び受信音声評価部１８５５を有する。さらに、提示制御部１８６は、入力音声状態提示部１８６１、通話相手受信音声状態提示部１８６２及び音声パワー状態提示部１８６３を有する。
【0053】
符号化処理部１８２１は、音声入力部１８３が出力する音声データに符号化処理（エンコード処理）を行ってデータを圧縮し、送信部１８２２に送出する。符号化処理は、移動体通信規格に準拠したものである。この際、符号化処理部１８２１は、符号化した音声データをパケットに変換し、個々のパケットに番号を付与する。符号化処理部１８２１による一連の処理は、端末装置１０による移動体通信がＬＴＥ規格に基づくのであればＶｏＬＴＥ（Voice over Long Term Evolution）として知られる処理である。また、一般的にはＶｏＩＰ（Voice over Internet Protocol）として知られる処理である。
【0054】
送信部１８２２は、符号化処理部１８２１により符号化処理された音声データを、送信部１８２２に含まれる図略のアンテナを介して無線送信し、サーバ２０の送受信部２０３１に送出する。送信部１８２２による無線通信も、既に説明した移動体通信網の規格に準拠する。
【0055】
送信部１８２２は、音声データを無線送信する際に、個々の端末装置１０に固有の識別子を付与する。さらに、送信部１８２２は、第１の評価結果である受信音声評価部１８５５が出力した受信音声の評価スコアと、第３の評価結果である音声パワー検出部１８５１が検出した入力音声のパワー検出結果を、音声データに重畳して通話相手である端末装置１０に送信する。
【0056】
受信部１８２３は、サーバ２０の送受信部２０３１から送出され、受信部１８２３に含まれる図略のアンテナを介して受信した無線入力を受信し、復号化処理部に送出する。ここで、受信部１８２３が受信する無線入力には、通話相手の端末装置１０の送信部１８２２が付与した、通話相手の端末装置１０に固有の識別子が付与されている。また、受信部１８２３は、通話相手の端末装置１０から受信した無線入力に重畳された、受信音声の評価スコアである第２の評価結果を受信し、この第２の評価結果を、通話相手の端末装置１０に固有の識別子とともに通話相手受信音声状態提示部１８６２に送出する。さらに、受信部１８２３は、サーバ２０から送出された、第４の判定結果である、端末装置１０のユーザから発声された音声データの音声パワーが、現在通話中の複数の端末装置１０の音声パワーから算出された音声パワーの平均値が所定値以上であると判定された判定結果を受信し、この第４の評価結果を音声パワー状態提示部１８６３に送出する。
【0057】
復号化処理部１８２４は、受信部１８２３が受信した受信データに復号化処理部（デコード処理）を行って音声データに復号し、この音声データを音声出力部１８４に出力する。また、復号化処理部１８２４は、受信部１８２３が受信した、現在通話中の端末装置１０から送出された信号を復号化処理した際のパケットロス率（パケット損失率）を算出し、算出したパケットロス率を受信音声評価部１８５５に送出する。パケットロス率の算出方法については既知であり、通信規格で定められている場合もあるので、ここでの詳細な説明は行わない。この際、復号化処理部１８２４は、算出したパケットロス率を、通話相手の端末装置１０の識別子を付与して受信音声評価部１８５５に送出する。
【0058】
音声パワー検出部１８５１は、発話者である端末装置１０のユーザが発話した音声を音声入力部１８３が変換した音声データの音声パワーを検出し、検出結果を入力音声評価部１８５４及び送信部１８２２に出力する。この際、音声パワー検出部１８５１は、音声パワーの検出結果を量子化してスコアとして出力する。量子化の手法には特段の限定はないが、本実施形態の音声パワー検出部１８５１では、良好であれば０、やや悪い場合は－１、悪い場合は－２というスコアとして音声パワーの検出結果を出力する。
【0059】
SN比検出部１８５２は、発話者である端末装置１０のユーザが発話した音声を音声入力部１８３が変換した音声データのSN比を検出し、検出結果を入力音声評価部１８５４に出力する。この際、SN比検出部１８５２は、SN比の検出結果を量子化してスコアとして出力する。量子化の手法には特段の限定はないが、本実施形態のSN比検出部１８５２では、良好であれば０、やや悪い場合は－１、悪い場合は－２というスコアとしてSN比の検出結果を出力する。SN比検出部１８５２は、SN比を入力データとし、入力したSN比に対する評価を正解出力データとして学習された学習済みモデルを用いて実現されてもよい。
【0060】
マイク特性検出部１８５３は、発話者である端末装置１０のユーザが発話した音声を音声入力部１８３が変換した音声データから音声入力部１８３（マイク１３４）のマイク特性を検出し、検出結果を入力音声評価部１８５４に出力する。この際、マイク特性検出部１８５３は、マイク特性の検出結果を量子化してスコアとして出力する。量子化の手法には特段の限定はないが、本実施形態のマイク特性検出部１８５３では、良好であれば０、やや悪い場合は－１、悪い場合は－２というスコアとしてマイク特性の検出結果を出力する。マイク特性検出部１８５３は、マイク特性を入力データとし、入力したマイク特性に対する評価を正解出力データとして学習された学習済みモデルを用いて実現されてもよい。
【0061】
好ましくは、音声パワー検出部１８５１、SN比検出部１８５２及びマイク特性検出部１８５３は、端末装置１０のユーザが発音をする度に、つまり、音声入力部１８３に音声が入力される度に検出動作を行う。あるいは、音声パワー検出部１８５１、SN比検出部１８５２及びマイク特性検出部１８５３はリアルタイムで（つまり連続的に）検出作業を行ってもよいし、所定時間間隔を（例えば１秒毎）おいて検出作業を行ってもよい。
【0062】
そして、音声パワー検出部１８５１、SN比検出部１８５２及びマイク特性検出部１８５３は、検出結果を検出結果データ１７２に格納する。検出結果データ１７２に格納される検出結果は、音声パワー検出部１８５１、SN比検出部１８５２及びマイク特性検出部１８５３による検出動作が行われる度に更新される。従って、検出結果データ１７２に格納される検出結果は、音声入力部１８３に音声が入力される度に更新される。そして、音声入力が途絶えると、検出結果データ１７２の更新（上書き）がされないので、結果的に、最後の検出値が検出結果データ１７２に保持される。
【0063】
なお、音声パワー検出部１８５１、SN比検出部１８５２及びマイク特性検出部１８５３は、自身の検出結果を０、－１、－２の３種類のスコアに量子化していたが、量子化のレベルもこの３段階に限定されず、２段階、あるいは４段階以上に量子化してもよい。
【0064】
入力音声評価部１８５４は、音声パワー検出部１８５１、SN比検出部１８５２及びマイク特性検出部１８５３からそれぞれ入力された検出結果を評価値として量子化し（スコア化し）、統合スコアを決定して入力音声状態提示部１８６１及び通話相手受信音声状態提示部１８６２に出力する。入力音声状態提示部１８６１から出力される統合スコアが、第３の評価結果である、端末装置１０のユーザから発声された音声に基づく音声データの品質の評価結果である。
【0065】
入力音声評価部１８５４による統合スコアの算出手法に特段の限定はないが、本実施形態の入力音声評価部１８５４では、音声パワー検出部１８５１、SN比検出部１８５２及びマイク特性検出部１８５３からそれぞれ入力された量子化された検出結果であるスコアを加算し、加算された値（和）に基づいて統合スコアを決定している。一例として、音声パワー検出部１８５１、SN比検出部１８５２及びマイク特性検出部１８５３からそれぞれ入力されたスコアの和が０であれば良好、－１であればやや悪い、－２であれば悪い、とする。より詳細には、音声パワー検出部１８５１から入力されたスコアが良好（０）、SN比検出部１８５２から入力されたスコアが良好（０）、マイク特性検出部１８５３から入力されたスコアが良好（０）であれば、入力音声評価部１８５４は、これらスコアの和が０になることから、統合スコアは良好（０）となる。また、音声パワー検出部１８５１から入力されたスコアが良好（０）、SN比検出部１８５２から入力されたスコアがやや悪い（－１）、マイク特性検出部１８５３から入力されたスコアがやや悪い（－１）であれば、入力音声評価部１８５４は、これらスコアの和が－２になることから、統合スコアは悪い（－２）となる。ここで、音声パワー検出部１８５１、SN比検出部１８５２、及びマイク特性検出部１８５３から入力されたスコアの和が－２以下になる場合は、入力音声評価部１８５４は統合スコアを悪い（－２）として扱うというようにしてもよい。一例として、音声パワー検出部１８５１、SN比検出部１８５２、及びマイク特性検出部１８５３から入力されたスコアがいずれもやや悪い（－１）であれば、これらスコアの和は－３になるが、入力音声評価部１８５４が算出する統合スコアとしては悪い（－２）という評価にしてもよい。また入力音声評価部１８５４による統合スコアの量子化の段階も０、－１、－２の３段階に限定されず、２段階、あるいは４段階以上に量子化してもよい。加えて、音声パワー検出部１８５１、SN比検出部１８５２及びマイク特性検出部１８５３からの入力スコアの和を単純に取る以外の統合スコアの算出方法も可能である。一例として、各スコアについて所定の重み付けをつけて加算する、所定の関係式に基づいて四則演算、関数を用いて統合スコアを算出してもよい。
【0066】
受信音声評価部１８５５は、復号化処理部１８２４から出力される、復号化処理部１８２４における複合処理時のパケットロス率に基づいて、受信音声の評価スコアを算出し、この評価スコアを送信部１８２２に送出する。この際、受信音声評価部１８５５は、受信音声の評価スコアの算出結果を量子化してスコアとして出力する。量子化の手法には特段の限定はないが、本実施形態の受信音声評価部１８５５では、良好であれば０、やや悪い場合は－１、悪い場合は－２というスコアとして受信音声の評価スコアの算出結果を出力する。さらに、受信音声評価部１８５５は、算出した評価スコアに、この評価スコアに係る音声データを出力した端末装置１０に固有の識別子を付与して送信部１８２２に送出する。
【0067】
なお、音声区間検出技術を用いて音声区間のみを音声判定部１８５が検出、評価作業を行ってもよい。この場合、受話音声の重なり具合に基づいた評価結果を出力することができる。例えば、３人以上で同時音声通話を行っているとき、あるユーザの発話に重畳して発話を行ったユーザに対して、自分の発話による音声通話の内容が他のユーザに聞き取りづらかった可能性があるという評価結果を出力してもよい。
【0068】
また、通話相手の端末装置１０のマイク１３４に周辺の環境ノイズが大きく入っている場合、音声判定部１８５がこれを検知して、端末装置１０のユーザにその検知結果を通知してもよい。例えば、通話相手の周辺がうるさいので聞き取りづらかった可能性があるという検知結果を出力してもよい。
【0069】
さらに、相互通話中の端末装置１０における個々の端末装置１０からの受話音声の音声区間検出時間を端末装置１０間で送受信し、この情報に基づいて音声判定部１８５が評価結果を出力してもよい。例えば、送信側の送信音声の音声区間検出時間と受信側の受信音声の音声区間検出時間との間にかなりの差異が生じている場合、受信側が聞き取りづらかった可能性があるという評価結果を出力してもよい。より具体的には、送信側の送信音声の音声区間検出時間は５秒であったが、受信側の受信音声の音声区間検出時間は３秒であった場合、受信部１８２３及び／または復号化処理部１８２４における処理に何かしらの問題があったことが推測される。このような問題はパケットロスとは別に生じうる。従って、送信側の送信音声の音声区間検出時間と受信側の受信音声の音声区間検出時間との間の不一致を検出することの意味は大きい。
【0070】
入力音声状態提示部１８６１は、入力音声評価部１８５４から出力される統合スコアを端末装置１０のディスプレイ１４１に表示する。
【0071】
また、通話相手受信音声状態提示部１８６２は、入力音声評価部１８６４が出力する統合スコアと、受信部１８２３から出力される受信音声の評価スコアとに基づいて、通話相手受信音声状態のスコアを算出し、端末装置１０のディスプレイ１４１に表示させる。この際、通話相手受信音声状態提示部１８６２は、通話相手受信音声状態を量子化してスコアとして出力する。量子化の手法には特段の限定はないが、本実施形態の通話相手受信音声状態提示部１８６２では、入力音声評価部１８６４が出力する統合スコアは、良好であれば０、やや悪い場合は－１、悪い場合は－２というスコアとして量子化されており、また、受信部１８２３から出力される受信音声の評価スコアも、良好であれば０、やや悪い場合は－１、悪い場合は－２というスコアとして量子化されているので、これらスコアの和が０であれば良好、－１であればやや悪い、－２であれば悪い、とする。ここで、入力音声評価部１８６４が出力する統合スコアと受信部１８２３から出力される受信音声の評価スコアとの和がが－２以下になる場合は、通話相手受信音声状態提示部１８６２は統合スコアを悪い（－２）として扱うというようにしてもよい。
【0072】
好ましくは、通話相手受信音声状態提示部１８６２は、受信部１８２３から出力される受信音声の評価スコアも端末装置１０のディスプレイ１４１に表示させる。
【0073】
音声パワー状態提示部１８６３は、サーバ２０から送出された、端末装置１０のユーザから発声された音声データの音声パワーが、現在通話中の複数の端末装置１０の音声パワーから算出された音声パワーの平均値が所定値以上であると判定された判定結果を受け取り、この判定結果に基づいて、端末装置１０のユーザ自身が発話した音声のパワー状態を端末装置１０のディスプレイ１４１に表示させる。このとき、相互通話中のユーザの中にまだ発話をしていないユーザがいる間は、音声パワー状態提示部１８６３は音声のパワー状態を端末装置１０のディスプレイ１４１に表示させない。
【0074】
入力音声状態提示部１８６１による統合スコア、通話相手受信音声状態提示部１８６２による受信音声の評価スコア及び通話相手受信音声状態のスコアの表示形態、さらには音声パワー状態提示部１８６３による判定結果の表示形態に特段の限定はなく、一例として、スコアそのものを表示する、スコアをスケール表示する、スコアに応じて表示色を変化させるなどが挙げられる。また、スコアが良好（０）である、すなわち、端末装置１０のユーザが発話した音声の状態が良好である、あるいは、通話相手の端末装置１０の受信音声の状態が良好であるならば、ディスプレイ１４１に何も表示せず、スコアがやや悪い（－１）、悪い（－２）時に、ディスプレイ１４１にこのスコアに応じた表示を行う表示形態であってもよい。
【0075】
ここで、受信音声の評価スコアには、このスコアが作成された（評価された）端末装置１０に固有の識別子が付与されている。そこで、入力音声状態提示部１８６１及び通話相手受信音声状態提示部１８６２は、事前にこの識別子と、端末装置１０の記憶部１７０に格納されている、端末装置１０の通話相手である端末装置１０の電話帳（これには電話番号とユーザが登録した通話相手を識別するユーザ名等の固有名とが含まれる）との紐付けを行い、スコアを表示する際に、ユーザ名を表示したアイコンを伴った表示を行ってもよい。また、入力音声評価部１８５４から出力される統合スコアは、端末装置１０を所有するユーザに係るものであることが自明であるので、統合スコアを表示する際に、端末装置１０の初期登録時などにユーザが自身で登録したユーザ名を表示したアイコンを伴った表示を行ってもよい。
【0076】
このように、スコアに係るユーザ名を表示したアイコンを表示する態様を採用した場合、スコアが良好（０）である、すなわち、端末装置１０のユーザが発話した音声の状態が良好である、あるいは、通話相手の端末装置１０の受信音声の状態が良好であるならば、ディスプレイ１４１にアイコンを表示せず、スコアがやや悪い（－１）、悪い（－２）時に、ディスプレイ１４１にアイコンを表示するとともに、このスコアに応じた表示を行ってもよい。さらに、スコアがやや悪い（－１）、悪い（－２）時に、アイコンの透明度を上げて視認しづらくする、アイコン全体を特定色（例えば赤色）に徐々に着色する、などの表示態様を行ってもよい。
【0077】
さらに、アイコンやスコアのスケールをユーザがタップ（タッチ）した際に、スコアの根拠となる情報を端末装置１０のディスプレイ１４１に表示してもよい。同様に、評価結果等をテキスト表示してもよい。評価結果等をテキスト表示する場合、ディスプレイ１４１に一定時間（一例として数秒）だけ表示し、ユーザがディスプレイ１４１をタップする等の入力動作を行うとこのテキスト表示を消去することが好ましい。表示態様の具体例については後述する。
【0078】
さらに、あるいは、提示制御部１８６による提示形態は、上述した端末装置１０のディスプレイ１４１に表示する形態のみならず、端末装置１０のスピーカ１４２を用いて音声により通知する形態も可能である。より詳細には、例えば、提示制御部１８６は、音声判定部１８５や受信部１８２３から入力された評価結果そのもの、あるいは、評価結果に基づいて事前に用意されたメッセージを音声合成により音声データに変換し、この音声データによりユーザに提示（通知）することも可能である。あるいは、提示制御部１８６は警報音、ブザー音やチャイム等の単純な音データによりユーザに提示（通知）することも可能である。提示制御部１８６が生成した音（声）データは音声出力部１８４に入力され、この音声出力部１８４及びスピーカ１４２を介してユーザに提示される。
【0079】
提示制御部１８６の音声による通知形態にも特段の限定はないが、判定結果そのもの、及び／または、判定結果（スコア）の根拠となる情報を音声通知してもよい。この時、上述したように、現在音声通話中のユーザは既知であるので、どのユーザの受信音声状態に関する情報（例えば電話帳に登録されているユーザの登録名）であるかを合わせて音声通知してもよい。端末装置１０のユーザの発話による入力音声情報に関する情報については、ユーザ自身のユーザ名を合わせて音声通知してもよいし、省略してもよい。音声通知の手法は既知の手段から適宜選択されればよく、音声合成モジュールによるなど、特段の限定はない。
【0080】
また、音声区間検出技術を用いて音声区間のみを音声判定部１８５が検出、評価作業を行ってもよい。
＜１．２ サーバの構成＞
＜１．２ サーバの構成＞
【0081】
【0082】
通信部２０１は、サーバ２０が外部の装置と通信するための処理を行う。
【0083】
記憶部２０２は、例えば、メモリ２５、及びストレージ２６等により実現され、サーバ２０が使用するデータ、及びプログラムを記憶する。具体的には、記憶部２０２は、例えば、アプリケーション２０２１を記憶する。アプリケーション２０２１は、制御部２０３により実行されることで、後述する制御部２０３における送受信部２０３１等の機能実現部を実現する。また、記憶部２０２は、音声パワー分布計算部２０３４による計算結果が格納される計算結果データ２０２２を記憶する。
【0084】
制御部２０３は、プロセッサ２９が記憶部２０２に記憶されるプログラム（アプリケーション２０２１）を読み込み、プログラムに含まれる命令を実行することにより実現される。制御部２０３は、サーバ２０の動作を制御する。具体的には、例えば、制御部２０３は、送受信部２０３１、記憶制御部２０３２、通信制御部２０３３、音声パワー分布計算部２０３４、及び音声パワー判定部２０３５としての機能を発揮する。
【0085】
送受信部２０３１は、サーバ２０が、端末装置１０等の外部の装置と、通信プロトコルに従ってデータを送受信する処理を制御する。
【0086】
記憶制御部２０３２は、記憶部２０２への情報の記憶を制御する。
【0087】
通信制御部２０３３は、端末装置１０間で、所定の通信プロトコルに従った移動体通信を実現するための処理を行う。
【0088】
音声パワー分布計算部２０３４は、サーバ２０を介して現在相互通話中の複数の端末装置１０の音声パワー検出部１８５１で検出された発話者毎の音声パワーに基づいて、相互通話中の複数の発話者の音声パワーの平均と分散を算出し、音声パワー判定部２０３５に送出する。また、音声パワー分布計算部２０３４は、算出結果を計算結果データ２０２２に格納する。
【0089】
音声パワー判定部２０３５は、音声パワー分布計算部２０３４により算出された音声パワーの平均と分散とに基づいて、発話者毎の音声パワーと音声パワーの平均とのズレを算出し、このズレが所定値以上であるか否かを判定し、判定結果を相互通話中の端末装置１０に通知する。
【0090】
音声パワー分布計算部２０３４及び音声パワー判定部２０３５は、所定の間隔、好ましくは少なくとも１秒以上の時間間隔を置いて音声パワーの平均及び分散の算出動作及び判定動作を行うことが好ましい。これは、あまり短い時間間隔で音声パワーの平均及び分散の算出動作及び判定動作を行うと、端末装置１０における音声パワー状態表示（通知）が不安定になるからである。同様に、音声パワー分布計算部２０３４及び音声パワー判定部２０３５は、音声パワーの平均値・分散の計算結果を安定化させるため、所定回数の過去の計算結果を用いて移動平均を取ることで、平滑化した計算結果を用いても良い。
【0091】
また、音声パワー分布計算部２０３４及び音声パワー判定部２０３５は、相互通話中のユーザに変更があった場合、音声パワーの平均及び分散の算出動作及び判定動作をやり直す。つまり、新たに音声パワーの平均及び分散の算出動作及び判定動作を行う。
【0092】
【0093】
図５は、評価テーブル１７３のデータ構造を示す図である。図５に示すように、評価テーブル１７３には、音声パワー、SN比及びマイク特性のそれぞれについて良好、やや悪い及び悪いと入力音声評価部１８５４が評価した際のスコアが格納されている。また、評価テーブル１７３は、入力音声評価部１８５４がこれらスコアを合算して統合スコアを算出した結果、最終的な評価結果を良好、やや悪い及び悪いのいずれにするかのテーブルである。
【0094】
図６は、検出結果データ１７２のデータ構造を示す図である。図６に示すように、検出結果データ１７２のレコードの各々は、例えば、項目「通話ＩＤ」と、項目「開始時刻」と、項目「終了時刻」と、項目「ユーザＩＤ」と、項目「音声パワースコア」と、項目「SN比スコア」と、項目「マイク特性スコア」と、項目「入力音声スコア」と、項目「受信音声スコア」とを含む。検出結果データ１７２に記憶された情報は、音声判定部１８５による判定動作がされる度に更新される。
【0095】
項目「通話ＩＤ」は、端末装置１０が通話相手である他の端末装置１０との間で行った個々の通話を識別するための情報である。項目「開始時刻」は、項目「通話ＩＤ」により特定される通話が開始した時刻の情報である。項目「終了時刻」は、項目「通話ＩＤ」により特定される通話が終了した時刻の情報である。項目「ユーザＩＤ」は、項目「通話ＩＤ」により特定される通話の相手である他の端末装置１０を識別するための情報である。好ましくは、項目「ユーザＩＤ」は、受信部１８２３が受信した、他の端末装置１０を識別するための識別子である。なお、端末装置１０による通話は３人以上のユーザによる同時通話も可能であるので、項目「ユーザＩＤ」には複数の識別情報が格納されうる。項目「音声パワースコア」は、音声パワー検出部１８５１により検出された結果であるスコアである。項目「SN比スコア」は、SN比検出部１８５２により検出された結果であるスコアである。項目「マイク特性スコア」は、マイク特性検出部１８５３により検出された結果であるスコアである。項目「入力音声スコア」は、入力音声評価部１８５４により判定された結果であるスコアである。項目「受信音声スコア」は、受信音声評価部１８５５により評価された結果であるスコアである。
【0096】
＜３ 動作例＞
以下、端末装置１０及びサーバ２０の動作の一例について説明する。
以下、端末装置１０及びサーバ２０の動作の一例について説明する。
【0097】
図７は、端末装置１０の動作の一例を表すフローチャートである。図７は、端末装置１０のユーザが発話した入力音声に基づいて、音声判定部１８５が検出及び判定動作を行い、提示制御部１８６を介してユーザに通知する際の動作の例を表すフローチャートである。
【0098】
【0099】
ステップＳ１１において、端末装置１０の制御部１８０は、サーバ２０を経由して特定の端末装置１０宛に発呼通信を行う。具体的には、例えば、制御部１８０は、サーバ２０の送受信部２０３１及び通信制御部２０３３を経由して、通信制御部１８２により特定の端末装置１０宛に発呼動作を行う。通信制御部１８２による発呼動作については既知の動作であるので、これ以上の説明は行わない。なお、図７のフローチャートにおいては、端末装置１０から発呼動作を行う例を示しているが、端末装置１０が着呼動作を行う場合でも同様の動作が行われる。つまり、図７のフローチャートに示す動作において、端末装置１０が発呼動作を行うか着呼動作を行うかは任意である。
【0100】
そして、ステップＳ１２において、制御部１８０は、ステップＳ１１で発呼通信を行った特定の端末装置１０が着呼するのを待ち、着呼したら（ステップＳ１２においてＹＥＳ）ステップＳ１３以降の処理を行う。
【0101】
この後、制御部１８０は、着呼をした特定の端末装置１０、すなわち通話相手の特定の端末装置１０との間で音声通話を行う。具体的には、例えば、制御部１８０は、音声入力部１８３により端末装置１０のユーザが発話した音声入力の処理を行って音声データに変換し、通信制御部１８２により処理が行われた音声データを、サーバ２０の送受信部２０３１を介して特定の端末装置１０に送信し、また、通信制御部１８２によりサーバ２０の送受信部２０３１を介して特定の端末装置１０から送信された音声データを受信して処理を行い、音声出力部１８４により音声に変換する。
【0102】
なお、本実施形態のシステム１では、３人以上のユーザによる相互通話も可能である。どの時点で相互通話を行うユーザを追加するか（発呼動作を行うか、着呼動作を行うか）についての詳細な説明はここでは行わない。
【0103】
ステップＳ１３において、制御部１８０は、端末装置１０のユーザが発話した入力音声を受け入れる。具体的には、例えば、制御部１８０は、音声入力部１８３により、端末装置１０のユーザが発話した入力音声を受け入れる。そして、ステップＳ１４～Ｓ１６において、制御部１８０は、ステップＳ１３において受け入れた、端末装置１０のユーザが発話した入力音声についての検出処理を行う。具体的には、例えば、制御部１８０は、音声パワー検出部１８５１により入力音声の音声パワーを検出し、SN比検出部１８５２により入力音声のSN比を検出し、マイク特性検出部１８５３により入力音声のマイク特性を検出する。これらステップＳ１４～Ｓ１６に示す処理はいずれも並行して実行される。
【0104】
ステップＳ１７において、制御部１８０は、ステップＳ１４～Ｓ１６において検出された音声パワー等に基づいて、入力音声の評価動作を行う。具体的には、例えば、制御部１８０は、入力音声評価部１８５４により、検出された音声パワー等に基づいて、入力音声の評価動作を行い、統合スコアを算出する。そして、入力音声評価部１８５４は、評価結果を提示制御部１８６に送出する。
【0105】
ステップＳ１８において、制御部１８０は、ステップＳ１６における評価結果を端末装置１０のディスプレイ１４１に表示させる。具体的には、例えば、制御部１８０は、提示制御部１８６（入力音声状態提示部１８６１及び通話相手受信音声状態提示部１８６２）により、入力音声評価部１８５４が評価した評価結果（算出した統合スコア）に基づいて、端末装置１０のディスプレイ１４１に評価結果を表示させる。
【0106】
ステップＳ１９において、制御部１８０は、端末装置１０から通話切断の指示があったか、あるいは、通話相手の端末装置１０が通話切断を行ったか否かを判定する。そして、まだ通話中であれば（ステップＳ１９においてＮＯ）ステップＳ１３の処理に戻り、通話切断があったと判定したら（ステップＳ１９においてＹＥＳ）、通話切断処理を行い、図７に示すプログラムを終了する。
【0107】
図８は、端末装置１０の動作の他の例を表すフローチャートである。図８は、ユーザが相互通話を行っている相手からの受話音声に基づいて、音声判定部１８５が検出及び判定動作を行い、通信制御部１８２を介して通話相手である他の端末装置１０に判定結果を送信する際の動作の例を表すフローチャートである。
【0108】
ステップＳ２１において、端末装置１０の制御部１８０は、サーバ２０を経由して特定の端末装置１０からの呼び出しを受ける。具体的には、例えば、制御部１８０は、サーバ２０の送受信部２０３１及び通信制御部２０３３を経由して、通信制御部１８２により特定の端末装置１０からの着呼動作を行う。通信制御部１８２による着呼動作については既知の動作であるので、これ以上の説明は行わない。なお、図８のフローチャートにおいては、端末装置１０から着呼動作を行う例を示しているが、端末装置１０が発呼動作を行う場合でも同様の動作が行われる。つまり、図８のフローチャートに示す動作においても、端末装置１０が発呼動作を行うか着呼動作を行うかは任意である。
【0109】
そして、ステップＳ２２において、制御部１８０は、ステップＳ２１で着呼動作を行った特定の端末装置１０との間で通話が成立するのを待ち、通話が成立したら（ステップＳ２２においてＹＥＳ）ステップＳ２３以降の処理を行う。この後、制御部１８０は、通話が成立した特定の端末装置１０との間で音声通話を行う。
【0110】
ステップＳ２３において、制御部１８０は、通話相手である特定の端末装置１０から送信されて端末装置１０で受信した、特定の端末装置１０からの音声データを受信する。具体的には、例えば、制御部１８０は、通話相手である特定の端末装置１０から送信され、サーバ２０の送受信部２０３１を介して送信された音声データを通信制御部１８２により受信する。
【0111】
次いで、ステップＳ２４において、制御部１８０は、ステップＳ２３で受信した受信音声データの評価動作を行う。具体的には、例えば、制御部１８０は、受信音声評価部１８５５により、ステップＳ２３で受信した受信音声データの評価動作を行い、評価スコアを算出する。
【0112】
さらに、ステップＳ２５において、制御部１８０は、ステップＳ２４で行った受信音声評価結果を、音声を送信した他の端末装置１０に送信する。具体的には、例えば、制御部１８０は、入力音声評価部１８５４により、受信音声評価結果を通信制御部１８２及びサーバ２０の送受信部２０３１を介して、音声を送信した特定の端末装置１０に送信する。
【0113】
そして、ステップＳ２６において、制御部１８０は、ステップＳ２３で受信した音声データを出力する。具体的には、例えば、制御部１８０は、通信制御部１８２により受信され、復号化された音声データを、音声出力部１８４及びスピーカ１４２により音声として出力する。
【0114】
図９は、端末装置１０の動作の他の例を表すフローチャートである。図９は、ユーザが相互通話を行っている通話相手である他の端末装置１０から送出された受信音声評価結果を受信し、提示制御部１８６により端末装置１０のユーザに提示する際の動作の例を表すフローチャートである。
【0115】
ステップＳ３１～Ｓ３３の動作は、図８のステップＳ２１～Ｓ２３と同一である。なお、図９のフローチャートにおいては、端末装置１０から着呼動作を行う例を示しているが、端末装置１０が発呼動作を行う場合でも同様の動作が行われる。つまり、図９のフローチャートに示す動作においても、端末装置１０が発呼動作を行うか着呼動作を行うかは任意である。
【0116】
ステップＳ３４において、制御部１８０は、通話相手である特定の端末装置１０から送信された、特定の端末装置１０における受信音声の評価結果（この評価結果は、端末装置１０のユーザが発話した音声が他の端末装置１０においてどのように受信されたかを評価した評価結果である）を受信する。具体的には、例えば、制御部１８０は、通信制御部１８２（受信部１８２３）により受信した、特定の端末装置１０における受信音声の評価結果を受信する。そして、受信部１８２３は、評価結果を提示制御部１８６に送出する。
【0117】
ステップＳ３５において、制御部１８０は、ステップＳ３４において受信した評価結果を端末装置１０のディスプレイ１４１に表示させる。具体的には、例えば、制御部１８０は、提示制御部１８６（通話相手受信音声状態提示部１８６２）により、受信部１８２３が受信した評価結果（算出した統合スコア）に基づいて、端末装置１０のディスプレイ１４１に評価結果を表示させる。
【0118】
ステップＳ３６の動作は図８のステップＳ２６と同一である。
【0119】
ステップＳ３７において、制御部１８０は、端末装置１０から通話切断の指示があったか、あるいは、通話相手の端末装置１０が通話切断を行ったか否かを判定する。そして、まだ通話中であれば（ステップＳ３７においてＮＯ）ステップＳ２３の処理に戻り、通話切断があったと判定したら（ステップＳ３７においてＹＥＳ）、通話切断処理を行い、図９に示すプログラムを終了する。
【0120】
図１０は、端末装置１０及びサーバ２０の動作の一例を表すシーケンス図である。図１０は、ユーザが２台以上の端末装置１０を用いて相互通話を行っている際に端末装置１０が発話した入力音声に基づいて、サーバ２０の音声パワー分布計算部２０３４及び音声パワー判定部２０３５が計算及び判定動作を行い、端末装置１０の提示制御部１８６を介してユーザに通知する際の動作の例を表すフローチャートである。なお、図１０において端末装置１０を第１の端末装置１０と第２の端末装置１０として表しているが、これは単に端末装置１０を区別するための表記である。また、２台以上の端末装置１０による通話動作においても図１０と同様の動作が行われる。
【0121】
ステップＳ４１において、第１の端末装置１０の制御部１８０は、第２の端末装置１０宛に発呼通信を行うためにサーバ２０に発呼動作を行う。具体的には、例えば、制御部１８０は、サーバ２０に対して、通信制御部１８２により第２の端末装置１０宛に発呼動作を行う。なお、図１０のフローチャートにおいては、第１の端末装置１０が発呼動作を行い、第２の端末装置１０が着呼動作を行う例を示していたが、第２の端末装置１０が発呼動作を行う場合でも同様の動作が行われる。つまり、図１０のフローチャートに示す動作においても、第１の端末装置１０が発呼動作を行うか第２の端末装置１０が発呼動作を行うかは任意である。
【0122】
ステップＳ４２において、サーバ２０は、ステップＳ４１で受信した発呼動作に係る第２の端末装置１０に対して呼び出し動作を行う。具体的には、例えば、サーバ２０の制御部２０３は、送受信部２０３１及び通信制御部２０３３により、第２の端末装置１０に対して呼び出し動作を行う。送受信部２０３１及び通信制御部２０３３による呼び出し動作については既知の動作であるので、これ以上の説明は行わない。
【0123】
ステップＳ４３において、ステップＳ４２における呼び出しの対象である第２の端末装置１０の制御部１８０は、ステップＳ４２における呼び出しに対して着呼動作をする。具体的には、例えば、制御部１８０は、通信制御部１８２により端末装置１０からの着呼動作を行う。これにより、ステップＳ４４において、第１の端末装置１０と第２の端末装置１０との間で通話が成立する。
【0124】
ステップＳ４４及びＳ４５において、第１の端末装置１０及び第２の端末装置１０の制御部１８０は、それぞれの端末装置１０に入力された入力音声を入力音声データに変換して、通話先である端末装置１０に送信し、また、通話先である端末装置１０から送信された音声データを受信し、音声に変換して出力する。具体的には、例えば、第１の端末装置１０及び第２の端末装置１０の制御部１８０は、音声入力部１８３により入力音声を受け入れ、通信制御部１８２により音声データに変換して、通話先である端末装置１０に送信し、また、通話先である端末装置１０から送信され、サーバ２０の送受信部２０３１を介してた送信された音声データを通信制御部１８２により受信し、この通信制御部１８２により音声に変換して音声出力部１８４及びスピーカ１４２を介して音声として出力する。
【0125】
ステップＳ４７において、第１の端末装置の制御部１８０は、第１の端末装置１０のユーザから発声された音声の音声パワーを検出し、その結果をサーバ２０に送出する。具体的には、例えば、制御部１８０は、音声判定部１８５の音声パワー検出部１８５１により、第１の端末装置１０のユーザから発声された音声の音声パワーを検出し、その結果をサーバ２０に送出する。
【0126】
同様に、ステップＳ４８において、第２の端末装置の制御部１８０は、第２の端末装置１０のユーザから発声された音声の音声パワーを検出し、その結果をサーバ２０に送出する。具体的には、例えば、制御部１８０は、音声判定部１８５の音声パワー検出部１８５１により、第２の端末装置１０のユーザから発声された音声の音声パワーを検出し、その結果をサーバ２０に送出する。
【0127】
ステップＳ４９において、サーバ２０は、ステップＳ３５、Ｓ３６で送出されてきた、第１の端末装置１０及び第２の端末装置１０のユーザから発声された音声の音声パワー検出結果に基づいて、これら音声パワーの平均値及び分散を計算する。具体的には、例えば、制御部２０３は、音声パワー分布計算部２０３４により、第１の端末装置１０及び第２の端末装置１０のユーザから発声された音声の音声パワー検出結果に基づいて、これら音声パワーの平均値及び分散を算出する。
【0128】
次いで、ステップＳ５０において、サーバ２０は、ステップＳ４９で算出した音声パワーの平均値と音声パワー検出値との間のずれが所定値以上であるか否かを判定する。具体的には、例えば、制御部２０３は、音声パワー判定部２０３５により、ステップＳ４９において音声パワー分布計算部２０３４が計算した音声パワーの平均値に基づいて、第１の端末装置１０及び／または第２の端末装置１０が検出した音声パワーがこの平均値との間に所定値以上のずれがあるか否かを判定する。なお、ステップＳ５０において、サーバ２０の音声パワー判定部２０３５は、ステップＳ４９で音声パワー分布計算部２０３４が計算した音声パワーの平均値と分散に基づいて音声パワー検出値の標準偏差を求め、その標準偏差が所定値以上であるか否かで判定してもよい。
【0129】
そして、ステップＳ５１において、サーバ２０は、ステップＳ３７で所定値以上のずれがあると判定した音声パワー検出値を送出した第１の端末装置１０及び／または第２の端末装置１０に対して、所定値以上のずれがあることを通知する。具体的には、例えば、制御部２０３は、音声パワー判定部２０３５、送受信部２０３１及び通信制御部２０３３により、ステップＳ５０で所定値以上のずれがあると判定した音声パワー検出値を送出した第１の端末装置１０及び／または第２の端末装置１０に対して、所定値以上のずれがあることを通知する。図１０に示す例では、第１の端末装置１０において所定値以上のずれがあると判定されており、従って、音声パワー判定部２０３５、送受信部２０３１及び通信制御部２０３３は、第１の端末装置１０に対して通知を行う。ここで、所定値以上のずれがあると判定された場合、音声パワーが平均値より所定値以上大きい、あるいは所定値以上小さい場合がありうるので、音声パワー判定部２０３５は、平均値より大きい、または平均値より小さいという情報も第１の端末装置１０及び／または第２の端末装置１０に対して通知する。
【0130】
ステップＳ５２において、第１の端末装置１０は、ステップＳ５１で行われた通知を受信し、受信した通知に基づいてずれがあることを表示する。具体的には、例えば、制御部１８０は、通信制御部１８２により通知を受信し、通信制御部１８２はこの通知を音声パワー状態提示部１８６３に送出し、音声パワー状態提示部１８６３は、第１の端末装置１０のディスプレイ１４１に通知があったことを表示する。
【0131】
なお、図１０では、２台の端末装置１０（第１の端末装置１０及び第２の端末装置１０）による通話の例を示しているが、サーバ２０の音声パワー分布計算部２０３４が音声パワーの平均値及び分散を算出し、音声パワー判定部２０３５がこの平均値とのズレを判定していることから、図１０に示す例は、３台以上の端末装置１０による通話の際において、より所望の効果を奏することができる。
【0132】
【0133】
図１１は、入力音声、すなわち、端末装置１０のユーザが発話した音声についての状態、及び、受信（受話）音声、すなわち、端末装置１０が相互通話中である特定の端末装置１０のユーザが発音し、端末装置１０において受信した音声についての状態を端末装置１０のディスプレイ１４１に表示した画面である。図１１に示す端末装置１０の表示画面は、その端末装置１０を使って通話しているユーザの端末装置１０の表示画面であって、以降、図１１の端末装置１０を使用しているユーザを発話者と呼ぶ。また、発話者が相互通話を行っている（複数の）通話相手を受話者と呼ぶ。図１１（及び図１２）において、発話者のユーザ名をTanaka、受話者のユーザ名をそれぞれSato、Yamadaとする。つまり、図１１においては、ユーザ名Tanakaとユーザ名Sato、ユーザ名Yamadaの３名により同時音声通話をしている。
【0134】
図１１に示すように、端末装置１０のディスプレイ１４１には、ユーザ毎のアイコン９００～９０２が表示されている。なお、図１１（及び図１２～図１５）に図示した例において、アイコン９００～９０２は絵文字により表示しているが、アイコン９００～９０２の表示形態に特段の限定はなく、例えば、通話をしているユーザ（発話者、受話者）それぞれの画像であってもよいし、単に発話者、受話者のユーザ名を表示するのみであってもよい。そして、このアイコン９００～９０２の下部には、音声状態を判定した結果であるスコアをバー９０３により表示している。なお、バーは、アイコンの一態様であり、インジケーターと称してもよい。図１１に示す例では、スコアが０、すなわち良好であればバー９０３が３つ、スコアが－１、すなわちやや悪いであればバー２つ、スコアが－２、すなわち悪いであればバーが１つ表示されている。また、スコアに応じてバーが表示される色も変えて表示されている。図１１は図示の関係上白黒で表示しているが、一例として、図１１で白抜きの長方形で示しているバーは緑色、内部が斜線のハッチングがされた長方形で示しているバーは黄色、黒く塗りつぶした長方形で示しているバーは赤色に表示されている。
【0135】
図１１（ａ）に示したアイコン９００～９０２では、発話者Tanakaの音声状態は良好であり、発話者Satoの音声状態はやや悪い、発話者Yamadaの音声状態は悪いと判定されている。また、図１１（ｂ）に示したアイコン９００～９０２では、発話者Tanaka、発話者Sato、及び発話者Yamadaの音声状態はいずれも悪いと判定されている。
【0136】
【0137】
端末装置１０のユーザが、ディスプレイ１４１のアイコン９００をタップすると、図１２の上部に示すような詳細表示がディスプレイ１４１に表示される。図１２（ａ）に示すアイコン９００は発話者のアイコンであるので、詳細表示には、入力音声の統合スコア、及び、その根拠となる入力音声パワー等の判定結果が表示される。
【0138】
同様に、端末装置１０のユーザが、ディスプレイ１４１のアイコン９０２をタップすると、図１２（ｂ）に示すような詳細表示がディスプレイ１４１に表示される。図１２（ｂ）に示すアイコン９０２は受話者のアイコンであるので、詳細表示には、受話音声のスコア、及び、その根拠となるパケットロス率が表示される。
【0139】
さらに、図１３は、端末装置１０のユーザが発話した入力音声の音声パワーが、現在相互通話中のユーザが発話した入力音声の音声パワーの平均値との間に所定値以上のずれがあると判定されたとき、判定結果をこの端末装置１０のディスプレイ１４１に表示した画面である。図１３に示す例では、端末装置１０のユーザの入力音声の音声パワーが平均値より所定値以下である場合、ディスプレイ１４１に、判定結果を記載したダイアログ１１００が表示される。
【0140】
図１３ではユーザの入力音声パワーのバラツキの判定結果を表示しているが、判定結果に基づいて解決策を提示することも可能である（例えば、小さく話してください、大きく話してください）。
【0141】
＜５ 実施形態の効果＞
以上詳細に説明したように、本実施形態のシステム１によれば、端末装置１０の音声判定部１８５の受信音声評価部１８５５により、この端末装置１０が受信した受信音声データの状態を評価し、この評価結果である第１の評価結果を、通話相手である他の端末装置１０に返信しているので、他の端末装置１０のユーザは、この第１の評価結果に基づいて、自身の入力音声が通話相手にどのように聞こえているかを知ることができる。従って、本実施形態のシステム１によれば、通話相手の音声の状態を容易に把握することが可能となる。
以上詳細に説明したように、本実施形態のシステム１によれば、端末装置１０の音声判定部１８５の受信音声評価部１８５５により、この端末装置１０が受信した受信音声データの状態を評価し、この評価結果である第１の評価結果を、通話相手である他の端末装置１０に返信しているので、他の端末装置１０のユーザは、この第１の評価結果に基づいて、自身の入力音声が通話相手にどのように聞こえているかを知ることができる。従って、本実施形態のシステム１によれば、通話相手の音声の状態を容易に把握することが可能となる。
【0142】
また、本実施形態のシステム１によれば、端末装置１０のユーザが発話した入力音声の品質の評価を音声判定部１８５で行い、この品質の評価結果である第３の評価結果をユーザに提示しているので、通話相手の音声の状態とともに、自身の入力音声の状態を同時に把握することができる。
【0143】
さらに、本実施形態のシステム１によれば、相互通話中のユーザの入力音声パワーのバラツキをユーザが把握することができる。
【0144】
すなわち、Web会議などの複数人の通話システムにおいて、通話参加者の入力音声パワーのバラツキが大きい場合、通話参加者全体の平均の入力音声パワーよりも、小さすぎる参加者の音声は聞こえにくく、通話参加者全体の平均の入力音声パワーよりも、大きすぎる参加者の音声はうるさく耳障りとなる。
【0145】
このようなバラツキが発生している時、受信側の音声出力のボリューム調整が困難になる。より詳細には、小さすぎる参加者の音声を聞きやすくするためボリュームを上げると、大きすぎる参加者の音声がさらに大きくなり余計に耳障りになる。一方、大きすぎる参加者の音声を聞きやすくするためボリュームを下げると、小さすぎる参加者の音声がさらに小さくなり余計に聞こえにくくなる。従って、音声を発話するユーザが自身の音声のパワーが通話者全体の音声パワーの平均よりも小さすぎる、もしくは、大きすぎることを把握し、ユーザが自身の発話音声のパワーを調整して平均に近づけることにより、このような入力音声パワーのバラツキを解消することが重要である。
【0146】
相互通話中のユーザの入力音声パワーのバラツキに関連する技術として、国際公開第２００８／０１１９０１号に開示された技術がある。この技術では、少なくとも１つの音声端末は、それぞれの受信チャンネルによって提供される音声データがグループの個別の音声信号に復号されるように、第１のグループに関連付けられる個別音声信号を重畳して集約音声信号を形成し、集約音声信号を第１集約音声データに符号化する。さらに、少なくとも２つの音声端末は、第２グループに関連付けられており、第１の集約音声データは、第１の集約音声データの出力毎に、第２のグループに対応付けられた音声端末に供給される。
【0147】
しかしながら、複数のユーザが音声通話を行っている状況においては、各ユーザの入力音声レベルが閾値を上回っている場合でも、各ユーザの入力音声レベルが通話に参加している複数ユーザの間でバラついていると、聞きづらさにつながる。
【0148】
上述した技術においても、通話に参加する複数のユーザの入力音声レベルのバラツキに対してのフィードバックは考慮されていない。
【0149】
一方、本実施形態のシステム１によれば、複数のユーザの入力音声レベルのバラツキ、すなわち、端末装置１０の入力音声パワーの検出値の平均値及び分散を音声パワー分布計算部２０３４が計算し、計算された平均値に対して所定値以上のずれがあるか否かを音声パワー判定部２０３５が判定し、この判定結果である第４の判定結果を端末装置１０のユーザ（発話者）に提示しているので、第４の判定結果を提示されたユーザは、入力音声パワーのバラツキを把握することができる。
【0150】
＜６ 付記＞
なお、上記した実施形態は本開示を分かりやすく説明するために構成を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、各実施形態の構成の一部について、他の構成に追加、削除、置換することが可能である。
なお、上記した実施形態は本開示を分かりやすく説明するために構成を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、各実施形態の構成の一部について、他の構成に追加、削除、置換することが可能である。
【0151】
一例として、端末装置１０が音声判定部１８５のうち受信音声評価部１８５５のみを有する構成も可能である。また、受信音声評価部１８５５及び通話相手受信音声状態提示部１８６２のみを有する構成も可能である。さらに、サーバ２０が音声パワー分布計算部２０３４及び音声パワー判定部２０３５を有しない構成も可能である。この場合、端末装置１０は音声パワー状態提示部１８６３を有さない。
【0152】
また、上記した実施形態においては、端末装置１０のユーザが発話した入力音声について品質評価、すなわち、音声パワー、SN比及びマイク特性の各観点に沿って評価を行っていたが、通話相手である他の端末装置１０からの受信音声について、音声パワー検出部１８５１、SN比検出部１８５２及びマイク特性検出部１８５３による検出及び評価を行い、入力音声評価部１８５４により統合スコアを算出することで評価を行ってもよい。そして、入力音声評価部１８５４による品質評価結果は、パケットロス率に基づく受信音声評価部１８５５の評価結果とともに送信部１８２２を介して通話相手である特定の端末装置１０に送出される。入力音声評価部１８５４による品質評価結果にも、受信音声評価部１８５５の評価結果と同様に、端末装置１０を識別するための識別子が付されて送出される。
【0153】
図１４は、発話者の入力音声を受話者の端末装置１０において品質評価を行い、この結果を発話者の端末装置１０が受信してそのディスプレイ１４１に表示した画面である。
【0154】
図１４に示す画面は図１１に示す画面と同様であるが、発話者の端末装置１０において発話者の入力音声についての品質評価は行っていないので、端末装置１０のディスプレイ１４１には、受話者についてのアイコン９０１、９０２及びバー９０３が表示されている。また、図１４に示した画面例ではバー９０３を表示しているが、アイコン９０１、９０２のみ表示してもよい。これは、図１１～図１２の画面例においても同様である。また、図１４では、発話者のアイコン９００が表示されていない例を示しているが、発話者のアイコン９００が表示されてもよい。
【0155】
さらに、図１５は、図１２と同様に、図１３において表示された音声状態の詳細な表示を行った画面である。図１５において、受話者のアイコン（図１４ではアイコン９０２）をタップすると、発話者の入力音声が受話者の端末装置１０で受信された際のスコア、及び、その根拠となるパケットロス率、さらには、品質評価の結果である受話者の入力音声の統合スコア、及び、その根拠となる入力音声パワー等の判定結果が表示される。
【0156】
ここで、３人以上のユーザによる同時通話を行っている場合、受信音声に関する評価結果は、通話相手である複数の端末装置１０から別々に送出される。従って、通話相手受信音声状態提示部１８６２により評価結果を提示する際に、通話相手である端末装置１０から送信された評価結果を全て提示してもよいし、評価結果に基づいて少なくとも１つの端末装置１０から送信された評価結果を選択して提示してもよい。例えば、受信音声の評価が低い通信相手から送信されてきた評価結果については破棄するようにしてもよい。また、一例として、悪い評価結果を受信したということは、自分の会話が聞き取りづらい通話相手がいるということであるから、「やや悪い」「悪い」という評価結果のみ提示してもよい。また、品質評価結果についても、どの端末装置１０による評価結果であるかを、例えばユーザ名とともに提示してもよい。さらに、受信音声の評価が高い通信相手から送信されてきた評価結果についても表示してもよい。加えて、相互通話中のユーザが５人いるようなときは、受信音声の評価が最高のユーザのユーザ名や、受信音声の評価が最低のユーザのユーザ名を表示してもよいし、評価の順序（ランキング）を表示してもよい。
【0157】
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、本発明は、実施例の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をコンピュータに提供し、そのコンピュータが備えるプロセッサが記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ハードディスク、ＳＳＤ、光ディスク、光磁気ディスク、ＣＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。
【0158】
また、本実施例に記載の機能を実現するプログラムコードは、例えば、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、Ｓｈｅｌｌ、ＰＨＰ、Ｊａｖａ（登録商標）等の広範囲のプログラム又はスクリプト言語で実装できる。
【0159】
さらに、実施例の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することによって、それをコンピュータのハードディスクやメモリ等の記憶手段又はＣＤ－ＲＷ、ＣＤ－Ｒ等の記憶媒体に格納し、コンピュータが備えるプロセッサが当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしてもよい。
【0160】
以上の各実施形態で説明した事項を以下に付記する。
【0161】
（付記１）
プロセッサ（１９）とメモリ（１５）とを備え、他の端末装置（１０）と音声データの送受信が可能な端末装置（１０）を動作させるためのプログラム（１７１）であって、プログラム（１７１）は、プロセッサ（１９）に、他の端末装置（１０）から送信された音声データを受信するステップ（Ｓ２３）と、受信した音声データの状態を評価して第１の評価結果として出力するステップ（Ｓ２４）と、第１の評価結果を他の端末装置（１０）に返信するステップ（Ｓ２５）と、受信した音声データに基づく音声をユーザに出力するステップ（Ｓ２６）とを実行させるプログラム。
（付記２）
他の端末装置（１０）から送信される、端末装置（１０）から送信されて他の端末装置（１０）で受信された音声データの状態を評価した第２の評価結果を受信するステップ（Ｓ３３）と、受信した第２の評価結果をユーザに提示するステップ（Ｓ３５）とをさらに実行させる付記１に記載のプログラム。
（付記３）
第２の評価結果に応じたアイコン（９００～９０２）をユーザに提示するステップ（Ｓ３５）をさらに実行させる付記２に記載のプログラム。
（付記４）
アイコン（９００～９０２）をユーザに提示するステップ（Ｓ３５）では、第２の評価結果に応じて、他の端末装置（１０）のユーザに関する画像の表示態様を変化させる付記３に記載のプログラム。
（付記５）
第２の評価結果をユーザに提示するステップ（Ｓ３５）では、第２の評価結果に応じた音を発生させる付記２に記載のプログラム。
（付記６）
第２の評価結果をユーザに提示するステップ（Ｓ３５）では、第２の評価結果が所定状態よりも良好である場合、第２の評価結果を提示しない付記２～５のいずれか一項に記載のプログラム。
（付記７）
第２の評価結果には、音声データを受信した他の端末装置（１０）を特定する識別子が付されており、第２の評価結果をユーザに提示するステップ（Ｓ３５）では、第２の評価結果を、他の端末装置（１０）が識別可能にユーザに提示する付記２～６のいずれか一項に記載のプログラム。
（付記８）
第２の評価結果をユーザに提示するステップ（Ｓ３５）では、他の端末装置（１０）のユーザの画像と関連付けて提示する付記７に記載のプログラム。
（付記９）
音声データを受信するステップ（Ｓ２３）では、符号化されてパケットに変換されている音声データを受信してこの音声データを復号化し。第１の評価結果として出力するステップ（Ｓ２４）では、復号化の際のパケットロス率に基づいて音声データの状態を評価する付記２～８のいずれか一項に記載のプログラム。
（付記１０）
第２の評価結果をユーザに提示するステップ（Ｓ３５）では、第２の評価結果として他の端末装置（１０）との通信におけるパケットロス率をユーザに提示する付記９に記載のプログラム。
（付記１１）
第１の評価結果として出力するステップ（Ｓ２４）では、音声区間検出を利用し、音声データの状態を評価する付記２～８のいずれか一項に記載のプログラム。
（付記１２）
第１の評価結果として出力するステップ（Ｓ２４）では、音声データの品質に基づいて音声データの状態を評価する付記２～８のいずれか一項に記載のプログラム。
（付記１３）
第２の評価結果をユーザに提示するステップ（Ｓ３５）では、第２の評価結果としてユーザが発した音声に基づく音声データの品質をユーザに提示する付記１２に記載のプログラム。
（付記１４）
第２の評価結果を受信するステップ（Ｓ３３）では、複数の他の端末装置（１０）から複数の第２の評価結果を受信し、第２の評価結果をユーザに提示するステップ（Ｓ２６）では、少なくとも１つ以外の第２の評価結果を除去する付記１３に記載のプログラム。
（付記１５）
音声データを受信するステップ（Ｓ２３）では、他の端末装置（１０）を特定する第１識別子が付与された音声データを受信し、第１の評価結果として出力するステップ（Ｓ２４）では、第１の評価結果に端末装置（１０）を特定する第２識別子を付し、第１の評価結果を他の端末装置（１０）に返信するステップ（Ｓ２５）では、第２識別子が付された第１の評価結果を、第１識別子により特定される他の端末装置（１０）を送信先として送信する付記１～１４のいずれか一項に記載のプログラム。
（付記１６）
端末装置（１０）のユーザから発せられた音声に基づく音声データの品質を評価するステップ（Ｓ１７）と、端末装置（１０）のユーザから発せられた音声に基づく音声データの品質の評価結果である第３の評価結果をユーザに提示するステップ（Ｓ１８）とをさらに実行させる付記１～１５のいずれか一項に記載のプログラム。
（付記１７）
音声データの品質を評価するステップ（Ｓ１７）では、端末装置（１０）のユーザから発せられた音声の特性である音声のパワー、SN比、マイク特性、又はこれらのうち少なくとも２つの検出の組み合わせに基づいて音声データの品質を評価する付記１６に記載のプログラム。
（付記１８）
音声データの品質を評価するステップ（Ｓ１７）では、端末装置（１０）のユーザから音声データが入力される毎に特性を検出し、音声データの入力が途絶えたら最後に検出した特性の値を保持する付記１７に記載のプログラム。
（付記１９）
音声データの品質を評価するステップ（Ｓ１７）では、特性の検出結果に基づいてスコアを算出することで音声データの品質を評価する付記１７または１８に記載のプログラム。
（付記２０）
第３の評価結果を端末装置（１０）のユーザに提示するステップ（Ｓ１８）では、端末装置（１０）のユーザから音声データが入力されていない状態では第３の評価結果を提示しない付記１６～１９のいずれか一項に記載のプログラム。
（付記２１）
第３の評価結果を端末装置（１０）のユーザに提示するステップ（Ｓ１８）では、第３の評価結果として音声のパワー、SN比、マイク特性、又はこれらのうち少なくとも２つの検出の組み合わせを端末装置（１０）のユーザに提示する付記１７～１９のいずれか一項に記載のプログラム。
（付記２２）
プロセッサ（２９）とメモリ（２５）とを備え、複数の端末装置（１０）の間で音声データの送受信をさせるサーバ（２０）を動作させるためのプログラム（２０２１）であって、プログラム（２０２１）は、プロセッサ（２９）に、端末装置（１０）毎の入力音声の音声パワーを検出するステップ（Ｓ４７、Ｓ４８）と、音声パワーの検出結果に基づいて、音声パワーの平均値及び分散を算出するステップ（Ｓ４９）と、算出した平均値及び分散に基づいて、複数の端末装置（１０）を利用する各々の発話者の音声パワーと平均値とのずれが所定値以上であるか否かを判定するステップ（Ｓ５０）と、音声パワーと平均値とのずれが所定値以上であると判定された発話者に対して第４の判定結果を提示するステップ（Ｓ５１）とを実行させるプログラム。
（付記２３）
音声パワーを検出するステップ（Ｓ４７、Ｓ４８）では、端末装置（１０）から音声が入力される毎に音声パワーの検出を行い、音声の入力が途絶えたら最後の検出値を保持する付記２２に記載のプログラム。
（付記２４）
音声パワーの平均値及び分散を算出するステップ（Ｓ４９）では、秒単位での間隔を置いて音声パワーの平均値及び分散を算出する付記２２または２３に記載のプログラム。
（付記２５）
音声パワーと平均値とのずれが所定値以上であるか否かを判定するステップ（Ｓ５０）では、秒単位での間隔を置いて判定する付記２２～２４のいずれか一項に記載のプログラム。
（付記２６）
音声データには、音声データを送出した端末装置（１０）を特定する識別子が付されており、音声パワーの平均値及び分散を算出するステップ（Ｓ４９）では、識別子に基づいて現在通話をしている発話者が変更されたことを検出したら、音声パワーの平均値及び分散を算出し直す付記２２～２５のいずれか一項に記載のプログラム。
（付記２７）
第４の判定結果を提示するステップ（Ｓ５１）では、通信回線が接続されているが発話をしていない発話者がいたら、第４の判定結果を提示しない付記２２～２６のいずれか一項に記載のプログラム。
（付記２８）
第４の判定結果を提示するステップ（Ｓ５１）では、第４の判定結果とともに解決策を提示する付記２２～２７のいずれか一項に記載のプログラム。
（付記２９）
プロセッサ（１９）とメモリ（１５）とを備え、他の装置（１０）と音声データの送受信が可能な装置（１０）であって、プロセッサ（１９）は、他の装置（１０）から送信された音声データを受信するステップ（Ｓ２３）と、受信した音声データの状態を評価して第１の評価結果として出力するステップ（Ｓ２４）と、第１の評価結果を他の装置（１０）に返信するステップ（Ｓ２５）と、受信した音声データに基づく音声をユーザに出力するステップ（Ｓ２６）とを実行する装置（１０）。
（付記３０）
プロセッサ（１９）とメモリ（１５）とを備え、他のコンピュータ（１０）と音声データの送受信が可能なコンピュータ（１０）により実行される方法であって、プロセッサ（１９）は、他のコンピュータから送信された音声データを受信するステップ（Ｓ２３）と、受信した音声データの状態を評価して第１の評価結果として出力するステップ（Ｓ２４）と、第１の評価結果を他のコンピュータに返信するステップ（Ｓ２５）と、受信した音声データに基づく音声をユーザに出力するステップ（Ｓ２６）とを実行する方法。
（付記３１）
端末装置（１０）と他の端末装置（１０）との間での音声データの送受信が可能なシステム（１）であって、端末装置（１０）は、他の端末装置（１０）から送信された音声データを受信する手段（１８２３）と、受信した音声データの状態を評価して第１の評価結果として出力する手段（１８５５）と、第１の評価結果を他の端末装置（１０）に返信する手段（１８２２）と、受信した音声データに基づく音声をユーザに出力する手段（１８４）とを具備するシステム（１）。
（付記３２）
プロセッサ（２９）とメモリ（２５）とを備え、複数の端末装置（１０）の間で音声データの送受信をさせる装置（２０）であって、プロセッサ（２９）は、端末装置（１０）毎の入力音声の音声パワーを検出するステップ（Ｓ４７、Ｓ４８）と、音声パワーの検出結果に基づいて、音声パワーの平均値及び分散を算出するステップ（Ｓ４９）と、算出した平均値及び分散に基づいて、複数の端末装置（１０）を利用する各々の発話者の音声パワーと平均値とのずれが所定値以上であるか否かを判定するステップ（Ｓ５０）と、音声パワーと平均値とのずれが所定値以上であると判定された発話者に対して第４の判定結果を提示するステップ（Ｓ５１）とを実行する装置（１０）。
（付記３３）
プロセッサ（２９）とメモリ（２５）とを備え、複数の端末装置（１０）の間で音声データの送受信をさせるコンピュータ（２０）により実行される方法であって、プロセッサ（２９）は、端末装置（１０）毎の入力音声の音声パワーを検出するステップ（Ｓ４７、Ｓ４８）と、音声パワーの検出結果に基づいて、音声パワーの平均値及び分散を算出するステップ（Ｓ４９）と、算出した平均値及び分散に基づいて、複数の端末装置（１０）を利用する各々の発話者の音声パワーと平均値とのずれが所定値以上であるか否かを判定するステップ（Ｓ５０）と、音声パワーと平均値とのずれが所定値以上であると判定された発話者に対して第４の判定結果を提示するステップ（Ｓ５１）とを実行する方法。
（付記３４）
複数の端末装置（１０）と、これら複数の端末装置（１０）の間で音声データの送受信をさせるサーバ（２０）とを有するシステム（１）であって、サーバ（２０）は、端末装置（１０）毎の入力音声の音声パワーを検出する手段（２０３１、２０３３）と、音声パワーの検出結果に基づいて、音声パワーの平均値及び分散を算出する手段（２０３４）と、算出した平均値及び分散に基づいて、複数の端末装置（１０）を利用する各々の発話者の音声パワーと平均値とのずれが所定値以上であるか否かを判定する手段（２０３５）と、音声パワーと平均値とのずれが所定値以上であると判定された発話者に対して第４の判定結果を提示する手段（２０３１、２０３３）とを具備するシステム。
プロセッサ（１９）とメモリ（１５）とを備え、他の端末装置（１０）と音声データの送受信が可能な端末装置（１０）を動作させるためのプログラム（１７１）であって、プログラム（１７１）は、プロセッサ（１９）に、他の端末装置（１０）から送信された音声データを受信するステップ（Ｓ２３）と、受信した音声データの状態を評価して第１の評価結果として出力するステップ（Ｓ２４）と、第１の評価結果を他の端末装置（１０）に返信するステップ（Ｓ２５）と、受信した音声データに基づく音声をユーザに出力するステップ（Ｓ２６）とを実行させるプログラム。
（付記２）
他の端末装置（１０）から送信される、端末装置（１０）から送信されて他の端末装置（１０）で受信された音声データの状態を評価した第２の評価結果を受信するステップ（Ｓ３３）と、受信した第２の評価結果をユーザに提示するステップ（Ｓ３５）とをさらに実行させる付記１に記載のプログラム。
（付記３）
第２の評価結果に応じたアイコン（９００～９０２）をユーザに提示するステップ（Ｓ３５）をさらに実行させる付記２に記載のプログラム。
（付記４）
アイコン（９００～９０２）をユーザに提示するステップ（Ｓ３５）では、第２の評価結果に応じて、他の端末装置（１０）のユーザに関する画像の表示態様を変化させる付記３に記載のプログラム。
（付記５）
第２の評価結果をユーザに提示するステップ（Ｓ３５）では、第２の評価結果に応じた音を発生させる付記２に記載のプログラム。
（付記６）
第２の評価結果をユーザに提示するステップ（Ｓ３５）では、第２の評価結果が所定状態よりも良好である場合、第２の評価結果を提示しない付記２～５のいずれか一項に記載のプログラム。
（付記７）
第２の評価結果には、音声データを受信した他の端末装置（１０）を特定する識別子が付されており、第２の評価結果をユーザに提示するステップ（Ｓ３５）では、第２の評価結果を、他の端末装置（１０）が識別可能にユーザに提示する付記２～６のいずれか一項に記載のプログラム。
（付記８）
第２の評価結果をユーザに提示するステップ（Ｓ３５）では、他の端末装置（１０）のユーザの画像と関連付けて提示する付記７に記載のプログラム。
（付記９）
音声データを受信するステップ（Ｓ２３）では、符号化されてパケットに変換されている音声データを受信してこの音声データを復号化し。第１の評価結果として出力するステップ（Ｓ２４）では、復号化の際のパケットロス率に基づいて音声データの状態を評価する付記２～８のいずれか一項に記載のプログラム。
（付記１０）
第２の評価結果をユーザに提示するステップ（Ｓ３５）では、第２の評価結果として他の端末装置（１０）との通信におけるパケットロス率をユーザに提示する付記９に記載のプログラム。
（付記１１）
第１の評価結果として出力するステップ（Ｓ２４）では、音声区間検出を利用し、音声データの状態を評価する付記２～８のいずれか一項に記載のプログラム。
（付記１２）
第１の評価結果として出力するステップ（Ｓ２４）では、音声データの品質に基づいて音声データの状態を評価する付記２～８のいずれか一項に記載のプログラム。
（付記１３）
第２の評価結果をユーザに提示するステップ（Ｓ３５）では、第２の評価結果としてユーザが発した音声に基づく音声データの品質をユーザに提示する付記１２に記載のプログラム。
（付記１４）
第２の評価結果を受信するステップ（Ｓ３３）では、複数の他の端末装置（１０）から複数の第２の評価結果を受信し、第２の評価結果をユーザに提示するステップ（Ｓ２６）では、少なくとも１つ以外の第２の評価結果を除去する付記１３に記載のプログラム。
（付記１５）
音声データを受信するステップ（Ｓ２３）では、他の端末装置（１０）を特定する第１識別子が付与された音声データを受信し、第１の評価結果として出力するステップ（Ｓ２４）では、第１の評価結果に端末装置（１０）を特定する第２識別子を付し、第１の評価結果を他の端末装置（１０）に返信するステップ（Ｓ２５）では、第２識別子が付された第１の評価結果を、第１識別子により特定される他の端末装置（１０）を送信先として送信する付記１～１４のいずれか一項に記載のプログラム。
（付記１６）
端末装置（１０）のユーザから発せられた音声に基づく音声データの品質を評価するステップ（Ｓ１７）と、端末装置（１０）のユーザから発せられた音声に基づく音声データの品質の評価結果である第３の評価結果をユーザに提示するステップ（Ｓ１８）とをさらに実行させる付記１～１５のいずれか一項に記載のプログラム。
（付記１７）
音声データの品質を評価するステップ（Ｓ１７）では、端末装置（１０）のユーザから発せられた音声の特性である音声のパワー、SN比、マイク特性、又はこれらのうち少なくとも２つの検出の組み合わせに基づいて音声データの品質を評価する付記１６に記載のプログラム。
（付記１８）
音声データの品質を評価するステップ（Ｓ１７）では、端末装置（１０）のユーザから音声データが入力される毎に特性を検出し、音声データの入力が途絶えたら最後に検出した特性の値を保持する付記１７に記載のプログラム。
（付記１９）
音声データの品質を評価するステップ（Ｓ１７）では、特性の検出結果に基づいてスコアを算出することで音声データの品質を評価する付記１７または１８に記載のプログラム。
（付記２０）
第３の評価結果を端末装置（１０）のユーザに提示するステップ（Ｓ１８）では、端末装置（１０）のユーザから音声データが入力されていない状態では第３の評価結果を提示しない付記１６～１９のいずれか一項に記載のプログラム。
（付記２１）
第３の評価結果を端末装置（１０）のユーザに提示するステップ（Ｓ１８）では、第３の評価結果として音声のパワー、SN比、マイク特性、又はこれらのうち少なくとも２つの検出の組み合わせを端末装置（１０）のユーザに提示する付記１７～１９のいずれか一項に記載のプログラム。
（付記２２）
プロセッサ（２９）とメモリ（２５）とを備え、複数の端末装置（１０）の間で音声データの送受信をさせるサーバ（２０）を動作させるためのプログラム（２０２１）であって、プログラム（２０２１）は、プロセッサ（２９）に、端末装置（１０）毎の入力音声の音声パワーを検出するステップ（Ｓ４７、Ｓ４８）と、音声パワーの検出結果に基づいて、音声パワーの平均値及び分散を算出するステップ（Ｓ４９）と、算出した平均値及び分散に基づいて、複数の端末装置（１０）を利用する各々の発話者の音声パワーと平均値とのずれが所定値以上であるか否かを判定するステップ（Ｓ５０）と、音声パワーと平均値とのずれが所定値以上であると判定された発話者に対して第４の判定結果を提示するステップ（Ｓ５１）とを実行させるプログラム。
（付記２３）
音声パワーを検出するステップ（Ｓ４７、Ｓ４８）では、端末装置（１０）から音声が入力される毎に音声パワーの検出を行い、音声の入力が途絶えたら最後の検出値を保持する付記２２に記載のプログラム。
（付記２４）
音声パワーの平均値及び分散を算出するステップ（Ｓ４９）では、秒単位での間隔を置いて音声パワーの平均値及び分散を算出する付記２２または２３に記載のプログラム。
（付記２５）
音声パワーと平均値とのずれが所定値以上であるか否かを判定するステップ（Ｓ５０）では、秒単位での間隔を置いて判定する付記２２～２４のいずれか一項に記載のプログラム。
（付記２６）
音声データには、音声データを送出した端末装置（１０）を特定する識別子が付されており、音声パワーの平均値及び分散を算出するステップ（Ｓ４９）では、識別子に基づいて現在通話をしている発話者が変更されたことを検出したら、音声パワーの平均値及び分散を算出し直す付記２２～２５のいずれか一項に記載のプログラム。
（付記２７）
第４の判定結果を提示するステップ（Ｓ５１）では、通信回線が接続されているが発話をしていない発話者がいたら、第４の判定結果を提示しない付記２２～２６のいずれか一項に記載のプログラム。
（付記２８）
第４の判定結果を提示するステップ（Ｓ５１）では、第４の判定結果とともに解決策を提示する付記２２～２７のいずれか一項に記載のプログラム。
（付記２９）
プロセッサ（１９）とメモリ（１５）とを備え、他の装置（１０）と音声データの送受信が可能な装置（１０）であって、プロセッサ（１９）は、他の装置（１０）から送信された音声データを受信するステップ（Ｓ２３）と、受信した音声データの状態を評価して第１の評価結果として出力するステップ（Ｓ２４）と、第１の評価結果を他の装置（１０）に返信するステップ（Ｓ２５）と、受信した音声データに基づく音声をユーザに出力するステップ（Ｓ２６）とを実行する装置（１０）。
（付記３０）
プロセッサ（１９）とメモリ（１５）とを備え、他のコンピュータ（１０）と音声データの送受信が可能なコンピュータ（１０）により実行される方法であって、プロセッサ（１９）は、他のコンピュータから送信された音声データを受信するステップ（Ｓ２３）と、受信した音声データの状態を評価して第１の評価結果として出力するステップ（Ｓ２４）と、第１の評価結果を他のコンピュータに返信するステップ（Ｓ２５）と、受信した音声データに基づく音声をユーザに出力するステップ（Ｓ２６）とを実行する方法。
（付記３１）
端末装置（１０）と他の端末装置（１０）との間での音声データの送受信が可能なシステム（１）であって、端末装置（１０）は、他の端末装置（１０）から送信された音声データを受信する手段（１８２３）と、受信した音声データの状態を評価して第１の評価結果として出力する手段（１８５５）と、第１の評価結果を他の端末装置（１０）に返信する手段（１８２２）と、受信した音声データに基づく音声をユーザに出力する手段（１８４）とを具備するシステム（１）。
（付記３２）
プロセッサ（２９）とメモリ（２５）とを備え、複数の端末装置（１０）の間で音声データの送受信をさせる装置（２０）であって、プロセッサ（２９）は、端末装置（１０）毎の入力音声の音声パワーを検出するステップ（Ｓ４７、Ｓ４８）と、音声パワーの検出結果に基づいて、音声パワーの平均値及び分散を算出するステップ（Ｓ４９）と、算出した平均値及び分散に基づいて、複数の端末装置（１０）を利用する各々の発話者の音声パワーと平均値とのずれが所定値以上であるか否かを判定するステップ（Ｓ５０）と、音声パワーと平均値とのずれが所定値以上であると判定された発話者に対して第４の判定結果を提示するステップ（Ｓ５１）とを実行する装置（１０）。
（付記３３）
プロセッサ（２９）とメモリ（２５）とを備え、複数の端末装置（１０）の間で音声データの送受信をさせるコンピュータ（２０）により実行される方法であって、プロセッサ（２９）は、端末装置（１０）毎の入力音声の音声パワーを検出するステップ（Ｓ４７、Ｓ４８）と、音声パワーの検出結果に基づいて、音声パワーの平均値及び分散を算出するステップ（Ｓ４９）と、算出した平均値及び分散に基づいて、複数の端末装置（１０）を利用する各々の発話者の音声パワーと平均値とのずれが所定値以上であるか否かを判定するステップ（Ｓ５０）と、音声パワーと平均値とのずれが所定値以上であると判定された発話者に対して第４の判定結果を提示するステップ（Ｓ５１）とを実行する方法。
（付記３４）
複数の端末装置（１０）と、これら複数の端末装置（１０）の間で音声データの送受信をさせるサーバ（２０）とを有するシステム（１）であって、サーバ（２０）は、端末装置（１０）毎の入力音声の音声パワーを検出する手段（２０３１、２０３３）と、音声パワーの検出結果に基づいて、音声パワーの平均値及び分散を算出する手段（２０３４）と、算出した平均値及び分散に基づいて、複数の端末装置（１０）を利用する各々の発話者の音声パワーと平均値とのずれが所定値以上であるか否かを判定する手段（２０３５）と、音声パワーと平均値とのずれが所定値以上であると判定された発話者に対して第４の判定結果を提示する手段（２０３１、２０３３）とを具備するシステム。
【符号の説明】
【0162】
１…システム、１０…端末装置、２０…サーバ、１４１…ディスプレイ、１４２…スピーカ、１７０…記憶部、１７１…アプリケーション、１７２…検出結果データ、１７３…評価テーブル、１８０…制御部、１８２…通信制御部、１８３…音声入力部、１８４…音声出力部、１８５…音声判定部、１８６…提示制御部、２０２…記憶部、２０３…制御部、９００～９０２…アイコン、９０３…バー、１１００…ダイアログ、１８２１…符号化処理部、１８２２…送信部、１８２３…受信部、１８２４…復号化処理部、１８５１…音声パワー検出部、１８５２…SN比検出部、１８５３…マイク特性検出部、１８５４…入力音声評価部、１８５５…受信音声評価部、１８６１…入力音声状態提示部、１８６２…通話相手受信音声状態提示部、１８６３…音声パワー状態提示部、１８６４…入力音声評価部、２０２１…アプリケーション、２０２２…計算結果データ、２０３１…送受信部、２０３２…記憶制御部、２０３３…通信制御部、２０３４…音声パワー分布計算部、２０３５…音声パワー判定部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
