知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024173432
(43)【公開日】2024-12-12
(54)【発明の名称】ノイズ解析装置、ノイズ解析方法及びプログラム
(51)【国際特許分類】
G10L 25/48 20130101AFI20241205BHJP
G10L 21/028 20130101ALI20241205BHJP
G10L 25/84 20130101ALI20241205BHJP
G10L 17/00 20130101ALI20241205BHJP
【ＦＩ】
G10L25/48 100
G10L21/028 Z
G10L25/84
G10L17/00 200C
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2023091844
(22)【出願日】2023-06-02
(71)【出願人】
【識別番号】314012076
【氏名又は名称】パナソニックＩＰマネジメント株式会社
(74)【代理人】
【識別番号】110002000
【氏名又は名称】弁理士法人栄光事務所
(72)【発明者】
【氏名】藤井 亮太
(57)【要約】 （修正有）
【課題】ユーザによる特定の処理実行中に混入したノイズがどの程度存在しているかを明示的に報知するノイズ解析装置、ノイズ解析方法及びプログラムを提供する。
【解決手段】ネットワークを介して相互にデータ通信可能に接続された複数の音処理装置を少なくとも含む通話システムにおいて、音処理装置１０は、収音デバイスにより収音された入力音信号をノイズ音信号と非ノイズ音信号とに分離する音分析部１３と、非ノイズ音信号の音量を解析する音Ａ音量解析部１４と、ノイズ音信号の音量を解析する音Ｂ音量解析部１５と、非ノイズ音信号の音量の解析結果である第１解析結果とノイズ音信号の音量の解析結果である第２解析結果とをディスプレイに視覚的かつ対比的に表示する制御部１７と、を備える。
【選択図】図２
【解決手段】ネットワークを介して相互にデータ通信可能に接続された複数の音処理装置を少なくとも含む通話システムにおいて、音処理装置１０は、収音デバイスにより収音された入力音信号をノイズ音信号と非ノイズ音信号とに分離する音分析部１３と、非ノイズ音信号の音量を解析する音Ａ音量解析部１４と、ノイズ音信号の音量を解析する音Ｂ音量解析部１５と、非ノイズ音信号の音量の解析結果である第１解析結果とノイズ音信号の音量の解析結果である第２解析結果とをディスプレイに視覚的かつ対比的に表示する制御部１７と、を備える。
【選択図】図２
【特許請求の範囲】
【請求項1】
収音デバイスにより収音された入力音信号をノイズ音信号と非ノイズ音信号とに分離する音分析部と、
前記非ノイズ音信号の音量を解析する第１解析部と、
前記ノイズ音信号の音量を解析する第２解析部と、
前記非ノイズ音信号の音量の解析結果である第１解析結果と、前記ノイズ音信号の音量の解析結果である第２解析結果とをディスプレイに視覚的かつ対比的に表示する表示制御部と、を備える、
ノイズ解析装置。
前記非ノイズ音信号の音量を解析する第１解析部と、
前記ノイズ音信号の音量を解析する第２解析部と、
前記非ノイズ音信号の音量の解析結果である第１解析結果と、前記ノイズ音信号の音量の解析結果である第２解析結果とをディスプレイに視覚的かつ対比的に表示する表示制御部と、を備える、
ノイズ解析装置。
【請求項2】
前記入力音信号は、ユーザが前記収音デバイスを装着して発話した時の通話音声信号と、前記発話時に発生しているノイズ音信号とを含む、
請求項１に記載のノイズ解析装置。
請求項１に記載のノイズ解析装置。
【請求項3】
前記第１解析結果と前記第２解析結果とを比較する比較部、を更に備え、
前記比較部は、前記第２解析結果の示す前記ノイズ音信号の音量が前記第１解析結果の示す前記非ノイズ音信号の音量と所定係数値との積以上である場合に、前記非ノイズ音信号の音量を前記第１解析結果より小さく補正する、
請求項１に記載のノイズ解析装置。
前記比較部は、前記第２解析結果の示す前記ノイズ音信号の音量が前記第１解析結果の示す前記非ノイズ音信号の音量と所定係数値との積以上である場合に、前記非ノイズ音信号の音量を前記第１解析結果より小さく補正する、
請求項１に記載のノイズ解析装置。
【請求項4】
前記第１解析結果と前記第２解析結果とを比較する比較部、を更に備え、
前記比較部は、前記第１解析結果の示す前記非ノイズ音信号の音量が第１閾値以上であってかつ直前に解析された前記第２解析結果の示す前記ノイズ音信号の音量が前記第１閾値以上である場合に、前記非ノイズ音信号の音量を前記第１解析結果より小さく補正する、
請求項１に記載のノイズ解析装置。
前記比較部は、前記第１解析結果の示す前記非ノイズ音信号の音量が第１閾値以上であってかつ直前に解析された前記第２解析結果の示す前記ノイズ音信号の音量が前記第１閾値以上である場合に、前記非ノイズ音信号の音量を前記第１解析結果より小さく補正する、
請求項１に記載のノイズ解析装置。
【請求項5】
前記表示制御部は、前記第１解析結果及び前記第２解析結果のそれぞれを所定範囲内の値に正規化処理する、
請求項１に記載のノイズ解析装置。
請求項１に記載のノイズ解析装置。
【請求項6】
前記表示制御部は、前記正規化処理の結果としてゼロを最小値、Ｘ（Ｘ：０≦Ｘ≦１）以上を最大値として表示する、
請求項５に記載のノイズ解析装置。
請求項５に記載のノイズ解析装置。
【請求項7】
前記第２解析結果の示す前記ノイズ音信号の音量が第２閾値以上となる期間が一定期間以上となるか否かを判定する制御部、を更に備え、
前記制御部は、前記ノイズ音信号の音量が前記第２閾値以上となる期間が前記一定期間以上となると判定した場合に、ノイズ音の発生を知らせる旨のメッセージを前記ディスプレイに表示する、
請求項１に記載のノイズ解析装置。
前記制御部は、前記ノイズ音信号の音量が前記第２閾値以上となる期間が前記一定期間以上となると判定した場合に、ノイズ音の発生を知らせる旨のメッセージを前記ディスプレイに表示する、
請求項１に記載のノイズ解析装置。
【請求項8】
前記入力音信号における有音区間と前記入力音信号における定常雑音区間とを区別可能に判定する判定部と、
前記定常雑音区間における定常雑音信号の音量を解析する第３解析部と、を更に備え、
前記表示制御部は、前記非ノイズ音信号の音量の解析結果である第１解析結果と、前記ノイズ音信号の音量の解析結果である第２解析結果と前記定常雑音信号の音量の解析結果である第３解析結果との加算結果とを前記ディスプレイに視覚的かつ対比的に表示する、
請求項１に記載のノイズ解析装置。
前記定常雑音区間における定常雑音信号の音量を解析する第３解析部と、を更に備え、
前記表示制御部は、前記非ノイズ音信号の音量の解析結果である第１解析結果と、前記ノイズ音信号の音量の解析結果である第２解析結果と前記定常雑音信号の音量の解析結果である第３解析結果との加算結果とを前記ディスプレイに視覚的かつ対比的に表示する、
請求項１に記載のノイズ解析装置。
【請求項9】
前記入力音信号は、ユーザが声紋認証用に前記収音デバイスに向かって発話した時の発話音声信号と、前記発話時に発生しているノイズ音信号とを含む、
請求項１に記載のノイズ解析装置。
請求項１に記載のノイズ解析装置。
【請求項10】
前記第２解析結果が示す前記ノイズ音信号の音量が第３閾値以上となるか否かを判定する制御部、を更に備え、
前記制御部は、前記ノイズ音信号の音量が前記第３閾値以上となると判定した場合に、前記声紋認証の処理を中断する又は前記声紋認証用の前記発話音声信号のレベルをゼロに変換する、
請求項９に記載のノイズ解析装置。
前記制御部は、前記ノイズ音信号の音量が前記第３閾値以上となると判定した場合に、前記声紋認証の処理を中断する又は前記声紋認証用の前記発話音声信号のレベルをゼロに変換する、
請求項９に記載のノイズ解析装置。
【請求項11】
ノイズ解析装置により実行されるノイズ解析方法であって、
収音デバイスにより収音された入力音信号をノイズ音信号と非ノイズ音信号とに分離するステップと、
前記非ノイズ音信号の音量を解析するステップと、
前記ノイズ音信号の音量を解析するステップと、
前記非ノイズ音信号の音量の解析結果である第１解析結果と、前記ノイズ音信号の音量の解析結果である第２解析結果とをディスプレイに視覚的かつ対比的に表示するステップと、を有する、
ノイズ解析方法。
収音デバイスにより収音された入力音信号をノイズ音信号と非ノイズ音信号とに分離するステップと、
前記非ノイズ音信号の音量を解析するステップと、
前記ノイズ音信号の音量を解析するステップと、
前記非ノイズ音信号の音量の解析結果である第１解析結果と、前記ノイズ音信号の音量の解析結果である第２解析結果とをディスプレイに視覚的かつ対比的に表示するステップと、を有する、
ノイズ解析方法。
【請求項12】
コンピュータであるノイズ解析装置に、
収音デバイスにより収音された入力音信号をノイズ音信号と非ノイズ音信号とに分離するステップと、
前記非ノイズ音信号の音量を解析するステップと、
前記ノイズ音信号の音量を解析するステップと、
前記非ノイズ音信号の音量の解析結果である第１解析結果と、前記ノイズ音信号の音量の解析結果である第２解析結果とをディスプレイに視覚的かつ対比的に表示するステップと、を実現させるための、
プログラム。
収音デバイスにより収音された入力音信号をノイズ音信号と非ノイズ音信号とに分離するステップと、
前記非ノイズ音信号の音量を解析するステップと、
前記ノイズ音信号の音量を解析するステップと、
前記非ノイズ音信号の音量の解析結果である第１解析結果と、前記ノイズ音信号の音量の解析結果である第２解析結果とをディスプレイに視覚的かつ対比的に表示するステップと、を実現させるための、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ノイズ解析装置、ノイズ解析方法及びプログラムに関する。
【背景技術】
【0002】
特許文献１には、入力音声信号の音声部分と非音声部分を判定し、音声部分における音声レベルを算出し、非音声部分における雑音レベルを算出し、音声レベルと雑音レベルから入力音声信号のＳＮ比を算出し、音声レベルと雑音レベルとＳＮ比と予め設定されている目標音量レベルから入力音声信号の増幅率を算出し、入力音声信号を増幅率で増幅して出力する自動音量制御装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２００９－１７１２０８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
近年ではリモート通話が増えており、在宅勤務中でもリモート通話を行う機会が増えている。しかし在宅勤務中にリモート通話を行うと、その通話音声の中に話者の周囲の生活雑音等のノイズが混入することが少なくなく、その場合には通話相手にもノイズを送ることになり、会話或いは会議の支障となり得るという問題点が存在する。また、混入したノイズがどのくらい通話相手に伝わっているかをリモート通話の話者が明確に知る有効な手段が存在していない。特許文献１は定常的なノイズは抑えることができるが突発的なノイズは抑えられずに通話相手に伝わることになる。また近年の人工知能を用いたノイズ除去であってもどのような種類のノイズを除去することができるかユーザが把握することは困難である。例えばリモート通話の話者の近くで赤ちゃんが泣いていて、リモート通話の通話相手に対して赤ちゃんの泣き声がどの程度のノイズとして伝わっているかを把握することはできなかった。特許文献１にも、上述した混入した生活雑音等のノイズがどのくらい通話相手に対して伝わっているのかを話者が明確に知る有効な手段は開示されていない。
【0005】
本開示は、上述した従来の事情に鑑みて案出され、ユーザによる特定の処理実行中に混入したノイズがどの程度存在しているかを明示的に報知するノイズ解析装置、ノイズ解析方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示は、収音デバイスにより収音された入力音信号をノイズ音信号と非ノイズ音信号とに分離する音分析部と、前記非ノイズ音信号の音量を解析する第１解析部と、前記ノイズ音信号の音量を解析する第２解析部と、前記非ノイズ音信号の音量の解析結果である第１解析結果と、前記ノイズ音信号の音量の解析結果である第２解析結果とをディスプレイに視覚的かつ対比的に表示する表示制御部と、を備える、ノイズ解析装置を提供する。
【0007】
また、本開示は、ノイズ解析装置により実行されるノイズ解析方法であって、収音デバイスにより収音された入力音信号をノイズ音信号と非ノイズ音信号とに分離するステップと、前記非ノイズ音信号の音量を解析するステップと、前記ノイズ音信号の音量を解析するステップと、前記非ノイズ音信号の音量の解析結果である第１解析結果と、前記ノイズ音信号の音量の解析結果である第２解析結果とをディスプレイに視覚的かつ対比的に表示するステップと、を有する、ノイズ解析方法を提供する。
【0008】
また、本開示は、コンピュータであるノイズ解析装置に、収音デバイスにより収音された入力音信号をノイズ音信号と非ノイズ音信号とに分離するステップと、前記非ノイズ音信号の音量を解析するステップと、前記ノイズ音信号の音量を解析するステップと、前記非ノイズ音信号の音量の解析結果である第１解析結果と、前記ノイズ音信号の音量の解析結果である第２解析結果とをディスプレイに視覚的かつ対比的に表示するステップと、を実現させるための、プログラムを提供する。
【発明の効果】
【0009】
本開示によれば、ユーザによる特定の処理実行中に混入したノイズがどの程度存在しているかを明示的に報知できる。
【図面の簡単な説明】
【0010】
【図1】実施の形態１に係る通話システムのシステム構成例を示す図
【図3A】表示領域内に表示される音声メータ、ノイズメータの第１表示例を示す図
【図3B】表示領域内に表示される音声メータ、ノイズメータの第２表示例を示す図
【図3C】表示領域内に表示される音声メータ、ノイズメータの第３表示例を示す図
【図4】実施の形態１に係る音処理装置の動作手順例を時系列に示すフローチャート
【図9】実施の形態２に係る声紋認証システムのシステム構成例を示す図
【図12】実施の形態１の変形例１に係る音処理装置のハードウェア構成例を示すブロック図
【図13】実施の形態１の変形例１に係る音処理装置の動作手順例を時系列に示すフローチャート
【図14】実施の形態１の変形例２に係る音処理装置のハードウェア構成例を示すブロック図
【図15】実施の形態１の変形例２に係る音処理装置の動作手順例を時系列に示すフローチャート
【発明を実施するための形態】
【0011】
以下、適宜図面を参照しながら、本開示に係るノイズ解析装置、ノイズ解析方法及びプログラムを具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるものであり、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【0012】
＜実施の形態１＞
実施の形態１では、本開示に係るノイズ解析装置の一実施態様として、複数人がネットワークを介してデータ通信可能に接続された音処理装置とヘッドセットとをそれぞれ用いて行うリモート通話を支援する通話システムを例示する（図１参照）。
実施の形態１では、本開示に係るノイズ解析装置の一実施態様として、複数人がネットワークを介してデータ通信可能に接続された音処理装置とヘッドセットとをそれぞれ用いて行うリモート通話を支援する通話システムを例示する（図１参照）。
【0013】
まず、図１を参照して、実施の形態１に係る通話システム１００のシステム構成例について説明する。図１は、実施の形態１に係る通話システム１００のシステム構成例を示す図である。通話システム１００は、ネットワークＮＷ１を介して相互にデータ通信可能に接続された音処理装置１０、２０、３０、４０を少なくとも含む。音処理装置１０、２０、３０、４０のそれぞれに対応するように、リモート通話用のヘッドセットＨＳ１、ＨＳ２、ＨＳ３、ＨＳ４、及び、表示用のディスプレイＤＰ１、ＤＰ２、ＤＰ３、ＤＰ４が接続されている。ヘッドセットＨＳ１、ＨＳ２、ＨＳ３、ＨＳ４は、それぞれユーザＳＰ１、ＳＰ２、ＳＰ３、ＳＰ４により使用される。
【0014】
ネットワークＮＷ１は、有線ネットワーク、無線ネットワーク、或いは有線ネットワーク及び無線ネットワークの組み合わせ、のいずれでもよい。有線ネットワークは、例えば有線Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＬＡＮ）、或いは、有線Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＷＡＮ）等でよい。無線ネットワークは、例えば無線ＬＡＮ、無線ＷＡＮ、或いは、セルラー無線通信等でよい。
【0015】
以下、説明を簡単にするために、リモート通話の話者であるユーザＳＰ１を中心として、ユーザＳＰ１が使用するヘッドセットＨＳ１により収音したユーザＳＰ１の発話音声及びユーザＳＰ１の周囲のノイズ音のそれぞれの音量を視覚的かつ対比的に表示する音処理装置１０の構成及び動作を主に説明する。ユーザＳＰ１がリモート通話の話者である場合、他のユーザＳＰ２、ＳＰ３、ＳＰ４はそれぞれ通話相手となる。
【0016】
音処理装置１０は、本開示に係るノイズ解析装置の一例であり、ユーザＳＰ１の発話音声の音量と周囲のノイズ音の音量とを、視覚的かつ対比的にディスプレイＤＰ１の一部の表示領域ＡＲ１に表示する（図３Ａ、図３Ｂ、図３Ｃ参照）。なお、音処理装置１０の構成及び動作の説明は、他の音処理装置２０、３０、４０の一部或いは全部に同様に適用しても構わない。
【0017】
ヘッドセットＨＳ１は、周知のヘッドセットの構成と同一でよく、マイク及びスピーカを備える。ヘッドセットＨＳ１は、リモート通話中のユーザＳＰ１の発話音声をマイクにおいて収音したり、通話相手であるユーザＳＰ２、ＳＰ３、ＳＰ４のうち少なくとも１人の発話音声をスピーカから出力したりする。ヘッドセットＨＳ１のマイクにより収音された音には、ユーザＳＰ１の発話音声だけでなく、ユーザＳＰ１の周囲に存在している生活雑音等のノイズ音が含まれる。ここでいう生活雑音とは、例えばユーザＳＰ１の周囲に赤ちゃんが泣いている場合の泣き声、インターホンの鳴動音若しくは電話機の着信音のように周囲において突発的に生じた音、定常的に発生している音量の小さい雑音等が含まれる。
【0018】
ディスプレイＤＰ１は、例えば液晶ディスプレイ或いは有機Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ（ＥＬ）ディプレイであり、音処理装置１０からの表示用のデータ信号を入力し、そのデータ信号に対応する画像等を表示する。ディスプレイＤＰ１は、例えばユーザＳＰ１の発話音声の音量と周囲のノイズ音の音量とを、視覚的かつ対比的に表示領域ＡＲ１内に表示する（図３Ａ、図３Ｂ、図３Ｃ参照）。表示領域ＡＲ１は、ユーザＳＰ１が目につきやすい位置の一例として、ディスプレイＤＰ１の画像／映像の表示領域全体のうち右下端部の矩形状領域としている。但し、表示領域ＡＲ１の位置は、ユーザＳＰ１が目につきやすい位置であれば、前述した右下端部に限定されなくてもよい。
【0019】
次に、図２を参照して、図１の音処理装置１０のハードウェア構成例について説明する。図２は、図１の音処理装置１０のハードウェア構成例を示すブロック図である。音処理装置１０は、ヘッドセットＨＳ１及びディスプレイＤＰ１のそれぞれにデータ信号の入出力が可能に接続されている。音処理装置１０は、汎用的なコンピュータ装置であり、例えばパーソナルコンピュータ、スマートフォン、タブレット端末、或いは、サーバコンピュータであってよい。音処理装置１０は、プロセッサＰＲＣ１と、メモリ１１と、をハードウェア構成として少なくとも含む。なお、音処理装置１０は、ユーザＳＰ１の操作を受け付けるマウス等の入力デバイスも更に含む構成としてよい。
【0020】
プロセッサＰＲＣ１は、音処理装置１０の全体的な動作を司るコントローラとして機能し、音処理装置１０の各部の動作を統括するための制御処理、音処理装置１０の各部との間のデータ信号／制御信号の入出力処理、データ信号／制御信号の演算処理及びデータ信号／制御信号の記憶処理を行う。プロセッサＰＲＣ１は、例えばＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）、Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ（ＤＳＰ）、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ（ＦＰＧＡ）、或いは、Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＧＰＵ）により構成されてよい。プロセッサＰＲＣ１は、メモリ１１と協働しながら、ヘッドセットＨＳ１により収音された音信号（以下、「入力音信号」と便宜的に称する場合がある）を入力し、この入力音信号に対して各種の信号処理を施す。
【0021】
メモリ１１は、少なくともＲｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）及びＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）を備える。ＲＯＭは、プロセッサＰＲＣ１が実行する各種の処理を規定するプログラムとそのプログラムの実行に必要となるデータとを関連付けて保存している。ＲＡＭは、プロセッサＰＲＣ１が取得或いは生成したデータ若しくは情報を一時的に保存する。メモリ１１は、プロセッサＰＲＣ１による処理の実行中に適宜参照される。
【0022】
ここで、プロセッサＰＲＣ１が機能的に実行する処理の実行主体の構成例を詳述する。プロセッサＰＲＣ１は、音信号入力ＩＦ１２と、音分析部１３と、音Ａ音量解析部１４と、音Ｂ音量解析部１５と、音量比較補正部１６と、制御部１７と、信号処理部１８と、送信部１９と、を機能的に備える。
【0023】
音信号入力ＩＦ１２は、ヘッドセットＨＳ１との間のインターフェース（Ｉｎｔｅｒｆａｃｅ：ＩＦ）としての機能を備え、ヘッドセットＨＳ１により収音された入力音信号を入力して音分析部１３及び信号処理部１８のそれぞれに送る。以下の説明において、音信号入力ＩＦ１２には、音処理装置１０の電源ＯＮの間、ヘッドセットＨＳ１により収音された入力音信号が周期的、断続的、或いは、定常的に入力され続ける。
【0024】
音分析部１３は、音信号入力ＩＦ１２からの入力音信号を少なくとも２種類の音信号（具体的には、音Ａと音Ｂ）に分離し、音Ａ信号（非ノイズ音信号の一例）を音Ａ音量解析部１４に送り、音Ｂ信号（ノイズ音信号の一例）を音Ｂ音量解析部１５に送る。ここで、音Ａとは、入力音信号に含まれる音の中でユーザＳＰ１が発話した発話音声の部分の音を示す。つまり、音Ａは、リモート通話の話者であるユーザＳＰ１が発話したことによって通話相手であるユーザＳＰ２、ＳＰ３、ＳＰ４に送り届けられると想定される通話音声の音を示す。一方、音Ｂとは、入力音信号に含まれる音の中でユーザＳＰ１が発話した発話音声以外のノイズ音を示す。つまり、音Ｂは、ユーザＳＰ２、ＳＰ３、ＳＰ４に送り届けられる音Ａに混じる不要なノイズ音であって、ユーザＳＰ２、ＳＰ３、ＳＰ４がユーザＳＰ１の発話音声を聞き取る際の支障となり得る音である。音分析部１３の処理の詳細については、図５を参照して後述する。
【0025】
音Ａ音量解析部１４は、第１解析部の一例であり、音分析部１３からの音Ａ信号を入力し、その入力された音Ａ信号の音量を解析する。音Ａ音量解析部１４は、例えば音Ａ信号の波形の平均パワー、最大振幅、或いは、特定の周波数帯におけるパワーを参照して音Ａ信号の音量を解析する。また、音Ａ音量解析部１４は、入力された音Ａ信号の波形を時間方向に平滑化した上で、音Ａ信号の波形の平均パワー、最大振幅、或いは、特定の周波数帯におけるパワーを参照して音Ａ信号の音量を解析してもよい。音Ａ音量解析部１４は、音Ａ信号の音量の解析結果（第１解析結果）を音量比較補正部１６に送る。
【0026】
音Ｂ音量解析部１５は、第２解析部の一例であり、音分析部１３からの音Ｂ信号を入力し、その入力された音Ｂ信号の音量を解析する。音Ｂ音量解析部１５は、例えば音Ｂ信号の波形の平均パワー、最大振幅、或いは、特定の周波数帯におけるパワーを参照して音Ｂ信号の音量を解析する。また、音Ｂ音量解析部１５は、入力された音Ｂ信号の波形を時間方向に平滑化した上で、音Ｂ信号の波形の平均パワー、最大振幅、或いは、特定の周波数帯におけるパワーを参照して音Ｂ信号の音量を解析してもよい。音Ｂ音量解析部１５は、音Ｂ信号の音量の解析結果（第２解析結果）を音量比較補正部１６に送る。
【0027】
音量比較補正部１６は、音Ａ音量解析部１４からの第１解析結果と音Ｂ音量解析部１５からの第２解析結果とを入力して比較する。音量比較補正部１６は、第１解析結果及び第２解析結果が特定の第１条件を満たす場合に、音Ａ信号の音量を音Ａ音量解析部１４により解析された音量の値より小さくなるよう補正してもよく（図６Ａ、図６Ｂ参照）、この場合に音Ａ信号の補正後音量を信号処理部１８に通知する。音量比較補正部１６は、比較の結果、音Ａ信号及び音Ｂ信号のそれぞれの音量を視覚的かつ対比的に表示するための表示用のデータ信号を生成し（図７参照）、音Ａ信号及び音Ｂ信号の各音量を視覚的かつ対比的にディスプレイＤＰ１の表示領域ＡＲ１に表示する。また、音量比較補正部１６は、第２解析結果を取得する度にその第２解析結果を制御部１７に送る。音量比較補正部１６の処理の詳細については、図６Ａ、図６Ｂ及び図７のそれぞれを参照して後述する。
【0028】
制御部１７は、音量比較補正部１６から入力した第２解析結果が特定の第２条件を満たすか否かを判定する（図８参照）。制御部１７は、第２解析結果が特定の第２条件を満たすと判定した場合に、所定のメッセージ（後述参照）のデータ信号を生成してディスプレイＤＰ１内の画像／映像の表示領域全体の中で表示領域ＡＲ１以外の領域に表示する。制御部１７の処理の詳細については、図８を参照して後述する。
【0029】
信号処理部１８は、音信号入力ＩＦ１２からの入力音信号に所定の信号処理を施して送信部１９に送る。信号処理部１８は、音量比較補正部１６から音Ａ信号の補正後音量の通知を受けた場合、音信号入力ＩＦ１２からの入力音信号の音量を音Ａ信号の補正後音量にまで下げるように減衰処理して送信部１９に送る。
【0030】
送信部１９は、信号処理部１８からの減衰処理されていない入力音信号或いは減衰処理後の入力音信号を、ノイズ音が混じった通話音声信号としてネットワークＮＷ１を介して他の音処理装置２０、３０、４０のそれぞれに送信する。なお、送信部１９は、プロセッサＰＲＣ１の一部を構成するものとして図示しているが、プロセッサＰＲＣ１とは別体で設けられてもよい。
【0031】
次に、図３Ａ～図３Ｃを参照して、表示領域ＡＲ１内に表示される音声メータ、ノイズメータの表示例について説明する。図３Ａは、表示領域内に表示される音声メータ、ノイズメータの第１表示例を示す図である。図３Ｂは、表示領域内に表示される音声メータ、ノイズメータの第２表示例を示す図である。図３Ｃは、表示領域内に表示される音声メータ、ノイズメータの第３表示例を示す図である。
【0032】
図３Ａに示すように、表示領域ＡＲ１には、音Ａ信号の音量の解析結果である第１解析結果に相当する音声メータＶ１と、音Ｂ信号の音量の解析結果である第２解析結果に相当するノイズメータＮ１と、が視覚的かつ対比的に表示される。音声メータＶ１は、１つの表示枠Ｗｋ１内に表示され、音Ａ信号の音量の大小に合わせた目盛り（表示バー）の個数によって音量の大きさを示す。同様に、ノイズメータＮ１は、１つの表示枠Ｗｋ２内に表示され、音Ｂ信号の音量の大小に合わせた目盛り（表示バー）の個数によって音量の大きさを示す。図３Ａの表示例では、音声メータＶ１の目盛り（表示バー）がノイズメータＮ１の目盛り（表示バー）よりも多いため、話者であるユーザＳＰ１の発話音声がノイズ音よりも勝って収音されていることが分かる。また、ユーザＳＰ１は、自分の発話音声の大きさ（つまり音声メータＶ１の目盛り）と比較してノイズメータＮ１の目盛りが示すノイズ音が混じっていることを視覚的かつ対比的に認識することができる。
【0033】
図３Ｂに示すように、表示領域ＡＲ１には、音Ａ信号の音量の解析結果である第１解析結果に相当する音声メータＶ２と、音Ｂ信号の音量の解析結果である第２解析結果に相当するノイズメータＮ２と、１つの表示枠Ｗｋ３内において視覚的かつ対比的に表示される。音声メータＶ２は、同一の表示枠Ｗｋ３内に表示され、音Ａ信号の音量の大小に合わせた目盛り（表示バー）の個数によって音量の大きさを示す。同様に、ノイズメータＮ２は、同一の表示枠Ｗｋ３内に表示され、音Ｂ信号の音量の大小に合わせた目盛り（表示バー）の個数によって音量の大きさを示す。図３Ｂの表示例では、音声メータＶ２の目盛り（表示バー）がノイズメータＮ２の目盛り（表示バー）よりも少ないため、話者であるユーザＳＰ１の発話音声よりも周囲のノイズ音が勝って収音されていることが分かる。また、ユーザＳＰ１は、自分の発話音声の大きさ（つまり音声メータＶ２の目盛り）と比較してノイズメータＮ２の目盛りが示すノイズ音が多く混じっていることを視覚的かつ対比的に認識することができる。
【0034】
図３Ｃに示すように、表示領域ＡＲ１には、音Ａ信号の音量の解析結果である第１解析結果に相当する音声メータＶ３と、音Ｂ信号の音量の解析結果である第２解析結果に相当するノイズメータＮ３と、円グラフ形式で視覚的かつ対比的に表示される。音声メータＶ３及びノイズメータＮ３のそれぞれのゼロ（原点）は点線Ｉ１により定義される。つまり、点線Ｉ１の位置をゼロ点として、音Ａ信号の音量が音声メータＶ３によって円グラフ形式で示され、かつ、音Ｂ信号の音量がノイズメータＮ３によって円グラフ形式で示されている。図３Ｃの表示例では、音声メータＶ３の円弧長（表示バーの長さ）がノイズメータＮ３の円弧長（表示バーの長さ）よりも長いため、話者であるユーザＳＰ１の発話音声がノイズ音よりも勝って収音されていることが分かる。また、ユーザＳＰ１は、自分の発話音声の大きさ（つまり音声メータＶ３の円弧長）と比較してノイズメータＮ３の円弧長（表示バーの長さ）が示すノイズ音が混じっていることを視覚的かつ対比的に認識することができる。
【0035】
次に、図４～図８を参照して、実施の形態１に係る音処理装置１０の動作手順例について説明する。図４は、実施の形態１に係る音処理装置１０の動作手順例を時系列に示すフローチャートである。図５は、図４のステップＳｔ２の音分析の詳細な動作手順例を時系列に示すフローチャートである。図６Ａは、図４のステップＳｔ５の音量比較補正処理の詳細な第１動作手順例を時系列に示すフローチャートである。図６Ｂは、図４のステップＳｔ５の音量比較補正処理の詳細な第２動作手順例を時系列に示すフローチャートである。図７は、図４のステップＳｔ６の音量表示処理の詳細な動作手順例を時系列に示すフローチャートである。図８は、図４のステップＳｔ７の信号処理用のパラメータ算出の詳細な動作手順例を時系列に示すフローチャートである。
【0036】
【0037】
図４において、プロセッサＰＲＣ１は、ヘッドセットＨＳ１から入力されてくる入力音信号を音信号入力ＩＦ１２において一定期間分保持する（ステップＳｔ１）。一定期間は、例えば１秒、５秒、１０秒等である。プロセッサＰＲＣ１は、ステップＳｔ１で保持した一定期間分の入力音信号を用いて、その入力音信号に音分析を施し、入力音信号を音分析部１３において音Ａ信号と音Ｂ信号とに分離して出力する（ステップＳｔ２）。ステップＳｔ２の音分析の詳細な動作手順例については、図５を参照して後述する。
【0038】
プロセッサＰＲＣ１は、ステップＳｔ２で得られた音Ａ信号を用いて、音Ａ信号の音量を音Ａ音量解析部１４において解析する（ステップＳｔ３）。プロセッサＰＲＣ１は、ステップＳｔ２で得られた音Ｂ信号を用いて、音Ｂ信号の音量を音Ｂ音量解析部１５において解析する（ステップＳｔ４）。プロセッサＰＲＣ１は、ステップＳｔ３での解析により得られた音Ａ信号の音量の解析結果（第１解析結果）とステップＳｔ４での解析により得られた音Ｂ信号の音量の解析結果（第２解析結果）とを音量比較補正部１６において入力して比較する（ステップＳｔ５）。ステップＳｔ５の音量比較補正処理の詳細な動作手順例については、図６Ａ及び図６Ｂのそれぞれを参照して後述する。
【0039】
プロセッサＰＲＣ１は、ステップＳｔ３での解析により得られた音Ａ信号の音量の解析結果（第１解析結果）或いはステップＳｔ５での補正後の出力と、ステップＳｔ４での解析により得られた音Ｂ信号の音量の解析結果（第２解析結果）或いはステップＳｔ５での補正後の出力とを用いて、音量表示処理（図７参照）を行うことにより、音Ａ信号及び音Ｂ信号のそれぞれの音量を視覚的かつ対比的に表示するための表示用のデータ信号を生成する（ステップＳｔ６）。ステップＳｔ６の音量表示処理の詳細な動作手順例については、図７を参照して後述する。
【0040】
プロセッサＰＲＣ１は、ステップＳｔ６の音量表示処理の後、ステップＳｔ４での解析により得られた音Ｂ信号の音量の解析結果（第２解析結果）を用いて、信号処理用のパラメータの算出処理を行う（ステップＳｔ７）。ステップＳｔ７の算出処理の詳細な動作手順例については、図８を参照して後述する。
【0041】
ステップＳｔ７の後、ユーザＳＰ１の入力操作によりリモート通話の終了が指示された場合には（ステップＳｔ８、ＹＥＳ）、図４に示すプロセッサＰＲＣ１の処理は終了する。一方、ユーザＳＰ１の入力操作によりリモート通話の終了が指示されていない場合には（ステップＳｔ８、ＮＯ）、プロセッサＰＲＣ１の処理はステップＳｔ１に戻る。つまり、ユーザＳＰ１の入力操作によりリモート通話の終了が指示されるまで、プロセッサＰＲＣ１は、ステップＳｔ１～ステップＳｔ８までの一連の処理を繰り返し実行する。
【0042】
【0043】
図５において、音分析部１３は、ステップＳｔ１で保持した一定期間分の入力音信号を用いて、その入力音信号の１つ以上の特徴量を抽出する（ステップＳｔ２－１）。音分析部１３は、特徴量の抽出として、例えばＦａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ（ＦＦＴ：高速フーリエ変換）の処理を行ったり、Ｍｅｌ Ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒａｌ Ｃｏｅｆｆｉｃｉｅｎｔ（ＭＦＣＣ：メル周波数ケプストラム係数）を得るための各種解析を行ったりする。なお、音分析部１３が行う特徴量を抽出するための解析の種類は特に問わない。
【0044】
音分析部１３は、ステップＳｔ２－１で抽出した入力音信号の１つ以上の特徴量と、メモリ１１に事前保存されている登録特徴量（例えば音Ａの種類に応じて予め登録された音の特徴量）とを比較し、その登録特徴量に近づくように入力音信号をフィルタ等で変換することにより音Ａ信号を出力する（ステップＳｔ２－２）。音分析部１３は、ステップＳｔ２－１で抽出した入力音信号の１つ以上の特徴量と、メモリ１１に事前登録されている他の登録特徴量（例えば音Ｂの種類に応じて予め登録された音の特徴量）を用いて、ステップＳｔ２－２と同様にして、その他の登録特徴量に近づくように入力音信号をフィルタ等で変換することにより音Ｂ信号を出力する（ステップＳｔ２－３）。これにより、音分析部１３は、ステップＳｔ１で保持した一定期間分の入力音信号から音Ａ信号と音Ｂ信号とを分離して抽出できる。
【0045】
なお、音分析部１３は、一定期間分の入力音信号から音Ａ信号と音Ｂ信号とを抽出することができれば、メモリ１１に事前保存されている登録特徴量との比較に基づくフィルタ等での変換手法を必ず使用しなくても構わない。例えば、音分析部１３は、予め決められたルールに従って一定期間分の入力音信号を音Ａ信号に変換加工するとともに入力音信号を音Ｂ信号に変換加工してもよい。また、音分析部１３は、ニューラルネットワーク等を用いて、一定期間分の入力音信号を入力して２つ以上の音信号（例えば音Ａ信号、音Ｂ信号）を出力しても構わない。また、ステップＳｔ２－２及びステップＳｔ２－３において、音分析部１３は、音Ａ信号及び音Ｂ信号の出力に関して、音信号の波形を出力する態様以外に、各音信号の特徴量を出力してもよいし、その音信号の音量が参照可能となるパラメータを出力しても構わない。
【0046】
【0047】
図６Ａにおいて、音量比較補正部１６は、音Ａ信号の音量の解析結果（第１解析結果）と音Ｂ信号の音量の解析結果（第２解析結果）を比較し、「Ｂ≧ｋ＊Ａ？」の式（特定の第１条件の一例）を満たすか否かを判定する（ステップＳｔ５－１）。＊は掛け算の演算子であり、以下同様である。つまり、音量比較補正部１６は、「音Ｂ信号の音量」が「音Ａ信号の音量のｋ倍値」以上であるか否か（言い換えると、ノイズ音がユーザＳＰ１の発話音声である目的音と同等かそれ以上であるか否か）を判定する。ｋは定数であり、例えばｋ＝１或いはｋ＝０．５である。「Ｂ＜ｋ＊Ａ」であると判定された場合には（ステップＳｔ５－１、ＮＯ）、図６Ａの音量比較補正部１６の処理は終了する。つまり、この場合には、音量比較補正部１６は、音Ａ信号の音量の解析結果（第１解析結果）と音Ｂ信号の音量の解析結果（第２解析結果）とを補正せずにそのまま音量表示処理に使用する。
【0048】
一方、音量比較補正部１６は、「Ｂ≧ｋ＊Ａ」であると判定した場合には（ステップＳｔ５－１、ＹＥＳ）、係数値ｍ（例えば０．５或いは０．２５）を用いて、ステップＳｔ３での解析により得られた音Ａ信号の音量より小さくなるように音Ａ信号の音量を補正する（ステップＳｔ５－２）。つまり、音量比較補正部１６は、ステップＳｔ３での解析により得られた音Ａ信号の音量をＡとした場合、ステップＳｔ５－２において音Ａ信号の音量をｍ＊Ａと演算する。周囲のノイズ音がユーザＳＰ１の発話音声である目的音と同等かそれ以上である場合には、リモート通話の通話相手にとって目的音が聞こえにくい状況であると推察される。これにより、音量比較補正部１６は、ステップＳｔ５－２のように音Ａ信号の音量を小さく補正することにより、ユーザＳＰ１のリモート通話の現在の状況をユーザＳＰ１に正確に理解させることができる。ステップＳｔ５－２の後、図６Ａの音量比較補正部１６の処理は終了する。
【0049】
【0050】
図６Ｂにおいて、音量比較補正部１６は、音Ａ信号の音量の解析結果（第１解析結果）がメモリ１１に予め保存されている一定の音量値（第１閾値の一例）以上であるか否かを判定する（ステップＳｔ５－１１）。音Ａ信号の音量が一定の音量値未満であると判定された場合には（ステップＳｔ５－１１、ＮＯ）、図６Ｂの音量比較補正部１６の処理は終了する。つまり、この場合には、音量比較補正部１６は、音Ａ信号の音量の解析結果（第１解析結果）と音Ｂ信号の音量の解析結果（第２解析結果）とを補正せずにそのまま音量表示処理に使用する。
【0051】
一方、音量比較補正部１６は、音Ａ信号の音量が一定の音量値以上であると判定した場合には（ステップＳｔ５－１１、ＹＥＳ）、前回の一定期間分の入力音信号から抽出された音Ｂ信号が一定の音量値（第１閾値の一例）以上であるか否かを判定する（ステップＳｔ５－１２）。前回の一定期間分の入力音信号から抽出された音Ｂ信号の音量が一定の音量値未満であると判定された場合には（ステップＳｔ５－１２、ＮＯ）、図６Ｂの音量比較補正部１６の処理は終了する。
【0052】
一方、音量比較補正部１６は、前回の一定期間分の入力音信号から抽出された音Ｂ信号の音量が一定の音量値以上であると判定した場合には（ステップＳｔ５－１２、ＹＥＳ）、係数値ｎ（例えば０或いは０．０１）を用いて、ステップＳｔ３での解析により得られた音Ａ信号の音量より小さくなるように音Ａ信号の音量を補正する（ステップＳｔ５－１３）。つまり、音量比較補正部１６は、ステップＳｔ３での解析により得られた音Ａ信号の音量をＡとした場合、ステップＳｔ５－１３において音Ａ信号の音量をｎ＊Ａと演算する。音分析部１３による音Ａ、音Ｂへの分離の精度について実際は完璧に高いわけではない。本来、音分析部１３は、音Ｂ信号を音分析の処理結果として音Ａ信号として出力する場合がある。また傾向としてこういった出力間違いは短時間で行うことに起因することもあり、音Ａ（又は音Ｂ）を出力している時に音Ｂ（又は音Ａ）と間違えることも多い。これを踏まえて、音量比較補正部１６は、瞬間的な音Ａ、音Ｂの出力値を図６Ｂの処理によって補正又は無効にすることにより、出力間違いをユーザＳＰ１に知らせないようにすることができる。なお、図６ＢのステップＳｔ５－１１、Ｓｔ５－１２、Ｓｔ５－１３の各処理において、音Ａを音Ｂへ、音Ｂを音Ａへ、音Ａを音Ｂへそれぞれ置き換える処理を行っても構わない。
【0053】
【0054】
図７において、音量比較補正部１６は、音Ａ信号の音量の補正（図６Ａ又は図６Ｂ参照）後或いは補正していない解析結果（第１解析結果）と、音Ｂ信号の音量の補正（図６Ａ又は図６Ｂ参照）後或いは補正していない解析結果（第２解析結果）を用いて、音Ａ信号及び音Ｂ信号のそれぞれのレベル（音量）を所定の対数に変換する（ステップＳｔ６－１）。音量比較補正部１６は、ステップＳｔ６－１での音Ａ信号及び音Ｂ信号の各音量の変換後の値を用いて、所定範囲内の値（例えば０～１．０の値）になるように正規化処理する（ステップＳｔ６－２）。音量比較補正部１６は、ステップＳｔ６－２で正規化処理した音Ａ信号及び音Ｂ信号の各音量の出力値を平滑化する（ステップＳｔ６－３）。
【0055】
音量比較補正部１６は、ステップＳｔ６－３で平滑化した音Ａ信号及び音Ｂ信号の各音量の出力値を、表示バー（図３Ａ～図３Ｃ参照）の最小値を０（ゼロ）かつ最大値をＸ（Ｘ：０≦Ｘ≦１となる定数）に結び付けて視覚的かつ対比的に表示するための表示用のデータ信号（図３Ａ～図３Ｃ参照）を生成する（ステップＳｔ６－４）。例えばＸ＝０．５とした場合、音量比較補正部１６は、音量の出力値が０．５以上となる値を最大値とする表示用のデータ信号（最大の個数の表示バー）を生成する。一方、例えばＸ＝０．５とした場合、音量比較補正部１６は、音量の出力値が０．４となる個数の表示バーを生成する。ユーザＳＰ１は、入力音信号のうち自分が発話した分の発話音声が最大であるかどうかではなく、リモート通話の通話相手に十分自分の発話音声が伝わる音量であるかどうかを知ることができればよい。このため、音量比較補正部１６は、目安値となるＸ（上述参照）を導入することにより、表示バーの分解能を最大限に活かすことができる。
【0056】
【0057】
図８において、制御部１７は、特定の第２条件（「Ｂ≧ｂＹ？」）を満たすか否か、つまり図４のステップＳｔ４で解析された音Ｂ信号の音量がメモリ１１に事前登録されている一定値（第２閾値の一例）以上であるか否かを判定する（ステップＳｔ７－１）。この一定値は、例えばリモート通話中に通話相手（つまり、ユーザＳＰ２、ＳＰ３、ＳＰ４）が話者であるユーザＳＰ１の発話音声の聞き取りに支障が生じる程度のノイズ音の音量（レベル）を示す。制御部１７は、音Ｂ信号の音量が一定値（第２閾値の一例）以上であると判定した場合（ステップＳｔ７－１、ＹＥＳ）、カウンタｃをインクリメント（つまり、カウンタｃを所定値ｉだけ加算する処理）する（ステップＳｔ７－２）。これにより、カウンタｃ←ｃ＋ｉとなる。所定値ｉは定数値であり、例えば２である。
【0058】
一方、制御部１７は、音Ｂ信号の音量が一定値（第２閾値の一例）未満であると判定した場合（ステップＳｔ７－１、ＮＯ）、カウンタｃをデクリメント（つまり、カウンタｃを所定値ｉだけ減算する処理）する（ステップＳｔ７－３）。これにより、カウンタｃ←ｃ－ｉとなる。
【0059】
制御部１７は、ステップＳｔ７－２或いはステップＳｔ７－３の後、その時点のカウンタｃの値がメモリ１１に事前登録されている一定値Ｚ以上であるか否かを判定する（ステップＳｔ７－４）。カウンタｃの値が一定値Ｚ未満であると判定された場合には（ステップＳｔ７－４、ＮＯ）、図８の制御部１７の処理は終了する。つまり、制御部１７は、音Ｂ信号の音量が一定値ｂＹ以上となる期間が一定期間続かないようであれば、ステップＳｔ７－５のメッセージ表示処理を行うことなく、図８の処理を終了する。
【0060】
一方、制御部１７は、カウンタｃの値が一定値Ｚ以上であると判定した場合には（ステップＳｔ７－４、ＹＥＳ）、所定のメッセージ（例えば「ノイズ発生により支障が出ています」）をディスプレイＤＰ１に表示するメッセージ表示処理を実行する（ステップＳｔ７－５）。これにより、制御部１７は、音Ｂ信号の音量が一定値ｂＹ以上となる期間が一定期間続いているので、ステップＳｔ７－５のメッセージ表示処理を行うことによりリモート通話の話者であるユーザＳＰ１に周囲のノイズ音が発生している状況を注意喚起して知らせたり、その状況の改善を促すことができたりする。
【0061】
以上により、実施の形態１に係る通話システム１００では、音処理装置１０は、収音デバイス（例えばヘッドセットＨＳ１）により収音された入力音信号をノイズ音信号と非ノイズ音信号とに分離し、非ノイズ音信号の音量を解析し、ノイズ音信号の音量を解析する。音処理装置１０は、非ノイズ音信号の音量の解析結果である第１解析結果とノイズ音信号の音量の解析結果である第２解析結果とをディスプレイＤＰ１に視覚的かつ対比的に表示する。これにより、音処理装置１０は、リモート通話の話者であるユーザＳＰ１による特定の処理実行中（例えば通話中）に混入した、ユーザＳＰ１の周囲のノイズ音がどの程度存在しているかを明示的に報知できる。したがって、ユーザＳＰ１は、自ら発話している環境下で周囲のノイズ音がリモート通話の継続の支障になっているか否かを簡易かつ定量的に把握することができ、その状況の改善（例えばノイズ音源の低減或いは移動）を行えたり、通話相手に対して自らの周囲状況の連絡を行えたりできる。
【0062】
＜実施の形態２＞
実施の形態２では、本開示に係るノイズ解析装置の一実施態様として、話者がドア開閉許否を判定するために話者の発話音声を用いて認証する声紋認証システムを例示する（図９参照）。なお、実施の形態２の説明において、実施の形態１の構成及び動作と同一の構成及び動作については同一の符号を付与して説明を簡略化或いは省略し、異なる内容について説明する。
実施の形態２では、本開示に係るノイズ解析装置の一実施態様として、話者がドア開閉許否を判定するために話者の発話音声を用いて認証する声紋認証システムを例示する（図９参照）。なお、実施の形態２の説明において、実施の形態１の構成及び動作と同一の構成及び動作については同一の符号を付与して説明を簡略化或いは省略し、異なる内容について説明する。
【0063】
まず、図９を参照して、実施の形態２に係る声紋認証システム１００Ａのシステム構成例について説明する。図９は、実施の形態２に係る声紋認証システム１００Ａのシステム構成例を示す図である。声紋認証システム１００Ａは、ネットワークＮＷ１を介して相互にデータ通信可能に接続された音処理装置１０Ａを少なくとも含む。音処理装置１０Ａには表示用のディスプレイＤＰ１が接続されている。音処理装置１０Ａには、話者であるユーザＳＰ１の発話音声を収音する収音デバイスＭＣ１（図１０参照）が設けられている。
【0064】
ドア開閉用制御装置ＤＲＣ１は、ネットワークＮＷ１と接続されており、店舗或いは施設等の所定位置に取り付けられている少なくとも１つのドアＤＲ１の開閉を声紋認証サーバ５０からの処理結果に基づいて制御する。具体的には、ドア開閉用制御装置ＤＲＣ１は、声紋認証サーバ５０から声紋認証の成功の旨の情報を取得した場合にはドアＤＲ１を開ける制御を行う。一方、ドア開閉用制御装置ＤＲＣ１は、声紋認証サーバ５０から声紋認証の失敗の旨の情報を取得した場合にはドアＤＲ１を開けないで閉じたままに維持する制御を行う。
【0065】
声紋認証サーバ５０は、ネットワークＮＷ１と接続されており、音処理装置１０Ａから送られたユーザＳＰ１の発話音声信号を受信すると、その発話音声信号と所定の声紋認証データベース（図示略）とを用いてその発話音声信号に対応する音声がユーザＳＰ１の音声であるか否かを声紋認証する。声紋認証サーバ５０は、声紋認証として、例えば音処理装置１０Ａから送られた発話音声信号に含まれる音声の特徴量と、声紋認証データベースに事前登録されているユーザＳＰ１の音声の特徴量とが同一であると判定した場合にのみ、声紋認証が成功した旨の情報をドア開閉用制御装置ＤＲＣ１及び音処理装置１０Ａのうち少なくとも１つに返送する。また、声紋認証サーバ５０は、声紋認証として、例えば音処理装置１０Ａから送られた発話音声信号に含まれる音声の特徴量と、声紋認証データベースに事前登録されているユーザＳＰ１の音声の特徴量とが非類似であると判定した場合、声紋認証が失敗した旨の情報をドア開閉用制御装置ＤＲＣ１及び音処理装置１０Ａのうち少なくとも１つに返送する。
【0066】
次に、図１０を参照して、図９の音処理装置１０Ａのハードウェア構成例について説明する。図１０は、図９の音処理装置のハードウェア構成例を示すブロック図である。音処理装置１０Ａは、汎用的なコンピュータ装置であり、例えばパーソナルコンピュータ、スマートフォン、タブレット端末、或いは、サーバコンピュータであってよい。音処理装置１０Ａは、収音デバイスＭＣ１と、プロセッサＰＲＣ１Ａと、メモリ１１と、をハードウェア構成として少なくとも含む。なお、音処理装置１０Ａは、ユーザＳＰ１の操作を受け付けるマウス等の入力デバイスも更に含む構成としてよい。また、ディスプレイＤＰ１は、音処理装置１０Ａの一部として含まれても構わない。
【0067】
収音デバイスＭＣ１は、例えば周知のマイクロホンであり、ユーザＳＰ１の発話音声を収音してプロセッサＰＲＣ１Ａに送る。この発話音声の信号（入力音信号）は、音分析部１３及び声紋認証部１８Ａのそれぞれに入力される。
【0068】
ここで、プロセッサＰＲＣ１Ａが機能的に実行する処理の実行主体の構成例を詳述する。プロセッサＰＲＣ１Ａは、音分析部１３と、音Ａ音量解析部１４と、音Ｂ音量解析部１５と、音量比較補正部１６と、制御部１７Ａと、声紋認証部１８Ａと、認証制御部１９Ａと、を機能的に備える。
【0069】
制御部１７Ａは、音量比較補正部１６から入力した第２解析結果が特定の第３条件を満たすか否かを判定する（図８参照）。制御部１７は、第２解析結果が特定の第３条件を満たすと判定した場合に、ユーザＳＰ１の発話音声に相当する音Ａ信号を声紋認証に使用しない旨の情報を生成するか、或いは音Ａ信号の音量（レベル）をゼロに変換する処理を行う。制御部１７Ａは、ユーザＳＰ１の発話音声に相当する音Ａ信号を声紋認証に使用しない旨の情報を声紋認証部１８Ａに送る、或いは、音Ａ信号の音量（レベル）をゼロに変換する処理後の音Ａ信号を声紋認証部１８Ａに送る。制御部１７Ａは、制御部１７Ａの処理の詳細については、図１１を参照して後述する。
【0070】
声紋認証部１８Ａは、制御部１７Ａから音Ａ信号を声紋認証に使用しない旨の情報或いは音量（レベル）のゼロへの変換後の音Ａ信号を取得した場合、音Ａ信号を用いた声紋認証をしないと判定する。一方、声紋認証部１８Ａは、制御部１７Ａから音Ａ信号を声紋認証に使用しない旨の情報或いは音量（レベル）のゼロへの変換後の音Ａ信号を取得しない場合には、収音デバイスＭＣ１からの入力音信号を声紋認証用の信号として認証制御部１９Ａに送る。
【0071】
認証制御部１９Ａは、声紋認証部１８Ａからの信号をユーザＳＰ１の声紋認証用の発話音声信号としてネットワークＮＷ１を介して声紋認証サーバ５０に送る。認証制御部１９Ａは、声紋認証サーバ５０から声紋認証が成功した旨の情報を受信した場合には、その旨をディスプレイＤＰ１に表示する。なお、認証制御部１９Ａは、声紋認証サーバ５０から声紋認証が成功した旨の情報を受信した場合には、ドアＤＲ１を開くようにドア開閉用制御装置ＤＲＣ１に送ってもよい。一方で、認証制御部１９Ａは、声紋認証サーバ５０から声紋認証が失敗した旨の情報を受信した場合には、その旨をディスプレイＤＰ１に表示する。
【0072】
実施の形態２において、音処理装置１０Ａは、実施の形態１に係る音処理装置１０の動作手順に対応する図４、図５、図６Ａ、図６Ｂ、図７の各処理を実行するのに加え、図１１の処理も実行する。ここで、図１１を参照して、図４のステップＳｔ７のパラメータの算出処理の他の詳細な動作手順例を説明する。図１１は、実施の形態２に係る図４のステップＳｔ７の声紋認証用のパラメータ算出の詳細な動作手順例を時系列に示すフローチャートである。図１１に示す各処理は、主にプロセッサＰＲＣ１（図２参照）の制御部１７Ａによって実行される。
【0073】
図１１において、制御部１７Ａは、特定の第３条件（「Ｂ≧ｂＺ？」）を満たすか否か、つまり図４のステップＳｔ４で解析された音Ｂ信号の音量がメモリ１１に事前登録されている一定値（第３閾値の一例）以上であるか否かを判定する（ステップＳｔ７－１１）。この一定値は、例えば話者であるユーザＳＰ１の発話音声が声紋認証処理を実行する際に認証の成否に影響を与える程度のノイズ音の音量（レベル）を示す。制御部１７Ａは、音Ｂ信号の音量が一定値（第３閾値の一例）以上であると判定した場合（ステップＳｔ７－１１、ＹＥＳ）、声紋認証を行わない旨の情報を生成する、或いは声紋認証用の音Ａ信号の音量（レベル）をゼロに変換する（ステップＳｔ７－１２）。つまり、制御部１７Ａは、音Ｂ信号の音量が一定値ｂＺ以上となっていれば、その状況は声紋認証に適さないため、声紋認証に適さない音Ａ信号を生成するか或いは声紋認証を実行しないこととし、図１１の処理を終了する。
【0074】
一方、音Ｂ信号の音量が一定値（第２閾値の一例）未満であると判定された場合（ステップＳｔ７－１１、ＮＯ）、図１１の制御部１７Ａの処理は終了する。つまり、この状況では声紋認証を行うのに適する環境であると想定されるので、制御部１７Ａは、収音デバイスＭＣ１からの入力音信号（言い換えると、音Ａ信号）を声紋認証に使用する旨を声紋認証部１８Ａに指示する。これにより、図１１の処理を終了する。
【0075】
以上により、実施の形態２に係る声紋認証システム１００Ａでは、音処理装置１０Ａは、収音デバイスＭＣ１により収音された入力音信号をノイズ音信号と非ノイズ音信号とに分離し、非ノイズ音信号の音量を解析し、ノイズ音信号の音量を解析する。音処理装置１０Ａは、非ノイズ音信号の音量の解析結果である第１解析結果とノイズ音信号の音量の解析結果である第２解析結果とをディスプレイＤＰ１に視覚的かつ対比的に表示する。また、音処理装置１０Ａは、ノイズ音信号の音量が一定値よりも大きい場合には、声紋認証の処理に適さない環境であると想定されるので声紋認証の実行を中止する。これにより、音処理装置１０Ａは、声紋認証の対象者であるユーザＳＰ１による特定の処理実行中（例えば声紋認証のための通話中）に混入した、ユーザＳＰ１の周囲のノイズ音がどの程度存在しているかを明示的に報知できる。したがって、ユーザＳＰ１は、自ら発話している環境下で周囲のノイズ音が声紋認証の実行の支障になっているか否かを簡易かつ定量的に把握することができ、その状況の改善（例えばノイズ音源の低減或いは移動）を行えたり、声紋認証を静かな環境下の中で適正に行えたりすることが可能となる。
【0076】
＜実施の形態１の変形例１＞
実施の形態１の変形例１では、本開示に係るノイズ解析装置の一実施態様として、複数人がネットワークを介してデータ通信可能に接続された音処理装置とヘッドセットとをそれぞれ用いて行うリモート通話を支援する通話システムを例示し（図１２参照）、音処理装置がノイズ音を積極的に除去する例を説明する。なお、実施の形態１の変形例１の説明において、実施の形態１の構成及び動作と同一の構成及び動作については同一の符号を付与して説明を簡略化或いは省略し、異なる内容について説明する。
実施の形態１の変形例１では、本開示に係るノイズ解析装置の一実施態様として、複数人がネットワークを介してデータ通信可能に接続された音処理装置とヘッドセットとをそれぞれ用いて行うリモート通話を支援する通話システムを例示し（図１２参照）、音処理装置がノイズ音を積極的に除去する例を説明する。なお、実施の形態１の変形例１の説明において、実施の形態１の構成及び動作と同一の構成及び動作については同一の符号を付与して説明を簡略化或いは省略し、異なる内容について説明する。
【0077】
実施の形態１の変形例１に係る通話システムの構成例は図１に示す実施の形態１に係る通話システム１００と同一である。
【0078】
次に、図１２を参照して、実施の形態１の変形例１に係る通話システムの音処理装置１０Ｂのハードウェア構成例について説明する。図１２は、実施の形態１の変形例１に係る音処理装置１０Ｂのハードウェア構成例を示すブロック図である。音処理装置１０Ｂは、汎用的なコンピュータ装置であり、例えばパーソナルコンピュータ、スマートフォン、タブレット端末、或いは、サーバコンピュータであってよい。音処理装置１０Ｂは、プロセッサＰＲＣ１Ｂと、メモリ１１と、をハードウェア構成として少なくとも含む。なお、音処理装置１０Ｂは、ユーザＳＰ１の操作を受け付けるマウス等の入力デバイスも更に含む構成としてよい。
【0079】
ここで、プロセッサＰＲＣ１Ｂが機能的に実行する処理の実行主体の構成例を詳述する。プロセッサＰＲＣ１Ｂは、音信号入力ＩＦ１２と、ノイズ除去部１３Ｂと、ノイズ除去後音音量解析部１４Ｂと、除去音音量解析部１５Ｂと、音量比較補正部１６と、制御部１７と、信号処理部１８と、送信部１９と、を機能的に備える。
【0080】
ノイズ除去部１３Ｂは、音信号入力ＩＦ１２からの入力音信号に含まれるノイズ音を除去する処理を行うことにより、入力音信号を少なくとも２種類の音信号（具体的には、音Ａと音Ｂ）に分離し、ノイズ除去後音信号（非ノイズ音信号の一例）をノイズ除去後音音量解析部１４Ｂに送り、ノイズ音信号（ノイズ音信号の一例）を除去音音量解析部１５Ｂに送る。実施の形態１の変形例１において、音Ａとは、入力音信号に含まれる音の中でユーザＳＰ１が発話した発話音声の部分の音を示し、ノイズ除去部１３Ｂによりノイズ音が除去された入力音信号を示す。つまり、音Ａは、リモート通話の話者であるユーザＳＰ１が発話したことによって通話相手であるユーザＳＰ２、ＳＰ３、ＳＰ４に送り届けられると想定される通話音声の音を示す。一方、音Ｂとは、入力音信号に含まれる音の中でユーザＳＰ１が発話した発話音声以外のノイズ音を示し、ノイズ除去部１３Ｂにより除去されるノイズ音を示す。つまり、音Ｂは、ユーザＳＰ２、ＳＰ３、ＳＰ４に送り届けられる音Ａに混じる不要なノイズ音であって、ユーザＳＰ２、ＳＰ３、ＳＰ４がユーザＳＰ１の発話音声を聞き取る際の支障となり得る音である。
【0081】
ノイズ除去後音音量解析部１４Ｂは、第１解析部の一例であり、ノイズ除去部１３Ｂからのノイズ除去後音信号を入力し、その入力されたノイズ除去後音信号の音量を解析する。ノイズ除去後音音量解析部１４Ｂは、例えばノイズ除去後音信号の波形の平均パワー、最大振幅、或いは、特定の周波数帯におけるパワーを参照してノイズ除去後音信号の音量を解析する。また、ノイズ除去後音音量解析部１４Ｂは、入力された音Ａ信号の波形を時間方向に平滑化した上で、音Ａ信号の波形の平均パワー、最大振幅、或いは、特定の周波数帯におけるパワーを参照して音Ａ信号の音量を解析してもよい。ノイズ除去後音音量解析部１４Ｂは、音Ａ信号の音量の解析結果（第１解析結果）を音量比較補正部１６に送る。
【0082】
除去音音量解析部１５Ｂは、第２解析部の一例であり、ノイズ除去部１３Ｂからの音Ｂ信号を入力し、その入力された音Ｂ信号の音量を解析する。除去音音量解析部１５Ｂは、例えば音Ｂ信号の波形の平均パワー、最大振幅、或いは、特定の周波数帯におけるパワーを参照して音Ｂ信号の音量を解析する。また、除去音音量解析部１５Ｂは、入力された音Ｂ信号の波形を時間方向に平滑化した上で、音Ｂ信号の波形の平均パワー、最大振幅、或いは、特定の周波数帯におけるパワーを参照して音Ｂ信号の音量を解析してもよい。除去音音量解析部１５Ｂは、音Ｂ信号の音量の解析結果（第２解析結果）を音量比較補正部１６に送る。
【0083】
次に、図１３、図６Ａ～図８を参照して、実施の形態１の変形例１に係る音処理装置１０Ｂの動作手順例について説明する。図１３は、実施の形態１の変形例１に係る音処理装置１０Ｂの動作手順例を時系列に示すフローチャートである。図６Ａ～図８のそれぞれに示す各処理は実施の形態１において説明したので、ここでは説明を割愛する。
【0084】
【0085】
図１３において、プロセッサＰＲＣ１Ｂは、ヘッドセットＨＳ１から入力されてくる入力音信号を音信号入力ＩＦ１２において一定期間分保持する（ステップＳｔ１）。一定期間は、例えば１秒、５秒、１０秒等である。プロセッサＰＲＣ１Ｂは、ステップＳｔ１で保持した一定期間分の入力音信号を用いて、その入力音信号に含まれるノイズ音を除去するためのノイズ音除去処理を施し、入力音信号をノイズ除去部１３Ｂにおいて音Ａ信号と音Ｂ信号とに分離して出力する（ステップＳｔ１１）。
【0086】
プロセッサＰＲＣ１Ｂは、ステップＳｔ１１で得られた音Ａ信号を用いて、音Ａ信号の音量をノイズ除去後音音量解析部１４Ｂにおいて解析する（ステップＳｔ３Ｂ）。プロセッサＰＲＣ１Ｂは、ステップＳｔ１１で得られた音Ｂ信号を用いて、音Ｂ信号の音量を除去音音量解析部１５Ｂにおいて解析する（ステップＳｔ４Ｂ）。プロセッサＰＲＣ１Ｂは、ステップＳｔ３Ｂでの解析により得られた音Ａ信号の音量の解析結果（第１解析結果）とステップＳｔ４Ｂでの解析により得られた音Ｂ信号の音量の解析結果（第２解析結果）とを音量比較補正部１６において入力して比較する（ステップＳｔ５）。ステップＳｔ５の音量比較補正処理の詳細な動作手順例については、図６Ａ及び図６Ｂのそれぞれを参照して説明したのでここでは説明を割愛する。
【0087】
プロセッサＰＲＣ１Ｂは、ステップＳｔ３Ｂでの解析により得られた音Ａ信号の音量の解析結果（第１解析結果）或いはステップＳｔ５での補正後の出力と、ステップＳｔ４Ｂでの解析により得られた音Ｂ信号の音量の解析結果（第２解析結果）或いはステップＳｔ５での補正後の出力とを用いて、音量表示処理（図７参照）を行うことにより、音Ａ信号及び音Ｂ信号のそれぞれの音量を視覚的かつ対比的に表示するための表示用のデータ信号を生成する（ステップＳｔ６）。ステップＳｔ６の音量表示処理の詳細な動作手順例については、図７を参照して説明したのでここでは説明を割愛する。
【0088】
プロセッサＰＲＣ１Ｂは、ステップＳｔ６の音量表示処理の後、ステップＳｔ４Ｂでの解析により得られた音Ｂ信号の音量の解析結果（第２解析結果）を用いて、信号処理用のパラメータの算出処理を行う（ステップＳｔ７）。ステップＳｔ７の算出処理の詳細な動作手順例については、図８を参照して説明したのでここでは説明を割愛する。
【0089】
ステップＳｔ７の後、ユーザＳＰ１の入力操作によりリモート通話の終了が指示された場合には（ステップＳｔ８、ＹＥＳ）、図１３に示すプロセッサＰＲＣ１Ｂの処理は終了する。一方、ユーザＳＰ１の入力操作によりリモート通話の終了が指示されていない場合には（ステップＳｔ８、ＮＯ）、プロセッサＰＲＣ１Ｂの処理はステップＳｔ１に戻る。つまり、ユーザＳＰ１の入力操作によりリモート通話の終了が指示されるまで、プロセッサＰＲＣ１Ｂは、ステップＳｔ１～ステップＳｔ８までの一連の処理を繰り返し実行する。
【0090】
以上により、実施の形態１の変形例１に係る通話システム１００では、音処理装置１０Ｂは、収音デバイス（例えばヘッドセットＨＳ１）により収音された入力音信号をノイズ音除去処理によってノイズ音信号と非ノイズ音信号とに分離し、非ノイズ音信号の音量を解析し、ノイズ音信号の音量を解析する。音処理装置１０Ｂは、非ノイズ音信号の音量の解析結果である第１解析結果とノイズ音信号の音量の解析結果である第２解析結果とをディスプレイＤＰ１に視覚的かつ対比的に表示する。これにより、音処理装置１０Ｂは、リモート通話の話者であるユーザＳＰ１による特定の処理実行中（例えば通話中）に混入した、ユーザＳＰ１の周囲のノイズ音がどの程度存在しているかを明示的に報知できる。したがって、ユーザＳＰ１は、自ら発話している環境下で周囲のノイズ音がリモート通話の継続の支障になっているか否かを簡易かつ定量的に把握することができ、その状況の改善（例えばノイズ音源の低減或いは移動）を行えたり、通話相手に対して自らの周囲状況の連絡を行えたりできる。
【0091】
＜実施の形態１の変形例２＞
実施の形態１の変形例２では、本開示に係るノイズ解析装置の一実施態様として、複数人がネットワークを介してデータ通信可能に接続された音処理装置とヘッドセットとをそれぞれ用いて行うリモート通話を支援する通話システムを例示し（図１４参照）、音処理装置が入力音信号における有音区間及び無音区間を区別可能に分離する例を説明する。なお、実施の形態１の変形例２の説明において、実施の形態１の構成及び動作と同一の構成及び動作については同一の符号を付与して説明を簡略化或いは省略し、異なる内容について説明する。
実施の形態１の変形例２では、本開示に係るノイズ解析装置の一実施態様として、複数人がネットワークを介してデータ通信可能に接続された音処理装置とヘッドセットとをそれぞれ用いて行うリモート通話を支援する通話システムを例示し（図１４参照）、音処理装置が入力音信号における有音区間及び無音区間を区別可能に分離する例を説明する。なお、実施の形態１の変形例２の説明において、実施の形態１の構成及び動作と同一の構成及び動作については同一の符号を付与して説明を簡略化或いは省略し、異なる内容について説明する。
【0092】
実施の形態１の変形例２に係る通話システムの構成例は図１に示す実施の形態１に係る通話システム１００と同一である。
【0093】
次に、図１４を参照して、実施の形態１の変形例２に係る通話システムの音処理装置１０Ｃのハードウェア構成例について説明する。図１４は、実施の形態１の変形例２に係る音処理装置１０Ｃのハードウェア構成例を示すブロック図である。音処理装置１０Ｃは、汎用的なコンピュータ装置であり、例えばパーソナルコンピュータ、スマートフォン、タブレット端末、或いは、サーバコンピュータであってよい。音処理装置１０Ｃは、プロセッサＰＲＣ１Ｃと、メモリ１１と、をハードウェア構成として少なくとも含む。なお、音処理装置１０Ｃは、ユーザＳＰ１の操作を受け付けるマウス等の入力デバイスも更に含む構成としてよい。
【0094】
ここで、プロセッサＰＲＣ１Ｃが機能的に実行する処理の実行主体の構成例を詳述する。プロセッサＰＲＣ１Ｃは、音信号入力ＩＦ１２と、ＶＡＤ処理部Ｖａと、無音区間音量解析部Ｖｂと、音分析部１３と、音Ａ音量解析部１４と、音Ｂ音量解析部１５と、音量比較補正部１６と、制御部１７と、信号処理部１８と、送信部１９と、を機能的に備える。
【0095】
ＶＡＤ処理部Ｖａは、音信号入力ＩＦ１２からの入力音信号を有音区間と無音区間とに区別可能に分離する。ここでいう有音区間とは、話者であるユーザＳＰ１が発話した時の発話音声が出現する区間である。無音区間とは、突発的に生じた音量（レベル）の大きなノイズ音とは異なり定常的に発生しているホワイトノイズ等の定常雑音が出現する或いは出現している区間である。ＶＡＤ処理部Ｖａは、入力音信号に含まれる有音区間の信号を音Ａ信号及び音Ｂ信号を含む信号として音分析部１３に送り、入力音信号に含まれる無音区間の信号を無音区間音量解析部Ｖｂに送る。
【0096】
無音区間音量解析部Ｖｂは、第３解析部の一例であり、ＶＡＤ処理部Ｖａからの無音区間の入力音信号（無音区間信号）を入力し、その入力された無音区間信号の音量を解析する。無音区間音量解析部Ｖｂは、例えば無音区間信号の波形の平均パワー、最大振幅、或いは、特定の周波数帯におけるパワーを参照して無音区間信号の音量を解析する。また、無音区間音量解析部Ｖｂは、入力された無音区間信号の波形を時間方向に平滑化した上で、無音区間信号の波形の平均パワー、最大振幅、或いは、特定の周波数帯におけるパワーを参照して無音区間信号の音量を解析してもよい。無音区間音量解析部Ｖｂは、無音区間信号の音量の解析結果（第３解析結果）を音量比較補正部１６に送る。
【0097】
次に、図１５、図６Ａ～図８を参照して、実施の形態１の変形例２に係る音処理装置１０Ｃの動作手順例について説明する。図１５は、実施の形態１の変形例２に係る音処理装置１０Ｃの動作手順例を時系列に示すフローチャートである。図６Ａ～図８のそれぞれに示す各処理は実施の形態１において説明したので、ここでは説明を割愛する。
【0098】
【0099】
図１５において、プロセッサＰＲＣ１Ｃは、ヘッドセットＨＳ１から入力されてくる入力音信号を音信号入力ＩＦ１２において一定期間分保持する（ステップＳｔ１）。一定期間は、例えば１秒、５秒、１０秒等である。プロセッサＰＲＣ１Ｃは、ステップＳｔ１で保持した一定期間分の入力音信号を用いて、その入力音信号を有音区間と無音区間とに分離する（ステップＳｔ２１）。プロセッサＰＲＣ１Ｃは、入力音信号に無音区間が存在したと判定した場合には（ステップＳｔ２１、ＮＯ）、その無音区間の入力音信号である無音区間信号の音量を解析する（ステップＳｔ２２）。この無音区間信号の音量の解析結果はステップＳｔ５において参照、使用される。
【0100】
一方、プロセッサＰＲＣ１Ｃは、入力音信号に有音区間が存在したと判定した場合には（ステップＳｔ２１、ＹＥＳ）、その有音区間の入力音信号である有音区間信号を用いて、その有音区間信号に音分析を施し、有音区間信号を音分析部１３において音Ａ信号と音Ｂ信号とに分離して出力する（ステップＳｔ２）。ステップＳｔ２の音分析の詳細な動作手順例については、図５を参照して説明したのでここでは割愛する。
【0101】
プロセッサＰＲＣ１Ｃは、ステップＳｔ２で得られた音Ａ信号を用いて、音Ａ信号の音量を音Ａ音量解析部１４において解析する（ステップＳｔ３）。プロセッサＰＲＣ１Ｃは、ステップＳｔ２で得られた音Ｂ信号を用いて、音Ｂ信号の音量を音Ｂ音量解析部１５において解析する（ステップＳｔ４）。プロセッサＰＲＣ１Ｃは、ステップＳｔ３での解析により得られた音Ａ信号の音量の解析結果（第１解析結果）とステップＳｔ４での解析により得られた音Ｂ信号の音量の解析結果（第２解析結果）とを音量比較補正部１６において入力して比較する（ステップＳｔ５）。ステップＳｔ５の音量比較補正処理の詳細な動作手順例については、図６Ａ及び図６Ｂのそれぞれを参照して説明したのでここでは説明を割愛する。なお、音量比較補正処理は、ステップＳｔ４で得られた第２解析結果だけでなく、ステップＳｔ２２で得られた無音区間信号の音量解析結果（第３解析結果）も加味（例えば加算）した上で実行されてよい。
【0102】
プロセッサＰＲＣ１Ｃは、ステップＳｔ３での解析により得られた音Ａ信号の音量の解析結果（第１解析結果）或いはステップＳｔ５での補正後の出力と、ステップＳｔ４での解析により得られた音Ｂ信号の音量の解析結果（第２解析結果）或いはステップＳｔ５での補正後の出力とを用いて、音量表示処理（図７参照）を行うことにより、音Ａ信号及び音Ｂ信号のそれぞれの音量を視覚的かつ対比的に表示するための表示用のデータ信号を生成する（ステップＳｔ６）。ステップＳｔ６の音量表示処理の詳細な動作手順例については、図７を参照して説明したのでここでは説明を割愛する。
【0103】
プロセッサＰＲＣ１Ｃは、ステップＳｔ６の音量表示処理の後、ステップＳｔ４での解析により得られた音Ｂ信号の音量の解析結果（第２解析結果）を用いて、信号処理用のパラメータの算出処理を行う（ステップＳｔ７）。ステップＳｔ７の算出処理の詳細な動作手順例については、図８を参照して説明したのでここでは説明を割愛する。
【0104】
ステップＳｔ７の後、ユーザＳＰ１の入力操作によりリモート通話の終了が指示された場合には（ステップＳｔ８、ＹＥＳ）、図１５に示すプロセッサＰＲＣ１Ｃの処理は終了する。一方、ユーザＳＰ１の入力操作によりリモート通話の終了が指示されていない場合には（ステップＳｔ８、ＮＯ）、プロセッサＰＲＣ１Ｃの処理はステップＳｔ１に戻る。つまり、ユーザＳＰ１の入力操作によりリモート通話の終了が指示されるまで、プロセッサＰＲＣ１Ｃは、ステップＳｔ１～ステップＳｔ８までの一連の処理を繰り返し実行する。
【0105】
以上により、実施の形態１の変形例２に係る通話システム１００では、音処理装置１０Ｃは、収音デバイス（例えばヘッドセットＨＳ１）により収音された入力音信号をＶＡＤ処理によってまず有音区間信号と無音区間信号とに分離し、その上で有音区間信号をノイズ音信号と非ノイズ音信号とに分離し、非ノイズ音信号の音量を解析し、ノイズ音信号の音量を解析し、無音区間信号の音量を解析する。音処理装置１０Ｃは、非ノイズ音信号の音量の解析結果である第１解析結果と、ノイズ音信号の音量の解析結果である第２解析結果及び無音区間信号の音量の解析結果である第３解析結果の加算結果とをディスプレイＤＰ１に視覚的かつ対比的に表示する。これにより、音処理装置１０Ｃは、リモート通話の話者であるユーザＳＰ１による特定の処理実行中（例えば通話中）に混入した、ユーザＳＰ１の周囲のノイズ音が定常雑音なり突発的ノイズ音なりでどの程度存在しているかを明示的に報知できる。したがって、ユーザＳＰ１は、自ら発話している環境下で周囲のノイズ音がリモート通話の継続の支障になっているか否かを簡易かつ定量的に把握することができ、その状況の改善（例えばノイズ音源の低減或いは移動）を行えたり、通話相手に対して自らの周囲状況の連絡を行えたりできる。
【0106】
＜本開示の技術について＞
以上説明したように、本開示には以下に示す技術思想が開示されている。
以上説明したように、本開示には以下に示す技術思想が開示されている。
【0107】
＜技術１＞
収音デバイス（ヘッドセットＨＳ１、収音デバイスＭＣ１）により収音された入力音信号をノイズ音信号と非ノイズ音信号とに分離する音分析部（音分析部１３）と、
前記非ノイズ音信号の音量を解析する第１解析部（音Ａ音量解析部１４）と、
前記ノイズ音信号の音量を解析する第２解析部（音Ｂ音量解析部１５）と、
前記非ノイズ音信号の音量の解析結果である第１解析結果と、前記ノイズ音信号の音量の解析結果である第２解析結果とをディスプレイ（ディスプレイＤＰ１）に視覚的かつ対比的に表示する表示制御部（音量比較補正部１６）と、を備える、
ノイズ解析装置。
これにより、ノイズ解析装置は、リモート通話の話者であるユーザによる特定の処理実行中（例えば通話中）に混入した、ユーザの周囲のノイズ音がどの程度存在しているかを明示的に報知できる。
収音デバイス（ヘッドセットＨＳ１、収音デバイスＭＣ１）により収音された入力音信号をノイズ音信号と非ノイズ音信号とに分離する音分析部（音分析部１３）と、
前記非ノイズ音信号の音量を解析する第１解析部（音Ａ音量解析部１４）と、
前記ノイズ音信号の音量を解析する第２解析部（音Ｂ音量解析部１５）と、
前記非ノイズ音信号の音量の解析結果である第１解析結果と、前記ノイズ音信号の音量の解析結果である第２解析結果とをディスプレイ（ディスプレイＤＰ１）に視覚的かつ対比的に表示する表示制御部（音量比較補正部１６）と、を備える、
ノイズ解析装置。
これにより、ノイズ解析装置は、リモート通話の話者であるユーザによる特定の処理実行中（例えば通話中）に混入した、ユーザの周囲のノイズ音がどの程度存在しているかを明示的に報知できる。
【0108】
＜技術２＞
前記入力音信号は、ユーザが前記収音デバイスを装着して発話した時の通話音声信号と、前記発話時に発生しているノイズ音信号とを含む、
技術１に記載のノイズ解析装置。
これにより、ノイズ解析装置は、ユーザのリモート通話等のシーンにおいて、ユーザがヘッドセットＨＳ１等の収音デバイスを装着して発話した時の通話音量信号と、その周囲で発生しているノイズ音信号とのそれぞれでどの程度の音量が発生しているかを視覚的かつ対比的に提示できる。
前記入力音信号は、ユーザが前記収音デバイスを装着して発話した時の通話音声信号と、前記発話時に発生しているノイズ音信号とを含む、
技術１に記載のノイズ解析装置。
これにより、ノイズ解析装置は、ユーザのリモート通話等のシーンにおいて、ユーザがヘッドセットＨＳ１等の収音デバイスを装着して発話した時の通話音量信号と、その周囲で発生しているノイズ音信号とのそれぞれでどの程度の音量が発生しているかを視覚的かつ対比的に提示できる。
【0109】
＜技術３＞
前記第１解析結果と前記第２解析結果とを比較する比較部（音量比較補正部１６）、を更に備え、
前記比較部は、前記第２解析結果の示す前記ノイズ音信号の音量が前記第１解析結果の示す前記非ノイズ音信号の音量と所定係数値（例えばｋ、ｋ＝１、ｋ＝０．５）との積以上である場合に、前記非ノイズ音信号の音量を前記第１解析結果より小さく補正する、
技術１又は技術２に記載のノイズ解析装置。
これにより、ノイズ解析装置は、周囲のノイズ音がユーザの発話音声である目的音と同等かそれ以上であるため、リモート通話の通話相手にとって目的音が聞こえにくい状況であることをユーザに正確に理解させることができる。
前記第１解析結果と前記第２解析結果とを比較する比較部（音量比較補正部１６）、を更に備え、
前記比較部は、前記第２解析結果の示す前記ノイズ音信号の音量が前記第１解析結果の示す前記非ノイズ音信号の音量と所定係数値（例えばｋ、ｋ＝１、ｋ＝０．５）との積以上である場合に、前記非ノイズ音信号の音量を前記第１解析結果より小さく補正する、
技術１又は技術２に記載のノイズ解析装置。
これにより、ノイズ解析装置は、周囲のノイズ音がユーザの発話音声である目的音と同等かそれ以上であるため、リモート通話の通話相手にとって目的音が聞こえにくい状況であることをユーザに正確に理解させることができる。
【0110】
＜技術４＞
前記第１解析結果と前記第２解析結果とを比較する比較部（音量比較補正部１６）、を更に備え、
前記比較部は、前記第１解析結果の示す前記非ノイズ音信号の音量が第１閾値以上であってかつ直前に解析された前記第２解析結果の示すノイズ音信号の音量が前記第１閾値以上である場合に、前記非ノイズ音信号の音量を前記第１解析結果より小さく補正する、
技術１～３のうちいずれか一項に記載のノイズ解析装置。
これにより、ノイズ解析装置は、度々起き得る瞬間的な音Ａ、音Ｂの出力間違いをユーザに知らせないようにすることができる。
前記第１解析結果と前記第２解析結果とを比較する比較部（音量比較補正部１６）、を更に備え、
前記比較部は、前記第１解析結果の示す前記非ノイズ音信号の音量が第１閾値以上であってかつ直前に解析された前記第２解析結果の示すノイズ音信号の音量が前記第１閾値以上である場合に、前記非ノイズ音信号の音量を前記第１解析結果より小さく補正する、
技術１～３のうちいずれか一項に記載のノイズ解析装置。
これにより、ノイズ解析装置は、度々起き得る瞬間的な音Ａ、音Ｂの出力間違いをユーザに知らせないようにすることができる。
【0111】
＜技術５＞
前記表示制御部は、前記第１解析結果及び前記第２解析結果のそれぞれを所定範囲内の値に正規化処理する、
技術１～４のうちいずれか一項に記載のノイズ解析装置。
これにより、ノイズ解析装置は、音Ａ信号、音Ｂ信号のそれぞれが所定範囲内の値で表示することができ、連続的な表示の実現を可能にできる。
前記表示制御部は、前記第１解析結果及び前記第２解析結果のそれぞれを所定範囲内の値に正規化処理する、
技術１～４のうちいずれか一項に記載のノイズ解析装置。
これにより、ノイズ解析装置は、音Ａ信号、音Ｂ信号のそれぞれが所定範囲内の値で表示することができ、連続的な表示の実現を可能にできる。
【0112】
＜技術６＞
前記表示制御部は、前記正規化処理の結果としてゼロを最小値、Ｘ（Ｘ：０≦Ｘ≦１）以上を最大値として表示する、
技術５に記載のノイズ解析装置。
これにより、ノイズ解析装置は、リモート通話の通話相手に十分自分の発話音声が伝わる音量であるかどうかをユーザに知らせることができ、目安値となるＸを導入することにより、表示バーの分解能を最大限に活かすことができる。
前記表示制御部は、前記正規化処理の結果としてゼロを最小値、Ｘ（Ｘ：０≦Ｘ≦１）以上を最大値として表示する、
技術５に記載のノイズ解析装置。
これにより、ノイズ解析装置は、リモート通話の通話相手に十分自分の発話音声が伝わる音量であるかどうかをユーザに知らせることができ、目安値となるＸを導入することにより、表示バーの分解能を最大限に活かすことができる。
【0113】
＜技術７＞
前記第２解析結果の示す前記ノイズ音信号の音量が第２閾値以上となる期間が一定期間以上となるか否かを判定する制御部（制御部１７）、を更に備え、
前記制御部は、前記ノイズ音信号の音量が前記第２閾値以上となる期間が前記一定期間以上となると判定した場合に、ノイズ音の発生を知らせる旨のメッセージを前記ディスプレイに表示する、
技術１～６のうちいずれか一項に記載のノイズ解析装置。
これにより、ノイズ解析装置は、リモート通話の話者であるユーザに周囲のノイズ音が発生している状況を注意喚起して知らせたり、その状況の改善を促すことができたりする。
前記第２解析結果の示す前記ノイズ音信号の音量が第２閾値以上となる期間が一定期間以上となるか否かを判定する制御部（制御部１７）、を更に備え、
前記制御部は、前記ノイズ音信号の音量が前記第２閾値以上となる期間が前記一定期間以上となると判定した場合に、ノイズ音の発生を知らせる旨のメッセージを前記ディスプレイに表示する、
技術１～６のうちいずれか一項に記載のノイズ解析装置。
これにより、ノイズ解析装置は、リモート通話の話者であるユーザに周囲のノイズ音が発生している状況を注意喚起して知らせたり、その状況の改善を促すことができたりする。
【0114】
＜技術８＞
前記入力音信号における有音区間と前記入力音信号における定常雑音区間（無音区間）とを区別可能に判定する判定部（ＶＡＤ処理部Ｖａ）と、
前記定常雑音区間における定常雑音信号の音量を解析する第３解析部（無音区間音量解析部Ｖｂ）と、を更に備え、
前記表示制御部は、前記非ノイズ音信号の音量の解析結果である第１解析結果と、前記ノイズ音信号の音量の解析結果である第２解析結果と前記定常雑音信号の音量の解析結果である第３解析結果との加算結果とを前記ディスプレイに視覚的かつ対比的に表示する、
技術１～７のうちいずれか一項に記載のノイズ解析装置。
これにより、ノイズ解析装置は、リモート通話の話者であるユーザによる特定の処理実行中（例えば通話中）に混入した、ユーザの周囲のノイズ音が定常雑音なり突発的ノイズ音なりでどの程度存在しているかを明示的に報知できる。
前記入力音信号における有音区間と前記入力音信号における定常雑音区間（無音区間）とを区別可能に判定する判定部（ＶＡＤ処理部Ｖａ）と、
前記定常雑音区間における定常雑音信号の音量を解析する第３解析部（無音区間音量解析部Ｖｂ）と、を更に備え、
前記表示制御部は、前記非ノイズ音信号の音量の解析結果である第１解析結果と、前記ノイズ音信号の音量の解析結果である第２解析結果と前記定常雑音信号の音量の解析結果である第３解析結果との加算結果とを前記ディスプレイに視覚的かつ対比的に表示する、
技術１～７のうちいずれか一項に記載のノイズ解析装置。
これにより、ノイズ解析装置は、リモート通話の話者であるユーザによる特定の処理実行中（例えば通話中）に混入した、ユーザの周囲のノイズ音が定常雑音なり突発的ノイズ音なりでどの程度存在しているかを明示的に報知できる。
【0115】
＜技術９＞
前記入力音信号は、ユーザが声紋認証用に前記収音デバイスに向かって発話した時の発話音声信号と、前記発話時に発生しているノイズ音信号とを含む、
技術１～８のうちいずれか一項に記載のノイズ解析装置。
これにより、ノイズ解析装置は、声紋認証の対象者であるユーザＳＰ１による特定の処理実行中（例えば声紋認証のための通話中）に混入した、ユーザＳＰ１の周囲のノイズ音がどの程度存在しているかを明示的に報知できる。
前記入力音信号は、ユーザが声紋認証用に前記収音デバイスに向かって発話した時の発話音声信号と、前記発話時に発生しているノイズ音信号とを含む、
技術１～８のうちいずれか一項に記載のノイズ解析装置。
これにより、ノイズ解析装置は、声紋認証の対象者であるユーザＳＰ１による特定の処理実行中（例えば声紋認証のための通話中）に混入した、ユーザＳＰ１の周囲のノイズ音がどの程度存在しているかを明示的に報知できる。
【0116】
＜技術１０＞
前記第２解析結果が示す前記ノイズ音信号の音量が第３閾値以上となるか否かを判定する制御部（制御部１７Ａ）、を更に備え、
前記制御部は、前記ノイズ音信号の音量が前記第３閾値以上となると判定した場合に、前記声紋認証の処理を中断する又は前記声紋認証用の前記発話音声信号のレベルをゼロに変換する、
技術９に記載のノイズ解析装置。
これにより、ノイズ解析装置は、現在の状況が声紋認証に適さないことを判定できるため、無駄に声紋認証を実行することを抑制できる。
前記第２解析結果が示す前記ノイズ音信号の音量が第３閾値以上となるか否かを判定する制御部（制御部１７Ａ）、を更に備え、
前記制御部は、前記ノイズ音信号の音量が前記第３閾値以上となると判定した場合に、前記声紋認証の処理を中断する又は前記声紋認証用の前記発話音声信号のレベルをゼロに変換する、
技術９に記載のノイズ解析装置。
これにより、ノイズ解析装置は、現在の状況が声紋認証に適さないことを判定できるため、無駄に声紋認証を実行することを抑制できる。
【0117】
＜技術１１＞
ノイズ解析装置により実行されるノイズ解析方法であって、
収音デバイスにより収音された入力音信号をノイズ音信号と非ノイズ音信号とに分離するステップと、
前記非ノイズ音信号の音量を解析するステップと、
前記ノイズ音信号の音量を解析するステップと、
前記非ノイズ音信号の音量の解析結果である第１解析結果と、前記ノイズ音信号の音量の解析結果である第２解析結果とをディスプレイに視覚的かつ対比的に表示するステップと、を有する、
ノイズ解析方法。
これにより、ノイズ解析装置は、リモート通話の話者であるユーザによる特定の処理実行中（例えば通話中）に混入した、ユーザの周囲のノイズ音がどの程度存在しているかを明示的に報知できる。
ノイズ解析装置により実行されるノイズ解析方法であって、
収音デバイスにより収音された入力音信号をノイズ音信号と非ノイズ音信号とに分離するステップと、
前記非ノイズ音信号の音量を解析するステップと、
前記ノイズ音信号の音量を解析するステップと、
前記非ノイズ音信号の音量の解析結果である第１解析結果と、前記ノイズ音信号の音量の解析結果である第２解析結果とをディスプレイに視覚的かつ対比的に表示するステップと、を有する、
ノイズ解析方法。
これにより、ノイズ解析装置は、リモート通話の話者であるユーザによる特定の処理実行中（例えば通話中）に混入した、ユーザの周囲のノイズ音がどの程度存在しているかを明示的に報知できる。
【0118】
＜技術１２＞
コンピュータであるノイズ解析装置に、
収音デバイスにより収音された入力音信号をノイズ音信号と非ノイズ音信号とに分離するステップと、
前記非ノイズ音信号の音量を解析するステップと、
前記ノイズ音信号の音量を解析するステップと、
前記非ノイズ音信号の音量の解析結果である第１解析結果と、前記ノイズ音信号の音量の解析結果である第２解析結果とをディスプレイに視覚的かつ対比的に表示するステップと、を実現させるための、
プログラム。
これにより、ノイズ解析装置は、リモート通話の話者であるユーザによる特定の処理実行中（例えば通話中）に混入した、ユーザの周囲のノイズ音がどの程度存在しているかを明示的に報知できる。
コンピュータであるノイズ解析装置に、
収音デバイスにより収音された入力音信号をノイズ音信号と非ノイズ音信号とに分離するステップと、
前記非ノイズ音信号の音量を解析するステップと、
前記ノイズ音信号の音量を解析するステップと、
前記非ノイズ音信号の音量の解析結果である第１解析結果と、前記ノイズ音信号の音量の解析結果である第２解析結果とをディスプレイに視覚的かつ対比的に表示するステップと、を実現させるための、
プログラム。
これにより、ノイズ解析装置は、リモート通話の話者であるユーザによる特定の処理実行中（例えば通話中）に混入した、ユーザの周囲のノイズ音がどの程度存在しているかを明示的に報知できる。
【0119】
以上、添付図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。
【産業上の利用可能性】
【0120】
本開示は、ユーザによる特定の処理実行中に混入したノイズがどの程度存在しているかを明示的に報知するノイズ解析装置、ノイズ解析方法及びプログラムとして有用である。
【符号の説明】
【0121】
１０ 音処理装置
１０Ａ 音処理装置
１１ メモリ
１２ 音信号入力ＩＦ
１３ 音分析部
１３Ｂ ノイズ除去部
１４ 音Ａ音量解析部
１４Ｂ ノイズ除去後音音量解析部
１５ 音Ｂ音量解析部
１５Ｂ 除去音音量解析部
１６ 音量比較補正部
１７、１７Ａ 制御部
１８ 信号処理部
１９ 送信部
５０ 声紋認証サーバ
１００ 通話システム
１００Ａ 声紋認証システム
ＤＰ１ ディスプレイ
ＭＣ１ 収音デバイス
ＮＷ１ ネットワーク
ＰＲＣ１、ＰＲＣ１Ａ、ＰＲＣ１Ｂ、ＰＲＣ１Ｃ プロセッサ
ＳＰ１、ＳＰ２、ＳＰ３、ＳＰ４ ユーザ
Ｖａ ＶＡＤ処理部
Ｖｂ 無音区間音量解析部
１０Ａ 音処理装置
１１ メモリ
１２ 音信号入力ＩＦ
１３ 音分析部
１３Ｂ ノイズ除去部
１４ 音Ａ音量解析部
１４Ｂ ノイズ除去後音音量解析部
１５ 音Ｂ音量解析部
１５Ｂ 除去音音量解析部
１６ 音量比較補正部
１７、１７Ａ 制御部
１８ 信号処理部
１９ 送信部
５０ 声紋認証サーバ
１００ 通話システム
１００Ａ 声紋認証システム
ＤＰ１ ディスプレイ
ＭＣ１ 収音デバイス
ＮＷ１ ネットワーク
ＰＲＣ１、ＰＲＣ１Ａ、ＰＲＣ１Ｂ、ＰＲＣ１Ｃ プロセッサ
ＳＰ１、ＳＰ２、ＳＰ３、ＳＰ４ ユーザ
Ｖａ ＶＡＤ処理部
Ｖｂ 無音区間音量解析部
【図1】
【図2】
【図3A】
【図3B】
【図3C】
【図4】
【図5】
【図6A】
【図6B】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】