ホーム > 特許ランキング > 株式会社コトバデザイン
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022142038
(43)【公開日】2022-09-30
(54)【発明の名称】プログラム、方法、情報処理装置、及びシステム
(51)【国際特許分類】
H04R 3/02 20060101AFI20220922BHJP
H04M 1/58 20060101ALI20220922BHJP
H04B 3/23 20060101ALI20220922BHJP
【ＦＩ】
H04R3/02
H04M1/58
H04B3/23
【審査請求】未請求
【請求項の数】28
【出願形態】ＯＬ
(21)【出願番号】P 2021041999
(22)【出願日】2021-03-16
(71)【出願人】
【識別番号】517303292
【氏名又は名称】株式会社コトバデザイン
(74)【代理人】
【識別番号】110002815
【氏名又は名称】ＩＰＴｅｃｈ弁理士法人
(72)【発明者】
【氏名】松田 繁樹
(72)【発明者】
【氏名】栄藤 稔
(72)【発明者】
【氏名】土田 正明
(72)【発明者】
【氏名】木村 敏宏
(72)【発明者】
【氏名】古谷 利昭
【テーマコード（参考）】
5D220
5K046
5K127
【Ｆターム（参考）】
5D220CC01
5D220CC06
5K046BB01
5K046CC29
5K046HH05
5K046HH59
5K046HH79
5K127AA03
5K127MA02
5K127MA05
(57)【要約】
【課題】同一音響空間内に存在する端末装置間で発生し得る音響ループを抑えること。
【解決手段】本開示のプログラムは、プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムである。プログラムは、プロセッサに、遠隔通信を実施する第１端末装置のマイクで受音された音声が、遠隔通信を実施する第２端末装置のスピーカから再生され、第１端末装置のマイクで再び受音される音響ループの発生の有無を検出するステップと、音響ループの発生を検出すると、第１端末装置を操作するステップとを実行させる。
【選択図】図３
【解決手段】本開示のプログラムは、プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムである。プログラムは、プロセッサに、遠隔通信を実施する第１端末装置のマイクで受音された音声が、遠隔通信を実施する第２端末装置のスピーカから再生され、第１端末装置のマイクで再び受音される音響ループの発生の有無を検出するステップと、音響ループの発生を検出すると、第１端末装置を操作するステップとを実行させる。
【選択図】図３
【特許請求の範囲】
【請求項1】
プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムであって、前記プログラムは、前記プロセッサに、
遠隔通信を実施する第１端末装置のマイクで受音された音声が、前記遠隔通信を実施する第２端末装置のスピーカから再生され、前記第１端末装置のマイクで再び受音される音響ループの発生の有無を検出するステップと、
前記音響ループの発生を検出すると、前記第１端末装置を操作するステップと
を実行させるプログラム。
遠隔通信を実施する第１端末装置のマイクで受音された音声が、前記遠隔通信を実施する第２端末装置のスピーカから再生され、前記第１端末装置のマイクで再び受音される音響ループの発生の有無を検出するステップと、
前記音響ループの発生を検出すると、前記第１端末装置を操作するステップと
を実行させるプログラム。
【請求項2】
前記第１端末装置のマイクで受音された音声が、前記第２端末装置のスピーカから再生され、前記第１端末装置のマイクで再び受音されるまでの伝達関数を推定するステップを前記プロセッサに実行させ、
前記検出するステップにおいて、前記伝達関数の形状に基づいて前記音響ループの発生の有無を検出する請求項１記載のプログラム。
前記検出するステップにおいて、前記伝達関数の形状に基づいて前記音響ループの発生の有無を検出する請求項１記載のプログラム。
【請求項3】
前記推定するステップにおいて、前記伝達関数を、前記第１端末装置のマイクからの信号に畳み込んで疑似信号を生成し、
前記検出するステップにおいて、前記疑似信号のパワー、又は前記疑似信号の形状に基づいて音響ループの発生の有無を検出する請求項２記載のプログラム。
前記検出するステップにおいて、前記疑似信号のパワー、又は前記疑似信号の形状に基づいて音響ループの発生の有無を検出する請求項２記載のプログラム。
【請求項4】
前記第１端末装置のマイクで受音された音声が、前記第２端末装置のスピーカから再生され、前記第１端末装置のマイクで再び受音される信号を疑似的に生成するステップを前記プロセッサに実行させ、
前記検出するステップにおいて、前記疑似信号のパワー、又は前記疑似信号の形状に基づいて前記音響ループの発生の有無を検出する請求項１記載のプログラム。
前記検出するステップにおいて、前記疑似信号のパワー、又は前記疑似信号の形状に基づいて前記音響ループの発生の有無を検出する請求項１記載のプログラム。
【請求項5】
前記操作するステップにおいて、前記第１端末装置のスピーカへ送信する音声のボリュームダウンを操作し、かつ、前記第１端末装置のマイクに到来する音声が後段へ伝わらなくなる操作をする請求項１乃至４のいずれかに記載のプログラム。
【請求項6】
前記操作するステップにおいて、前記第１端末装置のスピーカへ送信する音声のボリュームダウンを操作し、かつ、前記第１端末装置のマイクに到来する音声が後段へ伝わらなくなる操作をする提案をユーザに提示する請求項１乃至５のいずれかに記載のプログラム。
【請求項7】
前記検出するステップにおいて、音響ループの解消の有無を検出し、
前記操作するステップにおいて、音響ループの解消を検出すると、前記第１端末装置を操作する請求項１乃至６のいずれかに記載のプログラム。
前記操作するステップにおいて、音響ループの解消を検出すると、前記第１端末装置を操作する請求項１乃至６のいずれかに記載のプログラム。
【請求項8】
前記操作するステップにおいて、前記第１端末装置のスピーカへ送信する音声のボリュームダウンの操作を解除し、かつ、前記第１端末装置のマイクに到来する音声が後段へ伝わらなくなる操作を解除する請求項７記載のプログラム。
【請求項9】
前記操作するステップにおいて、前記第１端末装置のスピーカの出力は、前記音響ループの発生前よりも小さく、前記第１端末装置のマイクの感度は、前記音響ループの発生前よりも低い請求項８記載のプログラム。
【請求項10】
前記操作するステップにおいて、前記第１端末装置へ送信する音声のボリュームダウンの操作を解除し、かつ、前記第１端末装置のマイクに到来する音声が後段へ伝わらなくなる操作を解除する提案をユーザに提示する請求項７乃至９のいずれかに記載のプログラム。
【請求項11】
前記第１端末装置からの音声信号と、前記第２端末装置からの音声信号とに基づき、前記第１端末装置と、前記第２端末装置とが同一音響空間に存在するか否かを判断するステップを前記プロセッサに実行させ、
前記検出するステップにおいて、前記第１端末装置と前記第２端末装置とが前記同一音響空間に存在していない場合、前記音響ループは発生していないと判断する請求項１乃至１０のいずれかに記載のプログラム。
前記検出するステップにおいて、前記第１端末装置と前記第２端末装置とが前記同一音響空間に存在していない場合、前記音響ループは発生していないと判断する請求項１乃至１０のいずれかに記載のプログラム。
【請求項12】
プロセッサと、メモリとを備えるコンピュータが実行する方法であって、
遠隔通信を実施する第１端末装置のマイクで受音された音声が、前記遠隔通信を実施する第２端末装置のスピーカから再生され、前記第１端末装置のマイクで再び受音される音響ループの発生の有無を検出するステップと、
前記音響ループの発生を検出すると、前記第１端末装置を操作するステップと
を実行する方法。
遠隔通信を実施する第１端末装置のマイクで受音された音声が、前記遠隔通信を実施する第２端末装置のスピーカから再生され、前記第１端末装置のマイクで再び受音される音響ループの発生の有無を検出するステップと、
前記音響ループの発生を検出すると、前記第１端末装置を操作するステップと
を実行する方法。
【請求項13】
プロセッサと、メモリとを備える情報処理装置であって、
前記プロセッサが、
遠隔通信を実施する第１端末装置のマイクで受音された音声が、前記遠隔通信を実施する第２端末装置のスピーカから再生され、前記第１端末装置のマイクで再び受音される音響ループの発生の有無を検出するステップと、
前記音響ループの発生を検出すると、前記第１端末装置を操作するステップと
を実行する情報処理装置。
前記プロセッサが、
遠隔通信を実施する第１端末装置のマイクで受音された音声が、前記遠隔通信を実施する第２端末装置のスピーカから再生され、前記第１端末装置のマイクで再び受音される音響ループの発生の有無を検出するステップと、
前記音響ループの発生を検出すると、前記第１端末装置を操作するステップと
を実行する情報処理装置。
【請求項14】
遠隔通信を実施する第１端末装置のマイクで受音された音声が、前記遠隔通信を実施する第２端末装置のスピーカから再生され、前記第１端末装置のマイクで再び受音される音響ループの発生の有無を検出する手段と、
前記音響ループの発生を検出すると、前記第１端末装置を操作する手段と
を具備するシステム。
前記音響ループの発生を検出すると、前記第１端末装置を操作する手段と
を具備するシステム。
【請求項15】
プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムであって、前記プログラムは、前記プロセッサに、
遠隔通信を実施する第１端末装置のスピーカの前段において、前記遠隔通信を実施する第２端末装置のマイクで受音された音声に基づく音声信号から、前記第１端末装置のスピーカから再生されて前記第２端末装置のマイクで受音されて前記第１端末装置に到達する信号を抑圧した信号を、前記音声信号に基づいて出力するステップと、
前記出力された信号を、前記第１端末装置のスピーカから再生するステップと
を実行させるプログラム。
遠隔通信を実施する第１端末装置のスピーカの前段において、前記遠隔通信を実施する第２端末装置のマイクで受音された音声に基づく音声信号から、前記第１端末装置のスピーカから再生されて前記第２端末装置のマイクで受音されて前記第１端末装置に到達する信号を抑圧した信号を、前記音声信号に基づいて出力するステップと、
前記出力された信号を、前記第１端末装置のスピーカから再生するステップと
を実行させるプログラム。
【請求項16】
前記第１端末装置のスピーカの前段において、前記第２端末装置のマイクで受音された音声に基づく音声信号に基づき、前記第１端末装置のスピーカから再生されて前記第２端末装置のマイクで受音され、前記第１端末装置に到達する疑似信号を生成するステップを前記プロセッサに実行させ、
前記出力するステップにおいて、前記第２端末装置のマイクで受音された音声に基づく音声信号から前記疑似信号を抑圧することで、前記信号を出力する請求項１５記載のプログラム。
前記出力するステップにおいて、前記第２端末装置のマイクで受音された音声に基づく音声信号から前記疑似信号を抑圧することで、前記信号を出力する請求項１５記載のプログラム。
【請求項17】
前記疑似信号を生成するステップにおいて、前記第１端末装置のスピーカから再生されて前記第２端末装置のマイクで受音され、前記第１端末装置に到達するまでの伝達関数を、前記音声信号から疑似信号を抑圧した信号に畳み込んで前記疑似信号を生成する請求項１６記載のプログラム。
【請求項18】
前記遠隔通信を実現するサーバ、又はネットワークで生じる遅延よりも短い部分に該当する音響ループの伝達関数は零であることを仮定して前記伝達関数を推定する請求項２又は１７に記載のプログラム。
【請求項19】
プロセッサと、メモリとを備えるコンピュータが実行する方法であって、
遠隔通信を実施する第１端末装置のスピーカの前段において、前記遠隔通信を実施する第２端末装置のマイクで受音された音声に基づく音声信号から、前記第１端末装置のスピーカから再生されて前記第２端末装置のマイクで受音されて前記第１端末装置に到達する信号を抑圧した信号を、前記音声信号に基づいて出力するステップと、
前記出力された信号を、前記第１端末装置のスピーカから再生するステップと
を実行する方法。
遠隔通信を実施する第１端末装置のスピーカの前段において、前記遠隔通信を実施する第２端末装置のマイクで受音された音声に基づく音声信号から、前記第１端末装置のスピーカから再生されて前記第２端末装置のマイクで受音されて前記第１端末装置に到達する信号を抑圧した信号を、前記音声信号に基づいて出力するステップと、
前記出力された信号を、前記第１端末装置のスピーカから再生するステップと
を実行する方法。
【請求項20】
プロセッサと、メモリとを備える情報処理装置であって、
前記プロセッサが、
遠隔通信を実施する第１端末装置のスピーカの前段において、前記遠隔通信を実施する第２端末装置のマイクで受音された音声に基づく音声信号から、前記第１端末装置のスピーカから再生されて前記第２端末装置のマイクで受音されて前記第１端末装置に到達する信号を抑圧した信号を、前記音声信号に基づいて出力するステップと、
前記出力された信号を、前記第１端末装置のスピーカから再生するステップと
を実行する情報処理装置。
前記プロセッサが、
遠隔通信を実施する第１端末装置のスピーカの前段において、前記遠隔通信を実施する第２端末装置のマイクで受音された音声に基づく音声信号から、前記第１端末装置のスピーカから再生されて前記第２端末装置のマイクで受音されて前記第１端末装置に到達する信号を抑圧した信号を、前記音声信号に基づいて出力するステップと、
前記出力された信号を、前記第１端末装置のスピーカから再生するステップと
を実行する情報処理装置。
【請求項21】
遠隔通信を実施する第１端末装置のスピーカの前段において、前記遠隔通信を実施する第２端末装置のマイクで受音された音声に基づく音声信号から、前記第１端末装置のスピーカから再生されて前記第２端末装置のマイクで受音されて前記第１端末装置に到達する信号を抑圧した信号を、前記音声信号に基づいて出力する手段と、
前記出力された信号を、前記第１端末装置のスピーカから再生する手段と
を具備するシステム。
前記出力された信号を、前記第１端末装置のスピーカから再生する手段と
を具備するシステム。
【請求項22】
プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムであって、前記プログラムは、前記プロセッサに、
遠隔通信を実施する第１端末装置のマイクで受音された音声が、前記遠隔通信を実施する第２端末装置へ到達して再生されることで、音声が二重に聞こえる現象の発生の有無を検出するステップと、
前記現象の発生を検出すると、前記第２端末装置を操作するステップと
を実行させるプログラム。
遠隔通信を実施する第１端末装置のマイクで受音された音声が、前記遠隔通信を実施する第２端末装置へ到達して再生されることで、音声が二重に聞こえる現象の発生の有無を検出するステップと、
前記現象の発生を検出すると、前記第２端末装置を操作するステップと
を実行させるプログラム。
【請求項23】
前記第１端末装置のマイクで受音された音声から、前記第２端末装置のマイクで受音された音声が前記第１端末装置へ到達した音声信号へ変換するための伝達関数を推定するステップを前記プロセッサに実行させ、
前記検出するステップにおいて、前記伝達関数の形状に基づき、音声が二重に聞こえる現象の発生の有無を検出する請求項２２記載のプログラム。
前記検出するステップにおいて、前記伝達関数の形状に基づき、音声が二重に聞こえる現象の発生の有無を検出する請求項２２記載のプログラム。
【請求項24】
前記推定するステップにおいて、前記伝達関数を、前記第１端末装置のマイクからの信号に畳み込んで疑似信号を生成し、
前記検出するステップにおいて、前記疑似信号のパワー、又は前記疑似信号の形状に基づいて音声が二重に聞こえる現象の発生の有無を検出する請求項２３記載のプログラム。
前記検出するステップにおいて、前記疑似信号のパワー、又は前記疑似信号の形状に基づいて音声が二重に聞こえる現象の発生の有無を検出する請求項２３記載のプログラム。
【請求項25】
前記第１端末装置のマイクで受音された音声が、前記第２端末装置へ到達する音声信号を疑似的に生成するステップを前記プロセッサに実行させ、
前記検出するステップにおいて、前記疑似信号のパワー、又は前記疑似信号の形状に基づいて音声が二重に聞こえる現象の発生の有無を検出する請求項２２記載のプログラム。
前記検出するステップにおいて、前記疑似信号のパワー、又は前記疑似信号の形状に基づいて音声が二重に聞こえる現象の発生の有無を検出する請求項２２記載のプログラム。
【請求項26】
プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムであって、前記プログラムは、前記プロセッサに、
遠隔通信を実施する第１端末装置のスピーカの前段において、前記遠隔通信を実施する第２端末装置のマイクで受音された音声に基づく音声信号から、前記第２端末装置のマイクで受音された音声が前記第１端末装置へ到達した信号を抑圧した信号を、前記音声信号に基づいて出力するステップと、
前記出力された信号を、前記第１端末装置のスピーカから再生するステップと
を実行させるプログラム。
遠隔通信を実施する第１端末装置のスピーカの前段において、前記遠隔通信を実施する第２端末装置のマイクで受音された音声に基づく音声信号から、前記第２端末装置のマイクで受音された音声が前記第１端末装置へ到達した信号を抑圧した信号を、前記音声信号に基づいて出力するステップと、
前記出力された信号を、前記第１端末装置のスピーカから再生するステップと
を実行させるプログラム。
【請求項27】
前記第１端末装置のスピーカの前段において、前記第１端末装置のマイクで受音された音声信号に基づき、前記第２端末装置のマイクで受音された音声が前記第１端末装置へ到達する疑似信号を生成するステップを前記プロセッサに実行させ、
前記出力するステップにおいて、前記第２端末装置のマイクで受音された音声に基づく音声信号から前記疑似信号を抑圧することで、前記信号を出力する請求項２６記載のプログラム。
前記出力するステップにおいて、前記第２端末装置のマイクで受音された音声に基づく音声信号から前記疑似信号を抑圧することで、前記信号を出力する請求項２６記載のプログラム。
【請求項28】
前記疑似信号を生成するステップにおいて、前記第１端末装置のマイクで受音された音声信号から、前記第２端末装置のマイクで受音された音声が前記第１端末装置へ到達した音声信号へ変換するための伝達関数を、前記第１端末装置のマイクで受音された音声信号に畳み込んで前記疑似信号を生成する請求項２７記載のプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、プログラム、方法、情報処理装置、及びシステムに関する。
【背景技術】
【0002】
近年、テレワークが推奨されるようになり、ウェブ会議が普及し始めている。テレワーク環境下のウェブ会議では、会議の参加者はそれぞれの音響空間から会議に参加する。しかしながら、複数の参加者が、同一の音響空間から同一のウェブ会議に参加することもあり得る。
【0003】
このとき、同一の音響空間内に存在する端末において、同一空間内の他の端末のスピーカからの音響エコーが自端末のマイクに回り込み、これによってハウリングが発生する場合がある。特許文献１では、同一空間内の他の端末のスピーカ経由で自端末のマイクへ回り込む音響エコーを、マイクにより集音された信号から抑圧することで、ハウリングの発生を抑える技術が提案されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１５－３９０９３号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献１では、同一空間内の他の端末のスピーカ経由で自端末のマイクロホンへ回り込む音響エコーを、マイクロホンにより集音された信号から抑圧するようにしているが、ハウリングを抑える手法はこれに限定されない。
そこで、本開示の目的は、同一音響空間内に存在する端末装置間で発生し得る音響ループを抑えることである。
そこで、本開示の目的は、同一音響空間内に存在する端末装置間で発生し得る音響ループを抑えることである。
【課題を解決するための手段】
【0006】
上記課題を解決するため、本開示のプログラムは、プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムである。プログラムは、プロセッサに、プログラムは、プロセッサに、遠隔通信を実施する第１端末装置のマイクで受音された音声が、遠隔通信を実施する第２端末装置のスピーカから再生され、第１端末装置のマイクで再び受音される音響ループの発生の有無を検出するステップと、音響ループの発生を検出すると、第１端末装置を操作するステップとを実行させる。
【発明の効果】
【0007】
本開示によれば、同一音響空間内に存在する端末装置間で発生し得る音響ループを抑えることができる。
【図面の簡単な説明】
【0008】
【図1】第１の実施形態に係るシステムの全体構成を示す図である。
【図2】第１の実施形態のシステムに含まれる端末装置の構成を示すブロック図である。
【図3】第１の実施形態に係るシステムの構成例を表すブロック図である。
【図4】第１の実施形態に係る端末装置の、音響ループが発生した際の動作を示すフローチャートである。
【図5】第１の実施形態に係る端末装置の、音響ループが解消された際の動作を示すフローチャートである。
【図6】第１の実施形態のシステムに含まれるサーバの機能的な構成を示すブロック図である。
【図7】第２の実施形態のシステムに含まれる端末装置の構成を示すブロック図である。
【図8】第２の実施形態に係るシステムの構成例を表すブロック図である。
【図9】第２の実施形態に係る端末装置が音響エコーを抑制する際の動作を示すフローチャートである。
【図10】第２の実施形態のシステムに含まれるサーバの機能的な構成を示すブロック図である。
【図11】第３の実施形態に係るシステムの構成を表すブロック図である。
【図12】第４の実施形態に係るシステムの構成を表すブロック図である。
【発明を実施するための形態】
【0009】
以下、図面を参照しながら、実施の形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本開示の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本開示の必須構成要件であるとは限らない。
【0010】
＜概要＞
本実施形態に係るシステム１は、遠隔通信をする端末装置のうち、同一の音響空間内に存在する一方の端末装置のスピーカから、他方の端末装置のマイクに到来する音響エコーを抑えることで、この音響エコーに基づく音響ループの発生を抑える。これにより、システム１は、ハウリングの発生を抑えることが可能となる。
本実施形態に係るシステム１は、遠隔通信をする端末装置のうち、同一の音響空間内に存在する一方の端末装置のスピーカから、他方の端末装置のマイクに到来する音響エコーを抑えることで、この音響エコーに基づく音響ループの発生を抑える。これにより、システム１は、ハウリングの発生を抑えることが可能となる。
【0011】
（第１の実施形態）
第１の実施形態に係るシステム１は、同一の音響空間内に存在する端末装置間で発生する音響ループを検出し、検出結果に応じて端末装置を制御する。
第１の実施形態に係るシステム１は、同一の音響空間内に存在する端末装置間で発生する音響ループを検出し、検出結果に応じて端末装置を制御する。
【0012】
＜１ 全体構成＞
図１は、本実施形態に係るシステム１の全体構成の例を示す図である。図１に示すように、システム１は、端末装置１０と、サーバ２０とを備えている。端末装置１０と、サーバ２０とは、有線又は無線の通信規格を用い、ネットワーク８０を介して相互に通信可能に接続されている。ネットワーク８０は、例えば、インターネット、及び／又は通信事業者が提供する通信網等により実現される。図示の例では、３台の端末装置１０がシステム１に含まれている。
図１は、本実施形態に係るシステム１の全体構成の例を示す図である。図１に示すように、システム１は、端末装置１０と、サーバ２０とを備えている。端末装置１０と、サーバ２０とは、有線又は無線の通信規格を用い、ネットワーク８０を介して相互に通信可能に接続されている。ネットワーク８０は、例えば、インターネット、及び／又は通信事業者が提供する通信網等により実現される。図示の例では、３台の端末装置１０がシステム１に含まれている。
【0013】
なお、図１では、サーバ２０が１台のコンピュータである場合を示しているが、サーバ２０は、複数台のコンピュータが組み合わされて実現されてもよい。
【0014】
端末装置１０は、サーバ２０により提供される遠隔通信サービスを利用するユーザが使用する端末である。遠隔通信は、遠隔地にいる複数のユーザが同時に参加可能な通信であり、例えば、ウェブ会議通信を含む。なお、ウェブ会議通信に参加するユーザは必ずしも遠隔地にいる必要はなく、同一の音響空間に存在することもある。端末装置１０は、例えば、据え置き型のＰＣ（Personal Computer）、ラップトップＰＣ、ヘッドマウントディスプレイ等により実現される。また、端末装置１０は、スマートフォン、又はタブレット端末等の携行性を備えたコンピュータであってもよい。
【0015】
サーバ２０は、遠隔通信サービスを提供する装置である。例えば、サーバ２０は、遠隔通信に参加するユーザから送信される音声信号に対し、エンコード処理、デコード処理、又はミキシング処理等を実行し、遠隔通信の他の参加者へ音声信号を送信する。サーバ２０は、例えば、ネットワーク８０に接続されたコンピュータにより実現される。なお、ミキシング処理は端末装置１０で実施する場合もあってもよい。また、Ｗｅｂで使用される各種技術の標準化団体であるＷｏｒｌｄ Ｗｉｄｅ Ｗｅｂ Ｃｏｎｓｏｒｔｉｕｍ（ワールド・ワイド・ウェブ・コンソーシアム）のメディアの通信の標準化規格ＷｅｂＲＴＣのようにサーバ２０では接続制御のみを実施し、それぞれの端末装置１０の間で接続が確立した後にサーバ２０を経由せずピア・トゥ・ピアの通信で音声信号を端末装置１０の間で直接送受信し、エンコード処理、デコード処理又はミキシング処理を端末装置１０で実施する場合もあってもよい。
【0016】
図１に示すように、サーバ２０は、通信ＩＦ２２と、入出力ＩＦ２３と、メモリ２５と、ストレージ２６と、プロセッサ２９とを備える。通信ＩＦ２２、入出力ＩＦ２３、メモリ２５、ストレージ２６、及びプロセッサ２９は、例えば、バスを介して互いに通信可能に接続されている。
【0017】
通信ＩＦ２２は、サーバ２０が外部の装置と通信するため、信号を送受信するためのインタフェースである。入出力ＩＦ２３は、ユーザからの入力操作を受け付けるための入力装置、及び、ユーザに対し情報を提示するための出力装置とのインタフェースとして機能する。メモリ２５は、プログラム、及び、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばＤＲＡＭ等の揮発性のメモリにより実現される。
【0018】
ストレージ２６は、データを保存するための記憶装置であり、例えばフラッシュメモリ、ＨＤＤ等の不揮発性のメモリにより実現される。ストレージ２６は、必ずしも単独の回路により実現されなくてもよい。ストレージ２６は、例えば、複数の記憶回路により実現されてもよい。プロセッサ２９は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路などにより構成される。
【0019】
＜１．１ 端末装置の構成＞
図２は、本実施形態のシステム１に含まれる端末装置１０の構成を示すブロック図である。図２に示すように、端末装置１０は、通信部１２１と、入力装置１３と、出力装置１４と、カメラ１６０と、記憶部１７０と、制御部１８０とを備える。
図２は、本実施形態のシステム１に含まれる端末装置１０の構成を示すブロック図である。図２に示すように、端末装置１０は、通信部１２１と、入力装置１３と、出力装置１４と、カメラ１６０と、記憶部１７０と、制御部１８０とを備える。
【0020】
通信部１２１は、端末装置１０が他の装置と通信するための処理を行う。通信部１２１は、制御部１８０で生成された信号に送信処理を施し、外部（例えば、サーバ２０）へ送信する。通信部１２１は、外部から受信した信号に受信処理を施し、制御部１８０へ出力する。
【0021】
入力装置１３は、端末装置１０を所有するユーザが情報を入力するための装置である。入力装置１３は、例えば、マウス１３１、キーボード１３２、及び、操作面へ触れることで指示が入力されるタッチ・センシティブ・デバイス１３３等により実現される。また、入力装置１３は、マイク１３４により実現される。入力装置１３は、ユーザから入力される指示又は音声を電気信号へ変換し、電気信号を制御部１８０へ出力する。なお、入力装置１３は、マウス１３１、及びキーボード１３２等の物理的な操作デバイスに限定されない。入力装置１３には、例えば、外部の入力機器から入力される電気信号を受け付ける受信ポートが含まれてもよい。
【0022】
出力装置１４は、端末装置１０を所有するユーザへ情報を提示するための装置である。出力装置１４は、例えば、ディスプレイ１４１、スピーカ１４２等により実現される。ディスプレイ１４１は、制御部１８０の制御に応じて、画像、動画、テキスト等のデータを表示する。ディスプレイ１４１は、例えば、ＬＣＤ（Liquid Crystal Display）、又は有機ＥＬ（Electro-Luminescence）ディスプレイ等によって実現される。スピーカ１４２は、制御部１８０の制御に応じて、音声を出力する。
【0023】
カメラ１６０は、受光素子により光を受光し、撮影信号として出力するためのデバイスである。カメラ１６０は、例えば、光を受光するレンズがディスプレイ１４１と並べて設置されている。これにより、カメラ１６０は、ディスプレイ１４１を視認するユーザを撮影可能となっている。
【0024】
記憶部１７０は、例えば、メモリ１５、及びストレージ１６等により実現され、端末装置１０が使用するデータ、及びプログラムを記憶する。具体的には、記憶部１７０は、例えば、第１信号１７１、第２信号１７２を記憶する。
【0025】
第１信号１７１は、通信部１２１で受信され、スピーカ１４２へ送信される音声信号である。第１信号１７１は、自装置のスピーカ１４２から、自装置のマイク１３４へ回り込む第１音響エコーをキャンセルする際に、リファレンスとして用いられる。
【0026】
第２信号１７２は、マイク１３４により集音された音声に基づく音声信号から第１音響エコーがキャンセルされた信号である。第２信号１７２は、自装置のマイク１３４で受音された音声が遠隔通信を実現するサーバ２０を経由して、自装置と同一の音響空間に存在する他の端末装置１０のスピーカ１４２から再生され、自装置のマイク１３４で受音されるまでの伝達関数（インパルス応答）を推定する際に、リファレンスとして用いられる。
【0027】
制御部１８０は、プロセッサ１９が記憶部１７０に記憶されるプログラムを読み込み、プログラムに含まれる命令を実行することにより実現される。制御部１８０は、端末装置１０の動作を制御する。具体的には、例えば、制御部１８０は、操作受付部１８１、通信制御部１８２、演算部１８３、検出部１８４、操作部１８５、及び表示制御部１８６としての機能を発揮する。
【0028】
操作受付部１８１は、入力装置１３から入力されるユーザの操作を受け付けるための処理を行う。
【0029】
通信制御部１８２は、端末装置１０が、遠隔通信に参加する他の端末装置１０と、通信プロトコルに従って通信するための処理を行う。通信制御部１８２は、例えば、マイク１３４により集音された音声に基づく音声信号を遠隔通信に参加する他の端末装置１０へ送信する。また、通信制御部１８２は、他の端末装置１０から送信される音声信号を受信し、音声に変換して演算部１８３、検出部１８４、操作部１８５、表示制御部１８６に渡しし、またスピーカ１４２から出力する。通信制御部１８２にはピア・トゥ・ピア通信に対応するために他の端末装置１０から受信した音声信号を音声に変換した後にミキシング処理を行うミキサーを含む。
【0030】
また、通信制御部１８２は、例えば、キーボード１３２、タッチ・センシティブ・デバイス１３３等から入力されるテキストデータを遠隔通信に参加する他の端末装置１０へ送信する。また、通信制御部１８２は、他の端末装置１０から送信されるデータを受信し、テキストデータに変換してディスプレイ１４１から出力する。
【0031】
演算部１８３は、マイク１３４により集音された音声に基づく音声信号についての演算処理を実施する。具体的には、例えば、演算部１８３は、記憶部１７０に記憶される第１信号１７１に基づき、音声信号から第１音響エコーを抑制する。
【0032】
また、例えば、演算部１８３は、記憶部１７０に記憶される第２信号１７２に基づき、音響ループによる音響エコーの伝達関数を推定する。演算部１８３は、推定した伝達関数を用い、音響ループによる音響エコーの疑似信号を生成してもよい。
【0033】
検出部１８４は、音響ループを検出する。具体的には、例えば、検出部１８４は、演算部１８３により推定された伝達関数に基づき、音響ループが発生したか否かを判断する。より具体的には、検出部１８４は、伝達関数の形状に基づき、音響ループが発生したか否かを判断する。伝達関数の形状を時間軸上で表す例として、例えば、インパルス応答の形状、又はパワーが挙げられる。伝達関数の形状を周波数軸上で表す例として、例えば、フーリエ係数の形状、又はパワーが挙げられる。検出部１８４は、演算部１８３により生成された疑似信号に基づいて音響ループを検出してもよい。
【0034】
操作部１８５は、マイク１３４及びスピーカ１４２を操作する。具体的には、例えば、操作部１８５は、検出部１８４により音響ループが検出されると、マイク１３４に到来する音声が後段へ伝わらなくなる操作をし、通信部１２１で受信されスピーカ１４２へ送信される音声信号のボリュームダウンの操作をする。マイク１３４に到来する音声が後段へ伝わらなくなる操作には、例えば、マイク１３４をミュートにする操作、又は、他の端末装置１０へ送信する経路の途中でミュートにする操作が含まれる。スピーカ１４２へ送信される音声信号のボリュームダウンの操作には、例えば、通信制御部１８２のミキサーからスピーカ１４２までの経路の途中で音声信号のボリュームダウンする操作、又は、通信制御部１８２のミキサーの前の経路でボリュームダウンする操作が含まれ、また音声信号のボリュームダウンの量は音声信号がゼロになる場合が含まれる。操作部１８５は、例えば、音声信号のボリュームダウンの量は遠隔通信での会話内容が聞き取れ、かつ、音響ループが発生しない程度のスピーカ１４２の出力となるように操作する。
【0035】
操作部１８５は、音響ループが解消されたことが検出部１８４により検出されると、マイク１３４に到来する音声の後段への伝達を操作前の状態に戻し、スピーカ１４２へ送信される音声信号のボリュームダウンの操作前の状態に戻すようにしてもよい。操作部１８５は、マイク１３４をミュート前の状態よりも感度を下げ、スピーカ１４２へ送信される音声信号のボリュームダウンの操作前よりもレベルを下げてもよい。これにより、操作前よりも音響ループが発生しづらくなる。
【0036】
表示制御部１８６は、ユーザに対して種々の情報を提示するため、出力装置１４を制御する。具体的には、例えば、表示制御部１８６は、検出部１８４により音響ループが検出されると、音響ループが検出されたことをユーザに提示する。同時に、表示制御部１８６は、マイク１３４に到来する音声が後段へ伝わらなくなる操作と、スピーカ１４２へ送信される音声信号のボリュームダウンの操作とを促す情報をユーザに提示する。例えば、表示制御部１８６は、音響ループが検出されたことを表すメッセージ、及び、マイク１３４のミュートと、スピーカ１４２のボリュームダウンさせることを促すメッセージをディスプレイ１４１に表示させる。スピーカ１４２のボリュームダウンの程度は、例えば、遠隔通信での会話内容が聞き取れ、かつ、音響ループが発生しない程度の出力が推奨される。
【0037】
マイク１３４に到来する音声が後段へ伝わらなくなる操作と、スピーカ１４２へ送信される音声信号のボリュームダウンの操作とを促す情報のユーザへの提示は、操作部１８５によるマイク１３４及びスピーカ１４２の操作と同時に実施されてもよい。また、マイク１３４に到来する音声が後段へ伝わらなくなる操作と、スピーカ１４２へ送信される音声信号のボリュームダウンの操作とを促す情報のユーザへの提示は、操作部１８５によりマイク１３４及びスピーカ１４２が操作されている場合は実行されないようにしてもよい。
【0038】
表示制御部１８６は、音響ループが解消されたことが検出部１８４により検出されると、音響ループが解消されたことをユーザに提示してもよい。同時に、表示制御部１８６は、音声の伝送を音声信号についての操作前の状態に戻し、スピーカ１４２へ送信される音声信号のボリュームダウンの操作の前の状態に戻すことを促す情報をユーザに提示してもよい。このとき、表示制御部１８６は、音声信号について操作前の状態よりも感度を下げ、スピーカ１４２へ送信される音声信号のボリュームダウンの操作の前の状態よりもレベルを下げて戻すことを促す情報をユーザに提示してもよい。これにより、操作前よりも音響ループが発生しづらくなる。
【0039】
＜２．動作＞
端末装置１０の制御部１８０が音響ループを検出し、検出結果に応じて端末装置１０を制御する際の動作について説明する。以下では、端末装置１０－１，１０－２が同一の音響空間内に存在し、端末装置１０－３が異なる音響空間内に存在する場合を例に説明する。
端末装置１０の制御部１８０が音響ループを検出し、検出結果に応じて端末装置１０を制御する際の動作について説明する。以下では、端末装置１０－１，１０－２が同一の音響空間内に存在し、端末装置１０－３が異なる音響空間内に存在する場合を例に説明する。
【0040】
図３は、第１の実施形態に係るシステム１の構成例を表すブロック図である。図３に示すシステム１では、端末装置１０－１，１０－２が同一の音響空間内に存在し、端末装置１０－３が異なる音響空間内に存在している。図３において、第１フィルタ演算部１８３１、第１減算器１８３２、第２フィルタ演算部１８３３、及び第２減算器１８３４は、端末装置１０の演算部１８３の演算により実現される処理である。
【0041】
図３では、端末装置１０－１のマイク１３４で集音される３種の音響エコーを示している。なお、図３では、端末装置１０－１に関連する音響エコーについて説明するが、端末装置１０－２においてもこれら音響エコーと同様の音響エコーが生じうる。
【0042】
図３において、第１音響エコーＡ１は、端末装置１０－１のスピーカ１４２から端末装置１０－１のマイク１３４に回り込む音響エコーを示している。すなわち、端末装置１０－１は、サーバ２０から送信される音声信号を受信する。端末装置１０－１は、受信した音声信号に基づく音声を、スピーカ１４２から出力する。マイク１３４は、スピーカ１４２から出力された音声、又は壁等で反射された後に到来した音声を収音する。
【0043】
図３において、第２音響エコーＡ２は、端末装置１０－２のスピーカ１４２から端末装置１０－１のマイク１３４に回り込む音響エコーを示している。すなわち、端末装置１０－２は、サーバ２０から送信される音声信号を受信する。端末装置１０－２は、受信した音声信号に基づく音声を、スピーカ１４２から出力する。端末装置１０－１のマイク１３４は、端末装置１０－２のスピーカ１４２から出力された音声、又は壁等で反射された後に到来した音声を収音する。
【0044】
図３において、第３音響エコーＡ３は、音響ループＲ１による音響エコーを示している。音響ループＲ１は、端末装置１０－１のマイク１３４で受音された音声がサーバ２０を経由して、端末装置１０－２のスピーカ１４２から再生され、再び端末装置１０－１のマイク１３４で受音される音響ループを示している。すなわち、端末装置１０－１は、端末装置１０－２のスピーカ１４２から出力された音声、又は壁等で反射された後に到来した音声をマイク１３４により収音する。端末装置１０－１は、集音した音声に基づく音声信号を、第１音響エコーＡ１を抑制した後、サーバ２０へ送信する。端末装置１０－２は、サーバ２０から送信される音声信号を受信する。端末装置１０－２は、受信した音声信号に基づく音声を、スピーカ１４２から出力する。端末装置１０－１は、端末装置１０－２のスピーカ１４２から出力された音声、又は壁等で反射された後に到来した音声をマイク１３４により収音する。
【0045】
図４は、第１の実施形態に係る端末装置１０の、音響ループが発生した際の動作の一例を示すフローチャートである。
【0046】
まず、端末装置１０－１～１０－３のユーザは、例えば、ウェブ会議を開始させる。端末装置１０－１～１０－３のユーザは、ウェブ会議を開始させると、所定の議題について議論する。
【0047】
例えば、端末装置１０－３のユーザが発した音声は端末装置１０－３のマイク１３４で集音される。端末装置１０－３は、マイク１３４で集音した音声に基づく音声信号をサーバ２０へ送信する。
【0048】
サーバ２０は、端末装置１０－３から受信した音声信号に対し、デコード処理、ミキシング処理、又はデコード処理を実行し、ウェブ会議に参加する他のユーザへ音声信号を送信する。つまり、サーバ２０は、端末装置１０－３からの音声信号を、端末装置１０－１，１０－２へ送信する。
【0049】
端末装置１０－１は、音声信号を受信すると、受信した音声信号に基づく音声をスピーカ１４２から出力する。また、端末装置１０－１は、受信した音声信号を第１信号１７１として記憶部１７０に記憶する。
【0050】
端末装置１０－１は、マイク１３４により、音声を集音する。マイク１３４により集音される音声には、第１音響エコーＡ１が含まれ得る。また、マイク１３４により集音される音声には、第２音響エコーＡ２が含まれ得る。また、マイク１３４により集音される音声には、音響ループＲ１による第３音響エコーＡ３が含まれ得る。また、マイク１３４により集音される音声には、端末装置１０－１のユーザにより発せられた音声が含まれ得る。
【0051】
端末装置１０－１は、第１フィルタ演算部１８３１により、集音した音声に含まれる第１音響エコーＡ１を推定した第１疑似信号を生成する（ステップＳ１１）。具体的には、第１フィルタ演算部１８３１は、記憶部１７０に記憶している第１信号１７１に、第１フィルタ係数を畳み込んで第１疑似信号を推定する。第１フィルタ係数は、端末装置１０－１のスピーカ１４２から、端末装置１０－１のマイク１３４への伝達関数（インパルス応答）を時間軸で離散化した係数群である。
【0052】
第１フィルタ演算部１８３１は、第１減算器１８３２から出力される信号に基づき、第１フィルタ係数を更新する。第１フィルタ演算部１８３１は、第１フィルタ係数を適応的に修正する。つまり、第１フィルタ演算部１８３１により、適応フィルタが実現される。
【0053】
端末装置１０－１は、第１減算器１８３２により、マイク１３４から出力された音声信号から第１音響エコーＡ１を打ち消す（ステップＳ１２）。具体的には、第１減算器１８３２は、マイク１３４から出力される音声信号から、第１フィルタ演算部１８３１で推定された第１疑似信号を減算する。第１減算器１８３２は、減算後の信号を出力する。端末装置１０－１は、減算後の信号を第２信号１７２として記憶部１７０に記憶する。
【0054】
端末装置１０－１は、第２フィルタ演算部１８３３により、第１減算器１８３２からの出力に含まれ得る音響ループＲ１による第３音響エコーＡ３を推定した第２疑似信号を生成する（ステップＳ１３）。具体的には、第２フィルタ演算部１８３３は、記憶部１７０に記憶している第２信号１７２に、第２フィルタ係数を畳み込んで第２疑似信号を推定する。第２フィルタ係数は、端末装置１０－１のマイク１３４で受音された音声がサーバ２０を経由して端末装置１０－２のスピーカ１４２から再生され、端末装置１０－２のスピーカ１４２から端末装置１０－１のマイク１３４の音響空間を経由して端末装置１０－１のマイク１３４で再び受音されるまでの伝達関数（インパルス応答）を時間軸で離散化した係数群である。伝達関数は、サーバ２０での処理、及びネットワークによる伝送で生じる遅延よりも短い部分に該当する音響ループの伝達関数が零であると仮定して推定される。第２フィルタ演算部１８３３は、推定した第２疑似信号を検出部１８４、及び第２減算器１８３４へ出力する。
【0055】
第２フィルタ演算部１８３３は、第２減算器１８３４から出力される信号に基づき、第２フィルタ係数を更新する。第２フィルタ演算部１８３３は、第２フィルタ係数を適応的に修正する。つまり、第２フィルタ演算部１８３３により、適応フィルタが実現される。
【0056】
端末装置１０－１は、第２減算器１８３４により、第１減算器１８３２から出力された信号から第３音響エコーＡ３を打ち消す。具体的には、第２減算器１８３４は、第１減算器１８３２から出力される信号から、第２フィルタ演算部１８３３で推定された第２疑似信号を減算する。第２減算器１８３４は、減算後の信号を第２フィルタ演算部１８３３へ出力する。
【0057】
端末装置１０－１は、検出部１８４により、推定した第２疑似信号に基づき、音響ループが発生したか否かを判断する（ステップＳ１４）。具体的には、例えば、検出部１８４は、生成された第２疑似信号の形状が、予め設定された形状となった場合、音響ループが発生したと判断する。また、例えば、検出部１８４は、生成された第２疑似信号のパワーが予め設定された閾値を超えた場合、音響ループが発生したと判断する。
【0058】
端末装置１０－１において音響ループが発生したと判断された場合、端末装置１０－１が持つマイク１３４が、その音響ループ上に存在することを意味する。一般的に音響ループが発生した場合、端末装置１０－１のマイク１３４と、他の端末装置１０のスピーカ１４２の間で発生した音響ループに加えて、端末装置１０－１のスピーカ１４２と、他の端末装置１０のマイク１３４の間でも音響ループが発生していると考えられる。
【0059】
端末装置１０－１は、検出部１８４により音響ループが検出されると（ステップＳ１４のＹｅｓ）、操作部１８５により、マイク１３４及びスピーカ１４２を操作する（ステップＳ１５）。具体的には、例えば、操作部１８５は、検出部１８４により音響ループが検出されると、マイク１３４に到来する音声が後段へ伝わらなくなる操作をし、スピーカ１４２へ送信される音声信号のボリュームダウンの操作をする。
【0060】
端末装置１０－１は、検出部１８４により音響ループが検出されないと（ステップＳ１４のＮｏ）、ステップＳ１３、Ｓ１４の処理を繰り返す。
【0061】
図４に示す説明では、検出部１８４が音響ループを検出すると、操作部１８５がマイク１３４と、スピーカ１４２とを操作する場合を示した。端末装置１０－１は、操作部１８５に代えて表示制御部１８６を動作させてもよい。例えば、端末装置１０－１は、検出部１８４により音響ループが検出されると（ステップＳ１４のＹｅｓ）、表示制御部１８６により、マイク１３４及びスピーカ１４２の操作を促す情報をユーザに提示してもよい。具体的には、例えば、表示制御部１８６は、検出部１８４により音響ループが検出されると、マイク１３４に到来する音声が後段へ伝わらなくなる操作と、スピーカ１４２へ送信される音声信号のボリュームダウンの操作とを促す情報を、ディスプレイ１４１に表示させる。また、表示制御部１８６は、同一の音響空間に存在するいずれかの端末装置のマイク１３４に到来する音声が後段へ伝わらなくなる操作と、スピーカ１４２へ送信される音声信号のボリュームダウンの操作とを促す情報を、ディスプレイ１４１に表示させてもよい。
【0062】
また、図４に示す説明では、端末装置１０－１が、第２フィルタ演算部１８３３により第２疑似信号を算出し、検出部１８４により第２疑似信号に基づき、音響ループが発生したか否かを判断する場合を説明した。しかしながら、端末装置１０－１は、音響ループが発生したか否かを、端末装置１０－１のマイク１３４で受音された音声がサーバ２０を経由して端末装置１０－２のスピーカ１４２から再生され、端末装置１０－２のスピーカ１４２から端末装置１０－１のマイク１３４の音響空間を経由して端末装置１０－１のマイク１３４で再び受音されるまでの伝達関数（インパルス応答）に基づいて判断してもよい。
【0063】
図５は、第１の実施形態に係る端末装置１０の、音響ループが解消された際の動作の一例を示すフローチャートである。
【0064】
【0065】
端末装置１０－１は、ステップＳ１３で第２疑似信号を生成すると、検出部１８４により、推定した第２疑似信号に基づき、音響ループが解消されたか否かを判断する（ステップＳ１６）。具体的には、例えば、検出部１８４は、生成された第２疑似信号の形状が、予め設定された形状となった場合、音響ループが解消されたと判断する。また、例えば、検出部１８４は、生成された第２疑似信号のパワーが予め設定された閾値を超えた状態から、予め設定された閾値未満の状態となった場合、音響ループが解消されたと判断する。
【0066】
端末装置１０－１は、検出部１８４により音響ループの解消が検出されると（ステップＳ１６のＹｅｓ）、操作部１８５により、マイク１３４及びスピーカ１４２を操作する（ステップＳ１７）。具体的には、例えば、操作部１８５は、検出部１８４により音響ループの解消が検出されると、音声の伝送を音声信号についての操作前の状態に戻し、スピーカ１４２へ送信される音声信号のボリュームを操作前の状態に戻す。
【0067】
端末装置１０－１は、検出部１８４により音響ループの解消が検出されないと（ステップＳ１６のＮｏ）、ステップＳ１３、Ｓ１６の処理を繰り返す。
【0068】
図５に示す説明では、検出部１８４が音響ループの解消を検出すると、操作部１８５がマイク１３４と、スピーカ１４２とを操作する場合を示した。端末装置１０－１は、操作部１８５に代えて表示制御部１８６を動作させてもよい。例えば、端末装置１０－１は、検出部１８４により音響ループの解消が検出されると（ステップＳ１６のＹｅｓ）、表示制御部１８６により、マイク１３４及びスピーカ１４２の操作を促す情報をユーザに提示してもよい。具体的には、例えば、表示制御部１８６は、検出部１８４により音響ループの解消が検出されると、マイク１３４のミュート又は経路の途中のミュートをミュート前の状態に戻し、スピーカ１４２へ送信される音声信号のボリュームを操作前の状態に戻すことを促す情報を、ディスプレイ１４１に表示させる。
【0069】
また、図５に示す説明では、端末装置１０－１が、第２フィルタ演算部１８３３により第２疑似信号を算出し、検出部１８４により第２疑似信号に基づき、音響ループが解消されたか否かを判断する場合を説明した。しかしながら、端末装置１０－１は、検出部１８４により、第２フィルタ演算部１８３３で推定した伝達関数に基づき、音響ループが解消されたか否かを判断してもよい。
【0070】
以上のように、第１の実施形態では、端末装置１０は、演算部１８３により、遠隔通信を実施する自装置のマイク１３４で受音された音声が、遠隔通信を実現するサーバを経由して他方の端末装置のスピーカ１４２から再生され、自装置のマイク１３４で再び受音されるまでの伝達関数を推定する。端末装置１０は、検出部１８４により、伝達関数の形状に基づいて音響ループの発生の有無を検出する。端末装置１０は、音響ループの発生を検出すると、操作部１８５、又は表示制御部１８６により、自装置を操作するようにしている。
【0071】
このように、個々のマイク１３４、スピーカ１４２間のチャネル特性同定処理がデバイス独立処理になるように、音声信号のリファレンス元を第１減算器１８３２の後段へ移動させている。これにより、サーバ又は端末装置の計算量を軽減させることが可能となる。また、音響ループに存在するマイクを特定することが可能となる。また、異なる端末装置の再生音声を用いず、自装置内で完結するため、実装が容易である。また、音響ループを検出すると、自装置を操作するようにしているため、音響ループを効果的に解消することが可能となる。
【0072】
端末装置１０は、自装置を操作する際、操作部１８５により、スピーカ１４２へ送信される音声信号のボリュームダウンを操作し、かつ、マイク１３４に到来する音声が後段へ伝わらなくなる操作をするようにしている。これにより、端末装置１０は、音響ループを自動で解消可能となる。
【0073】
また、端末装置１０は、自装置を操作する際、表示制御部１８６により、スピーカ１４２へ送信される音声信号のボリュームダウンを制御し、かつ、マイク１３４に到来する音声が後段へ伝わらなくなる操作をする提案をユーザに提示するようにしている。これにより、端末装置１０は、音響ループの解消を促すＵＩ（User Interface）をユーザに提供することが可能となる。
【0074】
したがって、本実施形態に係る端末装置１０によれば、同一音響空間内に存在する端末装置間で発生し得る音響ループを抑えることができる。
【0075】
また、上記実施形態では、端末装置１０は、検出部１８４により、音響ループの解消の有無を検出する。そして、音響ループの解消を検出すると、端末装置１０は、操作部１８５又は表示制御部１８６により、自装置を操作するようにしている。これにより、端末装置１０は、音響ループを解消した後、遠隔通信に復帰することが可能となる。
【0076】
端末装置１０は、自装置を操作する際、操作部１８５により、スピーカ１４２へ送信される音声信号のボリュームダウンの操作前の状態に戻し、かつ、音声の伝送を音声信号についての操作前の状態に戻すようにしている。これにより、端末装置１０は、遠隔通信に自動で復帰可能となる。このとき、端末装置１０は、スピーカ１４２の出力を音響ループの発生前よりも小さく、マイク１３４の感度を音響ループの発生前よりも低くするようにしている。これにより、音響ループの発生前より、音響ループが発生しづらくなる。
【0077】
また、端末装置１０は、自装置を操作する際、表示制御部１８６により、スピーカ１４２の出力を上げ、かつ、マイク１３４のミュートを解除する提案をユーザに提示するようにしている。これにより、端末装置１０は、遠隔通信への復帰を促すＵＩ（User Interface）をユーザに提供することが可能となる。
【0078】
また、上記実施形態では、遠隔通信を実現するサーバ、又はネットワークで生じる遅延よりも短い部分に該当する音響ループの伝達関数は零であることを仮定して伝達関数を推定するようにしている。これにより、真の音響ループの伝達関数の推定精度を改善することが可能となる。
【0079】
第１の実施形態では、演算部１８３が、第２フィルタ演算部１８３３と、第２減算器１８３４とにより、音響ループを検出する場合を例に説明した。しかしながら、これに限定されない。演算部１８３は、学習済みモデルを用いて音響ループを検出してもよい。
【0080】
本実施形態に係る学習済みモデルは、例えば、入力される信号に基づき、所定の推論を実施する、複数の関数が合成されたパラメータ付き合成関数である。パラメータ付き合成関数は、複数の調整可能な関数及びパラメータの組合せにより定義される。本実施形態に係る学習済みモデルは、上記の要請を満たす如何なるパラメータ付き合成関数であってもよい。
【0081】
例えば、学習済みモデルが順伝播型の多層化ネットワークを用いて生成される場合、パラメータ付き合成関数は、例えば、重み行列を用いた各層間の線形関係、各層における活性化関数を用いた非線形関係（又は線形関係）、及びバイアスの組み合わせとして定義される。重み付行列、及びバイアスは、多層化ネットワークのパラメータと呼ばれる。パラメータ付き合成関数は、パラメータをどのように選ぶかで、関数としての形を変える。多層化ネットワークでは、構成するパラメータを適切に設定することで、出力層から好ましい結果を出力することが可能な関数を定義することができる。
【0082】
本実施形態に係る多層化ネットワークとしては、例えば、深層学習（Deep Learning）の対象となる多層ニューラルネットワークである深層ニューラルネットワーク（Deep Neural Network：ＤＮＮ）が用いられ得る。ＤＮＮとしては、例えば、時系列情報等を対象とする再帰型ニューラルネットワーク（Recurrent Neural Network：ＲＮＮ）を用いてもよい。また「Transformer」と呼ばれる注意機構（アテンション ）を用いた多層ニューラルネットワークを用いてもよい。
【0083】
学習済みモデルは、例えば、入力される音声信号に対し、インパルス応答を出力するように学習されている。このとき、学習用データは、例えば、音声信号を入力データとし、この音声信号に対するインパルス応答を正解出力データとする。学習済みモデルは、例えば、第１減算器１８３２から出力される信号が入力されると、入力された音声信号に応じたインパルス応答を出力する。
【0084】
また、学習済みモデルは、例えば、第２擬似信号を出力するように学習されている。このとき、学習用データは、例えば、音声信号を入力データとし、この音声信号に対する第２擬似信号を正解出力データとする。学習済みモデルは、例えば、第１減算器１８３２から出力される信号が入力されると、入力された音声信号に応じた第２疑似信号を出力する。
【0085】
学習済みモデルは、例えば、入力される音声信号に対し、音響ループの発生の有無を出力するように学習されていてもよい。このとき、学習用データは、例えば、音声信号を入力データとし、音響ループが発生しているか否かを正解出力データとする。学習済みモデルは、例えば、第１減算器１８３２から出力される信号が入力されると、音響ループが発生しているか否かを出力する。この場合、演算部１８３が、検出部１８４の機能を担うと換言可能である。
【0086】
また、第１の実施形態では、端末装置１０は、他の端末装置１０のうちいずれかを同一の音響空間に存在すると判断する機能を有していてもよい。例えば、制御部１８０は、プロセッサ１９が記憶部１７０に記憶されるプログラムを読み込み、プログラムに含まれる命令を実行することにより、判断部としての機能を発揮してもよい。
【0087】
判断部は、例えば、集音された音声に基づく音声信号の相関を用いて、他の端末装置１０が同一の音響空間に存在するか否かを判断する。具体的には、例えば、判断部は、自装置のマイク１３４で集音された音声に基づく音声信号と、他装置のマイク１３４で集音された音声に基づく音声信号との相関を用いて、他の端末装置１０が同一の音響空間に存在するか否かを判断する。
【0088】
判断部は、学習済みモデルを用い、他の端末装置１０が同一の音響空間に存在するか否かを判断してもよい。学習済みモデルは、例えば、入力される少なくとも１対の音声信号に対し、これらの信号の集音元の端末装置が同一の音響空間に存在するか否かを出力するように学習されている。このとき、学習用データは、例えば、少なくとも１対の音声信号を入力データとし、これらの信号の集音元の端末装置が同一の音響空間に存在するか否かを正解出力データとする。学習済みモデルは、例えば、自装置で集音された音声に基づく音声信号と、他装置で集音された音声に基づく音声信号とが入力されると、他の端末装置が同一の音響空間に存在するか否かを出力する。
【0089】
判断部は、他の端末装置１０のＩＰアドレス、又はＭＡＣアドレス、無線ＬＡＮのＳＳＩＤ、又は接続しているアクセスポイントのＭＡＣアドレス等に基づき、同一のＳＳＩＤ又は同一のアクセスポイントのＭＡＣアドレスに接続されていることをもって他の端末装置１０が同一の音響空間に存在するか否かを判断してもよい。なお、端末装置１０及び無線ＬＡＮアクセスポイントのＭＡＣアドレスによらずユニークに装置が特定できる他の情報であってもよい。
【0090】
検出部１８４は、例えば、判断部による判断結果を利用し、検出した音響ループが、自装置が存在する音響空間で発生したものであるかを判断する。検出した音響ループが、自装置が存在する音響空間で発生した音響ループでない場合、例えば、検出部１８４は、音響ループは発生していないと判断する。これにより、検出部１８４は、同一の音響空間で発生した音響ループを検出することが可能となる。このため、端末装置１０は、存在する音響空間で発生する音響ループを適切に抑えることが可能となる。つまり、操作部１８５は、同一の音響空間に存在する端末装置１０のスピーカ１４２へ送信される音声信号のボリュームを操作し、かつ、マイク１３４に到来する音声が後段へ伝わらなくなる操作をすることが可能となる。また、表示制御部１８６は、同一の音響空間に存在するいずれかの端末装置１０のスピーカ１４２へ送信される音声信号のボリュームを操作し、かつ、マイク１３４に到来する音声が後段へ伝わらなくなる操作をすることをディスプレイ１４１に表示することが可能となる。
【0091】
（変形例）
第１の実施形態では、端末装置１０が、演算部１８３の一部（第２フィルタ演算部１８３３、第２減算器１８３４）、検出部１８４、操作部１８５、表示制御部１８６の機能を実現する場合を例に説明した。しかしながら、演算部１８３の一部（第２フィルタ演算部１８３３、第２減算器１８３４）、検出部１８４、操作部１８５、表示制御部１８６の機能は、サーバ２０で実現されてもよい。
第１の実施形態では、端末装置１０が、演算部１８３の一部（第２フィルタ演算部１８３３、第２減算器１８３４）、検出部１８４、操作部１８５、表示制御部１８６の機能を実現する場合を例に説明した。しかしながら、演算部１８３の一部（第２フィルタ演算部１８３３、第２減算器１８３４）、検出部１８４、操作部１８５、表示制御部１８６の機能は、サーバ２０で実現されてもよい。
【0092】
【0093】
通信部２０１は、サーバ２０が外部の装置と通信するための処理を行う。
【0094】
記憶部２０２は、サーバ２０が使用するデータ及びプログラムを記憶する。具体的には、例えば、記憶部２０２は、端末装置１０から送信される第２信号を記憶する第２信号ＤＢ２０２１を有する。
【0095】
第２信号ＤＢ２０２１は、遠隔通信に参加する端末装置１０から送信される第２信号を記憶する。第２信号は、それぞれの端末装置１０のマイク１３４により集音された音声に基づく音声信号から、端末装置１０の第１音響エコーがキャンセルされた信号である。
【0096】
制御部２０３は、プロセッサ２９が記憶部２０２に記憶されるプログラムを読み込み、プログラムに含まれる命令を実行することにより実現される。制御部２０３は、サーバ２０の動作を制御する。具体的には、例えば、制御部２０３は、送受信部２０３１、記憶制御部２０３２、通信制御部２０３３、演算部２０３４、検出部２０３５、操作部２０３６、及び提示部２０３７としての機能を発揮する。
【0097】
送受信部２０３１は、サーバ２０が、端末装置１０等の外部の装置と、通信プロトコルに従ってデータを送受信する処理を制御する。
【0098】
記憶制御部２０３２は、記憶部２０２への情報の記憶を制御する。
【0099】
通信制御部２０３３は、端末装置１０間で、所定の通信プロトコルに従った遠隔通信を実現するための処理を行う。具体的には、例えば、通信制御部２０３３は、遠隔通信に参加するユーザから送信される音声信号に対し、エンコード処理、デコード処理、又はミキシング処理等を実行し、遠隔通信の他の参加者へ音声信号を送信する。
【0100】
演算部２０３４は、記憶部２０２に記憶される第２信号に基づき、音響ループによる音響エコーの伝達関数を推定する。演算部２０３４は、推定した伝達関数を用い、音響ループによる音響エコーの疑似信号を生成してもよい。
【0101】
検出部２０３５は、音響ループを検出する。具体的には、例えば、検出部２０３５は、演算部２０３４により推定された伝達関数に基づき、端末装置１０において音響ループが発生したか否かを判断する。より具体的には、検出部２０３５は、伝達関数の形状に基づき、音響ループが発生したか否かを判断する。検出部２０３５は、演算部２０３４により生成された疑似信号に基づいて音響ループを検出してもよい。
【0102】
操作部２０３６は、音響ループが発生した端末装置１０のマイク１３４及びスピーカ１４２を操作する。具体的には、例えば、操作部２０３６は、検出部２０３５により、所定の端末装置１０で音響ループが発生したことが検出されると、音響ループの発生が検出された端末装置１０のマイク１３４に到来する音声が後段へ伝わらなくなる操作をし、スピーカ１４２へ送信される音声信号のボリュームダウンの操作をする。操作部２０３６は、例えば、遠隔通信での会話内容が聞き取れ、かつ、音響ループが発生しない程度の出力となるように、スピーカ１４２を操作する。
【0103】
操作部２０３６は、音響ループが解消されたことが検出部２０３５により検出されると、音声の伝送を音声信号についての操作前の状態に戻し、スピーカ１４２へ送信される音声信号のボリュームダウンの操作の前の状態に戻すようにしてもよい。操作部２０３６は、音声信号についての操作前の状態よりも感度を下げ、スピーカ１４２へ送信される音声信号のボリュームダウンの操作の前の状態よりもレベルを下げてもよい。これにより、操作前よりも音響ループが発生しづらくなる。
【0104】
提示部２０３７は、検出部２０３５により音響ループが検出されると、音響ループが発生した端末装置１０のユーザに、音響ループが発生したことを提示する。同時に、提示部２０３７は、マイク１３４に到来する音声が後段へ伝わらなくなる操作と、スピーカ１４２へ送信される音声信号のボリュームダウンの操作とを促す情報を端末装置１０のユーザに提示する。例えば、提示部２０３７は、音響ループが検出されたことを表すメッセージ、及び、マイク１３４のミュートと、スピーカ１４２のボリュームダウンとを促すメッセージを端末装置１０のディスプレイ１４１に表示させる。スピーカ１４２のボリュームダウンの程度は、例えば、遠隔通信での会話内容が聞き取れ、かつ、音響ループが発生しない程度の出力が推奨される。
【0105】
マイク１３４に到来する音声が後段へ伝わらなくなる操作と、スピーカ１４２へ送信される音声信号のボリュームダウンの操作とを促す情報のユーザへの提示は、操作部２０３６によるマイク１３４及びスピーカ１４２の操作と同時に実施されてもよい。また、マイク１３４に到来する音声が後段へ伝わらなくなる操作と、スピーカ１４２へ送信される音声信号のボリュームダウンの操作とを促す情報のユーザへの提示は、操作部２０３６によりマイク１３４及びスピーカ１４２が操作されている場合は実行されないようにしてもよい。
【0106】
提示部２０３７は、音響ループが解消されたことが検出部２０３５により検出されると、音響ループが解消されたことをユーザに提示してもよい。同時に、提示部２０３７は、音声の伝送を音声信号についての操作前の状態に戻し、スピーカ１４２へ送信される音声信号のボリュームダウンの操作の前の状態に戻すことを促す情報をユーザに提示してもよい。このとき、提示部２０３７は、音声の伝送を音声信号についての操作前の状態よりも感度を下げ、スピーカ１４２へ送信される音声信号のボリュームダウンの操作の前の状態よりもレベルを下げて戻すことを促す情報をユーザに提示してもよい。これにより、操作前よりも音響ループが発生しづらくなる。
【0107】
また、サーバ２０は、遠隔通信に参加する端末装置１０が、同一の音響空間に存在すると判断する機能を有していてもよい。例えば、制御部２０３は、プロセッサ２９が記憶部２０２に記憶されるプログラムを読み込み、プログラムに含まれる命令を実行することにより、判断部としての機能を発揮してもよい。
【0108】
判断部は、例えば、集音された音声に基づく音声信号の相関を用いて、同一の音響空間に存在する端末装置１０を判断する。具体的には、例えば、判断部は、一の端末装置１０のマイク１３４で集音された音声に基づく音声信号と、他の端末装置１０のマイク１３４で集音された音声に基づく音声信号との相関を用いて、同一の音響空間に存在する端末装置１０をクラスタリングする。
【0109】
判断部は、学習済みモデルを用い、同一の音響空間に存在する端末装置１０を判断してもよい。学習済みモデルは、例えば、入力される少なくとも１対の音声信号に対し、これらの信号の集音元の端末装置が同一の音響空間に存在するか否かを出力するように学習されている。このとき、学習用データは、例えば、少なくとも１対の音声信号を入力データとし、これらの信号の集音元の端末装置が同一の音響空間に存在するか否かを正解出力データとする。学習済みモデルは、例えば、一の端末装置１０で集音された音声に基づく音声信号と、他の端末装置１０で集音された音声に基づく音声信号とが入力されると、端末装置１０が同一の音響空間に存在するか否かを出力する。
【0110】
判断部は、端末装置１０のＩＰアドレス、無線ＬＡＮのＳＳＩＤ、又は、端末装置１０が接続しているアクセスポイントのＭＡＣアドレス等に基づき、同一の音響空間に存在する端末装置１０をクラスタリングしてもよい。なお、端末装置１０及び無線ＬＡＮアクセスポイントのＭＡＣアドレスによらずユニークに装置が特定できる他の情報であってもよい。
【0111】
検出部２０３５は、例えば、判断部による判断結果を利用し、検出した音響ループが、どのクラスターで発生したものであるかを判断する。具体的には、例えば、検出部２０３５は、音響ループが発生した音響空間に存在する端末装置１０を特定する。これにより、検出部２０３５は、同一の音響空間で発生した音響ループを検出することが可能となる。このため、端末装置１０は、存在する音響空間で発生する音響ループを適切に抑えることが可能となる。つまり、操作部２０３６は、音響ループが発生した個々の音響空間に存在するいずれかの端末装置１０のスピーカ１４２へ送信される音声信号のボリュームダウンの操作をし、かつ、マイク１３４に到来する音声が後段へ伝わらなくなる操作をすることが可能となる。すなわち、ウェブ会議の主催者側で、音響ループが発生した音響空間に存在する端末装置１０を操作することが可能となる。また、提示部２０３７は、音響ループが発生した個々の音響空間に存在するいずれかの端末装置１０のスピーカ１４２へ送信される音声信号のボリュームダウンの操作をし、かつ、マイク１３４に到来する音声が後段へ伝わらなくなる操作をすることをディスプレイ１４１に表示させることが可能となる。
【0112】
（第２の実施形態）
第２の実施形態に係るシステム１は、遠隔通信において発生する音響ループの影響を、送信系統において抑制する。
第２の実施形態に係るシステム１は、遠隔通信において発生する音響ループの影響を、送信系統において抑制する。
【0113】
＜１ 全体構成＞
第２の実施形態に係るシステム１ａの構成は、図１に示す構成と同様である。システム１ａは、端末装置１０ａと、サーバ２０ａとを備えている。
第２の実施形態に係るシステム１ａの構成は、図１に示す構成と同様である。システム１ａは、端末装置１０ａと、サーバ２０ａとを備えている。
【0114】
＜１．１ 端末装置の構成＞
図７は、本実施形態のシステム１ａに含まれる端末装置１０ａの構成を示すブロック図である。図７に示すように、端末装置１０ａは、通信部１２１と、入力装置１３と、出力装置１４と、カメラ１６０と、記憶部１７０ａと、制御部１８０ａとを備える。
図７は、本実施形態のシステム１ａに含まれる端末装置１０ａの構成を示すブロック図である。図７に示すように、端末装置１０ａは、通信部１２１と、入力装置１３と、出力装置１４と、カメラ１６０と、記憶部１７０ａと、制御部１８０ａとを備える。
【0115】
記憶部１７０ａは、例えば、メモリ１５、及びストレージ１６等により実現され、端末装置１０ａが使用するデータ、及びプログラムを記憶する。具体的には、記憶部１７０ａは、例えば、第３信号１７３を記憶する。
【0116】
第３信号１７３は、サーバ２０ａから受信した音声信号から、自装置以外の端末装置１０で受信された第２音響エコーがキャンセルされた信号である。第３信号１７３は、自装置のスピーカ１４２から、自装置のマイク１３４へ回り込む第１音響エコーをキャンセルする際に、リファレンスとして用いられる。また、第３信号１７３は、同一の音響空間に存在する一方の端末装置１０のスピーカ１４２から、他方の端末装置１０のマイク１３４へ回り込む第２音響エコーをキャンセルする際に、リファレンスとして用いられる。
【0117】
制御部１８０ａは、プロセッサ１９が記憶部１７０ａに記憶されるプログラムを読み込み、プログラムに含まれる命令を実行することにより実現される。制御部１８０ａは、端末装置１０ａの動作を制御する。具体的には、例えば、制御部１８０ａは、操作受付部１８１、通信制御部１８２、演算部１８３ａとしての機能を発揮する。
【0118】
演算部１８３ａは、サーバ２０ａから受信した音声信号と、マイク１３４により集音された音声に基づく音声信号とについての演算処理を実施する。具体的には、例えば、演算部１８３ａは、記憶部１７０ａに記憶される第３信号１７３に基づき、サーバ２０から受信した音声信号から第２音響エコーを抑制する。また、例えば、演算部１８３ａは、記憶部１７０に記憶される第３信号１７３に基づき、マイク１３４により集音された音声に基づく音声信号から第１音響エコーを抑制する。
【0119】
＜２．動作＞
端末装置１０ａの制御部１８０ａが第１音響エコー、及び第２音響エコーを抑制する際の動作について説明する。以下では、端末装置１０－１ａ，１０－２ａが同一の音響空間内に存在し、端末装置１０－３ａが異なる音響空間内に存在する場合を例に説明する。
端末装置１０ａの制御部１８０ａが第１音響エコー、及び第２音響エコーを抑制する際の動作について説明する。以下では、端末装置１０－１ａ，１０－２ａが同一の音響空間内に存在し、端末装置１０－３ａが異なる音響空間内に存在する場合を例に説明する。
【0120】
図８は、第２の実施形態に係るシステム１ａの構成例を表すブロック図である。図８に示すシステム１ａでは、端末装置１０－１ａ，１０－２ａが同一の音響空間内に存在し、端末装置１０－３ａが異なる音響空間内に存在している。図８において、第１フィルタ演算部１８３１ａ、第１減算器１８３２ａ、第２フィルタ演算部１８３３ａ、及び第２減算器１８３４ａは、端末装置１０ａの演算部１８３ａの演算により実現される処理である。
【0121】
図９は、第２の実施形態に係る端末装置１０ａが音響エコーを抑制する際の動作の一例を示すフローチャートである。
【0122】
まず、端末装置１０－１ａ～１０－３ａのユーザは、例えば、ウェブ会議を開始させる。端末装置１０－１ａ～１０－３ａのユーザは、ウェブ会議を開始させると、所定の議題について議論する。
【0123】
例えば、端末装置１０－３ａのユーザが発した音声は端末装置１０－３ａのマイク１３４で集音される。端末装置１０－３ａは、マイク１３４で集音した音声に基づく音声信号をサーバ２０ａへ送信する。
【0124】
サーバ２０ａは、端末装置１０－３ａから受信した音声信号に対し、デコード処理、ミキシング処理、又はデコード処理を実行し、ウェブ会議に参加する他のユーザへ音声信号を送信する。つまり、サーバ２０ａは、端末装置１０－３ａからの音声信号を、端末装置１０－１ａ，１０－２ａへ送信する。サーバ２０ａは、例えば、ネットワーク８０に接続されたコンピュータにより実現される。なお、ミキシング処理は他の端末装置で実施する場合もあってもよい。また、Ｗｅｂで使用される各種技術の標準化団体であるＷｏｒｌｄ Ｗｉｄｅ Ｗｅｂ Ｃｏｎｓｏｒｔｉｕｍ（ワールド・ワイド・ウェブ・コンソーシアム）のメディアの通信の標準化規格ＷｅｂＲＴＣのようにサーバ２０ａでは接続制御のみを実施し、それぞれの端末装置の間で接続が確立した後にサーバ２０ａを経由せずピア・トゥ・ピアの通信で音声信号を端末装置１０－１ａ、端末装置１０－２ａ、端末装置１０－３ａのそれぞれの間で直接送受信し、エンコード処理、デコード処理又はミキシング処理も端末装置１０－１ａ、端末装置１０－２ａ、端末装置１０－３ａのそれぞれの端末装置で実施する場合もあってもよい。
【0125】
端末装置１０－１ａは、サーバ２０ａから音声信号を受信すると、第２フィルタ演算部１８３３ａにより、受信した音声信号に含まれ得る第２音響エコーを推定した第２疑似信号を生成する（ステップＳ２１）。具体的には、第２フィルタ演算部１８３３ａは、記憶部１７０ａに記憶している第３信号１７３に、第２フィルタ係数を畳み込んで第２疑似信号を推定する。第３信号１７３は、先の送信において、第２減算器１８３４ａから出力されて記憶部１７０ａに記憶されたものである。第２フィルタ係数は、自装置のスピーカ１４２から出力されて、他方の端末装置１０ａのマイク１３４で受音され、サーバ２０ａを経由して自装置に戻ってくるまでの伝達関数（インパルス応答）を時間軸で離散化した係数群である。伝達関数は、サーバ２０ａでの処理、及びネットワークによる伝送で生じる遅延よりも短い部分に該当する音響ループの伝達関数が零であると仮定して推定される。第２フィルタ演算部１８３３ａは、推定した第２疑似信号を第２減算器１８３４ａへ出力する。
【0126】
第２フィルタ演算部１８３３ａは、第２減算器１８３４ａから出力される信号に基づき、第２フィルタ係数を更新する。第２フィルタ演算部１８３３ａは、第２フィルタ係数を適応的に修正する。つまり、第２フィルタ演算部１８３３ａにより、適応フィルタが実現される。
【0127】
端末装置１０－１ａは、第２減算器１８３４ａにより、サーバ２０ａから受信した音声信号から第２音響エコーを打ち消す（ステップＳ２２）。具体的には、第２減算器１８３４ａは、サーバ２０ａから受信した音声信号から、第２フィルタ演算部１８３３ａで推定された第２疑似信号を減算する。第２減算器１８３４ａは、減算後の信号をスピーカ１４２、及び第２フィルタ演算部１８３３ａへ出力する。
【0128】
端末装置１０－１ａは、第２減算器１８３４ａから出力された音声信号に基づく音声をスピーカ１４２から出力する。また、端末装置１０－１ａは、第２減算器１８３４ａから出力された音声信号を第３信号１７３として記憶部１７０ａに記憶する。
【0129】
端末装置１０－１ａは、マイク１３４により、音声を集音する。マイク１３４により集音される音声には、第１音響エコーＡ１が含まれ得る。また、マイク１３４により集音される音声には、第２音響エコーＡ２が含まれ得る。また、マイク１３４により集音される音声には、端末装置１０－１ａのユーザにより発せられた音声が含まれ得る。
【0130】
端末装置１０－１ａは、第１フィルタ演算部１８３１ａにより、集音した音声に含まれる第１音響エコーＡ１を推定した第１疑似信号を生成する（ステップＳ２３）。具体的には、第１フィルタ演算部１８３１ａは、記憶部１７０ａに記憶している第３信号１７３に、第１フィルタ係数を畳み込んで第１疑似信号を推定する。第１フィルタ係数は、端末装置１０－１ａのスピーカ１４２から、端末装置１０－１ａのマイク１３４への伝達関数（インパルス応答）を時間軸で離散化した係数群である。
【0131】
第１フィルタ演算部１８３１ａは、第１減算器１８３２ａから出力される信号に基づき、第１フィルタ係数を更新する。第１フィルタ演算部１８３１ａは、第１フィルタ係数を適応的に修正する。つまり、第１フィルタ演算部１８３１ａにより、適応フィルタが実現される。
【0132】
端末装置１０－１ａは、第１減算器１８３２ａにより、マイク１３４から出力された音声信号から第１音響エコーＡ１を打ち消す（ステップＳ２４）。具体的には、第１減算器１８３２ａは、マイク１３４から出力される音声信号から、第１フィルタ演算部１８３１ａで推定された第１疑似信号を減算する。端末装置１０－１ａは、第１減算器１８３２ａによる減算後の信号を、サーバ２０ａへ送信する。
【0133】
以上のように、第２の実施形態では、端末装置１０ａは、演算部１８３ａにより、遠隔通信を実施する第１端末装置のスピーカ１４２の前段において、遠隔通信を実施する第２端末装置（自装置以外の端末装置）のマイク１３４で受音された音声に基づく音声信号から疑似信号を減算する。端末装置１０ａは、演算部１８３ａにより、第１端末装置のスピーカ１４２から再生されて端末装置１０－２ａのマイクで受音され、遠隔通信を実現するサーバ２０ａを経由して第１端末装置に到達すまでの伝達関数を、音声信号から疑似信号を減算した信号に畳み込んで疑似信号を生成する。端末装置１０ａは、音声信号から疑似信号を減算した信号を、第１端末装置のスピーカ１４２から送信するようにしている。
【0134】
このように、個々のマイク１３４、スピーカ１４２間のチャネル特性同定処理がデバイス独立処理になるように、第２減算器１８３４ａをスピーカ１４２の前段へ移動させている。これにより、サーバ又は端末装置の計算量を軽減させることが可能となる。また、音声信号のリファレンス元を、自装置のスピーカ出力音声波形とするため、異なる端末装置の再生音声を用いず、自装置内で完結するため、実装が容易である。
【0135】
また、例えば、第２フィルタ演算部１８３３ａと、第２減算器１８３４ａとが、マイク１３４の後段に設置される場合、他の音響空間で発生したハウリング音が、スピーカ１４２から再生される可能性がある。本実施形態係るように、第２フィルタ演算部１８３３ａと、第２減算器１８３４ａとが、スピーカ１４２の前段に設置されることで、他の音響空間で発生したハウリングを抑圧することが可能となる。
【0136】
したがって、本実施形態に係る端末装置１０ａによれば、同一音響空間内に存在する端末装置間において、音響ループの発生を抑制できる。
【0137】
第２の実施形態では、演算部１８３ａが、第２フィルタ演算部１８３３ａと、第２減算器１８３４ａとにより、音響ループの発生を抑制する場合を例に説明した。しかしながら、これに限定されない。演算部１８３ａは、学習済みモデルを用いて音響ループの発生を抑制してもよい。
【0138】
学習済みモデルは、例えば、入力される音声信号に対し、第２擬似信号を出力するように学習されている。このとき、学習用データは、例えば、音声信号を入力データとし、この音声信号に対する第２擬似信号を正解出力データとする。学習済みモデルは、例えば、サーバ２０ａから受信した音声信号が入力されると、入力された音声信号に応じた第２疑似信号を出力する。
【0139】
また、学習済みモデルは、例えば、入力される音声信号に対し、音響ループによる影響を受けていない音声信号を出力するように学習されていてもよい。このとき、学習用データは、例えば、音声信号を入力データとし、音響ループによる影響を受けていない音声信号を正解出力データとする。学習済みモデルは、例えば、サーバ２０ａから受信した音声信号が入力されると、音響ループによる影響を受けていない音声信号を出力する。
【0140】
（変形例）
第２の実施形態では、端末装置１０ａが、演算部１８３ａの一部（第２フィルタ演算部１８３３ａ、第２減算器１８３４ａ）の機能を実現する場合を例に説明した。しかしながら、演算部１８３ａの一部（第２フィルタ演算部１８３３ａ、第２減算器１８３４ａ）の機能は、サーバ２０ａで実現されてもよい。
第２の実施形態では、端末装置１０ａが、演算部１８３ａの一部（第２フィルタ演算部１８３３ａ、第２減算器１８３４ａ）の機能を実現する場合を例に説明した。しかしながら、演算部１８３ａの一部（第２フィルタ演算部１８３３ａ、第２減算器１８３４ａ）の機能は、サーバ２０ａで実現されてもよい。
【0141】
図１０は、本実施形態のシステム１ａに含まれるサーバ２０ａの機能的な構成を示すブロック図である。図１０に示すように、サーバ２０ａは、通信部２０１、記憶部２０２ａ、及び制御部２０３ａとしての機能を発揮する。
【0142】
記憶部２０２ａは、サーバ２０ａが使用するデータ及びプログラムを記憶する。具体的には、例えば、記憶部２０２ａは、端末装置１０ａへ送信する信号である第３信号を記憶する第３信号ＤＢ２０２２を有する。
【0143】
第３信号ＤＢ２０２２は、遠隔通信に参加する端末装置１０ａへ送信する信号である第３信号を記憶する。
【0144】
制御部２０３ａは、プロセッサ２９が記憶部２０２ａに記憶されるプログラムを読み込み、プログラムに含まれる命令を実行することにより実現される。制御部２０３ａは、サーバ２０の動作を制御する。具体的には、例えば、制御部２０３ａは、送受信部２０３１、記憶制御部２０３２、通信制御部２０３３、演算部２０３４ａとしての機能を発揮する。
【0145】
演算部２０３４ａは、記憶部２０２ａに記憶される第３信号に基づき、端末装置１０ａからの音声信号を合成した合成信号から、端末装置１０ａそれぞれで発生した第２音響エコーを抑制する。
【0146】
具体的には、例えば、演算部２０３４ａは、フィルタ演算部及び減算器としての機能を実現する。演算部２０３４ａは、フィルタ演算部により、合成信号に含まれ得る第２音響エコーを推定した第２疑似信号を生成する。具体的には、演算部２０３４ａは、記憶部２０２ａに記憶している第３信号に、第２フィルタ係数を畳み込んで第２疑似信号を推定する。第２フィルタ係数は、同一の音響空間に存在する一方の端末装置１０ａのスピーカ１４２から再生されて他方の端末装置１０ａのマイク１３４で受音され、サーバ２０ａを経由して一方の端末装置１０ａへ到達するまでの伝達関数（インパルス応答）を時間軸で離散化した係数群である。伝達関数は、サーバ２０ａでの処理、及びネットワークによる伝送で生じる遅延よりも短い部分に該当する音響ループの伝達関数が零であると仮定して推定される。フィルタ演算部は、推定した第２疑似信号を減算器へ出力する。
【0147】
フィルタ演算部は、減算器から出力される信号に基づき、第２フィルタ係数を更新する。フィルタ演算部は、第２フィルタ係数を適応的に修正する。つまり、フィルタ演算部により、適応フィルタが実現される。
【0148】
サーバ２０ａは、減算器により、合成信号から第２音響エコーを打ち消す。具体的には、減算器は、合成信号から、フィルタ演算部で推定された第２疑似信号を減算する。サーバ２０ａは、減算器による減算後の信号を端末装置１０ａへ出力する。
【0149】
（第３の実施形態）
同一の音響空間に端末装置１０－１と端末装置１０－２とが存在している場合、端末装置１０－１を使用するユーザが発した音声が、端末装置１０－２を使用するユーザに直接届く。また、端末装置１０－１を使用するユーザが発した音声が、端末装置１０－１のマイク１３４で受音され、サーバ２０を経由して端末装置１０－２のスピーカ１４２から出力されて、端末装置１０－２を使用するユーザに届く。このような場合、端末装置１０－２のユーザは、端末装置１０－１のユーザから直接届く音声と、サーバ２０を経由して出力された音声との２つの音声が二重に聞こえることになる。音声が二重で聞こえる現象はハウリングの前兆であり、音声が二重に聞こえる現象を抑えることでハウリングの発生を抑えることが可能となる。
第３の実施形態に係るシステム１ｂは、同一の音響空間に複数の端末装置１０が存在する場合において、音声が二重に聞こえる現象を検出する。
同一の音響空間に端末装置１０－１と端末装置１０－２とが存在している場合、端末装置１０－１を使用するユーザが発した音声が、端末装置１０－２を使用するユーザに直接届く。また、端末装置１０－１を使用するユーザが発した音声が、端末装置１０－１のマイク１３４で受音され、サーバ２０を経由して端末装置１０－２のスピーカ１４２から出力されて、端末装置１０－２を使用するユーザに届く。このような場合、端末装置１０－２のユーザは、端末装置１０－１のユーザから直接届く音声と、サーバ２０を経由して出力された音声との２つの音声が二重に聞こえることになる。音声が二重で聞こえる現象はハウリングの前兆であり、音声が二重に聞こえる現象を抑えることでハウリングの発生を抑えることが可能となる。
第３の実施形態に係るシステム１ｂは、同一の音響空間に複数の端末装置１０が存在する場合において、音声が二重に聞こえる現象を検出する。
【0150】
＜１ 全体構成＞
第３の実施形態に係るシステム１ｂの構成は、図１に示す構成と同様である。システム１ｂは、端末装置１０ｂと、サーバ２０ｂとを備えている。
第３の実施形態に係るシステム１ｂの構成は、図１に示す構成と同様である。システム１ｂは、端末装置１０ｂと、サーバ２０ｂとを備えている。
【0151】
＜１．１ 端末装置の構成＞
端末装置１０ｂは、通信部１２１と、入力装置１３と、出力装置１４と、カメラ１６０と、記憶部１７０ｂと、制御部１８０ｂとを備える。
端末装置１０ｂは、通信部１２１と、入力装置１３と、出力装置１４と、カメラ１６０と、記憶部１７０ｂと、制御部１８０ｂとを備える。
【0152】
記憶部１７０ｂは、例えば、メモリ１５、及びストレージ１６等により実現され、端末装置１０ｂが使用するデータ、及びプログラムを記憶する。具体的には、記憶部１７０ｂは、例えば、第１信号１７１、第２信号１７２を記憶する。
【0153】
第２信号１７２は、マイク１３４により集音された音声に基づく音声信号から第１音響エコーがキャンセルされた信号である。第２信号１７２は、自端末のマイク１３４で受音された音声信号から、他の端末装置１０ｂのマイク１３４で受音された音声が遠隔通信を実現するサーバ２０ｂを経由して、他の端末装置１０ｂと同一の音響空間に存在する自装置へ到達した音声信号へ変換するための伝達特性を推定する際に、リファレンスとして用いられる。
【0154】
制御部１８０ｂは、プロセッサ１９が記憶部１７０ｂに記憶されるプログラムを読み込み、プログラムに含まれる命令を実行することにより実現される。制御部１８０ｂは、端末装置１０ｂの動作を制御する。具体的には、例えば、制御部１８０ｂは、操作受付部１８１、通信制御部１８２、演算部１８３ｂ、検出部１８４ｂ、操作部１８５ｂ、及び表示制御部１８６ｂとしての機能を発揮する。
【0155】
演算部１８３ｂは、マイク１３４により集音された音声に基づく音声信号についての演算処理を実施する。具体的には、例えば、演算部１８３ｂは、記憶部１７０ｂに記憶される第１信号１７１に基づき、マイク１３４により集音された音声に基づく音声信号から第１音響エコーを抑制する。
【0156】
また、例えば、演算部１８３ｂは、記憶部１７０ｂに記憶される第２信号１７２に基づき、自端末のマイク１３４で受音された音声信号から、他の端末装置１０ｂのマイク１３４で受音された音声が遠隔通信を実現するサーバ２０ｂを経由して、他の端末装置１０ｂと同一の音響空間に存在する自装置へ到達した音声信号へ変換するための伝達特性を推定する。演算部１８３は、推定した伝達関数に用い、他の端末装置１０ｂのユーザから発せられた音響エコーの疑似信号を生成してもよい。
【0157】
検出部１８４ｂは、音声が二重に聞こえる現象を検出する。具体的には、例えば、検出部１８４ｂは、演算部１８３ｂにより推定された伝達関数に基づき、音声が二重に聞こえる現象が発生したか否かを判断する。より具体的には、検出部１８４ｂは、伝達関数の形状に基づき、現象が発生したか否かを判断する。検出部１８４ｂは、演算部１８３ｂにより生成された疑似信号に基づいて現象を検出してもよい。
【0158】
操作部１８５ｂは、マイク１３４及びスピーカ１４２を操作する。具体的には、例えば、操作部１８５ｂは、検出部１８４ｂにより現象が検出されると、マイク１３４で受音した音声の感度を下げ、又は、スピーカ１４２をボリュームダウンする。マイク１３４で受音した音声の感度を下げる操作には、例えば、マイク１３４の感度を下げる操作、又は、他の端末装置１０ｂへ送信する経路の途中で感度を下げる操作が含まれる。操作部１８５ｂは、マイク１３４で受音した音声の感度を下げ、かつ、スピーカ１４２をボリュームダウンしてもよい。スピーカ１４２へ送信される音声信号のボリュームダウンの操作には、例えば、通信制御部１８２のミキサーからスピーカ１４２までの経路の途中で音声信号のボリュームダウンする場合、又は、通信制御部のミキサーの前の経路でボリュームダウンする場合が含まれ、また音声信号のボリュームダウンの量は音声信号がゼロになる場合が含まれる。操作部１８５は、例えば、音声信号のボリュームダウンの量は遠隔通信での会話内容が聞き取れ、かつ、音響ループが発生しない程度のスピーカ１４２の出力となるように操作する。
【0159】
表示制御部１８６ｂは、ユーザに対して種々の情報を提示するため、出力装置１４を制御する。具体的には、例えば、表示制御部１８６ｂは、検出部１８４ｂにより現象が検出されると、現象が検出されたことをユーザに提示する。同時に、表示制御部１８６ｂは、マイク１３４で受音した音声の感度低下、又は、スピーカ１４２へ送信される音声のボリュームダウンを促す情報をユーザに提示する。表示制御部１８６ｂは、マイク１３４で受音した音声の感度低下と、スピーカ１４２へ送信される音声のボリュームダウンとを促す情報をユーザに提示してもよい。
【0160】
表示制御部１８６ｂによる情報の提示は、操作部１８５ｂによる操作と同時に実施されてもよい。また、表示制御部１８６ｂによる情報の提示は、操作部１８５ｂによる操作がされている場合は実行されないようにしてもよい。
【0161】
＜２．動作＞
端末装置１０ｂの制御部１８０ｂが、音声が二重に聞こえる現象を検出し、検出結果に応じて端末装置１０ｂを制御する際の動作について説明する。以下では、端末装置１０－１ｂ，１０－２ｂが同一の音響空間内に存在し、端末装置１０－３ｂが異なる音響空間内に存在する場合を例に説明する。
端末装置１０ｂの制御部１８０ｂが、音声が二重に聞こえる現象を検出し、検出結果に応じて端末装置１０ｂを制御する際の動作について説明する。以下では、端末装置１０－１ｂ，１０－２ｂが同一の音響空間内に存在し、端末装置１０－３ｂが異なる音響空間内に存在する場合を例に説明する。
【0162】
図１１は、第３の実施形態に係るシステム１ｂの構成例を表すブロック図である。図１１に示すシステム１ｂでは、端末装置１０－１ｂ，１０－２ｂが同一の音響空間内に存在し、端末装置１０－３ｂが異なる音響空間内に存在している。図１１において、第１フィルタ演算部１８３１、第１減算器１８３２、第２フィルタ演算部１８３３ｂ、及び第２減算器１８３４ｂは、端末装置１０ｂの演算部１８３ｂの演算により実現される処理である。
【0163】
図１１では、端末装置１０－１ｂのマイク１３４で集音される２種の音響エコーを示している。なお、図１１では、端末装置１０－１ｂに関連する音響エコーについて説明するが、端末装置１０－２ｂにおいてもこれら音響エコーと同様の音響エコーが生じうる。
【0164】
図１１において、第４音響エコーＡ４は、端末装置１０－２ｂのユーザから発せられ、端末装置１０－１ｂのマイク１３４で受音される音響エコーを示している。
【0165】
図１１において、第５音響エコーＡ５は、端末装置１０－２ｂのマイク１３４で受音された音声がサーバ２０ｂを経由して、端末装置１０－１ｂのスピーカ１４２から再生される音響エコーを示している。
【0166】
例えば、端末装置１０－２ｂのユーザが発した音声は端末装置１０－２ｂのマイク１３４で集音される。端末装置１０－２ｂは、マイク１３４で集音した音声に基づく音声信号をサーバ２０ｂへ送信する。
【0167】
サーバ２０ｂは、端末装置１０－２ｂから受信した音声信号に対し、デコード処理、ミキシング処理、又はデコード処理を実行し、ウェブ会議に参加する他のユーザへ音声信号を送信する。サーバ２０ｂは、例えば、ネットワーク８０に接続されたコンピュータにより実現される。なお、ミキシング処理は他の端末装置で実施する場合もあってもよい。また、Ｗｅｂで使用される各種技術の標準化団体であるＷｏｒｌｄ Ｗｉｄｅ Ｗｅｂ Ｃｏｎｓｏｒｔｉｕｍ（ワールド・ワイド・ウェブ・コンソーシアム）のメディアの通信の標準化規格ＷｅｂＲＴＣのようにサーバ２０ｂでは接続制御のみを実施し、それぞれの端末装置の間で接続が確立した後にサーバ２０ｂを経由せずピア・トゥ・ピアの通信で音声信号を端末装置１０－１ｂ、端末装置１０－２ｂ、端末装置１０－３ｂのそれぞれの間で直接送受信し、エンコード処理、デコード処理又はミキシング処理も端末装置１０－１ｂ、端末装置１０－２ｂ、端末装置１０－３ｂのそれぞれの端末装置で実施する場合もあってもよい。
【0168】
端末装置１０－１ｂは、第２フィルタ演算部１８３３ｂにより、受信した音声信号に含まれ得る第５音響エコーＡ５を推定した第２疑似信号を生成する。具体的には、第２フィルタ演算部１８３３ｂは、記憶部１７０ｂに記憶している第２信号１７２に、第２フィルタ係数を畳み込んで第２疑似信号を推定する。第２信号１７２は、先の送信において、第１減算器１８３２から出力されて記憶部１７０ｂに記憶されたものである。第２フィルタ係数は、端末装置１０－１ｂのマイク１３４で受音された音声信号から、端末装置１０－２ｂのマイク１３４で受音された音声が遠隔通信を実現するサーバ２０ｂを経由して、端末装置１０－１ｂへ到達した音声信号へ変換するための伝達特性（インパルス応答）を時間軸で離散化した係数群である。伝達関数は、サーバ２０ｂでの処理、及びネットワークによる伝送で生じる遅延よりも短い部分に該当する音響エコーの伝達関数が零であると仮定して推定される。第２フィルタ演算部１８３３ｂは、推定した第２疑似信号を検出部１８４ｂ、及び第２減算器１８３４ｂへ出力する。
【0169】
第２フィルタ演算部１８３３ｂは、第２減算器１８３４ｂから出力される信号に基づき、第２フィルタ係数を更新する。第２フィルタ演算部１８３３ｂは、第２フィルタ係数を適応的に修正する。つまり、第２フィルタ演算部１８３３ｂにより、適応フィルタが実現される
【0170】
端末装置１０－１ｂは、第２減算器１８３４ｂにより、サーバ２０ｂから受信した信号から第５音響エコーＡ５を打ち消す。具体的には、第２減算器１８３４ｂは、サーバ２０ｂから受信した信号から、第２フィルタ演算部１８３３ｂで推定された第２疑似信号を減算する。第２減算器１８３４ｂは、減算後の信号を第２フィルタ演算部１８３３ｂへ出力する。
【0171】
端末装置１０－１ｂは、受信した音声信号に基づく音声をスピーカ１４２から出力する。また、端末装置１０－１ｂは、受信した音声信号を第１信号１７１として記憶部１７０ｂに記憶する。
【0172】
端末装置１０－１ｂは、マイク１３４により、音声を集音する。マイク１３４により集音される音声には、第１音響エコーＡ１が含まれ得る。また、マイク１３４により集音される音声には、第４音響エコーＡ４が含まれ得る。
【0173】
端末装置１０－１ｂは、第１フィルタ演算部１８３１により、集音した音声に含まれる第１音響エコーＡ１を推定した第１疑似信号を生成する。具体的には、第１フィルタ演算部１８３１は、記憶部１７０に記憶している第１信号１７１に、第１フィルタ係数を畳み込んで第１疑似信号を推定する。第１フィルタ係数は、端末装置１０－１のスピーカ１４２から、端末装置１０－１のマイク１３４への伝達関数（インパルス応答）を時間軸で離散化した係数群である。
【0174】
第１フィルタ演算部１８３１は、第１減算器１８３２から出力される信号に基づき、第１フィルタ係数を更新する。第１フィルタ演算部１８３１は、第１フィルタ係数を適応的に修正する。つまり、第１フィルタ演算部１８３１により、適応フィルタが実現される。
【0175】
端末装置１０－１ｂは、第１減算器１８３２により、マイク１３４から出力された音声信号から第１音響エコーＡ１を打ち消す。第１減算器１８３２は、減算後の信号を出力する。端末装置１０－１ｂは、減算後の信号を第２信号１７２として記憶部１７０ｂに記憶する。
【0176】
端末装置１０－１ｂは、検出部１８４ｂにより、推定した第２疑似信号に基づき、音声が二重に聞こえる現象が発生したか否かを判断する。具体的には、例えば、検出部１８４ｂは、生成された第２疑似信号の形状が、予め設定された形状となった場合、現象が発生したと判断する。また、例えば、検出部１８４ｂは、生成された第２疑似信号のパワーが予め設定された閾値を超えた場合、現象が発生したと判断する。
【0177】
端末装置１０－１ｂは、検出部１８４ｂにより音響ループが検出されると、操作部１８５ｂにより、マイク１３４及びスピーカ１４２を操作する。具体的には、例えば、操作部１８５ｂは、検出部１８４ｂにより現象が検出されると、マイク１３４で受音した音声の感度を下げ、又は、スピーカ１４２へ送信される音声をボリュームダウンする。また、例えば、操作部１８５ｂは、検出部１８４ｂにより現象が検出されると、マイク１３４で受音した音声の感度を下げ、かつ、スピーカ１４２へ送信される音声をボリュームダウンする。
【0178】
なお、検出部１８４ｂが現象を検出すると、端末装置１０－１は、操作部１８５ｂに代えて表示制御部１８６ｂを動作させてもよい。例えば、端末装置１０－１ｂは、検出部１８４ｂにより現象が検出されると、表示制御部１８６ｂにより、マイク１３４及びスピーカ１４２の操作を促す情報をユーザに提示してもよい。
【0179】
また、上記説明では、端末装置１０－１ｂが、第２フィルタ演算部１８３３ｂにより第２疑似信号を算出し、検出部１８４ｂにより第２疑似信号に基づき、現象が発生したか否かを判断する場合を説明した。しかしながら、端末装置１０－１ｂは、現象が発生したか否かを、端末装置１０－２ｂのマイク１３４で受音された音声がサーバ２０ｂを経由して、端末装置１０－1ｂへ到達するまでの伝達関数（インパルス応答）に基づいて判断してもよい。
【0180】
以上のように、第３の実施形態では、端末装置１０ｂは、演算部１８３ｂにより、端末装置１０－１ｂのマイク１３４で受音された音声信号から、端末装置１０－２ｂのマイク１３４で受音された音声が遠隔通信を実現するサーバ２０ｂを経由して、端末装置１０－１ｂへ到達した音声信号へ変換するための伝達関数を推定する。端末装置１０ｂは、検出部１８４ｂにより、伝達関数の形状に基づき、音声が二重に聞こえる現象の発生の有無を検出する。端末装置１０ｂは、現象の発生を検出すると、操作部１８５ｂ、又は表示制御部１８６ｂにより、自装置を操作するようにしている。これにより、システム１ｂは、音声が二重に聞こえる現象を解消することが可能となる。また、システム１ｂは、音声が二重に聞こえる現象を解消することが可能となるため、ハウリングの発生を抑えることが可能となる。
【0181】
第３の実施形態では、演算部１８３ｂが、第２フィルタ演算部１８３３ｂと、第２減算器１８３４ｂとにより、音声が二重に聞こえる現象を検出する場合を例に説明した。しかしながら、これに限定されない。演算部１８３ｂは、学習済みモデルを用いて現象を検出してもよい。
【0182】
学習済みモデルは、例えば、入力される音声信号に対し、インパルス応答を出力するように学習されている。このとき、学習用データは、例えば、音声信号を入力データとし、この音声信号に対するインパルス応答を正解出力データとする。学習済みモデルは、例えば、第１減算器１８３２から出力される信号が入力されると、入力された音声信号に応じたインパルス応答を出力する。
【0183】
また、学習済みモデルは、例えば、第２擬似信号を出力するように学習されている。このとき、学習用データは、例えば、音声信号を入力データとし、この音声信号に対する第２擬似信号を正解出力データとする。学習済みモデルは、例えば、第１減算器１８３２から出力される信号が入力されると、入力された音声信号に応じた第２疑似信号を出力する。
【0184】
学習済みモデルは、例えば、入力される音声信号に対し、音声が二重に聞こえる現象の発生の有無を出力するように学習されていてもよい。このとき、学習用データは、例えば、音声信号を入力データとし、音声が二重に聞こえる現象が発生しているか否かを正解出力データとする。学習済みモデルは、例えば、第１減算器１８３２から出力される信号が入力されると、音声が二重に聞こえる現象が発生しているか否かを出力する。この場合、演算部１８３ｂが、検出部１８４ｂの機能を担うと換言可能である。
【0185】
また、第３の実施形態では、端末装置１０ｂは、他の端末装置１０ｂのうちいずれかを同一の音響空間に存在すると判断する機能を有していてもよい。例えば、制御部１８０は、プロセッサ１９が記憶部１７０に記憶されるプログラムを読み込み、プログラムに含まれる命令を実行することにより、判断部としての機能を発揮してもよい。判断部の機能は、例えば、第１の実施形態で説明した判断部と同様の機能を有する。
【0186】
検出部１８４ｂは、例えば、判断部による判断結果を利用し、検出した音声が二重に聞こえる現象が、自装置が存在する音響空間で発生したものであるかを判断する。検出した現象が、自装置が存在する音響空間で発生した現象でない場合、例えば、検出部１８４ｂは、現象は発生していないと判断する。これにより、検出部１８４ｂは、同一の音響空間で発生した現象を検出することが可能となる。
【0187】
また、第３の実施形態では、端末装置１０ｂが、演算部１８３ｂの一部（第２フィルタ演算部１８３３ｂ、第２減算器１８３４ｂ）、検出部１８４ｂ、操作部１８５ｂ、表示制御部１８６ｂの機能を実現する場合を例に説明した。しかしながら、演算部１８３ｂの一部（第２フィルタ演算部１８３３ｂ、第２減算器１８３４ｂ）、検出部１８４ｂ、操作部１８５ｂ、表示制御部１８６ｂの機能は、サーバ２０ｂで実現されてもよい。
【0188】
また、第１の実施形態で説明したハウリング検出の機能と、第３の実施形態で説明した、音声が二重に聞こえる現象を検出する機能とは同時に備えられてもよい。また、第２の実施形態で説明したハウリング抑制の機能と、第３の実施形態で説明した、音声が二重に聞こえる現象を検出する機能とは同時に備えられてもよい。これにより、音声が二重に聞こえる現象を解消することで、ハウリングを抑制し、突発的にハウリングが発生しまったとしてもハウリングを解消することが可能となる。
【0189】
（第４の実施形態）
第４の実施形態に係るシステム１ｃは、同一の音響空間に複数の端末装置１０が存在する場合において、音声が二重に聞こえる現象を抑制する。
第４の実施形態に係るシステム１ｃは、同一の音響空間に複数の端末装置１０が存在する場合において、音声が二重に聞こえる現象を抑制する。
【0190】
＜１ 全体構成＞
第４の実施形態に係るシステム１ｃの構成は、図１に示す構成と同様である。システム１ｃは、端末装置１０ｃと、サーバ２０ｃとを備えている。
第４の実施形態に係るシステム１ｃの構成は、図１に示す構成と同様である。システム１ｃは、端末装置１０ｃと、サーバ２０ｃとを備えている。
【0191】
＜１．１ 端末装置の構成＞
端末装置１０ｃは、通信部１２１と、入力装置１３と、出力装置１４と、カメラ１６０と、記憶部１７０ｃと、制御部１８０ｃとを備える。
端末装置１０ｃは、通信部１２１と、入力装置１３と、出力装置１４と、カメラ１６０と、記憶部１７０ｃと、制御部１８０ｃとを備える。
【0192】
記憶部１７０ｃは、例えば、メモリ１５、及びストレージ１６等により実現され、端末装置１０ｃが使用するデータ、及びプログラムを記憶する。具体的には、記憶部１７０ｃは、例えば、第１信号１７１、第２信号１７２を記憶する。
【0193】
第２信号１７２は、マイク１３４により集音された音声に基づく音声信号から第１音響エコーがキャンセルされた信号である。第２信号１７２は、自端末のマイク１３４で受音された音声信号から、他の端末装置１０ｂのマイク１３４で受音された音声が遠隔通信を実現するサーバ２０ｂを経由して、他の端末装置１０ｂと同一の音響空間に存在する自装置へ到達した音声信号へ変換するための伝達特性を推定する際に、リファレンスとして用いられる。
【0194】
制御部１８０ｃは、プロセッサ１９が記憶部１７０ｃに記憶されるプログラムを読み込み、プログラムに含まれる命令を実行することにより実現される。制御部１８０ｃは、端末装置１０ｃの動作を制御する。具体的には、例えば、制御部１８０ｃは、操作受付部１８１、通信制御部１８２、演算部１８３ｃとしての機能を発揮する。
【0195】
演算部１８３ｃは、サーバ２０ｃから受信した音声信号と、マイク１３４により集音された音声に基づく音声信号とについての演算処理を実施する。具体的には、例えば、演算部１８３ｃは、記憶部１７０ｃに記憶される第１信号１７１に基づき、マイク１３４により集音された音声に基づく音声信号から第１音響エコーを抑制する。また、例えば、演算部１８３ｃは、記憶部１７０ｃに記憶される第２信号１７２に基づき、音声信号から第５音響エコーを抑制する。
【0196】
＜２．動作＞
端末装置１０ｃの制御部１８０ｃが第１音響エコー、及び第５音響エコーを抑制する際の動作について説明する。以下では、端末装置１０－１ｃ，１０－２ｃが同一の音響空間内に存在し、端末装置１０－３ｃが異なる音響空間内に存在する場合を例に説明する。
端末装置１０ｃの制御部１８０ｃが第１音響エコー、及び第５音響エコーを抑制する際の動作について説明する。以下では、端末装置１０－１ｃ，１０－２ｃが同一の音響空間内に存在し、端末装置１０－３ｃが異なる音響空間内に存在する場合を例に説明する。
【0197】
図１２は、第４の実施形態に係るシステム１ｃの構成例を表すブロック図である。図１２に示すシステム１ｃでは、端末装置１０－１ｃ，１０－２ｃが同一の音響空間内に存在し、端末装置１０－３ｃが異なる音響空間内に存在している。図１２において、第１フィルタ演算部１８３１、第１減算器１８３２、第２フィルタ演算部１８３３ｃ、及び第２減算器１８３４ｃは、端末装置１０ｃの演算部１８３ｃの演算により実現される処理である。
【0198】
例えば、端末装置１０－２ｃのユーザが発した音声は端末装置１０－２ｃのマイク１３４で集音される。端末装置１０－２ｃは、マイク１３４で集音した音声に基づく音声信号をサーバ２０ｃへ送信する。
【0199】
サーバ２０ｃは、端末装置１０－２ｃから受信した音声信号に対し、デコード処理、ミキシング処理、又はデコード処理を実行し、ウェブ会議に参加する他のユーザへ音声信号を送信する。つまり、サーバ２０ｃは、端末装置１０－２ｃからの音声信号を、端末装置１０－１ｃ，１０－３ｃへ送信する。サーバ２０ｂは、例えば、ネットワーク８０に接続されたコンピュータにより実現される。なお、ミキシング処理は他の端末装置で実施する場合もあってもよい。また、Ｗｅｂで使用される各種技術の標準化団体であるＷｏｒｌｄ Ｗｉｄｅ Ｗｅｂ Ｃｏｎｓｏｒｔｉｕｍ（ワールド・ワイド・ウェブ・コンソーシアム）のメディアの通信の標準化規格ＷｅｂＲＴＣのようにサーバ２０ｂでは接続制御のみを実施し、それぞれの端末装置の間で接続が確立した後にサーバ２０ｂを経由せずピア・トゥ・ピアの通信で音声信号を端末装置１０－１ｃ、端末装置１０－２ｃ、端末装置１０－３ｃのそれぞれの間で直接送受信し、エンコード処理、デコード処理又はミキシング処理も端末装置１０－１ｃ、端末装置１０－２ｃ、端末装置１０－３ｃのそれぞれの端末装置で実施する場合もあってもよい。
【0200】
端末装置１０－１ｃは、第２フィルタ演算部１８３３ｃにより、受信した音声信号に含まれ得る第５音響エコーＡ５を推定した第２疑似信号を生成する。具体的には、第２フィルタ演算部１８３３ｃは、記憶部１７０ｃに記憶している第２信号１７２に、第２フィルタ係数を畳み込んで第２疑似信号を推定する。第２信号１７２は、先の送信において、第１減算器１８３２から出力されて記憶部１７０ｃに記憶されたものである。第２フィルタ係数は、端末装置１０－１ｃのマイク１３４で受音された音声信号から、端末装置１０－２ｃのマイク１３４で受音された音声が遠隔通信を実現するサーバ２０cを経由して、端末装置１０－１cへ到達した音声信号へ変換するための伝達特性（インパルス応答）を時間軸で離散化した係数群である。伝達関数は、サーバ２０ｃでの処理、及びネットワークによる伝送で生じる遅延よりも短い部分に該当する音響エコーの伝達関数が零であると仮定して推定される。第２フィルタ演算部１８３３ｃは、推定した第２疑似信号を第２減算器１８３４ｃへ出力する。
【0201】
第２フィルタ演算部１８３３ｃは、第２減算器１８３４ｃから出力される信号に基づき、第２フィルタ係数を更新する。第２フィルタ演算部１８３３ｃは、第２フィルタ係数を適応的に修正する。つまり、第２フィルタ演算部１８３３ｃにより、適応フィルタが実現される。
【0202】
端末装置１０－１ｃは、第２減算器１８３４ｃにより、サーバ２０ｃから受信した音声信号から第５音響エコーを打ち消す。具体的には、第２減算器１８３４ｃは、サーバ２０ｃから受信した音声信号から、第２フィルタ演算部１８３３ｃで推定された第２疑似信号を減算する。第２減算器１８３４ｃは、減算後の信号をスピーカ１４２、及び第２フィルタ演算部１８３３ｃへ出力する。
【0203】
端末装置１０－１ｃは、第２減算器１８３４ｃから出力された音声信号に基づく音声をスピーカ１４２から出力する。また、端末装置１０－１ｃは、第２減算器１８３４ｃから出力された音声信号を第１信号１７１として記憶部１７０ｃに記憶する。
【0204】
端末装置１０－１ｃは、マイク１３４により、音声を集音する。マイク１３４により集音される音声には、第１音響エコーＡ１が含まれ得る。また、マイク１３４により集音される音声には、第４音響エコーＡ４が含まれ得る。
【0205】
端末装置１０－１ｃは、第１フィルタ演算部１８３１により、集音した音声に含まれる第１音響エコーＡ１を推定した第１疑似信号を生成する。具体的には、第１フィルタ演算部１８３１は、記憶部１７０ｃに記憶している第１信号１７１に、第１フィルタ係数を畳み込んで第１疑似信号を推定する。第１フィルタ係数は、端末装置１０－１ｃのスピーカ１４２から、端末装置１０－１ｃのマイク１３４への伝達関数（インパルス応答）を時間軸で離散化した係数群である。
【0206】
第１フィルタ演算部１８３１は、第１減算器１８３２から出力される信号に基づき、第１フィルタ係数を更新する。第１フィルタ演算部１８３１は、第１フィルタ係数を適応的に修正する。つまり、第１フィルタ演算部１８３１により、適応フィルタが実現される。
【0207】
端末装置１０－１ｃは、第１減算器１８３２により、マイク１３４から出力された音声信号から第１音響エコーＡ１を打ち消す。第１減算器１８３２は、減算後の信号を出力する。端末装置１０－１ｃは、減算後の信号を第２信号１７２として記憶部１７０ｃに記憶する。
【0208】
以上のように、第４の実施形態では、端末装置１０ｃは、演算部１８３ｃにより、遠隔通信を実施する第１端末装置のスピーカ１４２の前段において、遠隔通信を実施する第２端末装置のマイク１３４で受音された音声に基づく音声信号から疑似信号を減算する。端末装置１０ｃは、演算部１８３ｃにより、端末装置１０－１ｂのマイク１３４で受音された音声信号から、端末装置１０－２ｂのマイク１３４で受音された音声が遠隔通信を実現するサーバ２０ｂを経由して、端末装置１０－１ｂへ到達した音声信号へ変換するための伝達関数を、第１端末装置のマイク１３４で受音された音声信号に畳み込んで疑似信号を生成する。端末装置１０ｃは、音声信号から疑似信号を減算した信号を、第１端末装置のスピーカから再生するようにしている。これにより、システム１ｃは、音声が二重に聞こえる現象を解消することが可能となる。また、システム１ｃは、音声が二重に聞こえる現象を解消することが可能となるため、ハウリングの発生を抑えることが可能となる。
【0209】
第４の実施形態では、演算部１８３ｂが、第２フィルタ演算部１８３３ｃと、第２減算器１８３４ｃとにより、音声が二重に聞こえる現象を解消する場合を例に説明した。しかしながら、これに限定されない。演算部１８３ｃは、学習済みモデルを用いて現象を抑えてもよい。
【0210】
学習済みモデルは、例えば、入力される音声信号に対し、第２擬似信号を出力するように学習されている。このとき、学習用データは、例えば、音声信号を入力データとし、この音声信号に対する第２擬似信号を正解出力データとする。学習済みモデルは、例えば、第１減算器１８３２から出力される信号が入力されると、入力された音声信号に応じた第２疑似信号を出力する。
【0211】
また、学習済みモデルは、例えば、入力される音声信号に対し、音声が二重に聞こえる現象による影響を受けていない音声信号を出力するように学習されていてもよい。このとき、学習用データは、例えば、音声信号を入力データとし、音声が二重に聞こえる現象による影響を受けていない音声信号を正解出力データとする。学習済みモデルは、例えば、第１減算器１８３２から出力される信号が入力されると、現象による影響を受けていない音声信号を出力する。
【0212】
また、第４の実施形態では、端末装置１０ｃが、演算部１８３ｃの一部（第２フィルタ演算部１８３３ｃ、第２減算器１８３４ｃ）、検出部１８４ｃ、操作部１８５ｃ、表示制御部１８６ｃの機能を実現する場合を例に説明した。しかしながら、演算部１８３ｃの一部（第２フィルタ演算部１８３３ｃ、第２減算器１８３４ｃ）、検出部１８４ｃ、操作部１８５ｃ、表示制御部１８６ｃの機能は、サーバ２０ｃで実現されてもよい。
【0213】
また、第１の実施形態で説明したハウリング検出の機能と、第４の実施形態で説明した、音声が二重に聞こえる現象を抑制する機能とは同時に備えられてもよい。また、第２の実施形態で説明したハウリング抑制の機能と、第４の実施形態で説明した、音声が二重に聞こえる現象を抑制する機能とは同時に備えられてもよい。これにより、音声が二重に聞こえる現象を解消することで、ハウリングを抑制し、突発的にハウリングが発生しまったとしてもハウリングを解消することが可能となる。
【0214】
（その他の実施形態）
第１の実施形態では、演算部２０３４は、マイク１３４で集音された音声に基づく音声信号に第１疑似信号を逆位相で合算することで、第１音響エコーをキャンセルする例を説明した。また、第２の実施形態では、演算部２０３４ａは、サーバ２０ａから受信した音声信号に第２疑似信号を逆位相で合算することで、第２音響エコーをキャンセルし、マイク１３４で集音された音声に基づく音声信号に第１疑似信号を逆位相で合算することで、第１音響エコーをキャンセルする例を説明した。しかしながら、演算部２０３４，２０３４ａにおいて、音響エコーは、位相情報以外の情報に基づいてキャンセルされてもよい。例えば、演算部２０３４，２０３４ａは、周波数情報に基づいて第１疑似信号、及び第２疑似信号を生成し、音響エコーをキャンセルしてもよい。より具体的には、演算部２０３４，２０３４ａは、周波数毎のパワー情報に基づき、第１疑似信号、第２疑似信号、又は両方の信号を生成してもよい。
第１の実施形態では、演算部２０３４は、マイク１３４で集音された音声に基づく音声信号に第１疑似信号を逆位相で合算することで、第１音響エコーをキャンセルする例を説明した。また、第２の実施形態では、演算部２０３４ａは、サーバ２０ａから受信した音声信号に第２疑似信号を逆位相で合算することで、第２音響エコーをキャンセルし、マイク１３４で集音された音声に基づく音声信号に第１疑似信号を逆位相で合算することで、第１音響エコーをキャンセルする例を説明した。しかしながら、演算部２０３４，２０３４ａにおいて、音響エコーは、位相情報以外の情報に基づいてキャンセルされてもよい。例えば、演算部２０３４，２０３４ａは、周波数情報に基づいて第１疑似信号、及び第２疑似信号を生成し、音響エコーをキャンセルしてもよい。より具体的には、演算部２０３４，２０３４ａは、周波数毎のパワー情報に基づき、第１疑似信号、第２疑似信号、又は両方の信号を生成してもよい。
【0215】
ウェブ会議等の遠隔通信では、音声は圧縮されて送信される。この圧縮（デコード）処理により、音声知覚への影響の小さい位相情報が失われることが多い。位相情報を考慮しないで疑似信号を生成することにより、遠隔通信の種類、つまりは、ウェブ会議システムの種類に依存しないシステムの構築が可能となる。
【0216】
また、上記実施形態では、信号から余分な信号を消す方法として、音声波形を数値減算する方法を例に説明した。しかしながら、信号から余分な信号を消す方法は、信号から余分な信号を抑圧する方法と換言可能である。信号から余分な信号を抑圧する方法には、例えば、スペクトラムサブトラクションの様に周波数軸上のパワーを抑圧する方法や、ウィーナーフィルタの様に、パワーを抑圧する方法が存在する。
【0217】
以上、本開示のいくつかの実施形態を説明したが、これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものとする。
【0218】
＜付記＞
以上の各実施形態で説明した事項を以下に付記する。
以上の各実施形態で説明した事項を以下に付記する。
【0219】
（付記１）
プロセッサ１９と、メモリ１５とを備えるコンピュータに実行させるためのプログラムであって、プログラムは、プロセッサに、遠隔通信を実施する第１端末装置のマイク１３４で受音された音声が、遠隔通信を実施する第２端末装置のスピーカ１４２から再生され、第１端末装置のマイク１３４で再び受音される音響ループの発生の有無を検出するステップ（ステップＳ１４）と、音響ループの発生を検出すると、第１端末装置を操作するステップ（ステップＳ１５）とを実行させるプログラム。
プロセッサ１９と、メモリ１５とを備えるコンピュータに実行させるためのプログラムであって、プログラムは、プロセッサに、遠隔通信を実施する第１端末装置のマイク１３４で受音された音声が、遠隔通信を実施する第２端末装置のスピーカ１４２から再生され、第１端末装置のマイク１３４で再び受音される音響ループの発生の有無を検出するステップ（ステップＳ１４）と、音響ループの発生を検出すると、第１端末装置を操作するステップ（ステップＳ１５）とを実行させるプログラム。
【0220】
（付記２）
第１端末装置のマイクで受音された音声が、第２端末装置のスピーカから再生され、第１端末装置のマイクで再び受音されるまでの伝達関数を推定するステップをプロセッサに実行させ、検出するステップにおいて、伝達関数の形状に基づいて音響ループの発生の有無を検出する（付記１）に記載のプログラム。
第１端末装置のマイクで受音された音声が、第２端末装置のスピーカから再生され、第１端末装置のマイクで再び受音されるまでの伝達関数を推定するステップをプロセッサに実行させ、検出するステップにおいて、伝達関数の形状に基づいて音響ループの発生の有無を検出する（付記１）に記載のプログラム。
【0221】
（付記３）
推定するステップにおいて、伝達関数を、第１端末装置のマイクからの信号に畳み込んで疑似信号を生成し、検出するステップにおいて、疑似信号のパワー、又は疑似信号の形状に基づいて音響ループの発生の有無を検出する（付記２）に記載のプログラム。
推定するステップにおいて、伝達関数を、第１端末装置のマイクからの信号に畳み込んで疑似信号を生成し、検出するステップにおいて、疑似信号のパワー、又は疑似信号の形状に基づいて音響ループの発生の有無を検出する（付記２）に記載のプログラム。
【0222】
（付記４）
第１端末装置のマイクで受音された音声が、第２端末装置のスピーカから再生され、第１端末装置のマイクで再び受音される信号を疑似的に生成するステップをプロセッサに実行させ、検出するステップにおいて、疑似信号のパワー、又は疑似信号の形状に基づいて音響ループの発生の有無を検出する（付記１）に記載のプログラム。
第１端末装置のマイクで受音された音声が、第２端末装置のスピーカから再生され、第１端末装置のマイクで再び受音される信号を疑似的に生成するステップをプロセッサに実行させ、検出するステップにおいて、疑似信号のパワー、又は疑似信号の形状に基づいて音響ループの発生の有無を検出する（付記１）に記載のプログラム。
【0223】
（付記５）
操作するステップにおいて、第１端末装置のスピーカへ送信する音声のボリュームダウンを操作し、かつ、第１端末装置のマイクに到来する音声が後段へ伝わらなくなる操作をする（付記１）乃至（付記４）のいずれかに記載のプログラム。
操作するステップにおいて、第１端末装置のスピーカへ送信する音声のボリュームダウンを操作し、かつ、第１端末装置のマイクに到来する音声が後段へ伝わらなくなる操作をする（付記１）乃至（付記４）のいずれかに記載のプログラム。
【0224】
（付記６）
操作するステップにおいて、第１端末装置のスピーカへ送信する音声のボリュームダウンを操作し、かつ、第１端末装置のマイクに到来する音声が後段へ伝わらなくなる操作をする提案をユーザに提示する（付記１）乃至（付記５）のいずれかに記載のプログラム。
操作するステップにおいて、第１端末装置のスピーカへ送信する音声のボリュームダウンを操作し、かつ、第１端末装置のマイクに到来する音声が後段へ伝わらなくなる操作をする提案をユーザに提示する（付記１）乃至（付記５）のいずれかに記載のプログラム。
【0225】
（付記７）
検出するステップにおいて、音響ループの解消の有無を検出し、操作するステップにおいて、音響ループの解消を検出すると、第１端末装置を操作する（付記１）乃至（付記６）のいずれかに記載のプログラム。
検出するステップにおいて、音響ループの解消の有無を検出し、操作するステップにおいて、音響ループの解消を検出すると、第１端末装置を操作する（付記１）乃至（付記６）のいずれかに記載のプログラム。
【0226】
（付記８）
操作するステップにおいて、第１端末装置のスピーカへ送信する音声のボリュームダウンの操作を解除し、かつ、第１端末装置のマイクに到来する音声が後段へ伝わらなくなる操作を解除する（付記７）に記載のプログラム。
操作するステップにおいて、第１端末装置のスピーカへ送信する音声のボリュームダウンの操作を解除し、かつ、第１端末装置のマイクに到来する音声が後段へ伝わらなくなる操作を解除する（付記７）に記載のプログラム。
【0227】
（付記９）
操作するステップにおいて、第１端末装置のスピーカの出力は、音響ループの発生前よりも小さく、第１端末装置のマイクの感度は、音響ループの発生前よりも低い（付記８）に記載のプログラム。
操作するステップにおいて、第１端末装置のスピーカの出力は、音響ループの発生前よりも小さく、第１端末装置のマイクの感度は、音響ループの発生前よりも低い（付記８）に記載のプログラム。
【0228】
（付記１０）
操作するステップにおいて、第１端末装置へ送信する音声のボリュームダウンの操作を解除し、かつ、第１端末装置のマイクに到来する音声が後段へ伝わらなくなる操作を解除する提案をユーザに提示する（付記７）乃至（付記９）のいずれかに記載のプログラム。
操作するステップにおいて、第１端末装置へ送信する音声のボリュームダウンの操作を解除し、かつ、第１端末装置のマイクに到来する音声が後段へ伝わらなくなる操作を解除する提案をユーザに提示する（付記７）乃至（付記９）のいずれかに記載のプログラム。
【0229】
（付記１１）
第１端末装置からの音声信号と、第２端末装置からの音声信号とに基づき、第１端末装置と、第２端末装置とが同一音響空間に存在するか否かを判断するステップをプロセッサに実行させ、検出するステップにおいて、第１端末装置と第２端末装置とが同一音響空間に存在していない場合、音響ループは発生していないと判断する（付記１）乃至（付記１０）のいずれかに記載のプログラム。
第１端末装置からの音声信号と、第２端末装置からの音声信号とに基づき、第１端末装置と、第２端末装置とが同一音響空間に存在するか否かを判断するステップをプロセッサに実行させ、検出するステップにおいて、第１端末装置と第２端末装置とが同一音響空間に存在していない場合、音響ループは発生していないと判断する（付記１）乃至（付記１０）のいずれかに記載のプログラム。
【0230】
（付記１２）
プロセッサと、メモリとを備えるコンピュータが実行する方法であって、遠隔通信を実施する第１端末装置のマイクで受音された音声が、遠隔通信を実施する第２端末装置のスピーカから再生され、第１端末装置のマイクで再び受音される音響ループの発生の有無を検出するステップと、音響ループの発生を検出すると、第１端末装置を操作するステップとを実行する方法。
プロセッサと、メモリとを備えるコンピュータが実行する方法であって、遠隔通信を実施する第１端末装置のマイクで受音された音声が、遠隔通信を実施する第２端末装置のスピーカから再生され、第１端末装置のマイクで再び受音される音響ループの発生の有無を検出するステップと、音響ループの発生を検出すると、第１端末装置を操作するステップとを実行する方法。
【0231】
（付記１３）
プロセッサと、メモリとを備える情報処理装置であって、前記プロセッサが、遠隔通信を実施する第１端末装置のマイクで受音された音声が、遠隔通信を実施する第２端末装置のスピーカから再生され、第１端末装置のマイクで再び受音される音響ループの発生の有無を検出するステップと、音響ループの発生を検出すると、第１端末装置を操作するステップとを実行する情報処理装置。
プロセッサと、メモリとを備える情報処理装置であって、前記プロセッサが、遠隔通信を実施する第１端末装置のマイクで受音された音声が、遠隔通信を実施する第２端末装置のスピーカから再生され、第１端末装置のマイクで再び受音される音響ループの発生の有無を検出するステップと、音響ループの発生を検出すると、第１端末装置を操作するステップとを実行する情報処理装置。
【0232】
（付記１４）
遠隔通信を実施する第１端末装置のマイクで受音された音声が、遠隔通信を実施する第２端末装置のスピーカから再生され、第１端末装置のマイクで再び受音される音響ループの発生の有無を検出する手段と、音響ループの発生を検出すると、第１端末装置を操作する手段とを具備するシステム。
遠隔通信を実施する第１端末装置のマイクで受音された音声が、遠隔通信を実施する第２端末装置のスピーカから再生され、第１端末装置のマイクで再び受音される音響ループの発生の有無を検出する手段と、音響ループの発生を検出すると、第１端末装置を操作する手段とを具備するシステム。
【0233】
（付記１５）
プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムであって、前記プログラムは、前記プロセッサに、遠隔通信を実施する第１端末装置のスピーカの前段において、遠隔通信を実施する第２端末装置のマイクで受音された音声に基づく音声信号から、第１端末装置のスピーカから再生されて第２端末装置のマイクで受音されて第１端末装置に到達する信号を抑圧した信号を、音声信号に基づいて出力するステップと、出力された信号を、第１端末装置のスピーカから再生するステップとを実行させるプログラム。
プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムであって、前記プログラムは、前記プロセッサに、遠隔通信を実施する第１端末装置のスピーカの前段において、遠隔通信を実施する第２端末装置のマイクで受音された音声に基づく音声信号から、第１端末装置のスピーカから再生されて第２端末装置のマイクで受音されて第１端末装置に到達する信号を抑圧した信号を、音声信号に基づいて出力するステップと、出力された信号を、第１端末装置のスピーカから再生するステップとを実行させるプログラム。
【0234】
（付記１６）
第１端末装置のスピーカの前段において、第２端末装置のマイクで受音された音声に基づく音声信号に基づき、第１端末装置のスピーカから再生されて第２端末装置のマイクで受音され、第１端末装置に到達する疑似信号を生成するステップをプロセッサに実行させ、出力するステップにおいて、第２端末装置のマイクで受音された音声に基づく音声信号から疑似信号を抑圧することで、信号を出力する（付記１５）に記載のプログラム。
第１端末装置のスピーカの前段において、第２端末装置のマイクで受音された音声に基づく音声信号に基づき、第１端末装置のスピーカから再生されて第２端末装置のマイクで受音され、第１端末装置に到達する疑似信号を生成するステップをプロセッサに実行させ、出力するステップにおいて、第２端末装置のマイクで受音された音声に基づく音声信号から疑似信号を抑圧することで、信号を出力する（付記１５）に記載のプログラム。
【0235】
（付記１７）
疑似信号を生成するステップにおいて、第１端末装置のスピーカから再生されて第２端末装置のマイクで受音され、第１端末装置に到達するまでの伝達関数を、音声信号から疑似信号を抑圧した信号に畳み込んで疑似信号を生成する（付記１６）に記載のプログラム。
疑似信号を生成するステップにおいて、第１端末装置のスピーカから再生されて第２端末装置のマイクで受音され、第１端末装置に到達するまでの伝達関数を、音声信号から疑似信号を抑圧した信号に畳み込んで疑似信号を生成する（付記１６）に記載のプログラム。
【0236】
（付記１８）
遠隔通信を実現するサーバ、又はネットワークで生じる遅延よりも短い部分に該当する音響ループの伝達関数は零であることを仮定して伝達関数を推定する（付記２）又は（付記１７）に記載のプログラム。
遠隔通信を実現するサーバ、又はネットワークで生じる遅延よりも短い部分に該当する音響ループの伝達関数は零であることを仮定して伝達関数を推定する（付記２）又は（付記１７）に記載のプログラム。
【0237】
（付記１９）
プロセッサと、メモリとを備えるコンピュータが実行する方法であって、遠隔通信を実施する第１端末装置のスピーカの前段において、遠隔通信を実施する第２端末装置のマイクで受音された音声に基づく音声信号から、第１端末装置のスピーカから再生されて第２端末装置のマイクで受音されて第１端末装置に到達する信号を抑圧した信号を、音声信号に基づいて出力するステップと、出力された信号を、第１端末装置のスピーカから再生するステップとを実行する方法。
プロセッサと、メモリとを備えるコンピュータが実行する方法であって、遠隔通信を実施する第１端末装置のスピーカの前段において、遠隔通信を実施する第２端末装置のマイクで受音された音声に基づく音声信号から、第１端末装置のスピーカから再生されて第２端末装置のマイクで受音されて第１端末装置に到達する信号を抑圧した信号を、音声信号に基づいて出力するステップと、出力された信号を、第１端末装置のスピーカから再生するステップとを実行する方法。
【0238】
（付記２０）
プロセッサと、メモリとを備える情報処理装置であって、プロセッサが、遠隔通信を実施する第１端末装置のスピーカの前段において、遠隔通信を実施する第２端末装置のマイクで受音された音声に基づく音声信号から、第１端末装置のスピーカから再生されて第２端末装置のマイクで受音されて第１端末装置に到達する信号を抑圧した信号を、音声信号に基づいて出力するステップと、出力された信号を、第１端末装置のスピーカから再生するステップとを実行する情報処理装置。
プロセッサと、メモリとを備える情報処理装置であって、プロセッサが、遠隔通信を実施する第１端末装置のスピーカの前段において、遠隔通信を実施する第２端末装置のマイクで受音された音声に基づく音声信号から、第１端末装置のスピーカから再生されて第２端末装置のマイクで受音されて第１端末装置に到達する信号を抑圧した信号を、音声信号に基づいて出力するステップと、出力された信号を、第１端末装置のスピーカから再生するステップとを実行する情報処理装置。
【0239】
（付記２１）
遠隔通信を実施する第１端末装置のスピーカの前段において、遠隔通信を実施する第２端末装置のマイクで受音された音声に基づく音声信号から、第１端末装置のスピーカから再生されて第２端末装置のマイクで受音されて第１端末装置に到達する信号を抑圧した信号を、音声信号に基づいて出力する手段と、出力された信号を、第１端末装置のスピーカから再生する手段とを具備するシステム。
遠隔通信を実施する第１端末装置のスピーカの前段において、遠隔通信を実施する第２端末装置のマイクで受音された音声に基づく音声信号から、第１端末装置のスピーカから再生されて第２端末装置のマイクで受音されて第１端末装置に到達する信号を抑圧した信号を、音声信号に基づいて出力する手段と、出力された信号を、第１端末装置のスピーカから再生する手段とを具備するシステム。
【0240】
（付記２２）
プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムであって、プログラムは、プロセッサに、遠隔通信を実施する第１端末装置のマイクで受音された音声が、遠隔通信を実施する第２端末装置へ到達して再生されることで、音声が二重に聞こえる現象の発生の有無を検出するステップと、現象の発生を検出すると、第２端末装置を操作するステップとを実行させるプログラム。
プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムであって、プログラムは、プロセッサに、遠隔通信を実施する第１端末装置のマイクで受音された音声が、遠隔通信を実施する第２端末装置へ到達して再生されることで、音声が二重に聞こえる現象の発生の有無を検出するステップと、現象の発生を検出すると、第２端末装置を操作するステップとを実行させるプログラム。
【0241】
（付記２３）
第１端末装置のマイクで受音された音声から、第２端末装置のマイクで受音された音声が第１端末装置へ到達した音声信号へ変換するための伝達関数を推定するステップをプロセッサに実行させ、検出するステップにおいて、伝達関数の形状に基づき、音声が二重に聞こえる現象の発生の有無を検出する（付記２２）に記載のプログラム。
第１端末装置のマイクで受音された音声から、第２端末装置のマイクで受音された音声が第１端末装置へ到達した音声信号へ変換するための伝達関数を推定するステップをプロセッサに実行させ、検出するステップにおいて、伝達関数の形状に基づき、音声が二重に聞こえる現象の発生の有無を検出する（付記２２）に記載のプログラム。
【0242】
（付記２４）
推定するステップにおいて、伝達関数を、第１端末装置のマイクからの信号に畳み込んで疑似信号を生成し、検出するステップにおいて、疑似信号のパワー、又は疑似信号の形状に基づいて音声が二重に聞こえる現象の発生の有無を検出する（付記２３）に記載のプログラム。
推定するステップにおいて、伝達関数を、第１端末装置のマイクからの信号に畳み込んで疑似信号を生成し、検出するステップにおいて、疑似信号のパワー、又は疑似信号の形状に基づいて音声が二重に聞こえる現象の発生の有無を検出する（付記２３）に記載のプログラム。
【0243】
（付記２５）
第１端末装置のマイクで受音された音声が、第２端末装置へ到達する音声信号を疑似的に生成するステップをプロセッサに実行させ、検出するステップにおいて、疑似信号のパワー、又は疑似信号の形状に基づいて音声が二重に聞こえる現象の発生の有無を検出する（付記２２）に記載のプログラム。
第１端末装置のマイクで受音された音声が、第２端末装置へ到達する音声信号を疑似的に生成するステップをプロセッサに実行させ、検出するステップにおいて、疑似信号のパワー、又は疑似信号の形状に基づいて音声が二重に聞こえる現象の発生の有無を検出する（付記２２）に記載のプログラム。
【0244】
（付記２６）
プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムであって、プログラムは、プロセッサに、遠隔通信を実施する第１端末装置のスピーカの前段において、遠隔通信を実施する第２端末装置のマイクで受音された音声に基づく音声信号から、第２端末装置のマイクで受音された音声が第１端末装置へ到達した信号を抑圧した信号を、音声信号に基づいて出力するステップと、出力された信号を、第１端末装置のスピーカから再生するステップとを実行させるプログラム。
プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムであって、プログラムは、プロセッサに、遠隔通信を実施する第１端末装置のスピーカの前段において、遠隔通信を実施する第２端末装置のマイクで受音された音声に基づく音声信号から、第２端末装置のマイクで受音された音声が第１端末装置へ到達した信号を抑圧した信号を、音声信号に基づいて出力するステップと、出力された信号を、第１端末装置のスピーカから再生するステップとを実行させるプログラム。
【0245】
（付記２７）
第１端末装置のスピーカの前段において、第１端末装置のマイクで受音された音声信号に基づき、第２端末装置のマイクで受音された音声が第１端末装置へ到達する疑似信号を生成するステップをプロセッサに実行させ、出力するステップにおいて、第２端末装置のマイクで受音された音声に基づく音声信号から疑似信号を抑圧することで、信号を出力する（付記２６）に記載のプログラム。
第１端末装置のスピーカの前段において、第１端末装置のマイクで受音された音声信号に基づき、第２端末装置のマイクで受音された音声が第１端末装置へ到達する疑似信号を生成するステップをプロセッサに実行させ、出力するステップにおいて、第２端末装置のマイクで受音された音声に基づく音声信号から疑似信号を抑圧することで、信号を出力する（付記２６）に記載のプログラム。
【0246】
（付記２８）
疑似信号を生成するステップにおいて、第１端末装置のマイクで受音された音声信号から、第２端末装置のマイクで受音された音声が第１端末装置へ到達した音声信号へ変換するための伝達関数を、第１端末装置のマイクで受音された音声信号に畳み込んで疑似信号を生成する（付記２７）に記載のプログラム。
疑似信号を生成するステップにおいて、第１端末装置のマイクで受音された音声信号から、第２端末装置のマイクで受音された音声が第１端末装置へ到達した音声信号へ変換するための伝達関数を、第１端末装置のマイクで受音された音声信号に畳み込んで疑似信号を生成する（付記２７）に記載のプログラム。
【符号の説明】
【0247】
１，１ａ…システム
１０，１０ａ…端末装置
１２１…通信部
１３…入力装置
１３１…マウス
１３２…キーボード
１３３…タッチ・センシティブ・デバイス
１３４…マイク
１４…出力装置
１４１…ディスプレイ
１４２…スピーカ
１５…メモリ
１６…ストレージ
１６０…カメラ
１７０，１７０ａ…記憶部
１８０，１８０ａ…制御部
１８１…操作受付部
１８２…通信制御部
１８３，１８３ａ…演算部
１８３１，１８３１ａ…第１フィルタ演算部
１８３２，１８３２ａ…第１減算器
１８３３，１８３３ａ…第２フィルタ演算部
１８３４，１８３４ａ…第２減算器
１８４…検出部
１８５…操作部
１８６…表示制御部
１９…プロセッサ
２０，２０ａ…サーバ
２０１…通信部
２０２，２０２ａ…記憶部
２０３，２０３ａ…制御部
２０３１…送受信部
２０３２…記憶制御部
２０３３…通信制御部
２０３４，２０３４ａ…演算部
２０３５…検出部
２０３６…操作部
２０３７…提示部
２５…メモリ
２６…ストレージ
２９…プロセッサ
８０…ネットワーク
２０２１…第２信号ＤＢ
２０２２…第３信号ＤＢ
１０，１０ａ…端末装置
１２１…通信部
１３…入力装置
１３１…マウス
１３２…キーボード
１３３…タッチ・センシティブ・デバイス
１３４…マイク
１４…出力装置
１４１…ディスプレイ
１４２…スピーカ
１５…メモリ
１６…ストレージ
１６０…カメラ
１７０，１７０ａ…記憶部
１８０，１８０ａ…制御部
１８１…操作受付部
１８２…通信制御部
１８３，１８３ａ…演算部
１８３１，１８３１ａ…第１フィルタ演算部
１８３２，１８３２ａ…第１減算器
１８３３，１８３３ａ…第２フィルタ演算部
１８３４，１８３４ａ…第２減算器
１８４…検出部
１８５…操作部
１８６…表示制御部
１９…プロセッサ
２０，２０ａ…サーバ
２０１…通信部
２０２，２０２ａ…記憶部
２０３，２０３ａ…制御部
２０３１…送受信部
２０３２…記憶制御部
２０３３…通信制御部
２０３４，２０３４ａ…演算部
２０３５…検出部
２０３６…操作部
２０３７…提示部
２５…メモリ
２６…ストレージ
２９…プロセッサ
８０…ネットワーク
２０２１…第２信号ＤＢ
２０２２…第３信号ＤＢ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
