(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024162395
(43)【公開日】2024-11-21
(54)【発明の名称】通話制御装置、通話制御方法、およびプログラム
(51)【国際特許分類】
H04R 3/02 20060101AFI20241114BHJP
H04M 1/00 20060101ALI20241114BHJP
【FI】
H04R3/02
H04M1/00 H
【審査請求】未請求
【請求項の数】13
【出願形態】OL
(21)【出願番号】P 2023077854
(22)【出願日】2023-05-10
(71)【出願人】
【識別番号】000004444
【氏名又は名称】ENEOS株式会社
(71)【出願人】
【識別番号】522237542
【氏名又は名称】NTTソノリティ株式会社
(74)【代理人】
【識別番号】100121706
【弁理士】
【氏名又は名称】中尾 直樹
(74)【代理人】
【識別番号】100128705
【弁理士】
【氏名又は名称】中村 幸雄
(74)【代理人】
【識別番号】100147773
【弁理士】
【氏名又は名称】義村 宗洋
(72)【発明者】
【氏名】咲間 修平
(72)【発明者】
【氏名】門脇 正天
(72)【発明者】
【氏名】小林 和則
(72)【発明者】
【氏名】滝澤 拓斗
(72)【発明者】
【氏名】柿山 陽一郎
【テーマコード(参考)】
5D220
5K127
【Fターム(参考)】
5D220CC01
5K127BB02
5K127BB03
5K127MA02
5K127MA06
(57)【要約】
【課題】通話においてエコーキャンセル処理を行うことなく、音響エコーを低減させる。
【解決手段】通話制御装置は、送話信号を得るためのマイクロホンの使用の状態を判定するか、または、マイクロホンで集音された音響信号に基づいて発話の状態を判定する。さらに通話制御装置は、マイクロホンが使用されている時間区間、または、発話が行われている時間区間の何れかである制限区間では、第1スピーカからの第1受話信号の再生を制限し、第2スピーカから第2受話信号を再生し、制限区間以外の時間区間である非制限区間では、第1スピーカから第1受話信号を再生し、第2スピーカから第2受話信号を再生する。ここで、第2スピーカの音放出位置からマイクロホンの受音位置までの間での音の減衰量は、第1スピーカの音放出位置からマイクロホンの受音位置までの間での音の減衰量よりも大きい。
【選択図】
図3
【特許請求の範囲】
【請求項1】
送話信号を得るためのマイクロホンの使用の状態を判定するか、または、前記マイクロホンで集音された音響信号に基づいて発話の状態を判定する判定部と、
前記マイクロホンが使用されている時間区間、または、前記発話が行われている時間区間の何れかである制限区間では、第1スピーカからの第1受話信号の再生を制限し、第2スピーカから第2受話信号を再生し、前記制限区間以外の時間区間である非制限区間では、前記第1スピーカから前記第1受話信号を再生し、前記第2スピーカから前記第2受話信号を再生する受話制御部と、を有し、
前記第2スピーカの音放出位置から前記マイクロホンの受音位置までの間での音の減衰量は、前記第1スピーカの音放出位置から前記マイクロホンの受音位置までの間での音の減衰量よりも大きい、通話制御装置。
【請求項2】
請求項1の通話制御装置であって、
前記判定部は、前記発話の状態を判定し、
前記制限区間は、前記発話が行われている時間区間である、通話制御装置。
【請求項3】
請求項2の通話制御装置であって、
前記制限区間において前記送話信号を送信し、前記非制限区間において前記送話信号の送信を制限する送話制御部をさらに有する、通話制御装置。
【請求項4】
請求項2の通話制御装置であって、
前記判定部は、
(1)前の時間区間が前記制限区間である場合、前記第1受話信号に基づく推定回り込み信号を考慮することなく、前記音響信号に基づく信号に基づいて前記発話の状態を判定し、
(2)前の時間区間が前記非制限区間である場合、前記音響信号に基づく信号から前記推定回り込み信号を減じて得られる推定送話信号に基づいて前記発話の状態を判定する、
通話制御装置。
【請求項5】
請求項2の通話制御装置であって、
前記判定部は、前記発話の状態と前記第1受話信号の大きさとを判定し、
前記制限区間は、前記発話が行われており、かつ、前記第1受話信号の大きさが第3基準値を超える時間区間である、通話制御装置。
【請求項6】
請求項2の通話制御装置であって、
前記マイクロホンは、身体を伝達した前記音響信号を集音するように構成されており、
前記判定部は、前記音響信号の高域周波数成分よりも低周波数成分を優先的に扱って前記発話の状態を判定し、
前記高域周波数は、前記低域周波数よりも高い、
通話制御装置。
【請求項7】
請求項2の通話制御装置であって、
前記マイクロホンは、身体を伝達した前記音響信号を集音するように構成されており、
前記判定部は、前記音響信号に基づく信号から前記第1受話信号に基づく推定回り込み信号を減じて得られる推定送話信号に基づいて前記発話の状態を判定し、
前記推定回り込み信号の低域周波数の成分が、高域周波数の成分よりも抑制されているか、または、前記推定回り込み信号の高域周波数の成分が、低域周波数の成分よりも増幅されており、
前記高域周波数は、前記低域周波数よりも高い、
通話制御装置。
【請求項8】
請求項7の通話制御装置であって、
前記音響信号に基づく信号は、前記音響信号の高域周波数成分よりも低周波数成分を優先的に扱って得られる信号である、通話制御装置。
【請求項9】
請求項1の通話制御装置であって、
前記マイクロホンは、身体を伝達した前記音響信号を集音するように構成されており、
前記送話信号は、前記音響信号の高域周波数の成分を低域周波数の成分よりも増幅して得られる信号に基づき、
前記高域周波数は、前記低域周波数よりも高く、
前記受話制御部は、前記制限区間において、前記第1受話信号の前記高域周波数の成分の再生を、前記第1受話信号の前記低域周波数の成分の再生よりも制限する、通話制御装置。
【請求項10】
請求項1の通話制御装置であって、
前記受話制御部は、前記制限区間では、さらに前記第2スピーカから前記第1受話信号を再生する、
通話制御装置。
【請求項11】
請求項1の通話制御装置であって、
前記第1スピーカは、外耳道に向けて装着されるように構成されており、
前記外耳道の中に装着されるように構成された耳内マイクロホンを前記マイクロホンとして設定するか、前記外耳道の外に配置されるように構成された外部マイクロホンを前記マイクロホンとして設定するかを切り替え可能であり、
前記制限区間は、前記耳内マイクロホンが前記マイクロホンとして設定され、かつ、前記マイクロホンが使用されている時間区間、または、前記耳内マイクロホンが前記マイクロホンとして設定され、かつ、前記マイクロホンで集音された音響信号に基づいて前記発話が行われていると判定された時間区間の何れかである、
通話制御装置。
【請求項12】
通話制御装置による通話制御方法であって、
送話信号を得るためのマイクロホンの使用の状態を判定するか、または、前記マイクロホンで集音された音響信号を用いて発話の状態を判定する判定ステップと、
前記マイクロホンが使用されている時間区間、または、前記発話が行われている時間区間の何れかである制限区間では、第1スピーカからの第1受話信号の再生を制限し、第2スピーカから第2受話信号を再生し、前記制限区間以外の時間区間である非制限区間では、前記第1スピーカから前記第1受話信号を再生し、前記第2スピーカから前記第2受話信号を再生する受話制御ステップと、を有し、
前記第2スピーカの音放出位置から前記マイクロホンの受音位置までの間での音の減衰量は、前記第1スピーカの音放出位置から前記マイクロホンの受音位置までの間での音の減衰量よりも大きい、通話制御方法。
【請求項13】
請求項1から11の何れかの通話制御装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、通話技術に関し、特に音響エコーを抑制する技術に関する。
【背景技術】
【0002】
スピーカとマイクロホンを有し通話可能なイヤホンやヘッドホンでは、スピーカからマイクロホンに回り込む音(音響エコー)をキャンセルする必要がある。従来、音響エコーをキャンセルは、エコーキャンセラによるエコーキャンセル処理で行うのが一般的であった(例えば、非特許文献1等参照)。また、騒音環境下で通話を行うために耳内マイクロホンを用いる方法がある(例えば、非特許文献2等参照)。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】羽田陽一,“:5-1 通信における音響エコー”,2011年11月,電子情報通信学会,「知識ベース 知識の森 2群-6編-5章」,[2023年3月20日検索],インターネット<https://www.ieice-hbkb.org/files/02/02gun_06hen_05.pdf>
【非特許文献2】“三洋・日鉄エレ、「耳でしゃべる」イヤホンマイク“e耳くん”を発売”,[online],2007年12月18日,日鉄エレックス,[2022年12月8日検索],インターネット<https://www.phileweb.com/news/d-av/200712/18/19995.html>
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、騒音環境下で耳内マイクロホンを使う場合、耳内マイクロホンで集音される音響エコーのレベル(大きさ、例えば、振幅やパワー)は非常に大きく、これに比べて集音される装着者の音声のレベルは小さい。そのため、このような場合にエコーキャンセル処理を行うと、集音された音声に基づく送話信号が大きく劣化してしまう。また、エコーキャンセル処理の演算量は大きい。このような問題は、イヤホンやヘッドホンを使用したり、耳内マイクロホンを使用したりする場合に限定されるものではなく、通話においてエコーキャンセル処理を行う場合に共通するものである。
【0005】
このような点に鑑み、本発明では、通話においてエコーキャンセル処理を行うことなく、音響エコーを低減させる技術を提供する。
【課題を解決するための手段】
【0006】
通話制御装置は、送話信号を得るためのマイクロホンの使用の状態を判定するか、または、マイクロホンで集音された音響信号に基づいて発話の状態を判定する。さらに通話制御装置は、マイクロホンが使用されている時間区間、または、発話が行われている時間区間の何れかである制限区間では、第1スピーカからの第1受話信号の再生を制限し、第2スピーカから第2受話信号を再生し、制限区間以外の時間区間である非制限区間では、第1スピーカから第1受話信号を再生し、第2スピーカから第2受話信号を再生する。ここで、第2スピーカの音放出位置からマイクロホンの受音位置までの間での音の減衰量は、第1スピーカの音放出位置から当該マイクロホンの受音位置までの間での音の減衰量よりも大きい。
【発明の効果】
【0007】
これにより、通話においてエコーキャンセル処理を行うことなく、音響エコーを低減させることができる。
【図面の簡単な説明】
【0008】
【
図1】
図1は、実施形態の通話システムを例示するための図である。
【
図2】
図2Aは、一方の耳(左耳)に装着されるように構成された実施形態の通話装置の構成を例示するための透過図である。
図2Bは、他方の耳(右耳)に装着されるように構成された実施形態の通話装置の構成を例示するための透過図である。
【
図3】
図3は、実施形態の通話制御装置の機能構成を例示するためのブロック図である。
【
図4】
図4は、利用者の口元に装着された外部マイクロホンで観測された音声信号の感度X、当該利用者の耳元に装着された外部マイクロホンで観測された音声信号の感度Y、および、当該利用者の外耳道またはその近傍に装着された耳内マイクロホンで観測された音声信号の感度Aを例示した図である。音声信号の「感度」とは、利用者の口元に装着された外部マイクロホンで観測された当該利用者の音声信号の周波数スペクトルで正規化された音声信号の周波数スペクトルを意味する。
図6の横軸は周波数(Frequency [Hz])を表し、縦軸は感度(Sensitivity [dB])を表す。
【
図5】
図5は、実施形態の判定ステップを例示するためのフロー図である。
【
図6】
図6は、他方の耳(右耳)に装着されるように構成された実施形態の通話装置の構成を例示するための透過図である。
【
図7】
図7は、実施形態の通話制御装置の機能構成を例示するためのブロック図である。
【発明を実施するための形態】
【0009】
以下、図面を参照して本発明の実施形態を説明する。
以下で説明する各実施形態では、通話制御装置が、送話信号を得るためのマイクロホンの使用の状態を判定するか、または、マイクロホンで集音された音響信号に基づいて発話の状態を判定する。さらに通話制御装置は、マイクロホンが使用されている時間区間、または、発話が行われている時間区間の何れかである制限区間では、第1スピーカからの第1受話信号の再生を制限し、第2スピーカから第2受話信号を再生し、制限区間以外の時間区間である非制限区間では、第1スピーカから第1受話信号を再生し、第2スピーカから第2受話信号を再生する。ここで、第2スピーカの音放出位置(例えば、振動板の位置)からマイクロホンの受音位置までの間での音の減衰量は、第1スピーカの音放出位置から当該マイクロホンの受音位置までの間での音の減衰量よりも大きい。
【0010】
ここで、マイクロホンが使用されていたり、発話が行われていたりする場合に、第1スピーカの再生を制限するため、第1スピーカからマイクロホンに回り込む音(音響エコー)を抑制することができる。このような場合でも、他方の第2スピーカからは第2受話信号が再生される。なお、第2スピーカの音放出位置からマイクロホンの受音位置までの間での音の減衰量は、第1スピーカの音放出位置からマイクロホンの受音位置までの間での音の減衰量よりも大きい。そのため、第2スピーカから第2受話信号が再生されていても、第2スピーカからマイクロホンに回り込む音は小さい。これにより、通話においてエコーキャンセル処理を行うことなく、音響エコーを低減させることができる。
【0011】
例えば、第1スピーカは、一方の耳(例えば、左耳)に装着されるように構成されており、第2スピーカは、他方の耳(例えば、右耳)に装着されるように構成されている。第1スピーカおよび第2スピーカは、例えば、イヤホンやヘッドホン等のスピーカである。しかし、これは本発明を限定するものではない。マイクロホンは、空気伝搬した音響信号を集音するように構成されていてもよいし、身体を伝達した音響信号を集音するように構成されていてもよい。前者のマイクロホンは、例えば、耳外(外耳道の外)に配置されるように構成された外部マイクロホンである。後者のマイクロホンは、例えば、外耳道の近傍(外耳道とつながっている空間)または外耳道の中に装着されるように構成された耳内マイクロホンであってもよいし、首部分に装着されるように構成された咽喉マイクロホンであってもよいし、頭部、喉、胴体、腕、手等の身体部位に装着されるように構成された骨伝導マイクロホンであってもよい。なお、騒音環境下で通話を行う場合、前者のマイクロホンでは、利用者の音声だけではなく、外部の騒音も高いレベルで集音してしまい、音声のS/N比が低下してしまう。一方、後者のマイクロホンでは、身体を伝達した音響信号を集音するため、利用者の音声を集音しつつ、外部の騒音の集音を抑制でき、前者のマイクロホンよりも高いS/N比で音声を集音できる。例えば、イヤホン等に設けられた耳内マイクロホンを用いた場合、耳内マイクロホンに到達する騒音はイヤホン等に遮られて音圧が小さくなっているが、利用者が発した音声は、空気中のみならず、利用者の身体をも伝わって耳内マイクロホンに到達する。空気中を伝わる音声は騒音と同様にイヤホン等に遮られて音圧が小さくなるが、身体を伝わる音声はさほど減衰しない。そのため、耳内マイクロホンは、騒音環境下でも高いS/N比で音声を集音できる。そのため、騒音環境下で通話を行う場合には、後者のマイクロホンの方が好ましい。
【0012】
発話の状態の判定は、マイクロホンで集音された音響信号に基づいて行われる。この判定は、例えば、マイクロホンで集音された音響信号の全てを用いて行われてもよいし、この音響信号の一部の成分を用いることなく残りの成分を用いて行われてもよいし、この音響信号の各周波数成分に重み付けを行って得られる信号を用いて行われてもよい。例えば、身体を介して伝達された音声は、その高域周波数成分が大きく減衰する。そのため、身体を伝達した音響信号を集音するように構成されたマイクロホンを用いる場合、このような音響信号の周波数特性を考慮し、発話の状態の判定を行ってもよい。また、この判定は、マイクロホンで集音された音響信号とその他の信号とを用いて行われてもよい。例えば、マイクロホンで集音された音響信号と第1受話信号とに基づいて、この判定が行われてもよい。これらの具体例については、後述する。
【0013】
制限区間では、第1スピーカからの第1受話信号の再生を制限する。例えば、制限区間では、第1スピーカからの第1受話信号の再生を停止してもよいし、第1スピーカからの第1受話信号の再生レベル(再生音の大きさ、例えば、再生音の振幅やパワー)を低減させてもよい。また、第1受話信号の再生の停止や再生レベルの低減は、例えば、すべての周波数において一律に行われてもよいし、一律に行われなくてもよい。例えば、身体を介して伝達された音声は、その高域周波数成分が大きく減衰する。そのため、身体を伝達した音響信号を集音するように構成されたマイクロホンを用いる場合、このような身体を伝達した音響信号の周波数特性を考慮し、第1スピーカからの第1受話信号の再生を停止や再生レベルの低減を行ってもよい。これらの具体例については、後述する。また、制限区間では、第2スピーカからは第2受話信号が再生される。例えば、第2スピーカは第2受話信号を制限することなく再生する。
【0014】
第2スピーカの音放出位置からマイクロホンの受音位置までの間での音の減衰量は、第1スピーカの音放出位置からマイクロホンの受音位置までの間での音の減衰量よりも大きい。すなわち、第1スピーカからマイクロホンに回り込む音(音響エコー)の音圧レベルは、第2スピーカからマイクロホンに回り込む音の音圧レベルよりも大きい。例えば、第2スピーカからマイクロホンに回り込む音の音圧レベルは、第1スピーカからマイクロホンに回り込む音の音圧レベルに比べて無視できるほど小さい。例えば、第1スピーカから発せられた或る音圧レベル(音の大きさ、例えば、音の振幅やパワー)の信号はマイクロホンに到達するが、第2スピーカから発せられた当該音圧レベルの信号はマイクロホンに到達しない。例えば、第1スピーカの音放出位置からマイクロホンの受音位置までの距離は、第2スピーカの音放出位置からマイクロホンの受音位置までの距離よりも近い。例えば、マイクロホンの受音位置は第1スピーカの音放出位置の近傍であるが、第1スピーカの音放出位置からは離れている。例えば、マイクロホンの受音位置は第1スピーカの音放出位置と同じ空間に面しているが、マイクロホンの受音位置と第2スピーカの音放出位置とは互いに別の空間に面している。
【0015】
[第1実施形態]
次に、本発明の第1実施形態を説明する。第1実施形態では、送話信号を得るためのマイクロホンの使用の状態が判定され、マイクロホンが使用されている時間区間を、前述の制限区間とする。また、第1実施形態では、一例としてマイクロホンおよびスピーカを備えたイヤホンに本発明を実装する例を説明する。しかし、これは本発明を限定するものではない。
【0016】
<構成>
図1に例示するように、本実施形態の通話システムでは、通話システム1-iを装着したI人の利用者1000-iが通話(音声通信)を行う。通話システム1-iは通話装置11-i,12-iを含む。ただし、i=1,2,…,Iであり、Iは2以上の整数である。
図1は、I=2の例であり、通話システム1-1および通話システム1-2をそれぞれ装着した2人の利用者1000-1,1000-2が通話を行う例を示している。しかし、これは本発明を限定するものではなく、本実施形態の通話システム1-iを装着して3人以上の利用者が通話を行ってもよい。以降、通話システム1-iの総称を通話システム1とし、通話装置11-iの総称を通話装置11とし、通話装置12-iの総称を通話装置12とし、利用者1000-iの総称を利用者1000とする。その他の名称に付される参照符号についても「α-i」の総称を「α」と表記する。
【0017】
<通話装置11>
図2Aに例示するように、本形態の通話装置11は、利用者1000の一方の耳1010(例えば、左耳)に装着されるように構成されている。本形態の通話装置11は、通話制御装置111、スピーカ112(第1スピーカ)、マイクロホン113(耳内マイクロホン)、マイクロホン114(外部マイクロホン)、筐体115、およびイヤーチップ116(イヤーピース、イヤーパッド)を有する。
【0018】
筐体115は、中空の中空部1151,1152および先端部1153を有している。筐体115の中空部1151側の壁には音孔115aが設けられている。音孔115aは筐体115の壁よりも音を透過しやすい孔であり、例えば、貫通孔等である。先端部1153の径は中空部1152の径よりも小さく、中空部1152の先端部1153側の領域はテーパー状に形成され、中空部1152につながっている。先端部1153の端部は開放端1153aとなっており、この開放端1153aを通じて中空部1152および先端部1153の内部が開放端1153aの外方に開放されている。先端部1153の外側には、先端部1153を囲むイヤーチップ116が取り付けられている。
【0019】
中空部1151の内部には通話制御装置111が取り付けられ、通話制御装置111はスピーカ112およびマイクロホン113,114と電気的に接続されている。本形態では、通話における送話信号を得るためにマイクロホン113,114を用いる。すなわち、マイクロホン113,114で集音された音声等の音響信号に基づき、送話信号が得られる。
【0020】
スピーカ112は、中空部1151と中空部1152の間に取り付けられている。このスピーカ112は、中空部1152側に受話信号R1(第1受話信号)の再生音を放出するように配置されている。例えば、スピーカ112の音放出位置(例えば、振動板の位置)は、中空部1152に面している。
【0021】
マイクロホン113は、例えば、先端部1153内部の中空部1152側の位置に取り付けられている。このマイクロホン113の受音位置は、中空部1152と同一の空間に面している。ここで、マイクロホン113は、利用者1000の身体を伝達した音響信号(例えば、利用者1000の音声信号)を集音するように構成されている。しかし、マイクロホン113の受音位置は、スピーカ112の音放出位置と同じ空間に面しており、スピーカ112の音放出位置にも近い。つまり、マイクロホン113は、利用者1000の身体を伝達した音響信号のみならず、スピーカ112から放出された受話信号R1の再生音も到達する位置に配置されている。
【0022】
マイクロホン114は中空部1151の内部に配置されている。マイクロホン114の受音位置は、音孔115aの近傍であり、マイクロホン114はこの音孔115aを通じて筐体115の外部の音を集音できるように構成されている。
図2Aの例では、マイクロホン114はスピーカ112の背面側に配置されている。すなわち、マイクロホン114の受音位置は、スピーカ112の音放出位置と同じ空間には面していない。しかし、マイクロホン114の受音位置は、スピーカ112の音放出位置に近い。そのため、スピーカ112から放出される受話信号R
1の音圧レベルによっては、マイクロホン114は、筐体115の外部の音のみならず、スピーカ112から放出された受話信号R
1の再生音も到達する位置に配置されている。
【0023】
通話装置11は、開放端1153aを利用者1000の一方の鼓膜1012側(例えば、左耳の鼓膜)に向けた状態で、イヤーチップ116が取り付けられた先端部1153が耳1010の外耳道1011に挿入されるように構成されている。これにより、先端部1153の内部に取り付けられたマイクロホン113が、外耳道1011の近傍または外耳道1011の中に配置される。一方、中空部1151の内部に配置されたマイクロホン114は、外耳道1011の外側に配置される。また、スピーカ112は、外耳道1011に向けて配置される。すなわち、スピーカ112から外耳道1011に向けて受話信号R1の再生音が放出される。
【0024】
<通話装置12>
図2Bに例示するように、本形態の通話装置12は、利用者1000の他方の耳1020(例えば、右耳)に装着されるように構成されている。本形態の通話装置12は、通話制御装置121、スピーカ122(第2スピーカ)、筐体125、およびイヤーチップ126を有する。
【0025】
筐体125は、中空の中空部1251,1252および先端部1253を有している。先端部1253の径は中空部1252の径よりも小さく、中空部1252の先端部1253側の領域はテーパー状に形成され、中空部1252につながっている。先端部1253の端部は開放端1253aとなっており、この開放端1253aを通じて中空部1252および先端部1253の内部が開放端1253aの外方に開放されている。先端部1253の外側には、先端部1253を囲むイヤーチップ126が取り付けられている。
【0026】
中空部1251の内部には通話制御装置121が取り付けられ、通話制御装置121はスピーカ122と電気的に接続されている。
【0027】
スピーカ122は、中空部1251と中空部1252の間に取り付けられている。このスピーカ122は、中空部1252側に受話信号R2(第2受話信号)の再生音を放出するように配置されている。例えば、スピーカ122の音放出位置(例えば、振動板の位置)は、中空部1252に面している。
【0028】
通話装置12は、開放端1253aを利用者1000の他方の鼓膜1022側(例えば、右耳の鼓膜)に向けた状態で、イヤーチップ126が取り付けられた先端部1253が他方の耳1020の外耳道1022に挿入されるように構成されている。
【0029】
なお、通話装置11(
図2A)は利用者1000の一方の耳1010(例えば、左耳)に装着されるが、通話装置12(
図2B)は利用者1000の他方の耳1020(例えば、右耳)に装着される。そのため、通話装置11,12が利用者1000に装着された際には、通話装置11(
図2A)のマイクロホン113,114の受音位置は、通話装置12(
図2B)のスピーカ122の音放出位置と異なる空間に面しており、スピーカ122の音放出位置からも遠い。よって、通話装置11(
図2A)のマイクロホン113,114には、通話装置12(
図2B)のスピーカ122から放出された受話信号R
2の再生音がほとんど到達しない。そのため、通話装置11(
図2A)のスピーカ112から放出される受話信号R
1の再生音と違い、通話装置12(
図2B)のスピーカ122から放出される受話信号R
2の再生音は、ほとんど音響エコーの原因とはならない。
【0030】
通話装置12(
図2B)のスピーカ112(第2スピーカ)の音放出位置からマイクロホン113,114の受音位置までの間での音の減衰量は、通話装置11(
図2A)のスピーカ112(第1スピーカ)の音放出位置からマイクロホン113,114の受音位置までの間での音の減衰量よりも大きい。そのため、通話装置12のスピーカ122からの再生音は、通話装置11のスピーカ112からの再生音よりも、音響エコーの原因になりにくい。特に、スピーカ122からの再生音が、マイクロホン113,114でほとんど観測されない場合、スピーカ122からの再生音は、ほとんど音響エコーの原因にならない。
【0031】
<通話制御装置111,121>
図3に例示するように、通話制御装置111は、判定部111a、受話制御部111b、および送話制御部111cを含む。また、通話制御装置121は受話制御部121bを含む。スピーカ112は受話制御部111bと電気的に接続されており、マイクロホン113,114は送話制御部111cと電気的に接続されている。スピーカ122は受話制御部121bと電気的に接続されている。
【0032】
<処理>
通話を行う利用者1000は、前述のように、一方の耳1010(例えば、左耳)に通話装置11を装着し、他方の耳1020(例えば、右耳)に通話装置12を装着する(
図1,
図2A,
図2B)。
【0033】
<マイクロホン制御ステップ>
通話装置11の送話制御部111c(
図3)は、マイクロホン113,114のON状態とOFF状態とを切り替えることができる。例えば、送話制御部111cは、利用者1000による操作に基づいて入力された信号、スマートフォン等の他の機器から入力された信号、またはその他の契機で入力された信号等に基づいて、マイクロホン113,114のON状態とOFF状態とを切り替える。マイクロホン113,114のON状態は、当該マイクロホン113,114が使用されている状態であり、マイクロホン113,114のOFF状態は、当該マイクロホン113,114が使用されていない状態である。利用者1000の発話は、ON状態のマイクロホン113,114では集音されるが、OFF状態のマイクロホン113,114では集音されない。
【0034】
ON状態のマイクロホン113,114で集音された音響信号(例えば、音声信号等)は、送話制御部111cに送られる。送話制御部111cは、送られた音響信号に基づく送話信号Tを得て出力する。送話信号Tは他の利用者1000が装着する他の通話システム1に送信される。一方、OFF状態のマイクロホン113,114では集音されないため、送話信号Tも送信されない。
【0035】
<判定ステップ>
判定部111aは、送話制御部111cにアクセスし、マイクロホン113,114の使用状態を判定する。例えば、判定部111aは、マイクロホン113,114が使用されているかを判定してもよいし、マイクロホン113,114が使用されていないかを判定してもよいし、マイクロホン113,114が使用されているか否かを判定してもよい。判定部111aは、例えば、ソフトウェア的処理、電気的処理、または機械的処理によって、この判定を行う。例えば、判定部111aは、送話制御部111cのソフトウェア・プロファイル、送話制御部111cでマイクロホン113,114の信号を受信しているか否か、電気的または機械的なスイッチの状態等によって、マイクロホン113,114の使用状態を判定する。例えば、Bluetooth(登録商標)のソフトウェア・プロファイルには、音楽受聴用のA2DP(Advanced Audio Distribution Profile)および通話用のHFP(Hands-Free Profile)がある。例えば、判定部111aは、HFPが使用されている場合にマイクロホン113,114が使用されていると判定し、そうでない場合にマイクロホン113,114が使用されていないと判定する。あるいは、判定部111aは、HFPが使用されているときにマイクロホン113,114が使用されていると判定し、A2DPが使用されている場合にマイクロホン113,114が使用されていないと判定してもよい。例えば、送話制御部111cでマイクロホン113,114の出力信号のレベルを観測し、判定部111aは、その出力信号のレベルが予め設定した閾値以上となった場合にマイクロホン113,114が使用されていると判定し、そうでない場合にマイクロホン113,114が使用されていないと判定してもよい。この閾値は、想定されるマイクロホン113,114のノイズレベルよりも大きい値に設定する。また、マイクロホン113,114のノイズレベルの推定をリアルタイムで行い、推定されたノイズレベルに1.0以上の係数を乗じた値を閾値としても良い。例えば、マイクロホン113,114のON状態とOFF状態とを切り替えるためのPush to talkスイッチが通話システム1に設けられており、判定部111aは、このPush to talkスイッチの状態がON状態である場合にマイクロホン113,114が使用されていると判定し、そうでない場合にマイクロホン113,114が使用されていないと判定してもよい。あるいは、判定部111aは、Push to talkスイッチの状態がON状態である場合にマイクロホン113,114が使用されていると判定し、OFF状態である場合にマイクロホン113,114が使用されていないと判定してもよい。判定部111aでの判定結果は受話制御部111bに送られる。
【0036】
<受話制御ステップ>
他の利用者1000が装着する他の通話システム1から送信された送話信号は、受話信号R1(第1受話信号)として通話装置11の通話制御装置111の受話制御部111bに入力され、受話信号R2(第2受話信号)として通話装置12の通話制御装置121の受話制御部121bに入力される。受話制御部111bは、判定部111aでの判定結果に基づいて、スピーカ112から受話信号R1を再生するか否かを切り替える。以下に詳細に説明する。
【0037】
<制限区間での処理>
受話制御部111bは、判定部111aでの判定結果に基づいて、マイクロホン113,114が使用されている時間区間を制限区間に設定する。例えば、受話制御部111bは、マイクロホン113,114が使用されていると判定された時間区間、または、マイクロホン113,114が使用されていないと判定されていない時間区間のいずれかを制限区間に設定する。制限区間では、受話制御部111bは、スピーカ112から受話信号R1を再生しない。例えば、制限区間では、受話制御部111bは、スピーカ112に受話信号R1に基づく信号を供給しない。そのため、マイクロホン113,114がON状態であっても、スピーカ112から受話信号R1の再生音が放出されることはなく、受話信号R1の再生音がマイクロホン113,114に回り込んで集音されることもない。一方、受話制御部121bは、判定部111aでの判定結果にかかわらず、スピーカ122から受話信号R2を再生する。スピーカ122は、例えば、受話信号R2を制限することなく、この再生を行う。利用者1000は、一方の耳1010に装着したスピーカ112から受話信号R1が再生されなくても、他方の耳1020に装着したスピーカ122から再生された受話信号R2の再生音を聴取できる。なお、制限区間では、送話制御部111cは、マイクロホン113,114から送られた音響信号に基づく送話信号Tを、通話先の他の通話システム1に送信する。この場合、送話信号Tの一部の成分が、この他の通話システム1から送信された受話信号R2に含まれることがある。このような受話信号R2は、受話制御部121bに入力され、スピーカ122から再生される。しかし、スピーカ122は、マイクロホン113,114から離れているため、スピーカ122から放出された受話信号R2の再生音は、ほとんどマイクロホン113,114に到達しない。そのため、受話信号R2に送話信号Tの一部の成分が含まれていても、その成分はマイクロホン113,114でほとんど集音されない。
【0038】
<非制限区間での処理>
制限区間以外の時間区間を非制限区間では、受話制御部111bはスピーカ112から受話信号R1を再生する。例えば、受話制御部111bは、スピーカ112に受話信号R1に基づく信号を供給する。スピーカ112は、例えば、受話信号R1を制限することなく、受話信号R1の再生を行う。また、受話制御部121bもスピーカ122から受話信号R2を再生する。スピーカ122は、例えば、受話信号R2を制限することなく、受話信号R2の再生を行う。これにより、利用者1000は、一方の耳1010で受話信号R1の再生音を聴取し、他方の耳1020で受話信号R2の再生音を聴取できる。なお、非制限区間では、送話制御部111cは送話信号Tを送信しない。そのため、受話信号R1および受話信号R2には、送話信号Tの成分は含まれない。
【0039】
<本形態の特徴>
以下の表に本形態の処理内容をまとめる。
【表1】
本形態では、マイクロホン113,114がON状態のときに(制限区間)、一方の耳1010に装着されたスピーカ112から受話信号R
1を再生せず、他方の耳1020に装着されたスピーカ122から受話信号R
2を再生する。その結果、スピーカ112から放出された受話信号R
1の再生音がマイクロホン113,114で集音されることを防止できる。また、スピーカ122は、マイクロホン113,114から離れているため、スピーカ122から放出された受話信号R
2の再生音は、ほとんどマイクロホン113,114に到達しない。これらにより、本形態では、エコーキャンセル処理を行うことなく、音響エコーの発生を防止または抑制できる。また前述のように、騒音環境下において、耳内マイクロホンであるマイクロホン113で集音された音声信号に対してエコーキャンセル処理を行うと、それによって得られる送話信号Tが大きく劣化してしまう。本形態では、エコーキャンセル処理を行わないため、このような問題も発生しない。これにより、高品質の音声通話を実現できる。
【0040】
一方、マイクロホン113,114がOFF状態のときに(非制限区間)、一方の耳1010に装着されたスピーカ112から受話信号R1を再生し、他方の耳1020に装着されたスピーカ122から受話信号R2を再生する。これにより、利用者1000は、受話信号R1,R2の再生音を両耳で聴取でき、快適な聴取環境で通話を行うことができる。
【0041】
[第1実施形態の変形例1]
第1実施形態では、制限区間において受話信号R1を全く再生しなかった。しかし、制限区間における受話信号R1のレベルを、非制限区間における受話信号R1のレベルよりも減衰させて再生してもよい。制限区間において、受話信号R1の再生を完全に停止しなくても、制限区間での受話信号R1の再生音のレベルを、非制限区間での受話信号R1の再生音のレベルよりも小さくすることで、音響エコーを抑制できる場合もあるからである。
【0042】
[第1実施形態の変形例2]
本形態のマイクロホン113は、耳内マイクロホンであり、身体を伝達した音響信号を集音するように構成されている。前述のように、身体を介して伝達された音声は、その高域周波数成分が大きく減衰する。そのため、マイクロホン113で集音された音声信号は、低周波数成分に比べて高域周波数成分が大きく減衰したものになる。
図4に、利用者1000の口元に装着されたマイクロホン(図示せず)で観測された音声信号の感度X、前述のように利用者1000の耳1010に装着された通話装置11のマイクロホン114(外部マイクロホン)で観測された音声信号の感度Y、および、マイクロホン113(耳内マイクロホン)(利用者1000の外耳道1011またはその近傍に装着されたマイクロホン113)で観測された音声信号の感度Aを例示する。なお、音声信号の「感度」とは、利用者1000の口元に装着されたマイクロホンで観測された当該利用者1000の音声信号の周波数スペクトルで正規化された音声信号の周波数スペクトルを意味する。
図4の横軸は周波数(Frequency [Hz])を表し、縦軸は感度(Sensitivity [dB])を表す。
図4に例示するように、利用者1000の身体を介して伝達され、マイクロホン113で観測された音声信号の感度Aは、周波数が高くなるほど低くなる。一方、空気伝搬され、マイクロホン114で観測された音声信号の感度Yは、周波数が高くなっても高い。
【0043】
そのため、送話制御部111cが、マイクロホン113で集音された音響信号(例えば、音声信号等)の高域周波数の成分を低域周波数の成分よりも増幅して送話信号Tを生成してもよい。すなわち、マイクロホン113で集音された音響信号の高域周波数の成分は、低域周波数の成分よりも減衰している。そのため、送話制御部111cは、例えば、マイクロホン113で集音された音響信号の高域周波数の成分を低域周波数の成分よりも増幅して、送話信号Tを生成してもよい。なお、高域周波数は低域周波数よりも高い周波数である。例えば、送話制御部111cが、マイクロホン113で集音された音響信号の各周波数ω[Hz]の成分B(ω)に各比率X(ω)/A(ω)を乗じたB(ω)X(ω)/A(ω)に基づく送話信号Tを生成してもよい。ここで、X(ω)は感度Xの周波数ωの成分を表し、A(ω)は感度Aの周波数ωの成分を表す。この場合、感度X,Aは事前に設定されたものを用いる。または、送話制御部111cが、例えば、マイクロホン113で集音された音響信号の各周波数ω[Hz]の成分B(ω)に各比率Y(ω)/A(ω)を乗じたB(ω)Y(ω)/A(ω)に基づく送話信号Tを生成してもよい。ここで、Y(ω)は感度Yの周波数ωの成分を表す。この場合、感度A,Yは事前に設定されたものであってもよいし、マイクロホン113,114でそれぞれ集音された音響信号に基づいて計算されたものであってもよい。その他、送話制御部111cが、例えば、マイクロホン113で集音された音響信号の周波数成分のうち、或る周波数TH1より高い周波数の成分のみを増幅して送話信号Tを生成してもよい。ここで、周波数TH1は、例えば、2kHz以上3kHz以下の範囲に属する周波数である。
【0044】
このように、マイクロホン113で集音された音響信号の高域周波数の成分を低域周波数の成分よりも増幅して送話信号Tを生成した場合、低域周波数の成分に比べて高域周波数の成分の方が、音響エコーを引き起こし易くなる。そのため、受話制御部111bが、制限区間において、スピーカ112からの受話信号R1(第1受話信号)の高域周波数の成分の再生を、受話信号R1(第1受話信号)の低域周波数の成分の再生よりも制限してもよい。マイクロホン113で集音された音響信号(身体を伝達した音響信号)の周波数特性を考慮すると、これによっても、音響エコーを抑制できる場合があるからである。例えば、受話制御部111bが、制限区間において、受話信号R1の低域周波数の成分および高域周波数の成分の再生を制限するが、高域周波数の成分のレベルを低域周波数の成分のレベルよりも減衰させて再生してもよい。例えば、受話制御部111bが、制限区間において、受話信号R1のうち、或る周波数TH2より低い低域周波数の成分のレベルを1/βLにし、周波数TH2以上の高域周波数の成分のレベルを1/βHにし、スピーカ112から再生してもよい。ここで、βL,βHは正の実数であり、βL>1、βH>1、βH>βLを満たす。周波数TH2は、周波数TH1と同一であってもよいし、同一でなくてもよい。周波数TH2は、例えば、2kHz以上3kHz以下の範囲に属する周波数である。または、例えば、受話制御部111bが、制限区間において、受話信号R1の低域周波数の成分の再生を制限することなく、受話信号R1の高域周波数の成分の再生を制限してもよい。例えば、受話制御部111bが、制限区間において、受話信号R1のうち、周波数TH2より低い低域周波数の成分の再生を制限することなく、周波数TH2以上の高域周波数の成分の再生を制限してもよい。例えば、受話制御部111bが、制限区間において、受話信号R1のうち、周波数TH2より低い低域周波数の成分のレベルを減衰させず、周波数TH2以上の高域周波数の成分のレベルを1/βHにし、スピーカ112から再生してもよい。
【0045】
[第1実施形態の変形例3]
第1実施形態では、送話制御部111cが、マイクロホン113,114のON状態とOFF状態とを同時に切り替えた。しかしながら、送話制御部111cが、マイクロホン113のON状態とOFF状態の切り替えと、マイクロホン114のON状態とOFF状態の切り替えとを独立に行ってもよい。また、第1実施形態では、マイクロホン113,114が使用されている時間区間を制限区間とした。しかし、マイクロホン113が使用されている時間区間を制限区間としてもよいし、マイクロホン114が使用されている制限区間としてもよい。
【0046】
送話制御部111cが、外部の騒音の大きさに応じて、マイクロホン113(耳内マイクロホン)を使用するか、マイクロホン114(外部マイクロホン)を使用するかを切り替えてもよい。例えば、マイクロホン114で観測された音響信号の大きさが閾値TH11以上となったときに(騒音が大きいときに)、マイクロホン114からマイクロホン113に切り替えられ、マイクロホン113で観測される音響信号の大きさが閾値TH12よりも小さくなったときに(騒音が小さいときに)、マイクロホン113からマイクロホン114に切り替えられてもよい。なお、閾値TH12は閾値TH11よりも小さい。マイクロホン113に切り替えられた場合、送話制御部111cは、マイクロホン113のON状態とOFF状態の切り替えを行うことができるが、マイクロホン114は常にOFF状態となる。一方、マイクロホン114に切り替えられた場合、送話制御部111cは、マイクロホン114のON状態とOFF状態の切り替えを行うことができるが、マイクロホン113は常にOFF状態となる。ここで、マイクロホン114は、例えば、耳外に配置されるように構成された外部マイクロホンであり、スピーカ112から放出された受話信号R
1の再生音がさほど到達しないケースもある。このようなケースでは、マイクロホン114が使用される時間区間でスピーカ112から受話信号R
1の再生音が放出されても、音響エコーはほとんど問題とならない。そのため、騒音が小さく、マイクロホン114に切り替えられた場合には、マイクロホン114がON状態であるかOFF状態であるかにかかわらず、非制限区間とされてもよい。一方、マイクロホン113は、例えば、耳内に配置されるように構成された耳内マイクロホンであり、スピーカ112から放出された受話信号R
1の再生音を集音しやすい。そのため、騒音が大きく、マイクロホン113に切り替えられた場合には、マイクロホン113がON状態である時間区間(マイクロホン113が使用されている時間区間)が制限区間とされ、マイクロホン113がOFF状態である時間区間(マイクロホン113が使用されていない時間区間)が非制限区間とされてもよい。以下の表にこの処理内容をまとめる。
【表2】
また、外部の騒音の大きさに応じて、マイクロホン113とマイクロホン114とを自動的に切り替えることに代え、利用者1000が手動で、マイクロホン113を使用するか、マイクロホン114を使用するかを切り替えてもよい。ここで、マイクロホン114に切り替えられた場合には、マイクロホン114がON状態であるかOFF状態であるかにかかわらず、非制限区間とされてもよい。一方、マイクロホン113に切り替えられた場合には、マイクロホン113がON状態である時間区間(マイクロホン113が使用されている時間区間)を制限区間とし、マイクロホン113がOFF状態の時間区間(マイクロホン113が使用されていない時間区間)を非制限区間としてもよい、
【0047】
まとめると、スピーカ112(第1スピーカ)は、外耳道1011に向けて装着されるように構成されており、外耳道1011の中に装着されるように構成されたマイクロホン113(耳内マイクロホン)をマイクロホンとして設定するか、外耳道1011の外に配置されるように構成されたマイクロホン114(外部マイクロホン)をマイクロホンとして設定するかを切り替え可能であり、制限区間は、マイクロホン113(耳内マイクロホン)がマイクロホンとして設定され、かつ、マイクロホン113が使用されている時間区間であり、非制限区間は、それ以外の時間区間であってもよい。
【0048】
[第1実施形態の変形例4]
マイクロホン113またはマイクロホン114の何れかが省略されてもよい。また、通話装置12側に、送話信号の生成に用いないマイクロホンを設けてもよい(例えば、アクティブノイズキャンセリング(ANC)用のマイクロホン)。また、通話装置12側に、送話信号の生成に用いるマイクロホンと、そこで集音された音響信号に基づく音響エコーを抑制するためのエコーキャンセラと、を設けてもよい。
【0049】
[第1実施形態の変形例5]
制限区間において、通話制御装置121(
図3)の受話制御部121bが、スピーカ122から、受話信号R
2(第2受話信号)だけでなく、さらに受話信号R
1(第1受話信号)を再生してもよい。例えば、通話制御装置111の受話制御部111bが、制限区間のときに、受話信号R
1を受話制御部121bに送り、受話制御部121bが受話信号R
1と受話信号R
2とをスピーカ122から再生してもよい。これにより、制限区間でスピーカ112による受話信号R
1の再生が制限されても、スピーカ122から受話信号R
1が再生される。その結果、制限区間であっても、利用者1000は、受話信号R
1と受話信号R
2の両方の再生音を聴取できる。これは、ステレオ信号のように、受話信号R
1と受話信号R
2とが異なっている場合に特に有効である。
【0050】
[第2実施形態]
第1実施形態では、送話信号を得るためのマイクロホンの使用の状態に基づいて、スピーカ112からの受話信号R1の再生を制御した。これに対し、第2実施形態では、マイクロホンで集音された音響信号に基づく発話の状態に基づいて、スピーカ112からの受話信号R1の再生を制御する。すなわち、本形態では、マイクロホン113,114で集音された音響信号に基づいて発話の状態を判定する。また、発話が行われている時間区間を制限区間とし、この制限区間以外の時間区間を非制限区間とする。制限区間では、スピーカ112からの受話信号R1の再生を制限するが、スピーカ122からは受話信号R2を再生する。例えば、スピーカ122から再生される受話信号R2は制限されない。これにより、通話においてエコーキャンセル処理を行うことなく、音響エコーを低減させることができる。また、非制限区間では、スピーカ112から受話信号R1を再生し、スピーカ122から受話信号R2を再生する。これらの再生は制限されない。以降、既に説明した事項については、同じ参照番号を用い、説明を簡略化する。
【0051】
<構成>
図1に例示するように、本実施形態の通話システムでは、通話システム2-iを装着したI人の利用者1000-iが通話を行う。通話システム2-iは通話装置21-i,12-iを含む。ただし、i=1,2,…,Iであり、Iは2以上の整数である。
図1は、I=2の例であり、通話システム2-1および通話システム2-2をそれぞれ装着した2人の利用者1000-1,1000-2が通話を行う例を示している。しかし、これは本発明を限定するものではなく、本実施形態の通話システム2-iを装着して3人以上の利用者が通話を行ってもよい。
【0052】
<通話装置21>
図2Aに例示するように、本形態の通話装置21は、第1実施形態の本形態の通話装置11の通話制御装置111を、通話制御装置211に置換したものである。すなわち、通話装置21は、通話制御装置211、スピーカ112、マイクロホン113、マイクロホン114、筐体115、およびイヤーチップ116を有する。
【0053】
<通話装置12>
第1実施形態と同じである。
【0054】
<通話制御装置211>
図3に例示するように、通話制御装置211は、判定部211a、受話制御部211b、および送話制御部211cを含む。スピーカ112は受話制御部211bと電気的に接続されており、マイクロホン113,114は送話制御部211cと電気的に接続されている。
【0055】
<処理>
通話を行う利用者1000は、前述のように、一方の耳1010(例えば、左耳)に通話装置21を装着し、他方の耳1020(例えば、右耳)に通話装置12を装着する(
図1,
図2A,
図2B)。
【0056】
<マイクロホン制御ステップ>
第1実施形態と同様、通話装置21の送話制御部211c(
図3)は、マイクロホン113,114のON状態とOFF状態とを切り替えることができる。ON状態のマイクロホン113,114で集音された音響信号は、送話制御部211cに送られる。送話制御部211cは、後述する判定部211aでの判定結果に基づいて、送られた音響信号に基づく送話信号Tを得て出力するか否かを判定する。送話制御部211cから出力された送話信号Tは、他の利用者1000が装着する他の通話システム2に送信される。一方、OFF状態のマイクロホン113,114は音響信号を集音しないため、送話信号Tも送信されない。他の利用者1000が装着する他の通話システム2から送信された送話信号は、受話信号R
1(第1受話信号)として通話装置21の通話制御装置211の受話制御部211bに入力され、受話信号R
2(第2受話信号)として通話装置12の通話制御装置121の受話制御部121bに入力される。受話制御部211bは、以下の判定部211aでの判定結果に基づいて、スピーカ112から受話信号R
1を再生するか否かを切り替える。
【0057】
<判定ステップ>
判定部211aは、少なくとも送話制御部211cにアクセスし、マイクロホン113,114で集音された音響信号に基づいて発話の状態を判定する。例えば、判定部211aは、集音された音響信号のレベルに基づいて発話の状態を判定する。判定部211aは、マイクロホン113,114の何れかで集音された音響信号に基づいて発話の状態を判定してもよいし、マイクロホン113,114の両方で集音された音響信号に基づいて発話の状態を判定してもよい。また、判定部211aは、さらに受話制御部211bにアクセスし、さらに受話信号R1に基づく音響信号を用いて発話の状態を判定してもよい。例えば、判定部211aは、集音された音響信号と受話信号R1に基づく音響信号のレベルに基づいて発話の状態を判定する。なお判定部211aは、発話が行われている時間区間(発話区間)を判定してもよいし、発話が行われていない時間区間(非発話区間)を判定してもよいし、発話区間および非発話区間の両方を判定してもよい。また、マイクロホン113,114がOFF状態の場合には音響信号が集音されないため、発話は行われていないと判定される。
【0058】
<判定ステップの一例>
以下では、判定部211aが、マイクロホン113で集音された音響信号と、受話信号R1に基づく音響信号と、に基づいて、発話の状態を判定する例を示す。しかし、これは一例であって、本発明を限定するものではない。
【0059】
マイクロホン113は、利用者1000の発話に基づく音響信号だけでなく、スピーカ112から再生された受話信号R2に基づく音響信号も集音する。そのため、マイクロホン113で集音された音響信号から、受話信号R1に基づく音響信号の成分(推定回り込み信号)を減じてから、利用者1000の発話の状態を判定した方が、発話の状態を正確に判定できる。しかし、このように判定しても、完全に発話状態を正確に判定できるとは限らない。すなわち、実際には発話が行われているにもかかわらず、発話が行われていないと誤判定(誤判定I)されることも、実際には発話が行われていないにもかかわらず、発話が行われていると誤判定(誤判定II)されることもある。
【0060】
本形態では、発話が行われていると判定されている時間区間、または、発話が行われていないと判定されていない時間区間の何れかを制限区間とし、それ以外の時間区間を非制限区間とする。そのため、誤判定Iが生じると、本来は制限区間とすべき時間区間が非制限区間とされてしまう。非制限区間では、スピーカ112から受話信号R1が再生されてしまう。そのため、誤判定Iが生じると、発話が行われているにもかかわらず、スピーカ112から受話信号R1の再生音が再生されてしまい、音響エコーの発生を誘発してしまう。
【0061】
一方、誤判定IIが生じると、本来は非制限区間とすべき時間区間を制限区間としてしまう。制限区間では、スピーカ112からの受話信号R1の再生が制限される。そのため、誤判定IIが生じると、発話が行われていないにもかかわらず、スピーカ112からの受話信号R1の再生が制限されてしまう。しかしながら、この場合でも、スピーカ122からは受話信号R2が再生されるため、誤判定IIが生じても大きな問題とはならない。
【0062】
そのため、全体として判定精度が下がったとしても、誤判定Iを減らすような設定が好ましい。ここで、前の時間区間が制限区間(発話が行われていると判定された時間区間)である場合、現在の時間区間でも発話が行われている確率が高い。そのため、前の時間区間が制限区間のときに、現在の時間区間で発話が行われていると判定され易い設定が好ましい。これにより、誤判定Iを減らせるからである。そのため、前の時間区間が制限区間であるときには、受話信号R1に基づく推定回り込み信号を考慮することなく、マイクロホン113で集音された音響信号に基づいて、利用者1000の発話の状態を判定することが好ましい。
【0063】
一方、前の時間区間が非制限区間(発話が行われていないと判定された時間区間)である場合には、現在の時間区間でも発話が行われていない確率が高い。現在の時間区間で発話が行われていない場合には、誤判定Iは生じない。誤判定Iは、現在の時間区間で発話が行われていることを前提とするからである。現在の時間区間で発話が行われていない場合に誤判定IIが生じることはあるが、上述のように誤判定IIは大きな問題とはならない。そのため、前の時間区間が非制限区間であるときには、誤判定IIを無理に減らすような設定ではなく、発話状態の判定精度が全体として高くなる設定が望ましい。そのため、前の時間区間が非制限区間であるときには、マイクロホン113で集音された音響信号から、受話信号R1に基づく推定回り込み信号を減じて、利用者1000の発話の状態を判定することが好ましい。
【0064】
以上より、判定部211aは、以下のような判定を行うことが望ましい。
(1)前の時間区間t-1が制限区間である場合、判定部211aは、受話信号R1(第1受話信号)に基づく推定回り込み信号W(t)を考慮することなく、マイクロホン113で集音された音響信号に基づく信号M(t)に基づいて発話の状態を判定する。
(2)前の時間区間t-1が非制限区間である場合、判定部211aは、信号M(t)から推定回り込み信号W(t)を減じて得られる推定送話信号S(t)に基づいて発話の状態を判定する。
ここで、W(t)は、現在の時間区間t(時間区間t-1の次の時間区間)での推定回り込み信号を表す。例えば、W(t)=H(t)*R1(t)である。ただし、H(t)はスピーカ112の音放出位置からマイクロホン113の受音位置までのインパルス応答であり、*は畳み込み演算を表す。遅延や反射を無視できるような環境(例えば、通話装置11がイヤホンである場合)では、H(t)を実数定数のHとして近似できる。この場合にはW(t)=H*R1(t)と近似できる(以下、同様)。R1(t)は時間区間tにおける受話信号R1を表す。M(t)は、現在の時間区間tにおいてマイクロホン113で集音された音響信号に基づく信号を表す。M(t)は、マイクロホン113で集音された音響信号そのものであってもよいし、マイクロホン113で集音された音響信号の関数値(例えば、単調増加関数値)であってもよい。S(t)は、現在の時間区間tの推定送話信号を表す。例えば、S(t)=M(t)-H(t)*R1(t)である。なお、マイクロホン113がOFF状態の場合には音響信号が集音されないため、発話は行われていないと判定される。
【0065】
より具体的には、例えば、判定部211aは、以下のような判定を行う。
(1)前の時間区間t-1が制限区間である場合
・判定部211aは、現在の時間区間tにおいてマイクロホン113で集音された音響信号に基づく信号M(t)のレベルが基準値Tm(第1基準値)を超えているときに、現在の時間区間tで、発話が行われていると判定するか、または、発話が行われていないと判定しない。ここで、Tmは正の実数定数である。
・判定部211aは、現在の時間区間tにおいてマイクロホン113で集音された音響信号に基づく信号M(t)のレベルが基準値Tm以下であるときに、現在の時間区間tで、発話が行われていると判定しないか、または、発話が行われていないと判定する。
【0066】
(2)前の時間区間t-1が非制限区間である場合
・判定部211aは、推定送話信号S(t)のレベルが基準値Ts(第2基準値)を超えているときに、発話が行われていると判定するか、または、発話が行われていないと判定しない。ここで、Tsは正の実数定数である。
・判定部211aは、推定送話信号S(t)のレベルが基準値Ts以下であるときに、発話が行われていると判定しないか、または、発話が行われていないと判定する。
【0067】
この具体例を、
図5を用いて説明する。判定部211aは、前の時間区間t-1が制限区間か否かを判定する(ステップS201)。ここで、前の時間区間t-1が制限区間であった場合にはステップS202に進む。一方、前の時間区間t-1が非制限区間であった場合にはステップS203に進む。なお、前の時間区間t-1で判定が行われていない場合には、前の時間区間t-1を制限区間とみなしてもよいし、非制限区間とみなしてもよい。しかし、音響エコーの原因となる誤判定Iを減らすためには、前の時間区間t-1で判定が行われていない場合に、前の時間区間t-1を制限区間とみなすことが望ましい。
【0068】
ステップS202では、判定部211aは、信号M(t)のレベルが基準値Tmを超えているか否かを判定する。例えば、判定部211aは、|M(t)|>Tmであるか否かを判定する。|M(t)|はM(t)の振幅を表す。ここで、信号M(t)のレベルが基準値Tmを超えている場合(例えば、|M(t)|>Tm)、判定部211aは、時間区間tで発話は行われていないと判定しないか、または、時間区間tで発話は行われていると判定する(ステップS204)。一方、信号M(t)のレベルが基準値Tm以下である場合(例えば、|M(t)|≦Tm)、判定部211aは、時間区間tで発話は行われていないと判定するか、または、時間区間tで発話は行われていると判定しない(ステップS205)。その後、判定部211aは、時間区間tでの判定を終える。
【0069】
ステップS203では、判定部211aは、推定送話信号S(t)=M(t)-H(t)*R
1(t)のレベルが基準値Tsを超えているか否かを判定する。例えば、判定部211aは、|S(t)|>Tsであるか否かを判定する。ここで、推定送話信号S(t)のレベルが基準値Tsを超えている場合(例えば、|S(t)|>Ts)、判定部211aは、時間区間tで発話は行われていないと判定しないか、または、時間区間tで発話は行われていると判定する(ステップS204)。一方、推定送話信号S(t)のレベルが基準値Ts以下である場合(例えば、|S(t)|≦Ts)、時間区間tで発話は行われていないと判定するか、または、時間区間tで発話は行われていると判定しない(ステップS205)。その後、判定部211aは、時間区間tでの判定を終える。なお、ステップS202において|M(t)|に代えて、|M(t)|を時間平滑化して得られるPm(t)が用いられてもよい。ここでN
mは2以上の正整数である。
【数1】
また、ステップS203において|S(t)|に代えて、|S(t)|を時間平滑化して得られるPs(t)が用いられてもよい。ここでN
sは2以上の正整数である。
【数2】
【0070】
<受話制御ステップ>
受話制御部211bには、判定部211aでの判定結果が入力される。受話制御部211bは、判定部211aでの判定結果に基づいて、スピーカ112から受話信号R1を再生するか否かを切り替える。以下に詳細に説明する。
【0071】
<制限区間での処理>
受話制御部211bは、判定部211aでの判定結果に基づいて、発話が行われている時間区間を制限区間に設定する。例えば、受話制御部211bは、発話が行われていると判定されている時間区間、または、発話が行われていないと判定されていない時間区間のいずれかを制限区間に設定する。その他は、受話制御部111bが受話制御部211bに置換されることを除き、第1実施形態の受話制御ステップにおける制限区間での処理と同じである。すなわち、制限区間では、受話制御部211bは、スピーカ112から受話信号R1を再生しない。一方、受話制御部121bは、スピーカ122から受話信号R2を再生する。
【0072】
<非制限区間での処理>
制限区間以外の時間区間を非制限区間の処理は、受話制御部111bが受話制御部211bに置換されることを除き、第1実施形態の受話制御ステップにおける非制限区間での処理と同じである。すなわち、受話制御部111bはスピーカ112から受話信号R1を再生する。また、受話制御部121bもスピーカ122から受話信号R2を再生する。
【0073】
<送話制御ステップ>
送話制御部211cには、判定部211aでの判定結果が入力される。送話制御部211cは、判定部211aでの判定結果に基づいて、送話信号Tを送信するか否かを切り替える。以下に詳細に説明する。
【0074】
<制限区間での処理>
送話制御部211cも、判定部211aでの判定結果に基づいて、発話が行われているを制限区間に設定する。例えば、送話制御部211cは、発話が行われていると判定されている時間区間、または、発話が行われていないと判定されていない時間区間のいずれかを制限区間に設定する。制限区間では、送話制御部211cは、マイクロホン113,114から送られた音響信号に基づく送話信号Tを得て出力する。送話信号Tは、他の利用者1000が装着する他の通話システム2に送信される。
【0075】
<非制限区間での処理>
制限区間以外の時間区間を非制限区間では、送話制御部211cは、マイクロホン113,114から送られた音響信号に基づく送話信号Tを出力しない。これにより、非制限区間において、他の通話システム2に送信された送話信号Tの一部の成分が、受話信号R1として受話制御部211bに戻り、スピーカ112から再生されることで音響ノイズが発生することを防止できる。
【0076】
<本形態の特徴>
以下の表に本形態の処理内容をまとめる。
【表3】
本形態では、発話が行われているときに(制限区間)、一方の耳1010に装着されたスピーカ112から受話信号R
1を再生せず、他方の耳1020に装着されたスピーカ122から受話信号R
2を再生する。その結果、スピーカ112から放出された受話信号R
1の再生音がマイクロホン113,114で集音されることを防止できる。また、スピーカ122は、マイクロホン113,114から離れているため、スピーカ122から放出された受話信号R
2の再生音は、ほとんどマイクロホン113,114に到達しない。これらにより、本形態では、エコーキャンセル処理を行うことなく、音響エコーの発生を防止または抑制できる。また前述のように、騒音環境下において、耳内マイクロホンであるマイクロホン113で集音された音声信号に対してエコーキャンセル処理を行うと、それによって得られる送話信号Tが大きく劣化してしまう。本形態では、エコーキャンセル処理を行わないため、このような問題も発生しない。
【0077】
一方、発話が行われていないときには(非制限区間)、一方の耳1010に装着されたスピーカ112から受話信号R1を再生し、他方の耳1020に装着されたスピーカ122から受話信号R2を再生する。これにより、利用者1000は、受話信号R1,R2の再生音を両耳で聴取できる。また、この際、送話制御部211cは、マイクロホン113,114から送られた音響信号に基づく送話信号Tを出力しない。すなわち、送話制御部211cは、制限区間において送話信号Tを送信するが、非制限区間において送話信号Tの送信を制限する。これにより、非制限区間において、音響ノイズが発生することを防止できる。
【0078】
<第2実施形態の変形例1>
第2実施形態では、制限区間において受話信号R1を全く再生しなかった。しかし、制限区間における受話信号R1のレベルを、非制限区間における受話信号R1のレベルよりも減衰させて再生してもよい。制限区間において、受話信号R1の再生を完全に停止しなくても、制限区間での受話信号R1の再生音のレベルを、非制限区間での受話信号R1の再生音のレベルよりも小さくすることで、音響エコーを抑制できる場合もあるからである。
【0079】
<第2実施形態の変形例2>
第1実施形態の変形例2と同様に、送話制御部211cが、マイクロホン113で集音された音響信号(例えば、音声信号等)の高域周波数の成分を低域周波数の成分よりも増幅して送話信号Tを生成してもよい。このように、マイクロホン113で集音された音響信号の高域周波数の成分を低域周波数の成分よりも増幅して送話信号Tを生成した場合、低域周波数の成分に比べて高域周波数の成分の方が、音響エコーを引き起こし易くなる。そのため、受話制御部211bが、制限区間において、スピーカ112からの受話信号R1(第1受話信号)の高域周波数の成分の再生を、受話信号R1(第1受話信号)の低域周波数の成分の再生よりも制限してもよい。マイクロホン113で集音された音響信号(身体を伝達した音響信号)の周波数特性を考慮すると、これによっても、音響エコーを抑制できる場合があるからである。
【0080】
[第2実施形態の変形例3]
第2実施形態では、送話制御部211cが、マイクロホン113,114のON状態とOFF状態とを同時に切り替えた。しかしながら、送話制御部211cが、マイクロホン113のON状態とOFF状態の切り替えと、マイクロホン114のON状態とOFF状態の切り替えとを独立に行ってもよい。
【0081】
送話制御部211cが、外部の騒音の大きさに応じて、マイクロホン113(耳内マイクロホン)を使用するか、マイクロホン114(外部マイクロホン)を使用するかを切り替えてもよい。ここで、騒音が大きく、マイクロホン113に切り替えられた場合には、発話が行われていると判定された時間区間を制限区間とし、発話が行われていないと判定された時間区間を非制限区間としてもよい。一方、騒音が小さく、マイクロホン114に切り替えられた場合には、発話が行われているか否かにかかわらず、非制限区間とされてもよい。
【0082】
外部の騒音の大きさに応じて、マイクロホン113とマイクロホン114とを自動的に切り替えることに代え、利用者1000が手動で、マイクロホン113を使用するか、マイクロホン114を使用するかを切り替えてもよい。この場合も、マイクロホン113に切り替えられた場合には、発話が行われていると判定された時間区間を制限区間とし、発話が行われていないと判定された時間区間を非制限区間としてもよい。一方、マイクロホン114に切り替えられた場合には、発話が行われているか否かにかかわらず、非制限区間とされてもよい。
【0083】
まとめると、スピーカ112(第1スピーカ)は、外耳道1011に向けて装着されるように構成されており、外耳道1011の中に装着されるように構成されたマイクロホン113(耳内マイクロホン)をマイクロホンとして設定するか、外耳道1011の外に配置されるように構成されたマイクロホン114(外部マイクロホン)をマイクロホンとして設定するかを切り替え可能であり、制限区間は、マイクロホン113(耳内マイクロホン)がマイクロホンとして設定され、かつ、マイクロホン113で集音された音響信号に基づいて発話が行われていると判定された時間区間であり、非制限区間は、それ以外の時間区間であってもよい。
【0084】
[第2実施形態の変形例4]
第2実施形態で示した<判定ステップの一例>では、マイクロホン113で集音された音響信号と、受話信号R1に基づく音響信号と、に基づいて、発話の状態を判定した。しかし、<判定ステップの一例>において、マイクロホン113がマイクロホン114に置換されてもよいし、マイクロホン113がマイクロホン113,114に置換されてもよい。また、<判定ステップの一例>では、前の時間区間が時間区間t-1である例を示したが、前の時間区間が時間区間t-γであってもよい。ただし、γは1以上の整数である。
【0085】
[第2実施形態の変形例5]
本形態のマイクロホン113は、耳内マイクロホンであり、身体を伝達した音響信号を集音するように構成されている。前述のように、身体を介して伝達された音声は、その高域周波数成分が大きく減衰する。そのため、マイクロホン113で集音された音声信号は、低周波数成分に比べて高域周波数成分が大きく減衰したものになる。そのため、判定ステップにおいて、判定部211aがマイクロホン113で集音された音響信号のうち、高域周波数成分よりも低周波数成分を優先的に扱って発話の状態の判定を行ってもよい。これにより、発話の状態をより精度よく判定できるからである。例えば、判定部211aは、以下の何れかのように発話の状態の判定を行ってもよい。なお、高域周波数は、低域周波数よりも高い。
(1)判定部211aは、マイクロホン113で集音された音響信号に代えて、マイクロホン113で集音された音響信号の低域周波数の成分を含むが音響信号の高域周波数の成分を含まない信号を用い、発話の状態の判定を行ってもよい。
(2)判定部211aは、マイクロホン113で集音された音響信号に代えて、マイクロホン113で集音された音響信号の低域周波数の成分に高域周波数の成分よりも大きな重みを与えて得られる信号を用い、発話の状態の判定を行ってもよい。
(3)判定部211aは、マイクロホン113で集音された音響信号に代えて、判定部211aは、マイクロホン113で集音された音響信号の高域周波数の成分を低域周波数の成分よりも抑制して得られる信号を用い、発話の状態の判定を行ってもよい。
【0086】
[第2実施形態の変形例6]
上述の判定ステップの一例では、判定部211aは、前の時間区間t-γ(例えば、γ=1)が非制限区間である場合に、推定送話信号S(t)に基づいて発話の状態を判定する。ここで、推定送話信号S(t)=M(t)-H(t)*R1(t)は、マイクロホン113で集音された音響信号に基づく信号M(t)から受話信号R1(t)(第1受話信号)に基づく推定回り込み信号W(t)=H(t)*R1(t)を減じて得られる信号であった。ここで、マイクロホン113で集音された音声信号は、低周波数成分に比べて高域周波数成分が大きく減衰したものになる。このような場合、W(t)=H(t)*R1(t)に代えて、推定回り込み信号W(t)の低域周波数の成分を高域周波数の成分よりも抑制して得られる信号を推定回り込み信号として用いるか、または、推定回り込み信号W(t)の高域周波数の成分を低域周波数の成分よりも増幅して得られる信号を推定回り込み信号として用いることが望ましい。これにより、推定送話信号S(t)に含まれる信号M(t)の低域周波数成分が強調され、発話の状態をより精度よく判定できるからである。
【0087】
より好ましくは、マイクロホン113で集音された音響信号に基づく信号M(t)として、マイクロホン113で集音された音響信号の高域周波数成分よりも低周波数成分を優先的に扱って得られる信号を用いてもよい(第2実施形態の変形例5)。第2実施形態の変形例5で例示したように、マイクロホン113で集音された音響信号の高域周波数成分よりも低周波数成分を優先的に扱って得られる信号の具体例は以下の通りである。
(1)マイクロホン113で集音された音響信号の低域周波数の成分を含むが音響信号の高域周波数の成分を含まない信号。
(2)マイクロホン113で集音された音響信号の低域周波数の成分に高域周波数の成分よりも大きな重みを与えて得られる信号。
(3)マイクロホン113で集音された音響信号の高域周波数の成分を低域周波数の成分よりも抑制して得られる信号。
【0088】
[第2実施形態の変形例7]
判定部211aが、送話制御部111cと受話制御部211bにアクセスし、上述のように発話の状態を判定し、さらに受話信号R1(第1受話信号)のレベル(大きさ、例えば、振幅やパワー)を判定してもよい。この場合、受話制御部211bは、これらの判定部211aでの判定結果に基づいて、発話が行われており、かつ、受話信号R1のレベルが基準値TH3(第3基準値)を超える時間区間を制限区間に設定し、それ以外の時間区間を非制限区間に設定してもよい。ここで、基準値TH3は予め定められた実数定数である。すなわち、発話が行われていても、スピーカ112から再生される受話信号R1のレベルが小さいときには音響エコーが問題にならないことがある。一方で、発話が行われ、かつ、スピーカ112から再生される受話信号R1のレベルが大きいときには、音響エコーの問題が深刻になる。そのため、発話が行われており、かつ、受話信号R1のレベルが基準値TH3を超える時間区間を制限区間に設定し、それ以外の時間区間を非制限区間に設定することで、音響エコーの抑制と、快適な聴取環境の実現とを適切なバランスで実現できる。
【0089】
[第2実施形態の変形例8]
第1実施形態の変形例5と同様に、制限区間において、通話制御装置121(
図3)の受話制御部121bが、スピーカ122から、受話信号R
2(第2受話信号)だけでなく、さらに受話信号R
1(第1受話信号)を再生してもよい。例えば、通話制御装置211の受話制御部211bが、制限区間のときに、受話信号R
1を受話制御部121bに送り、受話制御部121bが受話信号R
1と受話信号R
2とをスピーカ122から再生してもよい。これにより、制限区間でスピーカ112による受話信号R
1の再生が制限されても、スピーカ122から受話信号R
1が再生される。その結果、制限区間であっても、利用者1000は、受話信号R
1と受話信号R
2の両方の再生音を聴取できる。これは、ステレオ信号のように、受話信号R
1と受話信号R
2とが異なっている場合に特に有効である。
【0090】
[第2実施形態の変形例9]
第2実施形態では、送話制御部211cは、非制限区間では、マイクロホン113,114から送られた音響信号に基づく送話信号Tを全く出力しなかった。しかし、例えば、非制限区間において、送話制御部211cが送話信号Tのレベルを下げた送話信号を送信してもよいし、送話信号Tの低域周波数よりも高域周波数を減衰させた信号を送話送信してもよい。すなわち、送話制御部211cは、制限区間において送話信号Tを送信し、非制限区間において送話信号Tの送信を制限すればよい。これによっても、送話信号Tに基づく音響エコーを抑制できるからである。また、送話制御部211cが、制限区間および非制限区間の両方において、送話信号Tを制限することなく送信してもよい。これによっても、送話信号Tに基づく音響エコーが問題にならないケースもあるからである。すなわち、以下のような処理が行われてもよい。
【表4】
【0091】
[第3実施形態]
アクティブ・ノイズ・キャンセリング(ANC)に用いるマイクロホンやスピーカを第1,2実施形態およびそれらの変形例のマイクロホンやスピーカに流用してもよい。
【0092】
<構成>
図1に例示するように、本実施形態の通話システムでは、通話システム3-iを装着したI人の利用者1000-iが通話(音声通信)を行う。通話システム3-iは通話装置31-i,32-iを含む。ただし、i=1,2,…,Iであり、Iは2以上の整数である。
図1は、I=2の例であり、通話システム3-1および通話システム3-2をそれぞれ装着した2人の利用者1000-1,1000-2が通話を行う例を示している。しかし、これは本発明を限定するものではなく、本実施形態の通話システム3-iを装着して3人以上の利用者が通話を行ってもよい。
【0093】
<通話装置31>
図2Aに例示するように、本形態の通話装置31は、第1実施形態の本形態の通話装置11の通話制御装置111を、通話制御装置311に置換したものである。すなわち、通話装置31は、通話制御装置311、スピーカ112、マイクロホン113、マイクロホン114、筐体115、およびイヤーチップ116を有する。
【0094】
<通話装置32>
図6に例示するように、本形態の通話装置32は、利用者1000の耳1020に装着されるように構成されている。本形態の通話装置32は、通話制御装置321、スピーカ122、マイクロホン323(耳内マイクロホン)、マイクロホン324(外部マイクロホン)、筐体325、およびイヤーチップ126を有する。
【0095】
筐体325は、中空の中空部1251,1252および先端部1253を有している。筐体325の中空部1251側の壁には音孔325aが設けられている。音孔325aは筐体325の壁よりも音を透過しやすい孔であり、例えば、貫通孔等である。中空部1251の内部には通話制御装置321が取り付けられ、通話制御装置321はスピーカ122およびマイクロホン323,324と電気的に接続されている。
【0096】
マイクロホン323は、例えば、先端部1253内部の中空部1252側の位置に取り付けられている。このマイクロホン323の受音位置は、中空部1252と同一の空間に面している。ここで、マイクロホン323は、利用者1000の身体を伝達した音響信号を集音するように構成されている。
【0097】
マイクロホン324は中空部1251の内部に配置されている。マイクロホン324の受音位置は、音孔325aの近傍であり、マイクロホン324はこの音孔325aを通じて筐体325の外部の音を集音できるように構成されている。
図6の例では、マイクロホン324はスピーカ122の背面側に配置されている。
【0098】
通話装置32は、開放端1253aを利用者1000の一方の鼓膜1022側に向けた状態で、イヤーチップ126が取り付けられた先端部1253が耳1020の外耳道1021に挿入されるように構成されている。これにより、先端部1253の内部に取り付けられたマイクロホン323が、外耳道1021の近傍または外耳道1021の中に配置される。一方、中空部1251の内部に配置されたマイクロホン324は、外耳道1021の外側に配置される。
【0099】
図7に例示するように、通話制御装置311は、判定部111c(211a)、受話制御部111b(211b)、送話制御部111c(211c)、ANC処理部311d、および合成部311eを含む。スピーカ112は、合成部311eを介して、ANC処理部311dおよび受話制御部111b(211b)と電気的に接続されている。マイクロホン113は、送話制御部111c(211c)およびANC処理部311dと電気的に接続されている。マイクロホン114は、ANC処理部311dと電気的に接続されている。
【0100】
通話制御装置321は、受話制御部121b、ANC処理部321d、および合成部321eを含む。スピーカ122は、合成部321eを介して受話制御部121bおよびANC処理部321dと電気的に接続されている。マイクロホン323,324は、ANC処理部321dと電気的に接続されている。
【0101】
<処理>
通話を行う利用者1000は、前述のように、一方の耳1010(例えば、左耳)に通話装置31を装着し、他方の耳1020(例えば、右耳)に通話装置32を装着する(
図1,
図2A,
図6)。ANC処理部311dは、マイクロホン113,114で集音された音響信号に基づいて、ANCのための出力音響信号を生成し、スピーカ112に送る。スピーカ112は、この出力音響信号を放出する。同様に、ANC処理部321dは、マイクロホン323,324で集音された音響信号に基づいて、ANCのための出力音響信号を生成し、スピーカ122に送る。スピーカ122は、この出力音響信号を放出する。なお、ANCには周知の方法を用いればよい。その他の処理は、第1,2実施形態およびそれらの変形例の何れかと同じである。
【0102】
[ハードウェア構成]
各実施形態における通話制御装置111,211,311,121,321は、例えば、CPU(central processing unit)等のプロセッサ(ハードウェア・プロセッサ)やRAM(random-access memory)・ROM(read-only memory)等のメモリ等を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される装置である。すなわち、各実施形態における通話制御装置111,211,311,121,321は、例えば、それぞれが有する各部を実装するように構成された処理回路(processing circuitry)を有する。このコンピュータは1個のプロセッサやメモリを備えていてもよいし、複数個のプロセッサやメモリを備えていてもよい。このプログラムはコンピュータにインストールされてもよいし、予めROM等に記録されていてもよい。また、CPUのようにプログラムが読み込まれることで機能構成を実現する電子回路(circuitry)ではなく、単独で処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。また、1個の装置を構成する電子回路が複数のCPUを含んでいてもよい。
【0103】
上述のプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は非一時的な(non-transitory)記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。
【0104】
このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。上述のように、このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP(Application Service Provider)型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの(コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等)を含むものとする。
【0105】
各実施形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【0106】
[その他の変形例]
なお、本発明は上述の実施形態に限定されるものではない。例えば、耳内マイクロホンであるマイクロホン113に代えて、身体を伝達した音響信号を集音するように構成されたその他のマイクロホンが用いられてもよい。例えば、マイクロホン113として、咽喉マイクロホンが用いられてもよいし、骨伝導マイクロホンが用いられてもよい。また、マイクロホン113,114の一方が省略されてもよい。また、マイクロホン113に代えて、空気中を伝搬した音響信号を観測するマイクロホンが用いられてもよい。
【0107】
上述の実施形態およびそれらの変形例では、マイクロホンおよびスピーカを備えたイヤホンに本発明を実装する例を説明した。しかしながら、マイクロホンおよびスピーカを備えたヘッドホン等のその他の装置に本発明を実装してもよい。また、利用者1000が上述の通話システムを装着し、さらにイヤマフを装着してもよい。また、マイクロホンやスピーカが利用者1000の耳等の身体に装着されなくてもよい。例えば、マイクロホンや複数のスピーカが床、壁、椅子等に設置されており、複数のスピーカのうち、いずれかの第1スピーカからの再生音が利用者1000の一方の耳で主に聴取され、他の何れかの第2スピーカからの再生音が利用者1000の他方の耳で主に聴取されるように構成されていてもよい。例えば、第1スピーカからの再生音が利用者1000の一方の耳でのみ聴取され、第2スピーカからの再生音が利用者1000の他方の耳でのみ聴取されるように構成されていてもよい。このような場合でも、第2スピーカの音放出位置からマイクロホンの受音位置までの間での音の減衰量が、第1スピーカの音放出位置からマイクロホンの受音位置までの間での音の減衰量よりも大きければ、上述した効果を得ることができる。
【0108】
第2実施形態およびその変形例において、判定部211aが、受話信号R1に対して適応フィルタによるエコーキャンセル処理を行ってから判定ステップを行ってもよい。
【0109】
制限区間と非制限区間とで、スピーカ122から再生される受話信号R2のレベルも異なってもよい。例えば、制限区間でスピーカ122から再生される受話信号R2のレベルが、非制限区間でスピーカ122から再生される受話信号R2のレベルよりも大きくてもよい。制限区間では、もう一方のスピーカ112から再生される受話信号R1のレベルが制限されるため、利用者1000の聞き易さが低下する。制限区間でスピーカ122から再生される受話信号R2のレベルを大きくすることで、この問題を軽減できる。
【0110】
また、上述した各部での処理は、時間領域で行われてもよいし、時間周波数領域で行われてもよい。
【0111】
また、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、特許請求の範囲の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。例えば、上述した変形例を組み合わせて実行されてもよい。
【符号の説明】
【0112】
1,2,3 通話システム
11,12,21,31,32 通話装置
111,121,211,311,321 通話制御装置
112,122 スピーカ
113,114,122,323,324 マイクロホン
111a,211a 判定部
111b,211b 受話制御部
111c,211c 送話制御部