特許 6903884 信号処理装置、プログラム及び方法、並びに、通話装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6903884

(24)【登録日】2021年6月28日

(45)【発行日】2021年7月14日

(54)【発明の名称】信号処理装置、プログラム及び方法、並びに、通話装置

(51)【国際特許分類】

   H04B 3/23 20060101AFI20210701BHJP

   G10L 21/034 20130101ALI20210701BHJP

   H04R 3/02 20060101ALI20210701BHJP

   H04M 1/00 20060101ALI20210701BHJP

   H04B 3/20 20060101ALI20210701BHJP

   G10L 25/84 20130101ALI20210701BHJP

【ＦＩ】

   H04B3/23

   G10L21/034

   H04R3/02

   H04M1/00 R

   H04B3/20

   G10L25/84

【請求項の数】8

【全頁数】22

(21)【出願番号】特願2016-180719(P2016-180719)

(22)【出願日】2016年9月15日

(65)【公開番号】特開2018-46452(P2018-46452A)

(43)【公開日】2018年3月22日

【審査請求日】2019年5月15日

(73)【特許権者】

【識別番号】000000295

【氏名又は名称】沖電気工業株式会社

(74)【代理人】

【識別番号】100180275

【弁理士】

【氏名又は名称】吉田 倫太郎

(74)【代理人】

【識別番号】100161861

【弁理士】

【氏名又は名称】若林 裕介

(72)【発明者】

【氏名】藤枝 大

【審査官】 対馬 英明

(56)【参考文献】

【文献】 特開２００７−０９７０５０（ＪＰ，Ａ）

【文献】 特開２００９−１４７７０２（ＪＰ，Ａ）

【文献】 特開２００２−３５９５８０（ＪＰ，Ａ）

【文献】 特表平０６−５１０８８９（ＪＰ，Ａ）

【文献】 特表２００３−５３１５０６（ＪＰ，Ａ）

【文献】 特開２００５−１５９６７８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｂ １／７６−３／４４

Ｈ０４Ｂ ３／５０−３／６０

Ｈ０４Ｂ ７／００−７／０１５

Ｇ１０Ｌ １３／００−１３／１０

Ｇ１０Ｌ １９／００−９９／００

Ｈ０４Ｒ ３／００

Ｈ０４Ｒ ３／０２−３／１４

Ｈ０４Ｍ １／００

Ｈ０４Ｍ １／２４−１／８２

Ｈ０４Ｍ ９９／００

(57)【特許請求の範囲】

【請求項1】

放音装置及び集音装置を備える通話装置が遠端側から受信する受話入力信号を取得して前記受話入力信号に基づく受話出力信号を前記放音装置側に供給し、前記集音装置側から供給された送話入力信号を取得して前記送話入力信号に基づく送話出力信号を遠端側に送信する信号処理装置において、
少なくとも、前記送話入力信号と、前記受話入力信号と、前記送話入力信号と前記受話出力信号との相対的な所定の音量比を示す相対音量値とを利用して、前記受話出力信号を処理するための適応利得として、前記送話入力信号の音量と前記相対音量値に関して広義単調増加し、且つ、前記受話入力信号の音量に関して広義単調減少する値を算出して出力する適応利得算出手段と、
前記適応利得算出手段が算出した適応利得を、前記受話入力信号に乗じて前記受話出力信号を得る乗算手段と
を有することを特徴とする信号処理装置。

【請求項2】

前記適応利得算出手段は、
前記送話入力信号に基づいて、前記送話入力信号が音声区間であるか否かを検出する音声区間検出手段と、
前記音声区間検出手段の検出結果に基づいて、前記送話入力信号の音声区間での音量を送話音量として算出する送話音量算出手段と、
前記音声区間検出手段の検出結果に基づいて、前記送話入力信号の音声区間以外での音量を雑音音量として算出する雑音音量算出手段と、
前記送話音量と、前記雑音音量と、前記相対音量値とに基づいて、出力する前記適応利得を決定する適応利得決定手段とを有する
ことを特徴とする請求項１に記載の信号処理装置。

【請求項3】

前記送話入力信号と、前記受話出力信号とに基づいて、推定エコー利得を算出するエコー利得推定手段と、
前記エコー利得推定手段が算出した前記推定エコー利得に基づいて、前記適応利得算出手段が算出した適応利得を補正して補正後の適応利得を、前記乗算手段に供給する適応利得補正手段と
をさらに備えることを特徴とする請求項１又は２に記載の信号処理装置。

【請求項4】

前記送話入力信号と、前記受話出力信号とに基づいて、前記送話入力信号にエコーとして混入した受話出力信号の成分を除去したエコー除去後の送話入力信号を生成して、前記適応利得算出手段に供給するとともに、前記エコー除去後の送話入力信号を前記送話出力信号として遠端側に供給するエコー除去手段をさらに備えることを特徴とする請求項１に記載の信号処理装置。

【請求項5】

前記エコー除去手段は、前記送話入力信号と、前記受話出力信号とに基づいて、エコー経路の特性を推定して推定エコー特性を取得し
前記エコー除去手段で得られた前記推定エコー特性に基づいて、前記適応利得算出手段が算出した適応利得を補正する適応利得補正手段をさらに備える
ことを特徴とする請求項４に記載の信号処理装置。

【請求項6】

放音装置及び集音装置を備える通話装置が遠端側から受信する受話入力信号を取得して前記受話入力信号に基づく受話出力信号を前記放音装置側に供給し、前記集音装置側から供給された送話入力信号を取得して前記送話入力信号に基づく送話出力信号を遠端側に送信する信号処理装置に搭載されたコンピュータを、
少なくとも、前記送話入力信号と、前記受話入力信号と、前記送話入力信号と前記受話出力信号との相対的な所定の音量比を示す相対音量値とを利用して、前記受話出力信号を処理するための適応利得として、前記送話入力信号の音量と前記相対音量値に関して広義単調増加し、且つ、前記受話入力信号の音量に関して広義単調減少する値を算出して出力する適応利得算出手段と、
前記適応利得算出手段が算出した適応利得を、前記受話入力信号に乗じて前記受話出力信号を得る乗算手段と
して機能させることを特徴とする信号処理プログラム。

【請求項7】

放音装置及び集音装置を備える通話装置が遠端側から受信する受話入力信号を取得して前記受話入力信号に基づく受話出力信号を前記放音装置側に供給し、前記集音装置側から供給された送話入力信号を取得して前記送話入力信号に基づく送話出力信号を遠端側に送信する信号処理装置が行う信号処理方法において、
適応利得算出手段、及び乗算手段を備え、
前記適応利得算出手段は、少なくとも、前記送話入力信号と、前記受話入力信号と、前記送話入力信号と前記受話出力信号との相対的な所定の音量比を示す相対音量値とを利用して、前記受話出力信号を処理するための適応利得として、前記送話入力信号の音量と前記相対音量値に関して広義単調増加し、且つ、前記受話入力信号の音量に関して広義単調減少する値を算出して出力し、
前記乗算手段は、前記適応利得算出手段が算出した適応利得を、前記受話入力信号に乗じて前記受話出力信号を得る
ことを特徴とする信号処理装置方法。

【請求項8】

放音装置と、集音装置と、遠端側から受信する受話入力信号を取得して前記受話入力信号に基づく受話出力信号を前記放音装置側に供給し、前記集音装置側から供給された送話入力信号を取得して前記送話入力信号に基づく送話出力信号を遠端側に送信する信号処理装置とを備える通話装置において、前記信号処理装置として請求項１〜５のいずれかに記載の信号処理装置を適用したことを特徴とする通話装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、信号処理装置、プログラム及び方法、並びに、通話装置に関し、例えば、携帯電話やスマートホン、テレビ会議システム、テレワーク端末等の通話装置に適用し得る。

【背景技術】

【0002】

遠隔地にいる人同士、また、壁や部屋など空間的に断絶された場所にいる人同土が音声コミュニケーションを取るための技術は、古くから開発されている。音声のみのテレコミュニケーションのために、固定電話をはじめとして、携帯電話、スマートホンなどが提供されてきた。また、音声に加えて写真や画像（似顔絵やアバター）、映像も使用するテレコミュニケーションとして、テレビ電話やテレビ会議、テレワーク端末などが提供されてきた（スマートホンはこれらのテレコミュニケーションをも提供できる）。

【0003】

以下では、これらを双方向通話装置（又は、単に「通話装置」）と総称する。また、双方向通話装置は複数の双方向通話装置同士が通信し合うことで、それらの双方向通話装置のユーザ同士が通話できるという機能を提供しており、そのうちのある一つの双方向通話装置に注目した場合、当該双方向通話装置のユーザを自分（１人または１グループ）、他の双方向通話装置のユーザを相手（１人または１グループとは限らない）と定義できる。以下では、自分の側を近端、相手の側を遠端と呼ぶ。さらに、遠端側から送信されて近端側で受信された音声信号を受話信号と呼び、近端側から遠端側に送信される音声信号を送話信号と呼ぶ。

【0004】

双方向通話装置は、ほとんどの場合、放音装置（例えば、スピーカ）と集音装置（例えば、マイク）とが物理的に近接しているため、放音装置から発せられた受話信号がエコーとして集音装置に入力される現象（音響エコー）が起きる。特に遠端側の双方向通話装置でエコーが入ると、近端話者は自身の声が放音装置から遅れて聴こえてくるためにしゃべりにくくなるという弊害が生まれる。また、両側の双方向通話装置で大きなエコーが生じると、ハウリングが起こる。

【0005】

従来の双方向通話装置（通話装置）では、ユーザから放音音量の制御指示を音量指示装置（例えば、受話音量の変更を受け付けるためのボリューム）を用いて受け付けて、受けた制御指示に応じて信号処理装置が、受話信号等のパワーを調整する信号処理を行っている。このように、従来の双方向通話装置では、音量指示装置を用いて、エコーが発生しないようにするために受話信号の音量を小さく手動制御する必要があったが、当該手動制御は高度なノウハワ（操作の慣れ）であり、また受話信号の音量を小さくし過ぎると相手が何を言っているか聴き取れなくなるという弊害を生じる。

【0006】

この問題を解決するために、近端側の集音装置に入力された受話信号を抑圧したり除去したりするエコーサプレッサやエコーキャンセラが提案されている（例えば、特許文献１参照）。従来は、上述のような技術により、受話信号の音量に依らず、受話信号のエコーが遠端側へ伝送されなくなる。したがって、両側の双方向通話装置に当該技術が搭載されていれば、ユーザは放音音量を自由に設定することができる。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２００９−２１８５９号公報

【特許文献2】特開２０００−１５１３１３号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、従来の双方向通話装置（通話装置）において、放音音量の多寡は、以下に述べる通り、エコーやハウリング以外の弊害を引き起こすことがあり、且つ、それらの弊害をユーザが簡単に回避できるとは限らない。

【0009】

従来の通話装置では、遠端話者の発声が小さい場合や、遠端側の双方向通話装置におけるマイク感度の設定が小さい場合に、受話信号が小さ過ぎて、近端話者にとって遠端話者の発話内容が聴き取れないことがある。

【0010】

また、従来の通話装置では、遠端話者の発声が大きい場合や、遠端側の双方向通話装置におけるマイク感度の設定が大きい場合に、受話信号が大き過ぎて、会話の機密性が毀損されたり、近端側の周囲にいる無関係の人に不快な思いをさせたりすることがある。

【0011】

以上の問題が生じた場合、従来の通話装置を利用するユーザは、当該通話装置に搭載された上述の音量指示装置を操作して、放音音量が大きく／小さくなるように設定を変更することができる。しかし、上述の音量指示装置が受けた指示に応じて受話信号等を処理する上述の信号処理装置の機能的な限界により、当該音量を最大／最小に設定しても、受話信号が十分に大きく／小さくならないことがあり得る（機能的限界）。

【0012】

また、ユーザの使用経験不足により、適切な音量設定がどの程度か、ユーザがわからない場合には、ユーザはトライアル・アンド・エラーを繰り返して放音音量を設定しなければならない（ノウハウ不足）。

【0013】

さらに、ユーザが音量指示装置の操作方法を覚えていなかったり、何らかの事情（例えば、通話しながら他の作業をしている）で音量指示装置を操作できなかったりする場合には、放音音量の設定を変えることすらできない（操作困難状態）。

【0014】

以上のような問題に鑑みて、近端側の状況に応じて、良好な双方向通話が可能となるように通話信号を処理することができる信号処理装置、プログラム及び方法、並びに、通話装置が望まれている。

【課題を解決するための手段】

【0015】

第１の本発明は、放音装置及び集音装置を備える通話装置が遠端側から受信する受話入力信号を取得して前記受話入力信号に基づく受話出力信号を前記放音装置側に供給し、前記集音装置側から供給された送話入力信号を取得して前記送話入力信号に基づく送話出力信号を遠端側に送信する信号処理装置において、（１）少なくとも、前記送話入力信号と、前記受話入力信号と、前記送話入力信号と前記受話出力信号との相対的な所定の音量比を示す相対音量値とを利用して、前記受話出力信号を処理するための適応利得として、前記送話入力信号の音量と前記相対音量値に関して広義単調増加し、且つ、前記受話入力信号の音量に関して広義単調減少する値を算出して出力する適応利得算出手段と、（２）前記適応利得算出手段が算出した適応利得を、前記受話入力信号に乗じて前記受話出力信号を得る乗算手段とを有することを特徴とする。

【0016】

第２の本発明の信号処理プログラムは、（１）放音装置及び集音装置を備える通話装置が遠端側から受信する受話入力信号を取得して前記受話入力信号に基づく受話出力信号を前記放音装置側に供給し、前記集音装置側から供給された送話入力信号を取得して前記送話入力信号に基づく送話出力信号を遠端側に送信する信号処理装置に搭載されたコンピュータを、（２）少なくとも、前記送話入力信号と、前記受話入力信号と、前記送話入力信号と前記受話出力信号との相対的な所定の音量比を示す相対音量値とを利用して、前記受話出力信号を処理するための適応利得として、前記送話入力信号の音量と前記相対音量値に関して広義単調増加し、且つ、前記受話入力信号の音量に関して広義単調減少する値を算出して出力する適応利得算出手段と、（３）前記適応利得算出手段が算出した適応利得を、前記受話入力信号に乗じて前記受話出力信号を得る乗算手段として機能させることを特徴とする。

【0017】

第３の本発明は、放音装置及び集音装置を備える通話装置が遠端側から受信する受話入力信号を取得して前記受話入力信号に基づく受話出力信号を前記放音装置側に供給し、前記集音装置側から供給された送話入力信号を取得して前記送話入力信号に基づく送話出力信号を遠端側に送信する信号処理装置が行う信号処理方法において、（１）適応利得算出手段、及び乗算手段を備え、（２）前記適応利得算出手段は、少なくとも、前記送話入力信号と、前記受話入力信号と、前記送話入力信号と前記受話出力信号との相対的な所定の音量比を示す相対音量値とを利用して、前記受話出力信号を処理するための適応利得として、前記送話入力信号の音量と前記相対音量値に関して広義単調増加し、且つ、前記受話入力信号の音量に関して広義単調減少する値を算出して出力し、（３）前記適応利得算出手段が算出した適応利得を、前記受話入力信号に乗じて前記受話出力信号を得ることを特徴とする。

【0018】

第４の本発明は、放音装置と、集音装置と、遠端側から受信する受話入力信号を取得して前記受話入力信号に基づく受話出力信号を前記放音装置側に供給し、前記集音装置側から供給された送話入力信号を取得して前記送話入力信号に基づく送話出力信号を遠端側に送信する信号処理装置とを備える通話装置において、前記信号処理装置として第１の本発明の信号処理装置を適用したことを特徴とする。

【発明の効果】

【0019】

本発明によれば、近端側の状況に応じて、良好な双方向通話が可能となるように通話信号を処理することができる。

【図面の簡単な説明】

【0020】

【図1】第１の実施形態に係る信号処理装置の機能的構成について示したブロック図である。

【図2】第１の実施形態に係る通話装置の全体構成について示したブロック図である。

【図3】第１の実施形態に係る適応利得取得手段内部の機能的構成について示したブロック図である。

【図4】第１の実施形態に係る送話音量算出手段が入力送話信号に基づいて送話音量を算出した結果の例について示したグラフである。

【図5】第１の実施形態に係る適応利得決定手段が、適応利得を決定する際の表の例について示した説明図である。

【図6】第２、第３の実施形態に係る信号処理装置の機能的構成について示したブロック図である。

【図7】第２の実施形態に係る適応利得取得手段内部の機能的構成について示したブロック図である。

【図8】第２の実施形態に係る適応利得決定手段が、適応利得を決定する際の表の例について示した説明図である。

【図9】第３の実施形態に係る適応利得取得手段内部の機能的構成について示したブロック図である。

【図10】第４の実施形態に係る信号処理装置の機能的構成について示したブロック図である。

【図11】第４の実施形態に係る適応利得取得手段内部の機能的構成について示したブロック図である。

【図12】第５の実施形態に係る信号処理装置の機能的構成について示したブロック図である。

【図13】第６の実施形態に係る信号処理装置の機能的構成について示したブロック図である。

【発明を実施するための形態】

【0021】

（Ａ）第１の実施形態
以下、本発明による信号処理装置、プログラム及び方法、並びに、通話装置の第１の実施形態を、図面を参照しながら詳述する。

【0022】

（Ａ−１）第１の実施形態の構成
図２は、この実施形態の通話装置１０００（双方向通話装置）の全体構成を示すブロック図である。なお、図２において括弧内の符号は、後述する第２〜第６の実施形態で用いられる符号である。

【0023】

通話装置１０００は、受信装置１、デコード装置２、信号処理装置３、音量指示装置４、Ｄ／Ａ変換装置５、放音装置６、集音装置８、Ａ／Ｄ変換装置９、エンコード装置１０、及び送信装置１１を有している。

【0024】

受信装置１は、有線又は無線によって伝送される受話データを受信するものである。

【0025】

デコード装置２は、遠端側から受信した受信データをデコードしてディジタル信号（例えば、ＰＣＭ形式のディジタル音声信号）を取得し、受話入力信号として、信号処理装置３に供給する。

【0026】

信号処理装置３は、受話入力信号そのもの、又は加工された受話入力信号を受話出力信号としてＤ／Ａ変換装置５に与える。また、信号処理装置３は、送話入力信号そのもの、又は加工された送話入力信号を送話出力信号としてエンコード装置１０に与える。

【0027】

Ｄ／Ａ変換装置５は、信号処理装置３から供給された受話入力信号（加工された受話入力信号）をアナログ変換して、放音装置６に供給する。

【0028】

放音装置６（スピーカ）は、Ｄ／Ａ変換装置５から供給されたアナログ形式の受話入力信号に基づく音を空間へ放音する。

【0029】

集音装置８（マイク）は、双方向通話装置を使用しているユーザの声や背景雑音を集音し、得られた送話信号（アナログ信号）をＡ／Ｄ変換装置９へ与える。なお、送話信号には、放音装置６から放音された受話信号が、エコー経路７を介して集音されていることもある。

【0030】

Ａ／Ｄ変換装置９は、送話信号をディジタル信号へと変換し、当該ディジタル信号を送話入力信号として信号処理装置３に与える。

【0031】

エンコード装置１０は、送話出力信号をエンコードして得られた送話データを送信装置１１に与え、送信装置１１は送話データを有線又は無線によって遠端側へ伝送する。

【0032】

音量指示装置４は、ユーザから放音音量の制御指示を受け付けるための装置である。従来の電話装置において、音量指示装置によってユーザに指定された値は、受話入力信号に乗じられる利得に相当するもの（音量指示値、又は絶対音量指示値と言い換えられる）であった。これに対してこの実施形態の音量指示装置４は、送話入力信号と受話出力信号との相対的な音量比に相当する値の入力を受け付けるものとする。そのため、以下では、音量指示装置４から信号処理装置３に与えられるユーザに指定された値を、「相対音量指示値」又は「相対音量値」と呼ぶものとする。音量指示装置４がユーザからの指示を受け付ける具体的なデバイスについては限定されないものであるが、例えば、ハードウェア的なボタンやツマミを備えるボリューム（例えば、可変抵抗器）を用いるようにしてもよいし、コンピュータ上の操作画面（ＧＵＩ画面）のオブジェクト（例えば、ソフトウェアボタン等）を用いるようにしてもよい。

【0033】

次に、信号処理装置１００の内部構成について説明する。

【0034】

図１は、信号処理装置１００の内部構成について示した説明図である。

【0035】

図１に示すように、第１の実施形態の信号処理装置１００は、適応利得算出手段１０１、及び乗算手段１０２を有している。

【0036】

適応利得算出手段１０１は、送話入力信号ｓｉと受話入力信号ｒｉと相対音量指示値Ｖとに基づいて適応利得Ｇを算出する。

【0037】

乗算手段１０２は、適応利得Ｇを受話入力信号ｒｉに乗じて受話出力信号ｒｏを得る。

【0038】

図３は、適応利得算出手段１０１内部の機能的構成について示したブロック図である。

【0039】

図３に示すように、適応利得算出手段１０１は、送話音量算出手段１１０、受話音量算出手段１１１、及び適応利得決定手段１１２を有している。

【0040】

送話音量算出手段１１０は、送話入力信号ｓｉの音量（すなわち送話音量ｓｖ）を算出する。

【0041】

受話音量算出手段１１１は、受話入力信号ｒｉの音量（すなわち受話音量ｒｖ）を算出する。

【0042】

適応利得決定手段１１２は、送話音量ｓｖと受話音量ｒｖと相対音量指示値Ｖに基づいて、適応利得Ｇを決定する。

【0043】

（Ａ−２）第１の実施形態の動作
次に、以上のような構成を有する第２の実施形態の通話装置１０００を構成する信号処理装置１００の動作（実施形態に係る信号処理方法）を説明する。

【0044】

適応利得算出手段１０１は、送話入力信号ｓｉと受話入力信号ｒｉと相対音量指示値Ｖとに基づいて、適応利得Ｇを算出し、得られた適応利得Ｇを乗算手段１０２に与える。Ｇは、ｓｉの音量とＶに関して広義単調増加するように、且つ、ｒｉの音量に関して広義単調減少するように決定される。適応利得算出手段１０１の詳細な動作については後述する。

【0045】

乗算手段１０２は、受話入力信号ｒｉに適応利得Ｇを乗じ、得られた受話出力信号ｒｏを出力する。

【0046】

次に、適応利得算出手段１０１の詳細な動作を、図３を参照しながら説明する。

【0047】

送話音量算出手段１１０は、送話入力信号ｓｉの音量を算出し、得られた送話音量ｓｖを適応利得決定手段１１２に与える。ここで、音量とは、信号の振幅又はパワーを意味する。音量の算出方法は、例えば信号の絶対値（振幅）又は２乗値（パワー）の、ある区間の最大値や平均値を音量とする方法や、又は時定数フィルタ（リーク積分とも呼ぶ）によって平均値を推定する方法が良く用いられるが、限定はされない。以下では、信号の絶対値（振幅）の平均値を時定数フィルタによって推定した値を音量と呼ぶ。具体的には、現在の送話入力信号をｓｉ、１サンプル過去の送話音量をｓｖ’、時定数をτ（タウ、０＜τ＜１）として、式（１）によって算出する。
ｓｖ＝（τ−１）・｜ｓｉ｜＋τ・ｓｖ’ …（１）

【0048】

サンプリング周波数８ｋＨｚの音声信号の振幅を、初期値を０．０３、τ＝０．９９９９として、式（１）にしたがって算出した例を図４に示す。図４（ａ）は、横軸を時間、縦軸を送話入力信号ｓｉとしたグラフである。また、図４（ｂ）は、横軸を時間、縦軸を送話音量ｓｖとしたグラフである。

【0049】

受話音量算出手段１１１は、受話入力信号ｒｉの音量を算出し、得られた受話音量ｒｖを適応利得決定手段１１２に与える。音量の定義と算出方法は、送話音量算出手段１１０と同じ方法かつ同じパラメータ（同じτの値）を用いるのが好適であるが、限定はされない。

【0050】

適応利得決定手段１１２は、送話音量ｓｖと受話音量ｒｖと相対音量指示値Ｖに基づいて、適応利得Ｇを決定して、出力する。Ｇは、ｓｖとＶに関して広義単調増加するように、かつ、ｒｖに関して広義単調減少するように決定される。Ｇの決定方法は、ｓｖ、ｒｖ、Ｖとの関係を満たす方法であればどのような方法を用いても良いが、式（２）を用いるのが好適である。

【数1】

【0051】

Ｇの決定方法は、当然式（２）のような連続関数に制限されるわけではなく、種々の決定方法を適用することができる。例えば、図５に示すような表に従って決定してもよい。図５では、「（ｓｖ・Ｖ）／ｒｖ」の値の範囲ごとに、Ｇの値を設定した表である。例えば、図５では、「（ｓｖ・Ｖ）／ｒｖ」が０．３未満の場合Ｇ＝０．５としている。また、図５では、「（ｓｖ・Ｖ）／ｒｖ」が０．３以上０．７未満の場合Ｇ＝０．７としている。さらに、図５では、「（ｓｖ・Ｖ）／ｒｖ」が０．７以上１．４未満の場合Ｇ＝１．０としている。さらにまた、図５では、「（ｓｖ・Ｖ）／ｒｖ」が１．４以上３．３未満の場合Ｇ＝１．４としている。また、図５では、「（ｓｖ・Ｖ）／ｒｖ」が３．３以上の場合Ｇ＝２．０としている。

【0052】

式（２）による適応利得Ｇの決定は、送話入力信号ｓｉと受話入力信号ｒｉの変化に対して、Ｇも滑らかに変化するので、異音が発生しにくいという利点がある。一方、図５の表に基づくＧの決定は、送話入力信号ｓｉと受話入力信号ｒｉが微小に変化してもＧは変化しない安定性が得られる利点と、送話音量ｓｖと受話音量ｒｖに対してＧを柔軟に決められるという利点がある。

【0053】

（Ａ−３）第１の実施形態の効果
第１の実施形態によれば、以下のような効果を奏することができる。

【0054】

通話装置１０００において、放音装置６から放音される音量は、近端側の状況に応じて制御することが望ましい。受話信号の放音音量（放音装置６から放音される音量）に関する近端側の状況は、以下のような発話音量（近端話者の発話音量）に関する人間の習性を利用することで、知ることができる。

【0055】

例えば、近端話者（通話装置１０００）の周囲が静かな状況である場合（背景雑音が小さい場合）や、近端話者が発話する内容（会話の内容）の機密性が高い場合、近端話者は、発話音量を小さくする傾向がある。また、例えば、近端話者（通話装置１０００）の周囲が賑やかな場合（背景雑音が大きい場合）や、遠端話者の声が小さく聞き取りづらい状態（受話信号の放音音量が弱い場合）には、近端話者は発話音量を大きくする傾向がある。

【0056】

つまり、通話装置１０００において、近端話者の発話音量が小さい場合には、放音音量（放音装置６から放音される音量）は小さくても良いか、小さくした方が良く、近端話者の発話音量が大きい場合には、放音音量は大きくした方が良い。なお、特許文献２に示されているような音声レベル自動調整（自動利得制御とも呼ばれる）技術を用いて、受話入力信号の音量が一定となるようにすると、上記の機能的限界による問題は改善されるが、ノウハウ不足による問題と操作困難状態による問題は解決できない。

【0057】

そのため、第１の実施形態の通話装置１０００（信号処理装置１００）では、送話入力信号と受話入力信号の音量の比に応じて、適応利得を決定し、受話出力信号の音量を制御している。これにより、第１の実施形態の通話装置１０００（信号処理装置１００）では、受話信号の放音音量が近端側の状況に適した音量となり、良好な双方向通話が可能となる。

【0058】

（Ｂ）第２の実施形態
以下、本発明による信号処理装置、プログラム及び方法、並びに、通話装置の第２の実施形態を、図面を参照しながら詳述する。

【0059】

（Ｂ−１）第２の実施形態の構成
第２の実施形態の通話装置１０００Ａの構成についても上述の図１を用いて示すことができる。以下では、第２の実施形態の構成について第１の実施形態との差異を説明する。

【0060】

第２の実施形態の通話装置１０００Ａでは、信号処理装置１００が信号処理装置２００に置き換わっている点で第１の実施形態と異なっている。

【0061】

第１の実施形態の信号処理装置１００では、適応利得Ｇを決定するために、送話音量ｓｖと受話音量ｒｖとの両方を用いていた。しかし、音量の算出結果は、無音区間の長さや背景雑音レベル、また使用する音量算出方法によっては、非常に小さな値となる可能性を有する。もし受話音量ｒｖが非常に小さな値を取る可能性がある場合、Ｇが異常な値を取らないように対策を講じる必要が生じ、Ｇの決定方法が煩雑になる。

【0062】

そこで、第２の実施形態の信号処理装置２００では、受話信号の音量を自動利得制御技術によって正規化することによって、適応利得の算出に受話音量ｒｖを必要としない構成となっている。

【0063】

図６は、第２の実施形態の信号処理装置２００内部の機能的構成について示したブロック図である。

【0064】

なお、図６において、括弧内の符号は、後述する第３の実施形態で用いられる符号である。

【0065】

第２の実施形態の信号処理装置２００は、送話入力信号ｓｉと相対音量指示値Ｖとに基づいて適応利得Ｇを算出する適応利得算出手段２０１と、受話入力信号ｒｉの音量を正規化して受話正規化信号ｒｎを算出する自動利得制御手段２０３と、適応利得Ｇを受話正規化信号ｒｎに乗じて受話出力信号ｒｏを得る乗算手段２０２とを有する。

【0066】

図７は、適応利得算出手段２０１内部の機能的構成について示したブロック図である。

【0067】

適応利得算出手段２０１は、送話入力信号ｓｉの音量（すなわち送話音量ｓｖ）を算出する送話音量算出手段２１０と、送話音量ｓｖと相対音量指示値Ｖに基づいて適応利得Ｇを決定する適応利得決定手段２１２とを有する。

【0068】

（Ｂ−２）第２の実施形態の動作
次に、以上のような構成を有する第２の実施形態の通話装置１０００Ａを構成する信号処理装置２００の動作（実施形態に係る信号処理方法）について、図６を用いて説明する。

【0069】

適応利得算出手段２０１は、送話入力信号ｓｉと相対音量指示値Ｖとに基づいて、適応利得Ｇを算出し、得られた適応利得Ｇを乗算手段２０２に与える。Ｇは、ｓｉの音量とＶに関して広義単調増加するように決定される。適応利得算出手段２０１の詳細な動作については、後述する。

【0070】

自動利得制御手段２０３は、受話入力信号ｒｉの音量を正規化して、得られた受話正規化信号ｒｎを乗算手段２０２に与える。音量を正規化するには、任意の方法を用いることができ、例えば特許文献２に記載の技術を使えば短時間平均パワーが目的値となったｒｎを得ることができる。

【0071】

乗算手段２０２は、受話正規化信号ｒｎに適応利得Ｇを乗じ、得られた受話出力信号ｒｏを出力する。

【0072】

次に、適応利得算出手段２０１の詳細な動作を、図６を参照しながら説明する。

【0073】

送話音量算出手段２１０は、送話入力信号ｓｉの音量を算出し、得られた送話音量ｓｖを適応利得決定手段２１２に与える。送話音量算出手段２１０の動作は、第１の実施形態における送話音量算出手段１１０の動作と同じである。

【0074】

適応利得決定手段２１２は、送話音量ｓｖと相対音量指示値Ｖに基づいて、適応利得Ｇを決定して出力する。Ｇは、ｓｖとＶに関して広義単調増加するように決定される。Ｇの決定方法は、ｓｖ、Ｖとの関係を満たす方法であればどのような方法を用いても良いが、式（３）を用いるのが好適である。
Ｇ＝ｓｖ・Ｖ …（３）

【0075】

Ｇの決定方法は、当然式（３）のような連続関数に制限されるわけではなく、種々の決定方法を適用することができる。例えば、図８に示すような表に従って決定してもよい。図８では、「ｓｖ・Ｖ」の値の範囲ごとに、Ｇの値を設定した表について示している。例えば、図８では、「ｓｖ・Ｖ」が０．３未満の場合Ｇ＝０．５としている。また、図８では、「ｓｖ・Ｖ」が０．３以上０．７未満の場合Ｇ＝０．７としている。さらに、図８では、「ｓｖ・Ｖ」が０．７以上１．４未満の場合Ｇ＝１．０としている。さらにまた、図８では、「ｓｖ・Ｖ」が１．４以上３．３未満の場合Ｇ＝１．４としている。また、図８では、「ｓｖ・Ｖ」が３．３以上の場合Ｇ＝２．０としている。

【0076】

式（３）による適応利得Ｇの決定は、送話入力信号ｓｉの変化に対して、Ｇも滑らかに変化するので、異音が発生しにくいという利点がある。一方、図８の表によるＧの決定は、送話入力信号ｓｉが微小に変化しでもＧは変化しない安定性が得られる利点と、送話音量ｓｖに対してＧを柔軟に決められるという利点がある。

【0077】

（Ｂ−３）第２の実施形態の効果
第２の実施形態によれば、以下のような効果を奏することができる。

【0078】

第２の実施形態の通話装置１０００Ａを構成する信号処理装置２００では、適応利得を決定する際に、受話入力信号の音量を用いる必要がないので、より安定に適応利得を算出することができる。これにより、通話装置１０００Ａでは、良好な双方向通話が可能となる。

【0079】

（Ｃ）第３の実施形態
以下、本発明による信号処理装置、プログラム及び方法、並びに、通話装置の第３の実施形態を、図面を参照しながら詳述する。

【0080】

（Ｃ−１）第３の実施形態の構成
第３の実施形態の通話装置１０００Ｂの構成についても上述の図１を用いて示すことができる。以下では、第３の実施形態の構成について第２の実施形態との差異を説明する。

【0081】

第３の実施形態の通話装置１０００Ｂでは、信号処理装置２００が信号処理装置３００に置き換わっている点で第２の実施形態と異なっている。

【0082】

第１及び第２の実施形態では、適応利得Ｇの算出に際して、近端側の背景雑音の考えていなかった。したがって、もしユーザが相対音量指示値Ｖを小さな値に設定した場合、放音装置から放音される受話信号が小さ過ぎて、背景雑音にかき消されて聴き取りづらくなる可能性があった。

【0083】

そこで、第３の実施形態では、送話入力信号ｓｉの音量を算出する際に、音声区間か否かを判定し、送話音量ｓｖに加えて、雑音音量ｎｖを算出し、受話出力信号ｒｏの音量が背景雑音に比べて小さくなりすぎることを防ぐ構成を考える。

【0084】

第３の実施形態の信号処理装置３００についても、上述の図６を用いて示すことができる。

【0085】

図６に示すように、第３の実施形態の信号処理装置３００では、適応利得算出手段２０１が適応利得算出手段３０１に置き換わっている点で第２の実施形態と異なっている。

【0086】

図９は、第３の実施形態の適応利得算出手段３０１内部の機能的構成について示したブロック図である。

【0087】

図９に示すように、適応利得算出手段３０１は、送話入力信号ｓｉを解析して音声区間を検出する音声区間検出手段３１３と、送話入力信号ｓｉの音量（すなわち送話音量ｓｖ）を算出する送話音量算出手段３１０と、近端側の背景雑音の音量（すなわち雑音音量ｎｖ）を算出する雑音音量算出手段３１４と、送話音量ｓｖと雑音音量ｎｖと相対音量指示値Ｖとに基づいて適応利得Ｇを決定する適応利得決定手段３１２とを有している。

【0088】

（Ｃ−２）第３の実施形態の動作
以上のような構成を有する第３の実施形態の通話装置１０００Ｂを構成する信号処理装置３００の動作（実施形態に係る信号処理方法）は、第２の実施形態の信号処理装置２００の動作と同様の記載で説明ができるため、ここでは詳細な説明を省略する。

【0089】

次に、第３の実施形態の信号処理装置３００を構成する適応利得算出手段３０１の詳細な動作について図９を用いて説明する。

【0090】

音声区間検出手段３１３は、送話入力信号ｓｉを解析して、現在入力されている送話入力信号ｓｉが音声か否かを検出し、得られた音声区間検出結果Ｄを送話音量算出手段３１０と雑音音量算出手段３１４に与える。音声区間を検出する方法には、公知の任意の方法を用いることができる。最も簡便な方法としては、数十ミリ秒〜数百ミリ秒の平均振幅（パワーでも良い）が所定の閾値より大きければ音声区間とする方法がある。また、参考文献１（特開２０１２−２１５６００号広報）に記載の技術等を用いれば、より高い精度で音声区間を検出できる。

【0091】

送話音量算出手段３１０は、音声区間でのみ送話入力信号ｓｉの音量を算出し、得られた送話音量ｓｖを適応利得決定手段３１２に与える。送話音量算出手段２１０の動作は、音声区間検出結果が音声区間であるときのみ音量を算出すること以外は、第１の実施形態における送話音量算出手段１１０の動作と同じである。第１及び第２の実施形態と同様に、信号の絶対値（振幅）の平均値を時定数フィルタによって推定した値を「音量」と呼ぶ。送話音量算出手段３１０は、現在の送話入力信号をｓｉ、１サンプル過去の送話音量をｓｖ’、時定数をτ（タウ、０＜τ＜１）として、送話音量ｓｖを式（４）によって算出する。

【数2】

【0092】

雑音音量算出手段３１４は、音声区間以外でのみ送話入力信号ｓｉの音量を算出し、得られた雑音音量ｎｖを適応利得決定手段３１２に与える。雑音音量算出手段３１４の動作は、音声区間検出結果が音声区間でないときのみ音量を算出すること以外は、第１の実施形態における送話音量算出手段１１０の動作と同じである。送話音量算出手段３１０と同様に、信号の絶対値（振幅）の平均値を時定数フィルタによって推定した値を「音量」と呼ぶ。雑音音量算出手段３１４は、現在の送話入力信号をｓｉ、１サンプル過去の送話音量をｎｖ’、時定数をτ（タウ、０＜τ＜１）として、雑音音量ｎｖを式（５）によって算出する。

【数3】

【0093】

適応利得決定手段３１２は、送話音量ｓｖと雑音音量ｎｖと相対音量指示値Ｖとに基づいて、適応利得Ｇを決定して、出力する。Ｇは、ｓｖとＶに関して広義単調増加するように決定される送話適応利得Ｇｓと、ｎｖに関して広義単調増加するように決定される雑音適応利得Ｇｎとを算出し、ＧｓとＧｎの大きい方をＧとすることで決定する（式（６））。
Ｇ＝ｍａｘ｛Ｇｓ、Ｇｎ｝ …（６）

【0094】

送話適応利得Ｇｓは、第２の実施形態における適応利得Ｇと同じように決定する。

【0095】

雑音適応利得Ｇｎの決定方法は、ｎｖとの関係を満たす方法であればどのような方法を用いても良いが、予め所定の雑音相対音量指示値Ｖｎを定めておいて、式（７）によって決定するのが好適である。Ｖｎは、例えば１．４や２．０とするのが好適である。
Ｇｎ＝ｎｖ・Ｖｎ…（７）

【0096】

（Ｃ−３）第３の実施形態の効果
第３の実施形態によれば、以下のような効果を奏することができる。

【0097】

第３の実施形態の通話装置１０００Ｂを構成する信号処理装置３００では、近端側の背景雑音レベルと考慮して適応利得を決定するので、背景雑音にかき消されない放音音量で受話出力信号を放音することができる。これにより、通話装置１０００Ｂでは、第２の実施形態と比較して、より良好な通話が可能な双方向通話が可能となる。

【0098】

（Ｄ）第４の実施形態
以下、本発明による信号処理装置、プログラム及び方法、並びに、通話装置の第４の実施形態を、図面を参照しながら詳述する。

【0099】

（Ｄ−１）第４の実施形態の構成
第４の実施形態の通話装置１０００Ｃの構成についても上述の図１を用いて示すことができる。以下では、第４の実施形態の構成について第１の実施形態との差異を説明する。

【0100】

第４の実施形態の通話装置１０００Ｃでは、信号処理装置１００が信号処理装置４００に置き換わっている点で第１の実施形態と異なっている。

【0101】

第１〜３の実施形態では、放音装置６から集音装置８への受話信号のエコーの影響が考慮されていなかった。したがって、もしユーザが相対音量指示値Ｖを大きな値に設定した場合、放音装置６から放音される受話信号が大き過ぎて、集音装置８によって集音されてエコーとして遠端側に伝送されてしまう可能性があった。そこで、第４の実施形態の信号処理装置４００では、エコー経路７の利得を推定して考慮することで、エコーが生じることを防ぐ構成とした。

【0102】

図１０は、信号処理装置４００内部の機能的構成について示したブロック図である。

【0103】

図１０に示すように、第４の実施形態の信号処理装置４００は、送話入力信号ｓｉと受話出力信号ｒｏとに基づいてエコー経路の利得を推定するエコー利得推定手段４０４と、エコー利得推定手段４０４によって推定された推定エコー利得ＥＧを記憶するエコー情報記憶手段４０５と、送話入力信号ｓｉと相対音量指示値Ｖに基づいて暫定適応利得Ｇ０を算出する適応利得算出手段４０１と、１サンプル前の推定エコー利得ＥＧに基づいて暫定適応利得Ｇ０を補正して適応利得Ｇを算出する適応利得補正手段４０６と、受話入力信号ｒｉの音量を正規化して受話正規化信号ｒｎを算出する自動利得制御手段４０３と、適応利得Ｇを受話正規化信号ｒｎに乗じて受話出力信号ｒｏを得る乗算手段４０２とを有する。

【0104】

図１１は、エコー利得推定手段４０４内部の機能的構成について示したブロック図である。

【0105】

図１１に示すように、エコー利得推定手段４０４は、受話音量算出手段４１０、受話ＳＴ判定手段４１１、送話音量算出手段４１２、及び推定エコー利得決定手段４１３を有している。

【0106】

受話音量算出手段４１０は、受話出力信号ｒｏに基づいて受話音量ｒｖを算出する。

【0107】

受話ＳＴ判定手段４１１は、送話入力信号ｓｉと受話出力信号ｒｏと受話音量ｒｖとに基づいて対応する（詳しくは動作の説明で後述する）送話入力信号ｓｉに受話出力信号ｒｏのエコーが含まれていて、且つ、近端側の話者が発生していない状態（すなわち受話シングルトーク（ＳＴ）状態）であるか否かを判定して、受話ＳＴ判定結果Ｊとして出力する。

【0108】

送話音量算出手段４１２は、送話入力信号ｓｉに基づいて、送話音量ｓｖを算出する。

【0109】

推定エコー利得決定手段４１３は、送話音量ｓｖと受話音量ｒｖと受話ＳＴ判定結果Ｊとに基づいて、推定エコー利得ＥＧを決定する。

【0110】

（Ｄ−２）第４の実施形態の動作
次に、以上のような構成を有する第２の実施形態の通話装置１０００Ｃを構成する信号処理装置４００の動作（実施形態に係る信号処理方法）について、図１０を用いて説明する。

【0111】

エコー利得推定手段４０４は、送話入力信号ｓｉと受話出力信号ｒｏとに基づいてエコー経路の利得を推定し、得られた推定エコー利得ＥＧをエコー情報記憶手段４０５に与える。エコー経路の利得の推定は、例えば特許文献１のようなエコーキャンセラの一部の構成を用いて、推定されたエコー特性（多くの場合、ＦＩＲフィルタ係数として与えられる）から算出することもできるが、後述するより簡単な方法を用いる方が好適である。なお、推定エコー利得ＥＧの算出方法は、後述する方法に限定させるものではない。

【0112】

エコー情報記憶手段４０５は、推定エコー利得を記憶して、１サンプル後に適応利得補正手段４０６に与える。つまり、遅延器と同等の動作をする。

【0113】

適応利得算出手段４０１の動作は、第２の実施形態の適応利得算出手段２０１又は第３の実施形態の適応利得算出手段３０１の動作と同一であり、２０１又は３０１が適応利得Ｇを出力するのに対して、４０１は同じ値を暫定適応利得Ｇ０として出力する点のみ異なる。

【0114】

適応利得補正手段４０６は、１サンプル前の推定エコー利得ＥＧに基づいて暫定適応利得Ｇ０を補正し、得られた適応利得Ｇを乗算手段４０２に与える。当該補正は、推定エコー利得ＥＧと、適応利得Ｇとの積である合成利得ＣＧが、所定の最大合成利得Ｇｍａｘ以下となるように動作する（式（８））。

【数4】

【0115】

自動利得制御手段４０３及び乗算手段４０２の動作は、それぞれ第２の実施形態の自動利得制御手段２０３及び乗算手段２０２の動作と同様の記載で説明することができるため、詳細については省略する。

【0116】

次に、エコー利得推定手段４０４の詳細な動作を、図１１を用いて説明する。

【0117】

受話音量算出手段４１０は、受話出力信号ｒｏの音量を算出し、得られた受話音量ｒｖを受話ＳＴ判定手段４１１と推定エコー利得決定手段４１３に与える。音量の算出方法は、第１の実施形態における受話音量算出手段１１１と原則同じである。しかし、受話音量算出手段１１１では、受話音量ｒｖが素早く変化すると適応利得Ｇも素早く変化して、受話出力信号ｒｏの音質が劣化してしまうが、逆に受話音量算出手段４１０では、受話音量ｒｖの変化がゆっくりだと受話ＳＴ状態と非受話ＳＴ状態（送話ＳＴ状態またはダブルトーク状態）との切り替えが間に合わなくなる。したがって、数十ミリ秒程度の短い区間での音量が必要となり、時定数はτ＝０．９９程度が好適である。

【0118】

受話ＳＴ判定手段４１１は、送話入力信号ｓｉと受話出力信号ｒｏと受話音量ｒｖとに基づいて受話ＳＴ状態か否かを判定し、得られた受話ＳＴ判定結果Ｊを推定エコー利得決定手段４１３に与える。

【0119】

受話ＳＴ状態か否かは、次の２つの条件で確かめられる。以下の第１の条件及び第２の条件の両方を満たす場合受話ＳＴ状態であると判断することができる。受話ＳＴ状態か否かを判定するための第１の条件は、「ｒｖが十分に大きい」という条件である。そして、受話ＳＴ状態か否かを判定するための第２の条件は、「ｓｉとｒｏの相関係数が十分に大きい」（相関係数が所定値以上に大きいこと）である。

【0120】

ただし、ｓｉに含まれるｒｏのエコーは、エコー経路の遅延の影響を受けているため、同一時刻で相関係数を求めても正しい結果は得られない。そこで、まず、所定の最大遅延量ＤＬｍａｘを定義する。また、相関係数の算出に必要なサンプル数をＬとする。そして、受話ＳＴ判定手段４１１は、Ｌサンプルの受話出力信号ｒｏと、（Ｌ＋ＤＬｍａｘ）サンプルの送話入力信号ｓｉを記憶しておく。そして、記憶しておいたｒｏとｓｉの相互相関関数（サンプル遅延ごとに相関係数を算出したもの）を算出し、当該相互相関関数の最大値Ｒと、その時の遅延（つまり推定エコー遅延ＥＤＬ）を得る。そして、ｒｖが所定の受話音量閾値Ｔｒｖより大きく、且つ、Ｒが所定の相関係数閾値ＴＲよりも大きければ受話ＳＴ判定値ＪＳＴ＝１とし、そうでなければ受話ＳＴ判定値ＪＳＴ＝０とする。そして、ＪＳＴとＥＤＬとのセットを受話ＳＴ判定結果Ｊとして、推定エコー利得決定手段４１３に与える。所定の受話音量閾値Ｔｒｖの好適な値は、ｒｏの振幅値のスケール（例えば、−３２７６８〜＋３２７６７の整数値や、−１．０〜＋１．０の実数値）や音量の算出方法によって異なるが、ｒｏの背景雑音レベル（遠端側雑音音量）を推定して、当該遠端側雑音音量の２倍程度とする。また、所定の相関係数閾値ＴＲは、０．９が好適である。

【0121】

送話音量算出手段４１２は、受話音量算出手段４１０と同じ算出方法を用いて、送話入力信号ｓｉの音量を算出し、得られた送話音量ｓｖを推定エコー利得決定手段４１３に与える。

【0122】

推定エコー利得決定手段４１３は、受話ＳＴ判定結果Ｊ、送話音量ｓｖ、及び受話音量ｒｖに基づいて、推定エコー利得ＥＧを決定し、出力する。推定エコー利得決定手段４１３は、過去（ＤＬｍａｘ−１）サンプル分のｓｖを記憶しておく。そして、ＪＳＴ＝０であれば、１サンプル前のＥＧを現在のＥＧとして出力する。そして、ＪＳＴ＝１であれば、ＥＤＬサンプル前のｓｖを、現在のｒｖで除すことで、ＥＧを算出する。

【0123】

（Ｄ−３）第４の実施形態の効果
第４の実施形態によれば、以下のような効果を奏することができる。

【0124】

第４の実施形態の通話装置１０００Ｃを構成する信号処理装置４００では、エコー経路の利得を考慮に入れて適応利得を補正するので、ユーザが相対音量指示値を大きくし過ぎてしまった場合にもエコーやハウリングを防ぐことができる。これにより、これにより、通話装置１０００Ｃでは、第１〜第３の実施形態と比較して、より良好な双方向通話が可能となる。

【0125】

（Ｅ）第５の実施形態
以下、本発明による信号処理装置、プログラム及び方法、並びに、通話装置の第５の実施形態を、図面を参照しながら詳述する。

【0126】

（Ｅ−１）第５の実施形態の構成
第５の実施形態の通話装置１０００Ｄの構成についても上述の図２を用いて示すことができる。以下では、第５の実施形態の構成について第１〜第４の実施形態との差異を説明する。

【0127】

第５の実施形態の通話装置１０００Ｄでは、信号処理装置４００が信号処理装置５００に置き換わっている点で第４の実施形態と異なっている。

【0128】

第１〜４の実施形態では、エコーを除去していない。したがって、第１〜３の実施形態では、ユーザが相対音量指示値を大きくし過ぎてしまうとエコーやハウリングが発生してしまう可能性があった。また、第４の実施形態においても、エコーを完全に防ぐことは難しかった。そこで、第５の実施形態の信号処理装置５００では、エコーキャンセラ（以下、「エコー除去手段」と呼ぶ）を含む構成とする。信号処理装置５００では、エコー除去手段が所望の動作をすれば、エコー経路の利得に依存せず送話出力信号ｓｏにエコーが残らないので、エコー経路の利得に応じた適応、利得の補正は不要となる。

【0129】

図１２は、信号処理装置５００内部の機能的構成について示したブロック図である。

【0130】

第５の実施形態の信号処理装置５００は、送話入力信号ｓｉと受話出力信号ｒｏとに基づいて送話入力信号ｓｉからエコーを除去した送話出力信号ｓｏを得るエコー除去手段５０７と、送話出力信号ｓｏと相対音量指示値Ｖとに基づいて適応利得Ｇを算出する適応利得算出手段５０１と、受話入力信号ｒｉの音量を正規化して受話正規化信号ｒｎを算出する自動利得制御手段５０３と、適応利得Ｇを受話正規化信号ｒｎに乗じて受話出力信号ｒｏを得る、乗算手段５０２とを有している。

【0131】

（Ｅ−２）第５の実施形態の動作
次に、以上のような構成を有する第５の実施形態の通話装置１０００Ｄを構成する信号処理装置５００の動作（実施形態に係る信号処理方法）について、図１２を用いて説明する。

【0132】

エコー除去手段５０７は、送話入力信号ｓｉに含まれる受話出力信号ｒｏのエコー成分を除去し、得られた送話出力信号ｓｏを適応利得算出手段５０１に与える。エコー成分の除去方法は、任意の公知の技術を用いることができ、例えば、特許文献１の記載技術や参考文献２（特開２０１６−０２５４２５）に記載技術等を用いることができる。

【0133】

適応利得算出手段５０１の動作は、第２の実施形態における適応利得算出手段２０１又は第３の実施形態における適応利得算出手段３０１と同一であり、２０１又は３０１には送話入力信号ｓｉが与えられるのに対して、５０１にはエコー除去手段５０７から得られた送話出力信号ｓｏが与えられる点が異なる。

【0134】

自動利得制御手段５０３及び乗算手段５０２の動作は、それぞれ第２の実施形態の自動利得制御手段２０３及び乗算手段２０２の動作と同様の記載により説明できるため、詳細については省略する。

【0135】

（Ｅ−３）第５の実施形態の効果
第５の実施形態によれば、以下のような効果を奏することができる。

【0136】

第５の実施形態の通話装置１０００Ｄを構成する信号処理装置５００では、エコーが除去されているので、ユーザが相対音量指示値を大きくし過ぎてしまった場合にもエコーやハウリングを防ぐことができる。これにより、第５の実施形態では、第１〜第４の実施形態と比較してより良好な通話が可能となる。

【0137】

（Ｆ）第６の実施形態
以下、本発明による信号処理装置、プログラム及び方法、並びに、通話装置の第６の実施形態を、図面を参照しながら詳述する。

【0138】

（Ｆ−１）第６の実施形態の構成
第６の実施形態の通話装置１０００Ｅの構成についても上述の図１を用いて示すことができる。以下では、第６の実施形態の構成について第５の実施形態との差異を説明する。

【0139】

第６の実施形態の通話装置１０００Ｅでは、信号処理装置５００が信号処理装置６００に置き換わっている点で第５の実施形態と異なっている。

【0140】

第５の実施形態では、第４の実施形態における推定エコー利得に基づく適応利得の補正が含まれていなかった。しかし、エコー除去手段の初期学習中や、エコー経路が変動した直後は、エコー経路の学習が不十分であるため、エコーを完全に除去することができない。この時に、ユーザが相対音量指示値を大きくし過ぎてしまうと、エコーやハウリングが発生してしまう可能性があった。そこで、第６の実施形態では、第５の実施形態の構成に推定エコー利得に基づいて適応利得を補正する手段を追加した構成となっている。

【0141】

図１３は、信号処理装置６００内部の機能的構成について示したブロック図である。

【0142】

図１３に示すように、信号処理装置６００は、適応利得算出手段６０１、乗算手段６０２、自動利得制御手段６０３、エコー情報記憶手段６０５、適応利得補正手段６０６、及びエコー除去手段６０７を有している。

【0143】

エコー除去手段６０７は、送話入力信号ｓｉと受話出力信号ｒｏとに基づいて送話入力信号ｓｉからエコーを除去した送話出力信号ｓｏを得る。

【0144】

エコー情報記憶手段６０５は、エコー除去手段６０７によって推定された推定エコー特性ＥＲを記憶する。

【0145】

適応利得算出手段６０１は、送話出力信号ｓｏと相対音量指示値Ｖに基づいて、暫定適応利得Ｇ０を算出する。

【0146】

適応利得補正手段６０６は、１サンプル前の推定エコー特性ＥＲに基づいて、暫定適応利得Ｇ０を補正して適応利得Ｇを算出する。

【0147】

自動利得制御手段６０３は、受話入力信号ｒｉの音量を正規化して、受話正規化信号ｒｎを算出する。

【0148】

乗算手段６０２は、適応利得Ｇを受話正規化信号ｒｎに乗じて、受話出力信号ｒｏを得る。

【0149】

（Ｆ−２）第６の実施形態の動作
次に、以上のような構成を有する第６の実施形態の通話装置１０００Ｅを構成する信号処理装置６００の動作（実施形態に係る信号処理方法）について、図１３を用いて説明する。

【0150】

エコー除去手段６０７の動作は、エコー除去信号ｓｃ（送話出力信号ｓｏと同値）を適応利得算出手段６０１に与えるのに加えて、エコーを除去するために推定したエコー経路の特性（ＦＩＲフィルタ係数、又はエコー経路の周波数特性の推定値）を推定エコー特性ＥＲとしてエコー情報記憶手段６０５に与えることを除けば、第５の実施形態におけるエコー除去手段５０７の動作と同様である。

【0151】

エコー情報記憶手段６０５の動作は、第４の実施形態におけるエコー情報記憶手段４０５の動作とほぼ同様である。第４の実施形態におけるエコー情報記憶手段４０５は、記憶する情報が推定エコー利得であったが、エコー情報記憶手段６０５は、推定エコー特性である点で異なっている。

【0152】

適応利得算出手段６０１の動作は、第４の実施形態における適応利得算出手段４０１の動作と同様である。

【0153】

適応利得補正手段６０６の動作は、１サンプル前の推定エコー利得ＥＧを、１サンプル前の推定エコー特性ＥＲから算出する点を除けば、第４の実施形態における適応利得補正手段４０６の動作と同様である。推定エコー利得ＥＧは、推定エコー特性ＥＲが、例えばＦＩＲフィルタ係数であれば２乗和の平方根によって算出し、例えば周波数特性であれば絶対値の２乗平均の平方根によって算出することができる。

【0154】

自動利得制御手段６０３及び乗算手段６０２の動作は、それぞれ第４の実施形態の自動利得制御手段４０３及び乗算手段４０２の動作同様である。

【0155】

（Ｆ−３）第６の実施形態の効果
第６の実施形態によれば、以下のような効果を奏することができる。

【0156】

第６の実施形態の通話装置１０００Ｅを構成する信号処理装置６００では、エコー除去手段が所望の動作をしているときにはエコーが除去され、さらにエコー除去手段が初期学習中やエコー経路の変動によってエコーを除去できなくても、適応利得を補正するので、ユーザが相対音量指示値を大きくし過ぎてしまった場合にも常にエコーやハウリングを防ぐことができる。これにより、第６の実施形態では、第５の実施形態と比較して、より良好な通話が可能となる。

【0157】

（Ｇ）他の実施形態
本発明は、上記の各実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。

【0158】

（Ｇ−１）第３の実施形態において、雑音相対音量指示値Ｖｎは、ユーザが指定できるようにしても良い。

【0159】

また、第３の実施形態において、雑音相対音量指示値Ｖｎは、相対音量指示値Ｖと連動して、Ｖに関して広義単調増加するようにしても良い。ＶｎがＶと連動する場合、Ｖｎは放音音量が背景雑音にかき消されないようにするための利得であるから１以上であることが望ましいので、例えば式（９）を用いるのが望ましい。式（９）によれば、Ｖｎは１以上２未満の値となる。
Ｖｎ＝２−ｅｘｐ（−Ｖ） …（９）

【0160】

（Ｇ−２）第４の実施形態において、最大合成利得Ｇｍａｘは、ユーザが指定できるようにしても良い。

【0161】

（Ｇ−３）第４の実施形態において、最大合成利得Ｇｍａｘは、自動的に設定されるようにしても良い。例えば、所定の最大合成利得初期値Ｇｍａｘ０を定義して、Ｇｍａｘ０＝１０のような大きめの値とし、Ｇｍａｘの初期値をＧｍａｘ０とする。そして、ハウリング検出手段を構成に加え、公知の任意のハウリング検出技術を用いてハウリングを検出する。そして、さらに最大合成利得更新手段を構成に加え、ハウリングが検出されたらＧｍａｘを小さくする（例えば、ハウリングが検出されるたびに０．９倍する）。このようにＧｍａｘを更新することで、ハウリングが生じない範囲内で、最大のＧｍａｘを自動的に設定することができるので、事前に端末ごとにチューニングする必要がなくなる。

【0162】

（Ｇ−４）上記の各実施形態では、本発明の信号処理装置を、通話装置（双方向通話装置）に適用する例について示したが、本発明の信号処理装置を単独の装置として構成（例えば、コンピュータ上にソフトウェア的に構成したり、専用の半導体チップ等により構成）するようにしてもよい。

【0163】

（Ｇ−５）第４〜第６の実施形態の信号処理装置は、自動利得制御手段を備えているが、これを除外して構成するようにしてもよい。

【0164】

（Ｇ−６）第２〜第６の実施形態の信号処理装置は、自動利得制御手段によって受話信号の音量が１に正規化されることを前提としていたが、例えば特許文献２に記載の技術を使う場合には、当該自動利得制御手段の短時間平均パワーの目的値を適応利得Ｇに乗じたものを適応利得Ｇに置き換えるようにしても良い。

【0165】

（Ｇ−７）上記のすべての実施形態において、相対音量指示値Ｖは、ユーザが指定する（変更できる）構成となっているが、音量指示装置４を有さない構成とし、相対音量指示値Ｖは所定の定数値としても良い。

【符号の説明】

【0166】

１０００、１０００Ａ、１０００Ｂ、１０００Ｃ、１０００Ｄ、１０００Ｅ…通話装置、１…受信装置、２…デコード装置、３…信号処理装置、４…音量指示装置、５…Ｄ／Ａ変換装置、６…放音装置、７…エコー経路、８…集音装置、９…Ａ／Ｄ変換装置、１０…エンコード装置、１１…送信装置、１００…信号処理装置、１０１…適応利得算出手段、１０２…乗算手段、１１０…送話音量算出手段、１１１…受話音量算出手段、１１２…適応利得決定手段、２００…信号処理装置、２０１…適応利得算出手段、２０２…乗算手段、２０３…自動利得制御手段、２１０…送話音量算出手段、２１２…適応利得決定手段、３００…信号処理装置、３０１…適応利得算出手段、３１０…送話音量算出手段、３１２…適応利得決定手段、３１３…音声区間検出手段、３１４…雑音音量算出手段、４００…信号処理装置、４０１…適応利得算出手段、４０２…乗算手段、４０３…自動利得制御手段、４０４…エコー利得推定手段、４０５…エコー情報記憶手段、４０６…適応利得補正手段、４１０…受話音量算出手段、４１１…受話ＳＴ判定手段、４１２…送話音量算出手段、４１３…推定エコー利得決定手段、５００…信号処理装置、５０１…適応利得算出手段、５０２…乗算手段、５０３…自動利得制御手段、５０７…エコー除去手段、６００…信号処理装置、６０１…適応利得算出手段、６０２…乗算手段、６０３…自動利得制御手段、６０５…エコー情報記憶手段、６０６…適応利得補正手段、６０７…エコー除去手段。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】