特開 2023-27486 通信装置、通信システム、通信方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023027486

(43)【公開日】2023-03-02

(54)【発明の名称】通信装置、通信システム、通信方法、及びプログラム

(51)【国際特許分類】

   H04B 3/20 20060101AFI20230222BHJP

   H04M 1/58 20060101ALI20230222BHJP

   H04M 1/00 20060101ALI20230222BHJP

【ＦＩ】

H04B3/20

H04M1/58 Z

H04M1/00 H

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2021132597

(22)【出願日】2021-08-17

(71)【出願人】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】浪江 健史

【テーマコード（参考）】

5K046

5K127

【Ｆターム（参考）】

5K046AA01

5K046AA05

5K046HH01

5K046HH55

5K046HH61

5K046HH79

5K127AA03

5K127BA17

5K127BB16

5K127JA02

5K127JA04

5K127MA02

5K127MA03

5K127MA06

5K127MA31

5K127MA35

(57)【要約】

【課題】他の通信装置と音声を含むコンテンツデータを送受信する通信装置において、エコー音声を除去する際に、マイクが取得したユーザの音声に与える影響、及び影響の時間的変化を低減する。
【解決手段】通信装置は、他の通信装置と音声を含むコンテンツデータを送受信する通信装置であって、音声を取得する音声取得部と、前記音声を音声周波数と音量で表す第１の音声データを生成する第１の生成部と、前記第１の音声データの周波数を所定の周波数シフトした第２の音声データを生成する第２の生成部と、前記所定の周波数に基づいて、前記第２の音声データの音量を周波数に対して櫛歯状に削減、又は削除した第３の音声データを生成する第３の生成部と、を有する。
【選択図】図３

【特許請求の範囲】

【請求項1】

他の通信装置と音声を含むコンテンツデータを送受信する通信装置であって、
音声を取得する音声取得部と、
前記音声を音声周波数と音量で表す第１の音声データを生成する第１の生成部と、
前記第１の音声データの周波数を所定の周波数シフトした第２の音声データを生成する第２の生成部と、
前記所定の周波数に基づいて、前記第２の音声データの音量を周波数に対して櫛歯状に削減、又は削除した第３の音声データを生成する第３の生成部と、
を有する、通信装置。

【請求項2】

前記第３の生成部は、前記第２の音声データを前記所定の周波数ごとの複数の周波数帯域に分割して周波数順に並べたときに、奇数番目となる周波数帯域、又は偶数番目となる周波数帯域の音量を下げる、又は無音にする請求項１に記載の通信装置。

【請求項3】

前記第３の生成部が生成した前記第３の音声データを通信用のデータに変換した第１のコンテンツデータを前記他の通信装置へ送信する送信部と、
前記他の通信装置が生成した前記第３の音声データを前記通信用のデータに変換した第２のコンテンツデータを前記他の通信装置から受信する受信部と、
前記第２のコンテンツデータに基づいて音声を出力する音声出力部と、
を有する、請求項１又は２に記載の通信装置。

【請求項4】

前記第２の生成部が生成した前記第２の音声データを通信用のデータに変換した第１のコンテンツデータを前記他の通信装置へ送信する送信部と、
前記他の通信装置が生成した前記第２の音声データを前記通信用のデータに変換した第２のコンテンツデータを前記他の通信装置から受信する受信部と、
前記第２のコンテンツデータに含まれる音声を音声周波数と音量で表す第４の音声データを生成する第４の生成部と、
前記第３の生成部が、前記第４の音声データを用いて生成した前記第３の音声データに基づいて音声を出力する音声出力部と、
を有する、請求項１又は２に記載の通信装置。

【請求項5】

前記通信装置は、画像と音声とを含むコンテンツデータを１つ以上の他の通信装置と送受信する会議装置である、請求項１乃至４のいずれか一項に記載の通信装置。

【請求項6】

複数の通信装置が音声を含むコンテンツデータを送受信する通信システムであって、
音声を音声周波数と音量で表す第１の音声データを生成する第１の生成部と、
前記第１の音声データの周波数を所定の周波数シフトした第２の音声データを生成する第２の生成部と、
前記所定の周波数に基づいて、前記第２の音声データの音量を周波数に対して櫛歯状に削減、又は削除した第３の音声データを生成する第３の生成部と、
を有する、通信システム。

【請求項7】

前記複数の通信装置は、通信サーバを介して前記コンテンツデータを送受信し、
前記通信サーバは、前記第１の生成部、前記第２の生成部、及び前記第３の生成部のうち、少なくとも１つを有する、
請求項６に記載の通信システム。

【請求項8】

前記通信システムは、前記複数の通信装置が画像と音声とを含むコンテンツデータを相互に送受信する会議システムである、請求項６又は７に記載の通信システム。

【請求項9】

他の通信装置と音声を含むコンテンツデータを送受信する通信装置が、
音声を音声周波数と音量で表す第１の音声データを生成する処理と、
前記第１の音声データの周波数を所定の周波数シフトした第２の音声データを生成する処理と、
前記所定の周波数に基づいて、前記第２の音声データの音量を周波数に対して櫛歯状に削減、又は削除した第３の音声データを生成する処理と、
を実行する、通信方法。

【請求項10】

請求項９に記載の通信方法を通信装置に実行させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、通信装置、通信システム、通信方法、及びプログラムに関する。

【背景技術】

【0002】

複数の通信装置が、音声を含むコンテンツを送受信する通信システムにおいて、音声エコーをキャンセルするエコーキャンセラが知られている。

【0003】

例えば、スピーカ側とマイク側のクロックのずれを検出し、そのずれに基づいて、スピーカ側の周波数信号、又はマイク側の周波数信号の周波数をシフトすることにより、効果的にエコーを抑圧するエコーキャンセラが知られている（例えば、特許文献１参照）。

【発明の概要】

【発明が解決しようとする課題】

【0004】

例えば、特許文献１に示されるような従来のエコーキャンセラは、マイクが取得した入力音声から、スピーカが出力したエコー音声を除去する際に、マイクが取得したユーザの音声に影響を与え、また、その影響が時間的に変化するという問題がある。

【0005】

本発明の一実施形態は、上記の問題点に鑑みてなされたものであって、他の通信装置と音声を含むコンテンツデータを送受信する通信装置において、エコー音声を除去する際に、マイクが取得したユーザの音声に与える影響、及び影響の時間的変化を低減する。

【課題を解決するための手段】

【0006】

上記の課題を解決するため、本発明の一実施形態に係る通信装置は、他の通信装置と音声を含むコンテンツデータを送受信する通信装置であって、音声を取得する音声取得部と、前記音声を音声周波数と音量で表す第１の音声データを生成する第１の生成部と、前記第１の音声データの周波数を所定の周波数シフトした第２の音声データを生成する第２の生成部と、前記所定の周波数に基づいて、前記第２の音声データの音量を周波数に対して櫛歯状に削減、又は削除した第３の音声データを生成する第３の生成部と、を有する。

【発明の効果】

【0007】

本発明の一実施形態によれば、他の通信装置と音声を含むコンテンツデータを送受信する通信装置において、エコー音声を除去する際に、マイクが取得したユーザの音声に与える影響、及び影響の時間的変化を低減することができる。

【図面の簡単な説明】

【0008】

【図1】第１の実施形態に係る通信システムのシステム構成の例を示す図である。

【図2】第１の実施形態に係る通信装置のハードウェア構成の例を示す図である。

【図3】第１の実施形態に係る通信装置の機能構成の例を示す図である。

【図4】第１の実施形態に係る第１の音声データについて説明するための図である。

【図5】第１の実施形態に係る第２の音声データについて説明するための図である。

【図6】第１の実施形態に係る第３の音声データについて説明するための図（１）である。

【図7】第１の実施形態に係る第３の音声データについて説明するための図（２）である。

【図8】第１の実施形態に係る第３の音声データについて説明するための図（３）である。

【図9】第１の実施形態に係る通信装置の処理の例を示すフローチャートである。

【図10】第２の実施形態に係る通信装置の機能構成の例を示す図である。

【図11】第２の実施形態に係る通信装置の処理の例を示すフローチャートである。

【図12】第３の実施形態に係る通信システムのシステム構成の例を示す図である。

【図13】第３の実施形態に係るコンピュータのハードウェア構成の例を示す図である。

【図14】第３の実施形態に係る通信サーバの機能構成の例を示す図である。

【図15】第３の実施形態に係る通信システムの処理の例を示すシーケンス図である。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

【0010】

［第１の実施形態］
＜システム構成＞
図１は、第１の実施形態に係る通信システムのシステム構成の例を示す図である。通信システム１は、通信装置１００ａが、通信回線１０を介して、他の通信装置１００ｂと音声を含むコンテンツデータを送受信するシステムである。コンテンツデータには、音声に加えて、例えば、動画像、静止画像、又はテキスト等のデータが含まれていても良いが、ここでは、説明を容易にするため、コンテンツデータが音声データであるものとして、以下の説明を行う。

【0011】

なお、通信装置１００ａと、他の通信装置１００ｂは、同じ通信装置であるものとする。また、以下の説明において、通信装置１００ａ、１００ｂのうち、任意の通信装置を示す場合、「通信装置１００」を用いる。

【0012】

図１において、通信装置１００ａは、通信装置１００ａが備えるマイク１０１ａで取得した音声（例えば、通信装置１００ａを利用するユーザの音声等）を音声データに変換し、通信回線１０を介して、他の通信装置１００ｂへ送信する。

【0013】

他の通信装置１００ｂは、通信回線１０を介して、通信装置１００ａから受信した音声データに基づいて、他の通信装置１００ｂが備えるスピーカ１０２ｂから音声Ａを出力する。また、他の通信装置１００ｂは、通信装置１００ａと同様に、他の通信装置１００ｂが備えるマイク１０１ｂで取得した音声Ｂを音声データに変換し、通信回線１０を介して、通信装置１００ａへ送信する。

【0014】

このとき、マイク１０１ｂが取得した入力音声には、他の通信装置１００ｂを利用するユーザの音声Ｂに加えて、スピーカ１０２ｂが出力した音声Ａを、マイク１０１ｂが取得した音声１０３が含まれる。この音声１０３を、そのまま通信装置１００ａへ送ってしまうと、通信装置１００ａが出力する音声Ｂに、音声Ａが遅延した音声１０３が加わる音声エコーが発生する。この音声エコーは、ユーザに不快感を与えるだけではなく、ハウリングの原因となる場合がある。

【0015】

そのため、例えば、特許文献１に示すような従来の技術では、音声Ｂだけを通信装置１００ａに送信できるように、マイク１０１ｂが取得した入力音声から、音声１０３を除去するエコーキャンセラを搭載している。しかし、従来のエコーキャンセラは、マイク１０１ｂが取得した入力音声から、スピーカ１０２ｂが出力した音声１０３を除去する際に、マイク１０１ｂが取得したユーザの音声Ｂに影響を与え、また、その影響が時間的に変化するという問題がある。そのため、従来のエコーキャンセラでは、通信装置１００ａが出力する音声Ｂが、不自然な音になるとともに、その不自然さが時間と共に変化し、ユーザに不快感を与えていた。

【0016】

そこで、本実施形態に係る通信装置１００は、エコー音声を除去するとともに、エコー音声を除去する際に、マイクが取得したユーザの音声に与える影響、及び影響の時間的変化を低減する機能を有している。

【0017】

＜ハードウェア構成＞
図２は、第１の実施形態に係る通信装置のハードウェア構成の例を示す図である。通信装置１００は、一例として、図２に示すように、ＡＤＣ（Analog to Digital Converter）２０１、信号処理ユニット２０２、コーデック２０３、通信回路２０４、及びＤＡＣ（Digital to Analog Converter）２０５、マイク１０１、及びスピーカ１０２等を備える。

【0018】

ＡＤＣ２０１は、マイク１０１から出力される音声信号（アナログ信号）をデジタル信号に変換する回路、又はデバイスである。なお、ＡＤＣ２０１は、信号処理ユニット２０２に含まれていても良い。

【0019】

信号処理ユニット２０２は、デジタル音声信号を処理する回路、デバイス、又はコンピュータである。一例として、信号処理ユニット２０２は、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、又はＦＰＧＡ（Field Programmable Gate Array）等によって実現される。別の一例として、信号処理ユニット２０２は、上記のＤＳＰ、ＡＳＩＣ、又はＦＰＧＡ等に代えて（又は加えて）、ＣＰＵ（Central Processing Unit）、メモリ、及びストレージデバイス等で構成されるコンピュータと、コンピュータが実行するプログラム等によって実現されるものであっても良い。

【0020】

コーデック２０３は、信号処理ユニット２０２が処理した音声データを符号化して通信用のデータに変換するエンコーダ２１１、及び通信用のデータを復号して音声データに変換するデコーダ２１２を含むデバイス、又はコンピュータが実行するプログラム等である。なお、コーデックは、信号処理ユニット２０２に含まれていても良い。

【0021】

通信回路２０４は、通信回線１０を介して、他の通信装置１００と通信するための回路、デバイス、又はモジュール等である。本実施形態では、通信回路２０４は、無線通信を行うものであっても良いし、有線通信を行うものであっても良い。また、通信回路２０４が、他の通信装置１００と通信する通信方式は、任意の通信方式であって良い。

【0022】

なお、図２に示した、通信装置１００のハードウェア構成は一例であり、通信装置１００は、全体を制御するコンピュータ、カメラ、表示デバイス、入力デバイス等をさらに有していても良い。

【0023】

＜機能構成＞
図３は、第１の実施形態に係る通信装置の機能構成の例を示す図である。本実施形態に係る通信装置１００は、例えば、音声取得部３０１、第１の生成部３０２、第２の生成部３０３、第３の生成部３０４、送信部３０５、受信部３０６、及び音声出力部３０７等の機能構成を有している。上記の各機能構成は、例えば、ハードウェア、コンピュータが実行するプログラム、又はハードウェアとコンピュータが実行するプログラムとの組み合わせによって実現される。

【0024】

音声取得部３０１は、例えば、図２のマイク１０１、及びＡＤＣ２０１等によって実現され、通信装置１００の周辺の音声（例えば、ユーザの音声等）を取得する。例えば、音声取得部３０１は、マイク１０１が出力するアナログの音声信号を、ＡＤＣ２０１でデジタルの音声信号に変換する。

【0025】

第１の生成部３０２は、音声取得部３０１が取得した音声を音声周波数と音量で表す、例えば、図４に示すような第１の音声データ４０１を生成する。図４の横軸は周波数、縦軸は音量（又は音圧レベル、振幅等）を示しており、第１の音声データ４０１は、各周波数における音声の音量を示している。

【0026】

第２の生成部３０３は、第１の生成部３０２が生成した第１の音声データ４０１を、所定の周波数シフトした、例えば、図５に示すような第２の音声データ５０１を生成する。図５の例では、図４に示した第１の音声データ４０１を、所定の周波数ｆだけ、周波数を高くシフトした第２の音声データ５０１を示している。なお、第２の生成部３０３は、第１の音声データ４０１を、所定の周波数ｆだけ、周波数を低くシフトして第２の音声データ５０１を作成しても良い。

【0027】

第３の生成部３０４は、上述した所定の周波数ｆに基づいて、第２の音声データ５０１の音量を櫛歯状に削減、又は削除した、例えば、図６に示すような第３の音声データ６０１を生成する。この第３の音声データ６０１は、例えば、図７に示すように、第２の音声データ５０１を、所定の周波数ｆごとの複数の周波数帯域７０１に分割して、例えば、１、２、３、・・・と周波数順に並べたときに、偶数番目（２、４、６、・・・）となる周波数帯域の音量を無音としたものである。なお、これに限られず、第３の音声データ６０１は、奇数番目（１、３、５、・・・）の周波数帯域の音量を無音としたものであっても良い。さらに、第３の音声データ６０１は、偶数番目の周波数帯域、又は奇数番目の周波数帯域の音量を、無音に限られず、十分に音量が低い所定の音量以下に下げるものであっても良い。

【0028】

このような第３の音声データ６０１は、例えば、図２の信号処理ユニット２０２で、所定の周波数帯域（例えば、偶数番目の周波数帯域）の音量の値を下げる（例えば、０に書き換える）こと等により生成することができる。

【0029】

この第３の音声データ６０１に基づいて、例えば、図１において、他の通信装置１００ｂのスピーカ１０２ｂから出力する音声Ａには、上述した偶数番目の周波数帯域の音が含まれない。

【0030】

また、スピーカ１０２ｂが出力した音声Ａを、マイク１０１ｂが取得した音声１０３は、他の通信装置１００ｂが備える第２の生成部３０３によって、所定の周波数ｆだけ、周波数を高くシフトした第２の音声データに変換される。この第２の音声データは、例えば、図８（Ａ）に示すように、第３の音声データ６０１に含まれる奇数番目の周波数帯域の音量データを、偶数番目の周波数帯域にシフトした第２の音声データ８０１となる。

【0031】

この第２の音声データ８０１は、奇数番目の周波数帯域の音量が０（無音）であるため、他の通信装置１００ｂが備える第３の生成部３０４によって、偶数番目の周波数帯域の音量を０に下げることにより、図８（Ｂ）に示すように、無音データとなる。このように、通信装置１００は、第３の音声データ６０１を生成して、他の通信装置１００に送信することにより、音声エコーを削減することができる。

【0032】

なお、図４から８に示した各音声データは、あくまで説明用のイメージであり、実際の音声データを示すものではない。例えば、図７で説明した所定の周波数ｆは、音声データを削減可能であり、かつ違和感がないように、例えば、数Ｈｚ～数十Ｈｚ程度の範囲で、実験などにより、最適な値を決定することが望ましい。

【0033】

また、第３の生成部３０４が、例えば、図７において、偶数番目の周波数帯域の音量を削減する際に、削減する周波数幅は、周波数ｆ、又は周波数ｆにマージンを加えた周波数幅とする。このマージンの値は、例えば、クロック信号の誤差により、偶数番目の周波数帯域と奇数番目の周波数帯域との境界において、エコー音声がを十分に削減できずに違和感が残らないように、例えば、実験、又は計算等により、最適な値を決定することが望ましい。

【0034】

ここで、図３に戻り、通信装置１００の機能構成の説明を続ける。送信部３０５は、第３の生成部３０４が生成した第３の音声データ６０１を通信用のデータに変換し、変換した通信用のデータ（以下、第１のコンテンツデータと呼ぶ）を、他の通信装置１００へ送信する。例えば、送信部３０５は、図２のエンコーダ２１１を用いて、第３の音声データ６０１を符号化し、符号化した第１のコンテンツデータを通信回路２０４で他の通信装置１００に送信する。

【0035】

受信部３０６は、他の通信装置１００が生成した第３の音声データを通信用のデータに変換した通信用のデータ（以下、第２のコンテンツデータと呼ぶ）を、他の通信装置１００から受信する。例えば、受信部３０６は、図２の通信回路２０４が受信した第２のコンテンツデータを、デコーダ２１２で復号し、音声出力部３０７に出力する。

【0036】

音声出力部３０７は、受信部３０６が受信した第２のコンテンツに基づいて、音声を出力する。例えば、音声出力部３０７は、第２のコンテンツに含まれる、例えば、図６の第３の音声データ６０１のように、所定の周波数帯域の音量を下げた、櫛歯状の音声を出力する。

【0037】

＜処理の流れ＞
続いて、第１の実施形態に係る通信方法の処理の流れについて説明する。

【0038】

図９は、第１の実施形態に係る通信装置の処理の例を示すフローチャートである。

【0039】

（送信処理）
図９（Ａ）は、通信装置１００が他の通信装置にコンテンツデータを送信する送信処理の一例を示している。なお、図９（Ａ）に示す処理の開始時点において、通信装置１００は、他の通信装置１００と通信を確立し、互いにコンテンツデータを送受信可能な状態であるものとする。

【0040】

ステップＳ９０１において、音声取得部３０１は、マイク１０１を用いて、通信装置１００の周辺の音声を取得する。

【0041】

ステップＳ９０２において、第１の生成部３０２は、音声取得部３０１が取得した音声を音声周波数と音量で表す、例えば、図４で説明した、第１の音声データ４０１を生成する。

【0042】

ステップＳ９０３において、第２の生成部３０３は、第１の生成部３０２が生成した第１の音声データ４０１の周波数を所定の周波数ｆシフトした、例えば、図５で説明した、第２の音声データ５０１を生成する。

【0043】

ステップＳ９０４において、第３の生成部３０４は、第２の生成部３０３が生成した第２の音声データ５０１の所定の周波数帯域の音量を下げた、例えば、図６、７で説明した、第３の音声データ６０１を生成する。

【0044】

ステップＳ９０５において、送信部３０５は、第３の生成部３０４が生成した第３の音声データ６０１を、通信用のデータに変換したコンテンツデータ（第１のコンテンツデータ）を、通信中の他の通信装置１００へ送信する。

【0045】

（受信処理）
図９（Ｂ）は、通信装置１００が他の通信装置からコンテンツデータを受信する受信処理の一例を示している。なお、図９（Ｂ）に示す処理の開始時点において、通信装置１００は、他の通信装置１００と通信を確立し、互いにコンテンツデータを送受信可能な状態であるものとする。

【0046】

ステップＳ９１１において、受信部３０６は、通信中の他の通信装置１００からコンテンツデータ（第２コンテンツデータ）を受信する。

【0047】

ステップＳ９１２において、音声出力部３０７は、受信部３０６が受信したコンテンツデータに含まれる音声データを再生して音声を出力する。

【0048】

例えば、図１に示す通信装置１００ａ、１００ｂは、それぞれ、図８（Ａ）に示す送信処理、及び図８（Ｂ）に示す受信処理を繰り返し実行することにより、音声を送受信する。これにより、図８（Ａ）、（Ｂ）で説明したように、受信した音声に含まれるエコー音声が削減される。また、本実施形態では、受信した音声の周波数が所定の周波数ｆだけシフトするが、所定の周波数ｆは、前述したように数Ｈｚ～数十Ｈｚ程度であり、時間と共に変化することがないので、ユーザに与える不快感を低減することができる。

【0049】

以上、第１の実施形態によれば、他の通信装置１００と音声を含むコンテンツデータを送受信する通信装置において、エコー音声を除去する際に、マイクが取得したユーザの音声に与える影響、及び影響の時間的変化を低減することができる。

【0050】

［第２の実施形態］
図３に示した、第１の実施形態に係る通信装置１００の機能構成は一例であり、様々な変形、または応用が可能である。例えば、第１の実施形態に係る通信装置１００は、第３の音声データ６０１を含むコンテンツデータを送受信していたが、通信装置１００は、第２の音声データ５０１を含むコンテンツデータを送受信するものであっても良い。

【0051】

＜機能構成＞
図１０は、第２の実施形態に係る通信装置の機能構成の例を示す図である。第２の実施形態に係る通信装置１００は、図３で説明した第１の実施形態と同様に、音声取得部３０１、第１の生成部３０２、第２の生成部３０３、第３の生成部３０４、送信部３０５、受信部３０６、及び音声出力部３０７等を有している。また、第２の実施形態に係る通信装置１００は、上記の各機能構成に加えて、第４の生成部１００１、データ変換部１００２等を有している。

【0052】

第２の実施形態では、送信部３０５は、第２の生成部３０３が生成した第２の音声データ５０１を通信用のデータに変換したコンテンツデータ（第１のコンテンツデータ）を、通信中の他の通信装置１００へ送信する。また、受信部３０６は、通信中の他の通信装置１００が送信する、第２の音声データ５０１を含むコンテンツデータ（第２のコンテンツデータ）を受信する。

【0053】

第４の生成部１００１は、例えば、図２の信号処理ユニット２０２等によって実現され、受信部３０６が受信したコンテンツデータに含まれる音声を、周波数と音量で表す第４の音声データに変換する。例えば、第４の生成部１００１は、受信部３０６が受信したコンテンツデータに含まれる音声（第２の音声データ５０１）を、第１の生成部３０２と同様にして、周波数と音量で表す第４の音声データに変換する。

【0054】

また、本実施形態に係る第３の生成部３０４は、所定の周波数ｆに基づいて、第４の音声データの所定の周波数帯域の音量を下げた、例えば、図６に示すような第３の音声データ６０１を生成する。なお、第３の生成部３０４が、第３の音声データを作成する作成方法は、第１の実施形態と同様で良い。

【0055】

データ変換部１００２は、例えば、図２の信号処理ユニット２０２等によって実現され、第３の生成部３０４が生成した第３の音声データ６０１を、音声出力部３０７が再生可能な音声データに変換する。なお、音声出力部３０７が、第３の音声データを再生可能である場合、通信装置１００は、データ変換部１００２を有していなくても良い。

【0056】

＜処理の流れ＞
続いて、第２の実施形態に係る通信方法の処理の流れについて説明する。図１１は、第２の実施形態に係る通信装置の処理の例を示すフローチャートである。

【0057】

（送信処理）
図１１（Ａ）は、通信装置１００が他の通信装置にコンテンツデータを送信する送信処理の一例を示している。なお、図１１（Ａ）に示す処理の開始時点において、通信装置１００は、他の通信装置１００と通信を確立し、互いにコンテンツデータを送受信可能な状態であるものとする。また、ここでは、第１の実施形態と同様の処理に対する詳細な説明は省略する。

【0058】

ステップＳ１１０１において、音声取得部３０１は、マイク１０１を用いて、通信装置１００の周辺の音声を取得する。

【0059】

ステップＳ１１０２において、第１の生成部３０２は、音声取得部３０１が取得した音声を音声周波数と音量で表す第１の音声データ４０１を生成する。

【0060】

ステップＳ１１０３において、第２の生成部３０３は、第１の生成部３０２が生成した第１の音声データ４０１の周波数を所定の周波数ｆシフトした第２の音声データ５０１を生成する。

【0061】

ステップＳ１１０４において、送信部３０５は、第２の生成部３０３が生成した第２の音声データ５０１を、通信用のデータに変換したコンテンツデータ（第１のコンテンツデータ）を、通信中の他の通信装置１００へ送信する。

【0062】

（受信処理）
図１１（Ｂ）は、通信装置１００が他の通信装置からコンテンツデータを受信する受信処理の一例を示している。なお、図１１（Ｂ）に示す処理の開始時点において、通信装置１００は、他の通信装置１００と通信を確立し、互いにコンテンツデータを送受信可能な状態であるものとする。また、ここでは、第１の実施形態と同様の処理に対する詳細な説明は省略する。

【0063】

ステップＳ１１１１において、受信部３０６は、通信中の他の通信装置１００からコンテンツデータ（第２コンテンツデータ）を受信する。

【0064】

ステップＳ１１１２において、第４の生成部１００１は、受信部３０６が受信したコンテンツデータに含まれる音声を周波数と音量で表す第４の音声データを生成する。

【0065】

ステップＳ１１１３において、第３の生成部３０４は、第４の生成部１００１が生成した第４の音声データの所定の周波数帯域の音量を下げた、例えば、図６に示すような第３の音声データ６０１を生成する。

【0066】

ステップＳ１１１４において、音声出力部３０７は、第３の生成部３０４が生成した第３の音声データ６０１に基づいて音声を出力する。例えば、音声出力部３０７は、必要に応じて、データ変換部１００２を用いて、第３の音声データ６０１を再生可能な音声データに変換し、変換した音声データを再生することにより音声を出力する。

【0067】

上記の処理により、第２の実施形態に係る音声出力部３０７は、第１の実施形態に係る音声出力部３０７と同様の音声出力信号をスピーカ１０２に出力する。従って、第２の実施形態においても、他の通信装置１００と音声を含むコンテンツデータを送受信する通信装置において、エコー音声を除去する際に、マイクが取得したユーザの音声に与える影響、及び影響の時間的変化を低減することができる。

【0068】

［第３の実施形態］
第３の実施形態では、本実施形態に係る通信システム１の応用例について説明する。図１２は、第３の実施形態に係る通信システムのシステム構成の例を示す図である。本実施形態に係る通信システム１、例えば、複数の通信装置１００ｃ、１００ｄ、１００ｅ、・・・が、通信ネットワーク１２０１を介して通信サーバ１２００に接続して、テレビ会議、又はウェブ会議等を行う会議システムであっても良い。また、本実施形態に係る通信装置１００は、例えば、テレビ会議装置、ＩＷＢ（Interactive White Board：相互通信が可能な電子式の黒板機能を有する白板）、又はノートＰＣ（Personal Computer）等の様々な会議端末であっても良い。

【0069】

この場合、例えば、図１４に示すように、通信サーバ１２００が、第１の生成部３０２、第２の生成部３０３、及び第３の生成部３０４等を有していても良い。これにより、通信装置１００ｃ、１００ｄ、１００ｅ、・・・として、既存の会議端末を利用することができるようになる。

【0070】

＜ハードウェア構成＞
通信サーバ１２００は、例えば、図１３に示すような、コンピュータ１３００のハードウェア構成を有している。或いは、通信サーバ１２００は、複数のコンピュータ１３００によって構成される。

【0071】

図１３は、第３の実施形態に係るコンピュータのハードウェア構成の例を示す図である。コンピュータ１３００は、例えば、ＣＰＵ１３０１、ＲＯＭ（Read Only Memory）１３０２、ＲＡＭ（Random Access Memory）１３０３、ＨＤ（Hard Disk)１３０４、ＨＤＤ（Hard Disk Drive)コントローラ１３０５、ディスプレイ１３０６、外部機器接続Ｉ／Ｆ（Interface）１３０７、ネットワークＩ／Ｆ１３０８、キーボード１３０９、ポインティングデバイス１３１０、ＤＶＤ－ＲＷ（Digital Versatile Disk ReWritable)ドライブ１３１２、メディアＩ／Ｆ１３１４、及び、バスライン１３１５等を備えている。

【0072】

これらのうち、ＣＰＵ１３０１は、コンピュータ１３００の全体の動作を制御する演算装置である。ＲＯＭ１３０２は、ＣＰＵ１３０１の起動に用いられるプログラム等を記憶する不揮発性のメモリである。ＲＡＭ１３０３は、ＣＰＵ１３０１のワークエリア等として使用される揮発性のメモリである。ＨＤ１３０４は、ＯＳ（Operating System）やアプリケーション等のプログラムや、各種のデータ等を記憶する大容量の記憶装置である。ＨＤＤコントローラ１３０５は、ＣＰＵ１３０１の制御にしたがってＨＤ１３０４に対する各種データの読み出し又は書き込みを制御する。

【0073】

ディスプレイ１３０６は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する表示デバイスである。外部機器接続Ｉ／Ｆ１３０７は、各種の外部機器を接続するためのインタフェースである。ネットワークＩ／Ｆ１３０８は、通信ネットワークを利用してデータ通信をするための通信インタフェースである。キーボード１３０９は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス１３１０は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。

【0074】

ＤＶＤ－ＲＷドライブ１３１２は、ＤＶＤ－ＲＷ１３１１に対するデータの読み出し又は書き込み（記憶）を制御する。なお、ＤＶＤ－ＲＷ１３１１は記憶媒体の一例であり、他の記憶媒体であっても良い。メディアＩ／Ｆ１３１４は、フラッシュメモリ等のメディア１３１３に対するデータの読み出し又は書き込み（記憶）を制御する。バスライン１３１５は、図１３に示されているＣＰＵ１３０１等の各構成要素を電気的に接続するためのアドレスバス、データバス、及び各種の制御信号等を含む。

【0075】

なお、通信サーバ１２００は、コンピュータ１３００のハードウェア構成に加えて、音声信号処理を実行する信号処理装置、又は信号処理ユニット２０２等を、さらに有していても良い。

【0076】

＜機能構成＞
図１４は、第３の実施形態に係る通信サーバの機能構成の例を示す図である。通信サーバ１２００は、例えば、ＣＰＵ１３０１が所定のプログラムを実行することにより、通信部１４０１、通信管理部１４０２、及び中継部１４０３等を実現している。

【0077】

通信部１４０１は、通信サーバ１２００が備えるネットワークＩ／Ｆ１３０８を用いて、通信サーバ１２００を通信ネットワーク１２０１に接続し、通信装置１００ｃ、１００ｄ、１００ｅ等と通信する通信処理を実行する。

【0078】

通信管理部１４０２は、通信装置１００ｃ、１００ｄ、１００ｅによる接続要求を受付し、同じ会議への接続を要求する通信装置１００ｃ、１００ｄ、１００ｅを同じ会議（セッション）への参加を許可する通信管理処理を実行する。

【0079】

中継部１４０３は、同じ会議に参加する通信装置１００ｃ、１００ｄ、１００ｅの間で送受信するコンテンツデータを中継する中継処理を実行する。例えば、中継部１４０３は、通信装置１００ｃが送信したコンテンツデータを受信し、受信したコンテンツデータを、同じ会議に参加する他の通信装置１００ｄ、１００ｅへ転送する。同様にして、中継部１４０３は、通信装置１００ｄから受信したコンテンツデータを通信装置１００ｃ、１００ｅに転送し、通信装置ｅから受信したデータを通信装置１００ｃ、１００ｄに転送する。

【0080】

また、本実施形態に係る中継部１４０３は、例えば、第１の生成部３０２、第２の生成部３０３、第３の生成部３０４、及びデータ生成部１４０４等を有している。なお、第１の生成部３０２、第２の生成部３０３、及び第３の生成部３０４の基本的な処理内容は、第１の実施形態に係る第１の生成部３０２、第２の生成部３０３、及び第３の生成部３０４と同様なので、ここでは詳細な説明は省略する。

【0081】

第１の生成部３０２は、会議に参加する一の通信装置１００（例えば、通信装置１００ｃ）から受信したコンテンツデータに含まれる音声を、音声を音声周波数と音量で表す、例えば、図４に示すような第１の音声データ４０１に変換する。

【0082】

第２の生成部３０３は、第１の生成部３０２が生成した第１の音声データ４０１を、所定の周波数シフトした、例えば、図５に示すような第２の音声データ５０１を生成する。

【0083】

第３の生成部３０４は、所定の周波数ｆに基づいて、第２の生成部３０３が生成した第２の音声データ５０１の所定の周波数帯域の音量を下げた、例えば、図６に示すような第３の音声データ６０１を生成する。

【0084】

データ生成部１４０４は、第３の生成部３０４が生成した第３の音声データ６０１を含む、通信用のコンテンツデータを生成する。このコンテンツデータには、例えば、一の通信装置１００から受信したコンテンツに含まれる画像データ、及び第３の音声データ６０１等が含まれる。

【0085】

中継部１４０３は、データ生成部１４０４が生成したコンテンツデータを、一の通信装置１００と同じ会議に参加する他の通信装置１００（例えば、通信装置１００ｄ、１００ｅ）に転送する。

【0086】

なお、本実施形態では、通信装置１００ｃ、１００ｄ、１００ｅは、既存の会議装置を利用することを想定しているため、通信装置１００のハードウェア構成、及び機能構成の説明は省略する。

【0087】

＜処理の流れ＞
図１５は、第３の実施形態に係る通信システムの処理の例を示すシーケンス図である。この図は、図１２に示した通信システム１において、通信サーバ１２００が、通信装置１００ｃから受信したコンテンツデータを、同じ会議に参加している他の通信装置１００ｄ、１００ｅに転送する処理の一例を示している。なお、図１５に示す処理の開始時点において、通信装置１００ｃ、１００ｄ、１００ｅは、通信ネットワーク１２０１を介して通信サーバ１２００に接続し、同じ会議に参加しているものとする。

【0088】

ステップＳ１５０１において、通信サーバ１２００の通信部１４０１は、通信装置１００ｃからコンテンツデータを受信する。

【0089】

ステップＳ１５０２において、通信サーバ１２００の第１の生成部３０２は、通信装置１００ｃから受信したコンテンツデータに含まれる音声を、音声を音声周波数と音量で表す第１の音声データ４０１に変換する。

【0090】

ステップＳ１５０３において、通信サーバ１２００の第２の生成部３０３は、第１の生成部３０２が生成した第１の音声データ４０１を、所定の周波数シフトした第２の音声データ５０１を生成する。

【0091】

ステップＳ１５０４において、通信サーバ１２００の第３の生成部３０４は、所定の周波数ｆに基づいて、第２の生成部３０３が生成した第２の音声データ５０１の所定の周波数帯域の音量を下げた、例えば、図６に示すような第３の音声データ６０１を生成する。

【0092】

ステップＳ１５０５において、通信サーバ１２００のデータ生成部１４０４は、第３の生成部３０４が生成した第３の音声データ６０１を含む、通信用のコンテンツデータを生成する。

【0093】

ステップＳ１５０６、Ｓ１５０７において、通信サーバ１２００の中継部１４０３は、データ生成部１４０４が生成したコンテンツデータを、通信装置１００ｃと同じ会議に参加している他の通信装置１００ｄ、１００ｅに送信する。

【0094】

ステップＳ１５０８、Ｓ１５０９において、通信装置１００ｄ、１００eは、受信したコンテンツデータを再生することにより、例えば、図６に示すように、所定の周波数帯域の音量を下げた音声を出力する。

【0095】

図１５の処理により、第３の実施形態に係る通信システム１によれば、既存の会議端末を利用して、エコー音声を除去する際に、マイクが取得したユーザの音声に与える影響、及び影響の時間的変化を低減することができる。

【0096】

なお、本実施形態では、通信装置１００ｃ、１００ｄ、１００ｅがエコーキャンセラを有している場合、エコーキャンセラ機能をオフに設定することが望ましい。

【0097】

［その他の実施形態］
例えば、図１２に示すようなシステム構成の通信システム１において、通信端末１００ｃ、１００ｄ、１００ｅは、図３、１０に示すような機能構成を含む会議端末であっても良い。この場合、通信端末１００ｃ、１００ｄ、１００ｅを用いて、既存の通信サーバ１２００を利用して会議システムを構築し、第３の実施形態と同様の効果を得ることができる。

【0098】

以上、本発明の各実施形態によれば、他の通信装置１００と音声を含むコンテンツデータを送受信する通信装置１００において、エコー音声を除去する際に、マイクが取得したユーザの音声に与える影響、及び影響の時間的変化を低減することができる。

【0099】

＜補足＞
上記で説明した各実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたＡＳＩＣ、ＤＳＰ、ＦＰＧＡ、又は従来の回路モジュール等のデバイスを含むものとする。

【0100】

また、上記の各実施形態に記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの1つを示すものに過ぎない。ある実施形態では、通信サーバ１２００は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。

【0101】

さらに、通信サーバ１２００は、開示された処理ステップ、例えば、図１５を様々な組み合わせで共有するように構成できる。例えば、通信サーバ１２００が備える第１の生成部３０２、第２の生成部３０３、及び第３の生成部３０４のうち、少なくとの１つは、通信装置１００が備えていても良い。また、通信サーバ１２００が備える各機能構成は、１つのサーバ装置にまとめられていても良いし、複数の装置に分散して設けられていても良い。

【符号の説明】

【0102】

１ 通信システム（会議システム）
１００、１００ａ、１００ｂ 通信装置
１００ｃ～１００ｅ 通信装置（会議装置）
３０１ 音声取得部
３０２ 第１の生成部３０２
３０３ 第２の生成部３０３
３０４ 第３の生成部３０４
３０５ 送信部
３０６ 受信部
３０７ 音声出力部
４０１ 第１の音声データ
５０１ 第２の音声データ
６０１ 第３の音声データ
７０１ 周波数帯域
１００１ 第４の生成部
１２００ 通信サーバ
ｆ 所定の周波数

【先行技術文献】

【特許文献】

【0103】

【特許文献1】国際公開第２００６／０８７８１３号

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】