特許 6977772 音声処理方法、音声処理装置、ヘッドセット、および、遠隔会話システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6977772

(24)【登録日】2021年11月15日

(45)【発行日】2021年12月8日

(54)【発明の名称】音声処理方法、音声処理装置、ヘッドセット、および、遠隔会話システム

(51)【国際特許分類】

   H04R 3/02 20060101AFI20211125BHJP

   H04R 1/10 20060101ALI20211125BHJP

【ＦＩ】

   H04R3/02

   H04R1/10 101A

【請求項の数】15

【全頁数】14

(21)【出願番号】特願2019-528292(P2019-528292)

(86)(22)【出願日】2017年7月7日

(86)【国際出願番号】JP2017024887

(87)【国際公開番号】WO2019008733

(87)【国際公開日】20190110

【審査請求日】2019年12月25日

【前置審査】

(73)【特許権者】

【識別番号】000004075

【氏名又は名称】ヤマハ株式会社

(74)【代理人】

【識別番号】110000970

【氏名又は名称】特許業務法人 楓国際特許事務所

(72)【発明者】

【氏名】鵜飼 訓史

(72)【発明者】

【氏名】村松 未輝雄

【審査官】 堀 洋介

(56)【参考文献】

【文献】 特開２０１３−０５５５３６（ＪＰ，Ａ）

【文献】 特開２０１２−１５１７４５（ＪＰ，Ａ）

【文献】 特開２０１３−０３８７６３（ＪＰ，Ａ）

【文献】 特開２００８−２２７７７５（ＪＰ，Ａ）

【文献】 特開２０１２−０９４９４５（ＪＰ，Ａ）

【文献】 特開２０１０−１８３４３４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｒ ３／０２

Ｈ０４Ｒ １／１０

(57)【特許請求の範囲】

【請求項1】

近端側の音声を収音して、収音信号を生成する近端側収音処理と、
遠端側の伝達特性を用いて前記収音信号を調整する近端側フィルタ処理と、
調整後の前記収音信号と、前記近端側の収音信号と異なる遠端側の音声信号と、を近端側スピーカから放音する近端側放音処理と、
を行い、
近端側マイクロホンと近端側スピーカとの位置関係による近端側の伝達特性と、遠端側マイクロホンと遠端側スピーカとの位置関係による遠端側の伝達特性との差を相殺する伝達差調整処理を前記収音信号に対して行い、
前記伝達差調整処理を行った収音信号に対して、前記近端側フィルタ処理を行う、
音声処理方法。

【請求項2】

前記遠端側の伝達特性を取得する伝達特性取得処理を、
行う、請求項１に記載の音声処理方法。

【請求項3】

前記伝達特性取得処理は、逐次的に前記伝達特性を取得し、
前記近端側フィルタ処理は、前記逐次的に取得した前記伝達特性を用いて、前記収音信号を調整する、
請求項２に記載の音声処理方法。

【請求項4】

前記近端側フィルタ処理は、
前記近端側スピーカから近端側マイクロホンに回り込む前記遠端側の音声信号を前記収音信号から抑圧して、抑圧後の収音信号とフィルタ係数とを出力する、
請求項１乃至請求項３のいずれかに記載の音声処理方法。

【請求項5】

遠端側スピーカで近端側の収音信号を放音する遠端側放音処理と、
遠端側で収音し、前記遠端側放音処理で放音した音を含む遠端側の収音信号を生成する遠端側音声信号生成処理と、
遠端側マイクロホンに回り込む前記近端側の収音信号を前記遠端側の収音信号から抑圧して、前記遠端側の音声信号とフィルタ係数とを出力する遠端側フィルタ処理と、
を行う、
請求項１乃至請求項４のいずれかに記載の音声処理方法。

【請求項6】

近端側の音声を収音して、収音信号を生成する近端側マイクロホンと、
遠端側の伝達特性を用いて前記収音信号を調整する近端側フィルタと、
調整後の前記収音信号と、前記近端側の収音信号と異なる遠端側の音声信号と、を放音する近端側スピーカと、
を備え、
前記近端側マイクロホンと前記近端側スピーカとの位置関係による近端側の伝達特性と、遠端側マイクロホンと遠端側スピーカとの位置関係による遠端側の伝達特性との差を相殺するフィルタ処理を実行する伝達差調整フィルタを、さらに備え、
前記伝達差調整フィルタは、前記収音信号に対してフィルタ処理を実行し、
前記近端側フィルタは、前記伝達差調整フィルタでフィルタ処理した収音信号を調整する、
音声処理装置。

【請求項7】

前記遠端側の伝達特性を取得する伝達特性取得部を、
備える、請求項６に記載の音声処理装置。

【請求項8】

前記伝達特性取得部は、逐次的に前記伝達特性を取得し、
前記近端側フィルタは、前記逐次的に取得した前記伝達特性を用いて、前記収音信号を調整する、
請求項７に記載の音声処理装置。

【請求項9】

前記近端側フィルタは、
前記近端側スピーカから前記近端側マイクロホンに回り込む前記遠端側の音声信号を前記収音信号から抑圧して、抑圧後の収音信号とフィルタ係数とを出力する、
請求項６乃至請求項８のいずれかに記載の音声処理装置。

【請求項10】

請求項６乃至請求項９のいずれかに記載の音声処理装置が装着され、
前記近端側スピーカは、
右用スピーカと左用スピーカとを備えるステレオスピーカであり、
前記近端側スピーカと前記近端側マイクロホンとが所定の位置関係で固定されている、
ヘッドセット。

【請求項11】

請求項６乃至請求項１０のいずれかに記載の音声処理装置と、前記遠端側に配置され、前記音声処理装置と通信する遠端側会話装置と、を備え、
前記遠端側会話装置は、
前記近端側の前記収音信号を放音する遠端側スピーカと、
前記遠端側で収音し、前記遠端側スピーカが放音した音を含む遠端側の収音信号を生成する遠端側マイクロホンと、
前記遠端側スピーカから前記遠端側マイクロホンに回り込む前記近端側の前記収音信号を前記遠端側の収音信号から抑圧する遠端側フィルタと、
を備え、
前記伝達特性は、前記遠端側フィルタのフィルタ係数である、
遠隔会話システム。

【請求項12】

前記近端側フィルタは、
前記近端側の前記収音信号に対して前記フィルタ係数を用いた畳み込み演算を行うことで、前記近端側の前記収音信号を調整する、
請求項１１に記載の遠隔会話システム。

【請求項13】

前記遠端側会話装置は、
前記遠端側の音声信号と前記フィルタ係数とを組にして前記音声処理装置に送信する、
請求項１１または請求項１２に記載の遠隔会話システム。

【請求項14】

前記近端側スピーカは、第１のスピーカと第２のスピーカを有し、
前記第１のスピーカと前記第２のスピーカとの組は、ステレオスピーカを構成しており、
前記遠端側マイクロホンは、第１のマイクロホンと第２のマイクロホンとを有し、
前記第１のマイクロホンと前記第２のマイクロホンとの組は、ステレオマイクを構成しており、
前記第１のマイクロホンに対応する前記伝達特性は、前記第１のスピーカで放音される前記収音信号に用いられ、
前記第２のマイクロホンに対応する前記伝達特性は、前記第２のスピーカで放音される前記収音信号に用いられている、
請求項１１乃至請求項１３のいずれかに記載の遠隔会話システム。

【請求項15】

前記第１のスピーカと前記第２のスピーカとは、前記近端側マイクロホンの位置を通り上下方向に延びる直線を挟んで、当該直線における互いに異なる側に配置されており、
前記第１のマイクロホンと前記第２のマイクロホンとは、前記遠端側スピーカの位置を通り上下方向に延びる直線を挟んで、当該直線における互いに異なる側に配置されている、
請求項１４に記載の遠隔会話システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、近端側と遠端側との間で通信を介した会話を行う遠隔会話装置、ヘッドセット、遠隔会話システム、および、遠隔会話方法に関する。

【背景技術】

【0002】

特許文献１、２には、遠端側（再現環境）の音場を近端側で再現する装置および方法が記載されている。特許文献１、２では、遠端側において、複数のスピーカと複数のマイクとを配置する。遠端側において、複数のスピーカで放音し、この音を複数のマイクで収音することで、遠端側の伝達特性を取得する。

【0003】

特許文献１の装置および方法は、遠端側で得た収音信号を伝達係数によって調整し、ユーザを取り囲むように配置した複数のスピーカから放音する。

【0004】

特許文献２の装置および方法は、ユーザを取り囲むように複数のマイクと複数のスピーカとを設置している。特許文献２の装置および方法は、ユーザを取り囲むように配置した複数のマイクでユーザの音声を収音する。特許文献２の装置および方法は、収音したユーザの音声を伝達係数を用いて調整し、ユーザを取り囲むように配置した複数のスピーカから放音する。

【0005】

このように、特許文献１、２では、音場を再現できる程度の多くの数のマイクとスピーカとを予め設置し、伝達特性を取得している。また、特許文献１、２では、音場の再現時には、伝達特性の取得時と同じ数のスピーカを、伝達特性の取得時と同じ位置に配置している。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】国際公開第２０１４／０６９１１１号明細書

【特許文献2】国際公開第２０１４／０６９１１２号明細書

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、特許文献１、２に記載の装置および方法では、近端側と遠端側とで会話を行う場合に、近端側の話者が遠端側の話者と遠端側において会話している感覚を、容易な構成で実現できない。

【0008】

したがって、本発明の目的は、近端側の話者が遠端側において遠端側の話者と会話している感覚を、近端側において簡素な構成で実現する遠隔会話装置、遠隔会話システム、および、遠隔会話方法を提供することにある。

【課題を解決するための手段】

【0009】

この発明の遠隔会話装置は、近端側マイクロホン、伝達特性取得部、近端側フィルタ、および、近端側スピーカを備える。近端側マイクロホンは、近端側の音声を取得し、収音信号を生成する。伝達特性取得部は、遠端側の伝達特性を取得する。近端側フィルタは、伝達特性を用いて収音信号を調整する。近端側スピーカは、遠端側の音声信号と調整後の収音信号とを放音する。

【0010】

この構成の遠隔会話装置、近端側と遠端側との会話を実現しながら、遠端側の伝達特性を用いて、近端側の収音信号を調整する。これにより、近端側の話者は、遠端側の話者の声とともに、遠端側の音響に応じた自分の声を聞ける。

【発明の効果】

【0011】

この発明の遠隔会話装置は、近端側の話者が遠端側において遠端側の話者と会話している感覚を、近端側において簡素な構成で実現できる。

【図面の簡単な説明】

【0012】

【図1】本発明の第１の実施形態に係る遠隔会話装置および遠隔会話システムの構成を示すブロック図である。

【図2】近端側のマイクロホンとスピーカとの配置を示す図である。

【図3】遠端側のマイクロホンとスピーカとの配置を示す図である。

【図4】本発明の第１の実施形態に係る遠隔会話方法を示すフローチャートである。

【図5】伝達特性の取得方法を示すフローチャートである。

【図6】本発明の第２の実施形態に係る遠隔会話装置の構成を示すブロック図である。

【発明を実施するための形態】

【0013】

本発明の第１の実施形態に係る遠隔会話装置、遠隔会話方法、および、遠隔会話システムについて、図を参照して説明する。図１は、本発明の第１の実施形態に係る遠隔会話装置および遠隔会話システムの構成を示すブロック図である。図２は、近端側のマイクロホンとスピーカとの配置を示す図である。図３は、遠端側のマイクロホンとスピーカとの配置を示す図である。

【0014】

図１に示すように、遠隔会話システム１は、近端側会話装置１０と遠端側会話装置２０とを備える。近端側会話装置１０が本発明の「遠隔会話装置」に対応する。近端側会話装置１０と遠端側会話装置２０とは、無線または有線で通信を行う。なお、本発明で言う、遠隔会話とは、通常の会話に限るものではなく、遠隔地間の会議等、遠隔地間で音声のやり取りを行うものを含む。

【0015】

近端側会話装置１０は、マイクロホン１１、送信部１２、受信部１３、近端側フィルタ１４、および、スピーカ１５を備える。近端側フィルタ１４は、フィルタ１４１とフィルタ１４２とを備える。スピーカ１５は、スピーカ１５１とスピーカ１５２とを有し、ステレオスピーカを構成している。送信部１２、受信部１３、および、近端側フィルタ１４は、信号処理部Ｂ１０を構成している。信号処理部Ｂ１０は、送信部１２、受信部１３、および、近端側フィルタ１４のそれぞれの機能を実行するＩＣ等のハードウエアによって実現されている。

【0016】

図２に示すように、マイクロホン１１、スピーカ１５１、および、スピーカ１５２は、ヘッドセットを構成している。信号処理部Ｂ１０は、ヘッドセットに装着されており、マイクロホン１１、スピーカ１５１、および、スピーカ１５２に接続している。

【0017】

マイクロホン１１は、ヘッドセットの横方向の略中央位置で、且つ、上下方向の下側の位置に配置されている。マイクロホン１１は、ヘッドセットの中央側に収音指向性の中心を向けて配置されている。

【0018】

スピーカ１５１は、ヘッドセットの横方向の第１端に配置されており、スピーカ１５２は、ヘッドセットの横方向の第２端に配置されている。言い換えれば、スピーカ１５１とスピーカ１５２とは、マイクロホン１１を通り上下方向に延びる直線を基準にして線対称の位置に配置されている。スピーカ１５１とスピーカ１５２は、ヘッドセットの中央側に放音指向性の中心を向けて配置されている。

【0019】

近端側のユーザ９１がヘッドセットを装着すると、マイクロホン１１はユーザ９１の口９１１の近くに配置される。これにより、ユーザ９１が発声すると、マイクロホン１１は、この音声を収音する。

【0020】

スピーカ１５１は、ユーザ９１に左耳９１５Ｌに装着され、スピーカ１５２は、ユーザ９１の右耳９１５Ｒに装着される。これにより、ユーザ９１は、スピーカ１５１から放音された音声を左耳９１５Ｌで聞き、スピーカ１５２から放音された音声を右耳９１５Ｒで聞くことができる。

【0021】

信号処理部Ｂ１０は、ヘッドセットに装着されており、マイクロホン１１、スピーカ１５１、および、スピーカ１５２に接続している。

【0022】

マイクロホン１１は、ユーザ９１の音声を収音して、収音信号Ｓ１１を生成する。マイクロホン１１は、収音信号Ｓ１１を、近端側フィルタ１４のフィルタ１４１、１４２と送信部１２とに出力する。

【0023】

送信部１２は、収音信号Ｓ１１を、通信信号Ｓ１２に変換して、遠端側会話装置２０の受信部２１に送信する。

【0024】

受信部１３は、後述の遠端側会話装置２０からの通信信号Ｓ２５を受信する。受信部１３は、通信信号Ｓ２５から、放音信号Ｓ１３１、Ｓ１３２、フィルタ係数Ｃｏ１３１、Ｃｏ１３２を復調する。したがって、受信部１３は、本発明の「伝達特性取得部」の機能を有する。受信部１３は、放音信号Ｓ１３１をスピーカ１５１に出力し、放音信号Ｓ１３２をスピーカ１５２に出力する。受信部１３は、フィルタ係数Ｃｏ１３１をフィルタ１４１に出力し、フィルタ係数Ｃｏ１３２をフィルタ１４２に出力する。

【0025】

なお、詳細は後述するが、放音信号Ｓ１３１は、遠端側会話装置２０のマイクロホン２３１で収音され、エコーキャンセラ２４１でエコーキャンセル処理された音声信号である。放音信号Ｓ１３２は、遠端側会話装置２０のマイクロホン２３２で収音され、エコーキャンセラ２４２でエコーキャンセル処理された音声信号である。フィルタ係数Ｃｏ１３１は、エコーキャンセラ２４１のフィルタ係数Ｃｏ２４１と同じであり、フィルタ係数Ｃｏ１３２は、エコーキャンセラ２４１のフィルタ係数Ｃｏ２４２と同じである。これら、フィルタ係数Ｃｏ１３１、Ｃｏ１３２、Ｃｏ２４１、Ｃｏ２４２が、本発明の「伝達特性」に対応する。

【0026】

フィルタ１４１は、フィルタ係数Ｃｏ１３１を用いて、収音信号Ｓ１１をフィルタ処理する。フィルタ１４１は、例えば、ＩＩＲフィルタによって構成されており、収音信号Ｓ１１に対して、フィルタ係数Ｃｏ１３１を用いた畳み込み演算を行うことによって、フィルタ処理を実行する。フィルタ１４１は、このフィルタ処理後の収音信号（調整後の収音信号）Ｓ１４１を、スピーカ１５１に出力する。

【0027】

フィルタ１４２は、フィルタ係数Ｃｏ１３２を用いて、収音信号Ｓ１１をフィルタ処理する。フィルタ１４２は、例えば、ＩＩＲフィルタによって構成されており、収音信号Ｓ１１に対して、フィルタ係数Ｃｏ１３２を用いた畳み込み演算を行うことによって、フィルタ処理を実行する。フィルタ１４２は、このフィルタ処理後の収音信号（調整後の収音信号）Ｓ１４２を、スピーカ１５２に出力する。

【0028】

このような処理を行うことによって、フィルタ処理後の収音信号Ｓ１４１、Ｓ１４２は、遠端側の音場の伝達特性に応じた音声信号となる。

【0029】

スピーカ１５１は、放音信号Ｓ１３１とフィルタ処理後の収音信号Ｓ１４１とを放音する。スピーカ１５２は、放音信号Ｓ１３２とフィルタ処理後の収音信号Ｓ１４２とを放音する。

【0030】

このように、近端側会話装置１０を用いることによって、近端側のユーザ９１は、遠端側の音場の伝達特性で自分の声を聞きながら、遠端側のユーザ９２の音声を聞くことができる。したがって、近端側のユーザ９１は、あたかも遠端側に居て、遠端側のユーザ９２と会話しているような感覚、すなわち会話の臨場感を得ることができる。

【0031】

そして、この構成を用いれば、近端側に１個のマイクロホンと２個のスピーカを備えればよく、遠端側の音場の伝達特性を実現するための大掛かりな構成を近端側に必要としない。したがって、簡素な構成で、離れた場所間での臨場感の有る会話を実現できる。

【0032】

この際、遠端側会話装置２０は、例えば、具体的に次の構成および処理を実現すればよい。

【0033】

遠端側会話装置２０は、受信部２１、スピーカ２２、マイクロホン２３１、マイクロホン２３２、遠端側フィルタ２４、および、送信部２５を備える。遠端側フィルタ２４は、エコーキャンセラ２４１とエコーキャンセラ２４２とを備える。マイクロホン２３１とマイクロホン２３２とは、ステレオマイクを構成している。受信部２１、遠端側フィルタ２４、および、送信部２５は、信号処理部Ｂ２０を構成している。信号処理部Ｂ２０は、受信部２１、遠端側フィルタ２４、および、送信部２５のそれぞれの機能を実行するＩＣ等のハードウエアによって実現されている。

【0034】

図３に示すように、スピーカ２２、マイクロホン２３１、マイクロホン２３２、および、信号処理部Ｂ２０は、顔型のロボット２００に実装されている。なお、必ずしも、顔型のロボット２００である必要はなく、少なくとも、スピーカ２２、マイクロホン２３１、および、マイクロホン２３２を所定の位置関係に保持できればよい。信号処理部Ｂ２０は、スピーカ２２、マイクロホン２３１、および、マイクロホン２３２に接続している。

【0035】

スピーカ２２は、ロボット２００の横方向の略中央位置で、且つ、上下方向の下側の位置に配置されている。スピーカ２２は、ロボット２００の正面側に放音指向性の中心を向けて配置されている。

【0036】

マイクロホン２３１は、ロボット２００の横方向の第１端に配置されており、マイクロホン２３２は、ロボット２００の横方向の第２端に配置されている。言い換えれば、マイクロホン２３１とマイクロホン２３２とは、スピーカ２２を通り上下方向に延びる直線を基準にして線対称の位置に配置されている。マイクロホン２３１とマイクロホン２３２とは、ロボット２００の正面側に収音指向性の中心を向けて配置されている。

【0037】

すなわち、スピーカ２２とマイクロホン２３１との位置関係は、近端側のマイクロホン１１とスピーカ１５１との位置関係に対応している。さらに、スピーカ２２とマイクロホン２３２との位置関係は、近端側のマイクロホン１１とスピーカ１５２との位置関係に対応している。

【0038】

受信部２１は、近端側会話装置１０の送信部１２からの通信信号Ｓ１２を受信し、遠端側放音信号Ｓ２１を復調する。遠端側放音信号Ｓ２１は、近端側の収音信号Ｓ１１と同じ音声信号である。受信部２１は、遠端側放音信号Ｓ２１を、スピーカ２２とエコーキャンセラ２４１、２４２とに出力する。スピーカ２２は、遠端側放音信号Ｓ２１を放音する。

【0039】

マイクロホン２３１およびマイクロホン２３２は、遠端側のユーザ９２の音声を収音する。この際、マイクロホン２３１は、音声エコーＳＥ２２Ｒを収音し、マイクロホン２３２は、音声エコーＳＥ２２Ｌを収音してしまう。

【0040】

音声エコーＳＥ２２Ｒは、スピーカ２２とマイクロホン２３１との位置関係、スピーカ２２の放音指向性、マイクロホン２３１の収音指向性、および、遠端側の音響特性によって、特性が決まるエコーである。音声エコーＳＥ２２Ｌは、スピーカ２２とマイクロホン２３２との位置関係、スピーカ２２の放音指向性、マイクロホン２３２の収音指向性、および、遠端側の音響特性によって、特性が決まるエコーである。すなわち、音声エコーＳＥ２２Ｒ、音声エコーＳＥ２２Ｌは、遠端側の音場の伝達特性によって、特性が決定される。

【0041】

マイクロホン２３１は、収音した音声およびエコーを含む収音信号Ｓ２３１を生成して、エコーキャンセラ２４１に出力する。マイクロホン２３２は、収音した音声およびエコーを含む収音信号Ｓ２３２を生成して、エコーキャンセラ２４２に出力する。

【0042】

エコーキャンセラ２４１は、既知のエコーキャンセル技術を用いて、収音信号Ｓ２３１に対してエコーキャンセル処理を実行する。この処理によって、エコーキャンセラ２４１は、収音信号Ｓ２３１に含まれる音声エコーＳＥ２２Ｒを抑圧する。エコーキャンセラ２４１は、このエコーキャンセル後の収音信号Ｓ２４１を、送信部２５に出力する。また、エコーキャンセラ２４１は、エコーキャンセル処理に利用したフィルタ係数Ｃｏ２４１を送信部２５に出力する。

【0043】

エコーキャンセラ２４２は、既知のエコーキャンセル技術を用いて、収音信号Ｓ２３２に対してエコーキャンセル処理を実行する。この処理によって、エコーキャンセラ２４２は、収音信号Ｓ２３２に含まれる音声エコーＳＥ２２Ｌを抑圧する。エコーキャンセラ２４１は、このエコーキャンセル後の収音信号Ｓ２４２を、送信部２５に出力する。

【0044】

また、エコーキャンセラ２４２は、エコーキャンセル処理に利用したフィルタ係数Ｃｏ２４２を送信部２５に出力する。

【0045】

送信部２５は、収音信号Ｓ２４１、Ｓ２４２と、フィルタ係数Ｃｏ２４１、Ｃｏ２４１とを組にして、これらを通信信号Ｓ２５に変換して、近端側会話装置１０の受信部１３に送信する。

【0046】

この収音信号Ｓ２４１は、上述の近端側会話装置１０の放音信号Ｓ１３１として復調され、収音信号Ｓ２４２は、上述の近端側会話装置１０の放音信号Ｓ１３２として復調される。また、フィルタ係数Ｃｏ２４１は、上述の近端側会話装置１０のフィルタ係数Ｃｏ１３１として復調され、フィルタ係数Ｃｏ２４２は、上述の近端側会話装置１０のフィルタ係数Ｃｏ１３２として復調される。そして、上述した近端側会話装置１０の処理が実行される。

【0047】

このような構成の遠隔会話システム１を用いることによって、遠端側のユーザ９２の音声は、エコーキャンセルされた鮮明な音声として、近端側のユーザ９１に放音される。したがって、近端側のユーザ９１は、あたかも遠端側に居て、遠端側のユーザ９２と会話しているような会話の臨場感を得ながら、遠端側のユーザ９２の音声を鮮明に聞き取ることができる。

【0048】

そして、この構成を用いれば、遠端側に１個のスピーカと２個のマイクロホンを備えればよく、遠端側の音場の伝達特性を実現するための大掛かりな構成を遠端側にも必要としない。したがって、遠隔会話システム１としても、簡素な構成で、離れた場所間での臨場感の有る会話を実現できる。

【0049】

また、この構成では、遠端側のエコーキャンセラ２４１のフィルタ係数Ｃｏ２４１を、近端側のフィルタ１４１のフィルタ係数Ｃｏ１３１として利用でき、遠端側のエコーキャンセラ２４２のフィルタ係数Ｃｏ２４２を、近端側のフィルタ１４２のフィルタ係数Ｃｏ１３２として利用できる。したがって、複雑な処理を行うことなく、離れた場所間での臨場感の有る会話を実現できる。

【0050】

なお、フィルタ係数Ｃｏ１３１は、フィルタ係数Ｃｏ２４１と同じでなくてもよく、フィルタ係数Ｃｏ２４１を基に設定されたものであってもよい。フィルタ係数Ｃｏ１３２は、フィルタ係数Ｃｏ２４２と同じでなくてもよく、フィルタ係数Ｃｏ２４１を基に設定されたものであってもよい。

【0051】

また、本実施形態では、フィルタ係数を用いて、近端側の収音信号Ｓ１１を調整する態様を示したが、遠端の音場の伝達特性を表す数値であれば、フィルタ係数に代えて用いることができる。具体的には、インパルス応答そのものまたはインパルス応答に代用できるものであればよい。インパルス応答の場合、遠端側において、スピーカとマイクロホンを用いて、インパルス応答を測定し、当該インパルス応答を用いて、近端側で収音信号に対して畳み込み処理を行えばよい。

【0052】

また、上述の説明では、１回の音声の送受信の場合を示した。しかしながら、会話を継続する際には、複数回の音声の送受信を行う。このように複数回の音声の送受信を行う場合には、送受信毎に遠端側会話装置２０からフィルタ係数Ｃｏ２４１、Ｃｏ２４２を取得し、近端側会話装置１０のフィルタ係数Ｃｏ１３１、Ｃｏ１３２を、この送受信に合わせて逐次的に更新すればよい。これにより、会話を行っている時間における遠端側の音場の伝達特性を、近端側において、さらに忠実に再現できる。したがって、近端側のユーザ９１は、さらに臨場感の有る会話を実現できる。

【0053】

この際、遠端側の音場の伝達特性として遠端側のフィルタ係数Ｃｏ２４１、Ｃｏ２４２を用いることによって、通信されるデータ量を小さくできる。これにより、近端側のフィルタ１４１、１４２におけるフィルタ処理の時間遅れを抑制できる。したがって、時間遅れを殆ど発生することなく、遠端側の音場の伝達特性を、近端側において再現でき、さらに臨場感の有る会話を実現できる。

【0054】

上述の説明では、近端側会話装置１０および遠隔会話システム１の処理のそれぞれを機能ブロック毎に実行する態様を示した。しかしながら、次のフローチャートに示す方法をプログラム化しておき、当該プログラムを、情報処理装置（例えばＣＰＵ）等の適切なハードウエアで実行することでも、上述の会話を実現できる。

【0055】

図４は、本発明の第１の実施形態に係る近端側会話装置で実行する遠隔会話方法を示すフローチャートである。

【0056】

近端側会話装置は、近端側のユーザの音声を収音し、収音信号を生成する（Ｓ１０１）。この処理は「近端側収音処理」に対応する。

【0057】

近端側会話装置は、遠端側の伝達特性を取得する（Ｓ１０２）。この処理は「伝達特性取得処理」に対応する。遠端側の伝達特性の取得方法としては、例えば、図５に示す方法を用いればよい。図５は、伝達特性の取得方法を示すフローチャートである。

【0058】

近端側会話装置は、近端側の収音信号を、遠端側会話装置に送信する（Ｓ２０１）。遠端側会話装置は、近端側の収音信号を放音する（Ｓ２０２）。この処理は「遠端側放音処理」に対応する。遠端側会話装置は、遠端側で収音して遠端側の収音信号を生成する。この処理は「遠端側収音処理」に対応する。遠端側会話装置は、近端側の収音信号に起因するエコーを抑圧するエコーキャンセル処理を実行する（Ｓ２０３）。この処理は「遠端側フィルタ処理」に対応する。遠端側会話装置は、エコーキャンセルのフィルタ係数を、近端側会話装置に送信する（Ｓ２０４）。近端側会話装置は、遠端側のフィルタ係数を受信し、遠端側の伝達特性とする（Ｓ２０５）。これらの処理により、近端側会話装置は、遠端側の伝達特性を取得できる。

【0059】

近端側会話装置は、遠端側の伝達特性を用いて、ステップＳ１０１で取得した収音信号を調整する（Ｓ１０３）。この処理は「近端側フィルタ処理」に対応する。近端側会話装置は、調整後の収音信号を近端側で放音する（Ｓ１０４）。この処理は「近端側放音処理」に対応する。

【0060】

このような遠隔会話方法を用いることによって、近端側のユーザは、遠端側の音場の伝達特性で自分の声を聞きながら、遠端側のユーザと臨場感のある会話を実現できる。

【0061】

なお、上述の説明では、近端側において、１個のマイクロホンと２個のスピーカとが配置され、遠端側において、１個のスピーカと２個のマイクロホンとが配置される態様を示した。しかしながら、マイクロホンの個数とスピーカの個数とは、これに限るものではない。この際、マイクロホンの個数とスピーカの個数は、多すぎない方が好ましい。ただし、上述の説明のように、近端側において、スピーカを２個としてステレオスピーカを構成し、遠端側において、マイクロホンを２個としてステレオマイクロホンを構成することによって、マイクロホンの個数とスピーカの個数とを少なく抑えながら、臨場感を得ることができ、有効である。この場合、通信されるフィルタ係数が少なく、遠端側のフィルタ係数を近端側に高速に送信できる。したがって、近端側でのフィルタ係数を殆ど遅延させることなく設定でき、リアルタイム性が重要な遠隔会話システムにとっては、より有効である。

【0062】

また、近端側のマイクロホンの個数と遠端側のスピーカの個数は同じであり、近端側のスピーカの個数と遠端側のマイクロホンの個数は同じであることが好ましい。さらに、近端側におけるマイクロホンに対するスピーカの配置と、遠端側におけるスピーカに対するマイクロホンの配置とは、同じであることが好ましい。これにより、遠端側のフィルタ係数は、近端側のフィルタ係数として容易に利用可能になる。したがって、近端側でのフィルタ係数の決定を速くでき、リアルタイム性が重要な遠隔会話システムにとっては、より有効である。

【0063】

なお、近端側におけるマイクロホンに対するスピーカの配置と、遠端側におけるスピーカに対するマイクロホンの配置とが異なる場合には、次に示す第２の実施形態に係る構成を用いるとよい。

【0064】

図６は、本発明の第２の実施形態に係る遠隔会話装置の構成を示すブロック図である。図６に示すように、第２の実施形態に係る近端側会話装置１０Ａは、第１の実施形態に係る近端側会話装置１０に対して、近端側フィルタ１４Ａの構成において異なる。近端側会話装置１０Ａの他の構成は、近端側会話装置１０と同様であり、同様の箇所の説明は省略する。

【0065】

近端側フィルタ１４Ａは、フィルタ１４１、フィルタ１４２、伝達差調整フィルタ１４３、および、伝達差調整フィルタ１４４を備える。フィルタ１４１、フィルタ１４２は、第１の実施形態に係る近端側フィルタ１４を構成するフィルタと同じである。

【0066】

伝達差調整フィルタ１４３のフィルタ係数は、近端側のマイクロホン１１とスピーカ１５１との伝達特性と、遠端側のスピーカ２２とマイクロホン２３１との伝達特性との差を相殺する値に設定されている。

【0067】

伝達差調整フィルタ１４４のフィルタ係数は、近端側のマイクロホン１１とスピーカ１５２との間の伝達特性と、遠端側のスピーカ２２とマイクロホン２３２との間の伝達特性との差を相殺する値に設定されている。

【0068】

伝達差調整フィルタ１４３、１４４のフィルタ係数は、ヘッドセットにおけるマイクロホン１１とスピーカ１５１、１５２との位置関係、収音指向性、および、放音指向性と、ロボット２００におけるスピーカ２２とマイクロホン２３１、２３２との位置関係、放音指向性、および、収音指向性との差から、予め推定算出できる。

【0069】

伝達差調整フィルタ１４３は、収音信号Ｓ１１をフィルタ処理し、フィルタ１４１に出力する。フィルタ１４１は、伝達差調整フィルタ１４３でフィルタ処理された収音信号Ｓ１１をフィルタ処理し、スピーカ１５１に出力する。

【0070】

伝達差調整フィルタ１４４は、収音信号Ｓ１１をフィルタ処理し、フィルタ１４２に出力する。フィルタ１４２は、伝達差調整フィルタ１４４でフィルタ処理された収音信号Ｓ１１をフィルタ処理し、スピーカ１５２に出力する。

【0071】

このような構成および処理を行うことによって、近端側会話装置１０Ａは、遠端側の音場の伝達特性を更に忠実に再現できる。したがって、近端側のユーザは、遠端側のユーザとさらに臨場感のある会話を実現できる。

【0072】

なお、上述の実施形態では遠端側のフィルタ係数と遠端側の収音信号とを組にして通信する態様を示したが、遠端側のフィルタ係数と遠端側の収音信号とを別の経路で通信してもよい。この場合、遠端側のフィルタ係数が、遠端側の収音信号よりも速く、近端側会話装置に受信されるようにすればよい。

【0073】

また、上述の各実施形態では、音声のみを用いた遠隔会話装置、および、遠隔会話システムを示したが、遠端側に映像を撮影する機能を備え、近端側に当該映像を再生する機能を備えることによって、より臨場感のある会話を実現できる。

【0074】

また、上述の各実施形態では、遠端側会話装置２０が静止している態様を示したが、遠端側会話装置２０は移動可能であってもよい。この場合、移動した位置に応じたフィルタ処理が実行され、それぞれの位置に応じて、臨場感のある会話を実現できる。

【0075】

また、上述の各実施形態では、近端側会話装置と遠端側会話装置とで個別の機能を有する態様を示した。しかしながら、上述の近端側会話装置の機能と遠端側会話装置の機能とは、１個の会話装置に備えさせることも可能である。これにより、近端側と遠端側とで同様の処理および作用効果を実現できる。

【0076】

また、上述の説明では、遠端側の遠隔会話装置としてロボット等を用いる態様を示した。しかしながら、ロボットに限らず、据え置き型の遠隔会話装置であってもよく、携帯通信端末等のポータブル型の遠隔会話装置であってもよい。また、例えば、所定の筐体に備え付けられたマイクロホンとスピーカを含む態様であってもよく、例えば、自動車に備え付けられたマイクロホンとスピーカを含む態様であってもよい。

【0077】

また、これらの携帯通信端末等のポータブル型の遠隔会話装置、自動車に備え付けられた遠隔会話装置の構成は、遠端側の遠隔会話装置に限るものではなく、近端側の遠隔会話装置に適用することも可能である。

【符号の説明】

【0078】

１：遠隔会話システム
１０、１０Ａ：近端側会話装置
１１：マイクロホン
１２：送信部
１３：受信部
１４、１４Ａ：近端側フィルタ
１５：スピーカ
２０：遠端側会話装置
２１：受信部
２２：スピーカ
２４：遠端側フィルタ
２５：送信部
９１、９２：ユーザ
１４１、１４２：フィルタ
１４３、１４４：伝達差調整フィルタ
１５１、１５２：スピーカ
２００：ロボット
２３１、２３２：マイクロホン
２４１：Ｃｏ
２４１：エコーキャンセラ
２４２：Ｃｏ
２４２：エコーキャンセラ
９１１：口
９１５Ｌ：左耳
９１５Ｒ：右耳
Ｂ１０、Ｂ２０：信号処理部
Ｃｏ１３１、Ｃｏ１３２：フィルタ係数
Ｃｏ２４１、Ｃｏ２４２：フィルタ係数
Ｓ１１：収音信号
Ｓ１２：通信信号
Ｓ１３１：放音信号
Ｓ１３２：放音信号
Ｓ１４１：収音信号
Ｓ１４２：収音信号
Ｓ２１：遠端側放音信号
Ｓ２３１：収音信号
Ｓ２３２：収音信号
Ｓ２４１：収音信号
Ｓ２４２：収音信号
Ｓ２５：通信信号
ＳＥ２２Ｌ：音声エコー
ＳＥ２２Ｒ：音声エコー

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】