特許 7538662 バイノーラル信号生成装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-14

(45)【発行日】2024-08-22

(54)【発明の名称】バイノーラル信号生成装置及びプログラム

(51)【国際特許分類】

   H04S 1/00 20060101AFI20240815BHJP

【ＦＩ】

H04S1/00 500

【請求項の数】 9

(21)【出願番号】P 2020147092

(22)【出願日】2020-09-01

(65)【公開番号】P2022041721

(43)【公開日】2022-03-11

【審査請求日】2023-08-01

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100161148

【弁理士】

【氏名又は名称】福尾 誠

(72)【発明者】

【氏名】北島 周

(72)【発明者】

【氏名】杉本 岳大

(72)【発明者】

【氏名】伊藤 敦郎

(72)【発明者】

【氏名】木下 光太郎

【審査官】大野 弘

(56)【参考文献】

【文献】特開２００５－１５７２７８（ＪＰ，Ａ）

【文献】国際公開第２０２０／１２７３２９（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｓ １／００

(57)【特許請求の範囲】

【請求項1】

任意の位置に配置された音源から放射された音声信号からバイノーラル信号を生成するバイノーラル信号生成装置であって、
任意の音源位置から聴取位置までの複数の音響伝達関数をあらかじめ記憶する音響伝達関数記憶部と、
前記音響伝達関数記憶部から、前記音声信号の直接音の音響伝達関数を主音響伝達関数として選択する主音響伝達関数選択部と、
前記音響伝達関数記憶部から、前記音声信号の１次反射音の音響伝達関数を補助音響伝達関数として選択する補助音響伝達関数選択部と、
前記音源位置から前記聴取位置までの前記直接音及び前記１次反射音の経路差に基づいて、前記補助音響伝達関数の前記主音響伝達関数に対する遅延量及び減衰量を算出し、該遅延量及び該減衰量を前記補助音響伝達関数に適用して調整補助音響伝達関数を生成する補助音響伝達関数処理部と、
前記主音響伝達関数及び前記調整補助音響伝達関数を加算して合成音響伝達関数を生成する音響伝達関数加算部と、
前記合成音響伝達関数を前記音声信号に畳み込んでバイノーラル信号を生成する音声信号重畳部と、
を備える、バイノーラル信号生成装置。

【請求項2】

前記補助音響伝達関数選択部は、前記主音響伝達関数を前記補助音響伝達関数の１つとして選択する、請求項１に記載のバイノーラル信号生成装置。

【請求項3】

前記補助音響伝達関数選択部は、前記音源における任意の音声信号放射位置から聴取位置までの音響伝達関数を前記補助音響伝達関数の１つとして選択する、請求項１又は２に記載のバイノーラル信号生成装置。

【請求項4】

前記補助音響伝達関数選択部は、前記音源が存在する部屋の壁面のうち、前記１次反射音の反射点を求め、該反射点から聴取位置までの音響伝達関数を前記補助音響伝達関数の１つとして選択する、請求項１から３のいずれか一項に記載のバイノーラル信号生成装置。

【請求項5】

前記補助音響伝達関数選択部は、前記音源の位置を示す音源位置情報と、前記部屋の形状及び前記部屋に対する聴取位置を含む空間情報と、に基づいて前記反射点を求める、請求項４に記載のバイノーラル信号生成装置。

【請求項6】

前記補助音響伝達関数選択部は、あらかじめ１次反射音の聴取位置に対する方向及び距離を１つ以上設定し、該方向及び距離をパラメータとして有する音響伝達関数を前記補助音響伝達関数として選択する、請求項１から３のいずれか一項に記載のバイノーラル信号生成装置。

【請求項7】

前記補助音響伝達関数処理部は、前記直接音及び前記１次反射音の経路長に基づいて前記遅延量及び前記減衰量を算出する、請求項１から５のいずれか一項に記載のバイノーラル信号生成装置。

【請求項8】

前記遅延量及び前記減衰量は、前記直接音及び前記１次反射音の経路長、及び前記方向に基づいてあらかじめ算出される、請求項６に記載のバイノーラル信号生成装置。

【請求項9】

コンピュータを、請求項１から８のいずれか一項に記載のバイノーラル信号生成装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、バイノーラル信号生成装置及びプログラムに関する。

【背景技術】

【0002】

昨今、ヘッドマウントディスプレイや一人称視点での高精細なゲームの普及に伴って、音声に関してはヘッドホンでの聴取でありながらあたかも周りの３次元空間から音が到来しているように感じさせることができるバイノーラル再生技術が一般的になりつつある。通常、バイノーラル再生技術とは、音の到来を再現したい音源位置から両耳までの音響伝達関数（ＨＲＴＦ：Head Related Transfer Function）、又はその時間領域表現である頭部インパルス応答（ＨＲＩＲ：Head Related Impulse Response）を音源信号に畳み込むことで生成したバイノーラル信号をヘッドホンから再生することを指す。このＨＲＴＦには、人間が音の方向を知覚するうえで必要とされている手がかりがすべて含まれており、精密にＨＲＴＦを再現することができれば、任意の音空間を、ヘッドホンを通して聴取させることができるとされている。

【0003】

ＨＲＴＦは音源の方向（水平角・仰角）に依存して遅延・レベル・周波数特性が複雑に変化し、人間はその方向に依存した特徴を知覚することで音の方向を判断することができるということが広く知られている。一方で、音源から聴取位置までの距離に関しては、音源から聴取位置までの距離が１ｍ以内の場合にはＨＲＴＦに距離に依存した変動がみられるが、１ｍを超えると距離に依存した変動がほとんど現れない。したがって、１ｍ以内の音源であれば、精緻なＨＲＴＦの再現によって方向・距離を含めて自由に音空間を再現できることになる。

【0004】

しかしながら、実際のバイノーラル再生では完全に正確なＨＲＴＦを再現することは現段階では困難であり、実空間での音空間の知覚よりも知覚精度が悪化してしまう。その理由として、実空間での音の聴取では、音源から両耳までの直接音だけでなく、壁や床からの反射音が複雑に含まれており、この反射成分が距離知覚の能力を向上させていることが大きいと考えられる。したがって、音源から１ｍ以内の近距離であっても、単純な直接音だけのＨＲＴＦを使用した場合よりも、部屋からの反射音も含んだ場合の方が、より正確に音源までの距離を判断できる場合がある。

【0005】

ＨＲＴＦ又はＨＲＩＲに反射成分を加えることで音声の空間的な効果を強調する技術は、いくつか提案されている。例えば、特許文献１には、反射が存在する室内で測定した頭部インパルス応答であるＢＲＩＲ（Binaural Room Impulse Response）を使用した技術が開示されている。また、特許文献２には、部屋の詳細な情報を取得することで人工的にＢＲＩＲを生成し、場面に則した響きを付加する技術が開示されている。また、特許文献３には、床面反射音を含む頭部伝達関数を用いて、音像の定位やヘッドホン聴取時に頭の外側に明瞭に音像を知覚する頭外感を改善させる技術が開示されている。その他、特許文献４には、任意の距離を提示可能なバイノーラル信号を再生する技術が開示されている。

【先行技術文献】

【特許文献】

【0006】

【文献】特許第４８５０９４８号公報

【文献】特開２００５－８０１２４号公報

【文献】特開２００９－１０５５６５号公報

【文献】特開平１０－１７４２００号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかし、先行技術文献に記載の技術には、以下の課題がある。特許文献１に記載の技術によれば、音像の定位（位置の知覚）が明確になったり、より実空間に近いリアルな印象を与えたりすることが可能な場合があるが、ＢＲＩＲを取得した部屋の響きが音声に含まれてしまうために、音声を全体で１つの場面を描写するコンテンツとしてとらえたときに、表現したい場面とは異なる響きが付いてしまい、不自然になってしまうことがある。

【0008】

特許文献２に記載の技術では、あくまで響きを忠実に再現することで音像の定位の明確さを得ているため、音源の特性を損なうことなく特に距離方向のみの定位の明確さだけを強調したいという要求に対しては、応えることができない。

【0009】

特許文献３に記載の技術では、床面反射音を含むという特殊な頭部伝達関数を測定しなくてはいけないという制約があり、簡便に実現することは困難である。

【0010】

特許文献４に記載の技術では、点音源を仮定するＨＲＴＦに基づいた技術であるため、知覚の精度に限界があり、明確な距離方向の音像の提示は未だ困難である。

【0011】

また、単純な直接音だけのＨＲＴＦよりも反射音も含んだＨＲＴＦの方がより正確に距離を判断できる場合があるものの、部屋の反射音は一般的に直接音の成分を時間的周波数的に複雑に変化させる。そのため、反射音を含めると聴感上では音色の変化として知覚されてしまい、安易に適用すると音色に意図しない影響を及ぼしてしまう危険性がある。

【0012】

かかる事情に鑑みてなされた本発明の目的は、反射音を考慮し、簡便な処理により、音色の変化を抑制しつつ距離の知覚精度を向上させたバイノーラル信号を生成することにある。

【課題を解決するための手段】

【0013】

一実施形態に係るバイノーラル信号生成装置は、任意の位置に配置された音源から放射された音声信号からバイノーラル信号を生成するバイノーラル信号生成装置であって、任意の音源位置から聴取位置までの複数の音響伝達関数をあらかじめ記憶する音響伝達関数記憶部と、前記音響伝達関数記憶部から、前記音声信号の直接音の音響伝達関数を主音響伝達関数として選択する主音響伝達関数選択部と、前記音響伝達関数記憶部から、前記音声信号の１次反射音の音響伝達関数を補助音響伝達関数として選択する補助音響伝達関数選択部と、前記音源位置から前記聴取位置までの前記直接音及び前記１次反射音の経路差に基づいて、前記補助音響伝達関数の前記主音響伝達関数に対する遅延量及び減衰量を算出し、該遅延量及び該減衰量を前記補助音響伝達関数に適用して調整補助音響伝達関数を生成する補助音響伝達関数処理部と、前記主音響伝達関数及び前記調整補助音響伝達関数を加算して合成音響伝達関数を生成する音響伝達関数加算部と、前記合成音響伝達関数を前記音声信号に畳み込んでバイノーラル信号を生成する音声信号重畳部と、を備える。

【0014】

さらに、一実施形態において、前記補助音響伝達関数選択部は、前記主音響伝達関数を前記補助音響伝達関数の１つとして選択してもよい。

【0015】

さらに、一実施形態において、前記補助音響伝達関数選択部は、前記音源における任意の音声信号放射位置から聴取位置までの音響伝達関数を前記補助音響伝達関数の１つとして選択してもよい。

【0016】

さらに、一実施形態において、前記補助音響伝達関数選択部は、前記音源が存在する部屋の壁面のうち、前記１次反射音の反射点を求め、該反射点から聴取位置までの音響伝達関数を前記補助音響伝達関数の１つとして選択してもよい。

【0017】

さらに、一実施形態において、前記補助音響伝達関数選択部は、前記音源の位置を示す音源位置情報と、前記部屋の形状及び前記部屋に対する聴取位置を含む空間情報と、に基づいて前記反射点を求めてもよい。

【0018】

さらに、一実施形態において、前記補助音響伝達関数選択部は、あらかじめ１次反射音の聴取位置に対する方向及び距離を１つ以上設定し、該方向及び距離をパラメータとして有する音響伝達関数を前記補助音響伝達関数として選択してもよい。

【0019】

さらに、一実施形態において、前記補助音響伝達関数処理部は、前記直接音及び前記１次反射音の経路長に基づいて前記遅延量及び前記減衰量を算出してもよい。

【0020】

さらに、一実施形態において、前記遅延量及び前記減衰量は、前記直接音及び前記１次反射音の経路長、及び前記方向に基づいてあらかじめ算出されてもよい。

【0021】

また、一実施形態係るプログラムは、コンピュータを、上記バイノーラル信号生成装置として機能させる。

【発明の効果】

【0022】

本発明によれば、反射音を考慮し、簡便な処理により、音色の変化を抑制しつつ距離の知覚精度を向上させたバイノーラル信号を生成することが可能となる。

【図面の簡単な説明】

【0023】

【図1】第１の実施形態に係るバイノーラル信号生成装置の構成例を示すブロック図である。

【図2】音源自身からの１次反射音を示す模式図である。

【図3】音源自身からの１次反射音を示す模式図である。

【図4】第２の実施形態に係るバイノーラル信号生成装置の構成例を示すブロック図である。

【図5】部屋からの１次反射音を示す模式図である。

【図6】部屋からの１次反射音を示す模式図である。

【図7】距離に応じた直接音と１次反射音の経路差の関係を示す模式図である。

【図8】距離に応じた直接音と１次反射音の経路差を示す数式の変数を示す模式図である。

【図9】音源距離ｄと経路差ｙの関係を示す図である。

【図10】第３の実施形態に係るバイノーラル信号生成装置の構成例を示すブロック図である。

【図11】方位角に応じた直接音と１次反射音の経路差の関係を示す模式図である。

【図12】方位角θと音源距離ｄに対する経路差の変数の関係を説明する図である。

【発明を実施するための形態】

【0024】

以下、本発明の実施形態について、図面を参照して詳細に説明する。実施形態では、３次元空間の任意の座標を位置情報として保持する１つの音声信号を、バイノーラル再生する場合の例について説明する。ここで、位置情報はオブジェクトベース音響のメタデータとしてあらかじめ記述されているものとしているが、別の形で保持してもよい。例えば、聴取者側で予め音声信号のチャンネル番号と位置座標を組み合わせておくなどしてよい。また、実施形態では１つの音声信号に限定してバイノーラル再生する例を示しているが、番組音声のように複数の音声信号を同時に再生する場合でも、単純な重ね合わせによって実現することができる。なお、オブジェクトベース音響のメタデータの詳細については、例えば下記の参考文献を参照されたい。
［参考文献］勧告ITU-R BS.2076、"Audio Definition Model"

【0025】

（第１の実施形態）
図１は、第１の実施形態に係るバイノーラル信号生成装置１の構成例を示す図である。バイノーラル信号生成装置１は、音響伝達関数記憶部１１と、主音響伝達関数選択部１２と、補助音響伝達関数選択部１３と、補助音響伝達関数処理部１４と、音響伝達関数加算部１５と、音声信号重畳部１６と、を備える。

【0026】

音響伝達関数記憶部１１は、任意の音源位置（音源位置の座標を任意に変化させた場合の音源位置）から聴取位置（聴取者の左右の耳）までの複数の音響伝達関数をあらかじめ記憶する。本明細書において、「音響伝達関数」とは、ＨＲＩＲ又はＨＲＴＦを意味する。音響伝達関数記憶部１１は、任意の水平角（方位角）・仰角含む複数の方向、及び所定の範囲内の複数の距離において十分な解像度での音響伝達関数をデータベースとして保持する。ただし、音響伝達関数記憶部１１において限定された方向及び距離だけの音響伝達関数を保持し、音響伝達関数の存在しない場所については既存の内挿・外挿技術によって合成した音響伝達関数を用いるようにしてもよい。

【0027】

主音響伝達関数選択部１２は、音源の位置（座標）を示す音源位置情報を取得し、音響伝達関数記憶部１１から、音声信号の直接音の音響伝達関数を主音響伝達関数として選択する。そして、主音響伝達関数選択部１２は、選択した主音響伝達関数を音響伝達関数加算部１５に出力する。

【0028】

補助音響伝達関数選択部１３は、音源位置情報を取得し、音響伝達関数記憶部１１から、音声信号の反射音の音響伝達関数を補助音響伝達関数として選択する。そして、補助音響伝達関数選択部１３は、選択した補助音響伝達関数を補助音響伝達関数処理部１４に出力する。ここで、反射音とは１次反射音を意味するが、初期反射を構成する複数の反射音を含んでもよい。

【0029】

補助音響伝達関数処理部１４は、音源位置情報を取得し、直接音及び反射音の経路長に基づいて、補助音響伝達関数の主音響伝達関数に対する遅延量及び減衰量を算出する。次に、補助音響伝達関数処理部１４は、補助音響伝達関数選択部１３から入力した補助音響伝達関数に遅延量及び減衰量を適用して、調整された補助音響伝達関数（調整補助音響伝達関数）を生成する。そして、補助音響伝達関数処理部１４は、調整補助音響伝達関数を音響伝達関数加算部１５に出力する。

【0030】

音響伝達関数加算部１５は、主音響伝達関数選択部１２から入力した主音響伝達関数と、補助音響伝達関数選択部１３から入力した調整補助音響伝達関数とを加算して合成音響伝達関数を生成する。そして、音響伝達関数加算部１５は、生成した合成音響伝達関数を音声信号重畳部１６に出力する。

【0031】

音声信号重畳部１６は、音響伝達関数加算部１５から入力した合成音響伝達関数を、バイノーラル信号生成装置１から入力した音声信号に畳み込んでバイノーラル信号を生成する。そして、音声信号重畳部１６は、生成したバイノーラル信号をバイノーラル信号生成装置１の外部に出力する。この畳み込みは、時間領域で畳み込み演算を行ってもよいし、周波数領域の積で行うなど既存の手法を利用してよい。

【0032】

図２は、音源自身からの１次反射音を示す模式図である。図２に示すように、音源（スピーカ、音声オブジェクトなど）Ｓは大きさを持つ。バイノーラル信号生成装置１は、音源Ｓ自身からの１次反射音を含めたバイノーラル信号を生成する。図２に示す音源位置及び聴取位置を例に、主音響伝達関数選択部１２、補助音響伝達関数選択部１３、及び補助音響伝達関数処理部１４の処理を説明する。音源Ｓから聴取位置までの距離（以下、「音源距離」と称する。）はｄ［ｍ］とする。

【0033】

主音響伝達関数選択部１２は、座標ｒの音源Ｓが放射する音声信号をバイノーラル化する場合、まず座標ｒをパラメータとして有する音響伝達関数を主音響伝達関数として選択する。

【0034】

補助音響伝達関数選択部１３は、音源Ｓから放射された音が聴取者Ｕの頭部で反射して音源Ｓに帰ってきた反射音が再び音源Ｓで反射し聴取位置に届いた音を再現するために、音響伝達関数記憶部１１から、座標ｒをパラメータとして有する音響伝達関数（主音響伝達関数）を補助音響伝達関数の１つとして選択する。なお、図２では一例として音源Ｓが聴取者Ｕの前方に配置されるが、音源Ｓの配置はこれに限られるものではなく、すなわち反射位置も頭部前面とは限らない。

【0035】

補助音響伝達関数処理部１４は、補助音響伝達関数の遅延量及び減衰量を算出する。聴取者Ｕの頭部形状を球と仮定した場合の半径をｄ’［ｍ］とすると、音源Ｓから頭部表面までの距離をｄ－ｄ’［ｍ］と表せる。補助音響伝達関数で表される１次反射音の経路長と、主音響伝達関数距離で表される直接音の経路長との経路差は、ｄ－ｄ’［ｍ］を往復した分の長さとなる。よって、音速をｃ［ｍ／秒］とすると、２（ｄ－ｄ’）／ｃ［秒］の遅延が生じることになる。減衰量については、主音響伝達関数で表される直接音の経路長ｄと、補助音響伝達関数で表される１次反射音の経路長ｄ＋２（ｄ－ｄ’）との比の、ｄ／（３ｄ－２ｄ’）を減衰比としてよい。また、頭部での音の吸音率αを用いて、直接音と１次反射音のエネルギー比をより厳密に算出した値を使用して減衰量を算出してもよい。

【0036】

本実施形態によれば、３次元空間上の任意の位置の音の再現に際して、簡便な処理により、音源自身からの１次反射を再現したバイノーラル信号を生成することができる。また、反射音を模擬した伝達関数を付加することにより、知覚精度を向上させることができる。さらに、反射音を必要十分な１次反射（初期反射）のみに限定して模擬することにより、音色の変化を抑制することができる。

【0037】

バイノーラル再生において、実空間での音空間の知覚よりも知覚精度が悪化してしまう一つの原因として、ＨＲＴＦは点音源から放射される直接音のみの伝達関数であるのに対して、実空間ではある程度の表面積を持つ放射面から音が放射されるので、ある放射面からの直接音が頭部に反射して同じ放射面に入射しその反射音が再び両耳に到達する音、つまり音源から頭部までの距離の倍の距離分の時間差と減衰を持つ反射音が存在することによる影響が考えられる。この影響は、特に音源が頭部の近くに存在するときに顕著になると考えられる。この点本実施形態では、上述したように、主音響伝達関数を補助音響伝達関数の１つとして選択し、直接音及び反射音の経路差に基づいて遅延量及び減衰量を算出するので、知覚精度を向上させることができる。

【0038】

＜変形例＞
本実施形態では、補助音響伝達関数選択部１３において主音響伝達関数と同じ音響伝達関数を選択しているが、変形例として、スピーカなどの放射面の表面の直径Ａと音源距離ｄに応じて補助音響伝達関数を変更してもよい。

【0039】

図３は、図２の状況を上から眺めた俯瞰図である。図３に示すように、音源距離ｄと音源の半径Ａに対して，ｔａｎθ＝Ａ／ｄの逆関数としてθが求められる。

【0040】

補助音響伝達関数選択部１３は、主音響伝達関数と同じ音響伝達関数を選択する代わりに、あるいは選択するとともに、主音響伝達関数の方向に±θの範囲の任意の角度を方向パラメータとして有する音響伝達関数を補助音響伝達関数として選択してもよい。すなわち、補助音響伝達関数選択部１３は、音源Ｓにおける任意の音声信号放射位置から聴取位置までの音響伝達関数を補助音響伝達関数の１つとして選択してもよい。

【0041】

変形例によれば、直接音と方向がわずかに異なる反射音を再現することができる。また、音源の放射面の表面積が大きくなるほど、あるいは音源距離が近くなるほど、主音響伝達関数と補助音響伝達関数の方向差が大きくなりうるために、より実際の状況を正確に模擬でき、リアリティが高くなることが期待できる。

【0042】

（第２の実施形態）
次に、第２の実施形態に係るバイノーラル信号生成装置について説明する。本実施形態では、音源からの反射だけでなく、部屋からの１次反射も再現したバイノーラル信号を生成する。

【0043】

図４は、第２の実施形態に係るバイノーラル信号生成装置２の構成例を示すブロック図である。図４に示すバイノーラル信号生成装置２は、音響伝達関数記憶部１１と、主音響伝達関数選択部１２と、補助音響伝達関数選択部１３ａと、補助音響伝達関数処理部１４ａと、音響伝達関数加算部１５と、音声信号重畳部１６と、を備える。バイノーラル信号生成装置２は、第１の実施形態に係るバイノーラル信号生成装置１と比較して、補助音響伝達関数選択部１３ａ及び補助音響伝達関数処理部１４ａの処理が異なる。その他の処理は第１の実施形態と同じであるため、説明を省略する。

【0044】

補助音響伝達関数選択部１３ａは、音源位置情報に加えて空間情報を取得する。空間情報とは、部屋情報及び部屋に対する聴取位置を含む情報である。部屋情報とは、音源の存在する部屋の形状（寸法など）及び吸音率を含む情報である。そして、補助音響伝達関数選択部１３ａは、音源位置情報及び空間情報に基づいて、音源からの音声信号（再生音）が左右の壁面、床面などに反射して最初に聴取位置に到達する１次反射音を模擬した音響伝達関数を補助音響伝達関数として、音響伝達関数記憶部１１から選択する。なお、本実施形態で用いる補助音響伝達関数は、第１の実施形態で選択される補助音響伝達関数を含んでもよい。

【0045】

ここで、空間情報は音源から音声信号と同時に送られてきてもよいし、事前に部屋情報、及び部屋に対する聴取者の相対位置を設定しておき、必要に応じて聴取位置を算出してもよい。なお、本発明における部屋情報は、空間の響きを演出する目的ではなく、音源位置の知覚を強調するために用いるものであるため、事前に設定した情報を利用したとしても、音色・演出上に悪影響を与えないと考えられる。よって、バイノーラル信号生成装置２は、部屋情報を事前に保持しておくことが有用である。

【0046】

図５は、部屋からの１次反射音を示す模式図である。図６は、図５の状況を上方から眺めた俯瞰図である。バイノーラル信号生成装置２は、部屋Ｒからの１次反射音を含めたバイノーラル信号を生成する。

【0047】

補助音響伝達関数選択部１３ａは、部屋Ｒの壁面で反射する１次反射音の聴取位置までの反射点Ｐ（１次反射音の放射位置）の座標をパラメータとして有する音響伝達関数を、補助音響伝達関数の１つとして選択する。すなわち、補助音響伝達関数選択部１３ａは、音源Ｓが存在する部屋Ｒの壁面のうち、音声信号の１次反射音の反射点Ｐを求め、反射点Ｐから聴取位置までの音響伝達関数を補助音響伝達関数の１つとして選択する。この反射点Ｐは、１次反射音の経路を最短とする位置であってもよい。また、反射点Ｐは各壁面・床それぞれに対して１ずつ選択してもよいし、聴取位置から音源Ｓに向かって左・右・下各方向から到来するのが１つになるような反射点を１つずつ選択してもよい。ここで面として左右壁と床面のみを挙げているが天井面を含めてもよい。ただし、実空間においてあらゆる天井の高さの条件であっても問題なく距離が判断できることを考えると天井からの反射音は位置知覚への寄与が小さいものと考えられるため、図５及び図６に示すように壁面及び床面のみに着目してもよい。

【0048】

補助音響伝達関数処理部１４ａは、補助音響伝達関数の遅延量及び減衰量を算出する。その際に、補助音響伝達関数選択部１３ａと同様に、音源位置情報及び空間情報を用いてもよい。すなわち、補助音響伝達関数処理部１４ａは、音源Ｓから反射点Ｐまでの経路に反射点Ｐから聴取位置までの経路を合計した経路長と、音源Ｓから聴取位置までの経路長との差から遅延量を算出してもよい。また、補助音響伝達関数処理部１４ａは、反射音及び直接音の経路長の比、壁・床の吸音率などを考慮して減衰量を算出してもよい。

【0049】

なお、音源表面や壁面・床からの反射において吸音率に基づいて減衰量を算出する場合に、入射音のエネルギーに対する吸収されるエネルギーの比として吸音率が定義されているが、この吸音率を周波数ごとに異なる値としてもよい。つまり、反射による減衰の影響を周波数ごとに異なるようにしてもよい。

【0050】

また、図７に示すように、通常は音源Ｓが聴取位置に近くなるに従って、直接音と１次反射音の経路差は大きくなる。そのため、補助音響伝達関数処理部１４ａは、部屋Ｒと音源Ｓの相対的な位置関係によらず、あらかじめ音源距離に対する１次反射音の遅延量を関数として複数保持しておき、その関数を使用して遅延量を算出してもよい。

【0051】

例えば、図８に示すように音源距離ｄに加えて、音源位置及び聴取位置の床からの高さを示す定数ｈを設定する。この場合、補助音響伝達関数処理部１４ａは、床面からの１次反射音の経路長ｘと直接音の経路長ｄとの経路差ｙを次式（１）として求め、遅延量をｙ／ｃとしてもよい。定数ｈの値を複数変更することで、関数を複数表現することができる。

【0052】

【数1】

【0053】

図９に、定数ｈを１．５ｍとしたときの、音源距離ｄ及び経路差ｙの関係を示す。

【0054】

また、音源距離ｄ及び経路差ｙの関係をさらに簡単な１次関数として、次式（２）と表現してもよい。ここでａは、距離ｄに伴う単調減少の傾きを表す定数であり、ｙ＞０を満たす範囲で設定する。定数ｈ，ａを複数保持することで複数の関数を表現することができる。

【0055】

【数2】

【0056】

補助音響伝達関数処理部１４ａは、減衰量に関しても同様に、あらかじめ反射による減衰量を定数として定めておき、直接音及び反射音の経路比を変数とした複数の関数として減衰量を算出してもよい。例えば、式（１）と同様に次式（３）のように経路比を算出し、経路比に応じた減衰量を算出してもよい。

【0057】

【数3】

【0058】

ここで関数を複数用意しているのは、複数の補助音響伝達関数にランダムに割り当てることを可能とするためである。このように補助音響伝達関数の遅延量及び減衰量を低次の関数として再現することにより、複雑な室内反射を再現することなく簡便な処理で１次反射音を再現することができる。

【0059】

本実施形態では、音源が存在する部屋からの１次反射も再現したバイノーラル信号を生成することができ、反射音による音色への影響を極力排除した距離再現精度の向上が可能になる。

【0060】

（第３の実施形態）
次に、第３の実施形態に係るバイノーラル信号生成装置について説明する。第２の実施形態では、１次反射音の影響をできるだけ正確に再現するために、聴取位置と音源位置、壁面までの距離などの相対関係から反射音の入射方向や遅延量及び減衰量を算出していたが、本実施形態ではこのような相対関係を考慮しないでバイノーラル信号を生成する。

【0061】

図１０は、第３の実施形態に係るバイノーラル信号生成装置３の構成例を示すブロック図である。図１０に示すバイノーラル信号生成装置３は、音響伝達関数記憶部１１と、主音響伝達関数選択部１２と、補助音響伝達関数選択部１３ｂと、補助音響伝達関数処理部１４ｂと、音響伝達関数加算部１５と、音声信号重畳部１６と、を備える。バイノーラル信号生成装置３は、第２の実施形態に係るバイノーラル信号生成装置２と比較して、補助音響伝達関数選択部１３ｂ及び補助音響伝達関数処理部１４ｂの処理が異なる。その他の処理は第１の実施形態と同じであるため、説明を省略する。

【0062】

実空間において、人間は部屋の形状・材質がどのような状況であってもある程度正確に音源までの距離を判断できることを考えると、部屋と音源位置の相対位置関係によって決まる反射音の入射方向や遅延量及び減衰量の部屋ごとのばらつきは重要ではないと考えられる。そこで、補助音響伝達関数選択部１３ｂは、あらかじめ反射音の聴取位置に対する方向及び距離を１つ以上設定（仮定）し、該方向及び距離をパラメータとして有する音響伝達関数を補助音響伝達関数として選択する。なお、本実施形態で用いる補助音響伝達関数は、第１の実施形態で選択される補助音響伝達関数を含んでもよい。

【0063】

補助音響伝達関数処理部１４ｂが使用する遅延量及び減衰量は、直接音及び仮定した反射音の経路差、及び仮定した反射音の方向に基づいてあらかじめ算出される。すなわち、バイノーラル信号生成装置３は、１次反射音の方向と、遅延量及び減衰量とを、音源の方向及び距離のみによって決定される関数として保持する。距離に関しては、第２の実施形態でも示したように距離を変数とした関数として記述し保持しておいてもよいし、距離に対応した反射方向、遅延量及び減衰量を定数のデータベースとして保持しておいてもよい。

【0064】

方向に関しても、図１１に示すように、方位角の変化に伴って体系的に変化していくような関数や定数として保持しておいてもよい。図１１では音源Ｓの方向が正中面（人体を左右に２分する中心面）から遠ざかるに従って音源Ｓが壁面に近づくことを想定し、徐々に反射音の遅延量が小さくなるようにしてもよい。もっとも、距離方向とは異なり方向に関しては必ずしも正中面から遠ざかると反射音の遅延が小さくなるとは限らないものなので、方向の変化に関して何らかの単純な規則性を持ち反射音が変化していくように設定していれば任意の関数・定数でよい。実際に人間が実空間において部屋の形状によらず位置を正確に定位できているのは、その空間内において反射音と方向や距離の関係を学習しているものと考えられるので、任意の規則性でも有効であると考えられる。

【0065】

例えば、図１２に示すように、音源距離ｄ、正中面に対する方位角θの位置に音源Ｓが配置されたとする。ここで、聴取位置から、音声信号が１次反射する壁面までの距離をＬとする。方位角θに応じて遅延が小さくなるような関数の一例として、１次反射音と直接音との経路差ｚを次式（４）のような形で表してもよい。式（４）における第一項は第２の実施形態の距離ｄに応じた経路差と同じ形であり、それに対して方位角θに応じて経路差ｚが小さくなるような第二項を加えた形になる。これは一例であり、厳密に経路差を算出する関数ではなく、簡単な関数として近似したものである。

【0066】

【数4】

【0067】

第２の実施形態では距離のみに基づいて遅延量及び減衰量を決定し、第３の実施形態では、距離及び方向に基づいて遅延量及び減衰量を決定する例について説明した。その他、床面からの反射には距離に対してのみ決定される遅延量及び減衰量を用いて、壁面からの反射には距離と方向に対して決定される遅延量及び減衰量を用いるなど、使い分けてもよい。

【0068】

以上のように、本実施形態によれば、補助音響伝達関数選択部１３ｂ及び補助音響伝達関数処理部１４ｂにおいて、補助音響伝達関数の選択処理、及び調整補助音響伝達関数の生成処理をより簡便にしつつ、かつ音源の位置判断精度を損なうことなくバイノーラル信号を生成することができる。

【0069】

＜プログラム＞
上記のバイノーラル信号生成装置１，２，３として機能させるために、プログラム命令を実行可能なコンピュータを用いることも可能である。コンピュータは、バイノーラル信号生成装置１，２，３の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのプロセッサによってこのプログラムを読み出して実行する。これらの処理内容の一部はハードウェアで実現されてもよい。ここで、コンピュータは、汎用コンピュータ、専用コンピュータ、ワークステーション、ＰＣ（Personal Computer）、電子ノートパッドなどであってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。プロセッサは、ＣＰＵ(Central Processing Unit)、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ(Digital Signal Processor)などであってもよい。

【0070】

例えば、バイノーラル信号生成装置１として機能させるためのプログラムは、任意の音源位置から聴取位置までの複数の音響伝達関数をあらかじめ記憶部に記憶するステップと、記憶部から音声信号の直接音の音響伝達関数を主音響伝達関数として選択するステップと、記憶部から音声信号の反射音の音響伝達関数を補助音響伝達関数として選択するステップと、補助音響伝達関数の主音響伝達関数に対する遅延量及び減衰量を補助音響伝達関数に適用して調整補助音響伝達関数を生成するステップと、主音響伝達関数及び調整補助音響伝達関数を加算して合成音響伝達関数を生成するステップと、合成音響伝達関数を音声信号に畳み込んでバイノーラル信号を生成するステップと、をコンピュータに実行させる。

【0071】

また、このプログラムは、コンピュータが読み取り可能な記録媒体に記録されていてもよい。このような記録媒体を用いれば、プログラムをコンピュータにインストールすることが可能である。ここで、プログラムが記録された記録媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭなどの記録媒体であってもよい。また、このプログラムは、ネットワークを介したダウンロードによって提供することもできる。

【0072】

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形又は変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

【符号の説明】

【0073】

１，２，３ バイノーラル信号生成装置
１１ 音響伝達関数記憶部
１２ 主音響伝達関数選択部
１３，１３ａ，１３ｂ 補助音響伝達関数選択部
１４，１４ａ，１４ｂ 補助音響伝達関数処理部
１５ 音響伝達関数加算部
１６ 音声信号重畳部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】