(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-06
(45)【発行日】2024-11-14
(54)【発明の名称】ヘッドホン再生装置及びプログラム
(51)【国際特許分類】
H04S 3/00 20060101AFI20241107BHJP
H04S 7/00 20060101ALI20241107BHJP
【ＦＩ】
H04S3/00 400
H04S7/00 340
【請求項の数】
2
(21)【出願番号】P 2020203004
(22)【出願日】2020-12-07
(65)【公開番号】P2022090546
(43)【公開日】2022-06-17
【審査請求日】2023-11-01
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】100121119
【弁理士】
【氏名又は名称】花村 泰伸
(72)【発明者】
【氏名】松井 健太郎
【審査官】齊田 寛史
(56)【参考文献】
【文献】特開２０１８－１５２６６９（ＪＰ，Ａ）
【文献】特開２０１６－０３９５６８（ＪＰ，Ａ）
【文献】特開２００３－０７８９９９（ＪＰ，Ａ）
【文献】KUDO, A. et al.，"A study on switching of the transfer functionsfocusing on sound quality"，Acoustical Science and Technology，日本，日本音響学会，2005年，Vol.26, No.3，pp.267-278
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｓ ３／００
Ｈ０４Ｓ ７／００
(57)【特許請求の範囲】
【請求項1】
音源の位置から聴取者の位置までの頭部インパルス応答を、前記音源から入力した音源信号に畳み込むことで、ヘッドホン再生のための再生信号を生成するヘッドホン再生装置において、前記音源から前記音源信号を入力し、所定サイズのバッファ単位の音源信号を入力バッファに格納する音源信号入力部と、
前記音源及び前記聴取者の位置関係を測定する外部センサから、前記位置関係を示す位置パラメータを入力し、前記位置パラメータに基づいて、前記聴取者の位置から前記音源の位置への方向を算出し、前記方向を前記入力バッファに格納する位置パラメータ入力部と、
前記入力バッファに格納された前記バッファ単位の音源信号を、所定分割サイズの分割バッファ単位の音源信号に分割する音源信号分割部と、
前記入力バッファに格納された２以上の所定数の前記方向を用いて、内挿、外挿、または内挿及び外挿による補間を行うことで、分割バッファ単位の方向を生成する方向補間部と、
前記方向補間部により生成された前記分割バッファ単位の方向に対応する予め設定された前記頭部インパルス応答を、前記音源信号分割部により分割された前記分割バッファ単位の音源信号に畳み込むことで、前記再生信号を生成する畳み込み部と、
を備えたことを特徴とするヘッドホン再生装置。
【請求項2】
コンピュータを、請求項１に記載のヘッドホン再生装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ヘッドホン再生により、所定位置に所望の音響信号（音像）を提示するためのヘッドホン再生装置及びプログラムに関する。特に、本発明は、ストリーミング等の音源信号を逐次入力する場合に、音源の移動または頭部の運動に追従して頭部インパルス応答を音源信号に畳み込むバイノーラル再生法において、音源信号を入力するタイミングと音源の移動または頭部の運動のタイミングが一致しない場合の音源信号を再生する技術に関する。
【背景技術】
【0002】
従来、ヘッドホンによる立体音響再生法（音像定位技術）の一つとして、頭部伝達関数を用いたバイノーラル再生法が知られている。
【0003】
図１０は、頭部伝達関数を説明する図である。頭部伝達関数は、自由音場に聴取者１０１の頭部がないときの両耳の中心位置から音源１００の位置を経て、頭部があるときの左右の外耳道入口または鼓膜の位置までの伝達関数（左耳頭部伝達関数及び右耳頭部伝達関数）である。
【0004】
図１０に示すように、頭部伝達関数は、近似的に、音源１００の位置から聴取者１０１の外耳道入口または鼓膜の位置までの伝達関数として定義されることが多い。頭部伝達関数は、音源１００から両耳までの伝達関数であることから、音像の方向感等の知覚に寄与するとされている。尚、頭部伝達関数の時間領域の表現を、頭部インパルス応答という。
【0005】
バイノーラル再生法は、音源信号にこの頭部インパルス応答を畳み込むことにより実現される。図１１は、バイノーラル再生法を説明する図である。音源１００から出力された音源信号は、畳み込み器１０２－１，１０３－１を経て、聴取者１０１の右の外耳道入口または鼓膜に到達すると共に、畳み込み器１０２－２，１０３－２を経て、左の外耳道入口または鼓膜に到達する。
【0006】
畳み込み器１０２－１は、右耳頭部インパルス応答Ｘrを音源信号に畳み込み、畳み込み器１０２－２は、左耳頭部インパルス応答Ｘlを音源信号に畳み込む。
【0007】
畳み込み器１０３－１は、右耳用のヘッドホンの逆特性を、畳み込み器１０２－１から出力された音響信号に畳み込み、畳み込み器１０３－２は、左耳用のヘッドホンの逆特性を、畳み込み器１０２－２から出力された音響信号に畳み込む。
【0008】
畳み込み器１０３－１，１０３－２から出力されたそれぞれの音響信号は、聴取者１０１の右及び左の外耳道入口または鼓膜に到達する。畳み込み器１０３－１，１０３－２により、聴取者１０１が音を聞くときのヘッドホンの影響をキャンセルすることができる。
【0009】
例えば、図１０を参照して、聴取者１０１を基準にした左斜め前方の頭部インパルス応答を右耳頭部インパルス応答Ｘr及び左耳頭部インパルス応答Ｘlとすると、図１１に示したバイノーラル再生法により、人は左斜め前方に音像を知覚することができる。
【0010】
音源１００が移動する場合、その音源１００の移動に伴う音源１００と聴取者１０１の頭部の位置関係に応じて、頭部インパルス応答を切り替えることにより、バイノーラル再生法が実現される。
【0011】
図１２は、音源１００が移動する場合を説明する図である。Ｄ１，Ｄ２は、聴取者１０１の両耳の中心位置から音源１００への方向をそれぞれ示す。聴取者１０１の位置を固定として、音源１００が、時刻Ｔ１の方向Ｄ１から時刻Ｔ２の方向Ｄ２へ移動した場合を想定する。
【0012】
この場合、時刻Ｔ１から時刻Ｔ２の直前までの間の音源信号に対し、方向Ｄ１の頭部インパルス応答が畳み込まれ、時刻Ｔ２の音源信号に対し、方向Ｄ２の頭部インパルス応答が畳み込まれる。
【0013】
また、聴取者１０１が移動する場合も同様に、聴取者１０１の移動に伴う音源１００と聴取者１０１の頭部の位置関係に応じて、頭部インパルス応答を切り替えることにより、バイノーラル再生法が実現される。
【0014】
図１３は、聴取者１０１が移動する場合を説明する図である。Ｄ１は、聴取者１０１が場所ａ１に存在する場合の両耳の中心位置から音源１００への方向を示し、Ｄ２は、聴取者１０１が場所ａ２に存在する場合の両耳の中心位置から音源１００への方向を示す。音源１００の位置を固定として、聴取者１０１が、時刻Ｔ１において存在していた場所ａ１から、時刻Ｔ２において存在する場所ａ２へ移動した場合を想定する。
【0015】
この場合、時刻Ｔ１から時刻Ｔ２の直前までの間の音源信号に対し、方向Ｄ１の頭部インパルス応答が畳み込まれ、時刻Ｔ２の音源信号に対し、方向Ｄ２の頭部インパルス応答が畳み込まれる。
【0016】
ところで、音源１００が移動した場合であっても、その移動に対してスムーズに追随した再生信号を生成する手法が提案されている（例えば特許文献１を参照）。この手法は、音源信号に対し、並列に頭部伝達関数の処理を行うことで音源１００の位置を検出し、この検出結果に基づいて、頭部伝達関数の処理が行われた音響信号を補間して再生信号を生成するものである。
【先行技術文献】
【特許文献】
【0017】
【文献】特開平０７－２４８２５５号公報
【発明の概要】
【発明が解決しようとする課題】
【0018】
従来、音源信号及び頭部インパルス応答がデジタル信号の場合、畳み込み処理は、サンプル単位または一定サイズ（２５６サンプル、１０２４サンプル等）の単位で行われる。また、音源１００または聴取者１０１の移動によるその相対的な位置関係を表す位置パラメータは、外部センサ等から一定周期のデータとして取得される。
【0019】
ヘッドホン再生により所定位置に所望の音像を提示するための再生信号を生成する装置（ヘッドホン再生装置）は、音源１００から音源信号を逐次入力すると共に、外部センサから一定周期の位置パラメータを入力する。そして、ヘッドホン再生装置は、位置パラメータの示す方向Ｄの頭部インパルス応答を、所定サイズのバッファ単位の音源信号に畳み込むことで再生信号を生成する。
【0020】
この場合、音源信号に畳み込む頭部インパルス応答の方向Ｄは、所定サイズのバッファ単位の音源信号が入力されるタイミング、または位置パラメータが入力されるタイミングで切り替えられる。
【0021】
音源１００または聴取者１０１が移動する場合の時間分解能は、その位置パラメータを生成する外部センサの分解能に依存する。
【0022】
図１２を参照して、ヘッドホン再生装置は、時刻Ｔ１において、外部センサから第一の位置パラメータを入力して方向Ｄ１を求め、音源１００の連続移動に伴い時刻Ｔ２において、外部センサから第二の位置パラメータを入力して方向Ｄ２を求めたとする。
【0023】
この場合、時刻Ｔ１から時刻Ｔ２の直前までの間に音源１００の位置が連続的に変わっているにもかかわらず、時刻Ｔ１から時刻Ｔ２の直前までの間の畳み込み処理は、方向Ｄ１を用いて行われる。
【0024】
図１４は、従来技術において、時刻Ｔ、方向Ｄ、音源信号のバッファＢ（バッファ単位の音源信号）及び付与される方向Ｄについて説明する図である。時刻Ｔは、等間隔で刻まれているものとする。方向Ｄは、外部センサから入力した位置パラメータに基づいて求めたデータであり、音源信号のバッファＢは、音源１００から入力した所定サイズのバッファ単位の音源信号である。
【0025】
方向Ｄについては、時刻Ｔ１，Ｔ５，Ｔ９，Ｔ１３，Ｔ１７，Ｔ２１，Ｔ２５等のタイミングにおいて、外部センサから入力したそれぞれの位置パラメータに基づいて、方向Ｄ１，Ｄ５，Ｄ９，Ｄ１３，Ｄ１７，Ｄ２１，Ｄ２５等が求められるものとする。
【0026】
音源信号については、音源１００から入力した時刻Ｔ１から時刻Ｔ６（時刻Ｔ７の直前）までの音源信号が、時刻Ｔ６のタイミングにおいて、バッファＢ１の音源信号としてバッファリングされるものとする。また、時刻Ｔ７から時刻Ｔ１２（時刻Ｔ１３の直前）までの音源信号が、時刻Ｔ１２のタイミングにおいて、バッファＢ２の音源信号としてバッファリングされるものとする。また、時刻Ｔ１３から時刻Ｔ１８（時刻Ｔ１９の直前）までの音源信号が、時刻Ｔ１８のタイミングにおいて、バッファＢ３の音源信号としてバッファリングされるものとする。また、時刻Ｔ１９から時刻Ｔ２４（時刻Ｔ２５の直前）までの音源信号が、時刻Ｔ２４のタイミングにおいて、バッファＢ４の音源信号としてバッファリングされるものとする。
【0027】
畳み込み処理については、時刻Ｔ６のタイミングにおいてバッファリングされたバッファＢ１の音源信号に対し、その時点で保持されている方向Ｄ５に対応する頭部インパルス応答が畳み込まれる。このため、バッファＢ１の音源信号、つまり時刻Ｔ１から時刻Ｔ６までの音源信号には、方向Ｄ５が付与される。
【0028】
また、時刻Ｔ１２のタイミングにおいてバッファリングされたバッファＢ２の音源信号に対し、その時点で保持されている方向Ｄ９に対応する頭部インパルス応答が畳み込まれる。このため、バッファＢ２の音源信号、つまり時刻Ｔ７から時刻Ｔ１２までの音源信号には、方向Ｄ９が付与される。
【0029】
また、時刻Ｔ１８のタイミングにおいてバッファリングされたバッファＢ３の音源信号に対し、その時点で保持されている方向Ｄ１７に対応する頭部インパルス応答が畳み込まれる。このため、バッファＢ３の音源信号、つまり時刻Ｔ１３から時刻Ｔ１８までの音源信号には、方向Ｄ１７が付与される。
【0030】
また、時刻Ｔ２４のタイミングにおいてバッファリングされたバッファＢ４の音源信号に対し、その時点で保持されている方向Ｄ２１に対応する頭部インパルス応答が畳み込まれる。このため、バッファＢ４の音源信号、つまり時刻Ｔ１９から時刻Ｔ２４までの音源信号には、方向Ｄ２１が付与される。
【0031】
しかしながら、実際には、外部センサから方向Ｄが取得される時刻Ｔ１，Ｔ５，Ｔ９，Ｔ１３等の間の時間期間において、例えば音源１００は、方向Ｄ１，Ｄ５，Ｄ９，Ｄ１３等の間を連続して移動している。このため、時刻Ｔ１，Ｔ５，Ｔ９，Ｔ１３等の間の時間期間に付与される方向Ｄは、正確でない。例えば、時刻Ｔ５の音源信号に付与される方向Ｄ５は正確であるが、時刻Ｔ１，Ｔ２，Ｔ３，Ｔ４，Ｔ６の音源信号に付与される方向Ｄ５は正確でない。
【0032】
また、所定サイズのバッファ単位の音源信号において、所定サイズ（バッファのサイズ）が大きいほど、当該音源信号に付与される方向Ｄが大きく変動してしまう。このため、ヘッドホン再生装置により生成される再生信号が不連続となり、すなわち音像が不連続となり、そのつなぎ目（バッファ単位の音源信号の変わり目）で不要なノイズが発生する可能性がある。
【0033】
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、音源の移動または頭部の運動に追従して畳み込みを行うバイノーラル再生法において、再生信号の不連続性を緩和し、ノイズの発生を抑制可能なヘッドホン再生装置及びプログラムを提供することにある。
【課題を解決するための手段】
【0034】
前記課題を解決するために、請求項１のヘッドホン再生装置は、音源の位置から聴取者の位置までの頭部インパルス応答を、前記音源から入力した音源信号に畳み込むことで、ヘッドホン再生のための再生信号を生成するヘッドホン再生装置において、前記音源から前記音源信号を入力し、所定サイズのバッファ単位の音源信号を入力バッファに格納する音源信号入力部と、前記音源及び前記聴取者の位置関係を測定する外部センサから、前記位置関係を示す位置パラメータを入力し、前記位置パラメータに基づいて、前記聴取者の位置から前記音源の位置への方向を算出し、前記方向を前記入力バッファに格納する位置パラメータ入力部と、前記入力バッファに格納された前記バッファ単位の音源信号を、所定分割サイズの分割バッファ単位の音源信号に分割する音源信号分割部と、前記入力バッファに格納された２以上の所定数の前記方向を用いて、内挿、外挿、または内挿及び外挿による補間を行うことで、分割バッファ単位の方向を生成する方向補間部と、前記方向補間部により生成された前記分割バッファ単位の方向に対応する予め設定された前記頭部インパルス応答を、前記音源信号分割部により分割された前記分割バッファ単位の音源信号に畳み込むことで、前記再生信号を生成する畳み込み部と、を備えたことを特徴とする。
【0036】
さらに、請求項２のプログラムは、コンピュータを、請求項１に記載のヘッドホン再生装置として機能させることを特徴とする。
【発明の効果】
【0037】
以上のように、本発明によれば、音源の移動または頭部の運動に追従して畳み込みを行うバイノーラル再生法において、再生信号の不連続性を緩和し、ノイズの発生を抑制することができる。
【図面の簡単な説明】
【0038】
【図1】本発明の実施形態によるヘッドホン再生装置の構成例を示すブロック図である。
【図2】入力バッファに格納された音源信号の単位等の変遷を説明する図である。
【図3】再生部によるバッファ単位の音源信号に対する再生信号生成処理例を示すフローチャートである。
【図4】補間処理の第一例（ステップＳ３０２）を説明する図である。
【図5】補間処理の第二例（ステップＳ３０２）を説明する図である。
【図6】本発明の実施形態における時刻Ｔ、方向Ｄ、音源信号のバッファＢ、音源信号の分割バッファＢ－ｎ及び付与される方向Ｄについて説明する図である。
【図7】メモリのデータ構成例を示す図である。
【図8】畳み込み処理の例（ステップＳ３０４）を説明する図である。
【図9】畳み込み結果の加算処理の例（ステップＳ３０５）を説明する図である。
【図10】頭部伝達関数を説明する図である。
【図11】バイノーラル再生法を説明する図である。
【図12】音源が移動する場合を説明する図である。
【図13】聴取者が移動する場合を説明する図である。
【図14】従来技術において、時刻Ｔ、方向Ｄ、音源信号のバッファＢ及び付与される方向Ｄについて説明する図である。
【発明を実施するための形態】
【0039】
以下、本発明を実施するための形態について図面を用いて詳細に説明する。本発明は、バッファ単位の音源信号を分割バッファ単位に分割し、外部センサ等から入力した音源及び頭部の位置関係を示す位置パラメータに基づいて頭部から音源への方向を求め、分割バッファ単位の音源信号に対応するように方向を補間する。そして、本発明は、補間後の方向に対応する頭部インパルス応答を分割バッファ単位の音源信号に畳み込むことで、再生信号を生成する。
【0040】
これにより、より自然な方向に音像を定位知覚させると共に、不要なノイズを低減することができる。つまり、音源の移動または頭部の運動に追従して畳み込みを行うバイノーラル再生法において、再生信号の不連続性を緩和し、ノイズの発生を抑制することができる。
【0041】
〔ヘッドホン再生装置〕
本発明の実施形態によるヘッドホン再生装置について説明する。図１は、本発明の実施形態によるヘッドホン再生装置の構成例を示すブロック図である。
本発明の実施形態によるヘッドホン再生装置について説明する。図１は、本発明の実施形態によるヘッドホン再生装置の構成例を示すブロック図である。
【0042】
このヘッドホン再生装置１は、音源信号入力部１０、位置パラメータ入力部１１、入力バッファ１２、再生部１３、メモリ１４、再生バッファ１５及び再生信号出力部１６を備えている。再生部１３は、音源信号分割部２０、方向補間部２１及び畳み込み部２２を備えている。
【0043】
音源信号入力部１０は、音源２からストリーミング等の音源信号を逐次入力する。音源信号入力部１０は、所定サイズのバッファ単位の音源信号の入力を待って、当該バッファ単位の音源信号を入力バッファ１２に格納する。
【0044】
位置パラメータ入力部１１は、図示しない音源２及び聴取者１０１の頭部の位置関係を測定する外部センサ３から、当該位置関係を示す位置パラメータを入力する。そして、位置パラメータ入力部１１は、位置パラメータに基づいて、聴取者１０１の頭部の位置から音源２の位置への方向情報（以下、単に「方向」という。）を算出し、方向を入力バッファ１２に格納する。
【0045】
ここで、方向は、所定の直交する２軸において、聴取者１０１の頭部の位置から音源２の位置への角度及び距離を示すベクトルである。また、音源２の移動または頭部の運動に伴い、入力される位置パラメータは変化するものとし、算出される方向も変化するものとする。さらに、音源信号入力部１０が音源信号を入力するタイミングと、音源２の移動または頭部の運動のタイミングは一致していないものとする。すなわち、音源信号の入力タイミングと、外部センサ３が位置パラメータを更新して出力するタイミング（位置パラメータ入力部１１が位置パラメータを入力するタイミング）は一致していないものとする。
【0046】
入力バッファ１２には、後述する図６に示すように、所定時刻間隔の方向Ｄ、音源信号のバッファＢ、並びに、時刻Ｔ毎の音源信号の分割バッファＢ－ｎ及び付与される方向Ｄが格納される。音源信号のバッファＢは、所定サイズのバッファ単位の音源信号であり、時刻Ｔ毎の音源信号の分割バッファＢ－ｎは、所定分割サイズの分割バッファ単位の音源信号である。
【0047】
図２は、入力バッファ１２に格納された音源信号の単位等の変遷を説明する図である。図２（１）に示すように、音源信号入力部１０により、時刻Ｔ＝Ｔ６のタイミングにおいて、時刻Ｔ１から時刻Ｔ６までの音源信号（所定サイズのバッファ単位の音源信号）が格納される。時刻Ｔは、等間隔で刻まれているものとする。後述する図４、図５及び図６についても同様である。
【0048】
また、図２（１）に示すように、位置パラメータ入力部１１により、時刻Ｔ１のタイミングにおいて方向Ｄ＝Ｄ１が格納され、時刻Ｔ５のタイミングにおいて方向Ｄ５が格納される。
【0049】
図１に戻って、再生部１３は、入力バッファ１２に格納されたバッファ単位の音源信号を分割し、入力バッファ１２に格納された方向Ｄを補間する。そして、再生部１３は、補間後の方向Ｄに対応する頭部インパルス応答を分割バッファ単位の音源信号に畳み込むことで、ヘッドホン再生のための再生信号を生成する。ここで、補間とは、内挿、外挿、または内挿及び外挿等の各種処理をいう。
【0050】
具体的には、再生部１３は、入力バッファ１２に格納された所定サイズのバッファ単位の音源信号を、所定分割サイズの分割バッファ単位の音源信号に分割する。また、再生部１３は、入力バッファ１２に格納された方向Ｄを、分割バッファ単位の音源信号に対応するように補間する。
【0051】
再生部１３は、メモリ１４から、補間後の方向Ｄに対応する頭部インパルス応答を読み出し、頭部インパルス応答を分割バッファ単位の音源信号に畳み込み、畳み込み結果を加算処理することで、再生バッファ１５に格納する。再生バッファ１５には再生信号が格納される。再生部１３及びメモリ１４の詳細については後述する。
【0052】
再生信号出力部１６は、再生バッファ１５から再生信号を読み出し、再生信号を出力する。
【0053】
これにより、聴取者１０１が方向Ｄの音源２から取得する音源信号を、再生信号としてヘッドホン再生することができる。
【0054】
【0055】
再生部１３は、入力バッファ１２に所定サイズのバッファ単位の音源信号が格納される毎に（後述する図６において、時刻Ｔ６，Ｔ１２，Ｔ１８，Ｔ２４，・・・毎に）、後述するステップＳ３０１～Ｓ３０７の処理を行う。
【0056】
（音源信号の分割処理）
再生部１３の音源信号分割部２０は、入力バッファ１２に所定サイズのバッファ単位の音源信号が格納されたことを判定すると、当該音源信号を、最小単位である所定分割サイズの分割バッファ単位の音源信号に分割する（ステップＳ３０１）。
再生部１３の音源信号分割部２０は、入力バッファ１２に所定サイズのバッファ単位の音源信号が格納されたことを判定すると、当該音源信号を、最小単位である所定分割サイズの分割バッファ単位の音源信号に分割する（ステップＳ３０１）。
【0057】
ここで、所定サイズのバッファ単位の音源信号における所定サイズは、任意に予め設定される。また、所定分割サイズの分割バッファ単位の音源信号における所定分割サイズも任意に予め設定され、所定サイズよりも小さければよく、１サンプルのサイズでもよい。
【0058】
図２（２）に示すように、時刻Ｔ６のタイミングにて、バッファ単位の音源信号（バッファＢ１）が入力バッファ１２に格納されたとする（すなわち、音源２からバッファ単位の音源信号が入力されたとする）。
【0059】
そうすると、図２（３）に示すように、ステップＳ３０１の処理により、バッファ単位の音源信号（バッファＢ１）が分割バッファ単位の音源信号（分割バッファＢ１－１，・・・，Ｂ１－６）に分割される。ここでは、所定サイズを６等分したサイズが所定分割サイズである。
【0060】
これにより、入力バッファ１２には、時刻Ｔ１における分割バッファ単位の音源信号（分割バッファＢ１－１）、及び時刻Ｔ２における分割バッファ単位の音源信号（分割バッファＢ１－２）が格納された状態となる。また、入力バッファ１２には、時刻Ｔ３における分割バッファ単位の音源信号（分割バッファＢ１－３）、・・・及び時刻Ｔ６における分割バッファ単位の音源信号（分割バッファＢ１－６）が格納された状態となる。
【0061】
（方向Ｄの補間処理）
図３に戻って、方向補間部２１は、ステップＳ３０１から移行して、入力バッファ１２から方向Ｄを読み出し、方向Ｄを用いた補間を行い、分割バッファ単位の音源信号に対応する方向Ｄを求める。そして、方向補間部２１は、補間後の方向Ｄを入力バッファ１２に格納する（ステップＳ３０２）。
図３に戻って、方向補間部２１は、ステップＳ３０１から移行して、入力バッファ１２から方向Ｄを読み出し、方向Ｄを用いた補間を行い、分割バッファ単位の音源信号に対応する方向Ｄを求める。そして、方向補間部２１は、補間後の方向Ｄを入力バッファ１２に格納する（ステップＳ３０２）。
【0062】
図２（４）に示すように、ステップＳ３０２により、方向Ｄ１，Ｄ２等を用いた補間処理が行われ、時刻Ｔ２，Ｔ３，Ｔ４，Ｔ６における方向Ｄ２’，Ｄ３’，Ｄ４’，Ｄ６’が求められる。時刻Ｔ１，Ｔ２，・・・，Ｔ５，Ｔ６における方向Ｄ１，Ｄ２’，・・・，Ｄ５，Ｄ６’は、分割バッファ単位の音源信号である分割バッファＢ１－１，Ｂ１－２，・・・，Ｂ１－５，Ｂ１－６にそれぞれ対応することとなる。
【0063】
これにより、音源２の移動または頭部の運動に伴い、聴取者１０１から見て音源２がより正確な位置で滑らかに移動するように、方向Ｄの軌跡が補間され、分割バッファ単位の音源信号に対応する方向Ｄを得ることができる。
【0064】
（補間処理の例）
次に、ステップＳ３０２における補間処理の例について説明する。
次に、ステップＳ３０２における補間処理の例について説明する。
【0065】
図４は、補間処理の第一例（ステップＳ３０２）を説明する図であり、内挿及び外挿処理の例を示している。入力バッファ１２に、時刻Ｔ１３において方向Ｄ１３が格納され、時刻Ｔ１７において方向Ｄ１７が格納され、時刻Ｔ１８において、バッファ単位の音源信号であるバッファＢ３が格納されたものとする。また、バッファ単位の音源信号であるバッファＢ３が、分割バッファ単位の音源信号である分割バッファＢ３－１，Ｂ３－２，・・・，Ｂ３－６に分割されたものとする。
【0066】
そうすると、方向補間部２１は、時刻Ｔ１８において、過去２度の時刻Ｔ１３，Ｔ１７における方向Ｄ１３，Ｄ１７を用いた内挿処理により、時刻Ｔ１４，Ｔ１５，Ｔ１６における方向Ｄ１４’，Ｄ１５’，Ｄ１６’を付与する。また、方向補間部２１は、方向Ｄ１３，Ｄ１７を用いた外挿処理により、時刻Ｔ１８における方向Ｄ１８’を付与する。
【0067】
具体的には、方向Ｄ１３をベクトルＤ→
13、方向Ｄ１７をベクトルＤ→
17として、方向補間部２１は、以下の式にて、方向Ｄ１４’，Ｄ１５’，Ｄ１６’，Ｄ１８’のベクトルＤ→
14，Ｄ→
15，Ｄ→
16，Ｄ→
18を求める。
【数1】
【0068】
図５は、補間処理の第二例（ステップＳ３０２）を説明する図であり、内挿処理の例を示している。入力バッファ１２に、時刻Ｔ１３において方向Ｄ１３が格納され、時刻Ｔ１７において方向Ｄ１７が格納され、時刻Ｔ１８において、バッファ単位の音源信号であるバッファＢ３が格納されたものとする。また、バッファ単位の音源信号であるバッファＢ３が、分割バッファ単位の音源信号である分割バッファＢ３－１，Ｂ３－２，・・・，Ｂ３－６に分割されたものとする。また、時刻Ｔ２１において方向Ｄ２１が格納されるものとする。
【0069】
そうすると、方向補間部２１は、時刻Ｔ１８の後に、時刻Ｔ２１における方向Ｄ２１が入力バッファ１２に格納されるのを待つ。そして、方向補間部２１は、過去３度の時刻Ｔ１３，Ｔ１７，Ｔ２１における方向Ｄ１３，Ｄ１７，Ｄ２１を用いた内挿処理により、時刻Ｔ１４，Ｔ１５，Ｔ１６，Ｔ１８，Ｔ１９，Ｔ２０における方向Ｄ１４’，Ｄ１５’，Ｄ１６’，Ｄ１８’，Ｄ１９’，Ｄ２０’を付与する。
【0070】
つまり、方向補間部２１は、時刻Ｔ１８において、方向Ｄ１３，Ｄ１７を用いた内挿処理により、方向Ｄ１４’，Ｄ１５’，Ｄ１６’を付与し、時刻Ｔ２１において、方向Ｄ１７，Ｄ２１を用いた内挿処理により、方向Ｄ１８’，Ｄ１９’，Ｄ２０’を付与する。
【0071】
具体的には、方向Ｄ１３をベクトルＤ→
13、方向Ｄ１７をベクトルＤ→
17、方向Ｄ２１をベクトルＤ→
21として、方向補間部２１は、以下の式にて、方向Ｄ１４’，Ｄ１５’，Ｄ１６’，Ｄ１８’，Ｄ１９’，Ｄ２０’のベクトルＤ→
14，Ｄ→
15，Ｄ→
16，Ｄ→
18，Ｄ→
19，Ｄ→
20を求める。
【数2】
【0072】
前述のとおり、時刻Ｔ１８において、方向Ｄ１３，Ｄ１７を用いた内挿処理により方向Ｄ１４’，Ｄ１５’，Ｄ１６’が求められ、時刻Ｔ２１において、方向Ｄ１７，Ｄ２１を用いた内挿処理により方向Ｄ１８’，Ｄ１９’，Ｄ２０’が求められる。このため、方向Ｄ１８’，Ｄ１９’，Ｄ２０’の内挿処理は、方向Ｄ２１が入力バッファ１２に格納される時刻Ｔ２１を待って行われるため、処理遅延が生じることとなる。
【0073】
尚、方向補間部２１は、以下の式にて、過去の複数の方向Ｄを用いた線形予測により補間を行うようにしてもよい。
ｉは、内挿処理の対象である方向Ｄの番号（分割バッファ単位の番号）（時刻の番号）であり、Ｎは、遡る過去の方向Ｄの数であり、ωi-jは、過去の方向Ｄに対する重み係数である。
【数3】
【0074】
方向補間部２１は、前記式（３）において、過去に入力バッファ１２に格納された方向Ｄと、補間処理により求めた方向Ｄとを比較し、その誤差ｅiが最小となるように重みωi-jを更新する。この場合の誤差ｅiは、最小二乗誤差を用いた場合、例えば以下の式にて算出される。
ｎj＜ｊは、ｊ番目の方向Ｄが格納される番号（時刻）とする。
【数4】
【0075】
また、方向補間部２１は、過去の方向Ｄを用いて、スプライン補間を行うようにしてもよい。
【0076】
このように、方向補間部２１による図３のステップＳ３０２の補間処理により、入力バッファ１２は、分割バッファ単位の音源信号毎に（時刻Ｔ毎に）、当該音源信号に対応する方向Ｄが格納された状態となる。
【0077】
図６は、本発明の実施形態における時刻Ｔ、方向Ｄ、音源信号のバッファＢ（バッファ単位の音源信号）、音源信号の分割バッファＢ－ｎ（分割バッファ単位の音源信号）及び付与される方向Ｄについて説明する図である。図６に示す時刻Ｔ、方向Ｄ等は、図１４に示した従来技術における時刻Ｔ、方向Ｄ等に対応している。
【0078】
方向Ｄについては、図１４と同様に入力バッファ１２に、時刻Ｔ１，Ｔ５，Ｔ９，Ｔ１３，Ｔ１７，Ｔ２１，Ｔ２５等において、方向Ｄ１，Ｄ５，Ｄ９，Ｄ１３，Ｄ１７，Ｄ２１，Ｄ２５等が格納される。
【0079】
また、音源信号については、図１４と同様に入力バッファ１２に、時刻Ｔ６，Ｔ１２，Ｔ１８，Ｔ２４等において、バッファ単位の音源信号であるバッファＢ１，Ｂ２，Ｂ３，Ｂ４等が格納される。
【0080】
本発明の実施形態では、音源信号分割部２０によりバッファ単位の音源信号が分割バッファ単位の音源信号に分割される。これにより、図６に示すとおり、入力バッファ１２は、時刻Ｔ１の分割バッファＢ１－１、時刻Ｔ２の分割バッファＢ１－２、・・・、時刻Ｔ２６の分割バッファＢ５－２等が格納された状態となる。
【0081】
また、本発明の実施形態では、方向補間部２１により方向Ｄが補間される。これにより、図６に示すとおり、時刻Ｔ１の方向Ｄ１、時刻Ｔ２の方向Ｄ２’、・・・、時刻Ｔ２６の方向Ｄ２６’等が格納された状態となる。
【0082】
（頭部インパルス応答の畳み込み処理）
図３に戻って、畳み込み部２２は、ステップＳ３０２から移行して、バッファ単位の音源信号において、最初の分割バッファ単位の音源信号（における時刻Ｔ）を処理対象に設定する（ステップＳ３０３）。
図３に戻って、畳み込み部２２は、ステップＳ３０２から移行して、バッファ単位の音源信号において、最初の分割バッファ単位の音源信号（における時刻Ｔ）を処理対象に設定する（ステップＳ３０３）。
【0083】
図２（４）の例では、時刻Ｔ１～Ｔ６のバッファ単位の音源信号であるバッファＢ１において、最初の分割バッファ単位の音源信号である分割バッファＢ１－１が処理対象に設定される。
【0084】
畳み込み部２２は、入力バッファ１２から、処理対象の分割バッファ単位の音源信号である分割バッファＢ－ｎを読み出すと共に、処理対象の分割バッファ単位の音源信号に対応する方向Ｄを読み出す。また、畳み込み部２２は、メモリ１４から、当該方向Ｄに対応する頭部インパルス応答を読み出す。そして、畳み込み部２２は、方向Ｄに対応する頭部インパルス応答を分割バッファ単位の音源信号である分割バッファＢ－ｎに畳み込む（ステップＳ３０４）。
【0085】
つまり、畳み込み部２２は、分割バッファ単位の音源信号のそれぞれについて、当該時刻Ｔの方向Ｄに対応する頭部インパルス応答を、当該時刻Ｔの分割バッファ単位の音源信号に畳み込む。
【0086】
図７は、メモリ１４のデータ構成例を示す図である。メモリ１４には、方向Ｄ、及び当該方向Ｄに対応する頭部インパルス応答が格納されている。方向Ｄに対応する頭部インパルス応答は予め測定され、メモリ１４に格納されているものとする。頭部インパルス応答は、右耳頭部インパルス応答Ｘr及び左耳頭部インパルス応答Ｘlからなる。畳み込み部２２により、方向Ｄに対応する頭部インパルス応答が読み出される。
【0087】
図３に戻って、畳み込み部２２は、ステップＳ３０４にて畳み込みが行われた畳み込み結果を、再生バッファ１５に既に格納されているデータ（格納済みデータ）に加算する（ステップＳ３０５）。これにより、畳み込み結果が再生バッファ１５に格納される。このような処理が分割バッファ単位の音源信号毎に行われることにより、再生バッファ１５には再生信号が格納される。
【0088】
【0089】
音源信号及び頭部インパルス応答がデジタル信号の場合、畳み込み処理は、所定分割サイズであるサンプル単位または一定サイズ（２５６サンプル、１０２４サンプル等）の分割バッファ単位で実行される。
【0090】
図８を参照して、畳み込み部２２は、ステップＳ３０４において、時刻Ｔ１３における方向Ｄ１３に対応する左耳頭部インパルス応答を、時刻Ｔ１３における分割バッファ単位の音源信号である分割バッファＢ３－１に畳み込み、左耳畳み込み結果を求める。
【0091】
また、畳み込み部２２は、ステップＳ３０４において、時刻Ｔ１３における方向Ｄ１３に対応する右耳頭部インパルス応答を、時刻Ｔ１３における分割バッファ単位の音源信号である分割バッファＢ３－１に畳み込み、右耳畳み込み結果を求める。
【0092】
ここで、分割バッファＢ３－１はＮサンプルの音源信号であり、左耳頭部インパルス応答及び右耳頭部インパルス応答はそれぞれＭサンプルの応答であるとする。そうすると、左耳畳み込み結果及び右耳畳み込み結果のサンプル数は、それぞれ（Ｍ＋Ｎ－１）となる。
【0093】
そして、畳み込み部２２は、ステップＳ３０５において、左耳畳み込み結果を、再生バッファ１５における時刻Ｔ１３の分割バッファＢ３－１に対応する位置を基準にして、既に格納されている格納済みデータに加算する。このような処理を分割バッファ単位の音源信号毎に行うことにより、再生バッファ１５には左耳再生信号が格納される。
【0094】
また、畳み込み部２２は、ステップＳ３０５において、右耳畳み込み結果を、再生バッファ１５における時刻Ｔ１３の分割バッファＢ３－１に対応する位置を基準にして、既に格納されている格納済みデータに加算する。このような処理を分割バッファ単位の音源信号毎に行うことにより、再生バッファ１５には右耳再生信号が格納される。
【0095】
【0096】
畳み込み部２２は、時刻Ｔ１３における分割バッファ単位の音源信号である分割バッファＢ３－１に対するステップＳ３０４において、方向Ｄ１３に対応する頭部インパルス応答を分割バッファＢ３－１に畳み込み、畳み込み結果Ｃ１を求める。
【0097】
そして、畳み込み部２２は、分割バッファＢ３－１に対するステップＳ３０５において、畳み込み結果Ｃ１を、再生バッファ１５における位置ｋを基準にして、既に格納されている格納済みデータに加算する。これにより、畳み込み結果Ｃ１を用いた加算処理の結果が、再生バッファ１５における位置ｋから位置βまでの領域に格納される。
【0098】
畳み込み部２２は、時刻Ｔ１４における分割バッファ単位の音源信号である分割バッファＢ３－２に対するステップＳ３０４において、方向Ｄ１４に対応する頭部インパルス応答を分割バッファＢ３－２に畳み込み、畳み込み結果Ｃ２を求める。
【0099】
そして、畳み込み部２２は、分割バッファＢ３－２に対するステップＳ３０５において、畳み込み結果Ｃ２を、再生バッファ１５における位置（ｋ＋Ｎ）を基準にして、既に格納されている格納済みデータに加算する。これにより、畳み込み結果Ｃ２を用いた加算処理の結果が、再生バッファ１５における位置（ｋ＋Ｎ）から位置αまでの領域に格納される。
【0100】
ここで、分割バッファＢ３－２に対するステップＳ３０５の処理について詳細に説明する。再生バッファ１５には、畳み込み結果Ｃ１を用いた加算処理の結果が位置ｋから位置βまでの領域に格納されているものする。つまり、再生バッファ１５には、分割バッファＢ３－１までの分割バッファ単位の加算結果が、位置ｏから位置βまでの領域に格納されているものとする。
【0101】
このような再生バッファ１５の状態において、畳み込み部２２は、（Ｍ＋Ｎ－１）サンプルの畳み込み結果Ｃ２を、位置（ｋ＋Ｎ）を基準にして、位置（ｋ＋Ｎ）から位置αまでの領域の格納済みデータに加算する。
【0102】
具体的には、畳み込み部２２は、（Ｍ＋Ｎ－１）サンプルの畳み込み結果Ｃ２のうち、時間軸上の前方部の（Ｍ－１）サンプルの信号を、再生バッファ１５における位置（ｋ＋Ｎ）から位置βまでの領域の（Ｍ－１）サンプルの格納済みデータに加算する。また、畳み込み部２２は、（Ｍ＋Ｎ－１）サンプルの畳み込み結果Ｃ２のうち、時間軸上の後方部のＮサンプルの信号を、再生バッファ１５における位置β＋１から位置αまでの領域に格納する（位置β＋１から位置αまでの領域にはデータが格納されていないが、ヌルデータが格納されているものとみなすことで、時間軸上の前方部のＮサンプルの信号を位置β＋１から位置αまでの領域に格納する処理は、当該Ｎサンプルの信号を位置β＋１から位置αまでの格納済みデータ（ヌルデータ）に加算する処理と等価である）。
【0103】
図３に戻って、畳み込み部２２は、ステップＳ３０５から移行して、全ての分割バッファ単位の音源信号について、ステップＳ３０４，Ｓ３０５の処理が完了したか否かを判定する（ステップＳ３０６）。
【0104】
畳み込み部２２は、ステップＳ３０６において、全ての分割バッファ単位の音源信号について処理が完了していないと判定した場合（ステップＳ３０６：Ｎ）、次の分割バッファ単位の音源信号を処理対象に設定する（ステップＳ３０７）。そして、畳み込み部２２は、ステップＳ３０４へ移行し、ステップＳ３０４，Ｓ３０５の処理を行う。
【0105】
一方、畳み込み部２２は、ステップＳ３０６において、全ての分割バッファ単位の音源信号について処理が完了したと判定した場合（ステップＳ３０６：Ｙ）、当該バッファ単位の音源信号について処理を終了する。
【0106】
このように、バッファ単位の音源信号毎に、ステップＳ３０１～Ｓ３０７の処理が行われ、分割バッファ単位の音源信号毎に、ステップＳ３０４～Ｓ３０７の処理が行われる。分割バッファ単位の音源信号に対して繰り返し行われるステップＳ３０４～Ｓ３０７の処理は、ステップＳ３０１にて分割された分割バッファ単位の音源信号の数だけ行われる。
【0107】
以上のように、本発明の実施形態のヘッドホン再生装置１によれば、音源信号入力部１０は、音源２から入力したバッファ単位の音源信号を入力バッファ１２に格納する。また、位置パラメータ入力部１１は、外部センサ３から入力した、音源２及び聴取者１０１の頭部の位置関係を示す位置パラメータに基づいて、聴取者１０１の位置から音源２の位置への方向Ｄを算出し、方向Ｄを入力バッファ１２に格納する。
【0108】
再生部１３の音源信号分割部２０は、入力バッファ１２に格納されたバッファ単位の音源信号を、分割バッファ単位の音源信号に分割し、方向補間部２１は、入力バッファ１２に格納された方向Ｄを、分割バッファ単位の音源信号に対応するように補間する。
【0109】
方向Ｄが補間されることにより、音源２の移動または頭部の運動に伴い、聴取者１０１から見て音源２がより正確な位置で滑らかに移動するように、分割バッファ単位の音源信号に対応する方向Ｄを得ることができる。
【0110】
畳み込み部２２は、補間後の方向Ｄに対応する頭部インパルス応答を、分割バッファ単位の音源信号に畳み込み、再生信号を生成して再生バッファ１５に格納する。再生信号出力部１６は、再生バッファ１５から再生信号を読み出して出力する。
【0111】
これにより、音源信号を逐次入力するタイミングと、音源２の移動または頭部の運動のタイミング、すなわち位置パラメータを離散的に入力して方向Ｄを算出するタイミングとが一致しない場合であっても、再生信号の不連続性を緩和し、ノイズの発生を抑制することができる。
【0112】
また、本発明の実施形態によるヘッドホン再生装置１は、メモリ１４に格納された方向Ｄ及び当該方向Ｄに対応する頭部インパルス応答を用いることを前提とするものである。
【0113】
この方向Ｄに対応する頭部インパルス応答は、音源２の位置から聴取者１０１の頭部の位置までの応答であり、例えば頭部の位置にマイクを設置し、マイクの位置を自動的に連続移動させることにより予め測定される。このため、方向Ｄに対応する頭部インパルス応答は、様々な方向Ｄに応じたデータとして測定することが可能であり、メモリ１４には、様々な方向Ｄ及び当該方向Ｄに対応する頭部インパルス応答を格納することができる。
【0114】
これに対し、頭部インパルス応答が様々な方向Ｄから測定することができない場合には、測定した頭部インパルス応答を補間する必要がある。この頭部インパルス応答の補間処理は、周波数毎のレベル差及び時間差を考慮する必要があるため（前述の特許文献１を参照）、本発明の実施形態による方向Ｄ（角度及び距離）の補間処理よりも処理負荷が高く、多くの処理時間を必要とする。
【0115】
そこで、本発明の実施形態によるヘッドホン再生装置１では、予め測定された頭部インパルス応答、すなわちメモリ１４に格納された様々な方向Ｄに対応する頭部インパルス応答を利用することとした。つまり、ヘッドホン再生装置１は、方向Ｄに対応する頭部インパルス応答を補間するのではなく、方向Ｄを補間した後に、補間後の方向Ｄに対応する頭部インパルス応答をメモリ１４から読み出すこととした。
【0116】
これにより、負荷の高い頭部インパルス応答の補間を行うことなく、予め測定により得られた様々な方向Ｄに対応する頭部インパルス応答を有効に利用することができ、バイノーラル再生法を実現するヘッドホン再生装置１を実用的に運用することができる。
【0117】
以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。
【0118】
例えば前記実施形態では、ヘッドホン再生装置１の位置パラメータ入力部１１は、外部センサ３から位置パラメータを入力するようにした。本発明は、外部センサ３から位置パラメータを入力することに限定するものではなく、外部センサ３以外の装置から位置パラメータを入力するようにしてもよい。
【0119】
尚、本発明の実施形態によるヘッドホン再生装置１のハードウェア構成としては、通常のコンピュータを使用することができる。ヘッドホン再生装置１は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。
【0120】
ヘッドホン再生装置１に備えた音源信号入力部１０、位置パラメータ入力部１１、入力バッファ１２、再生部１３、メモリ１４、再生バッファ１５及び再生信号出力部１６の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。
【0121】
これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。
【産業上の利用可能性】
【0122】
本発明の実施形態によるヘッドホン再生装置１及びプログラムは、ヘッドホンによる音場再現にかかる技術分野において、特に、頭部伝達関数（頭部インパルス応答）を用いたバイノーラル再生に関する技術として有用である。
【符号の説明】
【0123】
１ ヘッドホン再生装置
２，１００ 音源
３ 外部センサ
１０ 音源信号入力部
１１ 位置パラメータ入力部
１２ 入力バッファ
１３ 再生部
１４ メモリ
１５ 再生バッファ
１６ 再生信号出力部
２０ 音源信号分割部
２１ 方向補間部
２２ 畳み込み部
１０１ 聴取者
１０２－１，１０２－２，１０３－１，１０３－２ 畳み込み器
Ｔ 時刻
Ｂ バッファ
Ｂ－ｎ 分割バッファ
Ｄ 方向
２，１００ 音源
３ 外部センサ
１０ 音源信号入力部
１１ 位置パラメータ入力部
１２ 入力バッファ
１３ 再生部
１４ メモリ
１５ 再生バッファ
１６ 再生信号出力部
２０ 音源信号分割部
２１ 方向補間部
２２ 畳み込み部
１０１ 聴取者
１０２－１，１０２－２，１０３－１，１０３－２ 畳み込み器
Ｔ 時刻
Ｂ バッファ
Ｂ－ｎ 分割バッファ
Ｄ 方向
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】