(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0016】
本実施の形態にかかる処理装置で生成したフィルタを用いた音像定位処理の概要について説明する。本実施形態にかかる頭外定位処理は、空間音響伝達特性と外耳道伝達特性を用いて頭外定位処理を行うものである。空間音響伝達特性は、スピーカなどの音源から外耳道までの伝達特性である。外耳道伝達特性は、ヘッドホンやイヤホンのスピーカユニットから鼓膜までの伝達特性である。本実施形態では、ヘッドホン又はイヤホンを装着していない状態での空間音響伝達特性を測定し、それらの測定データを用いて頭外定位処理を実現している。
【0017】
本実施の形態にかかる頭外定位処理は、パーソナルコンピュータ、スマートホン、タブレットPCなどのユーザ端末で実行される。ユーザ端末は、プロセッサ等の処理手段、メモリやハードディスクなどの記憶手段、液晶モニタ等の表示手段、タッチパネル、ボタン、キーボード、マウスなどの操作手段を有する情報処理装置である。ユーザ端末は、データを送受信する通信機能を有していてもよい。さらに、ユーザ端末には、ヘッドホン又はイヤホンを有する出力手段(出力ユニット)が接続される。頭外定位処理装置としては、モノラル入力端子を有する汎用の処理装置を用いることができる。
【0018】
実施の形態1.
(頭外定位処理装置)
本実施の形態にかかる音場再生装置の一例である頭外定位処理装置100を
図1に示す。
図1は、頭外定位処理装置100のブロック図である。頭外定位処理装置100は、ヘッドホン43を装着する受聴者Uに対して音場を再生する。そのため、頭外定位処理装置100は、LchとRchのステレオ入力信号XL、XRについて、音像定位処理を行う。LchとRchのステレオ入力信号XL、XRは、CD(Compact Disc)プレイヤーなどから出力されるアナログのオーディオ再生信号、又は、mp3(MPEG Audio Layer-3)等のデジタルオーディオデータである。なお、頭外定位処理装置100は、物理的に単一な装置に限られるものではなく、一部の処理が異なる装置で行われてもよい。例えば、一部の処理がスマートホン等の情報処理装置により行われ、残りの処理がヘッドホン43に内蔵されたDSP(Digital Signal Processor)などにより行われてもよい。
【0019】
頭外定位処理装置100は、頭外定位処理部10、フィルタ部41、フィルタ部42、及びヘッドホン43を備えている。頭外定位処理部10、フィルタ部41、及びフィルタ部42は、具体的にはプロセッサ等により実現可能である。
【0020】
頭外定位処理部10は、畳み込み演算部11〜12、21〜22、及び加算器24、25を備えている。畳み込み演算部11〜12、21〜22は、空間音響伝達特性を用いた畳み込み処理を行う。頭外定位処理部10には、CDプレイヤーなどからのステレオ入力信号XL、XRが入力される。頭外定位処理部10には、空間音響伝達特性が設定されている。頭外定位処理部10は、各chのステレオ入力信号XL、XRに対し、空間音響伝達特性のフィルタ(以下、空間音響フィルタとも称する)を畳み込む。空間音響伝達特性は被測定者の頭部や耳介で測定した頭部伝達関数HRTFでもよいし、ダミーヘッドまたは第三者の頭部伝達関数であってもよい。
【0021】
4つの空間音響伝達特性Hls、Hlo、Hro、Hrsを1セットとしたものを空間音響伝達関数とする。畳み込み演算部11、12、21、22で畳み込みに用いられるデータが空間音響フィルタとなる。空間音響伝達特性Hls、Hlo、Hro、Hrsを所定のフィルタ長で切り出すことで、空間音響フィルタが生成される。
【0022】
空間音響伝達特性Hls、Hlo、Hro、Hrsのそれぞれは、インパルス応答測定などにより、事前に取得されている。例えば、受聴者Uが左右の耳にマイクをそれぞれ装着する。受聴者Uの前方に配置された左右のスピーカが、インパルス応答測定を行うための、インパルス音をそれぞれ出力する。そして、スピーカから出力されたインパルス音等の測定信号をマイクで収音する。マイクでの収音信号に基づいて、空間音響伝達特性Hls、Hlo、Hro、Hrsが取得される。左スピーカと左マイクとの間の空間音響伝達特性Hls、左スピーカと右マイクとの間の空間音響伝達特性Hlo、右スピーカと左マイクとの間の空間音響伝達特性Hro、右スピーカと右マイクとの間の空間音響伝達特性Hrsが測定される。
【0023】
そして、畳み込み演算部11は、Lchのステレオ入力信号XLに対して空間音響伝達特性Hlsに応じた空間音響フィルタを畳み込む。畳み込み演算部11は、畳み込み演算データを加算器24に出力する。畳み込み演算部21は、Rchのステレオ入力信号XRに対して空間音響伝達特性Hroに応じた空間音響フィルタを畳み込む。畳み込み演算部21は、畳み込み演算データを加算器24に出力する。加算器24は2つの畳み込み演算データを加算して、フィルタ部41に出力する。
【0024】
畳み込み演算部12は、Lchのステレオ入力信号XLに対して空間音響伝達特性Hloに応じた空間音響フィルタを畳み込む。畳み込み演算部12は、畳み込み演算データを、加算器25に出力する。畳み込み演算部22は、Rchのステレオ入力信号XRに対して空間音響伝達特性Hrsに応じた空間音響フィルタを畳み込む。畳み込み演算部22は、畳み込み演算データを、加算器25に出力する。加算器25は2つの畳み込み演算データを加算して、フィルタ部42に出力する。
【0025】
フィルタ部41、42にはヘッドホン特性(ヘッドホンの再生ユニットとマイク間の特性)をキャンセルする逆フィルタが設定されている。そして、頭外定位処理部10での処理が施された再生信号(畳み込み演算信号)に逆フィルタを畳み込む。フィルタ部41で加算器24からのLch信号に対して、逆フィルタを畳み込む。同様に、フィルタ部42は加算器25からのRch信号に対して逆フィルタを畳み込む。逆フィルタは、ヘッドホン43を装着した場合に、ヘッドホンユニットからマイクまでの特性をキャンセルする。マイクは、外耳道入口から鼓膜までの間ならばどこに配置してもよい。逆フィルタは、受聴者U本人の特性の測定結果から算出されていてもよく、他の受聴者やダミーヘッドで測定されたものでもよい。
【0026】
フィルタ部41は、処理されたLch信号をヘッドホン43の左ユニット43Lに出力する。フィルタ部42は、処理されたRch信号をヘッドホン43の右ユニット43Rに出力する。受聴者Uは、ヘッドホン43を装着している。ヘッドホン43は、Lch信号とRch信号を受聴者Uに向けて出力する。これにより、ユーザUの頭外に定位された音像を再生することができる。
【0027】
このように、頭外定位処理装置100は、空間音響伝達特性Hls、Hlo、Hro、Hrsに応じた空間音響フィルタと、ヘッドホン特性の逆フィルタを用いて、頭外定位処理を行っている。以下の説明において、空間音響伝達特性Hls、Hlo、Hro、Hrsに応じた空間音響フィルタと、ヘッドホン特性の逆フィルタとをまとめて頭外定位処理フィルタとする。2chのステレオ再生信号の場合、頭外定位フィルタは、4つの空間音響フィルタと、2つの逆フィルタとから構成されている。そして、頭外定位処理装置100は、ステレオ再生信号に対して合計6個の頭外定位フィルタを用いて畳み込み演算処理を行うことで、頭外定位処理を実行する。
【0028】
図2を用いて、空間音響伝達特性を測定する測定装置について説明する。測定装置200は、マイクユニット2、ステレオスピーカ5、処理装置210、及び切替器7を備えている。処理装置210は、モノラル入力端子8と、音声出力端子9と、を備えている。切替器7は、スイッチ7a、及び加算器7bを有している。
【0029】
処理装置210は、パーソナルコンピュータ、スマートホン、タブレットPC等の情報処理装置である。処理装置210は、メモリ61等に格納されたプログラムを実行することにより、測定を実施する。処理装置210は、収音信号を記憶するメモリ61、受聴者Uの操作を受け付ける操作部62、各信号を処理する処理部63を備えている。操作部62は、例えば、タッチパネルである。
【0030】
具体的には、処理装置210がアプリケーションプログラム(アプリ)を実行すると、インパルス信号を生成し、伝達特性の測定を開始する。なお、処理装置210は、
図1に示した頭外定位処理装置100と同一の装置であってよいし、別の装置であってもよい。処理装置210と頭外定位処理装置100とが同一の装置である場合、処理装置210が、測定された伝達特性をメモリ61等に記憶する。処理装置210と頭外定位処理装置100とが別の装置である場合、処理装置210は頭外定位処理装置100へ、有線通信又は無線通信によって、伝達特性(伝達関数)を送信する。なお、測定用の信号はインパルス信号に限らず、TSP(Time Streched Pulse)信号やM系列信号等の他の信号を用いてもよい。
【0031】
図2では、受聴者Uの前方に左スピーカ5Lと右スピーカ5Rが設置されている。左スピーカ5Lと右スピーカ5Rは左右対称に配置されている。左スピーカ5Lと右スピーカ5Rを備えているステレオスピーカ5は、音声出力端子9を介して、処理装置210と接続されている。音声出力端子9がステレオ出力端子となっているため、左スピーカ5Lと右スピーカ5Rとに接続されているが、音声出力端子9は、モノラル出力端子であってもよい。この場合、音声出力端子9は、1つのスピーカと接続される。そして、スピーカを受聴者Uの左前方の位置(つまり、
図2中の左スピーカ5Lの位置)から右前方の位置(つまり、
図2中の右スピーカ5Rの位置)に変えることで左スピーカからの伝達特性と右のスピーカからの伝達特性を測定することができる。
【0032】
また、モノラル入力端子8と音声出力端子9は、共通の入出力端子であってもよい。この場合、3極又は4極のプラグを接続することにより、音声を入出力することができる。さらに、処理装置210はBluetooth(登録商標)などの無線通信によって、スピーカユニット5に測定信号を出力してもよい。
【0033】
処理装置210は、左スピーカ5Lと右スピーカ5Rのそれぞれから出力されるインパルス信号を生成する。すなわち、測定装置200は、左スピーカ5Lから左のマイク2Lまでの伝達特性Hlsの測定と、右スピーカ5Rから右のマイク2Rまでの伝達特性Hloの測定とをそれぞれ行う。なお、
図2では、受聴者Uの前方左側に左スピーカ5Lを、前方右側に右スピーカ5Rをそれぞれ配置したが、スピーカの配置は任意の位置でよく、この配置に限らない。また、配置するスピーカの数は、1でもよく、2より多くてもよい。
【0034】
また、受聴者Uの左耳3Lの外耳道入口、又は鼓膜位置に収音用のマイク2Lが設置される。受聴者Uの右耳3Rの外耳道入口、又は鼓膜位置に収音用のマイク2Rが設置される。なお、受聴者Uは、人でもよく、ダミーヘッドでもよい。したがって、本実施形態において、受聴者Uは人だけでなく、ダミーヘッドを含む概念である。左のマイク2L、及び右のマイク2Rを有するマイクユニット2は、切替器7と接続されている。なお、切替器7は、マイクユニット2に内蔵されていてもよい。
【0035】
切替器7は、処理装置210に設けられたモノラル入力端子8にケーブルを介して接続されている。したがって、左のマイク2L、及び右のマイク2Rは、切替器7を介して、モノラル入力端子8に接続されている。さらに、マイクユニット2は、モノラル入力端子8を介して、処理装置210に接続されている。よって、マイクユニット2で収音された収音信号は、切替器7、及びモノラル入力端子8を介して、処理装置210に入力される。
【0036】
切替器7は、左右のマイク2L、2Rの一方又は両方で収音された収音信号がモノラル入力端子8に入力されるよう、マイクユニット2の出力を切替える。加算器7bは、左のマイク2Lからの信号と右のマイク2Rからの信号とを加算する。スイッチ7aは、左のマイク2Lのみの出力、右のマイク2Rのみの出力、及び加算器7bからの出力を選択的に切り替える。切替器7の制御は、処理装置210が行ってもよく、受聴者Uが行ってもよい。
【0037】
受聴者U又は処理部63がスイッチ7aを制御することで、接続状態が切替えられる。スイッチ7aが左のマイク2Lに接続した状態を第1の接続状態とする。スイッチ7aが右のマイク2Rに接続した状態を第2の接続状態とする。スイッチ7aが加算器7bに接続した状態を第3の接続状態とする。第1〜第3の接続状態で、マイクユニット2がスピーカで発生した音をそれぞれ収音する。ここで、第1の接続状態で収音した信号を第1の収音信号sLとする。第2の接続状態で収音した信号を第2の収音信号sRとする。第3の接続状態で収音した信号を第3の収音信号sCとする。
【0038】
左のマイク2Lのみで収音される信号が第1の収音信号sLとなる。右のマイク2Rのみで収音される信号が第2の収音信号sRとなる。左右のマイク2L、2Rで収音される2つの信号を加算した信号が第3の収音信号sCとなる。第3の収音信号sCは、第1の収音信号sLと第2の収音信号sRが重ね合わされた信号となる。
【0039】
ここで、上面視において、ユーザUの真正面を基準とする入射音の角度を入射角φとする(
図3参照)。入射角φは、水平面内において、受聴者Uの正面方向を0°とする見開き角度であり、0〜90°の範囲となる。入射角φが任意の角度θの場合の伝達特性Hls、Hloを求める処理について以下に説明する。
【0040】
図4に示すように、スピーカ5Lが角度θの位置に配置された状態での測定を特性測定とする。特性測定において、左スピーカ5Lはインパルス信号を再生する。処理装置210は切替器7を切替えて、収音信号を測定する。すなわち、切替器7がマイクユニット2の出力を切替えて、左スピーカ5Lからのインパルス信号による伝達特性の測定を2回実施する。これにより、左スピーカ5Lからのインパルス信号に対して、処理装置210が第1、及び第2の収音信号をそれぞれ収録する。
【0041】
さらに、処理装置210は、スピーカから左右の耳へ音が到達する時間の時間差ITDを算出している(
図3参照)。具体的には、左のスピーカ5Lから左のマイク2Lにインパルス信号が到達するまでの時間をtL、右のスピーカ5Rから右のマイク2Rにインパルス信号が到達するまでの時間をtRとすると、時間差ITDはtLとtRの差分(tL−tR)により求められる。ところが、第1の収音信号sLと第2の収音信号sRの収音は別々に行われているため、第1の収音信号sLと第2の収音信号sRのみからでは、時間差ITDを正確に求めることが困難になる。
【0042】
そこで、処理装置210は、任意の角度θに配置した場合の時間差ITDθ(以下、入射時間差ITDθともいう)を、角度θ、正面時間差ITD0、及び両耳間距離Dに基づいて求めている。このようにすることで、角度θの方向にスピーカを配置した特性測定において、第3の収音信号を測定しなくても、伝達特性Hls、Hloを正確に求めることができる。
【0043】
なお、両耳間距離Dは、受聴者Uの左耳から右耳までの距離である(
図3参照)。正面時間差ITD0は、受聴者Uの正面前方にスピーカを配置した正面測定で取得される。正面時間差ITD0については後述する。
【0044】
右スピーカ5Rについても同様の測定を行うことで、処理装置210が右スピーカ5Rに対する第1、及び第2の収音信号をそれぞれ収録する。処理装置210は、右スピーカ5Rに対する第1、及び第2の収音信号に基づいて、伝達特性HRo、HRsを求める。
【0045】
本実施の形態では、角度θにスピーカ5L、5Rが配置された状態で、第3の収音信号を取得することが不要となる。よって、特許文献2に比べて、少ない収音回数で、伝達特性を測定すること可能となる。例えば、スピーカ5L、5Rの配置を変えて、伝達特性Hls、Hlo、HRo、HRsを複数セット測定する場合、収音回数の増加を抑制することができる。
【0046】
上記の処理について、
図5を用いて、詳細に説明する。
図5は、処理装置210の構成を示す制御ブロック図である。処理装置210は、測定信号生成部211と、収音信号取得部212と、正面時間差取得部213と、両耳間距離取得部214と、入射時間差算出部215と、伝達特性生成部216と、を備えている。なお、以下の説明では、左スピーカ5Lを用いた場合の処理について説明を行うが、右スピーカ5Rを用いた場合の処理についても同様であるため、適宜説明を省略する。
【0047】
上記したように、処理装置210は、モノラル入力端子8を備えた情報処理装置であり、メモリ61、操作部62、及び処理部63を備えている(
図2を合わせて参照)。メモリ61は、処理プログラムや各種パラメータや測定データなどを記憶している。処理部63は、CPU(Central Processing Unit)等のプロセッサを有しており、メモリ61に格納された処理プログラムを実行する。処理部63が処理プログラムを実行することで、測定信号生成部211と、収音信号取得部212と、正面時間差取得部213と、両耳間距離取得部214と、入射時間差算出部215と、伝達特性生成部216と、における各処理が実施される。
【0048】
測定信号生成部211は、測定信号を生成する。測定信号生成部211で生成された測定信号は、D/A変換器(不図示)でD/A変換されて、左スピーカ5Lに出力される。測定信号は、インパルス信号やTSP信号等であってもよい。測定信号はインパルス音等の測定音を含んでいる。
【0049】
収音信号取得部212は、左マイク2L、右マイク2Rからの収音信号を取得する。なお、マイク2L、2Rからの収音信号は、A/D変換器(不図示)でA/D変換されて、収音信号取得部212に入力される。収音信号取得部212は、複数回の測定により得られた信号を同期加算してもよい。さらに、切替器7がスピーカ5Lからのモノラル入力端子8への入力を切替えている。収音信号取得部212は、第1〜第3の収音信号をそれぞれ取得する。
【0050】
正面時間差取得部213は、受聴者Uの正面時間差ITD0を取得する。正面時間差ITD0を取得するための正面測定について、
図6、及び
図7を用いて説明する。
図6は、正面時間差ITD0を取得するための正面測定の構成を模式的に示す上面図である。
図7は、正面測定の処理を示すフローチャートである。
【0051】
正面測定では、スピーカが左右の中央に配置されているため、
図6のように、スピーカ5Cとして示している。
図6では、スピーカ5Cが受聴者Uの真正面に配置されている。スピーカ5Cの左右の中心が、受聴者Uの左右の中心に一致している。入射角φ=0°となっている。
【0052】
顔や耳の形状が完全に左右対称であれば、真正面に配置されたスピーカ5Cから左耳3Lまでの到達時間と、スピーカ5Lから右耳までの到達時間とは同じになるはずである。しかしながら、実際には、頭部や耳介形状の差によって微小な距離の差が生じ、その結果、正面時間差ITD0が発生する。つまり、正面時間差ITD0は、受聴者U個人の顔や耳の形状が持つ反射や回折によって生じる時間差となる。
【0053】
処理装置210が、マイク2Lに入力されるLch信号の測定を行う(S11)。具体的には、切替器7を切替えて第1の接続状態として、測定信号生成部211が、スピーカCからインパルス信号を出力させる。これにより、収音信号取得部212が第1の収音信号sLを収音する。第1の収音信号sLは、スピーカ5Cから左耳3L(マイク2L)までの伝達特性CHlsに対応している。処理装置210は、第1の収音信号sLのデータをメモリ61等に記憶する。
【0054】
次に、マイク2Rに入力されるRch信号の測定を行う(S12)。具体的には、切替器7を切替えて第2の接続状態として、測定信号生成部211が、スピーカ5Cからインパルス信号を出力させる。これにより、収音信号取得部212が第2の収音信号sRを収音する。第2の収音信号sRは、スピーカ5Cから右耳3R(マイク2L)までの伝達特性CHrsに対応している。処理装置210は、第2の収音信号sRのデータをメモリ61等に記憶する。
【0055】
さらに、マイク2Lに入力されるLchの信号とマイク2Rに入力されるRchの信号とが加算された信号の測定を行う(S13)。具体的には、切替器7を切替えて第3の接続状態として、測定信号生成部211が、左スピーカ5Lからインパルス信号を出力させる。これにより、収音信号取得部212が第3の収音信号sC(=sL+sR)を収音する。処理装置210は、第3の収音信号sCのデータをメモリ61等に記憶する。なお、第1〜第3の収音信号の測定順序は特に限られるものではない。S11〜S13は、スピーカ5Cが受聴者Uの正面に配置されている状態で実施される。
【0056】
正面時間差取得部213は、第1〜第3の収音信号に基づいて、スピーカ5Cから左右のマイク2L、2Rに音が到達するまでの時間差(正面時間差ITD0)を算出する(S14)。正面時間差取得部213は、第1の収音信号sLと第2の収音信号sRとの間に、遅延時間dtを与えて、加算した信号を加算信号yとして求める。正面時間差取得部213は、加算信号yと第3の収音信号sCとの相互相関関数を求める。収音信号の測定時間(フィルタ長)をLfとし、遅延時間dtを−Lf〜Lfまで変えたときに、相互相関関数が最も高いときの遅延時間dtが正面時間差ITD0となる。
【0057】
正面測定では、第1の収音信号sLと第2の収音信号sRのどちらの信号が遅延するか明らかではないため、第1の収音信号sLに遅延を与えた場合と第2の収音信号sRに遅延を与えた場合との双方において加算信号yを算出する必要がある。すなわち、第1の収音信号sLを第2の収音信号sRよりも遅延させた場合と、第2の収音信号sRを第1の収音信号sLよりも遅延させた場合で、相互相関関数を求める。そのため、遅延時間の範囲を−Lf〜+Lfとしている。また、遅延時間t=0の時、第1の収音信号sLと第2の収音信号sRの出現タイミング(つまり、耳に最初に到達する直接音のタイミング)は一致している。
【0058】
図5の説明に戻る。両耳間距離取得部214は、両耳間距離Dを取得する。両耳間距離Dは、例えば、横方向測定により取得することができる。横方向測定の構成を
図8に示す。横方向測定では、スピーカ5Lが受聴者Uの真横に配置されている。すなわち、入射角φ=90°となっている。
【0059】
図8に示す横方向測定では、左スピーカ5Lから左耳3Lまでの到達時間が、スピーカ5Lから右耳3Rまでの到達時間よりも短くなる。具体的には、受聴者Uの頭部の幅だけ、左耳3Lに音が早く到達する。さらに、φ=90°=π/2[rad]の時に、時間差ITDが最大となるため、横方向測定で求められる時間差を最大時間差ITDmaxとする。両耳間距離取得部214は、最大時間差ITDmaxに基づいて、両耳間距離D(つまり、頭部の幅)を求める。
【0060】
両耳間距離取得部214は、横方向測定での第1の収音信号sL、第2の収音信号sR、第3の収音信号sCを用いて、最大時間差ITDmaxを算出する。具体的には、
図7に示すフローチャートにしたがって、両耳間距離取得部214が最大時間差ITDmaxを算出する。正面時間差ITD0と同様の手法により、収音信号取得部212が第1〜第3の収音信号を取得する。1の収音信号sLは、伝達特性Rhlsに対応し、第2の収音信号sRは、伝達特性Rhloに対応する。
【0061】
図7のS14と同様に、両耳間距離取得部214は時間差ITDを求める。両耳間距離取得部214は横方向測定での第1の収音信号sLと第2の収音信号sRとの間に、遅延時間dtを与えて、加算した信号を加算信号yとして求める。そして、両耳間距離取得部214は加算信号yと第3の収音信号sCとの相互相関関数を求める。各収音信号の測定時間(フィルタ長)をLfとし、遅延時間dtを0〜Lfまで変えたときに、相互相関関数が最も高いときの遅延時間dtが最大時間差ITDmaxとなる。
【0062】
横方向測定では、第2の収音信号sRが第1の収音信号sLよりも遅れるのは明らかであるため、第2の収音信号sRのみに対して遅延を与えればよい。そのため、遅延時間の範囲を0〜Lfとしている。また、遅延時間t=0の時、第1の収音信号sLと第2の収音信号sRの出現タイミング(つまり、耳に到達する直接音のタイミング)は一致している。
【0063】
次に、両耳間距離取得部214は、最大時間差ITDmaxから両耳間距離Dを算出する。後述する両耳時間差モデルを用いると、両耳間距離Dと時間差ITDの関係式は、以下の式(1)のようになる。
φ+sinφ=2c×ITD/D ・・・(1)
【0064】
φは入射角[rad]、cは音速、ITDは時間差、Dは両耳間距離である。式(1)では、受聴者Uの鼻から頬までの音路長を直線で近似し、頬から耳までの音路長を円弧で近似する両耳時間差モデルを用いている。式(1)の近似式に示されるように、両耳時間差ITDは、入射角φ及び両耳間距離Dに応じて変化する。
【0065】
上面視における頭部の形状を半径rの円形とし、両耳間距離D=半径2rとすると、式(1)から以下の式(2)が得られる。
ITD=r(φ+sinφ)/c ・・・(2)
【0066】
c=340m/secとする。横方向測定では、φ=π/2(=90°)となるため、φにπ/2を代入し、ITD=ITDmaxとすると両耳間距離Dが得られる。このように両耳間距離Dは、両耳時間差モデルに、時間差ITDmaxを適用することで、求められる。なお、横方向測定はφ=90°に限られるものではない。φが任意の値であっても、式(1)から両耳間距離Dを算出することができる。
【0067】
図5の説明に戻る。入射時間差算出部215は、入射角φ=θにおける時間差を入射時間差ITDθとして求める。入射時間差算出部215は、両耳時間差モデルに角度θ及び両耳間距離Dを適用して推定時間差を推定している。さらに、入射時間差算出部215は、推定時間差に正面時間差を加えることで、入射時間差ITDθを算出している。
【0068】
具体的には、入射時間差算出部215は、両耳時間差モデルから導き出された式(1)の計算式において、φ=θ[rad]として、推定時間差を推定してる。すなわち、入射時間差算出部215は、上記の式(1)において、φ=θ/(2π)[rad]としたときの時間差ITDを推定時間差として求める。さらに、入射時間差算出部215は、推定時間差に正面時間差ITD0を加算することで、入射時間差ITDθを求める。このようにすることで、受聴者Uに最適な入射時間差ITDθを求めることができる。
【0069】
伝達特性生成部216は、特性測定において収音された第1の収音信号sLと第2の収音信号sRとの間に、入射時間差ITDθに応じた遅延を与えることで、伝達特性Hls、Hloを生成する。特性測定は、
図4に示したように、スピーカ5Lが角度θの方向に配置された状態で実施されている。
【0070】
具体的には、第1の収音信号sLと第2の収音信号sRの出現タイミングを一致させた状態から、入射時間差ITDθだけ、第2の収音信号sRを遅延させる。そして、第1の収音信号sLを伝達特性Hlsとし、遅延時間が与えられた第2の収音信号sRを伝達特性Hloとする。また、所定のフィルタ長で切り出すことで、伝達特性Hls、Hloを算出してもよい。
【0071】
Rchのスピーカに対して同様の処理が実施される。具体的には、受聴者Uの右前方の角度θの位置に配置された右スピーカ5Lを用いて特性測定を行う。左スピーカ5Lでの処理と同様に、入射時間差算出部215は、角度θ、両耳間距離D、正面時間差ITD0に基づいて、入射時間差ITDθを求める。なお、両耳間距離Dと、正面時間差ITD0は、左右の伝達特性で共通とすることができる。
【0072】
伝達特性生成部216は、第1の収音信号sLと第2の収音信号sRとの出現タイミングを一致させた状態から、入射時間差ITDθだけ、第1の収音信号sLを遅延させる。伝達特性生成部216は、遅延時間が与えられた第1の収音信号sLを伝達特性Hroとし、第2の収音信号sRを伝達特性Hrsとする。また、所定のフィルタ長で切り出すことで、伝達特性Hrs、Hroを算出してもよい。このようにすることで、頭外定位処理に用いられる1セットの伝達特性Hls、Hlo、Hrs、Hroを取得することができる。
図1に示した頭外定位処理装置100は、伝達特性Hls、Hlo、Hrs、Hroを用いて、頭外定位処理を実施する。
【0073】
上記の通り、両耳間距離Dと、正面時間差ITD0は、伝達特性Hls、Hloと、伝達特性HRo、HRsとで共通の値を用いることができる。よって、両耳間距離Dを取得するための横方向測定は、一人の受聴者Uに対して1回実施される。同様に、正面時間差ITD0を取得するための正面測定は、一人の受聴者Uに対して1回実施される。
【0074】
以上まとめると、処理装置210は、正面測定、及び横方向測定では、第1〜第3の収音信号を取得し、特性測定では、第1及び第2の収音信号を取得する。従って、伝達特性の数を増やしたい場合、すなわち、スピーカを様々な場所に配置して伝達特性を測定したい場合、特許文献2に比べて、全体の収音回数を低減することができる。
【0075】
具体的には、スピーカの配置数をNとすると、特許文献2では、それぞれの配置で、第1〜第3の収音信号を測定するため、(3N)個の収音信号を収音する必要がある。一方、正面測定と横方向測定は、左右両方のスピーカに対して行う必要が無いため、本実施の形態では、(2N+6)個の収音信号を収音するだけでよい。これにより、スピーカの配置数を増やした場合でも、簡便に伝達特性を測定することができる。
【0076】
本実施の形態では、正面測定で得られた正面時間差ITD0を用いて、入射時間差ITDθを算出している。上記のように正面時間差ITD0は、受聴者Uの顔や耳介の形状を反映した値となっているため、より正確に、伝達特性を算出することができる。さらに、受聴者Uに対して測定された両耳間距離D、第1及び第2の収音信号を用いているため、受聴者Uの顔や耳介の形状を反映した伝達特性を求めることができる。よって、受聴者Uに適した頭外定位処理を実施することができる。
【0077】
本実施の形態では、収音回数を少なくすることができるため、測定に起因する誤差を低減することができる。例えば、収音回数が多くなると、測定途中で、受聴者Uの姿勢が変化してしまうおそれがある。受聴者Uの姿勢が変化してしまうと、適切な伝達特性を取得することができなくなってしまう。本実施の形態では、収音回数を少なくすることができるため、測定時間を短縮することができる。測定に起因する誤差を低減することができる。
【0078】
図9を用いて、本実施の形態にかかる処理方法について説明する。
図9は、本実施の形態にかかる処理方法を示すフローチャートである。なお、既に説明した内容については、適宜、説明を省略する。
【0079】
両耳間距離取得部214が両耳間距離Dを取得する(S21)。具体的には、
図8に示すスピーカ配置において、横方向測定が行われる。両耳間距離取得部214は、横方向測定で得られた第1〜第3の収音信号に基づいて、両耳間距離Dを算出する。横方向測定は、φ=90°に限られるものではなく、φを任意の角度とした状態で行うことができる。
【0080】
両耳間距離Dは、横方向測定以外の測定で取得することも可能である。例えば、カメラ画像により両耳間距離Dを求めることも可能である。処理装置210のカメラが、受聴者Uの頭部を撮像する。処理部63が画像処理により、両耳間距離Dを算出してもよい。
【0081】
あるいは、受聴者Uやその他の人が、スケールなどの測定機器を用いて両耳間距離Dを測定してもよい。この場合、受聴者U等が、操作部62を操作して、測定値を入力する。さらに、他の装置などで予め受聴者Uの両耳間距離Dが測定されていてもよい。この場合、他の装置から処理装置210に測定値が予め送信されていてもよく、処理装置210がその都度読み出すようにしてもよい。
【0082】
正面時間差取得部213が、正面時間差ITD0を取得する(S22)。ここでは、
図6に示すスピーカ配置において、正面測定が行われる。正面時間差取得部213は、正面測定で得られた第1〜第3の収音信号に基づいて、正面時間差ITD0を算出する。なお、他の装置などで予め正面時間差ITD0が測定されていてもよい。この場合、他の装置から処理装置210に測定値が予め送信されていてもよく、処理装置210がその都度読み出すようにしてもよい。
【0083】
両耳間距離D、及び正面時間差ITD0が、予め他の装置で測定されている場合、切替器7が第3の接続状態に切替えることが不要となる。切替器7は第1の接続状態と第2の接続状態とを切替えるように構成されていればよい。
【0084】
入射時間差算出部215が、入射時間差ITDθを算出する(S23)。上記の通り、入射時間差算出部215は、角度θ、正面時間差ITD0、両耳間距離Dを用いて、入射時間差ITDθを算出する。
【0085】
次に、特性測定により、収音信号取得部212が第1及び第2の収音信号を取得する(S24)。そして、伝達特性生成部216は、第1及び第2の収音信号との間に入射時間差ITDθに応じた遅延時間を与えて、伝達特性を生成する(S25)。上記の処理を、スピーカの配置数だけ繰り返し行う。
【0086】
このようにすることで、受聴者U個人に適した伝達特性を生成することができる。なお、横方向測定、特性測定、正面測定の順番は、
図9のフローチャートに示す順番に限られるものではない。すなわち、S21〜S24の処理の順番は特に限定されるものではない。例えば、S22の後にS21が実施されていてもよい。
【0087】
なお、両耳間距離D、及び入射時間差ITDθを求めるための両耳時間差モデルは、式(1)に示す計算式に限定されるものではない。例えば、受聴者Uの顔の輪郭全体を円弧で近似してもよい。あるいは、顔の輪郭全体を直線や多項式で近似してもよい。
【0088】
図2では、受聴者Uの前方にステレオスピーカ5が配置されている測定構成を示したが、スピーカは1つであってもよい。この場合、Lchのスピーカの特性測定では、スピーカを受聴者Uの左前方に配置し、Rchのスピーカの特性測定ではスピーカを受聴者Uの右前方に配置する。この場合、モノラル出力端子での測定が可能となる。
【0089】
なお、
図5に示す正面測定では、受聴者Uの真正面にスピーカ5Cを配置することが好ましい。すなわち、左右方向におけるスピーカ5Cの中心が、受聴者Uの顔の中心と一致することが好ましい。スピーカ5Cが受聴者Uの真正面からわずかにずれてしまうと、正面時間差ITD0に測定誤差が含まれてしまう。従って、スピーカ5Cがφ=0の方向、つまり真正面に配置することが重要となる。以下、スピーカ5Cが受聴者Uの真正面に配置されているかを確認する方法について、
図10を用いて説明する。
【0090】
図10は、スピーカ5Cが受聴者Uの真正面、つまり、φ=0°の位置に配置されているかを確認するための構成を示している。
図10に示すように、処理装置210は、第1カメラ251と第2カメラ252とを備えている。例えば、タブレットPCやスマートホンに搭載されているインカメラとアウトカメラが、それぞれ第1カメラ251、第2カメラ252となる。
【0091】
第1カメラ251が受聴者Uの顔を撮像し、第2カメラ252が受聴者Uの前方に配置されたスピーカ5Cを撮像する。そして、処理装置210は、第1カメラ251の撮像画像と第2カメラ252の撮像画像とを画像処理することで、スピーカ5Cが受聴者Uの真正面に配置されているか否かを判定する。例えば、処理装置210は、画像処理により、スピーカ5Cが配置された角度φを求める。処理装置210は、角度φが閾値以下であるか否かに応じて、スピーカ5Cが真正面に配置されているか否かを判定する。
【0092】
図10に示すように、スピーカ5Cが受聴者Uの真正面に配置されていない場合、スピーカ5Cが左右方向にずれていることを処理装置210が受聴者Uに知らせる。例えば、処理装置210は、表示画面中にずれている方向を表示する。この場合、受聴者Uがスピーカ5Cと受聴者Uとの相対位置を調整する。
【0093】
スピーカの角度φが閾値以下となった場合、処理装置210は、正面測定を可能とさせる。例えば、処理装置210は、正面測定ボタンを表示画面に表示する。受聴者Uが正面測定ボタンをタッチすることで、正面測定が開始する。このようにすることで、より正確に正面時間差ITD0を測定することができる。
【0094】
上記処理のうちの一部又は全部は、コンピュータプログラムによって実行されてもよい。上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non−transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM(Read Only Memory)、CD−R、CD−R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【0095】
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は上記実施の形態に限られたものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。