(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024171502
(43)【公開日】2024-12-12
(54)【発明の名称】空間音響処理装置、及び空間音響処理方法
(51)【国際特許分類】
H04S 7/00 20060101AFI20241205BHJP
H04S 1/00 20060101ALI20241205BHJP
【FI】
H04S7/00 300
H04S1/00 500
【審査請求】未請求
【請求項の数】5
【出願形態】OL
(21)【出願番号】P 2023088540
(22)【出願日】2023-05-30
(71)【出願人】
【識別番号】308036402
【氏名又は名称】株式会社JVCケンウッド
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】下条 敬洋
【テーマコード(参考)】
5D162
【Fターム(参考)】
5D162AA05
5D162CD07
5D162EA05
5D162EG01
(57)【要約】
【課題】高い臨場感で再生することができる空間音響処理装置、及び空間音響処理方法を提供する。
【解決手段】空間音響処理装置は1つの空間音響伝達特性に基づく複数の第1フィルタを有するフィルタセットを記憶するフィルタ記憶部と、第1チャネルの第1入力信号に対して、前記複数の第1フィルタを並列に畳み込むことで、複数の第1畳み込み信号を生成する畳み込み部111a~111dと、複数の畳み込み信号に対して非線形処理を行うことで、第1ゆらぎ信号を生成するゆらぎ信号生成部113と、第1ゆらぎ信号に基づく信号に対して、第2フィルタを畳み込むことで、出力信号を生成するフィルタ処理部と、を備えている。
【選択図】
図4
【特許請求の範囲】
【請求項1】
1つの空間音響伝達特性に基づく複数の第1フィルタを有するフィルタセットを記憶するフィルタ記憶部と、
第1チャネルの第1入力信号に対して、前記複数の第1フィルタを並列に畳み込むことで、複数の第1畳み込み信号を生成する第1畳み込み部と、
前記複数の第1畳み込み信号に対して非線形処理を行うことで、第1ゆらぎ信号を生成する第1ゆらぎ信号生成部と、
前記第1ゆらぎ信号に基づく信号に対して、第2フィルタを畳み込むことで、出力信号を生成するフィルタ処理部と、を備えた空間音響処理装置。
【請求項2】
前記フィルタ処理部は、
前記第1ゆらぎ信号に基づく信号に対して、複数の第2フィルタを並列に畳み込むことで、複数の第2畳み込み信号を生成する第2畳み込み部と、
前記複数の第2畳み込み信号に対して非線形処理を行うことで、第2ゆらぎ信号を生成する第2ゆらぎ信号生成部と、を備えた請求項1に記載の空間音響処理装置。
【請求項3】
第2チャネルの第2入力信号に対して、複数の第3フィルタを並列に畳み込むことで、複数の第3畳み込み信号を生成する第3畳み込み部と、
前記複数の第3畳み込み信号に対して非線形処理を行うことで、第3ゆらぎ信号を生成する第3ゆらぎ信号生成部と、
第1ゆらぎ信号と前記第3ゆらぎ信号を加算した加算信号を前記フィルタ処理部に出力する加算器と、を備えた請求項2に記載の空間音響処理装置。
【請求項4】
被測定者の前記空間音響伝達特性を複数回測定する測定処理部をさらに備え、
前記複数の第1フィルタを生成するため、前記複数回測定された前記空間音響伝達特性のそれぞれに対応する前記第1フィルタが生成されている請求項1~3のいずれか1項に記載の空間音響処理装置。
【請求項5】
フィルタ記憶部から、1つの空間音響伝達特性に基づく複数の第1フィルタを有するフィルタセットを読み出すステップと、
第1チャネルの第1入力信号に対して、前記複数の第1フィルタを並列に畳み込むことで、複数の第1畳み込み信号を生成する第1畳み込みステップ部と、
前記複数の第1畳み込み信号に対して非線形処理を行うことで、第1ゆらぎ信号を生成する第1ゆらぎ信号ステップと、
前記第1ゆらぎ信号に基づく信号に対して、第2フィルタを畳み込むことで、出力信号を生成するフィルタ処理ステップと、を備えた空間音響処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、空間音響処理装置、及び空間音響処理方法に関する。
【背景技術】
【0002】
特許文献1には、マルチサラウンド方式の音声信号を2chの音声信号で再生する音声信号処理装置が開示されている。この音声信号処理装置は、各チャンネルの音声信号に、選択された頭部伝達関数を畳み込んでいる。音声信号処理装置は、各チャネルの音声信号について、ゆらぎの中心位置を算出して、ゆらぎ幅を設定している。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、音像定位技術として、ヘッドホンを用いて受聴者の頭部の外側に音像を定位させる頭外定位技術がある。頭外定位技術では、ヘッドホンから耳までの特性をキャンセルし、ステレオスピーカから耳までの4本の特性を与えることにより、音像を頭外に定位させている。
【0005】
頭外定位再生においては、2チャンネル(以下、chと記載)のスピーカから発した測定信号(インパルス音等)を聴取者本人(ユーザ)の耳に設置したマイクロフォン(以下、マイクとする)で録音する。そして、インパルス応答で得られた収音信号に基づいて、処理装置がフィルタを作成する。これにより、スピーカから外耳道のマイク位置までの空間音響伝達特性に応じたフィルタが作成される。作成したフィルタを2chのオーディオ信号に畳み込むことにより、頭外定位再生を実現することができる。
【0006】
さらに、ヘッドホンから耳までの特性をキャンセルするためのフィルタを生成するために、ヘッドホンから耳元乃至鼓膜までの特性(外耳道伝達関数ECTF、外耳道伝達特性とも言う)を聴取者本人の耳に設置したマイクで測定する。
【0007】
実空間内にある音源から発せられた音が実際に視聴者の耳に届く場合はさまざまな要素が非線形性を持つことがある。頭外定位処理装置などの空間音響処理システムにおいて、完全に実際の環境を再現することが困難である。
【0008】
非線形要素の中の一要因として考えられるのが、空間的なゆらぎ(厳密には、音源そのものにも、人体にも、あらゆるものにゆらぎがある)である。従来技術では、ある一瞬の一意のフィルタ係数のみで処理されるため、このゆらぎを模擬することは困難である。よって、高い臨場感や精度の高い錯覚効果の妨げになっている。
【0009】
本開示は上記の点に鑑みなされたものであり、高い臨場感で再生することができる空間音響処理装置、及び空間音響処理方法を提供する。
【課題を解決するための手段】
【0010】
本実施の形態にかかる空間音響処理装置は、1つの空間音響伝達特性に基づく複数の第1フィルタを有するフィルタセットを記憶するフィルタ記憶部と、第1チャネルの第1入力信号に対して、前記複数の第1フィルタを並列に畳み込むことで、複数の第1畳み込み信号を生成する第1畳み込み部と、前記複数の第1畳み込み信号に対して非線形処理を行うことで、第1ゆらぎ信号を生成する第1ゆらぎ信号生成部と、前記第1ゆらぎ信号に基づく信号に対して、第2フィルタを畳み込むことで、出力信号を生成するフィルタ処理部と、を備えている。
【0011】
本実施の形態にかかる空間音響処理方法は、フィルタ記憶部から、1つの空間音響伝達特性に基づく複数の第1フィルタを有するフィルタセットを読み出すステップと、第1チャネルの第1入力信号に対して、前記複数の第1フィルタを並列に畳み込むことで、複数の第1畳み込み信号を生成する第1畳み込みステップ部と、前記複数の第1畳み込み信号に対して非線形処理を行うことで、第1ゆらぎ信号を生成する第1ゆらぎ信号ステップと、前記第1ゆらぎ信号に基づく信号に対して、第2フィルタを畳み込むことで、出力信号を生成するフィルタ処理ステップと、を備えている。
【発明の効果】
【0012】
本開示によれば、高い臨場感で再生することができる空間音響処理装置、及び空間音響処理方法を提供することができる。
【図面の簡単な説明】
【0013】
【
図1】本実施の形態に係る頭外定位処理装置を示すブロック図である。
【
図2】空間音響伝達特性を測定する測定装置の構成を示す模式図である。
【
図3】測定処理装置に用いられる信号処理装置の構成を示すブロック図である。
【
図4】空間音響処理部の主要部の構成を示すブロック図である。
【
図5】逆フィルタ部の構成を示すブロック図である。
【
図6】本実施の形態にかかる空間音響処理方法を示すフローチャートである。
【発明を実施するための形態】
【0014】
本実施の形態にかかる空間音響処理の概要について説明する。本実施の形態では、空間音響処理として、空間音響伝達特性と外耳道伝達特性を用いて頭外定位処理を行う例について説明する。
【0015】
空間音響伝達特性は、スピーカなどの音源から外耳道までの伝達特性である。外耳道伝達特性は、ヘッドホン又はイヤホンのスピーカユニットから鼓膜までの伝達特性である。本実施の形態では、ヘッドホン又はイヤホンを装着していない状態での空間音響伝達特性を測定し、かつ、ヘッドホン又はイヤホンを装着した状態での外耳道伝達特性を測定し、それらの測定データを用いて頭外定位処理を実現している。本実施の形態は、空間音響伝達特性、又は外耳道伝達特性を測定するためのマイクシステムに特徴を有している。
【0016】
本実施の形態にかかる頭外定位処理は、パーソナルコンピュータ、スマートホン、タブレットPCなどのユーザ端末で実行される。ユーザ端末は、プロセッサ等の処理手段、メモリやハードディスクなどの記憶手段、液晶モニタ等の表示手段、タッチパネル、ボタン、キーボード、マウスなどの入力手段を有する情報処理装置である。ユーザ端末は、データを送受信する通信機能を有していてもよい。さらに、ユーザ端末には、ヘッドホン又はイヤホンを有する出力手段(出力ユニット)が接続される。ユーザ端末と出力手段との接続は、有線接続でも無線接続でもよい。
【0017】
(頭外定位処理装置)
本実施の形態にかかる音場再生装置の一例である、頭外定位処理装置100のブロック図を
図1に示す。頭外定位処理装置100は、ヘッドホン43を装着するユーザUに対して音場を再生する。そのため、頭外定位処理装置100は、LchとRchのステレオ入力信号XL、XRについて、音像定位処理を行う。LchとRchのステレオ入力信号XL、XRは、CD(Compact Disc)プレイヤーなどから出力されるアナログのオーディオ再生信号、又は、mp3(MPEG Audio Layer-3)等のデジタルオーディオデータである。なお、オーディオ再生信号、又はデジタルオーディオデータをまとめて再生信号と称する。すなわち、LchとRchのステレオ入力信号XL、XRが再生信号となっている。
【0018】
本実施の形態では、頭外定位処理装置100が、フィルタを用いた音像定位処理を適切に行うための演算処理を行っている。頭外定位処理装置100の演算処理部は、パーソナルコンピュータ(PC)、タブレット端末、スマートホン等であり、メモリ、及びプロセッサを備えている。メモリは、処理プログラムや各種パラメータや測定データなどを記憶している。プロセッサは、メモリに格納された処理プログラムを実行する。プロセッサが処理プログラムを実行することで、各処理が実行される。プロセッサは、例えば、CPU(Central Processing Unit)、FPGA(Field-Programmable Gate Array)、DSP(Digital Signal Processor),ASIC(Application Specific Integrated Circuit)、又は、GPUGraphics Processing Unit)等であってもよい。
【0019】
なお、頭外定位処理装置100は、物理的に単一な装置に限られるものではなく、一部の処理が異なる装置で行われてもよい。例えば、一部の処理がスマートホンなどにより行われ、残りの処理がヘッドホン43に内蔵されたDSP(Digital Signal Processor)などにより行われてもよい。
【0020】
頭外定位処理装置100は、空間音響処理部10、逆フィルタLinvを格納する逆フィルタ部41、逆フィルタRinvを格納する逆フィルタ部42、及びヘッドホン43を備えている。空間音響処理部10、逆フィルタ部41、及び逆フィルタ部42は、具体的にはプロセッサ等により実現可能である。
【0021】
空間音響処理部10は、空間音響伝達特性Hls、Hlo、Hro、Hrsを格納する畳み込み演算部11~12、21~22、及び加算器24、25を備えている。畳み込み演算部11~12、21~22は、空間音響伝達特性を用いた畳み込み処理を行う。空間音響処理部10には、オーディオプレイヤーなどからのステレオ入力信号XL、XRが入力される。空間音響処理部10には、空間音響伝達特性が設定されている。空間音響処理部10は、各chのステレオ入力信号XL、XRに対し、空間音響伝達特性のフィルタ(以下、空間音響フィルタとも称する)を畳み込む。空間音響伝達特性は被測定者の頭部や耳介で測定した頭部伝達関数HRTFでもよいし、ダミーヘッドまたは第三者の頭部伝達関数であってもよい。
【0022】
4つの空間音響伝達特性Hls、Hlo、Hro、Hrsを1セットとしたものを空間音響伝達関数とする。畳み込み演算部11、12、21、22で畳み込みに用いられるデータが空間音響フィルタとなる。空間音響伝達特性Hls、Hlo、Hro、Hrsを所定のフィルタ長で切り出すことで、空間音響フィルタが生成される。
【0023】
空間音響伝達特性Hls、Hlo、Hro、Hrsのそれぞれは、インパルス応答測定などにより、事前に取得されている。例えば、ユーザUが左右の耳にマイクをそれぞれ装着する。ユーザUの前方に配置された左右のスピーカが、インパルス応答測定を行うための、インパルス音をそれぞれ出力する。そして、スピーカから出力されたインパルス音等の測定信号をマイクで収音する。マイクでの収音信号に基づいて、空間音響伝達特性Hls、Hlo、Hro、Hrsが取得される。左スピーカと左マイクとの間の空間音響伝達特性Hls、左スピーカと右マイクとの間の空間音響伝達特性Hlo、右スピーカと左マイクとの間の空間音響伝達特性Hro、右スピーカと右マイクとの間の空間音響伝達特性Hrsが測定される。
【0024】
そして、畳み込み演算部11は、Lchのステレオ入力信号XLに対して空間音響伝達特性Hlsに応じた空間音響フィルタを畳み込む。畳み込み演算部11は、畳み込み演算データを加算器24に出力する。畳み込み演算部21は、Rchのステレオ入力信号XRに対して空間音響伝達特性Hroに応じた空間音響フィルタを畳み込む。畳み込み演算部21は、畳み込み演算データを加算器24に出力する。加算器24は2つの畳み込み演算データを加算して、逆フィルタ部41に出力する。
【0025】
畳み込み演算部12は、Lchのステレオ入力信号XLに対して空間音響伝達特性Hloに応じた空間音響フィルタを畳み込む。畳み込み演算部12は、畳み込み演算データを、加算器25に出力する。畳み込み演算部22は、Rchのステレオ入力信号XRに対して空間音響伝達特性Hrsに応じた空間音響フィルタを畳み込む。畳み込み演算部22は、畳み込み演算データを、加算器25に出力する。加算器25は2つの畳み込み演算データを加算して、逆フィルタ部42に出力する。畳み込み演算部11、12の処理の詳細については後述する。
【0026】
逆フィルタ部41、42にはヘッドホン特性(ヘッドホンの再生ユニットとマイク間の特性)をキャンセルする逆フィルタLinv、Rinvが設定されている。そして、空間音響処理部10での処理が施された再生信号(畳み込み演算信号)に逆フィルタLinv、Rinvを畳み込む。逆フィルタ部41で加算器24からのLch信号に対して、Lch側のヘッドホン特性の逆フィルタLinvを畳み込む。同様に、逆フィルタ部42は加算器25からのRch信号に対して、Rch側のヘッドホン特性の逆フィルタRinvを畳み込む。逆フィルタLinv、Rinvは、ヘッドホン43を装着した場合に、ヘッドホンユニットからマイクまでの特性をキャンセルする。マイクは、外耳道入口から鼓膜までの間ならばどこに配置してもよい。
【0027】
逆フィルタ部41は、処理されたLch信号YLをヘッドホン43の左ユニット43Lに出力する。逆フィルタ部42は、処理されたRch信号YRをヘッドホン43の右ユニット43Rに出力する。ユーザUは、ヘッドホン43を装着している。ヘッドホン43は、Lch信号YLとRch信号YR(以下、Lch信号YLとRch信号YRをまとめてステレオ信号又は出力信号とも称する)をユーザUに向けて出力する。これにより、ユーザUの頭外に定位された音像を再生することができる。
【0028】
このように、頭外定位処理装置100は、空間音響伝達特性Hls、Hlo、Hro、Hrsに応じた空間音響フィルタと、ヘッドホン特性の逆フィルタLinv,Rinvを用いて、頭外定位処理を行っている。以下の説明において、空間音響伝達特性Hls、Hlo、Hro、Hrsに応じた空間音響フィルタと、ヘッドホン特性の逆フィルタLinv,Rinvとをまとめて頭外定位処理フィルタとする。2chのステレオ再生信号の場合、頭外定位フィルタは、4つの空間音響フィルタと、2つの逆フィルタとから構成されている。そして、頭外定位処理装置100は、ステレオ再生信号に対して合計6個の頭外定位フィルタを用いて畳み込み演算処理を行うことで、頭外定位処理を実行する。頭外定位フィルタは、ユーザU個人の測定に基づくものであることが好ましい。例えば,ユーザUの耳に装着されたマイクが収音した収音信号に基づいて、頭外定位フィルタが設定されている。
【0029】
このように空間音響フィルタと、ヘッドホン特性の逆フィルタLinv,Rinvはオーディオ信号用のフィルタである。これらのフィルタが再生信号(ステレオ入力信号XL、XR)に畳み込まれることで、頭外定位処理装置100が、頭外定位処理を実行する。本実施の形態では、空間音響フィルタを生成する処理が技術的特徴の一つとなっている。具体的には、畳み込み演算部11、12、21、22のそれぞれにおいて、複数のフィルタが設定されている。
【0030】
例えば、畳み込み演算部11、12、21、22のそれぞれが、入力信号に対して、複数のフィルタを同時に畳み込むことで、複数の畳み込み信号を生成している。さらに空間音響処理部10が複数の畳み込み信号に対して非線形処理を行うことで、ゆらぎ信号を生成する。ゆらぎ信号に対して逆フィルタを畳み込むことで、出力信号を生成する。
【0031】
(空間音響伝達特性の測定装置)
図2、及び
図3を用いて、空間音響伝達特性Hls、Hlo、Hro、Hrsを測定する測定装置200について説明する。
図2は、被測定者1に対して測定を行うための測定構成を模式的に示す図である。
図3は、測定装置200に用いられる測定処理装置201の構成を示すブロック図である。なお、ここでは、被測定者1は、
図1のユーザUと同じ人物となっていてもよく、異なる人物となっていてもよい。
【0032】
図2に示すように、測定装置200は、ステレオスピーカ5とマイクユニット2を有している。ステレオスピーカ5が測定環境に設置されている。測定環境は、ユーザUの自宅の部屋やオーディオシステムの販売店舗やショールーム等でもよい。測定環境は、スピーカや音響の整ったリスニングルームであることが好ましい。
【0033】
本実施の形態では、測定装置200の測定処理装置201が、空間音響フィルタを適切に生成するための演算処理を行っている。測定処理装置201は、例えば、CDプレイヤー等の音楽プレイヤーなどを有している。測定処理装置201は、パーソナルコンピュータ(PC)、タブレット端末、スマートホン等であってもよい。また、測定処理装置201は、サーバ装置自体であってもよい。
【0034】
ステレオスピーカ5は、左スピーカ5Lと右スピーカ5Rを備えている。例えば、被測定者1の前方に左スピーカ5Lと右スピーカ5Rが設置されている。左スピーカ5Lと右スピーカ5Rは、インパルス応答測定を行うためのインパルス音等を出力する。以下、本実施の形態では、音源となるスピーカの数を2(ステレオスピーカ)として説明するが、測定に用いる音源の数は2に限らず、1以上であればよい。すなわち、1chのモノラル、または、5.1ch、7.1ch等の、いわゆるマルチチャンネル環境においても同様に、本実施の形態を適用することができる。
【0035】
マイクユニット2は、左のマイク2Lと右のマイク2Rを有するステレオマイクである。左のマイク2Lは、被測定者1の左耳9Lに設置され、右のマイク2Rは、被測定者1の右耳9Rに設置されている。具体的には、左耳9L、右耳9Rの外耳道入口から鼓膜までの位置にマイク2L、2Rを設置することが好ましい。マイク2L、2Rは、ステレオスピーカ5から出力された測定信号を収音して、収音信号を取得する。マイク2L、2Rは収音信号を測定処理装置201に出力する。被測定者1は、人でもよく、ダミーヘッドでもよい。すなわち、本実施形態において、被測定者1は人だけでなく、ダミーヘッドを含む概念である。
【0036】
図3に示すように、測定処理装置201は、測定信号生成部231と、収音信号取得部232と、フィルタ生成部233と、フィルタ記憶部234と、を備えている。
【0037】
測定信号生成部231は、D/A変換器やアンプなどを備えており、空間音響伝達特性を測定するための測定信号を生成する。測定信号は、例えば、インパルス信号やTSP(Time Stretched Pulse)信号等である。ここでは、測定信号としてインパルス音を用いて、測定装置200がインパルス応答測定を実施している。
【0038】
マイクユニット2の左マイク2L、右マイク2Rがそれぞれ測定信号を収音し、収音信号を測定処理装置201に出力する。収音信号取得部232は、左マイク2L、右マイク2Rで収音された収音信号を取得する。なお、収音信号取得部232は、マイク2L、2Rからの収音信号をA/D変換するA/D変換器を備えていてもよい。収音信号取得部232は、複数回の測定により得られた信号を同期加算してもよい。
【0039】
上記のように、左スピーカ5L、右スピーカ5Rで出力されたインパルス音をマイク2L、2Rで測定することでインパルス応答が測定される。測定処理装置201は、インパルス応答測定により取得した収音信号をメモリなどに記憶する。これにより、左スピーカ5Lと左マイク2Lとの間の空間音響伝達特性Hls、左スピーカ5Lと右マイク2Rとの間の空間音響伝達特性Hlo、右スピーカ5Rと左マイク2Lとの間の空間音響伝達特性Hro、右スピーカ5Rと右マイク2Rとの間の空間音響伝達特性Hrsが測定される。すなわち、左スピーカ5Lから出力された測定信号を左マイク2Lが収音することで、空間音響伝達特性Hlsが取得される。左スピーカ5Lから出力された測定信号を右マイク2Rが収音することで、空間音響伝達特性Hloが取得される。右スピーカ5Rから出力された測定信号を左マイク2Lが収音することで、空間音響伝達特性Hroが取得される。右スピーカ5Rから出力された測定信号を右マイク2Rが収音することで、空間音響伝達特性Hrsが取得される。
【0040】
フィルタ生成部233は、収音信号に基づいて、空間音響フィルタを生成する。左右のスピーカ5L、5Rから左右のマイク2L、2Rまでの空間音響伝達特性Hls、Hlo、Hro、Hrsに応じた空間音響フィルタを生成する。例えば、フィルタ生成部233は、空間音響伝達特性Hls、Hlo、Hro、Hrsを所定のフィルタ長で切り出す。測定処理装置201は、測定した空間音響伝達特性Hls、Hlo、Hro、Hrsを補正してもよい。
【0041】
このようにすることで、測定処理装置201は、頭外定位処理装置100の畳み込み演算に用いられる空間音響フィルタを生成する。
図1で示したように、頭外定位処理装置100が、左右のスピーカ5L、5Rと左右のマイク2L、2Rとの間の空間音響伝達特性Hls、Hlo、Hro、Hrsに応じた空間音響フィルタを用いて頭外定位処理を行う。すなわち、空間音響フィルタをオーディオ再生信号に畳み込むことにより、頭外定位処理を行う。
【0042】
測定処理装置201は、空間音響伝達特性Hls、Hlo、Hro、Hrsのそれぞれに対応する収音信号に対して同様の処理を実施している。すなわち、空間音響伝達特性Hls、Hlo、Hro、Hrsに対応する4つの収音信号に対して、それぞれ同様の処理が実施される。これにより、空間音響伝達特性Hls、Hlo、Hro、Hrsに対応する空間音響フィルタをそれぞれ生成することができる。
【0043】
さらに、測定処理装置201は、複数回のインパルス応答測定を行うことで、複数のフィルタを生成している。具体的には、測定装置200は、左スピーカ5Lと左マイク2Lを用いたインパルス応答測定をn(nは2以上の整数)回行うことで、空間音響伝達特性Hlsに対応するn個のフィルタを生成する。左スピーカ5Lと右マイク2Rを用いたインパルス応答測定をn回行うことで、空間音響伝達特性Hloに対応するn個フィルタを生成する。
【0044】
右スピーカ5Rと左マイク2Lを用いたインパルス応答測定をn回行うことで、空間音響伝達特性Hroに対応するn個のフィルタを生成する。右スピーカ5Rと右マイク2Rを用いたインパルス応答測定をn回行うことで、空間音響伝達特性Hrsに対応するn個のフィルタを生成する。
【0045】
ここで、測定に応じて空間音響伝達特性がわずかに異なる。例えば、ノイズ、被測定者の顔の向き、マイクの装着状態などによって、空間音響伝達特性の測定結果が変動する。よって、測定毎に、生成されるフィルタの係数が異なる。つまり、同じ被測定者に対して、インパルス応答測定をn回行うことで、それぞれの空間音響伝達特性について、n個の異なる空間音響フィルタがされる。このようにすることで、人体などに起因するゆらぎを再現することができ、定位効果を高めることができる。
【0046】
フィルタ記憶部234は、フィルタ係数を記憶するメモリなどを有している。フィルタ記憶部234は、それぞれの空間音響伝達特性について、複数のフィルタを格納する。例えば、フィルタ記憶部234は、空間音響伝達特性Hlsについて、n個のフィルタを格納する。フィルタ記憶部234は、空間音響伝達特性Hroについて、n個のフィルタを格納する。フィルタ記憶部234は、空間音響伝達特性Hloについて、n個のフィルタを格納する。フィルタ記憶部234は、空間音響伝達特性Hrsについて、n個のフィルタを格納する。フィルタ記憶部234は、4n個のフィルタを格納している。
【0047】
ここで、1つの特性に対するn個のフィルタをフィルタセット又はフィルタ群ともいう。つまり、フィルタセットはn個のフィルタを含んでいる。従って、フィルタ記憶部234は、4つのフィルタセットを格納している。
【0048】
次に、複数のフィルタを用いた空間音響処理について
図4を用いて説明する。
図4は、空間音響処理部10の主要部の構成を示すブロック図である。ここでは、入力信号XLと、入力信号XRに対する処理は同様の処理となっている。よって、入力信号XLに対する処理を主として説明し、入力信号XRに対する処理については適宜説明を省略する。
【0049】
上記のように、畳み込み演算部11において、複数のフィルタが設定されている。ここでは、n=4として、1つのフィルタセットが4つのフィルタを含んでいる例を説明するが、フィルタセットに含まれるフィルタの数は、特に限定されるものではない。
【0050】
まず、空間音響伝達特性Hlsに対する畳み込み演算部11について説明する。畳み込み演算部11は、4つの畳み込み部111a~111dと、ゆらぎ信号生成部113とを備えている。4つの畳み込み部111a~111dは異なるフィルタが設定されている。つまり、測定装置200が、空間音響伝達特性Hlsを4回測定することで、4つのフィルタを生成する。
【0051】
畳み込み部111a~111dは入力信号XLに対して並列にフィルタを畳み込む。つまり、入力信号XLに対して、同時に4つのフィルタが畳み込まれる。畳み込み部111a~111dによってフィルタが畳み込まれた信号をそれぞれ畳み込み信号C_HLSa~C_HLSdとする。4つの畳み込み部111a~111dによる処理は並列に行われている。
【0052】
畳み込み部111aは畳み込み信号C_HLSaをゆらぎ信号生成部113に出力する。畳み込み部111bは畳み込み信号C_HLSbをゆらぎ信号生成部113に出力する。畳み込み部111cは畳み込み信号C_HLScをゆらぎ信号生成部113に出力する。畳み込み部111dは畳み込み信号C_HLSdをゆらぎ信号生成部113に出力する。ゆらぎ信号生成部113には4つの畳み込み信号C_HLSa~C_HLSdが入力される。
【0053】
上記のように、畳み込み部111a~111dに設定されたフィルタは、空間音響伝達特性Hlsを示すものであるが、異なる測定に基づいて生成された物である。よって、畳み込み部111a~111dに設定されたフィルタでは、それぞれフィルタ係数が異なっている。よって、畳み込み部111a~111dから出力される畳み込み信号は、異なる信号となる。
【0054】
ゆらぎ信号生成部113は、4つの畳み込み信号C_HLSa~C_HLSdに対して非線形処理を行うことで、ゆらぎ信号F_HLSを生成する。例えば、ゆらぎ信号生成部113は、複数の畳み込み信号をランダムに切り替えることで、ゆらぎ信号F_HLSを生成する。例えば、ゆらぎ信号生成部113は、乱数を用いて、4つ畳み込み信号C_HLSa~C_HLSdから1つの畳み込み信号を選択する。ゆらぎ信号生成部113はサンプル毎に畳み込み信号を選択することで、ゆらぎ信号F_HLSを生成する。ランダムが値に変わる乱数を用いることで、ゆらぎ信号生成部113は非線形のゆらぎを含むゆらぎ信号を生成することができる。
【0055】
また、ゆらぎ信号生成部113は、一意又は任意の順番で、複数の畳み込み信号C_HLSa~C_HLSdを切り替えることで、ゆらぎ信号F_HLSを生成してもよい。例えば、ゆらぎ信号生成部113は、一定のサンプル数間隔で4つの畳み込み信号を切り替えていく。ここでは、ゆらぎ信号生成部113が、畳み込み信号C_HLSa、畳み込み信号C_HLSb、畳み込み信号C_HLSc、畳み込み信号C_HLSdの順に切り替えてもよく、任意の順番で切り替えてもよい。さらに、ゆらぎ信号生成部113が、所定のサンプル数間隔で切り替える場合、切替タイイングで、クロスフェードされるように畳み込み信号を合成してもよい。サンプルを切り替えるサンプル数間隔は、固定されていてもよく、ランダムに変更してもよい。
【0056】
さらに、畳み込み信号に出力係数を乗じて、積算してもよい。例えば、4つの畳み込み信号C_HLSa~C_HLSdに対する出力係数をそれぞれ係数ka~kdとする。この場合、ゆらぎ信号は以下の(1)のようになる。
F_HLS=ka*C_HLSa+kb*C_HLSb
+kc*C_HLSc+kd*HLSc ・・・(1)
【0057】
ここで、4つの係数ka~kdの総和が1となるようにする。ゆらぎ信号生成部113は係数ka~kdをサンプル毎にランダムに変化させる。あるいは、一定のサンプル数間隔で、係数ka~kdをランダムに変化させてもよい。
【0058】
ゆらぎ信号生成部113は、ゆらぎ信号F_HLSを加算器24に出力する。ゆらぎ信号生成部113はランダムに複数の畳み込み信号を切替又は合成している。このようにすることで、実空間で実音源からの音を聴く場合に起こり得る非線形性の一部を模擬することが可能となる。ゆらぎ信号生成部113の演算方法は上記に限るものではない。
【0059】
次に、畳み込み演算部12について説明する。空間音響伝達特性Hloに対する畳み込み演算部12は、畳み込み演算部11と同様の処理を行う。よって、畳み込み演算部12は、4つの畳み込み部121a~121dと、ゆらぎ信号生成部123とを備えている。4つの畳み込み部121a~121dは異なるフィルタが設定されている。つまり、測定装置200が、空間音響伝達特性Hloを4回測定することで、4つのフィルタを生成する。
【0060】
畳み込み部121a~121dは入力信号XLに対して並列にフィルタを畳み込む。つまり、入力信号XLに対して、同時に4つのフィルタが畳み込まれる。畳み込み部121a~121dによってフィルタが畳み込まれた信号をそれぞれ畳み込み信号C_HLOa~C_HLOdとする。4つの畳み込み部121a~121dによる処理は並列に行われている。
【0061】
ゆらぎ信号生成部123は、4つの畳み込み信号C_HLOa~C_HLOdに対して非線形処理を行うことで、ゆらぎ信号F_HLOを生成する。つまり、ゆらぎ信号生成部123は、ゆらぎ信号生成部113と同じ手法により、ゆらぎ信号F_HLOを生成する。例えば、ゆらぎ信号生成部113はランダムに複数の畳み込み信号を切替又は合成している。ゆらぎ信号生成部123は、ゆらぎ信号F_HLOを加算器25に出力する。
【0062】
畳み込み演算部21、22は入力信号XRに対して同様の処理を行う。例えば、畳み込み演算部21は、複数の畳み込み部211と、ゆらぎ信号生成部213を備えている。複数の畳み込み部221はそれぞれ異なるフィルタを入力信号XRに畳み込む。ゆらぎ信号生成部213、非線形処理を行うことで、ゆらぎ信号F_HROを生成する。ゆらぎ信号生成部213を複数の畳み込み信号を切替又は合成することで、ゆらぎ信号生成部213は、ゆらぎ信号F_HROを加算器24に出力する。加算器24は、ゆらぎ信号F_HLSとゆらぎ信号F_HROとを加算した加算信号を
図1の逆フィルタ部41に出力する。
【0063】
畳み込み演算部22は、複数の畳み込み部221と、ゆらぎ信号生成部223を備えている。複数の畳み込み部221はそれぞれ異なるフィルタを入力信号XRに畳み込む。ゆらぎ信号生成部223は、非線形処理を行うことで、ゆらぎ信号F_HRSを生成する。ゆらぎ信号生成部223を複数の畳み込み信号を切替又は合成することで、ゆらぎ信号F_HRSを生成する。畳み込み演算部22は、ゆらぎ信号F_HRSを加算器25に出力する。加算器25は、ゆらぎ信号F_HLOとゆらぎ信号F_HRSとを加算した加算信号を
図1の逆フィルタ部42に出力する。
【0064】
このように、各チャネルにおいて、空間音響処理部10は、複数のフィルタを同時に並列で畳み込んでいる。ゆらぎ信号生成部113、123、213、223は、サンプル毎にデジタル信号を切り替える、又は合成することで、ゆらぎ信号を生成する。ゆらぎ信号生成部113、123、213、223は、所定のサンプル毎にデジタル信号を切り替える、又は合成することで、ゆらぎ信号を生成する。
【0065】
このようにすることで、擬似的に空間的なゆらぎを再現することができる。したがってユーザUは、より高い臨場感で受聴することができ、高い精度の頭外定位効果を得ることが可能になる。乱数などを用いることで、信号や係数をランダムに変化させることができる。このため、空間的なゆらぎの再現性が高くなる。
【0066】
変形例
上記の説明では、空間音響処理部10が、ゆらぎ信号を生成していたが、逆フィルタ部41、42がゆらぎ信号を生成してもよい。逆フィルタ部41、42がゆらぎ信号を生成するための変形例について、
図5を用いて説明する。
図5は、逆フィルタ部41、42の構成を示すブロック図である。
【0067】
逆フィルタ部41は複数の畳み込み部411a~411dと、ゆらぎ信号生成部413を有している。逆フィルタ部41が複数の逆フィルタLinvを格納している。畳み込み部411a~411dは、それぞれ異なる逆フィルタLinvを格納している。そして、畳み込み部411a~411dは、加算器24からの加算信号に対して、異なる逆フィルタLinvを同時に並列に畳み込む。
【0068】
複数回の外耳道伝達特性の測定によって、複数の逆フィルタLinvが生成されている。なお、畳み込み部411a~411dの数は4となっているが、2以上であれはよい。もちろん、逆フィルタ部41における畳み込み部の数と、畳み込み部211等の数は異なる数であってもよく、同じ数であってもよい。
【0069】
畳み込み部411a~411dによって逆フィルタLinvが畳み込まれた信号をそれぞれ畳み込み信号C_Linva~C_Linvdとする。畳み込み部411aは畳み込み信号C_Linvaをゆらぎ信号生成部413に出力する。同様に、畳み込み部411b~411dは畳み込み信号C_Linvb~C_Linvdをゆらぎ信号生成部413に出力する。ゆらぎ信号生成部413は、ゆらぎ信号生成部113等と同様に、複数の畳み込み信号からゆらぎ信号を生成する。逆フィルタ部41は、ゆらぎ信号生成部413によって生成されたゆらぎ信号をLch信号YLとして左ユニット43Lに出力する。
【0070】
同様に、逆フィルタ部42は複数の畳み込み部421a~421dと、ゆらぎ信号生成部423を有している。逆フィルタ部42が複数の逆フィルタRinvを格納している。畳み込み部421a~421dは、それぞれ異なる逆フィルタRinvを格納している。そして、畳み込み部421a~421dは、加算器25からの加算信号に対して、異なる逆フィルタRinvを同時に並列に畳み込む。
【0071】
複数回の外耳道伝達特性の測定によって、複数の逆フィルタRinvが生成されている。なお、畳み込み部421a~421dの数は4となっているが、2以上であれはよい。もちろん、逆フィルタ部42における畳み込み部の数と、逆フィルタ部41や畳み込み部211等の数は異なる数であってもよく、同じ数であってもよい。
【0072】
畳み込み部421a~421dによって逆フィルタRinvが畳み込まれた信号をそれぞれ畳み込み信号C_Rinva~C_Rinvdとする。畳み込み部421aは畳み込み信号C_Rinvaをゆらぎ信号生成部423に出力する。同様に、畳み込み部421b~421dは畳み込み信号C_Rinvb~C_Rinvdをゆらぎ信号生成部423に出力する。ゆらぎ信号生成部423は、ゆらぎ信号生成部113、413等と同様に、複数の畳み込み信号からゆらぎ信号を生成する。逆フィルタ部42は、ゆらぎ信号生成部423によって生成されたゆらぎ信号を出力信号YRとして右ユニット43Rに出力する。そして、ヘッドホン43から頭外定位処理が施された出力信号YL、YRが再生される。
【0073】
このように、逆フィルタ部41、42が、ゆらぎ信号を生成してもよい。逆フィルタ部41、42は、サンプル毎にデジタル信号を切り替える、又は合成することで、ゆらぎ信号を生成する。このようにすることで、擬似的に空間的なゆらぎを再現することができる。したがってユーザUは、より高い臨場感で受聴することができ、高い精度の頭外定位効果を得ることが可能になる。乱数などを用いることで、信号や係数をランダムに変化させることができるため、空間的なゆらぎの再現性が高くなる。
【0074】
(空間音響処理方法)
図6を用いて、空間音響処理方法について、説明する。
図6は空間音響処理方法を示すフローチャートである。まず、空間音響処理部10がフィルタ記憶部234に格納されているフィルタセットを読み出す(S101)。上記のように、フィルタセットは、1つの空間音響伝達特性に対して複数のフィルタを含んでいる。ここでは、空間音響処理部10は、空間音響伝達特性Hls、Hlo、Hro、Hrsに対応するフィルタセットを読み出す。つまり、空間音響処理部10は4つのフィルタセットを読み出す。
【0075】
次に、畳み込み部が、入力信号XL、XRのそれぞれに対して、複数のフィルタセットを並列に畳み込む(S102)。具体的には、
図4に示した畳み込み部111a~111dが入力信号XLにフィルタを畳み込む。畳み込み部121a~121dが入力信号XLにフィルタを畳み込む。畳み込み部211が入力信号XRに複数のフィルタを畳み込む。畳み込み部221が入力信号XRに複数のフィルタを畳み込む。
【0076】
そして、ゆらぎ信号生成部113、123、213、223が、複数の畳み込み信号に基づいて、ゆらぎ信号を生成する(S103)。例えば、ゆらぎ信号生成部113が、複数の畳み込み信号の切替や合成などの非線形処理を行うことで、ゆらぎ信号F_HLSを生成する。ゆらぎ信号生成部123が、複数の畳み込み信号の切替や合成などの非線形処理を行うことで、ゆらぎ信号F_HLOを生成する。ゆらぎ信号生成部213が、複数の畳み込み信号の切替や合成などの非線形処理を行うことで、ゆらぎ信号F_HROを生成する。ゆらぎ信号生成部223が、複数の畳み込み信号の切替や合成などの非線形処理を行うことで、ゆらぎ信号F_HRSを生成する。
【0077】
そして、加算器24,25がゆらぎ信号を加算する(S104)。加算器24は、ゆらぎ信号F_HLSと、ゆらぎ信号F_HROとを加算して、加算信号を逆フィルタ部41に出力する。加算器25は、ゆらぎ信号F_HLOと、ゆらぎ信号F_HRSとを加算して、加算信号を逆フィルタ部42に出力する。
【0078】
逆フィルタ部41、42が加算信号に対して逆フィルタLinv,Rinvをそれぞれ畳み込む(S105)。これにより、ヘッドホン43から頭外定位処理された再生信号が再生される。もちろん、S105においても、
図5で示したように、逆フィルタ部41、42がゆらぎ信号を用いてもよい。
【0079】
上記の実施の形態では、測定装置200が、被測定者1に対する複数回の測定でフィルタセットが生成されていたが、その他の手法によってフィルタセットを生成してもよい。例えば、ユーザ以外の被測定者に対する測定によって、フィルタセットが生成されていてもよい。この場合、所定のマッチング処理によって、頭外定位処理装置100が、ユーザの特性と類似する特性を有する被測定者を特定してもよい。そして、頭外定位処理装置100が、ユーザの特性と類似する被測定者のフィルタを用いる。
【0080】
空間音響伝達特性については、スピーカ毎にフィルタセットが生成されていてもよい。外耳道伝達特性については、ヘッドホン毎又はイヤホン毎にフィルタセットが生成されていてもよい。そして、ユーザが、プリセットされたフィルタセットの中から、使用するデバイスを選択する。これにより、適切なフィルタセットを取得することができる。ユーザは、インターネットなどのネットワークを通じて、フィルタセットをダウンロードしてもよい。これにより、ユーザが所望の環境での頭外定位受聴が可能となる。
【0081】
上記説明では、入力信号が2chのステレオ入力信号であるとした、入力信号は5.1ch、7.1chなどのマルチチャネルの信号であってもよい。この場合、各チャネルのスピーカ毎に、複数のフィルタが設定されていればよい。つまり、各チャンネルのスピーカから左耳までの空間音響伝達特性に対して複数のフィルタを有するフィルタセットが設定されている。各チャンネルのスピーカから右耳までの空間音響伝達特性に対して複数のフィルタを有するフィルタセットが設定されている。加算器24、25が3以上のゆらぎ信号を加算してもよい。
【0082】
上記処理のうちの一部又は全部は、コンピュータプログラムによって実行されてもよい。上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【0083】
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は上記実施の形態に限られたものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。
【符号の説明】
【0084】
U ユーザ
1 被測定者
2L 左マイク
2R 右マイク
5L 左スピーカ
5R 右スピーカ
9L 左耳
9R 右耳
10 空間音響処理部
11 畳み込み演算部
12 畳み込み演算部
21 畳み込み演算部
22 畳み込み演算部
24 加算器
25 加算器
41 逆フィルタ部
42 逆フィルタ部
43 ヘッドホン
100 頭外定位処理装置
111a~111d 畳み込み部
113 ゆらぎ信号生成部
121a~121d 畳み込み部
123 ゆらぎ信号生成部
200 測定装置
201 測定処理装置
231 測定信号生成部
232 収音信号取得部
233 フィルタ生成部
234 フィルタ記憶部