特許 7031543 処理装置、処理方法、再生方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-02-28

(45)【発行日】2022-03-08

(54)【発明の名称】処理装置、処理方法、再生方法、及びプログラム

(51)【国際特許分類】

   H04S 1/00 20060101AFI20220301BHJP

   G10L 21/0364 20130101ALN20220301BHJP

【ＦＩ】

H04S1/00 500

G10L21/0364

【請求項の数】 7

(21)【出願番号】P 2018176868

(22)【出願日】2018-09-21

(65)【公開番号】P2020048147

(43)【公開日】2020-03-26

【審査請求日】2020-12-25

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】高地 邦明

(72)【発明者】

【氏名】村田 寿子

(72)【発明者】

【氏名】小西 正也

(72)【発明者】

【氏名】下条 敬洋

(72)【発明者】

【氏名】藤井 優美

(72)【発明者】

【氏名】永井 俊明

【審査官】冨澤 直樹

(56)【参考文献】

【文献】特開２０１２－２４４２４６（ＪＰ，Ａ）

【文献】特開２００２－３４５０７５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／０２６８９８９（ＵＳ，Ａ１）

【文献】米国特許出願公開第２００４／０２１３４２０（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｓ １／００

Ｇ１０Ｌ ２１／０３６４

Ｈ０３Ｇ ３／２０

Ｈ０４Ｒ ３／００

Ｈ０４Ｒ ３／０４

(57)【特許請求の範囲】

【請求項1】

再生信号に対するフィルタ処理に用いられるフィルタの周波数特性に基づいて、周波数情報を取得する周波数情報取得部と、
前記周波数情報に基づいて、再生信号における時間情報を取得する時間情報取得部と、
前記時間情報に基づいて、前記再生信号の少なくとも一部の時間に対応する時間信号を抽出する抽出部と、
前記時間信号に対して、前記フィルタを用いてフィルタ処理を行うフィルタ処理部と、
前記フィルタ処理が行われていない時間信号と、フィルタ処理が行われた処理後の時間信号とに基づいて、前記再生信号の音量に対するゲインを取得するゲイン取得部と、を備えた処理装置。

【請求項2】

前記周波数情報取得部は、前記フィルタの周波数特性のピークとなるピーク周波数に応じた周波数情報を取得する請求項１に記載の処理装置。

【請求項3】

前記時間情報取得部は、前記周波数情報に基づく周波数又は周波数帯域において、前記再生信号の振幅がピークとなるピーク時間に応じた時間情報を取得する請求項１、又は２に記載の処理装置。

【請求項4】

前記再生信号の周波数特性において、複数の周波数帯域と、前記周波数帯域毎に、振幅がピークとなるピーク時間とが対応付けられており、
前記周波数情報取得部が、前記フィルタの周波数特性がピークとなる周波数を含む前記周波数帯域を周波数情報として取得し、
時間情報取得部が、前記周波数情報として取得された周波数を含む周波数帯域の前記ピーク時間を前記時間情報として取得する請求項１、又は２に記載の処理装置。

【請求項5】

再生信号に対するフィルタ処理に用いられるフィルタの周波数特性に基づいて、周波数情報を取得するステップと、
前記周波数情報に基づいて、再生信号における時間情報を取得するステップと、
前記時間情報に基づいて、前記再生信号の少なくとも一部の時間に対応する時間信号を抽出するステップと、
前記時間信号に対して、前記フィルタを用いてフィルタ処理を行うステップと、
前記フィルタ処理が行われていない時間信号と、フィルタ処理が行われた処理後の時間信号に基づいて、前記再生信号の音量に対するゲインを取得するステップと、を含む処理方法。

【請求項6】

前記フィルタを用いて、前記再生信号に頭外定位処理を行い、
請求項５で求められたゲインに応じた音量で、頭外定位処理された再生信号を再生する再生方法。

【請求項7】

コンピュータに対して処理方法を実行させるためのプログラムであって、
前記処理方法は、
再生信号に対するフィルタ処理に用いられるフィルタの周波数特性に基づいて、周波数情報を取得するステップと、
前記周波数情報に基づいて、再生信号における時間情報を取得するステップと、
前記時間情報に基づいて、前記再生信号の少なくとも一部の時間に対応する時間信号を抽出するステップと、
前記時間信号に対して、前記フィルタを用いてフィルタ処理を行うステップと、
前記フィルタ処理が行われていない時間信号と、フィルタ処理が行われた処理後の時間信号に基づいて、前記再生信号の音量に対するゲインを取得するステップと、を含む、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、処理装置、処理方法、再生方法、及びプログラムに関する。

【背景技術】

【0002】

特許文献１には、音響信号の音量を補正する音量補正装置が開示されている。特許文献１の音量補正装置は、音響信号の周波数帯域ごとの信号レベルを異なる平均化時間で平均化している。音量補正装置は、複数の平均値を重み付けして、重み付けされた代表値を求めている。音量補正装置は、代表値に基づいて利得（ゲイン）を決定して、利得に基づいて音量を補正している。

【0003】

ところで、音像定位技術として、ヘッドホンを用いて受聴者の頭部の外側に音像を定位させる頭外定位技術がある。頭外定位技術では、ヘッドホンから耳までの特性をキャンセルし、ステレオスピーカから耳までの４本の特性（空間音響伝達特性）を与えることにより、音像を頭外に定位させている。

【0004】

頭外定位再生においては、２チャンネル（以下、ｃｈと記載）のスピーカから発した測定信号（インパルス音等）を聴取者（リスナー）本人の耳に設置したマイクロフォン（以下、マイクとする）で録音する。そして、測定信号を集音して得られた収音信号に基づいて、処理装置がフィルタを生成する。生成したフィルタを２ｃｈのオーディオ信号に畳み込むことにより、頭外定位再生を実現することができる。

【0005】

さらに、ヘッドホンから耳までの特性をキャンセルするフィルタを生成するために、ヘッドホンから耳元乃至鼓膜までの特性（外耳道伝達関数ＥＣＴＦ、外耳道伝達特性とも称する）を聴取者本人の耳に設置したマイクで測定する。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０１２－２４４２４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

頭外定位処理装置やイコライジングなどで、特定の周波数が強調されるようなフィルタ処理を行う場合がある。このような場合、再生する音源やフィルタの周波数特性によっては、音質やフィルタ特性を損なうことがある。よって、ユーザが違和感を覚えることがある。

【0008】

特許文献１の装置では、常に音源の信号レベルを監視する必要があるため、再生装置での処理負担が大きくなる。また、音源再生中に生じる音量変化の違和感は軽減されるかもしれないが、完全になくなるわけではない。

【0009】

本発明は上記の点に鑑みなされたものであり、適切にゲイン値を設定することができる処理装置、処理方法、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0010】

本実施の形態にかかる処理装置は、再生信号に対するフィルタ処理に用いられるフィルタの周波数特性に基づいて、周波数情報を取得する周波数情報取得部と、前記周波数情報に基づいて、再生信号における時間情報を取得する時間情報取得部と、前記時間情報に基づいて、前記再生信号の少なくとも一部の時間に対応する時間信号を抽出する抽出部と、前記時間信号に対して、前記フィルタを用いてフィルタ処理を行うフィルタ処理部と、前記フィルタ処理が行われていない時間信号と、フィルタ処理が行われた処理後の時間信号に基づいて、前記再生信号の音量に対するゲインを取得するゲイン取得部と、を備えたものである。

【0011】

本実施の形態にかかる処理方法は、再生信号に対するフィルタ処理に用いられるフィルタの周波数特性に基づいて、周波数情報を取得するステップと、前記周波数情報に基づいて、再生信号における時間情報を取得するステップと、前記時間情報に基づいて、前記再生信号の少なくとも一部の時間に対応する時間信号を抽出するステップと、前記時間信号に対して、前記フィルタを用いてフィルタ処理を行うステップと、前記フィルタ処理が行われていない時間信号と、フィルタ処理が行われた処理後の時間信号に基づいて、前記再生信号の音量に対するゲインを取得するステップと、を含むものである。

【0012】

本実施の形態にかかる処理装置は、コンピュータに対して処理方法を実行させるためのプログラムであって、前記処理方法は、再生信号に対するフィルタ処理に用いられるフィルタの周波数特性に基づいて、周波数情報を取得するステップと、前記周波数情報に基づいて、再生信号における時間情報を取得するステップと、前記時間情報に基づいて、前記再生信号の少なくとも一部の時間に対応する時間信号を抽出するステップと、前記時間信号に対して、前記フィルタを用いてフィルタ処理を行うステップと、前記フィルタ処理が行われていない時間信号と、フィルタ処理が行われた処理後の時間信号に基づいて、前記再生信号の音量に対するゲインを取得するステップと、を含むものである。

【発明の効果】

【0013】

本発明によれば、適切にゲイン値を設定することができる処理装置、処理方法、再生方法、及びプログラムを提供することができる。

【図面の簡単な説明】

【0014】

【図1】本実施の形態に係る頭外定位処理装置を示すブロック図である。

【図2】ゲイン値を設定するための処理を行う処理装置の構成を示すブロック図である。

【図3】フィルタの周波数特性を示す図である。

【図4】再生信号のスペクトログラムを示す図である。

【図5】周波数情報を取得する処理を説明するためのフローチャートである。

【図6】時間情報を取得する処理を説明するためのフローチャートである。

【図7】実施の形態２において、周波数帯域毎のピーク時間Ｔｂ１～Ｔｂ５を示す図である。

【発明を実施するための形態】

【0015】

本実施の形態にかかる音像定位処理の概要について説明する。本実施の形態にかかる頭外定位処理は、空間音響伝達特性と外耳道伝達特性を用いて頭外定位処理を行うものである。空間音響伝達特性は、スピーカなどの音源から外耳道までの伝達特性である。外耳道伝達特性は、ヘッドホン又はイヤホンのスピーカユニットから鼓膜までの伝達特性である。本実施の形態では、ヘッドホン又はイヤホンを装着していない状態での空間音響伝達特性を測定し、かつ、ヘッドホン又はイヤホンを装着した状態での外耳道伝達特性を測定し、それらの測定データを用いて頭外定位処理を実現している。本実施の形態は、空間音響伝達特性、又は外耳道伝達特性を測定するためのマイクシステムに特徴を有している。

【0016】

本実施の形態にかかる頭外定位処理は、パーソナルコンピュータ、スマートホン、タブレットＰＣなどのユーザ端末で実行される。ユーザ端末は、プロセッサ等の処理手段、メモリやハードディスクなどの記憶手段、液晶モニタ等の表示手段、タッチパネル、ボタン、キーボード、マウスなどの入力手段を有する情報処理装置である。ユーザ端末は、データを送受信する通信機能を有していてもよい。さらに、ユーザ端末には、ヘッドホン又はイヤホンを有する出力手段（出力ユニット）が接続される。ユーザ端末と出力手段との接続は、有線接続でも無線接続でもよい。

【0017】

実施の形態１．
（頭外定位処理装置）
本実施の形態にかかる音場再生装置の一例である、頭外定位処理装置１００のブロック図を図１に示す。頭外定位処理装置１００は、ヘッドホン４３を装着するユーザＵに対して音場を再生する。そのため、頭外定位処理装置１００は、ＬｃｈとＲｃｈのステレオ入力信号ＸＬ、ＸＲについて、音像定位処理を行う。ＬｃｈとＲｃｈのステレオ入力信号ＸＬ、ＸＲは、ＣＤ（Compact Disc）プレイヤーなどから出力されるアナログのオーディオ再生信号、又は、mp3(MPEG Audio Layer-3)等のデジタルオーディオデータである。なお、オーディオ再生信号、又はデジタルオーディオデータをまとめて再生信号と称する。すなわち、ＬｃｈとＲｃｈのステレオ入力信号ＸＬ、ＸＲが再生信号となっている。

【0018】

なお、頭外定位処理装置１００は、物理的に単一な装置に限られるものではなく、一部の処理が異なる装置で行われてもよい。例えば、一部の処理がスマートホンなどにより行われ、残りの処理がヘッドホン４３に内蔵されたＤＳＰ(Digital Signal Processor)などにより行われてもよい。

【0019】

頭外定位処理装置１００は、頭外定位処理部１０、逆フィルタＬｉｎｖを格納するフィルタ部４１、逆フィルタＲｉｎｖを格納するフィルタ部４２、及びヘッドホン４３を備えている。頭外定位処理部１０、フィルタ部４１、及びフィルタ部４２は、具体的にはプロセッサ等により実現可能である。

【0020】

頭外定位処理部１０は、空間音響伝達特性Ｈｌｓ、Ｈｌｏ、Ｈｒｏ、Ｈｒｓを格納する畳み込み演算部１１～１２、２１～２２、及び加算器２４、２５を備えている。畳み込み演算部１１～１２、２１～２２は、空間音響伝達特性を用いた畳み込み処理を行う。頭外定位処理部１０には、ＣＤプレイヤーなどからのステレオ入力信号ＸＬ、ＸＲが入力される。頭外定位処理部１０には、空間音響伝達特性が設定されている。頭外定位処理部１０は、各ｃｈのステレオ入力信号ＸＬ、ＸＲに対し、空間音響伝達特性のフィルタ（以下、空間音響フィルタとも称する）を畳み込む。空間音響伝達特性は被測定者の頭部や耳介で測定した頭部伝達関数ＨＲＴＦでもよいし、ダミーヘッドまたは第三者の頭部伝達関数であってもよい。

【0021】

４つの空間音響伝達特性Ｈｌｓ、Ｈｌｏ、Ｈｒｏ、Ｈｒｓを１セットとしたものを空間音響伝達関数とする。畳み込み演算部１１、１２、２１、２２で畳み込みに用いられるデータが空間音響フィルタとなる。空間音響伝達特性Ｈｌｓ、Ｈｌｏ、Ｈｒｏ、Ｈｒｓを所定のフィルタ長で切り出すことで、空間音響フィルタが生成される。

【0022】

空間音響伝達特性Ｈｌｓ、Ｈｌｏ、Ｈｒｏ、Ｈｒｓのそれぞれは、インパルス応答測定などにより、事前に取得されている。例えば、ユーザＵが左右の耳にマイクをそれぞれ装着する。ユーザＵの前方に配置された左右のスピーカが、インパルス応答測定を行うための、インパルス音をそれぞれ出力する。そして、スピーカから出力されたインパルス音等の測定信号をマイクで収音する。マイクでの収音信号に基づいて、空間音響伝達特性Ｈｌｓ、Ｈｌｏ、Ｈｒｏ、Ｈｒｓが取得される。左スピーカと左マイクとの間の空間音響伝達特性Ｈｌｓ、左スピーカと右マイクとの間の空間音響伝達特性Ｈｌｏ、右スピーカと左マイクとの間の空間音響伝達特性Ｈｒｏ、右スピーカと右マイクとの間の空間音響伝達特性Ｈｒｓが測定される。

【0023】

そして、畳み込み演算部１１は、Ｌｃｈのステレオ入力信号ＸＬに対して空間音響伝達特性Ｈｌｓに応じた空間音響フィルタを畳み込む。畳み込み演算部１１は、畳み込み演算データを加算器２４に出力する。畳み込み演算部２１は、Ｒｃｈのステレオ入力信号ＸＲに対して空間音響伝達特性Ｈｒｏに応じた空間音響フィルタを畳み込む。畳み込み演算部２１は、畳み込み演算データを加算器２４に出力する。加算器２４は２つの畳み込み演算データを加算して、フィルタ部４１に出力する。

【0024】

畳み込み演算部１２は、Ｌｃｈのステレオ入力信号ＸＬに対して空間音響伝達特性Ｈｌｏに応じた空間音響フィルタを畳み込む。畳み込み演算部１２は、畳み込み演算データを、加算器２５に出力する。畳み込み演算部２２は、Ｒｃｈのステレオ入力信号ＸＲに対して空間音響伝達特性Ｈｒｓに応じた空間音響フィルタを畳み込む。畳み込み演算部２２は、畳み込み演算データを、加算器２５に出力する。加算器２５は２つの畳み込み演算データを加算して、フィルタ部４２に出力する。

【0025】

フィルタ部４１、４２にはヘッドホン特性（ヘッドホンの再生ユニットとマイク間の特性）をキャンセルする逆フィルタＬｉｎｖ、Ｒｉｎｖが設定されている。そして、頭外定位処理部１０での処理が施された再生信号（畳み込み演算信号）に逆フィルタＬｉｎｖ、Ｒｉｎｖを畳み込む。フィルタ部４１で加算器２４からのＬｃｈ信号に対して、Ｌｃｈ側のヘッドホン特性の逆フィルタＬｉｎｖを畳み込む。同様に、フィルタ部４２は加算器２５からのＲｃｈ信号に対して、Ｒｃｈ側のヘッドホン特性の逆フィルタＲｉｎｖを畳み込む。逆フィルタＬｉｎｖ、Ｒｉｎｖは、ヘッドホン４３を装着した場合に、ヘッドホンユニットからマイクまでの特性をキャンセルする。マイクは、外耳道入口から鼓膜までの間ならばどこに配置してもよい。

【0026】

フィルタ部４１は、処理されたＬｃｈ信号ＹＬをヘッドホン４３の左ユニット４３Ｌに出力する。フィルタ部４２は、処理されたＲｃｈ信号ＹＲをヘッドホン４３の右ユニット４３Ｒに出力する。ユーザＵは、ヘッドホン４３を装着している。ヘッドホン４３は、Ｌｃｈ信号ＹＬとＲｃｈ信号ＹＲ（以下、Ｌｃｈ信号ＹＬとＲｃｈ信号ＹＲをまとめてステレオ信号とも称する）をユーザＵに向けて出力する。これにより、ユーザＵの頭外に定位された音像を再生することができる。

【0027】

このように、頭外定位処理装置１００は、空間音響伝達特性Ｈｌｓ、Ｈｌｏ、Ｈｒｏ、Ｈｒｓに応じた空間音響フィルタと、ヘッドホン特性の逆フィルタＬｉｎｖ，Ｒｉｎｖを用いて、頭外定位処理を行っている。以下の説明において、空間音響伝達特性Ｈｌｓ、Ｈｌｏ、Ｈｒｏ、Ｈｒｓに応じた空間音響フィルタと、ヘッドホン特性の逆フィルタＬｉｎｖ，Ｒｉｎｖとをまとめて頭外定位処理フィルタとする。２ｃｈのステレオ再生信号の場合、頭外定位フィルタは、４つの空間音響フィルタと、２つの逆フィルタとから構成されている。そして、頭外定位処理装置１００は、ステレオ再生信号に対して合計６個の頭外定位フィルタを用いて畳み込み演算処理を行うことで、頭外定位処理を実行する。頭外定位フィルタは、ユーザＵ個人の測定に基づくものであることが好ましい。例えば，ユーザＵの耳に装着されたマイクが収音した収音信号に基づいて、頭外定位フィルタが設定されている。

【0028】

このように空間音響フィルタと、ヘッドホン特性の逆フィルタはオーディオ信号用のフィルタである。これらのフィルタが再生信号（ステレオ入力信号ＸＬ、ＸＲ）に畳み込まれることで、頭外定位処理装置１００が、頭外定位処理を実行する。

【0029】

（処理装置）
図２を用いて、本実施の形態にかかる処理装置２００、及び処理方法について説明する。図２は、処理装置２００の構成を示すブロック図である。処理装置２００は、図１に示す頭外定位処理装置１００と共通の装置であってもよい。あるいは、処理装置２００の一部又は全部が頭外定位処理装置１００と異なる装置となっていてもよい。

【0030】

処理装置２００は、フィルタ２１１、フィルタ特性取得部２１２、周波数情報取得部２１３、音源２１４、スペクトログラム取得部２１５、時間情報取得部２１６、時間信号抽出部２１７、フィルタ処理部２１８、及びゲイン取得部２１９を備えている。

【0031】

フィルタ２１１には、頭外定位処理フィルタのデータ、つまり、空間音響伝達特性Ｈｌｓ、Ｈｌｏ、Ｈｒｏ、Ｈｒｓに応じた空間音響フィルタと、ヘッドホン特性の逆フィルタＬｉｎｖ，Ｒｉｎｖが保存されている。ここでは、逆フィルタＬｉｎｖを用いた処理を行う例について説明する。もちろん、他のフィルタを用いた処理が行なわれてもよい。フィルタ２１１は、フィルタ特性取得部２１２、及びフィルタ処理部２１８に入力される。処理装置２００と頭外定位処理装置１００とが異なる装置の場合、無線通信、又は有線通信により、処理装置２００は、フィルタ２１１のデータを頭外定位処理装置１００から取得する。

【0032】

音源２１４には、頭外定位処理装置で再生される再生信号ｓ［ｔ］のデータが保存されている。なお、再生信号ｓ［ｔ］は、例えば、頭外定位受聴するために再生する曲である。従って、１曲分の再生信号のデータが、音源２１４に保存されている。

【0033】

フィルタ特性取得部２１２は、フィルタ２１１の周波数特性を取得する。フィルタ特性取得部２１２は、ＦＦＴ（Fast Fourier Transform：高速フーリエ変換）により、時間領域のフィルタから周波数領域のスペクトルを算出する。これにより、フィルタの振幅特性（振幅スペクトル）と、位相特性（位相スペクトル）が生成される。図３に、時間領域のフィルタｆ（ｔ）をＦＦＴすることで得られた周波数特性Ｆ［ｗ］の一例を示す。なお、ｔは時間、ｗは周波数を表す。フィルタ特性取得部２１２は、周波数特性Ｆ［ｗ］を周波数情報取得部２１３に出力する。

【0034】

なお、振幅スペクトルの代わりにパワースペクトルを周波数特性として用いてもよい。なお、フィルタ特性取得部２１２は、離散フーリエ変換や離散コサイン変換により、フィルタを周波数領域のデータ（周波数特性）に変換することができる。もちろん、頭外定位処理装置１００が周波数特性を算出してもよい。この場合、処理装置２００は、頭外定位処理装置１００から送信された周波数特性を取得すればよい。

【0035】

周波数情報取得部２１３は、フィルタの周波数特性Ｆ［ｗ］に基づいて、周波数情報を取得する。周波数情報は、音量を評価する周波数を示す情報である。周波数情報は、例えば、フィルタの周波数特性がピークとなるピーク周波数である。より具体的には、周波数情報取得部２１３は周波数特性Ｆ［ｗ］の中で最大振幅となる周波数をピーク周波数Ｆ１とする。そして、周波数情報取得部２１３は、ピーク周波数Ｆ１を周波数情報として取得する。図３に、ピーク周波数Ｆ１とピーク周波数Ｆ１での最大振幅Ｐ１を示す。周波数情報取得部２１３は、周波数情報を時間情報取得部２１６に出力する。

【0036】

スペクトログラム取得部２１５は、再生信号のスペクトログラムＳ［ｔ，ｗ］を取得する。スペクトログラムＳ［ｔ，ｗ］は、例えば、横軸を時間ｔ、縦軸を周波数ｗとして、振幅を輝度で示すデータである。図４に、スイープ信号を再生信号とした場合のスペクトログラムＳ［ｔ，ｗ］を示す。図４において、白色に近いほど振幅が大きく、黒色に近いほど振幅が小さくなる。つまり、振幅が多階調のグレースケールで示されており、黒から白になるほど、振幅が大きくなる。

【0037】

スペクトログラム取得部２１５はスペクトログラムＳ［ｔ，ｗ］を、例えば、バンドパスフィルタ群（フィルタバンク）を用いる方法や、短時間フーリエ変換（ＳＴＦＴ：Short-Time Fourier Transform）により生成することができる。また、スペクトログラムＳ［ｔ，ｗ］は、再生する曲が指定された時点で生成されてもよく、再生する曲が指定される前に予め生成されていてもよい。スペクトログラム取得部２１５は、スペクトログラムＳ［ｔ，ｗ］を時間情報取得部２１６に出力する。

【0038】

時間情報取得部２１６は、周波数情報と再生信号に基づいて、時間情報を取得する。時間情報は、音量を評価する時間を示す情報である。時間情報取得部２１６は、例えば、スペクトログラムＳ［ｔ，ｗ］を参照して、ピーク周波数Ｆ１でのスペクトログラム［ｔ，Ｆ１］がピークとなるピーク時間Ｔ１を時間情報として取得する。つまり、ピーク時間Ｔ１は、ピーク周波数Ｆ１において、再生信号の音量が最大となる時間である。図４のスペクトログラムにピーク周波数Ｆ１と、ピーク時間Ｔ１を示す。時間情報取得部２１６は、時間情報を時間信号抽出部２１７に出力する。

【0039】

時間信号抽出部２１７は、時間情報に基づいて、再生信号ｓ［ｔ］の少なくとも一部の時間に対応する時間信号Ａを抽出する。例えば、時間信号抽出部２１７は、ピーク時間Ｔ１に基づいて、再生信号ｓ［ｔ］から時間信号Ａを切り出す。具体的には、時間信号Ａは、ピーク時間Ｔ１を開始時間とし、ＦＦＴの１フレーム長に対応する時間分の信号である。時間信号抽出部２１７は、時間信号Ａをフィルタ処理部２１８、及びゲイン取得部２１９に出力する。なお、開始時間はピーク時間Ｔ１より少し前（例えば、数サンプル～数十サンプル前）であってもよい。また、時間信号Ａは、再生信号ｓ［ｔ］の一部となっているが、再生信号ｓ［ｔ］全部であってもよい。

【0040】

次に、フィルタ処理部２１８は、時間信号Ａに対して、フィルタ２１１を用いて、フィルタ処理を行う。つまり、抽出された時間信号にフィルタＬｉｎｖを畳み込む。フィルタ処理が行われた時間信号を処理後時間信号ＦＡとする。

【0041】

ゲイン取得部２１９は、フィルタ処理を行う前後の時間信号に基づいて、ゲインを取得する。例えば、ゲイン取得部２１９は、時間信号Ａと、処理後時間信号ＦＡとを比較して、ゲインＧ＝Ａｐ／ＦＡｐとする。ここで、Ａｐは、時間信号Ａの最大振幅であり、ＦＡｐは処理後時間信号ＦＡの最大振幅である。このように、ゲイン取得部２１９は、時間信号Ａと処理後時間信号ＦＡとに基づいて、再生信号に最適なゲインＧを算出する。このようにすることで、再生信号、及びフィルタに応じたゲインを求めることができる。

【0042】

そして、ゲイン取得部２１９は、ゲインＧを頭外定位処理装置１００に出力する。頭外定位処理装置１００は、ゲインＧに応じた音量で、頭外定位処理した再生信号を再生する。これにより、音量を適切に補正することができる。従って、ユーザＵは、頭外定位処理された再生信号を違和感なく受聴することができる。

【0043】

頭外定位処理用のフィルタはユーザ毎に異なるため、ユーザ毎に適切に音量を補正することができる。さらに、再生信号毎、つまり曲毎に、再生信号毎に適切に音量を補正することができる。また、再生信号の再生前に最適なゲインを求めることができるため、再生中に処理を行う必要がなくなる。

【0044】

次に、図５を用いて、周波数情報を取得する処理について、詳細に説明する。図５は、フィルタ特性取得部２１２、及び周波数情報取得部２１３での処理の一例を示すフローチャートである。

【0045】

まず、フィルタ特性取得部２１２が、フィルタｆ［ｔ］を周波数変換することで、周波数特性Ｆ［ｗ］を求める（Ｓ１１）。ここでは、フィルタ特性取得部２１２がＦＦＴを行うことで得られた振幅スペクトルを周波数特性Ｆ［ｗ］としている。周波数ｗは、ＦＦＴにより得られた離散的な周波数を示す整数である。具体的には、ｗは、１～Ｗｍａｘまでの整数である。なお、周波数は必ずしも整数を用いる必要はなく、例えば、離散的な各周波数に番号を付してテーブル等で管理し、後述するｗのインクリメントに応じてテーブルの周波数を番号順にｗへ入力することで、整数以外の周波数を用いることができる。

【0046】

次に、周波数情報取得部２１３が、初期値として、ｗに１を入力する（Ｓ１２）。そして、周波数情報取得部２１３がｗがＷmaxよりも小さいか否かを判定する（Ｓ１３）。なお、Ｗmaxは、周波数特性Ｆ［ｗ］の最大周波数に対応する整数である。ｗがＷmaxよりも小さい場合（Ｓ１３のＹＥＳ）、Ｆ［ｗ］がＰ１よりも大きいか否かを判定する（Ｓ１４）。Ｐ１は、周波数ｗ未満での最大振幅である。

【0047】

Ｆ［ｗ］がＰ１よりも大きい場合（Ｓ１４のＹＥＳ）、周波数情報取得部２１３が、Ｐ１にＦ［ｗ］を入力する（Ｓ１５）。さらに、周波数情報取得部２１３が、ピーク周波数Ｆ１にｗを入力する（Ｓ１６）。すなわち、周波数情報取得部２１３が、Ｆ［ｗ］を用いてＰ１を更新し、ｗを用いてＦ１を更新する。そして、周波数情報取得部２１３が、ｗをインクリメントする（Ｓ１７）。

【0048】

Ｆ［ｗ］がＰ１よりも大きくない場合（Ｓ１４のＮＯ）、周波数情報取得部２１３が、Ｆ１、Ｐ１を更新せずに、ｗをインクリメントする（Ｓ１７）。そして、周波数情報取得部２１３が、ｗをインクリメントしていき、ｗがＷｍａｘ以上となったら（Ｓ１３のＮＯ）、処理を終了する。このようにすることで、振幅が最大値となるピーク周波数Ｆ１を求めることができる。なお、図５に記載の処理に限らず、周波数と振幅との組を振幅に基づいてソートし、振幅が最大となるピーク周波数Ｆ１を求めるなど、他の方法を用いてピーク周波数Ｆ１を求めてもよい。

【0049】

さらに、図６を用いて、時間情報を取得する処理について、詳細に説明する。図６は、スペクトログラム取得部２１５、及び時間情報取得部２１６での処理の一例を示すフローチャートである。ここで、時間ｔは、再生信号の時間を示す整数である。具体的には、ｔは、０～Ｔｍａｘまでの整数である。曲の先頭時間が０、終了時間がＴｍａｘとなっている。なお、時間は必ずしも整数を用いる必要はなく、例えば、各時間に番号を付してテーブル等で管理し、後述するｔのインクリメントに応じてテーブルの時間を番号順にｔへ入力することで、整数以外の時間を用いることができる。

【0050】

まず、スペクトログラム取得部２１５が、再生信号ｓ［ｔ］のスペクトログラムＳ［ｔ，ｗ］を取得する（Ｓ２１）。例えば、スペクトログラム取得部２１５は、再生信号ｓ［ｔ］を短時間フーリエ変換（ＳＴＦＴ）することで、スペクトログラムＳ［ｔ，ｗ］を取得する。あるいは、スペクトログラムが予め求められており、メモリなどに格納されていてもよい。この場合、スペクトログラム取得部２１５はメモリからスペクトログラムＳ［ｔ，ｗ］を読み出す。

【0051】

次に、時間情報取得部２１６は、初期値として、ｔに０を入力する（Ｓ２２）。そして、時間情報取得部２１６は、ｔがＴmaxよりも小さいか否かを判定する（Ｓ２３）。ｔがＴmaxよりも小さい場合（Ｓ２３のＹＥＳ）、Ｓ［ｔ，Ｆ１］がＳmaxよりも大きいか否かを判定する（Ｓ２４）。Ｓmaxは、時間ｔ未満での振幅の最大値である。

【0052】

Ｓ［ｔ，Ｆ１］がＳmaxよりも大きい場合（Ｓ２４のＹＥＳ）、時間情報取得部２１６が、ＳmaxにＳ［ｔ，Ｆ１］を入力する（Ｓ２５）。さらに、時間情報取得部２１６が、ピーク時間Ｔ１にｔを入力する（Ｓ２６）。すなわち、時間情報取得部２１６が、Ｓ［ｔ，Ｆ１］を用いてＳmaxを更新し、ｔを用いてＴ１を更新する。そして、時間情報取得部２１６が、ｔをインクリメントする（Ｓ２７）。

【0053】

Ｓ［ｔ，Ｆ１］がＳmaxよりも大きくない場合（Ｓ２４のＮＯ）、時間情報取得部２１６が、Ｓmax、Ｔ１を更新せずに、ｔをインクリメントする（Ｓ２７）。そして、時間情報取得部２１６が、ｔをインクリメントしていき、ｔがＴｍａｘ以上となったら（Ｓ２３のＮＯ）、処理を終了する。このようにすることで、ピーク周波数Ｆ１において、振幅が最大値となるピーク時間Ｔ１を求めることができる。なお、図６に記載の処理に限らず、時間と振幅との組を振幅に基づいてソートし、振幅が最大となるピーク時間Ｔ１を求めるなど、他の方法を用いてピーク時間Ｔ１を求めてもよい。

【0054】

本実施に係る処理方法によれば、適切なゲインＧを取得することができる。よってユーザＵが頭外定位受聴を行った場合の違和感を低減することができる。なお、上記の説明では、処理装置２００が、Ｌｃｈの逆フィルタＬｉｎｖを用いて処理を行ったが、Ｒｃｈの逆フィルタＲｉｎｖを用いて処理を行ってもよい。さらには、処理装置２００は、逆フィルタＬｉｎｖ、逆フィルタＲｉｎｖの両方を用いて処理を行ってもよい。この場合、両方のチャネルのゲインのうち、小さい方の値又は平均値等をゲインＧとすることができる。

【0055】

また、処理装置２００は、曲が再生されるよりも前に、ゲインＧを求めることができる。音源の信号レベルを監視する必要がなくなる。次に再生される曲が指定されている場合、あるいは、次に再生される曲が予測されている場合、予め、スペクトログラムを求めておくことが可能となる。なお、再生が予測される複数の曲につき、予め、スペクトログラムを求めておいてもよい。よって、処理による遅延が生じるのを防ぐことができる。

【0056】

変形例１
実施の形態１では、音量評価用の周波数及び時間が１つずつとなっていたが、複数の周波数、及び時間を音量評価に用いてもよい。例えば、変形例１では、２つ以上の周波数を周波数情報として取得している。具体的には、周波数情報取得部２１３は、フィルタ２１１の周波数特性の振幅が高い方から順に、複数のピークを求める。周波数情報取得部２１３は、複数のピークのピーク周波数を周波数情報として取得する。周波数情報取得部２１３は、Ｎ個（Ｎは２以上の整数）のピークのピーク周波数Ｆ１、Ｆ２、・・・ＦＮを周波数情報として取得する。

【0057】

そして、時間情報取得部２１６は、ピーク周波数Ｆ１、Ｆ２、・・・ＦＮのそれぞれについて、振幅が最大となるピーク時間Ｔ１、Ｔ２、・・・ＴＮを求める。時間信号抽出部２１７は、ピーク時間Ｔ１、Ｔ２、・・・ＴＮについて、時間信号を抽出する。これにより、時間信号抽出部２１７は、Ｎ個の時間信号Ａ１、Ａ２、・・・ＡＮを抽出する。フィルタ処理部２１８は、時間信号Ａ１、Ａ２、・・・ＡＮに対して、それぞれフィルタ処理を行う。これにより、Ｎ個の処理後時間信号ＦＡ１、ＦＡ２、・・・ＦＡＮが求められる。

【0058】

ゲイン取得部２１９は、時間信号Ａ１、Ａ２、・・・ＡＮと、処理後時間信号ＦＡ１、ＦＡ２、・・・ＦＡＮとに基づいて、Ｎ個のゲインＧ１～ＧＮを求める。例えば、ゲイン取得部２１９は、時間信号Ａ１、Ａ２、・・・ＡＮと、処理後時間信号ＦＡ１、ＦＡ２、・・・ＦＡＮとをそれぞれ比較する。ゲイン取得部２１９は、時間信号Ａ１の最大振幅Ａ１ｐと処理後時間信号ＦＡ１の最大振幅ＦＡ１ｐの比（Ａ１ｐ／ＦＡ１ｐ）をゲインＧ１とする。同様に、ゲイン取得部２１９は、Ｇ２＝（Ａ１ｐ／ＦＡ１ｐ）、・・・ＧＮ＝（ＡＮｐ／ＦＮ１ｐ）とする。そして、ゲイン取得部２１９はゲインＧ１～ＧＮの最大値をゲインＧとする。

【0059】

変形例２
変形例２では、１つのピーク周波数Ｆ１に対して、複数の時間を求めている。つまり、ピーク周波数Ｆ１において、振幅が高い方から順にＮ個（Ｎは２以上の整数）の時間Ｔ１～ＴＮを時間情報として取得する。そして、時間Ｔ１～ＴＮに対して、変形例１と同様の処理を行うことで、ゲインＧ１～ＧＮが求められる。ゲイン取得部２１９は、ゲインＧ１～ＧＮの最大値をゲインＧとする。

【0060】

変形例１，２によれば、処理装置２００が、より適切なゲインＧを求めることができる。頭外定位処理装置１００は、ゲインＧに応じた音量で再生信号を再生する。これにより、音量を適切に補正することができる。従って、ユーザＵは、頭外定位処理された再生信号を違和感なく受聴することができる。もちろん、変形例１と、変形例２とを組み合わせてもよい。例えば、Ｎ個の周波数Ｆ１～ＦＮのそれぞれに対して、時間情報取得部２１６がＭ個の時間を時間情報として求めてもよい。この場合、Ｎ×Ｍ個のゲインの最大の値をゲインＧとして用いればよい。

【0061】

処理装置２００は、頭外定位処理装置１００と異なる装置であってもよい。例えば、ストリーミングで再生信号を再生する場合、処理装置２００は、再生信号を配信するストリーミングサーバとなる。一方、頭外定位処理装置１００は、パーソナルコンピュータ、スマートホン、タブレットＰＣなどのユーザ端末となる。ユーザＵは、ユーザ端末である頭外定位処理装置１００を操作して、再生する曲を選択している。頭外定位処理装置１００は、フィルタと、再生する曲の情報とをサーバの処理装置２００に送信する。そして、処理装置２００が上記の処理によりゲイン値を求めて、頭外定位処理装置１００に送信する。

【0062】

さらには、処理装置２００は、物理的に単一の装置に限られるものでない。例えば、図２に示す処理装置２００の一部の処理が、サーバで行われ、残りがユーザ端末で行われていてもよい。具体的には、ユーザ端末が、フィルタ２１１の周波数特性を求めて、サーバである処理装置２００に送信してもよい。あるいは、ユーザ端末が、１つまたは複数のピーク周波数を求めて、処理装置２００に送信してもよい。

【0063】

ストリーミング再生を行う場合、事前にフィルタのピーク周波数Ｆ１を処理装置２００となるサーバ側に送信しておけばよい。サーバは、ユーザアカウントに対応付けてピーク周波数Ｆ１を登録しておく。そして、サーバは、適切なゲインを求めて、ユーザ端末である頭外定位処理装置１００に送信する。これにより、曲毎に適切なゲインでの再生が可能となる。

【0064】

実施の形態２．
実施の形態１では音量を評価するための周波数情報、及び時間情報として、フィルタのピーク周波数、及び、再生信号のピーク時間が用いられていたが、実施の形態２では、これら以外の周波数情報、及び時間情報を用いて、音量を評価している。以下、本実施の形態にかかる処理装置、及び処理方法について、図７を用いて説明する。図７は、再生信号にスイープ信号を用いた場合のスペクトログラムを示す図である。ここでは、スペクトログラムＳ［ｔ，ｗ］が５つの周波数帯域Ｂ１～Ｂ５に分けられている。

【0065】

処理装置２００は、周波数帯域Ｂ１～Ｂ５の上限、及び下限の周波数を記憶している。処理装置２００は、周波数帯域Ｂ１～Ｂ５のそれぞれにおいて、振幅が最大となるピーク時間Ｔｂ１～Ｔｂ５を記憶している。周波数情報取得部２１３は、実施の形態１と同様にピーク周波数Ｆ１を求める。時間情報取得部２１６は、ピーク周波数Ｆ１が周波数帯域Ｂ１～Ｂ５の中で、どの周波数帯域に含まれているかを判定する。すなわち、時間情報取得部２１６は、ピーク周波数Ｆ１に応じて選択した１つの周波数帯域を周波数情報として取得する。

【0066】

時間情報取得部２１６は、ピーク周波数Ｆ１が含まれる周波数帯域のピーク時間を時間情報として取得する。例えば、ピーク周波数Ｆ１が周波数帯域Ｂ１に含まれている場合、時間情報取得部２１６は、ピーク時間Ｔｂ１を時間情報として求める。そして、ピーク時間Ｔｂ１に基づいて抽出した時間信号Ａ１に対して、実施の形態１と同様の処理を行えばよい。これにより、ゲインＧを適切に求めることができる。

【0067】

実施の形態２では、周波数帯域Ｂ１～Ｂ５のピーク時間Ｔｂ１～Ｔｂ５を予め算出しておくことができる。従って、ピーク時間Ｔｂ１～Ｔｂ５をメタ情報として、再生信号に付加することができる。これにより、再生信号（再生される曲）が指定される毎に、スペクトログラムを求める処理が不要となる。つまり、時間情報取得部２１６が、ピーク周波数Ｆ１がどの周波数帯域に含まれるか否かを判定する。そして、時間情報取得部２１６が判定結果に応じて、ピーク時間Ｔｂ１～Ｔｂ５のうちの１つを選択すればよい。

【0068】

このようにすることで、再生時の処理負荷をさらに軽減することができる。例えば、サーバ側で再生信号毎にピーク時間Ｔｂ１～Ｔｂ５を予め求めておけばよい。そして、ユーザ端末がピーク周波数、または周波数帯域を周波数情報として、送信することができる。よって、再生信号（再生される曲）が指定される毎に、スペクトログラムを求める処理が不要となる。ユーザ毎の周波数情報が既知であるため、処理装置２００は、速やかに時間情報、及び時間信号を取得することができる。もちろん、再生信号の周波数特性の周波数帯域分割数は、５に限られるものではない。

【0069】

また、実施の形態１，２において、現在再生されている曲から、次の曲を予測して、事前に処理を行うことも可能である。例えば、音楽再生アプリケーション等のリコメンド機能により推薦された曲について、ゲインを求めるための処理の一部または全部を予め実行しておくことが可能となる。例えば、再生リストの次の曲のスペクトログラムを事前に求めておけばよい。このようにすることで、処理負荷を軽減することができる。

【0070】

もちろん、実施の形態２においても、時間信号抽出部２１７が複数の時間信号を抽出してもよい。例えば、最大振幅となるピーク時間Ｔｂ１～Ｔｂ５について、時間信号Ａ１～Ａ５を抽出する。フィルタ処理部２１８は、時間信号Ａ１～Ａ５のそれぞれにフィルタを畳み込むことで、処理後時間信号ＦＡ１～ＦＡ５を生成する。ゲイン取得部２１９は、時間信号Ａ１～Ａ５と処理後時間信号ＦＡ１～ＦＡ５とをそれぞれ比較して、ゲインＧ１～Ｇ５を求める。ゲイン取得部２１９は、ゲインＧ１～Ｇ５の最大値をゲインＧとする。

【0071】

なお、実施の形態１，２では、処理装置２００が頭外定位処理に用いられるフィルタに対して処理を行うが、処理に用いられるフィルタは特に限定されるものではない。例えば、処理装置２００は、ユーザ毎の好み、または楽曲や音楽ジャンルなどへの適正に応じてイコライジングなどで生成されたフィルタに対して、処理を行ってもよい。

【0072】

上記処理のうちの一部又は全部は、コンピュータプログラムによって実行されてもよい。上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ)、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ)、フラッシュＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【0073】

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は上記実施の形態に限られたものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。

【符号の説明】

【0074】

Ｕ ユーザ
１ 被測定者
１０ 頭外定位処理部
１１ 畳み込み演算部
１２ 畳み込み演算部
２１ 畳み込み演算部
２２ 畳み込み演算部
２４ 加算器
２５ 加算器
４１ フィルタ部
４２ フィルタ部
４３ ヘッドホン
２００ 処理装置
２１１ フィルタ
２１２ フィルタ特性取得部
２１３ 周波数情報取得部
２１４ 音源
２１５ スペクトログラム取得部
２１６ 時間情報取得部
２１７ 時間信号抽出部
２１８ フィルタ処理部
２１９ ゲイン取得部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】