特許 6094844 音響再生装置、音響再生方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6094844

(24)【登録日】2017年2月24日

(45)【発行日】2017年3月15日

(54)【発明の名称】音響再生装置、音響再生方法、及びプログラム

(51)【国際特許分類】

   H04S 1/00 20060101AFI20170306BHJP

   H04S 7/00 20060101ALI20170306BHJP

   H04R 3/04 20060101ALI20170306BHJP

【ＦＩ】

   H04S1/00 200

   H04S7/00 310

   H04R3/04

【請求項の数】10

【全頁数】15

(21)【出願番号】特願2016-49210(P2016-49210)

(22)【出願日】2016年3月14日

【審査請求日】2016年4月22日

【早期審査対象出願】

(73)【特許権者】

【識別番号】516076533

【氏名又は名称】合同会社ディメンションワークス

(74)【代理人】

【識別番号】110002055

【氏名又は名称】特許業務法人ＪＡＺＹ国際特許事務所

(72)【発明者】

【氏名】中島 宏之

【審査官】 千本 潤介

(56)【参考文献】

【文献】 特開平１０−１５３９４６（ＪＰ，Ａ）

【文献】 特表２００９−５１４３１３（ＪＰ，Ａ）

【文献】 特表２０１５−５３１２０７（ＪＰ，Ａ）

【文献】 特開２０１３−１２１１０６（ＪＰ，Ａ）

【文献】 特開平０８−００９４９０（ＪＰ，Ａ）

【文献】 特表２００１−５２６９２２（ＪＰ，Ａ）

【文献】 特表平０８−５０５７０６（ＪＰ，Ａ）

【文献】 特表２００２−５０３９７２（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００８／０２８５７８０（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１５／０２６４４８２（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１４／０３２１６８８（ＵＳ，Ａ１）

【文献】 米国特許第０５６９６８３１（ＵＳ，Ａ）

【文献】 米国特許第０６４０６４３８（ＵＳ，Ｂ１）

【文献】 米国特許第０５４０２４９３（ＵＳ，Ａ）

【文献】 米国特許第０５６０１０９１（ＵＳ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｓ １／００

Ｈ０４Ｒ ３／０４

Ｈ０４Ｓ ７／００

(57)【特許請求の範囲】

【請求項1】

実対象までの距離を測定し距離データを得る距離センサと、
入力された音声データに対して、誘発耳音響放射と歪成分耳音響放射の効果を付加する第１耳音響放射処理手段と、
前記第１耳音響放射処理手段による処理後の音声データを音声信号に変換して出力する音声出力手段と、を備え、
前記第１耳音響放射処理手段は、
前記音声データの所定の周波数帯の音量を前記距離データに基づいて調整する周波数調整処理手段と、
前記音声データの音圧を前記距離データに基づいて調整する音圧調整手段と、
前記音声データの振幅を調整し音量の低下分を補償増幅する振幅調整処理手段と、
前記音声データに１０ｍｓの遅延効果を付加する遅延調整処理手段と、を有する
音響再生装置。

【請求項2】

前記第１耳音響放射処理手段による処理後の音声データについて、予め定められた頭部伝達関数に基づいて、ユーザの頭部までの音声の伝達遅延を調整する頭部伝達調整処理手段を更に備え、
前記音声出力手段は、前記頭部伝達調整処理手段による処理後の音声データを音声信号に変換して出力する
請求項１に記載の音響再生装置。

【請求項3】

前記第１耳音響放射処理手段による処理後の音声データについて、自発耳音響放射の効果を更に付加する第２耳音響放射処理手段を更に備え、
前記第２耳音響放射処理手段は、自発耳音響放射の効果を音声データに付加する自発耳音響放射処理手段と、ユーザの潜在記憶を基に、サンプリング音を付加する潜在記憶音付加処理手段と、を有し、
前記音声出力手段は、前記第２耳音響放射処理手段による処理後の音声データを音声信号に変換して出力する
請求項１に記載の音響再生装置。

【請求項4】

前記第１耳音響放射処理手段は、心拍データに基づいて所定の周波数帯の音量を調整することで、心理的作用を高める
請求項１乃至３に記載の音響再生装置。

【請求項5】

実対象までの距離を測定し距離データを得る第1のステップと、
音声データの入力を受ける第２のステップと、
入力された音声データに対して、誘発耳音響放射と歪成分耳音響放射の効果を付加する第１耳音響放射処理を行う第３のステップと、
前記第１耳音響放射処理がなされた音声データを音声信号に変換して出力する第４のステップと、を有し、
前記第３のステップでは、前記音声データの所定の周波数帯の音量を前記距離データに基づいて調整し、前記音声データの音圧を前記距離データに基づいて調整し、前記音声データの振幅を調整し音量の低下分を補償増幅し、前記音声データに１０ｍｓの遅延効果を付加する
音響再生方法。

【請求項6】

前記第３のステップにおける第１耳音響放射処理後の音声データについて、予め定められた頭部伝達関数に基づいて、ユーザの頭部までの音声の伝達遅延を調整する頭部伝達調整処理を行う第５のステップを更に備え、
前記第４のステップでは、前記第５のステップにおける頭部伝達調整処理後の音声データを音声信号に変換して出力する
請求項５に記載の音響再生方法。

【請求項7】

前記第３のステップにおける第１耳音響放射処理後の音声データについて、自発耳音響放射の効果を更に付加する第２耳音響放射処理を行う第６のステップを更に備え、
前記第６のステップでは、自発耳音響放射の効果を音声データに付加し、ユーザの潜在記憶を基にサンプリング音を付加し、
前記第４のステップでは、前記第６のステップにおける前記第２耳音響放射処理後の音声データを音声信号に変換して出力する
請求項５に記載の音響再生方法。

【請求項8】

コンピュータを、
入力された音声データに対して、誘発耳音響放射と歪成分耳音響放射の効果を付加する第１耳音響放射処理手段、及び
前記第１耳音響放射処理手段による処理がなされた音声データを音声信号に変換して出力する音声出力手段として機能させ、
前記第１耳音響放射処理手段は、更に、
前記音声データの所定の周波数帯の音量を、実対象までの距離を測定して得られた距離データに基づいて調整する周波数調整処理手段と、
前記音声データの音圧を前記距離データに基づいて調整する音圧調整手段と、
前記音声データの振幅を調整し音量の低下分を補償増幅する振幅調整処理手段と、
前記音声データに１０ｍｓの遅延効果を付加する遅延調整処理手段と、して機能する
プログラム。

【請求項9】

前記第１耳音響放射処理手段による処理後の音声データについて、予め定められた頭部伝達関数に基づいて、ユーザの頭部までの音声の伝達遅延を調整する頭部伝達調整処理手段としても機能し、
前記音声出力手段は、前記頭部伝達調整処理手段による処理後の音声データを音声信号に変換して出力する
請求項８に記載のプログラム。

【請求項10】

前記第１耳音響放射処理手段による処理後の音声データについて、自発耳音響放射の効果を更に付加する第２耳音響放射処理手段として機能し、
前記第２耳音響放射処理手段は、更に自発耳音響放射の効果を音声データに付加する自発耳音響放射処理手段と、ユーザの潜在記憶を基に、サンプリング音を付加する潜在記憶音付加処理手段として機能し、
前記音声出力手段は、前記第２耳音響放射処理手段による処理後の音声データを音声信号に変換して出力する
請求項８に記載のプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、臨場感のある音響を再生する装置等に係り、特に耳音響放射の原理を用いて臨場感を高めた音響再生装置、音響再生方法、及びプログラムに関する。

【背景技術】

【0002】

従来、音響を再生する装置等においては、より臨場感を高めた音響再生が求められており、音源信号に頭部伝達関数（HRTF；Head-Related Transfer Function）畳み込んだバイノーラル信号によって立体音響を再生することもなされている。

【0003】

また、昨今では、スクリーンの両側に置かれたスピーカによって再生する音声信号をヘッドホンやヘッドマウンテッドディスプレイ（HMD；Head Mounted Display）より再生するときに、映像の方向と音像の定位位置とが一致しないことが課題とされており、それを解決するための種々の提案がなされている。

【0004】

例えば、特許文献１では、イヤホンにジャイロセンサを設けてユーザの頭部の回転を検出し、加速度センサを設けてジャイロセンサの傾きを検出し、音像定位補正部によりジャイロセンサの検出出力を加速度センサの検出出力で補正することで音像定位処理を実施して音像の定位位置が一定となるようにした音声処理装置が開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特願２０１０−５６５８９号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１に開示されたものでは、音像定位処理により音像の定位位置を調整しているにすぎず、臨場感を高めるために耳音響放射の原理を取り入れるとの技術的思想は開示も示唆もされていなかった。

【0007】

ここで、耳音響放射には、「誘発耳音響放射」、「自発耳音響放射」及び「歪成分耳音響放射」がある。誘発耳音響放射（TEOAE：Transiently Evoked otoacoustic Emission）とは、クリック音を用いた刺激に対し10ms前後の遅れをもって信号が検出される音響反応をいう。自発耳音響放射（SOAE；Spontaneous Otoacoustic Emission）とは、外部からの刺激音なしに、蝸牛より自発的に放射される信号が検出される音響反応をいう。そして、歪成分耳音響放射（DPOAE；Distortion Product Otoacoustic Emission）とは、２つの異なる周波数信号（f1,f2,f1<f2）を蝸牛に入力することでnf1±mf2（n,mは整数）の周波数の信号が検出される音響反応をいう。

【0008】

しかるに、このような耳音響放射のメカニズムを、例えばHMD等での音響再生において、より臨場感を高めるために活用する技術は、従来存在しなかった。

【0009】

本発明は、このような課題に鑑みてなされたものであり、耳音響放射の原理を用いて臨場感を高めた立体音響を再生する音響再生装置、音響再生方法、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0010】

上記課題を解決するため、本発明の第１の態様に係る音響再生装置は、実対象までの距離を測定し距離データを得る距離センサと、入力された音声データに対して、誘発耳音響放射と歪成分耳音響放射の効果を付加する第１耳音響放射処理手段と、前記第１耳音響放射処理手段による処理後の音声データを音声信号に変換して出力する音声出力手段と、を備え、前記第１耳音響放射処理手段は、前記音声データの所定の周波数帯の音量を前記距離データに基づいて調整する周波数調整処理手段と、前記音声データの音圧を前記距離データに基づいて調整する音圧調整手段と、前記音声データの振幅を調整し音量の低下分を補償増幅する振幅調整処理手段と、前記音声データに１０ｍｓの遅延効果を付加する遅延調整処理手段と、を有する。

【0011】

本発明の第２の態様に係る音響再生装置は、第１の態様において、前記第１耳音響放射処理手段による処理後の音声データについて、予め定められた頭部伝達関数に基づいて、ユーザの頭部までの音声の伝達遅延を調整する頭部伝達調整処理手段を更に備え、前記音声出力手段は、前記頭部伝達調整処理手段による処理後の音声データを音声信号に変換して出力する。

【0012】

本発明の第３の態様に係る音響再生装置は、第１の態様において、前記第１耳音響放射処理手段による処理後の音声データについて、自発耳音響放射の効果を更に付加する第２耳音響放射処理手段を更に備え、前記第２耳音響放射処理手段は、自発耳音響放射の効果を音声データに付加する自発耳音響放射処理手段と、ユーザの潜在記憶を基に、サンプリング音を付加する潜在記憶音付加処理手段と、を有し、前記音声出力手段は、前記第２耳音響放射処理手段による処理後の音声データを音声信号に変換して出力する。

【0015】

本発明の第４の態様に係る音響再生装置は、第１乃至第３の態様において、前記第１耳音響放射処理手段は、心拍データに基づいて所定の周波数帯の音量を調整することで、心理的作用を高める。

【0017】

本発明の第５の態様に係る音響再生方法は、実対象までの距離を測定し距離データを得る第1のステップと、音声データの入力を受ける第２のステップと、入力された音声データに対して、誘発耳音響放射と歪成分耳音響放射の効果を付加する第１耳音響放射処理を行う第３のステップと、前記第１耳音響放射処理がなされた音声データを音声信号に変換して出力する第４のステップと、を有し、前記第３のステップでは、前記音声データの所定の周波数帯の音量を前記距離データに基づいて調整し、前記音声データの音圧を前記距離データに基づいて調整し、前記音声データの振幅を調整し音量の低下分を補償増幅し、前記音声データに１０ｍｓの遅延効果を付加する。

【0018】

本発明の第６の態様に係る音響再生方法は、第５の態様において、前記第３のステップにおける第１耳音響放射処理後の音声データについて、予め定められた頭部伝達関数に基づいて、ユーザの頭部までの音声の伝達遅延を調整する頭部伝達調整処理を行う第５のステップを更に備え、前記第４のステップでは、前記第５のステップにおける頭部伝達調整処理後の音声データを音声信号に変換して出力する。

【0019】

本発明の第７の態様に係る音響再生方法は、第６の態様において、前記第３のステップにおける第１耳音響放射処理後の音声データについて、自発耳音響放射の効果を更に付加する第２耳音響放射処理を行う第６のステップを更に備え、前記第６のステップでは、自発耳音響放射の効果を音声データに付加し、ユーザの潜在記憶を基にサンプリング音を付加し、前記第４のステップでは、前記第６のステップにおける前記第２耳音響放射処理後の音声データを音声信号に変換して出力する。

【0021】

本発明の第８の態様に係るプログラムでは、コンピュータを、入力された音声データに対して、誘発耳音響放射と歪成分耳音響放射の効果を付加する第１耳音響放射処理手段、及び前記第１耳音響放射処理手段による処理がなされた音声データを音声信号に変換して出力する音声出力手段として機能させ、前記第１耳音響放射処理手段は、更に、前記音声データの所定の周波数帯の音量を、実対象までの距離を測定して得られた距離データに基づいて調整する周波数調整処理手段と、前記音声データの音圧を前記距離データに基づいて調整する音圧調整手段と、前記音声データの振幅を調整し音量の低下分を補償増幅する振幅調整処理手段と、前記音声データに１０ｍｓの遅延効果を付加する遅延調整処理手段と、して機能する。
本発明の第９の態様に係るプログラムでは、第８の態様において、前記第１耳音響放射処理手段による処理後の音声データについて、予め定められた頭部伝達関数に基づいて、ユーザの頭部までの音声の伝達遅延を調整する頭部伝達調整処理手段としても機能し、前記音声出力手段は、前記頭部伝達調整処理手段による処理後の音声データを音声信号に変換して出力する。
本発明の第１０の態様に係るプログラムでは、第９の態様において、前記第１耳音響放射処理手段による処理後の音声データについて、自発耳音響放射の効果を更に付加する第２耳音響放射処理手段として機能し、前記第２耳音響放射処理手段は、更に自発耳音響放射の効果を音声データに付加する自発耳音響放射処理手段と、ユーザの潜在記憶を基に、サンプリング音を付加する潜在記憶音付加処理手段として機能し、前記音声出力手段は、前記第２耳音響放射処理手段による処理後の音声データを音声信号に変換して出力する。

【発明の効果】

【0022】

本発明によれば、耳音響放射の原理を用いて臨場感を高めた立体音響を再生する音響再生装置、音響再生方法、及びプログラムを提供することができる。

【図面の簡単な説明】

【0023】

【図1】本発明の第１実施形態に係る音響再生装置の構成図である。

【図2】本発明の第１実施形態に係る音響再生装置の第１耳音響放射処理部の詳細な構成図である。

【図3】本発明の第１実施形態に係る音響再生装置による音響再生の処理手順を示すフローチャートである。

【図4】図３の第１耳音響放射処理の詳細な処理手順を示すフローチャートである。

【図5】（ａ）は入力された音声データの特性図、（ｂ）は出力される音声データの特性図である。

【図6】本発明の第２実施形態に係る音響再生装置の第１耳音響放射処理部の構成図である。

【図7】本発明の第２実施形態に係る音響再生装置による第１耳音響放射処理の詳細な処理手順を示すフローチャートである。

【図8】本発明の第３実施形態に係る音響再生装置の第２耳音響放射処理部の構成図である。

【図9】本発明の第３実施形態に係る音響再生装置による第２耳音響放射処理の詳細な処理手順を示すフローチャートである。

【発明を実施するための形態】

【0024】

以下、図面を参照しつつ本発明の実施形態について説明する。本発明の実施形態に係る音響再生装置は、例えばヘッドマウンテッドディスプレイ（HMD；Head Mounted Display）やヘッドホン等に用いられ、立体音響を再生するものである。

【0025】

（第１実施形態）

【0026】

図１には本発明の第１実施形態に係る音響再生装置の構成を示し説明する。

【0027】

同図に示されるように、音響再生装置１は、コンピュータで構成されており、ＣＰＵ（Central Processing Unit）等からなる制御部２を備えている。制御部２には、音源信号を出力する音源３が、Ａ／Ｄ変換器４を介して、又は直接的に接続されている。音源信号がアナログ信号である場合にはＡ／Ｄ変換器４にてディジタル信号に変換された後に制御部２に入力され、ディジタル信号である場合には直接的に制御部２に入力される。

【0028】

音源３は、左右のステレオサウンドに係る音声信号を出力するものであり、コンピュータ内に設けられた記憶媒体（ＨＤＤ、ＲＡＭなど）、または外部記憶媒体（光学ディスク、ＵＳＢメモリなど）であってもよく、インターネット等の通信環境を介して取得される音源であってもよいことは勿論である。

【0029】

制御部２には、さらに加速度センサ５がＡ／Ｄ変換器６を介して接続され、ジャイロセンサ７がＡ／Ｄ変換器８を介して接続され、距離センサ９がＡ／Ｄ変換器１０を介して接続され、地磁気センサ１６がＡ／Ｄ変換器１７を介して接続されている。制御部２には心拍センサ１８も接続されている。制御部２には、キーボードやマウス等の入力デバイスからなる入力部１１が接続されている。さらに、制御部２には、記憶部１５が接続されている。記憶部１５は、制御部２にて実行されるプログラム１９を記憶しており、頭部伝達関数に関するデータベース（以下、ＤＢ）１５ａも論理的に構築されている。

【0030】

そして、制御部２は、記憶部１５のプログラム１９を読み出し実行することで、主制御部２ａ、ノイズ低減処理部（ノイズリダクション）２ｂ、残響音無効化処理部（リバーブリダクション）２ｃ、周波数平均化処理部（グラフィックイコライザ）２ｄ、第１耳音響放射処理部２ｅ、頭部伝達調整処理部２ｆ、残響音調整処理部（リバーブ）２ｇ、及び第２耳音響放射処理部２ｇとして機能する。

【0031】

制御部２の出力は、Ｄ／Ａ変換器１２を介して音声出力部１４Ｌに接続され、Ｄ／Ａ変換器１３を介して音声出力部１４Ｒに接続されている。

【0032】

このような構成において、加速度センサ５は、例えばＨＭＤやヘッドホンに搭載されており、ユーザの頭部の３６０度の加速度を検出し、加速度信号をＡ／Ｄ変換器６にてディジタルの加速度データに変換した後、制御部２に入力する。制御部２では、主制御部２ａが加速度データに基づいて頭部の移動方向と移動量を演算する。

【0033】

ジャイロセンサ７は、例えばＨＭＤやヘッドホンに搭載されており、ユーザの頭部の縦軸方向、及び横軸方向まわりの回転角度を検出し、角速度信号をＡ／Ｄ変換器８にてディジタルの加速度データに変換した後、制御部２に入力する。制御部２では、主制御部２ａが角速度データに基づいて頭部の回転角度を演算する。加速度センサ５とジャイロセンサ７は、ユーザの頭部の回転を検出するものとして、選択的に用いることができ、いずれか一方を実装していればよい。

【0034】

距離センサ９は、実対象までの距離を計測するものであり、センサ信号はＡ／Ｄ変換器１０で距離データに変換された後、制御部２に入力される。距離データは、臨場感を高めるために後述する各種処理において用いられる。距離センサ９としては、赤外線センサ、超音波センサ、測距センサ、レーザー、又は音波センサなど、各種のものを用いることができる。距離センサ９を備えない場合には、入力部１１よりデータ入力するようにしてもよいことは勿論である。ここで、実対象とは、音声等を発生する主体であり、例えばコンサート会場であれば、ステージ上のミュージシャンが実対象となる。

【0035】

地磁気センサ１６は、方位データを出力するものであり、Ａ／Ｄ変換器１７を介して出力された方位データは制御部２に入力される。方位データは、ユーザの頭部の移動の方位を認識するために用いられる。地磁気センサ１６を前述したジャイロセンサ７と併用することで、３軸での方位と角速度を求めることができる。

【0036】

心拍センサ１８は、ユーザの心拍数に係る心拍データを出力するものであり、出力された心拍データは制御部２に入力される。

【0037】

入力部１１は、各種設定データを入力するものである。設定データとしては、アンビエンスデータを入力することができる。アンビエンスデータとは、どのくらいの残響音を付加するかを決定するためのデータであり、空間の広さ等に応じてプリセットデータを選択的に入力するようにしてもよい。また、プリセットデータに対して、ユーザが微調整できるようにしてもよい。また、入力部１１より、距離データを入力してもよい。前述した各センサ出力、及び入力部１１の入力データに基づいて、左右のステレオサウンドを後述するように処理することで、立体音響が生成される。

【0038】

制御部２において各部は以下のように作用する。ノイズ低減処理部２ｂは、入力されたステレオサウンドに係る音声データに対してノイズ低減処理を行う。そして、残響音無効化処理部２ｃは、ステレオサウンドに係る音声データに残響音の要素がある場合には無効化する。周波数平均化処理部２ｄは、音声データの周波数特性を変更し、全体的な音質の平均化を行う。つまり、音声データにおいて、突出している部分は下げ、少ないものについては上げて、全体的にサウンドの周波数を平均化する。これは、周波数別の音圧の平均化を意味する。

【0039】

続いて、第１耳音響放射処理部２ｅは、誘発耳音響放射（TEOAE）と歪成分耳音響放射（DPOAE）の効果をステレオサウンドに係る音声データに付加する。

【0040】

第１耳音響放射処理部２ｅは、より具体的には、図２に示されるように、周波数調整処理部（パラメトリックイコライザ）２０、音圧調整処理部（コンプレッサー）２１、振幅調整処理部（アンプ）２２、及び遅延調整処理部（ディレイ）２３からなる。

【0041】

第１耳音響放射処理部２ｅにおいて、周波数調整処理部２０は、ステレオサウンドに係る音声データの所定の周波数帯（５．２８Ｈｚから２０ＫＨｚ）の音量を距離データに基づいて調整する。これは、誘発耳音響放射の効果を付加するもので、距離データに基づいて、距離が近づくにつれて音量が大きくなるような処理を施す。

【0042】

音圧調整部２１は、距離データに基づいて、ステレオサウンドに係る音声データの音圧を調整する。例えば、音量が閾値を超える場合には、超過した音量を設定した圧縮比で抑え、設定時間内にリリースすることで、変化している音量の最大値を低下させる。これにより、最大音量と最小音量のダイナミックレンジが圧縮される。これは、誘発耳音響放射の効果を付加するもので、音圧調整部２１は、距離データに基づいて、距離が遠いほど音圧を低く、距離が近いほど音圧を高くする。

【0043】

振幅調整処理部２２は、距離データに基づいて、例えば、この例では、１０ｄＢから２０ｄＢの振幅を調整する。これは、音圧調整により、音量が全体的に低下するため、低下分を補償増幅することを意味する。これは、誘発耳音響放射、歪成分耳音響放射の双方の効果を付加することを意味する。尚、振幅調整処理部２２は、任意的な構成である。

【0044】

遅延調整処理部２３は、ステレオサウンドに係る音声データに１０ｍｓの遅延効果を付加する。前述したように、誘発耳音響放射とは、入力された音声の刺激に対して１０ｍｓ前後の遅れをもって信号が検出される音響反応をいうが、そのような効果を擬似的に実現することを意味する。

【0045】

図１に戻り、続いて、頭部伝達調整処理部２ｆは、頭部伝達関数に基づいて、頭部までのサウンドの伝達遅延を調整する。ここで、頭部伝達関数（HRTF；Head-Related Transfer Function）とは、耳殻、人頭及び肩まで含めた周辺物により生じる音の変化を伝達関数として表現したものをいう。この例では、右耳用（Ｒ）と左耳用（Ｌ）の組を記憶部１５のＤＢ１５ａにてテーブル形式で保持している。右耳用と左耳用を別にしているのは、頭の位置により音声到達時間が左右で異なるからである。頭部伝達調整処理部２ｆは、テーブルを参照して、耳介の深さに対応する頭部伝達関数に基づくフィルタリングにより音声データを畳み込み演算することで適応化を図る。

【0046】

残響音調整処理部２ｇは、音声データにプリセットで指定された空間に好適な残響音を付加する。これは、例えば空間における境界からの跳ね返りの音等を音声データに反映するものであり、空間の広さによって、付加する残響音の大きさは異なる。また、左右の音声データの時間差が小さいほど、大きな空間を想定した残響音を付加する。

【0047】

第２耳音響放射処理部２ｈは、自発耳音響放射（S0AE）の効果を音声データに付加する。音声データの１ＫＨｚから２ＫＨｚの周波数帯域にサンプリング音またはカラードノイズを付加する。どのようなサンプリング音、カラードノイズを付加するかは、プリセットの段階で選択できるようにしてよい。

【0048】

以上の処理で生成された立体音響に係る音声データは、右耳用はＤ／Ａ変換器１２を介してアナログ信号に変換された後、音声出力部１４Ｒから出力され、左耳用はＤ／Ａ変換器１３を介してアナログ信号に変換された後、音声出力部１４Ｌから出力される。こうして立体音響に係る音声が再生される。

【0049】

以下、図３のフローチャートを参照して、第１実施形態に係る音響再生装置による音響再生の処理手順を説明する。この手順は、音響再生方法にも相当する。

【0050】

音源３からのステレオサウンドに係る音声信号がＤ／Ａ変換器４にて音声データに変換され入力され、入力部１１から各種設定情報が入力されると（Ｓ１）、ノイズ低減処理部２ｂは、入力されたステレオサウンドに係る音声データに対してノイズ低減処理を行う（Ｓ２）。そして、残響音無効化処理部２ｃは、ステレオサウンドに係る音声データに残響音の要素がある場合には無効化する（Ｓ３）。続いて、周波数平均化処理部２ｄは、音声データの周波数特性を変更し、全体的な音質の平均化を行う（Ｓ４）。

【0051】

続いて、第１耳音響放射処理部２ｅは、その処理の詳細は図５で後述するが、誘発耳音響放射（TEOAE）と歪成分耳音響放射（DPOAE）の効果をステレオサウンドに係る音声データに付加する（Ｓ５）。

【0052】

続いて、頭部伝達調整処理部２ｆは、頭部伝達関数に基づいて、頭部までのサウンドの伝達遅延を調整する（Ｓ６）。より具体的には、テーブルを参照して、耳介の深さに対応する頭部伝達関数に基づくフィルタリングにより音声データを畳み込み演算することで適応化を図る。

【0053】

残響音調整処理部２ｇは、音声データにプリセットで指定された空間に好適な残響音を付加する（Ｓ７）。そして、第２耳音響放射処理部２ｈは、自発耳音響放射（S0AE）の効果を音声データに付加する（Ｓ８）。より具体的には、音声データの１ＫＨｚから２ＫＨｚの周波数帯域にサンプリング音またはカラードノイズを付加する。

【0054】

こうして音声データは、右耳用はＤ／Ａ変換器１２を介してアナログ信号に変換された後、音声出力部１４Ｒから出力され、左耳用はＤ／Ａ変換器１３を介してアナログ信号に変換された後、音声出力部１４Ｌから出力される（Ｓ９）。以上で、立体音響に係る音声の再生に係る一連の処理を終了する。

【0055】

ここで、図４のフローチャートには、図４のステップＳ４で実行される第１耳音響放射処理の詳細な処理手順を示し説明する。

【0056】

先ず、周波数調整処理部２０は、ステレオサウンドに係る音声データの所定の周波数帯（５．２８Ｈｚから２０ＫＨｚ）の音量を距離データに基づいて調整する。これは、誘発耳音響放射の効果を付加するもので、距離データに基づいて、距離が近づくにつれて音量が大きくなるような処理を施す（Ｓ１１）。

【0057】

続いて、音圧調整部２１は、距離データに基づいて、ステレオサウンドに係る音声データの音圧を調整する（Ｓ１２）。つまり、音圧調整部２１は、距離データに基づいて、距離が遠いほど音圧を低く、距離が近いほど音圧を高くすることで、誘発耳音響放射の効果を擬似的に音声データに反映させる。

【0058】

次に、振幅調整処理部２２は、距離データに基づいて、例えば、１０ｄＢから２０ｄＢの振幅を調整することで、音量の全体的な低下分を補償増幅する（Ｓ１３）。つまり、誘発耳音響放射、歪成分耳音響放射の双方の効果を音声データに反映させる。

【0059】

そして、遅延調整処理部２３は、ステレオサウンドに係る音声データに１０ｍｓの遅延効果を付加する（Ｓ１４）。これは、誘発耳音響放射のもつ、入力された音声の刺激に対して１０ｍｓ前後の遅れをもって信号が検出されるという音響反応を音声データに反映させるものである。こうして、図４のステップＳ６以降の処理にリターンする。

【0060】

ここで、図５（ａ）は入力された音声データの特性図、図５（ｂ）は出力される音声データの特性図である。図５（ａ）に示される入力された音声データに対して、OAEに関する物理的なパラメータを動的に変化させ、人間の空間認識における聴覚の構造を擬似的に再現し錯聴を誘発する図５（ｂ）に示されるような音声データを出力する。バイノーラル録音した音と比較してより臨場感のある立体音響を知覚させることが可能になる。

【0061】

以上説明したように、本発明の第１実施形態によれば、入力された音声データに対して耳音響放射の効果を擬似的に反映させることで、臨場感のある立体音響を再生することが可能となる。また、耳音響放射として、誘発耳音響放射(TEOAE)、自発耳音響放射（SOAE）及び歪成分耳音響放射（DPOAE）の効果を体感させることができるので、より臨場感が高まっている。また、耳音響放射の効果に加えて頭部伝達関するに基づく調整も行うので、より臨場感のある立体音響の再生が実現される。

【0062】

（第２実施形態）

【0063】

本発明の第２実施形態に係る音響再生装置は、第１耳音響放射処理部２ｅの構成が第１実施形態と異なる。詳細は後述するが、音響心理学に基づいた心拍データにより周波数調整処理を実施する。その他の構成は、第１実施形態と同様であるので、以下では、図１及び図２と同一構成については同一符号を付し、異なる部分を中心に説明する。

【0064】

図６には本発明の第２実施形態に係る音響再生装置の制御部２の第１耳音響放射処理部２ｅの詳細な構成を示し説明する。

【0065】

同図に示されるように、第１耳音響放射処理部２ｅは、第１周波数調整処理部（パラメトリックイコライザ）３０、第２周波数調整処理部（パラメトリックイコライザ）３１、音圧調整処理部（コンプレッサー）３２、振幅調整処理部（アンプ）３３、及び遅延調整処理部（ディレイ）３４からなる。

【0066】

第１耳音響放射処理部２ｅにおいて、第１周波数調整処理部３０は、ステレオサウンドに係る音声データの所定の周波数帯（５００Ｈｚから２０ＫＨｚ）の音量を距離データに基づいて調整する。これは、誘発耳音響放射の効果を付加するもので、距離データに基づいて、距離が近づくにつれて音量が大きくなるような処理を施す。

【0067】

第２周波数調整処理部３１は、ステレオサウンドに係る音声データの所定の周波数帯（４００Ｈｚから１０ＫＨｚ）の音量を、音響心理学の考え方に基づいて、心拍データにより調整する。これは、音響心理学に基づいて、心拍データを基準値と比較して、心拍数に辺がある場合に、ユーザ心理的変化あると認識し、より助長するように上記所定の周波数の音量を上げるものである。音響心理学は音の物理的なパラメータを変化させることにより、音を人間が知覚することに対して様々な心理的影響を与える。

【0068】

音圧調整部３２は、距離データに基づいて、ステレオサウンドに係る音声データの音圧を調整する。例えば、音量が閾値を超える場合には、超過した音量を設定した圧縮比で抑え、設定時間内にリリースすることで、変化している音量の最大値を低下させる。これにより、最大音量と最小音量のダイナミックレンジが圧縮される。これは、誘発耳音響放射の効果を付加するもので、音圧調整部２１は、距離データに基づいて、距離が遠いほど音圧を低く、距離が近いほど音圧を高くする。

【0069】

振幅調整処理部３３は、距離データに基づいて、例えば、この例では、１０ｄＢから２０ｄＢの振幅を調整する。これは、音圧調整により、音量が全体的に低下するため、低下分を補償増幅することを意味する。これは、誘発耳音響放射、歪成分耳音響放射の双方の効果を付加することを意味する。尚、振幅調整処理部３３は、任意的な構成である。

【0070】

遅延調整処理部３４は、ステレオサウンドに係る音声データに１０ｍｓの遅延効果を付加する。前述したように、誘発耳音響放射とは、入力された音声の刺激に対して１０ｍｓ前後の遅れをもって信号が検出される音響反応をいうが、そのような効果を擬似的に実現することを意味する。

【0071】

第２実施形態に係る音響再生装置による処理手順は図３と略同様であり、図３のステップＳ５の第１耳音響放射処理のみが異なるので、以下、図７を参照して、第２実施形態による第１耳音響放射処理の処理手順のみを説明する。

【0072】

先ず、第１周波数調整処理部３０は、ステレオサウンドに係る音声データの所定の周波数帯（５．２８Ｈｚから２０ＫＨｚ）の音量を距離データに基づいて調整する。これは、誘発耳音響放射の効果を付加するもので、距離データに基づいて、距離が近づくにつれて音量が大きくなるような処理を施す（Ｓ２１）。

【0073】

続いて、第２周波数調整処理部３１は、ステレオサウンドに係る音声データの所定の周波数帯（４００Ｈｚから１０ＫＨｚ）の音量を、音響心理学の考え方に基づいて、心拍データにより調整する（Ｓ２２）。

【0074】

そして、音圧調整部３２は、距離データに基づいて、ステレオサウンドに係る音声データの音圧を調整する（Ｓ２３）。つまり、音圧調整部３２は、距離データに基づいて、距離が遠いほど音圧を低く、距離が近いほど音圧を高くすることで、誘発耳音響放射の効果を擬似的に音声データに反映させる。

【0075】

次に、振幅調整処理部３３は、距離データに基づいて、例えば、１０ｄＢから２０ｄＢの振幅を調整することで、音量の全体的な低下分を補償増幅する（Ｓ２４）。つまり、誘発耳音響放射、歪成分耳音響放射の双方の効果を音声データに反映させる。

【0076】

そして、遅延調整処理部３４は、ステレオサウンドに係る音声データに１０ｍｓの遅延効果を付加する（Ｓ２５）。これは、誘発耳音響放射のもつ、入力された音声の刺激に対して１０ｍｓ前後の遅れをもって信号が検出されるという音響反応を音声データに反映させるものである。こうして、図３のステップＳ６以降の処理にリターンする。

【0077】

以上説明したように、本発明の第２実施形態によれば、前述した第１実施形態の効果に加えて、音響心理学に基づく音響効果を付与することが可能となる。

【0078】

（第３実施形態）

【0079】

本発明の第３実施形態に係る音響再生装置は、第２耳音響放射処理部２ｈの構成が第１実施形態と異なる。詳細は後述するが、潜在記憶音を付加することでより臨場感を高めている。その他の構成は、第１実施形態と同様であるので、以下では、図１、図２と同一構成については同一符号を付し、異なる部分を中心に説明する。潜在記憶音は従来聴覚においてマスキングされる普遍的な環境音などを指し、これをサンプリング音として付加し変化させる。これにより音の知覚におけるプライミング効果を促進し心理的変化を助長させる。

【0080】

図８には本発明の第２実施形態に係る音響再生装置の制御部２の第２耳音響放射処理部２ｈの詳細な構成を示し説明する。

【0081】

同図に示されるように、第２耳音響放射処理部２ｈは、自発耳音響放射処理部４０と潜在記憶音付加処理部４１とで構成されている。

【0082】

このような構成において、第２耳音響放射処理部２ｈでは、自発耳音響放射処理部４０が、自発耳音響放射（S0AE）の効果を音声データに付加する。音声データの１ＫＨｚから２ＫＨｚの周波数帯域にサンプリング音またはカラードノイズを付加する。どのようなサンプリング音、カラードノイズを付加するかは、プリセットの段階で選択できるようにしてよい。そして、潜在記憶音付加処理部４１が、潜在記憶を基に、サンプリング音を付加する。これは、例えば、高原の野外ステージでは、風がなびく音を感じながらステージ上のミュージシャンの音楽を楽しむことになるが、そのような潜在的に感じている音声をサンプリング音として付加することでより臨場感を高めることができる。

【0083】

第３実施形態に係る音響再生装置による処理手順は図３と略同様であり、図３のステップＳ８の第２耳音響放射処理のみが異なるので、以下、図９を参照して、第３実施形態による第２耳音響放射処理の処理手順のみを説明する。

【0084】

同処理では、先ず、自発耳音響放射処理部４０が、自発耳音響放射（S0AE）の効果を音声データに付加する（Ｓ３１）。そして、潜在記憶音付加処理部４１が、潜在記憶を基に、サンプリング音を付加する（Ｓ３２）。こうして、図３のステップＳ９以降の処理にリターンすることになる。

【0085】

以上説明したように、本発明の第３実施形態によれば、第１実施形態の効果に加えて、潜在的記憶音を更に付加することで、より臨場感を高めることができる。

【0086】

以上、本発明の実施形態について説明したが、本発明はこれに限定されることなくその趣旨を逸脱しない範囲で種々の改良・変更が可能であることは勿論である。例えば、第２実施形態及び第３実施形態を組み合わせた装置としても実現可能である。

【符号の説明】

【0087】

１…音響再生装置、２…制御部、２ａ…主制御部、２ｂ…ノイズ低減処理部、２ｃ…残響音無効化処理部、２ｄ…周波数平均化処理部、２ｅ…第１耳音響放射処理部、２ｆ…頭部伝達調整処理部、２ｇ…残響音調整処理部、２ｈ…第２耳音響放射処理部、３…音源、４…Ａ／Ｄ変換部、５…加速度センサ、６…Ａ／Ｄ変換部、７…ジャイロセンサ、８…Ａ／Ｄ変換部、９…距離センサ、１０…Ａ／Ｄ変換部、１１…入力部、１２…Ｄ／Ａ変換部、１３…Ｄ／Ａ変換器、１４Ｌ，１４Ｒ…音声出力部、１５…記憶部、１６…地磁気センサ、１７…Ａ／Ｄ変換器、１８…心拍センサ、１９…プログラム、２０…周波数調整処理部、２１…音圧調整処理部、２２…振幅調整処理部、２３…遅延調整処理部、３０…第１周波数調整処理部、３１…第２周波数調整処理部、３２…音圧調整処理部、３３…振幅調整処理部、３４…遅延調整処理部、４０…自発耳音響放射処理部、４１…潜在記憶音付加処理部。

【要約】      （修正有）

【課題】耳音響放射の原理を用いて臨場感を高めた立体音響を再生する音響再生装置、音響再生方法及びプログラムを提供する。
【解決手段】音響再生装置１は、入力された音声データに対し、誘発耳音響放射と歪成分耳音響放射の効果を付加する第１耳音響放射処理部２ｅ、処理後の音声データについて予め定められた頭部伝達関数に基づきユーザの頭部までの音声の伝達遅延を調整する頭部伝達調整処理部２ｆとを備える。これら処理後の音声データを音声信号に変換して臨場感のある立体音響として出力する。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】