特開 2023-182983 音像予測装置および音像予測方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023182983

(43)【公開日】2023-12-27

(54)【発明の名称】音像予測装置および音像予測方法

(51)【国際特許分類】

   H04S 7/00 20060101AFI20231220BHJP

   H04R 5/027 20060101ALI20231220BHJP

   H04R 3/00 20060101ALI20231220BHJP

   B60R 11/02 20060101ALI20231220BHJP

【ＦＩ】

H04S7/00 310

H04R5/027 Z

H04R3/00 320

B60R11/02 B

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022096313

(22)【出願日】2022-06-15

(71)【出願人】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】阪本 浩二

【テーマコード（参考）】

3D020

5D011

5D162

5D220

【Ｆターム（参考）】

3D020BA02

3D020BA10

3D020BA11

3D020BB01

3D020BC01

3D020BC11

3D020BE04

5D011AB12

5D162AA07

5D162CD15

5D162CD31

5D162DA02

5D162DA22

5D162DA28

5D162EG03

5D220BA01

5D220BB03

5D220BC05

(57)【要約】

【課題】音像位置を精度良く予測することができる音像予測装置および音像予測方法を提供することを目的とする。
【解決手段】実施形態の一態様に係る音像予測装置においては、制御部を備える。制御部は、車内に出力された音響信号を複数のセンサによって取得し、取得した複数のセンサそれぞれの音響信号に基づいて音響信号におけるレベル差および位相差を含む差分情報を算出する。制御部は、音響信号に基づく差分情報および音響信号における音像位置の関係性を示す定位関係情報を予め生成しておき、当該定位関係情報と、算出した差分情報との照合結果に基づいて音響信号における音像位置を予測する。制御部は、予測した音像位置を、車内における騒音に関する騒音情報に基づいて補正する補正処理を実行する。
【選択図】図１

【特許請求の範囲】

【請求項1】

車内に出力された音響信号を複数のセンサによって取得し、
取得した前記複数のセンサそれぞれの前記音響信号に基づいて前記音響信号におけるレベル差および位相差を含む差分情報を算出し、
前記音響信号に基づく差分情報および前記音響信号における音像位置の関係性を示す定位関係情報を予め生成しておき、当該定位関係情報と、算出した前記差分情報との照合結果に基づいて前記音響信号における前記音像位置を予測し、
予測した前記音像位置を、前記車内における騒音に関する騒音情報に基づいて補正する補正処理を実行する制御部、
を備える音像予測装置。

【請求項2】

前記制御部は、
前記音響信号と前記騒音情報とを用いてＳＮ比を算出し、算出したＳＮ比に基づいて前記補正処理を実行する、
請求項１に記載の音像予測装置。

【請求項3】

前記制御部は、
車両の速度に基づいて算出された騒音に関する情報を前記騒音情報として取得し、取得した前記騒音情報に基づいて前記補正処理を実行する、
請求項１に記載の音像予測装置。

【請求項4】

前記制御部は、
マイクによって集音された騒音に関する情報を前記騒音情報として取得し、取得した前記騒音情報に基づいて前記補正処理を実行する、
請求項１に記載の音像予測装置。

【請求項5】

前記制御部は、
補正された前記音像位置に基づいて前記音像位置を制御する音像制御処理を実行する、
請求項１に記載の音像予測装置。

【請求項6】

前記制御部は、
前記音響信号と前記騒音情報とを用いてＳＮ比を算出し、補正された前記音像位置、および、算出したＳＮ比に基づいて、前記音像位置を制御する音像制御処理を実行する、
請求項１に記載の音像予測装置。

【請求項7】

前記センサは、
座席におけるヘッドレストの左側端部を含む左側領域、および、前記ヘッドレストの右側端部を含む右側領域に設置される、
請求項１に記載の音像予測装置。

【請求項8】

車内に出力された音響信号を複数のセンサによって取得し、
取得した前記複数のセンサそれぞれの前記音響信号に基づいて前記音響信号におけるレベル差および位相差を含む差分情報を算出し、
前記音響信号に基づく差分情報および前記音響信号における音像位置の関係性を示す定位関係情報を予め生成しておき、当該定位関係情報と、算出した前記差分情報との照合結果に基づいて前記音響信号における前記音像位置を予測し、
予測した前記音像位置を、前記車内における騒音に関する騒音情報に基づいて補正する補正処理を実行する、
音像予測方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、音像予測装置および音像予測方法に関する。

【背景技術】

【0002】

従来、例えば車両の車室などの空間に出力された音響信号の音像位置を予測する音像予測装置が種々提案されている（例えば、特許文献１参照）。従来技術に係る音像予測装置では、聴取者の両耳を模した左右センサで受信した音響信号と、試験信号に基づいた音像位置の情報とを用いて、音像位置を予測している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－１４１２９０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来技術には、音像位置を精度良く予測するという点で、さらなる改善の余地があった。

【0005】

本発明は、上記に鑑みてなされたものであって、音像位置を精度良く予測することができる音像予測装置および音像予測方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決し、目的を達成するために、本発明は、音像予測装置において、制御部を備える。前記制御部は、制御部は、車内に出力された音響信号を複数のセンサによって取得し、取得した前記複数のセンサそれぞれの前記音響信号に基づいて前記音響信号におけるレベル差および位相差を含む差分情報を算出する。前記制御部は、前記音響信号に基づく差分情報および前記音響信号における音像位置の関係性を示す定位関係情報を予め生成しておき、当該定位関係情報と、算出した前記差分情報との照合結果に基づいて前記音響信号における前記音像位置を予測する。前記制御部は、予測した前記音像位置を、前記車内における騒音に関する騒音情報に基づいて補正する補正処理を実行する。

【発明の効果】

【0007】

本発明によれば、音像位置を精度良く予測することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、実施形態に係る音像予測方法の概要を示す図である。

【図2】図２は、実施形態に係る音像予測装置の構成例を示すブロック図である。

【図3】図３は、音像位置の予測処理を説明するための図である。

【図4】図４は、音像位置の予測処理を説明するための図である。

【図5A】図５Ａは、音像位置の補正処理を説明するための図である。

【図5B】図５Ｂは、音像位置の補正処理を説明するための図である。

【図6A】図６Ａは、音像位置の補正処理を説明するための図である。

【図6B】図６Ｂは、音像位置の補正処理を説明するための図である。

【図7A】図７Ａは、音像位置の補正処理を説明するための図である。

【図7B】図７Ｂは、音像位置の補正処理を説明するための図である。

【図8】図８は、補正情報の一例を示す図である。

【図9】図９は、音像制御処理を説明するための図である。

【図10】図１０は、実施形態に係る音像予測装置が実行する処理の処理手順を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、添付図面を参照して、本願の開示する音像予測装置および音像予測方法の実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。

【0010】

＜音像予測方法の概要＞
まず、図１を用いて、実施形態に係る音像予測方法の概要について説明する。図１は、実施形態に係る音像予測方法の概要を示す図である。なお、図１では、車両Ｃの室内Ｃａ（以下、車内Ｃａと記載する）において、音楽や音声といった音源の音響信号を出力した場合に、かかる音響信号の音像位置を予測する音像予測方法について説明する。

【0011】

実施形態に係る音像予測方法は、例えば所望の位置に音響信号の音像を定位させるための音像制御などに利用され、具体的には、車内Ｃａに出力された音響信号の音像がどの位置に定位しているかを予測し、予測した音像の位置などに基づいて音像制御などが行われる。なお、実施形態に係る音像予測方法は、例えば車内Ｃａの音響システムの開発段階において用いられてもよいし、開発後の音響システムに用いられてもよい。

【0012】

ところで、車両Ｃの車内Ｃａには、走行音やエアコン音などの走行騒音が発生する。そのため、従来技術に係る音像予測方法においては、走行騒音の影響を受けて、音像位置の予測の精度が低下するおそれがあった。予測の精度が低下すると、予測した音像の位置などに基づいた音像制御の精度も低下する。そこで、本実施形態に係る音像予測方法にあっては、騒音が発生する場合であっても、音像位置を精度良く予測することができるようにした。

【0013】

具体的には、図１に示すように、実施形態に係る音像予測方法は、車両Ｃに搭載された音像予測装置１によって実行される。音像予測装置１は、まず、スピーカ１００から車内Ｃａに出力された音響信号を、複数のセンサ１０ａ，１０ｂによって取得する（ステップＳ１）。

【0014】

複数のセンサ１０ａ，１０ｂは、例えば聴取者の両耳を模した左右センサであり、車内Ｃａに設置される。詳しくは、複数のセンサ１０ａ，１０ｂは、車両Ｃの座席におけるヘッドレストＰの左右近傍に設置される。より詳しくは、センサ１０ａは、ヘッドレストＰの左側端部Ｐａを含む左側領域Ｑａに設置される。センサ１０ｂは、ヘッドレストＰの右側端部Ｐｂを含む右側領域Ｑｂに設置される。なお、以下では、センサ１０ａを「左センサ１０ａ」、センサ１０ｂを「右センサ１０ｂ」と記載する場合がある。

【0015】

上記したステップＳ１では具体的には、例えば音響システムの開発段階において、人の頭部を模した人形（ダミーヘッドＤＨ）の両耳の位置に左センサ１０ａおよび右センサ１０ｂを取り付けて、車内Ｃａに設置し、音像予測装置１は、かかる左センサ１０ａおよび右センサ１０ｂを介して音響信号を取得する。

【0016】

つづいて、音像予測装置１は、左センサ１０ａおよび右センサ１０ｂそれぞれで取得された音響信号に基づいて音響信号におけるレベル差および位相差を含む差分情報を算出する（ステップＳ２）。具体的には、音像予測装置１は、音響信号における両耳間レベル差（Interaural Level Difference）および両耳間位相差（Interaural Phase Difference）を含む差分情報を算出する。

【0017】

なお、音像予測装置１は、取得した音響信号を、聴取者（人）の聴覚特性に合わせた信号に変換するフィルタを適用した後の音響信号を用いて差分情報を算出するが、これについては後述する。

【0018】

つづいて、音像予測装置１は、差分情報および音像位置の関係を示す定位関係情報と、算出した差分情報との照合結果に基づいて音響信号における音像位置を予測する（ステップＳ３）。

【0019】

上記した定位関係情報は、実験等を通じて予め得られる情報である。詳しくは、定位関係情報は、被験者（聴取者）による心理実験等によって予め生成される情報である。具体的には、定位関係情報は、被験者がヘッドホンを装着した状態で、様々な両耳間レベル差および両耳間位相差の音響信号（試験信号）をヘッドホンから流した場合に、かかる音響信号（試験信号）の音像位置を被験者に回答させることで生成される情報である。つまり、定位関係情報とは、音響信号に基づく差分情報および音響信号における音像位置の対応関係を示す情報である。

【0020】

つづいて、音像予測装置１は、予測した音像位置を、騒音情報に基づいて補正する補正処理を実行する（ステップＳ４）。騒音情報は、車内Ｃａにおける騒音に関する情報である。騒音情報には、例えば騒音のレベル（単位ｄＢ）を示す情報、あるいは、騒音のレベルに関連する情報が含まれる。

【0021】

騒音のレベルに関連する情報について説明すると、車内Ｃａにおける騒音は、車速に応じて増減する。詳しくは、車速が増加するにつれて車内Ｃａにおける騒音のレベルも増加する。したがって、騒音情報に含まれる騒音のレベルに関連する情報は、車速の情報であってもよいし、車速に対応する（車速から導出される）騒音のレベルの情報であってもよい。

【0022】

そして、音像予測装置１は、騒音情報と、予測された音像位置（予測値）を補正するための予測式とを用いて補正処理を実行する。かかる予測式は、実験等を通じて予め算出され、音像予測装置１の記憶部３０（図２参照）に補正情報３３（図２参照）として記憶される。具体的には、予測式は、騒音のレベルなどに応じた複数の環境条件に対してそれぞれ算出されて設定される。すなわち、予測式は、複数の環境条件に対応して複数ある。

【0023】

したがって、音像予測装置１は、複数の予測式の中から、騒音情報に応じた予測式を選択する（言い換えると、補正処理に用いる予測式を騒音情報に応じた予測式に変換する）。そして、音像予測装置１は、ステップＳ３で予測された音像位置を、選択した予測式を用いて補正する。すなわち、音像予測装置１は、予測された音像位置を、車内Ｃａにおける騒音に対応する予測式を用いて補正する。

【0024】

このように、本実施形態に係る音像予測装置１は、予測した音像位置を騒音情報に基づいて補正するようにした。これにより、本実施形態にあっては、騒音（例えば走行騒音）の影響を受けて予測の精度が低下することを抑制することが可能となり、よって騒音が発生する場合であっても、音像位置を精度良く予測することができる。

【0025】

なお、音像予測装置１は、予測した音像位置などに基づいて音像位置を制御する音像制御を行うが、これについては後述する。

【0026】

また、実施形態に係る音像予測方法では、定位関係情報における被験者のバラつき等を考慮して、一の音響信号を所定の周波数帯域毎および経過時間毎に区分けした区分領域毎に音像位置を予測するとともに、音像位置のヒストグラムを生成する。そして、かかるヒストグラムにより音像位置を予測するが、これについては後述する。

【0027】

＜音像予測装置の構成＞
次に、実施形態に係る音像予測装置１の構成について、図２を用いて説明する。図２は、実施形態に係る音像予測装置１の構成例を示すブロック図である。なお、図２のブロック図では、実施形態の特徴を説明するために必要な構成要素のみを表しており、一般的な構成要素についての記載を省略している。

【0028】

換言すれば、図２のブロック図に図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、各ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。

【0029】

また、図２以降の説明では、既に説明済みの構成要素については、説明を簡略するか、省略する場合がある。

【0030】

図２に示すように、実施形態に係る音像予測装置１には、左センサ１０ａと、右センサ１０ｂと、車速センサ１１と、音源装置２００とに接続される。

【0031】

左センサ１０ａおよび右センサ１０ｂは、聴取者の両耳を模したセンサであり、車内Ｃａに設置される。例えば、左センサ１０ａは、平面視においてヘッドレストＰの左側領域Ｑａ（図１参照）に設置される一方、右センサ１０ｂは、ヘッドレストＰの右側領域Ｑｂ（図１参照）に設置される。なお、左センサ１０ａおよび右センサ１０ｂの設置位置は、上記に限定されるものではなく、任意の位置に設置可能である。左センサ１０ａおよび右センサ１０ｂとしては、周囲の音を収集するマイクを用いることができる。左センサ１０ａおよび右センサ１０ｂは、収集した音を音響信号として音像予測装置１へ出力する。

【0032】

車速センサ１１は、車両Ｃの車速を検出し、検出された車速を示す情報を音像予測装置１へ出力する。なお、車速センサ１１によって検出された車速の情報は、上記した騒音情報として利用されるが、これについては後述する。

【0033】

音源装置２００は、音響信号の基となる音信号を、例えば、スピーカ１００（図１参照）を介して車内Ｃａに出力する。音信号は、車内Ｃａに反射することで間接的に、あるいは、直接的に、左センサ１０ａおよび右センサ１０ｂによって音響信号として取得される。

【0034】

また、音源装置２００は、音像予測装置１から入力される音像位置の制御信号に基づいて、所望の位置に定位する音像の音響信号を出力することができる。

【0035】

図２に示すように、実施形態に係る音像予測装置１は、制御部２０と、記憶部３０とを備える。制御部２０は、取得部２１と、フィルタ部２２と、算出部２３と、予測部２４と、補正部２５と、音像制御部２６とを備える。記憶部３０は、定位関係情報３１、騒音情報３２および補正情報３３を記憶する。

【0036】

ここで、音像予測装置１は、たとえば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、データフラッシュ、入出力ポートなどを有するコンピュータや各種の回路を含む。

【0037】

コンピュータのＣＰＵは、たとえば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２０の取得部２１、フィルタ部２２、算出部２３、予測部２４、補正部２５および音像制御部２６として機能する。

【0038】

また、制御部２０の取得部２１、フィルタ部２２、算出部２３、予測部２４、補正部２５および音像制御部２６の少なくともいずれか一つまたは全部をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成することもできる。

【0039】

また、記憶部３０は、たとえば、ＲＡＭやデータフラッシュに対応する。ＲＡＭやデータフラッシュは、定位関係情報３１や騒音情報３２、補正情報３３、各種プログラムの情報等を記憶することができる。なお、音像予測装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。

【0040】

記憶部３０に記憶された定位関係情報３１は、聴取者である被験者による心理実験等によって予め生成される情報である。具体的には、定位関係情報３１は、被験者がヘッドホンを装着した状態で、様々な両耳間レベル差および両耳間位相差となる試験信号をヘッドホンから流した場合に、かかる試験信号の音像位置を被験者に回答させることで生成される情報である。つまり、定位関係情報３１とは、音響信号に基づく差分情報および音響信号における音像位置の関係性を示す情報であり、詳しくは、試験信号に基づく差分情報および試験信号における音像位置の対応関係を示す情報である。より具体的には、定位関係情報３１は、後述する両耳間レベル差および両耳間位相差と、音像位置とが対応付けられた情報である。

【0041】

騒音情報３２は、車内Ｃａにおける騒音に関する情報である。騒音情報３２には、上記したように、騒音のレベルを示す情報、あるいは、車速の情報など騒音のレベルに関連する情報が含まれる。

【0042】

補正情報３３は、騒音のレベルなどに応じた複数の環境条件と、複数の環境条件それぞれに対応し補正処理に用いられる予測式とを含む情報である。具体的には、補正情報３３は、環境条件と予測式とが対応付けられた情報である。なお、補正情報３３については図８等を参照して後述する。

【0043】

制御部２０の取得部２１は、車内Ｃａに出力された音響信号を、聴取者の両耳を模した左右センサ１０ａ，１０ｂによって取得する。音響信号は、楽器および音声（ボーカル）が混成した信号や、ナビゲーション装置等の案内音、単音等であるが、これらに限定されるものではなく、任意の音響信号であってもよい。

【0044】

フィルタ部２２は、取得部２１が取得した音響信号を聴取者の聴覚特性に合わせた信号に変換するフィルタを適用する。具体的には、フィルタ部２２は、動的（静的）圧縮型ガンマチャープフィルタバンク等を含むフィルタバンクで構成される聴覚モデルを音響信号に適用する。

【0045】

これにより、音響信号は、聴覚反応後の信号に変換されるため、後段の予測部２４による予測結果である音像位置を聴取者の聴感に合わせることができるため、音像位置を高精度に予測することができる。

【0046】

算出部２３は、左右センサ１０ａ，１０ｂそれぞれの音響信号に基づいて音響信号におけるレベル差および位相差を含む差分情報を算出する。具体的には、算出部２３は、取得部２１によって取得された左右センサ１０ａ，１０ｂそれぞれの音響信号に基づいて音響信号における両耳間レベル差および両耳間位相差を含む差分情報を算出する。詳しくは、算出部２３は、フィルタ部２２によるフィルタが適用された音響信号に基づいて差分情報を算出する。

【0047】

また、算出部２３は、音響信号を所定の周波数帯毎および経過時間毎に区分けした区分領域毎に差分情報を算出するが、これについては図３を参照して後述する。

【0048】

予測部２４は、定位関係情報３１と、算出部２３によって算出された差分情報との照合結果に基づいて音響信号における音像位置を予測する。具体的には、予測部２４は、算出部２３によって算出された両耳間レベル差および両耳間位相差と一致する音像位置を定位関係情報３１から特定する。

【0049】

このように、本実施形態にあっては、定位関係情報と算出された差分情報との照合結果によって音像位置を予測することで、聴取者が感じる音像位置と一致させることができるため、高精度に音像位置を予測することができる。

【0050】

また、予測部２４は、算出部２３によって区分領域毎に差分情報が算出された場合には、差分情報毎に音像位置を予測するとともに、音像位置のヒストグラムを生成し、かかるヒストグラムに基づいて音像位置を予測する。この音像位置を予測する予測処理について、図３および図４を参照して説明する。

【0051】

図３および図４は、音像位置の予測処理を説明するための図である。図３に示すように、算出部２３は、まず、音響信号を所定の周波数帯域毎および経過時間毎の区分領域Ｒに区分けする。なお、高周波数ほど周波数分解能が低く、時間分解能が高くなる時間周波数特性により、区分領域Ｒの周波数幅および時間幅は、高周波数ほど周波数幅を広く、かつ、時間幅を短くすることが好ましい。

【0052】

そして、算出部２３は、区分領域Ｒ毎の両耳間レベル差および両耳間位相差を算出する。つづいて、予測部２４は、区分領域の差分情報毎に、定位関係情報３１と照合し、音像位置を予測する。

【0053】

つづいて、図４に示すように、予測部２４は、差分情報毎の音像位置を用いてヒストグラムを生成し、ヒストグラムに基づいて音像位置を予測する。例えば、予測部２４は、ヒストグラムの重心を音像位置とし、全体重心によって分割された第１ピーク側の分割領域の重心（部分重心）と、第２ピーク側の分割領域の部分重心とを算出し、かかる２つの部分重心の間の距離を音像幅として予測する。なお、標準偏差や四分位範囲などを用いてもよい。

【0054】

このように、予測部２４は、音響信号を区分領域Ｒ毎の音像位置をヒストグラムにすることで、音響信号の周波数帯域毎および経過時間毎の音像の違いを表現できるため、音像位置を高精度に予測することができる。

【0055】

なお、予測部２４は、ヒストグラムの重心を音像位置としたが、例えば、ヒストグラムの中央値を音像位置としてもよい。

【0056】

図２の説明を続けると、補正部２５は、予測部２４によって予測された音像位置を、車内Ｃａおける騒音に関する騒音情報に基づいて補正する補正処理を実行する。この音像位置の補正処理について、図５Ａ～図７Ｂ等を参照して説明する。

【0057】

図５Ａ～図７Ｂは、音像位置の補正処理を説明するための図である。図５Ａ，６Ａ，７Ａは、上記したヒストグラムの一例である。図５Ｂ，６Ｂ，７Ｂはそれぞれ図５Ａ，６Ａ，７Ａに対応し、複数の音源や再生経路特性の条件下で予測処理およびその予測処理を検証する実験において、予測された音像位置（予測値）と実験による音像位置（実験値）との関係性を示すグラフである。また、図５Ａ，５Ｂは騒音が無いあるいはほぼ無い状態の図、図６Ａ，６Ｂは対象音源に対し騒音が中程度の状態の図、図７Ａ，７Ｂは騒音が比較的大きい状態の図である。

【0058】

なお、上記した騒音の大小は、ＳＮ比によって表すことができる。ＳＮ比は、信号対雑音比（Signal to Noise Ratio）であり、具体的には音響信号のレベルと騒音のレベルとの比である。より具体的には、ＳＮ比は、騒音のレベルが大きくなるにつれて、あるいは音響信号のレベルが小さくなるにつれて低下する。したがって、図５Ａ～図７Ｂにおいて、ＳＮ比は、図５Ａ，５Ｂ、図６Ａ，６Ｂ、図７Ａ，７Ｂの順で低下しているものとする。

【0059】

なお、図５Ａ～図７Ｂでは、音像位置として、聴取者から音像に対する角度（方位角）を用いて示している。例えば、方位角０度は聴取者の正面の位置を表し、方位角９０度は聴取者の右方の位置を、方位角－９０度は聴取者の左方の位置を表している。また、上記では、音像位置として方位角を用いたが、これに限られず、座標などを用いてもよい。

【0060】

図５Ａに示すように、騒音が無い状態（すなわちＳＮ比が比較的高い状態）において、ヒストグラムが正規分布（単峰性の形状）となった場合、破線Ｂ１の閉曲線で囲んで示すように、音像位置である方位角Ａ度において音像位置の頻度が高くなるようなヒストグラムとなる。

【0061】

このような騒音が無い状態（すなわちＳＮ比が比較的高い状態）において、図５Ｂに示すように、予測された音像位置（予測値）と実験による音像位置（実験値）とをグラフにプロットし、プロットのデータを線形近似することで、予測式Ｄ１を得ることができる。また、図５Ｂに示すグラフにおいて、予測された音像位置（予測値）と実験による音像位置（実験値）との相関係数ｒは高い水準にあるため、予測値と実験値とは相関関係があり、よって予測式Ｄ１の精度は確保されている。

【0062】

次いで、図６Ａ，６Ｂについて説明する。図６Ａの例に示すように、騒音が中程度の状態（すなわち、ＳＮ比が図５Ａ，５ＢのＳＮ比に比べて低い状態）の場合、騒音の影響により、２つのピークを有する２峰性のヒストグラムとなる。なお、図６Ａでは、騒音成分Ｎを想像線で示している。

【0063】

騒音の音像は、ランダム的に発生するため、騒音成分Ｎを累積したヒストグラムでは、方位角が０度、すなわち聴取者の正面の位置に表れやすく、そのため、２つのピークを有する２峰性のヒストグラムとなる。かかるヒストグラムであっても、破線Ｂ２の閉曲線で囲んで示すように、音像位置である方位角Ａ度において音像位置の頻度が高くなる傾向は残っている。

【0064】

このような騒音が中程度の状態（すなわち、ＳＮ比が図５Ａ，５ＢのＳＮ比に比べて低い状態）において、図６Ｂに示すように、予測された音像位置（予測値）および実験による音像位置（実験値）のプロットのデータを線形近似することで、予測式Ｄ２を得ることができる。また、図６Ｂに示すグラフにおいて、予測された音像位置（予測値）と実験による音像位置（実験値）との相関係数ｒは少し低下する程度であるため、騒音が発生した場合であっても、予測値と実験値とは相関関係があり（相関関係が維持されており）、よって予測式Ｄ２の精度は確保されている。

【0065】

次いで、図７Ａ，７Ｂについて説明する。図７Ａの例に示すように、騒音が比較的大きい状態（すなわち、ＳＮ比が図６Ａ，６ＢのＳＮ比に比べて低い状態）の場合、騒音の影響により、２つのピークを有する２峰性のヒストグラムとなる。

【0066】

図７Ａの例においては、図６Ａと同様、騒音の影響を受けた２峰性のヒストグラムであっても、破線Ｂ３の閉曲線で囲んで示すように、音像位置である方位角Ａ度において音像位置の頻度が高くなる傾向は残っている。

【0067】

このような騒音が比較的大きい状態（すなわち、ＳＮ比が図６Ａ，６ＢのＳＮ比に比べて低い状態）において、図７Ｂに示すように、予測された音像位置（予測値）および実験による音像位置（実験値）のプロットのデータを線形近似することで、予測式Ｄ３を得ることができる。また、図７Ｂに示すグラフにおいて、予測された音像位置（予測値）と実験による音像位置（実験値）との相関係数ｒは、図６Ｂの相関係数ｒより少し低下するものの、極端に低下することはない。そのため、比較的大きい騒音が発生した場合（ＳＮ比が比較的低い場合）であっても、予測値と実験値とは相関関係があり（相関関係が維持されており）、よって予測式Ｄ３の精度は確保されている。

【0068】

図５Ｂ，６Ｂ，７Ｂから分かるように、騒音の影響を受けた場合であっても、相関係数ｒはある程度維持されつつ、予測式Ｄ１，Ｄ２，Ｄ３の傾きが変化しているだけである。したがって、本実施形態にあっては、例えば音響信号のレベルと騒音のレベルとの比であるＳＮ比を含む環境条件に応じて、このような予測式Ｄ１，Ｄ２，Ｄ３を使い分けることで、予測された音像位置を精度良く補正することができる。

【0069】

具体的には、まず、実験等を通じて複数の環境条件に対してそれぞれ予測式が算出され、環境条件と予測式とが対応付けられて補正情報３３として記憶部３０（図２参照）に記憶される。

【0070】

ここで、図８を用いて補正情報３３について説明する。図８は、補正情報３３の一例を示す図である。図８に示すように、補正情報３３には、「環境条件」および「予測式」等の項目が含まれ、各項目のデータは互いに関連付けられている（紐付けられている）。

【0071】

「環境条件」は、騒音の状態などを含む環境条件を示す情報である。「環境条件」には、上記したＳＮ比を示す情報が含まれるが、これに限定されるものではなく、例えば騒音のレベルを示す情報などが含まれてもよい。また、車内Ｃａにおける騒音のレベルは、車速に応じて増減することから、「環境条件」には、車速情報が含まれてもよい。

【0072】

なお、図８に示す例では、便宜上、「環境条件」を「Ｊ０１」といったように抽象的な記載とするが、「Ｊ０１」には具体的な情報が記憶されるものとする。以下、他の情報についても抽象的に記載する場合がある。

【0073】

「予測式」は、上記した予測式Ｄ１，Ｄ２，Ｄ３などを示す情報である。図８に示す例では、環境条件「Ｊ０１」においては、補正処理に用いる予測式が「Ｄ１」であることを示している。

【0074】

図２の説明に戻ると、補正部２５は、補正処理を実行するにあたり、まず、ＳＮ比を算出する。例えば、補正部２５は、車速センサ１１から車速の情報を取得し、車速に対応する（車速から導出される）騒音のレベルを騒音情報３２として記憶部３０に記憶させる。

【0075】

このように、本実施形態にあっては、車速に基づいて算出された騒音に関する情報（ここでは騒音のレベル）を騒音情報３２として取得するようにした。すなわち、車内Ｃａにおける騒音は、上記したように車速に応じて増減することから、車速を用いて騒音情報３２を簡易にかつ精度良く取得することが可能となる。

【0076】

なお、上記では、車速に基づいて騒音情報を取得するようにしたが、これに限定されるものではない。すなわち、図２に想像線で示すように、マイク１２が車内Ｃａに設置され、補正部２５は、かかるマイク１２によって集音された騒音に関する情報（ここでは騒音のレベル）を騒音情報３２として取得してもよい。このように、マイク１２を用いることで、騒音情報３２を精度良く取得することが可能となる。

【0077】

また、補正部２５は、取得部２１によって左右センサ１０ａ，１０ｂから取得された音響信号に基づいて、音響信号のレベルを算出する。そして、補正部２５は、音響信号と騒音情報３２とを用いてＳＮ比を算出する。具体的には、補正部２５は、算出した音響信号のレベルを、騒音情報３２である騒音のレベルで除算することで、ＳＮ比を算出する。

【0078】

つづいて、補正部２５は、騒音情報等によって算出されたＳＮ比に基づいて、予測式を選択する（言い換えると、補正処理に用いる予測式を騒音情報に応じた予測式に変換する）。

【0079】

補正部２５は、記憶部３０から補正情報３３（図８参照）を読み出し、算出されたＳＮ比と一致する環境条件を特定し、特定した環境条件に対応する予測式を、補正処理に用いる予測式として選択する。そして、補正部２５は、予測部２４によって予測された音像位置を、選択した予測式を用いて補正する。

【0080】

具体例を挙げて説明すると、環境条件が図５ＢのときのＳＮ比を含む場合、補正部２５は、予測式Ｄ１を選択する。そして、予測部２４によって予測された音像位置の方位角がＥ１度である場合、補正部２５は、予測式Ｄ１を用いて補正し、方位角Ｆ１を最終的な音像位置（補正された音像位置）として出力する。

【0081】

他の例としては、環境条件が図６ＢのときのＳＮ比を含む場合、補正部２５は、予測式Ｄ２を選択する。そして、予測部２４によって予測された音像位置の方位角がＥ２度である場合、補正部２５は、予測式Ｄ２を用いて補正し、方位角Ｆ２を最終的な音像位置（補正された音像位置）として出力する。

【0082】

また、他の例としては、環境条件が図７ＢのときのＳＮ比を含む場合、補正部２５は、予測式Ｄ３を選択する。そして、予測部２４によって予測された音像位置の方位角がＥ３度である場合、補正部２５は、予測式Ｄ３を用いて補正し、方位角Ｆ３を最終的な音像位置（補正された音像位置）として出力する。

【0083】

このように、本実施形態に係る補正部２５は、予測した音像位置を騒音情報（ここでは騒音情報等によって算出されてＳＮ比）に基づいて補正するようにした。これにより、本実施形態にあっては、例えば騒音（例えば走行騒音）の影響を受けて予測の精度が低下することを抑制することが可能となり、よって騒音が発生する場合であっても、音像位置を精度良く予測することができる。

【0084】

また、本実施形態に係る補正部２５は、ＳＮ比に基づいて補正処理を実行するようにしたので、例えばＳＮ比を含む環境条件に適した予測式を選択することができ、かかる予測式を用いることで、音像位置をより精度良く予測することができる。

【0085】

図２の説明を続けると、音像制御部２６は、補正部２５によって補正された音像位置に基づいて音像位置を制御する音像制御処理を実行する。この音像制御処理について、図９を参照して説明する。

【0086】

図９は、音像制御処理を説明するための図である。図９の例に示すように、補正された音像位置（言い換えると、最終的に予測された音像位置）が聴取者Ｌの右前方（右斜め前）であり、騒音Ｎ１の音像が聴取者Ｌの正面に定位するような場合がある。かかる場合、音像制御部２６は、音像位置を騒音Ｎ１の音像から離間する方向（矢印Ｋ参照）に移動させ、騒音Ｎ１の音像から離間した位置に音像が定位するような音響信号を、音源装置２００のスピーカ１００から出力する音像制御を実行する。

【0087】

これにより、音像制御された音響信号による再生音の音像と騒音Ｎ１の音像とが空間的により離れた位置になるため、再生音に騒音Ｎ１が混ざりにくくなり、よって再生音の音像を明瞭化させることができる。

【0088】

このように、本実施形態にあっては、補正処理により精度良く予測された音像位置に基づいて音像制御処理を実行することで、音像位置などを精度良く制御することができる。

【0089】

また、音像制御部２６は、ＳＮ比に基づいて音像制御処理を実行してもよい。すなわち、音像制御部２６は、補正部２５によって補正された音像位置、および、算出したＳＮ比に基づいて音像制御処理を実行してもよい。

【0090】

例えば、音像制御部２６は、算出したＳＮ比に応じて音像幅ＡＳＷを制御する。具体的には、音像制御部２６は、ＳＮ比が比較的低い場合（すなわち騒音のレベルが比較的大きい場合）、音像幅ＡＳＷが小さくなるような音響信号を、スピーカ１００から出力する音像制御を実行する。

【0091】

このように、音響信号による再生音の音像の音像幅ＡＳＷを小さくすることで、再生音の音像を明瞭で聞き取り易くすることができる。すなわち、本実施形態にあっては、補正処理により精度良く予測された音像位置とＳＮ比とに基づいて音像制御処理を実行することで、音像幅ＡＳＷなどを精度良く制御することができる。

【0092】

なお、上記した音像幅ＡＳＷは、音響を受聴する聴取者Ｌが知覚する空間印象であり、直接音と時間的にも空間的にも融合して知覚される「みかけの音源の幅」と定義される。

【0093】

＜実施形態に係る音像予測装置の制御処理＞
次に、図１０を用いて、実施形態に係る音像予測装置１が実行する処理の処理手順について説明する。図１０は、実施形態に係る音像予測装置１が実行する処理の処理手順を示すフローチャートである。

【0094】

図１０に示すように、音像予測装置１の制御部２０は、車内Ｃａに出力された音響信号を左右センサ１０ａ，１０ｂによって取得する（ステップＳ１０）。次いで、制御部２０は、取得した音響信号を聴取者の聴覚特性に合わせた信号に変換するフィルタである聴覚モデルを適用する（ステップＳ１１）。

【0095】

次いで、制御部２０は、音響信号を所定の周波数帯域毎および経過時間毎に区分けした区分領域Ｒ毎に差分情報を算出する（ステップＳ１２）。次いで、制御部２０は、算出した差分情報毎に音像位置を予測する（ステップＳ１３）。

【0096】

次いで、制御部２０は、音像位置のヒストグラムを生成する（ステップＳ１４）。次いで、制御部２０は、ヒストグラムに基づいて音像位置を予測する（ステップＳ１５）。

【0097】

次いで、制御部２０は、予測した音像位置を、車内Ｃａにおける騒音に関する騒音情報に基づいて補正する補正処理を実行する（ステップＳ１６）。次いで、制御部２０は、補正された音像位置に基づいて音像位置を制御する音像制御処理を実行する（ステップＳ１７）。

【0098】

上述してきたように、実施形態に係る音像予測装置１は、制御部２０を備える。制御部２０は、車内Ｃａに出力された音響信号を左右センサ（複数のセンサの一例）１０ａ，１０ｂによって取得し、取得した左右センサ１０ａ，１０ｂそれぞれの音響信号に基づいて音響信号におけるレベル差および位相差を含む差分情報を算出する。制御部２０は、音響信号に基づく差分情報および音響信号における音像位置の関係性を示す定位関係情報を予め生成しておき、当該定位関係情報と、算出した差分情報との照合結果に基づいて音響信号における音像位置を予測する。制御部２０は、予測した音像位置を、車内Ｃａにおける騒音に関する騒音情報に基づいて補正する補正処理を実行する。これにより、音像位置を精度良く予測することができる。

【0099】

また、左右センサ（センサの一例）１０ａ，１０ｂは、座席におけるヘッドレストＰの左側端部Ｐａを含む左側領域Ｑａ、および、ヘッドレストＰの右側端部Ｐｂを含む右側領域Ｑｂに設置される。このように、左右センサ１０ａ，１０ｂが、聴取者（人）の両耳に対応するような位置に設置されることで、例えば左右センサ１０ａ，１０ｂそれぞれで取得された音響信号に基づいて、両耳間レベル差および両耳間位相差を含む差分情報などを精度良く算出することが可能になる。

【0100】

なお、上記した音像予測装置１は、車内Ｃａにおける各種の音響システム（例えばＨＭＩ（Human Machine Interface）やＸＲ（Cross Reality）などを用いた音響システム）、ロボット聴覚、音声対話システムや難聴支援システムなどに適用することができる。

【0101】

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

【符号の説明】

【0102】

１ 音像予測装置
１０ａ 左センサ
１０ｂ 右センサ
２０ 制御部

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6A】

【図6B】

【図7A】

【図7B】

【図8】

【図9】

【図10】