特許 7460407 音響出力装置、音響出力システム及び音響出力方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-25

(45)【発行日】2024-04-02

(54)【発明の名称】音響出力装置、音響出力システム及び音響出力方法

(51)【国際特許分類】

   H04S 7/00 20060101AFI20240326BHJP

   B60R 11/02 20060101ALI20240326BHJP

【ＦＩ】

H04S7/00 300

B60R11/02 S

【請求項の数】 9

(21)【出願番号】P 2020049549

(22)【出願日】2020-03-19

(65)【公開番号】P2021150834

(43)【公開日】2021-09-27

【審査請求日】2022-11-08

(73)【特許権者】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(73)【特許権者】

【識別番号】507308902

【氏名又は名称】ルノー エス．ア．エス．

【氏名又は名称原語表記】ＲＥＮＡＵＬＴ Ｓ．Ａ．Ｓ．

【住所又は居所原語表記】１２２－１２２ ｂｉｓ， ａｖｅｎｕｅ ｄｕ Ｇｅｎｅｒａｌ Ｌｅｃｌｅｒｃ， ９２１００ Ｂｏｕｌｏｇｎｅ－Ｂｉｌｌａｎｃｏｕｒｔ， Ｆｒａｎｃｅ

(74)【代理人】

【識別番号】110000486

【氏名又は名称】弁理士法人とこしえ特許事務所

(72)【発明者】

【氏名】西山 乘

(72)【発明者】

【氏名】寺口 剛仁

(72)【発明者】

【氏名】井上 裕史

(72)【発明者】

【氏名】志小田 雄宇

(72)【発明者】

【氏名】大久保 翔太

(72)【発明者】

【氏名】陳 放歌

(72)【発明者】

【氏名】河西 純

(72)【発明者】

【氏名】岡本 雅己

【審査官】大石 剛

(56)【参考文献】

【文献】特開２００２－１９９４９９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｓ ７／００

Ｂ６０Ｒ １１／０２

(57)【特許請求の範囲】

【請求項1】

車室内と車室外を仕切る開閉部を有する車両を基準とした所定位置に、所定方向に出力される仮想音響の音像を定位する音像定位部と、
前記所定位置に前記音像が定位された前記仮想音響に対応する実音響を出力する音響出力部と、
前記開閉部の開閉状態を含む、前記車両における音響環境に関する音響環境情報を取得する環境情報取得部と、を備え、
前記音響出力部は、前記所定位置から前記所定方向に前記開閉部が位置するか否かと、前記開閉部の前記開閉状態とに応じた出力態様により前記実音響を出力する音響出力装置。

【請求項2】

車両を基準とした所定位置に仮想音響の音像を定位する音像定位部と、
前記所定位置に前記音像が定位された前記仮想音響に対応する実音響を出力する音響出力部と、
前記車両における音響環境に関する音響環境情報を取得する環境情報取得部と、を備え、
前記音像定位部は、車室内と車室外を仕切る開閉部を有する前記車両を基準とした前記所定位置に、所定方向に出力される前記仮想音響の前記音像を定位し、
前記音響環境情報は、前記開閉部の開閉状態を含み、
前記音響出力部は、前記所定位置から前記所定方向に前記開閉部が位置する場合に、前記開閉部の前記開閉状態に応じた出力強度により前記実音響を出力する音響出力装置。

【請求項3】

請求項２に記載の音響出力装置であって、
前記音響出力部は、前記所定位置が前記車室内に位置する場合かつ前記所定位置から前記所定方向に前記開閉部が位置する場合に、前記開閉部が開状態であるときには、前記開閉部が閉状態であるときよりも低い出力強度により前記実音響を出力する音響出力装置。

【請求項4】

請求項２又は３に記載の音響出力装置であって、
前記音響出力部は、前記所定位置が前記車室内に位置する場合かつ前記所定位置から前記所定方向に前記開閉部が位置する場合に、前記開閉部が開状態であるときには、前記開閉部の開口率が大きいほど、より低い出力強度により前記実音響を出力する音響出力装置。

【請求項5】

請求項２～４のいずれかに記載の音響出力装置であって、
前記音響出力部は、前記所定位置が前記車室外に位置する場合かつ前記所定位置から前記所定方向に前記開閉部が位置する場合に、前記開閉部が開状態であるときには、前記開閉部が閉状態であるときよりも高い出力強度により前記実音響を出力する音響出力装置。

【請求項6】

請求項２～５のいずれかに記載の音響出力装置であって、
前記音響出力部は、前記所定位置が前記車室外に位置する場合かつ前記所定位置から前記所定方向に前記開閉部が位置する場合に、前記開閉部が開状態であるときには、前記開閉部の開口率が大きいほど、より高い出力強度により前記実音響を出力する音響出力装置。

【請求項7】

請求項２～６のいずれかに記載の音響出力装置であって、
前記開閉部は、少なくとも前記車両の窓、ドア、開閉可能なルーフ及び着脱可能なルーフのうちのいずれかひとつである音響出力装置。

【請求項8】

請求項２～７のいずれかに記載の音響出力装置と、
前記音響出力装置と通信可能な端末装置と、を備え、
前記端末装置は、
前記車両の遠隔にいる第１ユーザの顔の向きを検出する顔向き検出部と、
前記所定位置を基準にして前記第１ユーザの前記顔の向きに対応する方向の車室内外の映像が撮像された撮像画像を取得する画像取得部と、
前記画像取得部により取得された前記撮像画像を前記第１ユーザに提示する画像提示部と、
前記第１ユーザにより発せられた音声を取得する音声取得部と、
前記音声取得部により取得された前記音声に基づいて、前記仮想音響に関する情報を生成し、前記第１ユーザの前記顔の向きに対応する方向に基づいて、前記所定方向に関する情報を生成する情報生成部と、
前記情報生成部により生成された前記仮想音響に関する情報及び前記所定方向に関する情報を前記音響出力装置に送信する情報送信部と、を備え、
前記音響出力部は、
前記画像提示部により前記第１ユーザに提示された前記撮像画像上において前記開閉部が提示されている位置の方向に、前記第１ユーザの前記顔の向きが向いている場合に、前記所定位置から前記所定方向に前記開閉部が位置すると判定し、
前記車両に乗車している第２ユーザに、前記所定位置に前記音像が定位された前記仮想音響に対応する前記実音響を出力する音響出力システム。

【請求項9】

音響出力装置により実行される音響出力方法であって、
前記音響出力装置は、
車室内と車室外を仕切る開閉部を有する車両を基準とした所定位置に、所定方向に出力される仮想音響の音像を定位し、
前記開閉部の開閉状態を含む、前記車両における音響環境に関する音響環境情報を取得し、
前記所定位置から前記所定方向に前記開閉部が位置するか否かと、前記開閉部の前記開閉状態とに応じた出力態様により、前記所定位置に前記音像が定位された前記仮想音響に対応する実音響を出力する音響出力方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、音響出力装置、音響出力システム及び音響出力方法に関するものである。

【背景技術】

【0002】

車室内と車室外を仕切る開閉部の開閉状態を検出し、開閉部が開状態であると検出した時に、車載用オーディオ装置の音響レベルを増加するように制御する技術が知られている（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０００－９２６００号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に係る技術を、現実の環境の変化が反映される仮想立体音響装置に適用する場合には、以下のような問題がある。すなわち、車両の開閉部が開状態になれば、車載用オーディオ装置の音は聞こえにくくなるのが自然であるが、当該技術では音量を大きくするという不自然な加工がされるため、現実の環境の変化に追従した仮想音響を出力することができない。

【0005】

本発明が解決しようとする課題は、現実の環境の変化に追従した仮想音響を出力することができる音響出力装置を提供することである。

【課題を解決するための手段】

【0006】

本発明は、車両を基準とした所定位置に仮想音響の音像を定位し、音響環境に関する音響環境情報を取得し、音響環境情報に応じた出力態様により、所定位置に音像が定位された仮想音響に対応する実音響を出力することによって上記課題を解決する。

【発明の効果】

【0007】

本発明によれば、現実の環境の変化に追従した仮想音響を出力することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、本実施形態における音響出力システムの一実施形態を示すブロック図である。

【図2A】図２Ａは、本実施形態における実施状況の一例を示す図である。

【図2B】図２Ｂは、本実施形態における実施状況の一例を示す図である。

【図2C】図２Ｃは、本実施形態における実施状況の一例を示す図である。

【図2D】図２Ｄは、本実施形態における実施状況の一例を示す図である。

【図3】図３は、本実施形態に係る音響出力制御の手順を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、本願発明の実施形態を図面に基づいて説明する。

【0010】

図１は、本実施形態にかかる音響出力システムを示すブロック図である。音響出力システム１０００は、音響出力装置１と、端末装置２とを備える。音響出力装置１は、ユーザによって利用される装置であって、現実空間を聴覚的に拡張することができる装置である。例えば、ヘッドホンを備えるＡＲ用ヘッドセットである。音響出力装置１は、仮想音響に対応する実音響を、ヘッドホンを介して出力する。これによって、現実空間を聴覚的に拡張した拡張現実空間をユーザに提示することができる。本実施形態では、現実空間において、現実には存在しない仮想的な音源（以下、仮想音源）が配置され、仮想音源から仮想音響が出力される。つまり、仮想音響は、現実空間に設定された仮想音源の位置から聞こえてくるように知覚される音響である。現実には、ユーザにはヘッドホンから実音響が出力されるが、あたかも仮想音源の位置から仮想音響が出力されているかのように仮想音響の音像が定位されるように実音響が出力される。これによって、ユーザには、仮想音響が仮想音源の位置から聞こえてくるように感じられる。また、音響出力装置１は、ヘッドホンを備えるヘッドセットの代わりにスピーカーを用いることとしてもよいし、ユーザの声を取得するマイクを備えることとしてもよい。また、音響出力装置１は、現実空間を視覚的・聴覚的に拡張することのできる装置であってもよい。例えば、ヘッドホンを備えるＡＲ用ヘッドマウントディスプレイが挙げられる。ユーザは、ヘッドマウントディスプレイを介して、現実空間に仮想オブジェクトが存在するかのような拡張現実空間を見ることができる。

【0011】

本実施形態では、車両３に乗車している乗員ユーザが音響出力装置１としてヘッドホンを備えるＡＲ用ヘッドマウントディスプレイを装着している場面を想定している。乗員ユーザは、音響出力装置１のヘッドホン及びディスプレイを介して、視覚的・聴覚的に拡張された拡張現実空間を見ることができる。例えば、乗員ユーザは、ディスプレイを介して、車両３内の隣の席に、車両３の遠隔にいる遠隔ユーザのアバターが仮想オブジェクトとして表示されている拡張現実空間を見ることができる。そして、遠隔ユーザが発した音声に基づく仮想音響が遠隔ユーザのアバターの位置から出力されるように実音響が出力されることで、乗員ユーザには、あたかも遠隔ユーザのアバターが音声を発しているかのように聞こえる。遠隔ユーザは、車両３の空間とは異なる空間、例えば、自室にいるユーザである。

【0012】

音響出力装置１は、コントローラ１０と、出力装置１１と、通信装置１２とを備える。音響出力装置１は、車両３における音響環境の情報を取得し、音響環境に応じた出力態様により、仮想音響に対応する実音響を、ヘッドホンを介して出力する。例えば、音響出力装置１は、遠隔ユーザが発する音声に対応する仮想音響や、道路付近の標識や看板等の案内情報を聴覚的に提示する仮想音響を出力する。遠隔ユーザが発する音声に対応する仮想音響を乗員ユーザに出力することにより、乗員ユーザは、車両３内にいながら、ヘッドホンを介して遠隔ユーザの話を聞くことができる。また、案内情報等を聴覚的に示す仮想音響の例としては、道路付近に設置される標識や看板等に視覚的に記されている案内情報を音声情報としてヘッドホンを介して出力するということが挙げられる。一般的に、現実には標識や看板から音が出力されることはないが、仮想音響で案内情報を聴覚的に提示することにより、あたかも標識や看板に記されている案内情報に基づく仮想音響が出力されるかのように感じられる。

【0013】

また、音響出力装置１は、乗員ユーザが視認しているディスプレイに仮想オブジェクトの画像を表示させる制御を行うこととしてもよい。仮想のオブジェクトとしては、遠隔ユーザのアバターや交通案内等の情報を視覚的に表示したオブジェクトが挙げられる。音響出力装置１のディスプレイとしては、透過型ディスプレイや非透過型ディスプレイが挙げられる。透過型ディスプレイは、ディスプレイの背後の光景が透けて見えるディスプレイであり、当該ディスプレイ上に仮想オブジェクトを表示することができる。これにより、ユーザには、直接視認している現実の光景に仮想空間上のオブジェクトが表示されているように見える。また、非透過型ディスプレイは、ディスプレイの背後の光景を撮像した撮像画像が表示され、さらにその撮像画像の上に仮想空間上のオブジェクトが重畳表示されるものである。なお、本実施形態では、音響出力装置１は、車両に乗車しているユーザが装着するものとしているが、これに限らず、その他の開放空間あるいは閉鎖空間で装着するものであってもよい。例えば、ユーザの自室や飲食店、テーマパーク等において、ユーザは音響出力装置１を装着することとしてもよい。また、仮想オブジェクトは、例えば、実在の人間であるユーザのアバターに限らず、バーチャルエージェントであってもよい。

【0014】

コントローラ１０は、ハードウェア及びソフトウェアを有するコンピュータを備えており、このコンピュータはプログラムを格納したＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、ＲＯＭに格納されたプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、アクセス可能な記憶装置として機能するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含むものである。コントローラ１０は、機能ブロックとして、音像定位部１００と、仮想音響加工部１０１と、仮想音源取得部１０２と、乗員ユーザ状態取得部１０３と、環境情報取得部１０４とを備え、上記各機能を実現する又は各処理を実行するためのソフトウェアと、ハードウェアとの協働により各機能を実行する。コントローラ１０は、仮想音源取得部１０２、乗員ユーザ状態取得部１０３及び環境情報取得部１０４によりそれぞれ取得された情報の入力を受けて、当該情報に基づいて、仮想音響の音像を所定位置に定位し、所定の出力態様に基づいて仮想音響を加工する。そして、コントローラ１０は、出力装置１１に、所定位置に音像を定位された仮想音響に対応する実音響を出力させる制御を行う。これにより、ユーザには、感覚的に所定位置から仮想音響が出力されるように聞こえる。

【0015】

音像定位部１００は、所定位置に仮想音響の音像を定位させるように仮想音響の音声信号処理を行う。これにより、感覚的に仮想音響が所定位置から聞こえてくるように実音響が出力される。音像定位部１００は、仮想音響の音源である仮想音源の位置に仮想音響の音像を定位する。仮想音源の位置は、乗員ユーザに対する相対的な位置であり、方向や距離によって設定される。例えば、車室内の隣の座席に遠隔ユーザのアバターが提示されている場合には、仮想音源は遠隔ユーザのアバターである。また、仮想音源の位置は、遠隔ユーザのアバターの位置となる。また、仮想音響は、遠隔ユーザが発する音声に基づいて生成されるものである。このとき、音像定位部１００は、遠隔ユーザのアバターの位置に仮想音響の音像を定位させるように仮想音響の音声信号処理を行う。これにより、遠隔ユーザのアバターの位置に遠隔ユーザの音声に基づく仮想音響の音像が定位される。すなわち、乗員ユーザには、遠隔ユーザの音声が遠隔ユーザのアバターの位置から聞こえてくるように、乗員ユーザは感じられる。また、遠隔ユーザのアバターが車室外、例えば、ドアの前に立っているような場面を想定するとしてもよい。この場合には、音像定位部１００は、遠隔ユーザのアバターが立っている車室外の位置を仮想音源の位置に設定し、車室外の位置に仮想音響の音像を定位させるように仮想音響の音声信号処理を行う。これにより、遠隔ユーザの音声に基づく仮想音響の音像が車室外の位置に定位される。すなわち、乗員ユーザには、遠隔ユーザのアバターが立っている車室外の位置から遠隔ユーザの音声が聞こえてくるように感じられる。

【0016】

さらに、仮想音響は、車両の走行に必要な案内情報を伝える音声に基づいて生成されてもよい。車両の走行に必要な案内情報は、例えば、標識や看板等の対象物に記されている案内情報である。対象物としては、規制や指示を示す道路標識、高速道路における出口案内やサービスエリアに関する案内標識、道路沿いの店舗の看板等が例として挙げられる。また、ランドマークとなる建物等に関する案内情報であってもよい。本実施形態では、対象物ごとに案内情報が予め設定されていて、当該案内情報が地図上における対象物の位置と関連付けられている。例えば、対象物が高速道路の出口案内に関する案内標識であれば、案内情報は、「およそ１ｋｍ先に出口があります。」というような音声情報である。仮想音響が案内情報を伝える音声である場合には、音像定位部１００は、案内情報に基づく仮想音響の仮想音源の位置を所定位置に定位する。具体的には、音像定位部１００は、当該案内情報に基づく仮想音響の音像を案内標識の位置に定位させるように音声信号処理を行う。これにより、仮想音響の音像が案内標識の位置に定位される。すなわち、乗員ユーザには、案内標識の位置から案内情報の音声が聞こえてくるように感じられる。例えば、車両３が地図上の対象物の位置に接近したときに、対象物の位置に音像が定位された仮想音響に対応する実音響が出力される。

【0017】

仮想音響加工部１０１は、仮想音源取得部１０２、乗員ユーザ状態取得部１０３及び環境情報取得部１０４によりそれぞれ取得された情報に基づいて、仮想音響を加工する。具体的には、仮想音響加工部１０１は、まず、仮想音響に対応する実音響が出力される際の出力態様を選択する。次に、仮想音響加工部１０１は、選択された出力態様に応じて、仮想音響の音声信号処理を行う。出力態様は、例えば、出力強度、音の高さ、音の質やエコーの程度で表される。

【0018】

図２は、音響出力装置１を装着する乗員ユーザが車室内の運転席に座っている場合を想定して、仮想音源の位置、仮想音響の方向及び音響環境の違いごとに異なる実際の状況を模式的に表した図である。仮想音響加工部１０１は、図２に示されるような状況の違いに応じて、仮想音響の出力態様を選択する。以下、仮想音源を遠隔ユーザのアバター、開閉部を車両３の窓として説明する。図２Ａは、仮想音源の位置が車室内、仮想音響が出力される方向に車両３の窓があり、かつ、車両３の窓が開いている場合を表している。例としては、遠隔ユーザのアバターが車室内の助手席の位置にいて、遠隔ユーザのアバターの顔が車両３の窓に向いている、かつ、車両３の窓が開いているというような場合である。また、図２Ｂは、例えば、遠隔ユーザのアバターが車室内の座席の位置にいて、アバターの顔が車両３の窓に向いている、かつ、車両３の窓が閉じているというような場合を表している。図２Ｃは、例えば、遠隔ユーザのアバターが車室外の位置にいて、アバターの顔が車両３に向いている、かつ、車両３の窓が開いている場合を表している。また、図２Ｄは、遠隔ユーザのアバターが車室外の位置にいて、アバターの顔が車両３の窓に向いている、かつ車両３の窓が閉じている場合を表している。

【0019】

以下、上述の各状況に応じた仮想音響の加工内容を説明する。加工内容は、例えば、表１で示されるように、音響環境情報と仮想音響の位置方向の情報に応じて定められている。表１では、（１）の場合、すなわち、仮想音源の位置が室内、仮想音響の音響方向に対象の開閉部があり、かつ開閉部の状態が開状態である場合（図２Ａに相当）には、仮想音響加工部１０１は、仮想音響の出力強度を低く設定する。出力態様の設定は、（２）の場合（図２Ｂに相当）における出力態様を基準として、相対的に設定される。つまり、仮想音響加工部１０１は、（１）の場合には、（２）の場合における出力強度よりも、出力強度を低く設定する。一般的に、車両の開閉部が空いている場合には、開閉部が閉じている場合よりも、室内の音響は聞こえづらくなるからである。また、（３）の場合、すなわち、仮想音源の位置が室内、仮想音響の音響方向に開閉部がなしの場合には、（２）の場合と同じ出力態様を設定する。つまり、（２）、（３）の場合には、取得した仮想音響を加工せずに出力する。また、（４）の場合、すなわち、仮想音源の位置が室外であり、音響方向に対象の開閉部があり、かつ、開閉部の状態が開状態である場合（図２Ｃに相当）、仮想音響の出力強度を高く設定する。このときには、出力態様の設定は、（５）の場合（図２Ｄに相当）における出力態様を基準として、相対的に設定される。つまり、仮想音響加工部１０１は、（４）の場合には、（５）の場合における出力強度よりも、出力強度を高く設定する。一般的に、車両の開閉部が空いている場合には、開閉部が閉じている場合よりも、室外から聞こえてくる音響が聞こえやすくなるからである。また、（６）の場合、すなわち、仮想音源の位置が室外、仮想音響の方向に対象の開閉部がない場合には、（５）の場合における出力強度を基準として、出力強度を低く設定する。なお、出力態様の基準は、上記に限らず、例えば、（１）の場合の出力態様を基準として、（２）及び（３）の場合における出力態様を加工することとしてもよい。また、出力強度の設定は、仮想音源の位置が室内にあるか室外にあるかによって、相対的に設定されることとしてもよい。例えば、仮想音響加工部１０１は、仮想音源の位置が室内にある場合には、仮想音源の位置が室外にある場合よりも、出力強度を高く設定する。これは、乗員ユーザにとって、室外から聞こえてくる音響よりも、室内から聞こえてくる音響のほうが聞こえやすくなるからである。

【0020】

【表1】

【0021】

なお、仮想音響加工部１０１は、開閉部が開状態または閉状態かに応じて、出力態様を設定することに限らず、開閉部の開き度合いに応じて、出力態様を設定することとしてもよい。すなわち、仮想音響加工部１０１は、開閉部が開状態であるときに、開閉部の開口率を連続的あるいは段階的に算出して、開口率に応じて出力強度を連続的あるいは段階的に変更することとしてもよい。開口率とは、開き始めから完全に開いている状態までの開口率、すなわち、開閉部の面積当たりの開いている部分の割合である。具体的には、仮想音響加工部１０１は、例えば、車両３の開閉部の開閉状態をエンコーダー等のセンサで検出した結果に基づいて、開閉部の開口率を算出する。開口率は、パーセントで算出することとしてもよいし、予めいくつかの段階的な区分を設定して当該区分により区分分けすることとしてもよい。例えば、完全に開いている状態から順に「大」、「中」、「小」に区分分けする。そして、仮想音響加工部１０１は、算出された開口率に応じて仮想音響を出力する出力強度を変更する。例えば、仮想音源の位置が車室内である場合、開閉部の開口率が大きいほど、仮想音響の出力強度を低く設定する。あるいは、開閉部の開口率が小さいほど、仮想音響の出力強度を高く設定する。

【0022】

仮想音源取得部１０２は、仮想音源の位置情報、仮想音源から仮想音響が出力される方向情報及び仮想音響の音声情報を取得する。仮想音源が遠隔ユーザのアバターである場合には、仮想音源取得部１０２は、遠隔ユーザのアバターの位置情報を、仮想音源の位置情報として取得する。仮想音源取得部１０２は、少なくとも車両３を基準とした位置、すなわち、遠隔ユーザのアバターが車室内及び車室外のどちらに存在するかに応じて、仮想音源の位置情報を取得する。例えば、遠隔ユーザのアバターが車室内の座席の位置に存在すれば、仮想音源の位置は車室内の当該座席の位置として取得される。具体的な位置情報の取得方法としては、まず、遠隔ユーザが装着する端末装置２の顔向き検出装置２１を含むセンサにより、遠隔ユーザの頭部の位置及び頭部の姿勢が計測される。次に、遠隔ユーザの頭部の位置及び姿勢が計測されると、仮想音源取得部１０２は、遠隔ユーザの頭部の位置姿勢情報を、車両３内における遠隔ユーザのアバターの位置及び姿勢に変換することで、遠隔ユーザのアバターの位置姿勢情報を取得する。このとき、遠隔ユーザのアバターの位置姿勢への変換は、対応する位置を起点として相対的に実行される。例えば、仮想音源取得部１０２は、車両３内の所定の座席を基準位置として設定し、遠隔ユーザの空間内に、当該基準位置に対応する対応位置を設定する。次に、遠隔ユーザの位置姿勢情報は、空間内の対応位置を基準とした相対的な位置関係（対応位置からの距離や方向）として取得される。そして、仮想音源取得部１０２は、対応位置を基準とした、遠隔ユーザの相対的な位置関係を、車両３内の基準位置を基準とした、遠隔ユーザのアバターの相対的な位置関係に変換することで、遠隔ユーザのアバターの位置姿勢を取得する。

【0023】

また、仮想音源取得部１０２は、遠隔ユーザのアバターの顔の向きを、仮想音響が出力される方向情報として取得する。本実施形態では、仮想音源取得部１０２は、遠隔ユーザのアバターの顔が開閉部に向いているか否かを方向情報として取得する。具体的には、仮想音源取得部１０２は、開閉部の位置と、遠隔ユーザの顔の向きの情報を取得し、これらの情報に基づいて、遠隔ユーザのアバターの顔が開閉部に向いているか否かを判定する。遠隔ユーザのアバターの顔が開閉部に向いていると判定される場合には、仮想音源取得部１０２は、仮想音響が出力される方向に開閉部が位置するという情報を、仮想音響の方向情報として取得する。遠隔ユーザのアバターの顔が開閉部に向いているか否かの判定方法は、例えば、遠隔ユーザの顔の向きを、車両３内における遠隔ユーザのアバターの顔の向きに変換して、車両３内の開閉部の位置と遠隔ユーザのアバターの顔の向きとの関係によって判定する方法がある。すなわち、仮想音源取得部１０２は、遠隔ユーザの位置姿勢情報を取得し、車両３内の基準位置を起点とした相対的な位置関係として変換して、車両３内における遠隔ユーザのアバターの顔の向きの情報を取得する。このとき、車両３内の開閉部の位置情報についても、車両３内の基準位置を起点とした相対的な位置関係として算出することができる。したがって、仮想音源取得部１０２は、開閉部の位置情報と、遠隔ユーザのアバターの顔の向きの情報から、遠隔ユーザのアバターの顔が開閉部に向いているか否かを判定することができる。なお、判定方法としては、例えば、仮想音源取得部１０２は、遠隔ユーザの顔の動きに対応する遠隔ユーザのアバターの視線の方向の車室内外の映像が撮像された撮像画像の中に開閉部が特定されるか否かによって判定してもよい。仮想音源取得部１０２は、撮像画像の画像認識を行い、開閉部の特徴点を抽出し、開閉部が特定されるか否かによって判定を行う。

【0024】

また、仮想音源取得部１０２は、仮想音響の音声情報を取得する。仮想音響の音声情報は、例えば、音声取得装置２２により取得された遠隔ユーザが発した音声の情報である。具体的には、仮想音源取得部１０２は、遠隔ユーザの近くに設置されている音声取得装置２２（例えば、ＶＲヘッドセットに備え付けられているマイクロフォン）により取得された音声から変換された音声信号を取得する。

【0025】

また、仮想音源取得部１０２は、車両３が走行する道路周辺の標識や看板等の位置情報及び音声情報を取得する。標識や看板等の位置情報は、ＧＰＳに基づく自車両の現在位置と標識や看板等の位置との相対的位置の情報であり、地図上の位置として取得される。また、標識や看板等の音声情報は、予め標識や看板等に記される案内情報に基づいて設定されている。そして、車両３が当該標識や看板が設置されている位置に接近すると、当該音声情報が取得される。

【0026】

乗員ユーザ状態取得部１０３は、乗員ユーザの左右の耳の位置および姿勢に関する情報を取得する。乗員ユーザの位置姿勢情報は、ジャイロセンサ等を含むサングラス型の位置姿勢推定装置またはユーザを観測する可視光カメラ、ＩＲカメラ、距離センサ等のセンサを入力部とした位置姿勢推定によって取得される。

【0027】

環境情報取得部１０４は、車両３における音響環境に関する音響環境情報を取得する。車両３における音響環境とは、車両３において音響に影響を与える環境のことであり、例えば、音響の聞き取りやすさに影響を与える騒音を発生させる環境のことである。本実施形態では、音響環境情報として、車両３の車室内と車室外を仕切る開閉部の開閉状態の情報、車両３の車速情報、車両３の外の天候情報が例として挙げられる。開閉部は、ユーザがいる車室内と車室外を仕切り、開閉が可能な機構であり、例えば、車両のドアやパワーウィンドウ、オープンカーなどの開閉可能なルーフや着脱可能なルーフが開閉部に該当する。一般に、車両の窓が開いていれば、車室内のユーザには、車室内で出力される音響は小さく聞こえるものである。すなわち、車両の開閉部の開閉状態は、車両における音響に影響を与えている。開閉状態の情報は、各開閉部の可動箇所に取り付けたエンコーダーなどのセンサによって計測することで取得される。

【0028】

また、環境情報取得部１０４は、車両３における音響環境として、車両３の車速情報を取得することとしてもよい。一般に、車両の車速が高ければ、それに伴ってエンジン音が大きくなり、車両における音響は聞きとりにくくなるものである。すなわち、車両の走行状態は、車両における音響に影響を与える環境の一部である。また、環境情報取得部１０４は、天候情報を取得することとしてもよい。一般に、雨天であれば、雨音によって車両における音響は聞き取りにくくなるものである。すなわち、天候の状態は、車両における音響に影響を与える環境の一部である。天候情報は、例えば、ワイパー動作から検知する。外部から通信によって天候情報を取得することとしてもよい。

【0029】

出力装置１１は、所定位置に音像が定位され、かつ、出力態様が設定された仮想音響に対応する実音響を出力する。具体的には、出力装置１１は、音像定位部１００及び仮想音響加工部１０１により音声信号処理された音声信号が入力されると、当該音声信号を変換して実音響を出力する。出力装置１１は、例えば、ヘッドホンやスピーカーである。所定位置に音像が定位された仮想音響に対応する実音響が出力されることで、所定位置に定位された仮想音響の音像が形成される。ユーザには、仮想音響が所定位置から聞こえてくるように感じられる。

【0030】

通信装置１２は、端末装置２と通信を行い、情報の送受信を行う。通信装置１２は、車室内外が撮像された撮像画像を端末通信装置２３に送信し、端末装置２から、遠隔ユーザの位置姿勢情報や音声情報を受信する。

【0031】

端末装置２は、遠隔ユーザが装着する装置であり、車両３内の空間に対応する仮想空間を視覚的かつ聴覚的に遠隔ユーザに提示することができる。例えば、ヘッドホンが備え付けられているＶＲ用ヘッドマウントディスプレイである。端末装置２は、ディスプレイに車両３内外の光景が撮像された画像を表示する。これにより、車両３の遠隔にいるユーザは、あたかも自分が車両３内にいるような光景を見ることができる。端末装置２は、コントローラ２０と、顔向き検出装置２１と、音声取得装置２２と、端末通信装置２３とを備える。コントローラ２０は、画像取得部２００、画像提示部２０１、情報生成部２０２を備える。端末装置２は、端末通信装置２３を介して、音響出力装置１と通信可能である。

【0032】

顔向き検出装置２１は、遠隔ユーザの顔の向きを検出する。顔向き検出装置２１は、例えば、加速度センサやジャイロセンサにより構成される。顔向き検出装置２１は、加速度センサやジャイロセンサにより遠隔ユーザの頭部の動きを計測して顔の向きを検出する。

【0033】

音声取得装置２２は、遠隔ユーザが発する音声を取得する。つまり、音声取得装置２２は、遠隔ユーザが話している内容を取得する。音声取得装置２２は、例えば、ヘッドマウントディスプレイに備え付けられているマイクロフォンである。音声取得装置２２は、遠隔ユーザの音声を取得すると、取得された音声を音声信号に変換する。

【0034】

端末通信装置２３は、音響出力装置１と情報の送受信を行う。端末通信装置２３は、情報生成部２０２により生成された仮想音響の音声情報や仮想音響が出力される方向の情報を音響出力装置１の通信装置１２に送信する。また、端末通信装置２３は、音響出力装置１から、自車両内外の映像が撮像された撮像画像を取得する。

【0035】

画像取得部２００は、車両３内における遠隔ユーザのアバターの位置を基準として、遠隔ユーザの顔の向きに対応する方向の車室内外の映像が撮像された画像を取得する。遠隔ユーザの顔の向きに対応する方向は、車両３内の遠隔ユーザのアバターの顔の向きに対応している。例えば、遠隔ユーザが右側を向けば、遠隔ユーザのアバターも右側に顔を向ける。車両３内のカメラにより、遠隔ユーザのアバターの位置を基準として、遠隔ユーザの顔の向きに対応する方向の車両３内外の映像が撮像されると、撮像された画像が通信装置１２を介して端末通信装置２３に送信される。そして、画像取得部２００は、端末通信装置２３を介して、車両３内外の映像の撮像画像を取得する。画像取得部２００により撮像画像が取得されると、当該撮像画像は画像提示部２０１に出力される。

【0036】

画像提示部２０１は、画像取得部２００により取得された車室内外の映像の撮像画像を端末装置２のディスプレイに表示する。これにより、遠隔ユーザは、当該撮像画像が表示されるディスプレイを介して、遠隔にある車両３内の空間を見ることができる。

【0037】

情報生成部２０２は、音声取得装置２２により取得された音声に基づいて、仮想音響の音声情報を生成する。情報生成部２０２は、仮想音源が遠隔ユーザのアバターである場合には、遠隔ユーザの音声に基づいて、仮想音響の音声情報を生成し、仮想音源が道路付近の標識や看板等の位置に設定される場合には、標識や看板等に記されている案内情報に基づいて、仮想音響の音声情報を生成する。また、情報生成部２０２は、顔向き検出装置２１により検出された顔向きに基づいて、仮想音響が出力される方向の情報を生成する。

【0038】

次に、図３を用いて、本実施形態に係る音響出力制御の手順について説明する。図３は、音響出力制御を実行するための手順を示すフローチャートである。以下、車両３内において、乗員ユーザが視認しているディスプレイに、遠隔ユーザのアバターが表示されている場合を想定する。すなわち、仮想音源を遠隔ユーザのアバターとして、遠隔ユーザの音声に基づいて生成される音声情報を仮想音響とする場合における音響出力制御を説明する。この場合には、音声取得装置２２が遠隔ユーザの音声を取得したことを検知したときに、コントローラ１０は、音響出力制御を開始する。つまり、遠隔ユーザがマイクに向かって話をすると、音響出力制御を開始する。また、これに限らず、仮想音源が道路付近の標識や看板等に位置する場合には、車両３が道路付近の標識や看板等に接近していると判定されるとき、コントローラ１０が音響出力制御を開始することとしてもよい。

【0039】

ステップＳ３０１では、仮想音源取得部１０２は、仮想音響の仮想音源の位置情報を取得する。仮想音源の位置情報は、車両３を基準にした位置、すなわち、仮想音源が車両３の車室内に位置するか、または車室外に位置するかに関する情報である。仮想音源の位置は、車両３を基準とした遠隔ユーザのアバターの位置に基づいて特定される。例えば、遠隔ユーザのアバターが車室内の座席、例えば、助手席に位置するときには、仮想音源の位置は、助手席の位置に特定される。また、仮想音源取得部１０２は、遠隔ユーザがいる空間に対する遠隔ユーザの相対的位置関係を、車両３内の空間に対する遠隔ユーザのアバターの相対的位置関係に変換することによって、遠隔ユーザのアバターの位置情報を取得する。

【0040】

ステップＳ３０２では、仮想音源取得部１０２は、仮想音響が出力される方向の情報を取得する。具体的には、仮想音源取得部１０２は、遠隔ユーザの顔の向きを取得し、車両３の開閉部の位置の情報を取得する。そして、仮想音源取得部１０２は、遠隔ユーザの顔が車両３の開閉部に向いているか否かを判定し、判定結果を仮想音響の方向の情報として取得する。

【0041】

ステップＳ３０３では、仮想音源取得部１０２は、仮想音響の音声情報を取得する。仮想音響の音声情報は、遠隔ユーザが発する声に基づく音声情報である。具体的には、仮想音源取得部１０２は、遠隔ユーザの声に基づいて生成された音声情報を取得する。遠隔ユーザの声は、端末装置２の音声取得装置２２により取得される。すなわち、遠隔ユーザが話をしている内容が音声情報となる。

【0042】

ステップＳ３０４では、乗員ユーザ状態取得部１０３は、乗員ユーザの頭部の位置姿勢情報を取得する。例えば、乗員ユーザ状態取得部１０３は、加速度センサやジャイロセンサにより頭部の動きを計測して頭部の向きを検知する。

【0043】

ステップＳ３０５では、環境情報取得部１０４は、車両３の開閉部の情報を取得する。具体的には、環境情報取得部１０４は、開閉部の開閉状態の情報を取得する。このとき、環境情報取得部１０４は、開閉部の開口率を取得することとしてもよい。

【0044】

ステップＳ３０６では、音像定位部１００は、仮想音響の音像を仮想音源の位置に定位する。具体的には、音像定位部１００は、ステップＳ３０１で取得された遠隔ユーザのアバターの位置と、ステップＳ３０４で取得された乗員ユーザの位置姿勢に基づき、遠隔ユーザの声に基づく仮想音響の音像を遠隔ユーザのアバターの位置に定位させるように音声信号処理を行う。すなわち、音像定位部１００は、遠隔ユーザの声に基づく仮想音響が遠隔ユーザのアバターの位置から乗員ユーザの位置まで聞こえてくるように音像を定位させる。

【0045】

ステップＳ３０７では、仮想音響加工部１０１は、ステップＳ３０１、Ｓ３０２及びＳ３０５で取得した各情報に基づいて、仮想音響の出力態様を選択する。具体的には、仮想音響加工部１０１は、仮想音源の位置、仮想音響の方向、及び開閉部の開閉状態の情報に応じて出力態様の加工内容を選択する。出力態様の加工内容は、前述の表１に記載されているように、仮想音源の位置、仮想音響の方向、及び開閉部の開閉状態に応じて予め設定されている。例えば、仮想音源の位置が車室内、仮想音響の方向に開閉部があり、開閉部が開状態である場合には、仮想音響加工部１０１は、仮想音響の出力強度を低く設定する。出力強度の加工パラメータの設定の例としては、開閉部の開閉状態に基づいて設定される場合には、開閉部が閉状態であるとき、加工パラメータは１に設定され、開閉部が開状態であるとき、加工パラメータは０．８に設定される。仮想音響加工部１０１は、各条件に基づいて加工パラメータを設定する。

【0046】

ステップＳ３０８では、仮想音響加工部１０１は、ステップＳ３０７で選択された加工内容に基づいて仮想音響を加工する。具体的には、仮想音響加工部１０１は、選択された出力態様に応じて仮想音響の音声信号処理を行う。このとき、仮想音響加工部１０１は、ステップＳ３０７で設定された加工パラメータと仮想音響の出力強度に基づいて、加工後の出力強度を算出する。そして、仮想音響加工部１０１は、音声信号処理がされた音声信号を出力装置１１に出力する。なお、ステップＳ３０６において、音像定位部１００は、仮想音響の音像定位に基づく加工パラメータの設定だけを行い、ステップＳ３０８において、仮想音響加工部１０１が、音像定位に基づく加工パラメータと出力態様の設定に基づく加工パラメータを合わせて音声信号処理を行うこととしてもよい。

【0047】

ステップＳ３０９では、出力装置１１は、ユーザのアバターの位置に音像を定位され、かつ、出力態様が設定された仮想音響に対応する実音響を出力する。具体的には、出力装置１１は、ステップＳ３０６及びステップＳ３０８で音声信号処理された音声信号を実音響に変換して出力する。これによって、設定された出力態様により、遠隔ユーザの声に基づく仮想音響が遠隔ユーザのアバターの位置から乗員ユーザの位置まで聞こえてくるように実音響が出力される。

【0048】

また、本実施形態では、仮想音源は、道路付近にある標識や看板等、車両３の走行に必要な案内情報であってもよい。この場合には、仮想音源取得部１０２は、仮想音源の位置を車室外に特定する。具体的には、車両３が走行する道路付近の標識や看板等が設置されている位置が仮想音源の位置として特定される。また、仮想音源から出力される仮想音響の方向は、仮想音源の位置から乗員ユーザの方向となる。仮想音源取得部１０２は、当該方向に開閉部が位置するか否かを判定する。さらに、仮想音響の音声情報として、標識や看板等に記されている案内情報が取得される。

【0049】

仮想音源取得部１０２は、各情報を取得すると、当該情報に基づいて、音像定位部１００は、仮想音響の音像を仮想音源の位置に定位させるように仮想音響を音声信号処理する。すなわち、案内情報の音声に基づく仮想音響の音像が、標識や看板等の位置に定位される。さらに、仮想音響加工部１０１は、選択された出力態様に応じて仮想音響を音声信号処理する。これにより、仮想音響の出力態様は、音響環境の変化に追従したものになる。そして、出力装置１１は、音声信号処理された仮想音響の音声信号を実音響に変換して出力する。これにより、ユーザには、標識や看板等の案内情報の音声が、標識や看板等の位置から聞こえてくるように感じられる。

【0050】

なお、本実施形態では、環境情報取得部１０４が取得する音響環境の情報は、車両３の開閉部の開閉状態だけに限らず、例えば、車両３の車速情報や天候情報を取得することとしてもよい。この場合には、仮想音響加工部１０１は、車速情報に基づいて、車両３の車速が速いほど、仮想音響の出力強度を弱く設定し、当該出力強度に応じて仮想音響の音声信号処理を行う。また、仮想音響加工部１０１は、天候情報に基づいて、天候が雨天であれば、晴天時よりも、仮想音響の出力強度を弱く設定し、当該出力強度に応じて仮想音響の音声信号処理を行う。このように、本実施形態では、環境情報取得部１０４が取得する車両３における音響環境に応じて、仮想音響加工部１０１が、音響環境を反映した仮想音響の出力態様を選択し、選択された出力態様に応じて仮想音響の音声信号処理を行う。また、上記の音響環境の条件は複数組み合わせて仮想音響の出力態様の選択に用いられることとしてもよい。例えば、車両３の開閉部が開状態、かつ、車両３の車速が速い場合には、風切り音によって車両３内の音響は聞き取りにくくなる。したがって、このような場合には、仮想音響加工部１０１は、仮想音響の出力強度を低く設定する。

【0051】

以上のように、本実施形態では、車両を基準とした所定位置に仮想音響の音像を定位し、所定位置に音像が定位された仮想音響に対応する実音響を出力し、車両における音響環境に関する音響環境情報を取得し、音響環境情報に応じた出力態様により実音響を出力する。これにより、現実の環境の変化に追従した仮想音響を出力することができる。

【0052】

また、本実施形態では、車室内と車室外を仕切る開閉部を有する車両を基準とした所定位置に、所定方向に出力される仮想音響の音像を定位し、音響環境情報は、開閉部の開閉状態を含み、所定位置から所定方向に開閉部が位置する場合に、開閉部の開閉状態に応じた出力強度により実音響を出力する。これにより、車両の開閉部と仮想音響の位置方向に応じて出力強度が変更されるため、現実の環境の変化として車両の開閉部の変化に追従するように仮想音響を出力することができる。

【0053】

また、本実施形態では、所定位置が車室内に位置する場合かつ所定位置から所定方向に開閉部が位置する場合に、開閉部が開状態であるときには、開閉部が閉状態であるときよりも低い出力強度により実音響を出力する。これにより、仮想音源の位置が室内にあり、車両の開閉部が開いている場合における車室内の音響を再現するように仮想音響を出力することができる。

【0054】

また、本実施形態では、所定位置が車室内に位置する場合かつ所定位置から所定方向に開閉部が位置する場合に、開閉部が開状態であるときには、開閉部の開口率が大きいほど、より低い出力強度により実音響を出力する。これにより、仮想音源の位置が室内にあり、車両の開閉部が開いている場合において、開閉部が開いている度合いに応じて変化する車室内の音響を再現するように仮想音響を出力することができる。

【0055】

また、本実施形態では、所定位置が車室外に位置する場合かつ所定位置から所定方向に開閉部が位置する場合に、開閉部が開状態であるときには、開閉部が閉状態であるときよりも高い出力強度により実音響を出力する。これにより、仮想音源の位置が室外にあり、車両の開閉部が開いている場合における車室内の音響を再現するように仮想音響を出力することができる。

【0056】

また、本実施形態では、所定位置が車室外に位置する場合かつ所定位置から所定方向に開閉部が位置する場合に、開閉部が開状態であるときには、開閉部の開口率が大きいほど、より高い出力強度により実音響を出力する。これにより、仮想音源の位置が室外にあり、車両の開閉部が開いている場合において、開閉部が開いている度合いに応じて変化する車室内の音響を再現するように仮想音響を出力することができる。

【0057】

また、本実施形態では、開閉部は、少なくとも車両の窓、ドア、開閉可能なルーフ及び着脱可能なルーフのうちのいずれかひとつである。これにより、現実の環境の変化として、車両の窓、ドア及びルーフの開閉状態の変化に追従するように仮想音響を出力することができる。

【0058】

また、本実施形態では、音響出力装置と、音響出力装置と通信可能な端末装置とを備え、端末装置は、車両の遠隔にいる第１ユーザの顔の向きを検出し、所定位置を基準にして第１ユーザの顔の向きに対応する方向の車室内外の映像が撮像された撮像画像を取得し、取得された撮像画像を第１ユーザに提示し、第１ユーザにより発せられた音声を取得し、取得された音声に基づいて、仮想音響に関する情報を生成し、第１ユーザの顔の向きに対応する方向に基づいて、所定方向に関する情報を生成し、生成された仮想音響に関する情報及び所定方向に関する情報を音響出力装置に送信し、音響出力装置は、第１ユーザに提示された撮像画像上において開閉部が提示されている位置の方向に、第１ユーザの顔の向きが向いている場合に、所定位置から所定方向に開閉部が位置すると判定し、車両に乗車している第２ユーザに、所定位置に音像が定位された仮想音響に対応する実音響を出力する。これにより、車両の遠隔にいる第１ユーザに車両内外の映像を見せることができ、第１ユーザの顔の向き及び音声に基づいた仮想音響を出力することができる。

【0059】

なお、以上に説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

【符号の説明】

【0060】

１…音響出力装置
１０…コントローラ
１００…音像定位部
１０１…仮想音響加工部
１０２…仮想音源取得部
１０３…乗員ユーザ状態取得部
１０４…環境情報取得部
１１…出力装置
１２…通信装置
２…端末装置
２０…コントローラ
２００…画像取得部
２０１…画像提示部
２０２…情報生成部
２１…顔向き検出装置
２２…音声取得装置
２３…端末通信装置
１０００…音響出力システム

【図1】

【図2A】

【図2B】

【図2C】

【図2D】

【図3】