特許 7604785 音処理方法、および、音処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-16

(45)【発行日】2024-12-24

(54)【発明の名称】音処理方法、および、音処理装置

(51)【国際特許分類】

   H04S 7/00 20060101AFI20241217BHJP

   G10K 15/00 20060101ALI20241217BHJP

   H04R 3/00 20060101ALI20241217BHJP

【ＦＩ】

H04S7/00 300

G10K15/00 M

H04R3/00 310

【請求項の数】 7

(21)【出願番号】P 2020090333

(22)【出願日】2020-05-25

(65)【公開番号】P2021185654

(43)【公開日】2021-12-09

【審査請求日】2023-03-20

(73)【特許権者】

【識別番号】000004075

【氏名又は名称】ヤマハ株式会社

(74)【代理人】

【識別番号】110000970

【氏名又は名称】弁理士法人 楓国際特許事務所

(72)【発明者】

【氏名】三輪 明宏

(72)【発明者】

【氏名】田中 健一

【審査官】稲葉 崇

(56)【参考文献】

【文献】特開２００７－０２６２２２（ＪＰ，Ａ）

【文献】特許第３０８９４２１（ＪＰ，Ｂ２）

【文献】特開２０１７－１０２０８５（ＪＰ，Ａ）

【文献】国際公開第２０１４／１５２７４６（ＷＯ，Ａ１）

【文献】国際公開第２００９／１２８３６６（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｓ １／００－７／００

Ｇ１０Ｋ １５／００－１５／１２

Ｈ０４Ｒ １／００－３１／００

(57)【特許請求の範囲】

【請求項1】

音響空間の画像を取得し、
前記画像から前記音響空間における平面を設定し、
前記音響空間の画像内に仮想スピーカを設定し、
前記仮想スピーカの特性から、前記平面に対する音圧分布を算出し、
前記音圧分布を、前記平面に重ねあわせ、
前記音響空間の画像内に聴取位置を設定し、
前記音圧分布に対応して、前記仮想スピーカから前記聴取位置に放音される音の伝搬特性を算出し、
前記音の伝搬特性と、聴取したい原音データとを用いて、前記聴取位置での音データを生成し、
前記画像の取得位置を検出し、前記画像の取得位置を前記聴取位置に設定する、
音処理方法。

【請求項2】

前記音データを再生して放音する、
請求項１に記載の音処理方法。

【請求項3】

前記平面は、前記音響空間に複数設定される、
請求項１または請求項２に記載の音処理方法。

【請求項4】

前記仮想スピーカは、前記音響空間に複数設定され、
前記音圧分布を、複数の前記仮想スピーカ毎の音圧分布を合成することによって生成する、
請求項１乃至請求項３のいずれかに記載の音処理方法。

【請求項5】

前記音圧分布は、前記仮想スピーカからの直接音の音圧分布である、
請求項１乃至請求項４のいずれかに記載の音処理方法。

【請求項6】

前記画像の特徴部を解析して、前記平面を検出する、
請求項１乃至請求項５のいずれかに記載の音処理方法。

【請求項7】

音響空間の画像を取得する画像取得部と、
前記画像から前記音響空間における平面を設定する平面設定部と、
前記音響空間の画像内に仮想スピーカを設定する仮想スピーカ設定部と、
前記仮想スピーカの特性から、前記平面に対する音圧分布を算出する音圧分布算出部と、
前記音圧分布を前記平面に重ねあわせて合成画像を生成する合成画像生成部と、
前記音響空間の画像内に聴取位置を設定する聴取位置設定部と、
前記音圧分布に対応して、前記仮想スピーカから前記聴取位置に放音される音の伝搬特性を算出する伝搬特性算出部と、
前記音の伝搬特性と、聴取したい原音データとを用いて、前記聴取位置での音データを生成する音信号生成部と、
を備え、
聴取位置設定部は、前記画像の取得位置を検出し、前記画像の取得位置を前記聴取位置に設定する、
音処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

この発明の一実施形態は、空間の音像確認を行う技術に関する。

【背景技術】

【0002】

特許文献１の音響調整装置は、音量レベルを測定したい音場に設置される。音響調整装置は、スピーカの出力音量レベルを検出して記憶する。

【0003】

音響調整装置は、音場内における指定された聴取位置の出力音量レベルをグラフ化する。音響調整装置は、グラフを２次元画面で表示する。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０２０－１７８８０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に記載の音響調整装置は、実際のスピーカを空間に設置して、スピーカの出力レベルを検出する。したがって、特許文献１に記載の音響調整装置のような従来の装置は、スピーカが未配置の部屋等の空間に、所望のスピーカを配置した時の音圧分布等の音像を出力できない。

【0006】

したがって、本発明の目的は、スピーカが未配置の空間に所望のスピーカを配置したときの音像を、実際にスピーカを配置しなくても、ユーザに提供することにある。

【課題を解決するための手段】

【0007】

音処理方法は、音響空間の画像を取得し、画像から音響空間における平面を設定し、音響空間の画像内に仮想スピーカを設定し、仮想スピーカの特性から平面に対する音圧分布を算出し、音圧分布を平面に重ねあわせる。

【発明の効果】

【0008】

音処理方法は、スピーカが未配置の空間に所望のスピーカを配置したときの音像を、実際にスピーカを配置しなくても、ユーザに提供することができる。

【図面の簡単な説明】

【0009】

【図1】図１は、音処理装置のハードウェア構成図の一例を示す図である。

【図2】図２は、実施形態１に係る音処理装置の構成を示す機能ブロック図である。

【図3】図３（Ａ）は、仮想スピーカおよび音圧分布の合成前の画像の一例を示す図であり、図３（Ｂ）は、仮想スピーカおよび音圧分布の合成後の画像の一例を示す図である。

【図4】図４は、仮想スピーカが設定される空間の概略的な平面図である。

【図5】図５は、複数の平面に対して音圧分布を算出する態様の一例を示す図である。

【図6】図６は、仮想スピーカと音圧分布を空間の画像に合成する方法を示すフローチャートである。

【図7】図７は、実施形態２に係る音処理装置の構成を示す機能ブロック図である。

【図8】図８は、実施形態に係る音処理装置の予想リスニング音の再生パートの構成を示す機能ブロック図である。

【図9】図９は、予想リスニング音の生成方法を示すフローチャートである。

【図10】図１０は、図９に示す伝搬特性の算出方法を示すフローチャートである。

【図11】図１１は、図９に示す音信号の生成方法を示すフローチャートである。

【発明を実施するための形態】

【0010】

［音処理装置のハードウェア構成］
図１は、音処理装置のハードウェア構成図の一例を示す図である。図１に示すように、音処理装置１０は、ハードウェア構成として、コンピュータ等の演算装置７０を備える。演算装置７０は、ＣＰＵ７１、メモリ７２、インターフェース７３１、映像出力ポート７３２、音出力ポート７３３、および、バス７００を備える。バス７００は、ＣＰＵ７１、メモリ７２、インターフェース７３１、映像出力ポート７３２、および、音出力ポート７３３を接続する。

【0011】

メモリ７２は、音処理装置の各部の動作を行うためのプログラムを含む各種プログラムやデータ等を記憶する。ＣＰＵ７１は、メモリ７２に記憶された各種プログラムを実行することで、音処理装置を実現する。メモリ７２が、各種のプログラムやデータを記憶することに限らず、インターフェース７３１を介して接続される外部記憶装置やネットワークにつながれているサーバ等が、各種のプログラムやデータを記憶してもよい。この場合、ＣＰＵ７１は、インターフェース７３１を介して、サーバ等から各種のプログラムやデータを読み出す。

【0012】

インターフェース７３１は、操作入力デバイス７４およびカメラ７５に対してデータ通信を実行する。また、インターフェース７３１は、操作入力デバイス７４およびカメラ７５に限らず、演算装置７０に接続する外部の各種装置や外部のネットワークとの通信制御を実行する。

【0013】

操作入力デバイス７４は、例えば、タッチパネル等である。操作入力デバイス７４は、受け付けた操作に応じた指示データ等を、インターフェース７３１を介して、ＣＰＵ７１に出力する。指示データは、例えば、音圧分布の合成画像の開始指示、仮想スピーカの配置位置の指示等である。カメラ７５は、撮像した画像データを、インターフェース７３１を介して、ＣＰＵ７１に出力する。

【0014】

映像出力ポート７３２は、ディスプレイ装置７６に接続する。演算装置７０、すなわち、音処理装置は、音圧分布を含む画像データ（後述の合成画像データ）を、映像出力ポート７３２を介して、ディスプレイ装置７６に出力する。なお、音圧分布を含む画像データを出力しない場合、映像出力ポート７３２およびディスプレイ装置７６は、省略できる。

【0015】

音出力ポート７３３は、放音装置７７に接続する。放音装置７７は、例えば、ヘッドホンスピーカ、設置型のステレオスピーカ等である。演算装置７０、すなわち、音処理装置は、仮想スピーカから所望位置へ放音されたものとして算出された音（予想リスニング音）を、放音装置７７に出力する。なお、予想リスニング音を出力しない場合、音出力ポート７３３および放音装置７７は、省略できる。

【0016】

［実施形態１］
（音処理装置の機能的構成）
図２は、実施形態１に係る音処理装置の構成を示す機能ブロック図である。図３（Ａ）は、仮想スピーカおよび音圧分布の合成前の画像の一例を示す図であり、図３（Ｂ）は、仮想スピーカおよび音圧分布の合成後の画像の一例を示す図である。

【0017】

図２に示すように、音処理装置１０は、画像取得部１１、平面設定部１２、仮想スピーカ設定部１３、音圧分布算出部１４、合成画像生成部１５、および、スピーカ特性記憶部２０を備える。

【0018】

画像取得部１１は、上述のカメラ７５等から、音圧分布を算出する空間（本願発明の「音響空間」）の画像を取得する（図３（Ａ）参照）。例えば、画像取得部１１は、音圧分布を算出する部屋９１の画像９０Ｐを取得する。画像取得部１１は、画像９０Ｐを、平面設定部１２に出力する。

【0019】

平面設定部１２は、画像９０Ｐから、音圧分布を算出する平面を設定する。例えば、平面設定部１２は、画像９０Ｐから、部屋９１における床面９１１を設定する。なお、平面設定部１２は、具体的には、後述する各種の方法によって、音圧分布を算出する平面、具体的な一例として床面９１１を設定できる。この際、平面設定部１２は、例えば、床面９１１にｘ－ｙ座標を設定する。平面設定部１２は、画像とともに、床面９１１のｘ－ｙ座標を、合成画像生成部１５に出力する。

【0020】

仮想スピーカ設定部１３は、仮想スピーカの位置および種類を設定する。仮想スピーカの位置は、表示された画像における仮想スピーカの配置位置を指定することによって、設定する。配置位置の指定は、例えば、操作入力デバイス７４による操作入力によって実現する。

【0021】

仮想スピーカ設定部１３は、例えば、床面９１１に設定されたｘ－ｙ座標で、仮想スピーカ９２の位置を設定する。また、仮想スピーカ９２の正面方向は、例えば、操作入力デバイス７４による指定によって、設定できる。

【0022】

仮想スピーカ９２の種類は、例えば、仮想スピーカの種類を選択する画像（ウィンドウ）等を、画像に表示し、種類を指定することによって設定する。種類の指定は、例えば、操作入力デバイス７４による操作入力によって実現する。

【0023】

仮想スピーカ設定部１３は、仮想スピーカの位置Ｐ９２、および、仮想スピーカの種類を、音圧分布算出部１４に出力する。

【0024】

スピーカ特性記憶部２０は、仮想スピーカの種類毎に、スピーカ特性を記憶している。スピーカ特性は、スピーカを中心とする全周（３６０度）に亘る周波数特性によって構成されている。より具体的には、全周（３６０度）を所定分解能で分解して、複数の角度を設定する。そして、複数の角度のそれぞれに対して、周波数特性を設定している。スピーカ特性は、この複数の角度のそれぞれに対して設定された周波数特性によって構成される。スピーカ特性は、周波数特性を示すＷＡＶデータ（時間波形）であってもよく、周波数スペクトルであってもよい。

【0025】

音圧分布算出部１４は、仮想スピーカの種類から、この仮想スピーカに対応したスピーカ特性を、スピーカ特性記憶部２０から取得する。

【0026】

音圧分布算出部１４は、スピーカ特性と仮想スピーカの位置Ｐ９２とを用いて、床面９１１の複数の位置における音圧を算出する。音圧は、直接音の音圧である。

【0027】

図４は、仮想スピーカが設定される空間の概略的な平面図である。より具体的には、音圧分布算出部１４は、床面９１１において、音圧の算出位置Ｐｐを設定する。音圧分布算出部１４は、音圧の算出位置Ｐｐと仮想スピーカの位置Ｐ９２との距離ＤＩＳを算出する。また、音圧分布算出部１４は、仮想スピーカの位置Ｐ９２を基準点とした音圧の算出位置Ｐｐの方位角θを算出する。音圧分布算出部１４は、例えば、図４に示すように、仮想スピーカの正面方向を方位角θ＝０として、床面９１１を正面視して、左回りに進む角度で設定する。なお、方位角θの設定方法は、これに限らない。また、ここでは、基準点は、仮想スピーカ９２を平面視した中心に設定している。しかしながら、仮想スピーカ９２に対する基準点の位置は、仮想スピーカ９２のモデルとなるスピーカの形状によって異なる。例えば、仮想スピーカ９２の前面に基準点を設定してもよく、仮想スピーカ９２の背面に基準点を設定してもよい。さらには、仮想スピーカ９２のモデルとなるスピーカが、天井９１３や壁９１２に音を反射させるタイプの場合、この反射点の位置が、基準点の位置となる。なお、基準点の設定は、これらの限りでなく、仮想スピーカ９２のモデルやスピーカ形状等のよって、適宜設定可能である。

【0028】

音圧分布算出部１４は、方位角θから、スピーカ特性における方位角θの成分を抽出する。これにより、音圧分布算出部１４は、仮想スピーカに対して、方位角θの方向で、且つ、距離１ｍの位置での音圧（基準音圧）を算出できる。

【0029】

音圧分布算出部１４は、基準音圧に対して、距離ＤＩＳを用いて、距離方向の補正を行う。より具体的には、音圧分布算出部１４は、音線法を用いて、音圧が距離の二乗に反比例して減衰する補正を行う。すなわち、音圧分布算出部１４は、ｋ・（距離ＤＩＳの音圧）／（ＤＩＳ）^２の演算を行う。なお、ｋは、係数であり、基本的には、「１」でよいが、温度や湿度によって調整できる。これにより、音圧分布算出部１４は、空気による音のエネルギーの吸収の影響を加味して、音圧を算出できる。

【0030】

音圧分布算出部１４は、このような音圧の算出処理を、床面９１１に設定した複数の位置に対して行う。例えば、音圧分布算出部１４は、音圧の算出処理を、床面９１１の全体や、床面９１１における所望範囲内に対して行う。なお、所望範囲の指定は、例えば、操作入力デバイス７４による操作入力によって実現可能である。

【0031】

音圧分布算出部１４は、複数の位置で算出した音圧、すなわち、音圧分布を、合成画像生成部１５に出力する。この際、音圧分布算出部１４は、音圧分布を、ｘ－ｙ座標に関連づけして出力する。

【0032】

図３（Ｂ）に示すように、合成画像生成部１５は、仮想スピーカ９２と音圧分布９３とを、画像９０Ｐに合成し、合成画像９０を生成する。この際、合成画像生成部１５は、画像９０Ｐに関連付けされたｘ－ｙ座標、仮想スピーカ９２に関連付けされたｘ－ｙ座標、および、音圧分布９３に関連付けされたｘ－ｙ座標を一致させて合成する。

【0033】

これにより、図３（Ｂ）に示すように、合成画像９０は、空間の画像９０Ｐ（部屋９１の画像）における指定位置に仮想スピーカ９２が配置され、これに応じた音圧分布９３が床面９１１に重畳された画像となる。これにより、現実のスピーカが実際に配置されていなくても、ユーザは、この現実のスピーカに対応した仮想スピーカ９２を設置して、空間の音圧を、視覚的に把握できる。ここで、図３（Ｂ）のハッチングに示すように、音圧分布９３は、音圧の大きさに応じて表示態様が変化する画像とする。これにより、ユーザは、仮想スピーカ９２を設置したときの空間の音圧を、視覚的に、さらに容易に把握できる。

【0034】

なお、上述の説明において、音圧分布は、床面９１１の表面、すなわち、ｘ―ｙ座標面に直交するｚ方向の０の位置の平面に限るものでなく、所定の高さ（ｚ座標が０でない値）の平面に対しても算出する。すなわち、音圧を算出する平面を、床面９１１から所定高さの平面に設定することもできる。この場合、音圧分布算出部１４は、ｚ軸の位置も加味して、距離補正を行えばよい。

【0035】

また、上述の説明は、音処理装置１０は、１個の平面に対して音圧分布を算出する。しかしながら、音処理装置１０は、複数の平面に対して、それぞれに音圧分布を算出することもできる。

【0036】

図５は、複数の平面に対して音圧分布を算出する態様の一例を示す図である。図５に示すように、コンサートホール等は、１階席、２階席、３階席等の複数の階を備えることがある。この場合、例えば、図５に示すように、音処理装置１０は、１階を第１の床面９１１Ｆ、２階を第２の床面９１１Ｓ、３階を第３の床面９１１Ｔに設定する。そして、音処理装置１０は、第１の床面９１１Ｆ、第２の床面９１１Ｓ、および、第３の床面９１１Ｔのそれぞれに対して、上述の方法を用いて、音圧分布を算出する。

【0037】

また、上述の構成は、仮想スピーカ９２を１台配置する態様を示した。しかしながら、仮想スピーカ９２の台数は、１台に限らず、複数台であってもよい。この場合、音圧分布算出部１４は、複数の仮想スピーカ９２からの音圧を周波数領域で加算することによって、各位置の音圧を算出することができる。

【0038】

また、上述の音処理装置１０は、直接音の音圧分布を算出する態様を示した。しかしながら、音処理装置１０は、空間（部屋９１）の初期反射音や残響音の設定パラメータを用いれば、間接音も含めて、音圧分布を算出することができる。

【0039】

（音処理方法（合成画像の生成方法））
上述の説明では、合成画像の生成方法、より具体的には、仮想スピーカ９２および音圧分布を空間（部屋９１）の画像に重畳する処理は、複数の機能部によって実現されている。しかしながら、上述のようなコンピュータ等の演算装置７０でプログラムを実行して合成画像を生成する場合、概略的には、図６のフローチャートに示す処理を実行すればよい。図６は、仮想スピーカと音圧分布を空間の画像に合成する方法を示すフローチャートである。なお、各処理の具体的な内容は、上述しているので、ここでは、概略的な流れのみを説明する。

【0040】

演算装置７０は、カメラ７５等から、空間の画像を取得する（Ｓ１１）。演算装置７０は、空間の画像に対して、平面を設定する（Ｓ１２）。演算装置７０は、仮想スピーカ９２を設定する（Ｓ１３）。

【0041】

演算装置７０は、仮想スピーカ９２の位置と、仮想スピーカ９２の種類（スピーカ特性）から、音圧分布を算出する（Ｓ１４）。演算装置７０は、仮想スピーカ９２と音圧分布を、空間の画像に合成し、合成画像を生成する（Ｓ１５）。

【0042】

（音圧分布を算出する平面（一例として床面９１１）の具体的な設定方法）
（Ａ）平面設定部１２は、画像９０Ｐに映る各物体に対して、それぞれの特徴から、床、側壁、天井をラベリングする。そして、平面設定部１２は、床としてラベリングされた物体の表面を、床面９１１に設定する。この際、平面設定部１２は、側壁としてラベリングされた物体に接続する物体の表面、天井としてラベリングされた物体に対向する物体の表面を、床面９１１に設定してもよい。

【0043】

（Ｂ）平面設定部１２は、床面９１１の形状を長方形と仮定し、画像９０Ｐの横方向および奥行き方向に広がる略長方形を、画像９０Ｐから抽出する。平面設定部１２は、この略長方形の平面を、床面９１１に設定する。

【0044】

（Ｃ）ユーザは、移動検出装置を備える。移動検出装置は、自装置の移動を検出する。ユーザは、床面９１１の外周（側面）に沿って移動する。移動検出装置は、自装置の移動を検出し、検出結果を、平面設定部１２に出力する。平面設定部１２は、検出結果から、床面９１１を設定する。なお、移動検出装置は、自装置の継続的な移動を検出せず、自装置の位置を検出してもよい。この場合、ユーザは、床面９１１の頂点（角部）において、移動検出装置に位置を検出させる。平面設定部１２は、例えば、指定された各位置によって囲まれる領域を、床面９１１に設定する。

【0045】

（Ｄ）操作入力デバイス７４は、画像９０Ｐに対する位置の指定を受け付ける。ユーザは、操作入力デバイス７４を用いて、床面９１１の頂点（角部）の位置を指定する。平面設定部１２は、例えば、指定された各位置によって囲まれる領域を、床面９１１に設定する。または、操作入力デバイス７４は、領域の指定を受け付ける。ユーザは、操作入力デバイス７４を用いて、床面９１１の領域を指定する。平面設定部１２は、指定された領域を、床面９１１に設定する。

【0046】

なお、床面９１１の検出は、例えば、床面９１１の特徴部等を抽出して用いる既知の画像解析を用いて行うことも可能である。この場合、ユーザは、床面９１１を別途指定すること無く、床面９１１を設定できる。

【0047】

［実施形態２］
（音処理装置の機能的構成）
図７は、実施形態２に係る音処理装置の構成を示す機能ブロック図である。図８は、実施形態に係る音処理装置の予想リスニング音の再生パートの構成を示す機能ブロック図である。

【0048】

図７に示すように、音処理装置１０Ａは、上述の音処理装置１０に対して、聴取位置設定部３１、伝搬特性算出部３２、音信号生成部３３、および、原音データ記憶部４０を、さらに備える点で異なる。音処理装置１０Ａの他の構成は、音処理装置１０と同様であり、同様の箇所の説明は省略する。

【0049】

聴取位置設定部３１は、例えば、操作入力デバイス７４から画像への聴取位置の指定によって、聴取位置を設定する。聴取位置設定部３１は、空間に関連付けられたｘ－ｙ座標を用いて、聴取位置を設定する。聴取位置設定部３１は、聴取位置を、伝搬特性算出部３２に出力する。

【0050】

図８に示すように、伝搬特性算出部３２は、位置関係算出部３２１、スピーカ特性取得部３２２、ＩＦＦＴ処理部３２３、および、特性調整部３２４を備える。

【0051】

位置関係算出部３２１は、仮想スピーカ９２の位置と聴取位置とから、仮想スピーカ９２の位置を基準とした聴取位置迄の距離、および、聴取位置の方位角を算出する。位置関係算出部３２１は、聴取位置の距離および方位角を、上述の音圧分布の算出の場合と同様に、算出する。位置関係算出部３２１は、方位角を、スピーカ特性取得部３２２に出力する。位置関係算出部３２１は、距離を、特性調整部３２４に出力する。

【0052】

スピーカ特性取得部３２２は、設定された仮想スピーカ９２のスピーカ特性を、スピーカ特性記憶部２０から取得する。スピーカ特性取得部３２２は、取得したスピーカ特性における、算出された方位角の成分（所望方位角成分）を、周波数波形（周波数スペクトル）で取得する。スピーカ特性取得部３２２は、スピーカ特性の所望方位角成分の周波数波形を、ＩＦＦＴ処理部３２３に出力する。

【0053】

ＩＦＦＴ処理部３２３は、スピーカ特性の所望方位角成分の周波数スペクトルを、逆フーリエ変換することで、聴取位置の方位角に対するインパルス応答データを生成する。ＩＦＦＴ処理部３２３は、インパルス応答データを、特性調整部３２４に出力する。

【0054】

特性調整部３２４は、インパルス応答データに対して、聴取位置の距離を用いて、距離減衰の補正を行う。特性調整部３２４は、上述の音圧分布算出部１４と同様に、音線法を用いて、インパルス応答データに対する距離減衰の補正を行う。

【0055】

これにより、伝搬特性算出部３２は、仮想スピーカ９２の種類と仮想スピーカ９２の位置Ｐ９２に対する聴取位置とに応じて設定されたインパルス応答データ（聴取位置のインパルス応答データ）を算出できる。伝搬特性算出部３２は、聴取位置のインパルス応答データを、音信号生成部３３に出力する。このインパルス応答データが、本発明の「音の伝搬特性」に対応する。

【0056】

図８に示すように、音信号生成部３３は、ＦＦＴ処理部３３１、原音データ取得部３３２、ＦＦＴ処理部３３３、畳み込み演算部３３４、ＩＦＦＴ処理部３３５、および、出力音調整部３３６を備える。

【0057】

ＦＦＴ処理部３３１は、伝搬特性算出部３２の特性調整部３２４から出力された聴取位置のインパルス応答データをフーリエ変換することで、聴取位置のインパルス応答データの周波数波形（周波数スペクトル）を生成する。ＦＦＴ処理部３３１は、聴取位置のインパルス応答データの周波数波形を、畳み込み演算部３３４に出力する。

【0058】

原音データ取得部３３２は、原音データ記憶部４０から、可聴化したい原音データを取得する。より具体的には、原音データ取得部３３２は、例えば、操作入力デバイス７４を用いた指定によって、可聴化したい原音データの選択を受け付ける。原音データ取得部３３２は、選択を受け付けた原音データを、原音データ記憶部４０から取得する。なお、原音データ記憶部４０は、原音データを、例えば、ＷＡＶデータ等の時間波形のデータで記憶しており、原音データ取得部３３２は、この時間波形の原音データを、取得する。原音データ取得部３３２は、原音データを、ＦＦＴ処理部３３３に出力する。

【0059】

ＦＦＴ処理部３３３は、時間波形の原音データをフーリエ変換することで、周波数波形の原音データを生成する。ＦＦＴ処理部３３３は、周波数波形の原音データを、畳み込み演算部３３４に出力する。この際、ＦＦＴ処理部３３３は、原音データに対して窓関数を乗算して、所望とする短時間でのＦＦＴを行うとよい。

【0060】

畳み込み演算部３３４は、聴取位置のインパルス応答データと原音データとを畳み込み演算し、周波数波形の予想リスニング音データを生成し、ＩＦＦＴ処理部３３５に出力する。

【0061】

ＩＦＦＴ処理部３３５は、周波数波形の予想リスニング音データを、逆フーリエ変換し、時間波形の予想リスニング音信号を生成する。ＩＦＦＴ処理部３３５は、時間波形の予想リスニング音信号を、出力音調整部３３６に出力する。

【0062】

これにより、音信号生成部３３は、空間における聴取位置と仮想スピーカ９２の位置Ｐ９２および種類とに応じた予想リスニング音信号を生成できる。

【0063】

出力音調整部３３６は、予想リスニング音信号から、Ｌチャンネル用予想リスニング音信号ＳｏＬとＲチャンネル用予想リスニング音信号ＳｏＲとを生成する。出力音調整部３３６は、Ｌチャンネル用予想リスニング音信号ＳｏＬを、Ｌチャンネルスピーカ８２Ｌに出力し、Ｒチャンネル用予想リスニング音信号ＳｏＲを、Ｒチャンネルスピーカ８２Ｒに出力する。Ｌチャンネルスピーカ８２Ｌは、Ｌチャンネル用予想リスニング音信号ＳｏＬを放音し、Ｒチャンネルスピーカ８２Ｒは、Ｒチャンネル用予想リスニング音信号ＳｏＲを放音する。

【0064】

これにより、ユーザは、空間内の所望位置に配置した所望スピーカからの音を、所望のスピーカを実際に配置しなくても、その場にいるかのように、仮想的に聞くことができる。

【0065】

さらに、出力音調整部３３６は、位置関係算出部３２１からの方位角θ、すなわち、仮想スピーカ９２に対する聴取位置の方向を用いて、Ｌチャンネル用予想リスニング音信号ＳｏＬとＲチャンネル用予想リスニング音信号ＳｏＲとのレベルバランスを調整する。これにより、ユーザは、空間内の所望位置に配置した仮想スピーカ９２からの予想リスニング音を、より臨場感をもって聞くことができる。

【0066】

なお、上述の音処理装置１０Ａの例では、仮想スピーカ９２の個数を１個としたが、仮想スピーカ９２の個数は、複数個であってもよい。この場合、音処理装置１０Ａは、複数の仮想スピーカ９２からの予測リスニング音信号を合成して出力すればよい。

【0067】

また、上述の音処理装置１０Ａは、ステレオスピーカを用いて、ステレオ型の予想リスニング音を出力する。しかしながら、音処理装置に複数のスピーカを接続する構成とし、音処理装置は、複数のスピーカのそれぞれに出力する予想リスニング音信号の位相、振幅を調整することで、音像定位を実現できる。これにより、ユーザは、空間内の所望位置に配置した仮想スピーカ９２からの予想リスニング音を、より一層、臨場感をもって聞くことができる。

【0068】

また、上述の音処理装置１０Ａは、操作入力デバイス７４による指定によって聴取位置を設定する。しかしながら、カメラ７５に位置検出機能を持たせることで、音処理装置１０Ａは、カメラ７５の位置、すなわち、画像の撮像位置を、聴取位置に設定することができる。これにより、ユーザは、聴取位置をわざわざ設定しなくても、カメラ７５の位置、すなわち、ユーザの位置を聴取位置に設定できる。したがって、ユーザは、撮像位置での予想リスニング音を、容易に聞くことができる。

【0069】

また、音処理装置１０Ａは、合成画像の出力と、予想リスニング音の放音とを行う。しかしながら、予想リスニング音の放音のみを行うのであれば、音処理装置１０Ａは、画像取得部１１、平面設定部１２、音圧分布算出部１４、および、合成画像生成部１５を省略できる。

【0070】

（音処理方法（予想リスニング音の生成方法））
上述の説明では、予想リスニング音の生成方法は、複数の機能部によって実現されている。しかしながら、上述のようなコンピュータ等の演算装置７０でプログラムを実行して予想リスニング音を生成する場合、概略的には、図９、図１０、図１１のフローチャートに示す処理を実行すればよい。図９は、予想リスニング音の生成方法を示すフローチャートである。図１０は、図９に示す伝搬特性の算出方法を示すフローチャートである。図１１は、図９に示す音信号の生成方法を示すフローチャートである。なお、各処理の具体的な内容は、上述しているので、ここでは、概略的な流れのみを説明する。

【0071】

演算装置７０は、聴取位置を取得し、聴取位置に応じた伝搬特性（聴取位置のインパルス応答データ）を算出する（Ｓ２１）。より具体的には、図１０に示すように、演算装置７０は、仮想スピーカ９２の位置Ｐ９２と聴取位置との位置関係を算出する（Ｓ３１）。演算装置７０は、スピーカ特性を取得する（Ｓ３２）。演算装置７０は、仮想スピーカ９２の位置Ｐ９２と聴取位置との位置関係と、スピーカ特性と、を用いて、聴取位置に対するインパルス応答データを生成する（Ｓ３３）。

【0072】

演算装置７０は、聴取位置の伝搬特性と、放音したい原音データとを用いて、予想リスニング音を生成する（Ｓ２２）。より具体的には、図１１に示すように、演算装置７０は、可聴化したい原音データを取得する（Ｓ４１）。演算装置７０は、伝搬特性、すなわち、聴取位置に対するインパルス応答データと、原音データと、を畳み込み演算する（Ｓ４２）。演算装置７０は、聴取位置に応じて、ＬＲバランスを調整する（Ｓ４３）。

【0073】

このような処理を行うことによって、ユーザは、空間内の所望位置に配置した所望スピーカからの音を、所望のスピーカを実際に配置しなくても、その場にいるかのように、仮想的に聞くことができる。

【0074】

さらに、ユーザは、ＬＲバランスが調整されたステレオ音によって、仮想スピーカ９２からのリスニング音を聞くことができる。これにより、ユーザは、空間内の所望位置に配置した仮想スピーカ９２からのリスニング音を、より臨場感をもって聞くことができる。

【0075】

なお、上述のステップＳ４３の処理に代えて、ヘッドホンスピーカによる音の再生を用いれば、より正確な音像定位が可能になる。これにより、空間内の所望位置に配置した仮想スピーカ９２からのリスニング音の再現性は、さらに向上する。したがって、ユーザは、仮想スピーカ９２からのリスニング音を、より一層、臨場感をもって聞くことができる。

【0076】

本実施形態の説明は、すべての点で例示であって、制限的なものではない。本発明の範囲は、上述の実施形態ではなく、特許請求の範囲によって示される。さらに、本発明の範囲には、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0077】

１０、１０Ａ：音処理装置
１１：画像取得部
１２：平面設定部
１３：仮想スピーカ設定部
１４：音圧分布算出部
１５：合成画像生成部
２０：スピーカ特性記憶部
３１：聴取位置設定部
３２：伝搬特性算出部
３３：音信号生成部
４０：原音データ記憶部
７０：演算装置
７１：ＣＰＵ
７２：メモリ
７４：操作入力デバイス
７５：カメラ
７６：ディスプレイ装置
７７：放音装置
８２Ｌ：Ｌチャンネルスピーカ
８２Ｒ：Ｒチャンネルスピーカ
９０：合成画像
９０Ｐ：画像
９１：部屋
９２：仮想スピーカ
９３：音圧分布
３２１：位置関係算出部
３２２：スピーカ特性取得部
３２３：ＩＦＦＴ処理部
３２４：特性調整部
３３１：ＦＦＴ処理部
３３２：原音データ取得部
３３３：ＦＦＴ処理部
３３４：畳み込み演算部
３３５：ＩＦＦＴ処理部
３３６：出力音調整部
７００：バス
７３１：インターフェース
７３２：映像出力ポート
７３３：音出力ポート
９１１：床面
９１１Ｆ：第１の床面
９１１Ｓ：第２の床面
９１１Ｔ：第３の床面
ＳｏＬ：Ｌチャンネル用予想リスニング音信号
ＳｏＲ：Ｒチャンネル用予想リスニング音信号

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】