(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024152931
(43)【公開日】2024-10-25
(54)【発明の名称】音響処理装置、音響処理方法、及び音響処理プログラム
(51)【国際特許分類】
H04S 7/00 20060101AFI20241018BHJP
【ＦＩ】
H04S7/00 340
H04S7/00 360
【審査請求】未請求
【請求項の数】15
【出願形態】ＯＬ
【公開請求】
(21)【出願番号】P 2024140851
(22)【出願日】2024-08-22
(71)【出願人】
【識別番号】314012076
【氏名又は名称】パナソニックＩＰマネジメント株式会社
(74)【代理人】
【識別番号】110004303
【氏名又は名称】弁理士法人三協国際特許事務所
(72)【発明者】
【氏名】中 光波
(72)【発明者】
【氏名】中橋 康太
(72)【発明者】
【氏名】石川 智一
(57)【要約】
【課題】より立体的な音をユーザに知覚させることができる技術を提供する。
【解決手段】音響処理装置は、音を、所定方向から到達する音として定位させるための第１合成バイノーラルルームインパルス応答を音情報に畳み込み、音を、第１方向から到達する音として定位させるための第２合成バイノーラルルームインパルス応答を音情報に畳み込み、第１出力音信号と第２出力音信号とを合成した出力音信号を出力し、第１合成バイノーラルルームインパルス応答は、第１頭部インパルス応答の直接音成分と、第１バイノーラルルームインパルス応答の残響音成分とを合成することにより作成され、第２合成バイノーラルルームインパルス応答は、第２頭部インパルス応答の直接音成分と、第２バイノーラルルームインパルス応答の残響音成分とを合成することにより作成される。
【選択図】図４
【解決手段】音響処理装置は、音を、所定方向から到達する音として定位させるための第１合成バイノーラルルームインパルス応答を音情報に畳み込み、音を、第１方向から到達する音として定位させるための第２合成バイノーラルルームインパルス応答を音情報に畳み込み、第１出力音信号と第２出力音信号とを合成した出力音信号を出力し、第１合成バイノーラルルームインパルス応答は、第１頭部インパルス応答の直接音成分と、第１バイノーラルルームインパルス応答の残響音成分とを合成することにより作成され、第２合成バイノーラルルームインパルス応答は、第２頭部インパルス応答の直接音成分と、第２バイノーラルルームインパルス応答の残響音成分とを合成することにより作成される。
【選択図】図４
【特許請求の範囲】
【請求項1】
再生音を三次元音場上における所定方向から到達する音としてユーザに知覚させる音響処理装置であって、
前記再生音を含む音情報に対して、音を、前記所定方向から到達する音として定位させるための第１合成バイノーラルルームインパルス応答を畳み込むことで、第１出力音信号を生成する第１処理部と、
前記音情報に対して、前記音を、前記所定方向との角度が０度より大きく３６０度より小さい第１角度を有する第１方向から到達し、前記第１出力音信号によって知覚される前記再生音に対して０より大きい第１遅延時間、及び、０より大きい第１音量減衰量を有する音として定位させるための第２合成バイノーラルルームインパルス応答を畳み込むことで、第２出力音信号を生成する第２処理部と、
生成した前記第１出力音信号と前記第２出力音信号とを合成した出力音信号を出力するコンバイナと、
を備え、
前記第１合成バイノーラルルームインパルス応答は、前記ユーザの第１頭部特性を示すとともに前記所定方向と前記ユーザの正面方向とがなす第１旋回角度に対応付けられた第１頭部インパルス応答の直接音成分と、前記第１頭部特性とは異なる第２頭部特性及び前記ユーザがいる空間の空間特性を示すとともに前記第１旋回角度に対応付けられた第１バイノーラルルームインパルス応答の残響音成分とを合成することにより作成され、
前記第２合成バイノーラルルームインパルス応答は、前記第１頭部特性を示すとともに前記第１方向と前記ユーザの正面方向とがなす第２旋回角度に対応付けられた第２頭部インパルス応答の直接音成分と、前記第２頭部特性及び前記空間特性を示すとともに前記第２旋回角度に対応付けられた第２バイノーラルルームインパルス応答の残響音成分とを合成することにより作成される、
音響処理装置。
前記再生音を含む音情報に対して、音を、前記所定方向から到達する音として定位させるための第１合成バイノーラルルームインパルス応答を畳み込むことで、第１出力音信号を生成する第１処理部と、
前記音情報に対して、前記音を、前記所定方向との角度が０度より大きく３６０度より小さい第１角度を有する第１方向から到達し、前記第１出力音信号によって知覚される前記再生音に対して０より大きい第１遅延時間、及び、０より大きい第１音量減衰量を有する音として定位させるための第２合成バイノーラルルームインパルス応答を畳み込むことで、第２出力音信号を生成する第２処理部と、
生成した前記第１出力音信号と前記第２出力音信号とを合成した出力音信号を出力するコンバイナと、
を備え、
前記第１合成バイノーラルルームインパルス応答は、前記ユーザの第１頭部特性を示すとともに前記所定方向と前記ユーザの正面方向とがなす第１旋回角度に対応付けられた第１頭部インパルス応答の直接音成分と、前記第１頭部特性とは異なる第２頭部特性及び前記ユーザがいる空間の空間特性を示すとともに前記第１旋回角度に対応付けられた第１バイノーラルルームインパルス応答の残響音成分とを合成することにより作成され、
前記第２合成バイノーラルルームインパルス応答は、前記第１頭部特性を示すとともに前記第１方向と前記ユーザの正面方向とがなす第２旋回角度に対応付けられた第２頭部インパルス応答の直接音成分と、前記第２頭部特性及び前記空間特性を示すとともに前記第２旋回角度に対応付けられた第２バイノーラルルームインパルス応答の残響音成分とを合成することにより作成される、
音響処理装置。
【請求項2】
前記第１頭部インパルス応答と前記第１バイノーラルルームインパルス応答とは異なる頭部を用いて測定され、前記第２頭部インパルス応答と前記第２バイノーラルルームインパルス応答とは異なる頭部を用いて測定される、
請求項１記載の音響処理装置。
請求項１記載の音響処理装置。
【請求項3】
出力された前記出力音信号は、前記ユーザの頭部に装着されたヘッドホン又はイヤホンを用いて再生される、
請求項１記載の音響処理装置。
請求項１記載の音響処理装置。
【請求項4】
前記第１角度は、前記所定方向との角度が９０度より大きく、２７０度より小さい角度範囲内の角度である、
請求項１記載の音響処理装置。
請求項１記載の音響処理装置。
【請求項5】
さらに、前記音情報に対して、前記音を、前記所定方向との角度が０度より大きく３６０度より小さい、前記第１角度とは異なる第２角度を有する第２方向から到達し、前記第１出力音信号によって知覚される前記再生音に対して０より大きい第２遅延時間、及び、０より大きい第２音量減衰量を有する音として定位させるための第３合成バイノーラルルームインパルス応答を畳み込むことで、第３出力音信号を生成する第３処理部を備え、
前記コンバイナは、前記第１出力音信号と前記第２出力音信号と前記第３出力音信号とを合成した前記出力音信号を出力し、
前記第３合成バイノーラルルームインパルス応答は、前記第１頭部特性を示すとともに前記第２方向と前記ユーザの正面方向とがなす第３旋回角度に対応付けられた第３頭部インパルス応答の直接音成分と、前記第２頭部特性及び前記空間特性を示すとともに前記第３旋回角度に対応付けられた第３バイノーラルルームインパルス応答の残響音成分とを合成することにより作成される、
請求項１記載の音響処理装置。
前記コンバイナは、前記第１出力音信号と前記第２出力音信号と前記第３出力音信号とを合成した前記出力音信号を出力し、
前記第３合成バイノーラルルームインパルス応答は、前記第１頭部特性を示すとともに前記第２方向と前記ユーザの正面方向とがなす第３旋回角度に対応付けられた第３頭部インパルス応答の直接音成分と、前記第２頭部特性及び前記空間特性を示すとともに前記第３旋回角度に対応付けられた第３バイノーラルルームインパルス応答の残響音成分とを合成することにより作成される、
請求項１記載の音響処理装置。
【請求項6】
前記第２角度は、前記所定方向との角度が９０度より大きく、２７０度より小さい角度範囲内の角度であり、且つ、３６０度から前記第２角度を減じた差分角度と前記第１角度とが一致しない角度である、
請求項５記載の音響処理装置。
請求項５記載の音響処理装置。
【請求項7】
前記第１処理部は、
前記第１バイノーラルルームインパルス応答の波形及び前記第１頭部インパルス応答の波形をトリミングする第１ピーク位置補正部と、
前記第１頭部インパルス応答の前記直接音成分の終端期間において、前記第１頭部インパルス応答と前記第１バイノーラルルームインパルス応答との音圧差が最小となる置換時刻を特定する第１特定部と、
前記置換時刻以前の前記第１バイノーラルルームインパルス応答の前記直接音成分を、前記置換時刻以前の前記第１頭部インパルス応答の前記直接音成分に置換する第１置換部と、
を含み、
前記第２処理部は、
前記第２バイノーラルルームインパルス応答の波形及び前記第２頭部インパルス応答の波形をトリミングする第２ピーク位置補正部と、
前記第２頭部インパルス応答の前記直接音成分の終端期間において、前記第２頭部インパルス応答と前記第２バイノーラルルームインパルス応答との音圧差が最小となる置換時刻を特定する第２特定部と、
前記置換時刻以前の前記第２バイノーラルルームインパルス応答の前記直接音成分を、前記置換時刻以前の前記第２頭部インパルス応答の前記直接音成分に置換する第２置換部と、
を含む、
請求項１記載の音響処理装置。
前記第１バイノーラルルームインパルス応答の波形及び前記第１頭部インパルス応答の波形をトリミングする第１ピーク位置補正部と、
前記第１頭部インパルス応答の前記直接音成分の終端期間において、前記第１頭部インパルス応答と前記第１バイノーラルルームインパルス応答との音圧差が最小となる置換時刻を特定する第１特定部と、
前記置換時刻以前の前記第１バイノーラルルームインパルス応答の前記直接音成分を、前記置換時刻以前の前記第１頭部インパルス応答の前記直接音成分に置換する第１置換部と、
を含み、
前記第２処理部は、
前記第２バイノーラルルームインパルス応答の波形及び前記第２頭部インパルス応答の波形をトリミングする第２ピーク位置補正部と、
前記第２頭部インパルス応答の前記直接音成分の終端期間において、前記第２頭部インパルス応答と前記第２バイノーラルルームインパルス応答との音圧差が最小となる置換時刻を特定する第２特定部と、
前記置換時刻以前の前記第２バイノーラルルームインパルス応答の前記直接音成分を、前記置換時刻以前の前記第２頭部インパルス応答の前記直接音成分に置換する第２置換部と、
を含む、
請求項１記載の音響処理装置。
【請求項8】
前記第１ピーク位置補正部は、前記第１バイノーラルルームインパルス応答の振幅が最大となる時刻と、前記第１頭部インパルス応答の振幅が最大となる時刻とが一致するように、前記第１バイノーラルルームインパルス応答の波形及び前記第１頭部インパルス応答の波形をトリミングし、
前記第２ピーク位置補正部は、前記第２バイノーラルルームインパルス応答の振幅が最大となる時刻と、前記第２頭部インパルス応答の振幅が最大となる時刻とが一致するように、前記第２バイノーラルルームインパルス応答の波形及び前記第２頭部インパルス応答の波形をトリミングする、
請求項７記載の音響処理装置。
前記第２ピーク位置補正部は、前記第２バイノーラルルームインパルス応答の振幅が最大となる時刻と、前記第２頭部インパルス応答の振幅が最大となる時刻とが一致するように、前記第２バイノーラルルームインパルス応答の波形及び前記第２頭部インパルス応答の波形をトリミングする、
請求項７記載の音響処理装置。
【請求項9】
前記終端期間は、１．５ｍｓｅｃから２．５ｍｓｅｃの期間である、
請求項７記載の音響処理装置。
請求項７記載の音響処理装置。
【請求項10】
前記第１処理部は、前記置換時刻以前の前記第１頭部インパルス応答の前記直接音成分の音圧レベルを、前記置換時刻以前の前記第１バイノーラルルームインパルス応答の前記直接音成分の音圧レベルに応じて変更する第１変更部をさらに含み、
前記第２処理部は、前記置換時刻以前の前記第２頭部インパルス応答の前記直接音成分の音圧レベルを、前記置換時刻以前の前記第２バイノーラルルームインパルス応答の前記直接音成分の音圧レベルに応じて変更する第２変更部をさらに含む、
請求項７記載の音響処理装置。
前記第２処理部は、前記置換時刻以前の前記第２頭部インパルス応答の前記直接音成分の音圧レベルを、前記置換時刻以前の前記第２バイノーラルルームインパルス応答の前記直接音成分の音圧レベルに応じて変更する第２変更部をさらに含む、
請求項７記載の音響処理装置。
【請求項11】
前記第１処理部は、前記置換時刻以後の前記第１バイノーラルルームインパルス応答の前記残響音成分の音圧レベルを、前記置換時刻以前の前記第１頭部インパルス応答の前記直接音成分の音圧レベルに応じて変更する第１変更部をさらに含み、
前記第２処理部は、前記置換時刻以後の前記第２バイノーラルルームインパルス応答の前記残響音成分の音圧レベルを、前記置換時刻以前の前記第２頭部インパルス応答の前記直接音成分の音圧レベルに応じて変更する第２変更部をさらに含む、
請求項７記載の音響処理装置。
前記第２処理部は、前記置換時刻以後の前記第２バイノーラルルームインパルス応答の前記残響音成分の音圧レベルを、前記置換時刻以前の前記第２頭部インパルス応答の前記直接音成分の音圧レベルに応じて変更する第２変更部をさらに含む、
請求項７記載の音響処理装置。
【請求項12】
前記第１処理部は、
前記第１バイノーラルルームインパルス応答の直接音成分の振幅を全て０に置換する第１置換部と、
前記第１バイノーラルルームインパルス応答の時刻０における前記振幅を１に設定する第１設定部と、
前記第１バイノーラルルームインパルス応答に前記第１頭部インパルス応答を畳み込む第１畳み込み部と、
を含み、
前記第２処理部は、
前記第２バイノーラルルームインパルス応答の直接音成分の振幅を全て０に置換する第２置換部と、
前記第２バイノーラルルームインパルス応答の時刻０における前記振幅を１に設定する第２設定部と、
前記第２バイノーラルルームインパルス応答に前記第２頭部インパルス応答を畳み込む第２畳み込み部と、
を含む、
請求項１記載の音響処理装置。
前記第１バイノーラルルームインパルス応答の直接音成分の振幅を全て０に置換する第１置換部と、
前記第１バイノーラルルームインパルス応答の時刻０における前記振幅を１に設定する第１設定部と、
前記第１バイノーラルルームインパルス応答に前記第１頭部インパルス応答を畳み込む第１畳み込み部と、
を含み、
前記第２処理部は、
前記第２バイノーラルルームインパルス応答の直接音成分の振幅を全て０に置換する第２置換部と、
前記第２バイノーラルルームインパルス応答の時刻０における前記振幅を１に設定する第２設定部と、
前記第２バイノーラルルームインパルス応答に前記第２頭部インパルス応答を畳み込む第２畳み込み部と、
を含む、
請求項１記載の音響処理装置。
【請求項13】
前記第１処理部は、前記第１バイノーラルルームインパルス応答の前記直接音成分の終端期間において、前記第１バイノーラルルームインパルス応答の前記振幅が最も０に近似する置換時刻を特定する第１特定部をさらに含み、
前記第１置換部は、前記置換時刻以前の前記第１バイノーラルルームインパルス応答の前記振幅を全て０に置換し、
前記第２処理部は、前記第２バイノーラルルームインパルス応答の前記直接音成分の終端期間において、前記第２バイノーラルルームインパルス応答の前記振幅が最も０に近似する置換時刻を特定する第２特定部をさらに含み、
前記第２置換部は、前記置換時刻以前の前記第２バイノーラルルームインパルス応答の前記振幅を全て０に置換する、
請求項１２記載の音響処理装置。
前記第１置換部は、前記置換時刻以前の前記第１バイノーラルルームインパルス応答の前記振幅を全て０に置換し、
前記第２処理部は、前記第２バイノーラルルームインパルス応答の前記直接音成分の終端期間において、前記第２バイノーラルルームインパルス応答の前記振幅が最も０に近似する置換時刻を特定する第２特定部をさらに含み、
前記第２置換部は、前記置換時刻以前の前記第２バイノーラルルームインパルス応答の前記振幅を全て０に置換する、
請求項１２記載の音響処理装置。
【請求項14】
再生音を三次元音場上における所定方向から到達する音としてユーザに知覚させる音響処理装置により実行される音響処理方法であって、
前記再生音を含む音情報に対して、音を、前記所定方向から到達する音として定位させるための第１合成バイノーラルルームインパルス応答を畳み込むことで、第１出力音信号を生成することと、
前記音情報に対して、前記音を、前記所定方向との角度が０度より大きく３６０度より小さい第１角度を有する第１方向から到達し、前記第１出力音信号によって知覚される前記再生音に対して０より大きい第１遅延時間、及び、０より大きい第１音量減衰量を有する音として定位させるための第２合成バイノーラルルームインパルス応答を畳み込むことで、第２出力音信号を生成することと、
生成した前記第１出力音信号と前記第２出力音信号とを合成した出力音信号を出力することと、
を含み、
前記第１合成バイノーラルルームインパルス応答は、前記ユーザの第１頭部特性を示すとともに前記所定方向と前記ユーザの正面方向とがなす第１旋回角度に対応付けられた第１頭部インパルス応答の直接音成分と、前記第１頭部特性とは異なる第２頭部特性及び前記ユーザがいる空間の空間特性を示すとともに前記第１旋回角度に対応付けられた第１バイノーラルルームインパルス応答の残響音成分とを合成することにより作成され、
前記第２合成バイノーラルルームインパルス応答は、前記第１頭部特性を示すとともに前記第１方向と前記ユーザの正面方向とがなす第２旋回角度に対応付けられた第２頭部インパルス応答の直接音成分と、前記第２頭部特性及び前記空間特性を示すとともに前記第２旋回角度に対応付けられた第２バイノーラルルームインパルス応答の残響音成分とを合成することにより作成される、
音響処理方法。
前記再生音を含む音情報に対して、音を、前記所定方向から到達する音として定位させるための第１合成バイノーラルルームインパルス応答を畳み込むことで、第１出力音信号を生成することと、
前記音情報に対して、前記音を、前記所定方向との角度が０度より大きく３６０度より小さい第１角度を有する第１方向から到達し、前記第１出力音信号によって知覚される前記再生音に対して０より大きい第１遅延時間、及び、０より大きい第１音量減衰量を有する音として定位させるための第２合成バイノーラルルームインパルス応答を畳み込むことで、第２出力音信号を生成することと、
生成した前記第１出力音信号と前記第２出力音信号とを合成した出力音信号を出力することと、
を含み、
前記第１合成バイノーラルルームインパルス応答は、前記ユーザの第１頭部特性を示すとともに前記所定方向と前記ユーザの正面方向とがなす第１旋回角度に対応付けられた第１頭部インパルス応答の直接音成分と、前記第１頭部特性とは異なる第２頭部特性及び前記ユーザがいる空間の空間特性を示すとともに前記第１旋回角度に対応付けられた第１バイノーラルルームインパルス応答の残響音成分とを合成することにより作成され、
前記第２合成バイノーラルルームインパルス応答は、前記第１頭部特性を示すとともに前記第１方向と前記ユーザの正面方向とがなす第２旋回角度に対応付けられた第２頭部インパルス応答の直接音成分と、前記第２頭部特性及び前記空間特性を示すとともに前記第２旋回角度に対応付けられた第２バイノーラルルームインパルス応答の残響音成分とを合成することにより作成される、
音響処理方法。
【請求項15】
再生音を三次元音場上における所定方向から到達する音としてユーザに知覚させる音響処理プログラムであって、
前記再生音を含む音情報に対して、音を、前記所定方向から到達する音として定位させるための第１合成バイノーラルルームインパルス応答を畳み込むことで、第１出力音信号を生成する第１処理部と、
前記音情報に対して、前記音を、前記所定方向との角度が０度より大きく３６０度より小さい第１角度を有する第１方向から到達し、前記第１出力音信号によって知覚される前記再生音に対して０より大きい第１遅延時間、及び、０より大きい第１音量減衰量を有する音として定位させるための第２合成バイノーラルルームインパルス応答を畳み込むことで、第２出力音信号を生成する第２処理部と、
生成した前記第１出力音信号と前記第２出力音信号とを合成した出力音信号を出力するコンバイナとしてコンピュータを機能させ、
前記第１合成バイノーラルルームインパルス応答は、前記ユーザの第１頭部特性を示すとともに前記所定方向と前記ユーザの正面方向とがなす第１旋回角度に対応付けられた第１頭部インパルス応答の直接音成分と、前記第１頭部特性とは異なる第２頭部特性及び前記ユーザがいる空間の空間特性を示すとともに前記第１旋回角度に対応付けられた第１バイノーラルルームインパルス応答の残響音成分とを合成することにより作成され、
前記第２合成バイノーラルルームインパルス応答は、前記第１頭部特性を示すとともに前記第１方向と前記ユーザの正面方向とがなす第２旋回角度に対応付けられた第２頭部インパルス応答の直接音成分と、前記第２頭部特性及び前記空間特性を示すとともに前記第２旋回角度に対応付けられた第２バイノーラルルームインパルス応答の残響音成分とを合成することにより作成される、
音響処理プログラム。
前記再生音を含む音情報に対して、音を、前記所定方向から到達する音として定位させるための第１合成バイノーラルルームインパルス応答を畳み込むことで、第１出力音信号を生成する第１処理部と、
前記音情報に対して、前記音を、前記所定方向との角度が０度より大きく３６０度より小さい第１角度を有する第１方向から到達し、前記第１出力音信号によって知覚される前記再生音に対して０より大きい第１遅延時間、及び、０より大きい第１音量減衰量を有する音として定位させるための第２合成バイノーラルルームインパルス応答を畳み込むことで、第２出力音信号を生成する第２処理部と、
生成した前記第１出力音信号と前記第２出力音信号とを合成した出力音信号を出力するコンバイナとしてコンピュータを機能させ、
前記第１合成バイノーラルルームインパルス応答は、前記ユーザの第１頭部特性を示すとともに前記所定方向と前記ユーザの正面方向とがなす第１旋回角度に対応付けられた第１頭部インパルス応答の直接音成分と、前記第１頭部特性とは異なる第２頭部特性及び前記ユーザがいる空間の空間特性を示すとともに前記第１旋回角度に対応付けられた第１バイノーラルルームインパルス応答の残響音成分とを合成することにより作成され、
前記第２合成バイノーラルルームインパルス応答は、前記第１頭部特性を示すとともに前記第１方向と前記ユーザの正面方向とがなす第２旋回角度に対応付けられた第２頭部インパルス応答の直接音成分と、前記第２頭部特性及び前記空間特性を示すとともに前記第２旋回角度に対応付けられた第２バイノーラルルームインパルス応答の残響音成分とを合成することにより作成される、
音響処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、音像をユーザの頭外に定位させる技術に関する。
【背景技術】
【0002】
従来、再生音を三次元音場上における所定方向から到達する音としてユーザに知覚させる音響処理装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開第２０２３／１０６０７０号
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記従来の技術では、立体的な音をユーザに知覚させることが困難であるおそれがあり、更なる改善が必要とされていた。
【0005】
本開示は、上記の問題を解決するためになされたもので、より立体的な音をユーザに知覚させることができる技術を提供することを目的とするものである。
【課題を解決するための手段】
【0006】
本開示の一態様に係る音響処理装置は、再生音を三次元音場上における所定方向から到達する音としてユーザに知覚させる音響処理装置であって、前記再生音を含む音情報に対して、音を、前記所定方向から到達する音として定位させるための第１合成バイノーラルルームインパルス応答を畳み込むことで、第１出力音信号を生成する第１処理部と、前記音情報に対して、前記音を、前記所定方向との角度が０度より大きく３６０度より小さい第１角度を有する第１方向から到達し、前記第１出力音信号によって知覚される前記再生音に対して０より大きい第１遅延時間、及び、０より大きい第１音量減衰量を有する音として定位させるための第２合成バイノーラルルームインパルス応答を畳み込むことで、第２出力音信号を生成する第２処理部と、生成した前記第１出力音信号と前記第２出力音信号とを合成した出力音信号を出力するコンバイナと、を備え、前記第１合成バイノーラルルームインパルス応答は、前記ユーザの第１頭部特性を示すとともに前記所定方向と前記ユーザの正面方向とがなす第１旋回角度に対応付けられた第１頭部インパルス応答の直接音成分と、前記第１頭部特性とは異なる第２頭部特性及び前記ユーザがいる空間の空間特性を示すとともに前記第１旋回角度に対応付けられた第１バイノーラルルームインパルス応答の残響音成分とを合成することにより作成され、前記第２合成バイノーラルルームインパルス応答は、前記第１頭部特性を示すとともに前記第１方向と前記ユーザの正面方向とがなす第２旋回角度に対応付けられた第２頭部インパルス応答の直接音成分と、前記第２頭部特性及び前記空間特性を示すとともに前記第２旋回角度に対応付けられた第２バイノーラルルームインパルス応答の残響音成分とを合成することにより作成される。
【発明の効果】
【0007】
本開示によれば、より立体的な音をユーザに知覚させることができる。
【図面の簡単な説明】
【0008】
【図1】本実施の形態に係る音響再生装置の使用事例１を示す概略図である。
【図2】本実施の形態に係る音響再生装置の使用事例２を示す概略図である。
【図3】本実施の形態に係る音響再生装置の機能構成を示すブロック図である。
【図4】本実施の形態に係る音響処理装置のより詳細な機能構成を示すブロック図である。
【図5】本実施の形態に係る音量減衰について説明するための図である。
【図6】本実施の形態に係る、音響処理装置によって出力された再生音の到達方向を説明するための図である。
【図7】本実施の形態に係る第１信号処理部の構成を示すブロック図である。
【図8】本実施の形態に係る第２信号処理部の構成を示すブロック図である。
【図9】本実施の形態における第１合成バイノーラルルームインパルス応答の作成方法を説明するための図である。
【図10】本実施の形態に係る第１作成部の構成を示すブロック図である。
【図11】本実施の形態に係る第２作成部の構成を示すブロック図である。
【図12】本実施の形態に係る音響処理装置の動作を示すフローチャートである。
【図13】本実施の形態に係る第１処理部による第１出力音信号生成処理について説明するためのフローチャートである。
【図14】本実施の形態に係る第２処理部による第２出力音信号生成処理について説明するためのフローチャートである。
【図15】本開示の実施の形態に係る第１作成部による第１合成バイノーラルルームインパルス応答作成処理について説明するためのフローチャートである。
【図16】本実施の形態における第１バイノーラルルームインパルス応答及び第１頭部インパルス応答の一例を示す図である。
【図17】本実施の形態における第１合成バイノーラルルームインパルス応答の一例を示す図である。
【図18】本実施の形態において、第１バイノーラルルームインパルス応答の最大振幅位置と第１頭部インパルス応答の最大振幅位置とを揃える処理について説明するための図である。
【図19】本実施の形態に係る、適切な第１角度の一例について説明するための図である。
【図20】本実施の形態に係る、適切な第１遅延時間の一例について説明するための図である。
【図21】本実施の形態に係る、適切な第１音量減衰量の一例について説明するための図である。
【図22】本実施の形態の変形例１における第１作成部の構成を示すブロック図である。
【図23】本実施の形態の変形例１における第２作成部の構成を示すブロック図である。
【図24】本開示の実施の形態の変形例１に係る第１作成部による第１合成バイノーラルルームインパルス応答作成処理について説明するためのフローチャートである。
【図25】本実施の形態の変形例１における第１バイノーラルルームインパルス応答の一例を示す図である。
【図26】本実施の形態の変形例１において、第１バイノーラルルームインパルス応答の直接音成分の振幅を全て０に置換する処理を説明するための図である。
【図27】本実施の形態の変形例１において、第１バイノーラルルームインパルス応答の時刻０における振幅を１に設定する処理を説明するための図である。
【図28】本実施の形態の変形例１における第１合成バイノーラルルームインパルス応答の一例を示す図である。
【図29】本実施の形態の変形例２に係る音響再生装置の機能構成を示すブロック図である。
【図30】本実施の形態の変形例２に係る音響処理装置の詳細な機能構成を示すブロック図である。
【図31】本実施の形態の変形例２に係る、音響処理装置によって出力された音の到達方向を説明するための図である。
【図32】本実施の形態の変形例２に係る音響処理装置の動作を示すフローチャートである。
【発明を実施するための形態】
【0009】
（本開示の基礎となった知見）
従来、仮想的な三次元空間内（以下、三次元音場という場合がある）で、ユーザの感覚上の音源オブジェクトである音像の位置を制御することにより、立体的な音をユーザに知覚させるための音響再生に関する技術が知られている。仮想的な三次元空間内における所定位置に音像を定位させることで、ユーザは、当該所定位置とユーザとを結ぶ直線に平行な方向（すなわち所定方向）から到達する音であるかのごとく、この音を知覚することができる。このように仮想的な三次元空間内の所定位置に音像を定位させるには、例えば、収音された音に対して、立体的な音として知覚されるような両耳間での音の到達時間差、及び、両耳間での音のレベル差（又は音圧差）などを生じさせる計算処理が必要となる。
従来、仮想的な三次元空間内（以下、三次元音場という場合がある）で、ユーザの感覚上の音源オブジェクトである音像の位置を制御することにより、立体的な音をユーザに知覚させるための音響再生に関する技術が知られている。仮想的な三次元空間内における所定位置に音像を定位させることで、ユーザは、当該所定位置とユーザとを結ぶ直線に平行な方向（すなわち所定方向）から到達する音であるかのごとく、この音を知覚することができる。このように仮想的な三次元空間内の所定位置に音像を定位させるには、例えば、収音された音に対して、立体的な音として知覚されるような両耳間での音の到達時間差、及び、両耳間での音のレベル差（又は音圧差）などを生じさせる計算処理が必要となる。
【0010】
ここで、近年、通信回線を利用して映像と音声とを双方向に送受信して通信相手とコミュニケーションをとるといった、いわゆるオンライン会議システムが盛んに利用されている。このようなオンライン会議システムでは、ヘッドホンなどの頭部装着型の音響再生装置が用いられることも多い。上記のようなオンライン会議システムに代表されるように、音をヘッドホンで受聴するような場合に、当該音を三次元音場に展開してユーザに知覚させることは困難である。例えば、単に通信相手が表示されている表示装置の方向を音の到達方向として、この方向から到達するように音を知覚させる頭部伝達関数を畳み込むだけでは、十分な頭外感が得られないことが知られている。すなわち、ユーザの頭部内に音像が定位されるため、表示装置の先にいる通信相手の映像と、頭部内に定位された音とに違和感が生じる。そして、このような違和感を抱えたまま、受聴を継続すると、必要以上に疲労してしまうという場合がある。同様の課題は、ＶＲ（ＶｉｒｔｕａｌＲｅａｌｉｔｙ）及びＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）等の三次元映像空間を利用したコンテンツの音を、ヘッドホン等の音響再生装置で受聴した場合などにも生じうる。
【0011】
そこで、ヘッドホンを利用しても音を三次元音場に展開することが可能な技術が知られている。例えば、疑似的な部屋を想定して、反射音がどのように発生するかをシミュレーションすることで、これらの反射音を人為的に作り出して合成し、ユーザに受聴させるという手法がある。すると、ユーザは、合成された反射音を含む音によって、本来の音が疑似的な部屋内で所定方向から到達しているかのように知覚することができる。
【0012】
上記の従来技術の音響処理装置は、再生音を含む音情報に対して、情報に含まれる音を、所定方向から到達する音として定位させるための第１頭部伝達関数を畳み込むことで、第１出力音信号を生成し、音情報に対して、情報に含まれる音を、所定方向との角度が０度より大きく３６０度より小さい第１角度を有する第１方向から到達し、第１出力音信号によって知覚される再生音に対して０より大きい第１遅延時間、及び、０より大きい第１音量減衰量を有する音として定位させるための第２頭部伝達関数を畳み込むことで、第２出力音信号を生成し、生成した第１出力音信号と第２出力音信号とを合成した出力音信号を出力している。
【0013】
しかしながら、上記の従来技術では、頭部伝達関数はユーザの頭部の特性に適合しているとは限らない。頭部伝達関数には個人差があり、上記の従来技術では、ユーザの頭部の特性に適合しない頭部伝達関数が用いられた場合、音を三次元音場に展開できる効果が充分に得られないおそれがある。
【0014】
一方、バイノーラルルームインパルス応答には、空間の特性を含む残響音成分が含まれている。この残響音成分は、頭部の特性の影響を受けにくいという特徴がある。また、ユーザの頭部の特性に適合しない頭部伝達関数であっても、当該頭部伝達関数を時間領域で表した頭部インパルス応答の直接音成分にバイノーラルルームインパルス応答の残響音成分が合成されることにより、音を三次元音場に展開できる効果が充分に得られることがわかった。
【0015】
以上の課題を解決するために、下記の技術が開示される。
【0016】
（１）本開示の一態様に係る音響処理装置は、再生音を三次元音場上における所定方向から到達する音としてユーザに知覚させる音響処理装置であって、前記再生音を含む音情報に対して、音を、前記所定方向から到達する音として定位させるための第１合成バイノーラルルームインパルス応答を畳み込むことで、第１出力音信号を生成する第１処理部と、前記音情報に対して、前記音を、前記所定方向との角度が０度より大きく３６０度より小さい第１角度を有する第１方向から到達し、前記第１出力音信号によって知覚される前記再生音に対して０より大きい第１遅延時間、及び、０より大きい第１音量減衰量を有する音として定位させるための第２合成バイノーラルルームインパルス応答を畳み込むことで、第２出力音信号を生成する第２処理部と、生成した前記第１出力音信号と前記第２出力音信号とを合成した出力音信号を出力するコンバイナと、を備え、前記第１合成バイノーラルルームインパルス応答は、前記ユーザの第１頭部特性を示すとともに前記所定方向と前記ユーザの正面方向とがなす第１旋回角度に対応付けられた第１頭部インパルス応答の直接音成分と、前記第１頭部特性とは異なる第２頭部特性及び前記ユーザがいる空間の空間特性を示すとともに前記第１旋回角度に対応付けられた第１バイノーラルルームインパルス応答の残響音成分とを合成することにより作成され、前記第２合成バイノーラルルームインパルス応答は、前記第１頭部特性を示すとともに前記第１方向と前記ユーザの正面方向とがなす第２旋回角度に対応付けられた第２頭部インパルス応答の直接音成分と、前記第２頭部特性及び前記空間特性を示すとともに前記第２旋回角度に対応付けられた第２バイノーラルルームインパルス応答の残響音成分とを合成することにより作成される。
【0017】
この構成によれば、第２出力音信号が、第１方向から到達し、第１遅延時間及び第１音量減衰量を有する音として定位されるので、疑似的な反射壁によって再生音が反射された反射音としてユーザに知覚される。このため、直接音としての再生音とともに、第１遅延時間及び第１音量減衰量を有して反射音が知覚されるので、直接音の音像が定位される位置の頭外感が向上される。
【0018】
また、特に、第１頭部インパルス応答の直接音成分と、第１バイノーラルルームインパルス応答の残響音成分とを合成した第１合成バイノーラルルームインパルス応答が音情報に畳み込まれるとともに、第２頭部インパルス応答の直接音成分と、第２バイノーラルルームインパルス応答の残響音成分とを合成した第２合成バイノーラルルームインパルス応答が音情報に畳み込まれるので、所望の頭部の特性及び所望の空間の特性を含むバイノーラルルームインパルス応答を音情報に畳み込むことができ、より立体的な音をユーザに知覚させることができる。
【0019】
（２）上記（１）記載の音響処理装置において、前記第１頭部インパルス応答と前記第１バイノーラルルームインパルス応答とは異なる頭部を用いて測定され、前記第２頭部インパルス応答と前記第２バイノーラルルームインパルス応答とは異なる頭部を用いて測定されてもよい。
【0020】
この構成によれば、第１頭部インパルス応答と第１バイノーラルルームインパルス応答とは異なる頭部を用いて測定され、第２頭部インパルス応答と第２バイノーラルルームインパルス応答とは異なる頭部を用いて測定されるので、擬似的に所望の頭部の特性を含む第１合成バイノーラルルームインパルス応答及び第２合成バイノーラルルームインパルス応答を作成することができる。
【0021】
（３）上記（１）又は（２）記載の音響処理装置において、出力された前記出力音信号は、前記ユーザの頭部に装着されたヘッドホン又はイヤホンを用いて再生されてもよい。
【0022】
この構成によれば、ユーザの頭部に装着されたヘッドホン又はイヤホンを用いて、より適切に立体的な音をユーザに知覚させることができる。
【0023】
（４）上記（１）～（３）のいずれか１つに記載の音響処理装置において、前記第１角度は、前記所定方向との角度が９０度より大きく、２７０度より小さい角度範囲内の角度であってもよい。
【0024】
この構成によれば、再生音が到達する所定方向がユーザの正面方向と重なるときに、所定方向との角度が９０度より大きく、２７０度より小さい角度範囲は、ユーザの後面側に対応する。したがってユーザが再生音の方向を向いているときに、反射音がユーザの後面側から到達することになる。反射音を定位させる際、反射音そのものの存在を感じにくくするために、ユーザの後面側に定位することが有効であり、上記のようにすることで、より適切に立体的な音をユーザに知覚させることができる。
【0025】
（５）上記（１）～（４）のいずれか１つに記載の音響処理装置において、さらに、前記音情報に対して、前記音を、前記所定方向との角度が０度より大きく３６０度より小さい、前記第１角度とは異なる第２角度を有する第２方向から到達し、前記第１出力音信号によって知覚される前記再生音に対して０より大きい第２遅延時間、及び、０より大きい第２音量減衰量を有する音として定位させるための第３合成バイノーラルルームインパルス応答を畳み込むことで、第３出力音信号を生成する第３処理部を備え、前記コンバイナは、前記第１出力音信号と前記第２出力音信号と前記第３出力音信号とを合成した前記出力音信号を出力し、前記第３合成バイノーラルルームインパルス応答は、前記第１頭部特性を示すとともに前記第２方向と前記ユーザの正面方向とがなす第３旋回角度に対応付けられた第３頭部インパルス応答の直接音成分と、前記第２頭部特性及び前記空間特性を示すとともに前記第３旋回角度に対応付けられた第３バイノーラルルームインパルス応答の残響音成分とを合成することにより作成されてもよい。
【0026】
この構成によれば、第３出力音信号が、第２方向から到達し、第２遅延時間及び第２音量減衰量を有する音としてさらに定位されるので、疑似的な反射壁によって再生音がさらに反射された反射音としてユーザに知覚される。このため、直接音としての再生音及び第２出力音信号による反射音とともに、第２遅延時間及び第２音量減衰量を有してさらなる反射音が知覚されて、直接音の音像が定位される位置の頭外感がさらに向上される。このように２つ以上の少ない反射音を生成して知覚させることで、比較的低い計算コストでも高い頭外感の向上効果が得られ、より適切に立体的な音をユーザに知覚させることができる。
【0027】
また、さらに、第３頭部インパルス応答の直接音成分と、第３バイノーラルルームインパルス応答の残響音成分とを合成した第３合成バイノーラルルームインパルス応答が音情報に畳み込まれるので、所望の頭部の特性及び所望の空間の特性を含むバイノーラルルームインパルス応答を音情報に畳み込むことができ、より立体的な音をユーザに知覚させることができる。
【0028】
（６）上記（５）記載の音響処理装置において、前記第２角度は、前記所定方向との角度が９０度より大きく、２７０度より小さい角度範囲内の角度であり、且つ、３６０度から前記第２角度を減じた差分角度と前記第１角度とが一致しない角度であってもよい。
【0029】
この構成によれば、再生音が到達する所定方向がユーザの正面方向と重なるときに、所定方向との角度が９０度より大きく、２７０度より小さい角度範囲は、ユーザの後面側に対応する。したがってユーザが再生音の方向を向いているときに、反射音がユーザの後面側から到達することになる。反射音を定位させる際、反射音そのものの存在を感じにくくするために、ユーザの後面側に定位することが有効であり、上記のようにすることで、より適切に立体的な音をユーザに知覚させることができる。
【0030】
（７）上記（１）～（６）のいずれか１つに記載の音響処理装置において、前記第１処理部は、前記第１バイノーラルルームインパルス応答の波形及び前記第１頭部インパルス応答の波形をトリミングする第１ピーク位置補正部と、前記第１頭部インパルス応答の前記直接音成分の終端期間において、前記第１頭部インパルス応答と前記第１バイノーラルルームインパルス応答との音圧差が最小となる置換時刻を特定する第１特定部と、前記置換時刻以前の前記第１バイノーラルルームインパルス応答の前記直接音成分を、前記置換時刻以前の前記第１頭部インパルス応答の前記直接音成分に置換する第１置換部と、を含み、前記第２処理部は、前記第２バイノーラルルームインパルス応答の波形及び前記第２頭部インパルス応答の波形をトリミングする第２ピーク位置補正部と、前記第２頭部インパルス応答の前記直接音成分の終端期間において、前記第２頭部インパルス応答と前記第２バイノーラルルームインパルス応答との音圧差が最小となる置換時刻を特定する第２特定部と、前記置換時刻以前の前記第２バイノーラルルームインパルス応答の前記直接音成分を、前記置換時刻以前の前記第２頭部インパルス応答の前記直接音成分に置換する第２置換部と、を含んでもよい。
【0031】
この構成によれば、第１バイノーラルルームインパルス応答の直接音成分が、第１頭部インパルス応答の直接音成分に置換されることにより、第１頭部インパルス応答の直接音成分と、第１バイノーラルルームインパルス応答の残響音成分とを容易に合成することができる。また、第２バイノーラルルームインパルス応答の直接音成分が、第２頭部インパルス応答の直接音成分に置換されることにより、第２頭部インパルス応答の直接音成分と、第２バイノーラルルームインパルス応答の残響音成分とを容易に合成することができる。
【0032】
（８）上記（７）記載の音響処理装置において、前記第１ピーク位置補正部は、前記第１バイノーラルルームインパルス応答の振幅が最大となる時刻と、前記第１頭部インパルス応答の振幅が最大となる時刻とが一致するように、前記第１バイノーラルルームインパルス応答の波形及び前記第１頭部インパルス応答の波形をトリミングし、前記第２ピーク位置補正部は、前記第２バイノーラルルームインパルス応答の振幅が最大となる時刻と、前記第２頭部インパルス応答の振幅が最大となる時刻とが一致するように、前記第２バイノーラルルームインパルス応答の波形及び前記第２頭部インパルス応答の波形をトリミングしてもよい。
【0033】
この構成によれば、第１バイノーラルルームインパルス応答と第１頭部インパルス応答との時刻を合わせるように、第１バイノーラルルームインパルス応答に第１頭部インパルス応答を適切に合成することができるとともに、第２バイノーラルルームインパルス応答と第２頭部インパルス応答との時刻を合わせるように、第２バイノーラルルームインパルス応答に第２頭部インパルス応答を適切に合成することができる。
【0034】
（９）上記（７）又は（８）記載の音響処理装置において、前記終端期間は、１．５ｍｓｅｃから２．５ｍｓｅｃの期間であってもよい。
【0035】
この構成によれば、１．５ｍｓｅｃから２．５ｍｓｅｃの期間において、第１バイノーラルルームインパルス応答の直接音成分を第１頭部インパルス応答の直接音成分に置換するための置換時刻と、第２バイノーラルルームインパルス応答の直接音成分を第２頭部インパルス応答の直接音成分に置換するための置換時刻とを特定することができる。
【0036】
（１０）上記（７）～（９）のいずれか１つに記載の音響処理装置において、前記第１処理部は、前記置換時刻以前の前記第１頭部インパルス応答の前記直接音成分の音圧レベルを、前記置換時刻以前の前記第１バイノーラルルームインパルス応答の前記直接音成分の音圧レベルに応じて変更する第１変更部をさらに含み、前記第２処理部は、前記置換時刻以前の前記第２頭部インパルス応答の前記直接音成分の音圧レベルを、前記置換時刻以前の前記第２バイノーラルルームインパルス応答の前記直接音成分の音圧レベルに応じて変更する第２変更部をさらに含んでもよい。
【0037】
この構成によれば、第１頭部インパルス応答の直接音成分の音圧レベルが、第１バイノーラルルームインパルス応答の直接音成分の音圧レベルに応じて変更されるので、第１頭部インパルス応答の直接音成分と第１バイノーラルルームインパルス応答の残響音成分とを違和感なく合成することができる。また、第２頭部インパルス応答の直接音成分の音圧レベルが、第２バイノーラルルームインパルス応答の直接音成分の音圧レベルに応じて変更されるので、第２頭部インパルス応答の直接音成分と第２バイノーラルルームインパルス応答の残響音成分とを違和感なく合成することができる。
【0038】
（１１）上記（７）～（９）のいずれか１つに記載の音響処理装置において、前記第１処理部は、前記置換時刻以後の前記第１バイノーラルルームインパルス応答の前記残響音成分の音圧レベルを、前記置換時刻以前の前記第１頭部インパルス応答の前記直接音成分の音圧レベルに応じて変更する第１変更部をさらに含み、前記第２処理部は、前記置換時刻以後の前記第２バイノーラルルームインパルス応答の前記残響音成分の音圧レベルを、前記置換時刻以前の前記第２頭部インパルス応答の前記直接音成分の音圧レベルに応じて変更する第２変更部をさらに含んでもよい。
【0039】
この構成によれば、第１バイノーラルルームインパルス応答の残響音成分の音圧レベルが、第１頭部インパルス応答の直接音成分の音圧レベルに応じて変更されるので、第１頭部インパルス応答の直接音成分と第１バイノーラルルームインパルス応答の残響音成分とを違和感なく合成することができる。また、第２バイノーラルルームインパルス応答の残響音成分の音圧レベルが、第２頭部インパルス応答の直接音成分の音圧レベルに応じて変更されるので、第２頭部インパルス応答の直接音成分と第２バイノーラルルームインパルス応答の残響音成分とを違和感なく合成することができる。
【0040】
（１２）上記（１）～（６）のいずれか１つに記載の音響処理装置において、前記第１処理部は、前記第１バイノーラルルームインパルス応答の直接音成分の振幅を全て０に置換する第１置換部と、前記第１バイノーラルルームインパルス応答の時刻０における前記振幅を１に設定する第１設定部と、前記第１バイノーラルルームインパルス応答に前記第１頭部インパルス応答を畳み込む第１畳み込み部と、を含み、前記第２処理部は、前記第２バイノーラルルームインパルス応答の直接音成分の振幅を全て０に置換する第２置換部と、前記第２バイノーラルルームインパルス応答の時刻０における前記振幅を１に設定する第２設定部と、前記第２バイノーラルルームインパルス応答に前記第２頭部インパルス応答を畳み込む第２畳み込み部と、を含んでもよい。
【0041】
この構成によれば、直接音成分の振幅が全て０に置換されるとともに時刻０における振幅が１に設定された第１バイノーラルルームインパルス応答に第１頭部インパルス応答が畳み込まれることにより、第１頭部インパルス応答の直接音成分と、第１バイノーラルルームインパルス応答の残響音成分とを容易に合成することができる。また、直接音成分の振幅が全て０に置換されるとともに時刻０における振幅が１に設定された第２バイノーラルルームインパルス応答に第２頭部インパルス応答が畳み込まれることにより、第２頭部インパルス応答の直接音成分と、第２バイノーラルルームインパルス応答の残響音成分とを容易に合成することができる。
【0042】
（１３）上記（１２）記載の音響処理装置において、前記第１処理部は、前記第１バイノーラルルームインパルス応答の前記直接音成分の終端期間において、前記第１バイノーラルルームインパルス応答の前記振幅が最も０に近似する置換時刻を特定する第１特定部をさらに含み、前記第１置換部は、前記置換時刻以前の前記第１バイノーラルルームインパルス応答の前記振幅を全て０に置換し、前記第２処理部は、前記第２バイノーラルルームインパルス応答の前記直接音成分の終端期間において、前記第２バイノーラルルームインパルス応答の前記振幅が最も０に近似する置換時刻を特定する第２特定部をさらに含み、前記第２置換部は、前記置換時刻以前の前記第２バイノーラルルームインパルス応答の前記振幅を全て０に置換してもよい。
【0043】
この構成によれば、第１バイノーラルルームインパルス応答のうちの第１頭部インパルス応答の直接音成分を合成する位置を決めることができるとともに、第２バイノーラルルームインパルス応答のうちの第２頭部インパルス応答の直接音成分を合成する位置を決めることができる。
【0044】
また、本開示は、以上のような特徴的な構成を備える音響処理装置として実現することができるだけでなく、音響処理装置が備える特徴的な構成に対応する特徴的な処理を実行する音響処理方法などとして実現することもできる。また、このような音響処理方法に含まれる特徴的な処理をコンピュータに実行させるコンピュータプログラムとして実現することもできる。したがって、以下の他の態様でも、上記の音響処理装置と同様の効果を奏することができる。
【0045】
（１４）本開示の他の態様に係る音響処理方法は、再生音を三次元音場上における所定方向から到達する音としてユーザに知覚させる音響処理装置により実行される音響処理方法であって、前記再生音を含む音情報に対して、音を、前記所定方向から到達する音として定位させるための第１合成バイノーラルルームインパルス応答を畳み込むことで、第１出力音信号を生成することと、前記音情報に対して、前記音を、前記所定方向との角度が０度より大きく３６０度より小さい第１角度を有する第１方向から到達し、前記第１出力音信号によって知覚される前記再生音に対して０より大きい第１遅延時間、及び、０より大きい第１音量減衰量を有する音として定位させるための第２合成バイノーラルルームインパルス応答を畳み込むことで、第２出力音信号を生成することと、生成した前記第１出力音信号と前記第２出力音信号とを合成した出力音信号を出力することと、を含み、前記第１合成バイノーラルルームインパルス応答は、前記ユーザの第１頭部特性を示すとともに前記所定方向と前記ユーザの正面方向とがなす第１旋回角度に対応付けられた第１頭部インパルス応答の直接音成分と、前記第１頭部特性とは異なる第２頭部特性及び前記ユーザがいる空間の空間特性を示すとともに前記第１旋回角度に対応付けられた第１バイノーラルルームインパルス応答の残響音成分とを合成することにより作成され、前記第２合成バイノーラルルームインパルス応答は、前記第１頭部特性を示すとともに前記第１方向と前記ユーザの正面方向とがなす第２旋回角度に対応付けられた第２頭部インパルス応答の直接音成分と、前記第２頭部特性及び前記空間特性を示すとともに前記第２旋回角度に対応付けられた第２バイノーラルルームインパルス応答の残響音成分とを合成することにより作成される。
【0046】
（１５）本開示の他の態様に係る音響処理プログラムは、再生音を三次元音場上における所定方向から到達する音としてユーザに知覚させる音響処理プログラムであって、前記再生音を含む音情報に対して、音を、前記所定方向から到達する音として定位させるための第１合成バイノーラルルームインパルス応答を畳み込むことで、第１出力音信号を生成する第１処理部と、前記音情報に対して、前記音を、前記所定方向との角度が０度より大きく３６０度より小さい第１角度を有する第１方向から到達し、前記第１出力音信号によって知覚される前記再生音に対して０より大きい第１遅延時間、及び、０より大きい第１音量減衰量を有する音として定位させるための第２合成バイノーラルルームインパルス応答を畳み込むことで、第２出力音信号を生成する第２処理部と、生成した前記第１出力音信号と前記第２出力音信号とを合成した出力音信号を出力するコンバイナとしてコンピュータを機能させ、前記第１合成バイノーラルルームインパルス応答は、前記ユーザの第１頭部特性を示すとともに前記所定方向と前記ユーザの正面方向とがなす第１旋回角度に対応付けられた第１頭部インパルス応答の直接音成分と、前記第１頭部特性とは異なる第２頭部特性及び前記ユーザがいる空間の空間特性を示すとともに前記第１旋回角度に対応付けられた第１バイノーラルルームインパルス応答の残響音成分とを合成することにより作成され、前記第２合成バイノーラルルームインパルス応答は、前記第１頭部特性を示すとともに前記第１方向と前記ユーザの正面方向とがなす第２旋回角度に対応付けられた第２頭部インパルス応答の直接音成分と、前記第２頭部特性及び前記空間特性を示すとともに前記第２旋回角度に対応付けられた第２バイノーラルルームインパルス応答の残響音成分とを合成することにより作成される。
【0047】
（１６）本開示の他の態様に係る非一時的なコンピュータ読み取り可能な記録媒体は、上記（１５）記載の音響処理プログラムを記録する。
【0048】
以下添付図面を参照しながら、本開示の実施の形態について説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることもできる。
【0049】
【0050】
【0051】
音響再生装置１００は、ユーザ９９の頭部に装着される音提示デバイスである。したがって、音響再生装置１００は、ユーザ９９の頭部と一体的に移動する。例えば、本実施の形態における音響再生装置１００は、図１に示すように、いわゆるオーバーイヤーヘッドホン型のデバイスであってもよいし、図２に示すように、ユーザ９９の左右の耳にそれぞれ独立して装着される２つの耳栓型のデバイス（インナーイヤーヘッドホン型デバイス）であってもよい。この２つのデバイスは、互いに通信することで、右耳用の音と左耳用の音とを同期して提示する。
【0052】
なお、本開示の音響再生装置１００は、オーバーイヤーヘッドホン型デバイス及びインナーイヤーヘッドホン型デバイスなどの頭部装着型の音響再生装置に限られない。例えば、ヘッドレストスピーカのようにスピーカがユーザ９９に装着されていない状態で、ユーザ９９の両耳に近接して設置される音響再生装置などにも適用可能である。
【0053】
音響再生装置１００は、ユーザ９９の頭部の動きに応じて提示する音を変化させることで、ユーザ９９が三次元音場内で頭部を動かしているようにユーザ９９に知覚させる。このため、上記したように、音響再生装置１００は、ユーザ９９の動きに対して三次元音場をユーザの動きとは逆方向に移動させる。
【0054】
【0055】
【0056】
図３に示すように、本実施の形態に係る音響再生装置１００は、音響処理装置１０１と、通信モジュール１０２と、センサ１０３と、ドライバ１０４と、を備える。
【0057】
音響処理装置１０１は、音響再生装置１００における各種の信号処理を行うための演算装置である、音響処理装置１０１は、例えば、プロセッサとメモリとを備え、メモリに記憶されたプログラムがプロセッサによって実行されることで、各種の機能を発揮する。なお、音響処理装置１０１は、例えば、処理回路によるハード実装によって、又は、処理回路によるメモリに保持される、若しくは、外部サーバから配信されるソフトウェアプログラムの実行によって、又は、これらハード実装とソフト実装との組み合わせによって実現されてもよい。
【0058】
音響処理装置１０１は、取得部１１１、第１処理部１２１、第２処理部１３１、及びコンバイナ１５０を有する。取得部１１１については、通信モジュール１０２の説明と併せて、コンバイナ１５０については、ドライバ１０４の説明と併せてそれぞれ後述する。
【0059】
第１処理部１２１は、再生音の第１出力音信号を生成する。第１処理部１２１は、再生音を含む音情報に対して、情報に含まれる音を、所定方向から到達する音として定位させるための第１合成バイノーラルルームインパルス応答を畳み込むことで、第１出力音信号を生成する。
【0060】
第１合成バイノーラルルームインパルス応答は、ユーザの第１頭部特性を示すとともに所定方向とユーザの正面方向とがなす第１旋回角度に対応付けられた第１頭部インパルス応答の直接音成分と、第１頭部特性とは異なる第２頭部特性及びユーザがいる空間の空間特性を示すとともに第１旋回角度に対応付けられた第１バイノーラルルームインパルス応答の残響音成分とを合成することにより作成される。第１頭部インパルス応答と第１バイノーラルルームインパルス応答とは異なる頭部を用いて測定される。
【0061】
第１処理部１２１は、第１信号処理部１２３、第１合成ＢＲＩＲ畳み込み部１２４、及び第１音量減衰部１２５を備える。
【0062】
第１信号処理部１２３は、第１頭部インパルス応答の直接音成分と第１バイノーラルルームインパルス応答の残響音成分とを合成した第１合成バイノーラルルームインパルス応答を作成する。なお、第１信号処理部１２３の詳細は後述される。
【0063】
第１合成ＢＲＩＲ畳み込み部１２４は、再生音を含む音情報に対して第１合成バイノーラルルームインパルス応答を畳み込むことで、第１出力音信号を生成する。
【0064】
第１音量減衰部１２５は、ユーザ９９の頭部の角度に応じて第１出力音信号の音量を減衰させる。第１音量減衰部１２５は、第１出力音信号の音量から音量減衰量α（第３音量減衰量）を減衰させる。なお、第１音量減衰部１２５の詳細は後述される。
【0065】
第１処理部１２１は、入力された音情報に対して、音を所定方向に定位させるための第１合成バイノーラルルームインパルス応答の畳み込みを行い、第１音量減衰部１２５を介して、音量が減衰された第１出力音信号を出力する。第１出力音信号は、第１イコライザ（ＥＱ）１２２に入力される。音響処理装置１０１は、第１ＥＱ１２２をさらに備える。第１ＥＱ１２２は、第１出力音信号に対して低域及び高域の音の調整を行い、第１出力音信号をコンバイナ１５０に出力する。
【0066】
第２処理部１３１は、第１の反射音の第２出力音信号を生成する。第２処理部１３１は、再生音を含む音情報に対して、情報に含まれる音を、所定方向との角度が０度より大きく３６０度より小さい第１角度を有する第１方向から到達し、第１出力音信号によって知覚される再生音に対して０より大きい第１遅延時間、及び、０より大きい第１音量減衰量を有する音として定位させるための第２合成バイノーラルルームインパルス応答を畳み込むことで、第２出力音信号を生成する。
【0067】
第２合成バイノーラルルームインパルス応答は、第１頭部特性を示すとともに第１方向とユーザの正面方向とがなす第２旋回角度に対応付けられた第２頭部インパルス応答の直接音成分と、第２頭部特性及び空間特性を示すとともに第２旋回角度に対応付けられた第２バイノーラルルームインパルス応答の残響音成分とを合成することにより作成される。第２頭部インパルス応答と第２バイノーラルルームインパルス応答とは異なる頭部を用いて測定される。
【0068】
音響処理装置１０１は、第１角度決定部１３０をさらに備える。第１角度決定部１３０は、予め設定されている第１角度を決定する。また、第１角度決定部１３０は、第１角度を有する第１方向と、取得部１１１によって得られるユーザの正面方向とがなす第２旋回角度を算出し、算出した第２旋回角度を第２信号処理部１３３へ出力する。
【0069】
第２処理部１３１は、第２信号処理部１３３、第２合成ＢＲＩＲ畳み込み部１３４、第１遅延部１３５、及び第２音量減衰部１３６を備える。
【0070】
第２信号処理部１３３は、第２頭部インパルス応答の直接音成分と第２バイノーラルルームインパルス応答の残響音成分とを合成した第２合成バイノーラルルームインパルス応答を作成する。なお、第２信号処理部１３３の詳細は後述される。
【0071】
第２合成ＢＲＩＲ畳み込み部１３４は、再生音を含む音情報に対して第２合成バイノーラルルームインパルス応答を畳み込むことで、第２出力音信号を生成する。
【0072】
第１遅延部１３５は、第１遅延時間に応じて第２出力音信号を遅延させる。なお、第１遅延時間は後述される。
【0073】
第２音量減衰部１３６は、第２出力音信号の音量を減衰させる。第２音量減衰部１３６は、第２出力音信号の音量から音量減衰量β（第１音量減衰量）を減衰させる。なお、第２音量減衰部１３６の詳細は後述される。
【0074】
第２処理部１３１は、入力された音情報に対して、音を第１方向に定位させるための第２合成バイノーラルルームインパルス応答の畳み込みを行い、第２音量減衰部１３６を介して、音量が減衰された第２出力音信号を出力する。第２出力音信号は、第２イコライザ（ＥＱ）１３２に入力される。音響処理装置１０１は、第２ＥＱ１３２をさらに備える。第２ＥＱ１３２は、第２出力音信号に対して低域及び高域の音の調整を行い、第２出力音信号をコンバイナ１５０に出力する。
【0075】
通信モジュール１０２は、音響再生装置１００への音情報の入力を受け付けるためのインタフェース装置である。通信モジュール１０２は、例えば、アンテナと信号変換器とを備え、無線通信により外部の装置から音情報を受信する。より詳しくは、通信モジュール１０２は、無線通信のための形式に変換された音情報を示す無線信号を、アンテナを用いて受波し、信号変換器により無線信号から音情報への再変換を行う。これにより、音響再生装置１００は、外部の装置から無線通信により音情報を取得する。通信モジュール１０２によって取得された音情報は、取得部１１１によって取得される。このようにして音情報は、音響処理装置１０１に入力される。なお、音響再生装置１００と外部の装置との通信は、有線通信によって行われてもよい。
【0076】
また、音響処理装置１０１は、図４に示す残響抑圧処理部１２０をさらに備える。反射音を生成して合成する際に、元の音に残響音成分、すなわち、音の収音環境において反射などで遅れて収音器に入力された音の成分が含まれると、反射音を合成したことによる音の頭外感の向上効果が低減される。このため、音響処理装置１０１では、残響抑圧処理部１２０によって、情報に含まれる音に対して、当該情報に含まれる残響音成分を減少させる残響抑圧処理を行う。再生対象の再生音と、残響音成分とを含む原音情報から、残響抑圧処理を行うことで、原音情報に含まれる音のうち、減少した残響音成分以外の音を再生音として含んでいる音情報を生成して、第１処理部１２１及び第２処理部１３１に入力することができる。残響抑圧処理部１２０は、取得部１１１の前段に挿入されていてもよいし、取得部１１１の後段に挿入されていてもよい。
【0077】
音響再生装置１００が取得する音情報は、例えば、ＭＰＥＧ－Ｈ ３Ｄ Ａｕｄｉｏ（ＩＳＯ／ＩＥＣ ２３００８－３）等の所定の形式で符号化されている。一例として、符号化された音情報には、音響再生装置１００によって再生される再生音についての情報と、当該音の音像を三次元音場内において所定位置に定位させる（つまり所定方向から到達する音として知覚させる）際の定位位置に関する情報、すなわち所定方向に関する情報とが含まれる。例えば、音情報には第１の再生音及び第２の再生音を含む複数の音に関する情報が含まれ、それぞれの音が再生された際の音像を三次元音場内における異なる方向から到達する音として知覚させるように音像を定位させる。
【0078】
この立体的な音によって、例えば、表示装置を用いて視認される画像と併せて、視聴されるコンテンツなどの臨場感を向上することができる。なお、音情報には、再生音についての情報のみが含まれていてもよい。この場合、所定方向に関する情報を別途取得してもよい。また、上記したように、音情報は、第１の再生音に関する第１音情報、及び、第２の再生音に関する第２音情報を含むが、これらを別個に含む複数の音情報をそれぞれ取得し、同時に再生することで三次元音場内における異なる位置に音像を定位させてもよい。このように、入力される音情報の形態に特に限定はなく、音響再生装置１００（特に、音響処理装置１０１）に各種の形態の音情報に応じた取得部１１１が備えられればよい。
【0079】
本実施の形態における取得部１１１は、例えば、エンコード音情報入力部、デコード処理部、及び、センシング情報入力部を備える。
【0080】
エンコード音情報入力部は、取得部１１１が取得した、符号化された（言い換えるとエンコードされている）音情報が入力される処理部である。エンコード音情報入力部は、入力された音情報をデコード処理部へと出力する。デコード処理部は、エンコード音情報入力部から出力された音情報を復号する（言い換えるとデコードする）ことにより音情報に含まれる所定音に関する情報と、所定方向に関する情報とを、以降の処理に用いられる形式で生成する処理部である。センシング情報入力部については、センサ１０３の機能とともに、以下に説明する。
【0081】
センサ１０３は、ユーザ９９の頭部の動き速度を検知するための装置である。センサ１０３は、ジャイロセンサ、加速度センサなど動きの検知に使用される各種のセンサを組み合わせて構成される。本実施の形態では、センサ１０３は、音響再生装置１００に内蔵されているが、例えば、音響再生装置１００と同様にユーザ９９の頭部の動きに応じて動作する立体映像再生装置等、外部の装置に内蔵されていてもよい。この場合、センサ１０３は、音響再生装置１００に含まれなくてもよい。また、センサ１０３として、外部の撮像装置などを用いて、ユーザ９９の頭部の動きを撮像し、撮像された画像を処理することでユーザ９９の頭部の動きを検知してもよい。
【0082】
センサ１０３は、例えば、音響再生装置１００の筐体に一体的に固定され、筐体の動きの速度を検知する。上記の筐体を含む音響再生装置１００は、ユーザ９９が装着した後、ユーザ９９の頭部と一体的に移動するため、センサ１０３は、結果としてユーザ９９の頭部の動きの速度を検知することができる。
【0083】
センサ１０３は、例えば、ユーザ９９の頭部の動きの量として、三次元空間内で互いに直交する３軸の少なくとも一つを回転軸とする回転量を検知してもよいし、上記３軸の少なくとも一つを変位方向とする変位量を検知してもよい。また、センサ１０３は、ユーザ９９の頭部の動きの量として、回転量及び変位量の両方を検知してもよい。
【0084】
また、本実施の形態において、音響再生装置１００は、音が到達する所定方向のユーザによる設定入力を受け付けてもよい。例えば、ユーザは、再生音の音像を定位させる方向に正面を向けた状態で、設定ボタンを押下する。これにより、センサ１０３によって検出された現在のユーザの正面方向が、再生音が到達する所定方向（０度）に設定されてもよい。そして、取得部１１１は、所定方向とユーザの正面方向とがなす第１旋回角度を算出してもよい。
【0085】
取得部１１１のセンシング情報入力部は、センサ１０３からユーザ９９の頭部の動き速度を取得する。より具体的には、センシング情報入力部は、単位時間あたりにセンサ１０３が検知したユーザ９９の頭部の動きの量を動きの速度として取得する。このようにしてセンシング情報入力部は、センサ１０３からセンシング結果として回転速度及び変位速度の少なくとも一方を取得する。ここで取得されるユーザ９９の頭部の動きの量は、三次元音場内のユーザ９９の座標及び向きを決定するために用いられる。音響再生装置１００では、決定されたユーザ９９の座標及び向きに基づいて、音像の相対的な位置を決定して音が再生される。取得部１１１は、再生音が到達する所定方向と、センサ１０３によって得られるユーザ９９の正面方向とがなす第１旋回角度を算出し、算出した第１旋回角度を第１信号処理部１２３へ出力する。
【0086】
さらに、本実施の形態では、取得部１１１のセンシング情報入力部がセンサ１０３から取得したセンシング結果が、第１音量減衰部１２５及び第２音量減衰部１３６の音量減衰量の制御に用いられる。つまり、センシング結果に応じて、第１音量減衰部１２５及び第２音量減衰部１３６の音量減衰量が自動的に変化する。これは、ユーザ９９が反射音の方向に向いたときに、その方向からの反射音が明確に鳴っていると、ユーザ９９が違和感を抱く可能性があるためである。したがって、第２音量減衰部１３６は、ユーザ９９が頭部を回転させた際に、ユーザ９９の正面方向が反射音の方向に近づくにつれて、反射音の音量を減衰させるように制御する。これと同時に、第１音量減衰部１２５は、全体としての音量が変化しないように、再生音の音量を増幅させる（音量減衰量を減少させる）ことを同時に行う。つまり、第１処理部１２１における第１音量減衰部１２５は、第２処理部１３１における第２音量減衰部１３６の音量減衰量βが増加した場合、音量減衰量αを減少させ、第２処理部１３１における第２音量減衰部１３６の音量減衰量βが減少した場合、音量減衰量αを増加させる。
【0087】
図５は、本実施の形態に係る音量減衰について説明するための図である。図５では、ユーザ９９の頭部の上下方向に平行な軸周りにユーザ９９の頭部が回転した際の回転角（ヨー角）に対する、第１音量減衰部１２５の音量減衰量α（破線）及び第２音量減衰部１３６の音量減衰量β（実線）が示されている。なお、ここでの第１角度は、１２０度に設定されている。ここでは、下記の式（１）に基づいて、第１音量減衰部１２５の音量減衰量α及び第２音量減衰部１３６の音量減衰量βが算出されている。
【0088】
（α２＋β２）１／２＝１・・・（１）
なお、上記の式（１）において、αは、第１音量減衰部１２５の音量減衰量（ゲイン）を示し、βは、第２音量減衰部１３６の音量減衰量（ゲイン）を示している。この例では、所定方向との角度が１２０度の方向に設定された反射音に対して、ユーザ９９がその半分の６０度の方向まで頭部を回転させると反射音がなくなることが分かる。このようにして、音響処理装置１０１では、反射音そのものが違和感の要因とならないように、適宜再生音及び反射音の音量減衰量が変化される。上記の式（１）を用いて説明した音量減衰量α及び音量減衰量βの関係は一例であり、反射音の方向に向かってユーザ９９が頭部を回転させるほど、反射音の音量減衰量βが増加されれば、どのような関係が用いられてもよい。また、以上の関係は、音量減衰量α及び音量減衰量βの関係だけでなく、音量減衰量γを有する他の反射音（変形例にて後述する）を生成する場合の音量減衰量α及び音量減衰量γの関係についても成立してもよい。
なお、上記の式（１）において、αは、第１音量減衰部１２５の音量減衰量（ゲイン）を示し、βは、第２音量減衰部１３６の音量減衰量（ゲイン）を示している。この例では、所定方向との角度が１２０度の方向に設定された反射音に対して、ユーザ９９がその半分の６０度の方向まで頭部を回転させると反射音がなくなることが分かる。このようにして、音響処理装置１０１では、反射音そのものが違和感の要因とならないように、適宜再生音及び反射音の音量減衰量が変化される。上記の式（１）を用いて説明した音量減衰量α及び音量減衰量βの関係は一例であり、反射音の方向に向かってユーザ９９が頭部を回転させるほど、反射音の音量減衰量βが増加されれば、どのような関係が用いられてもよい。また、以上の関係は、音量減衰量α及び音量減衰量βの関係だけでなく、音量減衰量γを有する他の反射音（変形例にて後述する）を生成する場合の音量減衰量α及び音量減衰量γの関係についても成立してもよい。
【0089】
コンバイナ１５０は、第１処理部１２１によって生成された第１出力音信号と第２処理部１３１によって生成された第２出力音信号とを合成した出力音信号をドライバ１０４へ出力する。コンバイナ１５０は、第１出力音信号及び第２出力音信号を加算することによって合成した出力音信号を出力する。コンバイナ１５０は、さらに、出力音信号に基づいてデジタル信号からアナログ信号への信号変換などを行うことで、波形信号を生成し、波形信号に基づいてドライバ１０４に音波を発生させ、ユーザ９９に音を提示する。出力された出力音信号は、ユーザ９９の頭部に装着されたヘッドホン又はイヤホンを用いて再生される。
【0090】
ドライバ１０４は、例えば、振動板と、マグネット及びボイスコイルなどの駆動機構とを有する。ドライバ１０４は、波形信号に応じて駆動機構を動作させ、駆動機構によって振動板を振動させる。このようにして、ドライバ１０４は、出力音信号に応じた振動板の振動により、音波を発生させ、音波が空気を伝播してユーザ９９の耳に伝達し、ユーザ９９が音を知覚する。
【0091】
以上のようにしてコンバイナ１５０から出力された出力音信号がドライバ１０４によって再生されると、図６のような音場が形成される。
【0092】
図６は、本実施の形態に係る、音響処理装置１０１によって出力された再生音の到達方向を説明するための図である。
【0093】
図６では、ユーザ９９の頭部の上下方向に沿う方向から仮想的な三次元音場を平面視した図を示している。図６では、紙面上方向を正面とした姿勢のユーザ９９を示しており、このユーザ９９は、紙面に垂直な方向に直立の姿勢でいる。そして、ユーザ９９の正面方向に、再生音が定位される所定方向が設定されている。なお、再生音が定位されている位置Ｐ１を、黒丸印として示しており、仮想的なスピーカが併せて示されている。
【0094】
図６に示すように、所定方向から時計回りに第１角度を有する方向に、第１の反射音が定位されている（位置Ｐ２）。
【0095】
また、図６のユーザ９９の左右に延びる１点鎖線は、ユーザ９９の頭部を前後に分ける仮想的な境界面を示している。この境界面は、ユーザ９９の外耳道に沿う面であってもよいし、ユーザ９９の耳殻の最後端の点を通る面であってもよいし、単にユーザ９９の頭部の重心を通る面であってもよい。このような境界面の前後において、つまり、ユーザ９９の前後で音の聞き取りやすさに差があることが知られている。第２処理部１３１は、反射音を定位させる際、反射音そのものの存在を感じにくくするために、ユーザ９９の後面側に反射音を定位することが有効である。したがって、第１角度は、所定方向との角度が９０度より大きく、２７０度より小さい角度範囲内の角度に設定されるとよい。
【0096】
なお、以上に説明した第１角度、第１遅延時間、及び第１音量減衰量は、音響処理装置１０１によってあらかじめ設定された数値、又はセンサ１０３によるセンシング結果に応じて変化する数値であるとして説明したが、これらのうち、少なくとも１つは、ユーザ９９が任意に入力した数値によって調整可能に構成されてもよい。つまり、音響処理装置１０１は、第１角度、第１遅延時間、及び第１音量減衰量の少なくとも１つを調整するためのユーザ９９による入力を受け付けてもよい。
【0097】
続いて、図４に示す第１信号処理部１２３の詳細について説明する。
【0098】
図７は、本実施の形態に係る第１信号処理部１２３の構成を示すブロック図である。
【0099】
図７に示す第１信号処理部１２３は、第１ＨＲＩＲデータベース１１、第１ＢＲＩＲデータベース１２、第１ＨＲＩＲ取得部１３、第１ＢＲＩＲ取得部１４、第１作成部１５、及び第１出力部１６を備える。
【0100】
第１ＨＲＩＲデータベース１１は、人の頭部特性を示す頭部インパルス応答（Ｈｅａｄ－Ｒｅｌａｔｅｄ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ：ＨＲＩＲ）を予め記憶する。頭部伝達関数（Ｈｅａｄ－Ｒｅｌａｔｅｄ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ：ＨＲＴＦ）は、頭部周辺による入射音波の物理特性の変化を周波数領域で表現したものである。頭部インパルス応答は、頭部伝達関数を時間領域で表現したものである。頭部インパルス応答は、無響空間において測定される。そのため、頭部インパルス応答は、直接音成分を含み、残響音成分をほぼ含まない。
【0101】
なお、第１ＨＲＩＲデータベース１１は、左チャンネル及び右チャンネルそれぞれの頭部インパルス応答を記憶してもよい。また、第１ＨＲＩＲデータベース１１は、複数の頭部特性に対応する複数の頭部インパルス応答を記憶してもよい。また、第１ＨＲＩＲデータベース１１は、音が到達する方向とユーザの正面方向とがなす複数の旋回角度に対応する複数の頭部インパルス応答を記憶してもよい。複数の旋回角度は、例えば、３６０度を、２度毎、５度毎、又は１０度毎に分割したそれぞれの角度である。なお、音が到達する方向が０度であり、旋回角度は、音が到達する方向とユーザの正面方向とが時計回りになす角度を示す。
【0102】
第１ＢＲＩＲデータベース１２は、人の頭部特性及び人がいる空間の空間特性を示すバイノーラルルームインパルス応答（Ｂｉｎａｕｒａｌ Ｒｏｏｍ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ：ＢＲＩＲ）を予め記憶する。バイノーラルルームインパルス応答は、時間領域で表現される。バイノーラルルームインパルス応答は、有響空間において測定される。そのため、バイノーラルルームインパルス応答は、直接音成分と残響音成分とを含む。
【0103】
なお、第１ＢＲＩＲデータベース１２は、左チャンネル及び右チャンネルそれぞれのバイノーラルルームインパルス応答を記憶してもよい。また、第１ＢＲＩＲデータベース１２は、複数の空間特性に対応する複数のバイノーラルルームインパルス応答を記憶してもよい。例えば、第１ＢＲＩＲデータベース１２は、複数の空間の大きさ毎に複数のバイノーラルルームインパルス応答を記憶してもよい。また、第１ＢＲＩＲデータベース１２は、音が到達する所定方向とユーザの正面方向とがなす複数の旋回角度に対応する複数のバイノーラルルームインパルス応答を記憶してもよい。複数の旋回角度は、例えば、３６０度を、２度毎、５度毎、又は１０度毎に分割したそれぞれの角度である。なお、音が到達する方向が０度であり、旋回角度は、音が到達する所定方向とユーザの正面方向とが時計回りになす角度を示す。
【0104】
第１ＨＲＩＲ取得部１３は、ユーザの第１頭部特性を示すとともに所定方向とユーザの正面方向とがなす第１旋回角度に対応付けられた第１頭部インパルス応答を第１ＨＲＩＲデータベース１１から取得する。なお、第１ＨＲＩＲ取得部１３は、第１旋回角度を取得部１１１から取得する。また、第１ＨＲＩＲ取得部１３によって取得される第１頭部インパルス応答は、受聴者であるユーザ自身の外耳道入り口に装着された測定機器により測定されてもよいし、ユーザに近い頭部特性を有する人物の外耳道入り口に装着された測定機器又はダミーヘッドに装着された測定機器により測定されてもよい。
【0105】
第１ＢＲＩＲ取得部１４は、第１頭部特性とは異なる第２頭部特性及びユーザがいる空間の空間特性を示すとともに第１旋回角度に対応付けられた第１バイノーラルルームインパルス応答を第１ＢＲＩＲデータベース１２から取得する。なお、第１ＢＲＩＲ取得部１４は、第１旋回角度を取得部１１１から取得する。また、第１ＢＲＩＲ取得部１４によって取得される第１バイノーラルルームインパルス応答は、受聴者であるユーザがいる空間の空間特性に近い空間特性を有する空間において、ユーザとは異なる人物の外耳道入り口に装着された測定機器又はダミーヘッドに装着された測定機器により測定されてもよい。
【0106】
第１作成部１５は、第１ＨＲＩＲ取得部１３によって取得された第１頭部インパルス応答の直接音成分と、第１ＢＲＩＲ取得部１４によって取得された第１バイノーラルルームインパルス応答の残響音成分とを合成した第１合成バイノーラルルームインパルス応答を作成する。
【0107】
第１出力部１６は、第１作成部１５によって作成された第１合成バイノーラルルームインパルス応答を出力する。
【0108】
続いて、図４に示す第２信号処理部１３３の詳細について説明する。
【0109】
図８は、本実施の形態に係る第２信号処理部１３３の構成を示すブロック図である。
【0110】
図８に示す第２信号処理部１３３は、第２ＨＲＩＲデータベース２１、第２ＢＲＩＲデータベース２２、第２ＨＲＩＲ取得部２３、第２ＢＲＩＲ取得部２４、第２作成部２５、及び第２出力部２６を備える。
【0111】
【0112】
第２ＨＲＩＲ取得部２３は、ユーザの第１頭部特性を示すとともに第１方向とユーザの正面方向とがなす第２旋回角度に対応付けられた第２頭部インパルス応答を第２ＨＲＩＲデータベース２１から取得する。なお、第２ＨＲＩＲ取得部２３は、第２旋回角度を第１角度決定部１３０から取得する。また、第２ＨＲＩＲ取得部２３によって取得される第２頭部インパルス応答は、受聴者であるユーザ自身の外耳道入り口に装着された測定機器により測定されてもよいし、ユーザに近い頭部特性を有する人物の外耳道入り口に装着された測定機器又はダミーヘッドに装着された測定機器により測定されてもよい。
【0113】
第２ＢＲＩＲ取得部２４は、第１頭部特性とは異なる第２頭部特性及びユーザがいる空間の空間特性を示すとともに第２旋回角度に対応付けられた第２バイノーラルルームインパルス応答を第２ＢＲＩＲデータベース２２から取得する。なお、第２ＢＲＩＲ取得部２４は、第２旋回角度を第１角度決定部１３０から取得する。また、第２ＢＲＩＲ取得部２４によって取得される第２バイノーラルルームインパルス応答は、受聴者であるユーザがいる空間の空間特性に近い空間特性を有する空間において、ユーザとは異なる人物の外耳道入り口に装着された測定機器又はダミーヘッドに装着された測定機器により測定されてもよい。
【0114】
第２作成部２５は、第２ＨＲＩＲ取得部２３によって取得された第２頭部インパルス応答の直接音成分と、第２ＢＲＩＲ取得部２４によって取得された第２バイノーラルルームインパルス応答の残響音成分とを合成した第２合成バイノーラルルームインパルス応答を作成する。
【0115】
第２出力部２６は、第２作成部２５によって作成された第２合成バイノーラルルームインパルス応答を出力する。
【0116】
ここで、本実施の形態において作成される第１合成バイノーラルルームインパルス応答及び第２合成バイノーラルルームインパルス応答について説明する。なお、第１合成バイノーラルルームインパルス応答の作成方法は、第２合成バイノーラルルームインパルス応答の作成方法と同じであるので、以下の説明では、第１合成バイノーラルルームインパルス応答の作成方法のみを説明する。
【0117】
図９は、本実施の形態における第１合成バイノーラルルームインパルス応答の作成方法を説明するための図である。図９では、左チャンネル（Ｌ）及び右チャンネル（Ｒ）それぞれの第１合成バイノーラルルームインパルス応答が示されている。
【0118】
図９に示すように、第１作成部１５は、第１頭部インパルス応答の直接音成分２０１Ｌ，２０１Ｒと、第１バイノーラルルームインパルス応答の残響音成分２０２Ｌ，２０２Ｒとを合成する。これにより、第１作成部１５は、第１合成バイノーラルルームインパルス応答２０３Ｌ，２０３Ｒを作成する。
【0119】
図１０は、本実施の形態に係る第１作成部１５の構成を示すブロック図である。
【0120】
図１０に示す第１作成部１５は、第１ピーク位置補正部１５１、第１特定部１５２、第１直接音成分置換部１５３、及び第１音圧レベル変更部１５４を備える。
【0121】
第１ピーク位置補正部１５１は、第１バイノーラルルームインパルス応答の波形及び第１頭部インパルス応答の波形をトリミングする。このとき、第１ピーク位置補正部１５１は、第１バイノーラルルームインパルス応答の振幅が最大となる時刻と、第１頭部インパルス応答の振幅が最大となる時刻とが一致するように、第１バイノーラルルームインパルス応答の波形及び第１頭部インパルス応答の波形をトリミングする。
【0122】
第１特定部１５２は、第１頭部インパルス応答の直接音成分の終端期間において、第１頭部インパルス応答と第１バイノーラルルームインパルス応答との音圧差が最小となる置換時刻を特定する。すなわち、第１特定部１５２は、第１頭部インパルス応答の直接音成分の終端期間において、第１頭部インパルス応答の振幅の絶対値と第１バイノーラルルームインパルス応答の振幅の絶対値との差が最小となる置換時刻を特定する。終端期間は、例えば、１．５ｍｓｅｃから２．０ｍｓｅｃの期間である。なお、終端期間は、例えば、２．０ｍｓｅｃから２．５ｍｓｅｃの期間であってもよい。また、終端期間は、１．５ｍｓｅｃから２．５ｍｓｅｃの間の任意の期間であってもよい。また、測定環境における音源とマイクロホンとの位置に基づいて直接音が伝播される時間が算出され、算出された伝播時間に基づいて終端期間が決定されてもよい。
【0123】
第１直接音成分置換部１５３は、置換時刻以前の第１バイノーラルルームインパルス応答の直接音成分を、置換時刻以前の第１頭部インパルス応答の直接音成分に置換する。これにより、第１頭部インパルス応答の直接音成分と、第１バイノーラルルームインパルス応答の残響音成分とが合成される。
【0124】
第１音圧レベル変更部１５４は、置換時刻以前の第１頭部インパルス応答の直接音成分の音圧レベルを、置換時刻以前の第１バイノーラルルームインパルス応答の直接音成分の音圧レベルに応じて変更する。
【0125】
具体的には、第１音圧レベル変更部１５４は、置換時刻以前の第１頭部インパルス応答の直接音成分のＡ特性音圧レベルの平均値を算出するとともに、置換時刻以前の第１バイノーラルルームインパルス応答の直接音成分のＡ特性音圧レベルの平均値を算出する。第１音圧レベル変更部１５４は、第１バイノーラルルームインパルス応答の直接音成分のＡ特性音圧レベルの平均値と、第１頭部インパルス応答の直接音成分のＡ特性音圧レベルの平均値との比率を算出する。比率は、第１バイノーラルルームインパルス応答の直接音成分のＡ特性音圧レベルの平均値を、第１頭部インパルス応答の直接音成分のＡ特性音圧レベルの平均値で除算することにより算出される。第１音圧レベル変更部１５４は、算出した比率を第１頭部インパルス応答の直接音成分の音圧レベルに乗算する。これにより、置換時刻以前の第１頭部インパルス応答の直接音成分の音圧レベルが、置換時刻以前の第１バイノーラルルームインパルス応答の直接音成分の音圧レベルに揃えられる。
【0126】
なお、第１音圧レベル変更部１５４は、置換時刻以後の第１バイノーラルルームインパルス応答の残響音成分の音圧レベルを、置換時刻以前の第１頭部インパルス応答の直接音成分の音圧レベルに応じて変更してもよい。
【0127】
具体的には、第１音圧レベル変更部１５４は、置換時刻以前の第１頭部インパルス応答の直接音成分のＡ特性音圧レベルの平均値を算出するとともに、置換時刻以前の第１バイノーラルルームインパルス応答の直接音成分のＡ特性音圧レベルの平均値を算出する。第１音圧レベル変更部１５４は、第１頭部インパルス応答の直接音成分のＡ特性音圧レベルの平均値と、第１バイノーラルルームインパルス応答の直接音成分のＡ特性音圧レベルの平均値との比率を算出する。比率は、第１頭部インパルス応答の直接音成分のＡ特性音圧レベルの平均値を、第１バイノーラルルームインパルス応答の直接音成分のＡ特性音圧レベルの平均値で除算することにより算出される。第１音圧レベル変更部１５４は、算出した比率を置換時刻以後の第１バイノーラルルームインパルス応答の残響音成分の音圧レベルに乗算する。これにより、置換時刻以後の第１バイノーラルルームインパルス応答の残響音成分の音圧レベルが、置換時刻以前の第１頭部インパルス応答の直接音成分の音圧レベルに揃えられる。
【0128】
図１１は、本実施の形態に係る第２作成部２５の構成を示すブロック図である。
【0129】
図１１に示す第２作成部２５は、第２ピーク位置補正部２５１、第２特定部２５２、第２直接音成分置換部２５３、及び第２音圧レベル変更部２５４を備える。
【0130】
第２ピーク位置補正部２５１は、第２バイノーラルルームインパルス応答の波形及び第２頭部インパルス応答の波形をトリミングする。このとき、第２ピーク位置補正部２５１は、第２バイノーラルルームインパルス応答の振幅が最大となる時刻と、第２頭部インパルス応答の振幅が最大となる時刻とが一致するように、第２バイノーラルルームインパルス応答の波形及び第２頭部インパルス応答の波形をトリミングする。
【0131】
第２特定部２５２は、第２頭部インパルス応答の直接音成分の終端期間において、第２頭部インパルス応答と第２バイノーラルルームインパルス応答との音圧差が最小となる置換時刻を特定する。すなわち、第２特定部２５２は、第２頭部インパルス応答の直接音成分の終端期間において、第２頭部インパルス応答の振幅の絶対値と第２バイノーラルルームインパルス応答の振幅の絶対値との差が最小となる置換時刻を特定する。終端期間は、例えば、１．５ｍｓｅｃから２．０ｍｓｅｃの期間である。なお、終端期間は、例えば、２．０ｍｓｅｃから２．５ｍｓｅｃの期間であってもよい。また、終端期間は、１．５ｍｓｅｃから２．５ｍｓｅｃの間の任意の期間であってもよい。また、測定環境における音源とマイクロホンとの位置に基づいて直接音が伝播される時間が算出され、算出された伝播時間に基づいて終端期間が決定されてもよい。
【0132】
第２直接音成分置換部２５３は、置換時刻以前の第２バイノーラルルームインパルス応答の直接音成分を、置換時刻以前の第２頭部インパルス応答の直接音成分に置換する。これにより、第２頭部インパルス応答の直接音成分と、第２バイノーラルルームインパルス応答の残響音成分とが合成される。
【0133】
第２音圧レベル変更部２５４は、置換時刻以前の第２頭部インパルス応答の直接音成分の音圧レベルを、置換時刻以前の第２バイノーラルルームインパルス応答の直接音成分の音圧レベルに応じて変更する。
【0134】
具体的には、第２音圧レベル変更部２５４は、置換時刻以前の第２頭部インパルス応答の直接音成分のＡ特性音圧レベルの平均値を算出するとともに、置換時刻以前の第２バイノーラルルームインパルス応答の直接音成分のＡ特性音圧レベルの平均値を算出する。第２音圧レベル変更部２５４は、第２バイノーラルルームインパルス応答の直接音成分のＡ特性音圧レベルの平均値と、第２頭部インパルス応答の直接音成分のＡ特性音圧レベルの平均値との比率を算出する。比率は、第２バイノーラルルームインパルス応答の直接音成分のＡ特性音圧レベルの平均値を、第２頭部インパルス応答の直接音成分のＡ特性音圧レベルの平均値で除算することにより算出される。第２音圧レベル変更部２５４は、算出した比率を第２頭部インパルス応答の直接音成分の音圧レベルに乗算する。これにより、置換時刻以前の第２頭部インパルス応答の直接音成分の音圧レベルが、置換時刻以前の第２バイノーラルルームインパルス応答の直接音成分の音圧レベルに揃えられる。
【0135】
なお、第２音圧レベル変更部２５４は、置換時刻以後の第２バイノーラルルームインパルス応答の残響音成分の音圧レベルを、置換時刻以前の第２頭部インパルス応答の直接音成分の音圧レベルに応じて変更してもよい。
【0136】
具体的には、第２音圧レベル変更部２５４は、置換時刻以前の第２頭部インパルス応答の直接音成分のＡ特性音圧レベルの平均値を算出するとともに、置換時刻以前の第２バイノーラルルームインパルス応答の直接音成分のＡ特性音圧レベルの平均値を算出する。第２音圧レベル変更部２５４は、第２頭部インパルス応答の直接音成分のＡ特性音圧レベルの平均値と、第２バイノーラルルームインパルス応答の直接音成分のＡ特性音圧レベルの平均値との比率を算出する。比率は、第２頭部インパルス応答の直接音成分のＡ特性音圧レベルの平均値を、第２バイノーラルルームインパルス応答の直接音成分のＡ特性音圧レベルの平均値で除算することにより算出される。第２音圧レベル変更部２５４は、算出した比率を置換時刻以後の第２バイノーラルルームインパルス応答の残響音成分の音圧レベルに乗算する。これにより、置換時刻以後の第２バイノーラルルームインパルス応答の残響音成分の音圧レベルが、置換時刻以前の第２頭部インパルス応答の直接音成分の音圧レベルに揃えられる。
【0137】
次に、図１２を参照して、上記に説明した音響再生装置１００の動作について説明する。
【0138】
図１２は、本実施の形態に係る音響処理装置１０１の動作を示すフローチャートである。まず、音響再生装置１００の動作が開始されると、取得部１１１が通信モジュール１０２を介して原音情報を取得する。原音情報には、再生音の他に残響音成分が含まれている。そのため、残響抑圧処理部１２０は、残響音成分が減少された再生音を含む音情報を生成する。
【0139】
まず、ステップＳ１において、第１処理部１２１は、音情報に対して、情報に含まれる音を、所定方向から到達する音として定位させるための第１合成バイノーラルルームインパルス応答を畳み込むことで、第１出力音信号を生成する。
【0140】
次に、ステップＳ２において、第２処理部１３１は、音情報に対して、情報に含まれる音を、第１方向から到達し、第１出力音信号によって知覚される再生音に対して０より大きい第１遅延時間、及び、０より大きい音量減衰量β（第１音量減衰量）を有する音として定位させるための第２合成バイノーラルルームインパルス応答を畳み込むことで、第２出力音信号を生成する。
【0141】
以上のステップＳ１及びステップＳ２の処理は、実行される順序が入れ替えられてもよく、並列に実行されてもよい。
【0142】
次に、ステップＳ３において、コンバイナ１５０は、第１処理部１２１によって生成された第１出力音信号と、第２処理部１３１によって生成された第２出力音信号とを合成し、合成した出力音信号を出力する。
【0143】
このようにして出力された出力音信号がドライバ１０４によって再生されることで、再生音に、反射音が重畳されて三次元的な音としてユーザ９９に知覚される。特に、反射音を１つしか生成していないので、大規模な演算装置などは必要なく、効果的な立体音響をユーザ９９に知覚させることができる。
【0144】
続いて、図１２のステップＳ１における第１処理部１２１による第１出力音信号生成処理について説明する。
【0145】
図１３は、本実施の形態に係る第１処理部１２１による第１出力音信号生成処理について説明するためのフローチャートである。
【0146】
まず、ステップＳ１１において、第１ＨＲＩＲ取得部１３は、ユーザの第１頭部特性を示すとともに所定方向とユーザの正面方向とがなす第１旋回角度に対応付けられた第１頭部インパルス応答を第１ＨＲＩＲデータベース１１から取得する。なお、第１ＨＲＩＲ取得部１３は、左チャンネルの第１頭部インパルス応答及び右チャンネルの第１頭部インパルス応答を取得してもよい。
【0147】
次に、ステップＳ１２において、第１ＢＲＩＲ取得部１４は、第１頭部特性とは異なる第２頭部特性及びユーザがいる空間の空間特性を示すとともに第１旋回角度に対応付けられた第１バイノーラルルームインパルス応答を第１ＢＲＩＲデータベース１２から取得する。なお、第１ＢＲＩＲ取得部１４は、左チャンネルの第１バイノーラルルームインパルス応答及び右チャンネルの第１バイノーラルルームインパルス応答を取得してもよい。
【0148】
次に、ステップＳ１３において、第１作成部１５は、第１ＨＲＩＲ取得部１３によって取得された第１頭部インパルス応答の直接音成分と、第１ＢＲＩＲ取得部１４によって取得された第１バイノーラルルームインパルス応答の残響音成分とを合成した第１合成バイノーラルルームインパルス応答を作成する第１合成バイノーラルルームインパルス応答作成処理を実行する。なお、第１合成バイノーラルルームインパルス応答作成処理については、図１５を用いて後述する。また、第１作成部１５は、左チャンネルの第１合成バイノーラルルームインパルス応答及び右チャンネルの第１合成バイノーラルルームインパルス応答を作成してもよい。
【0149】
次に、ステップＳ１４において、第１出力部１６は、第１合成バイノーラルルームインパルス応答を出力する。なお、第１出力部１６は、左チャンネルの第１合成バイノーラルルームインパルス応答及び右チャンネルの第１合成バイノーラルルームインパルス応答を出力してもよい。
【0150】
次に、ステップＳ１５において、第１合成ＢＲＩＲ畳み込み部１２４は、再生音を含む音情報に対して第１合成バイノーラルルームインパルス応答を畳み込む。これにより、第１出力音信号が生成される。
【0151】
次に、ステップＳ１６において、第１音量減衰部１２５は、第１出力音信号の音量から音量減衰量α（第３音量減衰量）を減衰させる。そして、第１出力音信号は、第１イコライザ（ＥＱ）１２２を介してコンバイナ１５０に出力される。
【0152】
続いて、図１２のステップＳ２における第２処理部１３１による第２出力音信号生成処理について説明する。
【0153】
図１４は、本実施の形態に係る第２処理部１３１による第２出力音信号生成処理について説明するためのフローチャートである。
【0154】
まず、ステップＳ２１において、第２ＨＲＩＲ取得部２３は、ユーザの第１頭部特性を示すとともに第１方向とユーザの正面方向とがなす第２旋回角度に対応付けられた第２頭部インパルス応答を第２ＨＲＩＲデータベース２１から取得する。なお、第２ＨＲＩＲ取得部２３は、左チャンネルの第２頭部インパルス応答及び右チャンネルの第２頭部インパルス応答を取得してもよい。
【0155】
次に、ステップＳ２２において、第２ＢＲＩＲ取得部２４は、第１頭部特性とは異なる第２頭部特性及びユーザがいる空間の空間特性を示すとともに第２旋回角度に対応付けられた第２バイノーラルルームインパルス応答を第２ＢＲＩＲデータベース２２から取得する。なお、第２ＢＲＩＲ取得部２４は、左チャンネルの第２バイノーラルルームインパルス応答及び右チャンネルの第２バイノーラルルームインパルス応答を取得してもよい。
【0156】
次に、ステップＳ２３において、第２作成部２５は、第２ＨＲＩＲ取得部２３によって取得された第２頭部インパルス応答の直接音成分と、第２ＢＲＩＲ取得部２４によって取得された第２バイノーラルルームインパルス応答の残響音成分とを合成した第２合成バイノーラルルームインパルス応答を作成する第２合成バイノーラルルームインパルス応答作成処理を実行する。なお、第２合成バイノーラルルームインパルス応答作成処理については、図１５を用いて後述する。また、第２作成部２５は、左チャンネルの第２合成バイノーラルルームインパルス応答及び右チャンネルの第２合成バイノーラルルームインパルス応答を作成してもよい。
【0157】
次に、ステップＳ２４において、第２出力部２６は、第２合成バイノーラルルームインパルス応答を出力する。なお、第２出力部２６は、左チャンネルの第２合成バイノーラルルームインパルス応答及び右チャンネルの第２合成バイノーラルルームインパルス応答を出力してもよい。
【0158】
次に、ステップＳ２５において、第２合成ＢＲＩＲ畳み込み部１３４は、再生音を含む音情報に対して第２合成バイノーラルルームインパルス応答を畳み込む。これにより、第２出力音信号が生成される。
【0159】
次に、ステップＳ２６において、第１遅延部１３５は、第１遅延時間に応じて第２出力音信号を遅延させる。
【0160】
次に、ステップＳ２７において、第２音量減衰部１３６は、第２出力音信号の音量から音量減衰量β（第１音量減衰量）を減衰させる。そして、第２出力音信号は、第２イコライザ（ＥＱ）１３２を介してコンバイナ１５０に出力される。
【0161】
このように、第２出力音信号が、第１方向から到達し、第１遅延時間及び第１音量減衰量を有する音として定位されるので、疑似的な反射壁によって再生音が反射された反射音としてユーザに知覚される。このため、直接音としての再生音とともに、第１遅延時間及び第１音量減衰量を有して反射音が知覚されるので、直接音の音像が定位される位置の頭外感が向上される。
【0162】
また、特に、第１頭部インパルス応答の直接音成分と、第１バイノーラルルームインパルス応答の残響音成分とを合成した第１合成バイノーラルルームインパルス応答が音情報に畳み込まれるとともに、第２頭部インパルス応答の直接音成分と、第２バイノーラルルームインパルス応答の残響音成分とを合成した第２合成バイノーラルルームインパルス応答が音情報に畳み込まれるので、所望の頭部の特性及び所望の空間の特性を含むバイノーラルルームインパルス応答を音情報に畳み込むことができ、より立体的な音をユーザに知覚させることができる。
【0163】
続いて、図１３のステップＳ１３の第１合成バイノーラルルームインパルス応答作成処理及び図１４のステップＳ２３の第２合成バイノーラルルームインパルス応答作成処理について説明する。なお、第２合成バイノーラルルームインパルス応答作成処理は、第１合成バイノーラルルームインパルス応答作成処理と同じであるので、以下では、第１合成バイノーラルルームインパルス応答作成処理のみを説明する。
【0164】
図１５は、本開示の実施の形態に係る第１作成部１５による第１合成バイノーラルルームインパルス応答作成処理について説明するためのフローチャートである。
【0165】
まず、ステップＳ３１において、第１ピーク位置補正部１５１は、第１バイノーラルルームインパルス応答の振幅が最大となる時刻と、第１頭部インパルス応答の振幅が最大となる時刻とが一致するように、第１バイノーラルルームインパルス応答の波形及び第１頭部インパルス応答の波形をトリミングする。
【0166】
次に、ステップＳ３２において、第１特定部１５２は、第１頭部インパルス応答の直接音成分の終端期間において、第１頭部インパルス応答と第１バイノーラルルームインパルス応答との音圧差が最小となる置換時刻を特定する。
【0167】
次に、ステップＳ３３において、第１直接音成分置換部１５３は、置換時刻以前の第１バイノーラルルームインパルス応答の直接音成分を、置換時刻以前の第１頭部インパルス応答の直接音成分に置換する。これにより、第１直接音成分置換部１５３は、置換時刻以前の第１頭部インパルス応答の直接音成分と、置換時刻以後の第１バイノーラルルームインパルス応答の残響音成分とを合成した第１合成バイノーラルルームインパルス応答を作成する。
【0168】
次に、ステップＳ３４において、第１音圧レベル変更部１５４は、置換時刻以前の第１頭部インパルス応答の直接音成分の音圧レベルを、置換時刻以前の第１バイノーラルルームインパルス応答の直接音成分の音圧レベルに応じて変更する。
【0169】
なお、頭部の複数の旋回角度毎に第１合成バイノーラルルームインパルス応答が作成される場合、第１音圧レベル変更部１５４は、音が到達する所定方向（０度）に対応する第１合成バイノーラルルームインパルス応答を作成する際に算出された比率を用いて、他の旋回角度に対応する第１頭部インパルス応答の直接音成分の音圧レベル又は第１バイノーラルルームインパルス応答の残響音成分の音圧レベルを変更してもよい。
【0170】
以上の第１合成バイノーラルルームインパルス応答作成処理により、第１頭部インパルス応答の直接音成分と、第１バイノーラルルームインパルス応答の残響音成分とを合成した第１合成バイノーラルルームインパルス応答が作成される。また、第２合成バイノーラルルームインパルス応答作成処理により、第２頭部インパルス応答の直接音成分と、第２バイノーラルルームインパルス応答の残響音成分とを合成した第２合成バイノーラルルームインパルス応答が作成される。
【0171】
なお、上記の第１合成バイノーラルルームインパルス応答作成処理では、左チャンネル及び右チャンネルのそれぞれに対して第１合成バイノーラルルームインパルス応答が作成されてもよい。また、頭部の複数の旋回角度毎に第１合成バイノーラルルームインパルス応答が作成されてもよい。また、音が到達する所定方向に対するユーザの頭部の正面方向の旋回角度が取得された場合、取得された旋回角度に対応する第１合成バイノーラルルームインパルス応答が作成されてもよい。
【0172】
このように、第１バイノーラルルームインパルス応答の直接音成分が、第１頭部インパルス応答の直接音成分に置換されることにより、第１頭部インパルス応答の直接音成分と、第１バイノーラルルームインパルス応答の残響音成分とを合成することができる。また、第２バイノーラルルームインパルス応答の直接音成分が、第２頭部インパルス応答の直接音成分に置換されることにより、第２頭部インパルス応答の直接音成分と、第２バイノーラルルームインパルス応答の残響音成分とを合成することができる。
【0173】
また、第１及び第２バイノーラルルームインパルス応答の直接音成分は頭部特性を含み、第１及び第２バイノーラルルームインパルス応答の残響音成分は空間特性を含む。第１及び第２バイノーラルルームインパルス応答の残響音成分にも頭部特性は含まれるが、その影響はかなり小さい。そのため、所望の空間特性を含む第１及び第２バイノーラルルームインパルス応答の直接音成分を、所望の頭部特性を含む第１及び第２頭部インパルス応答の直接音成分に置換することにより、所望の頭部特性及び所望の空間特性を含む第１及び第２バイノーラルルームインパルス応答を疑似的に再現することができる。
【0174】
図１６は、本実施の形態における第１バイノーラルルームインパルス応答及び第１頭部インパルス応答の一例を示す図である。
【0175】
なお、以下では、第１バイノーラルルームインパルス応答、第１頭部インパルス応答、及び第１合成バイノーラルルームインパルス応答についてのみ説明するが、第２バイノーラルルームインパルス応答、第２頭部インパルス応答、及び第２合成バイノーラルルームインパルス応答は、第１バイノーラルルームインパルス応答、第１頭部インパルス応答、及び第１合成バイノーラルルームインパルス応答と同様である。
【0176】
図１６において、縦軸は振幅を示し、横軸は時間（ｍｓｅｃ）を示し、実線は、第１バイノーラルルームインパルス応答２１１Ｌ，２１１Ｒを示し、破線は、第１頭部インパルス応答２１２Ｌ，２１２Ｒを示す。図１６の左側の波形図は、音が到達する所定方向（０度）がユーザの正面方向と一致する場合における左チャンネルの第１バイノーラルルームインパルス応答２１１Ｌ及び第１頭部インパルス応答２１２Ｌを示し、図１６の右側の波形図は、音が到達する所定方向（０度）がユーザの正面方向と一致する場合における右チャンネルの第１バイノーラルルームインパルス応答２１１Ｒ及び第１頭部インパルス応答２１２Ｒを示している。
【0177】
図１６に示すように、第１ピーク位置補正部１５１は、第１バイノーラルルームインパルス応答２１１Ｌ，２１１Ｒの振幅が最大となる時刻と、第１頭部インパルス応答２１２Ｌ，２１２Ｒの振幅が最大となる時刻とが一致するように、第１バイノーラルルームインパルス応答２１１Ｌ，２１１Ｒの波形及び第１頭部インパルス応答２１２Ｌ，２１２Ｒの波形をトリミングする。
【0178】
具体的には、第１ピーク位置補正部１５１は、第１バイノーラルルームインパルス応答及び第１頭部インパルス応答それぞれの角度０度における左右の最大振幅位置の平均時刻ｔ＿ｂ，ｔ＿ｈを算出する。そして、第１ピーク位置補正部１５１は、第１バイノーラルルームインパルス応答の平均時刻ｔ＿ｂと第１頭部インパルス応答の平均時刻ｔ＿ｈとが一致するように、第１バイノーラルルームインパルス応答及び第１頭部インパルス応答のいずれか一方を信号処理する。
【0179】
すなわち、ｔ＿ｂ＝ｔ＿ｈであれば、第１ピーク位置補正部１５１は、信号処理を行わない。
【0180】
また、ｔ＿ｂ＜ｔ＿ｈであれば、第１ピーク位置補正部１５１は、ｔ＿ｂ＝ｔ＿ｈとなるように、第１バイノーラルルームインパルス応答の冒頭に０を付加する。あるいは、第１ピーク位置補正部１５１は、ｔ＿ｂ＝ｔ＿ｈとなるように、第１頭部インパルス応答の冒頭をカットする。
【0181】
また、ｔ＿ｂ＞ｔ＿ｈであれば、第１ピーク位置補正部１５１は、ｔ＿ｂ＝ｔ＿ｈとなるように、第１頭部インパルス応答の冒頭に０を付加する。あるいは、第１ピーク位置補正部１５１は、ｔ＿ｂ＝ｔ＿ｈとなるように、第１バイノーラルルームインパルス応答の冒頭をカットする。
【0182】
また、第１特定部１５２は、第１頭部インパルス応答２１２Ｌ，２１２Ｒの直接音成分の終端期間（例えば、１．５ｍｓｅｃ～２．０ｍｓｅｃ）において、第１頭部インパルス応答２１２Ｌ，２１２Ｒと第１バイノーラルルームインパルス応答２１１Ｌ，２１１Ｒとの音圧差が最小となる置換時刻２１３Ｌ，２１３Ｒを特定する。
【0183】
置換時刻２１３Ｌ，２１３Ｒ以前が直接音成分を示し、置換時刻２１３Ｌ，２１３Ｒ以後が残響音成分を示す。図１６において、四角の枠で囲まれた部分が、第１バイノーラルルームインパルス応答２１１Ｌ，２１１Ｒ及び第１頭部インパルス応答２１２Ｌ，２１２Ｒの直接音成分を示している。第１直接音成分置換部１５３は、置換時刻２１３Ｌ，２１３Ｒ以前の第１バイノーラルルームインパルス応答２１１Ｌ，２１１Ｒの直接音成分を、置換時刻２１３Ｌ，２１３Ｒ以前の第１頭部インパルス応答２１２Ｌ，２１２Ｒの直接音成分に置換する。
【0184】
図１７は、本実施の形態における第１合成バイノーラルルームインパルス応答の一例を示す図である。
【0185】
図１７において、縦軸は振幅を示し、横軸は時間（ｍｓｅｃ）を示し、実線は、第１合成バイノーラルルームインパルス応答２１４Ｌ，２１４Ｒを示し、破線は、第１バイノーラルルームインパルス応答２１１Ｌ，２１１Ｒを示す。図１７の左側の波形図は、音が到達する所定方向（０度）がユーザの正面方向と一致する場合における左チャンネルの第１合成バイノーラルルームインパルス応答２１４Ｌを示し、図１７の右側の波形図は、音が到達する所定方向（０度）がユーザの正面方向と一致する場合における右チャンネルの第１合成バイノーラルルームインパルス応答２１４Ｒを示している。
【0186】
第１合成バイノーラルルームインパルス応答２１４Ｌ，２１４Ｒは、第１バイノーラルルームインパルス応答２１１Ｌ，２１１Ｒの直接音成分が、第１頭部インパルス応答２１２Ｌ，２１２Ｒの直接音成分に置換されることにより、作成される。そのため、第１合成バイノーラルルームインパルス応答２１４Ｌ，２１４Ｒは、第１頭部インパルス応答２１２Ｌ，２１２Ｒの直接音成分と、第１バイノーラルルームインパルス応答２１１Ｌ，２１１Ｒの残響音成分とで構成される。
【0187】
また、図１７に示すように、第１音圧レベル変更部１５４は、第１頭部インパルス応答２１２Ｌ，２１２Ｒの直接音成分に対応する第１合成バイノーラルルームインパルス応答２１４Ｌ，２１４Ｒの直接音成分の音圧レベルを、第１バイノーラルルームインパルス応答２１１Ｌ，２１１Ｒの直接音成分の音圧レベルに応じて変更する。これにより、図１７に示す第１合成バイノーラルルームインパルス応答２１４Ｌ，２１４Ｒの直接音成分の振幅は、図１６に示す第１頭部インパルス応答２１２Ｌ，２１２Ｒの直接音成分の振幅より小さくなっている。
【0188】
図１８は、本実施の形態において、第１バイノーラルルームインパルス応答の最大振幅位置と第１頭部インパルス応答の最大振幅位置とを揃える処理について説明するための図である。
【0189】
図１８において、縦軸は振幅を示し、横軸は時間（ｍｓｅｃ）を示し、実線は、第１バイノーラルルームインパルス応答を示し、破線は、第１頭部インパルス応答を示す。図１８の上から１番目及び３番目の波形図は、音が到達する所定方向（０度）がユーザの正面方向と一致する場合における左チャンネルの第１バイノーラルルームインパルス応答及び第１頭部インパルス応答を示し、図１８の上から２番目及び４番目の波形図は、音が到達する所定方向（０度）がユーザの正面方向と一致する場合における右チャンネルの第１バイノーラルルームインパルス応答及び第１頭部インパルス応答を示している。
【0190】
図１８に示すように、左チャンネルの第１バイノーラルルームインパルス応答の最大振幅位置と右チャンネルの第１バイノーラルルームインパルス応答の最大振幅位置とが異なるとともに、左チャンネルの第１頭部インパルス応答の最大振幅位置と右チャンネルの第１頭部インパルス応答の最大振幅位置とが異なる場合がある。
【0191】
そこで、第１ピーク位置補正部１５１は、左チャンネルの第１バイノーラルルームインパルス応答の振幅が最大となる時刻と、右チャンネルの第１バイノーラルルームインパルス応答の振幅が最大となる時刻との平均時刻を算出するとともに、左チャンネルの第１頭部インパルス応答の振幅が最大となる時刻と、右チャンネルの第１頭部インパルス応答の振幅が最大となる時刻との平均時刻を算出してもよい。そして、第１ピーク位置補正部１５１は、第１バイノーラルルームインパルス応答の振幅が最大となる平均時刻と、第１頭部インパルス応答の振幅が最大となる平均時刻とが一致するように、第１バイノーラルルームインパルス応答の波形及び第１頭部インパルス応答の波形をトリミングしてもよい。
【0192】
さらに、第１ピーク位置補正部１５１は、左チャンネルの第１バイノーラルルームインパルス応答の最大振幅と、右チャンネルの第１バイノーラルルームインパルス応答の最大振幅との平均最大振幅を算出するとともに、左チャンネルの第１頭部インパルス応答の最大振幅と、右チャンネルの第１頭部インパルス応答の最大振幅との平均最大振幅を算出してもよい。そして、第１ピーク位置補正部１５１は、第１頭部インパルス応答の平均最大振幅と、第１バイノーラルルームインパルス応答の平均最大振幅との比率を算出してもよい。比率は、第１頭部インパルス応答の平均最大振幅を、第１バイノーラルルームインパルス応答の平均最大振幅で除算することにより算出される。そして、第１ピーク位置補正部１５１は、算出した比率を第１バイノーラルルームインパルス応答に乗算してもよい。これにより、第１バイノーラルルームインパルス応答の振幅が、第１頭部インパルス応答の振幅に揃えられる。
【0193】
なお、第１ピーク位置補正部１５１は、第１バイノーラルルームインパルス応答の平均最大振幅と、第１頭部インパルス応答の平均最大振幅との比率を算出してもよい。比率は、第１バイノーラルルームインパルス応答の平均最大振幅を、第１頭部インパルス応答の平均最大振幅で除算することにより算出される。そして、第１ピーク位置補正部１５１は、算出した比率を第１頭部インパルス応答に乗算してもよい。これにより、第１頭部インパルス応答の振幅が、第１バイノーラルルームインパルス応答の振幅に揃えられる。
【0194】
図１９は、本実施の形態に係る、適切な第１角度の一例について説明するための図である。図２０は、本実施の形態に係る、適切な第１遅延時間の一例について説明するための図である。図２１は、本実施の形態に係る、適切な第１音量減衰量の一例について説明するための図である。
【0195】
図１９では、第１角度を０度から１８０度まで振ったときの被験者によって知覚された音像位置までの距離（知覚距離）、つまり、所定方向にどの程度離れて聞こえたかを示している。知覚距離は、大きいほど、頭外感が強く、効果的に三次元的な音を知覚させることができているといえる。なお、ここでは、第１音量減衰量（音量減衰量β）が－３ｄＢ、第１遅延時間が２．２ｍｓの条件に設定している。図１９に示すように、１０５度又は１２０度の方向に第１方向を設定することで高い頭外感が得られている。
【0196】
また、図２０では、第１遅延時間を０ｍｓから３．４ｍｓまで振ったときの被験者によって知覚された知覚距離を示している。なお、ここでは、第１音量減衰量（音量減衰量β）が－３ｄＢ、第１角度が１０５度の条件に設定している。図２０に示すように、２．４ｍｓから２．８ｍｓに第１遅延時間を設定することで高い頭外感が得られ、１．８ｍｓから３．０ｍｓに第１遅延時間を設定することで十分な頭外感が得られている。ただし、遅延時間の増加は、音質の劣化に繋がるため、比較的短い第１遅延時間が適切である。したがって、１．８ｍｓから２．４ｍｓ、例えば、２．２ｍｓ等に第１遅延時間を設定するとよい。
【0197】
また、図２１では、第１音量減衰量（音量減衰量β）を－３０ｄＢから０ｄＢまで振ったときの被験者によって知覚された知覚距離を示している。なお、ここでは、第１遅延時間が２．２ｍｓ、第１角度が１０５度の条件に設定している。図２１に示すように、－５ｄＢ～－３ｄＢに第１音量減衰量を設定することで高い頭外感が得られ、－３ｄＢ以上の第１音量減衰量を設定してもそれ以上の頭外感の向上は見られなかった。なお、大音量の反射音は、音質の劣化の要因となるため、音量減衰量は可能な限り小さい方がよいと考えられる。
【0198】
（変形例）
次に、以上に説明した実施の形態の変形例に係る音響処理装置について説明する。以下説明される変形例では、上記に説明した実施の形態と実質的に同一の構成について、上記の説明を参照することで、ここでの説明を省略する。
次に、以上に説明した実施の形態の変形例に係る音響処理装置について説明する。以下説明される変形例では、上記に説明した実施の形態と実質的に同一の構成について、上記の説明を参照することで、ここでの説明を省略する。
【0199】
上記の実施の形態では、バイノーラルルームインパルス応答の直接音成分を、頭部インパルス応答の直接音成分に置換することにより、頭部インパルス応答の直接音成分と、バイノーラルルームインパルス応答の残響音成分とが合成される。これに対し、実施の形態の変形例１では、直接音成分の振幅が全て０に置換されたバイノーラルルームインパルス応答に頭部インパルス応答が畳み込まれることにより、頭部インパルス応答の直接音成分と、バイノーラルルームインパルス応答の残響音成分とが合成される。
【0200】
図２２は、本実施の形態の変形例１における第１作成部１５の構成を示すブロック図である。
【0201】
図２２に示す第１作成部１５は、第１特定部１６１、第１振幅置換部１６２、第１振幅設定部１６３、及び第１畳み込み部１６４を備える。
【0202】
第１特定部１６１は、第１バイノーラルルームインパルス応答の直接音成分の終端期間において、第１バイノーラルルームインパルス応答の振幅が最も０に近似する置換時刻を特定する。終端期間は、例えば、１．５ｍｓｅｃから２．０ｍｓｅｃの期間である。なお、終端期間は、例えば、２．０ｍｓｅｃから２．５ｍｓｅｃの期間であってもよい。また、終端期間は、１．５ｍｓｅｃから２．５ｍｓｅｃの間の任意の期間であってもよい。また、測定環境における音源とマイクロホンとの位置に基づいて直接音が伝播される時間が算出され、算出された伝播時間に基づいて終端期間が決定されてもよい。サンプリングした時刻によっては、必ずしも振幅が０になるとは限らない。そのため、第１特定部１６１は、第１バイノーラルルームインパルス応答の振幅が最も０に近似する置換時刻を特定する。
【0203】
第１振幅置換部１６２は、第１バイノーラルルームインパルス応答の直接音成分の振幅を全て０に置換する。すなわち、第１振幅置換部１６２は、第１特定部１６１によって特定された置換時刻以前の第１バイノーラルルームインパルス応答の振幅を全て０に置換する。
【0204】
第１振幅設定部１６３は、第１振幅置換部１６２によって直接音成分の振幅が全て０に置換された第１バイノーラルルームインパルス応答の時刻０における振幅を１に設定する。第１バイノーラルルームインパルス応答の時刻０における振幅が１に設定されることにより、第１バイノーラルルームインパルス応答に第１頭部インパルス応答が畳み込まれた際に、第１バイノーラルルームインパルス応答に第１頭部インパルス応答の直接音成分が現れる。
【0205】
第１畳み込み部１６４は、第１振幅設定部１６３によって時刻０における振幅が１に設定された第１バイノーラルルームインパルス応答に第１頭部インパルス応答を畳み込む。これにより、第１頭部インパルス応答の直接音成分と、第１バイノーラルルームインパルス応答の残響音成分とが合成される。
【0206】
図２３は、本実施の形態の変形例１における第２作成部２５の構成を示すブロック図である。
【0207】
図２３に示す第２作成部２５は、第２特定部２６１、第２振幅置換部２６２、第２振幅設定部２６３、及び第２畳み込み部２６４を備える。
【0208】
第２特定部２６１は、第２バイノーラルルームインパルス応答の直接音成分の終端期間において、第２バイノーラルルームインパルス応答の振幅が最も０に近似する置換時刻を特定する。終端期間は、例えば、１．５ｍｓｅｃから２．０ｍｓｅｃの期間である。なお、終端期間は、例えば、２．０ｍｓｅｃから２．５ｍｓｅｃの期間であってもよい。また、終端期間は、１．５ｍｓｅｃから２．５ｍｓｅｃの間の任意の期間であってもよい。また、測定環境における音源とマイクロホンとの位置に基づいて直接音が伝播される時間が算出され、算出された伝播時間に基づいて終端期間が決定されてもよい。サンプリングした時刻によっては、必ずしも振幅が０になるとは限らない。そのため、第２特定部２６１は、第２バイノーラルルームインパルス応答の振幅が最も０に近似する置換時刻を特定する。
【0209】
第２振幅置換部２６２は、第２バイノーラルルームインパルス応答の直接音成分の振幅を全て０に置換する。すなわち、第２振幅置換部２６２は、第２特定部２６１によって特定された置換時刻以前の第２バイノーラルルームインパルス応答の振幅を全て０に置換する。
【0210】
第２振幅設定部２６３は、第２振幅置換部２６２によって直接音成分の振幅が全て０に置換された第２バイノーラルルームインパルス応答の時刻０における振幅を１に設定する。第２バイノーラルルームインパルス応答の時刻０における振幅が１に設定されることにより、第２バイノーラルルームインパルス応答に第２頭部インパルス応答が畳み込まれた際に、第２バイノーラルルームインパルス応答に第２頭部インパルス応答の直接音成分が現れる。
【0211】
第２畳み込み部２６４は、第２振幅設定部２６３によって時刻０における振幅が１に設定された第２バイノーラルルームインパルス応答に第２頭部インパルス応答を畳み込む。これにより、第２頭部インパルス応答の直接音成分と、第２バイノーラルルームインパルス応答の残響音成分とが合成される。
【0212】
続いて、本実施の形態の変形例１における第１合成バイノーラルルームインパルス応答作成処理について説明する。なお、第２合成バイノーラルルームインパルス応答作成処理は、第１合成バイノーラルルームインパルス応答作成処理と同じであるので、以下では、第１合成バイノーラルルームインパルス応答作成処理のみを説明する。
【0213】
図２４は、本開示の実施の形態の変形例１に係る第１作成部１５による第１合成バイノーラルルームインパルス応答作成処理について説明するためのフローチャートである。
【0214】
まず、ステップＳ４１において、第１特定部１６１は、第１バイノーラルルームインパルス応答の直接音成分の終端期間において、第１バイノーラルルームインパルス応答の振幅が最も０に近似する置換時刻を特定する。
【0215】
次に、ステップＳ４２において、第１振幅置換部１６２は、第１特定部１６１によって特定された置換時刻以前の第１バイノーラルルームインパルス応答の直接音成分の振幅を全て０に置換する。
【0216】
次に、ステップＳ４３において、第１振幅設定部１６３は、第１振幅置換部１６２によって直接音成分の振幅が全て０に置換された第１バイノーラルルームインパルス応答の時刻０における振幅を１に設定する。
【0217】
次に、ステップＳ４４において、第１畳み込み部１６４は、第１振幅設定部１６３によって時刻０における振幅が１に設定された第１バイノーラルルームインパルス応答に第１頭部インパルス応答を畳み込む。
【0218】
以上の第１合成バイノーラルルームインパルス応答作成処理により、第１頭部インパルス応答の直接音成分と、第１バイノーラルルームインパルス応答の残響音成分とを合成した第１合成バイノーラルルームインパルス応答が作成される。また、第２合成バイノーラルルームインパルス応答作成処理により、第２頭部インパルス応答の直接音成分と、第２バイノーラルルームインパルス応答の残響音成分とを合成した第２合成バイノーラルルームインパルス応答が作成される。
【0219】
なお、上記の第１合成バイノーラルルームインパルス応答作成処理では、左チャンネル及び右チャンネルのそれぞれに対して第１合成バイノーラルルームインパルス応答が作成されてもよい。また、頭部の複数の旋回角度毎に第１合成バイノーラルルームインパルス応答が作成されてもよい。また、音が到達する方向に対するユーザの頭部の正面方向の旋回角度が取得された場合、取得された旋回角度に対応する第１合成バイノーラルルームインパルス応答が作成されてもよい。
【0220】
このように、直接音成分の振幅が全て０に置換されるとともに時刻０における振幅が１に設定された第１バイノーラルルームインパルス応答に第１頭部インパルス応答が畳み込まれることにより、第１頭部インパルス応答の直接音成分と、第１バイノーラルルームインパルス応答の残響音成分とを合成することができる。また、直接音成分の振幅が全て０に置換されるとともに時刻０における振幅が１に設定された第２バイノーラルルームインパルス応答に第２頭部インパルス応答が畳み込まれることにより、第２頭部インパルス応答の直接音成分と、第２バイノーラルルームインパルス応答の残響音成分とを合成することができる。
【0221】
図２５は、本実施の形態の変形例１における第１バイノーラルルームインパルス応答の一例を示す図である。
【0222】
なお、以下では、第１バイノーラルルームインパルス応答、第１頭部インパルス応答、及び第１合成バイノーラルルームインパルス応答についてのみ説明するが、第２バイノーラルルームインパルス応答、第２頭部インパルス応答、及び第２合成バイノーラルルームインパルス応答は、第１バイノーラルルームインパルス応答、第１頭部インパルス応答、及び第１合成バイノーラルルームインパルス応答と同様である。
【0223】
図２５において、縦軸は振幅を示し、横軸は時間（ｍｓｅｃ）を示し、実線は、第１バイノーラルルームインパルス応答２２１Ｌ，２２１Ｒを示す。図２５の左側の波形図は、音が到達する所定方向（０度）がユーザの正面方向と一致する場合における左チャンネルの第１バイノーラルルームインパルス応答２２１Ｌを示し、図２５の右側の波形図は、音が到達する所定方向（０度）がユーザの正面方向と一致する場合における右チャンネルの第１バイノーラルルームインパルス応答２２１Ｒを示している。
【0224】
図２５に示すように、第１特定部１６１は、第１バイノーラルルームインパルス応答２２１Ｌ，２２１Ｒの直接音成分の終端期間（例えば、１．５ｍｓｅｃ～２．０ｍｓｅｃ）において、第１バイノーラルルームインパルス応答２２１Ｌ，２２１Ｒの振幅が最も０に近似する置換時刻２２３Ｌ，２２３Ｒを特定する。
【0225】
図２６は、本実施の形態の変形例１において、第１バイノーラルルームインパルス応答の直接音成分の振幅を全て０に置換する処理を説明するための図である。
【0226】
図２６において、縦軸は振幅を示し、横軸は時間（ｍｓｅｃ）を示し、実線は、第１バイノーラルルームインパルス応答２２１Ｌ，２２１Ｒを示す。図２６の左側の波形図は、音が到達する所定方向（０度）がユーザの正面方向と一致する場合における左チャンネルの第１バイノーラルルームインパルス応答２２１Ｌを示し、図２６の右側の波形図は、音が到達する所定方向（０度）がユーザの正面方向と一致する場合における右チャンネルの第１バイノーラルルームインパルス応答２２１Ｒを示している。
【0227】
図２６に示すように、第１振幅置換部１６２は、置換時刻２２３Ｌ，２２３Ｒ以前の第１バイノーラルルームインパルス応答２２１Ｌ，２２１Ｒの直接音成分の振幅を全て０に置換する。
【0228】
図２７は、本実施の形態の変形例１において、第１バイノーラルルームインパルス応答の時刻０における振幅を１に設定する処理を説明するための図である。
【0229】
図２７において、縦軸は振幅を示し、横軸は時間（ｍｓｅｃ）を示し、実線は、第１バイノーラルルームインパルス応答２２１Ｌ，２２１Ｒを示す。図２７の左側の波形図は、音が到達する所定方向（０度）がユーザの正面方向と一致する場合における左チャンネルの第１バイノーラルルームインパルス応答２２１Ｌを示し、図２７の右側の波形図は、音が到達する所定方向（０度）がユーザの正面方向と一致する場合における右チャンネルの第１バイノーラルルームインパルス応答２２１Ｒを示している。
【0230】
図２７に示すように、第１振幅設定部１６３は、第１振幅置換部１６２によって直接音成分の振幅が全て０に置換された第１バイノーラルルームインパルス応答２２１Ｌ，２２１Ｒの時刻０における振幅を１に設定する。
【0231】
図２８は、本実施の形態の変形例１における第１合成バイノーラルルームインパルス応答の一例を示す図である。
【0232】
図２８において、縦軸は振幅を示し、横軸は時間（ｍｓｅｃ）を示し、実線は、第１合成バイノーラルルームインパルス応答２２４Ｌ，２２４Ｒを示す。図２８の左側の波形図は、音が到達する所定方向（０度）がユーザの正面方向と一致する場合における左チャンネルの第１合成バイノーラルルームインパルス応答２２４Ｌを示し、図２８の右側の波形図は、音が到達する所定方向（０度）がユーザの正面方向と一致する場合における右チャンネルの第１合成バイノーラルルームインパルス応答２２４Ｒを示している。
【0233】
第１合成バイノーラルルームインパルス応答２２４Ｌ，２２４Ｒは、直接音成分の振幅が全て０に置換されるとともに時刻０における振幅が１に設定された第１バイノーラルルームインパルス応答２２１Ｌ，２２１Ｒに、第１頭部インパルス応答が畳み込まれることにより、作成される。そのため、第１合成バイノーラルルームインパルス応答２２４Ｌ，２２４Ｒは、第１頭部インパルス応答の直接音成分と、第１バイノーラルルームインパルス応答２２１Ｌ，２２１Ｒの残響音成分とで構成される。
【0234】
続いて、本実施の形態の変形例２に係る音響再生装置について説明する。
【0235】
図２９は、本実施の形態の変形例２に係る音響再生装置１００Ａの機能構成を示すブロック図である。また、図３０は、本実施の形態の変形例２に係る音響処理装置１０１Ａの詳細な機能構成を示すブロック図である。図２９及び図３０に示すように、変形例２に係る音響再生装置１００Ａは、音響処理装置１０１Ａを備える。また、音響処理装置１０１Ａは、第３処理部１４１を有する点で上記の実施の形態に係る音響処理装置１０１の構成と異なっている。
【0236】
第３処理部１４１は、第２の反射音の第３出力音信号を生成する。第３処理部１４１は、再生音を含む音情報に対して、情報に含まれる音を、所定方向との角度が０度より大きく３６０度より小さい、第１角度とは異なる第２角度を有する第２方向から到達し、第１出力音信号によって知覚される再生音に対して０より大きい、第１遅延時間とは異なる第２遅延時間、及び、０より大きい、第１音量減衰量とは異なる第２音量減衰量を有する音として定位させるための第３合成バイノーラルルームインパルス応答を畳み込むことで、第３出力音信号を生成する。
【0237】
第３合成バイノーラルルームインパルス応答は、第１頭部特性を示すとともに第２方向とユーザの正面方向とがなす第３旋回角度に対応付けられた第３頭部インパルス応答の直接音成分と、第２頭部特性及び空間特性を示すとともに第３旋回角度に対応付けられた第３バイノーラルルームインパルス応答の残響音成分とを合成することにより作成される。第３頭部インパルス応答と第３バイノーラルルームインパルス応答とは異なる頭部を用いて測定される。
【0238】
第３処理部１４１は、入力された音の情報に対して、音を第２方向に定位させるための第３合成バイノーラルルームインパルス応答の畳み込みを行い、第３音量減衰部１４６を介して、音量が減衰された第３出力音信号を出力する。第３出力音信号は、第３イコライザ（ＥＱ）１４２に入力される。音響処理装置１０１Ａは、第３ＥＱ１４２をさらに備える。第３ＥＱ１４２は、第３出力音信号に対して低域及び高域の音の調整を行い、第３出力音信号をコンバイナ１５０に出力する。
【0239】
音響処理装置１０１Ａは、第２角度決定部１４０をさらに備える。第２角度決定部１４０は、予め設定されている第２角度を決定する。また、第２角度決定部１４０は、第２角度を有する第２方向と、取得部１１１によって得られるユーザの正面方向とがなす第３旋回角度を算出し、算出した第３旋回角度を第３信号処理部１４３へ出力する。
【0240】
第３処理部１４１は、第３信号処理部１４３、第３合成ＢＲＩＲ畳み込み部１４４、第２遅延部１４５、及び第３音量減衰部１４６を備える。
【0241】
第３信号処理部１４３は、第３頭部インパルス応答の直接音成分と第３バイノーラルルームインパルス応答の残響音成分とを合成した第３合成バイノーラルルームインパルス応答を作成する。なお、第３信号処理部１４３の構成は、図８に示す第２信号処理部１３３の構成と同じであり、第３信号処理部１４３が備える第３作成部（不図示）の構成は、図１１又は図２３に示す第２作成部２５の構成と同じである。
【0242】
第３合成ＢＲＩＲ畳み込み部１４４は、再生音を含む音情報に対して第３合成バイノーラルルームインパルス応答を畳み込むことで、第３出力音信号を生成する。
【0243】
第２遅延部１４５は、第２遅延時間に応じて第３出力音信号を遅延させる。
【0244】
第３音量減衰部１４６は、第３出力音信号の音量を減衰させる。第３音量減衰部１４６は、第３出力音信号の音量から音量減衰量γ（第２音量減衰量）を減衰させる。
【0245】
コンバイナ１５０は、第１処理部１２１によって生成された第１出力音信号と、第２処理部１３１によって生成された第２出力音信号と、第３処理部１４１によって生成された第３出力音信号とを合成した出力音信号をドライバ１０４へ出力する。コンバイナ１５０は、第１出力音信号、第２出力音信号、及び第３出力音信号を加算することによって合成した出力音信号を出力する。つまり、音響処理装置１０１Ａは、第２処理部１３１及び第３処理部１４１のそれぞれが異なる２つの反射音を生成し、コンバイナ１５０がこれらを再生音に重畳させる。本変形例２のように、反射音を２つ生成して再生音に重畳させる場合、条件により三次元音場に展開する効果をより向上させることが可能となる。
【0246】
以上のようにしてコンバイナ１５０から出力された出力音信号がドライバ１０４によって再生されると、図３１のような音場が形成される。
【0247】
【0248】
図３１に示すように、所定方向から時計回りに第１角度を有する方向に、第１の反射音が定位されている（位置Ｐ２）。そして、所定方向から時計回りに第２角度を有する方向に、第２の反射音が定位されている（位置Ｐ３）。図３１に示すように、第１角度と第２角度とは一致しておらず、また、ユーザ９９の正面奥に平行（所定方向にも平行）な２点鎖線に対して、線対称な方向になっていない。仮に、第１方向と第２方向とが線対称となる場合、条件によっては、２つの反射音が重畳されてユーザ９９の背後に１つの反射音として定位されてしまうことがある。したがって、第２角度は、３６０度から第２角度を減じた差分角度が、第１角度と一致しない角度になっている。
【0249】
また、図３１に示すように、第１角度及び第２角度は、ユーザ９９の頭部を前後に分ける仮想的な境界面よりもユーザ９９の後面側に定位されている。したがって、第１角度及び第２角度は、いずれも所定方向との角度が９０度より大きく、２７０度より小さい角度範囲内の角度に設定されている。
【0250】
なお、以上に説明した第２角度、第２遅延時間、及び第２音量減衰量は、第１角度、第１遅延時間、及び第１音量減衰量と同様に音響処理装置１０１Ａによってあらかじめ設定された数値、又はセンサ１０３によるセンシング結果に応じて変化する数値であるが、これらのうち、少なくとも１つは、ユーザ９９が任意に入力した数値によって調整可能に構成されてもよい。つまり、音響処理装置１０１Ａは、第２角度、第２遅延時間、及び第２音量減衰量の少なくとも１つを調整するためのユーザ９９による入力を受け付けてもよい。
【0251】
次に、図３２を参照して、上記に説明した音響再生装置１００Ａの動作について説明する。
【0252】
図３２は、本実施の形態の変形例２に係る音響処理装置１０１Ａの動作を示すフローチャートである。
【0253】
まず、図１２を参照して説明した、ステップＳ１及びステップＳ２の動作と同様に、ステップＳ５１及びステップＳ５２の動作が実施される。
【0254】
次に、ステップＳ５３において、第３処理部１４１は、音情報に対して、情報に含まれる音を、第２方向から到達し、第１出力音信号によって知覚される再生音に対して０より大きい第２遅延時間、及び、０より大きい音量減衰量γ（第２音量減衰量）を有する音として定位させるための第３合成バイノーラルルームインパルス応答を畳み込むことで、第３出力音信号を生成する。
【0255】
以上のステップＳ５１、ステップＳ５２、及びステップＳ５３の処理は、実行される順序が入れ替えられてもよく、並列に実行されてもよい。
【0256】
次に、ステップＳ５４において、コンバイナ１５０は、第１処理部１２１によって生成された第１出力音信号と、第２処理部１３１によって生成された第２出力音信号と、第３処理部１４１によって生成された第３出力音信号とを合成し、合成した出力音信号を出力する。
【0257】
このようにして出力された出力音信号がドライバ１０４によって再生されることで、再生音に、２つの反射音が重畳されて三次元的な音としてユーザ９９に知覚される。特に、反射音を２つしか生成していないので、この場合も大規模な演算装置などは必要なく、効果的な立体音響をユーザ９９に知覚させることができる。
【0258】
なお、音響処理装置は、処理部をさらに増やして、３つ以上の反射音を再生音に重畳させてもよい。
【0259】
（その他の実施の形態）
以上、実施の形態について説明したが、本開示は、上記の実施の形態に限定されるものではない。
以上、実施の形態について説明したが、本開示は、上記の実施の形態に限定されるものではない。
【0260】
例えば、上記の実施の形態では、ユーザの頭部の動きに音が追従しない例を説明したが、本開示の内容は、ユーザの頭部の動きに音が追従する場合においても有効である。つまり、ユーザの頭部の動きとともに相対的に移動する第１位置から到達する音として所定音をユーザに知覚させる動作の中で、所定音の到達方向の変動量が閾値より小さい場合に、立体音響フィルタを選択して、変動が強調されるようにしてもよい。
【0261】
また、例えば、上記の実施の形態に説明した音響再生装置は、構成要素をすべて備える一つの装置として実現されてもよいし、複数の装置に各機能が割り振られ、この複数の装置が連携することで実現されてもよい。後者の場合には、処理モジュールに該当する装置として、スマートフォン、タブレット端末、又は、パーソナルコンピュータなどの情報処理装置が用いられてもよい。
【0262】
上記実施の形態の説明と異なる構成として例えば、デコード処理部によって、元の音情報を補正することにより、変更された立体音響フィルタを選択させることもできる。具体的には、本例におけるデコード処理部は、音情報に含まれる所定方向に関する情報を生成するとともに、元の音情報の補正を行う処理部である。デコード処理部は、時間軸上での所定方向の変動の角度量を算出し、算出された所定方向の変動の角度量が閾値よりも小さい場合において、所定方向の変動の角度量が閾値以上である場合に比べて所定音をより強調してユーザに知覚させるように、所定方向に関する情報を補正する。これにより、デコード処理部から出力された補正後の所定方向に関する情報に基づいて、所定音が到達する到達方向を規定する立体音響フィルタが選択されるだけで、上記の実施の形態における変更後の立体音響フィルタが適用されることとなる。
【0263】
このように、本開示の情報処理方法等は、元の音情報における所定方向に関する情報を補正することによって実現されてもよい。上記のようなデコード処理部は、例えば、従来の立体音響再生装置のデコード処理を行う処理部と入れ替えて挿入するだけで、本願開示と同様の効果を奏することができる音響再生装置を実現することができる。
【0264】
なお、本開示の実施の形態に係る装置の機能の一部又は全てを、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。
【0265】
また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。
【0266】
また、上記フローチャートに示す各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、同様の効果が得られる範囲で上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
【産業上の利用可能性】
【0267】
本開示に係る技術は、より立体的な音をユーザに知覚させることができるので、音像をユーザの頭外に定位させる技術として有用である。
【符号の説明】
【0268】
１１ 第１ＨＲＩＲデータベース
１２ 第１ＢＲＩＲデータベース
１３ 第１ＨＲＩＲ取得部
１４ 第１ＢＲＩＲ取得部
１５ 第１作成部
１６ 第１出力部
２１ 第２ＨＲＩＲデータベース
２２ 第２ＢＲＩＲデータベース
２３ 第２ＨＲＩＲ取得部
２４ 第２ＢＲＩＲ取得部
２５ 第２作成部
２６ 第２出力部
９９ ユーザ
１００，１００Ａ 音響再生装置
１０１，１０１Ａ 音響処理装置
１０２ 通信モジュール
１０３ センサ
１０４ ドライバ
１１１ 取得部
１２０ 残響抑圧処理部
１２１ 第１処理部
１２２ 第１ＥＱ
１２３ 第１信号処理部
１２４ 第１合成ＢＲＩＲ畳み込み部
１２５ 第１音量減衰部
１３０ 第１角度決定部
１３１ 第２処理部
１３２ 第２ＥＱ
１３３ 第２信号処理部
１３４ 第２合成ＢＲＩＲ畳み込み部
１３５ 第１遅延部
１３６ 第２音量減衰部
１４０ 第２角度決定部
１４１ 第３処理部
１４２ 第３ＥＱ
１４３ 第３信号処理部
１４４ 第３合成ＢＲＩＲ畳み込み部
１４５ 第２遅延部
１４６ 第３音量減衰部
１５０ コンバイナ
１５１ 第１ピーク位置補正部
１５２ 第１特定部
１５３ 第１直接音成分置換部
１５４ 第１音圧レベル変更部
１６１ 第１特定部
１６２ 第１振幅置換部
１６３ 第１振幅設定部
１６４ 第１畳み込み部
２５１ 第２ピーク位置補正部
２５２ 第２特定部
２５３ 第２直接音成分置換部
２５４ 第２音圧レベル変更部
２６１ 第２特定部
２６２ 第２振幅置換部
２６３ 第２振幅設定部
２６４ 第２畳み込み部
１２ 第１ＢＲＩＲデータベース
１３ 第１ＨＲＩＲ取得部
１４ 第１ＢＲＩＲ取得部
１５ 第１作成部
１６ 第１出力部
２１ 第２ＨＲＩＲデータベース
２２ 第２ＢＲＩＲデータベース
２３ 第２ＨＲＩＲ取得部
２４ 第２ＢＲＩＲ取得部
２５ 第２作成部
２６ 第２出力部
９９ ユーザ
１００，１００Ａ 音響再生装置
１０１，１０１Ａ 音響処理装置
１０２ 通信モジュール
１０３ センサ
１０４ ドライバ
１１１ 取得部
１２０ 残響抑圧処理部
１２１ 第１処理部
１２２ 第１ＥＱ
１２３ 第１信号処理部
１２４ 第１合成ＢＲＩＲ畳み込み部
１２５ 第１音量減衰部
１３０ 第１角度決定部
１３１ 第２処理部
１３２ 第２ＥＱ
１３３ 第２信号処理部
１３４ 第２合成ＢＲＩＲ畳み込み部
１３５ 第１遅延部
１３６ 第２音量減衰部
１４０ 第２角度決定部
１４１ 第３処理部
１４２ 第３ＥＱ
１４３ 第３信号処理部
１４４ 第３合成ＢＲＩＲ畳み込み部
１４５ 第２遅延部
１４６ 第３音量減衰部
１５０ コンバイナ
１５１ 第１ピーク位置補正部
１５２ 第１特定部
１５３ 第１直接音成分置換部
１５４ 第１音圧レベル変更部
１６１ 第１特定部
１６２ 第１振幅置換部
１６３ 第１振幅設定部
１６４ 第１畳み込み部
２５１ 第２ピーク位置補正部
２５２ 第２特定部
２５３ 第２直接音成分置換部
２５４ 第２音圧レベル変更部
２６１ 第２特定部
２６２ 第２振幅置換部
２６３ 第２振幅設定部
２６４ 第２畳み込み部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】