特開 2024-152932 信号処理方法、信号処理装置、及び信号処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024152932

(43)【公開日】2024-10-25

(54)【発明の名称】信号処理方法、信号処理装置、及び信号処理プログラム

(51)【国際特許分類】

   H04S 7/00 20060101AFI20241018BHJP

【ＦＩ】

H04S7/00 360

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

【公開請求】

(21)【出願番号】P 2024140852

(22)【出願日】2024-08-22

(71)【出願人】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110004303

【氏名又は名称】弁理士法人三協国際特許事務所

(72)【発明者】

【氏名】中 光波

(72)【発明者】

【氏名】中橋 康太

(72)【発明者】

【氏名】石川 智一

(57)【要約】

【課題】所望の頭部の特性及び所望の空間の特性を含むバイノーラルルームインパルス応答を作成することができる技術を提供する。
【解決手段】信号処理方法は、ユーザの第１頭部特性を示す頭部インパルス応答を取得することと、第１頭部特性とは異なる第２頭部特性及びユーザがいる空間の空間特性を示すバイノーラルルームインパルス応答を取得することと、頭部インパルス応答の直接音成分と、バイノーラルルームインパルス応答の残響音成分とを合成した合成バイノーラルルームインパルス応答を作成することと、作成した合成バイノーラルルームインパルス応答を出力することとを含む。
【選択図】図４

【特許請求の範囲】

【請求項1】

コンピュータにより実行される信号処理方法であって、
ユーザの第１頭部特性を示す頭部インパルス応答を取得することと、
前記第１頭部特性とは異なる第２頭部特性及び前記ユーザがいる空間の空間特性を示すバイノーラルルームインパルス応答を取得することと、
前記頭部インパルス応答の直接音成分と、前記バイノーラルルームインパルス応答の残響音成分とを合成した合成バイノーラルルームインパルス応答を作成することと、
作成した前記合成バイノーラルルームインパルス応答を出力することと、
を含む信号処理方法。

【請求項2】

前記合成バイノーラルルームインパルス応答の作成は、
前記バイノーラルルームインパルス応答の波形及び前記頭部インパルス応答の波形をトリミングすることと、
前記頭部インパルス応答の前記直接音成分の終端期間において、前記頭部インパルス応答と前記バイノーラルルームインパルス応答との音圧差が最小となる置換時刻を特定することと、
前記置換時刻以前の前記バイノーラルルームインパルス応答の前記直接音成分を、前記置換時刻以前の前記頭部インパルス応答の前記直接音成分に置換することと、
を含む、
請求項１記載の信号処理方法。

【請求項3】

前記トリミングは、前記バイノーラルルームインパルス応答の振幅が最大となる時刻と、前記頭部インパルス応答の振幅が最大となる時刻とが一致するように、前記バイノーラルルームインパルス応答の波形及び前記頭部インパルス応答の波形をトリミングすることを含む、
請求項２記載の信号処理方法。

【請求項4】

前記終端期間は、１．５ｍｓｅｃから２．５ｍｓｅｃの期間である、
請求項２記載の信号処理方法。

【請求項5】

前記合成バイノーラルルームインパルス応答の作成は、前記置換時刻以前の前記頭部インパルス応答の前記直接音成分の音圧レベルを、前記置換時刻以前の前記バイノーラルルームインパルス応答の前記直接音成分の音圧レベルに応じて変更することをさらに含む、
請求項２記載の信号処理方法。

【請求項6】

前記合成バイノーラルルームインパルス応答の作成は、前記置換時刻以後の前記バイノーラルルームインパルス応答の前記残響音成分の音圧レベルを、前記置換時刻以前の前記頭部インパルス応答の前記直接音成分の音圧レベルに応じて変更することをさらに含む、
請求項２記載の信号処理方法。

【請求項7】

前記合成バイノーラルルームインパルス応答の作成は、
前記バイノーラルルームインパルス応答の直接音成分の振幅を全て０に置換することと、
前記バイノーラルルームインパルス応答の時刻０における前記振幅を１に設定することと、
前記バイノーラルルームインパルス応答に前記頭部インパルス応答を畳み込むことと、
を含む、
請求項１記載の信号処理方法。

【請求項8】

前記合成バイノーラルルームインパルス応答の作成は、前記バイノーラルルームインパルス応答の前記直接音成分の終端期間において、前記バイノーラルルームインパルス応答の前記振幅が最も０に近似する置換時刻を特定することをさらに含み、
前記振幅の前記置換は、前記置換時刻以前の前記バイノーラルルームインパルス応答の前記振幅を全て０に置換することを含む、
請求項７記載の信号処理方法。

【請求項9】

プロセッサを備える信号処理装置であって、
前記プロセッサは、
ユーザの第１頭部特性を示す頭部インパルス応答を取得し、
前記第１頭部特性とは異なる第２頭部特性及び前記ユーザがいる空間の空間特性を示すバイノーラルルームインパルス応答を取得し、
前記頭部インパルス応答の直接音成分と、前記バイノーラルルームインパルス応答の残響音成分とを合成した合成バイノーラルルームインパルス応答を作成し、
作成した前記合成バイノーラルルームインパルス応答を出力する、
信号処理装置。

【請求項10】

ユーザの第１頭部特性を示す頭部インパルス応答を取得し、
前記第１頭部特性とは異なる第２頭部特性及び前記ユーザがいる空間の空間特性を示すバイノーラルルームインパルス応答を取得し、
前記頭部インパルス応答の直接音成分と、前記バイノーラルルームインパルス応答の残響音成分とを合成した合成バイノーラルルームインパルス応答を作成し、
作成した前記合成バイノーラルルームインパルス応答を出力するようにコンピュータを機能させる、
信号処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、音像をユーザの頭外に定位させる技術に関する。

【背景技術】

【0002】

例えば、特許文献１には、ユーザの第１の頭部伝達関数から抽出された第１の帯域の特性と、第１の頭部伝達関数が測定される第１の測定環境と異なる第２の測定環境で測定された第２の頭部伝達関数から抽出された、第１の帯域より高い帯域を含む第２の帯域の特性とを合成することで、第３の頭部伝達関数を生成する合成部を備える信号処理装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第７３８４１６２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記従来の技術では、所望の頭部の特性及び所望の空間の特性を含むバイノーラルルームインパルス応答を作成することが困難であり、更なる改善が必要とされていた。

【0005】

本開示は、上記の問題を解決するためになされたもので、所望の頭部の特性及び所望の空間の特性を含むバイノーラルルームインパルス応答を作成することができる技術を提供することを目的とするものである。

【課題を解決するための手段】

【0006】

本開示の一態様に係る信号処理方法は、コンピュータにより実行される信号処理方法であって、ユーザの第１頭部特性を示す頭部インパルス応答を取得することと、前記第１頭部特性とは異なる第２頭部特性及び前記ユーザがいる空間の空間特性を示すバイノーラルルームインパルス応答を取得することと、前記頭部インパルス応答の直接音成分と、前記バイノーラルルームインパルス応答の残響音成分とを合成した合成バイノーラルルームインパルス応答を作成することと、作成した前記合成バイノーラルルームインパルス応答を出力することと、を含む。

【発明の効果】

【0007】

本開示によれば、所望の頭部の特性及び所望の空間の特性を含むバイノーラルルームインパルス応答を作成することができる。

【図面の簡単な説明】

【0008】

【図1】本実施の形態１における信号処理装置の構成を示す図である。

【図2】本実施の形態１における合成バイノーラルルームインパルス応答の作成方法を説明するための図である。

【図3】本実施の形態１における作成部の構成を示す図である。

【図4】本開示の実施の形態１における信号処理装置による処理について説明するためのフローチャートである。

【図5】本開示の実施の形態１における作成部による合成バイノーラルルームインパルス応答作成処理について説明するためのフローチャートである。

【図6】本実施の形態１におけるバイノーラルルームインパルス応答及び頭部インパルス応答の一例を示す図である。

【図7】本実施の形態１における合成バイノーラルルームインパルス応答の一例を示す図である。

【図8】本実施の形態１において、バイノーラルルームインパルス応答の最大振幅位置と頭部インパルス応答の最大振幅位置とを揃える処理について説明するための図である。

【図9】本実施の形態２における信号処理装置の構成を示す図である。

【図10】本実施の形態２における作成部の構成を示す図である。

【図11】本開示の実施の形態２における作成部による合成バイノーラルルームインパルス応答作成処理について説明するためのフローチャートである。

【図12】本実施の形態２におけるバイノーラルルームインパルス応答の一例を示す図である。

【図13】本実施の形態２において、バイノーラルルームインパルス応答の直接音成分の振幅を全て０に置換する処理を説明するための図である。

【図14】本実施の形態２において、バイノーラルルームインパルス応答の時刻０における振幅を１に設定する処理を説明するための図である。

【図15】本実施の形態２における合成バイノーラルルームインパルス応答の一例を示す図である。

【発明を実施するための形態】

【0009】

（本開示の基礎となった知見）
従来、仮想的な三次元空間内（以下、三次元音場という場合がある）で、ユーザの感覚上の音源オブジェクトである音像の位置を制御することにより、立体的な音をユーザに知覚させるための音響再生に関する技術が知られている。仮想的な三次元空間内における所定位置に音像を定位させることで、ユーザは、当該所定位置とユーザとを結ぶ直線に平行な方向（すなわち所定方向）から到達する音であるかのごとく、この音を知覚することができる。このように仮想的な三次元空間内の所定位置に音像を定位させるには、例えば、収音された音に対して、立体的な音として知覚されるような両耳間での音の到達時間差、及び、両耳間での音のレベル差（又は音圧差）などを生じさせる計算処理が必要となる。

【0010】

ここで、近年、通信回線を利用して映像と音声とを双方向に送受信して通信相手とコミュニケーションをとるといった、いわゆるオンライン会議システムが盛んに利用されている。このようなオンライン会議システムでは、ヘッドホンなどの頭部装着型の音響再生装置が用いられることも多い。上記のようなオンライン会議システムに代表されるように、音をヘッドホンで受聴するような場合に、当該音を三次元音場に展開してユーザに知覚させることは困難である。通常、ヘッドホンで音を聴く場合、音像が頭内に定位する。そのため、ヘッドホンで音声を聴く場合であっても、音像を頭外に定位させる技術の開発が進められている。

【0011】

一般的に、空間性を持たせた頭外定位の音像再現には、所望の音場におけるバイノーラルルームインパルス応答の畳み込みが有効とされている。バイノーラルルームインパルス応答を得るためには、所望の頭部特性と所望の音場の空間特性とが揃った条件で測定する必要がある。しかしながら、頭部特性はユーザ毎に異なり、空間特性も音場毎に異なるため、所望の条件のバイノーラルルームインパルス応答を得るには、非常に手間がかかる。

【0012】

上記の従来技術では、周波数領域における信号処理であり、時間領域における信号処理ではない。また、従来技術の目的は、再生帯域が狭いデバイスで測定した頭部伝達関数に対して十分な周波数帯域の特性を持つ頭部伝達関数を合成することで、測定した帯域よりも広い特性を持つ頭部伝達関数を再現することが目的であり、空間の特性をもつ残響音成分を頭部伝達関数に付与することが目的ではない。そのため、上記従来の技術では、所望の頭部の特性及び所望の空間の特性を含むバイノーラルルームインパルス応答を作成することが困難であった。

【0013】

以上の課題を解決するために、下記の技術が開示される。

【0014】

（１）本開示の一態様に係る信号処理方法は、コンピュータにより実行される信号処理方法であって、ユーザの第１頭部特性を示す頭部インパルス応答を取得することと、前記第１頭部特性とは異なる第２頭部特性及び前記ユーザがいる空間の空間特性を示すバイノーラルルームインパルス応答を取得することと、前記頭部インパルス応答の直接音成分と、前記バイノーラルルームインパルス応答の残響音成分とを合成した合成バイノーラルルームインパルス応答を作成することと、作成した前記合成バイノーラルルームインパルス応答を出力することと、を含む。

【0015】

この構成によれば、頭部インパルス応答の直接音成分と、バイノーラルルームインパルス応答の残響音成分とを合成した合成バイノーラルルームインパルス応答が作成されるので、擬似的に所望の頭部の特性を含むバイノーラルルームインパルス応答を作成することができ、所望の頭部の特性及び所望の空間の特性を含むバイノーラルルームインパルス応答を作成することができる。

【0016】

（２）上記（１）記載の信号処理方法において、前記合成バイノーラルルームインパルス応答の作成は、前記バイノーラルルームインパルス応答の波形及び前記頭部インパルス応答の波形をトリミングすることと、前記頭部インパルス応答の前記直接音成分の終端期間において、前記頭部インパルス応答と前記バイノーラルルームインパルス応答との音圧差が最小となる置換時刻を特定することと、前記置換時刻以前の前記バイノーラルルームインパルス応答の前記直接音成分を、前記置換時刻以前の前記頭部インパルス応答の前記直接音成分に置換することと、を含んでもよい。

【0017】

この構成によれば、バイノーラルルームインパルス応答の直接音成分が、頭部インパルス応答の直接音成分に置換されることにより、頭部インパルス応答の直接音成分と、バイノーラルルームインパルス応答の残響音成分とを容易に合成することができる。

【0018】

（３）上記（２）記載の信号処理方法において、前記トリミングは、前記バイノーラルルームインパルス応答の振幅が最大となる時刻と、前記頭部インパルス応答の振幅が最大となる時刻とが一致するように、前記バイノーラルルームインパルス応答の波形及び前記頭部インパルス応答の波形をトリミングすることを含んでもよい。

【0019】

この構成によれば、バイノーラルルームインパルス応答と頭部インパルス応答との時刻を合わせるように、バイノーラルルームインパルス応答に頭部インパルス応答を適切に合成することができる。

【0020】

（４）上記（２）又は（３）記載の信号処理方法において、前記終端期間は、１．５ｍｓｅｃから２．５ｍｓｅｃの期間であってもよい。

【0021】

この構成によれば、１．５ｍｓｅｃから２．５ｍｓｅｃの期間において、バイノーラルルームインパルス応答の直接音成分を頭部インパルス応答の直接音成分に置換するための置換時刻を特定することができる。

【0022】

（５）上記（２）～（４）のいずれか１つに記載の信号処理方法において、前記合成バイノーラルルームインパルス応答の作成は、前記置換時刻以前の前記頭部インパルス応答の前記直接音成分の音圧レベルを、前記置換時刻以前の前記バイノーラルルームインパルス応答の前記直接音成分の音圧レベルに応じて変更することをさらに含んでもよい。

【0023】

この構成によれば、頭部インパルス応答の直接音成分の音圧レベルが、バイノーラルルームインパルス応答の直接音成分の音圧レベルに応じて変更されるので、頭部インパルス応答の直接音成分とバイノーラルルームインパルス応答の残響音成分とを違和感なく合成することができる。

【0024】

（６）上記（２）～（４）のいずれか１つに記載の信号処理方法において、前記合成バイノーラルルームインパルス応答の作成は、前記置換時刻以後の前記バイノーラルルームインパルス応答の前記残響音成分の音圧レベルを、前記置換時刻以前の前記頭部インパルス応答の前記直接音成分の音圧レベルに応じて変更することをさらに含んでもよい。

【0025】

この構成によれば、バイノーラルルームインパルス応答の残響音成分の音圧レベルが、頭部インパルス応答の直接音成分の音圧レベルに応じて変更されるので、頭部インパルス応答の直接音成分とバイノーラルルームインパルス応答の残響音成分とを違和感なく合成することができる。

【0026】

（７）上記（１）記載の信号処理方法において、前記合成バイノーラルルームインパルス応答の作成は、前記バイノーラルルームインパルス応答の直接音成分の振幅を全て０に置換することと、前記バイノーラルルームインパルス応答の時刻０における前記振幅を１に設定することと、前記バイノーラルルームインパルス応答に前記頭部インパルス応答を畳み込むことと、を含んでもよい。

【0027】

この構成によれば、直接音成分の振幅が全て０に置換されるとともに時刻０における振幅が１に設定されたバイノーラルルームインパルス応答に頭部インパルス応答が畳み込まれることにより、頭部インパルス応答の直接音成分と、バイノーラルルームインパルス応答の残響音成分とを容易に合成することができる。

【0028】

（８）上記（７）記載の信号処理方法において、前記合成バイノーラルルームインパルス応答の作成は、前記バイノーラルルームインパルス応答の前記直接音成分の終端期間において、前記バイノーラルルームインパルス応答の前記振幅が最も０に近似する置換時刻を特定することをさらに含み、前記振幅の前記置換は、前記置換時刻以前の前記バイノーラルルームインパルス応答の前記振幅を全て０に置換することを含んでもよい。

【0029】

この構成によれば、バイノーラルルームインパルス応答のうちの頭部インパルス応答の直接音成分を合成する位置を決めることができる。

【0030】

また、本開示は、以上のような特徴的な処理を実行する信号処理方法として実現することができるだけでなく、信号処理方法が実行する特徴的な処理に対応する特徴的な構成を備える信号処理装置などとして実現することもできる。また、このような信号処理方法に含まれる特徴的な処理をコンピュータに実行させるコンピュータプログラムとして実現することもできる。したがって、以下の他の態様でも、上記の信号処理方法と同様の効果を奏することができる。

【0031】

（９）本開示の他の態様に係る信号処理装置は、プロセッサを備える信号処理装置であって、前記プロセッサは、ユーザの第１頭部特性を示す頭部インパルス応答を取得し、前記第１頭部特性とは異なる第２頭部特性及び前記ユーザがいる空間の空間特性を示すバイノーラルルームインパルス応答を取得し、前記頭部インパルス応答の直接音成分と、前記バイノーラルルームインパルス応答の残響音成分とを合成した合成バイノーラルルームインパルス応答を作成し、作成した前記合成バイノーラルルームインパルス応答を出力する。

【0032】

（１０）本開示の他の態様に係る信号処理プログラムは、ユーザの第１頭部特性を示す頭部インパルス応答を取得し、前記第１頭部特性とは異なる第２頭部特性及び前記ユーザがいる空間の空間特性を示すバイノーラルルームインパルス応答を取得し、前記頭部インパルス応答の直接音成分と、前記バイノーラルルームインパルス応答の残響音成分とを合成した合成バイノーラルルームインパルス応答を作成し、作成した前記合成バイノーラルルームインパルス応答を出力するようにコンピュータを機能させる。

【0033】

（１１）本開示の他の態様に係る非一時的なコンピュータ読み取り可能な記録媒体は、上記（１０）記載の信号処理プログラムを記録する。

【0034】

以下添付図面を参照しながら、本開示の実施の形態について説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることもできる。

【0035】

（実施の形態１）
図１は、本実施の形態１における信号処理装置１の構成を示す図である。

【0036】

図１に示す信号処理装置１は、ＨＲＩＲデータベース１１、ＢＲＩＲデータベース１２、ＨＲＩＲ取得部１３、ＢＲＩＲ取得部１４、作成部１５、及び出力部１６を備える。

【0037】

信号処理装置１は、例えば、制御プログラムと、当該制御プログラムを実行するプロセッサ又は論理回路等の処理回路と、当該制御プログラムを記憶する内部メモリ又はアクセス可能な外部メモリ等の記録装置と、を備えるコンピュータシステムを少なくとも備える。なお、信号処理装置１は、例えば、処理回路によるハード実装によって、又は、処理回路によるメモリに保持される、若しくは、外部サーバから配信されるソフトウェアプログラムの実行によって、又は、これらハード実装とソフト実装との組み合わせによって実現されてもよい。また、信号処理装置１は、サーバであってもよい。

【0038】

ＨＲＩＲデータベース１１は、人の頭部特性を示す頭部インパルス応答（Ｈｅａｄ－Ｒｅｌａｔｅｄ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ：ＨＲＩＲ）を予め記憶する。頭部伝達関数（Ｈｅａｄ－Ｒｅｌａｔｅｄ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ：ＨＲＴＦ）は、頭部周辺による入射音波の物理特性の変化を周波数領域で表現したものである。頭部インパルス応答は、頭部伝達関数を時間領域で表現したものである。頭部インパルス応答は、無響空間において測定される。そのため、頭部インパルス応答は、直接音成分を含み、残響音成分をほぼ含まない。

【0039】

なお、ＨＲＩＲデータベース１１は、左チャンネル及び右チャンネルそれぞれの頭部インパルス応答を記憶してもよい。また、ＨＲＩＲデータベース１１は、複数の頭部特性に対応する複数の頭部インパルス応答を記憶してもよい。また、ＨＲＩＲデータベース１１は、音が到達する方向とユーザの正面方向とがなす複数の旋回角度に対応する複数の頭部インパルス応答を記憶してもよい。複数の旋回角度は、例えば、３６０度を、２度毎、５度毎、又は１０度毎に分割したそれぞれの角度である。なお、音が到達する方向が０度であり、旋回角度は、音が到達する方向とユーザの正面方向とが時計回りになす角度を示す。

【0040】

ＢＲＩＲデータベース１２は、人の頭部特性及び人がいる空間の空間特性を示すバイノーラルルームインパルス応答（Ｂｉｎａｕｒａｌ Ｒｏｏｍ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ：ＢＲＩＲ）を予め記憶する。バイノーラルルームインパルス応答は、時間領域で表現される。バイノーラルルームインパルス応答は、有響空間において測定される。そのため、バイノーラルルームインパルス応答は、直接音成分と残響音成分とを含む。

【0041】

なお、ＢＲＩＲデータベース１２は、左チャンネル及び右チャンネルそれぞれのバイノーラルルームインパルス応答を記憶してもよい。また、ＢＲＩＲデータベース１２は、複数の空間特性に対応する複数のバイノーラルルームインパルス応答を記憶してもよい。例えば、ＢＲＩＲデータベース１２は、複数の空間の大きさ毎に複数のバイノーラルルームインパルス応答を記憶してもよい。また、ＢＲＩＲデータベース１２は、音が到達する方向とユーザの正面方向とがなす複数の旋回角度に対応する複数のバイノーラルルームインパルス応答を記憶してもよい。複数の旋回角度は、例えば、３６０度を、２度毎、５度毎、又は１０度毎に分割したそれぞれの角度である。なお、音が到達する方向が０度であり、旋回角度は、音が到達する方向とユーザの正面方向とが時計回りになす角度を示す。

【0042】

ＨＲＩＲ取得部１３は、ユーザの第１頭部特性を示す頭部インパルス応答をＨＲＩＲデータベース１１から取得する。なお、ＨＲＩＲ取得部１３によって取得される頭部インパルス応答は、受聴者であるユーザ自身の外耳道入り口に装着された測定機器により測定されてもよいし、ユーザに近い頭部特性を有する人物の外耳道入り口に装着された測定機器又はダミーヘッドに装着された測定機器により測定されてもよい。

【0043】

ＢＲＩＲ取得部１４は、第１頭部特性とは異なる第２頭部特性及びユーザがいる空間の空間特性を示すバイノーラルルームインパルス応答をＢＲＩＲデータベース１２から取得する。ＢＲＩＲ取得部１４によって取得されるバイノーラルルームインパルス応答は、受聴者であるユーザがいる空間の空間特性に近い空間特性を有する空間において、ユーザとは異なる人物の外耳道入り口に装着された測定機器又はダミーヘッドに装着された測定機器により測定されてもよい。

【0044】

作成部１５は、ＨＲＩＲ取得部１３によって取得された頭部インパルス応答の直接音成分と、ＢＲＩＲ取得部１４によって取得されたバイノーラルルームインパルス応答の残響音成分とを合成した合成バイノーラルルームインパルス応答を作成する。

【0045】

出力部１６は、作成部１５によって作成された合成バイノーラルルームインパルス応答を出力する。

【0046】

ここで、本実施の形態１において作成される合成バイノーラルルームインパルス応答について説明する。

【0047】

図２は、本実施の形態１における合成バイノーラルルームインパルス応答の作成方法を説明するための図である。図２では、左チャンネル（Ｌ）及び右チャンネル（Ｒ）それぞれの合成バイノーラルルームインパルス応答が示されている。

【0048】

図２に示すように、作成部１５は、頭部インパルス応答の直接音成分２０１Ｌ，２０１Ｒと、バイノーラルルームインパルス応答の残響音成分２０２Ｌ，２０２Ｒとを合成する。これにより、作成部１５は、合成バイノーラルルームインパルス応答２０３Ｌ，２０３Ｒを作成する。

【0049】

図３は、本実施の形態１における作成部１５の構成を示す図である。

【0050】

図３に示す作成部１５は、ピーク位置補正部１５１、特定部１５２、直接音成分置換部１５３、及び音圧レベル変更部１５４を備える。

【0051】

ピーク位置補正部１５１は、バイノーラルルームインパルス応答の波形及び頭部インパルス応答の波形をトリミングする。このとき、ピーク位置補正部１５１は、バイノーラルルームインパルス応答の振幅が最大となる時刻と、頭部インパルス応答の振幅が最大となる時刻とが一致するように、バイノーラルルームインパルス応答の波形及び頭部インパルス応答の波形をトリミングする。

【0052】

特定部１５２は、頭部インパルス応答の直接音成分の終端期間において、頭部インパルス応答とバイノーラルルームインパルス応答との音圧差が最小となる置換時刻を特定する。すなわち、特定部１５２は、頭部インパルス応答の直接音成分の終端期間において、頭部インパルス応答の振幅の絶対値とバイノーラルルームインパルス応答の振幅の絶対値との差が最小となる置換時刻を特定する。終端期間は、例えば、１．５ｍｓｅｃから２．０ｍｓｅｃの期間である。なお、終端期間は、例えば、２．０ｍｓｅｃから２．５ｍｓｅｃの期間であってもよい。また、終端期間は、１．５ｍｓｅｃから２．５ｍｓｅｃの間の任意の期間であってもよい。また、測定環境における音源とマイクロホンとの位置に基づいて直接音が伝播される時間が算出され、算出された伝播時間に基づいて終端期間が決定されてもよい。

【0053】

直接音成分置換部１５３は、置換時刻以前のバイノーラルルームインパルス応答の直接音成分を、置換時刻以前の頭部インパルス応答の直接音成分に置換する。これにより、頭部インパルス応答の直接音成分と、バイノーラルルームインパルス応答の残響音成分とが合成される。

【0054】

音圧レベル変更部１５４は、置換時刻以前の頭部インパルス応答の直接音成分の音圧レベルを、置換時刻以前のバイノーラルルームインパルス応答の直接音成分の音圧レベルに応じて変更する。

【0055】

具体的には、音圧レベル変更部１５４は、置換時刻以前の頭部インパルス応答の直接音成分のＡ特性音圧レベルの平均値を算出するとともに、置換時刻以前のバイノーラルルームインパルス応答の直接音成分のＡ特性音圧レベルの平均値を算出する。音圧レベル変更部１５４は、バイノーラルルームインパルス応答の直接音成分のＡ特性音圧レベルの平均値と、頭部インパルス応答の直接音成分のＡ特性音圧レベルの平均値との比率を算出する。比率は、バイノーラルルームインパルス応答の直接音成分のＡ特性音圧レベルの平均値を、頭部インパルス応答の直接音成分のＡ特性音圧レベルの平均値で除算することにより算出される。音圧レベル変更部１５４は、算出した比率を頭部インパルス応答の直接音成分の音圧レベルに乗算する。これにより、置換時刻以前の頭部インパルス応答の直接音成分の音圧レベルが、置換時刻以前のバイノーラルルームインパルス応答の直接音成分の音圧レベルに揃えられる。

【0056】

なお、音圧レベル変更部１５４は、置換時刻以後のバイノーラルルームインパルス応答の残響音成分の音圧レベルを、置換時刻以前の頭部インパルス応答の直接音成分の音圧レベルに応じて変更してもよい。

【0057】

具体的には、音圧レベル変更部１５４は、置換時刻以前の頭部インパルス応答の直接音成分のＡ特性音圧レベルの平均値を算出するとともに、置換時刻以前のバイノーラルルームインパルス応答の直接音成分のＡ特性音圧レベルの平均値を算出する。音圧レベル変更部１５４は、頭部インパルス応答の直接音成分のＡ特性音圧レベルの平均値と、バイノーラルルームインパルス応答の直接音成分のＡ特性音圧レベルの平均値との比率を算出する。比率は、頭部インパルス応答の直接音成分のＡ特性音圧レベルの平均値を、バイノーラルルームインパルス応答の直接音成分のＡ特性音圧レベルの平均値で除算することにより算出される。音圧レベル変更部１５４は、算出した比率を置換時刻以後のバイノーラルルームインパルス応答の残響音成分の音圧レベルに乗算する。これにより、置換時刻以後のバイノーラルルームインパルス応答の残響音成分の音圧レベルが、置換時刻以前の頭部インパルス応答の直接音成分の音圧レベルに揃えられる。

【0058】

続いて、本開示の実施の形態１における信号処理装置１による処理について説明する。

【0059】

図４は、本開示の実施の形態１における信号処理装置１による処理について説明するためのフローチャートである。

【0060】

まず、ステップＳ１において、ＨＲＩＲ取得部１３は、ユーザの第１頭部特性を示す頭部インパルス応答をＨＲＩＲデータベース１１から取得する。なお、ＨＲＩＲ取得部１３は、左チャンネルの頭部インパルス応答及び右チャンネルの頭部インパルス応答を取得してもよい。

【0061】

次に、ステップＳ２において、ＢＲＩＲ取得部１４は、第１頭部特性とは異なる第２頭部特性及びユーザがいる空間の空間特性を示すバイノーラルルームインパルス応答をＢＲＩＲデータベース１２から取得する。なお、ＢＲＩＲ取得部１４は、左チャンネルのバイノーラルルームインパルス応答及び右チャンネルのバイノーラルルームインパルス応答を取得してもよい。

【0062】

次に、ステップＳ３において、作成部１５は、ＨＲＩＲ取得部１３によって取得された頭部インパルス応答の直接音成分と、ＢＲＩＲ取得部１４によって取得されたバイノーラルルームインパルス応答の残響音成分とを合成した合成バイノーラルルームインパルス応答を作成する合成バイノーラルルームインパルス応答作成処理を実行する。なお、合成バイノーラルルームインパルス応答作成処理については、図５を用いて後述する。また、作成部１５は、左チャンネルの合成バイノーラルルームインパルス応答及び右チャンネルの合成バイノーラルルームインパルス応答を作成してもよい。

【0063】

次に、ステップＳ４において、出力部１６は、合成バイノーラルルームインパルス応答を出力する。なお、出力部１６は、左チャンネルの合成バイノーラルルームインパルス応答及び右チャンネルの合成バイノーラルルームインパルス応答を出力してもよい。

【0064】

なお、出力された合成バイノーラルルームインパルス応答は、再生音信号に畳み込まれる。合成バイノーラルルームインパルス応答が畳み込まれた再生音信号が、ユーザが装着するヘッドホン又はイヤホンによって再生される。これにより、ユーザは、再生音を三次元音場上における所定方向から到達する音として知覚することができ、再生音の音像を頭外の所定位置に定位させることができる。

【0065】

このように、頭部インパルス応答の直接音成分と、バイノーラルルームインパルス応答の残響音成分とを合成した合成バイノーラルルームインパルス応答が作成されるので、擬似的に所望の頭部の特性を含むバイノーラルルームインパルス応答を作成することができ、所望の頭部の特性及び所望の空間の特性を含むバイノーラルルームインパルス応答を作成することができる。

【0066】

続いて、図４のステップＳ３の合成バイノーラルルームインパルス応答作成処理について説明する。

【0067】

図５は、本開示の実施の形態１における作成部１５による合成バイノーラルルームインパルス応答作成処理について説明するためのフローチャートである。

【0068】

まず、ステップＳ１１において、ピーク位置補正部１５１は、バイノーラルルームインパルス応答の振幅が最大となる時刻と、頭部インパルス応答の振幅が最大となる時刻とが一致するように、バイノーラルルームインパルス応答の波形及び頭部インパルス応答の波形をトリミングする。

【0069】

次に、ステップＳ１２において、特定部１５２は、頭部インパルス応答の直接音成分の終端期間において、頭部インパルス応答とバイノーラルルームインパルス応答との音圧差が最小となる置換時刻を特定する。

【0070】

次に、ステップＳ１３において、直接音成分置換部１５３は、置換時刻以前のバイノーラルルームインパルス応答の直接音成分を、置換時刻以前の頭部インパルス応答の直接音成分に置換する。これにより、直接音成分置換部１５３は、置換時刻以前の頭部インパルス応答の直接音成分と、置換時刻以後のバイノーラルルームインパルス応答の残響音成分とを合成した合成バイノーラルルームインパルス応答を作成する。

【0071】

次に、ステップＳ１４において、音圧レベル変更部１５４は、置換時刻以前の頭部インパルス応答の直接音成分の音圧レベルを、置換時刻以前のバイノーラルルームインパルス応答の直接音成分の音圧レベルに応じて変更する。

【0072】

なお、頭部の複数の旋回角度毎に合成バイノーラルルームインパルス応答が作成される場合、音圧レベル変更部１５４は、音が到達する所定方向（０度）に対応する合成バイノーラルルームインパルス応答を作成する際に算出された比率を用いて、他の旋回角度に対応する頭部インパルス応答の直接音成分の音圧レベル又はバイノーラルルームインパルス応答の残響音成分の音圧レベルを変更してもよい。

【0073】

以上の合成バイノーラルルームインパルス応答作成処理により、頭部インパルス応答の直接音成分と、バイノーラルルームインパルス応答の残響音成分とを合成した合成バイノーラルルームインパルス応答が作成される。

【0074】

なお、上記の合成バイノーラルルームインパルス応答作成処理では、左チャンネル及び右チャンネルのそれぞれに対して合成バイノーラルルームインパルス応答が作成されてもよい。また、頭部の複数の旋回角度毎に合成バイノーラルルームインパルス応答が作成されてもよい。また、音が到達する方向に対するユーザの頭部の正面方向の旋回角度が取得された場合、取得された旋回角度に対応する合成バイノーラルルームインパルス応答が作成されてもよい。

【0075】

このように、バイノーラルルームインパルス応答の直接音成分が、頭部インパルス応答の直接音成分に置換されることにより、頭部インパルス応答の直接音成分と、バイノーラルルームインパルス応答の残響音成分とを合成することができる。

【0076】

また、バイノーラルルームインパルス応答の直接音成分は頭部特性を含み、バイノーラルルームインパルス応答の残響音成分は空間特性を含む。バイノーラルルームインパルス応答の残響音成分にも頭部特性は含まれるが、その影響はかなり小さい。そのため、所望の空間特性を含むバイノーラルルームインパルス応答の直接音成分を、所望の頭部特性を含む頭部インパルス応答の直接音成分に置換することにより、所望の頭部特性及び所望の空間特性を含むバイノーラルルームインパルス応答を疑似的に再現することができる。

【0077】

図６は、本実施の形態１におけるバイノーラルルームインパルス応答及び頭部インパルス応答の一例を示す図である。

【0078】

図６において、縦軸は振幅を示し、横軸は時間（ｍｓｅｃ）を示し、実線は、バイノーラルルームインパルス応答２１１Ｌ，２１１Ｒを示し、破線は、頭部インパルス応答２１２Ｌ，２１２Ｒを示す。図６の左側の波形図は、音が到達する所定方向（０度）がユーザの正面方向と一致する場合における左チャンネルのバイノーラルルームインパルス応答２１１Ｌ及び頭部インパルス応答２１２Ｌを示し、図６の右側の波形図は、音が到達する所定方向（０度）がユーザの正面方向と一致する場合における右チャンネルのバイノーラルルームインパルス応答２１１Ｒ及び頭部インパルス応答２１２Ｒを示している。

【0079】

図６に示すように、ピーク位置補正部１５１は、バイノーラルルームインパルス応答２１１Ｌ，２１１Ｒの振幅が最大となる時刻と、頭部インパルス応答２１２Ｌ，２１２Ｒの振幅が最大となる時刻とが一致するように、バイノーラルルームインパルス応答２１１Ｌ，２１１Ｒの波形及び頭部インパルス応答２１２Ｌ，２１２Ｒの波形をトリミングする。

【0080】

具体的には、ピーク位置補正部１５１は、バイノーラルルームインパルス応答及び頭部インパルス応答それぞれの角度０度における左右の最大振幅位置の平均時刻ｔ＿ｂ，ｔ＿ｈを算出する。そして、ピーク位置補正部１５１は、バイノーラルルームインパルス応答の平均時刻ｔ＿ｂと頭部インパルス応答の平均時刻ｔ＿ｈとが一致するように、バイノーラルルームインパルス応答及び頭部インパルス応答のいずれか一方を信号処理する。

【0081】

すなわち、ｔ＿ｂ＝ｔ＿ｈであれば、ピーク位置補正部１５１は、信号処理を行わない。

【0082】

また、ｔ＿ｂ＜ｔ＿ｈであれば、ピーク位置補正部１５１は、ｔ＿ｂ＝ｔ＿ｈとなるように、バイノーラルルームインパルス応答の冒頭に０を付加する。あるいは、ピーク位置補正部１５１は、ｔ＿ｂ＝ｔ＿ｈとなるように、頭部インパルス応答の冒頭をカットする。

【0083】

また、ｔ＿ｂ＞ｔ＿ｈであれば、ピーク位置補正部１５１は、ｔ＿ｂ＝ｔ＿ｈとなるように、頭部インパルス応答の冒頭に０を付加する。あるいは、ピーク位置補正部１５１は、ｔ＿ｂ＝ｔ＿ｈとなるように、バイノーラルルームインパルス応答の冒頭をカットする。

【0084】

また、特定部１５２は、頭部インパルス応答２１２Ｌ，２１２Ｒの直接音成分の終端期間（例えば、１．５ｍｓｅｃ～２．０ｍｓｅｃ）において、頭部インパルス応答２１２Ｌ，２１２Ｒとバイノーラルルームインパルス応答２１１Ｌ，２１１Ｒとの音圧差が最小となる置換時刻２１３Ｌ，２１３Ｒを特定する。

【0085】

置換時刻２１３Ｌ，２１３Ｒ以前が直接音成分を示し、置換時刻２１３Ｌ，２１３Ｒ以後が残響音成分を示す。図６において、四角の枠で囲まれた部分が、バイノーラルルームインパルス応答２１１Ｌ，２１１Ｒ及び頭部インパルス応答２１２Ｌ，２１２Ｒの直接音成分を示している。直接音成分置換部１５３は、置換時刻２１３Ｌ，２１３Ｒ以前のバイノーラルルームインパルス応答２１１Ｌ，２１１Ｒの直接音成分を、置換時刻２１３Ｌ，２１３Ｒ以前の頭部インパルス応答２１２Ｌ，２１２Ｒの直接音成分に置換する。

【0086】

図７は、本実施の形態１における合成バイノーラルルームインパルス応答の一例を示す図である。

【0087】

図７において、縦軸は振幅を示し、横軸は時間（ｍｓｅｃ）を示し、実線は、合成バイノーラルルームインパルス応答２１４Ｌ，２１４Ｒを示し、破線は、バイノーラルルームインパルス応答２１１Ｌ，２１１Ｒを示す。図７の左側の波形図は、音が到達する所定方向（０度）がユーザの正面方向と一致する場合における左チャンネルの合成バイノーラルルームインパルス応答２１４Ｌを示し、図７の右側の波形図は、音が到達する所定方向（０度）がユーザの正面方向と一致する場合における右チャンネルの合成バイノーラルルームインパルス応答２１４Ｒを示している。

【0088】

合成バイノーラルルームインパルス応答２１４Ｌ，２１４Ｒは、バイノーラルルームインパルス応答２１１Ｌ，２１１Ｒの直接音成分が、頭部インパルス応答２１２Ｌ，２１２Ｒの直接音成分に置換されることにより、作成される。そのため、合成バイノーラルルームインパルス応答２１４Ｌ，２１４Ｒは、頭部インパルス応答２１２Ｌ，２１２Ｒの直接音成分と、バイノーラルルームインパルス応答２１１Ｌ，２１１Ｒの残響音成分とで構成される。

【0089】

また、図７に示すように、音圧レベル変更部１５４は、頭部インパルス応答２１２Ｌ，２１２Ｒの直接音成分に対応する合成バイノーラルルームインパルス応答２１４Ｌ，２１４Ｒの直接音成分の音圧レベルを、バイノーラルルームインパルス応答２１１Ｌ，２１１Ｒの直接音成分の音圧レベルに応じて変更する。これにより、図７に示す合成バイノーラルルームインパルス応答２１４Ｌ，２１４Ｒの直接音成分の振幅は、図６に示す頭部インパルス応答２１２Ｌ，２１２Ｒの直接音成分の振幅より小さくなっている。

【0090】

図８は、本実施の形態１において、バイノーラルルームインパルス応答の最大振幅位置と頭部インパルス応答の最大振幅位置とを揃える処理について説明するための図である。

【0091】

図８において、縦軸は振幅を示し、横軸は時間（ｍｓｅｃ）を示し、実線は、バイノーラルルームインパルス応答を示し、破線は、頭部インパルス応答を示す。図８の上から１番目及び３番目の波形図は、音が到達する所定方向（０度）がユーザの正面方向と一致する場合における左チャンネルのバイノーラルルームインパルス応答及び頭部インパルス応答を示し、図８の上から２番目及び４番目の波形図は、音が到達する所定方向（０度）がユーザの正面方向と一致する場合における右チャンネルのバイノーラルルームインパルス応答及び頭部インパルス応答を示している。

【0092】

図８に示すように、左チャンネルのバイノーラルルームインパルス応答の最大振幅位置と右チャンネルのバイノーラルルームインパルス応答の最大振幅位置とが異なるとともに、左チャンネルの頭部インパルス応答の最大振幅位置と右チャンネルの頭部インパルス応答の最大振幅位置とが異なる場合がある。

【0093】

そこで、ピーク位置補正部１５１は、左チャンネルのバイノーラルルームインパルス応答の振幅が最大となる時刻と、右チャンネルのバイノーラルルームインパルス応答の振幅が最大となる時刻との平均時刻を算出するとともに、左チャンネルの頭部インパルス応答の振幅が最大となる時刻と、右チャンネルの頭部インパルス応答の振幅が最大となる時刻との平均時刻を算出してもよい。そして、ピーク位置補正部１５１は、バイノーラルルームインパルス応答の振幅が最大となる平均時刻と、頭部インパルス応答の振幅が最大となる平均時刻とが一致するように、バイノーラルルームインパルス応答の波形及び頭部インパルス応答の波形をトリミングしてもよい。

【0094】

さらに、ピーク位置補正部１５１は、左チャンネルのバイノーラルルームインパルス応答の最大振幅と、右チャンネルのバイノーラルルームインパルス応答の最大振幅との平均最大振幅を算出するとともに、左チャンネルの頭部インパルス応答の最大振幅と、右チャンネルの頭部インパルス応答の最大振幅との平均最大振幅を算出してもよい。そして、ピーク位置補正部１５１は、頭部インパルス応答の平均最大振幅と、バイノーラルルームインパルス応答の平均最大振幅との比率を算出してもよい。比率は、頭部インパルス応答の平均最大振幅を、バイノーラルルームインパルス応答の平均最大振幅で除算することにより算出される。そして、ピーク位置補正部１５１は、算出した比率をバイノーラルルームインパルス応答に乗算してもよい。これにより、バイノーラルルームインパルス応答の振幅が、頭部インパルス応答の振幅に揃えられる。

【0095】

なお、ピーク位置補正部１５１は、バイノーラルルームインパルス応答の平均最大振幅と、頭部インパルス応答の平均最大振幅との比率を算出してもよい。比率は、バイノーラルルームインパルス応答の平均最大振幅を、頭部インパルス応答の平均最大振幅で除算することにより算出される。そして、ピーク位置補正部１５１は、算出した比率を頭部インパルス応答に乗算してもよい。これにより、頭部インパルス応答の振幅が、バイノーラルルームインパルス応答の振幅に揃えられる。

【0096】

（実施の形態２）
実施の形態１では、バイノーラルルームインパルス応答の直接音成分を、頭部インパルス応答の直接音成分に置換することにより、頭部インパルス応答の直接音成分と、バイノーラルルームインパルス応答の残響音成分とが合成される。これに対し、実施の形態２では、直接音成分の振幅が全て０に置換されたバイノーラルルームインパルス応答に頭部インパルス応答が畳み込まれることにより、頭部インパルス応答の直接音成分と、バイノーラルルームインパルス応答の残響音成分とが合成される。

【0097】

図９は、本実施の形態２における信号処理装置１Ａの構成を示す図である。

【0098】

図９に示す信号処理装置１Ａは、ＨＲＩＲデータベース１１、ＢＲＩＲデータベース１２、ＨＲＩＲ取得部１３、ＢＲＩＲ取得部１４、作成部１５Ａ、及び出力部１６を備える。なお、本実施の形態２において、実施の形態１と同じ構成については同じ符号を付し、説明を省略する。

【0099】

信号処理装置１Ａは、例えば、制御プログラムと、当該制御プログラムを実行するプロセッサ又は論理回路等の処理回路と、当該制御プログラムを記憶する内部メモリ又はアクセス可能な外部メモリ等の記録装置と、を備えるコンピュータシステムを少なくとも備える。なお、信号処理装置１Ａは、例えば、処理回路によるハード実装によって、又は、処理回路によるメモリに保持される、若しくは、外部サーバから配信されるソフトウェアプログラムの実行によって、又は、これらハード実装とソフト実装との組み合わせによって実現されてもよい。また、信号処理装置１Ａは、サーバであってもよい。

【0100】

作成部１５Ａは、ＨＲＩＲ取得部１３によって取得された頭部インパルス応答の直接音成分と、ＢＲＩＲ取得部１４によって取得されたバイノーラルルームインパルス応答の残響音成分とを合成した合成バイノーラルルームインパルス応答を作成する。

【0101】

図１０は、本実施の形態２における作成部１５Ａの構成を示す図である。

【0102】

図１０に示す作成部１５Ａは、特定部１６１、振幅置換部１６２、振幅設定部１６３、及び畳み込み部１６４を備える。

【0103】

特定部１６１は、バイノーラルルームインパルス応答の直接音成分の終端期間において、バイノーラルルームインパルス応答の振幅が最も０に近似する置換時刻を特定する。終端期間は、例えば、１．５ｍｓｅｃから２．０ｍｓｅｃの期間である。なお、終端期間は、例えば、２．０ｍｓｅｃから２．５ｍｓｅｃの期間であってもよい。また、終端期間は、１．５ｍｓｅｃから２．５ｍｓｅｃの間の任意の期間であってもよい。また、測定環境における音源とマイクロホンとの位置に基づいて直接音が伝播される時間が算出され、算出された伝播時間に基づいて終端期間が決定されてもよい。サンプリングした時刻によっては、必ずしも振幅が０になるとは限らない。そのため、特定部１６１は、バイノーラルルームインパルス応答の振幅が最も０に近似する置換時刻を特定する。

【0104】

振幅置換部１６２は、バイノーラルルームインパルス応答の直接音成分の振幅を全て０に置換する。すなわち、振幅置換部１６２は、特定部１６１によって特定された置換時刻以前のバイノーラルルームインパルス応答の振幅を全て０に置換する。

【0105】

振幅設定部１６３は、振幅置換部１６２によって直接音成分の振幅が全て０に置換されたバイノーラルルームインパルス応答の時刻０における振幅を１に設定する。バイノーラルルームインパルス応答の時刻０における振幅が１に設定されることにより、バイノーラルルームインパルス応答に頭部インパルス応答が畳み込まれた際に、バイノーラルルームインパルス応答に頭部インパルス応答の直接音成分が現れる。

【0106】

畳み込み部１６４は、振幅設定部１６３によって時刻０における振幅が１に設定されたバイノーラルルームインパルス応答に頭部インパルス応答を畳み込む。これにより、頭部インパルス応答の直接音成分と、バイノーラルルームインパルス応答の残響音成分とが合成される。

【0107】

なお、本開示の実施の形態２における信号処理装置１Ａによる処理は、図４に示す実施の形態１における信号処理装置１による処理と同じであり、ステップＳ３の合成バイノーラルルームインパルス応答作成処理のみが異なる。そのため、以下の説明では、本実施の形態２における合成バイノーラルルームインパルス応答作成処理について説明する。

【0108】

図１１は、本開示の実施の形態２における作成部１５Ａによる合成バイノーラルルームインパルス応答作成処理について説明するためのフローチャートである。

【0109】

まず、ステップＳ２１において、特定部１６１は、バイノーラルルームインパルス応答の直接音成分の終端期間において、バイノーラルルームインパルス応答の振幅が最も０に近似する置換時刻を特定する。

【0110】

次に、ステップＳ２２において、振幅置換部１６２は、特定部１６１によって特定された置換時刻以前のバイノーラルルームインパルス応答の直接音成分の振幅を全て０に置換する。

【0111】

次に、ステップＳ２３において、振幅設定部１６３は、振幅置換部１６２によって直接音成分の振幅が全て０に置換されたバイノーラルルームインパルス応答の時刻０における振幅を１に設定する。

【0112】

次に、ステップＳ２４において、畳み込み部１６４は、振幅設定部１６３によって時刻０における振幅が１に設定されたバイノーラルルームインパルス応答に頭部インパルス応答を畳み込む。

【0113】

以上の合成バイノーラルルームインパルス応答作成処理により、頭部インパルス応答の直接音成分と、バイノーラルルームインパルス応答の残響音成分とを合成した合成バイノーラルルームインパルス応答が作成される。

【0114】

なお、上記の合成バイノーラルルームインパルス応答作成処理では、左チャンネル及び右チャンネルのそれぞれに対して合成バイノーラルルームインパルス応答が作成されてもよい。また、頭部の複数の旋回角度毎に合成バイノーラルルームインパルス応答が作成されてもよい。また、音が到達する方向に対するユーザの頭部の正面方向の旋回角度が取得された場合、取得された旋回角度に対応する合成バイノーラルルームインパルス応答が作成されてもよい。

【0115】

このように、直接音成分の振幅が全て０に置換されるとともに時刻０における振幅が１に設定されたバイノーラルルームインパルス応答に頭部インパルス応答が畳み込まれることにより、頭部インパルス応答の直接音成分と、バイノーラルルームインパルス応答の残響音成分とを合成することができる。

【0116】

図１２は、本実施の形態２におけるバイノーラルルームインパルス応答の一例を示す図である。

【0117】

図１２において、縦軸は振幅を示し、横軸は時間（ｍｓｅｃ）を示し、実線は、バイノーラルルームインパルス応答２２１Ｌ，２２１Ｒを示す。図１２の左側の波形図は、音が到達する所定方向（０度）がユーザの正面方向と一致する場合における左チャンネルのバイノーラルルームインパルス応答２２１Ｌを示し、図１２の右側の波形図は、音が到達する所定方向（０度）がユーザの正面方向と一致する場合における右チャンネルのバイノーラルルームインパルス応答２２１Ｒを示している。

【0118】

図１２に示すように、特定部１６１は、バイノーラルルームインパルス応答２２１Ｌ，２２１Ｒの直接音成分の終端期間（例えば、１．５ｍｓｅｃ～２．０ｍｓｅｃ）において、バイノーラルルームインパルス応答２２１Ｌ，２２１Ｒの振幅が最も０に近似する置換時刻２２３Ｌ，２２３Ｒを特定する。

【0119】

図１３は、本実施の形態２において、バイノーラルルームインパルス応答の直接音成分の振幅を全て０に置換する処理を説明するための図である。

【0120】

図１３において、縦軸は振幅を示し、横軸は時間（ｍｓｅｃ）を示し、実線は、バイノーラルルームインパルス応答２２１Ｌ，２２１Ｒを示す。図１３の左側の波形図は、音が到達する所定方向（０度）がユーザの正面方向と一致する場合における左チャンネルのバイノーラルルームインパルス応答２２１Ｌを示し、図１３の右側の波形図は、音が到達する所定方向（０度）がユーザの正面方向と一致する場合における右チャンネルのバイノーラルルームインパルス応答２２１Ｒを示している。

【0121】

図１３に示すように、振幅置換部１６２は、置換時刻２２３Ｌ，２２３Ｒ以前のバイノーラルルームインパルス応答２２１Ｌ，２２１Ｒの直接音成分の振幅を全て０に置換する。

【0122】

図１４は、本実施の形態２において、バイノーラルルームインパルス応答の時刻０における振幅を１に設定する処理を説明するための図である。

【0123】

図１４において、縦軸は振幅を示し、横軸は時間（ｍｓｅｃ）を示し、実線は、バイノーラルルームインパルス応答２２１Ｌ，２２１Ｒを示す。図１４の左側の波形図は、音が到達する所定方向（０度）がユーザの正面方向と一致する場合における左チャンネルのバイノーラルルームインパルス応答２２１Ｌを示し、図１４の右側の波形図は、音が到達する所定方向（０度）がユーザの正面方向と一致する場合における右チャンネルのバイノーラルルームインパルス応答２２１Ｒを示している。

【0124】

図１４に示すように、振幅設定部１６３は、振幅置換部１６２によって直接音成分の振幅が全て０に置換されたバイノーラルルームインパルス応答２２１Ｌ，２２１Ｒの時刻０．０における振幅を１．０に設定する。

【0125】

図１５は、本実施の形態２における合成バイノーラルルームインパルス応答の一例を示す図である。

【0126】

図１５において、縦軸は振幅を示し、横軸は時間（ｍｓｅｃ）を示し、実線は、合成バイノーラルルームインパルス応答２２４Ｌ，２２４Ｒを示す。図１５の左側の波形図は、音が到達する所定方向（０度）がユーザの正面方向と一致する場合における左チャンネルの合成バイノーラルルームインパルス応答２２４Ｌを示し、図１５の右側の波形図は、音が到達する所定方向（０度）がユーザの正面方向と一致する場合における右チャンネルの合成バイノーラルルームインパルス応答２２４Ｒを示している。

【0127】

合成バイノーラルルームインパルス応答２２４Ｌ，２２４Ｒは、直接音成分の振幅が全て０に置換されるとともに時刻０における振幅が１に設定されたバイノーラルルームインパルス応答２２１Ｌ，２２１Ｒに、頭部インパルス応答が畳み込まれることにより、作成される。そのため、合成バイノーラルルームインパルス応答２２４Ｌ，２２４Ｒは、頭部インパルス応答の直接音成分と、バイノーラルルームインパルス応答２２１Ｌ，２２１Ｒの残響音成分とで構成される。

【0128】

なお、本開示の実施の形態に係る装置の機能の一部又は全てを、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。

【0129】

また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。

【0130】

また、上記フローチャートに示す各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、同様の効果が得られる範囲で上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。

【産業上の利用可能性】

【0131】

本開示に係る技術は、所望の頭部の特性及び所望の空間の特性を含むバイノーラルルームインパルス応答を作成することができるので、音像をユーザの頭外に定位させる技術として有用である。

【符号の説明】

【0132】

１，１Ａ 信号処理装置
１１ ＨＲＩＲデータベース
１２ ＢＲＩＲデータベース
１３ ＨＲＩＲ取得部
１４ ＢＲＩＲ取得部
１５，１５Ａ 作成部
１６ 出力部
１５１ ピーク位置補正部
１５２ 特定部
１５３ 音成分置換部
１５４ 音圧レベル変更部
１６１ 特定部
１６２ 振幅置換部
１６３ 振幅設定部
１６４ 畳み込み部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】