特許 7384162 信号処理装置、信号処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-13

(45)【発行日】2023-11-21

(54)【発明の名称】信号処理装置、信号処理方法、およびプログラム

(51)【国際特許分類】

   H04S 7/00 20060101AFI20231114BHJP

   H04S 1/00 20060101ALI20231114BHJP

   G10K 15/00 20060101ALI20231114BHJP

【ＦＩ】

H04S7/00 300

H04S1/00 200

G10K15/00 L

【請求項の数】 13

(21)【出願番号】P 2020537414

(86)(22)【出願日】2019-08-02

(86)【国際出願番号】 JP2019030413

(87)【国際公開番号】W WO2020036077

(87)【国際公開日】2020-02-20

【審査請求日】2022-06-09

(31)【優先権主張番号】P 2018153658

(32)【優先日】2018-08-17

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】100121131

【弁理士】

【氏名又は名称】西川 孝

(74)【代理人】

【識別番号】100082131

【弁理士】

【氏名又は名称】稲本 義雄

(74)【代理人】

【識別番号】100168686

【弁理士】

【氏名又は名称】三浦 勇介

(72)【発明者】

【氏名】佐藤 広則

(72)【発明者】

【氏名】中川 亨

(72)【発明者】

【氏名】曲谷地 哲

(72)【発明者】

【氏名】沖本 越

【審査官】大石 剛

(56)【参考文献】

【文献】国際公開第２０１７／１３０２５５（ＷＯ，Ａ１）

【文献】特表２０１８－５０２５３５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｓ ７／００

Ｈ０４Ｓ １／００

Ｇ１０Ｋ １５／００

(57)【特許請求の範囲】

【請求項1】

ユーザの第１の頭部伝達関数から抽出された第１の帯域の特性と、前記第１の頭部伝達関数が測定される第１の測定環境と異なる第２の測定環境で測定された第２の頭部伝達関数から抽出された、前記第１の帯域より高い帯域を含む第２の帯域の特性とを合成することで、第３の頭部伝達関数を生成する合成部
を備える信号処理装置。

【請求項2】

前記第１の帯域は、第１の周波数から第２の周波数までの帯域であり、
前記第２の帯域は、前記第１の周波数より低い帯域と、前記第２の周波数より高い帯域を含む
請求項１に記載の信号処理装置。

【請求項3】

前記第１の頭部伝達関数は、前記ユーザが配置した音源を用いて実測されるデータであり、
前記第２の頭部伝達関数は、あらかじめ理想的な測定環境で測定されたプリセットデータである
請求項１に記載の信号処理装置。

【請求項4】

前記第１の帯域は、個人に依存する特性を含む帯域である
請求項３に記載の信号処理装置。

【請求項5】

前記第２の帯域は、前記音源が再生できない帯域を含む
請求項３に記載の信号処理装置。

【請求項6】

前記音源は、スピーカを有するデバイスである
請求項３に記載の信号処理装置。

【請求項7】

前記デバイスは、ディスプレイをさらに有する
請求項６に記載の信号処理装置。

【請求項8】

前記デバイスは、スマートフォンである
請求項７に記載の信号処理装置。

【請求項9】

前記デバイスは、テレビジョン受像機である
請求項７に記載の信号処理装置。

【請求項10】

前記第１の頭部伝達関数から抽出された前記第１の帯域の特性に含まれる前記音源の特性を除去するよう、前記第１の帯域の特性を補正する補正部をさらに備える
請求項３に記載の信号処理装置。

【請求項11】

前記第２の頭部伝達関数に対応する頭部インパルス応答から分離された残響成分を、前記第３の頭部伝達関数に付加する付加部をさらに備える
請求項１に記載の信号処理装置。

【請求項12】

信号処理装置が、
ユーザの第１の頭部伝達関数から抽出された第１の帯域の特性と、前記第１の頭部伝達関数が測定される第１の測定環境と異なる第２の測定環境で測定された第２の頭部伝達関数から抽出された、前記第１の帯域より高い帯域を含む第２の帯域の特性とを合成することで、第３の頭部伝達関数を生成する
信号処理方法。

【請求項13】

コンピュータに、
ユーザの第１の頭部伝達関数から抽出された第１の帯域の特性と、前記第１の頭部伝達関数が測定される第１の測定環境と異なる第２の測定環境で測定された第２の頭部伝達関数から抽出された、前記第１の帯域より高い帯域を含む第２の帯域の特性とを合成することで、第３の頭部伝達関数を生成する
処理を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、信号処理装置、信号処理方法、およびプログラムに関し、特に、手軽に頭部伝達関数の個人化を実現することができるようにした信号処理装置、信号処理方法、およびプログラムに関する。

【背景技術】

【0002】

音源から耳への音の伝わり方を表現する頭部伝達関数（ＨＲＴＦ：Head-Related Transfer Function）を用いて、ヘッドホンで音像を立体的に再現する技術がある。

【0003】

例えば、特許文献１には、ダミーヘッドを用いて測定したＨＲＴＦを利用して、立体音響を再生する携帯端末が開示されている。

【0004】

しかしながら、ＨＲＴＦには個人性があるため、ダミーヘッドを用いて測定したＨＲＴＦでは正確な音像定位ができなかった。これに対して、リスナ自身のＨＲＴＦを測定することで、ＨＲＴＦを個人化し、精度の高い音像定位を実現できることが知られている。

【0005】

ところが、リスナ自身のＨＲＴＦを測定する場合、無響室や大型スピーカなどの大規模な設備を用いる必要があった。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２００９－２６０５７４号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

そこで、例えばスマートフォンを音源として、リスナ自身のＨＲＴＦが測定できれば、大規模な設備を用いることなく、手軽にＨＲＴＦの個人化を実現することができる。

【0008】

しかしながら、スマートフォンのスピーカは、その再生帯域が狭いため、十分な特性のＨＲＴＦを測定することができなかった。

【0009】

本開示は、このような状況に鑑みてなされたものであり、全帯域における頭部伝達関数の個人化を手軽に実現することができるようにするものである。

【課題を解決するための手段】

【0010】

本開示の信号処理装置は、ユーザの第１の頭部伝達関数から抽出された第１の帯域の特性と、前記第１の頭部伝達関数が測定される第１の測定環境と異なる第２の測定環境で測定された第２の頭部伝達関数から抽出された、前記第１の帯域より高い帯域を含む第２の帯域の特性とを合成することで、第３の頭部伝達関数を生成する合成部を備える信号処理装置である。

【0011】

本開示の信号処理方法は、ユーザの第１の頭部伝達関数から抽出された第１の帯域の特性と、前記第１の頭部伝達関数が測定される第１の測定環境と異なる第２の測定環境で測定された第２の頭部伝達関数から抽出された、前記第１の帯域より高い帯域を含む第２の帯域の特性とを合成することで、第３の頭部伝達関数を生成する信号処理方法である。

【0012】

本開示のプログラムは、コンピュータに、ユーザの第１の頭部伝達関数から抽出された第１の帯域の特性と、前記第１の頭部伝達関数が測定される第１の測定環境と異なる第２の測定環境で測定された第２の頭部伝達関数から抽出された、前記第１の帯域より高い帯域を含む第２の帯域の特性とを合成することで、第３の頭部伝達関数を生成する処理を実行させるためのプログラムである。

【0013】

本開示においては、ユーザの第１の頭部伝達関数から抽出された第１の帯域の特性と、前記第１の頭部伝達関数が測定される第１の測定環境と異なる第２の測定環境で測定された第２の頭部伝達関数から抽出された、前記第１の帯域より高い帯域を含む第２の帯域の特性とが合成されることで、第３の頭部伝達関数が生成される。

【発明の効果】

【0014】

本開示によれば、手軽に頭部伝達関数の個人化を実現することが可能となる。

【0015】

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

【図面の簡単な説明】

【0016】

【図1】本開示に係る技術を適用した携帯端末の構成例を示すブロック図である。

【図2】携帯端末の機能構成例を示すブロック図である。

【図3】頭部伝達関数の生成処理について説明するフローチャートである。

【図4】第１の実施の形態の携帯端末の構成例を示すブロック図である。

【図5】頭部伝達関数の生成処理について説明するフローチャートである。

【図6】複数チャンネルについての頭部伝達関数の測定について説明する図である。

【図7】頭部伝達関数の帯域抽出について説明する図である。

【図8】残響成分の付加について説明する図である。

【図9】ＮＣマイクロフォン利用時の特性の補正について説明する図である。

【図10】出力部の構成例を示す図である。

【図11】周波数特性の変更について説明する図である。

【図12】第２の実施の形態の携帯端末の構成例を示すブロック図である。

【図13】頭部伝達関数の生成処理について説明するフローチャートである。

【図14】左右方向の頭部伝達関数の推定について説明する図である。

【図15】推定フィルタの周波数特性の例を示す図である。

【図16】頭部伝達関数の生成処理について説明するフローチャートである。

【図17】正中面および矢状面の頭部伝達関数の測定について説明する図である。

【図18】コンピュータの構成例を示すブロック図である。

【発明を実施するための形態】

【0017】

以下、本開示を実施するための形態（以下、実施の形態とする）について説明する。なお、説明は以下の順序で行う。

【0018】

１．本開示に係る技術を適用した携帯端末の構成と動作
２．第１の実施の形態（複数チャンネルについての頭部伝達関数の測定）
３．第２の実施の形態（正面方向についての頭部伝達関数の測定）
４．第３の実施の形態（正中面についての頭部伝達関数の測定）
５．その他

【0019】

＜１．本開示に係る技術を適用した携帯端末の構成と動作＞
（携帯端末の構成）
まず、図１を参照して、本開示に係る技術を適用した信号処理装置としての携帯端末の構成例について説明する。

【0020】

図１に示される携帯端末１は、例えば、いわゆるスマートフォンなどの携帯電話機として構成される。

【0021】

携帯端末１は、制御部１１を備える。制御部１１は、携帯端末１内の各部の動作を制御する。制御部１１は、制御ライン２８を介して、携帯端末１内の各部とデータのやり取りを行う。

【0022】

また、携帯端末１は、通信端末として必要な無線通信を行う通信部１２を備える。通信部１２には、アンテナ１３が接続される。通信部１２は、無線通信用の基地局と無線通信を行い、基地局との間で双方向のデータ伝送を行う。通信部１２は、データライン２９を介して、基地局側から受信したデータを携帯端末１内の各部に送出する。また、携帯端末１内の各部からデータライン２９を介して伝送されたデータを、基地局側に送信する。

【0023】

データライン２９には、通信部１２の他に、メモリ１４、表示部１５、音声処理部１７、および立体音響処理部２１が接続される。

【0024】

メモリ１４は、携帯端末１を動作させるために必要なプログラムや、ユーザが記憶させた各種データなどを記憶する。メモリ１４には、ダウンロードなどで得られた音楽データなどの音声信号も記憶される。

【0025】

表示部１５は、液晶ディスプレイや有機ＥＬディスプレイなどで構成され、制御部１１の制御により、各種情報の表示を行う。

【0026】

操作部１６は、表示部１５を構成するディスプレイと一体となって構成されるタッチパネルや、携帯端末１の筐体に設けられる物理的なボタンなどで構成される。タッチパネル（操作部１６）としての表示部１５には、数字や記号などのダイヤルキー、各種機能キーなどを表すボタンが表示される。各ボタンの操作情報は、制御部１１に供給される。

【0027】

音声処理部１７は、音声信号の処理を行う処理部であり、スピーカ１８とマイクロフォン１９が接続される。スピーカ１８とマイクロフォン１９は、通話時に受話器として機能する。

【0028】

通信部１２から音声処理部１７に供給される音声データは、音声処理部１７により復調されてアナログ音声信号となり、増幅などのアナログ処理が施されてスピーカ１８から放音される。また、マイクロフォン１９により収音された音声の音声信号は、音声処理部１７によりデジタル音声データに変調され、変調された音声データが通信部１２に供給されて、無線送信などが行われる。

【0029】

また、音声処理部１７に供給される音声データのうち、立体音響として出力される音声は、立体音響処理部２１に供給され、処理される。

【0030】

立体音響処理部２１は、バイノーラル立体音響を再現する２チャンネルの音声信号を生成する。立体音響処理部２１が処理する音声信号は、音声処理部１７から供給される他、メモリ１４などから読み出されてデータライン２９を介して供給されたり、通信部１２で受信された音声データがデータライン２９を介して供給されるなどしてもよい。

【0031】

立体音響処理部２１で生成された音声信号は、携帯端末１本体に内蔵された左右のチャンネル用の２つのスピーカ２２Ｌ，２２Ｒから出力されたり、出力端子２３に接続された図示せぬヘッドホンから出力されたりする。

【0032】

スピーカ２２Ｌ，２２Ｒは、携帯端末１本体に内蔵される、比較的小型なスピーカユニットを使用したスピーカであり、携帯端末１本体の周囲にいるリスナに対して再生音を聞かせることができる程度に増幅して出力させるスピーカである。

【0033】

音声信号を図示せぬヘッドホンから出力させる場合には、出力端子２３にヘッドホンを直接、有線接続する他に、例えばＢｌｕｅｔｏｏｔｈ（登録商標）などの方式でヘッドホンと無線通信することで、ヘッドホンに音声信号を供給する構成としてもよい。

【0034】

図２は、上述した携帯端末１の機能構成例を示すブロック図である。

【0035】

図２の携帯端末１は、測定部５１、帯域抽出部５２、ＨＲＴＦデータベース５３、帯域抽出部５４、合成部５５、音声入力部５６、および出力部５７を備えている。

【0036】

測定部５１は、携帯端末１を扱うユーザの頭部伝達関数（ＨＲＴＦ）を測定する。例えば、測定部５１は、ユーザに対して１または複数の方向に配置された、例えばインパルス信号などの測定用音波を再生する音源に基づいて、頭部伝達関数を取得する。

【0037】

測定用音波を再生する音源は、少なくとも１つのスピーカを有する１のデバイスであればよく、そのスピーカは、必ずしも再生帯域が広いものでなくてもよい。

【0038】

例えば、測定用音波を再生する音源を、携帯端末１のスピーカ１８とすることができる。この場合、ユーザは、所定の方向に携帯端末１を配置し、ユーザが左右の耳に装着した図示せぬマイクロフォンに、スピーカ１８からの測定用音波を収音させる。測定部５１は、所定の手段により供給されるマイクロフォンからの音声信号に基づいて、そのユーザの頭部伝達関数Ｈｍを取得する。

【0039】

帯域抽出部５２は、測定部５１により測定された頭部伝達関数Ｈｍから第１の帯域の特性を抽出する。抽出された第１の帯域の頭部伝達関数Ｈｍは、合成部５５に供給される。

【0040】

ＨＲＴＦデータベース５３は、頭部伝達関数Ｈｍが測定される現在の測定環境とは異なる測定環境で測定された頭部伝達関数Ｈｐを保持している。頭部伝達関数Ｈｐは、例えばユーザが配置した携帯端末１のスピーカ１８を用いて実測される頭部伝達関数Ｈｍとは異なり、あらかじめ測定されたプリセットデータとされる。頭部伝達関数Ｈｐは、例えば、平均的な形状の頭部や耳をもつ人やダミーヘッドについて、無響室や大型スピーカなどの設備を備える理想的な測定環境で測定された頭部伝達関数とされる。

【0041】

帯域抽出部５４は、ＨＲＴＦデータベース５３に保持されている頭部伝達関数Ｈｐから、上述した第１の帯域以外の第２の帯域の特性を抽出する。抽出された第２の帯域の頭部伝達関数Ｈｐは、合成部５５に供給される。

【0042】

合成部５５は、帯域抽出部５２からの第１の帯域の頭部伝達関数Ｈｍと、帯域抽出部５４からの第２の帯域の頭部伝達関数Ｈｐとを合成することで、全帯域の頭部伝達関数Ｈを生成する。すなわち、頭部伝達関数Ｈは、第１の帯域については頭部伝達関数Ｈｍの周波数特性を有し、第２の帯域については頭部伝達関数Ｈｐの周波数特性を有する頭部伝達関数となる。生成された頭部伝達関数Ｈは、出力部５７に供給される。

【0043】

音声入力部５６は、再生させたい立体音響の元となる音声信号を出力部５７に入力する。

【0044】

出力部５７は、音声入力部５６から入力された音声信号に対して、合成部５５からの頭部伝達関数Ｈを畳み込んで２チャンネルの音声信号として出力する。出力部５７により出力される音声信号は、バイノーラル立体音響を再現する音声信号となる。

【0045】

（携帯端末の動作）
次に、図３のフローチャートを参照して、携帯端末１による頭部伝達関数の生成処理について説明する。

【0046】

ステップＳ１において、測定部５１は、スマートフォン（携帯端末１）を音源として用いることで、頭部伝達関数Ｈｍを測定する。

【0047】

ステップＳ２において、帯域抽出部５２は、測定された頭部伝達関数Ｈｍから第１の帯域の特性を抽出する。第１の帯域は、あらかじめ決められた第１の周波数ｆ１から、周波数ｆ１より高い第２の周波数ｆ２までの帯域であってよいし、単に、周波数ｆ１より高い帯域であってもよい。第１の帯域は、特に、個人に依存する特性が現れやすい帯域とされる。

【0048】

ステップＳ３において、帯域抽出部５４は、ＨＲＴＦデータベース５３に保持されているプリセットの頭部伝達関数Ｈｐから第２の帯域の特性を抽出する。第２の帯域は、周波数ｆ１より低い帯域と周波数ｆ２より高い帯域を含む帯域であってもよいし、単に、周波数ｆ１より低い帯域を含む帯域であってもよい。第２の帯域は、例えば、個人に依存する特性が現れにくく、スマートフォンが再生できない帯域とされる。

【0049】

ステップＳ４において、合成部５５は、抽出された第１の帯域の頭部伝達関数Ｈｍと、第２の帯域の頭部伝達関数Ｈｐとを合成することで、頭部伝達関数Ｈを生成する。

【0050】

以上の処理によれば、実測された頭部伝達関数からは、個人に依存する特性が現れやすい帯域の特性が抽出され、プリセットの頭部伝達関数からは、個人に依存する特性が現れにくく、スマートフォンが再生できない帯域の特性が抽出される。したがって、再生帯域が狭いスマートフォンを音源としてユーザの頭部伝達関数を測定する場合であっても、十分な特性の頭部伝達関数を取得することができ、大規模な設備を用いることなく、全帯域における頭部伝達関数の個人化を手軽に実現することが可能となる。

【0051】

以下、本開示の技術に係る実施の形態について説明する。

【0052】

＜２．第１の実施の形態＞
（携帯端末の構成）
図４は、本開示の技術に係る第１の実施の形態の携帯端末１の構成例を示す図である。

【0053】

図４の携帯端末１は、バンドパスフィルタ１１１、補正部１１２、およびイコライザ１１３を備える。さらに、携帯端末１は、残響成分分離部１２１、ハイパスフィルタ１３１、イコライザ１３２、バンドパスフィルタ１４１、イコライザ１４２、ローパスフィルタ１５１、イコライザ１５２、合成部１６１、および残響成分付加部１６２を備える。

【0054】

バンドパスフィルタ１１１は、実測された頭部伝達関数Ｈｍから、中域の特性を抽出する。中域は、あらかじめ決められた第１の周波数ｆ１から、周波数ｆ１より高い第２の周波数ｆ２までの帯域とされる。抽出された中域の頭部伝達関数Ｈｍは、補正部１１２に供給される。

【0055】

補正部１１２は、携帯端末１のスピーカ１８の逆特性を用いて、頭部伝達関数Ｈｍに含まれるスピーカ１８の特性を除去するよう頭部伝達関数Ｈｍを補正する。スピーカ１８の逆特性は、あらかじめ測定されたプリセットデータであり、携帯端末１の機種毎に異なる特性を示す。スピーカ１８の特性が除去された中域の頭部伝達関数Ｈｍは、イコライザ１１３に供給される。

【0056】

イコライザ１１３は、中域の頭部伝達関数Ｈｍに対して周波数特性の調整を行い、合成部１６１に出力する。

【0057】

残響成分分離部１２１は、プリセットデータである頭部伝達関数Ｈｐを時間領域で表現した頭部インパルス応答において、直接成分と残響成分とを分離する。分離された残響成分は、残響成分付加部１６２に供給される。分離された直接成分に対応する頭部伝達関数Ｈｐは、ハイパスフィルタ１３１、バンドパスフィルタ１４１、ローパスフィルタ１５１それぞれに供給される。

【0058】

ハイパスフィルタ１３１は、頭部伝達関数Ｈｐから、高域の特性を抽出する。高域は、上述した周波数ｆ２より高い帯域とされる。抽出された高域の頭部伝達関数Ｈｐは、イコライザ１３２に供給される。

【0059】

イコライザ１３２は、高域の頭部伝達関数Ｈｐに対して周波数特性の調整を行い、合成部１６１に出力する。

【0060】

バンドパスフィルタ１４１は、頭部伝達関数Ｈｐから、中域の特性を抽出する。抽出された中域の頭部伝達関数Ｈｐは、イコライザ１４２に供給される。

【0061】

イコライザ１４２は、中域の頭部伝達関数Ｈｐに対して周波数特性の調整を行い、合成部１６１に出力する。このとき、中域の頭部伝達関数Ｈｐには、そのゲインを０または略０にする処理が施されてもよい。

【0062】

ローパスフィルタ１５１は、頭部伝達関数Ｈｐから、低域の特性を抽出する。低域は、上述した周波数ｆ１より低い帯域とされる。抽出された低域の頭部伝達関数Ｈｍは、イコライザ１５２に供給される。

【0063】

イコライザ１５２は、低域の頭部伝達関数Ｈｐに対して周波数特性の調整を行い、合成部１６１に出力する。

【0064】

合成部１６１は、イコライザ１１３からの中域の頭部伝達関数Ｈｍ、イコライザ１３２からの高域の頭部伝達関数Ｈｐ、およびイコライザ１５２からの低域の頭部伝達関数Ｈｐを合成し、全帯域の頭部伝達関数Ｈを生成する。生成された頭部伝達関数Ｈは、残響成分付加部１６２に供給される。

【0065】

残響成分付加部１６２は、合成部１６１からの頭部伝達関数Ｈに、残響成分分離部１２１からの残響成分を付加する。残響成分が付加された頭部伝達関数Ｈは、出力部５７における畳み込みに用いられる。

【0066】

（頭部伝達関数の生成処理）
図５は、図４の携帯端末１による頭部伝達関数の生成処理について説明するフローチャートである。

【0067】

ステップＳ１１において、測定部５１（図２）は、スマートフォン（携帯端末１）を音源として用いることで、複数チャンネルについての頭部伝達関数Ｈｍを測定する。これにより、頭部伝達関数が測定されたチャンネル数分の仮想音源を定位させることができる。

【0068】

例えば、図６のＡの左図に示されるように、ユーザＵがその左右斜め前それぞれにスマートフォンＳＰを手に持って腕を伸ばした状態で、頭部伝達関数を測定したとする。この場合、図６のＡの右図に示されるように、ユーザＵの左右斜め前それぞれに、仮想音源ＶＳ１，ＶＳ２を定位させることができる。

【0069】

また、図６のＢの左図に示されるように、ユーザＵがその正面、左右斜め前、左右横それぞれにスマートフォンＳＰを手に持って腕を伸ばした状態で、頭部伝達関数を測定したとする。この場合、図６のＢの右図に示されるように、ユーザＵの正面、左右斜め前、左右横それぞれに、仮想音源ＶＳ１，ＶＳ２，ＶＳ３，ＶＳ４，ＶＳ５を定位させることができる。

【0070】

ステップＳ１２において、バンドパスフィルタ１１１は、測定された頭部伝達関数Ｈｍから中域の特性を抽出する。抽出された中域の頭部伝達関数Ｈｍは、補正部１１２によってスピーカ１８の特性が除去された後、イコライザ１１３によって周波数特性の調整が行われる。

【0071】

ステップＳ１３において、ハイパスフィルタ１３１およびローパスフィルタ１５１は、ＨＲＴＦデータベース５３に保持されているプリセットの頭部伝達関数Ｈｐから低域・高域の特性を抽出する。抽出された低域の頭部伝達関数Ｈｐは、イコライザ１５２によって周波数特性の調整が行われ、高域の頭部伝達関数Ｈｐは、イコライザ１３２によって周波数特性の調整が行われる。ステップＳ１３の処理は、あらかじめ行われていてもよい。

【0072】

なお、プリセットの頭部伝達関数Ｈｐに対応する頭部インパルス応答からは、残響成分分離部１２１によって残響成分が分離される。分離された残響成分は、残響成分付加部１６２に供給される。

【0073】

ステップＳ１４において、合成部１６１は、抽出された低域の頭部伝達関数Ｈｍと、低域・高域の頭部伝達関数Ｈｐとを合成することで、頭部伝達関数Ｈを生成する。

【0074】

図７のＡ，Ｂはそれぞれ、実測された頭部伝達関数Ｈｍと、プリセットの頭部伝達関数Ｈｐの周波数特性を示す図である。

【0075】

図７のＡにおいて、破線枠ＦＭで囲まれる帯域の特性が、バンドパスフィルタ１１１によって頭部伝達関数Ｈｍから抽出される中域の特性である。中域は、例えば１ｋＨｚから１２ｋＨｚまでの帯域とされる。

【0076】

一方、図７のＢにおいて、破線枠ＦＬで囲まれる帯域の特性が、ローパスフィルタ１５１によって頭部伝達関数Ｈｐから抽出される低域の特性である。低域は、例えば１ｋＨｚより低い帯域とされる。また、図７のＢにおいて、破線枠ＦＨで囲まれる帯域の特性が、ハイパスフィルタ１３１によって頭部伝達関数Ｈｐから抽出される高域の特性である。高域は、例えば１２ｋＨｚより高い帯域とされる。

【0077】

このようにして抽出された１ｋＨｚから１２ｋＨｚまでの帯域の頭部伝達関数Ｈｍと、１ｋＨｚより低い帯域および１２ｋＨｚより高い帯域の頭部伝達関数Ｈｐとが合成されることで、全帯域の頭部伝達関数Ｈが生成される。

【0078】

スピーカの口径が小さく、再生帯域の狭いスマートフォンでは再生できない１ｋＨｚより低い帯域では、頭部伝達関数において個人に依存する特性が現れにくく、プリセットの特性に置き換えても十分な音像定位の精度が得られる。また、１２ｋＨｚより高い帯域は、音像定位への寄与が小さく、プリセットの特性に置き換えても音像定位の精度に影響がない上に、プリセットの特性による高音質化が期待される。

【0079】

ステップＳ１５において、残響成分付加部１６２は、合成部１６１からの頭部伝達関数Ｈに、残響成分分離部１２１からの残響成分を付加する。

【0080】

図８のＡ，Ｂはそれぞれ、実測された頭部伝達関数Ｈｍと、プリセットの頭部伝達関数Ｈｐを時間領域で表現した頭部インパルス応答を示す図である。

【0081】

図８のＡにおいて、破線枠ＦＤで囲まれている波形が、実測された頭部伝達関数Ｈｍに対応する頭部インパルス応答Ｉｍの直接成分である。

【0082】

一方、図８のＢにおいて、破線枠ＦＲで囲まれている波形が、プリセットの頭部伝達関数Ｈｐに対応する頭部インパルス応答Ｉｐの残響成分である。

【0083】

図８の例では、実測された頭部インパルス応答Ｉｍの残響成分は、プリセットの頭部インパルス応答Ｉｐと比較して、波形の振幅が小さくなっている。これらの波形の振幅の大小関係は、スマートフォンのスピーカを用いた測定環境によって異なり、実測された頭部インパルス応答Ｉｍの残響成分が、プリセットの頭部インパルス応答Ｉｐと比較して、波形の振幅が大きくなることもある。

【0084】

残響成分付加部１６２においては、合成部１６１からの頭部伝達関数Ｈに、頭部インパルス応答Ｉｐから分離された残響成分が付加される。残響成分が付加された頭部伝達関数Ｈは、出力部５７における畳み込みに用いられる。

【0085】

以上の処理によれば、再生帯域が狭いスマートフォンを音源としてユーザの頭部伝達関数を測定する場合であっても、十分な特性の頭部伝達関数を取得することができる。すなわち、大規模な設備を用いることなく、全帯域における頭部伝達関数の個人化を手軽に実現することが可能となる。

【0086】

また、頭部インパルス応答の残響成分は、個人に依存しないので、実測された頭部インパルス応答にプリセットの頭部インパルス応答を付加しても、頭部伝達関数の個人化を実現することができる。さらに、ユーザが腕を伸ばした程度の状態での頭部伝達関数の測定であっても、プリセットの頭部インパルス応答の残響特性により、数ｍ離れた場所にスピーカが設置されているような仮想音源を定位させるといった、距離感の制御を実現することができる。

【0087】

（ノイズキャンセリングマイクロフォンの利用）
上述した頭部伝達関数の測定においては、ユーザが左右の耳に装着するマイクロフォンとして、市販のノイズキャンセリングマイクロフォン（ＮＣマイクロフォン）を利用することができる。

【0088】

図９は、同一のリスナを対象として、理想的な測定環境において測定専用のマイクロフォンとスピーカを用いて測定した頭部伝達関数Ｈｄと、ＮＣマイクロフォンとスマートフォンのスピーカを用いて測定した頭部伝達関数Ｈｎの特性を示す図である。

【0089】

図中、１ｋＨｚより低い帯域において、頭部伝達関数Ｈｎのゲインが小さいのは、スマートフォンのスピーカの、その帯域におけるゲインが小さいことによるものである。

【0090】

また、実測された頭部伝達関数の特性が用いられる中域（破線枠ＦＭで囲まれる帯域）では、図中、白抜き矢印で示されるように、頭部伝達関数Ｈｄと頭部伝達関数Ｈｎとで差分が生じることがある。

【0091】

そこで、あらかじめ、ＮＣマイクロフォン毎にこのような差分データを記録しておき、実測された頭部伝達関数の特性の補正量として用いるようにする。差分データによる補正は、例えば補正部１１２によって行われるようにする。これにより、市販のＮＣマイクロフォンを利用した場合であっても、実測された頭部伝達関数の特性を、理想的な測定環境で測定された頭部伝達関数の特性に近づけることができる。

【0092】

（音色の変更）
本実施の形態においては、仮想音源の音像定位を変えずに、立体音響の音色を変更することが可能である。

【0093】

図１０は、出力部５７（図２）の構成例を示す図である。

【0094】

出力部５７には、ＦＩＲ（Finite Impulse Response）フィルタ１８１Ｌ，１８１Ｒが設けられる。

【0095】

ＦＩＲフィルタ１８１Ｌは、音声入力部５６（図２）からの音声信号に、合成部５５からの頭部伝達関数Ｈのうちの左耳用の頭部伝達関数ＨＬを畳み込むことで、左耳用の音声信号ＳＬを出力する。

【0096】

同様に、ＦＩＲフィルタ１８１Ｒは、音声入力部５６からの音声信号に、合成部５５からの頭部伝達関数Ｈのうちの右耳用の頭部伝達関数ＨＲを畳み込むことで、右耳用の音声信号ＳＲを出力する。

【0097】

なお、出力部５７においては、定位させたい仮想音源の数だけ、図１０に示される構成が設けられ、各構成からの音声信号ＳＬ，ＳＲが加算・合成されて出力される。

【0098】

ＦＩＲフィルタ１８１Ｌ，１８１Ｒは、直線位相特性を有するので、位相特性を保持した状態で周波数特性を変更することが可能となる。例えば、図１１に示されるように、１つのインパルス応答１９０に対して、ＦＩＲフィルタ１８１Ｌ，１８１Ｒを適用することで、その周波数特性を、特性１９１としたり、特性１９２とすることができる。

【0099】

これにより、個人化された音像定位を変えずに、立体音響の音色を、他の音場の音色に変更することが可能となる。

【0100】

＜３．第２の実施の形態＞
（携帯端末の構成）
図１２は、本開示の技術に係る第２の実施の形態の携帯端末１の構成例を示す図である。

【0101】

図１２の携帯端末１は、バンドパスフィルタ１１１の前段に、推定部２１１とイコライザ２１２を備える点以外は、図４の携帯端末１と同様の構成を有する。

【0102】

推定部２１１は、実測された所定の方向についての頭部伝達関数Ｈｍから、他の方向についての頭部伝達関数を推定する。実測された頭部伝達関数と推定された頭部伝達関数は、イコライザ２１２に供給される。

【0103】

イコライザ２１２は、推定部２１１からの頭部伝達関数に対して周波数特性の調整を行い、バンドパスフィルタ１１１に出力する。

【0104】

（頭部伝達関数の生成処理）
図１３は、図１２の携帯端末１による頭部伝達関数の生成処理について説明するフローチャートである。

【0105】

ステップＳ２１において、測定部５１（図２）は、スマートフォン（携帯端末１）を音源として用いることで、ユーザの正面方向についての頭部伝達関数Ｈｍを測定する。この例では、ユーザが正面に携帯端末１を持って腕を伸ばした状態で、頭部伝達関数Ｈｍが測定される。

【0106】

ステップＳ２２において、推定部２１１は、測定された正面方向の頭部伝達関数Ｈｍから、ユーザの左右方向の頭部伝達関数を推定する。

【0107】

ここで、左右方向の頭部伝達関数の推定について詳細に説明する。

【0108】

まず、図１４のＡに示されるように、ユーザＵの正面方向にスマートフォンＳＰを配置することで測定された左右両耳の頭部伝達関数をＣＬ，ＣＲとする。

【0109】

次に、図１４のＢに示されるように、推定対称となる、ユーザＵの正面方向から左３０°方向についての左右両耳の頭部伝達関数をＬＬ，ＬＲとする。同様に、図１４のＣに示されるように、推定対称となる、ユーザＵの正面方向から右３０°方向についての左右両耳の頭部伝達関数をＲＬ，ＲＲとする。

【0110】

これら４つの特性ＬＬ，ＬＲ，ＲＬ，ＲＲを、ユーザＵとスマートフォンＳＰのスピーカとの距離によって日向側特性と日陰側特性に分類して推定する。具体的には、ＬＬ，ＲＲは、スピーカから見てユーザＵに近い側（日向側）の特性であるので、日向側特性に分類される。また、ＬＲ，ＲＬは、スピーカから見てユーザＵから見てスピーカの陰になる側（日陰側）の特性であるので、日陰側特性に分類される。

【0111】

日向側特性は、スピーカからの音が直接耳に伝搬する直接成分が大きいため、正面方向の測定により得られた特性と比べて中域から高域のゲインが大きくなる。

【0112】

一方、日陰側特性は、スピーカからの音が頭部を回り込んで伝搬するため、正面方向の測定により得られた特性と比べて高域のゲインが減衰する。

【0113】

また、スピーカから左右の耳までの距離の差による両耳時間差が生じる。

【0114】

以上の物理的な伝達特性を考慮し、正面方向についての特性ＣＬ，ＣＲに対する補正項目を、以下の２項目とする。

【0115】

（１）音源が左右方向に移動することに起因する、中域から高域の音の増幅や、頭部の日陰側における音の減衰を再現するゲインの補正
（２）音源が左右方向に移動することに起因する、音源からの距離の変化に伴う遅延の補正

【0116】

図１５は、正面方向についての特性ＣＬ，ＣＲに対して、上記２項目の補正を実現する推定フィルタの周波数特性を示す図である。

【0117】

図１５のＡには、日向側特性を推定するための日向側推定フィルタが示される。日向側推定フィルタにおいては、中域から高域にかけてゲインが増大している。

【0118】

一方、図１５のＢには、日陰側特性を推定するための日陰側推定フィルタが示される。日陰側推定フィルタにおいては、中域から高域にかけてゲインが大きく減衰している。

【0119】

ここで、日向側推定フィルタのインパルス応答をfilti（ｔ）とすると、日向側特性ＬＬ，ＲＲは以下のように推定される。

【0120】

ＬＬ（ｔ）＝filti（ｔ）＊ＣＬ（ｔ）
ＲＲ（ｔ）＝filti（ｔ）＊ＣＲ（ｔ）
なお、“＊”は畳み込みを意味する。

【0121】

また、日陰側推定フィルタのインパルス応答をfiltc（ｔ）とすると、日陰側特性ＲＬ，ＬＲは以下のように推定される。

【0122】

ＲＬ（ｔ）＝filtc（ｔ）＊ＣＬ（ｔ）
ＬＲ（ｔ）＝filtc（ｔ）＊ＣＲ（ｔ）

【0123】

以上のようにして推定された左右方向の頭部伝達関数は、正面方向の頭部伝達関数とともに、イコライザ２１２によって周波数特性の調整が行われる。なお、日陰側特性は、個人に依存する特性が現れにくいので、あらかじめ用意されたプリセットの特性が用いられてもよい。

【0124】

ステップＳ２３において、バンドパスフィルタ１１１は、測定／推定された頭部伝達関数から中域の特性を抽出する。抽出された中域の頭部伝達関数は、補正部１１２によってスピーカ１８の特性が除去された後、イコライザ１１３によって周波数特性の調整が行われる。

【0125】

なお、ステップＳ２４以降の処理は、図５のフローチャートのステップＳ１３以降の処理と同様であるので、その説明は省略する。

【0126】

以上の処理によれば、再生帯域が狭いスマートフォンを音源としてユーザの頭部伝達関数を測定する場合であっても、十分な特性の頭部伝達関数を取得することができる。すなわち、大規模な設備を用いることなく、全帯域における頭部伝達関数の個人化を手軽に実現することが可能となる。

【0127】

特に、本実施の形態においては、ユーザの正面方向の頭部伝達関数から左右方向の頭部伝達関数が推定されるので、１回の頭部伝達関数の測定のみで、複数の仮想音源を定位させる頭部伝達関数の個人化を実現することができる。

【0128】

＜４．第３の実施の形態＞
以下においては、ユーザの正中面についての頭部伝達関数から矢状面についての頭部伝達関数を推定する例について説明する。

【0129】

図１６は、図１２の携帯端末１による頭部伝達関数の生成処理の他の例について説明するフローチャートである。

【0130】

ステップＳ３１において、測定部５１（図２）は、スマートフォン（携帯端末１）を音源として用いることで、ユーザの正中面についての頭部伝達関数を測定する。

【0131】

例えば、図１７のＡに示されるように、ユーザＵが、正中面３５１内にスマートフォンＳＰを配置することで、頭部伝達関数が測定される。図１７の例では、正中面３５１内のユーザの正面、斜め上、斜め下の３方向についての頭部伝達関数が測定される。

【0132】

ステップＳ３２において、推定部２１１は、測定された正中面の頭部伝達関数から、ユーザの左右の矢状面の頭部伝達関数を推定する。

【0133】

例えば、図１７のＢに示されるように、ユーザＵのいる空間において、ユーザＵの左側で正中面３５１に平行な矢状面３５２Ｌについての頭部伝達関数と、ユーザＵの右側で正中面３５１に平行な矢状面３５２Ｒについての頭部伝達関数が推定される。

【0134】

ここでの頭部伝達関数の推定は、例えば、正中面３５１内のユーザの正面、斜め上、斜め下の３方向についての頭部伝達関数それぞれに対して、上述した日向側推定フィルタと日陰側推定フィルタを用いた補正を行うことで実現される。

【0135】

推定された矢状面の頭部伝達関数は、正中面の頭部伝達関数とともに、イコライザ２１２によって周波数特性の調整が行われる。

【0136】

なお、ステップＳ３３以降の処理は、図１３のフローチャートのステップＳ２３以降の処理と同様であるので、その説明は省略する。

【0137】

以上の処理によれば、再生帯域が狭いスマートフォンを音源としてユーザの頭部伝達関数を測定する場合であっても、十分な特性の頭部伝達関数を取得することができる。すなわち、大規模な設備を用いることなく、全帯域における頭部伝達関数の個人化を手軽に実現することが可能となる。

【0138】

特に、本実施の形態においては、ユーザの周囲の任意の方向の頭部伝達関数が推定されるので、ユーザの所望する方向に仮想音源を定位させる頭部伝達関数の個人化を実現することができる。

【0139】

＜５．その他＞
（音源の他の例）
上述した説明においては、測定用音波を再生する音源を、スピーカを有するスマートフォンとしたが、これ以外のデバイスとしてもよい。例えば、測定用音波を再生する音源を、スピーカとディスプレイを有するテレビジョン受像機とすることもできる。テレビジョン受像機は、高々２００Ｈｚ程度の帯域までしか再生できず、スマートフォンと同様、再生帯域が広いものではない。

【0140】

本開示に係る技術によれば、再生帯域が狭いテレビジョン受像機を音源としてユーザの頭部伝達関数を測定する場合であっても、十分な特性の頭部伝達関数を取得することができる。

【0141】

（クラウドコンピューティングへの適用）
本開示に係る技術を適用した信号処理装置は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

【0142】

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

【0143】

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

【0144】

例えば、図２のＨＲＴＦデータベース５３が、インターネットなどのネットワークを介して接続されるサーバなど（いわゆるクラウド）に設けられてもよい。

【0145】

また、図２の携帯端末１が備える全ての構成がクラウドに設けられてもよい。この場合、携帯端末１は、収音した測定用音波の音声信号をクラウドに送信し、クラウドからの立体音響を再現する音声信号を受信し再生するのみの構成となる。

【0146】

（プログラムによる処理の実行）
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

【0147】

図１８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

【0148】

上述した携帯端末１は、図１８に示す構成を有するコンピュータにより実現される。

【0149】

ＣＰＵ１００１、ＲＯＭ１００２、ＲＡＭ１００３は、バス１００４により相互に接続されている。

【0150】

バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、キーボード、マウスなどよりなる入力部１００６、ディスプレイ、スピーカなどよりなる出力部１００７が接続される。また、入出力インタフェース１００５には、ハードディスクや不揮発性のメモリなどよりなる記憶部１００８、ネットワークインタフェースなどよりなる通信部１００９、リムーバブルメディア１０１１を駆動するドライブ１０１０が接続される。

【0151】

以上のように構成されるコンピュータでは、ＣＰＵ１００１が、例えば、記憶部１００８に記憶されているプログラムを入出力インタフェース１００５およびバス１００４を介してＲＡＭ１００３にロードして実行することにより、上述した一連の処理が行われる。

【0152】

ＣＰＵ１００１が実行するプログラムは、例えばリムーバブルメディア１０１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部１００８にインストールされる。

【0153】

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたときなどの必要なタイミングで処理が行われるプログラムであっても良い。

【0154】

なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

【0155】

また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

【0156】

さらに、本開示は以下のような構成をとることができる。
（１）
ユーザの第１の頭部伝達関数から抽出された第１の帯域の特性と、前記第１の頭部伝達関数が測定される第１の測定環境と異なる第２の測定環境で測定された第２の頭部伝達関数から抽出された前記第１の帯域以外の第２の帯域の特性とを合成することで、第３の頭部伝達関数を生成する合成部
を備える信号処理装置。
（２）
前記第１の帯域は、第１の周波数から第２の周波数までの帯域であり、
前記第２の帯域は、前記第１の周波数より低い帯域と、前記第２の周波数より高い帯域を含む
（１）に記載の信号処理装置。
（３）
前記第１の帯域は、第１の周波数より高い帯域であり、
前記第２の帯域は、前記第１の周波数より低い帯域を含む
（１）に記載の信号処理装置。
（４）
前記第１の頭部伝達関数は、前記ユーザが配置した音源を用いて実測されるデータであり、
前記第２の頭部伝達関数は、あらかじめ理想的な測定環境で測定されたプリセットデータである
（１）乃至（３）のいずれかに記載の信号処理装置。
（５）
前記第１の帯域は、個人に依存する特性を含む帯域である
（４）に記載の信号処理装置。
（６）
前記第２の帯域は、前記音源が再生できない帯域を含む
（４）または（５）に記載の信号処理装置。
（７）
前記音源は、スピーカを有するデバイスである
（４）乃至（６）のいずれかに記載の信号処理装置。
（８）
前記デバイスは、ディスプレイをさらに有する
（７）に記載の信号処理装置。
（９）
前記デバイスは、スマートフォンである
（８）に記載の信号処理装置。
（１０）
前記デバイスは、テレビジョン受像機である
（８）に記載の信号処理装置。
（１１）
前記第１の頭部伝達関数から抽出された前記第１の帯域の特性に含まれる前記音源の特性を除去するよう、前記第１の帯域の特性を補正する補正部をさらに備える
（４）乃至（１０）のいずれかに記載の信号処理装置。
（１２）
前記第２の頭部伝達関数に対応する頭部インパルス応答から分離された残響成分を、前記第３の頭部伝達関数に付加する付加部をさらに備える
（１）乃至（１１）のいずれかに記載の信号処理装置。
（１３）
信号処理装置が、
ユーザの第１の頭部伝達関数から抽出された第１の帯域の特性と、前記第１の頭部伝達関数が測定される第１の測定環境と異なる第２の測定環境で測定された第２の頭部伝達関数から抽出された前記第１の帯域以外の第２の帯域の特性とを合成することで、第３の頭部伝達関数を生成する
信号処理方法。
（１４）
コンピュータに、
ユーザの第１の頭部伝達関数から抽出された第１の帯域の特性と、前記第１の頭部伝達関数が測定される第１の測定環境と異なる第２の測定環境で測定された第２の頭部伝達関数から抽出された前記第１の帯域以外の第２の帯域の特性とを合成することで、第３の頭部伝達関数を生成する
処理を実行させるためのプログラム。

【符号の説明】

【0157】

１ 携帯端末， ５１ 測定部， ５２ 帯域抽出部， ５３ ＨＲＴＦデータベース， ５４ 帯域抽出部， ５５ 合成部， ５６ 音声入力部， ５７ 出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】