特許 6604376 信号処理装置、信号処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6604376

(24)【登録日】2019年10月25日

(45)【発行日】2019年11月13日

(54)【発明の名称】信号処理装置、信号処理方法、及びプログラム

(51)【国際特許分類】

   H04R 3/00 20060101AFI20191031BHJP

   H04R 1/10 20060101ALI20191031BHJP

   G10K 11/178 20060101ALI20191031BHJP

【ＦＩ】

   H04R3/00 310

   H04R1/10 104E

   H04R1/10 104Z

   H04R3/00 320

   G10K11/178 100

【請求項の数】16

【全頁数】37

(21)【出願番号】特願2017-512224(P2017-512224)

(86)(22)【出願日】2016年3月2日

(86)【国際出願番号】JP2016056504

(87)【国際公開番号】WO2016167040

(87)【国際公開日】20161020

【審査請求日】2019年1月22日

(31)【優先権主張番号】特願2015-84817(P2015-84817)

(32)【優先日】2015年4月17日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニー株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】浅田 宏平

(72)【発明者】

【氏名】山邉 祐史

(72)【発明者】

【氏名】林 繁利

【審査官】 大石 剛

(56)【参考文献】

【文献】 米国特許出願公開第２０１４／０１２６７５６（ＵＳ，Ａ１）

【文献】 特開２００８−１９３４２１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１０Ｋ １１／１７８

Ｈ０４Ｒ １／１０

Ｈ０４Ｒ ３／００

(57)【特許請求の範囲】

【請求項1】

聴取者の耳に対して装着される装着部の外側の外部空間を伝搬する第１の音響の集音結果を取得する第１の取得部と、
前記装着部の内側において外耳道と連接する内部空間を伝搬する第２の音響の集音結果を取得する第２の取得部と、
前記第１の音響の集音結果に基づき、前記外部空間から前記外耳道内に向けて直接伝搬する前記第１の音響と、前記外部空間から前記装着部を介して前記内部空間に伝搬する前記第１の音響との差分に略等しい差分信号を生成する第１のフィルタ処理部と、
前記第２の音響の集音結果から、前記第１の音響の集音結果に基づく第１の信号成分と、前記装着部の内側から前記内部空間に向けて音響デバイスから出力させる入力音響信号に基づく第２の信号成分とが減算された減算信号を生成する減算部と、
前記減算信号に基づき、当該減算信号を低減するためのノイズ低減信号を生成する第２のフィルタ処理部と、
前記入力音響信号に対して、前記差分信号と、前記ノイズ低減信号とを加算することで、前記音響デバイスを駆動するための駆動信号を生成する加算部と、
を備える、信号処理装置。

【請求項2】

前記第１の音響の集音結果に基づく音響信号に対して、少なくとも、前記音響デバイスから出力される音響信号が、前記内部空間を介して前記第２の音響として集音されるまでの系の伝達関数に応じた特性を付与し、前記第１の信号成分として出力する第３のフィルタ処理部を備える、請求項１に記載の信号処理装置。

【請求項3】

前記第３のフィルタ処理部は、前記第１の音響の集音結果を入力信号として、前記第１の信号成分を生成する、請求項２に記載の信号処理装置。

【請求項4】

前記第３のフィルタ処理部は、前記第１のフィルタ処理部から出力される前記差分信号を入力信号として、前記第１の信号成分を生成する、請求項２に記載の信号処理装置。

【請求項5】

前記第３のフィルタ処理部は、入力された前記第１の音響の集音結果に基づく音響信号のうち、遅延成分を処理するための第４のフィルタ処理部と、周波数成分を処理するための第５のフィルタ処理部とを備える、請求項２〜４のいずれか一項に記載の信号処理装置。

【請求項6】

前記第４のフィルタ処理部は、無限インパルス応答フィルタを含む、請求項５に記載の信号処理装置。

【請求項7】

前記第５のフィルタ処理部は、有限インパルス応答フィルタを含む、請求項５に記載の信号処理装置。

【請求項8】

前記入力音響信号を第１の目標特性に等化して前記加算部に出力する第１の等化処理部と、
当該入力音響信号を第２の目標特性に等化して、前記第２の信号成分として前記減算部に出力する第２の等化処理部と、
を備える、請求項１〜７のいずれか一項に記載の信号処理装置。

【請求項9】

前記第２の音響の集音結果からの前記第１の信号成分の減算結果に基づく信号成分を、音声信号として出力する音声信号出力部を備える、請求項１〜８のいずれか一項に記載の信号処理装置。

【請求項10】

音声信号出力部は、前記減算信号を前記音声信号として出力する、請求項９に記載の信号処理装置。

【請求項11】

前記第１の音響を集音する第１の集音部と、前記第２の音響を集音する第２の集音部とのうち、少なくともいずれかを含む、請求項１〜１０のいずれか一項に記載の信号処理装置。

【請求項12】

前記音響デバイスを含む、請求項１〜１１のいずれか一項に記載の信号処理装置。

【請求項13】

聴取者の耳に対して装着される装着部の外側の外部空間を伝搬する音響の集音結果を取得する取得部と、
前記音響の集音結果に基づき、前記外部空間から外耳道内に向けて直接伝搬する前記音響と、前記外部空間から前記装着部を介して前記外耳道内に伝搬する前記音響との差分に略等しい差分信号を生成するフィルタ処理部と、
前記装着部の内側から前記外耳道内に向けて音響デバイスから出力させる入力音響信号に対して、前記差分信号を加算することで、前記音響デバイスを駆動するための駆動信号を生成する加算部と、
を備え、
前記外部空間を伝搬する音響が集音されてから、当該音響に基づく前記差分信号が加算された前記駆動信号に基づく音響が、前記音響デバイスから出力されるまでの遅延量が１００μ秒以下である、
信号処理装置。

【請求項14】

前記外部空間を伝搬する音響の集音結果を、第１のサンプリングレートで第１のデジタル信号にＡＤ変換するＡＤ変換部と、
前記第１のデジタル信号を、前記第１のサンプリングレートよりも低く、前記入力音響信号を標本化するための第２のサンプリングレートよりも高い、第３のサンプリングレートにダウンサンプリングすることで第２のデジタル信号を生成する、デシメーションフィルタと、
前記第３のサンプリングレートで標本化されたデジタル信号を、第１のサンプリングレートにアップサンプリングするインターポレーションフィルタと、
前記インターポレーションフィルタの出力結果をアナログの音響信号にＤＡ変換するＤＡ変換部と、
を備え、
前記フィルタ処理部は、前記第２のデジタル信号を入力信号として、前記差分信号を生成する、
請求項１３に記載の信号処理装置。

【請求項15】

プロセッサが、
聴取者の耳に対して装着される装着部の外側の外部空間を伝搬する第１の音響の集音結果を取得することと、
前記装着部の内側の外耳道と連接する内部空間を伝搬する第２の音響の集音結果を取得することと、
前記第１の音響の集音結果に基づき、前記外部空間から前記外耳道内に向けて直接伝搬する前記第１の音響と、前記外部空間から前記装着部を介して前記内部空間に伝搬する前記第１の音響との差分に略等しい差分信号を生成することと、
前記第２の音響の集音結果から、前記第１の音響の集音結果に基づく第１の信号成分と、前記装着部の内側から前記内部空間に向けて音響デバイスから出力させる入力音響信号に基づく第２の信号成分とが減算された減算信号を生成することと、
前記減算信号に基づき、当該減算信号を低減するためのノイズ低減信号を生成することと、
前記入力音響信号に対して、前記差分信号と、前記ノイズ低減信号とを加算することで、前記音響デバイスを駆動するための駆動信号を生成することと、
を含む、信号処理方法。

【請求項16】

コンピュータに、
聴取者の耳に対して装着される装着部の外側の外部空間を伝搬する第１の音響の集音結果を取得することと、
前記装着部の内側の外耳道と連接する内部空間を伝搬する第２の音響の集音結果を取得することと、
前記第１の音響の集音結果に基づき、前記外部空間から前記外耳道内に向けて直接伝搬する前記第１の音響と、前記外部空間から前記装着部を介して前記内部空間に伝搬する前記第１の音響との差分に略等しい差分信号を生成することと、
前記第２の音響の集音結果から、前記第１の音響の集音結果に基づく第１の信号成分と、前記装着部の内側から前記内部空間に向けて音響デバイスから出力させる入力音響信号に基づく第２の信号成分とが減算された減算信号を生成することと、
前記減算信号に基づき、当該減算信号を低減するためのノイズ低減信号を生成することと、
前記入力音響信号に対して、前記差分信号と、前記ノイズ低減信号とを加算することで、前記音響デバイスを駆動するための駆動信号を生成することと、
を実行させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、信号処理装置、信号処理方法、及びプログラムに関する。

【背景技術】

【0002】

近年では、イヤフォンやヘッドフォンのようにユーザが頭部に装着して使用する音響デバイス（以降では、「頭部装着型音響デバイス」と称する場合がある）として、単に音響情報を出力するのみのものに限らず、利用シーンを想定した機能が付加されたものも普及してきている。具体的な一例として、所謂ノイズキャンセリング技術を利用することで、外部環境からの環境音（所謂、ノイズ）を抑制し遮音効果を高めることが可能な頭部装着型音響デバイスが挙げられる。特許文献１には、このようなノイズキャンセリング技術を利用した音響デバイスの一例が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第４８８２７７３号

【発明の概要】

【発明が解決しようとする課題】

【0004】

一方で、所謂スマートフォン、タブレット端末、及びウェアラブル端末のように、ユーザが携行可能に構成された情報処理装置の普及に伴い、頭部装着型音響デバイスの利用シーンも、所謂オーディオコンテンツの聴取に限らず、さらに多様化してきている。

【0005】

このような利用シーンの多様化に伴い、頭部装着型音響デバイスを装着しているような状況下においても、外部環境からの環境音を、聴取者（ユーザ）が聴取できることが望ましい利用シーンも想定され得る。

【0006】

そこで、本開示では、頭部装着型音響デバイスの装着時においても、外部環境の環境音を、聴取者により好適な態様で聴取させることが可能な、信号処理装置、信号処理方法、及びプログラムを提案する。

【課題を解決するための手段】

【0007】

本開示によれば、聴取者の耳に対して装着される装着部の外側の外部空間を伝搬する第１の音響の集音結果を取得する第１の取得部と、前記装着部の内側において外耳道と連接する内部空間を伝搬する第２の音響の集音結果を取得する第２の取得部と、前記第１の音響の集音結果に基づき、前記外部空間から前記外耳道内に向けて直接伝搬する前記第１の音響と、前記外部空間から前記装着部を介して前記内部空間に伝搬する前記第１の音響との差分に略等しい差分信号を生成する第１のフィルタ処理部と、前記第２の音響の集音結果から、前記第１の音響の集音結果に基づく第１の信号成分と、前記装着部の内側から前記内部空間に向けて音響デバイスから出力させる入力音響信号に基づく第２の信号成分とが減算された減算信号を生成する減算部と、前記減算信号に基づき、当該減算信号を低減するためのノイズ低減信号を生成する第２のフィルタ処理部と、前記入力音響信号に対して、前記差分信号と、前記ノイズ低減信号とを加算することで、前記音響デバイスを駆動するための駆動信号を生成する加算部と、を備える、信号処理装置が提供される。

【0008】

また、本開示によれば、プロセッサが、聴取者の耳に対して装着される装着部の外側の外部空間を伝搬する第１の音響の集音結果を取得することと、前記装着部の内側の外耳道と連接する内部空間を伝搬する第２の音響の集音結果を取得することと、前記第１の音響の集音結果に基づき、前記外部空間から前記外耳道内に向けて直接伝搬する前記第１の音響と、前記外部空間から前記装着部を介して前記内部空間に伝搬する前記第１の音響との差分に略等しい差分信号を生成することと、前記第２の音響の集音結果から、前記第１の音響の集音結果に基づく第１の信号成分と、前記装着部の内側から前記内部空間に向けて音響デバイスから出力させる入力音響信号に基づく第２の信号成分とが減算された減算信号を生成することと、前記減算信号に基づき、当該減算信号を低減するためのノイズ低減信号を生成することと、前記入力音響信号に対して、前記差分信号と、前記ノイズ低減信号とを加算することで、前記音響デバイスを駆動するための駆動信号を生成することと、を含む、信号処理方法が提供される。

【0009】

また、本開示によれば、コンピュータに、聴取者の耳に対して装着される装着部の外側の外部空間を伝搬する第１の音響の集音結果を取得することと、前記装着部の内側の外耳道と連接する内部空間を伝搬する第２の音響の集音結果を取得することと、前記第１の音響の集音結果に基づき、前記外部空間から前記外耳道内に向けて直接伝搬する前記第１の音響と、前記外部空間から前記装着部を介して前記内部空間に伝搬する前記第１の音響との差分に略等しい差分信号を生成することと、前記第２の音響の集音結果から、前記第１の音響の集音結果に基づく第１の信号成分と、前記装着部の内側から前記内部空間に向けて音響デバイスから出力させる入力音響信号に基づく第２の信号成分とが減算された減算信号を生成することと、前記減算信号に基づき、当該減算信号を低減するためのノイズ低減信号を生成することと、前記入力音響信号に対して、前記差分信号と、前記ノイズ低減信号とを加算することで、前記音響デバイスを駆動するための駆動信号を生成することと、を実行させる、プログラムが提供される。

【発明の効果】

【0010】

以上説明したように本開示によれば、頭部装着型音響デバイスの装着時においても、外部環境の環境音を、聴取者により好適な態様で聴取させることが可能な、信号処理装置、信号処理方法、及びプログラムが提供される。

【0011】

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

【図面の簡単な説明】

【0012】

【図1】本開示の一実施形態に係る信号処理装置を適用した頭部装着型音響デバイスの適用例について説明するための説明図である。

【図2】ヒアスルー効果を実現するための原理の一例について説明するための説明図である。

【図3】ユーザが、カナル型のイヤフォンを装着した場合に、環境音が当該ユーザに聴取されるまでの伝搬環境の一例を模式的に示した図である。

【図4】ユーザが、頭部装着型音響デバイスを装着していない場合に、環境音が当該ユーザに聴取されるまでの伝搬環境の一例を模式的に示した図である。

【図5】本開示の一実施形態に係る信号処理装置の基本的な機能構成の一例を示したブロック図である。

【図6】ユーザ自身が発声した声の振動が内部空間内に伝搬する現象が発生する仕組みについて説明するための説明図である。

【図7】本開示の第１の実施形態に係る信号処理装置の機能構成の一例について示したブロック図である。

【図8】同実施形態に係る信号処理装置の構成の一例について説明するための説明図である。

【図9】本開示の第２の実施形態に係る信号処理装置の機能構成の一例について示したブロック図である。

【図10】同実施形態に係る信号処理装置において、遅延量をより低減するための構成の一例について説明するための説明図である。

【図11】モニターキャンセラの機能構成の一例を示した図である。

【図12】同実施形態の変形例に係る信号処理装置の機能構成の一例について示したブロック図である。

【図13】本開示の第３の実施形態に係る信号処理装置の機能構成の一例を示した図である。

【図14】同実施形態に係る信号処理装置の機能構成の他の一例について示したブロック図である。

【図15】同実施形態に係る信号処理装置の適用例について説明するための説明図である。

【図16】本開示の各実施形態に係る信号処理装置のハードウェア構成の一例を示した図である。

【発明を実施するための形態】

【0013】

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0014】

なお、説明は以下の順序で行うものとする。
１．概要
２．ヒアスルー効果を実現するための原理
２．１．概要
２．２．基本的な機能構成
３．第１の実施形態
４．第２の実施形態
４．１．概略的な機能構成
４．２．遅延量を低減するための構成例
４．３．変形例
４．４．まとめ
５．第３の実施形態
６．ハードウェア構成
７．まとめ

【0015】

＜１．概要＞
まず、本開示に係る信号処理装置の特徴をよりわかりやすくするために、当該信号処理装置を適用し得る、イヤフォンやヘッドフォンのような頭部装着型音響デバイスの適用例について説明したうえで、本開示に係る信号処理装置の課題について整理する。

【0016】

イヤフォンやヘッドフォンのようにユーザが頭部に装着して使用する頭部装着型音響デバイスの中には、単に音響情報を出力するのみのものに限らず、利用シーンを想定した機能が付加されたものも普及してきている。具体的な一例として、所謂ノイズキャンセリング技術を利用することで、外部環境からの環境音（所謂、ノイズ）を抑制し遮音効果を高めることが可能な頭部装着型音響デバイスが挙げられる。

【0017】

一方で、所謂スマートフォン、タブレット端末、及びウェアラブル端末のように、ユーザが携行可能に構成された情報処理装置の普及に伴い、頭部装着型音響デバイスの利用シーンも、所謂オーディオコンテンツの聴取に限らず、さらに多様化してきている。

【0018】

例えば、近年では、情報処理装置が、音声合成技術により通知対象となる情報を音声により読み上げることで、ユーザが、画面等を確認することなく、当該情報を認識可能としたユーザインタフェース（ＵＩ：User Interface）が普及してきている。また、他の一例として、音声認識技術を応用することで、ユーザが、情報処理装置と音声により対話を行うことで、当該機器を操作可能とした、音声入力に基づく対話型のＵＩも普及してきている。

【0019】

このようなＵＩを所謂公共の場でも使用可能とするために、頭部装着型音響デバイスを、ユーザが常時装着している状況下も想定されるようになってきている。例えば、図１は、本開示の一実施形態に係る信号処理装置を適用した頭部装着型音響デバイスの適用例について説明するための説明図である。即ち、図１に示す例では、ユーザは、外出時等のように所謂公共の場において、頭部装着型音響デバイス５１を装着しながら、スマートフォン等のような携行可能な情報処理装置を利用しているシーンの一例を示している。

【0020】

このように、ユーザが頭部装着型音響デバイス５１を常時装着している状況下においては、情報処理装置から出力される音響情報（例えば、オーディオコンテンツ）を聴取可能であり、かつ、外部環境からの所謂環境音についても聴取可能な状態であることが望ましい場合がある。また、この場合には、ユーザが、外部環境からの環境音を、頭部装着型音響デバイス５１を装着していない場合と同様の態様で聴取可能であることがより望ましい。

【0021】

なお、以降の説明では、ユーザが、頭部装着型音響デバイス５１を装着している場合においても、外部環境からの所謂環境音を、当該頭部装着型音響デバイス５１を装着していない場合と同様の態様で聴取可能な状態を、「ヒアスルー状態」と称する場合がある。同様に、ユーザが、頭部装着型音響デバイスを装着している場合においても、外部環境からの所謂環境音を、当該頭部装着型音響デバイス５１を装着していない場合と同様の態様で聴取可能とする効果を、「ヒアスルー効果」と称する場合がある。

【0022】

上記に説明したようなヒアスルー状態が実現されると、例えば、ユーザは、公共の場においても、頭部装着型音響デバイスを装着した状態で周囲の状況を確認しながら、メールやニュースの通知の内容を示す音声出力を確認することが可能となる。また、他の一例として、ユーザは、移動中に周囲の状況を確認しながら、所謂通話機能により、他のユーザとの通話を行うことも可能となる。

【0023】

一方で、より自然なヒアスルー効果をユーザに体験させるためには、所謂カナル型のイヤフォンのように密閉性が高い（換言すると、外部環境との間の遮蔽性が高い）頭部装着型音響デバイスの使用を前提とした技術が重要となる。これは、所謂オープンエアヘッドフォンのような密閉性が比較的低い頭部装着型音響デバイスが使用される状況下では、所謂音漏れの影響が大きく、公共の場での使用が必ずしも好適ではない場合があることに起因する。

【0024】

他方で、カナル型のイヤフォンのように密閉性の高い頭部装着型音響デバイスが使用される状況下では、頭部装着型音響デバイスを介してユーザの耳の中（所謂外耳道）に漏れ込む外部環境からの環境音についても、少なくとも一部が遮蔽されることとなる。そのため、ユーザは、外部環境からの環境音を、頭部装着型音響デバイスを装着していない状態とは異なる態様で聴取するか、もしくは、当該環境音を聴取することが困難となる可能性がある。

【0025】

そこで、本開示では、所謂カナル型のイヤフォンのように密閉性の高い頭部装着型音響デバイスが使用される状況下において、上記に説明したようなヒアスルー状態を実現するための技術の一例について説明する。

【0026】

＜２．ヒアスルー効果を実現するための原理＞
［２．１．概要］
まず、ヒアスルー効果を実現するための原理の一例について、所謂、ＦＦ（Feed-Forward）型のＮＣ（Noise Canceling）イヤフォン（もしくは、ヘッドフォン）の例と比較して説明する。例えば、図２は、ヒアスルー効果を実現するための原理の一例について説明するための説明図であり、頭部装着型音響デバイス５１を、所謂ＦＦ型のＮＣイヤフォンとして構成する場合における、当該頭部装着型音響デバイス５１の概略的な機能構成の一例を示している。

【0027】

図２に示すように、頭部装着型音響デバイス５１は、例えば、マイクロフォン７１と、フィルタ回路７２と、パワーアンプ７３と、スピーカ７４とを含む。なお、図２において、参照符号Ｆは、音源Ｓからの音響Ｎが、頭部装着型音響デバイス５１の筐体を介して、ユーザの耳の中（即ち、外耳道内）に到達する（即ち、漏れ込む）までの伝搬環境の伝達関数を模式的に示している。また、参照符号Ｆ’は、音源Ｓからの音響Ｎが、マイクロフォン７１に到達するまでの伝搬環境の伝達関数を模式的に示している。

【0028】

ここで、図３を参照する。図３は、ユーザＵが、頭部装着型音響デバイス５１として、所謂カナル型のイヤフォンを装着した場合に、音源Ｓからの音響Ｎが当該ユーザＵに聴取されるまでの伝搬環境の一例を模式的に示した図である。図３において、参照符号ＵＡは、ユーザＵの外耳道内の空間（以降では、単に「外耳道」と称する場合がある）を模式的に示している。また、図３における参照符号Ｆ及びＦ’は、図２に示す伝搬環境Ｆ及びＦ’に対応している。なお、以降の説明では、図３に示すように、ユーザＵの耳部に対して頭部装着型音響デバイス５１が装着された場合における、当該頭部装着型音響デバイス５１の内側において外耳道ＵＡと連接する空間を「内部空間」と称する場合がある。また、ユーザＵの耳部に対して頭部装着型音響デバイス５１が装着された場合における、当該頭部装着型音響デバイス５１の外側の空間を「外部空間」と称する場合がある。

【0029】

図２及び図３に示すように、ユーザの耳部Ｕ’（具体的には、外耳道ＵＡに連接する内部空間）には、伝搬環境Ｆを介して伝搬した音源Ｓからの音響Ｎが漏れ込む場合がある。そのため、ＮＣイヤフォンでは、伝搬環境Ｆを介して伝搬した音響Ｎに対して、逆相の信号（ノイズ低減信号）を加算することで、当該音響Ｎの影響を緩和している。

【0030】

具体的には、外部環境の音源Ｓからの音響Ｎは、例えば、伝搬環境Ｆ’を介してマイクロフォン７１に到達し、当該マイクロフォン７１に集音される。フィルタ回路７２は、マイクロフォン７１に集音された音響Ｎに基づき、伝搬環境Ｆを介して伝搬する当該音響Ｎの逆相の信号（ノイズ低減信号）を生成する。フィルタ回路７２により生成されたノイズ低減信号は、パワーアンプ７３によりゲインが調整され、スピーカ７４を介して、ユーザの耳部Ｕ’に向けて出力される。これにより、伝搬環境Ｆを介して伝搬してユーザの耳部Ｕ’に伝搬する音響Ｎの成分が、スピーカ７４から出力されるノイズ低減信号の成分により打ち消され、当該音響Ｎが抑制されることとなる。

【0031】

ここで、マイクロフォン７１、パワーアンプ７３、及びスピーカ７４それぞれのデバイス特性に基づく伝達関数を、Ｍ、Ａ、及びＨとする。また、フィルタ回路７２が、マイクロフォン７１により集音された音響信号に基づきノイズ低減信号を生成する際のフィルタ係数をαとする。このとき、ＮＣイヤフォンでは、以下に（式１）で示す関係式を満たすように、フィルタ回路７２のフィルタ係数αを設計することで、所謂ノイズキャンセリングを実現している。

【0032】

【数1】

【0033】

これに対して、ヒアスルー状態では、図３に示すように、頭部装着型音響デバイス５１が装着されている状態で、ユーザＵが、外部環境の音源Ｓからの音響Ｎを、頭部装着型音響デバイス５１を装着していない場合と略等しい態様で聴取することとなる。

【0034】

例えば、図４は、ユーザＵが、頭部装着型音響デバイス５１を装着していない場合に、音源Ｓからの音響Ｎが当該ユーザＵに聴取されるまでの伝搬環境の一例を模式的に示した図である。図４において、参照符号Ｇは、音源Ｓからの音響Ｎが、ユーザＵの外耳道ＵＡ内に直接到達するまでの伝搬環境の伝達関数を模式的に示している。

【0035】

即ち、図２に示した頭部装着型音響デバイス５１に基づき、ヒアスルー効果を実現する場合には、図３に示した状況（頭部装着型音響デバイス５１が装着された状況）と、図４に示した状況（頭部装着型音響デバイス５１が装着されていない状況）とが等化となるように、スピーカ７４から出力される音響を生成できればよいこととなる。

【0036】

具体的には、ヒアスルー効果を実現する場合におけるフィルタ回路７２のフィルタ係数をγとすると、以下に（式２）及び（式３）で示す関係式を満たすように、当該フィルタ係数γを設計することで、理想的には、ヒアスルー効果を実現することが可能となる。

【0037】

【数2】

【0038】

なお、ノイズキャンセリングとヒアスルー効果とのそれぞれは、双方ともに、図２に示すように、頭部装着型音響デバイス５１を介して外耳道ＵＡ内に伝搬する音響Ｎと、スピーカ７４から出力される音響との、空中での音波加算により各効果が実現される。そのため、音源Ｓからの音響Ｎが、マイクロフォン７１により集音され、フィルタ回路７２及びパワーアンプ７３を介してスピーカ７４から出力されるまでの遅延量が、ＡＤＣ（ＡＤコンバータ）やＤＡＣ（ＤＡコンバータ）による変換処理も含めて、約１００μｓ以下に抑えられることが望ましいことがわかっている。

【0039】

ここで、上記に説明した、遅延量を１００μｓ以下とする理由についてさらに詳しく説明する。密閉性の高い頭部装着型音響デバイス５１（例えば、カナル型のイヤフォンやオーバーヘッド型のヘッドフォン）において、筐体に設置されたマイクロフォン７１の集音結果に基づきヒアスルー効果を実現する場合には、ＡＤＣ及びＤＡＣを設けることで、フィルタ係数γのフィルタ回路７２をデジタルフィルタとして構築することが望ましい。これは、フィルタ回路７２をデジタルフィルタとして構築することで、アナログフィルタに比べてばらつきが少なく、かつ、アナログフィルタでは実現が困難なフィルタ処理を容易に実現することが可能であることに起因する

【0040】

一方で、ＡＤＣ及びＤＡＣを設ける場合には、デシメーション及びインターポレーション等のフィルタリング処理により処理負荷が増大し、その分だけ遅延が生じることとなる。

【0041】

前述したように、図２において、スピーカ７４から出力される音響と、伝搬環境Ｆを介して伝搬する音源Ｓからの音響Ｎとは、外耳道ＵＡ内の空間（換言すると、鼓膜付近の空間）で加算され、加算後の音が１つの音としてユーザに認識されることとなる。そのため、一般的には、遅延量が１０ｍｓを超えるとエコーが発生しているように認識されたり、音が二重に聞こえるように認識されるといった現象が生じることが知られている。また、遅延量が１０ｍｓに満たない場合においても、音の相互干渉により周波数特性に影響を与える場合があり、ヒアスルー効果やノイズキャンセリングを実現することが困難となる場合がある。

【0042】

具体的な一例として、図２において、スピーカ７４から出力される音響と、伝搬環境Ｆを介して伝搬する音源Ｓからの音響Ｎとの間に、１ｍｓの遅延が生じたものとする。この場合には、１ｋＨｚ近傍の帯域の音響信号については、位相が１周期分（即ち、３６０ｄｅｇ）ずれて加算される。これに対して、５００Ｈｚ近傍の帯域の音響信号については、位相が逆相となり、打ち消しあうこととなる。即ち、１ｍｓの遅延が生じた信号どうしが単純加算された場合には、所謂ディップが生じることとなる。一方で、遅延量を１００μｓに抑えた場合には、逆相の関係によりディップが生じる周波数帯を、５ｋＨｚまで上げることが可能となる。

【0043】

一般的には、人間の外耳道は、個人差はあるものの、概ね３ｋＨｚ〜４ｋＨｚ近傍に共振点があることが知られている。そのため、４ｋＨｚを超える周波数帯においては、所謂個人差の部分に相当するため、遅延量を１００μｓ以下に抑えることで、ディップが生じる周波数帯が５ｋＨｚ近傍となるように調整することで、好適なヒアスルー効果を得られるものと考えられる。

【0044】

［２．２．基本的な機能構成］
次に、図５を参照して、ヒアスルー効果を実現するための信号処理装置の基本的な機能構成の一例について説明する。図５は、本開示の一実施形態に係る信号処理装置８０の基本的な機能構成の一例を示したブロック図である。なお、前述の通り、信号処理装置８０は、各音響信号をデジタル信号に変換して各種フィルタ処理を施すため、実際にはＤＡＣ及びＡＤＣを含むが、図５に示す例では、説明をよりわかりやすくするために、ＤＡＣ及びＡＤＣの記載を省略している。

【0045】

図５において、参照符号５１ａ及び５１ｂは、前述した頭部装着型音響デバイス５１を示している。即ち、参照符号５１ａは、右耳に装着された頭部装着型音響デバイス５１を示しており、参照符号５１ｂは、左耳に装着された頭部装着型音響デバイス５１を示している。なお、頭部装着型音響デバイス５１ａ及び５１ｂを特に区別しない場合には、前述の通り、「頭部装着型音響デバイス５１」と称する場合がある。また、図５に示す例では、頭部装着型音響デバイス５１ａ及び５１ｂは、同様の構成を有するため、頭部装着型音響デバイス５１ａ側にのみ着目して示し、頭部装着型音響デバイス５１ｂについては図示を省略している。

【0046】

図５に示すように、頭部装着型音響デバイス５１は、装着部５１０と、ドライバ５１１と、外部マイクロフォン５１３とを含む。

【0047】

装着部５１０は、頭部装着型音響デバイス５１の筐体のうち、ユーザＵに対して装着される部分を示している。

【0048】

例えば、頭部装着型音響デバイス５１が、所謂カナル型のイヤフォンとして構成されている場合には、装着部５１０は、その外形として、装着者であるユーザＵの耳孔部に対して少なくともその一部が挿入可能に構成され、それにより該ユーザＵの耳部に対して装着できるようにされている。具体的には、この場合の装着部５１０にはユーザＵの耳孔部に対して挿入可能な形状とされた耳孔挿入部が形成され、該耳孔挿入部が耳孔部に対して挿入されることで、装着部５１０がユーザＵの耳部に対して装着状態となる。例えば、図３に示す例は、頭部装着型音響デバイス５１の装着部５１０がユーザＵの耳部に対して装着されている状態を示していることとなる。

【0049】

なお、装着部５１０がユーザＵに対して装着された場合に、当該装着部５１０の内側の空間（即ち、ユーザＵの外耳道ＵＡに連接する空間）が、前述した内部空間に相当する。

【0050】

ドライバ５１１は、スピーカ等の音響デバイスを駆動することで、当該音響デバイスに当該音響信号に基づく音響を出力させるための構成である。具体的な一例として、ドライバ５１１は、入力されたアナログの音響信号（換言すると、駆動信号）に基づき、スピーカの振動板を振動させることで、当該スピーカに当該音響信号に基づく音響を出力させる。

【0051】

外部マイクロフォン５１３は、頭部装着型音響デバイス５１をユーザＵに装着するための装着部５１０の外側の外部空間を伝搬する音響（所謂、環境音）を、直接的に集音するための集音デバイスである。外部マイクロフォン５１３は、例えば、ＭＥＭＳ（Micro Electro Mechanical Systems）技術に基づき形成された、所謂ＭＥＭＳマイクロフォンとして構成され得る。なお、外部マイクロフォン５１３は、当該外部空間を伝搬する音響を集音可能であれば、その設置場所は特に限定されない。具体的な一例として、外部マイクロフォン５１３は、頭部装着型音響デバイス５１の装着部に設けられていてもよいし、当該装着部とは異なる位置に設けられていてもよい。なお、外部マイクロフォン５１３により集音される音響（即ち、環境音）が、「第１の音響」の一例に相当する。

【0052】

図５に示す信号処理装置８０は、ヒアスルー効果を実現するために、各種信号処理（例えば、図２〜図４を参照して説明したフィルタ処理）を実行するための構成である。図５に示すように、信号処理装置８０は、マイクアンプ１１１と、ＨＴフィルタ１２１と、加算部１２３と、パワーアンプ１４１と、ＥＱ（イコライザ）１３１とを含む。

【0053】

マイクアンプ１１１は、音響信号のゲインを調整するための所謂増幅器である。外部マイクロフォン５１３により集音された環境音は、マイクアンプ１１１によりゲインが調整され（例えば、増幅され）、ＨＴフィルタ１２１に入力される。

【0054】

ＨＴフィルタ１２１は、図２〜図４を参照して説明した、ヒアスルー効果を実現する場合におけるフィルタ回路７２（図２参照）に相当する。即ち、ＨＴフィルタ１２１は、マイクアンプ１１１から出力される音響信号（即ち、外部マイクロフォン５１３に集音され、マイクアンプ１１１によりゲインが調整された音響信号）に対して、前述した（式２）及び（式３）に基づき説明したフィルタ係数γに基づく信号処理を施す。なお、このときＨＴフィルタ１２１より信号処理の結果として出力される音響信号を、以降では「差分信号」と称する場合がある。即ち、差分信号と、頭部装着型音響デバイス５１の装着部５１０を介して内部空間に伝搬する環境音（即ち、図２及び図３において、伝搬環境Ｆを介して伝搬する音響）とが加算されることで、ユーザが直接聴取した場合の環境音が模擬されることとなる（即ち、ヒアスルー効果が実現されることとなる）。なお、ＨＴフィルタ１２１が、「第１のフィルタ処理部」の一例に相当する。

【0055】

ＨＴフィルタ１２１は、マイクアンプ１１１から出力される音響信号に対する信号処理の結果として生成した差分信号を、加算部１２３に出力する。

【0056】

ＥＱ１３１は、オーディオコンテンツや音声電話における受話信号のように、信号処理装置８０に入力される音響信号（以降では、「音響入力」と称する場合がある）に対して、所謂イコライジング処理を施す。具体的な一例として、ノイズキャンセリングやヒアスルー効果を実現する場合のように、環境音の集音結果をフィードバックする場合には、当該環境音の音響特性により低域側の成分のゲインが増大する傾向にある。そのため、ＥＱ１３１は、音響入力から、当該フィードバックに基づき重畳される低域側の音響成分を事前に抑制するように、当該音響入力の音響特性（例えば、周波数特性）を補正する。なお、当該音響入力が、「入力音響信号」の一例に相当する。

【0057】

そして、ＥＱ１３１は、イコライジング処理を施した音響入力を加算部１２３に出力する。

【0058】

加算部１２３は、ＥＱ１３１から出力される音響入力（即ち、イコライジング処理後の音響入力）に対して、ＨＴフィルタ１２１から出力される差分信号を加算し、加算結果として生成された音響信号をパワーアンプ１４１に出力する。

【0059】

パワーアンプ１４１は、音響信号のゲインを調整するための所謂増幅器である。加算部１２３から出力された音響信号（即ち、音響入力と差分信号との加算結果）は、パワーアンプ１４１によりゲインが調整され（例えば、増幅され）、ドライバ５１１に出力される。そして、パワーアンプ１４１から出力される音響信号に基づき、ドライバ５１１がスピーカを駆動することで、当該音響信号に基づく音響が、装着部５１０の内側の内部空間（即ち、ユーザＵの外耳道ＵＡに連接する空間）に放射される。

【0060】

なお、ドライバ５１１がスピーカを駆動することで内部空間に放射された音響は、前述したように、頭部装着型音響デバイス５１の装着部５１０を介して内部空間に伝搬する環境音（即ち、図２及び図３において、伝搬環境Ｆを介して伝搬する音響）と加算されて、ユーザＵに聴取される。このとき、ドライバ５１１から内部空間に放射された音響に含まれる差分信号の成分が、装着部５１０を介して内部空間に伝搬する環境音と加算されて、ユーザＵに聴取されることとなる。即ち、ユーザＵは、オーディオコンテンツ等の音響入力に加えて、環境音を、図４に示すように、頭部装着型音響デバイス５１を装着していない場合と同様の態様で聴取することが可能となる。

【0061】

なお、上記に説明した信号処理装置８０の動作はあくまで一例であり、ユーザＵが、頭部装着型音響デバイス５１を装着している状態で、環境音を聴取可能であれば、信号処理装置８０は、必ずしもヒアスルー効果を忠実に再現しなくてもよい。具体的な一例として、ＨＴフィルタ１２１は、ユーザＵが、頭部装着型音響デバイス５１を装着していない状態よりも、環境音の音量がより高く感じるように、差分信号の特性やゲインを制御してもよい。同様に、ＨＴフィルタ１２１は、ユーザＵが、頭部装着型音響デバイス５１を装着していない状態よりも、環境音の音量がより低く感じるように、差分信号の特性やゲインを制御してもよい。このような構成に基づき、信号処理装置８０は、例えば、音響入力の入力状況や、当該音響入力の種別（例えば、オーディオコンテンツや音声通話の受話信号等）に応じて、ユーザＵに聴取される環境音の音量を制御してもよい。

【0062】

以上、図５を参照して、ヒアスルー効果を実現するための信号処理装置の基本的な機能構成の一例について説明した。

【0063】

一方で、所謂カナル型のイヤフォン等のように密閉性の高い頭部装着型音響デバイス５１を装着している場合には、ユーザＵは、自身が発声する声の聞こえ方に違和感を覚える場合があり、この点については、図５に示す例についても同様である。これは、ユーザ自身が発声した声の振動が、内部空間内に伝搬することに起因する。そこで、図６を参照して、ユーザ自身が発声した声の振動が内部空間内に伝搬する現象が発生する仕組みについて説明する。図６は、ユーザ自身が発声した声の振動が内部空間内に伝搬する現象が発生する仕組みについて説明するための説明図である。

【0064】

図６に示すように、ユーザＵが発声した声の振動は、当該ユーザＵの頭部内で骨や肉を介して外耳道ＵＡに伝搬し、外耳道壁を２次スピーカのように振動させる。ここで、カナル型のイヤフォンのように密閉性の高い頭部装着型音響デバイス５１が装着されている場合には、当該頭部装着型音響デバイス５１により外耳道ＵＡ内の空間の密閉度が高くなっており、空気の逃げ道が限られているため、当該空間内での振動が直接鼓膜に伝わることとなる。なお、このとき、内部空間内に伝搬したユーザＵが発声した声の振動は、低域が増幅されたかのように鼓膜に伝わるため、ユーザＵには、自身の声がくぐもったように聞こえることとなり、当該ユーザＵは、違和感を覚えることとなる。

【0065】

本開示の各実施形態に係る信号処理装置は、上記に説明したような課題を鑑みてなされたものであり、より好適な態様で（即ち、ユーザがより違和感を覚えない態様で）ヒアスルー効果を実現することを目的としている。

【0066】

＜３．第１の実施形態＞
まず、図７を参照して、本開示の第１の実施形態に係る信号処理装置の機能構成の一例について説明する。図７は、本実施形態に係る信号処理装置の機能構成の一例について示したブロック図である。なお、以降の説明では、本実施形態に係る信号処理装置を、前述した信号処理装置８０（図５参照）と区別するために、「信号処理装置１１」と称する場合がある。また、図７に示す機能構成は、図５に示した例と同様に、説明をよりわかりやすくするために、ＤＡＣ及びＡＤＣの記載を省略している。

【0067】

図７に示すように、本実施形態に係る信号処理装置１１は、マイクアンプ１５１と、減算部１７１と、オキュリュージョンキャンセラ１６１と、ＥＱ１３２とを含む点で、前述した信号処理装置８０（図５参照）と異なる。また、図７に示すように、本実施形態に係る信号処理装置１１を適用可能な頭部装着型音響デバイス５１は、内部マイクロフォン５１５を含む点で、前述した信号処理装置８０を適用可能な頭部装着型音響デバイス５１（図５参照）と異なる。そこで、以降の説明では、本実施形態に係る信号処理装置１１と、当該信号処理装置１１を適用可能な頭部装着型音響デバイス５１との機能構成について、特に、図５に示す例と異なる部分に着目して説明する。

【0068】

内部マイクロフォン５１５は、頭部装着型音響デバイス５１をユーザＵに装着するための装着部５１０の内側の内部空間（即ち、ユーザＵの外耳道ＵＡに連接する空間）に伝搬する音響を集音するための集音デバイスである。内部マイクロフォン５１５は、外部マイクロフォン５１３と同様に、例えば、ＭＥＭＳ技術に基づき形成された、所謂ＭＥＭＳマイクロフォンとして構成され得る。

【0069】

内部マイクロフォン５１５は、例えば、装着部５１０の内側に、外耳道ＵＡの方向を向くように設置される。もちろん、内部マイクロフォン５１５は、当該内部空間に伝搬する音響を集音可能であれば、その設置場所は特に限定されないことは言うまでもない。

【0070】

なお、内部マイクロフォン５１５により集音される音響信号には、ドライバ５１１による制御に基づきスピーカから出力された音響の成分と、装着部５１０を介して内部空間に伝搬する環境音の成分（図２及び図３において、伝搬環境Ｆを介して伝搬する音響）と、外耳道ＵＡに伝搬するユーザの声の成分（図６に示す、声の成分）とが含まれる。また、内部マイクロフォン５１５により集音される音響（即ち、内部空間に伝搬する音響）が、「第２の音響」の一例に相当する。

【0071】

マイクアンプ１５１は、音響信号のゲインを調整するための所謂増幅器である。内部マイクロフォン５１５による集音結果（即ち、内部空間に伝搬する音響の集音結果）に基づく音響信号は、マイクアンプ１５１によりゲインが調整され（例えば、増幅され）、減算部１７１に入力される。

【0072】

ＥＱ１３２は、内部マイクロフォン５１５及びマイクアンプ１５１のデバイス特性に応じて、音響入力に対してイコライジング処理を施すための構成である。具体的には、内部マイクロフォン５１５及びマイクアンプ１５１のデバイス特性に基づく伝達関数をＭとした場合に、ＥＱ１３２は、当該音響入力に対して、目標特性−Ｍとしての周波数特性を与える。なお、内部マイクロフォン５１５及びマイクアンプ１５１のデバイス特性に応じた伝達関数Ｍについては、事前の実験等の結果に基づき、あらかじめ算出しておけばよい。そして、ＥＱ１３２は、イコライジング処理が施された音響入力を減算部１７１に出力する。なお、ＥＱ１３２によりイコライジング処理が施された音響入力が、「第２の信号成分」の一例に相当する。

【0073】

減算部１７１は、マイクアンプ１５１から出力される音響信号から、ＥＱ１３２から出力される音響入力（即ち、目標特性−Ｍとしての周波数特性が与えられた音響入力）を減算し、減算結果として生成された音響信号をオキュリュージョンキャンセラ１６１に出力する。なお、減算部１７１による減算結果として出力される音響信号は、内部マイクロフォン５１５により集音される音響信号の各成分のうち、音響入力の成分が抑制された音響信号に相当する。具体的には、当該音響信号には、前述した差分信号と装着部５１０を介して内部空間に伝搬する環境音とが加算された成分（以降では、「環境音の成分」と称する場合がある）と、ユーザＵの頭部の骨や肉を介して外耳道ＵＡに伝搬する当該ユーザＵの声の成分（以降では、単に「声の成分」と称する場合がある）とが含まれることとなる。

【0074】

オキュリュージョンキャンセラ１６１は、所謂、ＦＢ（Feed-Back）型のＮＣフィルタと同様の原理で動作する、所謂フィルタ処理部に相当する。オキュリュージョンキャンセラ１６１は、減算部１７１から出力される音響信号に基づき、当該音響信号の成分を、あらかじめ決められた音量に抑制するための音響信号（以降では、「ノイズ低減信号」と称する場合がある）を生成する。

【0075】

なお、前述したように、減算部１７１から出力される音響信号には、環境音の成分と、声の成分とが含まれており、当該声の成分は、伝搬経路の特性により低域側が増幅されている。そのため、オキュリュージョンキャンセラ１６１は、例えば、ユーザＵが頭部装着型音響デバイス５１を装着していない場合と同様の態様で、当該ユーザＵに当該声の成分を聴取させるために、減算部１７１から取得した音響信号のうち声の成分の低域側を抑制させるための、ノイズ低減信号を生成してもよい。なお、オキュリュージョンキャンセラ１６１が、「第２の信号処理部」の一例に相当する。

【0076】

以上のようにして、オキュリュージョンキャンセラ１６１は、減算部１７１から出力される音響信号に基づき、ノイズ低減信号を生成する。そして、オキュリュージョンキャンセラ１６１は、生成したノイズ低減信号を加算部１２３に出力する。

【0077】

ＥＱ１３１は、図５を参照して前述したＥＱ１３１と同様に、音響入力に対してイコライジング処理を施す。

【0078】

また、本実施形態に係るＥＱ１３１は、ドライバ５１１が駆動するスピーカの構造等によって出力音に与えられる特性と、当該スピーカから内部マイクロフォン５１５までの空間の伝達関数とに応じて、音響入力に対してさらにイコライジング処理を施す。例えば、ドライバ５１１が駆動するスピーカの構造等によって出力音に与えられる特性に相当する伝達関数と、当該スピーカから内部マイクロフォン５１５までの空間の伝達関数とを掛けあわせたものをＨとする。この場合には、ＥＱ１３１は、音響入力に対して、目標特性１／Ｈとしての周波数特性を与える。なお、ドライバ５１１が駆動するスピーカの構造等によって出力音に与えられる特性に相当する伝達関数と、当該スピーカから内部マイクロフォン５１５までの空間の伝達関数とについては、事前の実験等の結果に基づき、あらかじめ算出しておけばよい。そして、ＥＱ１３１は、イコライジング処理が施された音響入力を加算部１２３に出力する。

【0079】

加算部１２３は、ＥＱ１３１から出力される音響入力（即ち、イコライジング処理後の音響入力）に対して、ＨＴフィルタ１２１から出力される差分信号と、オキュリュージョンキャンセラ１６１から出力されるノイズ低減信号とを加算する。そして、加算部１２３は、加算結果として生成された音響信号をパワーアンプ１４１に出力する。

【0080】

加算部１２３から出力された音響信号（即ち、音響入力、差分信号、及びノイズ低減信号の加算結果）は、パワーアンプ１４１によりゲインが調整され（例えば、増幅され）、ドライバ５１１に出力される。そして、パワーアンプ１４１から出力される音響信号に基づき、ドライバ５１１がスピーカを駆動することで、当該音響信号に基づく音響が、装着部５１０の内側の内部空間（即ち、ユーザＵの外耳道ＵＡに連接する空間）に放射される。

【0081】

以上、図７を参照して本実施形態に係る信号処理装置１１の機能構成の一例について説明した。なお、上記に説明した信号処理装置１１の各構成の動作が実現可能であれば、信号処理装置１１の構成は、必ずしも図７に示す例には限定されない。

【0082】

例えば、図８は、本実施形態に係る信号処理装置１１の構成の一例について説明するための説明図である。図７に示す例では、頭部装着型音響デバイス５１と信号処理装置１１とが、別装置として構成されていた。これに対して、図８に示す例では、頭部装着型音響デバイス５１と信号処理装置１１とが同一筐体に設けられている場合の構成の一例について示している。具体的には、図８に示す例では、頭部装着型音響デバイス５１の装着部５１０内に、信号処理装置１１に相当する構成（例えば、信号処理部）を内蔵している。

【0083】

もちろん、信号処理装置１１は、独立した装置として構成されていてもよいし、所謂スマートフォン等のような情報処理装置の一部として構成されていてもよい。また、信号処理装置１１のうち、少なくとも一部の構成が、当該信号処理装置１１とは異なる外部装置（例えば、サーバ等）に設けられていてもよい。なお、このような場合においても、外部環境を伝搬する環境音が、外部マイクロフォン５１３により集音され、ＨＴフィルタ１２１及びパワーアンプ１４１を介して頭部装着型音響デバイス５１のスピーカから出力されるまでの遅延量が、ＡＤＣやＤＡＣによる変換処理も含めて、約１００μｓ以下に抑えられることが望ましいことは言うまでもない。

【0084】

以上説明したように、本実施形態に係る信号処理装置１１は、内部マイクロフォン５１５による集音結果（即ち、内部空間に伝搬する音響の集音結果）に基づき、ユーザＵの声の成分のうち少なくとも一部の成分を抑制するノイズ低減信号を生成する。そして、信号処理装置１１は、入力された音響入力に対して、生成した差分信号と、当該ノイズ低減信号とを加算し、加算後の音響信号を出力する。これにより、信号処理装置１１から出力される音響信号に基づき、頭部装着型音響デバイス５１のドライバ５１１がスピーカを駆動することで、当該音響信号に基づく音響が内部空間内に放射される。

【0085】

なお、ドライバ５１１がスピーカを駆動することで内部空間に放射される音響には、オキュリュージョンキャンセラ１６１により生成されたノイズ低減信号に基づく成分が含まれる。このノイズ低減信号に基づく成分は、内部空間内で、ユーザＵの発話に基づき、外耳道ＵＡに伝搬する当該ユーザＵの声の成分と加算される。これにより、当該声の成分のうち、少なくとも一部の成分（例えば、声の成分のうち低域側の成分）が抑制され、当該抑制後の声の成分が、ユーザＵの鼓膜に達し、当該ユーザＵに聴取されることとなる。即ち、本実施形態に係る信号処理装置１１に依れば、ユーザＵが聴取される自身の声に違和感を覚えない態様で、ヒアスルー効果を実現することが可能となる。

【0086】

＜４．第２の実施形態＞
次に、本開示の第２の実施形態に係る信号処理装置について説明する。前述した第１の実施形態では、オキュリュージョンキャンセラ１６１を設けることにより、ユーザＵが聴取される自身の声に違和感を覚えない態様で、ヒアスルー効果を実現していた。一方で、前述した第１の実施形態に係る信号処理装置１１では、オキュリュージョンキャンセラ１６１が処理対象とする音響信号には、頭部装着型音響デバイス５１のスピーカから出力された差分信号の成分が含まれている。そのため、オキュリュージョンキャンセラ１６１によって当該音響信号に基づき生成されるノイズ低減信号により、差分信号の成分が抑制され、ヒアスルー効果が十分に得られない（もしくは、ユーザＵに特性の異なる環境音が聴取される）場合がある。

【0087】

即ち、本実施形態に係る信号処理装置は、上記に説明した課題を鑑みてなされており、第１の実施形態に係る信号処理装置１１に比べて、より自然な態様（即ち、ユーザＵがより違和感を覚えない態様）で、ヒアスルー効果を実現することを目的としている。なお、以降の説明では、本実施形態に係る信号処理装置を、前述した第１の実施形態に係る信号処理装置１１と区別するために、「信号処理装置１２」と称する場合がある。

【0088】

［４．１．概略的な機能構成］
まず、図９を参照して、本実施形態に係る信号処理装置１２の機能構成の一例について説明する。図９は、本実施形態に係る信号処理装置の機能構成の一例について示したブロック図である。なお、図９に示す機能構成は、図５及び図７に示した例と同様に、説明をよりわかりやすくするために、ＤＡＣ及びＡＤＣの記載を省略している。

【0089】

図９に示すように、本実施形態に係る信号処理装置１２は、モニターキャンセラ１８１と、減算部１９１とを含む点で、前述した第１の実施形態に係る信号処理装置１１（図７参照）と異なる。そこで、以降の説明では、本実施形態に係る信号処理装置１２の機能構成について、特に、前述した第１の実施形態に係る信号処理装置１１（図７参照）と異なる部分に着目して説明する。

【0090】

モニターキャンセラ１８１及び減算部１９１は、マイクアンプ１５１から出力される音響信号（換言すると、内部マイクロフォン５１５の集音結果に基づく音響信号）中の各成分のうち、差分信号に相当する成分を抑制するための構成である。

【0091】

図９に示す信号処理装置１２では、外部マイクロフォン５１３により集音された環境音は、マイクアンプ１１１によりゲインが調整され（例えば、増幅され）、ＨＴフィルタ１２１とモニターキャンセラ１８１とに入力される。

【0092】

モニターキャンセラ１８１は、ＨＴフィルタ１２１と同様に、マイクアンプ１１１から出力される音響信号に対して、前述した（式２）及び（式３）に基づき説明したフィルタ係数γに基づく信号処理を施すことで差分信号を生成する。

【0093】

また、モニターキャンセラ１８１は、生成した差分信号に対して、パワーアンプ１４１、ドライバ５１１、及びマイクアンプ１５１それぞれのデバイス特性と、内部空間内の空間特性との影響が反映されるように、各特性に応じた伝達関数に基づき、フィルタ処理を施す。これは、オキュリュージョンキャンセラ１６１から、パワーアンプ１４１、ドライバ５１１、及びマイクアンプ１５１を介して、当該オキュリュージョンキャンセラ１６１に至るまでの系の特性が、マイクアンプ１１１から出力される音響信号には反映されていないことに起因する。

【0094】

なお、モニターキャンセラ１８１において、上記に説明したフィルタ処理を実行するための構成として、無限インパルス応答フィルタ（ＩＩＲフィルタ）と有限インパルス応答フィルタ（ＦＩＲフィルタ）とを設けてもよい。この場合には、例えば、上記に説明したフィルタ処理のうち、単純遅延成分に対する処理を主にＦＩＲフィルタに割り当て、周波数特性に関する処理を主にＩＩＲフィルタに割り当てるとよい。

【0095】

もちろん、ＩＩＲフィルタ及びＦＩＲフィルタを設ける構成は、あくまで一例であり、必ずしもモニターキャンセラ１８１の構成を限定するものではない。具体的な一例として、モニターキャンセラ１８１にＦＩＲフィルタを設け、当該ＦＩＲフィルタに、単純遅延成分に対する処理と、周波数特性に関する処理との双方を実行させてもよい。

【0096】

また、他の一例として、遅延成分の影響が十分に小さい場合には、上記に説明したフィルタ処理を、ＩＩＲフィルタのみで再現してもよい。なお、遅延成分の影響を小さくするための方法の一例としては、例えば、ＡＤＣ及びＤＡＣや、ビットレートの変換に使用するフィルタ（例えば、デシメーションフィルタ）として、低遅延のデバイスを採用する方法が挙げられる。また、ドライバ５１１（及びスピーカ）や、外部マイクロフォン５１３及び内部マイクロフォン５１５等の音響系として、駆動時の遅延がより短いデバイス（即ち、よりレスポンスの良いデバイス）を採用してもよい。また、内部空間内において、ドライバ５１１が駆動するスピーカと、内部マイクロフォン５１５とをより近接させることで、当該スピーカと内部マイクロフォン５１５との間の音速の遅延を低減させてもよい。

【0097】

なお、パワーアンプ１４１、ドライバ５１１、及びマイクアンプ１５１それぞれのデバイス特性と、内部空間内の空間特性とについては、例えば、時間引き伸ばしパルス（ＴＳＰ：Time Stretched Pulse）等を用いて事前に導出することが可能である。この場合には、例えば、パワーアンプ１４１（具体的には、ＤＡＣ）入力される音響信号（ＴＳＰ）と、マイクアンプ１５１から出力される音響信号との測定結果に基づき、各特性を算出すればよい。また、他の一例として、パワーアンプ１４１、ドライバ５１１、及びマイクアンプ１５１それぞれのデバイス特性と、内部空間内の空間特性とを個別に測定し、各測定結果を畳み込んでもよい。即ち、モニターキャンセラ１８１のフィルタ特性については、上記に説明した、各特性の事前の測定結果に基づき、あらかじめ調整しておけばよい。なお、モニターキャンセラ１８１が、「第３のフィルタ処理部」の一例に相当する。また、モニターキャンセラ１８１によりフィルタ処理が施された音響信号が、「第１の信号成分」に相当する。

【0098】

そして、モニターキャンセラ１８１は、各種フィルタ処理が施された差分信号を、減算部１９１に出力する。

【0099】

減算部１９１は、マイクアンプ１５１から出力される音響信号から、モニターキャンセラ１８１から出力される差分信号を減算し、減算結果として生成された音響信号を、後段に位置する減算部１７１に出力する。なお、このとき、減算部１７１による減算結果として出力される音響信号は、内部マイクロフォン５１５により集音される音響信号の各成分のうち、差分信号に相当する成分が抑制された音響信号に相当する。

【0100】

なお、以降の処理は、前述した第１の実施形態に係る信号処理装置１１と同様である。即ち、減算部１９１から出力された音響信号は、減算部１７１により、ＥＱ１３２から出力される音響入力の成分が減算され、オキュリュージョンキャンセラ１６１に入力される。なお、このときオキュリュージョンキャンセラ１６１に入力される音響信号は、内部マイクロフォン５１５により集音される音響信号の各成分のうち、差分信号に相当する成分と、音響入力に相当する成分とが抑制された音響信号（即ち、声の成分）に相当する。

【0101】

このような構成により、本実施位形態に係る信号処理装置１２では、オキュリュージョンキャンセラ１６１がノイズ低減信号を生成するための処理対象から、差分信号の成分を除外することが可能となる。即ち、本実施位形態に係る信号処理装置１２では、ノイズ低減信号により、差分信号の成分が抑制されるといった事態を防止することが可能となる。そのため、本実施形態に係る信号処理装置１２は、前述した第１の実施形態に係る信号処理装置１１に比べて、より自然な態様（即ち、ユーザＵがより違和感を覚えない態様）で、ヒアスルー効果を実現することが可能となる。

【0102】

以上、図９を参照して、本実施形態に係る信号処理装置１２の機能構成の一例について説明した。

【0103】

［４．２．遅延量を低減するための構成例］
次に、本実施形態に係る信号処理装置１２において、外部マイクロフォン５１３による集音結果に基づく差分信号や、内部マイクロフォン５１５による集音結果に基づくノイズ低減信号が、音響入力に加算され、スピーカから出力されるまでの遅延量を低減する仕組みの一例について説明する。

【0104】

まず、図９において、参照符号Ｒ１１で示された系、即ち、外部マイクロフォン５１３の集音結果に基づく音響信号が、マイクアンプ１１１、ＨＴフィルタ１２１、パワーアンプ１４１、及びドライバ５１１を介して内部空間に放射されるまでの系に着目する。系Ｒ１１では、前述した通り、好適な態様でヒアスルー効果を実現する（具体的には、ディップが生じる周波数帯が５ｋＨｚ近傍となるように調整する）ためには、遅延量を１００μｓ以下に抑えられることが望ましい。なお、以降の説明では、系Ｒ１１における遅延量を、「遅延量Ｄ＿ＨＴＦ」と称する場合がある。

【0105】

次いで、参照符号Ｒ１３で示された系、即ち、外部マイクロフォン５１３の集音結果に基づく音響信号が、モニターキャンセラ１８１を介して、減算部１９１に至る系に着目する。図９に示す構成において、モニターキャンセラ１８１は、ＨＴフィルタ１２１と同様に差分信号を生成している。

【0106】

また、ドライバ５１１が差分信号に基づきスピーカを駆動することで、内部空間に放射された当該差分信号の成分を含む音響に基づく音響信号が、当該内部空間内を空間伝搬し、内部マイクロフォン５１５に集音されるまで（即ち、スピーカと内部マイクロフォン５１５との間の伝搬時）に伝搬遅延が生じる。なお、以降の説明では、当該内部空間内における伝搬遅延の遅延量を、「遅延量Ｄ＿ＡＣＯ」と称する場合がある。

【0107】

即ち、減算部１９１において、内部マイクロフォン５１５により集音された音響信号から、差分信号の成分を好適に減算するためには、系Ｒ１３における遅延量を、遅延量Ｄ＿ＨＴＦ（１００μｓ）と、遅延量Ｄ＿ＡＣＯとの加算分以下とする必要がある。

【0108】

なお、ドライバ５１１が駆動するスピーカと内部マイクロフォン５１５との間の距離は、所謂オーバーヘッド型のヘッドフォンのように比較的長い場合においても、３〜４ｃｍ程度となる。

【0109】

ここで、ドライバ５１１が駆動するスピーカと内部マイクロフォン５１５との間の距離を、仮に３．４ｃｍとした場合には、内部空間内における伝搬遅延の遅延量Ｄ＿ＡＣＯは、（０．０３４ｍ）／（音速＝３４０ｍ／ｓ）＝１００μｓとなる。なお、ドライバ５１１が駆動するスピーカと内部マイクロフォン５１５との間の距離が近いほど、遅延量Ｄ＿ＡＣＯがより短くなることは言うまでもない。

【0110】

以上の点から、系Ｒ１３における遅延量をＤ＿ＨＴＣとした場合に、遅延量Ｄ＿ＨＴＣ≦Ｄ＿ＨＴＦ＋Ｄ＿ＡＣＯの関係を満たし、かつ、Ｄ＿ＨＴＦ≦１００μｓ、Ｄ＿ＡＣＯ≦１００μｓの関係を満たす必要があることとなる。

【0111】

そこで、以降では、上記に説明したような遅延の条件を満たすための、信号処理装置１２の構成の一例について、図１０を参照して説明する。図１０は、本実施形態に係る信号処理装置１２において、遅延量をより低減する（即ち、上記に示した遅延の条件を満たす）ための構成の一例について説明するための説明図である。なお、図１０に示す例では、図９に示した信号処理装置１２に対して、アナログ信号とデジタル信号との間の変換処理を行うためのＡＤＣ及びＤＡＣと、デジタル信号のサンプリングレートを変換するフィルタとが明示的に示されている。

【0112】

具体的には、図１０には、図９に示した信号処理装置１２の機能構成に対して、ＡＤＣ１１２及び１５２と、ＤＡＣ１４２と、デシメーションフィルタ１１３及び１５３と、インターポレーションフィルタ１３３、１３４、及び１４３とが明示的に示されている。なお、図１０に示す例では、信号処理装置１２に入力される音響入力のサンプリングレートが１Ｆｓ（１Ｆｓ＝４８ｋＨｚ）であるものとする。

【0113】

ＡＤＣ１１２及び１５２は、アナログの音響信号をデジタル信号に変換するための構成である。ＡＤＣ１１２及び１５２は、例えば、アナログの音響信号に対してデルタシグマ変調を施すことでデジタル信号に変換する。また、ＤＡＣ１４２は、デジタル信号をアナログの音響信号に変換するための構成である。

【0114】

また、デシメーションフィルタ１１３及び１５３は、入力されたデジタル信号のサンプリングレートを、当該サンプリングレートよりも低い所定のサンプリングレートにダウンサンプリングするための構成である。また、インターポレーションフィルタ１３３、１３４、及び１４３は、入力されたデジタル信号のサンプリングレートを、当該サンプリングレートよりも高い所定のサンプリングレートにアップサンプリングするための構成である。

【0115】

外部マイクロフォン５１３の集音結果に基づき出力されるアナログの音響信号は、マイクアンプ１１１によりゲインが調整され、ＡＤＣ１１２によりデジタル信号に変換される。なお、図１０に示す例では、ＡＤＣ１１２は、入力されたアナログ信号を、６４Ｆｓのサンプリングレートで標本化して、デジタル信号に変換する。ＡＤＣ１１２は変換後のデジタル信号をデシメーションフィルタ１１３に出力する。

【0116】

デシメーションフィルタ１１３は、ＡＤＣ１１２から出力されるデジタル信号のサンプリングレートを、６４Ｆｓから８Ｆｓにダウンサンプリングする。即ち、デシメーションフィルタ１１３の後段に位置する構成（例えば、ＨＴフィルタ１２１やモニターキャンセラ１８１）は、サンプリングレートが８Ｆｓにダウンサンプリングされたデジタル信号を対象として、各種処理を実行することとなる。

【0117】

また、内部マイクロフォン５１５の集音結果に基づき出力されるアナログの音響信号は、マイクアンプ１５１によりゲインが調整され、ＡＤＣ１５２によりデジタル信号に変換される。なお、図１０に示す例では、ＡＤＣ１５２は、入力されたアナログ信号を、６４Ｆｓのサンプリングレートで標本化して、デジタル信号に変換する。ＡＤＣ１５２は変換後のデジタル信号をデシメーションフィルタ１５３に出力する。

【0118】

デシメーションフィルタ１５３は、ＡＤＣ１５２から出力されるデジタル信号のサンプリングレートを、６４Ｆｓから８Ｆｓにダウンサンプリングする。即ち、デシメーションフィルタ１５３の後段に位置する構成（例えば、オキュリュージョンキャンセラ１６１）は、サンプリングレートが８Ｆｓにダウンサンプリングされたデジタル信号を対象として、各種処理を実行することとなる。

【0119】

また、ＥＱ１３２によりイコライジング処理が施された音響入力（１Ｆｓのデジタル信号）は、インターポレーションフィルタ１３４によりサンプリングレートが８Ｆｓにアップサンプリングされ、減算部１７１に入力される。同様に、ＥＱ１３１によりイコライジング処理が施された音響入力（１Ｆｓのデジタル信号）は、インターポレーションフィルタ１３３によりサンプリングレートが８Ｆｓにアップサンプリングされ、加算部１２３に入力される。

【0120】

そして、加算部１２３により、ＨＴフィルタ１２１から出力される差分信号と、インターポレーションフィルタ１３３から出力される音響入力と、オキュリュージョンキャンセラ１６１から出力されるノイズ低減信号とが加算される。なお、このとき加算部１２３により加算される、差分信号、音響入力、及びノイズ低減信号は、いずれも８Ｆｓのデジタル信号となる。

【0121】

そして、加算部１２３の加算結果として出力される８Ｆｓのデジタル信号は、インターポレーションフィルタ１４３により、６４Ｆｓのデジタル信号にアップサンプリングされ、ＤＡＣ１４２によりアナログの音響信号に変換されたうえでパワーアンプ１４１に入力される。そして、当該アナログの音響信号は、パワーアンプ１４１によりゲインが調整されたうえで、ドライバ５１１に入力される。これにより、ドライバ５１１は、入力されたアナログの音響信号に基づきスピーカを駆動することで、当該スピーカに、当該アナログの音響信号に基づく音響を内部空間に放射させる。

【0122】

以上、説明したように、図１０に示す例では、信号処理装置１２は、集音されたアナログの音響信号が変換された６４Ｆｓのデジタル信号を、音響入力のサンプリングレート（１Ｆｓ）よりも高い８Ｆｓ程度にダウンサンプリングしている。

【0123】

即ち、図１０に示す信号処理装置１２では、ＨＴフィルタ１２１、モニターキャンセラ１８１、及びオキュリュージョンキャンセラ１６１は、８Ｆｓのデジタル信号を対象として各演算（即ち、フィルタ処理）を実行することとなるため、１サンプル単位の遅延を低減することが可能となる。

【0124】

また、図１０に示す信号処理装置１２では、６４Ｆｓのデジタル信号を、８Ｆｓのデジタル信号にダウンサンプリングするため、１Ｆｓのデジタル信号にダウンサンプリングする場合に比べて、当該ダウンサンプリングに係る処理（即ち、ＡＤＣ１１２及びＡＤＣ１５２の処理）の遅延量を低く抑えることが可能となる。なお、このことは、アップサンプリングに係る処理についても同様である。即ち、図１０に示す信号処理装置１２では、８Ｆｓのデジタル信号を、６４Ｆｓのデジタル信号にアップサンプリングするため、１Ｆｓのデジタル信号からアップサンプリングする場合に比べて、当該アップサンプリングに係る処理（即ち、ＤＡＣ１４２の処理）の遅延量を低く抑えることが可能となる。

【0125】

なお、ＨＴフィルタ１２１、モニターキャンセラ１８１、及びオキュリュージョンキャンセラ１６１の各演算のうち、少なくとも一部の演算については、さらにサンプリンレートの低い（例えば、１Ｆｓ）のデジタル信号にダウンサンプリングしたうえで、当該デジタル信号を処理対象としてもよい。

【0126】

例えば、図１１は、モニターキャンセラ１８１の機能構成の一例を示した図である。図１１に示すモニターキャンセラ１８１は、８Ｆｓのデジタル信号を１Ｆｓのデジタル信号にダウンサンプリングしたうえで、当該１Ｆｓのデジタル信号を対象として各種フィルタ処理が実行されるように構成されている。

【0127】

具体的には、図１１に示すモニターキャンセラ１８１は、デシメーションフィルタ１８３と、ＩＩＲフィルタ１８４と、ＦＩＲフィルタ１８５と、インターポレーションフィルタ１８６とを含む。

【0128】

デシメーションフィルタ１８３は、モニターキャンセラ１８１に入力される８Ｆｓのデジタル信号を、１Ｆｓのデジタル信号にダウンサンプリングし、１Ｆｓにダウンサンプリングされた当該デジタル信号を、後段に位置するＩＩＲフィルタ１８４に出力する。

【0129】

ＩＩＲフィルタ１８４及びＦＩＲフィルタ１８５は、図９を参照して前述したモニターキャンセラ１８１によるフィルタ処理を実行するための構成である。なお、前述した通り、モニターキャンセラ１８１によるフィルタ処理のうち、主に、周波数特性に関する処理がＩＩＲフィルタ１８４に割り当てられ、単純遅延成分に対する処理がＦＩＲフィルタ１８５に割り当てられる。なお、図１１に示す例では、ＩＩＲフィルタ１８４及びＦＩＲフィルタ１８５は、１Ｆｓのデジタル信号を対象として各種フィルタ処理を実行することとなる。

【0130】

そして、ＩＩＲフィルタ１８４及びＦＩＲフィルタ１８５により各種フィルタ処理が施されたデジタル信号（即ち、１Ｆｓのデジタル信号）は、インターポレーションフィルタ１８６により、８Ｆｓのデジタル信号にアップサンプリングされる。そして、８Ｆｓにアップサンプリングされたデジタル信号は、モニターキャンセラ１８１の後段に位置する減算部１９１（図１０参照）に出力されることとなる。

【0131】

以上のように、本実施形態に係る信号処理装置１２においては、各種演算（例えば、ＨＴフィルタ１２１、モニターキャンセラ１８１、及びオキュリュージョンキャンセラ１６１における各演算）のうち、少なくとも一部の演算について、局所的にサンプリングレートを下げることにより、当該演算のためのリソースを削減してもよい。なお、信号処理装置１２における各種演算のうち、いずれの演算を対象として局所的にサンプリングレートを下げるかについては、事前の実験等により、ダウンサンプリングに伴うリソース削減の効率を確認し、当該確認結果に基づき適宜決定すればよい。

【0132】

以上、図９及び図１０を参照して、本実施形態に係る信号処理装置１２における各系（例えば、図９及び図１０に示す系Ｒ１１及びＲ１３）における遅延量を低減し、より好適な態様でヒアスルー効果を実現するための仕組みの一例について説明した。なお、上記では、図９に示した信号処理装置１２を基に遅延量を低減する仕組みの一例について説明したが、図５に示す信号処理装置８０や、図７に示す信号処理装置１１についても、同様の仕組みに基づき遅延量を低減可能であることは言うまでもない。

【0133】

［４．３．変形例］
次に、図１２を参照して、本実施形態に係る信号処理装置１２の変形例について説明する。図１２は、本実施形態の変形例に係る信号処理装置の機能構成の一例について示したブロック図である。なお、変形例に係る信号処理装置を、図９及び図１０を参照して説明した本実施形態に係る信号処理装置１２と区別するために、「信号処理装置１３」と称する場合がある。なお、図１２に示す例では、図１０と同様に、アナログ信号とデジタル信号との間の変換処理を行うためのＡＤＣ及びＤＡＣと、デジタル信号のサンプリングレートを変換するフィルタとが明示的に示されている。

【0134】

図１２に示すように、変形例に係る信号処理装置１３は、図１２に示すモニターキャンセラ１８１に替えて、モニターキャンセラ１８１’を含む点で、前述した実施形態に係る信号処理装置１２（図１０参照）と異なる。そのため、本説明では、特に、モニターキャンセラ１８１’の構成に着目して説明し、その他の構成については、前述した実施形態に係る信号処理装置１２と同様のため、詳細な説明は省略する。

【0135】

図１２に示すように、モニターキャンセラ１８１’は、ＨＴフィルタ１２１の後段に位置し、当該ＨＴフィルタ１２１から出力される差分信号を処理の対象とする。このような構成により、モニターキャンセラ１８１’は、図９を参照して説明したモニターキャンセラ１８１と異なり、差分信号の生成に係る処理（即ち、前述した（式２）及び（式３）に基づく処理）を実行する必要はない。

【0136】

即ち、モニターキャンセラ１８１’は、入力された差分信号に対して、パワーアンプ１４１、ドライバ５１１、及びマイクアンプ１５１それぞれのデバイス特性と、内部空間内の空間特性との影響が反映されるように、各特性に応じた伝達関数に基づくフィルタ処理を施す。

【0137】

そして、モニターキャンセラ１８１’は、フィルタ処理が施された差分信号を、後段に位置する減算部１９１に出力する。なお、以降の処理については、前述した実施形態に係る信号処理装置１２（図９及び図１０参照）と同様である。

【0138】

このような構成により、変形例に係る信号処理装置１３は、図９及び図１０に示した信号処理装置１２のＨＴフィルタ１２１及びモニターキャンセラ１８１における差分信号の生成に係る処理を、ＨＴフィルタ１２１の処理として共通化することが可能となる。そのため、変形例に係る信号処理装置１３は、前述した実施形態に係る信号処理装置１２に比べて、差分信号の生成に係る演算のためのリソースを低減し、ひいては、回路規模を削減することも可能となる。

【0139】

以上、図１２を参照して、本実施形態の変形例に係る信号処理装置１３について説明した。

【0140】

［４．４．まとめ］
以上、説明したように、本実施形態に係る信号処理装置１２は、内部マイクロフォン５１５の集音結果に基づく音響信号から、音響入力の成分に加えて差分信号に相当する成分を減算している。このような構成により、本実施位形態に係る信号処理装置１２では、オキュリュージョンキャンセラ１６１がノイズ低減信号を生成するための処理対象から、差分信号の成分を除外することが可能となる。即ち、本実施位形態に係る信号処理装置１２では、ノイズ低減信号により、差分信号の成分が抑制されるといった事態を防止することが可能となる。そのため、本実施形態に係る信号処理装置１２は、前述した第１の実施形態に係る信号処理装置１１に比べて、より自然な態様（即ち、ユーザＵがより違和感を覚えない態様）で、ヒアスルー効果を実現することが可能となる。

【0141】

＜５．第３の実施形態＞
次に、本開示の第３の実施形態に係る信号処理装置について説明する。前述したように、本開示の各実施形態に係る信号処理装置では、内部マイクロフォン５１５による内部空間を伝搬する音響の集音結果を利用して、外耳道ＵＡに伝搬するユーザの声の成分を抑制するためのノイズ低減信号を生成している。このような構成のため、内部マイクロフォン５１５の集音結果に基づく音響信号（即ち、内部空間を伝搬する音響）には、前述したように声の成分（即ち、ユーザＵの頭部の骨や肉を介して外耳道ＵＡに伝搬する当該ユーザＵの声の成分）が含まれていることは前述した通りである。

【0142】

そこで、本実施形態では、内部マイクロフォン５１５による集音結果に基づく音響信号に含まれる声の成分を、音声入力（例えば、音声通話における送話信号）として利用することが可能な信号処理装置の一例について説明する。

【0143】

例えば、図１３は、本実施形態に係る信号処理装置の機能構成の一例を示したブロック図である。なお、以降では、図１３に示す信号処理装置を、前述した各実施形態に係る信号処理装置と区別するために、「信号処理装置１４ａ」と称する場合がある。また、図１３に示す機能構成は、説明をよりわかりやすくするために、ＤＡＣ及びＡＤＣの記載を省略している。

【0144】

図１３に示すように、本実施形態に係る信号処理装置１４ａは、ノイズゲート４１１と、ＥＱ４１２と、コンプレッサ４１３とを含む点で、前述した第２の実施形態に係る信号処理装置１３（図９参照）と異なる。そこで、本説明では、本実施形態に係る信号処理装置１４ａの機能構成について、特に、前述した第２の実施形態に係る信号処理装置１３と異なる部分に着目して説明し、その他の部分については詳細な説明は省略する。

【0145】

図１３に示すように、信号処理装置１４ａでは、参照符号ｎ１１で示された、減算部１９１の後段に位置する（即ち、減算部１９１と減算部１７１との間に位置する）ノードにおいて、当該ノードｎ１１を通過する音響信号が分波され、分波された一部の音響信号がノイズゲート４１１に入力される。

【0146】

ノイズゲート４１１は、入力される音響信号に対して所謂ノイズゲート処理を施すための構成である。具体的には、ノイズゲート４１１は、ノイズゲート処理として、入力される音響信号のレベルが一定レベル以下となる出力信号のレベルを下げ（つまり、ゲートを閉じ）、当該一定レベルを超えると出力信号のレベルを基に戻す（つまり、ゲートを開く）処理を行う。なお、一般に行われているように、ノイズゲート処理における出力レベルの減衰の割合、ゲートの開閉エンベロープ、及び、ゲートが反応する周波数帯域等のパラメータは、発話音（即ち、入力される音響信号に含まれる声の成分）の明瞭度の向上が図られるよう適切に設定する。

【0147】

そして、ノイズゲート４１１は、ノイズゲート処理を施した音響信号を、後段に位置するＥＱ４１２に出力する。

【0148】

ＥＱ４１２は、ノイズゲート４１１から出力される音響信号に対して、イコライジング処理を施すための構成である。前述したように、ノードｎ１１から分波される音響信号（即ち、内部マイクロフォン５１５の集音結果に基づく音響信号）に含まれる声の成分は、低域が増幅されており、当該音響信号（即ち、声の成分）に基づく音響は聴取者にくぐもったように聞こえる。そのため、ＥＱ４１２は、当該音響信号に基づく音響が、聴取者により自然に聞こえるように（即ち、より自然な周波数特性バランスとなるように）、当該音響信号の周波数特性を補正することで、聴取される音響の明瞭度を向上させる。

【0149】

なお、ＥＱ４１２が入力された音響信号に対してイコライジング処理を施すための目標特性については、例えば、事前の実験等の結果に基づきあらかじめ決定しておけばよい。

【0150】

そして、ＥＱ４１２は、イコライジング処理が施された音響信号（即ち、声の成分を含む音響信号）を、後段に位置するコンプレッサ４１３に出力する。

【0151】

コンプレッサ４１３は、入力される音響信号に対して、所謂コンプレッサ処理として、時間振幅を整える処理を施すための構成である。

【0152】

具体的には、入力される音響信号に含まれる声の成分は、前述した通り、ユーザＵの頭部の骨や肉を介して外耳道ＵＡに伝搬し、外耳道壁を２次スピーカのように振動させ、当該振動が外耳道ＵＡを介して内部マイクロフォン５１５に到達する。このように、声の成分が内部マイクロフォン５１５に到達するまでの伝搬経路は、外部環境を伝搬する場合のような空気伝搬に比べて、ある程度の非線形性を有する。

【0153】

そのため、発生時の声の大きさによって変わる発話音声の大小の差が、通常の空気伝搬を介した集音を行う場合に比べて大きくなり、そのままであると集音された音声を聴取者が聞き取り難くなる場合がある。

【0154】

そこで、コンプレッサ４１３は、内部マイクロフォン５１５による集音結果に基づく音響信号（具体的には、ＥＱ４１２から出力される音響信号）の時間軸振幅を、発話音声の大小の差が抑制されるように整える。

【0155】

以上のようにして、コンプレッサ４１３は、入力される音響信号に対してコンプレッサ処理を施し、当該コンプレッサ処理が施された音響信号（即ち、声の成分を含む音響信号）を、音声信号として出力する。

【0156】

なお、図１３に示した信号処理装置１４ａの構成はあくまで一例であり、内部マイクロフォン５１５により集音された声の成分を含む音響信号を、音声信号として出力することが可能であれば、その構成は特に限定されない。

【0157】

例えば、図１４は、本実施形態に係る信号処理装置の機能構成の他の一例について示したブロック図である。なお、以降の説明では、図１４に示す信号処理装置を、図１３を参照して前述した信号処理装置と区別する場合には、「信号処理装置１４ｂ」と称する場合がある。また、図１４に示す信号処理装置を、図１３を参照して前述した信号処理装置と区別しない場合には、単に「信号処理装置１４」と称する場合がある。

【0158】

図１４に示すように、信号処理装置１４ｂにおいては、参照符号ｎ１２で示された、減算部１７１の後段に位置する（即ち、減算部１７１とオキュリュージョンキャンセラ１６１との間に位置する）ノードにおいて、当該ノードｎ１２を通過する音響信号が分波され、分波された一部の音響信号がノイズゲート４１１に入力される。

【0159】

ここで、ノードｎ１２を通過する音響信号は、ノードｎ１１を通過する音響信号から、さらに、音響入力の成分が減算された音響信号に相当する。そのため、図１４に示す信号処理装置１４ｂでは、図１３に示した信号処理装置１４ａに比べて、内部マイクロフォン５１５の集音結果に基づく音響信号のうち、声の成分以外の他の成分がより抑制された音響信号を、音声信号として出力することが可能となる。

【0160】

以上、図１３及び図１４を参照して、本実施形態に係る信号処理装置１４の機能構成の一例について説明した。

【0161】

なお、前述したように、本実施形態に係る信号処理装置１４では、内部マイクロフォン５１５の集音結果に基づく音響信号から、減算部１９１により差分信号が減算された後の音響信号を対象として、音声信号として出力している。このような構成により、内部マイクロフォン５１５の集音結果に基づく音響信号に含まれる各成分のうち、環境音に相当する成分が抑制された音響信号が、音声信号として出力されることとなる。即ち、本実施形態に係る信号処理装置１４に依れば、外部環境においてマイクロフォン等を使用してユーザＵの音声を集音する場合に比べて、よりＳ／Ｎ比の高い（即ち、ノイズの少ない）音声入力を取得することが可能となる。

【0162】

次に、図１５を参照して、本実施形態に係る信号処理装置１４の適用例について説明する。図１５は、本実施形態に係る信号処理装置１４の適用例について説明するための説明図である。具体的には、図１５は、信号処理装置１４から出力される音声信号を、音声入力として利用することで、当該音声入力が示す指示内容に基づき、各種処理を実行することが可能な情報処理システムの機能構成の一例を示している。

【0163】

図１５に示す情報処理システムは、頭部装着型音響デバイス５１と、信号処理装置１４と、解析部６１と、制御部６３と、処理実行部６５とを含む。なお、頭部装着型音響デバイス５１と、信号処理装置１４とについては、図１３または図１４に示す例と同様のため詳細な説明は省略する。

【0164】

解析部６１は、信号処理装置１４から出力される音声信号（即ち、音声出力）を、音声入力として取得し、当該音声入力が示す内容（即ち、ユーザＵからの指示内容）を後述する制御部６３が認識できるように、当該音声入力に対して各種解析を施すための構成である。解析部６１は、音声認識部６１１と、自然言語処理部６１３とを含む。

【0165】

音声認識部６１１は、信号処理装置１４から取得した音声入力を、所謂音声認識技術に基づき解析することで、文字情報に変換する。そして、音声認識部６１１は、音声認識技術に基づく解析の結果、即ち、音声入力が変換された文字情報を、自然言語処理部６１３に出力する。

【0166】

自然言語処理部６１３は、信号処理装置１４から取得された音声入力に対する音声認識技術に基づく解析の結果として、当該音声入力が変換された文字情報を、音声認識部６１１から取得する。自然言語処理部６１３は、取得した当該文字情報に対して、所謂自然言語処理技術に基づく解析（例えば、字句解析（形態素解析）、構文解析、及び意味解析等）を施す。

【0167】

そして、自然言語処理部６１３は、信号処理装置１４から取得された音声入力が変換された文字情報に対する自然言語処理の結果を示す情報を、制御部６３に出力する。

【0168】

制御部６３は、信号処理装置１４から取得された音声入力に対する解析結果（即ち、当該音声入力が変換された文字情報に対する自然言語処理の結果）を示す情報を、解析部６１から取得する。制御部６３は、取得した解析結果に基づき、当該音声入力に基づくユーザＵからの指示内容を認識する。

【0169】

制御部６３は、認識したユーザＵからの指示内容に基づき、対象となる機能（例えば、アプリケーション）を特定し、特定した機能の実行を処理実行部６５に指示する。

【0170】

処理実行部６５は、各種機能を実行するための構成である。処理実行部６５は、制御部６３から指示に基づき、対象となる機能を実行するための各種データ（例えば、アプリケーションを実行するためのライブラリや、コンテンツのデータ）を読み出し、読み出したデータに基づき、当該機能を実行する。なお、処理実行部６５が、各種機能を実行するためのデータについては、当該処理実行部６５が読み出し可能な位置に記憶されていれば、その記憶先は特に限定されない。

【0171】

また、このとき処理実行部６５は、制御部６３から指示された機能の実行結果に基づく音響情報（例えば、指示に基づき再生されたオーディオコンテンツ）を、信号処理装置１４に入力してもよい。また、他の一例として、処理実行部６５は、制御部６３から指示された機能の実行結果に基づき、ユーザＵに対して提示する内容を示した音声情報を、所謂音声合成技術に基づき生成し、生成した音声情報を信号処理装置１４に入力してもよい。このような構成により、ユーザＵは、自身の指示内容に基づく各種機能実行結果を、頭部装着型音響デバイス５１を介して出力される音響情報（音声情報）として認識することが可能となる。

【0172】

即ち、図１５に示した情報処理システムに依れば、ユーザＵは、頭部装着型音響デバイス５１を装着した状態で、音声により各種機能の実行を情報処理システムに指示することで、当該機能の実行結果に基づく音響情報を、当該頭部装着型音響デバイス５１を介して聴取することが可能となる。

【0173】

具体的な一例として、ユーザＵは、音声により所望のオーディコンテンツの再生を指示することで、当該オーディオコンテンツの再生結果を、当該頭部装着型音響デバイス５１を介して聴取することが可能となる。

【0174】

また、他の一例として、ユーザは、情報処理システムに対して、所望の文字情報（例えば、配信されたメールやニュース、ネットワーク上にアップロードされている情報等）の読み上げを指示することで、当該文字情報の読み上げ結果を、頭部装着型音響デバイス５１を介して聴取することが可能となる。

【0175】

また、他の一例として、図１５に示す情報処理システムを、所謂音声通話に利用してもよい。この場合には、信号処理装置１４から出力される音声信号を送話信号として利用し、受信した受話信号については、信号処理装置１４に対して音響入力として入力すればよい。

【0176】

なお、図１５に示した情報処理システムの構成はあくまで一例であり、上記に説明した情報処理システムの各構成の処理が実現できれば、必ずしも、図１５に示す構成には限定されない。具体的な一例として、解析部６１、制御部６３、及び処理実行部６５のうち、少なくとも一部の構成を、ネットワークを介して接続された外部装置（例えば、サーバ）に設けてもよい。

【0177】

以上、本実施形態に係る信号処理装置１４の適用例として、図１５を参照して、信号処理装置１４から出力される音声信号を、音声入力として利用した情報処理システムの機能構成の一例について説明した。

【0178】

＜６．ハードウェア構成＞
次に、図１６を参照して、本開示の各実施形態に係る信号処理装置１０（即ち、上述した信号処理装置１１〜１４）のハードウェア構成の一例について説明する。図１６は、本開示の各実施形態に係る信号処理装置１０のハードウェア構成の一例を示した図である。

【0179】

図１６に示すように、本実施形態に係る信号処理装置１０は、プロセッサ９０１と、メモリ９０３と、ストレージ９０５と、操作デバイス９０７と、報知デバイス９０９と、音響デバイス９１１と、集音デバイス９１３と、バス９１７とを含む。また、信号処理装置１０は、通信デバイス９１５を含んでもよい。

【0180】

プロセッサ９０１は、例えばＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）又はＳｏＣ（System on Chip）であってよく、信号処理装置１０の様々な処理を実行する。プロセッサ９０１は、例えば、各種演算処理を実行するための電子回路により構成することが可能である。なお、前述した信号処理装置１１〜１４の各構成（特に、ＨＴフィルタ１２１、オキュリュージョンキャンセラ１６１、モニターキャンセラ１８１等）は、プロセッサ９０１により実現され得る。

【0181】

メモリ９０３は、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）を含み、プロセッサ９０１により実行されるプログラム及びデータを記憶する。ストレージ９０５は、半導体メモリ又はハードディスクなどの記憶媒体を含み得る。

【0182】

操作デバイス９０７は、ユーザが所望の操作を行うための入力信号を生成する機能を有する。操作デバイス９０７は、例えば、タッチパネルとして構成され得る。また、他の一例として、操作デバイス９０７は、例えばボタン、スイッチ、及びキーボードなどユーザが情報を入力するための入力部と、ユーザによる入力に基づいて入力信号を生成し、プロセッサ９０１に供給する入力制御回路などから構成されてよい。

【0183】

報知デバイス９０９は、出力デバイスの一例であり、例えば、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）装置、有機ＥＬ（ＯＬＥＤ：Organic Light Emitting Diode）ディスプレイなどのデバイスであってよい。この場合には、報知デバイス９０９は、画面を表示することにより、ユーザに対して所定の情報を報知することができる。

【0184】

なお、上記に示した報知デバイス９０９の例はあくまで一例であり、ユーザに対して所定の情報を報知可能であれば、報知デバイス９０９の態様は特に限定されない。具体的な一例として、報知デバイス９０９は、ＬＥＤ（Light Emitting Diode）のように、点灯又は点滅のパターンにより、所定の情報をユーザに報知するデバイスであってもよい。また、報知デバイス９０９は、所謂バイブレータのように、振動することで、所定の情報をユーザに報知するデバイスであってもよい。

【0185】

音響デバイス９１１は、スピーカ等のように、所定の音響信号を出力することで、所定の情報をユーザに報知するデバイスである。なお、前述した、頭部装着型音響デバイス５１のうち、特に、ドライバ５１１により駆動されるスピーカは、音響デバイス９１１により構成され得る。

【0186】

集音デバイス９１３は、マイクロフォン等のような、ユーザから発せられた音声や周囲の環境の音響を集音し、音響情報（音響信号）として取得するためのデバイスである。また、集音デバイス９１３は、集音された音声や音響を示すアナログの音響信号を示すデータを音響情報として取得してもよいし、当該アナログの音響信号をデジタルの音響信号に変換し、変換後のデジタルの音響信号を示すデータを音響情報として取得してもよい。なお、前述した、頭部装着型音響デバイス５１における、外部マイクロフォン５１３及び内部マイクロフォン５１５は、集音デバイス９１３により実現され得る。

【0187】

通信デバイス９１５は、信号処理装置１０が備える通信手段であり、ネットワークを介して外部装置と通信する。通信デバイス９１５は、有線または無線用の通信インタフェースである。通信デバイス９１５を、無線通信インタフェースとして構成する場合には、当該通信デバイス９１５は、通信アンテナ、ＲＦ（Radio Frequency）回路、ベースバンドプロセッサなどを含んでもよい。

【0188】

通信デバイス９１５は、外部装置から受信した信号に各種の信号処理を行う機能を有し、受信したアナログ信号から生成したデジタル信号をプロセッサ９０１に供給することが可能である。

【0189】

バス９１７は、プロセッサ９０１、メモリ９０３、ストレージ９０５、操作デバイス９０７、報知デバイス９０９、音響デバイス９１１、集音デバイス９１３、及び通信デバイス９１５を相互に接続する。バス９１７は、複数の種類のバスを含んでもよい。

【0190】

また、コンピュータに内蔵されるプロセッサ、メモリ、及びストレージなどのハードウェアを、上記した信号処理装置１０が有する構成と同等の機能を発揮させるためのプログラムも作成可能である。また、当該プログラムを記録した、コンピュータに読み取り可能な記憶媒体も提供され得る。

【0191】

＜７．まとめ＞
以上、説明したように、本開示の各実施形態に係る信号処理装置１０（即ち、上述した信号処理装置１１〜１４）は、頭部装着型音響デバイス５１の装着部５１０の外側の外部空間を伝搬する環境音の集音結果に基づき、差分信号を生成する。また、信号処理装置１０は、装着部５１０の内側の内部空間に伝搬する音響の集音結果に基づき、当該内部空間に伝搬する声の成分を抑制するためのノイズ低減信号を生成する。そして、信号処理装置１０は、入力される音響入力に対して、生成した差分信号とノイズ低減信号とを加算し、当該加算結果に基づき生成される音響信号を頭部装着型音響デバイス５１のドライバ５１１に出力する。これにより、当該音響信号によりドライバ５１１が駆動され、当該音響信号に基づく音響が内部空間に放射される。

【0192】

このような構成により、内部空間内に放射された音響に含まれる差分信号の成分と、装着部５１０を介して内部空間に伝搬する環境音（即ち、図２及び図３において、伝搬環境Ｆを介して伝搬する音響）とが、内部空間内で加算され、当該加算結果がユーザＵに聴取されるため、ヒアスルー効果を実現することが可能となる。また、内部空間内に放射された音響に含まれるノイズ低減信号と、ユーザＵの頭部の肉や骨を介して外耳道ＵＡに伝搬する声の成分とが加算され、当該加算結果がユーザＵに聴取されるため、ユーザＵは、自身の声をより自然な（即ち、違和感を覚えない）態様で聴取することが可能となる。

【0193】

なお、上記に説明した、本開示の各実施形態に係る信号処理装置１０により実行される一連の処理（即ち、各種フィルタ処理等の信号処理）が、「信号処理方法」の一例に相当する。

【0194】

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

【0195】

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

【0196】

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
聴取者の耳に対して装着される装着部の外側の外部空間を伝搬する第１の音響の集音結果を取得する第１の取得部と、
前記装着部の内側において外耳道と連接する内部空間を伝搬する第２の音響の集音結果を取得する第２の取得部と、
前記第１の音響の集音結果に基づき、前記外部空間から前記外耳道内に向けて直接伝搬する前記第１の音響と、前記外部空間から前記装着部を介して前記内部空間に伝搬する前記第１の音響との差分に略等しい差分信号を生成する第１のフィルタ処理部と、
前記第２の音響の集音結果から、前記第１の音響の集音結果に基づく第１の信号成分と、前記装着部の内側から前記内部空間に向けて音響デバイスから出力させる入力音響信号に基づく第２の信号成分とが減算された減算信号を生成する減算部と、
前記減算信号に基づき、当該減算信号を低減するためのノイズ低減信号を生成する第２のフィルタ処理部と、
前記入力音響信号に対して、前記差分信号と、前記ノイズ低減信号とを加算することで、前記音響デバイスを駆動するための駆動信号を生成する加算部と、
を備える、信号処理装置。
（２）
前記第１の音響の集音結果に基づく音響信号に対して、少なくとも、前記音響デバイスから出力される音響信号が、前記内部空間を介して前記第２の音響として集音されるまでの系の伝達関数に応じた特性を付与し、前記第１の信号成分として出力する第３のフィルタ処理部を備える、前記（１）に記載の信号処理装置。
（３）
前記第３のフィルタ処理部は、前記第１の音響の集音結果を入力信号として、前記第１の信号成分を生成する、前記（２）に記載の信号処理装置。
（４）
前記第３のフィルタ処理部は、前記第１のフィルタ処理部から出力される前記差分信号を入力信号として、前記第１の信号成分を生成する、前記（２）に記載の信号処理装置。
（５）
前記第３のフィルタ処理部は、入力された前記前記第１の音響の集音結果に基づく音響信号のうち、遅延成分を処理するための第４のフィルタ処理部と、周波数成分を処理するための第５のフィルタ処理部とを備える、前記（２）〜（４）のいずれか一項に記載の信号処理装置。
（６）
前記第４のフィルタ処理部は、無限インパルス応答フィルタを含む、前記（５）に記載の信号処理装置。
（７）
前記第５のフィルタ処理部は、有限インパルス応答フィルタを含む、前記（５）または（６）に記載の信号処理装置。
（８）
前記入力音響信号を第１の目標特性に等化して前記加算部に出力する第１の等化処理部と、
当該入力音響信号を第２の目標特性に等化して、前記第２の信号成分として前記減算部に出力する第２の等化処理部と、
を備える、前記（１）〜（７）のいずれか一項に記載の信号処理装置。
（９）
前記第２の音響の集音結果からの前記第１の信号成分の減算結果に基づく信号成分を、音声信号として出力する音声信号出力部を備える、前記（１）〜（８）のいずれか一項に記載の信号処理装置。
（１０）
音声信号出力部は、前記減算信号を前記音声信号として出力する、前記（９）に記載の信号処理装置。
（１１）
前記第１の音響を集音する第１の集音部と、前記第２の音響を集音する第２の集音部とのうち、少なくともいずれかを含む、前記（１）〜（１０）のいずれか一項に記載の信号処理装置。
（１２）
前記音響デバイスを含む、前記（１）〜（１１）のいずれか一項に記載の信号処理装置。
（１３）
聴取者の耳に対して装着される装着部の外側の外部空間を伝搬する音響の集音結果を取得する取得部と、
前記音響の集音結果に基づき、前記外部空間から外耳道内に向けて直接伝搬する前記音響と、前記外部空間から前記装着部を介して前記外耳道内に伝搬する前記音響との差分に略等しい差分信号を生成するフィルタ処理部と、
前記装着部の内側から前記外耳道内に向けて音響デバイスから出力させる入力音響信号に対して、前記差分信号を加算することで、前記音響デバイスを駆動するための駆動信号を生成する加算部と、
を備え、
前記外部空間を伝搬する音響が集音されてから、当該音響に基づく前記差分信号が加算された前記駆動信号に基づく音響が、前記音響デバイスから出力されるまでの遅延量が１００μ秒以下である、
信号処理装置。
（１４）
前前記外部空間を伝搬する音響の集音結果を、第１のサンプリングレートで第１のデジタル信号にＡＤ変換するＡＤ変換部と、
前記第１のデジタル信号を、前記第１のサンプリングレートよりも低く、前記入力音響信号を標本化するための第２のサンプリングレートよりも高い、第３のサンプリングレートにダウンサンプリングすることで第２のデジタル信号を生成する、デシメーションフィルタと、
前記第３のサンプリングレートで標本化されたデジタル信号を、第１のサンプリングレートにアップサンプリングするインターポレーションフィルタと、
前記インターポレーションフィルタの出力結果をアナログの音響信号にＤＡ変換するＤＡ変換部と、
を備え、
前記フィルタ処理部は、前記第２のデジタル信号を入力信号として、前記差分信号を生成する、
前記（１３）に記載の信号処理装置。
（１５）
プロセッサが、
聴取者の耳に対して装着される装着部の外側の外部空間を伝搬する第１の音響の集音結果を取得することと、
前記装着部の内側の外耳道と連接する内部空間を伝搬する第２の音響の集音結果を取得することと、
前記第１の音響の集音結果に基づき、前記外部空間から前記外耳道内に向けて直接伝搬する前記第１の音響と、前記外部空間から前記装着部を介して前記内部空間に伝搬する前記第１の音響との差分に略等しい差分信号を生成することと、
前記第２の音響の集音結果から、前記第１の音響の集音結果に基づく第１の信号成分と、前記装着部の内側から前記内部空間に向けて音響デバイスから出力させる入力音響信号に基づく第２の信号成分とが減算された減算信号を生成することと、
前記減算信号に基づき、当該減算信号を低減するためのノイズ低減信号を生成することと、
前記入力音響信号に対して、前記差分信号と、前記ノイズ低減信号とを加算することで、前記音響デバイスを駆動するための駆動信号を生成することと、
を含む、信号処理方法。
（１６）
コンピュータに、
聴取者の耳に対して装着される装着部の外側の外部空間を伝搬する第１の音響の集音結果を取得することと、
前記装着部の内側の外耳道と連接する内部空間を伝搬する第２の音響の集音結果を取得することと、
前記第１の音響の集音結果に基づき、前記外部空間から前記外耳道内に向けて直接伝搬する前記第１の音響と、前記外部空間から前記装着部を介して前記内部空間に伝搬する前記第１の音響との差分に略等しい差分信号を生成することと、
前記第２の音響の集音結果から、前記第１の音響の集音結果に基づく第１の信号成分と、前記装着部の内側から前記内部空間に向けて音響デバイスから出力させる入力音響信号に基づく第２の信号成分とが減算された減算信号を生成することと、
前記減算信号に基づき、当該減算信号を低減するためのノイズ低減信号を生成することと、
前記入力音響信号に対して、前記差分信号と、前記ノイズ低減信号とを加算することで、前記音響デバイスを駆動するための駆動信号を生成することと、
を実行させる、プログラム。

【符号の説明】

【0197】

１１〜１４ 信号処理装置
１１１ マイクアンプ
１１３ デシメーションフィルタ
１２１ ＨＴフィルタ
１２３ 加算部
１３３ インターポレーションフィルタ
１３４ インターポレーションフィルタ
１４１ パワーアンプ
１４３ インターポレーションフィルタ
１５１ マイクアンプ
１５３ デシメーションフィルタ
１６１ オキュリュージョンキャンセラ
１７１ 減算部
１８１ モニターキャンセラ
１８３ デシメーションフィルタ
１８４ ＩＩＲフィルタ
１８５ ＦＩＲフィルタ
１８６ インターポレーションフィルタ
１９１ 減算部
４１１ ノイズゲート
４１２ ＥＱ
４１３ コンプレッサ
５１ 頭部装着型音響デバイス
５１０ 装着部
５１１ ドライバ
５１３ 外部マイクロフォン
５１５ 内部マイクロフォン
６１ 解析部
６１１ 音声認識部
６１３ 自然言語処理部
６３ 制御部
６５ 処理実行部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】