(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-24
(45)【発行日】2024-11-01
(54)【発明の名称】耳装着型デバイス、及び、再生方法
(51)【国際特許分類】
H04R 1/10 20060101AFI20241025BHJP
G10K 11/178 20060101ALI20241025BHJP
G10L 25/51 20130101ALI20241025BHJP
G10L 25/84 20130101ALI20241025BHJP
H04R 3/00 20060101ALI20241025BHJP
H04R 3/04 20060101ALI20241025BHJP
H04R 25/00 20060101ALI20241025BHJP
【ＦＩ】
H04R1/10 104E
G10K11/178 100
G10L25/51
G10L25/84
H04R1/10 104A
H04R3/00 310
H04R3/04
H04R25/00 K
H04R25/00 L
【請求項の数】
14
(21)【出願番号】P 2022552401
(86)(22)【出願日】2022-01-12
(86)【国際出願番号】 JP2022000697
(87)【国際公開番号】W WO2022259589
(87)【国際公開日】2022-12-15
【審査請求日】2022-08-31
(31)【優先権主張番号】P 2021096075
(32)【優先日】2021-06-08
(33)【優先権主張国・地域又は機関】JP
【前置審査】
(73)【特許権者】
【識別番号】314012076
【氏名又は名称】パナソニックＩＰマネジメント株式会社
(74)【代理人】
【識別番号】100109210
【弁理士】
【氏名又は名称】新居 広守
(74)【代理人】
【識別番号】100137235
【弁理士】
【氏名又は名称】寺谷 英作
(74)【代理人】
【識別番号】100131417
【弁理士】
【氏名又は名称】道坂 伸一
(72)【発明者】
【氏名】栗原 伸一郎
【審査官】渡邊 正宏
(56)【参考文献】
【文献】特表２０２１－５１１７５５（ＪＰ，Ａ）
【文献】特開２０１１－１９９６９９（ＪＰ，Ａ）
【文献】特開平１１－３４５０００（ＪＰ，Ａ）
【文献】特表２０１９－５０８７８７（ＪＰ，Ａ）
【文献】特開２０１０－０６２６６３（ＪＰ，Ａ）
【文献】特表２０１８－５２３１５５（ＪＰ，Ａ）
【文献】特表２０１８－５３２１５５（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ１０Ｋ １１／００－１３／００
Ｇ１０Ｌ １３／００－１３／１０
Ｇ１０Ｌ １９／００－１９／２６
Ｇ１０Ｌ ２１／００－２１／１８
Ｇ１０Ｌ ２５／００－２５／９３
Ｇ１０Ｌ ９９／００
Ｈ０４Ｒ １／１０
Ｈ０４Ｒ ３／００－ ３／１４
Ｈ０４Ｒ ２５／００－２５／０４
(57)【特許請求の範囲】
【請求項1】
音を取得し、取得された前記音の第１音信号を出力するマイクロフォンと、前記音に含まれるノイズ成分に関連する特徴量が所定の要件を満たすか否かの判定に基づいてユーザが移動中の移動体に乗っているか否かを判定し、前記ユーザが移動中の移動体に乗っていると判定した場合、かつ、前記音に人の声が含まれると判定した場合に、前記第１音信号に基づく第２音信号を出力する信号処理回路と、
出力された前記第２音信号に基づいて再生音を出力するスピーカと、
前記マイクロフォン、前記信号処理回路、及び、前記スピーカを収容するハウジングとを備える
耳装着型デバイス。
【請求項2】
前記特徴量は、ローパスフィルタが適用された前記第１音信号から算出したスペクトルフラットネスであり、前記所定の要件は、前記特徴量が所定の閾値以上であることである
請求項１に記載の耳装着型デバイス。
【請求項3】
前記ノイズ成分は、前記音の成分のうち人の声に相当する所定の周波数帯域よりも低い周波数帯域の成分であり、前記ローパスフィルタは、前記所定の周波数帯域よりも低い周波数帯域に対応する
請求項２に記載の耳装着型デバイス。
【請求項4】
前記信号処理回路は、前記特徴量が前記所定の要件を満たし、かつ、前記音に人の声が含まれると判定した場合に、前記第１音信号を前記第２音信号として出力する請求項１～３のいずれか１項に記載の耳装着型デバイス。
【請求項5】
前記信号処理回路は、前記特徴量が前記所定の要件を満たし、かつ、前記音に人の声が含まれると判定した場合に、前記第１音信号に信号処理を行った前記第２音信号を出力する請求項１～３のいずれか１項に記載の耳装着型デバイス。
【請求項6】
前記信号処理には、前記音の特定の周波数成分を強調するためのイコライジング処理が含まれる請求項５に記載の耳装着型デバイス。
【請求項7】
前記信号処理回路は、前記特徴量が前記所定の要件を満たさないと判定した場合、及び、前記音に人の声が含まれないと判定した場合には、前記スピーカに前記第２音信号に基づく再生音を出力させない請求項１～６のいずれか１項に記載の耳装着型デバイス。
【請求項8】
前記信号処理回路は、前記特徴量が前記所定の要件を満たさないと判定した場合、及び、前記音に人の声が含まれないと判定した場合には、前記第１音信号に位相反転処理を行った第３音信号を出力し、前記スピーカは、出力された前記第３音信号に基づいて再生音を出力する
請求項１～６のいずれか１項に記載の耳装着型デバイス。
【請求項9】
さらに、出力された前記第２音信号に、音源から提供される第４音信号をミキシングするミキシング回路を備え、前記信号処理回路によって前記第２音信号の出力が開始されると、前記第２音信号の出力が開始される前よりも振幅が減衰した前記第４音信号が前記第２音信号にミキシングされる
請求項１～８のいずれか１項に記載の耳装着型デバイス。
【請求項10】
前記信号処理回路は、ハイパスフィルタが適用された前記第１音信号に基づいて、前記音に人の声が含まれるか否かを判定する請求項１～９のいずれか１項に記載の耳装着型デバイス。
【請求項11】
前記信号処理回路は、適応フィルタが適用された前記第１音信号に基づいて、前記音に人の声が含まれるか否かを判定し、
前記適応フィルタのフィルタ係数の更新量を、前記音に含まれるノイズに基づいて変更する
請求項１～１０のいずれか１項に記載の耳装着型デバイス。
【請求項12】
前記音には、第１期間に取得された第１の音、及び、前記第１期間の後の第２期間に取得された第２の音が含まれ、前記信号処理回路は、前記第１の音の前記第１音信号から算出した前記特徴量が前記所定の要件を満たし、かつ、前記第１の音に人の声が含まれず、かつ、前記第２の音に人の声が含まれると判定した場合に、前記第２音信号を出力する
請求項１～１１のいずれか１項に記載の耳装着型デバイス。
【請求項13】
音を取得するマイクロフォンによって出力される前記音に含まれるノイズ成分に関連する特徴量が所定の要件を満たすか否かの判定に基づいてユーザが移動中の移動体に乗っているか否かを判定し、前記ユーザが移動中の移動体に乗っていると判定した場合、かつ、前記音に人の声が含まれると判定した場合に、前記音の第１音信号に基づく第２音信号を出力する出力ステップと、出力された前記第２音信号に基づいてスピーカから再生音を出力する再生ステップとを含む
再生方法。
【請求項14】
請求項１３に記載の再生方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、耳装着型デバイス、及び、再生方法に関する。
【背景技術】
【0002】
イヤホン及びヘッドホンなどの耳装着型デバイスに関する様々な技術が提案されている。特許文献１には、音声再生ヘッドホンに関する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２００６－０９３７９２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本開示は、周囲で聞こえる人の声を、周囲のノイズ環境に応じて再生することができる耳装着型デバイスを提供する。
【課題を解決するための手段】
【0005】
本開示の一態様に係る耳装着型デバイスは、音を取得し、取得された前記音の第１音信号を出力するマイクロフォンと、前記音が当該音に含まれるノイズ成分に関連する所定の要件を満たし、かつ、前記音に人の声が含まれると判定した場合に、前記第１音信号に基づく第２音信号を出力する信号処理回路と、出力された前記第２音信号に基づいて再生音を出力するスピーカと、前記マイクロフォン、前記信号処理回路、及び、前記スピーカを収容するハウジングとを備える。
【発明の効果】
【0006】
本開示の一態様に係る耳装着型デバイスは、周囲で聞こえる人の声を、周囲のノイズ環境に応じて再生することができる。
【図面の簡単な説明】
【0007】
【発明を実施するための形態】
【0008】
以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【0009】
なお、各図は模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付し、重複する説明は省略又は簡略化される場合がある。
【0010】
（実施の形態）
［構成］
まず、実施の形態に係る音信号処理システムの構成について説明する。図１は、実施の形態に係る音信号処理システムを構成するデバイスの外観図である。図２は、実施の形態に係る音信号処理システムの機能構成を示すブロック図である。
［構成］
まず、実施の形態に係る音信号処理システムの構成について説明する。図１は、実施の形態に係る音信号処理システムを構成するデバイスの外観図である。図２は、実施の形態に係る音信号処理システムの機能構成を示すブロック図である。
【0011】
【0012】
耳装着型デバイス２０は、携帯端末３０から提供される第４音信号を再生するイヤホン型のデバイスである。第４音信号は、例えば、音楽コンテンツの音信号である。耳装着型デバイス２０は、第４音信号の再生中に、当該ユーザの周囲の音を取り込む外音取り込み機能（外音取り込みモードとも記載される）を有する。
【0013】
ここでの周囲の音は、例えば、アナウンス音である。アナウンス音は、例えば、電車、バス、及び、飛行機などの移動体の内部で、当該移動体に設けられたスピーカから出力される音である。アナウンス音には、人の声が含まれる。
【0014】
耳装着型デバイス２０は、携帯端末３０から提供される第４音信号を再生する通常モードの動作と、当該ユーザの周囲の音を取り込んで再生する外音取り込みモードの動作とを行う。例えば、耳装着型デバイス２０を装着したユーザが移動中の移動体に乗っており、かつ、通常モードで音楽コンテンツを受聴しているときに、移動体内でアナウンス音が出力され、かつ、出力されたアナウンス音に人の声が含まれていれば、耳装着型デバイス２０は、通常モードから外音取り込みモードに自動的に遷移する。これにより、ユーザがアナウンス音を聞き逃してしまうことが抑制される。
【0015】
耳装着型デバイス２０は、具体的には、マイクロフォン２１と、ＤＳＰ２２と、通信回路２７ａと、ミキシング回路２７ｂと、スピーカ２８とを備える。なお、通信回路２７ａ、及び、ミキシング回路２７ｂは、ＤＳＰ２２に含まれてもよい。マイクロフォン２１、ＤＳＰ２２、通信回路２７ａ、ミキシング回路２７ｂ、及び、スピーカ２８は、ハウジング２９（図１に図示）に収容される。
【0016】
マイクロフォン２１は、耳装着型デバイス２０の周囲の音を取得し、取得した音に基づいて第１音信号を出力する収音デバイスである。マイクロフォン２１は、具体的には、コンデンサマイク、ダイナミックマイク、または、ＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）マイクなどであるが、特に限定されない。また、マイクロフォン２１は、無指向性であってもよいし、指向性を有していてもよい。
【0017】
ＤＳＰ２２は、マイクロフォン２１から出力される第１音信号に信号処理を行うことにより、外音取り込み機能を実現する。ＤＳＰ２２は、例えば、第１音信号に基づく第２音信号をスピーカ２８へ出力することにより、外音取り込み機能を実現する。また、ＤＳＰ２２は、ノイズキャンセル機能を有し、第１音信号に位相反転処理を行った第３音信号を出力することもできる。ＤＳＰ２２は、信号処理回路の一例である。ＤＳＰ２２は、具体的には、フィルタ回路２３と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２４と、メモリ２６とを有する。
【0018】
フィルタ回路２３には、ノイズ除去フィルタ２３ａ、ハイパスフィルタ２３ｂ、及び、ローパスフィルタ２３ｃが含まれる。ノイズ除去フィルタ２３ａは、マイクロフォン２１から出力される第１音信号に含まれるノイズを除去するためのフィルタである。ノイズ除去フィルタ２３ａは、例えば、非線形デジタルフィルタであるが、周波数領域でノイズ除去を行うスペクトルサブトラクション法を用いたフィルタであってもよい。また、ノイズ除去フィルタ部２３ａは、Ｗｉｅｎｅｒフィルタであってもよい。
【0019】
ハイパスフィルタ２３ｂは、ノイズ除去フィルタ２３ａから出力されるノイズ除去後の第１音信号に含まれる、５１２Ｈｚ以下の帯域の成分を減衰させる。ローパスフィルタ２３ｃは、マイクロフォン２１から出力される第１音信号に含まれる、５１２Ｈｚ以上の帯域の成分を減衰させる。なお、これらのカットオフ周波数は例示であり、カットオフ周波数は経験的または実験的に定められればよい。カットオフ周波数は、例えば、耳装着型デバイス２０が使用されることが想定される移動体の種類に応じて定められる。
【0020】
ＣＰＵ２４には、機能的な構成要素として、音声特徴量算出部２４ａ、ノイズ特徴量算出部２４ｂ、判定部２４ｃ、及び、切替部２４ｄが含まれる。音声特徴量算出部２４ａ、ノイズ特徴量算出部２４ｂ、判定部２４ｃ、及び、切替部２４ｄの機能は、例えば、ＣＰＵ２４がメモリ２６に記憶されたコンピュータプログラムを実行することにより実現される。音声特徴量算出部２４ａ、ノイズ特徴量算出部２４ｂ、判定部２４ｃ、及び、切替部２４ｄの機能の詳細については後述する。
【0021】
メモリ２６は、ＣＰＵ２４が実行するコンピュータプログラム、及び、外音取り込み機能の実現に必要な各種情報などが記憶される記憶装置である。メモリ２６は、半導体メモリなどによって実現される。なお、メモリ２６は、ＤＳＰ２２の内蔵メモリではなく、ＤＳＰ２２の外付けメモリとして実現されてもよい。
【0022】
通信回路２７ａは、携帯端末３０から第４音信号を受信する。通信回路２７ａは、例えば、無線通信回路であり、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＢＬＥ（Ｂｌｕｅｔｏｏｔｈ（登録商標） Ｌｏｗ Ｅｎｅｒｇｙ）などの通信規格に基づいて、携帯端末３０と通信を行う。
【0023】
ミキシング回路２７ｂは、ＤＳＰ２２によって出力される第２音信号及び第３音信号の一方に通信回路２７ａによって受信された第４音信号をミキシングしてスピーカ２８に出力する。なお、通信回路２７ａ及び、ミキシング回路２７ｂは、１つのＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）として実現されてもよい。
【0024】
スピーカ２８は、ミキシング回路２７ｂから取得したミキシング後の音信号に基づいて、再生音を出力する。スピーカ２８は、耳装着型デバイス２０を装着したユーザの耳穴（鼓膜）へ向けて音波を発するスピーカであるが、骨伝導スピーカであってもよい。
【0025】
次に、携帯端末３０について説明する。携帯端末３０は、所定のアプリケーションプログラムがインストールされることにより、音信号処理システム１０におけるユーザインタフェース装置として機能する情報端末である。また、携帯端末３０は、耳装着型デバイス２０に第４音信号（音楽コンテンツ）を提供する音源としても機能する。ユーザは、具体的には、携帯端末３０を操作することにより、スピーカ２８によって再生される音楽コンテンツの選択、及び、耳装着型デバイス２０の動作モードの切り替えなどを行うことができる。携帯端末３０は、ＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）３１と、通信回路３２と、ＣＰＵ３３と、メモリ３４とを備える。
【0026】
ＵＩ３１は、ユーザの操作を受け付け、かつ、ユーザへ画像を提示するユーザインタフェース装置である。ＵＩ３１は、タッチパネルなどの操作受付部、及び、表示パネルなどの表示部によって実現される。
【0027】
通信回路３２は、耳装着型デバイス２０へユーザが選択した音楽コンテンツの音信号である第４音信号を送信する。通信回路３２は、例えば、無線通信回路であり、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＢＬＥ（Ｂｌｕｅｔｏｏｔｈ（登録商標） Ｌｏｗ Ｅｎｅｒｇｙ）などの通信規格に基づいて、耳装着型デバイス２０と通信を行う。
【0028】
ＣＰＵ３３は、表示部への画像の表示、及び、通信回路３２を用いた第４音信号の送信などに関する情報処理を行う。ＣＰＵ３３は、例えば、マイクロコンピュータによって実現されるが、プロセッサによって実現されてもよい。画像の表示機能、及び、第４音信号の送信機能などは、ＣＰＵ３３がメモリ３４に記憶されたコンピュータプログラムを実行することにより実現される。
【0029】
メモリ３４は、ＣＰＵ３３が情報処理を行うために必要な各種情報、ＣＰＵ３３が実行するコンピュータプログラム、及び、第４音信号（音楽コンテンツ）などが記憶される記憶装置である。メモリ３４は、例えば、半導体メモリによって実現される。
【0030】
［実施例１］
上述のように、耳装着型デバイス２０は、ユーザが乗る移動体が移動しており、かつ、移動体内でアナウンス音が出力されると、自動的に外音取り込みモードの動作を行うことができる。以下、具体的なシチュエーションを例に挙げつつ、耳装着型デバイス２０の複数の実施例について説明する。まず、耳装着型デバイス２０の実施例１について説明する。図３は、耳装着型デバイス２０の実施例１のフローチャートである。なお、実施例１は、耳装着型デバイス２０を装着しているユーザが移動体に乗っている場合に使用することを想定した動作を示す。
上述のように、耳装着型デバイス２０は、ユーザが乗る移動体が移動しており、かつ、移動体内でアナウンス音が出力されると、自動的に外音取り込みモードの動作を行うことができる。以下、具体的なシチュエーションを例に挙げつつ、耳装着型デバイス２０の複数の実施例について説明する。まず、耳装着型デバイス２０の実施例１について説明する。図３は、耳装着型デバイス２０の実施例１のフローチャートである。なお、実施例１は、耳装着型デバイス２０を装着しているユーザが移動体に乗っている場合に使用することを想定した動作を示す。
【0031】
マイクロフォン２１は音を取得し、取得した音の第１音信号を出力する（Ｓ１１）。ノイズ特徴量算出部２４ｂは、マイクロフォン２１から出力される第１音信号であってローパスフィルタ２３ｃが適用された第１音信号に信号処理を行うことにより、スペクトルフラットネスを算出する（Ｓ１２）。スペクトルフラットネスは、第１音信号に含まれるノイズの特徴量の一例であり、具体的には、信号の平坦さを示す特徴量である。スペクトルフラットネスは、例えば、第１音信号が、ホワイトノイズ、ピンクノイズ、または、ブラウンノイズなどのノイズにどの程度近いかを示す。ローパスフィルタ２３ｃのカットオフ周波数が５１２Ｈｚである場合、ステップＳ１２において算出されるスペクトルフラットネスは、５１２Ｈｚ以下のノイズの平坦さを示すといえる。
【0032】
ローパスフィルタ２３ｃが適用された第１音信号の複素スペクトルをＳk、フーリエ変換の周波数ビンの数（言い換えれば、ＦＦＴの計算点数、サンプリング点数）をＮFFTとすると、スペクトルフラットネスＳFは、以下の式で算出される。なお、ｅｘｐ［ｘ］は、ｅのｘ乗を意味し、ｌｎ（ｘ）は、ｌｏｇe（ｘ）を意味する。以下の式の右辺の分子は、エントロピーの計算に相当し、分母は、エントロピーを正規化するための計算に相当する。
【0033】
【数1】
【0034】
次に、音声特徴量算出部２４ａは、マイクロフォン２１から出力される第１音信号であってノイズ除去フィルタ２３ａ及びハイパスフィルタ２３ｂが適用された第１音信号に信号処理を行うことにより、ＭＦＣＣ（Ｍｅｌ－Ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒａｌ Ｃｏｅｆｆｉｃｉｅｎｔ、メル周波数ケプストラム係数）を算出する（Ｓ１３）。ＭＦＣＣは、音声認識等で特徴量として用いられるケプストラムの係数であり、メルフィルタバンクを用いて圧縮されたパワースペクトルを対数パワースペクトルに変換し、対数パワースペクトルに逆離散コサイン変換を適用することで得られる。算出されたＭＦＣＣは、判定部２４ｃに出力される。
【0035】
次に、判定部２４ｃは、マイクロフォン２１によって取得された音が当該音に含まれるノイズ成分に関連する所定の要件を満たすか否かを判定する（Ｓ１４）。判定部２４ｃは、具体的には、ノイズ特徴量算出部２４ｂから出力されるスペクトルフラットネスＳFの値が閾値以上であるか否かを判定する。
【0036】
スペクトルフラットネスＳFは、０～１の値をとり、値が１に近いほど、マイクロフォン２１によってホワイトノイズに近いノイズが取得されていると考えられる。つまり、スペクトルフラットネスＳFの値が閾値以上であるときには、ユーザが乗っている移動体が移動中であると考えられる。ステップＳ１４は、移動体が移動中であるか否かを判定するステップと言い換えることができる。
【0037】
判定部２４ｃは、ステップＳ１４においてスペクトルフラットネスＳF値が閾値以上であるときには、マイクロフォン２１によって取得された音が所定の要件を満たすと判定し（Ｓ１４でＹｅｓ）、ステップＳ１５の処理を行う。判定部２４ｃは、音声特徴量算出部２４ａから出力されるＭＦＣＣに基づいて、マイクロフォン２１によって取得された音に人の声が含まれるか否かを判定する（Ｓ１５）。
【0038】
判定部２４ｃは、例えば、ＭＦＣＣを入力として上記音に人の声が含まれるか否かの判定結果を出力する機械学習モデル（ニューラルネットワーク）を含み、このような機械学習モデルを用いてマイクロフォン２１によって取得された音に人の声が含まれるか否かを判定する。ここでの人の声は、アナウンス音に含まれる人の声を想定している。
【0039】
マイクロフォン２１によって取得された音に人の声が含まれると判定されると（Ｓ１５でＹｅｓ）、切替部２４ｄは、外音取り込みモードの動作を行う（Ｓ１６）。つまり、耳装着型デバイス２０（切替部２４ｄ）は、移動体が移動中であり（Ｓ１４でＹｅｓ）、かつ、人の声が出力されているときに（Ｓ１５でＹｅｓ）、外音取り込みモードの動作を行う（Ｓ１６）。
【0040】
図４は、外音取り込みモードにおける動作の第１のフローチャートである。外音取り込みモードにおいて、切替部２４ｄは、マイクロフォン２１によって出力される第１音信号に特定の周波数成分を強調するためのイコライジング処理を行った第２音信号を生成し、生成した第２音信号を出力する（Ｓ１６ａ）。特定の周波数成分は、例えば、１００Ｈｚ以上２ｋＨｚ以下の周波数成分である。このように人の声の周波数帯域に相当する帯域が強調されれば、それにより人の声が強調されるので、アナウンス音（より詳細には、アナウンス音に含まれる人の声）が強調される。
【0041】
ミキシング回路２７ｂは、第２音信号に通信回路２７ａによって受信された第４音信号（音楽コンテンツ）をミキシングしてスピーカ２８に出力し（Ｓ１６ｂ）、スピーカ２８は、第４音信号がミキシングされた第２音信号に基づいて再生音を出力する（Ｓ１６ｃ）。ステップＳ１６ａの処理の結果、アナウンス音が強調されるので、耳装着型デバイス２０のユーザはアナウンス音を聞き取りやすくなる。
【0042】
一方、マイクロフォン２１によって取得された音が所定の要件を満たさない（スペクトルフラットネスＳFの値が閾値未満である）と判定された場合（図３のＳ１４でＮｏ）、及び、当該音に人の声が含まれないと判定された場合（Ｓ１４でＹｅｓ、かつ、Ｓ１５でＮｏ）、切替部２４ｄは、通常モードの動作を行う（Ｓ１７）。スピーカ２８からは通信回路２７ａによって受信された第４音信号の再生音（音楽コンテンツ）が出力され、第２音信号に基づく再生音は出力されない。つまり、切替部２４ｄは、スピーカ２８に第２音信号に基づく再生音を出力させない。
【0043】
以上の図３のフローチャートに示される処理は、所定時間ごとに繰り返される。つまり、所定時間ごとに通常モード及び外音取り込みモードのいずれのモードで動作するかが判断される。所定時間は、例えば、１／６０秒などである。そして、耳装着型デバイス２０は、移動体が移動中であり、かつ、人の声が出力されているという条件を満たすときのみ（つまり、ステップＳ１４でＹｅｓかつステップＳ１５でＹｅｓのときのみ）外音取り込みモードの動作を行い、それ以外のときは通常モードの動作を行う。
【0044】
以上説明したように、ＤＳＰ２２は、マイクロフォン２１によって取得された音に含まれるノイズが所定の要件を満たし、かつ、当該音に人の声が含まれると判定した場合に、第１音信号に基づく第２音信号を出力する。ＤＳＰ２２は、マイクロフォン２１によって取得された音が当該音に含まれるノイズ成分に関連する所定の要件を満たし、かつ、当該音に人の声が含まれると判定した場合に、第１音信号に信号処理を行った第２音信号を出力する。この信号処理には、音の特定の周波数成分を強調するためのイコライジング処理が含まれる。また、ＤＳＰ２２は、マイクロフォン２１によって取得された音が所定の要件を満たさないと判定した場合、及び、音に人の声が含まれないと判定した場合には、スピーカ２８に第２音信号に基づく再生音を出力させない。
【0045】
これにより、耳装着型デバイス２０は、移動体に乗っているユーザが当該移動体の移動中にアナウンス音を聞き取ることを支援することができる。ユーザは、音楽コンテンツに没頭していてもアナウンス音を聞き逃しにくくなる。
【0046】
なお、外音取り込みモードにおける動作は、図４に示される動作に限定されない。例えば、ステップＳ１６ａにおいてイコライジング処理が行われることは必須ではなく、第１音信号をゲインアップする（振幅を増大する）信号処理により第２音信号が生成されてもよい。また、外音取り込みモードにおいて、第１音信号に信号処理が行われることは必須ではない。
【0047】
図５は、外音取り込みモードにおける動作の第２のフローチャートである。図５の例では、切替部２４ｄは、マイクロフォン２１によって出力される第１音信号を第２音信号として出力する（Ｓ１６ｄ）。つまり、切替部２４ｄは、第１音信号を実質的にそのまま第２音信号として出力する。また、切替部２４ｄは、ミキシング回路２７ｂに、ミキシング時の第４音信号のアテネーション（ゲインダウン、振幅の減衰）を指示する。
【0048】
ミキシング回路２７ｂは、第２音信号に通常モードよりも振幅が減衰した第４音信号（音楽コンテンツ）をミキシングしてスピーカ２８に出力し（Ｓ１６ｅ）、スピーカ２８は、振幅が減衰した第４音信号がミキシングされた第２音信号に基づいて再生音を出力する（Ｓ１６ｆ）。
【0049】
このように、ＤＳＰ２２によって第２音信号の出力が開始された後の外音取り込みモードの動作中には、第２音信号の出力が開始される前の通常モードの動作中よりも振幅が減衰した第４音信号が第２音信号にミキシングされてもよい。この結果、アナウンス音が強調されるので、耳装着型デバイス２０のユーザはアナウンス音を聞き取りやすくなる。
【0050】
なお、外音取り込みモードにおける動作は、図４及び図５のような動作に限定されない。例えば、図４の外音取り込みモードの動作において、第１音信号へのイコライジング処理によって生成された第２音信号に、図５のステップＳ１６ｅのように減衰した第４音信号がミキシングされてもよい。また、図５の外音取り込みモードの動作において、第４音信号を減衰する処理が省略され、第２音信号に減衰していない第４音信号がミキシングされてもよい。
【0051】
［実施例２］
耳装着型デバイス２０は、第４音信号（音楽コンテンツ）の再生中に、耳装着型デバイス２０を装着したユーザの周囲の環境音を低減するノイズキャンセル機能（以下、ノイズキャンセルモードとも記載される）を有してもよい。
耳装着型デバイス２０は、第４音信号（音楽コンテンツ）の再生中に、耳装着型デバイス２０を装着したユーザの周囲の環境音を低減するノイズキャンセル機能（以下、ノイズキャンセルモードとも記載される）を有してもよい。
【0052】
まず、ノイズキャンセルモードについて説明する。ユーザによって携帯端末３０のＵＩ３１にノイズキャンセルモードを指示する操作が行われると、ＣＰＵ３３は、ノイズキャンセルモードを耳装着型デバイス２０に設定するための設定指令を、通信回路３２を用いて耳装着型デバイス２０へ送信する。耳装着型デバイス２０の通信回路２７ａによって設定指令が受信されると、切替部２４ｄは、ノイズキャンセルモードの動作を行う。
【0053】
図６は、ノイズキャンセルモードにおける動作のフローチャートである。ノイズキャンセルモードにおいて、切替部２４ｄは、マイクロフォン２１によって出力される第１音信号に位相反転処理を行って第３音信号として出力する（Ｓ１８ａ）。
【0054】
ミキシング回路２７ｂは、第３音信号に通信回路２７ａによって受信された第４音信号（音楽コンテンツ）をミキシングしてスピーカ２８に出力し（Ｓ１８ｂ）、スピーカ２８は、第４音信号がミキシングされた第３音信号に基づいて再生音を出力する（Ｓ１８ｃ）。ステップＳ１８ａ及びステップＳ１８ｂの処理の結果、耳装着型デバイス２０のユーザにとっては耳装着型デバイス２０の周囲の音が減衰して感じられるので、当該ユーザは音楽コンテンツを明瞭に受聴することができる。
【0055】
以下、このように耳装着型デバイス２０が通常モードに代えてノイズキャンセルモードで動作しているときの実施例２について説明する。図７は、耳装着型デバイス２０の実施例２のフローチャートである。なお、実施例２は、耳装着型デバイス２０を装着しているユーザが移動体に乗っているときの動作を示す。
【0056】
【0057】
ステップＳ１３の次に、判定部２４ｃは、マイクロフォン２１によって取得された音が当該音に含まれるノイズ成分に関連する所定の要件を満たすか否かを判定する（Ｓ１４）。ステップＳ１４の処理の詳細は、実施例１（図３）のステップＳ１４と同様である。判定部２４ｃは、具体的には、スペクトルフラットネスＳFの値が閾値以上であるか否かを判定する。
【0058】
判定部２４ｃは、ステップＳ１４においてスペクトルフラットネスＳF値が閾値以上であるときには、マイクロフォン２１によって取得された音が所定の要件を満たすと判定し（Ｓ１４でＹｅｓ）、ステップＳ１５の処理を行う。判定部２４ｃは、音声特徴量算出部２４ａから出力されるＭＦＣＣに基づいて、マイクロフォン２１によって取得された音に人の声が含まれるか否かを判定する（Ｓ１５）。ステップＳ１５の処理の詳細は、実施例１（図３）のステップＳ１５と同様である。
【0059】
マイクロフォン２１によって取得された音に人の声が含まれると判定されると（Ｓ１５でＹｅｓ）、切替部２４ｄは、外音取り込みモードの動作を行う（Ｓ１６）。つまり、耳装着型デバイス２０（切替部２４ｄ）は、移動体が移動中であり（Ｓ１４でＹｅｓ）、かつ、人の声が出力されているときに（Ｓ１５でＹｅｓ）、外音取り込みモードの動作を行う（Ｓ１６）。外音取り込みモードにおける動作については、図４及び図５等を用いて説明した通りである。外音取り込みモードにおける動作によれば、アナウンス音が強調されるので、耳装着型デバイス２０のユーザはアナウンス音を聞き取りやすくなる。
【0060】
一方、マイクロフォン２１によって取得された音が所定の要件を満たさない（スペクトルフラットネスＳFの値が閾値未満である）と判定された場合（Ｓ１４でＮｏ）、及び、当該音に人の声が含まれないと判定された場合（Ｓ１４でＹｅｓ、かつ、Ｓ１５でＮｏ）、切替部２４ｄは、ノイズキャンセルモードの動作を行う（Ｓ１８）。ノイズキャンセルモードの動作については図６を用いて説明した通りである。
【0061】
以上の図７のフローチャートに示される処理は、所定時間ごとに繰り返される。つまり、所定時間ごとにノイズキャンセルモード及び外音取り込みモードのいずれのモードで動作するかが判断される。所定時間は、例えば、１／６０秒などである。そして、耳装着型デバイス２０は、移動体が移動中であり、かつ、人の声が出力されているという条件を満たすときのみ（つまり、ステップＳ１４でＹｅｓかつステップＳ１５でＹｅｓのときのみ）外音取り込みモードの動作を行い、それ以外のときはノイズキャンセルモードの動作を行う。
【0062】
このように、ＤＳＰ２２は、マイクロフォン２１によって取得された音が当該音に含まれるノイズ成分に関連する所定の要件を満たさないと判定した場合、及び、当該音に人の声が含まれないと判定した場合には、第１音信号に位相反転処理を行った第３音信号を出力する。スピーカ２８は、出力された第３音信号に基づいて再生音を出力する。
【0063】
これにより、耳装着型デバイス２０は、移動体に乗っているユーザが当該移動体の移動中にユーザは音楽コンテンツを明瞭に受聴することを支援することができる。
【0064】
なお、ユーザがノイズキャンセルモードを指示するときには、携帯端末３０のＵＩ３１には、例えば、図８のような選択画面が表示される。図８は、動作モードの選択画面の一例を示す図である。図８に示されるように、ユーザが選択可能な動作モードには、例えば、通常モード、ノイズキャンセルモード、及び、外音取り込みモードの３つのモードが含まれる。つまり、耳装着型デバイス２０は、ユーザの携帯端末３０への操作に基づいて外音取り込みモードの動作を行ってもよい。
【0065】
［実施例３］
耳装着型デバイス２０は、第１信号のうち人の声が含まれていない部分を用いて算出されたスペクトルフラットネスＳFに基づいて、ノイズが所定の要件を満たすか否か（移動体が移動中であるか否か）の判定を行ってもよい。図９は、このような耳装着型デバイス２０の実施例３のフローチャートである。
耳装着型デバイス２０は、第１信号のうち人の声が含まれていない部分を用いて算出されたスペクトルフラットネスＳFに基づいて、ノイズが所定の要件を満たすか否か（移動体が移動中であるか否か）の判定を行ってもよい。図９は、このような耳装着型デバイス２０の実施例３のフローチャートである。
【0066】
なお、実施例３は、耳装着型デバイス２０を装着しているユーザが移動体に乗っているときの動作を示す。実施例３では、第１音信号には、第１期間に相当する部分と、第１期間の後の第２期間に相当する部分が含まれ、第１期間は、第１の音を示す第１部分信号（つまり、第１音信号の一部の信号）に対応し、第２期間は、第２の音を示す第２部分信号（つまり、第１音信号の他の一部の信号）に対応するものとする。第２期間は、例えば、第１期間の直後の一定期間である。
【0067】
ステップＳ１１～ステップＳ１３の処理は、実施例１（図３）のステップＳ１１～ステップＳ１３の処理と同様である。
【0068】
ステップＳ３４の次に、判定部２４ｃは、音声特徴量算出部２４ａから出力されるＭＦＣＣに基づいて、マイクロフォン２１によって取得された第１の音に人の声が含まれるか否かを判定する（Ｓ１９）。
【0069】
マイクロフォン２１によって取得された第１の音に人の声が含まれないと判定されると（Ｓ１９でＮｏ）、判定部２４ｃは、マイクロフォン２１によって取得された第１の音が当該第１音に含まれるノイズ成分に関連する所定の要件を満たすか否かを判定する（Ｓ２０）。判定部２４ｃは、具体的には、フラットネスＳFの値が閾値以上であるか否かを判定する。
【0070】
判定部２４ｃは、ステップＳ２０においてスペクトルフラットネスＳF値が閾値以上であるときには、マイクロフォン２１によって取得された第１の音が所定の要件を満たすと判定し（Ｓ２０でＹｅｓ）、ステップＳ２１の処理を行う。判定部２４ｃは、音声特徴量算出部２４ａから出力されるＭＦＣＣに基づいて、マイクロフォン２１によって取得された第２の音に人の声が含まれるか否かを判定する（Ｓ２１）。
【0071】
マイクロフォン２１によって取得された第２の音に人の声が含まれると判定されると（Ｓ２１でＹｅｓ）、切替部２４ｄは、外音取り込みモードの動作を行う（Ｓ１６）。外音取り込みモードにおける動作については、図４及び図５等を用いて説明した通りである。外音取り込みモードにおける動作によれば、アナウンス音が強調されるので、耳装着型デバイス２０のユーザはアナウンス音を聞き取りやすくなる。
【0072】
一方、第１の音に人の声が含まれると判定された場合（Ｓ１９でＹｅｓ）、第１の音が所定の要件を満たさない（スペクトルフラットネスＳFの値が閾値未満である）と判定された場合（Ｓ２０でＮｏ）、及び、第２の音に人の声が含まれないと判定された場合（Ｓ２０でＹｅｓ、かつ、Ｓ２１でＮｏ）、切替部２４ｄは、通常モードの動作を行う（Ｓ１７）。なお、ステップＳ１７に代えて上述のステップＳ１８のノイズキャンセルモードの動作が行われてもよい。ノイズキャンセルモードの動作については図６を用いて説明した通りである。
【0073】
以上の図９のフローチャートに示される処理は、所定時間ごとに繰り返される。つまり、所定時間ごとに通常モード及び外音取り込みモードのいずれのモードで動作するかが判断される。所定時間は、例えば、１／６０秒などである。そして、耳装着型デバイス２０は、移動体が移動中であり、かつ、人の声が出力されているという条件を満たすときのみ（つまり、ステップＳ２０でＹｅｓかつステップＳ２１でＹｅｓのときのみ）外音取り込みモードの動作を行い、それ以外のときは通常モードの動作を行う。
【0074】
このように、ＤＳＰ２２は、第１の音が当該音に含まれるノイズ成分に関連する所定の要件を満たし、かつ、第１の音に人の声が含まれず、かつ、第２の音に人の声が含まれると判定した場合に、第２音信号を出力する。
【0075】
これにより、耳装着型デバイス２０は、第１音信号のうち人の声が含まれていない部分を用いてノイズが所定の要件を満たすか否かの判定を行うので、当該判定の精度の向上を図ることができる。
【0076】
［ノイズが所定の要件を満たすか否かの判定についての補足］
上記実施の形態では、判定部２４ｃは、ローパスフィルタ２３ｃが適用された第１音信号に基づいて、ノイズが所定の要件を満たすか否か（スペクトルフラットネスＳFが閾値以上であるか否か）を判定した。以下、このようなローパスフィルタ２３ｃの適用方法の妥当性について、スペクトルフラットネスＳFの波形を参照しながら補足する。
上記実施の形態では、判定部２４ｃは、ローパスフィルタ２３ｃが適用された第１音信号に基づいて、ノイズが所定の要件を満たすか否か（スペクトルフラットネスＳFが閾値以上であるか否か）を判定した。以下、このようなローパスフィルタ２３ｃの適用方法の妥当性について、スペクトルフラットネスＳFの波形を参照しながら補足する。
【0077】
図１０は、移動体が移動中でかつ移動体内でアナウンス音が出力されているときにマイクロフォン２１によって取得された第１音信号の５１２Ｈｚ以上の成分を対象としてスペクトルフラットネスＳFを算出した場合の、スペクトルフラットネスＳFの経時変化を示す図である。
【0078】
図１１は、移動体が移動中でかつ移動体内でアナウンス音が出力されているときにマイクロフォン２１によって取得された第１音信号の５１２Ｈｚ未満の成分を対象としてスペクトルフラットネスＳFを算出した場合の、スペクトルフラットネスＳFの経時変化を示す図である。
【0079】
図１２は、移動体が停止中でかつ移動体内でアナウンス音が出力されているときにマイクロフォン２１によって取得された第１音信号の５１２Ｈｚ以上の成分を対象としてスペクトルフラットネスＳFを算出した場合の、スペクトルフラットネスＳFの経時変化を示す図である。
【0080】
図１３は、移動体が停止中でかつ移動体内でアナウンス音が出力されているときにマイクロフォン２１によって取得された第１音信号の５１２Ｈｚ未満の成分を対象としてスペクトルフラットネスＳFを算出した場合の、スペクトルフラットネスＳFの経時変化を示す図である。
【0081】
図１０及び図１２に示されるように、第１音信号の５１２Ｈｚ以上の成分に基づいて算出されたスペクトルフラットネスＳFは、変動が激しく、移動体が移動中であるか否か（スペクトルフラットネスＳFが閾値以上であるか否か）の判定には適していない。
【0082】
一方、図１１及び図１３に示されるように、第１音信号の５１２Ｈｚ未満の成分に基づいて算出されたスペクトルフラットネスＳFは比較的変動が小さく、移動体が移動中であるか否か（スペクトルフラットネスＳFが閾値以上であるか否か）の判定に適している。つまり、ローパスフィルタ２３ｃが適用された第１音信号に基づいて、移動体が移動中であるか否か（スペクトルフラットネスＳFが閾値以上であるか否か）を判定することで、判定精度の向上を図ることができる。
【0083】
図１１及び図１３の例では、閾値を１０-8付近に設定されれば、判定部２４ｃは、移動体が移動中か停止中かを判定できる。このような閾値は一例であり、閾値については設計者によって経験的または実験的に適宜定められればよい。
【0084】
なお、判定部２４ｃは、スペクトルフラットネスＳFの移動平均値または移動中央値が閾値以上であるか否かに基づいて、ノイズが所定の要件を満たすか否かを判定してもよい。この場合、閾値についても移動平均値または移動中央値に対応する値に設定される。
【0085】
［人の声が含まれるか否かの判定についての補足］
また、上記実施の形態では、判定部２４ｃは、ハイパスフィルタ２３ｂが適用された第１音信号に基づいて、マイクロフォン２１が取得した音に人の声が含まれるか否かを判定した。以下、このようなハイパスフィルタ２３ｂの適用方法の妥当性について、スペクトログラムを参照しながら補足する。
また、上記実施の形態では、判定部２４ｃは、ハイパスフィルタ２３ｂが適用された第１音信号に基づいて、マイクロフォン２１が取得した音に人の声が含まれるか否かを判定した。以下、このようなハイパスフィルタ２３ｂの適用方法の妥当性について、スペクトログラムを参照しながら補足する。
【0086】
図１４は、移動体が移動中でかつ移動体内でアナウンス音が出力されているときにマイクロフォン２１によって取得された第１音信号のスペクトログラムを示す図である。図１５は、移動体が移動中でかつ移動体内でアナウンス音が出力されていないときにマイクロフォン２１によって取得された第１音信号のスペクトログラムを示す図である。
【0087】
図１６は、移動体が停止中でかつ移動体内でアナウンス音が出力されているときにマイクロフォン２１によって取得された第１音信号のスペクトログラムを示す図である。図１７は、移動体が停止中でかつ移動体内でアナウンス音が出力されていないときにマイクロフォン２１によって取得された第１音信号のスペクトログラムを示す図である。
【0088】
図１４～図１７においては、色の白い部分ほどパワー値が高く、色が黒い部分ほどパワー値が低いことを意味する。図１４～図１７に示されるように、移動体が移動中であるか停止中であるかに関わらず、アナウンス音が出力されているとき（図１４及び図１６）においては、５１２Ｈｚ以上の帯域に人の声に相当する波紋が現れている。したがって、判定部２４ｃは、少なくとも第１音信号の５１２Ｈｚ以上の成分に基づいて、マイクロフォン２１によって取得された音に人の声が含まれるか否かを判定することができる。また、判定部２４ｃは、ハイパスフィルタ２３ｂが適用された第１音信号に基づいて、マイクロフォン２１によって取得された音に人の声が含まれるか否かを判定することで、判定精度の向上を図ることができる。
【0089】
［ノイズ除去フィルタの変形例］
ノイズ除去フィルタ２３ａは、適応フィルタであってもよい。具体的には、上記図２でノイズ特徴量算出部２４ｂからノイズ除去フィルタ２３ａへ向かう破線矢印によって示されるように、ノイズ除去フィルタ２３ａは、ノイズ特徴量算出部２４ｂから出力されるスペクトルフラットネスＳFの値を用いてフィルタ係数を更新してもよい。図１８は、適応フィルタとして機能するノイズ除去フィルタ２３ａの機能構成を示すブロック図である。
ノイズ除去フィルタ２３ａは、適応フィルタであってもよい。具体的には、上記図２でノイズ特徴量算出部２４ｂからノイズ除去フィルタ２３ａへ向かう破線矢印によって示されるように、ノイズ除去フィルタ２３ａは、ノイズ特徴量算出部２４ｂから出力されるスペクトルフラットネスＳFの値を用いてフィルタ係数を更新してもよい。図１８は、適応フィルタとして機能するノイズ除去フィルタ２３ａの機能構成を示すブロック図である。
【0090】
図１８に示されるように、適応フィルタとして実現されるノイズ除去フィルタ２３ａは、フィルタ係数更新部２３ａ１と、適応フィルタ部２３ａ２とを備える。
【0091】
フィルタ係数更新部２３ａ１は、以下の更新式に基づいて、適応フィルタの係数を逐次更新する。以下の式において、ｗはフィルタ係数であり、ｘは第１音信号であり、ｅは誤差信号である。誤差信号とは、フィルタ係数が適用された後の第１音信号と目標信号との差分に相当する信号である。μはフィルタ係数の更新量（ステップサイズ）を示すパラメータ（以下、ステップサイズパラメータとも記載される）であり、正の係数である。
【0092】
【数2】
【0093】
適応フィルタ部２３ａ２は、フィルタ係数更新部２３ａ１によって算出されたフィルタ係数によって構成されるフィルタを第１音信号に適用し、フィルタ係数が適用された後の第１音信号（つまり、ノイズ除去後の第１音信号）をハイパスフィルタ２３ｂへ出力する。
【0094】
ここで、フィルタ係数更新部２３ａ１は、ステップサイズパラメータをスペクトルフラットネスＳFの値を用いて変更してもよい。フィルタ係数更新部２３ａ１は、例えば、スペクトルフラットネスＳFの値が大きいほどステップサイズパラメータの値を現在の値よりも大きい値に変更する。フィルタ係数更新部２３ａ１は、具体的には、第１閾値、及び、第１閾値よりも大きい第二閾値を用いて、以下のようにステップサイズパラメータの値を変更する。
【0095】
フィルタ係数更新部２３ａ１は、スペクトルフラットネスＳFの値が第１閾値未満である場合には、ステップサイズパラメータを現在の値よりも小さい値に変更し、スペクトルフラットネスＳFの値が第１閾値以上第２閾値未満である場合には、ステップサイズパラメータを現在の値に維持する。フィルタ係数更新部２３ａ１は、スペクトルフラットネスＳFの値が第２閾値以上である場合には、ステップサイズパラメータを現在の値よりも大きい値に変更する。
【0096】
これにより、ノイズ除去フィルタ２３ａ（フィルタ係数更新部２３ａ１は、）は、ノイズがホワイトノイズに近い時ほど、適応学習を促進することができる。なお、フィルタ係数更新部２３ａ１は、外音取り込みモードにおいてはステップサイズパラメータの変更を行わなくてもよい。つまり、フィルタ係数更新部２３ａ１は、外音取り込みモードにおいてはステップサイズパラメータを一定値に固定してもよい。
【0097】
なお、図１８の例では、ノイズ除去フィルタ２３ａは、マイクロフォン２１によって出力される第１音信号を用いたフィードフォワード制御方式の適応フィルタとして実現されたが、ノイズ除去フィルタ２３ａは、フィードバック制御方式の適応フィルタとして実現されてもよい。
【0098】
また、ノイズ除去フィルタ２３ａは、係数が固定されたフィルタ、または、適応フィルタに限定されない。ノイズ除去フィルタ２３ａは、互いに種類が異なる複数のフィルタを有し、スペクトルフラットネスＳFの値に基づいて、複数のフィルタを切り替えることができるフィルタであってもよい。
【0099】
［効果等］
以上説明したように、耳装着型デバイス２０は、音を取得し、取得された音の第１音信号を出力するマイクロフォン２１と、当該音が当該音に含まれるノイズ成分に関連する所定の要件を満たし、かつ、当該音に人の声が含まれると判定した場合に、第１音信号に基づく第２音信号を出力するＤＳＰ２２と、出力された第２音信号に基づいて再生音を出力するスピーカ２８と、マイクロフォン２１、ＤＳＰ２２、及び、スピーカ２８を収容するハウジング２９とを備える。ＤＳＰ２２は、信号処理回路の一例である。
以上説明したように、耳装着型デバイス２０は、音を取得し、取得された音の第１音信号を出力するマイクロフォン２１と、当該音が当該音に含まれるノイズ成分に関連する所定の要件を満たし、かつ、当該音に人の声が含まれると判定した場合に、第１音信号に基づく第２音信号を出力するＤＳＰ２２と、出力された第２音信号に基づいて再生音を出力するスピーカ２８と、マイクロフォン２１、ＤＳＰ２２、及び、スピーカ２８を収容するハウジング２９とを備える。ＤＳＰ２２は、信号処理回路の一例である。
【0100】
このような耳装着型デバイス２０は、周囲で聞こえる人の声を、周囲のノイズ環境に応じて再生することができる。例えば、耳装着型デバイス２０は、移動体が移動中に移動体内部でアナウンス音が出力されたときに、アナウンス音を含む再生音をスピーカ２８から出力することができる。
【0101】
また、例えば、ＤＳＰ２２は、上記音が所定の要件を満たし、かつ、上記音に人の声が含まれると判定した場合に、第１音信号を第２音信号として出力する。
【0102】
このような耳装着型デバイス２０は、第１音信号に基づいて、周囲で聞こえる人の声を再生することができる。
【0103】
また、例えば、ＤＳＰ２２は、上記音が所定の要件を満たし、かつ、上記音に人の声が含まれると判定した場合に、第１音信号に信号処理を行った第２音信号を出力する。
【0104】
このような耳装着型デバイス２０は、信号処理された第１音信号に基づいて、周囲で聞こえる人の声を再生することができる。
【0105】
また、例えば、上記信号処理には、上記音の特定の周波数成分を強調するためのイコライジング処理が含まれる。
【0106】
このような耳装着型デバイス２０は、周囲で聞こえる人の声を強調して再生することができる。
【0107】
また、例えば、ＤＳＰ２２は、上記音が所定の要件を満たさないと判定した場合、及び、上記音に人の声が含まれないと判定した場合には、スピーカ２８に第２音信号に基づく再生音を出力させない。
【0108】
このような耳装着型デバイス２０は、周囲に人の声が聞こえない場合等に、第２音信号に基づく再生音の出力を停止することができる。
【0109】
また、例えば、ＤＳＰ２２は、上記音が所定の要件を満たさないと判定した場合、及び、上記音に人の声が含まれないと判定した場合には、第１音信号に位相反転処理を行った第３音信号を出力し、スピーカ２８は、出力された第３音信号に基づいて再生音を出力する。
【0110】
このような耳装着型デバイス２０は、周囲に人の声が聞こえない場合等に、周囲の音を聞こえにくくすることができる。
【0111】
また、例えば、耳装着型デバイス２０は、さらに、出力された第２音信号に、音源から提供される第４音信号をミキシングするミキシング回路２７ｂを備える。ＤＳＰ２２によって第２音信号の出力が開始されると、第２音信号の出力が開始される前よりも振幅が減衰した第４音信号が第２音信号にミキシングされる。
【0112】
このような耳装着型デバイス２０は、周囲で聞こえる人の声を強調して再生することができる。
【0113】
また、例えば、ＤＳＰ２２は、ローパスフィルタ２３ｃが適用された第１音信号に基づいて、上記音が所定の要件を満たすか否かを判定し、ハイパスフィルタ２３ｂが適用された第１音信号に基づいて、上記音に人の声が含まれるか否かを判定する。
【0114】
このような耳装着型デバイス２０は、第１音信号にフィルタを適用して判定を行うことで、判定精度の向上を図ることができる。
【0115】
また、例えば、ＤＳＰ２２は、適応フィルタが適用された第１音信号に基づいて、上記音に人の声が含まれるか否かを判定し、適応フィルタのフィルタ係数の更新量を、上記音に含まれるノイズに基づいて変更する。
【0116】
このような耳装着型デバイス２０は、周囲のノイズ環境に応じて適応フィルタの効果を変動させることができる。
【0117】
また、例えば、上記音には、第１期間に取得された第１の音、及び、第１期間の後の第２期間に取得された第２の音が含まれる。ＤＳＰ２２は、第１の音が所定の要件を満たし、かつ、第１の音に人の声が含まれず、かつ、第２の音に人の声が含まれると判定した場合に、第２音信号を出力する。
【0118】
このような耳装着型デバイス２０は、上記音が所定の要件を満たすか否かの判定精度の向上を図ることができる。
【0119】
また、上記ＤＳＰ２２などのコンピュータによって実行される再生方法は、音を取得するマイクロフォン２１によって出力される当該音の第１音信号に基づいて、当該音当該音に含まれるノイズ成分に関連する所定の要件を満たし、かつ、当該音に人の声が含まれると判定した場合に、第１音信号に基づく第２音信号を出力する出力ステップＳ１６ａ（またはＳ１６ｄ）と、出力された第２音信号に基づいてスピーカ２８から再生音を出力する再生ステップＳ１６ｃ（またはＳ１６ｆ）とを含む。
【0120】
このような再生方法は、周囲で聞こえる人の声を、周囲のノイズ環境に応じて再生することができる。
【0121】
（その他の実施の形態）
以上、実施の形態について説明したが、本開示は、上記実施の形態に限定されるものではない。
以上、実施の形態について説明したが、本開示は、上記実施の形態に限定されるものではない。
【0122】
例えば、上記実施の形態においては、耳装着型デバイスは、イヤホン型のデバイスであると説明されたが、ヘッドホン型のデバイスであってもよい。また、上記実施の形態において、耳装着型デバイスは、音楽コンテンツを再生する機能を有していたが、音楽コンテンツを再生する機能（通信回路及びミキシング回路）を有していなくてもよい。例えば、耳装着型デバイスは、ノイズキャンセル機能、及び、外音取り込み機能を有する耳栓または補聴器であってもよい。
【0123】
また、上記実施の形態では、マイクロフォンによって取得された音に人の声が含まれるか否かの判定は、機械学習モデルを使用して行われたが、音声特徴量のパターンマッチングなど、機械学習モデルを使用しない他のアルゴリズムに基づいて行われてもよい。また、マイクロフォンによって取得された音が当該音に含まれるノイズ成分に関連する所定の要件を満たすか否かの判定は、スペクトルフラットネスを使用して行われたが、機械学習モデルを使用して行われてもよい。
【0124】
また、上記実施の形態では、ノイズ成分に関連する所定の要件は、移動体が移動中であるか否かに対応する要件であった。しかしながら、ノイズ成分に関連する所定の要件は、例えば、周囲のノイズレベルが所定値よりも大きいか否かに対応する要件など、その他の要件であってもよい。
【0125】
また、上記実施の形態に係る耳装着型デバイスの構成は、一例である。例えば、耳装着型デバイスは、Ｄ／Ａ変換器、フィルタ、電力増幅器、または、Ａ／Ｄ変換器などの図示されない構成要素を含んでもよい。
【0126】
また、上記実施の形態において、音信号処理システムは、複数の装置によって実現されたが、単一の装置として実現されてもよい。音信号処理システムが複数の装置によって実現される場合、音信号処理システムが備える機能的な構成要素は、複数の装置にどのように振り分けられてもよい。例えば、上記実施の形態において、耳装着型デバイスが備える機能的な構成要素の一部または全部を携帯端末が備えてもよい。
【0127】
また、上記実施の形態における装置間の通信方法については特に限定されるものではない。上記実施の形態において２つの装置が通信を行う場合、２つの装置間には図示されない中継装置が介在してもよい。
【0128】
また、上記実施の形態で説明された処理の順序は、一例である。複数の処理の順序は変更されてもよいし、複数の処理は並行して実行されてもよい。また、特定の処理部が実行する処理を別の処理部が実行してもよい。また、上記実施の形態で説明されたデジタル信号処理の一部がアナログ信号処理によって実現されてもよい。
【0129】
また、上記実施の形態において、各構成要素は、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
【0130】
また、各構成要素は、ハードウェアによって実現されてもよい。例えば、各構成要素は、回路（又は集積回路）でもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。
【0131】
また、本開示の全般的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよい。また、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。例えば、本開示は、耳装着型デバイスまたは携帯端末などのコンピュータが実行する再生方法として実行されてもよいし、このような再生方法をコンピュータに実行させるためのプログラムとして実現されてもよい。また、本開示は、このようなプログラムが記録されたコンピュータ読み取り可能な非一時的な記録媒体として実現されてもよい。なお、ここでのプログラムには、汎用の携帯端末を上記実施の形態の携帯端末として機能させるためのアプリケーションプログラムが含まれる。
【0132】
その他、各実施の形態に対して当業者が思いつく各種変形を施して得られる形態、又は、本開示の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本開示に含まれる。
【産業上の利用可能性】
【0133】
本開示の耳装着型デバイスは、周囲の人の声を含む再生音を、周囲のノイズ環境に応じて出力することができる。
【符号の説明】
【0134】
１０ 音信号処理システム
２０ 耳装着型デバイス
２１ マイクロフォン
２２ ＤＳＰ
２３ フィルタ部
２３ａ ノイズ除去フィルタ
２３ａ１ フィルタ係数更新部
２３ａ２ 適応フィルタ部
２３ｂ ハイパスフィルタ
２３ｃ ローパスフィルタ
２４ 信号処理部
２４ａ 音声特徴量算出部
２４ｂ ノイズ特徴量算出部
２４ｃ 判定部
２４ｄ 切替部
２６ メモリ
２７ａ 通信回路
２７ｂ ミキシング回路
２８ スピーカ
２９ ハウジング
３０ 携帯端末
３１ ＵＩ
３２ 通信回路
３３ ＣＰＵ
３４ メモリ
２０ 耳装着型デバイス
２１ マイクロフォン
２２ ＤＳＰ
２３ フィルタ部
２３ａ ノイズ除去フィルタ
２３ａ１ フィルタ係数更新部
２３ａ２ 適応フィルタ部
２３ｂ ハイパスフィルタ
２３ｃ ローパスフィルタ
２４ 信号処理部
２４ａ 音声特徴量算出部
２４ｂ ノイズ特徴量算出部
２４ｃ 判定部
２４ｄ 切替部
２６ メモリ
２７ａ 通信回路
２７ｂ ミキシング回路
２８ スピーカ
２９ ハウジング
３０ 携帯端末
３１ ＵＩ
３２ 通信回路
３３ ＣＰＵ
３４ メモリ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】