(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-02-15
(54)【発明の名称】周囲騒音の検出、識別、及び管理のためのシステム及び方法
(51)【国際特許分類】
G10K 11/178 20060101AFI20230208BHJP
H04R 1/10 20060101ALI20230208BHJP
【FI】
G10K11/178 100
H04R1/10 101A
H04R1/10 101B
H04R1/10 104E
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022536501
(86)(22)【出願日】2020-12-14
(85)【翻訳文提出日】2022-08-09
(86)【国際出願番号】 CA2020051721
(87)【国際公開番号】W WO2021119806
(87)【国際公開日】2021-06-24
(32)【優先日】2019-12-19
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】522232411
【氏名又は名称】バーミンガム エリナ
(71)【出願人】
【識別番号】522232422
【氏名又は名称】アルザンプール シアマク
(71)【出願人】
【識別番号】522232433
【氏名又は名称】バーメイ ベフナズ
(74)【代理人】
【識別番号】100120891
【氏名又は名称】林 一好
(74)【代理人】
【識別番号】100165157
【氏名又は名称】芝 哲央
(74)【代理人】
【識別番号】100185269
【氏名又は名称】小菅 一弘
(72)【発明者】
【氏名】バーミンガム エリナ
(72)【発明者】
【氏名】アルザンプール シアマク
(72)【発明者】
【氏名】バーメイ ベフナズ
【テーマコード(参考)】
5D005
5D061
【Fターム(参考)】
5D005BB04
5D061FF02
(57)【要約】
本発明は、周囲忌避音の検出、識別、及び管理のためのシステムの例について説明する。システムは、ユーザの周りの周囲音を捕捉して周囲音の小さなセグメントにサンプリングするように構成されたマイクロフォンと、スピーカーと、スピーカーに送信される周囲音セグメントを調整する調整器とを有するイヤピース装置を含む。システムは、捕捉された音セグメントの忌避周囲音信号を識別し、忌避信号を除去し、抑制し、減衰するか又はマスキングすることにより忌避音信号を管理する推奨動作を提供する処理ユニットを更に含む。
【選択図】
図1
【特許請求の範囲】
【請求項1】
忌避周囲音の検出、識別及び管理のためのシステムであって、
ユーザの周りの周囲音を捕捉し、周囲音の小さなセグメントのサンプルを捕捉するように構成されたマイクロフォン、及びスピーカーを含むイヤピース装置と、
入力データを取得し、データを送信し、出力データを提供するための実行可能な命令でプログラムされたハードウェアプロセッサを有するインタフェースと、
入力情報、忌避周囲音信号のライブラリ、忌避音特徴マップ、識別予測モデル、忌避音識別クラス及び忌避音抑制予測モデルを記憶するメモリユニットと、
前記イヤピース装置、前記メモリユニット及び前記インタフェースと通信する処理ユニットと、を含み、
前記処理ユニットは、
前記イヤピース装置及び前記メモリユニットに結合され、周囲音セグメント中の忌避周囲音信号を、前記音セグメントの音の少なくとも1つの特徴を抽出することにより識別してそのような前記音セグメントの特徴マップを作成するための実行可能な命令でプログラムされた識別ユニットであって、前記音セグメントの前記特徴マップが、前記メモリユニットに記憶された前記識別予測モデルを使用して処理され、前記特徴マップ内の少なくとも1つの特徴が前記メモリユニット内の忌避音信号の前記特徴マップと比較され、前記忌避周囲音が識別された場合、前記識別ユニットが前記忌避音信号を識別クラスで分類する前記識別ユニットと、
前記識別ユニット及び前記メモリユニットに結合され、前記忌避音信号を備えた周囲音セグメントの混合信号を受信し、前記混合信号を処理し、前記混合信号の振幅及び位相を計算して前記混合信号の前記特徴マップを生成し、少なくとも1つの忌避音抑制モデルを使用して前記特徴マップを記憶された前記特徴マップと比較し、そのような前記忌避音信号を管理する推奨動作を提供するための実行可能な命令でプログラムされたフィルタリング処理ユニットとを含む、システム。
【請求項2】
前記イヤピース装置は、ユーザに送信される前記周囲音セグメントを抑制するか又は隔離するためのバルブを更に含む、請求項1に記載のシステム。
【請求項3】
前記フィルタリング処理ユニットは、生成された前記特徴マップを使用して前記混合信号から識別された忌避信号を自動的に除去して、周波数ドメインから時間ドメインに再構築された前記混合信号のクリーン音を取得し、かつ前記混合信号の位相と最後のセグメントのクリーン音の振幅を組み合わせて、前記スピーカーに送信されるクリーン音信号を作成するための実行可能な命令で更にプログラムされる、請求項1に記載のシステム。
【請求項4】
前記フィルタリング処理ユニットは、前記クリーン音信号を後処理し、スムーズな前記クリーン音信号を生成するための実行可能な命令で更にプログラムされる、請求項3に記載のシステム。
【請求項5】
前記フィルタリング処理ユニットは、減衰された忌避音を作成するために、ゲインのあるバイパスを更に含み、前記フィルタリング処理ユニットは、減衰された前記忌避音信号を前記クリーン音信号に自動的に追加するための実行可能な命令でプログラムされる、請求項3に記載のシステム。
【請求項6】
前記推奨動作は、識別された前記忌避周囲音信号を除去することである、請求項3に記載のシステム。
【請求項7】
前記推奨動作は、識別された前記忌避周囲音信号を減衰することである、請求項5に記載のシステム。
【請求項8】
前記メモリユニットは、定常忌避音抑制予測モデル、非定常忌避音抑制予測モデル、及び非常に動的な忌避音抑制予測モデルを更に記憶し、前記フィルタリング処理ユニットは、前記忌避周囲音信号の前記識別クラスに応じて、前記定常忌避音抑制予測モデル、前記非定常忌避音抑制予測モデル、又は前記非常に動的な忌避音抑制予測モデルのいずれかにアクセスするようにプログラムされる、請求項1に記載のシステム。
【請求項9】
前記処理ユニットは、新たに識別された忌避周囲音信号を前記忌避音信号のライブラリに記録するようにプログラムされる、請求項1に記載のシステム。
【請求項10】
前記忌避音信号のライブラリは、ユーザが識別した前記忌避音信号を含む、請求項9に記載のシステム。
【請求項11】
前記インタフェース及び/又は前記イヤピース装置と通信し、警報信号を生成して、前記推奨動作についてユーザに警報する警報システムを更に含み、前記警報信号は、視覚信号、触覚信号、音信号、又はそれらの任意の組み合わせの一つから選択される、請求項1に記載のシステム。
【請求項12】
前記イヤピース装置と通信し、手動でバルブをトリガーして、前記忌避周囲音信号を抑制するか又は減衰する第1の起動装置を更に含む、請求項2~7のいずれか一項に記載のシステム。
【請求項13】
前記メモリユニットは、事前に記録された音を更に記憶する、請求項1に記載のシステム。
【請求項14】
前記フィルタリング処理ユニットは、前記事前に記録された音を前記混合信号に自動的に追加して前記忌避周囲音信号をマスキングするための実行可能な命令でプログラムされる、請求項13に記載のシステム。
【請求項15】
前記イヤピース装置及び前記メモリユニットと通信する第2の起動装置を更に含み、ユーザは、前記第2の起動装置を使用して記憶され事前に記録された音にアクセスし、前記混合信号上で事前に記録された音を再生して、前記忌避周囲音信号をマスキングする、請求項13に記載のシステム。
【請求項16】
前記メモリユニットは、前記イヤピース装置に埋め込まれるか又は前記イヤピース装置から離れて配置され、有線、無線又はインターネットネットワークを介して前記イヤピース装置及び前記プロセッサユニットと通信する、請求項1に記載のシステム。
【請求項17】
前記プロセッサユニットは、前記イヤピース装置に埋め込まれるか又は前記イヤピース装置から離れて配置され、有線、無線、又はインターネットネットワークを介して前記イヤピース装置及び前記メモリユニットと通信する、請求項1に記載のシステム。
【請求項18】
前記インタフェースは、前記イヤピース装置から離れて配置され、有線、無線、又はインターネットネットワークを介して前記イヤピース装置及び前記プロセッサユニットと通信する、請求項1に記載のシステム。
【請求項19】
前記処理ユニットと通信し、ユーザの少なくとも1つの生理学的パラメータを検出するように構成された少なくとも1つの生理学的センサを更に含み、前記処理ユニットは、検出されたパラメータが少なくとも1つの検出された前記生理学的パラメータの所定の範囲外にある場合、前記周囲音セグメントの前記忌避周囲音信号を識別する、請求項1に記載のシステム。
【請求項20】
識別された前記忌避周囲音信号は、前記忌避音信号のライブラリに記録される、請求項19に記載のシステム。
【請求項21】
周囲忌避音の検出、識別、及び管理のための方法であって、
イヤピース装置内のマイクロフォンを使用してユーザの周りの周囲音を捕捉するステップであって、前記マイクロフォンが、周囲音の小さなセグメントのサンプルを捕捉するステップと、
入力情報、忌避周囲音信号のライブラリ、忌避音特徴マップ、識別予測モデル、忌避音識別クラス及び忌避音抑制予測モデルをメモリユニットに記憶するステップと、
捕捉された音セグメントを処理ユニットで処理する処理ステップとを含み、
前記処理ステップは、前記音セグメントの音信号の少なくとも1つの特徴を抽出し、前記音セグメントの特徴マップを作成し、前記特徴マップの少なくとも1つの特徴を前記メモリユニットに記憶された前記識別予測モデルの忌避音信号の前記特徴マップと比較し、前記識別予測モデルを使用して捕捉された前記音セグメントの忌避音信号を識別し、識別された前記忌避音信号を識別クラスで分類するステップと、
前記忌避周囲音信号を含んだ周囲音セグメントを含む混合信号をフィルタリング処理し、前記混合信号の振幅及び位相を計算して前記混合信号の前記特徴マップを生成し、少なくとも1つの忌避音抑制モデルを使用して前記特徴マップを記憶された前記特徴マップと比較し、前記忌避音信号を管理する推奨動作を提供するステップとを含む、方法。
【請求項22】
実行可能な命令でプログラムされたハードウェアプロセッサを有するインタフェースを使用して、ユーザから入力データを取得し、データを送信し、出力データを提供することを更に含む、請求項21に記載の方法。
【請求項23】
前記フィルタリング処理は、前記混合信号の識別された忌避信号を除去して、前記混合信号のクリーン音を取得し、前記クリーン音を周波数ドメインから時間ドメインに再構築し、前記混合信号の位相と前記クリーン音の振幅を組み合わせてクリーン音信号を作成し、前記クリーン音信号をスピーカーに送信するステップを更に含む、請求項21に記載の方法。
【請求項24】
前記フィルタリング処理は、前記クリーン音信号を後処理し、スムーズな前記クリーン音信号を生成するステップを更に含む、請求項23に記載の方法。
【請求項25】
前記フィルタリング処理は、ゲインのあるバイパスを使用して減衰された忌避音を作成し、減衰された前記忌避音信号を前記クリーン音信号に追加するステップを更に含む、請求項23に記載の方法。
【請求項26】
新たに識別された前記忌避周囲音信号を前記忌避音信号のライブラリに記録するステップを更に含む、請求項21に記載の方法。
【請求項27】
事前に記録された音を前記メモリユニットに記憶するステップを更に含む、請求項21に記載の方法。
【請求項28】
前記忌避周囲音信号をマスキングするために事前に記録された音を再生するステップを更に含む、請求項27に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、一般的に、周囲忌避音の検出、識別/分類、及び管理のためのシステム及び方法、特に、周囲忌避音の減衰及び抑制のための知能システム及び方法に関する。
【背景技術】
【0002】
複数種類の忌避音、例えば、耳障りなものとして知られている工業騒音及び建築騒音は、音量が大きすぎると、時間が非常に短い場合でも、有害になる可能性がある。毎日、世界中の多くの人々は、これらの騒音(noises、ノイズ)にさらされている。会話中の騒音は煩わしく、他人の話に集中できず、話の中の重要な情報を聞き逃す可能性がある。更に、一部の人々は、日常の騒音に対する耐性が低下し(聴覚過敏)、非常に特殊な騒音に否定的に反応する。音過敏症は、一般大衆に影響を及ぼし、自閉症スペクトラム障害(ASD)の人々において非常によく発生する。音に対する否定的な反応は、人々を非常に衰弱させ、社会的交流及び日常活動の参加を妨げる。したがって、この課題を解決することは、全ての人、特に音一般及び/又は特定の音に敏感な人々にとって、重要な問題である。
【0003】
信号処理方法及び/又は機械的手段を使用することによりこの問題に対処する既知のシステム及び装置が存在する。そのような既知のシステムのいくつかは、米国特許出願第2014/0010378A1号で教示されているように、音量を制御し音声に対して騒音除去を行うか、又は米国特許出願第20200312294号に開示されているように、音楽又は他の特殊な音を再生することでノイズをマスキングすることにより、耳の保護に着目する。米国特許第9524731B2号及び第9648436B2号等の多くの文献は、ユーザのデジタル化された周囲音(ambient sounds)から特定の特徴を抽出し、リスナーの聴覚能力を助けたり危険な音からリスナーを保護したりするための適切な情報を提供することにより、この課題に対処する。
【0004】
いくつかの既知の装置では、この問題に対処するために、アクティブノイズキャンセル技術が実装され、耳装着装置からの着信音を検出し、忌避信号との位相のずれた信号を生成して、忌避音を除去(cancel)する。これらのアクティブノイズキャンセル技術は、50Hz~1kHzの低周波数及び持続音に最も効果的である。
【0005】
既存のシステム及び装置の主な欠点は、音の性質に関係なく、全ての周囲の騒音を減衰するか又は除去するように設計されることである。例えば、人々は、耳障りな街の騒音を抑えながら遊んでいる子供たちの音に気を配りたいかもしれない。もう1つの制限は、周囲の騒音を減衰するか又はキャンセルする装置が、ユーザに音声が聞こえないため、社会的コミュニケーションを制限する可能性があることである。騒がしい環境で音声に対して騒音除去を行うことができる既知の装置は、労働者が同じ装置を着用し、電気通信伝送リンクを介して通信する工業環境向けに設計される(例えば、US20160126914A1)。
【0006】
装置の異なる空間的位置に配置された複数のマイクロフォン技術を使用して忌避音を抑制するシステム及び装置も知られている(欧州特許出願第EP3096318A1号に教示されているように)。しかしながら、多くの場合、これらの複数のマイクロフォン技術は、特にマイクロフォンが周囲から同じ信号を捕捉する場合、又はユーザが活動中にマイクロフォンが移動して揺れる場合、対象ノイズ(target noises)の抑制に成功しないため、これらのシステムは実用的ではない。更に、イヤホン(earbuds)及びヘッドホンの音響設計に基づいて、マルチチャネルマイクロフォン及びインテリジェントアルゴリズムの実装は非常に難しく、費用がかかる。一方、(欧州特許第3175456B1号に開示されているように)新しいアプローチでは、シングルチャネルオーディオを使用して騒音を識別し抑制する。シングルチャネルオーディオ識別及び騒音抑制に基づく現実世界の応用システム及び方法は、効果的に実用的であるが、このようなシステムは、品質及び精度において制限がある。
【0007】
したがって、全ての周囲騒音を同等に処理するシステムではなく、特定のユーザ定義の周囲騒音をフィルタリングするために騒音内容を意識したシステム及び方法が必要である。
【発明の概要】
【0008】
一態様では、周囲の忌避音(ambient aversive sound、周囲の嫌悪音)の検出、識別、及び管理のためのシステムが提供される。システムは、ユーザの周りの周囲音を周囲音の小さなセグメントのサンプルとして捕捉(キャプチャ)するように構成されたマイクロフォン、及びスピーカーを有するイヤピース装置(earpiece device)と、入力データを取得し、データを送信し、出力データを提供するための実行可能な命令でプログラムされたハードウェアプロセッサを有するインタフェースと、入力情報、忌避周囲音信号のライブラリ、忌避音特徴マップ、識別予測モデル、忌避音識別クラス及び忌避音抑制予測モデルを記憶する(store)メモリユニットと、イヤピース装置、メモリユニット及びインタフェースと通信する処理ユニットとを含む。
【0009】
処理ユニットは、イヤピース装置及びメモリユニットに結合された識別ユニットと、識別ユニット及びメモリユニットに結合されたフィルタリング処理ユニットとを含む。前記識別ユニットは、音セグメントの音の少なくとも1つの特徴を抽出することにより周囲音セグメントの忌避周囲音信号を識別し、そのような音セグメントの特徴マップを作成するための実行可能な命令でプログラムされる。音セグメントの特徴マップは、メモリユニットに記憶された識別予測モデルを使用して処理され、特徴マップ内の少なくとも1つの特徴がメモリユニットに記憶された忌避音信号の特徴マップと比較され、かつ忌避周囲音が識別された場合、識別ユニットは、忌避音信号を識別クラスで分類する。フィルタリング処理ユニットは、識別ユニットから忌避音信号を有する周囲音セグメントの混合信号を受信し、混合信号を処理し、混合信号の振幅と位相を計算して混合信号の特徴マップを生成し、少なくとも1つの忌避音抑制モデルを使用して特徴マップを記憶された特徴マップと比較し、そのような忌避音信号を管理する推奨動作を提供するための実行可能な命令でプログラムされる。イヤピース装置は、ユーザに送信される周囲音セグメントを調整するためのバルブを更に含む。
【0010】
一態様では、推奨動作は、忌避音を除去することであり、フィルタリング処理ユニットは、生成された特徴マップを使用して混合信号から識別された忌避信号を自動的に除去して、周波数ドメインから時間ドメインに再構築された混合信号のクリーン音(clean sound)を取得し、かつ混合信号の位相と最後のセグメントのクリーン音の振幅を組み合わせて、スピーカーに送信されるクリーン音信号を作成するための実行可能な命令で更にプログラムされる。
【0011】
別の態様では、推奨動作は、忌避音を減衰することであり、フィルタリング処理ユニットは、減衰された忌避音を作成するゲインのあるバイパスを更に含む。フィルタリング処理ユニットは、減衰された忌避音信号をクリーン音信号に自動的に追加するための実行可能な命令でプログラムされる。
【0012】
更に別の態様では、フィルタリング処理ユニットは、事前に記録された音を混合信号に自動的に追加して忌避周囲音信号をマスキングするための実行可能な命令でプログラムされる。
【0013】
一態様では、システムは、イヤピース装置と通信し、手動でバルブをトリガーして忌避周囲音信号を抑制するか又は減衰する第1の起動装置(activation device)と、イヤピース装置及びメモリユニットと通信し、事前に記録された記録音に手動でアクセスし、それらを混合信号上で再生して忌避周囲音信号をマスキングする第2の起動装置とを含む。
【0014】
一態様では、システムは、インタフェース及び/又はイヤピース装置と通信し、警報信号を生成して、推奨動作についてユーザに警報する警報システムを含む。警報信号は、視覚信号、触覚信号、音信号、又はそれらの任意の組み合わせから選択される1つである。
【0015】
別の態様では、システムは、処理ユニットと通信し、ユーザの少なくとも1つの生理学的パラメータを検出するように構成された少なくとも1つの生理学的センサを含む。前記処理ユニットは、検出されたパラメータが、検出された少なくとも1つの生理学的パラメータの所定の範囲外にある場合、周囲音セグメントの忌避周囲音信号を識別する。
【0016】
一態様では、周囲忌避音の検出、識別、及び管理のための方法が提供される。方法は、イヤピース装置のマイクロフォンを使用して周囲音セグメントのストリームを捕捉するステップと、入力情報、忌避周囲音信号のライブラリ、忌避音特徴マップ、識別予測モデル、忌避音識別クラス及び忌避音抑制予測モデルをメモリユニットに記憶するステップと、捕捉された音セグメントを処理ユニットで処理するステップとを含む。処理ステップは、音セグメントの音信号の少なくとも1つの特徴を抽出し、音セグメントの特徴マップを作成し、特徴マップの少なくとも1つの特徴をメモリユニットに記憶された識別予測モデルの忌避音信号の特徴マップと比較し、識別予測モデルを使用して捕捉された音セグメントの忌避音信号を識別し、識別された忌避音信号を識別クラスで分類するステップと、忌避周囲音信号を含んだ(with)周囲音セグメントを含む混合信号をフィルタリング処理し、混合信号の振幅及び位相を計算して混合信号の特徴マップを生成し、少なくとも1つの忌避音抑制モデルを使用して特徴マップを記憶された特徴マップと比較し、忌避音信号を管理する推奨動作を提供するステップとを含む。
【0017】
上記態様及び実施形態に加えて、更なる態様及び実施形態は、図面及び以下の詳細な説明の研究を参照することにより明らかになる。
【図面の簡単な説明】
【0018】
【
図1】周囲忌避音を検出し、識別し、管理するためのシステムの例示的な概略図を示す。
【
図2】本発明の一実施形態に係る、周囲忌避音を検出し、識別/分類し、管理するための方法の一例についての簡略化されたブロック図を示す。
【
図3】本発明の一実施形態に係る識別/分類方法の一例についての簡略化されたブロック図を示す。
【
図4】本発明の一実施形態に係るリアルタイムの忌避音のフィルタリング及び処理方法の一例についての簡略化されたブロック図を示す。
【
図5】周囲忌避音を検出し、識別し、管理するためのシステムの一実施形態に係るグラフィカルユーザインタフェースの一例を示す。
【発明を実施するための形態】
【0019】
本発明の実施形態は、周囲忌避音の検出及び識別/分類のための装置の詳細、特徴、システム及び方法、ならびに周囲忌避音の隔離(isolation)及び抑制のためのシステム及び方法を提供する。
【0020】
図1は、周囲忌避音を検出し、識別/分類し、管理するためのシステム100の概略例を示す。システム100は、マイクロフォン104を備えた耳栓(earplugs)又は耳あて(earmuffs)のセットなどのイヤピース装置101を含む。いくつかの実施形態では、システム100はまた、スピーカー105及び/又はバルブ102を装備することができる。バルブ102は、周囲音を抑制するか又は隔離することができる。バルブ102は、バルブが「開モード」にある場合、耳栓又は耳あての材料のパッシブノイズアイソレーションにより、周囲音がわずかに減衰されてシステム100を通過し、バルブ102が「閉モード」にある場合、周囲音が減衰されるか又は隔離されるように開閉することができる。一実施形態では、バルブ102は、ソレノイド、ボイスコイル等を使用して電子的にアクティブ化/非アクティブ化にすることができる。例えば、起動ボタン103を使用して、バルブ102を操作することができる。ボタン103は、イヤピース装置101のどこかに配置するか、又はウェアラブル110又はハンドヘルド装置108に配置することができ、電子トリガー信号は、有線又は無線で起動装置103に伝送することができる。起動装置103は、任意の既知の機械的又は電子的起動機構であり得る。別の実施形態では、装置は、バルブを含まず、装置101は、マイクロフォン及びスピーカーを備えた標準的なインイヤーバッド又はオーバーザイヤーヘッドホンによって構成されてもよく、システム100は、本明細書で以下に説明するように分類及び音管理操作を実行することができる。
【0021】
システム100は、処理ユニット107を更に含む。処理ユニット107は、イヤピース装置101内に配置されてもよく、イヤピース装置101の外側に配置されてもよい。例えば、処理ユニット107は、スマートウェアラブル110、ハンドヘルド装置108(例えば、携帯電話、タブレット、ラップトップ)又は任意の他の適切なスマート装置内にあり得る。一実装形態では、処理ユニット107は、インターネット通信を使用してイヤピース装置101と通信するハードウェアサーバ又は仮想サーバ(クラウドサーバ)内にあり得る。一実施形態では、処理ユニット107は、一部がイヤピース装置101にあり、別の部分がスマートウェアラブル/装置又は任意の他のコンピュータ又はサーバにあり得る。処理ユニット107は、データ、識別子又は分類器モデル及び命令(
図3)、ならびにフィルタリング処理モデル及び命令(
図4)を記憶するメモリユニット、例えば、非一時的なメモリを含むことができる。システム100は、
図5に詳細に示されるユーザインタフェース500を更に含むことができる。ユーザは、インタフェース500を介してシステム100に入力データを提供することができる。メモリユニットは、入力データ、捕捉された周囲音データ、既知の周囲音のライブラリ、音特徴マップ、及び分類器300とフィルタリングプロセッサ400によって使用される予測モデルを記憶する。
【0022】
図2は、忌避周囲音を検出し、分類し、管理するためにシステム100によって実行される全体的なステップ200を示す。イヤピース装置101のマイクロフォン104は、サラウンド音201を捕捉し、そのような音をスピーカー105に再生することができる。装置が「通常」モードで動作する場合(バルブ102が「開モード」にある場合、又はスピーカーがマイクロフォンによって捕捉された歪みのない周囲音を再生する場合)、ユーザは、周囲音を聞くことができる。忌避周囲音が検出されると、システム100が起動され、システム100は、推奨動作(1)~(5)のいずれかを行うことができる。(1)装置が「閉モード」で動作するようにバルブ102を作動させることによって忌避周囲音を含む検出された音を抑制し、バルブ/プラグは、他の操作とは無関係に、周囲忌避音が外耳道に入るのを遮断する。(2)マイクロフォンからスピーカー105へのサラウンド音の伝送を停止することにより信号を抑制する。(3)イヤホンのヘッドホンが小さい音量で音を再生するように音量を下げて周囲音を減衰する(ユーザがこの音量を選択するか、又は事前に定義された小さい音量がある)。(4)以下に説明するようにシステム100を使用してサラウンド音の耳障りな部分を除去する。(5)追加のマスキング特徴として、事前に記録された音をスピーカー105に再生することによって周囲音をマスキングする(例えば、ユーザによって音楽、ホワイトノイズ、又は任意の好ましい音を再生する)。閉モード中に音楽、ホワイトノイズ、又は他の好ましい音を再生することにより、システム100は、パッシブアイソレーション(選択肢1及び2)が提供できるものを超えて周囲音を最大限にマスキングすることができる。忌避音が検出されなくなると、システムの操作は、「通常」モードに戻る。マイクロフォン104は、イヤピース装置101の外側に取り付けられ、周囲音を捕捉することができる。マイクロフォン104は、フレーム選択202と見なされる音ストリームの小さなセグメントのサンプルを捕捉するように構成される。フレームサイズは、人間の聴覚系が各音セグメント/フレームの処理、意思決定、及び忌避音抑制に関連する遅延を理解できないように選択される。人間の耳は20~40ミリ秒の待ち時間を許容することができ、システム100は、リアルタイムでスムーズに動作するようにこの範囲内の待ち時間を有するように構成される。例えば、24ミリ秒のフレームサイズを使用することができ、マイクロフォン104は、8Khzのサンプリングレートで毎回24ミリ秒の音フレームを捕捉することができる。この設定では、信号201のセグメントは、192個のデータサンプルで構成される。
【0023】
周囲音セグメントは、処理ユニット107に入力として入り、そこで信号セグメントが忌避音を含むかどうかを識別するために処理される。前述のように、処理は、イヤピース装置101で行うこともでき、又は、スマートウェアラブル110又はハンドヘルド装置108(例えば、携帯電話、タブレット、ラップトップ)、又はインターネット通信を使用してイヤピース装置101と通信する任意の他の適切なハードウェアサーバ又は仮想サーバ(クラウドサーバ)でリモートで行うことができる。処理ユニット107は、ユーザによって事前に定義されるか又はユーザが以前に聞いたことのない忌避音を検出し識別するために訓練されたか又は訓練される予測モデルを有する識別子/分類器203を含む。分類器203は、分類予測モデル及び忌避音ライブラリを使用して、周囲音セグメントが忌避周囲音を含むかどうかを決定することができる。分類器203が音セグメントにおいて忌避音を識別していない場合、そのような信号は、スピーカー105に伝送され、ユーザはそれを聞くことができる。分類器203が、周囲オーディオセグメントが忌避音を含むことを識別した場合(204)、忌避音を含んだ周囲オーディオセグメントの混合信号は、忌避音抑制予測モデルを使用して、忌避音抑制の目的で、混合信号の特定の特徴が決定されるフィルタリングプロセッサ205によって処理される。システム100の一実装形態では、処理ユニット107は、フィルタリングプロセッサ205の結果を使用して、混合信号から忌避音信号を自動的に除去するか又は抑制し、出力としてクリーン音206を得ることができる。次に、クリーン音206は、ヘッドホン又はイヤホン等のイヤピース装置101に配置されたスピーカー105で再生することができる。
【0024】
一実装形態では、処理ユニット107は、ユーザに推奨動作を提供することができる。例えば、処理ユニット107は、インタフェース500を使用して、推奨動作を伴う警報を送信することができる。推奨動作は、例えば、(1)バルブ102を閉じることによって音信号を抑制すること、(2)マイクロフォンからスピーカーへの信号の伝送を停止することによって信号を抑制すること、(3)音量を下げることによって周囲音を減衰すること、(4)混合信号から忌避音信号を除去すること、又は(5)事前に記録された音を再生することによって周囲音をマスキングすることである。次に、ユーザは、いくつかの実装形態のインタフェース500、起動装置103又はプラグを使用して、推奨動作を決定し、手動で実行することができる。
【0025】
別の実装形態では、システムは、バルブ又は起動装置を自動的にトリガーして信号を抑制するか又は減衰するか、事前に記録されたマスキング音を記憶するプレーヤーを起動するか、又は信号から忌避音を除去するように処理ユニット107に命令を提供することができる。
【0026】
マスキング音を事前に記録してメモリユニットに記憶することができ、事前に記録された音が記憶された別個のプレーヤーを、イヤピース装置101と通信して提供することができ、イヤピース装置101は、ユーザによって手動で又はシステム100によって自動的にトリガーすることができる。一実施形態では、マスキング音は、アプリ、例えば、Spotify(登録商標)に記憶され、ユーザによって手動で又はシステム100によって自動的にアクセスすることができる。システム100が忌避周囲音を自動的に抑制し、減衰し、除去するか又はマスキングする実施形態では、ユーザは、例えば、インタフェース500を使用して、システム100を手動で非アクティブ化するか又はアクティブ化することによって、システムの推奨動作をオーバーライドすることができる。システム100は、周囲音を連続的に監視し、新しい音セグメントをサンプリングし、そのようなセグメントを処理して忌避周囲音を識別し、また、上記のように、それに応じて忌避音を抑制し、減衰し、除去するか又はマスキングすることができる。
【0027】
グラフィカルユーザインタフェース500(
図5)は、スマートウェアラブル110又はハンドヘルド装置108で実行される全てのオペレーティングシステムと互換性がある。インタフェース500は、入力データを取得し、データを送信し、出力データを提供するための実行可能な命令でプログラムされたハードウェアプロセッサを有する。例えば、グラフィカルユーザインタフェース500は、全ての通信、設定、カスタマイズ、及びユーザ定義の操作を担当することができる。人工知能予測モデル、モデルのトレーニング、データサンプリング、データ処理を含む計算手順は、イヤピース装置101、装置108、110のいずれか、インターネットネットワークによってシステムに接続されるサーバ、又はそれらの任意の組み合わせにあるプロセッサ107によって実行される。システム100は、イヤピース装置101に必要な電力を供給する充電可能な電池106を更に含むことができる。電池は無料の充電器ユニットを使用して充電することができる。
【0028】
一実装形態では、システム100は、皮膚コンダクタンス、心拍数、脳波(EEG)、心電図(ECG)、筋電図(EMG)、又はその他の信号等の身体反応を捕捉する1組の生理学的センサを更に含むことができる。これらのセンサを、ウェアラブル装置110又は任意の他のスマート装置108に埋め込むか、又はユーザの衣服又は身体に装着することができる。提供されたセンサデータは、身体反応を決定するために、無線又は有線接続109を使用してシステム100に伝送される。例えば、心拍数モニターを使用してユーザの心拍数を検出することができ、処理ユニット107は、そのような信号を処理してユーザのストレス状態を決定することができ、例えば、心拍数の増加は、ユーザのストレスレベルが増加したことを示す信号である可能性があるか、又は皮膚コンダクタンスモニターは、ユーザの生理的覚醒のレベルの増加を検出することができる。このような身体反応は、忌避周囲音の結果である可能性があるため、システム100は、本明細書に記載されるように、それに応じて実行される適切な行動を自動的に推奨することができる。
【0029】
いくつかの実施形態では、システム100は、プログラムされ、いくつかの忌避音を識別し抑制できるアルゴリズム/モデルを含む。モデルは、機械学習、深層学習、又は音検出/識別及び抑制の他の技術に基づくものとすることができる。
【0030】
図3は、識別子/分類器203と、分類器203によって実施される方法300との一例を示す。分類器は、マイクロフォン104から得られたセグメント化された周囲音信号301を入力として受信する。次に、信号301は、ステップ302で前処理されて、信号の高速フーリエ変換(FFT)を使用することにより、周波数領域で信号の表現を平坦化するか又は作成する。例えば、前処理ステップは、忌避音の検出/識別のために分類器予測モデル(例えば、ディープニューラルネットワーク、サポートベクターマシン(SVM)、線形回帰、パーセプトロン等)に入力を提供する信号処理操作(例えば、正常化、サンプリングレートの変換、ウィンドウイング、FFT、平坦化)を含むこともできる。そして、例えば、メル周波数ケプストラム係数(MFCC)、短時間エネルギー(STE)等を使用して、ステップ303で所定の特徴を計算/抽出する。例えば、信号301の強度及びパワー(振幅及び周波数)を抽出し、分類器予測モデル304に特徴マップ303を作成して入力する。分類予測モデルは、事前に訓練されたモデルであり、一例では、学習手順のためのいくつかの隠れ層(例えば、緻密層、GRU層等)を含む人工ニューラルネットワークである。分類予測モデルは、忌避音クラスの総合的なセットで訓練されるため、各忌避音クラスには対応するクラス番号がある。特徴マップ303は、モデル304に供給され、出力305は、信号301とライブラリ内の音パターンとの間の類似性に基づくクラス番号である。識別されたクラスは、特定の忌避音を識別する番号にすることができる。例えば、クラス番号2は、エアコンの音にすることができ、クラス番号7は、例えば、サイレン等にすることができる。一実装形態では、識別クラス305は、言語テキスト(verbal text)にすることができる。
【0031】
一実施形態では、識別子/分類器が周囲音における忌避音を識別した場合、グラフィックインタフェースを使用してユーザに通知し、ユーザは、システム100を使用してバルブを自動的に閉じて、忌避音を抑制し、減衰するか、又は除去し、かつ残りの周囲音をイヤホンで再生すること、或いは音楽、ホワイトノイズ、任意の好ましい音、又は音楽と抑制された周囲音の組み合わせを再生することを選択することができる。ユーザは、上記操作のいずれかを実行するように装置をカスタマイズすることができ、また、これらの操作は、音の忌避感に関するユーザの判断に基づいて忌避音を特定しながら変更することもできる。識別されたクラス305で識別された周囲忌避音を含む混合信号は、フィルタリングプロセッサ204に入力される。
【0032】
図4は、フィルタリングプロセッサ204と、フィルタリングプロセッサ204によって行われる方法400との一例を示す。一実施形態では、分類器が周囲音環境において忌避音を識別したときに、フィルタリングプロセッサが起動される。したがって、入力301は、忌避音を含む周囲音の混合信号である。フィルタリングプロセッサ204は、混合信号のセグメントを入力フレームとして受け取り、信号の振幅及び位相を計算する。そして、振幅は、ステップ401に示されるように前処理されて、後の忌避音抑制予測モデルへの入力として使用される特徴マップ402を構築する。一例として、前処理は、信号のFFT、スペクトル分析、及び数学操作により、周波数領域での混合信号の表現を特徴マップとして作成することを含む。フィルタリングプロセスにおける前処理ステップは、目的が異なるため、識別プロセスと異なることができる。一実施形態では、フィルタリングプロセッサ204は、混合信号のいくつかの重畳されたチャンクフレーム(chunked frames)を取り、前処理を実行することにより混合信号のパワー及び周波数を計算し特徴マップを構築することができる。例えば、前処理は、忌避音抑制のために忌避音抑制モデル403(例えば、ディープニューラルネットワーク、SVM、線形回帰、パーセプトロン)に入力を提供する信号処理操作を含むことができる。忌避音抑制モデル403は、平坦化された(前処理された)特徴マップを取り、入力された混合信号301の識別された忌避成分を除去するように訓練することができる。これにより、入力された混合信号のクリーン音が得られる。クリーン音は、周波数領域にあるため、例えば逆高速フーリエ変換(IFFT)404を使用して、時間ドメインにあるクリーン音に再構築される必要があり、また、元の混合信号301から抽出された混合信号の位相405は、クリーン音の振幅と組み合わされて、クリーン信号を作成する。一実施形態では、電力供給及び平坦化を含む後処理ツール406をクリーン信号に適用して、スムーズ(smooth)なクリーン信号を作成することができる。例えば、一実施形態では、後処理ツール406は、リアルタイムで実行することができる重畳加算法を使用して、クリーン音の時間領域を生成することができる。前述のように、捕捉された周囲信号のフレームサイズは、人間の知覚能力が各音フレームの処理、意思決定、及び忌避音抑制に関連する遅延を理解できないように選択される。人間の耳は20~40ミリ秒の待ち時間を許容することができ、システム100は、リアルタイムでスムーズに動作するようにこの範囲内の待ち時間を有することができる。例えば、マイクロフォン104は、8Khzのサンプリングレートで毎回24ミリ秒のフレームを捕捉するため、信号のセグメントは、192個のデータサンプルで構成される。重畳加算法の50%重畳を考慮すると、後処理ツール406は、スピーカー105に再生される12ミリ秒の重畳されたクリーン信号を追加する。重畳技術は、スムーズな連続フレーミングの利点を提供し、フレームの縁(エッジ)に情報を保持して、音質を損なうことなく、クリーンで、スムーズで連続的な音を生成する。したがって、後処理406の出力は、推定されたクリーン信号407であり得る。
【0033】
忌避音は、その固有の構造とパターンに関して、3つの基本的なカテゴリ(
図3の識別されたクラス305)で考えることができる。これらのカテゴリは、エアコン、エンジン等の定常騒音(stationary noises)と、電車、風等の非定常騒音(non-stationary noises)と、犬の吠え声、サイレン、赤ちゃんの泣き声等の非常に動的な騒音(highly dynamic noises)とを含む。一実施形態では、識別された忌避音のカテゴリに応じて、システム及び方法は、混合信号410に対して異なる前処理及び後処理を実行することができる。例えば、適応フィルタのようなデジタル信号処理フィルタリングエイド(filtering aid)を非定常クラスの騒音に適用する。一実施形態では、フィルタリングプロセッサ204は、クリーン音を生成するために、識別された忌避音のカテゴリ/クラスに基づいて、選択するための多くの異なる忌避音抑制モデルを含むことができる。忌避音抑制のモデルは、正確で高性能な結果をもたらす包括的なデータセットで訓練され、信頼性の高いディープニューラルネットワークモデル又は他の機械学習モデルを使用する。
【0034】
一実施形態では、フィルタリングプロセッサ204は、忌避音を減衰し、減衰された忌避音をクリーン音に追加するように構成された忌避信号バイパス408を含む。例えば、ユーザは、インタフェース500の設定506を使用して、忌避音の減衰レベルを選択することができる。いくつかの実装形態では、ユーザは、インタフェース500のスライダー505を使用して忌避音レベルを手動で減衰することができる。ゲインのあるバイパス408が考慮され、混合信号と推定されたクリーン信号との減算である推定された忌避信号に乗算され、減衰された忌避信号を生成する。その後、この信号がクリーン信号に追加されるため、ユーザは、スピーカー105により、クリーン音を有する減衰された忌避音を聞くことができる。ゲインのあるバイパス408のゼロから最大減衰までの減衰レベルは、設定で、又はユーザインタフェース500の設計されたつまみ、スライダー、ボタン等を用いて設定することができる。
【0035】
図5は、システム100のグラフィカルユーザインタフェース500の一例を示す。グラフィカルユーザインタフェース500は、スマートフォンと、スマートウォッチと、IOS、ウィンドウズ(登録商標)、及びアンドロイド(登録商標)等の任意の適切なオペレーティングシステムでのパーソナルコンピュータとを含む任意のスマート装置にインストールすることができる。
【0036】
インストールされたユーザインタフェースは、有線又は無線接続を使用して、イヤピース装置101と相互作用することができる。
図5に示される図示の例では、画面501は、システム操作モードを示すことができる。例えば、操作モードは、忌避音がシステム及び方法によって識別されていないことを指す「通常モード」と、忌避音がシステム及び方法によって識別されたことを指す「忌避モード」とを含むことができる。また、画面501を使用して、音の抑制、減衰、又はマスキング等の、処理ユニット107によって推奨される動作をユーザに警報することができる。起動スライダー502は、システム100を手動でオン/オフにするように構成される。ユーザは、スライダー503を用いて、レコーダを起動したり、音楽記憶装置にアクセスしたりすることができる。ユーザは、周囲の状況又はユーザの好みに基づいて、音楽、ホワイトノイズ、又は任意の好ましい音を再生するか又は一時停止することができる。また、ユーザは、スライダー504を使用してイヤホンへの着信音の音量を制御することができる。忌避音が識別され、ユーザに通知された場合、ユーザは、スライダー505を使用して、識別された忌避音を選択的に減衰することができる。設定506は、ユーザが事前に設定された好みを入力することができるように、ユーザのカスタマイズのために構成され、これらの事前に設定された好みは、例えば、メモリユニット又は別の記録ユニットに記憶される好ましい音楽/音を選択してアップロードすることと、警報設定(例えば、音警報、又は光、振動、テキスト等の任意の警報信号)を選択することと、警報音を選択することと、忌避音が識別されたときに実行される動作(例えば、自動忌避音管理又は手動忌避音管理)、抑制及び/又は通知される忌避音のチェックリスト、シングルショット学習プロセスを起動するボタンを指定することとを含む。インタフェース500は、プログラム全体を閉じる終了ボタン507を更に含むことができる。
図5の設定のない実施形態では、カスタマイズのプロセスは、パーソナルコンピュータ、ラップトップ、スマートフォン等を使用して行うことができる。ユーザは、ウェブサイト又はユーザに提供された専用のインタフェースにログインすることにより、前に説明したようにカスタマイズのプロセスを完了することができ、完了後、処理ユニットの実装のために、最終設定をイヤピースのメモリ、クラウドサーバ等に伝送する。
【0037】
一実施形態では、警報システムは、忌避音の存在をユーザに通知するために使用され、システム100は、そのような忌避音を自動的に抑制し、減衰するか、又はマスキングする。システム100が近くの忌避音(例えば、ユーザ定義の忌避音)を認識する場合、ユーザは、1曲の特定の音楽、ホワイトノイズ、警報ボイス、ライト警報(例えば、色付きLED)、テキストメッセージ、イヤピース装置のビープ音、振動等、又はこれらの警報の任意の組み合わせを再生することにより、このような忌避音について警報システムで通知される。ユーザは、忌避音の性質及び強度、ならびに抑制、減衰、マスキング、又はそれらの任意の組み合わせ等の推奨動作について通知されてもよい。
【0038】
ユーザは、インタフェース500又はイヤピースのオーバーライドボタンを使用して、任意の推奨動作をオーバーライドすることができる。警報システムは、インタフェース500で設定することができ、任意のスマートウェアラブル、ハンドヘルド装置、又はイヤピース装置を使用してユーザと通信することができる。警報システムは、ユーザがカスタマイズ可能である。システムは、忌避音の除去をユーザに通知することもできる。
【0039】
一実施形態では、ユーザは、システムが検出し管理するためにユーザがカスタマイズした忌避音を追加することができる。このような実施形態におけるシステム100は、忌避音の事前に定義されたリストから開始することができるが、ユーザが事前に定義されない忌避音を聞いた場合、ユーザは、システム100を起動して周囲音及び状況を記録し(音及び状況の適切なサンプルを取る)、音を処理して個々の成分(オフライン又はオンライン)を識別し、調査結果についてユーザと連絡し、かつ識別された音のどれが耳障りであるかを指定するようにユーザに求め、最後に、カスタマイズされたユーザの忌避音リストのライブラリに忌避音を追加することができる。一実施形態では、学習コンポーネントは、ワンショット又は数ショットの学習方法、又は機械学習及びディープラーニング等の他のインテリジェントベースのアルゴリズムに基づくことができる。例えば、システムは、周囲音及びイベントのタイムスタンプを記録することができる。そして、ユーザは、記録された音についてリアルタイム又はオフラインで通知され、イベント時の音/状況を記憶するか又はサンプルを聞くことによって、忌避音を識別するように求められる。ユーザがこのような音を忌避音として識別する場合、このような音は、音のライブラリに追加される。
【0040】
一実施形態では、生理学的センサは、ユーザの生理学的信号、例えば、皮膚コンダクタンス、心拍数、EEG、ECG、EMG、又はその他の信号から忌避状況を検出するために使用することができる。これらの信号(独立又は融合)を使用して忌避音/状況の発生を識別し、前に説明した方法を使用して混合信号の忌避音成分を識別することができる。このような忌避音が検出されると、それを忌避音のライブラリに追加することができ、システムは、このような忌避音を減衰/フィルタリング/マスキング/ブロックするための推奨動作を実行することができる。上記で説明したようにユーザに通知され、ユーザは、推奨動作を手動でオーバーライドすることができる。音の忌避成分をライブラリに追加し、及び/又は推奨動作を実装する前に、音の忌避成分を検出して検証のためにユーザに報告することができる。
【0041】
本開示の特定の要素、実施形態、及び応用を示し、説明したが、特に前述の教示に鑑み、当業者が本開示の範囲から逸脱することなく改変を行うことができるので、本開示の範囲はそれらに限定されないことを理解されたい。したがって、例えば、本明細書に開示された任意の方法又はプロセスにおいて、方法/プロセスを構成する行為又は操作は、任意の適切な順序で実施されてもよく、特定の開示された順序に必ずしも限定されない。
【0042】
様々な実施形態では、要素及びコンポーネントを異なるように構成又は配置したり、組み合わせたり、及び/又は省略したりすることもできる。上記様々な特徴及びプロセスは、相互に別個に使用されてもよく、様々な方式で組み合わされてもよい。全ての可能な組み合わせ及び部分的組み合わせは、本開示の範囲内にあることが意図される。本開示全体を通して「いくつかの実施形態」、「一実施形態」等への言及は、実施形態に関連して説明される特定の特徴、構造、ステップ、プロセス、又は特性が少なくとも1つの実施形態に含まれることを意味する。したがって、本明細書において現れる「いくつかの実施形態では」、「一実施形態では」等の語句は、必ずしも全てが同じ実施形態を指すとは限らず、同じ又は異なる実施形態のうちの1つ以上を指す場合がある。
【0043】
適切な場合には、実施形態の様々な態様及び利点が説明されている。必ずしも全てのそのような態様又は利点が特定の実施形態に従って達成され得るとは限らないことを理解されたい。したがって、例えば、様々な実施形態は、本明細書で教示又は示唆され得る他の態様又は利点を必ずしも達成することなく、本明細書で教示される1つの利点又は利点群を達成又は最適化する方法で実施されることを認識されたい。
【0044】
本明細書に使用された、「できる」、「てもよい」、「し得る」、又は「例えば」等の仮定法用語(conditional language)は、特に明記されない限り、又は使用される文脈の中で他の解釈がなされない限り、いくつかの特徴、要素、及び/又はステップがいくつかの実施形態に含まれるがそれ以外の実施形態に含まれないことを意味することを一般的に意図している。したがって、そのような条件付きの言葉は、1つ以上の実施形態で特徴、要素、及び/又はステップが何らかの形で必須であるか、或いは1つ以上の実施形態が、これらの特徴、要素及び/又はステップが任意の特定の実施形態に含まれるか又はそれらが任意の特定の実施形態に実行されるかを、オペレータ入力又はプロンプトの有無にかかわらず決定するためのロジックを必ず含むことを示唆することを一般的に意図していない。単一の特徴又は特徴群は、特定の実施形態に必要ではなく、又は不可欠ではない。「含む」、「含み」、「有する」等の用語は同義語であり、オープンエンド形式で包括的に使用され、追加の要素、機能、行為、操作等を除外しない。また、「又は」という用語は、(排他的ではなく)包括的な意味で使用され、その結果、例えば、複数の要素のリストを連結するために使用されたときに、「又は」という用語は、リスト内の複数の要素のうち1つ、いくつか、又は全てを意味する。
【0045】
本明細書に記載された実施形態の例示的な結果及びパラメータは、開示された実施形態を例示することを意図しており、限定することを意図していない。他の実施形態は、本明細書に記載された例示的な実施例とは異なる方法で構成及び/又は操作することができる。
【国際調査報告】