ホーム > 特許ランキング > ｅａｒｇｙｍ Ｌｔｄ
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-04-19
(54)【発明の名称】ヒアリングトレーニングのための方法および装置
(51)【国際特許分類】
G09B 19/00 20060101AFI20240412BHJP
G06F 3/16 20060101ALI20240412BHJP
G06F 3/01 20060101ALI20240412BHJP
G06F 3/04815 20220101ALI20240412BHJP
A61F 11/00 20220101ALI20240412BHJP
G09B 21/00 20060101ALI20240412BHJP
【ＦＩ】
G09B19/00 Z
G06F3/16 690
G06F3/16 620
G06F3/01 510
G06F3/04815
A61F11/00 300
G09B21/00 E
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023546531
(86)(22)【出願日】2022-04-27
(85)【翻訳文提出日】2023-08-21
(86)【国際出願番号】 EP2022061259
(87)【国際公開番号】W WO2022229287
(87)【国際公開日】2022-11-03
(31)【優先権主張番号】21171347.4
(32)【優先日】2021-04-29
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
(71)【出願人】
【識別番号】523290469
【氏名又は名称】イヤジム エルティーディー
【氏名又は名称原語表記】ｅａｒｇｙｍ Ｌｔｄ
【住所又は居所原語表記】６３－６６ Ｈａｔｔｏｎ Ｇａｒｄｅｎ Ｌｏｎｄｏｎ ＥＣ１Ｎ ８ＬＥ Ｕｎｉｔｅｄ Ｋｉｎｇｄｏｍ
(74)【代理人】
【識別番号】110002000
【氏名又は名称】弁理士法人栄光事務所
(72)【発明者】
【氏名】フィルポット，アマンダ
(72)【発明者】
【氏名】シャンクス，アンドリュー
【テーマコード（参考）】
5E555
【Ｆターム（参考）】
5E555AA64
5E555BA22
5E555BA38
5E555BB22
5E555BB38
5E555BC08
5E555BE08
5E555BE17
5E555CC22
5E555DA21
5E555DB53
5E555DC21
5E555EA11
5E555FA00
(57)【要約】
ユーザインタフェースとオーディオ出力を有するユーザ装置を用いて、ヒアリングトレーニングを実行するためのコンピュータ実装方法、ユーザ装置、および命令を格納した非一時的コンピュータ可読媒体であって、トレーニングは、オーディオ出力を用いて、バックグラウンドオーディオ信号とターゲットオーディオ信号と提供することであって、ターゲットオーディオ信号は少なくとも部分的にバックグラウンドオーディオ信号と重なり、ターゲットオーディオ信号は、ユーザによって判定されるべき情報を定義し、バックグラウンドオーディオ信号とターゲットオーディオ信号の１つまたは両方は、バイノーラルオーディオを含む、ことと、ユーザインタフェースにおいて、ターゲットオーディオ信号によって定義された情報のユーザ評価に対応するユーザ入力を受信することと、ユーザ入力によって示されるユーザ評価に基づいて、ユーザにフィードバックを提供することと、と有する。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
ユーザインタフェースとオーディオ出力を備えるユーザ装置を用いて、ヒアリングトレーニングを実行するコンピュータ実装方法であって、前記オーディオ出力を用いて、バックグラウンドオーディオ信号とターゲットオーディオ信号を提供することであって、前記ターゲットオーディオ信号は、少なくとも部分的に前記バックグラウンドオーディオ信号と重なり、前記ターゲットオーディオ信号は、ユーザによって判定されるべき情報を定義する、ことと、
前記バックグラウンドオーディオ信号とターゲットオーディオ信号との１つまたは両方は、バイノーラルオーディオを含み、
前記ユーザインタフェースにて、前記ターゲットオーディオ信号によって定義される前記情報のユーザ評価に対応するユーザ入力を受信することと、
前記ユーザ入力によって示される前記ユーザ評価に基づいて、前記ユーザにフィードバックを提供することと、
を有するコンピュータ実装方法。
【請求項2】
前記ターゲットオーディオ信号によって定義される前記情報は、トレーニング環境内のターゲット位置と、
前記ターゲットオーディオ信号の内容と、好ましくは、前記ターゲットオーディオ信号内のスピーチの言語の内容と、および／または、
第２のターゲットオーディオ信号への類似性、および／または、関係と
を含む、請求項１に記載のコンピュータ実装方法。
【請求項3】
前記ターゲットオーディオ信号によって定義される前記情報は、トレーニング環境内のターゲット位置を含み、前記ターゲットオーディオ信号を提供することは、
前記ユーザインタフェースにて、前記トレーニング環境内の中間位置にそれぞれ対応する１または複数の予備のユーザ入力を受信することと、
前記トレーニング環境内の前記中間位置および前記ターゲット位置の相対位置に基づいて、前記ターゲットオーディオ信号の１または複数の属性を変化させることと、
好ましくは、前記ターゲットオーディオ信号の１または複数の属性を変化させることは、
前記バックグラウンドオーディオ信号に関連する前記ターゲットオーディオ信号の音量を変化させることと、
前記ターゲットオーディオ信号の内容を変化させることと、
前記ターゲットオーディオ信号のピッチ、持続時間、リバーブ、および／または、リズムを変化させることと、または、
前記ターゲットオーディオ信号がバイノーラルである場合に、前記ユーザに関連する前記ターゲットオーディオ信号の明確な音源を変化させることと、
の１または複数を含む、請求項１または２に記載のコンピュータ実装方法。
【請求項4】
前記ターゲットオーディオ信号によって定義される前記情報は、トレーニング環境内の複数の異なるビジュアルコンポーネント内のターゲットビジュアルコンポーネントに対応する、請求項１または２に記載のコンピュータ実装方法。
【請求項5】
前記方法は、前記オーディオ出力を用いて、１または複数のターゲットオーディオ信号を提供すること、
を有し、
前記ユーザ入力は、前記ユーザが前記２以上のターゲットオーディオ信号が類似している、および／または、関連していることを信じているか否かを示す、請求項１または２に記載のコンピュータ実装方法。
【請求項6】
前記方法は更に、前記ユーザインタフェースにおいて受信された前記ユーザ入力を分析し、前記ユーザ入力によって示される前記ユーザ評価が前記ターゲットオーディオ信号によって定義される前記情報に対応するか否かを判定することを有する、請求項１から５のいずれか一項に記載のコンピュータ実装方法。
【請求項7】
前記方法の工程を反復して繰り返すことを含む、請求項１から６のいずれか一項に記載のコンピュータ実装方法。
【請求項8】
前記ユーザ入力によって示される前記ユーザ評価が前記ターゲットオーディオ信号によって定義される前記情報に対応すると判定されたことに基づいて、前記ヒアリングトレーニングの難易度は、前記方法の後続の反復に対して増加されること、または、前記ユーザ入力によって示される前記ユーザ評価が前記ターゲットオーディオ信号によって定義される前記情報に対応していないと判定されたことに基づいて、前記ヒアリングトレーニングの難易度は、前記方法の後続の反復に対して減少されること、
のいずれか一方である、請求項７に記載のコンピュータ実装方法。
【請求項9】
ヒアリングトレーニングの難易度は、前記方法の複数の一連の反復にわたって、成功または成功でないユーザ入力の所定の閾値をユーザが満たすことに応じて、周期的に変化する、請求項７または８に記載のコンピュータ実装方法。
【請求項10】
前記方法は更に、前記方法の複数の一連の反復にわたって、それぞれの前記ターゲットオーディオ信号によって定義される前記情報に正しく対応するユーザ入力によって示されるユーザ評価の割合を判定することと、
を有し、
正しいユーザ入力の前記割合が所定の第１の値より大きい場合、前記ヒアリングトレーニングの前記難易度は、１または複数の後続の反復に対して減少され、または、正しいユーザ入力の前記割合が所定の第２の値より小さい場合、前記ヒアリングトレーニングの前記難易度は、１または複数の後続の反復に対して増加される、請求項７から９のいずれか一項に記載のコンピュータ実装方法。
【請求項11】
標準化されたヒアリングテストを実行する予備のステップを含み、前記標準化されたヒアリングテストの結果に基づいて、
前記ヒアリングトレーニングの難易度は変更され、
内容、および／または、前記ターゲットオーディオ信号の１または複数の属性、および／または、バックグラウンドオーディオ信号が変更され、および／または、
ヒアリングトレーニングのモードが変更される、
請求項１から１０のいずれか一項に記載のコンピュータ実装方法。
【請求項12】
前記ユーザ装置は、ディスプレイを含み、前記方法は、前記ディスプレイを用いてトレーニング環境をユーザに表示すること、
を有し、
好ましくは、前記トレーニング環境は、画像、動画、拡張現実、および／または、仮想現実を含む、
請求項１から１１のいずれか一項に記載のコンピュータ実装方法。
【請求項13】
前記ターゲットオーディオ信号は、人のスピーチ、動物の鳴き声、交通騒音、楽器、気象ノイズ、水中騒音、自然音、合成音、環境雑音、ホワイトノイズ、または、合成された音響効果の１または複数を含む、請求項１から１２のいずれか一項に記載のコンピュータ実装方法。
【請求項14】
前記バックグラウンドオーディオ信号は、人のスピーチ、動物の鳴き声、交通騒音、楽器、気象ノイズ、水中騒音、自然音、合成音、環境雑音、ホワイトノイズ、または、合成された音響効果の１または複数を含む、請求項１から１３のいずれか一項に記載のコンピュータ実装方法。
【請求項15】
前記バックグラウンドオーディオ信号は、少なくとも一部分が重なる複数の音を含む、請求項１から１４のいずれか一項に記載のコンピュータ実装方法。
【請求項16】
前記ユーザ装置は、スマートユーザ装置であり、好ましくは、前記ユーザ装置は、スマートフォン、タブレット、ラップトップ、パーソナルコンピュータ、または、ＡＲおよび／またはＶＲのシステムである、
請求項１から１５のいずれか一項に記載のコンピュータ実装方法。
【請求項17】
ユーザインタフェースおよびオーディオ出力を備えるユーザ装置を用いるヒアリングトレーニングを実行するコンピュータ実装方法であって、前記オーディオ出力を用いてターゲットオーディオ信号を提供することであって、前記ターゲットオーディオ信号は、ユーザによって判定されるべき情報を定義する、ことと、
前記ターゲットオーディオ信号は、バイノーラルオーディオを含み、
前記ユーザインタフェースにおいて、前記ターゲットオーディオ信号によって定義される前記情報のユーザ判定に対応するユーザ入力を受信することと、
前記ユーザ判定の結果に基づいて、前記ユーザにフィードバックを提供することと、
を有するコンピュータ実装方法。
【請求項18】
ユーザインタフェースと、オーディオ出力を備えるユーザ装置であって、前記ユーザ装置は、請求項１から１７のいずれか一項に記載のヒアリングトレーニング方法を実行するように構成される、ユーザ装置。
【請求項19】
プロセッサによって読み込まれた際に、ユーザ装置に、請求項１から１７のいずれか一項に記載のヒアリングトレーニング方法を実行させる命令を格納する非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ヒアリングトレーニングを実行するコンピュータ実装方法、特にスマートユーザ装置を用いる方法に関する。特に、本発明は、ユーザのヒアリングをトレーニングする、特に効果的かつ便利な手段を提供する。
【背景技術】
【0002】
人間は、耳を通して空気の振動を検出することによって音を聞いたり、認識したりする。聴覚は、人間が環境と対話するための重要な方法である。
【0003】
しかしながら、難聴は多くの人にとって一般的な病気である。加齢に伴う難聴は時間の経過とともに徐々に発生し、６０歳以上の人に特によく見られる。人が機械、爆発、銃声などの大きな騒音や大音量の音楽にさらされた場合にも、同様に騒音性難聴が発生しうる。
【0004】
難聴に苦しむ人は、脳が聴覚の変化に適応するのに苦労し、騒音を処理して識別するためにより懸命に働かなければならないため、音に対する感覚反応の低下と認知負荷の増加の両方を経験することが理解されよう。したがって、ユーザが音をよりよく認識できるようになり、および／または、聴覚に関連する認知負荷を軽減できるトレーニング方法が非常に望まれている。実際、加齢に関連した難聴や騒音に関連した難聴を有する人を助けるために利用できるツールが特に不足している。
【0005】
聴覚を測定、監視、トレーニングする方法はこれまでに提案されてきた。しかしながら、これらのアプローチには通常、多くの共通の問題がある。
【0006】
最も重要なことは、既存のアプローチが現実の生活を正確に反映していない。関連するタスクとテクニックは、ユーザの日常生活において不十分なトレーニングを提供している。さらに、テストやトレーニングは研究室で行われることが多く、専門的な機器を要求する。そのため、これらのアプローチは多くのユーザにとってアクセスできない可能性がある。最後に、異なるユーザは、難聴の範囲やレベルも大きく異なりうるにもかかわらず、従来の方法では多くの場合、各ユーザに対して同じレジームが必要となる。この柔軟性の無さは、これらの既存のアプローチの有効性を低下させる。
【発明の概要】
【発明が解決しようとする課題】
【0007】
したがって、上記で特定された問題の少なくとも一部を克服する、改善されたヒアリングトレーニング方法、システム、および装置が明確に必要とされている。
【課題を解決するための手段】
【0008】
本発明の一態様によれば、ユーザインタフェースおよびオーディオ出力を備えるユーザ装置を用いてヒアリングトレーニングを実行するコンピュータ実装方法であって、オーディオ出力を使用してバックグラウンドオーディオ信号およびターゲットオーディオ信号を提供することであって、ターゲットオーディオ信号はバックグラウンドオーディオ信号と少なくとも部分的に重なり、ターゲットオーディオ信号はユーザによって判定される情報を定義する、ことと、バックグラウンドオーディオ信号とターゲットオーディオ信号の一方または両方がバイノーラルオーディオを含み、ユーザインタフェースにおいて、ターゲットオーディオ信号によって定義された情報のユーザ評価に対応するユーザ入力を受信することと、ユーザ入力によって示されたユーザ評価に基づいてユーザにフィードバックを提供することと、を有する。
【0009】
本発明のこの態様は、ユーザのヒアリングをトレーニングするための特に現実的であり、従って効果的な方法を提供することが理解されるであろう。トレーニングは、ユーザが日常生活で経験する音や状況を模倣する。
【0010】
ユーザは、ターゲットオーディオ信号をバックグラウンドオーディオ信号から区別し、ターゲットオーディオによって与えられる情報を判定または識別し、ターゲットオーディオの理解に関連するユーザ入力を提供しなければならない。フィードバックを受け取ると、ユーザはターゲットオーディオ信号の評価が正しかったかどうかを認識でき、そのため、ヒアリングスキルを向上することができる。この方法を通じて向上できるヒアリングスキルには、音検出、位置確認、区別、静かな環境での明瞭さ、および騒音内での明瞭さを含む。
【0011】
本発明は、バイノーラルオーディオを利用し、これは、それぞれがリスナーのそれぞれの耳に独立して同じサウンドを提供するように構成された２つの異なるオーディオチャネル（すなわち、右と左のオーディオチャネル）を含むオーディオを意味し、オーディオチャネルは、互いに相対的な耳の想定される配置に基づいて異なる。例えば、上述したバイノーラルオーディオは、模型の頭または人間の頭の両側に人間の耳と同様の方法で配置された２つのマイクを使用して録音されてよい。このアプローチは、「バイノーラルレコーディング」、またはバイノーラルレコーディングのプロセスとしばしば呼ばれる。各マイクで録音された音の違い、つまりバイノーラルオーディオの２つのオーディオチャネル間の違いは、リスナーの耳の相対的な位置に理想的に近似されるモデルまたは人間の頭上の２つのマイクの相対的な位置によって定義される。あるいは、上述したバイノーラルオーディオは、ユーザの耳間の仮定した関係を定義する伝達関数（すなわち、ＨＲＴＦ（Ｈｅａｄ－Ｒｅｌａｔｅｄ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）：頭部伝達関数）を用いて従来のオーディオから２つのオーディオチャネルを形成することにより、従来のオーディオから人工的に合成または生成されてもよい。特に、バイノーラルオーディオの右と左のオーディオチャネルの差は、各耳が空間内の特定の点から音を受け取る方法を特徴付けるＨＲＴＦ（Ｈｅａｄ－Ｒｅｌａｔｅｄ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）に基づいてよい。好ましい例では、バイノーラルオーディオは、ユーザの頭とバイノーラルオーディオ内の見かけの音源との間の相対的な位置および向きに応じて適応または変更されてよい。Ｓｅｎｎｈｅｉｓｅｒ Ｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ ＆ Ｃｏ．製の「ＡＭＢＥＯ Ｏｒｂｉｔ」プラグインや、Ｄｅａｒ Ｒｅａｌｉｔｙ ＧｍｂＨ製の「ＤｅａｒＶＲ ＭＩＣＲＯ」プラグインなど、モノラルまたはステレオサウンドからバイノーラルオーディオを生成するさまざまなソフトウェア製品が利用することができ、どちらも、Ａｖｉｄ Ｔｅｃｈｎｏｌｏｇｙ， Ｉｎｃ．が製造するオーディオ制作ソフトウェア「Ｐｒｏ Ｔｏｏｌｓ」のプラグインである。
【0012】
要約すると、バイノーラルオーディオはステレオオーディオ（「ステレオオーディオ」または「ステレオ」とも称する）の具体例であり、右と左のオーディオチャネルの差はリスナーの耳間の仮定された関係に基づく。この仮定された関係は、従来のステレオオーディオには存在しない、各耳のＨＲＴＦ（Ｈｅａｄ Ｒｅｌａｔｅｄ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）に対応する。
【0013】
上述したように、ターゲットオーディオ信号および／またはバックグラウンドオーディオ信号内のバイノーラルオーディオは、バイノーラルレコーディングされてよく、および／または、それぞれの入力オーディオ信号（例えば、それぞれのモノラルまたはステレオ入力オーディオ信号）から生成または合成されてよい。
【0014】
本発明者らは、ヒアリングトレーニングにおけるバイノーラルオーディオの使用が特に有益であることを認識した。従来のモノラルオーディオ（「モノラルオーディオ」、「モノオーディオ」、または「モノ」とも称する）またはステレオオーディオとは対照的に、バイノーラルオーディオは、ユーザが実生活にて聞く音に特に類似している。これは、ユーザが一般的に経験する状況やタスクを特に正確に模倣するトレーニングを可能とする。さらに、バイノーラルオーディオは、ユーザに音の空間分解能、つまり、各耳での音の聞こえ方の違いに基づいて音の位置や音源を特定するユーザの能力やスキルをトレーニングすることを可能とする。これは健康な人にはよく使われるスキルであるが、難聴のある人、特に両耳で聴力の違いが異なる場合には特に困難である。このようなユーザの音の空間分解能のトレーニングは、従来のモノラルまたはステレオサウンドを使用して達成するのが特に困難である。
【0015】
さらに、バイノーラルオーディオの使用は、空間化（ｓｐａｔｉａｌｉｚａｔｉｏｎ）を可能とする。空間化は、オーディオ信号によって定義された音が特定の場所から発生しているように見えるように、リスナーがオーディオ信号をローカライズできるようにオーディオ信号を変更するプロセスである。空間化されたオーディオは、特に複雑なヒアリングトレーニング状況を作成することを可能とする。したがって、ここで説明するすべてのバイノーラルオーディオは空間化されたオーディオであってよく、バイノーラルオーディオへの参照は必要に応じて空間化されたオーディオに置き換えられてよい。
【0016】
好ましい例では、方法は、ターゲットオーディオ信号および／またはバックグラウンドオーディオ信号のバイノーラルオーディオ内の見かけの音源に対するユーザの頭の位置および方向を追跡することを含む。続いて、方法は、ユーザには見かけの音源の位置が一定であるようと見えるように、見かけの音源に対するユーザの頭の位置および／または方向に基づいて、ターゲットオーディオ信号および／またはバックグラウンドオーディオ信号内のバイノーラルオーディオを適応させることを含んでよい。したがって、方法にはいわゆる「頭部追跡（ｈｅａｄ ｔｒａｃｋｉｎｇ）」が含まれることができる。頭部追跡は、ユーザの頭部の動きを検出するように構成されたカメラ、ユーザまたはユーザ装置の頭部に取り付けられた加速度計またはセンサ、および／または任意の他の適切な方法を使用して実行されてよい。あるいは、ユーザの頭の位置および向きは、ユーザ装置の位置および／または向きに基づいて判定または仮定されてもよい。これらのステップを通じて生成されたバイノーラルオーディオは、「リアクティブバイノーラルオーディオ（ｒｅａｃｔｉｖｅ ｂｉｎａｕｒａｌ ａｕｄｉｏ）」または「頭部追跡を有する適応バイノーラルオーディオ（ａｄａｐｔｉｖｅ ｂｉｎａｕｒａｌ ａｕｄｉｏ ｗｉｔｈ ｈｅａｄ ｔｒａｃｋｉｎｇ）」とも呼ばれる。そのようなバイノーラルオーディオは、リスナーの位置と方向に依存するＨＲＴＦ（Ｈｅａｄ－Ｒｅｌａｔｅｄ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）を用いて、従来のモノラル信号またはオーディオ信号から生成されてよい。これを実現する適切なツールには、上述したプラグインが含まれる。
【0017】
見かけの音源に対するユーザの位置と向きに依存するバイノーラルオーディオの使用は、特に現実的である。したがって、ヒアリングトレーニングは、ユーザが日常生活で使用するヒアリングスキルを向上させるのに特に効果的である。
【0018】
空間化されたオーディオは、以下でさらに説明するように、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）設定およびトレーニング環境と組み合わせた場合に特に利点を提供する。
【0019】
ターゲットオーディオ信号とバックグラウンドオーディオ信号は少なくとも部分的に重なり合う。これにより、各信号内の少なくともいくつかの音がユーザによって一緒に聞こえるように、信号が同時にまたは同期してユーザに提供されることが理解されるであろう。難聴のあるユーザは、そのような重なり合うオーディオ信号の複雑な配置を区別することが難しい場合がある。このような重なり合うオーディオ信号は、現実の生活を正確に反映する。したがって、本発明のこの態様によるヒアリングトレーニングは特に効果的である。特に、バックグラウンドオーディオ信号はユーザの気を散らすものとして機能する可能性があり、ユーザがバックグラウンドオーディオの「ノイズ（ｎｏｉｓｅ）」の中のターゲットオーディオ信号を識別して解釈するのをより困難にしている。
【0020】
好ましくは、バックグラウンドオーディオ信号はバイノーラルオーディオを含み、バックグラウンドオーディオ信号は、ユーザに対して異なる見かけの音源を有する２つ以上の音を定義する。異なる見かけの位置に配置された複数の音を含むバックグラウンドオーディオ信号の使用は、特に現実的である。加えて、または代わりに、バックグラウンドオーディオ信号およびターゲットオーディオ信号はそれぞれバイノーラルオーディオを含み、バックグラウンドオーディオ信号は、ターゲットオーディオ信号によって定義される音とは異なる、ユーザに対して異なる見かけの音源をそれぞれ有する１つまたは複数の音を定義する。異なる見かけの音源に位置する複数の音を提供することにより、ユーザが日常生活で遭遇する可能性のある状況に対応する、特に現実的な「サウンドスケープ（ｓｏｕｎｄｓｃａｐｅ）」（風景に似た）を生成することが可能である。したがって、ヒアリングトレーニングは、通常の状況におけるユーザのヒアリングを改善するのに特に効果的である。各音のバイノーラルオーディオは、上述した方法で、見かけの音源に対するユーザの位置と方向に基づいて調整できる。
【0021】
ユーザ評価の結果に基づいてユーザにフィードバックを提供することによって、ユーザは、ターゲットオーディオ信号によって与えられる情報を正しく識別したか否かを認識することができる。したがって、ユーザにヒアリングスキルを向上させように促す。例えば、方法は、ターゲット音声信号内で定義された情報を正しく理解したか否かを示すために、オーディオ指示、ビジュアル指示、および／または触覚指示（例えば、ユーザ装置の振動）の形式でユーザにフィードバックを提供することを含んでもよい。さらなる例では、フィードバックは、ユーザがターゲットオーディオ信号を評価し、ユーザ入力を提供するのに必要な時間に部分的に基づいてもよい。
【0022】
上述したように、ターゲットオーディオ信号は、ユーザによって判定されるべき情報を定義する。ターゲットオーディオ信号は、任意の適切な方法で情報を伝達または与えるように構成されてよい。例えば、ターゲットオーディオ信号によって定義される情報は、トレーニング環境内のターゲット位置、ターゲットオーディオ信号の内容、好ましくはターゲットオーディオ信号内の音声の言語的な内容、および／または、第２のターゲットオーディオ信号との類似性および／または関係を含んでよい。
【0023】
したがって、ターゲットオーディオ信号は、信号の内容を通じてユーザに直接情報を提供してもよく、例えば、情報は、ターゲットオーディオ信号内の特定の音および／または単語によって定義される。あるいは、ターゲットオーディオ信号は、間接的にユーザに情報を与えてもよく、その場合、ユーザは、情報（例えば、特定される場所、および／または他の音との類似性または関係）を識別するためにターゲットオーディオ信号を解釈することが求められてもよい。
【0024】
ヒアリングトレーニング中にユーザに要求されるアクションまたはタスクは、ターゲットオーディオ信号によって情報がユーザに伝達される方法に応じて、様々な形式をとってよい。
【0025】
例えば、ターゲットオーディオ信号によって定義される情報がトレーニング環境内のターゲット位置を含む場合、ターゲットオーディオ信号を提供することは、ユーザインタフェースにて、トレーニング環境内の中間位置にそれぞれ対応する１つまたは複数の予備的なユーザ入力を受信することと、トレーニング環境内の中間位置とターゲット位置との相対位置に基づいて、ターゲットオーディオ信号の１つまたは複数の特性を変更することとを有する。
【0026】
ターゲット位置と中間位置との距離や他の関係に応じて、ユーザに聞こえる音は変化しうる。したがって、ユーザは、入力した中間位置が変化する際の、ターゲットオーディオ信号および／またはバックグラウンドオーディオ信号の変化に基づいて、ターゲット位置を識別してよい。したがって、方法は、ユーザによって入力された中間位置をターゲット位置と比較することと、この比較の結果に基づいてユーザに提供されるオーディオ信号を変更することとを有してよい。好ましくは、この比較は、ユーザ装置によって実行されるが、これは必須ではなく、別個の装置またはシステムによって実行されてもよい。ターゲット位置であるとユーザが信じているものを特定した後、ユーザは、ターゲット位置の評価に対応するユーザ入力を提供してよい。したがって、方法の間に受信されるユーザ入力は、ターゲットオーディオ信号の変化に基づいて、ターゲット位置に対応するとユーザが信じる位置の指示であってよい。ユーザ入力がターゲット位置に対応する場合、および／またはターゲット位置から所定の距離内にある場合に、ユーザは、ターゲット位置の位置を正確に識別したと理解されてよい。
【0027】
したがって、このトレーニング方法では、ユーザは、提供されるオーディオ信号に基づいてユーザから視覚的に隠されているトレーニング環境内のターゲット位置を探索したり（ｓｅｅｋ）、採集したり（ｆｏｒａｇｅ）する。これにより、ユーザの音検出、識別、位置特定のスキルを向上させることができる。トレーニング環境は、ユーザがいる物理的環境であってもよいが、より好ましくは、ユーザに表示されるトレーニング環境である（以下でさらに説明する）。
【0028】
これらの探索（ｓｅｅｋｉｎｇ）または採集（ｆｏｒａｇｉｎｇ）のトレーニング方法は、ユーザの音検出のヒアリングスキルを向上させるように設計されている。認知的には、ユーザは、注意力の持続時間と空間作業記憶を向上させることができる。したがって、これらのタイプの方法は、ユーザが日常生活中に安全を確保し、空間活動やスポーツなどのタスクの能力を向上させるのに役立つように設計されている。
【0029】
ターゲットオーディオ信号の１つまたは複数のプロパティを変更することは、バックグラウンドオーディオ信号に対するターゲットオーディオ信号の音量を変更することと、ターゲットオーディオ信号の内容を変更することと、ターゲットオーディオ信号のピッチ、持続時間、リバーブおよび／またはリズムを変更することと、または、ターゲットオーディオ信号がバイノーラルの場合に、ユーザに応じてターゲットオーディオ信号の見かけの音源を変更することと、の１つまたは複数を含んでよい。この最後の例では、中間位置が変化するにつれて、ターゲットオーディオ信号の見かけの音源がユーザに対して「パン（ｐａｎ）」されてよい。このような場合、ユーザは、ターゲットオーディオ信号の見かけの音源がユーザの正面にある音源から発せられているように見える、トレーニング環境内のターゲット位置を特定するように求められてよい。例えば、ターゲットオーディオ信号の見かけ上の音源は、最初はユーザの右または左、ユーザの後ろ、および／またはユーザから遠く離れたところに位置していてよい。中間入力に基づいて、見かけの音源がユーザに対して移動されてよく、ユーザは、ターゲットオーディオ信号の見かけの音源が自分の前および／または近くに位置する場所を特定するよう求められてもよい。ターゲットオーディオ信号を変化させることは、ユーザ装置（例えば、ユーザ装置内に含まれるプロセッサ）によって、または外部デバイスもしくはシステム（例えば、ユーザ装置と通信するリモートまたはクラウドベースのシステム）によって実行されてよい。
【0030】
ターゲット位置は、静的であってもよいし、トレーニング環境内で位置が変化してもよい。特に、ターゲット位置の場所を時間の経過とともに定期的または連続的に変更すると、ヒアリングトレーニングの難易度が高めることができる。
【0031】
さらに好ましい例では、ターゲットオーディオ信号によって定義される情報は、トレーニング環境内の複数の異なるビジュアルコンポーネント内のターゲットビジュアルコンポーネントに対応していてよい。したがって、ユーザは、ターゲットオーディオを聞くことに応じて、トレーニング環境内から適切なビジュアルコンポーネントを「識別（ｉｄｅｎｔｉｆｙ）」または選択することを求められてもよい。したがって、方法は、ターゲットオーディオ信号の内容に関連するとユーザが信じているビジュアルコンポーネントに対応するユーザ入力を受信することを含んでよい。
【0032】
好ましい例では、ビジュアルコンポーネントは、トレーニング環境内のボタンまたは表示されたオブジェクトであってもよい。例えば、トレーニング環境は、カフェ、バー、またはレストラン内のメニューと、カフェ、バー、またはレストランによって提供されるメニュー項目に対応する複数のビジュアルコンポーネントを含んでよい。顧客の注文を含むターゲットオーディオ信号を聞くことに応答して、ユーザは、ユーザインタフェースを使用して顧客が望む１つまたは複数のメニュー項目を選択することが求められてよい。あるいは、トレーニング環境は、ビジュアルコンポーネントを形成する複数の動物を含んでもよく、一方、ターゲットオーディオ信号は、動物の鳴き声を含んでもよい。ターゲットオーディオ信号の一部として動物の鳴き声を聞くことに応答して、ユーザは、ユーザインタフェースを介して適切な動物を選択する必要があってよい。
【0033】
したがって、そのようなトレーニング方法では、ユーザはターゲットオーディオ信号の内容に基づいて正しいビジュアルコンポーネントを識別することがタスクとなる。この識別タスクは、ユーザがターゲットオーディオ信号をバックグラウンドオーディオ信号から区別し、ターゲットオーディオ信号内の情報に対応する適切なビジュアルコンポーネントを選択することが求められる。この方法は、ユーザの作業記憶と注意力だけでなく、ユーザのノイズスキルの明瞭度を訓練するのにも役立つ。
【0034】
これらのタイプの識別タスクは、ユーザのノイズヒアリングスキルの明瞭度の向上を支援するように設計されている。認知的には、ユーザは選択的な注意と集中力を発達させ、特定のオブジェクトや音に集中する能力を向上させることができる。特に、ユーザは、特に混雑した環境や騒がしい環境において、この種の方法により社会的な相互作用が改善されることに気づくことができる。
【0035】
さらなる例では、トレーニング方法は、ユーザが２つの別個のターゲットオーディオ信号を「マッチング（ｍａｔｃｈｉｎｇ）」することを含んでもよい。ユーザは、２つのターゲットオーディオ信号が似ているかどうか、および／または概念的に関連しているかどうかを評価することが求められてよい。好ましい例では、方法は、オーディオ出力を使用してターゲットオーディオ信号および第２のターゲットオーディオ信号をユーザに順次提供することと、ターゲットオーディオ信号と第２のターゲットオーディオ信号が類似、および／または関連しているかどうかのユーザ評価に対応するユーザ入力を受信することとを含んでもよい。そのような方法は、ユーザの記憶力を発達させるだけでなく、音を互いに区別する能力を発達させることができる。
【0036】
このような例では、方法は、オーディオ出力を使用して２つ以上のターゲットオーディオ信号を提供することを含んでよく、ユーザ入力は、当該２つ以上のターゲットオーディオ信号が類似および／または関連しているとユーザが信じるかどうかを示す。特に好ましい例では、２つ以上のターゲットオーディオ信号のそれぞれは、当該ターゲットオーディオ信号に対応する予備的なユーザ入力の受信に応答して提供されてよい。例えば、「タイルマッチング（ｔｉｌｅ－ｍａｔｃｈｉｎｇ）」トレーニング方法では、ユーザは、タイルまたは他の選択可能なビジュアルコンポーネントに関する予備的な入力を提供してよく、それに応じて、対応するターゲットオーディオ信号がユーザに提供されてよい。複数のタイルが同様の（例えば、同じ）ターゲットオーディオ信号および／または関連するターゲットオーディオ信号を共有する場合、ユーザは、対応するタイルが一致することを理解していることを示すユーザ入力を提供してよい。
【0037】
これらのタイプのマッチングタスクは、ユーザの区別のヒアリングスキルの発達を支援するように設計されている。認知的には、ユーザの聴覚作業記憶と視覚空間短期記憶の両方を含む、ユーザの短期記憶または作業記憶が改善されることができる（特に、上述した「タイルマッチング（ｔｉｌｅ－ｍａｔｃｈｉｎｇ）」の例において）。したがって、この種のアプローチは、ユーザの読解力、集中力、言語学習能力にメリットをもたらすように設計されている。
【0038】
したがって、上述したように、方法は、採集（ｆｏｒａｇｉｎｇ）／探索（ｓｅｅｋｉｎｇ）、内容の識別、マッチングなどの様々タスクを含むことができる。好ましい例では、これらの異なるタスクは、ヒアリングトレーニングを実行する方法の代替モードを形成する。例えば、方法は、採集／探索モード、識別モード、および／またはマッチングモードのうちの１つまたは複数を実行することを含んでよく、そのそれぞれは、上述した形式をとってよい。このような例では、方法は、ユーザからの入力に基づいて、および／または予備的な方法ステップでユーザによって実行された標準化されたヒアリングテストの結果に基づいて、１つまたは複数の当該トレーニングモードを実行することを含んでもよい。したがって、ヒアリングトレーニングのモードが変化すると、ユーザに要求されるタスク、および／またはターゲットオーディオ信号によって定義される情報のタイプまたは形式が変化することが理解されるであろう。
【0039】
標準化されたヒアリングテストには、ＡＩＡＤＨ（Ａｍｓｔｅｒｄａｍ Ｉｎｖｅｎｔｏｒｙ ｆｏｒ Ａｕｄｉｔｏｒｙ Ｄｉｓａｂｉｌｉｔｙ ａｎｄ Ｈａｎｄｉｃａｐ）（「主観的なヒアリング障害の要因」Ｋｒａｍｅｒ，Ｋａｐｔｅｙｎ，Ｆｅｓｔｅｎ，およびＴｏｂｉ，聴覚学，１９９５年１１月～１２月；３４（６）：３１１－２０）（ユーザが自分の生活の質がヒアリングによってどのように影響を受けるかを評価する一連の多肢選択の質問）；ＨｅａｒＷＨＯ（世界保健機関，２０１８）（ユーザがバックグラウンドホワイトノイズまたはその他の騒音下での音声テストで話されるデジットを聞いて識別するように求められる）；リスナーが聞くことができる最高周波数のテスト；リスナーが様々な周波数にわたって音を聞くことができる閾値音量をテストする純音聴力テスト（ＩＳＯ ２０１０－１１によって発行されたＩＳＯ ８２５３－１：２０１０で定義されたアプローチなど）；または、ユーザのヒアリング能力をテストするその他の適切なテストの１つまたは複数を含んでよい。
【0040】
好ましい実施形態では、方法は、ユーザインタフェースで受信したユーザ入力を分析して、ユーザ入力によって示されるユーザ評価がターゲットオーディオ信号によって定義される情報に対応するか否かを判定するステップをさらに含む。したがって、方法は、ユーザがターゲットオーディオ信号によって伝えられる情報を正しく識別したか否かを判定することを含んでよい。好ましくは、ユーザに提供されるフィードバックは、この分析ステップの結果に基づく。この分析は、ユーザ装置によって（例えば、ユーザ装置内のプロセッサによって）、またはユーザ装置の外部の更なるデバイスまたはシステム（例えば、ユーザ装置と通信するリモートまたはクラウドベースのシステム）によって実行されてよい。
【0041】
好ましくは、方法は、ここで述べた方法ステップを反復的に繰り返すことを含む。したがって、ユーザはトレーニングを繰り返し実行して、ヒアリングスキルを向上させることができる。したがって、ユーザはトレーニングセッション内でヒアリングトレーニングを複数回実行することができ、ターゲットオーディオ信号（および、好ましくは判定されるべき情報）および／またはバックグラウンドオーディオ信号は、方法ステップの各反復間で変更される。したがって、好ましい例では、方法は、単一のユーザに対して方法のステップを反復的に繰り返すことを含み、すなわち、異なる反復で受信されるユーザ入力が同じユーザから受信されるようにする。
【0042】
好ましい例では、方法は、所定の期間（例えば、３分から３０分の期間）、所定の反復回数（例えば、１０、２０、３０、または５０回の反復）、またはユーザがターゲットオーディオ信号によって定義された情報に正確に対応するユーザ入力を提供できなくなるまで、方法のステップを反復的に繰り返すことを含んでよい。方法が所定の回数だけ反復的に繰り返される場合、所定の回数は５～５０の範囲であってもよく、より好ましくは１０～３０の範囲であってもよい。
【0043】
このような例において、方法は、ヒアリングトレーニングのための方法の複数回の反復にわたるユーザのパフォーマンスに基づいてユーザにセッションのフィードバックを提供することをさらに含んでよい。例えば、セッションのフィードバックには、ターゲットオーディオ信号で定義された情報に正しく対応する、ユーザが提供したユーザ入力が受信された反復の合計数、正しいユーザ入力が受信された反復の割合、および／またはデバイスが正しいユーザ入力を受信した連続する反復の最高回数（例えば、ユーザが提供した正しい答えの最高連続回数）の指示を含んでよい。セッションのフィードバックは、オーディオ指示、ビジュアル指示、および／または触覚指示（例えば、ユーザ装置の振動）、又は上述した各反復後に提供されるフィードバックの他の特徴のいずれかを含んでもよい。セッションのフィードバックは、ユーザ装置（例えば、ユーザ装置内のプロセッサ）および／または任意の他のデバイスまたはシステム（例えば、ユーザ装置と通信するリモートまたはクラウドベースのシステム）によって生成されてよい。
【0044】
さらにより好ましくは、ユーザ入力によって示されるユーザ評価がターゲットオーディオ信号によって定義される情報に対応するという判定に基づいて、ヒアリングトレーニングの難易度は、方法の後続の反復で増加されてよい。したがって、このステップは、上述した分析プロセスの結果に基づいてよい。このようにして、ユーザがターゲットオーディオ信号によって伝えられる情報を正しく識別すると、ヒアリングトレーニングの難易度を増加することができる。したがって、ユーザのヒアリングスキルは、ヒアリングが向上するにつれて、より困難なトレーニングを通じてさらに発展されてよい。さらに、または代わりに、ユーザ入力によって示されるユーザ評価がターゲットオーディオ信号によって定義される情報に対応しないという判定に基づいて、ヒアリングトレーニングの難易度は、方法の後続の反復で減少されてよい。ヒアリングトレーニングの難易度を変えることで、トレーニングをユーザに合わせてカスタマイズすることができ、個人のトレーニング成果を向上させることができる。
【0045】
言い換えれば、ヒアリングトレーニングの異なる反復にわたる単一のユーザのパフォーマンスを使用して、将来のトレーニングの難易度を調整してよい。適応的な難易度により、ユーザの関与が維持され、時間の経過とともにユーザのヒアリングスキルに挑戦し、成長し続ける。
【0046】
方法の後続の反復の難易度は、ユーザのそれぞれの成功および／または失敗に応じて変化されてよい。あるいは、方法の連続した反復回数（例えば、連続する成功および／または失敗の所定の数、方法の一連の連続した反復にわたる成功および／または失敗の所定の割合）にわたって、ユーザが成功または不成功のユーザ入力の閾値を満たしたことに応じて、難易度を定期的に変更させてもよい。「成功（ｓｕｃｃｅｓｓ）」とは、ユーザから受け取ったユーザ入力がターゲットオーディオ信号によって定義された情報に正しく対応する（つまり、ユーザがターゲットオーディオ信号内の情報を正しく評価または識別した）反復を指すことであると理解されよう。一方、「失敗（ｆａｉｌｕｒｅ）」とは、ユーザ入力がターゲットオーディオ信号によって定義された情報に対応しない。したがって、ユーザのニーズに合わせて難易度を自動的に調整できる。
【0047】
方法は、方法の複数回の連続反復にわたる、各ターゲットオーディオ信号によって定義された情報に正確に対応するユーザ入力によって示されるユーザ評価の割合を判定することを有し、正しいユーザ入力の割合が所定の第１の値よりも大きい場合、ヒアリングトレーニングの難易度は、後続の１つまたは複数の反復で増加し、または正しいユーザ入力の割合が所定の第２の値よりも小さい場合、ヒアリングトレーニングの難易度は、後続の１つまたは複数の反復で減少する。したがって、ユーザの成功と失敗の割合を所定の閾値と比較することによって、ユーザのパフォーマンスを反映するように難易度を自動的に適応させてよい。
【0048】
特に、発明者らは、ユーザが反復の約８５％でターゲットオーディオ信号内の情報を正しく評価した場合（すなわち、成功率が約８５％、失敗率が約１５％）、ユーザの関与が大幅に増加することを認識した。ユーザが頻繁に間違っている場合、ユーザはイライラする可能性があり、ユーザが非常に頻繁に正しい場合は、トレーニングが退屈であると感じる可能性がある。
【0049】
したがって、それを超えるとトレーニングがより困難になる所定の第１の値は、９５％以上であってもよく、より好ましくは９０％以上である。同様に、トレーニングの難易度が低下する所定の第２の値は、７０％以下であってもよく、より好ましくは８０％以下である。したがって、難易度を変えない成功率は７０～９５％であることが好ましく、より好ましくは８０～９０％である。
【0050】
好ましい例では、ヒアリングトレーニングは、それぞれが方法の複数の連続した反復を含む一連のトレーニングセッションまたはラウンドを含んでよい。例えば、各トレーニングセッションは、５～５０回の反復、より好ましくは１０～３０回の反復を含んでよい。トレーニングセッション全体にわたるターゲットオーディオ信号のシーケンス内のそれぞれの情報に正しく関連するユーザ評価の割合は、これらのトレーニングセッションのそれぞれの終了時に決定され、後続のトレーニングセッション（つまり、ラウンド）の難易度が、この決定に基づいて調整されてよい。上述したように、一部の例では、各トレーニングセッションの反復回数が予めけってされていてよいが、これは必須ではない。例えば、トレーニングセッションの反復回数は、ユーザが制限時間内に完了できる反復回数によって定義されてもよい。
【0051】
特に好ましい例では、方法は、複数の反復を含む以前のトレーニングセッションにわたるユーザの集計されたパフォーマンスに基づいてベースラインの難易度を設定する予備ステップを含んでよい。これは、上述したように、所定の第１および第２の値を使用して実行されてよい。後続のトレーニングセッション中に、トレーニングセッション内の結果に基づいて、このベースラインの難易度から難易度を調整または適応させてよい。したがって、トレーニングの各反復の難易度は、以前のトレーニングセッションでのユーザのパフォーマンスと、進行中の（つまり、同時または現在の）トレーニングセッションでの方法の前の反復でのユーザのパフォーマンスの両方に依存するであろう。
【0052】
あるいは、方法の各反復の後、それぞれのターゲットオーディオ信号によって定義される情報に正確に対応するユーザ入力によって示されるユーザ評価の割合が、反復の前のグループについて（例えば、前の２０回または３０回の反復について）計算されてもよい。したがって、方法の最近の反復の成功率は反復的に計算され、難易度はローリング方式で調整される。例えば、難易度が基づく反復のグループは、少なくとも１０回の以前の反復、より好ましくは少なくとも１５、２０、または３０回の以前の反復を含んでよい。
【0053】
加えて、または代わりに、方法は、標準化されたヒアリングテストを実行する予備ステップを含んでもよく、標準化されたヒアリングテストの結果に基づいて、ヒアリングトレーニングの難易度が変化し、ターゲットオーディオ信号および／またはバックグラウンドオーディオ信号の内容および／または１つまたは複数の特性が変化し、および／または、ヒアリングトレーニングのモードが変化する。例えば、ターゲットオーディオ信号および／またはバックグラウンドオーディオ信号の周波数および／または音量は、標準化されたヒアリングトレーニングにおけるユーザの結果に応じて変更されてよい。例えば、ターゲットオーディオ信号および／またはバックグラウンドオーディオ信号の周波数および音量は、ユーザによって実行された標準化されたテストの結果に基づいて変更されてよい。これは、ユーザがオーディオ信号を確実に聞き取ることができ、ヒアリングスキルを効果的にトレーニングできるようにするのに役立つ。同様に、実行されるヒアリングトレーニングのモードは、ユーザが異なるタスクを実行することが求められる、および／またはターゲットオーディオ信号がユーザに情報を提供する形式が異なるなど、標準化されたヒアリングテストでのユーザの成績に応じて変更されてよい。したがって、ヒアリングトレーニングは、ここで説明するトレーニング方法を使用して、特定の人に合わせてカスタマイズされてよい。
【0054】
例として、標準ヒアリングテストには（前述のように）、ＡＩＡＤＨ（Ａｍｓｔｅｒｄａｍ Ｉｎｖｅｎｔｏｒｙ ｆｏｒ Ａｕｄｉｔｏｒｙ Ｄｉｓａｂｉｌｉｔｙ ａｎｄ Ｈｎａｄｉｃａｐ）、ＨｅａｒＷＨＯ（世界保健機関，２０１８）、リスナーが聞くことができる最高周波数のテスト、リスナーがさまざまな周波数にわたって音を聞くことができる閾値音量をテストする純音ヒアリングテスト（ＩＳＯ ２０１０－１１によって発行されたＩＳＯ ８２５３－１：２０１０で定義されたアプローチなど）、または、ユーザのヒアリングスキルをテストするその他の適切なテストを含んでよい。いずれの場合も、トレーニングはユーザに合わせてカスタマイズできるため、より効果的にすることができる。
【0055】
ヒアリングトレーニングの難易度を自動的に調整する様々なアプローチがある。例えば、ヒアリングトレーニングの難易度を増加することは、バックグラウンドオーディオ信号に対してターゲットオーディオ信号の音量を減少させることと、バックグラウンドオーディオ信号と比較してターゲットオーディオ信号の品質を低下させることと（例えば、ターゲットオーディオ信号にバンドパス、ローパス、またはハイパスフィルタを適用することによって）、ターゲットオーディオ信号とバックグラウンドオーディオ信号との間の類似性を増加することと（例えば、ターゲットオーディオ信号と同様の周波数であるか、またはユーザに対して同様の見かけの音源から発せられる音をバックグラウンドオーディオ信号内に提供することによって）、バックグラウンドオーディオ信号内の音の数を増やすことと、ターゲットオーディオ信号がバイノーラルオーディオを含む場合に、反復中のユーザに対するターゲットオーディオ信号内の音源の見かけの位置を変化させ、および／または方法の連続する反復の間のターゲットオーディオ内における１つまたは複数の音の位置の変動を増大させることと、バックグラウンドオーディオ信号がバイノーラルオーディオを含む場合に、反復中にユーザに対するバックグラウンドオーディオ内の各音の１つまたは複数の見かけの音源の位置の変動を増加させることと、ターゲットオーディオ信号および／またはバックグラウンドオーディオ信号の複雑さの増加させることと（例えば、ユーザが同じユーザ入力または複数のユーザ入力と識別すべきターゲット音における複数の情報を含む、ユーザが区別または識別することがより困難な音を使用することにより、ターゲットオーディオ信号の継続時間を短縮することにより、ターゲットオーディオ信号内の音声の話す速度を上げることにより）、ユーザがユーザ入力を提供しなければならない時間制限を適用することと、および／または、表示されるトレーニング環境の視覚的な複雑さを増加することと、との１つまたは複数を含んでよい。これらの例の大部分は、ユーザがターゲットオーディオ信号をバックグラウンドオーディオ信号から区別することをより困難にし、および／またはユーザがターゲットオーディオ信号によって定義される情報を識別することをより困難にする。実際、ターゲットオーディオ信号とバックグラウンドオーディオの相対的な音量とオーディオ品質を変更したり、信号を増加したりする例は、ユーザに提供されるＳＮＲ（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ：信号対雑音比）を変更することと同等であると理解できる。一方、表示されるトレーニング環境の視覚的な複雑さが増すと、ユーザの気が散りやすくなり、トレーニング中にさらに集中力や注意を払う必要が生じる。また、ヒアリングトレーニングの難易度は、上記の１つまたは複数のオプションの反対を実行して、反対のアプローチによって軽減されてよいことも理解されよう。
【0056】
好ましくは、難易度は、各反復および／またはトレーニングセッションの後に段階的に調整されてよい。これは、ユーザが方法を継続するにつれて、ユーザのヒアリングにおいて徐々にまたは段階的に改善することを反映してよい。難易度を増減するこれらの段階的なステップのそれぞれには、上述したアクションのいずれかが含まれてよい。特に好ましい例では、変化は、難易度が段階的に増加するように準備される。
【0057】
方法のいくつかの実施形態では、トレーニングの難易度、したがってバックグラウンドオーディオ信号の内容からターゲットオーディオ信号内の情報を正確に識別するユーザの能力は、信号対雑音比を使用して定量化されてよい。したがって、信号対雑音比は、ヒアリングトレーニングにおけるパフォーマンスを定量化するスコアとして、ユーザまたは専門家に提示され、時間の経過に伴うパフォーマンスの追跡を可能としてよい。
【0058】
上述したヒアリングトレーニングの難易度をどのように変化させることができるかについての各例は、上述したすべての実施形態に共通である。しかしながら、上述した本発明の異なる潜在的なモードのそれぞれの難易度は、より具体的な方法で変更することができる。
【0059】
例えば、上述した「採集（ｆｏｒａｇｉｎｇ）」／「探索（ｓｅｅｋｉｎｇ）」の方法では、中間位置とターゲット位置の相対位置に基づいてターゲットオーディオを変更するための困難な数のプロパティを減らしてもよい。したがって、ユーザに提供されるターゲット位置の場所に関する情報は少なくなる。加えて、または代わりに、ターゲット位置の場所は、上述したように移動させてもよい。加えて、または代わりに、ターゲット位置に正しく対応するとみなされるために、ユーザはより正確なユーザ入力を提供することを求められてもよい（つまり、ユーザ入力はターゲット位置に近くなければならない）。
【0060】
上述した「識別（ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）」方法では、各ターゲットオーディオ信号内にコンテンツの複数の項目を提供することによって難易度を高めてよく、それぞれのコンテンツをユーザがユーザ入力を用いて正しく識別する必要がある。例えば、トレーニング環境がカフェ、バー、またはレストランである場合、ターゲットオーディオ信号は「ブラックコーヒーとクロワッサンをいただけますか」である可能性があり、ユーザはブラックコーヒーとクロワッサンの両方に関連する入力を提供する（つまり、両方の製品に対応するビジュアルコンポーネントを選択する）ことが求められてよい。同様に、方法内で使用される異なるターゲットオーディオ信号およびビジュアルコンポーネントをより類似させてよい。例えば、ユーザにとって、「キャロットケーキ」と「レモンケーキ」を区別するよりも、「キャロットケーキ」と「キャラウェイケーキ」を区別する方が難しい場合がある。同様に、顧客はユーザに対して様々な位置から注文を行うことができ、例えば、顧客の声に対応するターゲットオーディオ信号の見かけの音源は、ユーザに対して左から右、または上下にパンすることができる。顧客の話す速度が速くなったり、顧客からより曖昧な要求が提供されたりしてよい。難易度が増加するにつれて追加されるバックグラウンドターゲット信号内の追加の気が散る音には、列で待っている１人または複数人の他の顧客、通り過ぎる交通（車、バス、トラックなど）、またはカフェ内からの他の音が含まれ得る。これらのバックグラウンド音の見かけの位置も、ヒアリングトレーニングの各反復内または異なる反復間で異なっていてよい。バンドパスフィルタ（例えば、特定の周波数の音量を最大５ｋＨｚまたは３ｋＨｚまで減少させるように構成されたフィルタ）をターゲットオーディオ信号に適用して、顧客が着用するフェイスマスクを模倣してもよい。
【0061】
上述した「マッチング（ｍａｔｃｈｉｎｇ）」方法では、対応しないターゲットオーディオ信号をより類似させることによって難易度を増加させてもよい。例えば、どのターゲットオーディオ信号が同一であるかをユーザが判断する必要がある場合、異なるターゲットオーディオ信号の内容をより類似させたり（例えば、韻を踏んだ単語や、より少ない文字や音節で異なる単語を含む）、あるいは、ピッチ、リバーブ、持続時間、および／またはリズムが近いトーンを含んだりしてよい。
【0062】
さらなる例では、トレーニング方法の難易度はユーザによって変更されてよく、すなわち、難易度はユーザからの入力の受信に応じて変更されてよい。この難易度の変更には、上述した変更のいずれかが含まれてもよい。これらの難易度の変更は、方法ステップの連続した繰り返しの間に発生してもよいし、方法の１回の繰り返し中に発生してもよい。例えば、ユーザが方法の反復中に特定のターゲットオーディオ信号とバックグラウンドオーディオ信号を区別するのに苦労している場合、ユーザは、ターゲットオーディオ信号を繰り返すこと、バックグラウンドオーディオ信号が削除されるか、ターゲットオーディオ信号と比較して音量が低減されること、ターゲットオーディオ信号が表示されることへの手掛かりまたはヒント、および／またはターゲットオーディオ信号内の音声が表示されること（例えば、字幕を使用して）、を要求する入力を提供してよい。この方法でユーザがトレーニング方法を操作できるようにすると、ヒアリングトレーニングをより簡単にユーザに合わせてカスタマイズできるようになり、ユーザのフラストレーションを軽減し、ヒアリングトレーニングに対するユーザの関与を向上させることができる。
【0063】
好ましくは、ユーザ装置はディスプレイを備え、方法はディスプレイを使用してトレーニング環境をユーザに表示することを含む。例えば、トレーニング環境は、画像、ビデオ、拡張現実および／または仮想現実を含んでよい。トレーニング環境をユーザに表示することは、ヒアリングトレーニング中のユーザへの感覚入力がさらに増加させる。ユーザは通常、日常生活の中で視覚と聴覚の両方の入力を経験するため、これによりヒアリングトレーニングの現実感が高まる。したがって、ヒアリングトレーニングの効果が高まる。しかし、これは必須ではなく、さらなる実施形態では、ヒアリングトレーニングは、ユーザにオーディオ信号のみを提供することを含んでもよい。
【0064】
トレーニング環境を表示することは、ヒアリングトレーニングの複雑さを増加することを許可してもよい。ユーザは、ターゲットオーディオ信号によって定義された情報を、トレーニング環境内に表示されるビジュアルコンポーネントに関連付けることを求められてもよい。例えば、ユーザはトレーニング環境内に表示される位置または項目を選択することが求められてもよい。
【0065】
同様に好ましい実施形態では、トレーニング環境は、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ：仮想現実）および／またはＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実）を含み、方法は、ユーザ装置によって表示されるトレーニング環境の視点が変化したことに伴って、ターゲットオーディオ信号および／またはバックグラウンドオーディオ信号のバイノーラルオーディオ内の見かけ上の音源を変化させることを含む。
【0066】
トレーニング環境がＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）を含む場合、ユーザが頭を動かすと、トレーニング環境が表示される視点が変化してよい。仮想現実システムは、ユーザが見ている場所を追跡し、それに応じて仮想現実ヘッドセットを通じてユーザに表示される視点を調整する。同様に、トレーニング環境が拡張現実を含む場合、拡張現実トレーニング環境を表示する装置（例えば、スマートフォン、タブレット、またはヘッドセット）が移動すると、トレーニング環境を見る視点が変化してよい。そのため、装置はバイノーラル合成を実行し、ユーザの視点に応じた音の正確な空間化をリアルタイムで実現する。
【0067】
ターゲットオーディオ信号および／またはバックグラウンドオーディオ信号内のバイノーラルオーディオは、想定されるユーザの頭と見かけの音源との間の角度に応じて変化するＨＲＴＦ（Ｈｅａｄ Ｒｅｌａｔｅｄ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）の使用による視点の変化に基づいて変化させてよい。したがって、バイノーラルターゲットオーディオ信号および／またはバックグラウンドオーディオ信号内の見かけ上の音源は、ＡＲ／ＶＲトレーニング環境の使用全体にわたって正確に空間化され得る。その結果、ユーザに表示されるトレーニング環境の視点が変化しても、空間化されたオーディオを維持することができる。空間化されたオーディオは特にリアルで、ＶＲ／ＡＲヒアリングトレーニング以外のユーザの体験を正確に反映する。
【0068】
好ましくは、ターゲットオーディオ信号は、人間の音声、動物の鳴き声、交通騒音、楽器、自然の音、周囲の騒音、または合成された効果音のうちの１つまたは複数を含む。しかしながら、任意の適切な音響効果または録音されたサウンドをターゲットオーディオ信号内で使用できる。上述したように、ターゲットオーディオ信号はバイノーラルオーディオを含むことが好ましく、そのため、上述した音は、ユーザの異なる耳に提示される異なる信号に応じて、ユーザに対する見かけの位置を有してよい。
【0069】
好ましくは、バックグラウンドオーディオは、人間の音声、動物の鳴き声、交通騒音、楽器、気象騒音、水の音、自然の音、合成音、周囲の騒音、ホワイトノイズ、または合成された効果音のうちの１つまたは複数を含む。更なる実施形態では、任意の適切な音響効果または録音された音をバックグラウンドオーディオ信号内で使用できる。
【0070】
より好ましくは、バックグラウンドオーディオは、少なくとも部分的に重なり合う複数の音を含む。このように音を重ね合わせることで、複数の異なる音が同時にユーザに提供され、リアルなサウンドスケープが作成される。バックグラウンドオーディオ信号の特に価値のある例としては、より長くて比較的音量が小さい周囲の音と、より大きくてより短い気を散らす音の両方が挙げられる。例えば、複数の人間の会話を組み合わせて、カフェ、バー、レストランでのグループの騒音を形成することができる。一方、熱帯雨林は、水が滴る音や風に揺れる木の葉の音に動物の鳴き声を重ね合わせることにより模倣されてよい。ユーザにとって、複数の重なり合う音を含む複雑なサウンドスケープからターゲットオーディオ信号を区別し、その後、ターゲットオーディオ信号によって定義または伝達される情報を識別することは、特にテストとなる。これにより、ヒアリングトレーニングの効果を向上することができる。実際、上述したように、バックグラウンドオーディオ信号が好ましくバイノーラルオーディオを含む場合、重なり合う音のそれぞれは、ユーザに対して異なる見かけの位置を有してよい。ユーザの周囲の複数のバックグラウンド音の配置は、特に現実的であり、トレーニング結果の向上に役立つ。
【0071】
重なり合う音や周囲の録音をバックグラウンドオーディオ信号（特にバイノーラルの音や録音）として使用することは、非常にリアルなサウンドスケープを提供し、ホワイトノイズ、ピンクノイズ、ブラウンノイズなどのランダムノイズ信号を使用する場合と比較して向上したトレーニング結果を提供する。ホワイトノイズは、異なる周波数で等しい強度を持ち、一定のパワースペクトル密度を与えるランダム信号である。ピンクノイズまたは１／ｆノイズは、信号の周波数に反比例するパワースペクトル密度を有するランダムノイズ信号である。ブラウンノイズ（レッドノイズとも呼ばれる）は、信号の周波数の２乗に反比例するパワースペクトル密度を有するランダムノイズ信号である。ホワイト、ピンク、およびブラウンノイズは一定であり、簡単に生成することができるが、自然な環境を反映しておらず、ユーザが日常生活で経験する環境音の非現実的な代替である。
【0072】
好ましくは、ターゲットオーディオ信号および／またはバックグラウンドオーディオ信号は人間の可聴範囲内にある。例えば、ターゲットオーディオ信号および／またはバックグラウンドオーディオ信号のそれぞれは、２０～２０，０００Ｈｚの間、より好ましくは２５Ｈｚ～１５，０００Ｈｚの間、さらにより好ましくは１００～１０，０００Ｈｚの間の音を含んでもよい。ターゲットオーディオ信号の音量は、（例えば、トレーニングの難易度を変えるために）バックグラウンドオーディオ信号に対して変化させてよいが、好ましくは、ユーザがターゲットオーディオを識別でき、ターゲットオーディオ信号によって伝えられる情報を判定するように、バックグラウンドオーディオ信号はターゲットオーディオ信号よりも静かである。例えば、バックグラウンドオーディオ信号は、ターゲットオーディオ信号に対して少なくとも－６ｄｂ、より好ましくは少なくとも－１２ｄｂの音量であってもよい。
【0073】
好ましくは、ユーザ装置はスマートユーザ装置であり、好ましくは、ユーザ装置はスマートユーザ装置であり、好ましくは、ユーザ装置はスマートフォン、タブレット、ラップトップ、パーソナルコンピュータ、またはＡＲおよび／またはＶＲシステムである。研究室に設置されることが多い従来のシステムとは対照的に、この種のパーソナル装置はユーザが簡単にアクセス可能である。スマートフォンやタブレットは特に持ち運び可能であり、ユーザにとって便利である。一方、ヘッドセットを含むＡＲおよび／またはＶＲシステムを使用すると、より複雑なトレーニング設定を提供することができる。これに限らず、任意の適切なユーザ装置を使用することができる。
【0074】
好ましくは、ユーザ装置は、ユーザが空間データをユーザ装置に提供できるようにするユーザインタフェースである、ポインティングデバイスを備える。例えば、ユーザ装置は、タッチスクリーン、トラックパッド、マウス、マウスパッド、ジョイスティック、またはゲームパッドを備えてよい。ただし、これは必須ではなく、任意の適切な入力装置が用いられてよい。例えば、入力装置はマイクロフォンであってもよく、ユーザはオーディオ入力（例えば音声入力）を提供してもよい。
【0075】
特に好ましい例では、ユーザ装置のディスプレイとユーザインタフェースとが組み合わされてよい。例えば、ユーザ装置はタッチスクリーンを備えていてもよい。これは、ユーザがユーザ装置と対話するための特にスペース効率が高く、直感的な手段である。
【0076】
好ましくは、ターゲットオーディオ信号およびバックグラウンドオーディオ信号は、ヘッドフォンまたはオーディオ出力に接続された代替のオーディオ出力装置を介してユーザに提供される。用語ヘッドフォンは、イヤフォン（ｅａｒｐｈｏｎｅ）、イヤフォン（ｅａｒｂｕｄｓ）、ヘッドセット、およびユーザの頭に装着される他の任意の適切な形式のオーディオ出力装置を包含すると理解されるであろう。ヘッドフォンは、バイノーラルオーディオの左右別々のオーディオチャネルをユーザの対応する耳に直接提供する特に便利な手段を提供する。これに限らず、代替の実施形態では、方法は、バイノーラルオーディオの右左別々のオーディオチャネルをユーザの対応する耳に提供するように構成されたラウドスピーカのシステムを介して、ターゲットオーディオ信号およびバックグラウンドオーディオをユーザに提供することを含んでもよい。
【0077】
本発明の更なる態様によれば、ユーザインタフェースおよびオーディオ出力を備えるユーザ装置を用いてヒアリングトレーニングを実行するコンピュータ実装方法が提供され、方法は、オーディオ出力を用いて、ユーザによって判定されるべき情報を定義するターゲットオーディオ信号を提供することと、ターゲットオーディオ信号はバイノーラルオーディオを含み、ユーザインタフェースにて、ターゲットオーディオ信号によって定義される情報のユーザ判定に対応するユーザ入力を受信することと、ユーザ判定の結果に基づいてユーザにフィードバックを提供することと、を有する。
【0078】
そのような方法も、ユーザのヒアリングをトレーニングする現実的かつ効果的な方法を提供する。ターゲットオーディオ信号内でバイノーラルオーディオの使用は、ユーザが日常生活で経験する音や状況を模倣する。
【0079】
本発明のこの態様に係る方法は、本発明の前の態様を参照して上述した特徴のいずれかを有し、上述した任意の好ましい特徴を含む対応する利点を提供することができる。例えば、本発明のこの態様によれば、バックグラウンドオーディオ信号は必須ではないが、好ましい実施形態では、バックグラウンドオーディオ信号が提供される。これにより、ユーザはターゲットオーディオ信号によって与えられる情報を解釈する前にターゲットオーディオ信号をバックグラウンドオーディオから区別する必要があるため、ヒアリングトレーニングのリアリズムと有効性が向上する。バックグラウンドオーディオ信号は、バイノーラルオーディオまたは従来のモノラルオーディオおよび／またはステレオオーディオを含んでよい。
【0080】
本発明の更なる態様によれば、ユーザインタフェースおよびオーディオ出力を備えるユーザ装置が提供され、ユーザ装置は、本発明の前述の態様のいずれかによるヒアリングトレーニング方法を実行するように構成される。
【0081】
ユーザ装置は、本発明の前述の態様を参照して上述した物理的なコンポーネントのいずれかを備えてよく、上述した好ましいまたは任意の方法ステップのいずれかを実行するように構成されてよい。そのようなユーザ装置は、上述した例に対応する利点を提供する。
【0082】
本発明の更なる態様によれば、プロセッサによって読み取られた際に、ユーザ装置に上述したいずれかの方法によるヒアリングトレーニング方法を実行させる命令を記憶する非一時的コンピュータ可読媒体が提供される。
【0083】
命令は、プロセッサによって読み取られた際に、ユーザ装置に、上述した好ましいまたは任意の方法ステップのいずれかを実行させてよい。そのような命令は、上述した例に対応する利点を提供する。
【0084】
以下の図を参照して、本発明の具体的な例について説明する。
【図面の簡単な説明】
【0085】
【図1】本発明に係るユーザ装置を備えるシステムを概略的に示す図。
【図2】本発明に係る方法を示すフローチャート。
【図3a】本発明に係る方法を実行するユーザ装置を概略的に示す図。
【図3b】本発明に係る方法を実行するユーザ装置を概略的に示す図。
【図3c】本発明に係る方法を実行するユーザ装置を概略的に示す図。
【図4】本発明に係る方法を実行するユーザ装置を概略的に示す図。
【図5】本発明に係る方法を実行するユーザ装置を概略的に示す図。
【図6】本発明に係る方法を示すフローチャート。
【発明を実施するための形態】
【0086】
図１は、ヒアリングトレーニングのための方法を実行するように構成されたユーザ装置１０を備えるシステム１を概略的に示す。ユーザ装置１０は、スマートフォン、タブレット、ラップトップ、またはパーソナルコンピュータなどのスマートユーザ装置であってもよい。ユーザ装置１０は、プロセッサ１１、メモリ１２（すなわち、コンピュータ可読記憶媒体）、ユーザインタフェース１３、ディスプレイ１４、およびオーディオ出力１５を備える。実際には、ユーザ装置は、この概略図には示されていない更なる特徴を備えてもよい。
【0087】
プロセッサ１１は、ユーザ装置１０のメモリ１２に記録された命令を実行するように構成される。ユーザインタフェース１３は、ユーザからの入力を受信する（すなわち、ユーザ入力を受信する）ように構成される。ディスプレイ１４は、トレーニング環境をユーザに表示するように構成される。ユーザ装置１０は、ユーザインタフェース１３とディスプレイ１４の両方を提供するタッチスクリーンを備えてもよい。あるいは、ユーザインタフェース１３とディスプレイ１４は別個のコンポーネントであってもよい。例えば、ユーザインタフェース１３は、タッチスクリーン、トラックパッド、マウス、マウスパッド、ジョイスティック、ゲームパッド、または任意の他の適切な入力装置を備えてもよい。
【0088】
ユーザ装置１０は、オーディオ出力１５を介して、ヘッドフォン２１またはラウドスピーカ２２などの外部オーディオ出力装置に接続するように構成される。ユーザ装置１０と、ヘッドフォン２１および／またはラウドスピーカ２２との間の接続２１ａ、２２ａは、有線または無線（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ（登録商標）、または任意の他の適切な代替の無線通信プロトコルを介して）であってもよい。ユーザ装置１０は、オーディオ出力１５およびこれらの接続２１ａ、２２ａを使用してオーディオ信号を提供してよく、これらの信号は、次いで、ヘッドフォン２１またはラウドスピーカ２２によってオーディオ（すなわち、音声）に変換される。
【0089】
特に、ユーザ装置１０は、ヘッドフォン２１またはスピーカ２２を通じてバイノーラルオーディオをユーザに提供するように構成される。バイノーラルオーディオは、左右のオーディオチャネルで構成され、左右のオーディオチャネルの差は、リスナーの耳間の想定された関係（例えば、ＨＲＴＦ（Ｈｅａｄ Ｒｅｌａｔｅｄ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ：頭部伝達関数）によって定義される）に基づく。ユーザ装置１０は、バイノーラル録音された（すなわち、モデルの頭部または人の頭部のいずれかの側に配置された一対のマイクロフォンを使用して録音された）、または、頭部伝達関数を使用してサンプル信号から生成された、バイノーラルオーディオを提供してよい。
【0090】
【0091】
ステップｓ１０１において、ユーザ装置１０は、オーディオ出力を使用して少なくともターゲットオーディオ信号を提供する。好ましくは、ユーザ装置１０は、ターゲットオーディオ信号と少なくとも部分的に重なるバックグラウンドオーディオ信号も提供する（例えば、ターゲットオーディオ内の音の少なくとも一部と、バックグラウンドオーディオが同時に提供されるように）。ターゲットオーディオ信号は、ユーザによって判定されるべき情報を定義する。ターゲットオーディオ信号およびバックグラウンドオーディオ信号のうちの少なくとも１つは、バイノーラルオーディオを含む。
【0092】
トレーニング中、ターゲットオーディオ信号および任意のバックグラウンドオーディオ信号は、ユーザ装置１０のオーディオ出力１５によって（例えば、ヘッドフォン２１またはラウドスピーカ２２を介して）ユーザに提供される。バイノーラルオーディオは、頭部伝達関数を使用してサンプル信号からバイノーラル録音および／または生成されてよい。オプションとして、このステップ中に、ユーザの頭とバイノーラルオーディオ内の見かけの音源との間の相対的な位置および向きに応じて、バイノーラルオーディオを適応または依存させることができる。ターゲットオーディオ信号および／またはバックグラウンドオーディオ信号内の１つまたは複数の音の見かけの音源は、見かけの音源に対するユーザの頭またはユーザ装置の位置および向きに応じて変化してよい。これを達成するために、ユーザの頭の位置と向きを追跡してよい。
【0093】
ターゲットオーディオを聞くと、ユーザはターゲットオーディオによって定義された情報を識別しようとする。バックグラウンドオーディオが存在する場合、ユーザは、まずターゲットオーディオをバックグラウンドオーディオから区別する必要がある。続いて、ユーザは、ターゲットオーディオによって伝達または与えられる情報の理解または評価に対応するユーザ入力を、ユーザインタフェース１３を使用してユーザ装置１０に提供する。したがって、ステップｓ１０２において、ユーザ装置１０は、ターゲットオーディオ信号によって定義される情報のユーザ評価に対応するユーザ入力を受信する。
【0094】
ユーザ入力を受信すると（ｓ１０２）、ユーザ装置１０は、ステップｓ１０３において、ユーザ入力によって示されるユーザ評価に基づいてユーザにフィードバックを提供する。したがって、ユーザは、ユーザ装置１０から提供されるオーディオを理解し解釈する能力の評価を受け取る。したがって、ユーザは聴覚をトレーニングし、改善することができる。
【0095】
ステップｓ１０３にてフィードバックを提供するために、ユーザインタフェースで受信したユーザ入力が、ユーザ評価がターゲットオーディオ信号によって定義された情報に対応するかどうかを判定するために分析されてよい。この分析は、ユーザ装置１０のプロセッサ１１または他の任意の適切なプロセッサによって実行されてよい。ユーザ入力によって示されたユーザ評価がターゲットオーディオ信号で定義された情報に正確に対応する場合（すなわち、ユーザがターゲットオーディオによって伝えられる情報を正しく識別した場合）、ユーザ装置１０は肯定的なフィードバックを受け取ってよい。そうでない場合、ユーザ装置１０は否定的なフィードバックを提供してよい。フィードバックは、ユーザ装置１０のディスプレイ１４上に示されるメッセージなどのビジュアルインジケータ、ユーザ装置１０のオーディオ出力１５によって提供される効果音または口頭のメッセージなどのオーディオインジケータ、および／または、ユーザ装置１０内の振動ユニットを使用して生成され得る振動などの触覚のインジケータなどの他の任意の適切なインジケータの形式を用いてよい。
【0096】
好ましい例では、方法ステップｓ１０１、ｓ１０２、ｓ１０３が反復的に繰り返され、ユーザがヒアリングスキルのトレーニングと開発を継続できるようにする。ヒアリングトレーニングの難易度は、方法の以前の反復におけるユーザ（すなわち、単一のユーザ）の成功および／または失敗に基づいて段階的に調整されてよい。加えて、または代わりに、難易度はユーザ入力に従って調整されてもよい。加えて、または代わりに、ヒアリングトレーニングの難易度は、ユーザに対して標準化されたヒアリングテスト（例えば、アムステルダムのインベントリ、ＨｅａｒＷＨＯ、またはユーザが聞くことができる最高周波数のテスト）を実行する予備ステップの結果に基づいてもよい。ユーザ装置１０は、オーディオ出力１５を介してそのような標準化されたヒアリングテストを実施するように構成されてよい。しかしながら、他の例では、標準化されたヒアリングテストの結果が、外部装置またはシステムからユーザ装置１０によって受信されてもよい。異なるトレーニング方法の難易度をどのように変更または操作できるかの例については、上記のサマリーセクションで説明している。
【0097】
ユーザ装置３０、４０、５０を用いて実行されるヒアリングトレーニングのための方法の具体例を、概略的な図３から図５を参照して説明する。これらの例のそれぞれは、図２を参照して上記で説明したステップが組み込まれている。
【0098】
ユーザ装置３０、４０、５０は、ディスプレイとユーザインタフェースの両方を提供するタッチスクリーン３１、４１、５１を備えるスマートフォンである。ユーザ装置３０、４０、５０は、ターゲットオーディオ信号および／またはバックグラウンドオーディオ信号を（例えば、ヘッドフォンまたはラウドスピーカーアレイを介して）ユーザに提供するように構成されたオーディオ出力（不図示）を備える。いずれの場合も、ターゲットオーディオ信号とバックグラウンドオーディオ信号の１つまたは両方がバイノーラルオーディオを構成してもよい。加えて、ユーザ装置３０、４０、５０は、図１および図２を参照して上記で述べたユーザ装置１０の更なる特徴のいずれかを共有してもよい。ユーザとユーザ装置３０、４０、５０との間のインタラクションは、図３ａ～図３ｃおよび図４では手のアイコンによって示され、図５ではハッチングされたビジュアルコンポーネントによって示されている。
【0099】
図３ａおよび図３ｂは、ユーザ装置３０を用いて実行される「採集（ｆｏｒａｇｉｎｇ）」または「探索（ｓｅｅｋｉｎｇ）」のヒアリングトレーニング方法の一連のステップを概略的に示す。ユーザ装置３０は、タッチスクリーン３１を使用してトレーニング環境３２をユーザに表示する。トレーニング環境３２内には、ヒアリングトレーニングの開始時にユーザには知られていない隠れたターゲット位置３３が定義される。
【0100】
図３ａは、ユーザ装置３０のオーディオ出力により、ユーザ装置３０によって提供されるターゲットオーディオ信号が、中間位置Ｌとターゲット位置３３との間の距離ｄに基づいてどのように変更され得るかを示す。一方、図３ｂは、ユーザがターゲット位置３３を探す際の、トレーニング環境３２を介したユーザ入力の動きｍを示す。
【0101】
ユーザ装置３０は、方法全体を通じて、ターゲットオーディオ信号、および、好ましくはバックグラウンドオーディオをユーザに提供する。ユーザに提供されるオーディオ信号は、タッチスクリーン３１にてユーザから受け取った予備的なユーザ入力に依存し、これらの予備的なユーザ入力は、トレーニング環境内の中間位置Ｌに対応する（図３ａ～図３ｃの手のアイコンによって示される）。特に、ターゲットオーディオ信号の１つまたは複数の特性は、隠れたターゲット位置３３に対する中間位置Ｌの位置に応じて変化する。したがって、ターゲットオーディオ信号は、トレーニング環境３２内のターゲット位置３３の位置に関する情報を伝える。
【0102】
具体的には、図３ａに示すように、ユーザ装置３０は、トレーニング環境３２内の一連の中間位置Ｌ１、Ｌ２、Ｌ３、Ｌ４に対応する一連の予備的なユーザ入力をタッチスクリーン３１で受信する。例えば、ユーザは、中間位置Ｌ１、Ｌ２、Ｌ３、Ｌ４のそれぞれにおいてタッチスクリーン３１上で指をタップまたはドラッグしてよい。換言すれば、ユーザがターゲット位置３３を特定しようとすると、各予備的なユーザ入力によって提供される中間位置Ｌ１、Ｌ２、Ｌ３、Ｌ４は、矢印ｍ１、ｍ２、ｍ３、ｍ４で示すように変化する。
【0103】
各予備的なユーザ入力に応答して、ユーザ装置３０は、中間位置Ｌ１、Ｌ２、Ｌ３、Ｌ４とターゲット位置３３との間の距離ｄ１、ｄ２、ｄ３、ｄ４を算出し、それに応じてターゲットオーディオ信号の特性を変更する。例えば、ターゲットオーディオ信号の音量が変更されてもよい（例えば、ターゲットオーディオは、ターゲット位置３３に近づくほど大きくなり、またはターゲット位置３３に近づくほど小さくなってよい）。加えて、または代わりに、ターゲットオーディオの内容、ピッチ、持続時間、リバーブ、またはリズムが変更されてもよい。例えば、中間位置Ｌがターゲット位置３３に近い場合、ターゲットオーディオ信号のピッチが高くなる、またはテンポが高くなってよい。加えて、または代わりに、ターゲットオーディオ信号がバイノーラルである場合、ターゲットオーディオ信号の見かけの音源は、ユーザに対して変化してよい。
【0104】
図３ｂに示すように、中間位置Ｌ１、Ｌ２、Ｌ３、Ｌ４に対応する一連の予備的なユーザ入力を入力し、その結果生じるターゲットオーディオの変化を聞いた後、ユーザは、ターゲット位置３３がどこに位置するのかを評価または決定することができる。次いで、ユーザは、トレーニング環境３１内のターゲット位置３３の位置Ｌ＊の評価に対応するユーザ入力を提供してもよい（例えば、ユーザ装置３０のタッチスクリーン３１をダブルタップすることによって）。
【0105】
その後、ユーザ装置３０は、ユーザ入力によって示された位置Ｌ＊がターゲット位置３３に対応するかどうかを決定または分析し、この分析の結果に基づいてユーザにフィードバックを提供してよい。図３ｂに示すように、ユーザ入力によって示される位置Ｌ＊は、ターゲット位置３３に対して正確であり（例えば、ターゲット位置から所定の距離内にある）、そのためユーザは、肯定的なフィードバックを提供されることができる。しかしながら、ユーザがターゲット位置３３から遠い位置を示すように入力した場合、ユーザは否定的なフィードバックを受け取ってよい。このフィードバックは、ユーザのヒアリングスキルの向上に役立つ。フィードバックは、ユーザがターゲット位置を特定するのに必要な時間または中間位置の数に基づいてもよい。
【0106】
この「採集（ｆｏｒａｇｉｎｇ）」／「探索（ｓｅｅｋｉｎｇ）」の方法での使用に適した特定のターゲットオーディオ信号は、木の葉に当たる風の音、水の流れる音、動物の鳴き声などの別個の重なり合う音を含む、森林のバックグラウンドオーディオ信号のサウンドスケープに対して聞こえ得る動物の鳴き声や音（鳥の鳴き声など）を含む。同様に、ターゲットオーディオは、バックグラウンドオーディオや騒々しいキッチンや市場の音に対して聞こえるフライパン（または他の調理器具）の音であってもよい。
【0107】
図３ａおよび図３ｂは、一連の対応する離散的なユーザ入力によって示される一連の離散的な中間位置Ｌ１、Ｌ２、Ｌ３、Ｌ４を示すことが分かるであろう。しかしながら、これは必須ではなく、ユーザは（例えば、タッチスクリーン３１上で指をドラッグすることによって）中間位置の連続する範囲を入力してもよい。この場合、ユーザに提供されるターゲットオーディオ信号は、連続的に変化してよい。
【0108】
【0109】
図３ａおよび図３ｂに関連して上述したように、ターゲットオーディオ信号の１つまたは複数の特性は、各中間位置Ｌ１、Ｌ２、Ｌ３、Ｌ４とターゲット位置３３との間の距離の大きさに応じて変化し得るが、これは必須ではない。その代わりに、図３ｃに示すように、ターゲットオーディオ信号の特性は、ユーザ入力によって示される中間位置Ｌ１とターゲット位置３３との間の垂直距離ｖ１、水平距離ｈ１、および／または角度θ１に応じて変化してもよい。
【0110】
いくつかの例では、中間位置Ｌとターゲット位置３３との相対位置を定量化できるこれらの異なる座標のそれぞれに基づいて、ターゲットオーディオの異なる特性を変化させてもよい。例えば、バックグラウンドオーディオ信号に対するターゲットオーディオ信号の音量は、中間位置Ｌとターゲット位置３３との間の垂直距離に応じて変化してよい一方、ターゲットオーディオ信号内のバイノーラルオーディオの見かけの音源は、中間位置Ｌとターゲット位置３３との間の水平距離に応じて、ユーザに対する相対的な位置が変化されてもよい。この例では、ユーザは、ターゲットオーディオの音量が最も大きい場所と、それが目の前の音源から直接聞こえているように見える場所を特定する必要があってもよい。
【0111】
図４は、ユーザがターゲットオーディオ信号の内容を「識別（ｉｄｅｎｔｉｆｙ）」しなければならない、ユーザ装置４０（スマートフォン）を用いて実行されるヒアリングトレーニングのための方法を概略的に示す。
【0112】
図３ａから図３ｃのように、ユーザ装置４０は、タッチスクリーン４０を使用してトレーニング環境４２をユーザに表示する。図４に示すヒアリングトレーニングは、カフェ、バー、またはレストランで顧客が行った注文を識別することを含む。ユーザ装置４０によって表示されるトレーニング環境４２は、注文を行う顧客が表示され得る顧客セクション４２ａと、複数の選択可能なビジュアルコンポーネント４３が、カフェ、バー、レストランのメニューにおける異なる製品に対応して表示されるメニューセクション４２ｂの２つのセクションに分割される。
【0113】
顧客Ｃがユーザ装置４０によって表示されると、ユーザ装置４０は、顧客Ｃの注文に対応するターゲットオーディオ信号を（例えばヘッドフォンを介して）ユーザに提供する。例えば、ターゲットオーディオ信号は、「ブラックコーヒーをください」または「アップルケーキを一切れいただけますか」というスピーチを含んでよい。したがって、ユーザは、顧客Ｃが望む製品を特定し、対応するビジュアルコンポーネント４３を選択する必要がある。例えば、ユーザは、手のアイコン４４によって示されるように、ユーザ装置４０のタッチスクリーンをタップすることによって、当該ビジュアルコンポーネントに対応するユーザ入力を提供してよい。したがって、ターゲットオーディオ信号によって定義される情報は、ターゲットオーディオ内の人間のスピーチの言語的な内容であるが、ユーザ入力は、ターゲットオーディオ信号のこの内容に対応するとユーザが信じるビジュアルコンポーネント４３の選択である。
【0114】
ユーザ入力を受信すると、ユーザ装置４０は、ユーザのヒアリングスキルを向上させるために、ユーザ入力に基づいてユーザにフィードバックを提供してよい。事前に、ユーザ装置４０（または別の装置もしくはシステム）は、ユーザ入力によって示されるビジュアルコンポーネント４３がターゲットオーディオ信号の内容に正確に対応するかどうかを判定してもよい。フィードバックは、ユーザがユーザ入力を提供する速度に基づいてもよい。
【0115】
ユーザ装置４０は、ターゲットオーディオ信号と同時に提供してもよいバー、カフェ、レストランの周囲雑音などのバックグラウンドオーディオを提供してよく、すなわち、バックグラウンドオーディオ信号とターゲットオーディオ信号が重なり合うようにしてよい。前述したように、バックグラウンドオーディオ信号が、複数の人間の会話、コーヒーマシン、カトラリーおよび食器の騒音、および／または交通騒音などの複数の重なり合う音を含む場合、特に現実的なサウンドスケープを作成することができる。バックグラウンドオーディオ信号およびターゲットオーディオ信号のうちの少なくとも１つはバイノーラルオーディオを含む。
【0116】
上述した例では、トレーニング環境にはカフェ、バー、またはレストラン内の顧客が表示され、ユーザが識別する必要があるターゲットオーディオ信号の内容は、人間のスピーチの言語的な内容（つまり、顧客が話している実際の言葉）である。しかしながら、これは必須ではなく、他の例では、ターゲットオーディオ信号およびトレーニング環境は他の形式をとってもよい。例えば、トレーニング環境には農場が表示され、ターゲットオーディオ信号には農場の動物の騒音が含まれる。この場合、ユーザは、ユーザ装置４０によって表示される適切な家畜を、その鳴き声から識別することが要求されてよい。このような例では、バックグラウンドオーディオには農場で聞こえる典型的な音が含まれる場合があってよい。
【0117】
図５は、ユーザ装置５０（スマートフォン）を用いて実行されるヒアリングトレーニングの方法を概略的に示し、この方法では、ユーザは、異なるターゲットオーディオ信号を一緒に「照合（ｍａｔｃｈ）」しなければならない。
【0118】
ユーザ装置５０は、そのタッチスクリーン５１を使用して、ユーザによって選択され得る複数のビジュアルコンポーネント５３を含むトレーニング環境５２を表示する。具体的には、図５に示すように、選択可能なビジュアルコンポーネント５３はタイルの形式をとり、ユーザは各タイル上でタッチスクリーン５１をタップすることによって選択することができる。このようにして、ユーザは、ビジュアルコンポーネント５３に対応する予備的なユーザ入力をユーザ装置５０に提供する。
【0119】
例えば、ユーザ装置５０は、第１のビジュアルコンポーネント５３ａ（図５にハッチングで示す）に対応する第１の予備的なユーザ入力を受信し、そのオーディオ出力（不図示）を介して、第１のビジュアルコンポーネント５３ａに対応する第１のターゲットオーディオ信号をユーザに提供してよい。その後、ユーザ装置５０は、第２のビジュアルコンポーネント５３ｂ（図５にハッチングで示す）に対応する第２の予備的なユーザ入力を受信し、そのオーディオ出力（不図示）を介して、第２のビジュアルコンポーネント５３ｂに対応する第２のターゲットオーディオ信号をユーザに提供してよい。両方のターゲットオーディオ信号を聞いた後、ユーザは、第１および第２のターゲットオーディオ信号が類似しているか、および／または関連しているかどうか、すなわち、選択されたビジュアルコンポーネント５３ａ、５３ｂに対応するターゲットオーディオ信号が一致（ｍａｔｃｈ）しているかどうかを評価する必要がある。例えば、一致するターゲットオーディオ信号は同一であってもよく、および／またはピッチ、リズム、継続時間、音色および／またはリバーブなどの同様または同じオーディオ特性を共有してもよい。あるいは、一致するターゲットオーディオ信号を概念的にリンクさせてもよく、例えば、第１のターゲットオーディオ信号は、用語「犬」を言う人間のスピーチを含んでよく、一方、第２のターゲットオーディオ信号は、犬の鳴き声を含んでよい。代替として、または追加として、ターゲットオーディオ信号がバイノーラルである場合、ユーザは、ターゲットオーディオ信号が同じ見かけの音源を共有しているかどうか、つまり、ターゲットオーディオ信号がユーザに対して同様に空間化されているかどうかを判断する必要があってもよい。このようにして、ターゲットオーディオ信号によってユーザに与えられる情報は、他のターゲットオーディオ信号との関係および／または類似性である。
【0120】
ユーザが、２つ以上の異なるビジュアルコンポーネント５３に対応するターゲットオーディオ信号が類似および／または関連していると信じる場合（例えば、図５に示される第１および第２のビジュアルコンポーネント５３ａ、５３ｂ）、それらは、当該異なるビジュアルコンポーネント５３に対応するユーザ入力を提供してもよい。例えば、ユーザは、トレーニング環境に示される当該ビジュアルコンポーネント５３のそれぞれを「ダブルタップ（ｄｏｕｂｌｅ ｔａｐ）」する、および／または、当該ビジュアルコンポーネント５３の一方を他方のビジュアルコンポーネント５３に「ドラッグ（ｄｒａｇ）」してよい。
【0121】
対応するターゲットオーディオ信号によってリンクされているとユーザが信じるビジュアルコンポーネントのユーザ入力を受信すると、ユーザ装置５０は、このユーザ入力に基づいてユーザにフィードバックを提供してよい。例えば、関連するおよび／または類似するターゲットオーディオ信号を共有するビジュアルコンポーネントをユーザが正しく識別した場合、ユーザは肯定的なフィードバックを受け取ることができる。
【0122】
ターゲットオーディオ信号に加えて、ユーザ装置５０は、オーディオ出力（不図示）を介してバックグラウンドオーディオ信号をユーザに提供してよい。これらの方法では、ユーザは、異なるターゲットオーディオ信号の比較を開始できる前に、ターゲットオーディオをバックグラウンドオーディオから区別する必要がある。ターゲットオーディオ信号およびバックグラウンドオーディオ信号の一方または両方は、バイノーラルオーディオを含んでもよい。
【0123】
上記の図５の説明に続いて、マッチング技術を使用して様々な同様のトレーニング方法が使用されてよく、トレーニング方法は図５に示す「タイルマッチング（ｔｉｌｅ－ｍａｔｃｈｉｎｇ）」アプローチに限定されないことが理解されるであろう。
【0124】
図３から図５を参照して上述したヒアリングトレーニングを実行するための方法およびユーザ装置については、別途説明した。しかしながら、これらの技術は、より広範な方法内で代替のトレーニングモードを形成できることが理解されるであろう。例えば、ユーザ装置は、ユーザ入力、外部システムからの入力に応答して、および／または、標準化されたヒアリングテストの実行に応答して、図３、図４、または図５に関連して説明した方法のいずれかを実行するように構成されてよい。例えば、標準化されたヒアリングテストは、特定のヒアリングトレーニング方法がユーザにとって特に有益であることを特定し、その後、ユーザ装置は、当該ヒアリングトレーニング方法を実行するように構成されてよい。このようにして、ヒアリングトレーニングをユーザに合わせて簡単にカスタマイズされてよい。
【0125】
さらに、図３から図５に関連して上述した技術はそれぞれ、タッチスクリーンディスプレイ３１、４１、５１を備えたスマートフォン（すなわち、ユーザ装置３０、４０、５０）を含むが、これは必須ではない。さらなる例では、ＡＲおよびＶＲを提供するためのデバイスおよびシステムを含む代替のユーザ装置が使用されてもよい。同様に、本発明のいくつかの例では、ヒアリングトレーニングは、トレーニング環境の表示を含まなくてもよい。代わりに、トレーニング方法は、物理的なトレーニング環境の使用を含んでもよいし、視覚的なトレーニング環境を使用せずにオーディオ信号のみが含まれてもよい。
【0126】
上述したすべてのデバイスおよびシステムのコンポーネントは、有線または無線接続によって接続されてよい。
【0127】
図６は、ユーザのヒアリング能力を反映し、ユーザのヒアリングが向上するにつれて難易度が増加するように、ヒアリングトレーニングの難易度をどのように適応させることができるかを示すフローチャートを示す。このプロセスは、図１に示すユーザ装置１０を使用して実行することができ、図３から５を参照して説明したタスクのいずれかを伴うことができる。
【0128】
ステップｓ２０１にて、方法が開始する。ステップｓ２０２にて、ヒアリングトレーニング方法の複数回の反復を含むヒアリングトレーニングセッションまたはヒアリングトレーニングのラウンドが、ユーザ（例えば、単一のユーザ）に対して完了する。このように繰り返されるヒアリングトレーニング方法は、図２を参照して上述した方法であってもよい。トレーニングセッションは、ターゲットオーディオ信号およびバックグラウンドオーディオ信号がユーザに提供され、ユーザ入力が受信され、ユーザ入力が分析されて当該ユーザ入力によって示されるユーザ評価がターゲットオーディオ信号によって定義される情報に対応するか否を判定するためのユーザ入力を判定するプロセスの少なくとも１０回の反復を含んでよい。
【0129】
続いて、ステップｓ２０３にて、方法は、トレーニングセッション全体にわたって、各ターゲットオーディオ信号によって定義される情報に正確に対応するユーザ入力によって示されるユーザ評価の割合を判定することを含む。任意で、ヒアリングトレーニングセッション内のユーザのパフォーマンスに関するフィードバックが、この判定の結果に基づいてユーザに提供される。例えば、ユーザには、生のパーセンテージまたは評価（例えば、星の数）の形式でフィードバックスコアが提供されてもよい。
【0130】
ステップｓ２０３におけるこの判定の結果に基づいて、トレーニングの難易度は、上述したように、ステップｓ２０４からｓ２１０において適応または調整される。ヒアリングトレーニングの難易度を調整した後、ステップｓ２１１にて、新たなヒアリングトレーニングセッション（すなわち、ヒアリングトレーニングの新たなラウンド）セッションを開始し、プロセスを繰り返してよい。
【0131】
難易度の調整は、ステップｓ２０４で、割合（例えば、ユーザが成功した反復の割合）が第１の閾値よりも大きいか否かを判定することから始まる。割合がこの第１の閾値より大きい場合、トレーニングは簡単すぎるとみなされ、ステップｓ２０５にて、将来のトレーニングセッションの難易度が増加する。この第１の閾値は、８５％～１００％の範囲であってもよく、好ましくは９０％である。
【0132】
割合が第１の閾値より小さい場合、方法はステップｓ２０６に進み、割合が第１の閾値から第２の閾値までの範囲内にあるか否かが判定される。第２の閾値は５０～８５％の範囲であってもよく、好ましくは８０％である。割合がこの範囲内にある場合、トレーニングは適切に難しいと判定され、ステップｓ２０７にて、将来のトレーニングセッションの難易度レベルがその既存のレベルに維持される。そうでない場合、方法はステップｓ２０８に進む。
【0133】
ステップｓ２０８にて、割合が第２の閾値より小さいか否かが判定される。そうである場合、ヒアリングトレーニングは難しすぎると判定され、ステップｓ２０９にて、将来のトレーニングセッションの難易度が低下される。そうでない場合、ステップｓ２１０にて、難易度はその既存のレベルに維持される。
【0134】
ステップｓ２０８における割合が第２の閾値より小さいか否かを判定するステップは、ステップｓ２０４およびｓ２０６における決定が満たされていないことの内在の結果であるため、オプションであり冗長であることに留意されたい。それでも、このステップを積極的に実行すると冗長性が提供され、計算プロセスでのエラーや問題を回避できる。
【0135】
したがって、上記の図６に示す方法では、方法の複数回の連続の反復にわたるユーザ入力の成功または不成功の所定の閾値を満たすユーザに応じて、ヒアリングトレーニングの難易度を定期的に変更することが含まれる。正しいユーザ入力の割合が所定の第１の閾値よりも大きい場合、ヒアリングトレーニングの難易度は、後続のヒアリングトレーニングプロセスの反復で減少するか、または正しいユーザ入力の割合が所定の第２の閾値よりも小さい場合、ヒアリングトレーニングの難易度は、ヒアリングトレーニングプロセスの１または複数の後続の反復で増加する。
【0136】
任意で、上述したプロセスを使用して、後続のトレーニングセッションのベースラインの難易度を生成するが、後続のトレーニングセッション中、難易度は、トレーニングセッション内でのヒアリングトレーニング方法の反復中のユーザのパフォーマンスに基づいて、このベースラインレベルから変更されてよい。したがって、難易度は、以前のトレーニングセッションと、進行中または現在のトレーニングセッションでの方法の反復の両方に基づいて調整される。
【0137】
方法ではユーザの成功率が８０％と９０％の範囲内（つまり、約８５％）に継続的に維持されるような、第１の閾値と第２の閾値がそれぞれ９０％と８０％の場合には、トレーニング結果の向上が達成されている。これにより、ユーザが飽きない程度に十分に難しく、ユーザがイライラするほど難しくないように、ユーザに課題が提供される。したがって、高いユーザ関与が達成され、ユーザはヒアリングトレーニングを継続してヒアリングを大幅に改善する可能性が高くなる。
【0138】
したがって、図６に示す方法は、ユーザのヒアリングスキルの変化を反映してヒアリング方法の難易度を段階的に増減できることが理解されるであろう。難易度の変化には、ターゲットオーディオ信号、バックグラウンドオーディオ信号、トレーニング環境、およびサマリで上述したようにユーザが応答しなければならない時間スケールのいずれかの変更が含まれてよい。したがって、当業者であれば、所望の難易度の進行に応じて、トレーニングセッション間の難易度の多種多様な進行性の変更を発展させ、事前に定義できることが理解されるであろう。例えば、バックグラウンドオーディオ信号に対してターゲットオーディオ信号の音量または品質を段階的に減少させることによって、またはバックグラウンドオーディオ信号内の音の数を徐々に増加させることによって、および／または、それらの見かけの位置を変化させることによって、難易度を徐々に高めてよい。同様に、これらの変更は組み合わせて適用してもよいし、必要に応じて交互に適用してもよい。
【0139】
本発明は完全に機能するデータ処理システムの内容で説明されてきたが、当業者であれば、本発明のプロセスが、命令のコンピュータ可読媒体の形式や様々な形式にて分散でき、本発明は、分散を実行するために実際に使用される信号搬送媒体の特定のタイプに関わらず同様に適用されることを理解するであろうことに留意することが重要である。
【0140】
一般的に、本テキストで説明される、または図に示される機能のいずれも、ソフトウェア、ファームウェア（例えば、固定論理回路）、プログラマブルまたは非プログラマブルハードウェア、またはこれらの実装の組み合わせを使用して実装することができる。ここで使用される用語「コンポーネント（ｃｏｍｐｏｎｅｎｔ）」または「機能（ｆｕｎｃｔｉｏｎ）」は、一般的に、ソフトウェア、ファームウェア、ハードウェア、またはこれらの組み合わせを表す。例えば、ソフトウェア実装の場合、用語「コンポーネント」または「機能」は、処理装置上で実行される際に指定されたタスクを実行するプログラムコードを指してもよい。ここでの図中で示されるコンポーネントおよび機能の別個のユニットへの分離は、そのようなソフトウェアおよび／またはハードウェアの実際の物理的なグループ化および割り当てを反映してもよく、または単一のソフトウェアプログラムおよび／またはハードウェアユニットによって実行される異なるタスクの概念的な割り当てに対応してもよい。したがって、ここで説明される様々なプロセスは、同じプロセッサ上で、または任意の組み合わせの異なるプロセッサ上で実装することができる。例えば、ユーザ入力の分析、ユーザ入力に応答したフィードバックの生成、ターゲットオーディオ信号またはバックグラウンドオーディオ信号の変化、および／または上述の他のプロセスのいずれかは、ユーザ装置内のプロセッサ、または、外部デバイスまたはシステム（例えば、ユーザ装置と通信するリモートまたはクラウドベースのシステム）内のプロセッサによって実行されてよい。
【0141】
上述した方法およびここで述べたプロセスは、コード（例えば、ソフトウェアコード）および／またはデータとして具体化することができる。そのようなコードおよびデータは、１つまたは複数のコンピュータ可読媒体に格納することができ、これには、コンピュータシステムによって使用されるコードおよび／またはデータを格納できる任意のデバイスまたは媒体が含まれてよい。コンピュータシステムがコンピュータ可読媒体に格納されたコードおよび／またはデータを読み取って実行すると、コンピュータシステムは、コンピュータ可読記憶媒体内に格納されたデータ構造およびコードとして具体化された方法およびプロセスを実行する。特定の実施形態では、ここで記載される方法およびプロセスの１つまたは複数のステップは、プロセッサ（例えば、コンピュータシステムまたはデータストレージシステムのプロセッサ）によって実行され得る。当業者であれば、コンピュータ可読媒体には、コンピュータ可読命令、データ構造、プログラムモジュール、および、コンピューティングシステム／環境によって使用される他のデータなどの情報の記憶に使用できるリムーバブルおよび非リムーバブル構造／デバイスが含まれることを理解するであろう。コンピュータ可読媒体には、ランダムアクセスメモリ （ＲＡＭ、ＤＲＡＭ、ＳＲＡＭ）などの揮発性メモリ、フラッシュメモリなどの不揮発性メモリ、各種リードオンリーメモリ（ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ）、磁気メモリおよび強磁性／強誘電体メモリ（ＭＲＡＭ、ＦｅＲＡＭ）、磁気および光記憶装置（ハードドライブ、磁気テープ、ＣＤ、ＤＶＤ）、ネットワークデバイス、またはコンピュータ可読情報／データを保存できる現在知られている、または今後開発される他の媒体が含まれるが、これらに限定されない。コンピュータ可読メディアは、伝播信号を含むものとして理解または解釈されるべきではない。
【0142】
本開示の特定の実施形態について説明してきたが、さまざまな修正、変更、代替構造、および均等物も本開示の範囲内に包含される。本開示の実施形態は、ある特定のデータ処理環境内での動作に限定されず、複数のデータ処理環境内で自由に動作することができる。さらに、本開示の実施形態は、特定の一連のトランザクションおよびステップを使用して説明されているが、本開示の範囲が、説明された一連のトランザクションおよびステップに限定されないことは当業者には明らかであろう。上述の実施形態の様々な特徴および態様は、個別にまたは組み合わせて使用されてよい。
【0143】
したがって、明細書および図面は、限定的な意味ではなく、例示的な意味としてみなされるべきである。しかしながら、特許請求の範囲に記載のより広い精神および範囲から逸脱することなく、追加、控除、削除、およびその他の修正および変更を行うことができることは明らかである。したがって、特定の開示実施形態について説明してきたが、これらは限定することを意図したものではない。様々な修正および均等物は、以下の特許請求の範囲内に含まれる。修正および変形には、開示された特徴の任意の関連する組み合わせが含まれてよい。
【図1】
【図2】
【図3a】
【図3b】
【図3c】
【図4】
【図5】
【図6】
【国際調査報告】