7584743 共有リスニング環境における聴覚障害者のためのオーディオ強化

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-08

(45)【発行日】2024-11-18

(54)【発明の名称】共有リスニング環境における聴覚障害者のためのオーディオ強化

(51)【国際特許分類】

   H04R 3/00 20060101AFI20241111BHJP

   H04R 3/12 20060101ALI20241111BHJP

   H04R 25/02 20060101ALI20241111BHJP

   H04S 1/00 20060101ALI20241111BHJP

【ＦＩ】

H04R3/00 310

H04R3/12 Z

H04R25/02 Z

H04S1/00 500

【請求項の数】 18

(21)【出願番号】P 2023513165

(86)(22)【出願日】2021-08-26

(65)【公表番号】

(43)【公表日】2023-09-07

(86)【国際出願番号】 IB2021057837

(87)【国際公開番号】W WO2022043916

(87)【国際公開日】2022-03-03

【審査請求日】2023-02-22

(31)【優先権主張番号】17/006,476

(32)【優先日】2020-08-28

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】100092093

【弁理士】

【氏名又は名称】辻居 幸一

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(72)【発明者】

【氏名】キャンデロア ブラント

(72)【発明者】

【氏名】ネジャト マーヤー

(72)【発明者】

【氏名】シンタニ ピーター

【審査官】松崎 孝大

(56)【参考文献】

【文献】特開２０１３－０５７７０５（ＪＰ，Ａ）

【文献】特開２００３－２３００７１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０２４９２６３（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｒ ３／００

Ｈ０４Ｒ ３／１２

Ｈ０４Ｒ ２５／０２

Ｈ０４Ｓ １／００

(57)【特許請求の範囲】

【請求項1】

電子装置であって、
ヘッドマウントオーディオデバイスに通信可能に結合される回路を含み、前記回路は、
メディアソースから第１のオーディオコンテンツを受け取り、
前記ヘッドマウントオーディオデバイスの着用者として、聴覚障害を有する第１のユーザを検出し、
前記検出された第１のユーザと関連付けられる、前記第１のユーザの左耳及び右耳の両方についての前記第１のユーザの聴力曲線を含むオージオグラムであるオーディオ強化プロファイルに基づいて、前記検出された第１のユーザと関連付けられる難聴のタイプを決定し、
前記決定された難聴のタイプに基づいて、前記検出された第１のユーザの聴力レベルが閾値聴力レベルを下回る可聴周波数の帯域を決定し、
前記第１のオーディオコンテンツの１又は２以上の特徴の修正として、前記決定された可聴周波数の帯域を含む前記第１のオーディオコンテンツのいくつかのオーディオフレームの振幅レベルを選択的に増幅し、
前記修正に基づいて、第２のオーディオコンテンツを生成し、
前記生成された第２のオーディオコンテンツを、前記ヘッドマウントオーディオデバイスと共有する、
ように構成される、
ことを特徴とする電子装置。

【請求項2】

前記回路は、共有リスニング体験のために、前記ヘッドマウントオーディオデバイス上での前記第２のオーディオコンテンツの再生と同時に、前記第１のオーディオコンテンツを再生するようにオーディオ再生システムを制御するように構成される、
ことを特徴とする、請求項１に記載の電子装置。

【請求項3】

前記オーディオ再生システムは、外部無線スピーカ、内蔵スピーカのセット、外部有線スピーカ、サブウーファ、ツイータ、サウンドバー、又は光学オーディオデバイスのうちの１又は２以上を含むことを特徴とする、請求項２に記載の電子装置。

【請求項4】

前記回路に通信可能に結合される撮像デバイスを更に含み、前記回路は、
前記撮像デバイスを制御して、前記第１のユーザと前記ヘッドマウントオーディオデバイスとを含むリスニング環境の画像を取り込み、
前記取り込まれた画像に基づいて、前記ヘッドマウントオーディオデバイスの前記着用者として、前記第１のユーザを検出する、
ように更に構成される、
ことを特徴とする、請求項１に記載の電子装置。

【請求項5】

前記回路は、
前記第１のユーザの前記聴力曲線と、正常な聴力レベルを有する第２のユーザの基準聴力曲線とを比較し、
前記比較に基づいて、前記修正のための前記第１のオーディオコンテンツの前記１又は２以上の特徴を決定する、
ように更に構成される、
ことを特徴とする、請求項１に記載の電子装置。

【請求項6】

前記回路は、
前記第１のユーザの前記聴力曲線が前記第１のユーザの左耳又は右耳のうちの１つについて難聴状態を示すという決定に基づいて、前記第１のオーディオコンテンツの左チャネルオーディオ又は右チャネルオーディオのうちの１つとして、第１のオーディオ部分を選択し、
前記第１のオーディオコンテンツの前記選択された第１のオーディオ部分の前記１又は２以上の特徴を修正し、
前記修正に基づいて、前記第２のオーディオコンテンツを生成する、
ように更に構成される、
ことを特徴とする、請求項１に記載の電子装置。

【請求項7】

前記回路は、
前記ヘッドマウントオーディオデバイスを制御して、対応する可聴周波数のセットにおいてテストトーンのセットを順次再生し、
前記ヘッドマウントオーディオデバイス上で前記それぞれのテストトーンが再生される間、前記テストトーンのセットにおける各テストトーンの音量は増加し、
前記ヘッドマウントオーディオデバイス上で前記テストトーンのセットが順次再生される間、ユーザ入力のセットを受け取り、各ユーザ入力は、前記それぞれのテストトーンに対する聴力閾値レベルを示し、
前記受け取られたユーザ入力のセットに基づいて、前記第１のユーザについての前記オーディオ強化プロファイルとして、オージオグラム上に聴力曲線を生成する、
ように更に構成される、
ことを特徴とする、請求項１に記載の電子装置。

【請求項8】

前記第１のオーディオコンテンツと関連付けられるビデオコンテンツを表示するように構成されるディスプレイデバイスを更に含むことを特徴とする、請求項１に記載の電子装置。

【請求項9】

前記回路は、
前記ヘッドマウントオーディオデバイスとの無線共有のための前記第２のオーディオコンテンツの符号化と関連付けられる第１の処理遅延を計算し、
前記ヘッドマウントオーディオデバイスにおける前記第２のオーディオコンテンツの復号と関連付けられる第２の処理遅延を計算し、
前記計算された第１の処理遅延及び第２の処理遅延に基づいて、前記ヘッドマウントオーディオデバイス上での前記第２のオーディオコンテンツの再生と同期するように、前記ビデオコンテンツの前記表示の時間を較正する、
ように更に構成される、
ことを特徴とする、請求項８に記載の電子装置。

【請求項10】

前記１又は２以上の特徴は、前記第１のオーディオコンテンツのいくつかのオーディオフレームの振幅、前記第１のオーディオコンテンツの可聴周波数の帯域の振幅レベル、前記第１のオーディオコンテンツのダイナミックレンジ、前記第１のオーディオコンテンツにおける音声フレームの振幅レベル、又は前記第１のオーディオコンテンツのオーディオフレームのためのゲインレベルの調整のための調整速度を含むことを特徴とする、請求項１に記載の電子装置。

【請求項11】

方法であって、
メディアソースから第１のオーディオコンテンツを受け取るステップと、
ヘッドマウントオーディオデバイスの着用者として、聴覚障害を有する第１のユーザを検出するステップと、
前記検出された第１のユーザと関連付けられる、前記第１のユーザの左耳及び右耳の両方についての前記第１のユーザの聴力曲線を含むオージオグラムであるオーディオ強化プロファイルに基づいて、前記検出された第１のユーザと関連付けられる難聴のタイプを決定するステップと、
前記決定された難聴のタイプに基づいて、前記検出された第１のユーザの聴力レベルが閾値聴力レベルを下回る可聴周波数の帯域を決定するステップと、
前記第１のオーディオコンテンツの１又は２以上の特徴の修正として、前記決定された可聴周波数の帯域を含む前記第１のオーディオコンテンツのいくつかのオーディオフレームの振幅レベルを選択的に増幅するステップと、
前記修正に基づいて、第２のオーディオコンテンツを生成するステップと、
前記生成された第２のオーディオコンテンツを、前記ヘッドマウントオーディオデバイスと共有するステップと、
を含むことを特徴とする方法。

【請求項12】

共有リスニング体験のために、前記ヘッドマウントオーディオデバイス上での前記第２のオーディオコンテンツの再生と同時に、前記第１のオーディオコンテンツを再生するようにオーディオ再生システムを制御するステップを更に含むことを特徴とする、請求項１１に記載の方法。

【請求項13】

撮像デバイスを制御して、前記第１のユーザと前記ヘッドマウントオーディオデバイスとを含むリスニング環境の画像を取り込むステップと、
前記取り込まれた画像に基づいて、前記ヘッドマウントオーディオデバイスの前記着用者として、前記第１のユーザを検出するステップと、
を更に含むことを特徴とする、請求項１１に記載の方法。

【請求項14】

前記第１のユーザの前記聴力曲線と、正常な聴力レベルを有する第２のユーザの基準聴力曲線とを比較するステップと、
前記比較に基づいて、前記修正のための前記第１のオーディオコンテンツの前記１又は２以上の特徴を決定するステップと、
を更に含むことを特徴とする、請求項１１に記載の方法。

【請求項15】

前記第１のユーザの前記聴力曲線が前記第１のユーザの左耳又は右耳のうちの１つについて難聴状態を示すという決定に基づいて、前記第１のオーディオコンテンツの左チャネルオーディオ又は右チャネルオーディオのうちの１つとして、第１のオーディオ部分を選択するステップと、
前記第１のオーディオコンテンツの前記選択された第１のオーディオ部分の前記１又は２以上の特徴を修正するステップと、
前記修正に基づいて、前記第２のオーディオコンテンツを生成するステップと、
を更に含むことを特徴とする、請求項１１に記載の方法。

【請求項16】

前記ヘッドマウントオーディオデバイスを制御して、対応する可聴周波数のセットにおいてテストトーンのセットを順次再生するステップであって、
前記ヘッドマウントオーディオデバイス上で前記それぞれのテストトーンが再生される間、各テストトーンの音量は増加する、ステップと、
前記ヘッドマウントオーディオデバイス上で前記テストトーンのセットが順次再生される間、ユーザ入力のセットを受け取るステップであって、各ユーザ入力は、前記それぞれのテストトーンに対する聴力閾値レベルを示す、ステップと、
前記受け取られたユーザ入力のセットに基づいて、前記第１のユーザについての前記オーディオ強化プロファイルとして、オージオグラム上に聴力曲線を生成するステップと、
を更に含むことを特徴とする、請求項１１に記載の方法。

【請求項17】

前記ヘッドマウントオーディオデバイスとの無線共有のための前記第２のオーディオコンテンツの符号化と関連付けられる第１の処理遅延を計算するステップと、
前記ヘッドマウントオーディオデバイスにおける前記第２のオーディオコンテンツの復号と関連付けられる第２の処理遅延を計算するステップと、
前記計算された第１の処理遅延及び第２の処理遅延に基づいて、前記ヘッドマウントオーディオデバイス上での前記第２のオーディオコンテンツの再生と同期するように、前記第１のオーディオコンテンツと関連付けられるビデオコンテンツの表示の時間を較正するステップと、
を更に含むことを特徴とする、請求項１１に記載の方法。

【請求項18】

電子装置におけるコンピュータによって実行された時に、前記電子装置に動作を実行させるコンピュータ実行可能命令が記憶された非一時的コンピュータ可読媒体であって、前記動作は、
メディアソースから第１のオーディオコンテンツを受け取ることと、
ヘッドマウントオーディオデバイスの着用者として、聴覚障害を有する第１のユーザを検出することと、
前記検出された第１のユーザと関連付けられる、前記第１のユーザの左耳及び右耳の両方についての前記第１のユーザの聴力曲線を含むオージオグラムであるオーディオ強化プロファイルに基づいて、前記検出された第１のユーザと関連付けられる難聴のタイプを決定することと、
前記決定された難聴のタイプに基づいて、前記検出された第１のユーザの聴力レベルが閾値聴力レベルを下回る可聴周波数の帯域を決定することと、
前記第１のオーディオコンテンツの１又は２以上の特徴の修正として、前記決定された可聴周波数の帯域を含む前記第１のオーディオコンテンツのいくつかのオーディオフレームの振幅レベルを選択的に増幅することと、
前記修正に基づいて、第２のオーディオコンテンツを生成することと、
前記生成された第２のオーディオコンテンツを、前記ヘッドマウントオーディオデバイスと共有することと、
を含む、
ことを特徴とする非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

〔関連出願への相互参照／引用による組み込み〕
[0001] なし

【0002】

[0002] 本開示の様々な実施形態は、障害を持つ人たちのための支援技術に関する。より具体的には、本開示の様々な実施形態は、共有リスニング環境における聴覚障害者のためのオーディオの強化のための電子装置に関する。

【背景技術】

【0003】

[0003] テレビジョンなどのメディアデバイスは、通常、様々なタイプのオーディオデバイスを通じて、例えば内蔵スピーカ、無線スピーカ、又は有線／無線ヘッドフォンを通じて、オーディオを再生することができる。多くのメディアデバイスは、通常、内蔵スピーカ及びＢｌｕｅｔｏｏｔｈ（登録商標）、内蔵スピーカ及びヘッドフォンジャック、ヘッドフォンジャック及びＢｌｕｅｔｏｏｔｈ（登録商標）、又は内蔵スピーカ、ヘッドフォンジャック及びＢｌｕｅｔｏｏｔｈ（登録商標）などの構成において、音の同時出力を行うことができない。したがって、共有リスニング環境において、聴覚障害を有するユーザが無線ヘッドフォンなどのオーディオデバイスを着用した場合、ユーザは、オーディオデバイスからのオーディオ出力の劣悪な可聴性（ａｕｄｉｂｉｌｉｔｙ）を体験する場合がある可能性がある。

【0004】

[0004] いくつかの例では、無線オーディオの処理は、オーディオデバイス上でより多くの時間がかかる可能性がある。その結果、聴覚障害を有するユーザは、反響音を体験する場合がある可能性がある。いくつかの他の例では、ユーザは、ビデオコンテンツを見ている間、ビデオコンテンツのオーディオがビデオコンテンツと比較して遅れる場合があるリップシンク（ｌｉｐ－ｓｙｎｃ）の問題を体験する場合がある可能性もある。このような問題では、ユーザは、共有リスニング環境内の正常な聴力レベルを有する他のユーザと比較して、劣悪なリスニング体験を有する場合がある。

【0005】

[0005] 当業者には、説明したシステムと、本出願の残り部分において図面を参照しながら示す本開示のいくつかの態様とを比較することにより、従来の慣習的方法の制限及び不利点が明らかになるであろう。

【発明の概要】

【発明が解決しようとする課題】

【0006】

[0006] 少なくとも１つの図に実質的に示し、及び／又はこれらの図に関連して説明し、特許請求の範囲に更に完全に示す、共有リスニング環境における聴覚障害者のためのオーディオの強化のための電子装置及び方法を提供する。

【0007】

[0007] 全体を通じて同じ要素を同じ参照符号によって示す添付図面を参照しながら本開示の以下の詳細な説明を検討することにより、本開示のこれらの及びその他の特徴及び利点を理解することができる。

【図面の簡単な説明】

【0008】

【図1】本開示の実施形態による、正常な聴力レベルを有するユーザ及び聴覚障害を有するユーザのための例示的なリスニング環境の図である。

【図2】本開示の実施形態による、聴覚障害を有するユーザのために強化されたオーディオコンテンツを提供するための例示的な電子装置を示すブロック図である。

【図3】本開示の実施形態による、聴覚障害を有するユーザのために強化されたオーディオコンテンツを提供するための例示的な動作を示す図である。

【図4】本開示の実施形態による、聴覚障害を有するユーザのためにオーディオコンテンツを強化するための例示的なシナリオを示す図である。

【図5】本開示の実施形態による、ユーザのオージオグラムに基づく、聴覚障害を有するユーザのためのオーディオ強化のためのシナリオを示す図である。

【図6】本開示の実施形態による、聴覚障害を有するユーザのために強化されたオーディオコンテンツを提供するための例示的な動作を示すフローチャートである。

【発明を実施するための形態】

【0009】

[0014] 以下で説明する実装は、共有リスニング環境において聴覚障害を有するユーザのために強化されたオーディオコンテンツを提供するための開示される電子装置及び方法に見出すことができる。本開示の例示的な態様は、メディアソースからオーディオコンテンツを受け取ることができ、聴覚障害を有するユーザのオーディオ強化プロファイルに基づいて、受け取られたオーディオコンテンツを強化することができる電子装置（例えば、スマートテレビジョン又は任意のメディアプレーヤ）を提供する。共有リスニング環境において、従来のメディアデバイスは、接続されたオーディオデバイスを通じてオーディオを再生して、共有リスニング環境内の全てのユーザのために共有リスニング体験を作成する。正常な聴力レベルを有するユーザ（例えば、難聴が最小限又は全くないユーザ）は、オーディオで楽しいリスニング体験を有することができるが、聴覚障害を有するユーザは、同じ体験を共有することができない場合がある。この理由は、通常、正常な聴力レベルを有するユーザのためだけに特性が最適化されるので、再生されたオーディオのオーディオ特性に起因する場合がある。聴覚障害を有するユーザのリスニング体験を強化するために、開示される電子装置は、メディアソースからソースオーディオコンテンツを受け取ることができ、ヘッドマウントオーディオデバイス（例えば、無線ヘッドフォン）の着用者として、聴覚障害を有するユーザを検出することができる。このような検出の後に、電子装置は、検出された第１のユーザと関連付けられるオーディオ強化プロファイルに基づいて、ソースオーディオコンテンツの特定の特徴（例えば、特定のオーディオフレームの聴力レベル（単位ｄＢ））を修正して、強化されたオーディオコンテンツを生成することができ、強化されたオーディオコンテンツは、聴覚障害を有するユーザのために最適化することができる。電子装置は、強化されたオーディオコンテンツをヘッドマウントオーディオデバイスと共有して再生するようにして、聴覚障害を有するユーザが、正常な聴力レベルを有するユーザと同じリスニング体験を有することができるようにすることができる。強化されたオーディオコンテンツは、音声の明瞭度（ｓｐｅｅｃｈ ｉｎｔｅｌｌｉｇｉｂｉｌｉｔｙ）、聞き取りの快適さ（ｈｅａｒｉｎｇ ｃｏｍｆｏｒｔ）、音質、広範囲の周波数にわたる可聴性（ａｕｄｉｂｉｌｉｔｙ）、又は第１のオーディオコンテンツと関連付けられる音の自然な音量の知覚のうちの１又は２以上を向上させることができる。

【0010】

[0015] 図１は、本開示の実施形態による、正常な聴力レベルを有するユーザ及び聴覚障害を有するユーザのための例示的なリスニング環境の図である。図１を参照すると、電子装置１０２と、ディスプレイデバイス１０４と、メディアソース１０６と、第１のユーザ１０８と、第１のユーザ１０８のためのヘッドマウントオーディオデバイス１１０と、撮像デバイス１１２と、第２のユーザ１１４と、第２のユーザ１１４のためのオーディオ再生システム１１６とを含むリスニング環境１００が示されている。電子装置１０２は、通信ネットワーク１１８を通じて、ディスプレイデバイス１０４、メディアソース１０６、ヘッドマウントオーディオデバイス１１０又は撮像デバイス１１２などの他の電子デバイスと通信することができる。いくつかの実施形態では、ディスプレイデバイス１０４及び撮像デバイス１１２などの１又は２以上のデバイスは、電子装置１０２の入力－出力（ＩＯ）ポートを通じて、電子装置１０２に通信可能に結合されることができる。

【0011】

[0016] リスニング環境１００は、リスニング環境１００内の正常な聴力レベルを有する他のユーザ（第２のユーザ１１４など）のリスニング体験に影響を及ぼすことなく、聴覚障害を有するユーザ（第１のユーザ１０８など）のための強化されたオーディオコンテンツの再生を容易にすることができる共有リスニング環境とすることができる。リスニング環境１００の例は、映画ホール、会議場、コンサートホール、オーディトリアム、又は友人及び家族メンバー間の共有オーディオ／ビデオリソースを含む家庭環境を含むことができるが、これらに限定されない。

【0012】

[0017] 電子装置１０２は、メディアソース１０６から第１のオーディオコンテンツを受け取り、第１のユーザ１０８のオーディオ強化プロファイルに基づいて、第１のオーディオコンテンツの特定の特徴を修正して、第２のオーディオコンテンツを生成するように構成できる好適なロジック、回路、及びインターフェイスを含むことができる。例えば、第１のオーディオコンテンツの特徴は、第１のオーディオコンテンツのオーディオフレームにおける可聴周波数の帯域の信号エネルギレベル又は振幅レベルを含むことができる。第２のオーディオコンテンツは、第１のユーザ１０８によって着用することができるヘッドマウントオーディオデバイス１１０と共有することができる。

【0013】

[0018] ある実施形態では、電子装置１０２は、有線又は無線接続を介して、ディスプレイデバイス１０４と通信するように構成できるポータブルメディアプレーヤとすることができる。電子装置１０２のこのような実装の例は、デジタルメディアプレーヤ（ＤＭＰ）、マイクロコンソール、ＴＶチューナ（高度テレビジョンシステム委員会（ＡＴＳＣ）チューナなど）、セットトップボックス、オーバーザトップ（ＯＴＴ）プレーヤ、デジタルメディアストリーマ、メディアエクステンダ／レギュレータ、又はデジタルメディアハブを含むことができるが、これらに限定されない。

【0014】

[0019] 別の実施形態では、電子装置１０２は、ディスプレイ対応メディアプレーヤとすることができる。このような場合、本開示の範囲から逸脱することなく、ディスプレイデバイス１０４の機能全体を電子装置１０２に組み込むこともできる。電子装置１０２のこのような実装の例は、テレビジョン（ＴＶ）、スマートＴＶ、インターネットプロトコルＴＶ（ＩＰＴＶ）、スマートフォン、パーソナルコンピュータ、ラップトップ、タブレット、ウェアラブル電子デバイス、又はケーブル又は衛星ネットワークを介して無線放送信号から、又はインターネットベースの通信信号からコンテンツを受け取り、復号し、再生する能力を有する他の任意のメディアデバイスを含むことができるが、これらに限定されない。

【0015】

[0020] ディスプレイデバイス１０４は、メディアソース１０６から受け取ることができるビデオコンテンツを表示するように構成できる好適なロジック、回路、及びインターフェイスを含むことができる。ディスプレイデバイス１０４は、以下に限定されるわけではないが、液晶ディスプレイ（ＬＣＤ）ディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、プラズマディスプレイ、又は有機ＬＥＤ（ＯＬＥＤ）ディスプレイ技術、又はその他のディスプレイデバイスなどのいくつかの公知技術を通じて実現することができる。ある実施形態によれば、ディスプレイデバイス１０４は、シースルーディスプレイ、投影式ディスプレイ、エレクトロクロミックディスプレイ、又は透明ディスプレイのディスプレイ画面を意味することができる。

【0016】

[0021] メディアソース１０６は、電子装置１０２にオーディオ／ビデオコンテンツなどのメディアコンテンツを送信するように構成できる好適なロジック、回路、及びインターフェイスを含むことができる。ある実施形態では、メディアソース１０６は、第１のオーディオコンテンツと、第１のオーディオコンテンツに関連する対応するビデオコンテンツとを記憶するように構成できるストレージデバイスとして実装することができる。メディアソース１０６のこのような実装の例としては、以下に限定されるわけではないが、ペンドライブ、フラッシュＵＳＢスティック、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、及び／又はセキュアデジタル（ＳＤ）カードを挙げることができる。別の実施形態では、メディアソース１０６は、メディアストリーミングサーバとして実装することができ、これは、通信ネットワーク１１８を介して、電子装置１０２に第１のオーディオコンテンツ及び対応するビデオコンテンツを送信することができる。別の実施形態では、メディアソース１０６は、ＡＴＳＣチューナなどのＴＶチューナとすることができ、これは、無線放送ネットワークからデジタルＴＶ（ＤＴＶ）信号を受け取り、受け取ったＤＴＶ信号から第１のオーディオコンテンツ及び対応するビデオコンテンツを抽出するように構成することができる。その後、メディアソース１０６は、電子装置１０２に、抽出された第１のオーディオコンテンツ及び対応するビデオコンテンツを送信することができる。

【0017】

[0022] 図１には、メディアソース１０６及び電子装置１０２を２つの別個のデバイスとして示している。しかしながら、本開示はこのように限定的なものではなく、いくつかの実施形態では、本開示の範囲から逸脱することなく、メディアソース１０６の機能の全体又は少なくとも一部を電子装置１０２に組み込むこともできる。

【0018】

[0023] ヘッドマウントオーディオデバイス１１０は、電子装置１０２から第２のオーディオコンテンツを受け取り、受け取った第２のオーディオコンテンツを再生するように構成できる好適なロジック、回路、及びインターフェイスを含むことができる。第２のオーディオコンテンツは、第１のオーディオコンテンツの修正バージョンとすることができ、聴覚障害を有する第１のユーザ１０８が第２のオーディオコンテンツを最適に聞き取ることができるようにすることができる。ヘッドマウントオーディオデバイス１１０の例としては、以下に限定されるわけではないが、オーバーヘッドヘッドフォン、インイヤーヘッドフォン、クリップオンヘッドフォン、骨伝導ヘッドフォン、補聴器、又はヘッドマウントウェアラブル（スマートグラス、ヘッドマウントディスプレイ（例えば、仮想／拡張／複合現実ヘッドセット）など）を挙げることができる。例示的な実施形態では、ヘッドマウントオーディオデバイス１１０は、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＢｌｕｅｔｏｏｔｈ（登録商標） Ｌｏｗ Ｅｎｅｒｇｙ （ＢＬＥ）などの無線通信プロトコルに依拠して、電子装置１０２から第２のオーディオコンテンツを受け取ることができる無線ヘッドフォンとすることができる。

【0019】

[0024] ある実施形態では、ヘッドマウントオーディオデバイス１１０は、第１のユーザ１０８の音声コンテンツを取り込むためのマイクロフォンと、第１のユーザ１０８から入力を受け取るための入力デバイスとを含むことができる。入力デバイスの例としては、以下に限定されるわけではないが、キーパッド、つまみ、タッチスクリーン、タッチパッド、ジェスチャコントローラ、又は音声制御入力デバイスを挙げることができる。別の実施形態では、入力デバイスは、無線ネットワークを通じて、ヘッドマウントオーディオデバイス１１０に通信可能に結合されることができる。このような実装では、入力デバイスは、スマートフォン、ジョイスティック、ゲームコントローラ、又はヘッドマウントオーディオデバイス１１０とワイヤレスでペアリングできる他の任意のデバイスのうちの１つとすることができる。

【0020】

[0025] 撮像デバイス１１２は、リスニング環境１００の画像を取り込むように構成できる好適なロジック、回路、及びインターフェイスを含むことができる。例えば、画像を取り込んで、ヘッドマウントオーディオデバイス１１０の着用状態、及び／又は検出された着用状態において、聴覚障害を有する第１のユーザ１０８がヘッドマウントオーディオデバイス１１０の着用者であるかどうかを検出することができる。ある実施形態では、撮像デバイス１１２は、通信ネットワーク１１８を通じて、電子装置１０２に通信可能に結合されることができる。別の実施形態では、撮像デバイス１１２は、電子装置１０２に含めることができる。撮像デバイス１１２の例としては、以下に限定されるわけではないが、画像センサ、広角カメラ、アクションカメラ、有線テレビ（ＣＣＴＶ）カメラ、カムコーダ、デジタルカメラ、カメラ付き携帯電話、及び／又はその他の撮像デバイスを挙げることができる。

【0021】

[0026] オーディオ再生システム１１６は、電子装置１０２から第１のオーディオコンテンツ（すなわち、オリジナルソースオーディオ）を受け取り、リスニング環境１００内の正常な聴力レベルを有するユーザ（第２のユーザ１１４など）のために、受け取った第１のオーディオコンテンツを再生するように構成できる好適なロジック、回路、及びインターフェイスを含むことができる。ある実施形態では、オーディオ再生システム１１６は、有線又は無線ネットワークを通じて、電子装置１０２に通信可能に結合されることができる。別の実施形態では、オーディオ再生システム１１６は、電子装置１０２の内蔵スピーカシステムとすることができる。オーディオ再生システム１１６は、例えば、内蔵スピーカのセット、無線スピーカ、スマートスピーカ、有線スピーカ、ウーファ、サブウーファ、ツイータ、サウンドバー、ラウドスピーカ、光学オーディオデバイスなどを含むことができる。例示的な実施形態では、オーディオ再生システム１１６は、５：１又は２：１スピーカ構成などの特定のスピーカレイアウト／構成を含むサラウンドサウンドシステムに相当することができる。

【0022】

[0027] 通信ネットワーク１１８は、電子装置１０２、ディスプレイデバイス１０４、メディアソース１０６、ヘッドマウントオーディオデバイス１１０、撮像デバイス１１２、及びオーディオ再生システム１１６のうちの２又は３以上が互いに通信できるようにする通信媒体を含むことができる。通信ネットワーク１１８は、有線又は無線通信ネットワークとすることができる。通信ネットワーク１１８の例としては、以下に限定されるわけではないが、インターネット、ワイヤレスフィデリティ（Ｗｉ－Ｆｉ）ネットワーク、パーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、又はメトロポリタンエリアネットワーク（ＭＡＮ）を挙げることができる。

【0023】

[0028] リスニング環境１００内の様々な装置は、様々な有線及び無線通信プロトコルに従って、通信ネットワーク１１８に接続するように構成することができる。このような有線及び無線通信プロトコルの例としては、以下に限定されるわけではないが、伝送制御プロトコル及びインターネットプロトコル（ＴＣＰ／ＩＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、ファイル転送プロトコル（ＦＴＰ）、ＺｉｇＢｅｅ、ＥＤＧＥ、ＩＥＥＥ ８０２．１１、ライトフィデリティ（Ｌｉ－Ｆｉ）、８０２．１６、ＩＥＥＥ ８０２．１１ｓ、ＩＥＥＥ ８０２．１１ｇ、マルチホップ通信、無線アクセスポイント（ＡＰ）、装置間通信、セルラー通信プロトコル、及びＢｌｕｅｔｏｏｔｈ（ＢＴ）通信プロトコルのうちの少なくとも１つを含むことができる。

【0024】

[0029] 動作時に、電子装置１０２は、メディアソース１０６から第１のオーディオコンテンツを受け取ることができる。その後、電子装置１０２は、ヘッドマウントオーディオデバイス１１０の着用者として、聴覚障害を有する第１のユーザ１０８を検出することができる。ある実施形態では、電子装置１０２は、撮像デバイス１１２を制御して、第１のユーザ１０８とヘッドマウントオーディオデバイス１１０とを含むことができるリスニング環境１００の画像を取り込むことができる。電子装置１０２は、取り込まれた画像に基づいて、ヘッドマウントオーディオデバイス１１０の着用者として、第１のユーザ１０８を検出することができる。例えば、電子装置１０２は、画像に対して顔認識方法をローカルに実装して、第１のユーザ１０８を検出し、次に、訓練されたディープニューラルネットワーク（ＤＮＮ）を使用して、検出された第１のユーザ１０８がヘッドマウントオーディオデバイス１１０の着用者であるかどうかを判断することができる。

【0025】

[0030] 別の実施形態では、電子装置１０２は、ヘッドマウントオーディオデバイス１１０を制御して、ヘッドマウントオーディオデバイス１１０の着用者から音声入力を取り込むことができる。その後、電子装置１０２は、音声入力に基づいて、音声プロファイル（デジタルオーディオフィンガープリントを含むことができる）を生成することができ、生成された音声プロファイルと、ユーザの記憶されている音声プロファイルのグループとを比較することができる。電子装置１０２は、このような比較に基づいて、ヘッドマウントオーディオデバイス１１０の着用者として、第１のユーザ１０８を検出することができる。

【0026】

[0031] このような検出の後に、電子装置１０２は、検出された第１のユーザ１０８と関連付けられるオーディオ強化プロファイルを取り出すことができる。オーディオ強化プロファイルは、人間の広範囲の異なるピッチ又は可聴周波数にわたる聴力レベル（例えば、単位デシベル（ｄＢ））の表現を含むことができる。例えば、オーディオ強化プロファイルは、左耳及び右耳の両方についての第１のユーザ１０８の聴力曲線を含むことができるオージオグラムとすることができる。電子装置１０２は、取り出されたオーディオ強化プロファイルに基づいて、第１のオーディオコンテンツの１又は２以上の特徴を修正することができる。例えば、このような特徴のうちの１つは、第１のオーディオコンテンツと関連付けられるオーディオ周波数の範囲に対する聴力レベル（ｄＢ）とすることができる。オーディオ強化プロファイルが、１０００Ｈｚ±２５０Ｈｚ帯域に対する第１のユーザ１０８の聴力レベル（単位ｄＢ）が必要な閾値よりも低いことを示す場合、１０００Ｈｚ±２５０Ｈｚ帯域に対する第１のオーディオコンテンツの音の振幅レベルを増加させて、聴力レベルを向上させることができる。このような特徴の他の例としては、以下に限定されるわけではないが、第１のオーディオコンテンツのいくつかのオーディオフレームの振幅、第１のオーディオコンテンツのダイナミックレンジ、第１のオーディオコンテンツにおける音声フレームの振幅レベル、及び第１のオーディオコンテンツのオーディオフレームのためのゲインレベルの調整のための調整速度を挙げることができる。例えば、図３、図４及び図５に、（単複の）特徴の修正に関する更なる詳細を示す。

【0027】

[0032] 電子装置１０２は、第１のオーディオコンテンツの修正に基づいて、第２のオーディオコンテンツを生成することができる。第２のオーディオコンテンツは、第１のオーディオコンテンツの強化バージョンとすることができ、第１のユーザ１０８の難聴の状態に従って最適化することができる。このような状態は、第１のユーザ１０８のオーディオ強化プロファイルにおいて、聴力レベルなどのデータポイントを通じて反映されることができる。

【0028】

[0033] 第２のオーディオコンテンツが生成されると、電子装置１０２は、生成された第２のオーディオコンテンツをヘッドマウントオーディオデバイス１１０と共有することができる。電子装置１０２から受け取ると、ヘッドマウントオーディオデバイス１１０は、第１のユーザ１０８のための第２のオーディオコンテンツの再生を制御することができる。いくつかの実施形態では、電子装置１０２は、共有リスニング体験のために、ヘッドマウントオーディオデバイス１１０上で第２のオーディオコンテンツが再生される間、同時に第１のオーディオコンテンツを再生するようにオーディオ再生システム１１６を制御することができる。例えば、第１のユーザ１０８が、ヘッドマウントオーディオデバイス１１０を通じて選択的に強化された第２のオーディオコンテンツを聞く時に、第２のユーザ１１４は、オーディオ再生システム１１６を通じて第１のオーディオコンテンツを同時に聞くことができる。

【0029】

[0034] 本開示の範囲から逸脱することなく、図１に対して修正、追加、又は省略を行うことができる。例えば、リスニング環境１００は、本開示で図示及び説明するものよりも多い又は少ない要素を含むことができる。

【0030】

[0035] 図２は、本開示の実施形態による、聴覚障害を有するユーザのために強化されたオーディオコンテンツを提供するための例示的な電子装置を示すブロック図である。図２の説明は、図１の要素に関連して行う。図２を参照すると、電子装置１０２のブロック図２００が示されている。電子装置１０２は、回路２０２と、メモリ２０４と、入力／出力（Ｉ／Ｏ）デバイス２０６と、ネットワークインターフェイス２０８とを含むことができる。少なくとも１つの実施形態では、電子装置１０２は、ディスプレイデバイス１０４と、撮像デバイス１１２と、オーディオ再生システム１１６とを含むこともできる。

【0031】

[0036] 回路２０２は、電子装置１０２によって実行されるべき異なる動作と関連付けられるプログラム命令を実行するように構成できる好適なロジック、回路、及びインターフェイスを含むことができる。回路２０２は、１又は２以上の専用処理ユニットを含むことができ、１又は２以上の専用処理ユニットは、１又は２以上の専用処理ユニットの機能を共同で実行する統合プロセッサ又はプロセッサ群として実装することができる。回路２０２は、当技術分野で公知のいくつかのプロセッサ技術に基づいて実装することができる。回路２０２の実装の例は、ｘ８６ベースのプロセッサ、グラフィックス処理ユニット（ＧＰＵ）、縮小命令セットコンピュータ（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）プロセッサ、複合命令セットコンピュータ（ＣＩＳＣ）プロセッサ、マイクロコントローラ、中央処理装置（ＣＰＵ）、及び／又はその他のコンピュータ回路とすることができる。

【0032】

[0037] メモリ２０４は、回路２０２によって実行されるべきプログラム命令を記憶するように構成できる好適なロジック、回路、及びインターフェイスを含むことができる。少なくとも１つの実施形態では、メモリ２０４は、第１のオーディオコンテンツ、第２のオーディオコンテンツ、及びビデオコンテンツなどのファイルを記憶することができる。メモリ２０４は、リスニング環境１００と関連付けられることができ、かつ電子装置１０２にアクセスすることができるユーザのユーザ情報を記憶することもできる。例えば、ユーザ情報は、第１のユーザ１０８及び第２のユーザ１１４の音声プロファイル、顔認識情報、又はオーディオ強化プロファイルを含むことができる。メモリ２０４の実装の例としては、以下に限定されるわけではないが、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、電気的に消去可能なプログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、ＣＰＵキャッシュ、及び／又はセキュアデジタル（ＳＤ）カードを挙げることができる。

【0033】

[0038] Ｉ／Ｏデバイス２０６は、入力を受け取り、受け取った入力に基づいて出力を提供するように構成できる好適なロジック、回路、及びインターフェイスを含むことができる。様々な入力及び出力デバイスを含むＩ／Ｏデバイス２０６は、回路２０２と通信するように構成することができることができる。Ｉ／Ｏデバイス２０６の例としては、以下に限定されるわけではないが、タッチスクリーン、キーボード、マウス、ジョイスティック、マイクロフォン、ディスプレイデバイス（ディスプレイデバイス１０４など）、又はボタンを挙げることができる。

【0034】

[0039] ネットワークインターフェイス２０８は、通信ネットワーク１１８を介した回路２０２、ディスプレイデバイス１０４、メディアソース１０６、撮像デバイス１１２、及び／又はオーディオ再生システム１１６の間の通信を容易にするように構成できる好適なロジック、回路、及びインターフェイスを含むことができる。ネットワークインターフェイス２０８は、電子装置１０２と通信ネットワーク１１８との有線又は無線通信をサポートする様々な公知技術を用いて実装することができる。ネットワークインターフェイス２０８としては、以下に限定されるわけではないが、アンテナ、無線周波数（ＲＦ）トランシーバ、１又は２以上の増幅器、チューナ、１又は２以上の発振器、デジタルシグナルプロセッサ、コーダ・デコーダ（ＣＯＤＥＣ）チップセット、加入者識別モジュール（ＳＩＭ）カード、又はローカルバッファ回路を挙げることができる。

【0035】

[0040] ネットワークインターフェイス２０８は、インターネット、イントラネット、又はセルラー電話ネットワーク、無線ローカルエリアネットワーク（ＬＡＮ）及びメトロポリタンエリアネットワーク（ＭＡＮ）などの無線ネットワークなどのネットワークと無線通信を介して通信するように構成することができる。無線通信は、グローバル・システム・フォー・モバイル・コミュニケーションズ（ＧＳＭ）、拡張データＧＳＭ環境（ＥＤＧＥ）、広帯域符号分割多元接続（Ｗ－ＣＤＭＡ）、ロングタームエボリューション（ＬＴＥ）、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ、ワイヤレスフィデリティ（Ｗｉ－Ｆｉ）（ＩＥＥＥ ８０２．１１ａ、ＩＥＥＥ ８０２．１１ｂ、ＩＥＥＥ ８０２．１１ｇ又はＩＥＥＥ８０２．１１ｎなど）、ボイスオーバーインターネットプロトコル（ＶｏＩＰ）、ライトフィデリティ（Ｌｉ－Ｆｉ）、ワールドワイド・インターオペラビリティ・フォー・マイクロウェーブ・アクセス（Ｗｉ－ＭＡＸ）、電子メールプロトコル、インスタントメッセージング及びショートメッセージサービス（ＳＭＳ）などの複数の通信規格、通信プロトコル及び通信技術のうちの１又は２以上を使用することができる。

【0036】

[0041] 図１で説明したような電子装置１０２によって実行される機能又は動作は、回路２０２によって実行することができる。回路２０２によって実行される動作については、例えば図３、図４、図５及び図６で詳細に説明する。

【0037】

[0042] 図３は、本開示の実施形態による、聴覚障害を有するユーザのために強化されたオーディオコンテンツを提供するための例示的な動作を示す図である。図３の説明は、図１及び図２の要素に関連して行う。図３を参照すると、本明細書で説明するような３０２～３１０の例示的な動作を示すブロック図３００が示されている。ブロック図３００に示す例示的な動作は、３０２から開始することができ、任意のコンピュータシステム、装置又はデバイスによって、例えば図１又は図２の電子装置１０２によって実行することができる。ブロック図３００の１又は２以上のブロックと関連付けられる例示的な動作は、個別のブロックで示されているが、例示的な動作の実装に応じて、追加のブロックに分割したり、より少ないブロックに組み合わせたり、又は削除したりすることができる。

【0038】

[0043] ３０２において、メディアコンテンツ３０２Ａを受け取ることができる。回路２０２は、メディアソース１０６からメディアコンテンツ３０２Ａを受け取ることができる。受け取られたメディアコンテンツ３０２Ａは、第１のオーディオコンテンツ及び／又は第１のオーディオコンテンツと関連付けられるビデオコンテンツを含むことができる。一例として、メディアコンテンツ３０２Ａは、ビデオ及びビデオと関連付けられるオーディオを含むことができるテレビ番組とすることができる。別の例として、メディアコンテンツ３０２Ａは、オーディオのみを含むことができるラジオ番組又はポッドキャストとすることができる。

【0039】

[0044] ３０４において、着用者検出を実行することができる。回路２０２は、ヘッドマウントオーディオデバイス１１０の着用者として、聴覚障害を有する第１のユーザ１０８を検出することができる。ヘッドマウントオーディオデバイス１１０の着用者として第１のユーザ１０８を検出するための様々な実施形態について、本明細書で説明する。

【0040】

[0045] ある実施形態では、回路２０２は、撮像デバイス１１２を制御して、第１のユーザ１０８とヘッドマウントオーディオデバイス１１０とを含むことができるリスニング環境１００の画像を取り込むことができる。回路２０２は、取り込まれた画像に基づいて、ヘッドマウントオーディオデバイス１１０の着用者として、第１のユーザ１０８を検出することができる。例えば、回路２０２は、画像に対して顔認識方法をローカルに実装して、第１のユーザ１０８を検出し、次に、訓練されたＤＮＮを使用して、検出された第１のユーザ１０８がヘッドマウントオーディオデバイス１１０の着用者であるかどうかを判断することができる。

【0041】

[0046] 別の実施形態では、回路２０２は、ヘッドマウントオーディオデバイス１１０を制御して、ヘッドマウントオーディオデバイス１１０の着用者から音声入力を取り込むことができ、回路２０２は、音声入力に基づいて、音声プロファイル（デジタルオーディオフィンガープリントを含むことができる）を生成することができる。その後、回路２０２は、生成された音声プロファイルと、ユーザの記憶されている音声プロファイルのグループとを比較することができ、このような比較に基づいて、回路２０２は、ヘッドマウントオーディオデバイス１１０の着用者として、第１のユーザ１０８を検出することができる。

【0042】

[0047] 別の実施形態では、回路２０２は、ディスプレイデバイス１０４を制御して、ユーザが選択できるオプションとして登録されたユーザプロファイルのリストを含むユーザインターフェイス（ＵＩ）をレンダリングすることができる。ヘッドマウントオーディオデバイス１１０と関連付けられる入力デバイスを通じて、回路２０２は、第１のユーザ１０８と関連付けられる登録されたユーザプロファイルの選択を受け取ることができる。登録されたユーザプロファイルは、第１のユーザ１０８の聴覚障害と関連付けられる情報を含むことができる。このような選択に基づいて、第１のユーザ１０８として、ヘッドマウントオーディオデバイス１１０の着用者を検出することができる。

【0043】

[0048] ３０６において、メモリ２０４から、検出された第１のユーザ１０８と関連付けられるオーディオ強化プロファイルを取り出すことができる。オーディオ強化プロファイルは、人間の広範囲のピッチ又は可聴周波数にわたる聴力レベル（単位デシベル（ｄＢ））の表現を含むことができる。例えば、オーディオ強化プロファイルは、左耳及び右耳の両方についての第１のユーザ１０８の聴力曲線を含むことができるオージオグラムを通じて表現することができる。図５に、オーディオ強化プロファイルとしてのオージオグラムの例を示す。

【0044】

[0049] 検出された第１のユーザ１０８のためにオーディオ強化プロファイルが利用できない場合、本明細書で説明するように、オーディオ強化プロファイルを作成することができる。回路２０２は、ヘッドマウントオーディオデバイス１１０を制御して、対応する可聴周波数のセットにおいてテストトーンのセットを順次再生することができる。ヘッドマウントオーディオデバイス１１０上でそれぞれのテストトーンが再生される間、各テストトーンの音量は増加することができる。これを行って、ヘッドマウントオーディオデバイス１１０の検出された第１のユーザ１０８が、それぞれのテストトーンが第１のユーザ１０８にはっきりと聞こえるまで音量レベルを決定できるようにすることができる。回路２０２は、ヘッドマウントオーディオデバイス１１０上でテストトーンのセットが順次再生される間、ユーザ入力のセットを受け取ることができる。ユーザ入力のセットのうちの各ユーザ入力は、それぞれのテストトーンに対する聴力閾値レベル（単位ｄＢ）を示すことができる。回路２０２は、受け取られたユーザ入力のセットに基づいて、検出された第１のユーザ１０８についてのオーディオ強化プロファイルとして、オージオグラム上に聴力曲線を生成することができる。

【0045】

[0050] ３０８において、検出された第１のユーザ１０８のために、オーディオ強化を実行することができる。このような強化のために、回路２０２は、検出された第１のユーザ１０８と関連付けられるオーディオ強化プロファイル（３０２Ｃにおいて取得される）に基づいて、第１のオーディオコンテンツの１又は２以上の特徴を修正することができる。このような特徴の例としては、以下に限定されるわけではないが、第１のオーディオコンテンツのいくつかのオーディオフレームの振幅、第１のオーディオコンテンツの可聴周波数の帯域の振幅レベル、第１のオーディオコンテンツのダイナミックレンジ、第１のオーディオコンテンツにおける音声フレームの振幅レベル、及び第１のオーディオコンテンツのオーディオフレームのためのゲインレベルの調整のための調整速度を挙げることができる。

【0046】

[0051] １つのシナリオでは、第１のユーザ１０８は、高周波難聴（通常、２０００Ｈｚ又はそれ以上）を患う場合がある。結果として、第１のユーザ１０８は、女性、子供の声、鳥のさえずり、又は他の高ピッチの音を理解するのが難しい場合がある。或いは、第１のユーザ１０８は、低周波難聴を患う場合がある。結果として、第１のユーザ１０８は、人の集団の中で、又は騒々しい環境や、背景ノイズが存在する場所において会話を聞き取ったり、又は音楽の低音を聴取したりするのが難しい場合がある。このようなシナリオでは、回路２０２は、オーディオ強化プロファイルに基づいて、検出された第１のユーザ１０８と関連付けられる難聴のタイプを決定することができる。決定された難聴のタイプに基づいて、回路２０２は、検出された第１のユーザ１０８の聴力レベルが閾値聴力レベル（単位ｄＢ）を下回る可聴周波数の帯域を決定することができる。その後、回路２０２は、決定された可聴周波数の帯域を含む第１のオーディオコンテンツのいくつかのオーディオフレームの振幅レベルを選択的に増幅することができる。選択的な増幅は、第１のオーディオコンテンツの第１の特徴の修正に相当することができる。

【0047】

[0052] 別のシナリオでは、聴力範囲（ｈｅａｒｉｎｇ ｒａｎｇｅ）を６０ｄＢ～７０ｄＢに縮小する場合があり、かつ第１のユーザ１０８の聴力のダイナミックレンジ（ｄｙｎａｍｉｃ ｒａｎｇｅ ｏｆ ｈｅａｒｉｎｇ）を低減する場合がある、軽い難聴を有する第１のユーザ１０８を検出することができる。比較すると、正常な聴力レベルを有するユーザは、閾値音量レベルと不快音量レベルとの間の約１００ｄＢの聴力範囲（ｈｅａｒｉｎｇ ｒａｎｇｅ）を有することができる。本明細書では、ダイナミックレンジは、オーディオの最も強いすなわち最も騒々しい部分とオーディオの最も弱いすなわち最も静かな部分との比として定義することができる。このようなシナリオでは、回路２０２は、強化プロファイルに基づいて、第１のオーディオコンテンツの第１のダイナミックレンジと、検出された第１のユーザ１０８の聴力の第２のダイナミックレンジ（ｓｅｃｏｎｄ ｄｙｎａｍｉｃ ｒａｎｇｅ ｏｆ ｈｅａｒｉｎｇ）とを決定することができる。その後、回路２０２は、コンプレッサ、エクスパンダ、又はノイズゲートを使用して、第１のオーディオコンテンツの第１のダイナミックレンジを修正して、修正された第１のダイナミックレンジと第２のダイナミックレンジとの差分が最小であるようにすることができる。換言すれば、オーディオコンテンツのダイナミックレンジが第１のユーザ１０８の聴力のダイナミックレンジ（ｄｙｎａｍｉｃ ｒａｎｇｅ ｏｆ ｔｈｅ ｈｅａｒｉｎｇ）に適合するように、オーディオコンテンツのダイナミックレンジを修正することができる。第１のダイナミックレンジの修正は、第１のオーディオコンテンツの第２の特徴の修正に相当することができる。

【0048】

[0053] 別のシナリオでは、第１のユーザ１０８は、高度又は重度の難聴を患う場合があり、この場合、蝸牛高周波数領域が非常にひどく損傷していて、従来の増幅によってオーディオサンプル（高周波数信号を含む）の可聴性（ａｕｄｉｂｉｌｉｔｙ）を回復できない場合がある。このようなシナリオでは、第１のオーディオコンテンツの高周波数信号成分を低周波数信号成分にシフトすることによって、可聴性（ａｕｄｉｂｉｌｉｔｙ）を達成することができる。回路２０２は、第１のオーディオコンテンツの高周波数信号成分を抽出することができ、抽出された高周波数信号成分を低周波数信号成分に変換することができる。抽出された高周波数信号成分の変換は、第１のオーディオコンテンツの第３の特徴の修正に相当することができる。

【0049】

[0054] 回路２０２は、第１のオーディオコンテンツの修正に基づいて、第２のオーディオコンテンツを生成することができる。第２のオーディオコンテンツは、第１のオーディオコンテンツの修正形態とすることができ、第１のユーザ１０８の聴覚障害と関連付けられる障害に対処するように適合させることができる。具体的には、第２のオーディオコンテンツは、音声の明瞭度（ｓｐｅｅｃｈ ｉｎｔｅｌｌｉｇｉｂｉｌｉｔｙ）、聞き取りの快適さ（ｈｅａｒｉｎｇ ｃｏｍｆｏｒｔ）、音質、広範囲の周波数にわたる可聴性（ａｕｄｉｂｉｌｉｔｙ）、又は第１のオーディオコンテンツと関連付けられる音の自然な音量の知覚のうちの１又は２以上を向上させることができる。

【0050】

[0055] ３１０において、オーディオコンテンツをヘッドマウントオーディオデバイス１１０と共有することができる。回路２０２は、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷｉ－Ｆｉなどの無線ネットワークを介して、生成された第２のオーディオコンテンツをヘッドマウントオーディオデバイス１１０と共有することができる。ある実施形態では、回路２０２は、共有リスニング体験のために、ヘッドマウントオーディオデバイス１１０上での第２のオーディオコンテンツの再生と同時に、第１のオーディオコンテンツを再生するようにオーディオ再生システム１１６を制御することができる。したがって、第１のユーザ１０８が、ヘッドマウントオーディオデバイス１１０を通じて第２のオーディオコンテンツを聞く時に、第２のユーザ１１４は、オーディオ再生システム１１６を通じて第１のオーディオコンテンツを同時に聞くことができる。第１のオーディオコンテンツ及び第２のオーディオコンテンツが同時に再生されるので、両方のユーザ（第１のユーザ１０８及び第２のユーザ１１４）は、共通のリスニング環境において共有リスニング体験を楽しむことができる。

【0051】

[0056] 図４は、本開示の実施形態による、聴覚障害を有するユーザのためにオーディオコンテンツを強化するための例示的なシナリオを示す図である。図４の説明は、図１、図２及び図３の要素に関連して行う。図４を参照すると、例示的なシナリオ４００が示されている。例示的なシナリオ４００では、テレビジョン４０２及びテレビジョンのディスプレイパネル４０４と、第１のユーザ４０６と、ヘッドマウントオーディオデバイス４０８と、撮像デバイス４１０と、第２のユーザ４１２と、オーディオ再生システム４１４とが示されている。本明細書では、テレビジョン４０２、ディスプレイパネル４０４、ヘッドマウントオーディオデバイス４０８、撮像デバイス４１０、及びオーディオ再生システム４１４は、それぞれ、電子装置１０２、ディスプレイデバイス１０４、ヘッドマウントオーディオデバイス１１０、撮像デバイス１１２、及びオーディオ再生システム１１６の例示的な実装とすることができる。

【0052】

[0057] テレビジョン４０２は、ＡＴＳＣチューナなどのメディアソース１０６を通じてメディアコンテンツを受け取ることができる。メディアコンテンツは、第１のオーディオコンテンツ及び第１のオーディオコンテンツと関連付けられるビデオコンテンツを含むことができる。テレビジョン４０２は、ディスプレイパネル４０４を制御して、第１のオーディオコンテンツと関連付けられるビデオコンテンツを表示することができる。聴覚障害を有する第１のユーザ４０６のために、テレビジョン４０２は、第１のオーディオコンテンツの１又は２以上の特徴の修正に基づいて、（図３で説明したように）第２のオーディオコンテンツを生成することができる。第２のオーディオコンテンツは、第１のオーディオコンテンツの修正形態とすることができ、第１のユーザ４０６の聴覚障害に対処するように適合させることができる。

【0053】

[0058] 通常、テレビジョン４０２が、第２のオーディオコンテンツをヘッドマウントオーディオデバイス４０８と無線で共有する時に、第２のオーディオコンテンツの再生は、ディスプレイパネル４０４上でのビデオコンテンツの再生と比較して、（例えば、数十ミリ秒～数百ミリ秒単位で）遅れる場合がある。これは、第２のオーディオコンテンツの符号化又は復号のための無線オーディオ処理方法及び／又は第２のオーディオコンテンツのための無線共有方法に起因する場合がある。ビデオ再生の場合、ビデオコンテンツのための処理方法は、特に第２のオーディオコンテンツの再生と関連付けられる遅延と比較して、ビデオコンテンツの表示中に人間の眼には視覚的に気づきにくい場合がある遅延を招く場合がある。これは、第１のユーザ４０６にとって、リップシンク（ｌｉｐ－ｓｙｎｃ）の問題を生じさせる場合がある。また、オーディオ再生システム４１４がテレビジョン４０２に配線されて第１のオーディオコンテンツを再生する場合、第１のオーディオコンテンツの再生と関連付けられる遅延は、第２のオーディオコンテンツの再生と関連付けられる遅延と比較して、かなり無視できる場合がある。このような場合、第１のオーディオコンテンツの音が第２のオーディオコンテンツの音と混ざって、第１のユーザ４０６に反響音を聞かせる場合がある。

【0054】

[0059] このような問題を緩和するために、回路２０２は、ヘッドマウントオーディオデバイス４０８との無線共有のための第２のオーディオコンテンツの符号化と関連付けられる第１の処理遅延を計算することができる。回路２０２は、また、ヘッドマウントオーディオデバイス４０８における第２のオーディオコンテンツの復号と関連付けられる第２の処理遅延を計算することができる。その後、回路２０２は、計算された第１の処理遅延及び第２の処理遅延に基づいて、ディスプレイパネル４０４上でのビデオコンテンツの表示の時間を較正することができる。例えば、このような較正は、計算された第１の処理遅延及び第２の処理遅延の和に相当する時間だけ、ビデオコンテンツの表示の時間をシフトすることを含むことができる。このような較正は、ビデオコンテンツの再生を、ヘッドマウントオーディオデバイス上での第２のオーディオコンテンツの再生と同期させることができる。更に、回路２０２は、ディスプレイパネル４０４上でのビデオコンテンツ３０４Ｂの再生と同期するように、オーディオ再生システム４１４を通じた第１のオーディオコンテンツの再生の時間を較正することもできる。

【0055】

[0060] 図５は、本開示の実施形態による、ユーザのオージオグラムに基づく、聴覚障害を有するユーザのためのオーディオ強化のためのシナリオを示す図である。図５の説明は、図１、図２、図３及び図４の要素に関連して行う。図５を参照すると、聴覚障害を有する第１のユーザ１０８の聴力曲線５０２を含む第１のオージオグラム５００と、広範囲の可聴周波数にわたって正常な聴力レベルを有する別のユーザの聴力曲線５０６を含む第２のオージオグラム５０４とが示されている。

【0056】

[0061] 第１のオージオグラム５００では、第１のユーザ１０８の聴力曲線５０２は、聴力レベルが、０ヘルツ（すなわちＨｚ）～２５０Ｈｚの可聴周波数帯域に対して正常であると示す。しかしながら、２５０Ｈｚを超える可聴周波数帯域については、第１のユーザ１０８の聴力曲線５０２は、特に２０００Ｈｚを超える可聴周波数に対して、聴力レベルの低下を示す。第１のオージオグラム５００は、第１のユーザ１０８のオーディオ強化プロファイルと呼ぶことができる。第１のユーザ１０８の聴力レベルを補正するために、回路２０２は、第１のユーザ１０８の聴力曲線５０２と、正常な聴力レベルを有する別のユーザの聴力曲線５０６とを比較することができる。比較に基づいて、回路２０２は、修正すべき第１のオーディオコンテンツの１又は２以上の特徴を決定して、第２のオーディオコンテンツを生成することができる。例えば、この場合、回路２０２は、信号エネルギレベルを選択的に増幅して第１のユーザ１０８のために聴力レベル（単位ｄＢ）を較正する必要があり得るいくつかの可聴周波数帯域を決定することができる。その後、回路２０２は、決定された数のオーディオフレームが決定された数の可聴周波数帯域を含むという決定に基づいて、特徴（決定された１又は２以上の特徴のうちの１つ）として、第１のオーディオコンテンツのいくつかのオーディオフレームを決定することができる。その後、回路２０２は、第１のオーディオコンテンツの決定された数のオーディオフレームを選択的に増幅して、第２のオーディオコンテンツを生成することができる。第２のオーディオコンテンツをヘッドマウントオーディオデバイス１１０と共有して、再生することができる。

【0057】

[0062] 第１のユーザ１０８が左耳又は右耳の聴覚障害を患う場合、回路２０２は、第１のユーザ１０８の聴力曲線５０２が第１のユーザ１０８の左耳又は右耳のうちの１つについて難聴状態を示すという決定に基づいて、第１のオーディオコンテンツの左チャネルオーディオ又は右チャネルオーディオのうちの１つとして、第１のオーディオ部分を選択することができる。回路２０２は、第１のオーディオコンテンツの選択された第１のオーディオ部分の１又は２以上の特徴（例えば、聴力レベル（単位ｄＢ））の修正に基づいて、第２のオーディオコンテンツを生成することができる。

【0058】

[0063] 図６は、本開示の実施形態による、聴覚障害を有するユーザのために強化されたオーディオコンテンツを提供するための例示的な動作を示すフローチャートである。図６の説明は、図１、図２、図３、図４及び図５の要素に関連して行う。図６を参照すると、フローチャート６００が示されている。６０２～６１０の動作は、任意のコンピュータシステムによって、例えば図１又は図２の電子装置１０２によって実装することができる。動作は６０２から開始することができ、６０４に進むことができる。

【0059】

[0064] ６０２において、メディアソース１０６から第１のオーディオコンテンツを受け取ることができる。少なくとも１つの実施形態では、回路２０２は、メディアソース１０６から第１のオーディオコンテンツを受け取るように構成することができる。

【0060】

[0065] ６０４において、ヘッドマウントオーディオデバイス１１０の着用者として、聴覚障害を有する第１のユーザ１０８を検出することができる。少なくとも１つの実施形態では、回路２０２は、ヘッドマウントオーディオデバイス１１０の着用者として、聴覚障害を有する第１のユーザ１０８を検出するように構成することができる。

【0061】

[0066] ６０６において、検出された第１のユーザ１０８と関連付けられるオーディオ強化プロファイルに基づいて、第１のオーディオコンテンツの１又は２以上の特徴を修正することができる。少なくとも１つの実施形態では、回路２０２は、検出された第１のユーザ１０８と関連付けられるオーディオ強化プロファイルに基づいて、第１のオーディオコンテンツの１又は２以上の特徴を修正するように構成することができる。

【0062】

[0067] ６０８において、修正に基づいて、第２のオーディオコンテンツを生成することができる。少なくとも１つの実施形態では、回路２０２は、修正に基づいて第２のオーディオコンテンツを生成するように構成することができる。

【0063】

[0068] ６１０において、生成された第２のオーディオコンテンツをヘッドマウントオーディオデバイス１１０と共有することができる。少なくとも１つの実施形態では、回路２０２は、生成された第２のオーディオコンテンツをヘッドマウントオーディオデバイス１１０と共有するように構成することができる。制御は、終了に進むことができる。

【0064】

[0069] フローチャート６００は、６０２、６０４、６０６、６０８及び６１０などの個別の動作として示されているが、特定の実施形態では、このような個別の動作は、開示する実施形態の本質を損なうことなく、実装に応じて、追加の動作に更に分割したり、より少ない動作に組み合わせたり、又は削除したりすることができる。

【0065】

[0070] 本開示の様々な実施形態は、機械及び／又はコンピュータが電子装置１０２などの電子装置を動作させるために実行できる命令を記憶した非一時的コンピュータ可読媒体及び／又は記憶媒体を提供することができる。これらの命令は、メディアソース１０６から第１のオーディオコンテンツを受け取ることと、ヘッドマウントオーディオデバイス１１０の着用者として、聴覚障害を有する第１のユーザ１０８を検出することとを含む動作を機械及び／又はコンピュータに実行させることができる。動作は、検出された第１のユーザ１０８と関連付けられるオーディオ強化プロファイルに基づいて、第１のオーディオコンテンツの１又は２以上の特徴を修正することを更に含むことができる。動作は、修正に基づいて第２のオーディオコンテンツを生成することと、生成された第２のオーディオコンテンツをヘッドマウントオーディオデバイス１１０と共有することとを更に含むことができる。

【0066】

[0071] 本開示の例示的な態様は、ヘッドマウントオーディオデバイス（図１のヘッドマウントオーディオデバイス１１０など）に通信可能に結合されることができる回路（回路２０２など）を含む電子装置（図１の電子装置１０２など）を含むことができる。回路は、メディアソース（図１のメディアソース１０６など）から第１のオーディオコンテンツを受け取り、ヘッドマウントオーディオデバイスの着用者として、聴覚障害を有する第１のユーザ（第１のユーザ１０８など）を検出するように構成することができる。回路は、検出された第１のユーザと関連付けられるオーディオ強化プロファイルに基づいて、第１のオーディオコンテンツの１又は２以上の特徴を修正するように更に構成することができる。限定ではなく一例として、１又は２以上の特徴は、第１のオーディオコンテンツのいくつかのオーディオフレームの振幅、第１のオーディオコンテンツの可聴周波数の帯域の振幅レベル、第１のオーディオコンテンツのダイナミックレンジ、第１のオーディオコンテンツにおける音声フレームの振幅レベル、第１のオーディオコンテンツのオーディオフレームのためのゲインレベルの調整のための調整速度などを含むことができる。その後、回路は、修正に基づいて第２のオーディオコンテンツを生成し、生成された第２のオーディオコンテンツをヘッドマウントオーディオデバイスと共有するように構成することができる。

【0067】

[0072] ある実施形態によれば、回路は、共有リスニング体験のために、ヘッドマウントオーディオデバイス上での第２のオーディオコンテンツの再生と同時に、第１のオーディオコンテンツを再生するようにオーディオ再生システム（図１のオーディオ再生システム１１６など）を制御するように更に構成することができる。例えば、オーディオ再生システムは、外部無線スピーカ、内蔵スピーカのセット、外部有線スピーカ、サブウーファ、ツイータ、サウンドバー、又は光学オーディオデバイスのうちの１又は２以上を含むことができる。

【0068】

[0073] ある実施形態によれば、電子装置は、回路に通信可能に結合される撮像デバイス（撮像デバイス１１２など）を含むことができる。回路は、撮像デバイスを制御して、第１のユーザとヘッドマウントオーディオデバイスとを含むリスニング環境（リスニング環境１００など）の画像を取り込み、取り込まれた画像に基づいて、ヘッドマウントオーディオデバイスの着用者として、第１のユーザを検出するように構成することができる。

【0069】

[0074] ある実施形態によれば、オーディオ強化プロファイルは、第１のユーザの左耳及び右耳の両方についての第１のユーザの聴力曲線を含むことができるオージオグラムとすることができる。回路は、第１のユーザの聴力曲線と、正常な聴力レベルを有する第２のユーザの基準聴力曲線とを比較し、比較に基づいて、修正のための第１のオーディオコンテンツの１又は２以上の特徴を決定するように構成することができる。

【0070】

[0075] ある実施形態によれば、回路は、第１のユーザの聴力曲線が第１のユーザの左耳又は右耳のうちの１つについて難聴状態を示すという決定に基づいて、第１のオーディオコンテンツの左チャネルオーディオ又は右チャネルオーディオのうちの１つとして、第１のオーディオ部分を選択するように更に構成することができる。その後、回路は、第１のオーディオコンテンツの選択された第１のオーディオ部分の１又は２以上の特徴を修正し、修正に基づいて第２のオーディオコンテンツを生成することができる。

【0071】

[0076] ある実施形態によれば、回路は、ヘッドマウントオーディオデバイスを制御して、対応する可聴周波数のセットにおいてテストトーンのセットを順次再生するように構成することができる。ヘッドマウントオーディオデバイス上でそれぞれのテストトーンが再生される間、テストトーンのセットにおける各テストトーンの音量は増加することができる。その後、回路は、ヘッドマウントオーディオデバイス上でテストトーンのセットが順次再生される間、ユーザ入力のセットを受け取ることができる。各ユーザ入力は、それぞれのテストトーンに対する聴力閾値レベルを示すことができる。回路は、受け取られたユーザ入力のセットに基づいて、第１のユーザについてのオーディオ強化プロファイルとして、オージオグラム上に聴力曲線を生成することができる。

【0072】

[0077] ある実施形態によれば、電子装置は、第１のオーディオコンテンツと関連付けられることができるビデオコンテンツを表示するように構成されるディスプレイデバイス（ディスプレイデバイス１０４など）を含むことができる。回路は、ヘッドマウントオーディオデバイスとの無線共有のための第２のオーディオコンテンツの符号化と関連付けられる第１の処理遅延を計算し、ヘッドマウントオーディオデバイスにおける第２のオーディオコンテンツの復号と関連付けられる第２の処理遅延を計算するように構成することができる。その後、回路は、計算された第１の処理遅延及び第２の処理遅延に基づいて、ヘッドマウントオーディオデバイス上での第２のオーディオコンテンツの再生と同期するように、ビデオコンテンツの表示の時間を較正するように更に構成することができる。

【0073】

[0078] 本開示は、ハードウェアの形で実現することも、又はハードウェアとソフトウェアの組み合わせの形で実現することもできる。本開示は、少なくとも１つのコンピュータシステム内で集中方式で実現することも、又は異なる要素を複数の相互接続されたコンピュータシステムにわたって分散できる分散方式で実現することもできる。本明細書で説明した方法を実行するように適合されたコンピュータシステム又はその他の装置が適することができる。ハードウェアとソフトウェアの組み合わせは、ロードされて実行された時に本明細書で説明した方法を実行するようにコンピュータシステムを制御することができるコンピュータプログラムを含む汎用コンピュータシステムとすることができる。本開示は、他の機能も実行する集積回路の一部を含むハードウェアの形で実現することができる。

【0074】

[0079] 本開示は、本明細書で説明した方法の実装を可能にする全ての特徴を含み、コンピュータシステムにロードされた時にこれらの方法を実行できるコンピュータプログラム製品に組み込むこともできる。本文脈におけるコンピュータプログラムとは、情報処理能力を有するシステムに、特定の機能を直接的に、或いはａ）別の言語、コード又は表記法への変換、ｂ）異なる内容形態での複製、のいずれか又は両方を行った後に実行させるように意図された命令セットの、あらゆる言語、コード又は表記法におけるあらゆる表現を意味する。

【0075】

[0080] いくつかの実施形態を参照しながら本開示を説明したが、当業者であれば、本開示の範囲から逸脱することなく様々な変更を行うことができ、同等物を代用することができると理解するであろう。また、本開示の範囲から逸脱することなく、本開示の教示に状況又は内容を適合させるための多くの変更を行うこともできる。したがって、本開示は、開示した実施形態に限定されるものではなく、特許請求の範囲に該当する全ての実施形態を含むことが意図されている。

【符号の説明】

【0076】

１００ リスニング環境
１０２ 電子装置
１０４ ディスプレイデバイス
１０６ メディアソース
１０８ 第１のユーザ
１１０ ヘッドマウントオーディオデバイス
１１２ 撮像デバイス
１１４ 第２のユーザ
１１６ オーディオ再生システム
１１８ 通信ネットワーク
２００ ブロック図
２０２ 回路
２０４ メモリ
２０６ 入力／出力（Ｉ／Ｏ）デバイス
２０８ ネットワークインターフェイス
３００ ブロック図
３０２ メディアコンテンツの受け取り
３０２Ａ メディアコンテンツ
３０４ 着用者検出
３０４Ｂ ビデオコンテンツ
３０６ オーディオ強化プロファイルの取り出し
３０８ オーディオ強化
３１０ オーディオ共有
４００ 例示的なシナリオ
４０２ テレビジョン
４０４ ディスプレイパネル
４０６ 第１のユーザ
４０８ ヘッドマウントオーディオデバイス
４１０ 撮像デバイス
４１２ 第２のユーザ
４１４ オーディオ再生システム
５００ 第１のオージオグラム
５０２ 聴力曲線
５０４ 第２のオージオグラム
５０６ 聴力曲線
６００ フローチャート
６０２ メディアソースから第１のオーディオコンテンツを受け取る
６０４ ヘッドマウントオーディオデバイスの着用者として、聴覚障害を有する第１のユーザを検出
６０６ オーディオ強化プロファイルに基づいて、第１のオーディオコンテンツの１又は２以上の特徴を修正
６０８ 修正に基づいて第２のオーディオコンテンツを生成
６１０ 生成された第２のオーディオコンテンツをヘッドマウントオーディオデバイスと共有

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】