特表 2023-542968 定位されたフィードバックによる聴力増強及びウェアラブルシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-10-12

(54)【発明の名称】定位されたフィードバックによる聴力増強及びウェアラブルシステム

(51)【国際特許分類】

   H04R 1/10 20060101AFI20231004BHJP

   H04R 3/00 20060101ALI20231004BHJP

   G10K 11/178 20060101ALI20231004BHJP

   G10K 11/175 20060101ALI20231004BHJP

   H04S 7/00 20060101ALI20231004BHJP

   G10L 25/51 20130101ALI20231004BHJP

   G10L 25/30 20130101ALI20231004BHJP

【ＦＩ】

H04R1/10 101Z

H04R3/00 320

G10K11/178

G10K11/175

H04R1/10 101B

H04S7/00 300

H04R3/00 310

G10L25/51

G10L25/51 400

G10L25/30

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023518509

(86)(22)【出願日】2021-09-03

(85)【翻訳文提出日】2023-04-04

(86)【国際出願番号】 US2021049008

(87)【国際公開番号】W WO2022066393

(87)【国際公開日】2022-03-31

(31)【優先権主張番号】17/027,919

(32)【優先日】2020-09-22

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】591009509

【氏名又は名称】ボーズ・コーポレーション

【氏名又は名称原語表記】ＢＯＳＥ ＣＯＲＰＯＲＡＴＩＯＮ

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】ジェレミー・ケメラー

(72)【発明者】

【氏名】エリオ・ダンテ・クエルゼ・ザ・サード

(72)【発明者】

【氏名】シュオ・ジャン

(72)【発明者】

【氏名】クリストファー・アレクシス・コテリー

(72)【発明者】

【氏名】ジュンヤン・ジアン

(72)【発明者】

【氏名】チュアン－チェ・フアン

(72)【発明者】

【氏名】ローレン・ウェステンドルフ

(72)【発明者】

【氏名】トッド・レイリー

(72)【発明者】

【氏名】トレヴァー・カルドウェル

(72)【発明者】

【氏名】ヤン・リウ

【テーマコード（参考）】

5D005

5D061

5D162

5D220

【Ｆターム（参考）】

5D005BA13

5D005BB11

5D061FF02

5D162AA13

5D162CD01

5D162CD10

5D162DA17

5D162EG02

5D220AA34

5D220BA06

5D220BA11

5D220BC05

5D220DD03

(57)【要約】

本開示の態様は、ユーザがウェアラブルデバイスを着用しているときに事象のフィードバックをユーザに提供するための、技法を実装するデバイス及びシステムを含む技法を提供する。例えば、ウェアラブルデバイスは、高品質の雑音消去オーディオ再生をユーザに提供し、ユーザの状況認識を低下させる場合がある。本技法は、ウェアラブルデバイス上の２つ以上のマイクロフォンを使用して周囲音を測定することを含む。測定された周囲音は、ユーザに中継する価値のある関連事象を判定するために使用される。位置属性及び音特性に基づいて、事象の性質及び／又はクラスを、ユーザ閾値設定によるパターン識別アルゴリズムを使用して確認することができる。ユーザが無視することを好む重要でない事象は、アルゴリズムによって除外される。ユーザの注意に値する事象を判定すると、ウェアラブルデバイスは、事象の性質及び位置を指示するフィードバックをユーザに提供する。

【特許請求の範囲】

【請求項1】

ウェアラブルデバイスのユーザにフィードバックを提供するための方法であって、
前記ウェアラブルデバイス上の２つ以上のマイクロフォンを使用して周囲音を測定することと、
測定された前記周囲音に基づいて事象を判定することと、
前記ウェアラブルデバイスに対する前記事象の位置属性を判定することと、
前記事象及び前記位置属性に基づいて前記ユーザにフィードバックを提供することと、を含む、方法。

【請求項2】

前記事象及び前記位置属性に基づいて前記ユーザにフィードバックを提供することが、前記周囲音を消去するオーディオコンテンツに加えて、空間化されたオーディオキューを再生することを含む、請求項１に記載の方法。

【請求項3】

測定された前記周囲音に基づいて前記事象を判定することが、
前記事象の音レベルの大きさを測定することと、
前記事象と関連付けられたオーディオ信号を使用して前記ウェアラブルデバイスに対する前記事象の位置を判定することと、を含み、前記事象の前記位置が、前記オーディオ信号から処理された方向及び距離に基づいて判定され、前記事象の前記位置属性が、前記方向又は前記距離のうちの少なくとも１つを含む、請求項１に記載の方法。

【請求項4】

前記周囲音に基づいて前記事象を判定することが、
前記ウェアラブルデバイスに対する前記事象の前記位置、
前記事象と関連付けられた前記オーディオ信号における繰り返しパターン、又は
前記事象と関連付けられた前記オーディオ信号の属性のうちの少なくとも１つに基づく事象のインシデントを除外することを更に含む、請求項３に記載の方法。

【請求項5】

測定された前記周囲音に基づいて前記事象を判定することは、
前記事象の前記音レベルの前記大きさが前記ウェアラブルデバイスに対する前記事象の前記位置に対応する閾値を超えていると判定することを含む、請求項３に記載の方法。

【請求項6】

前記閾値が、前記ウェアラブルデバイスに対する前記事象の前記位置に基づいて変動し、前記閾値は、前記事象の前記位置が前記ユーザに近づくにつれて増加する、請求項５に記載の方法。

【請求項7】

前記周囲音に基づいて前記事象を判定することが、ｉ）前記ウェアラブルデバイスに対する前記事象の前記位置、ｉｉ）前記事象と関連付けられた前記オーディオ信号における前記繰り返しパターン、及びｉｉｉ）前記事象と関連付けられた前記オーディオ信号の前記属性を相関させることに少なくとも部分的に基づく、請求項４に記載の方法。

【請求項8】

前記事象を判定することが、前記ウェアラブルデバイスに対する前記事象の前記位置、前記事象と関連付けられた前記オーディオ信号における前記繰り返しパターン、及び前記事象と関連付けられた前記オーディオ信号の前記属性のデータを使用して人工知能によって実施された深層学習分析に少なくとも部分的に基づく、請求項７に記載の方法。

【請求項9】

前記事象に基づいて前記ユーザにフィードバックを提供することが、
前記ウェアラブルデバイスの少なくとも１つのスピーカを使用して、空間化された音を再生すること、
前記ウェアラブルデバイスを使用して方向指示触覚通知を提供すること、又は
前記ウェアラブルデバイスに接続された１つ以上のデバイス上に通知を表示することのうちの１つ以上を含む、請求項１に記載の方法。

【請求項10】

前記空間化された音が、前記ユーザに対する判定された前記事象の位置を表し、前記表された位置が、少なくとも前記位置属性に基づく、請求項９に記載の方法。

【請求項11】

前記ウェアラブルデバイスによって測定された運動信号のパターンに基づいて、前記ユーザが集中状態にあると判定することを更に含み、前記事象及び前記位置属性に基づいて前記ユーザにフィードバックを提供することが、判定された前記集中状態に基づく、請求項１に記載の方法。

【請求項12】

前記ユーザが前記集中状態にあると判定することが、前記ウェアラブルデバイス上に配置された１つ以上の慣性計測ユニット（ＩＭＵ）によって測定された前記運動信号のパターンを処理することを含む、請求項１１に記載の方法。

【請求項13】

前記ウェアラブルデバイス上の前記２つ以上のマイクロフォンが、前記ユーザを取り囲む前記周囲音を測定するように位置決めされた少なくとも３つのマイクロフォンを含む、請求項１に記載の方法。

【請求項14】

前記ウェアラブルデバイスが、前記ユーザの頭部又は頸部のうちの少なくとも１つの上に着用されるオーディオデバイスである、請求項１に記載の方法。

【請求項15】

前記ウェアラブルデバイスが、オーバーイヤーヘッドフォン、オンイヤーヘッドフォン、インイヤーヘッドフォン、イヤフォン、完全無線イヤフォン、眼鏡、ヘッドバンド、ネックバンド、イヤーフック、イヤークリップ、頭部着用オーディオデバイス、又は頸部着用オーディオデバイスのうちの少なくとも１つを含む、請求項１に記載の方法。

【請求項16】

前記ウェアラブルデバイスが、雑音消去オーディオデバイスである、請求項１に記載の方法。

【請求項17】

システムであって、
周囲音を測定するように構成された２つ以上のマイクロフォンを有するウェアラブルデバイスと、
前記ウェアラブルデバイスと接続されたコンピューティングデバイスと、を備え、前記コンピューティングデバイスが、
測定された前記周囲音に基づいて事象を判定し、
前記ウェアラブルデバイスに対する前記事象の位置属性を判定し、かつ
前記事象及び前記位置属性に基づいてフィードバックがユーザに提供されるように構成されている、システム。

【請求項18】

前記ウェアラブルデバイスが、２つ以上のスピーカを更に備え、前記２つ以上のスピーカが、
測定された前記周囲音を消去するオーディオコンテンツを再生し、かつ
前記オーディオコンテンツに加えて、空間化されたオーディオキューを再生することによって、判定された前記事象を前記ユーザに警告するように構成されている、請求項１７に記載のシステム。

【請求項19】

前記ウェアラブルデバイスは、前記コンピューティングデバイスが前記事象に基づいて前記ユーザにフィードバックを提供することに応答して、触覚フィードバックを提供するためのアクチュエータを更に備える、請求項１７に記載のシステム。

【請求項20】

前記コンピューティングが、
前記ウェアラブルデバイスに対する前記事象の前記位置、
前記事象と関連付けられたオーディオ信号における繰り返しパターン、又は
前記事象と関連付けられた前記オーディオ信号の属性のうちの少なくとも１つに基づく事象のインシデントを除外するように更に構成されている、請求項１７に記載のシステム。

【請求項21】

ユーザにフィードバックを提供するためのコンピュータ実装方法であって、
ウェアラブルデバイスの２つ以上のマイクロフォンを使用して測定される周囲音測定値を受信することと、
測定された前記周囲音に基づいて、事象を判定することと、
前記ウェアラブルデバイスに対する前記事象の位置属性を判定することと、
前記事象及び前記位置属性に基づいてフィードバックが前記ユーザに提供されることと、を含む、コンピュータ実装方法。

【請求項22】

前記フィードバックが、前記周囲音を消去するオーディオコンテンツに加えて、空間化されたオーディオキューを再生することを含む、請求項２１に記載のコンピュータ実装方法。

【請求項23】

測定された前記周囲音に基づいて前記事象を判定することが、
前記事象の音レベルの大きさを測定することと、
前記事象と関連付けられたオーディオ信号を使用して前記ウェアラブルデバイスに対する前記事象の位置を判定することと、を含み、前記事象の前記位置が、前記オーディオ信号から処理された方向及び距離に基づいて判定され、前記事象の前記位置属性が、前記方向又は前記距離のうちの少なくとも１つを含む、請求項２１に記載のコンピュータ実装方法。

【請求項24】

前記周囲音に基づいて前記事象を判定することが、
前記ウェアラブルデバイスに対する前記事象の前記位置、
前記事象と関連付けられた前記オーディオ信号における繰り返しパターン、又は
前記事象と関連付けられた前記オーディオ信号の属性のうちの少なくとも１つに基づく事象のインシデントを除外することを更に含む、請求項２３に記載のコンピュータ実装方法。

【請求項25】

測定された前記周囲音に基づいて前記事象を判定することは、
前記事象の前記音レベルの前記大きさが前記ウェアラブルデバイスに対する前記事象の前記位置に対応する閾値を超えていると判定することを含む、請求項２３に記載のコンピュータ実装方法。

【請求項26】

前記閾値が、前記ウェアラブルデバイスに対する前記事象の前記位置に基づいて変動し、前記閾値は、前記事象の前記位置が前記ユーザに近づくにつれて増加する、請求項２５に記載の方法。

【請求項27】

ウェアラブルデバイスのユーザにフィードバックを提供するための方法であって、
前記ウェアラブルデバイス上の２つ以上のマイクロフォンを使用して周囲音を測定することと、
２つ以上の異なる状況基準に対応する２つ以上の異なる構成事象において変動する閾値を超える測定された前記周囲音に基づいて事象を判定することと、
判定された前記事象に基づいて前記ユーザにフィードバックを提供することと、を含む、方法。

【請求項28】

前記２つ以上の異なる状況基準の各々が、
判定された前記事象と関連付けられた前記閾値、
前記ウェアラブルデバイスに対する前記事象の位置属性、又は
判定された前記事象に基づく前記ユーザへの前記フィードバックのうちの少なくとも１つに関するカスタマイズ構成を含む、請求項２７に記載の方法。

【請求項29】

前記カスタマイズ構成が、前記ユーザによって入力される、請求項２８に記載の方法。

【請求項30】

前記カスタマイズ構成と、前記ウェアラブルデバイスに対する判定された前記事象の前記位置属性とを関連付けることと、
前記ユーザによる前記入力及び前記関連付けに基づいて、前記位置属性に基づく構成の一般規則を判定するためのパターンを識別することと、を更に含む、請求項２９に記載の方法。

【請求項31】

前記カスタマイズ構成が、デフォルト工場構成を含む、請求項２８に記載の方法。

【請求項32】

前記２つ以上の異なる状況基準の各々が、前記ウェアラブルデバイスに対する位置属性を含み、前記周囲音に基づいて判定された前記位置属性が、前記ウェアラブルデバイスの前記２つ以上のマイクロフォンを使用して測定される、請求項２７に記載の方法。

【請求項33】

前記閾値が、前記２つ以上の異なる状況基準のうちの１つに対応する最小又は最大距離を含む、請求項３２に記載の方法。

【請求項34】

前記閾値が、前記２つ以上の異なる状況基準のうちの１つに対応する方向を含む、請求項３２に記載の方法。

【請求項35】

前記２つ以上の異なる状況基準の各々が、前記ウェアラブルデバイスの物理的位置に対応する、請求項３２に記載の方法。

【請求項36】

前記２つ以上の異なる状況基準の各々が、発話、背景音、又は音楽シーケンスのうちの少なくとも１つを含む音クラスを含む、請求項２７に記載の方法。

【請求項37】

前記背景音が、警報、足音、交通雑音、又は音のパターンを含む、請求項３６に記載の方法。

【請求項38】

前記閾値が、前記２つ以上の異なる状況基準のうちの１つに対応する最小音レベルを含む、請求項３７に記載の方法。

【請求項39】

前記閾値が、前記２つ以上の異なる状況基準のうちの前記１つの感度に対応する、請求項３７に記載の方法。

【請求項40】

前記フィードバックを提供することが、前記ユーザに対して前記周囲音の記録されたコピーを再生することを含む、請求項２７に記載の方法。

【請求項41】

前記記録されたコピーを再生することが、前記ウェアラブルデバイス内のフィードバックマイクロフォンによって収集されたデータに基づいて、前記周囲音の前記記録されたコピーを増幅又は減衰させることを含む、請求項４０に記載の方法。

【請求項42】

前記周囲音の前記記録されたコピーを増幅又は減衰させることが、前記ウェアラブルデバイスの移動によって起動される、請求項４１に記載の方法。

【請求項43】

前記記録されたコピーを再生することが、前記ウェアラブルデバイスの前記移動に基づいて、前記記録されたコピーを再生することを遅延させることを含む、請求項４２に記載の方法。

【請求項44】

ある期間にわたって、前記周囲音と前記位置属性とを相関させることと、
異なる位置で前記期間にわたる前記周囲音の変動をマッピングする顕著性マップを生成することと、
前記期間にわたる前記ウェアラブルデバイスの移動記録を測定することと、
前記移動記録と前記顕著性マップとの間の関係に基づいて前記ユーザの応答を判定することと、を更に含む、請求項２８に記載の方法。

【請求項45】

前記事象を判定することが、
測定された前記周囲音を、処理するために第２のデバイスに送信することと、
前記第２のデバイスから、判定された前記事象及び前記ユーザに提供するための前記対応するフィードバックを受信することと、を更に含み、前記第２のデバイスが、前記ウェアラブルデバイスよりも大きい処理能力を有する、請求項２７に記載の方法。

【請求項46】

システムであって、
周囲音を測定するように構成された２つ以上のマイクロフォンを有するウェアラブルデバイスと、
前記ウェアラブルデバイスと接続されたコンピューティングデバイスと、を備え、前記コンピューティングデバイスが、
前記ウェアラブルデバイスから、測定された前記周囲音を受信し、
２つ以上の異なる状況基準に対応する２つ以上の異なる構成事象において変動する閾値を超える前記周囲音に基づいて事象を判定し、かつ
前記事象に基づいてフィードバックがユーザに提供されるように構成されている、システム。

【請求項47】

前記ウェアラブルデバイスが、
前記閾値を超える前記周囲音に基づいて事象を局所的に判定するための時間要件を評価し、かつ
前記時間要件が待機期間を超えたとき、測定された前記周囲音を判定のために前記ウェアラブルデバイスに送信するように構成されている、請求項４６に記載のシステム。

【請求項48】

前記２つ以上の異なる状況基準の各々が、
判定された前記事象と関連付けられた前記閾値、
前記ウェアラブルデバイスに対する前記事象の位置属性、又は
判定された前記事象に基づく前記ユーザへの前記フィードバックのうちの少なくとも１つに関するカスタマイズ構成を含む、請求項４６に記載のシステム。

【請求項49】

前記コンピューティングデバイスが、前記ユーザから前記カスタマイズ構成を受信するように更に構成されており、前記ユーザが、前記コンピューティングデバイスのグラフィカルインターフェース上で前記カスタマイズ構成を入力する、請求項４８に記載のシステム。

【請求項50】

前記ウェアラブルデバイスが、雑音消去オーディオデバイスを含み、前記コンピューティングデバイスが、スマートフォンを含む、請求項４９に記載のシステム。

【請求項51】

命令を記憶する非一時的コンピュータ可読媒体であって、前記命令が、ウェアラブルデバイスによって実行されたとき、前記ウェアラブルデバイスに、
前記ウェアラブルデバイス上の２つ以上のマイクロフォンを使用して周囲音を測定し、
２つ以上の異なる状況基準に対応する２つ以上の異なる構成事象において変動する閾値を超える測定された前記周囲音に基づいて事象を判定し、かつ
判定された前記事象に基づいてユーザにフィードバックを提供することを行わせる、非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本出願は、２０２０年９月２２日に出願された米国特許出願第１７／０２７，９１９号の利益及び優先権を主張し、これは、本明細書の譲受人に譲渡され、以下に完全に記述されているかのように、かつ全ての適用可能な目的のために、その全体が参照により本明細書に組み込まれる。

【0002】

（発明の分野）
本開示の態様は、概して、無線通信に関し、より具体的には、コンピューティングデバイスと無線通信するウェアラブルデバイスを伴うオーディオ信号処理に関する。

【背景技術】

【0003】

ウェアラブルデバイスは、周囲雑音をマスキングするか、それに対して防止するか、又は消去することによって、所望の送信又は再現されたオーディオ体験をユーザに提供することができる。ウェアラブルデバイスによって生成される高音量出力又は白色雑音は、周囲雑音をマスキングすることができる。防音は、音エネルギーを反射又は吸収することによって音圧を低減する。雑音消去、又は能動雑音制御／低減は、周囲雑音を消去する第２の音の追加によって周囲雑音を低減する。これらの場合には、ユーザは、環境における警報、警鐘音、又は言語コミュニケーションなどの注意を必要とする事象に注意を払い損ねる場合がある。更に、ユーザが目前の仕事に集中している場合、ユーザは、そうでなければそのような事象に関してユーザに報知するために利用可能である他の感覚（例えば、視覚）を欠いている場合がある。

【0004】

したがって、ある特定の背景事象に関する適切及び非介入的な（例えば、所望のオーディオ体験を保護する）通知をユーザに提供するための方法、並びにこれらの方法を実装するように構成された装置及びシステムが望まれる。

【発明の概要】

【0005】

本明細書で言及される全ての例及び特徴は、任意の技術的に可能な方式で組み合わせることができる。

【0006】

本開示の態様は、ウェアラブルデバイスのユーザにフィードバックを提供するための方法を提供する。本方法は、ウェアラブルデバイス上の２つ以上のマイクロフォンを使用して周囲音を測定することと、測定された周囲音に基づいて事象を判定することと、ウェアラブルデバイスに対する事象の位置属性を判定することと、事象及び位置属性に基づいてユーザにフィードバックを提供することと、を含む。

【0007】

態様では、事象及び位置属性に基づいてユーザにフィードバックを提供することは、オーディオコンテンツに加えて、空間化されたオーディオキューを再生することを含む。

【0008】

態様では、測定された周囲音に基づいて事象を判定することは、事象の音レベルの大きさを測定することと、事象と関連付けられたオーディオ信号を使用してウェアラブルデバイスに対する事象の位置を判定することと、を含み、事象の位置は、オーディオ信号から処理された方向及び距離に基づいて判定され、事象の位置属性は、方向又は距離のうちの少なくとも１つを含む。場合によっては、周囲音に基づいて事象を判定することは、ウェアラブルデバイスに対する事象の位置、事象と関連付けられたオーディオ信号における繰り返しパターン、又は、事象と関連付けられたオーディオ信号の属性のうちの少なくとも１つに基づく事象のインシデントを除外することを更に含む。

【0009】

態様では、測定された周囲音に基づいて事象を判定することは、事象の音レベルの大きさがウェアラブルデバイスに対する事象の位置に対応する閾値を超えていると判定することを含む。場合によっては、閾値は、ウェアラブルデバイスに対する事象の位置に基づいて変動し、閾値は、事象の位置がユーザに近づくにつれて増加する。

【0010】

態様では、周囲音に基づいて事象を判定することは、ｉ）ウェアラブルデバイスに対する事象の位置、ｉｉ）事象と関連付けられたオーディオ信号における繰り返しパターン、及びｉｉｉ）事象と関連付けられたオーディオ信号の属性を相関させることに少なくとも部分的に基づく。場合によっては、事象を判定することは、ウェアラブルデバイスに対する事象の位置、事象と関連付けられたオーディオ信号における繰り返しパターン、及び事象と関連付けられたオーディオ信号の属性のデータを使用して人工知能によって実施される深層学習分析に少なくとも部分的に基づく。

【0011】

態様では、事象に基づいてユーザにフィードバックを提供することは、ウェアラブルデバイスの少なくとも１つのスピーカを使用して、空間化された音を再生することと、ウェアラブルデバイスを使用して方向指示触覚通知を提供すること、又はウェアラブルデバイスに接続された１つ以上のデバイス上に通知を表示することのうちの１つ以上を含む。

【0012】

場合によっては、空間化された音は、ユーザに対する判定された事象の位置を表し、表された位置は、少なくとも位置属性に基づく。

【0013】

態様では、本方法は、ウェアラブルデバイスによって測定された運動信号のパターンに基づいて、ユーザが集中状態にあると判定することを更に含み、事象及び位置属性に基づいてユーザにフィードバックを提供することが、判定された集中状態に基づく。場合によっては、ユーザが集中状態にあると判定することは、ウェアラブルデバイス上に配置された１つ以上の慣性計測ユニット（inertia measurement units、ＩＭＵ）によって測定された運動信号のパターンを処理することを含む。

【0014】

態様では、ウェアラブルデバイス上の２つ以上のマイクロフォンは、ユーザを取り囲む周囲音を測定するように位置決めされた少なくとも３つのマイクロフォンを含む。

【0015】

態様では、ウェアラブルデバイスは、ユーザの頭部又は頸部のうちの少なくとも１つの上に着用されるオーディオデバイスである。

【0016】

態様では、ウェアラブルデバイスは、オーバーイヤーヘッドフォン、オンイヤーヘッドフォン、インイヤーヘッドフォン、イヤフォン、完全無線イヤフォン、眼鏡、ヘッドバンド、ネックバンド、イヤーフック、イヤークリップ、頭部着用オーディオデバイス、又は頸部着用オーディオデバイスのうちの少なくとも１つを含む。

【0017】

態様では、ウェアラブルデバイスは、雑音消去オーディオデバイスである。

【0018】

本開示の態様は、ユーザ空間化フィードバックを提供するためのシステムを提供する。このシステムは、周囲音を測定するように構成された２つ以上のマイクロフォンを有するウェアラブルデバイス、及びウェアラブルデバイスと接続されたコンピューティングデバイスを含む。コンピューティングデバイスは、測定された周囲音に基づいて事象を判定し、ウェアラブルデバイスに対する事象の位置属性を判定し、かつ事象及び位置属性に基づいてフィードバックがユーザに提供されるように構成されている。

【0019】

態様では、ウェアラブルデバイスは、測定された周囲音を消去するオーディオコンテンツを再生し、オーディオコンテンツに加えて空間化されたオーディオキューを再生することによって、判定された事象をユーザに警告するように構成された２つ以上のスピーカを更に含む。

【0020】

態様では、ウェアラブルデバイスは、コンピューティングデバイスが事象に基づいてユーザにフィードバックを提供することに応答して、触覚フィードバックを提供するためのアクチュエータを更に含む。

【0021】

態様では、コンピューティングは、ウェアラブルデバイスに対する事象の位置、事象と関連付けられたオーディオ信号における繰り返しパターン、又は、事象と関連付けられたオーディオ信号の属性のうちの少なくとも１つに基づく事象のインシデントを除外するように更に構成される。

【0022】

本開示の態様は、ウェアラブルデバイスのユーザにフィードバックを提供するための方法であって、ウェアラブルデバイス上の２つ以上のマイクロフォンを使用して周囲音を測定することと、２つ以上の異なる状況基準に対応する２つ以上の異なる構成事象において変動する閾値を超える測定された周囲音に基づいて事象を判定することと、判定された事象に基づいてユーザにフィードバックを提供することと、を含む、方法、を提供する。

【0023】

態様では、２つ以上の異なる状況基準の各々は、判定された事象と関連付けられた閾値、ウェアラブルデバイスに対する事象の位置属性、又は、判定された事象に基づくユーザへのフィードバックのうちの少なくとも１つに関するカスタマイズ構成を含む。

【0024】

態様では、カスタマイズ構成は、ユーザによって入力される。

【0025】

態様では、方法は、カスタマイズ構成と、ウェアラブルデバイスに対する判定された事象の位置属性とを関連付けることと、ユーザによる入力及び関連付けに基づいて、位置属性に基づく構成の一般規則を判定するためのパターンを識別することと、を更に含む。

【0026】

態様では、カスタマイズ構成は、デフォルト工場構成を含む。

【0027】

態様では、２つ以上の異なる状況基準の各々は、ウェアラブルデバイスに対する位置属性を含み、位置属性は、ウェアラブルデバイスの２つ以上のマイクロフォンを使用して測定された周囲音に基づいて判定される。

【0028】

態様では、閾値は、２つ以上の異なる状況基準のうちの１つに対応する最小又は最大距離を含む。

【0029】

態様では、閾値は、２つ以上の異なる状況基準のうちの１つに対応する方向を含む。

【0030】

態様では、２つ以上の異なる状況基準の各々は、ウェアラブルデバイスの物理的位置に対応する。

【0031】

態様では、２つ以上の異なる状況基準の各々は、発話、背景音、又は音楽シーケンスのうちの少なくとも１つを含む音クラスを含む。

【0032】

態様では、背景音は、警報、足音、交通雑音、又は音のパターンを含む。

【0033】

態様では、閾値は、２つ以上の異なる状況基準のうちの１つに対応する最小音レベルを含む。

【0034】

態様では、閾値は、２つ以上の異なる状況基準のうちの１つの感度に対応する。

【0035】

態様では、フィードバックを提供することは、ユーザに対して周囲音の記録されたコピーを再生することを含む。

【0036】

態様では、記録されたコピーを再生することは、ウェアラブルデバイス内のフィードバックマイクロフォンによって収集されたデータに基づいて、周囲音の記録されたコピーを増幅又は減衰させることを含む。

【0037】

態様では、周囲音の記録されたコピーを増幅又は減衰することは、ウェアラブルデバイスの移動によって起動される。

【0038】

態様では、記録されたコピーを再生することは、ウェアラブルデバイスの移動に基づいて、記録されたコピーを再生することを遅延させることを含む。

【0039】

態様では、本方法は、ある期間にわたって、周囲音と位置属性とを相関させることと、異なる位置で上記期間にわたる周囲音の変動をマッピングする顕著性マップを生成することと、この期間にわたるウェアラブルデバイスの移動記録を測定することと、移動記録と顕著性マップとの間の関係に基づいてユーザの応答を判定することと、を更に含む。

【0040】

態様では、事象を判定することは、測定された周囲音を、処理するために第２のデバイスに送信ことと、第２のデバイスから、判定された事象、及びユーザに提供するための対応するフィードバックを受信することと、を更に含み、第２のデバイスは、ウェアラブルデバイスよりも大きい処理能力を有する。

【0041】

本概要の項に記載される特徴を含む、本開示に記載される２つ以上の特徴は、本明細書に具体的に記載されていない実装形態を形成するために組み合わされ得る。

【0042】

１つ以上の実装形態の詳細が、添付図面及び以下の説明において記載される。他の特徴、目的、及び利点は、本説明及び図面から、並びに「特許請求の範囲」から明らかになるであろう。

【図面の簡単な説明】

【0043】

【図1】本開示の態様が実装され得るシステムの例を示す。

【図2A】本開示のある特定の態様による、例示的な無線オーディオデバイスを示す。

【図2B】本開示のある特定の態様による、例示的なコンピューティングデバイスを示す。

【図3】本開示のある特定の態様による、判定された事象及び位置属性のフィードバックをユーザに提供するための動作の例を示す。

【図4】本開示のある特定の態様による、事象の位置属性を抽出するためのデータ処理の例を示す。

【図5】本開示のある特定の態様による、判定された事象及び関連する位置属性の視覚提示の例を示す。

【図6A】本開示のある特定の態様による、ユーザの注意を必要とする事象を判定するためのプロセスの例を示す。

【図6B】本開示のある特定の態様による、ユーザの注意を必要とする事象を判定するための深層学習プロセスの例を示す。

【図6C】本開示のある特定の態様による、事象を判定するための深層学習プロセスの例を示す。

【図7】本開示のある特定の態様による、音エネルギーに基づいて事象を判定するためのプロセスの例を示す。

【図8】本開示のある特定の態様による、ユーザの状態を判定するために使用される移動データを示す。

【図9】本開示のある特定の態様による、判定された事象及び位置属性のフィードバックをユーザに提供するための動作の例を示す。

【図10】本開示のある特定の態様による、状況基準のカスタマイズ構成を調節するためのインターフェースの例を示す。

【図11】本開示のある特定の態様による、状況基準のカスタマイズ構成を調節するためのインターフェースの例を示す。

【発明を実施するための形態】

【0044】

同様の番号は、同様の要素を指す。

【0045】

本開示は、ユーザがウェアラブルオーディオ出力デバイスを着用しているときに、事象（例えば、割り込み事象、又はユーザの注意を必要とする事象、及びユーザが無視する事象ではないもの）のフィードバックをユーザに提供するためのプロセス、方法、システム、及びデバイスを提供する。例えば、ユーザは、フィードバックがないと、例えば、ウェアラブルデバイスが周囲雑音を消去して、ユーザがオーディオ体験に完全に没入することを可能にするときなどの、ウェアラブルデバイスによって提供されるオーディオ体験を楽しむことに起因して、事象に注意を払わない場合がある。本開示によれば、ウェアラブルデバイスは、ユーザに対する音位置、音クラス（例えば、発話、警報などの検出された音の性質）、環境（例えば、自宅、オフィス、又は特定の部屋、公衆など）、及びカスタマイズされたパラメータによって定義される他の条件などの、ある特定の条件に基づいて事象を判定することができる。

【0046】

態様では、本方法は、ウェアラブルデバイス上の２つ以上のマイクロフォンを使用して周囲音（すなわち、オーディオ経験の一部ではない音）を測定することを含む。事象は、測定された周囲音に基づいて判定される。事象の位置属性が判定される（これは、「定位」と称され得る）。次いで、判定された事象及び位置属性のフィードバックがユーザに提供される。場合によっては、測定された周囲音に基づいて事象を判定することは、ユーザの注意を必要としない周辺環境における出来事を識別及び除去する深層学習に基づくアルゴリズムを用いる。アルゴリズムは、ラウドネス、位置、及び周囲音における音の様々な特性を使用して、事象を判定し得る。判定された事象のフィードバックは、ユーザに提示されてもよく、フィードバックは、例えば、位置属性を含み、及び／又は注意が向けられるべき場所をユーザに知らせる。

【0047】

態様では、事象は、閾値を超える測定された周囲音に基づいて判定される。閾値は、２つ以上の異なる状況基準に対応する２つ以上の異なる構成事象ごとに変動し得る。２つ以上の異なる状況基準は、判定された事象と関連付けられた閾値、ウェアラブルデバイスに対する事象の位置属性、又は判定された事象に基づくユーザへのフィードバックのうちの少なくとも１つを含み得る。例えば、発話を含む事象及びドアノックを含む事象は、検出のための異なる閾値で構成され得る。同様に、５メートル離れた事象及び１０メートル離れた事象はまた、検出のための異なる閾値で構成され得る。閾値レベルはまた、ウェアラブルデバイスに対する事象の位置（例えば、相対的な距離及び方向）に基づいてカスタマイズすることができる。ユーザはまた、視覚、聴覚、それらの組み合わせ、及び他の形態などの、フィードバックの形態並びに特性（例えば、輝度、音量、及び／又は大きさ）をカスタマイズすることができる。

【0048】

ユーザは、多くの場合、ウェアラブルオーディオデバイスを使用するとき、特に周囲音を除去するように意図される能動雑音消去ヘッドフォンを使用するとき、少なくともいくらかの状況認識を失う。別の例では、周囲の音をマスキングする過度なレベルのオーディオの音量、又は良好な防音効果を有する（例えば、パッシブ遮音）とき、状況認識が低下する。状況認識の別の例は、ウェアラブルオーディオデバイスの助けを借りて（例えば、周囲音を消去又は減衰させて）、勤務、勉強、又は読書しているときなどの、ユーザが集中状態にあるときに減少する。低減された状況認識は、事象が適時の応答に値するときなどの、代償の大きい又は厄介な結果をもたらし得る。本開示は、ユーザに楽しめるオーディオ体験を提供しながら、注意に値し得る事象の空間化されたフィードバックをユーザに提供するための技法を提供する。

【0049】

態様では、開示される技法は、音事象検出、及び検出された音事象を表すオーディオキューを使用して、ユーザの認識を増強させることができる。勤務環境又は在宅勤務環境では、ユーザは、集中状態にあり、ユーザの周辺環境をあまり認識していない場合がある。雑音を消去するウェアラブルデバイスは、ユーザの認識を更に低減し得る。ユーザは、到達する言語コミュニケーション、呼び鈴、又はウェアラブルデバイスによって効果的に消去され得る他の警報若しくは音通知に注意を払うことを望むか、あるいはそれを必要とする場合がある。このように、開示される技法は、ユーザが、状況認識を失うことなく雑音を消去するウェアラブルデバイスに集中し、そこから利益を得ることを可能にする。場合によっては、オーディオキューは、有益で、最小限の混乱であるように設計される。これにより、ユーザは、事象について学習した後に、事象を無視するオプションを維持しながら、事象にいつ及びどのように反応するべきかを判定することが可能になる。態様では、追加の視覚化又は通知戦略は、ユーザが事象を解釈するのを助けるためにオーディオキューと一緒に使用される。

【0050】

開示される技法は、マイクロフォンと慣性測定ユニット（ＩＭＵ）との組み合わせを使用して実装される。例えば、本技法は、最初にラウドネス閾値を設定して、ベースレベル雑音とは異なる割り込み事象を検出する。このステップは、「事象検出」と称され得る。次いで、この技法は、事象の方向及び距離を識別することなどの、割り込み事象の１つ以上の位置属性を判定する。次いで、本技法は、ＩＭＵからの入力を使用して、ユーザが検出された事象を引き起こしている場合があるか、又は検出された事象をすでに認識しているかどうかを判定する。事象がユーザの注意に値すると判定された場合、この技法は、空間化されたオーディオフィードバックをユーザに提供し、事象の位置をユーザに報知することを更に含む。

【0051】

態様では、割り込み事象の位置属性に加えて、異なる閾値が異なる構成事象ごとに定義又は構成され得る。構成事象は、デシベルレベル（例えば、事象閾値）、周囲音の特性（例えば、発話、警報、メロディなどの音クラス又はタイプ）、ユーザに対する位置（例えば、距離及び方向）などの対応する状況基準によって定義され得る。状況基準は、ユーザによって提供され得るか、あるいはデフォルト工場若しくは生産プロファイル又は構成を使用して構成され得る。例えば、ユーザは、ウェアラブルデバイス上又はウェアラブルデバイスと通信するコンピュータデバイス上のグラフィカルインターフェースを介して、カスタマイズ構成をカスタマイズするための入力を提供し得る。例は、図９～図１０に関連して更に考察される。

【0052】

態様では、ウェアラブルデバイス上で定位及び事象検出を実施して、待ち時間を最小限に抑え、ウェアラブルデバイス上のマイクロフォンのフルアレイへのアクセスを提供する。ユーザは、以下の動作の例が実施されるとき、事象の方向（例えば、左又は右、上方又は下方）に空間化されたオーディオキューで促され得る。第１に、区間検出アルゴリズムが、ウェアラブルデバイス上のマイクロフォンを使用して実行され、プロセッサ（ウェアラブルデバイス上又は外部コンピューティングデバイス上のいずれか）によって接続／制御される。言及されたように、区間検出アルゴリズムは、送信待ち時間を最小限に抑えるためにウェアラブルデバイスにおいて実行され得る。場合によっては、区間検出アルゴリズムは、コンピューティングデバイス内のより強力なプロセッサを使用するために、ウェアラブルデバイスと無線通信するコンピューティングデバイスにおいて実行され得る。区間検出アルゴリズムは、音エネルギーの突然の変化（例えば、突然のデシベルレベルの増加）を検出して、周囲音とは別個の事象を識別する。区間検出アルゴリズムは、発話又は音声区間などの音の特性を検出して、周囲音とは別個の事象を識別する。

【0053】

第２に、事象の位置属性が判定され、データ処理の第２の層が事象の性質を確認する。例えば、事象の距離を判定することによって、区間検出アルゴリズムは、ユーザによって生み出された音（例えば、ユーザ自身の発話）を、遠距離場における事象の音（例えば、部屋全体にわたるドアノック音）とは更に区別し得る。場合によっては、ユーザに面している（すなわち、ある特定の距離内のユーザの前にある）と判定される事象は、そのような事象がユーザによって視覚的に取得され得るため、無視される。位置属性は、距離、方向、又はその両方を含み得る。距離及び方向は、ウェアラブルデバイス内に隔置された２つ以上のマイクロフォンによって取り込まれたオーディオデータを使用して計算され得る。

【0054】

事象の性質を確認することはまた、音を処理して、音クラス及び／又は音特性を判定することを含み得る。例えば、異なる構成事象は、発話、警報、又は音が大きい背景事象（例えば、ノッキング、泣き声など）などの、異なる音クラスに対応し得る。特定の性質の各事象についての閾値は、異なる感度設定を使用して調節又は個人化されてもよく、したがって、ユーザの環境及び選好に依存してもよい。

【0055】

第３に、ユーザが事象に関して通知される必要があるかどうかを判定するために、移動測定値が事象と相関される。例えば、運動センサによって測定された移動の欠如は、ユーザが集中状態にあることを指示し得る。ユーザは、集中状態にある間、事象のフィードバックを望む可能性がより高い場合がある。加えて、移動測定値は、ユーザ自身の移動によって引き起こされる相対的な位置変動を考慮して、区間検出アルゴリズムが位置属性を正しく識別するのを助けることができる。

【0056】

場合によっては、移動測定値は、判定された事象のカスタマイズ構成及び位置属性と関連付けられたパターンを形成することができる。例えば、ユーザは、ある方向に向くことによって事象に一貫して／習慣的に応答することができる。次いで、そのような移動のパターンは、事象と相関される。事象は、音が来る場所と関連付けられた音クラスに基づいて閾値を指定することによってなどの、カスタマイズ構成とウェアラブルデバイスに対する位置属性とを関連付けることによって検出され得る。一例では、ユーザが一定の方向に向かって面する一定の位置でウェアラブルデバイスを着用しているとき、窓を通して来るサイレン音は、雑音消去され、無視され得る（すなわち、フィードバックのための事象として分類されない）。そのような場合には、ランダムな移動は、サイレンが測定されたときに記録され得る。ランダムな移動に基づいて、同じ方向から来るそのようなサイレン音を無視するための一般規則が判定され得る。比較すると、ドアを通り抜けるノック音により、ユーザがある特定の方向に向くことは頻繁に起こり得る。そのような応答のパターンは、識別されたパターンに適合する事象が検出されたときにフィードバック（例えば、ノック音が雑音消去されている間のウェアラブルデバイスにおけるオーディオ通知）を提供するためなどの、構成の一般規則を判定するために記録及び識別され得る。

【0057】

態様では、区間検出アルゴリズムは、ウェアラブルデバイスに埋め込まれたプロセッサ上で実行される軽量の閾値ベースのデジタル信号処理（digital signal processing、ＤＳＰ）アルゴリズムを含み得る。ウェアラブルデバイスは、検出感度を調節する閾値を制御するために、感度スライダなどのユーザインターフェースを提供し得る。例えば、より感度が高い設定は、より少ない精査で事象を報告することにつながり、誤判定検出の増加をもたらし得る。空間化されたオーディオキューをユーザに提供することに加えて、ウェアラブルデバイスは、外部コンピューティングデバイスに情報を更に提供することができる。外部コンピューティングデバイスは、事象及びその位置属性をユーザインターフェース上に表示し得る。一例では、ユーザインターフェースは、事象の性質（例えば、発話、ノック音、警報などの事象のタイプ）及びユーザに対する事象の位置についてユーザに報知する「レーダ」表示を示す。

【0058】

場合によっては、区間検出アルゴリズムは、外部コンピューティングデバイス上で実行される事象分析アルゴリズムを含むか、又はそれと同時に処理する。事象分析アルゴリズムは、ユーザの特定の選好に関して訓練される様々な層の処理を実施する深層学習アルゴリズムを含み得る。例えば、ユーザは、事象分析アルゴリズムにおいてフィードバック又は指示を提供して、ウェアラブルデバイスによって検出された事象の性質及び優先度について事象分析アルゴリズムに教示することができる。一例では、事象分析アルゴリズムは、（例えば、ある特定の人物、ある特定のカテゴリなどの）ある特定の発話データを識別し、識別すると、発話データをテキストに文字化するように訓練される。事象分析アルゴリズムは、識別に基づいて事象を異なる優先度レベルに分類することができ、例えば、火災警報は、呼び鈴よりも高い優先度を有し得る。態様では、コンピューティングデバイス上の事象分析アルゴリズムは、近距離通信（例えば、Ｂｌｕｅｔｏｏｔｈ）を使用するなどの、無線接続を介してウェアラブルデバイスの２つ以上のマイクロフォンにアクセスすることができる。態様では、事象分析アルゴリズムは、ウェアラブルデバイス上で実行する区間検出アルゴリズムと組み合わされるか、又はそれと同時に働き得る。場合によっては、事象分析アルゴリズム及び区間検出アルゴリズムは、総称して事象判定アルゴリズムと称され得る。

【0059】

図１は、本開示の態様が実践されるシステム１００の例を示す。示されるように、システム１００は、コンピューティングデバイス１２０と通信可能に結合されたウェアラブルデバイス１１０を含む。ウェアラブルデバイス１１０は、２つ以上のスピーカ及び２つ以上のマイクロフォンを含むヘッドセットとして示される。コンピューティングデバイス１２０は、ウェアラブルデバイス１１０と無線でペアリングされたスマートフォン又はタブレットコンピュータとして示される。高いレベルでは、ウェアラブルデバイス１１０は、コンピューティングデバイス１２０から送信されたオーディオコンテンツを再生することができる。ユーザは、コンピューティングデバイス１２０上のグラフィカルユーザインターフェース（graphical user interface、ＧＵＩ）を使用して、オーディオコンテンツを選択し、かつ／又はウェアラブルデバイス１１０の設定を調節することができる。ウェアラブルデバイス１１０は、コンピューティングデバイス１２０から送信されたオーディオコンテンツを再生するために、防音、能動雑音消去、及び／又は他のオーディオ拡張特徴を提供する。本開示の態様によれば、ユーザの注意を必要とする事象を判定すると、ウェアラブルデバイス１１０及び／又はコンピューティングデバイス１２０は、事象及びその位置属性に関する非介入的な空間化された通知又はフィードバックをユーザに提供することができる。

【0060】

一態様では、ウェアラブルデバイス１１０は、周囲音を取り込むために少なくとも２つのマイクロフォン１１１及び１１２を含む。取り込まれた音は、能動雑音消去及び／又は事象検出のために使用され得る。例えば、マイクロフォン１１１及び１１２は、ウェアラブルデバイス１１０の反対側に位置決めされる。マイクロフォン１１１及び１１２によって取り込まれたオーディオ信号は、検出された事象の位置属性を判定するために、相関及び／又は三角測量され得る。態様では、ウェアラブルデバイス１１０の異なる位置に位置決めされた追加のマイクロフォンが、位置判定の精度を高めるために使用され得る。

【0061】

一態様では、ヘッドフォン１１０は、ヘッドフォン１１０のマイクロフォン１１１、１１２によって受信された音信号中の発話信号（例えば、ヒトの発話信号）の存在を検出することが可能な音声区間検出（voice activity detection、ＶＡＤ）回路を含む。例えば、ヘッドフォン１１０のマイクロフォン１１１、１１２は、ユーザが発した発話を含む、ヘッドフォン１１０付近の周囲外部音を受信することができる。マイクロフォン１１１、１１２によって受信された音信号は、ヘッドフォン１１０付近の他の音と混合された発話信号を有し得る。ＶＡＤを使用して、ヘッドフォン１１０は、受信された音信号から発話信号を検出及び抽出することができる。一態様では、音声通話、ユーザと別の人物との間の音声チャット、又はクラウドベースの仮想パーソナルアシスタント（virtual personal assistant、ＶＰＡ）などのＶＰＡのための音声コマンドを容易にするために、ＶＡＤ回路は、ユーザが発した発話を検出及び抽出するために使用することができる。他の例では、検出又は起動は、とりわけ、自己ＶＡＤ（エリア内の他の人が話しているかどうかにかかわらず、ユーザが話しているときのみ開始する）、能動輸送（輸送システムから取り込まれた音）、頭部ジェスチャ、ボタン、コンピューティングデバイスベースの起動（例えば、電話からの一時停止／一時停止解除）、入力オーディオレベルによる変化、環境における可聴変化を含み得る。音声区間検出回路は、本明細書で開示された区間検出アルゴリズムを実行するか、又は実行することを補助することができる。

【0062】

ウェアラブルデバイス１１０は、雑音消去回路（図示せず）及び／又は雑音マスキング回路（図示せず）、身体移動検出デバイス／センサ及び回路（例えば、１つ以上の加速度計、１つ以上のジャイロスコープ、１つ以上の磁力計など）、地理位置回路、並びに他の音処理回路が挙げられるが、これらに限定されない、１つ以上の音管理能力又は他の能力を実装するように構成されたプロセッサ／処理システム及びメモリを含むハードウェア並びに回路を更に含む。

【0063】

一態様では、ウェアラブルデバイス１１０は、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ低エネルギー（Bluetooth Low Energy、ＢＬＥ）、他のＲＦベースの技法などが挙げられるが、これらに限定されない、１つ以上の無線通信方法を使用してコンピューティングデバイス１２０に無線で接続される。一態様では、ウェアラブルデバイス１１０は、オーディオデータ及び他の情報をコンピューティングデバイス１２０と交換するために、１つ以上のアンテナを介してデータを送信及び受信するトランシーバを含む。

【0064】

一態様では、ウェアラブルデバイス１１０は、コンピューティングデバイス１２０からオーディオデータ及び他の情報を送信及び受信することが可能な通信回路を含む。ウェアラブルデバイス１１０はまた、コンピューティングデバイス１２０からのあらゆる欠損又は欠落したデータパケットの再送信のための時間を可能にするために、到達するオーディオ信号（例えば、オーディオパケット）の少なくとも一部分をバッファリングする、レンダーバッファなどの到達するオーディオバッファを含む。例えば、ウェアラブルデバイス１１０がコンピューティングデバイス１２０からＢｌｕｅｔｏｏｔｈ送信を受信するとき、通信回路は、典型的には、オーディオが実際にレンダリングされ、ウェアラブルデバイス１１０のトランスデューサ（例えば、オーディオスピーカ）のうちの少なくとも１つにオーディオとして出力される前に、到達するオーディオデータの少なくとも一部分をレンダーバッファにバッファリングする。これは、送信中にオーディオパケットを失わせるＲＦ衝突がある場合でも、失われたオーディオパケットが、ウェアラブルデバイス１１０の１つ以上の音響トランスデューサによる出力のためにウェアラブルデバイス１１０によってレンダリングされる必要がある前に、コンピューティングデバイス１２０によって再送信される時間があることを確実にするために行われる。

【0065】

オーディオ出力デバイス１１０は、オーバーヘッドヘッドフォンとして示される。しかしながら、本明細書で説明される技法は、耳の周り、耳の上、耳の中、若しくは耳の近く（ユーザの頭部又は肩部上に着用されるオープンイヤーオーディオデバイスを含む）、又は頭部若しくは頸部などのユーザの他の身体の一部に適合する任意のオーディオ出力デバイスを含む、ウェアラブルオーディオデバイスなどの他のウェアラブルデバイスに適用する。ウェアラブルデバイス１１０は、独立型のデバイス（自動車スピーカシステムを含む）、定置デバイス（バッテリ動力ポータブルスピーカなどのポータブルデバイスを含む）、ヘッドフォン、イヤフォン、イヤピース、ヘッドセット、ゴーグル、ヘッドバンド、イヤフォン、アームバンド、スポーツヘッドフォン、ネックバンド、若しくは眼鏡を含む、ウェアラブルな又はその他の任意の形態を取り得る。

【0066】

一態様では、ウェアラブルデバイス１１０は、対応する無線接続の有無にかかわらず、有線接続を使用してコンピューティングデバイス１２０に接続される。コンピューティングデバイス１２０は、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、デジタルカメラ、又はウェアラブルデバイス１１０と接続する他のコンピューティングデバイスであり得る。示されるように、コンピューティングデバイス１２０は、ネットワーク１３０（例えば、インターネット）に接続することができ、ネットワーク上の１つ以上のサービスにアクセスすることができる。示されるように、これらのサービスは、１つ以上のクラウドサービス１４０を含み得る。

【0067】

一態様では、コンピューティングデバイス１２０は、モバイルウェブブラウザ、又はコンピューティングデバイス１２０上で実行されるローカルソフトウェアアプリケーション若しくは「アプリ」を使用して、ネットワーク１３０上のクラウド１４０内のクラウドサーバにアクセスすることができる。一態様では、ソフトウェアアプリケーション又は「アプリ」は、コンピューティングデバイス１２０上で局所的にインストール及び実行されるローカルアプリケーションである。一態様では、クラウド１４０上でアクセス可能なクラウドサーバは、クラウドサーバ上で実行される１つ以上のクラウドアプリケーションを含む。クラウドアプリケーションは、コンピューティングデバイス１２０によってアクセスされ、実行され得る。例えば、クラウドアプリケーションは、コンピューティングデバイス１２０上のモバイルウェブブラウザによってレンダリングされるウェブページを生成することができる。一態様では、コンピューティングデバイス１２０上にインストールされたモバイルソフトウェアアプリケーション、又はクラウドサーバ上にインストールされたクラウドアプリケーションは、個々に又は組み合わせて、本開示の態様によるコンピューティングデバイス１２０とウェアラブルデバイス１１０との間の少ない待ち時間のＢｌｕｅｔｏｏｔｈ通信のための技法を実装するために使用され得る。一態様では、ローカルソフトウェアアプリケーション及びクラウドアプリケーションの例は、ゲームアプリケーション、オーディオＡＲアプリケーション、及び／又はオーディオＡＲ能力を有するゲームアプリケーションを含む。コンピューティングデバイス１２０は、ウェアラブルデバイス１１０から信号（例えば、データ及び制御）を受信し、ウェアラブルデバイス１１０に信号を送ることができる。

【0068】

図２Ａは、例示的なウェアラブルデバイス１１０及びその構成要素のいくつかを示す。他の構成要素は、ウェアラブルデバイス１１０に固有であり得、図２Ａには示されていない。例えば、ウェアラブルデバイス１１０は、現在再生している（「現在再生中」）音楽に関する情報をユーザに提供することができる任意選択のグラフィカルインターフェース（例えば、ＯＬＥＤディスプレイ）を収容する筐体を含み得る。

【0069】

ウェアラブルデバイス１１０は、オーディオを出力するための１つ以上の電気音響トランスデューサ（又はスピーカ）２１４を含む。ウェアラブルデバイス１１０はまた、ユーザ入力インターフェース２１７を含む。ユーザ入力インターフェース２１７は、複数のプリセットインジケータを含むことができ、これはハードウェアボタンであり得る。プリセットインジケータは、それらのボタンに割り当てられたエンティティへの容易な１回の押下アクセスをユーザに提供することができる。割り当てられたエンティティは、単一のウェアラブルデバイス１１０が様々な異なるデジタルオーディオソースへの単一の押下アクセスを提供することができるように、デジタルオーディオソースのうちの異なる１つと関連付けることができる。

【0070】

センサ１１１及び１１２は、周囲音を取り込むための２つ以上のマイクロフォンを含み、事象の位置属性を判定するためのオーディオ信号を提供することができる。例えば、センサ１１１及び１１２は、位置属性を確認するために、ウェアラブルデバイス１１０における音到来差を判定するための機構を提供し得る。場合によっては、センサ１１１及び１１２は、送信遅延を捕捉することができ、これは、後続の計算における誤差を低減するために使用することができる。センサ１１１及び１１２は、各々、オーディオ信号の２つ以上のチャネルを提供し得る。オーディオ信号は、隔置され、異なる指向性応答を有し得るマイクロフォンによって取り込まれる。オーディオ信号の２つ以上のチャネルは、対象の事象の指向性属性を算出するために使用され得る。

【0071】

図２Ａに示されるように、ウェアラブルデバイス１１０は、オーディオハードウェア２２３を通してオーディオ信号を音響エネルギーに変換するための音響ドライバ又はスピーカ２１４を含む。ウェアラブルデバイス１１０はまた、ネットワークインターフェース２１９、少なくとも１つのプロセッサ２２１、オーディオハードウェア２２３、ウェアラブルデバイス１１０の様々な構成要素に電力を供給するための電源２２５、及びメモリ２２７を含む。一態様では、プロセッサ２２１、ネットワークインターフェース２１９、オーディオハードウェア２２３、電源２２５、及びメモリ２２７は、様々なバス２３５を使用して相互接続され、構成要素のうちのいくつかは、共通のマザーボード上に取り付けられてもよく、又は必要に応じて他の方式で取り付けられてもよい。

【0072】

ネットワークインターフェース２１９は、１つ以上の通信プロトコルを介して、ウェアラブルデバイス１１０と他の電子コンピューティングデバイスとの間の通信を提供する。ネットワークインターフェース２１９は、無線ネットワークインターフェース２２９及び有線インターフェース２３１（任意選択）のいずれか又はその両方を提供する。無線インターフェース２２９は、ＩＥＥＥ８０２．１１などの無線通信プロトコルに従って、ウェアラブルデバイス１１０が他のデバイスと無線で通信することを可能にする。有線インターフェース２３１は、例えば、ウェアラブルデバイス１１０がユーザによって着用されていないときに使用される、信頼性及び高速転送速度のために、有線（例えば、イーサネット）接続を介してネットワークインターフェース機能を提供する。示されているが、有線インターフェース２３１は、任意選択である。

【0073】

ある特定の態様では、ネットワークインターフェース２１９は、Ａｐｐｌｅ ＡｉｒＰｌａｙ（登録商標）及び／又はＡｐｐｌｅ Ａｉｒｐｌａｙ（登録商標）２をサポートするためのネットワークメディアプロセッサ２３３を含む。例えば、ユーザが、ｉＰｈｏｎｅ（登録商標）若しくはｉＰａｄ（登録商標）デバイスなどのＡｉｒＰｌａｙ（登録商標）又はＡｐｐｌｅ Ａｉｒｐｌａｙ（登録商標）２対応のデバイスをネットワークに接続した場合、このときユーザは、Ａｐｐｌｅ ＡｉｒＰｌａｙ（登録商標）又はＡｐｐｌｅ Ａｉｒｐｌａｙ（登録商標）２を介してネットワーク接続されたオーディオ再生デバイスに音楽をストリーミングすることができる。注目すべきは、オーディオ再生デバイスは、ＡｉｒＰｌａｙ（登録商標）、Ａｐｐｌｅ Ａｉｒｐｌａｙ（登録商標）２、及び／又はＤＬＮＡ（登録商標）のＵＰｎＰプロトコルを介したオーディオストリーミングをサポートすることができ、全ては１つのデバイスの中に統合されている。

【0074】

ネットワークパケットの一部として受信された全ての他のデジタルオーディオは、ネットワークメディアプロセッサ２３３からＵＳＢブリッジ（図示せず）を通してプロセッサ２２１にまっすぐ渡され、復号器、ＤＳＰに達し、最終的には電気音響トランスデューサ２１４を介して再生（レンダリング）され得る。

【0075】

ネットワークインターフェース２１９は、Ｂｌｕｅｔｏｏｔｈアプリケーション（例えば、スマートフォン又はタブレットなどのＢｌｕｅｔｏｏｔｈ対応のオーディオソースとの無線通信のための）用のＢｌｕｅｔｏｏｔｈ回路２３７、又は他のＢｌｕｅｔｏｏｔｈ対応のスピーカパッケージを更に含み得る。いくつかの態様では、Ｂｌｕｅｔｏｏｔｈ回路２３７は、エネルギー制約に起因して、一次ネットワークインターフェース２１９であり得る。例えば、ネットワークインターフェース２１９は、ウェアラブルデバイス１１０が任意のウェアラブルな形態を採用するとき、モバイルアプリケーションのためだけにＢｌｕｅｔｏｏｔｈ回路２３７を使用し得る。例えば、ＢＬＥ技術をウェアラブルデバイス１１０に使用して、バッテリ寿命を延ばし、パッケージ重量を低減し、他のバックアップ又は代替的なネットワークインターフェースなしで高品質性能を提供することができる。

【0076】

一態様では、ネットワークインターフェース２１９は、一度に同時に複数の通信プロトコルを使用して他のデバイスとの通信をサポートする。例えば、ウェアラブルデバイス１１０は、Ｗｉ－Ｆｉ／Ｂｌｕｅｔｏｏｔｈ共存をサポートすることができ、一度にＷｉ－Ｆｉ及びＢｌｕｅｔｏｏｔｈプロトコルの両方を使用して同時通信をサポートすることができる。例えば、ウェアラブルデバイス１１０は、Ｂｌｕｅｔｏｏｔｈを使用してスマートフォンからオーディオストリームを受信することができ、Ｗｉ－Ｆｉ上で１つ以上の他のデバイスにオーディオストリームを更に同時に再配信することができる。一態様では、ネットワークインターフェース２１９は、一度に通信方法（例えば、Ｗｉ－Ｆｉ又はＢｌｕｅｔｏｏｔｈ）を１つだけ使用して通信することが可能なＲＦチェーンを１つだけ含み得る。本文脈中、ネットワークインターフェース２１９は、例えば、時分割多重化（time division multiplexing、ＴＤＭ）パターンに従って、Ｗｉ－ＦｉとＢｌｕｅｔｏｏｔｈとの間で単一のＲＦチェーンを時分割することによって、Ｗｉ－Ｆｉ通信及びＢｌｕｅｔｏｏｔｈ通信を同時にサポートすることができる。

【0077】

ストリーミングされたデータは、ネットワークインターフェース２１９からプロセッサ２２１に渡され得る。プロセッサ２２１は、メモリ２２７に記憶されている命令を含む、命令（例えば、とりわけ、デジタル信号処理、復号、及び等化機能を実施するための）を実行することができる。プロセッサ２２１は、別個の複数のアナログ及びデジタルプロセッサを含むチップのチップセットとして実装されてもよい。プロセッサ２２１は、例えば、ユーザインターフェースの制御などの、オーディオウェアラブルデバイス１１０の他の構成要素の調整を提供することができる。

【0078】

ある特定の態様では、メモリ２２７に記憶されたプロトコルは、例えば、Ｂｌｕｅｔｏｏｔｈコア仕様バージョン５．２（ＢＴ５．２）に従うＢＬＥを含み得る。ウェアラブルデバイス１１０及びその中の様々な構成要素は、プロトコル及び関連付けられた仕様の態様に十分に準拠するか又はそれらを実施するために本明細書において提供される。例えば、ＢＴ５．２は、同時トランザクションをサポートする拡張属性プロトコル（enhanced attribute protocol、ＥＡＴＴ）を含む。ＥＡＴＴをサポートするために、新しいＬ２ＣＡＰモードが定義される。このように、ウェアラブルデバイス１１０は、本開示において明示的に示されるか、又は考察されていない場合でも、ＢＴ５．２の仕様及び動作モードをサポートするのに十分なハードウェア並びにソフトウェア構成要素を含む。例えば、ウェアラブルデバイス１１０は、ＢＴ５．２において指定されるＬＥアイソクロナスチャネルを利用し得る。

【0079】

プロセッサ２２１は、デジタルオーディオ信号をアナログオーディオ信号に転換するための１つ以上のデジタル／アナログ（digital-to-analog、Ｄ／Ａ）変換器を含むオーディオハードウェア２２３に対して、処理されたデジタルオーディオ信号を提供する。オーディオハードウェア２２３はまた、音出力のために、増幅されたアナログオーディオ信号を電気音響トランスデューサ２１４に提供する１つ以上の増幅器を含む。加えて、オーディオハードウェア２２３は、アナログ入力信号を処理して、他のデバイス、例えば、デジタルオーディオの同期出力のための他のスピーカパッケージと共有するためのデジタルオーディオ信号を提供するための回路を含むことができる。

【0080】

メモリ２２７は、例えば、フラッシュメモリ及び／又は不揮発性ランダムアクセスメモリ（non-volatile random access memory、ＮＶＲＡＭ）を含むことができる。いくつかの態様では、命令（例えば、ソフトウェア）は、情報担体に記憶されている。命令は、１つ以上の処理デバイス（例えば、プロセッサ２２１）によって実行されるとき、本明細書の他の場所で説明されたものなどの１つ以上のプロセスを実施する。命令はまた、１つ以上のコンピュータ可読媒体又は機械可読媒体（例えば、メモリ２２７、又はプロセッサ上のメモリ）などの１つ以上の記憶デバイスによって記憶され得る。命令は、復号を実施するための命令を含むことができ（すなわち、ソフトウェアモジュールがデジタルオーディオストリームを復号するためのオーディオコーデックを含む）、並びにデジタル信号処理及び等化を含むことができる。ある特定の態様では、メモリ２２７及びプロセッサ２２１は、データ取得及びリアルタイム処理において、フィードバックマイクロフォン１１１及びフィードフォワードマイクロフォン１１２と協働し得る。

【0081】

図２Ｂは、本開示のある特定の態様による、スマートフォン又はモバイルコンピューティングデバイスなどの例示的なコンピューティングデバイス１２０を示す。コンピューティングデバイス１２０のいくつかの構成要素は、固有であり得、図２Ｂに示されていない。例えば、コンピューティングデバイス１２０は、筐体を含み得る。筐体は、示されるように、任意選択のグラフィカルインターフェース２１２（例えば、ＯＬＥＤディスプレイ）を収容することができる。グラフィカルインターフェース２１２は、現在再生している（「現在再生中」）音楽又は映像に関する情報をユーザに提供する。コンピューティングデバイス１２０は、オーディオを出力するための１つ以上の電気音響トランスデューサ２１５を含む。コンピューティングデバイス１２０はまた、ユーザ入力を可能にするユーザ入力インターフェース２１６を含み得る。

【0082】

コンピューティングデバイス１２０はまた、ネットワークインターフェース２２０、少なくとも１つのプロセッサ２２２、オーディオハードウェア２２４、コンピューティングデバイス１２０の様々な構成要素に電力を供給するための電源２２６、及びメモリ２２８を含む。態様では、プロセッサ２２２、グラフィカルインターフェース２１２、ネットワークインターフェース２２０、オーディオハードウェア２２４、電源２２６及びメモリ２２８は、様々なバス２３６を使用して相互に接続され、構成要素のうちのいくつかは、共通のマザーボード上に、又は必要に応じて他の方式で取り付けられてもよい。いくつかの態様では、コンピューティングデバイス１２０のプロセッサ２２２は、ウェアラブルデバイス１１０のプロセッサ２２１よりも計算能力の点で強力である。そのような差は、重量、電源、及び他の要件の制約に起因し得る。同様に、コンピューティングデバイス１２０の電源２２６は、ウェアラブルデバイス１１０の電源２２５よりも容量が大きく重いものであり得る。

【0083】

ネットワークインターフェース２２０は、１つ以上の通信プロトコルを介して、コンピューティングデバイス１２０とウェアラブルデバイス１１０との間、並びに他のオーディオソースと、１つ以上のネットワーク化された無線スピーカパッケージ及び他のオーディオ再生デバイスを含む他の無線スピーカパッケージとの間の通信を提供する。ネットワークインターフェース２２０は、無線インターフェース２３０及び有線インターフェース２３２（任意選択）のいずれか、又はその両方を提供し得る。無線インターフェース２３０は、ＩＥＥＥ８０２．１１などの無線通信プロトコルに従って、コンピューティングデバイス１２０が他のデバイスと無線で通信することを可能にする。有線インターフェース２３２は、有線（例えば、イーサネット）接続を介して、ネットワークインターフェース機能を提供する。

【0084】

ある特定の態様では、ネットワークインターフェース２２０はまた、図２Ａにおけるウェアラブルデバイス１１０内のネットワークメディアプロセッサ２３３及びＢｌｕｅｔｏｏｔｈ回路２３７と同様に、ネットワークメディアプロセッサ２３４及びＢｌｕｅｔｏｏｔｈ回路２３８を含み得る。更に、態様では、ネットワークインターフェース２２０は、図２Ａにおいてネットワークインターフェース２１９に関して説明されるように、複数の通信プロトコルを一度に同時に使用する他のデバイスとの通信をサポートする。

【0085】

ネットワークパケットの一部として受信された全ての他のデジタルオーディオは、ネットワークメディアプロセッサ２３４からＵＳＢブリッジ２３６を介してプロセッサ２２２にまっすぐ到来し、復号器、ＤＳＰに達し、最終的には電気音響トランスデューサ２１５を介して再生（レンダリング）される。

【0086】

コンピューティングデバイス１２０はまた、画像又は映像データを取り込むための画像又は映像取得ユニット２８０を含み得る。例えば、画像又は映像取得ユニット２８０は、１つ以上のカメラ２８２に接続され、静止画像又は動画像を取り込むことができる。画像又は映像取得ユニット２８０は、ユーザ選択に従って様々な解像度又はフレームレートで動作し得る。例えば、画像又は映像取得ユニット２８０は、１つ以上のカメラ２８２のハードウェア能力及びユーザ入力に依存して、毎秒３０フレームでの１つ以上のカメラ２８２による４Ｋ映像（例えば、３８４０×２１６０ピクセルの解像度）、毎秒６０フレームでのＦＨＤ映像（例えば、１９２０×１０８０ピクセルの解像度）、又はより低い解像度でのスローモーション映像を取り込むことができる。１つ以上のカメラ２８２は、異なる視野をもたらす焦点距離などの異なる特性のそれぞれのレンズを有する２つ以上の個々のカメラユニットを含み得る。画像又は映像取得ユニット２８０は、連続的な記録中にカメラ２８２の２つ以上の個々のカメラユニット間で切り替えることができる。

【0087】

ウェアラブルデバイス１１０において取り込まれた音声記録などの取り込まれたオーディオ又はオーディオ記録は、ネットワークインターフェース２２０からプロセッサ２２２に渡され得る。プロセッサ２２２は、メモリ２２８に記憶されている命令を含む、無線スピーカパッケージ内の命令（例えば、とりわけ、デジタル信号処理、復号、及び等化機能を実施するための）を実行する。プロセッサ２２２は、別個の複数のアナログ及びデジタルプロセッサを含むチップのチップセットとして実装されてもよい。プロセッサ２２２は、例えば、ユーザインターフェース及びアプリケーションの制御などの、オーディオコンピューティングデバイス１２０の他の構成要素の調整を提供することができる。プロセッサ２２２は、図２Ａで説明されるプロセッサ２２１によるそれぞれの動作と同様に、処理されたデジタルオーディオ信号をオーディオハードウェア２２４に提供する。

【0088】

メモリ２２８は、例えば、フラッシュメモリ及び／又は不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）を含むことができる。態様では、命令（例えば、ソフトウェア）は、情報担体に記憶されている。命令は、１つ以上の処理デバイス（例えば、プロセッサ２２２）によって実行されるとき、本明細書で説明されるものなどの１つ以上のプロセスを実施する。命令はまた、１つ以上のコンピュータ可読媒体又は機械可読媒体（例えば、メモリ２２８、又はプロセッサ２２２上のメモリ）などの１つ以上の記憶デバイスによって記憶することができる。命令は、復号を実施するための命令を含むことができ（すなわち、ソフトウェアモジュールがデジタルオーディオストリームを復号するためのオーディオコーデックを含む）、並びにデジタル信号処理及び等化を含むことができる。

【0089】

定位されたフィードバックによる聴力増強及びウェアラブルシステムの例
本開示の態様は、ユーザがウェアラブルデバイスを着用しているときに、事象のフィードバックをユーザに提供するための、技法を実装するデバイス及びシステムを含む技法を提供する。例えば、ウェアラブルデバイスは、高品質の雑音消去オーディオ再生をユーザに提供し、ユーザの状況認識を低下させることができる。フィードバックは、空間化されたオーディオキューを通して、雑音消去された再生体験への最小限の介入で、注意に値する事象に関してユーザに通知することができる。本技法は、ウェアラブルデバイス上の２つ以上のマイクロフォンを使用して周囲音を測定することを含む。場合によっては、少なくとも３つのマイクロフォンが、ユーザを取り囲む周囲音を測定するように位置決めされる。事象は、測定された周囲音に基づいて判定され、事象の位置属性が判定される。深層学習アルゴリズムは、事象の性質及び／又は分類を識別し、ユーザが無視することを好む事象を除外するために使用され得る。ユーザの注意を必要とする事象を判定すると、ユーザは、判定された事象及び位置属性のフィードバックを提供され、フィードバックは、事象の性質及び位置を指示する。

【0090】

態様では、ウェアラブルデバイスは、その上の２つ以上のスピーカを介して、測定された周囲音を消去するオーディオコンテンツを再生し得る。例えば、２つ以上のスピーカは、周囲音と同じ振幅を有し、周囲音に対して反転した位相を有するオーディオコンテンツを再生し得る。したがって、雑音消去オーディオコンテンツによって引き起こされた干渉は、周囲音を消去する。態様では、事象及び位置属性に基づいてユーザにフィードバックを提供することは、雑音消去オーディオコンテンツに加えて空間化されたオーディオキューを再生することを含む。このように、ユーザは、周囲音から逃れながら状況認識を維持することができる。

【0091】

一例として、測定された周囲音に基づいて事象を判定することは、事象の音レベルの大きさを測定することと、事象と関連付けられたオーディオ信号を使用してウェアラブルデバイスに対する事象の位置を判定することと、を含み得る。事象の位置は、オーディオ信号から処理された方向及び距離に基づいて判定され得る。事象の位置属性は、方向又は距離のうちの少なくとも１つを含み得る。例えば、ユーザは、ユーザ自身の発話に関して通知されたくない場合がある。ある特定の閾値内の距離に関連する事象は、ユーザ自身の発話として判定されてもよく、したがって無視される。同様に、ユーザは、雑音消去体験に没入することができるが、視覚的に識別可能である事象を依然として認識することができる。例えば、ユーザの同僚がユーザの前で話している場合、同僚の唇の動きがユーザに十分な視覚的通知を提供することができるため、ユーザは、発話を聞いて、発話を認識する必要はない。このように、位置属性は、ユーザの注意を必要とし、又は必要としない場合がある事象を判定する重要な側面である。

【0092】

図３は、本開示のある特定の態様による、判定された事象及び位置属性のフィードバックをユーザに提供するための動作３００の例を示す。動作３００は、３０２において、２つ以上のマイクロフォンを使用して周囲音を測定することによって始まる。場合によっては、少なくとも３つのマイクロフォンが、ユーザを取り囲む周囲音を測定するように位置決めされる。例えば、ブロック３０２は、図１に示されるように、ウェアラブルデバイス１１０、並びにマイクロフォン１１１及び１１２によって実施され得る。追加の例が図４に示され、ここで、マイクロフォン４１３、４１５、及び４２５が測定された周囲音に使用される。測定された周囲音は、以下で更に説明されるように、雑音消去コンテンツを生成するために使用され、ユーザの注意を必要とする事象について監視され得る。

【0093】

３０４において、事象判定アルゴリズムは、測定された周囲音に基づいて事象を判定することができる。例えば、事象判定アルゴリズムは、事象の音レベルの大きさを測定し、事象と関連付けられたオーディオ信号を使用してウェアラブルデバイスに対する事象の位置を判定することができる。事象判定アルゴリズムは、事象の音レベルの大きさがウェアラブルデバイスに対する事象の位置に対応する閾値を超えていることを判定し得る（例えば、異なる相対位置は異なる閾値を有し得る）。例えば、閾値は、ウェアラブルデバイスに対する事象の位置に基づいて変動し得る。閾値は、事象の位置がユーザに近づくにつれて増加してもよく、その結果、ユーザによって生み出された音が排除されてもよい。

【0094】

場合によっては、事象判定アルゴリズムは、背景雑音の平均振幅（すなわち、デシベルレベル）を監視及び算出し、平均デシベルレベルを超える着信音を事象候補としてみなし得る。場合によっては、事象判定アルゴリズムは、事象候補を判定する際にデシベルレベルについてのユーザ入力閾値を使用し得る。場合によっては、事象判定アルゴリズムは、異常に大きい音を識別するための基準として、周囲音の履歴又はパターンを使用し得る。戦略の例のうちの２つ以上の組み合わせが実装され得る。

【0095】

３０６において、事象判定アルゴリズムは、事象の位置属性を判定する。事象の位置属性は、ユーザ／ウェアラブルデバイスに対する方向、及び事象とユーザ／ウェアラブルデバイスとの間の距離のうちの少なくとも１つを含み得る。場合によっては、事象の位置は、オーディオ信号から処理された方向及び距離に基づいて判定され得る。例えば、２つ以上のマイクロフォンは、事象判定アルゴリズムが、位置を判定するために同様の特性の音を相関させ、及び／又は三角測量することを可能にする。例えば、異なる進行距離に起因して、同じ音が異なる時間に２つ以上のマイクロフォンの各々に到着し、２つ以上のマイクロフォンに対する相対位置の判定を可能にする。したがって、方向及び距離をオーディオ信号から処理して、事象の位置を判定することができる。図４に示されるように、同じ音信号の異なる量の遅延（例えば、それぞれ４１３と４１５、及び４１５と４２５のペアについて、グラフ４１０及び４２０にプロットされた測定値）は、副次的な図４３０に示されるように、事象判定アルゴリズムが音信号の遠距離場定位を実施することを可能にする。

【0096】

場合によっては、事象判定アルゴリズムは、ウェアラブルデバイスに対する事象の位置に基づいて事象のインシデントを除外することによって、周囲音に基づいて事象を判定し得る。例えば、事象判定アルゴリズムは、ウェアラブルデバイスまでのある特定の距離内にあるインシデント（例えば、ユーザ自身の発話などのユーザによって引き起こされたインシデントを分類すること）、ウェアラブルデバイスの視野内又は方向（正面などの）にあるインシデント（例えば、ユーザの正面のスピーカからのコンピュータ通知音、ユーザの前で話している誰かなどの、ユーザによって視覚的に目立つインシデントを分類すること）、又はユーザの注意を必要とするには遠すぎる場合があるインシデント（例えば、住居周辺の外側の交通雑音のインシデントなど）を除外することができる。いくつかの例が図５に更に示され、以下で考察される。

【0097】

場合によっては、事象判定アルゴリズムは、事象と関連付けられたオーディオ信号における繰り返しパターンに基づいて事象のインシデントを除外することによって、周囲音に基づいて事象を判定することができる。例えば、事象判定アルゴリズムは、記録された周囲音の履歴を分析して、ユーザによって無視されていた周囲音のパターンを識別し、検出された事象がこのパターンに適合し、無視されるべきかどうかを判定することができる。

【0098】

場合によっては、事象判定アルゴリズムは、事象と関連付けられたオーディオ信号の属性に基づいて事象のインシデントを除外することによって、周囲音に基づいて事象を判定することができる。例えば、オーディオ信号の属性は、オーディオ信号にどこと、何と、又は誰と関連付けられているかを指示し得る。事象判定アルゴリズムは、内側の火災警報を外側のサイレンと区別するか、又は（例えば、以前に記録された事象に基づく）知人からの発話を見知らぬ人からの発話と区別することができる。

【0099】

場合によっては、事象判定アルゴリズムは、ウェアラブルデバイスに対する事象の位置と、事象と関連付けられたオーディオ信号における繰り返しパターンと、事象と関連付けられたオーディオ信号の属性とを相関させることに基づいて事象を判定してもよい。例えば、事象判定アルゴリズムは、事象のオーディオ信号の性質又は意味を識別するために深層学習を使用することができる。深層学習、又はより一般の状況における機械学習は、人工知能によって実施された表現／特徴学習とともに人工ニューラルネットワークを使用し得る。以下で図６～図７に関して更に考察されるように、事象判定アルゴリズムは、人工知能を用いて、ウェアラブルデバイスに対する事象の位置、事象と関連付けられたオーディオ信号内の繰り返しパターン、及び事象と関連付けられたオーディオ信号の属性のデータ上で深層学習を実施することができる。深層学習は、どの事象がユーザの注意に値するかを正確に判定し、誤判定事象を無視することができる。

【0100】

３０８において、判定された事象及び位置属性のフィードバックがユーザに提供される。例えば、フィードバックは、ウェアラブルデバイス内の２つ以上のスピーカによって空間化された音を再生すること、ウェアラブルデバイスを使用して方向指示触覚通知を提供すること、ウェアラブルデバイスに接続された１つ以上のデバイス上に通知を表示すること、又はそれらの組み合わせを含み得る。空間化された音は、ウェアラブルデバイスの２つ以上のスピーカ（例えば、サラウンド音を生み出すことが可能なスピーカ）を使用して生み出され得る。空間化された音は、ユーザに対する判定された事象の位置（例えば、位置属性）を表し得る。ウェアラブルデバイスは、指向性入力（例えば、左／右、上／下など）を提供するための２つ以上の触覚フィードバック機構を含み得る。図５は、記録されたインシデントの視覚提示５００の形態で通知を表示する一例を示す。

【0101】

図５に示されるように、視覚表現５００は、ｘ軸における左から右への（left-to-right、Ｌ－Ｒ）遅延（すなわち、ウェアラブルデバイスまでの相対距離を指示する時間遅延）にわたって、及びｙ軸における前から後への（front-to-back、Ｆ－Ｂ）遅延にわたって、検出されたインシデントをプロットする。円形範囲５４０は、遠距離場音源と一致する遅延ペアの範囲を指示する。視覚表現５００は、ユーザの視野５２０及び関連する前方方向５３０を含む。ユーザの視野５２０内で検出されたインシデントは、無視可能であると推測され得る。ウェアラブルデバイスと位置合わせされ、（例えば、ユーザが移動するにつれて）変化を受ける前方方向５３０は、視野５２０内のインシデントの適用範囲を更新するために使用され得る。例えば、前方方向５３０は、ウェアラブルデバイスが初期化されるときに定義されてもよく、加速度計、ジャイロスコープ、又は慣性測定ユニット（ＩＭＵ）などの１つ以上の運動センサからの入力を使用して更新されてもよい。

【0102】

数多くのインシデント５１０、５１２、及び５１４の例が図５に示される。インシデント５１０は、閾値音レベルを超え、視野５２０内に収まっている事象を表す。結果として、インシデント５１０は、ユーザに報告されない。インシデント５１２は、閾値音レベルを超え、視野５２０から外れている事象を表す。更に、インシデント５１２は、ユーザの非集中状態と関連付けられており、ユーザに報告されない。インシデント５１４は、閾値音レベルを超え、視野５２０から外れており、かつユーザの集中状態と関連付けられた事象を表す。インシデント５１４は、関連付けられた位置属性とともにユーザに報告され、これは、空間化されたオーディオキューとして、及び視覚表現５００によって提示され得る。

【0103】

例えば、事象判定アルゴリズムは、ウェアラブルデバイスによって測定された運動信号のパターンに基づいて、ユーザが集中状態にあると判定することができる。運動信号のパターンは、ウェアラブルデバイス上に配置された１つ以上のＩＭＵによって測定され得る。ユーザが座って静止して読書をしているか、又は見ているときなどの、ユーザの状況認識が集中状態において減少するにつれて、検出されたインシデントに関するフィードバックは、そのような集中状態においてより価値がある。運動信号の測定の例８００が図８に示される。

【0104】

図８を簡単に参照すると、ｘ軸８０２は、時間を表し、ｙ軸８０４は、一般にジャイロスコープ又は運動センサによって測定されたエネルギーを表す。示されるように、低エネルギーレベルパターン８１６は、ユーザの集中状態を表し、一方で、高エネルギーレベルパターン８１８は、移動状態を表す。ユーザが集中状態にないとき、音信号はユーザ自身の移動に起因して生み出された雑音を含み得るため、インシデント５１２は無視される。場合によっては、ユーザが集中状態にあることを判定することは、運動信号のパターンを処理することを含み得る。運動信号のパターンは、ユーザが座っているか又は静止して立っていることを指示する必要はなく、むしろ、行き来すること又は前後の揺れなどの反復パターンを指示する。

【0105】

本開示の１つの重要な態様は、オーディオ属性、位置属性、及びユーザのステータスを含む、データの様々な層に基づく深層学習を使用して事象（インシデント５１４などの）を判定することに関する。高いレベルでは、深層学習態様は、オーディオ信号の様々な属性を分析する（例えば、音信号のソース及び性質を区別する）ことによって、複数のクラス又はカテゴリに基づいて事象を検出する。第２に、深層学習態様は、各検出された事象（例えば、音声、警報、ノックなど）のクラス又はカテゴリ、及び関連付けられた優先度レベルを判定することができる。深層学習は、教師あり（例えば、常にユーザフィードバックを受信する）、半教師あり（例えば、時々ユーザフィードバックを受信する）、及び教師なし（例えば、ユーザフィードバックを受信しない）であり得る。

【0106】

図６Ａは、本開示のある特定の態様による、ユーザの注意を必要とする事象を判定するためのプロセスの例を示す。示されるように、２つ以上の特徴抽出モジュールは、１つ以上のチャネルにおいてオーディオ時系列を受信し得る。次いで、特徴が抽出され、クラスごとのエネルギー予測ネットワーク（例えば、機械学習ネットワーク又はニューラルネットワーク）、及び抽出された特徴の位置属性を判定するための音定位処理ネットワークに提供される。場合によっては、特徴抽出は、決定論的処理である。場合によっては、特徴抽出は、「メルスペクトログラム」画像を生み出す。複数のチャネルにおけるオーディオ時系列では、特徴抽出プロセスに続いて、周囲音の指向性出力を処理する音定位ネットワークにおいて処理することができる。

【0107】

次いで、２つのネットワークは、事象閾値及び決定論理のモジュールに基づいて事象閾値及び決定論理を適用することによって、どのフィードバックがユーザに提供され得るかを判定することができ、次いで、事象閾値及び決定論理のモジュールは、音クラスごとに決定を出力する。場合によっては、図６Ａの例は、対応する検出シーケンスを判定するために、各音クラス（例えば、０～１に限定されない）についてのｒｍｓ推定を閾値化することを使用する。場合によっては、検出閾値処理プロセスは、クラスごとの閾値又はカスタム閾値を事象検出に適用することができる。図６Ａにおける出力信号（「クラスＮ決定」）は、ユーザがフィードバックで通知されることを定義することができる。

【0108】

ユーザの注意を必要とする事象を判定するための深層学習プロセス６００の第２の例が図６Ｂに示される。深層学習プロセス６００は、図６Ａに示される例の代替として（例えば、それとは別個に）実装され得るか、又は以下の図６Ｃに示される別の例と同様に、図６Ａに示される例と一緒に実装され得る。示されるように、深層学習プロセス６００は、６１０において、入力オーディオを受信することによって始まる。シングルチャネルオーディオストリームとして示されているが、入力オーディオは、多くの場合、（例えば、定位分析のための）少なくとも２つの録音チャネルを含む。入力オーディオの２つ以上のチャネルは、並行して分析され得る。６２０において、入力オーディオにおける特徴が抽出される。特徴は、大きさ、周波数、パターン、又はそれらの組み合わせに基づいて識別され得る。

【0109】

６３０において、フィルタは、抽出された特徴に適用され、入力オーディオの特徴と関連付けられた事象を更に分類する。例えば、特徴抽出プロセスは、入力オーディオ信号に関するフィルタリング及び転換（例えば、周波領域「メルスペクトログラム」に変換すること）を含み得る。場合によっては、６３０におけるプロセスを実装する「クラスごとの」エネルギー予測ネットワークは、抽出された特徴に基づいてクラスごとのｒｍｓエネルギーを予測するニューラルネットワークを含み得る。場合によっては、図６Ｂにおける特徴抽出プロセスは、図６Ａの「特徴抽出」において実施されるプロセスとは異なり得る。

【0110】

６４０において、入力オーディオの２つ以上のチャネルに基づく定位の分析が実施され、２つの識別出力６５０及び６５４をもたらす。出力６５０は、発話６４１、車のクラクションと関連付けられた音６４２、イヌの鳴き声６４３、又はサイレン（図示せず）などの、検出された事象の性質を指示し得る、マルチラベル分類による音事象検出を含む。検出された音は、タイムラインＴに沿って記録され、各フレームはｔの期間を有する。出力６５４は、発話６４１、車のクラクションと関連付けられた音６４２、イヌの鳴き声６４３などの検出された事象の方向、及びが各事象の起点のＸ－Ｙ－Ｚ座標を判定することによって判定され得るように、到来方向推定を提供する。

【0111】

場合によっては、６５０につながる「シグモイド」層は、確率ベースの検出手法を実装することができ、ここで、０～１の確率（これは、シグモイドブロックが生み出すものである）を閾値化して、６５０におけるように各クラスについての検出シーケンスを判定する。場合によっては、６３０におけるプロセスは、非繰り返しネットワークを使用して実施され得る。６４０におけるプロセスは、繰り返しネットワークを使用して実施され得る。

【0112】

図６Ｃは、フィードバックがユーザに提供され得るかどうか、及びどのように提供され得るかを判定するためにニューラルネットワークを使用する別の例を示す。示されるように、図６Ｃは、別個である閾値化及び決定ステップを示す。

【0113】

図７は、例示的な深層学習モデルの出力を示す。出力は、クラスごとのエネルギー時系列予測である。検出決定は、予測に閾値を適用することによって生み出され得る。図７に示されるように、プロット７０５は、音エネルギー（ｙ軸）を使用して、時間（ｘ軸におけるフレーム）に沿って測定及び予測された事象を判定することを示す。例えば、３つのエネルギープロファイルの例７１０、７１２、及び７１４が示される。プロファイル７１０は、右のグラフ７２５のオーディオ信号７２３に対応し得る音声及び他の音信号を含み得る。プロファイル７１２は、存在する音声信号のエネルギー量を表す。事象判定アルゴリズムは、プロファイル７１４に示されるように、音声のみの活動の予想されるエネルギー変動を予測し、非発話事象のエネルギーを無視するように訓練され得る。例えば、グラフ７２５では、事象７３１又は７２１は、記録信号７２３の音声のみのエネルギー部分を表す。信号７２２は、ノック音７３２の間の高エネルギーを示し、一方、この時間中の音声エネルギー部分は小さいままである。

【0114】

いくつかの態様では、本明細書で様々に説明される技法は、ウェアラブルデバイス及び／又はウェアラブルデバイスのユーザについてのコンテキスト情報を判定するために使用され得る。例えば、本技法は、ユーザの環境（例えば、騒々しい場所、静かな場所、屋内、屋外、飛行機上、車内など）及び／又は活動（例えば、通勤、歩行、走行、着座、運転、飛行など）の側面を判定することを助けるために使用され得る。いくつかのそのような態様では、ウェアラブルデバイスから受信されたオーディオデータは、そのようなコンテキスト情報を判定し、新しい又は拡張された体験をユーザに提供するために、コンピューティングデバイスにおいて処理され得る。例えば、これは、数例を挙げると、プレイリスト若しくはオーディオコンテンツのカスタマイズ、雑音消去調節、及び／又は他の設定調節（例えば、オーディオ等化器設定、音量設定、通知設定など）を可能にすることができる。

【0115】

ウェアラブルデバイス（例えば、ヘッドフォン又はイヤフォン）は、典型的には、限定されたリソース（例えば、メモリ及び／又は処理リソース）を有するため、コンピューティングデバイスにおいてオーディオデータを同期させるためのシステムを有しながら、ウェアラブルデバイスのセンサからコンピューティングデバイスにデータの処理をオフロードするために本明細書で説明される技法を使用することは、多様なアプリケーションを提供する。いくつかの態様では、本明細書で開示される技法は、以下で考察されるように、コンピューティングデバイスが、同期されたオーディオキャプチャ動作のための最適化された若しくは最も好ましい構成又は設定を自動的に識別することを可能にする。

【0116】

異なる閾値のカスタマイズされた構成に基づくフィードバックの例
本開示の態様は、異なる状況基準に対応する異なる構成事象において変動するカスタマイズされた閾値によって定義された事象のフィードバックをユーザに提供するための、技法を実装するデバイス及びシステムを含む技法を更に提供する。例えば、ウェアラブルデバイスは、異なる状況において異なる閾値を使用して事象を判定することができる。異なる閾値は、ユーザによって構成されるか、デフォルトによって設定されるか、サービスによって更新されるか、又は新しいデータ（例えば、機械学習）に基づいて更新され得る。態様では、閾値は、構成事象として特徴付けられた状況に対応する構成可能なデシベル又は音量レベルである。各構成事象は、音クラス（例えば、発話、メロディ、警報、鳴き声などの）、位置属性（例えば、前述のように、ウェアラブルデバイスからの距離及び方向）、時間、日付、ウェアラブルデバイスの位置（例えば、自宅、オフィスなど）、及び他のパラメータなどの、１つ以上のパラメータによって定義され得る。例えば、ユーザは、減衰された特定の音（例えば、呼び鈴）がそれでもなおユーザへのフィードバックを引き起こし得るように、自宅の異なる部屋における同じ音クラスについて異なる閾値を設定することができる。パラメータは、概して、様々なタイプのデータを含むために状況基準と称される。

【0117】

態様では、２つ以上の異なる状況基準の各々は、判定された事象と関連付けられた閾値、事象の位置属性、又はユーザへのフィードバックのうちの少なくとも１つのカスタマイズ構成を含み得る。場合によっては、状況基準は、ウェアラブルデバイスの２つ以上のマイクロフォンを使用して測定された周囲音に基づいて判定された、ウェアラブルデバイスに対する位置属性を更に含む。例えば、ユーザによって構成可能な閾値は、１つの特定の状況基準に対応する最小又は最大距離を含み得る。閾値はまた、１つの特定の状況基準に対応する方向を含んでもよい。状況基準は、ウェアラブルデバイスの特定の物理的位置に対応し得る。例えば、自宅位置についての音の距離及び方向の状況基準は、オフィス位置についての音の距離及び方向の状況基準とは異なるであろう。ユーザは、自宅にいるとき、第１の方向における第１の距離からの、第１の閾値を超えるある特定の音がユーザに提供されるフィードバックをもたらし得、一方、オフィスでは、第２の方向における第２の距離からの、第２の閾値を超えるある特定の音が別のフィードバックをもたらし得るように、状況基準を構成することができる。

【0118】

図９は、本開示のある特定の態様による、判定された事象のフィードバックをユーザに提供するための動作９００の例を示す。動作９００は、図１のウェアラブルデバイス１１０などのウェアラブルデバイスによって少なくとも部分的に実施され得る。動作９００は、動作９００が、異なるパラメータ又は状況基準によって特徴付けられる異なる状況において変化する状況固有の閾値を適用することによって事象を判定し得るという点で、図３の動作３００とは異なる。例えば、動作３００において考察された位置属性を使用することに加えて、動作９００はまた、以下で考察されるように、カスタマイズされた感度又は閾値、音特性（例えば、音のタイプ又はクラス）、並びにカスタマイズされたフィードバックを考慮する。

【0119】

動作９００は、９０２において、２つ以上のマイクロフォンを使用して周囲音を測定することによって始まる。これは、動作３００と同様である。２つ以上のマイクロフォンは、図１に示されるようなウェアラブルデバイス１１０並びにマイクロフォン１１１及び１１２などのウェアラブルデバイスに対する周囲音位置を検出することを可能にする。例えば、複数のマイクロフォンは、マイクロフォンの異なるペア間の時間遅延を推定することによって、到来方向の推定を可能にし得る。距離は、音強度、残響、及びいくつかの他の量から間接的に判定され得る。他の位置判定技法が同様に適用され得る。追加の例が図４に示され、ここで、マイクロフォン４１５及び４２５が測定された周囲音に使用される。測定された周囲音は、雑音消去コンテンツを生成するために使用され、ユーザの注意を必要とする事象について監視され得る。

【0120】

９０４において、事象は、閾値を超える測定された周囲音に基づいて判定され得る。閾値は、２つ以上の異なる状況基準に対応する２つ以上の異なる構成事象ごとに変動し得る。例えば、閾値は、ユーザによってカスタマイズされ得るか、又は異なる音特性に依存してデフォルトによって変動する。このように、ウェアラブルデバイスは、会議設定における通話中、オーディオ再生シナリオにおいて、又は全ての周辺環境雑音を消去する集中モードにおいてなどの、異なる状況において異なって挙動し得る。

【0121】

９０６において、判定された事象に基づいて、対応するフィードバックがユーザに提供される。例えば、フィードバックは、上で考察されたように、ウェアラブルデバイス内の２つ以上のスピーカによって空間化された音を再生すること、ウェアラブルデバイスを使用して方向指示触覚通知を提供すること、ウェアラブルデバイスに接続された１つ以上のデバイス上に通知を表示すること、又はそれらの組み合わせを含み得る。

【0122】

態様では、２つ以上の異なる状況基準の各々は、判定された事象と関連付けられた閾値、ウェアラブルデバイスに対する事象の位置属性、又は判定された事象に基づくユーザへのフィードバック、のうちの少なくとも１つのカスタマイズ構成を含む。カスタマイズ構成は、ユーザによって入力され得る。カスタマイズ構成は、デフォルト工場構成を含み得る。例えば、図１０及び図１１は、本開示のある特定の態様による、状況基準のカスタマイズ構成を調節するためのインターフェースの例を示す。

【0123】

図１０に示されるように、ユーザは、オーディオ警告、デスクトップ通知、又はその両方などの通知タイプのうちの１つ以上を選択することによって通知を管理することができる。通知タイプに加えて、図１０に示されるカスタマイズ構成はまた、示されるような発話、警報／タイマー、及び音が大きい事象などの異なる音クラスのための事象感度定義を含み得る。事象感度は、音波の最小の大きさ（例えば、谷）又は検出可能な周波数の範囲を指示し得る。場合によっては、感度は、「同じ部屋での発話」及び「隣の部屋での発話」のフィードバックを提供することなどによって、ユーザにとって説明的及び直感的であり得る。アルゴリズムの一部は、特定のシナリオに依存して、測定された音レベルをこれらの説明に一致させることができる。選択された事象感度は、事象閾値を定義するデシベルレベルと関連付けられ得る。閾値は、ユーザへのフィードバックを起動するために超えなければならない最小音レベルを指示する。言い換えれば、ウェアラブルデバイス又はウェアラブルデバイスと接続された処理デバイスは、最初に周囲音の適切な音クラスを識別し、そのような周囲音が定義された閾値をいつ超えるかを監視することができる。

【0124】

場合によっては、音クラスは、発話、背景音（例えば、図１０に示される音が大きい事象）、又は音楽シーケンス（すなわち、識別可能なパターンを有する音の変動）のうちの少なくとも１つを含み得る。いくつかの例では、背景音はまた、警報、足音、交通雑音、又は一般の音のパターンを含み得る。場合によっては、図１０は、グラフィカルユーザインターフェース（ＧＵＩ）を表し得る。ＧＵＩは、ウェアラブルデバイス上、ウェアラブルデバイスに接続されたコンピュータデバイス上、又はその両方にあり得る。コンピュータデバイスは、図１のコンピューティングデバイス１２０などのウェアラブルデバイスと通信する任意のコンピューティングデバイスであり得る。

【0125】

図１０は、音クラスの例についての事象感度設定が、個別の任意選択のレベル：オフ、低、中、及び高（又はユーザが理解しやすい対応する説明）を含むことを示しているが、スライドバーの形態などの連続的な感度レベル構成が提供されてもよい。場合によっては、複雑な閾値プロファイル（周波数の範囲における大きさのプロファイルなどの）が構成にロードされ得る。更に、場合によっては、閾値構成は、周囲音へのユーザの反応に基づいて、ウェアラブルデバイスによって（例えば、機械学習によって）訓練、取得、又は識別され得る。例えば、ユーザの反応は、音声応答に加えて、様々な運動センサを使用して測定され得る。

【0126】

図１１に示されるように、音クラス選択、検出感度、及びフィードバック又は通知モードは、ユーザによって構成され得る。図１１は、図１０の様々な態様を実装するグラフィカルインターフェースの例とみなされ得る。

【0127】

態様では、ユーザに提供されたフィードバックは、ユーザに対して周囲音の記録されたコピーを再生することを更に含む。例えば、勤務設定における同僚からの発話などの、ある特定の状況基準を満たす事象を判定すると、周囲音（すなわち、発話）は、記録され、ウェアラブルデバイスにおいてユーザに再生され、ウェアラブルデバイスは、最初に（すなわち、環境音を処理し、周囲音が発話状況基準に合うことを識別する前に）発話を雑音消去し得る。周囲音の記録は、周囲音の空間特性を保護して、本明細書における様々な態様で考察されるような位置属性を提供するための、少なくとも２つのチャネル（例えば、バイノーラル）を含む。記録された音コピーを再生することは、以下で説明される１つ以上の動作（例えば、自動外音取り込み、事象リプレイなど）と称され得る。このように、ウェアラブルデバイスが最初に周囲雑音を完全に消去し得るとしても、重要な事象又は音声情報は保存され、ユーザに利用可能である。

【0128】

態様では、通知又はフィードバックは、１：空間化されたトーン又はキュー、２：自動外音取り込み（すなわち、ヘッドフォンを外音取り込み雑音消去状態に自動的に変更すること）、及び３：「パススルー」とも称される事象リプレイ、に基づき得る。場合によっては、記録された事象を再生することは、プロセッサが検出決定を行うか、又は音事象を処理／拡張するための時間を必要とし得るため、ユーザが実生活で聞くものに対していくらかの遅延を有し得る。場合によっては、雑音消去状態が変更されないとき、内蔵の「巻き戻し」が行われ得る。

【0129】

例えば、自動外音取り込みは、ウェアラブルデバイスを、それが好むものを最良にシミュレートしようとする方式で、デバイスが外の世界のオーディオをリアルタイムで通過させるモードにすることができる。事象リプレイは、音事象を記録し、次いで、ユーザが事象を聞きたいという入力（例えば、頭部を振る、ボタンを押下するなど）を提供することなどに応答して、将来のある時間にその音事象を再生することができる。

【0130】

別の実施例では、自動外音取り込みは、例えば、ユーザの周りの一般音が、ある特定のデシベルレベルを超える場合、ユーザがエリア内で何が起こっているかを把握することを可能にすることなどを起動することができる。しかしながら、事象リプレイは、例えば、ユーザの小個室の開放に基づいて事前定義されるウィンドウ内で発話が検出された場合に起動し得、ここで、発話が記録され、次いでユーザに再生される（これにより、ウェアラブルなものが自動外音取り込みモードに入り、ユーザが会話に参加することが可能になり得る）。

【0131】

態様では、（例えば、既知の音声区間検出（ＶＡＤ）技法を使用して検出された）自身の声は、本出願のアルゴリズムが（自動外音取り込みを使用して）ヘッドフォンを外音取り込み状態に入らせた後、ウェアラブルなものを外音取り込み状態に保つために使用され得る。自身の声をアクティブ化する任意選択の特徴は、デフォルト又はユーザカスタマイズ可能なものによって設定され得る。

【0132】

態様では、自動外音取り込みモードからいつ復帰する（例えば、自動外音取り込みが起動される前に設定された雑音消去レベルに戻る）べきかを判定するために（デフォルト時間及び／又はユーザカスタマイズ可能に設定され得る）タイマーが任意選択で使用され得る。代替的に、自動外音取り込みモードからの復帰は、ユーザ入力（例えば、ボタン押下、頭部回転）に応答してなどの、別の方式で生じてもよい。

【0133】

態様では、（例えば、フィードバックマイクロフォンによって検出された音レベルに基づいて）ウェアラブルデバイスの存在にかかわらずユーザが発話を明確に聞くことができるとき、ウェアラブルデバイスは、ユーザにウェアラブルデバイス上で更に操作させることなく、又はウェアラブルデバイスを取り外させることなく、自動的にオーディオを鳴らし、状態を外音取り込みに変更することができる。言い換えれば、ウェアラブルデバイスは、外側の会話が検出されたとき、自動的に外音取り込みモードに入る。

【0134】

場合によっては、ウェアラブルデバイスは、内部マイクロフォン（例えば、ウェアラブルデバイスのスピーカの近くのフィードバックマイクロフォン）を使用して、例えば、ウェアラブルデバイスが周囲音を完全に打ち消さない場合に、検出された事象が最初にユーザに聞こえるかどうかを判定し得る。周囲音が実際にユーザに聞こえる場合、ウェアラブルデバイスは、記録された事象を直ちに再生しなくてもよく、記録の利用可能性の通知をユーザに提供してもよい。場合によっては、ウェアラブルデバイスは、内部マイクロフォンによって収集されたデータに基づいて、周囲音の記録されたコピーを増幅又は減衰させてもよい。例えば、ウェアラブルデバイスは、ユーザが記録を快適に聴くことができるように、既存のオーディオ出力と実質的に同様になるように再生の音量を調節することができる。場合によっては、周囲音の録音されたコピーの増幅又は減衰は、周囲音のある特定の特定帯域幅又はコンテンツに適用され得る。例えば、周囲音の背景雑音は減衰され得る一方、発話が増幅され得るか、又はその逆であり得る。他のデジタル処理を使用して、ユーザにとって関心のあるデータを抽出することもできる。

【0135】

場合によっては、周囲音の記録されたコピーを増幅又は減衰させることは、ウェアラブルデバイスの移動によって起動することができる。例えば、音源に向かって回転若しくは移動するウェアラブルデバイスの検出又は測定は、記録されたコピーのリプレイ（直ちに、又は移動に応答して事前構成された遅延で）、並びに周囲音の記録されたコピーの少なくとも一部分を増幅又は減衰させることを含む、記録されたコピーを修正するためのアクションを起動し得る。移動データは、以下で考察されるように、応答パターン（又は運動パターン若しくは移動パターン）を分析するために、ユーザから集められた他の反応データと組み合わされ得る。

【0136】

場合によっては、内部マイクロフォンは、増幅又は減衰がある特定のユーザ選好又はプロファイルに準拠し得るように、記録再生にわたってフィードバック制御を提供するために使用され得る。例えば、周囲音が、背景の歌を通しての発話及び火災警報などの、異なる音クラスの音の混合を含むとき、内部マイクロフォンは、ユーザがすでに火災警報を聞いた（すなわち、ウェアラブルデバイスが警報音を完全に消去していない）と判定することができ、記録された周囲音の再生は、火災警報成分を含む必要はない。同様に、発話成分は、ウェアラブルデバイスのマイクロフォンによって拾われているだけであり得、内部マイクロフォンは、ユーザが他の音上の発話成分を知覚することができなかったことを検出し、その結果、ウェアラブルデバイスは、背景の歌よりも大きいスケールで発話成分を増幅し得る。

【0137】

場合によっては、記録された周囲雑音の再生は、遅延され、延期され、又は別の時間にオフセットされ得る。これは巻き戻し動作と称され得る。巻き戻し動作は、より多くの処理時間が必要とされるとき記録された周囲音が複雑な信号を含むとき、又はユーザが、ある特定の音クラス若しくはある特定の位置属性の音がそのような巻き戻し動作を起動することができるように、ある特定の規則をカスタマイズ若しくは提供するときに、実装され得る。

【0138】

場合によっては、巻き戻し動作及び他の音リプレイ動作（例えば、増幅及び減衰を含む）は、ユーザの運動パターンと相関され得る。例えば、上で考察されたように、構成の一般規則は、ユーザによる入力に基づいて識別され得る。入力は、加速度計、慣性測定ユニット（ＩＭＵ）、振動運動センサ、又は他の運動センサなどの、ウェアラブルデバイス内の１つ以上の運動センサによって記録された運動応答であり得る。反復頭部回転応答、歩行応答、又は他の移動応答などの移動パターンは、音事象、及び巻き戻し又はリプレイ動作と相関され得る。このように、音事象及び運動応答の両方が検出されたとき、ウェアラブルデバイスは、ユーザからの更なる入力なしに自動的に巻き戻し又はリプレイ動作を実施することができる。

【0139】

態様では、ウェアラブルデバイスは、ある期間にわたって、周囲音と周囲音の位置属性とを相関させることができ、すなわち、周囲音の運動を追跡する。追跡された運動は、顕著性マップを生成するために使用することができ、顕著性マップは、異なる位置におけるある期間にわたる周囲音の変動をマッピングする。ウェアラブルデバイスはまた、同じ期間にわたるそれ自体の移動記録を測定することができる。顕著性マップ及びウェアラブルデバイスの移動記録に基づいて、ユーザの応答は、相関関係に基づいて判定され得る。例えば、接近する発話が音方向に向かうユーザの傾向を誘起することができ、次いで巻き戻し又はリプレイ動作を実施することができるなどの、ユーザの応答は、周囲音の移動を条件とすることができる。

【0140】

態様では、電力消費又は処理能力に対する懸念のために、ウェアラブルデバイスは、データ処理作業負荷を共有するように他の接続されたデバイスに要求する場合がある。例えば、多段階処理アーキテクチャは、ウェアラブルデバイスにおける帯域幅又は処理能力を節約するために実装され得る。一例では、ウェアラブルデバイスは、部分的若しくは完全な計算又は処理のために、測定された周囲音を図１のコンピューティングデバイス１２０などの第２のデバイスに（部分的又は完全に）送信することができる。場合によっては、第２のデバイス又は追加のデバイスは、全体的な処理時間を低減するために、ウェアラブルデバイスよりも大きい処理能力を有し得る。処理後、ウェアラブルデバイスは、判定された事象及び対応するフィードバックを受信して、ユーザに提供することができる。

【0141】

いくつかの態様では、本明細書で様々に説明される技法は、多数のオーディオ／映像アプリケーションのために使用され得る。加えて、本明細書で説明される技法は、ユーザの音楽又はオーディオ再生を中断することなく、オーディオ又は映像メッセージのための無線で取り込まれたオーディオを可能にすることができる。したがって、本明細書で説明される技法は、無線構成を使用して映像のための没入型及び／又は無雑音オーディオを生み出す能力を可能にする。更に、本開示に基づいて理解され得るように、説明される技法は、以前は有線構成を使用してのみ達成可能であったスキームを可能にし、そのため、説明される技法は、１つ以上のワイヤによってつながれる望ましくないかつ不快な経験からユーザを解放する。

【0142】

本開示の態様の説明は、例示の目的で上に提示されているが、本開示の態様は、開示された態様のいずれにも限定されることを意図していないことに留意され得る。説明された態様の範囲及び趣旨から逸脱することなく、多くの修正形態及び変形形態が当業者には明らかであろう。

【0143】

上記では、本開示において提示される態様が参照される。しかしながら、本開示の範囲は、特定の説明された態様に限定されない。本開示の態様は、完全にハードウェア態様、完全にソフトウェア態様（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、又は本明細書では全て、概して「構成要素」、「回路」、「モジュール」、若しくは「システム」と称され得るソフトウェア態様とハードウェア態様とを組み合わせる態様の形態を取ることができる。更に、本開示の態様は、その上に具現化されたコンピュータ可読プログラムコードを有する１つ以上のコンピュータ可読媒体において具現化されたコンピュータプログラム製品の形態を取ることができる。

【0144】

１つ以上のコンピュータ可読媒体の任意の組み合わせを利用することができる。コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体であり得る。コンピュータ可読記憶媒体は、例えば、電子、磁気、光学、電磁気、赤外線、若しくは半導体のシステム、装置、若しくはデバイス、又は前述のものの任意の好適な組み合わせであり得るが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例としては、１つ以上のワイヤを有する電気接続、ハードディスク、ランダムアクセスメモリ（random access memory、ＲＡＭ）、読み取り専用メモリ（read-only memory、ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（erasable programmable read-only memory、ＥＰＲＯＭ、又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（portable compact disc read-only memory、ＣＤ－ＲＯＭ）、光学記憶デバイス、磁気記憶デバイス、又は前述のものの任意の好適な組み合わせが挙げられる。現在の文脈では、コンピュータ可読記憶媒体は、プログラムを含むか、又は記憶することができる任意の有形媒体であり得る。

【0145】

図中のフローチャート及びブロック図は、様々な態様によるシステム、方法、及びコンピュータプログラム製品について想定される実装のアーキテクチャ、機能、並びに動作を例解する。これに関して、フローチャート又はブロック図の各ブロックは、指定された論理機能を実装するための１つ以上の実行可能命令を含む、命令のモジュール、セグメント、又は部分に相当し得る。いくつかの代替的な実装形態では、ブロックで説明されている機能は、図に記載された順序から生じ得る。例えば、連続して示される２つのブロックは、実際には実質的に同時に実行され得るか、又は、場合によっては、ブロックは、関与する機能に依存して、逆の順序で実行され得る。ブロック図、及び／又はフローチャート例解図の各ブロック、並びに、ブロック図、及び／又はフローチャート例解図におけるブロックの組み合わせは、特定機能を実施するか、又は専用ハードウェアとコンピュータ命令との組み合わせを動作させる専用ハードウェアベースのシステムで実装することができることにも留意されたい。

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図6C】

【図7】

【図8】

【図9】

【図10】

【図11】

【国際調査報告】