(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-12-28
(54)【発明の名称】無線デバイスのためのセンサ管理
(51)【国際特許分類】
H04R 3/00 20060101AFI20231221BHJP
【FI】
H04R3/00 320
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023537162
(86)(22)【出願日】2021-11-08
(85)【翻訳文提出日】2023-06-16
(86)【国際出願番号】 US2021072285
(87)【国際公開番号】W WO2022133374
(87)【国際公開日】2022-06-23
(32)【優先日】2020-12-18
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
(71)【出願人】
【識別番号】591009509
【氏名又は名称】ボーズ・コーポレーション
【氏名又は名称原語表記】BOSE CORPORATION
(74)【代理人】
【識別番号】100108453
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】ダグラス・ウォーレン・ヤング
(72)【発明者】
【氏名】ネイサン・エー・ブラグローヴ
(72)【発明者】
【氏名】ラスムス・アビルドグレン
(72)【発明者】
【氏名】カスパ・ストーク・ボンデ
(72)【発明者】
【氏名】アラガナンダン・ガネシュクマール
【テーマコード(参考)】
5D220
【Fターム(参考)】
5D220BA02
(57)【要約】
音声データを取得する際にウェアラブルデバイスのオーディオキャプチャセンサを選択するためのシステム及び方法。本方法は、第1及び第2のウェアラブルデバイスにおいて、ユーザの音声と関連付けられる信号を取得することと、第1の信号と第2の信号とのエネルギーレベルを比較することと、各信号のエネルギーレベルに基づいて、1つ以上のオーディオキャプチャセンサを選択することと、を提供する。第1及び第2のウェアラブルデバイスへのユーザの音声によって生成される音響エネルギーの対称性により、第1のウェアラブルデバイスによって取得された総エネルギーと、第2のウェアラブルデバイスによって取得された総エネルギーとの間のエネルギーレベルにおけるいかなる差も、周囲ノイズだけに起因し得る。したがって、より高い総エネルギーを有するデバイスは、より低い信号対ノイズ比を有し、前方に進む音声データを取得するために、より高い信号対ノイズ比を有する他のウェアラブルデバイスのオーディオキャプチャセンサの選択が提供される。
【特許請求の範囲】
【請求項1】
ウェアラブルデバイスの1つ以上のオーディオキャプチャセンサを選択するための方法であって、
第1のウェアラブルデバイスの少なくとも1つのオーディオキャプチャセンサを使用して、ユーザの音声と対応する第1の信号を検出することと、
第2のウェアラブルデバイスの少なくとも1つのオーディオキャプチャセンサを使用して、前記ユーザの音声と対応する第2の信号を検出することであって、前記第2のウェアラブルデバイスが、前記第1のウェアラブルデバイスに無線接続されている、前記検出することと、
前記第1の信号のエネルギーレベルを判定することと、
前記第2の信号のエネルギーレベルを判定することと、
前記第1の信号の前記エネルギーレベル及び前記第2の信号の前記エネルギーレベルに少なくとも部分的に基づいて、前記第1のウェアラブルデバイスの少なくとも1つのオーディオキャプチャセンサ及び/又は前記第2のウェアラブルデバイスの少なくとも1つのオーディオキャプチャセンサを選択して、音声データを取得することと、を含む、方法。
【請求項2】
前記第1のウェアラブルデバイスが、前記第1の信号を周辺デバイスに送信するように構成されており、前記第2のウェアラブルデバイスが、前記第2の信号を周辺デバイスに送信するように構成されており、前記周辺デバイスが、前記第1のウェアラブルデバイスの少なくとも1つのオーディオキャプチャセンサ及び/又は前記第2のウェアラブルデバイスの少なくとも1つのオーディオキャプチャセンサを前記選択して、音声データを取得するために、前記第1の信号の前記エネルギーレベルを前記第2の信号の前記エネルギーレベルと比較するように構成されている、請求項1に記載の方法。
【請求項3】
前記第1のウェアラブルデバイスの前記少なくとも1つのオーディオキャプチャセンサが、複数のオーディオキャプチャセンサの第1のセットを備え、前記第1の信号が、第1の前記複数のオーディオキャプチャセンサの平均エネルギーレベルであり、前記第1のウェアラブルデバイスが、圧縮アルゴリズムを使用して、前記第1の信号を前記周辺デバイスに送信するように構成されている、請求項2に記載の方法。
【請求項4】
前記第1のウェアラブルデバイスが、前記周辺デバイスによって実行されるミキシングアルゴリズムとともに使用するために、メタデータを第1の前記周辺デバイスに送信するように更に構成されている、請求項2に記載の方法。
【請求項5】
前記ミキシングアルゴリズムが、出力を発生させるように配置されており、前記周辺デバイスが、前記出力を前記第1のウェアラブルデバイスに送信するように構成されており、前記第1のウェアラブルオーディオデバイスが、前記出力を使用して、音量レベル又はアクティブノイズ低減(ANR)設定を自動的に変更するように構成されている、請求項4に記載の方法。
【請求項6】
前記第2のウェアラブルデバイスが、前記第2の信号を前記第1のウェアラブルデバイスに送信するように構成されており、前記第1のウェアラブルデバイスが、前記第1のウェアラブルデバイスの前記少なくとも1つのオーディオキャプチャセンサ及び/又は前記第2のウェアラブルデバイスの前記少なくとも1つのオーディオキャプチャセンサを前記選択して、音声データを取得するために、前記第1の信号の前記エネルギーレベルを前記第2の信号の前記エネルギーレベルと比較するように構成されている、請求項1に記載の方法。
【請求項7】
前記第1及び前記第2の信号の前記エネルギーレベルが、信号対ノイズ比(SNR)、風の存在、無線周波数(RF)性能、又はオーディオピックアップのうちの少なくとも1つに関連する、請求項1に記載の方法。
【請求項8】
前記第1のウェアラブルデバイスの前記少なくとも1つのオーディオキャプチャセンサ及び前記第2のウェアラブルデバイスの前記少なくとも1つのオーディオキャプチャセンサが、外部マイクロフォン、内部マイクロフォン、音響ノイズ低減(ANR)の目的にも使用されるフィードバックマイクロフォン、ANRの目的にも使用されるフィードフォワードマイクロフォン、又は加速度計のうちの少なくとも1つから選択される、請求項1に記載の方法。
【請求項9】
前記第1のウェアラブルデバイスの前記少なくとも1つのオーディオキャプチャセンサが、複数のオーディオキャプチャセンサの第1のセットを含み、前記少なくとも1つのオーディオキャプチャセンサを前記選択することが、前記複数のオーディオキャプチャセンサの第1のセットの第1のオーディオキャプチャセンサと、前記複数のオーディオキャプチャセンサの第1のセットの第2のオーディオキャプチャセンサとの選択の間で動的に変更することを含む、請求項1に記載の方法。
【請求項10】
前記第1のウェアラブルデバイスの前記少なくとも1つのオーディオキャプチャセンサが、複数のオーディオキャプチャセンサの第1のセットを含み、前記第1の信号の前記エネルギーレベルが、前記複数のオーディオキャプチャセンサの第1のセットの平均エネルギーレベルである、請求項1に記載の方法。
【請求項11】
前記第2のウェアラブルデバイスの前記少なくとも1つのオーディオキャプチャセンサが、複数のオーディオキャプチャセンサの第2のセットを含み、前記第2の信号の前記エネルギーレベルが、前記複数のオーディオキャプチャセンサの第2のセットの平均エネルギーレベルである、請求項10に記載の方法。
【請求項12】
前記第1の信号の前記エネルギーレベルが前記第2の信号の前記エネルギーレベルよりも小さいとき、前記第1のウェアラブルデバイスの前記少なくとも1つのオーディオキャプチャセンサのみが、音声データを取得するために選択され、前記第2のウェアラブルデバイスの前記少なくとも1つのオーディオキャプチャセンサは選択されない、請求項1に記載の方法。
【請求項13】
前記音声データが、ネゴシエートされた接続された等時性ストリームを使用して、周辺デバイスに送信される、請求項1に記載の方法。
【請求項14】
前記選択することが、前記第1のウェアラブルデバイスの前記少なくとも1つのオーディオキャプチャセンサを使用して音声データを取得することから、前記第2のウェアラブルデバイスの前記少なくとも1つのオーディオキャプチャセンサを使用して音声データを取得することへの変更を引き起こすとき、前記第1のウェアラブルデバイスが、前記第2のウェアラブルデバイスとハンドシェイクを実施して、音声データを取得する責任を前記第2のウェアラブルデバイスの前記少なくとも1つのオーディオキャプチャセンサにシフトさせる、請求項13に記載の方法。
【請求項15】
前記選択することが、前記第1のウェアラブルデバイスの前記少なくとも1つのオーディオキャプチャセンサを使用して音声データを取得することから、前記第2のウェアラブルデバイスの前記少なくとも1つのオーディオキャプチャセンサを使用して音声データを取得することへの変更を引き起こすとき、前記第1のウェアラブルデバイスの前記少なくとも1つのオーディオキャプチャセンサと関連付けられたゲインパラメータが、前記第2のウェアラブルデバイスの前記少なくとも1つのオーディオキャプチャセンサに適用されるように、前記第2のウェアラブルデバイスと共有される、請求項1に記載の方法。
【請求項16】
ウェアラブルデバイスの1つ以上のオーディオキャプチャセンサを選択するためのコンピュータプログラム製品であって、非一時的なコンピュータ可読命令のセットを含み、前記非一時的なコンピュータ可読命令のセットが、第1のウェアラブルデバイス、第2のウェアラブルデバイス、又は周辺デバイスのうちの少なくとも1つのプロセッサ上で実行されるとき、前記プロセッサが、
前記第1のウェアラブルデバイスの少なくとも1つのオーディオキャプチャセンサによってキャプチャされたユーザの音声と対応する第1の信号を検出又は受信することと、
前記第2のウェアラブルデバイスの少なくとも1つのオーディオキャプチャセンサによってキャプチャされたユーザの音声と対応する第2の信号を検出又は受信することであって、前記第2のウェアラブルデバイスが、前記第1のウェアラブルデバイスに無線接続されている、前記第2の信号を検出又は受信することと、
前記第1の信号のエネルギーレベルを判定することと、
前記第2の信号のエネルギーレベルを判定することと、
前記第1の信号の前記エネルギーレベル及び前記第2の信号の前記エネルギーレベルに少なくとも部分的に基づいて、前記第1のウェアラブルデバイスの少なくとも1つのオーディオキャプチャセンサ又は前記第2のウェアラブルデバイスの少なくとも1つのオーディオキャプチャセンサを選択して、音声データを取得することと、を行うように構成されている、コンピュータプログラム製品。
【請求項17】
前記第1のウェアラブルデバイスが、前記第1の信号を前記周辺デバイスに送信するように構成されており、前記第2のウェアラブルデバイスが、前記第2の信号を前記周辺デバイスに送信するように構成されており、前記周辺デバイスが、前記第1のウェアラブルデバイスの前記少なくとも1つのオーディオキャプチャセンサ又は前記第2のウェアラブルデバイスの前記少なくとも1つのオーディオキャプチャセンサを選択して音声データを取得するために、前記第1の信号の前記エネルギーレベルを前記第2の信号の前記エネルギーレベルと比較するように構成されている、請求項16に記載のコンピュータプログラム製品。
【請求項18】
前記第2のウェアラブルデバイスが、前記第2の信号を前記第1のウェアラブルデバイスに送信するように構成されており、前記第1のウェアラブルデバイスが、前記第1のウェアラブルデバイスの前記少なくとも1つのオーディオキャプチャセンサ又は前記第2のウェアラブルデバイスの前記少なくとも1つのオーディオキャプチャセンサを前記選択して、音声データを取得するために、前記第1の信号の前記エネルギーレベルを前記第2の信号の前記エネルギーレベルと比較するように構成されている、請求項16に記載のコンピュータプログラム製品。
【請求項19】
前記第1及び前記第2の信号の前記エネルギーレベルが、信号対ノイズ比(SNR)、風の存在、無線周波数(RF)性能、又はオーディオピックアップのうちの少なくとも1つに関連する、請求項16に記載のコンピュータプログラム製品。
【請求項20】
前記第1のウェアラブルデバイスの前記少なくとも1つのオーディオキャプチャセンサ及び前記第2のウェアラブルデバイスの前記少なくとも1つのオーディオキャプチャセンサが、外部マイクロフォン、内部マイクロフォン、音響ノイズ低減(ANR)の目的にも使用されるフィードバックマイクロフォン、ANRの目的にも使用されるフィードフォワードマイクロフォン、又は加速度計のうちの少なくとも1つから選択される、請求項16に記載のコンピュータプログラム製品。
【請求項21】
第1の無線着用デバイスの前記少なくとも1つのオーディオキャプチャセンサが、複数のオーディオキャプチャセンサの第1のセットを含み、前記第1の信号の前記エネルギーレベルが、前記複数のオーディオキャプチャセンサの第1のセットの平均エネルギーレベルであり、前記第2のウェアラブルデバイスの前記少なくとも1つのオーディオキャプチャセンサが、複数のオーディオキャプチャセンサの第2のセットを含み、前記第2の信号の前記エネルギーレベルが、前記オーディオキャプチャセンサの第2のセットの平均エネルギーレベルである、請求項16に記載のコンピュータプログラム製品。
【請求項22】
前記第1の信号の前記エネルギーレベルが前記第2の信号の前記エネルギーレベルよりも小さいとき、前記第1のウェアラブルデバイスの前記少なくとも1つのオーディオキャプチャセンサのみが、音声データを取得するために選択され、前記第2のウェアラブルデバイスの前記少なくとも1つのオーディオキャプチャセンサは選択されない、請求項16に記載のコンピュータプログラム製品。
【請求項23】
前記選択することが、前記第1のウェアラブルデバイスの前記少なくとも1つのオーディオキャプチャセンサを使用して音声データを取得することから、前記第2のウェアラブルデバイスの前記少なくとも1つのオーディオキャプチャセンサを使用して音声データを取得することへの変更を引き起こすとき、前記第1のウェアラブルデバイスが、前記第2のウェアラブルデバイスとハンドシェイクを実行して、音声データを取得する責任を前記第2のウェアラブルデバイスの前記少なくとも1つのオーディオキャプチャセンサにシフトさせる、請求項16に記載のコンピュータプログラム製品。
【請求項24】
前記選択することが、前記第1のウェアラブルデバイスの前記少なくとも1つのオーディオキャプチャセンサを使用して音声データを取得することから、前記第2のウェアラブルデバイスの前記少なくとも1つのオーディオキャプチャセンサを使用して音声データを取得することへの変更を引き起こすとき、前記第1のウェアラブルデバイスの前記少なくとも1つのオーディオキャプチャセンサと関連付けられたゲインパラメータが、前記第2のウェアラブルデバイスの前記少なくとも1つのオーディオキャプチャセンサに適用されるように、前記第2のウェアラブルデバイスと共有される、請求項16に記載のコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願の相互参照)
本出願は、2020年12月18日に出願され、「Sensor Management for Wireless Devices」と題された米国特許出願第17/126,630号の優先権を主張し、その開示全体が参照により本明細書に組み込まれる。
(技術分野)
本発明は、無線デバイスのためのセンサ管理に関する。
【背景技術】
【0002】
本開示の態様及び実装形態は、概して、センサデータを管理するための、例えば、ウェアラブルデバイス間の1つ以上のオーディオキャプチャセンサからの音声データのキャプチャを管理するためのシステム及び方法を対象とする。
【0003】
ウェアラブル無線オーディオデバイス、例えば、無線ヘッドフォンは、しばしば、ソースデバイスから無線オーディオデータをストリーミングするためにペア接続を利用する。典型的には、各無線ヘッドフォンは、各無線ヘッドフォンに固有のデータの別個のストリームを受信し、例えば、ソースデバイスは、左ヘッドフォンに関連付けられたデータの1つのストリームと、右ヘッドフォンに関連付けられた1つのストリームとを生成する。いくつかの状況では、各ヘッドフォンはまた、例えば、ヘッドフォンが(Bluetooth接続を介して)会話のための受信機及び送信機の両方として作用する電話会話にユーザが関与しているとき、ユーザの音声に対応する信号を取得するために1つ以上のマイクロフォンを利用し得る。いくつかの例では、ヘッドフォンのペアのうちの1つのヘッドフォンのみが、ユーザの音声に対応する信号を取得するために使用される。
【0004】
付加的に、様々なタイミングで、ユーザの周囲の環境により、例えば、風、交通、機械などによって過度の周囲ノイズが生成する場合がある。ユーザが、ヘッドフォンのうちの1つ、例えばユーザの音声に対応する信号を取得する責任を負うヘッドフォンが、例えば、風が直接通る経路など、周囲のノイズ源に近くなるような方向を向いている場合、そのヘッドフォンの音声ピックアップの品質が低下する。
【発明の概要】
【課題を解決するための手段】
【0005】
本開示は、音声データを取得する際に使用するウェアラブルデバイスの1つ以上のオーディオキャプチャセンサを選択するためのシステム及び方法、並びにコンピュータプログラム製品に関する。提供されている例には、第1及び第2のウェアラブルデバイスでユーザの音声に関連付けられる信号を取得することと、(第1のウェアラブルデバイスがユーザの右耳に位置決めされ、第2のウェアラブルデバイスがユーザの左耳に位置決めされている場合)、第1の信号と第2の信号とのエネルギーレベルを比較することと、各信号のエネルギーレベルに基づいて1つ以上のオーディオキャプチャセンサを選択することと、が含まれる。第1及び第2のウェアラブルデバイスへのユーザの音声によって生成される音響エネルギーの対称性により(ユーザの右耳のデバイスはユーザの左耳のデバイスから等距離にあるため)、第1のウェアラブルデバイスによって取得された総エネルギーと、第2のウェアラブルデバイスによって取得された総エネルギーとの間のエネルギーレベルにおけるいかなる差も、周囲ノイズだけに起因し得る。したがって、総エネルギーが高いデバイスの信号対ノイズ比は低く、信号対ノイズ比が高い他のウェアラブルデバイスの1つ以上のオーディオキャプチャセンサの選択が、前方に進む音声データを取得するために好ましい。
【0006】
いくつかの例では、本明細書で考察されるシステム及び方法は、無線データ伝送、具体的には、デバイス間でオーディオストリームをブロードキャスト及び伝送するための無線トポロジを利用する。例えば、2020年1月6日にBluetooth Special Interest Group(SIG)によってリリースされたCore Specification5.2(「The Core Specification」)は、Bluetooth Low Energy(BLE)トポロジに関連する新しい特徴を定義する。5.2Core Specificationに記載されている1つの特徴は、接続されていない等時性通信を利用するブロードキャスト等時性ストリームである。5.2Core Specificationによって説明される同様の特徴は、LE接続された等時性ストリームであり、これは、接続指向等時性チャネルを利用して、2つのデバイス間、例えば、周辺デバイス104とウェアラブルデバイス102A及び102B(下記で考察される)との間にポイントツーポイント等時性通信ストリームを提供する。一例では、本明細書で考察されるシステム、デバイス、及び方法は、5.2Core Specification(本明細書では「LEオーディオ」と称される)によって可能にされるBluetooth Low-Energyオーディオトポロジを利用する。例えば、LEオーディオは、単一のBluetoothオーディオソースデバイス(例えば、スマートフォン)が複数のオーディオストリームを別個のBluetoothデバイス、例えば、無線ヘッドフォンに同時に伝送することを可能にするユニキャスト無線ストポロジ(「接続された等時性ストリーム」と称される)を可能にする。これらのトポロジは、無線ヘッドフォンのためのBluetooth動作を改善することを意図している。
【0007】
具体的には、無線ヘッドフォン又は無線ウェアラブルデバイス(以下で考察される)を使用するとき、ウェアラブルデバイス上の複数のマイクロフォンからの入力を使用して音声ピックアップを改善するためにアルゴリズムが使用され得る。これらのアルゴリズムのいくつかは、風の経路に直接あるマイクロフォンのゲインを低減することによって、周囲ノイズ、例えば、風ノイズを最小限に抑える。他のアルゴリズムは、信号対ノイズ比を最大化するために、(左耳及び右耳の両方の近くに置かれたマイクロフォンを使用する)バイノーラルビームフォーミングを使用する。これらのアルゴリズムの多くは、イヤバッド間の待ち時間が長いため、真に無線のイヤバッドフォームファクタ上で実現することができない。これらの真の無線イヤバッドは、概して、Bluetoothを使用しイヤバッド間でデータを伝送し、イヤバッド間でマイクロフォンデータを確実に伝送するために最大100msかかる可能性がある。これは、いくつかの音声ピックアップアルゴリズムが許容することができる許容可能な待ち時間を超える。
【0008】
本開示では、センサ入力(例えば、マイクロフォン入力)が左右両方のウェアラブルデバイス上で監視されて、どのセンサセットが最適な信号対ノイズ比を提供するかを判定する。古典的なBluetooth接続を使用するいくつかの例では、(周辺デバイスへのBluetooth接続を維持する)「マスタ」イヤバッドは、音声対話中にマイクロフォンオーディオデータを周辺デバイス(例えば、スマートフォン)に送信するように構成されたデバイスである。2つのイヤバッド間の通信データリンクを通して、風ノイズなどの周囲ノイズが、マスターバッドでは高いが、パペットバッドでは低いと判定された場合、2つのバッドは、途中で役割切り替えを開始することができる。いくつかの例では、システム及び方法は、これが役割を切り替えることを可能にし得る古典的Bluetooth接続上での「シームレス」役割切り替えを可能にする1つ以上の古典的Bluetoothチップソリューションを利用する。これは、マスターバッドがスマートフォンへのBluetooth接続を維持する責任をパペットバッドに移すことを可能にし、パペットバッドが、マスターバッドのマイクロフォンの代わりに音声ピックアップのためにそのマイクロフォン(より低い風ノイズを有する)を使用することを可能にする。役割切り替えなしでそうするためには、パペットのマイクロフォンオーディオがBluetoothを介してマスターバッドに送信され、次いで電話に転送される必要があり、これは、リアルタイム音声会話に対して許容不能に長い待ち時間をもたらす。
【0009】
LEオーディオ接続に対しても同様の方式を採用することができる。LEオーディオでは、各バッドは、同じ接続された等時性グループ(Connected Isochronous Group、CIG)の一部である別個の接続された等時性ストリーム(Connected Isochronous Stream、CIS)に同期され得る。各バッドは、他のバッドのためのCISの接続セットアップを監視することによるか、又はバッド間の通信データリンクを介して情報を交換することによるかのいずれかで、他のバッドのCISの知識を有することができる。例えば、通話のために使用されるとき、2つのバッドのうちの1つは、マイクロフォンオーディオを、電話に送信されるネゴシエートされたCISに伝送し得る。そのマイクロフォンオーディオストリーム上で著しい周囲ノイズ、例えば風ノイズを検出すると、バッドは、他のバッドとハンドシェイクを行い、マイクロフォンオーディオを他のバッドに送信する責任を「ハンドオフ」することができる。これは、電話が、切り替えが行われたことを知ることなく、第2のバッドが、そのマイクロフォンデータを電話に(より少ない風ノイズで)送信することを可能にする。
【0010】
古典的なBluetooth及びLEオーディオ実装形態の両方において、マイクロフォンが切り替えられるときにユーザがマイクロフォンゲインの差に気づくことを防止するために、マイクロフォン間の役割切り替えを行う前に、各マイクロフォンのための自動ゲイン制御パラメータが、バッド間の通信データリンクを介して交換され得る。
【0011】
LEオーディオ能力は、真の無線バッドのための音声ピックアップを改善するために追加の方法で活用され得る。一実装形態では、1つ又は2つのマイクロフォンからの生の(未処理の)オーディオデータが、各バッドから受信デバイス(電話など)に送信され得る。電話は、全てのマイクロフォンからオーディオを受信し、生のオーディオデータに対してビームフォーミング又は他の音声ピックアップアルゴリズムを適用することができる。これは、1つ以上のアプリケーションにおいて行われ得るか、又は他のサードパーティVOIPアプリケーションへの音声アルゴリズム「プラグイン」を利用し得る。他の実装形態では、これらのアルゴリズムのうちの1つ以上は、VPAアプリケーションに統合されるか、又はクラウドサービスに統合され得る。アルゴリズムは、異なるデバイスに対して最適に同調させることができ、デバイスからの識別情報に基づいてモバイルアプリケーション又はクラウドサービスによって選択することができる。電話又はクラウド側で音声処理を実施することは、マルチミック音声アルゴリズムが頭部の両側からマイクロフォンを使用して展開されることを可能にし、これは、バッドからバッドへのオーディオ伝送の遅延に起因して真に無線のバッドについて達成することがはるかに困難である。
【0012】
他の実装形態では、Bluetooth帯域幅を節約するために、各バッドは、2つのマイクロフォンのローカルビームフォーミングを行い、音声オーディオの単一チャネルのみを電話に送信することができる。次いで、電話又はクラウドは、各バッドからの処理されたビーム形成オーディオに対してアルゴリズムを動かして(上述した形態と同様に)、それらを組み合わせて、オーディオ信号の改善された音声ピックアップ/信号対ノイズ比を生成することができる。
【0013】
別の実装形態では、アクティブノイズ低減(active noise reduction、ANR)フィードバックマイクロフォン(ユーザの耳の方に向いている)を使用して、風の強い状態で一方のイヤバッドから音声をキャプチャすることができ、他方のバッドでは、外向きのマイクロフォンを使用して音声をキャプチャすることができる。ANRフィードバックマイクロフォンは、風ノイズ(又はバブルノイズのような他の高ノイズ環境)の影響をより受けにくいが、多くの高周波数成分をピックアップすることができない。他方のバッド内の外向きのマイクロフォンは、第1のイヤバッドからのANRフィードバックマイクロフォンからの音声オーディオとミキシングされると、風ノイズを最小限に抑えながら音声キャプチャの帯域幅を拡張することを可能にする。風の状態が動的に変化すると、バッドは、どのバッドが音声をキャプチャするためにANRフィードバックマイクロフォンを使用し、どのバッドが外向きのマイクロフォンを使用するかのスワッピングを整合させることができる。
【0014】
両方のバッドはまた、ANRフィードバック及び外向きのマイクロフォンを同時に使用して音声をキャプチャし、マイクロフォンオーディオを圧縮し、ミキシングが行われ得るソースデバイスに複数のマイクロフォンチャネルを送信することができる。次いで、ソースデバイス上で動くアルゴリズムは、各バッド内の外向きのマイクロフォンによってピックアップされた環境ノイズに基づいて、どのマイクロフォンがミキシングのために使用されるかを動的に選択することができる。各側で独立して動く任意の音声アルゴリズムはまた、キー情報を(例えば、メタデータを通して)ソースデバイスに送信することができ、次いで、これは、その情報を使用して、ミキシング(1つのバッド若しくは別のバッドからのマイクロフォン、又は両方のミックス)のためにどのマイクロフォンを利用するべきかを決定する。非標準コーデックはまた、所与のユースケースに適切なように、より低い符号化/復号化アルゴリズム遅延又はより高い圧縮を有するマイクロフォンオーディオ伝送のために使用され得る。
【0015】
他のユースケースでは、前述のマイクロフォンミキシング方式の出力を使用して、製品の音量レベル又はANR設定に関する決定を行うことができる。例えば、ソースデバイス上で動くマイクロフォンミキシングアルゴリズムによって検出されたノイズレベルに基づいて、環境ノイズを補償するために音量レベルを調整するように製品に伝える信号を製品に送り返すことができる。同様に、ANRレベルを自動的に調整するために、環境ノイズに関する情報を信号として製品に送り返すことができる。
【0016】
一例では、ウェアラブルデバイスの1つ以上のオーディオキャプチャセンサを選択するための方法が提供され、方法は、第1のウェアラブルデバイスの少なくとも1つのオーディオキャプチャセンサを使用して、ユーザの音声と対応する第1の信号を検出することと、第2のウェアラブルデバイスの少なくとも1つのオーディオキャプチャセンサを使用して、ユーザの音声と対応する第2の信号を検出することであって、第2のウェアラブルデバイスが、第1のウェアラブルデバイスに無線接続されている、前記検出することと、第1の信号のエネルギーレベルを判定することと第2の信号のエネルギーレベルを判定することと、第1の信号のエネルギーレベル及び第2の信号のエネルギーレベルに少なくとも部分的に基づいて、第1のウェアラブルデバイスの少なくとも1つのオーディオキャプチャセンサ及び/又は第2のウェアラブルデバイスの少なくとも1つのオーディオキャプチャセンサを選択して音声データを取得することと、を含む。
【0017】
一態様では、第1のウェアラブルデバイスは、第1の信号を周辺デバイスに送信するように構成されており、第2のウェアラブルデバイスは、第2の信号を周辺デバイスに送信するように構成されており、第1のウェアラブルデバイスの少なくとも1つのオーディオキャプチャセンサ及び/又は第2のウェアラブルデバイスの少なくとも1つのオーディオキャプチャセンサを選択して音声データを取得するために、周辺デバイスが、第1の信号のエネルギーレベルを第2の信号のエネルギーレベルと比較するように構成されている。
【0018】
一態様では、第1のウェアラブルデバイスの少なくとも1つのオーディオキャプチャセンサは、複数のオーディオキャプチャセンサの第1のセットを備え、第1の信号は、第1の複数のオーディオキャプチャセンサの平均エネルギーレベルであり、第1のウェアラブルデバイスが、圧縮アルゴリズムを使用して、第1の信号を周辺デバイスに送信するように構成されている。
【0019】
一態様では、第1のウェアラブルデバイスは、周辺デバイスによって実行されるミキシングアルゴリズムとともに使用するためにメタデータを第1の周辺デバイスに送信するように更に構成されている。
【0020】
一態様では、ミキシングアルゴリズムは、出力を発生させるように配置され、周辺デバイスが、出力を第1のウェアラブルデバイスに送信するように構成されており、第1のウェアラブルオーディオデバイスが、出力を使用して音量レベル又はアクティブノイズ低減(ANR)設定を自動的に変更するように構成されている。
【0021】
一態様では、第2のウェアラブルデバイスは、第2の信号を第1のウェアラブルデバイスに送信するように構成されており、第1のウェアラブルデバイスが、第1のウェアラブルデバイスの少なくとも1つのオーディオキャプチャセンサ及び/又は第2のウェアラブルデバイスの少なくとも1つのオーディオキャプチャセンサを選択して音声データを取得するために、第1の信号のエネルギーレベルを第2の信号のエネルギーレベルと比較するように構成されている。
【0022】
一態様では、第1及び第2の信号のエネルギーレベルは、信号対ノイズ比(signal-to-noise ratio、SNR)、風の存在、無線周波数(radio frequency、RF)性能、又はオーディオピックアップのうちの少なくとも1つに関連する。
【0023】
一態様では、第1のウェアラブルデバイスの少なくとも1つのオーディオキャプチャセンサ及び第2のウェアラブルデバイスの少なくとも1つのオーディオキャプチャセンサは、外部マイクロフォン、内部マイクロフォン、音響ノイズ低減(acoustic noise reduction、ANR)の目的にも使用されるフィードバックマイクロフォン、ANRの目的にも使用されるフィードフォワードマイクロフォン、又は加速度計のうちの少なくとも1つから選択される。
【0024】
一態様では、第1のウェアラブルデバイスの少なくとも1つのオーディオキャプチャセンサは、複数のオーディオキャプチャセンサの第1のセットを含み、少なくとも1つのオーディオキャプチャセンサを選択することは、複数のオーディオキャプチャセンサの第1のセットの第1のオーディオキャプチャセンサと、複数のオーディオキャプチャセンサの第1のセットの第2のオーディオキャプチャセンサとの選択の間で動的に変更することを含む。
【0025】
一態様では、第1のウェアラブルデバイスの少なくとも1つのオーディオキャプチャセンサは、複数のオーディオキャプチャセンサのうちの第1のセットを含み、第1の信号のエネルギーレベルは、複数のオーディオキャプチャセンサのうちの第1のセットの平均エネルギーレベルである。
【0026】
一態様では、第2のウェアラブルデバイスの少なくとも1つのオーディオキャプチャセンサは、複数のオーディオキャプチャセンサのうちの第2のセットを含み、第2の信号のエネルギーレベルは、複数のオーディオキャプチャセンサのうちの第2のセットの平均エネルギーレベルである。
【0027】
一態様では、第1の信号のエネルギーレベルが第2の信号のエネルギーレベルよりも小さいとき、第1のウェアラブルデバイスの少なくとも1つのオーディオキャプチャセンサのみが音声データを取得するために選択され、第2のウェアラブルデバイスの少なくとも1つのオーディオキャプチャセンサは選択されない。
【0028】
一態様では、音声データは、ネゴシエートされ接続された等時性ストリームを使用して周辺デバイスに送られる。
【0029】
一態様では、選択が、第1のウェアラブルデバイスの少なくとも1つのオーディオキャプチャセンサを使用して音声データを取得することから、第2のウェアラブルデバイスの少なくとも1つのオーディオキャプチャセンサを使用して音声データを取得することへの変更を引き起こすとき、第1のウェアラブルデバイスが、第2のウェアラブルデバイスとハンドシェイクを実施して、音声データを取得する役割を第2のウェアラブルデバイスの少なくとも1つのオーディオキャプチャセンサにシフトさせる。
【0030】
一態様では、選択が、第1のウェアラブルデバイスの少なくとも1つのオーディオキャプチャセンサを使用して音声データを取得することから、第2のウェアラブルデバイスの少なくとも1つのオーディオキャプチャセンサを使用して音声データを取得することへの変更を引き起こすとき、第1のウェアラブルデバイスの少なくとも1つのオーディオキャプチャセンサに関連付けられたゲインパラメータが、第2のウェアラブルデバイスの少なくとも1つのオーディオキャプチャセンサに適用されるように第2のウェアラブルデバイスと共有される。
【0031】
別の例では、ウェアラブルデバイスの1つ以上のオーディオキャプチャセンサを選択するためのコンピュータプログラム製品が提供され、コンピュータプログラム製品は、非一時的なコンピュータ可読命令のセットを含み、非一時的なコンピュータ可読命令のセットは、第1のウェアラブルデバイス、第2のウェアラブルデバイス、又は周辺デバイスのうちの少なくとも1つのプロセッサ上で実行されるとき、プロセッサが、第1のウェアラブルデバイスの少なくとも1つのオーディオキャプチャセンサによってキャプチャされたユーザの音声と対応する第1の信号を検出又は受信することと、第2のウェアラブルデバイスの少なくとも1つのオーディオキャプチャセンサによってキャプチャされたユーザの音声と対応する第2の信号を検出又は受信することであって、第2のウェアラブルデバイスは、第1のウェアラブルデバイスに無線で接続されている、前記第2の信号を検出又は受信することと、第1の信号のエネルギーレベルを判定することと、第2の信号のエネルギーレベルを判定することと、第1の信号のエネルギーレベル及び第2の信号のエネルギーレベルに少なくとも部分的に基づいて、第1のウェアラブルデバイスの少なくとも1つのオーディオキャプチャセンサ又は第2のウェアラブルデバイスの少なくとも1つのオーディオキャプチャセンサを選択して音声データを取得することと、を行うように構成されている。
【0032】
一態様では、第1のウェアラブルデバイスは、第1の信号を周辺デバイスに送信するように構成されており、第2のウェアラブルデバイスは、第2の信号を周辺デバイスに送信するように構成されており、第1のウェアラブルデバイスの少なくとも1つのオーディオキャプチャセンサ又は第2のウェアラブルデバイスの少なくとも1つのオーディオキャプチャセンサを選択して音声データを取得するために、周辺デバイスが、第1の信号のエネルギーレベルを第2の信号のエネルギーレベルと比較するように構成されている。
【0033】
一態様では、第2のウェアラブルデバイスは、第2の信号を第1のウェアラブルデバイスに送信するように構成されており、第1のウェアラブルデバイスが、第1のウェアラブルデバイスの少なくとも1つのオーディオキャプチャセンサ又は第2のウェアラブルデバイスの少なくとも1つのオーディオキャプチャセンサを選択して音声データを取得するために、第1の信号のエネルギーレベルを第2の信号のエネルギーレベルと比較するように構成されている。
【0034】
一態様では、第1及び第2の信号のエネルギーレベルは、信号対ノイズ比(SNR)、風の存在、無線周波数(RF)性能、又はオーディオピックアップのうちの少なくとも1つに関連する。
【0035】
一態様では、第1のウェアラブルデバイスの少なくとも1つのオーディオキャプチャセンサ及び第2のウェアラブルデバイスの少なくとも1つのオーディオキャプチャセンサは、外部マイクロフォン、内部マイクロフォン、音響ノイズ低減(ANR)の目的にも使用されるフィードバックマイクロフォン、ANRの目的にも使用されるフィードフォワードマイクロフォン、又は加速度計のうちの少なくとも1つから選択される。
【0036】
一態様では、第1の無線着用デバイスの少なくとも1つのオーディオキャプチャセンサは、複数のオーディオキャプチャセンサの第1のセットを含み、第1の信号のエネルギーレベルが、複数のオーディオキャプチャセンサの第1のセットの平均エネルギーレベルであり、第2のウェアラブルデバイスの少なくとも1つのオーディオキャプチャセンサは、複数のオーディオキャプチャセンサの第2のセットを含み、第2の信号のエネルギーレベルは、オーディオキャプチャセンサの第2のセットの平均エネルギーレベルである。
【0037】
一態様では、第1の信号のエネルギーレベルが第2の信号のエネルギーレベルよりも小さいとき、第1のウェアラブルデバイスの少なくとも1つのオーディオキャプチャセンサのみが音声データを取得するために選択され、第2のウェアラブルデバイスの少なくとも1つのオーディオキャプチャセンサは選択されない。
【0038】
一態様では、選択するが、第1のウェアラブルデバイスの少なくとも1つのオーディオキャプチャセンサを使用して音声データを取得することから、第2のウェアラブルデバイスの少なくとも1つのオーディオキャプチャセンサを使用して音声データを取得することへの変更を引き起こし、第1のウェアラブルデバイスが、第2のウェアラブルデバイスとハンドシェイクを実施して、音声データを取得する責任を第2のウェアラブルデバイスの少なくとも1つのオーディオキャプチャセンサにシフトさせる。
【0039】
一態様では、選択することが、第1のウェアラブルデバイスの少なくとも1つのオーディオキャプチャセンサを使用して音声データを取得することから、第2のウェアラブルデバイスの少なくとも1つのオーディオキャプチャセンサを使用して音声データを取得することへの変更を引き起こし、第1のウェアラブルデバイスの少なくとも1つのオーディオキャプチャセンサに関連付けられたゲインパラメータが、第2のウェアラブルデバイスの少なくとも1つのオーディオキャプチャセンサに適用されるように第2のウェアラブルデバイスと共有される。
【0040】
様々な実施形態のこれら及び他の態様は、以下に記載される実施形態から明らかになり、それを参照して解明されるであろう。
図面では、同じ参照符号は、一般に、異なる図を通して同じ部分を指す。また、図面は、必ずしも縮尺どおりではなく、代わりに、概して、様々な実施形態の原理を例解することに重点が置かれている。
【図面の簡単な説明】
【0041】
【
図2A】本開示による第1のウェアラブルデバイスの構成要素の概略図である。
【
図2B】本開示による第2のウェアラブルデバイスの構成要素の概略図である。
【
図3】本開示による周辺デバイスの構成要素の概略図である。
【
図4A】本開示によるシステムの概略上面図である。
【
図4B】本開示によるシステムの概略上面図である。
【
図5】本開示の態様による方法のステップを例解するフロー図である。
【発明を実施するための形態】
【0042】
本開示は、音声データを取得する際に使用するウェアラブルデバイスの1つ以上のオーディオキャプチャセンサを選択するためのシステム及び方法、並びにコンピュータプログラム製品に関する。提供されている例には、第1及び第2のウェアラブルデバイスでユーザの音声に関連付けられる信号を取得することと、(第1のウェアラブルデバイスがユーザの右耳に位置決めされ、第2のウェアラブルデバイスがユーザの左耳に位置決めされている場合)、第1の信号と第2の信号とのエネルギーレベルを比較することと、各信号のエネルギーレベルに基づいて1つ以上のオーディオキャプチャセンサを選択することと、が含まれる。第1及び第2のウェアラブルデバイスへのユーザの音声によって生成される音響エネルギーの対称性により(ユーザの右耳のデバイスはユーザの左耳のデバイスから等距離にあるため)、第1のウェアラブルデバイスによって取得された総エネルギーと第2のウェアラブルデバイスによって取得された総エネルギーとの間のエネルギーレベルにおけるいかなる差も、周囲ノイズだけに起因し得る。したがって、総エネルギーが高いデバイスの信号対ノイズ比は低く、信号対ノイズ比が高い他のウェアラブルデバイスの1つ以上のオーディオキャプチャセンサの選択が、前方に進む音声データを取得するために好ましい。
【0043】
本出願で使用される場合、「ウェアラブルオーディオデバイス」という用語は、その通常の意味又は当業者に知られている意味を含むことに加えて、耳周りに、耳上に、耳内に、又は耳の近くに嵌合し(ユーザの頭部又は肩に装着されたオープンイヤオーディオデバイスを含む)、かつ音響エネルギーを耳の中へと、又は耳に向けて放射するデバイスを意味することが意図されている。ウェアラブルオーディオデバイスは、ヘッドフォン、イヤホン、イヤピース、ヘッドセット、イヤバッド、又はスポーツ用ヘッドフォンと称されることもあり、有線式又は無線式とすることができる。ウェアラブルオーディオデバイスは、音声信号を音響エネルギーに変換する音響ドライバを含む。この音響ドライバは、イヤカップ内に収容することができる。以下の図及び説明のうちのいくつかは、一対のイヤカップ(各々が音響ドライバを含む)を有する単一のウェアラブルオーディオデバイスを示し得るが、ウェアラブルオーディオデバイスは、1つのイヤカップのみを有する単一のスタンドアロンユニットであり得ることを理解されたい。ウェアラブルオーディオデバイスの各イヤカップは、例えば、ヘッドバンドによって、及び/又はイヤカップ若しくはヘッドフォン内の音響トランスデューサにオーディオ信号を伝えるリード線によって、別のイヤカップ又はヘッドフォンへと機械的に接続され得る。ウェアラブルオーディオデバイスは、音声信号を無線で受信する構成要素を含み得る。ウェアラブルオーディオデバイスは、アクティブノイズ低減(ANR)システムの構成要素を含み得る。ウェアラブルオーディオデバイスは、これらがヘッドセットとして機能することができるように、マイクロフォンなどの他の機能も含み得る。
図1は、耳内ヘッドフォンフォームファクタの例を示すが、他の例では、ウェアラブルオーディオデバイスは、耳上、耳周り、耳後、耳上方、若しくは耳付近ヘッドセットであり得るか、又はオーディオ眼鏡フォームファクタヘッドセットであり得る。いくつかの例では、ウェアラブルオーディオデバイスは、耳を耳の環境及び周囲に開放しながら、耳に向かって音響エネルギーを放射する音響ドライバを含むオープンイヤデバイスであり得る。
【0044】
本明細書で使用される「接続された等時性ストリーム」という用語は、その通常の意味又は当業者に知られているその意味を含むことに加えて、例えば、ソースデバイスとオーディオデバイス若しくは複数のオーディオデバイスとの間のLEオーディオを介した事前に確立されたポイントツーポイント通信リンクを利用する等時性データストリームを指すことを意図している。言い換えれば、接続された等時性ストリームは、ソースデバイスと任意のそれぞれのオーディオデバイスとの間の少なくとも1つの確立された信頼できる通信チャネル及び/又は少なくとも1つの肯定応答された通信チャネルを利用する等時性オーディオストリームを提供することができる。
【0045】
本明細書で使用される「ブロードキャスト等時性ストリーム」という用語は、その通常の意味又は当業者に知られているその意味を含むことに加えて、データを送信するソースデバイスとデータを受信するオーディオデバイスとの間で事前に確立された通信リンクが確立されることを必要とせず、肯定応答又は否定応答が送信又は受信されることを必要としない等時性データストリームを指すことを意図している。
【0046】
以下の説明は、
図1~
図4Bを考慮して読まれるべきである。
図1は、本開示によるシステム100の概略図である。システム100は、複数のウェアラブルデバイス、例えば、第1のウェアラブルデバイス102A及び第2のウェアラブルデバイス102B(本明細書ではまとめて「ウェアラブルデバイス102」と称される)と、周辺デバイス104と、を含む。例解されている例では、第1のウェアラブルデバイス102A及び第2のウェアラブルデバイス102Bは、一対のウェアラブルオーディオデバイス、例えば、一対の真の無線イヤバッドであることが意図され、第1のウェアラブルデバイス102A及び第2のウェアラブルデバイス102Bは、それぞれ、ユーザの右耳及び左耳に近接して、又はその中に固定されるように配置される。しかしながら、いくつかの代替的な例では、第1のウェアラブルデバイス102A及び第2のウェアラブルデバイス102Bは、補聴器、スピーカ、ポータブルスピーカ、ペアリングされたスピーカ、又はペアリングされたポータブルスピーカのうちの少なくとも1つから選択され得ることを理解されたい。例解されているように、システム100は、ウェアラブルデバイス102との無線データ接続を確立するように構成された周辺デバイス104、例えばスマートフォン又はタブレットを含み、これについては以下で詳細に考察される。
【0047】
図2Aに例解されているように第1のウェアラブルデバイス102Aは、第1の回路106を含む。第1の回路106は、本明細書に記載されるように、それぞれ、第1の非一時的コンピュータ可読命令のセット112を実行及び記憶して、第1のウェアラブルデバイス102A及び第1の回路106の様々な機能を実施するように構成された第1のプロセッサ108及び第1のメモリ110を含む。第1の回路106はまた、無線データ、例えば、以下に考察される複数の通信データストリームのうちの少なくとも1つ、例えば、通信データストリーム162Aに関連するデータを送信及び/又は受信するように構成された第1の通信モジュール114を含む。そのために、第1の通信モジュール114は、少なくとも1つの無線機又はアンテナ、例えば、無線データを送信及び受信することが可能な第1の無線機116を含むことができる。いくつかの例では、第1の通信モジュール114は、少なくとも1つの無線機(例えば、第1の無線機116)に加えて、何らかの形式の自動ゲイン制御(automated gain control、AGC)、変調器及び/又は復調器、及びおそらく、無線データの送信及び/又は受信を支援するために第1のプロセッサ108及び第1のメモリ110に電気的に接続されたビット処理用の個別プロセッサを含み得る。以下で考察されるように、第1のウェアラブルデバイス102Aの第1の回路106は、第1のプロセッサ108及び第1のメモリ110に電気的に接続され、電気信号を環境E内の可聴音響エネルギー、例えばオーディオ再生に電気機械的に変換するように構成された第1のスピーカ118、例えばラウドスピーカ又は音響トランスデューサも含むことができる。いくつかの例では、電気信号及び可聴音響エネルギーは、複数の通信データストリーム(下記で考察される)に含まれるデータに関連付けられる。
【0048】
第1のウェアラブルデバイス102Aは、オーディオキャプチャセンサの第1のセット120を更に含むことができる。いくつかの例では、オーディオキャプチャセンサの第1のセットは、1つのオーディオキャプチャセンサのみを含む。いくつかの例では、オーディオキャプチャセンサの第1のセット120は、複数のオーディオキャプチャセンサ、例えば、第1のオーディオキャプチャセンサ120A及び第2のオーディオキャプチャセンサ120B(まとめて「オーディオキャプチャセンサの第1のセット120」と称される)を含む。他の例では、オーディオキャプチャズセンサの第1のセット120は、3つ以上のオーディオキャプチャセンサを有することができ、例えば、セットは、3つ、4つ、5つ、又はそれ以上のオーディオキャプチャセンサを含むことができる。オーディオキャプチャセンサの第1のセット120の各オーディオキャプチャセンサは、マイクロフォン又は何らかの他のオーディオキャプチャデバイス(例えば、第1のウェアラブルデバイス102A上に、その中に、又はその近傍に配置された単方向又は指向性の微小電気機械システム(micro-electro-mechanical system、MEMS)マイクロフォン)であることが意図されている。各オーディオキャプチャセンサ120は、外部マイクロフォン(例えば、ウェアラブルオーディオデバイス102Aとユーザの鼓膜との間に作り出される空気空洞の外側の音エネルギーをピックアップ又は取得するように位置付けられるマイクロフォン)、内部マイクロフォン(例えば、ウェアラブルオーディオデバイス102Aとユーザの鼓膜との間に作り出された空気空洞の内側の音エネルギーをピックアップ又は取得するように位置付けられたマイクロフォン)、又は加速度計として構成され得ることを理解されたい。いくつかの例では、外部マイクロフォンは、アクティブノイズ低減(ANR)用途で使用される外部音エネルギーを取得又はピックアップするためにも使用されるフィードフォワードマイクロフォンであり得る。他の例では、内部マイクロフォンは、ANR用途で使用される内部音エネルギーを取得又はピックアップするためにも使用されるフィードバックマイクロフォンであり得る。各オーディオキャプチャセンサは、空気伝導を介して、及び/又は骨伝導を介して(ユーザの身体の1つ以上の骨、例えば、ユーザの頭部又は顎を通して)、音エネルギーを取得又はピックアップするように構成することができることを理解されたい。オーディオキャプチャセンサの第1のセット120の2つ以上のオーディオキャプチャセンサは、1つ以上のアルゴリズムを使用するビームフォーミング技法が、オーディオキャプチャセンサによって取得されたオーディオピックアップの質を向上させるために、例えば、音声データ164(下記で論じられる考察される)を向上させるために利用され得るように配置され得ることも理解されたい。いくつかの実装形態では、第1のウェアラブルデバイス102A上のオーディオキャプチャセンサ120A及び120Bのための2つの外向きマイクロフォンがある場合など、複数の同じタイプのオーディオキャプチャセンサがウェアラブルデバイス上に含まれる。いくつかの実装形態では、第1のオーディオキャプチャセンサ120Aが外向きマイクロフォンであり、第2のオーディオキャプチャセンサ120Bが加速度計である場合など、異なるタイプのオーディオキャプチャセンサの混合物がウェアラブルデバイス上に含まれる。
【0049】
以下に考察されるように、オーディオキャプチャセンサの第1のセット120の各オーディオキャプチャセンサは、ユーザの周囲の環境から音エネルギーを取得し、その音エネルギーを電子信号、すなわち、第1の信号122に変換するように構成されている。取得されると、第1の信号122を分析して、第1のエネルギーレベル124を判定することができる。第1のエネルギーレベル124は、1つ以上のオーディオキャプチャセンサ120によって検出された総音響エネルギーの尺度であることが意図されている。この総音響エネルギーには、ユーザによって発生する音響エネルギー、ユーザの音声など、に加え、周囲の環境からの他の周囲音響エネルギー、風、会話、交通ノイズ、機械などを含むことができる。オーディオキャプチャセンサの第1のセット120が2つ以上のオーディオキャプチャセンサを含むいくつかの例では、上述されるように、第1のエネルギーレベル124は、オーディオキャプチャセンサの第1のセット120の全てのオーディオキャプチャセンサによって取得又はピックアップされる平均エネルギーレベル、すなわち、第1の平均エネルギーレベル126であり得る。例えば、1つ以上の外部マイクロフォン信号を一緒に平均して、第1のエネルギーレベル124を形成することができる。別の例では、1つ以上の内部マイクロフォン信号を1つ以上の外部マイクロフォンと平均して、第1のエネルギーレベル124を形成することができる。
【0050】
図2Bに例解するように、第2のウェアラブルデバイス102Bは、第2の回路128を備える。第2の回路128は、本明細書に記載されるように、それぞれ、第2の複数の非一時的コンピュータ可読命令のセット134を実行及び記憶して、第2のウェアラブルデバイス102B及び第2の回路128の様々な機能を実施するように構成された第2のプロセッサ130及び第2のメモリ132を含む。第2の回路128はまた、無線データ、例えば、以下で考察される複数のデータストリーム、例えば、等時性データストリーム162Bに関連するデータを送信及び/又は受信するように構成されている第2の通信モジュール136を含む。そのために、第2の通信モジュール136は、少なくとも1つの無線機又はアンテナ、例えば、無線データを送信及び受信することが可能な第2の無線機138を含むことができる。いくつかの例では、第2の通信モジュール128は、少なくとも1つの無線機(例えば、第1の無線機138)に加えて、何らかの形式の自動ゲイン制御(AGC)、変調器及び/又は復調器、及びおそらく、無線データの送信及び/又は受信を支援するために第2のプロセッサ130及び第2のメモリ132に電気的に接続されたビット処理用の個別プロセッサを含み得る。下記で考察されるように、第2のウェアラブルデバイス102Bの第2の回路128はまた、第2のプロセッサ130及び第2のメモリ132に電気的に接続され、電気信号を環境E内の可聴音響エネルギー、例えばオーディオ再生に電気機械的に変換するように構成された第2のスピーカ140、例えばラウドスピーカ又は音響トランスデューサも含むことができる。いくつかの例では、電気信号及び可聴音響エネルギーは、複数のデータストリームに含まれるデータに関連付けられる(下記で考察される)。
【0051】
第2のウェアラブルデバイス102Bは、オーディオキャプチャセンサの第2のセット142を更に含むことができる。いくつかの例では、オーディオキャプチャセンサの第2のセットは、1つのオーディオキャプチャセンサのみを含む。いくつかの例では、オーディオキャプチャセンサの第2のセット142は、複数のオーディオキャプチャセンサ、例えば、第1のオーディオキャプチャセンサ142A及び第2のオーディオキャプチャセンサ142B(まとめて「オーディオキャプチャセンサの第2のセット142」と称される)を含む。他の例では、オーディオキャプチャズセンサ142の第2のセットは、3つ以上のオーディオキャプチャセンサを有することができ、例えば、セットは、3つ、4つ、5つ、又はそれ以上のオーディオキャプチャセンサを含むことができる。オーディオキャプチャセンサの第2のセット142の各オーディオキャプチャセンサは、マイクロフォン、又は何らかの他のオーディオキャプチャデバイス(例えば、第2のウェアラブルデバイス102B上に、その中に、又はその近傍に配置された単方向又は指向性の微小電気機械システム(MEMS)マイクロフォン)であることが意図されている。各オーディオキャプチャセンサ142は、外部マイクロフォン(例えば、ウェアラブルオーディオデバイス102Bとユーザの鼓膜との間に作り出される空気空洞の外側の音エネルギーをピックアップ又は取得するように位置付けられるマイクロフォン)、内部マイクロフォン(例えば、ウェアラブルオーディオデバイス102Bとユーザの鼓膜との間に作り出された空気空洞の内側の音エネルギーをピックアップ又は取得するように位置付けられたマイクロフォン)、又は加速度計として構成され得ることを理解されたい。いくつかの例では、外部マイクロフォンは、アクティブノイズ低減(ANR)用途で使用される外部音エネルギーを取得又はピックアップするためにも使用されるフィードフォワードマイクロフォンであり得る。他の例では、内部マイクロフォンは、ANR用途で使用される内部音エネルギーを取得又はピックアップするためにも使用されるフィードバックマイクロフォンであり得る。各オーディオキャプチャセンサは、空気伝導を介して、及び/又は骨伝導を介して(ユーザの身体の1つ以上の骨、例えば、ユーザの頭部又は顎を通して)、音エネルギーを取得又はピックアップするように構成することができることを理解されたい。オーディオキャプチャセンサの第2のセット142の2つ以上のオーディオキャプチャセンサは、1つ以上のアルゴリズムを使用するビームフォーミング技法が、オーディオキャプチャセンサによって取得されたオーディオピックアップの質を向上させるために、例えば、音声データ164(下記で考察される)を向上させるために利用され得るように配置され得ることも理解されたい。いくつかの実装形態では、第2のウェアラブルデバイス102B上のオーディオキャプチャセンサ142A及び142Bのための2つの外向きマイクロフォンがある場合など、複数の同じタイプのオーディオキャプチャセンサがウェアラブルデバイス上に含まれる。いくつかの実装形態では、第1のオーディオキャプチャセンサ142Aが外向きマイクロフォンであり、第2のオーディオキャプチャセンサ142Bが加速度計である場合など、異なるタイプのオーディオキャプチャセンサの混合物がウェアラブルデバイス上に含まれる。
【0052】
以下に考察されるように、オーディオキャプチャセンサの第2のセット142の各オーディオキャプチャセンサは、ユーザの周囲の環境から音エネルギーを取得し、その音エネルギーを電子信号、すなわち、第2の信号144に変換するように構成されている。取得されると、第2の信号144を分析して、第2のエネルギーレベル146を判定することができる。第2のエネルギーレベル146は、少なくとも1つのオーディオキャプチャセンサ142によって検出される総音響エネルギーの尺度となることを意図している。この総音響エネルギーには、ユーザによって発生する音響エネルギー、ユーザの音声などに加え、周囲の環境からの他の周囲音響エネルギー、風、会話、交通ノイズ、機械など)、が含まれる場合がある。オーディオキャプチャセンサの第2のセット142が2つ以上のオーディオキャプチャセンサを含むいくつかの例では、上述されるように、第2のエネルギーレベル146は、オーディオキャプチャセンサの第2のセット142の全てのオーディオキャプチャセンサによって取得又はピックアップされる平均エネルギーレベル、すなわち、第2の平均エネルギーレベル148であり得る。例えば、1つ以上の外部マイクロフォン信号を一緒に平均して、第2のエネルギーレベル146を形成することができる。別の例では、1つ以上の内部マイクロフォン信号を1つ以上の外部マイクロフォンと平均して、第2のエネルギーレベル146を形成することができる。
【0053】
図3に例解されているように、システム100は、周辺デバイス104を更に含む。周辺デバイス104は、複数の通信データストリーム162A~162Bに関連するデータを少なくとも1つのウェアラブルデバイス、例えば第1のウェアラブルデバイス102A及び/又は第2のウェアラブルデバイス102Bに送信及び/又は受信できる有線又は無線デバイスであることを意図している。一例では、
図1に例解するように、周辺デバイス104は、複数のデータストリーム162A~162Bから第1のウェアラブルデバイス102A及び/又は第2のウェアラブルデバイス102Bにデータを送信できるスマートフォンである。例解されていないが、周辺デバイス104はまた、パーソナルコンピュータ、モバイルコンピューティングデバイス、タブレット、スマートスピーカ、スマートスピーカシステム、スマートハブ、スマートテレビ、又は複数のデータストリーム162A~162B(下記で考察される)からデータを送信又は受信できる他の任意のデバイスのうちの少なくとも1つからも選択することができることを理解されたい。いくつかの例では、周辺デバイス104は、第1のウェアラブルデバイス102A及び/又は第2のウェアラブルデバイス102Bと無線でペアリングされるリモートデバイスである。したがって、周辺デバイス104は周辺回路150を備えることができる。周辺回路150には、本明細書で説明するように、周辺デバイス104及び周辺回路150の様々な機能を実施するため、複数の非一時的なコンピュータ可読命令、例えば周辺命令156をそれぞれ実行及び記憶するように構成されている周辺プロセッサ152及び周辺メモリ154を含む。周辺回路150はまた、ウェアラブルデバイス102との間で無線データ、例えば、複数のデータストリーム162A~162B(以下に考察される)に関連するデータを送信及び/又は受信するように構成された周辺通信モジュール158も含む。そのために、周辺通信モジュール158は、少なくとも1つの無線機又はアンテナ、例えば、無線データを送信及び受信することが可能な周辺無線機160を含むことができる。いくつかの例では、周辺通信モジュール158は、少なくとも1つの無線機(例えば、周辺無線機160)に加えて、何らかの形式の自動ゲイン制御(AGC)、変調器及び/又は復調器、及びおそらく、無線データの送信及び/又は受信を支援するために周辺プロセッサ152及び周辺メモリ154に電気的に接続されたビット処理用の個別プロセッサを含み得る。付加的に、周辺デバイス104は、非一時的コンピュータ可読命令のセット内に、1つ以上のアプリケーション、例えば、システム内の各ウェアラブルデバイス、すなわち、少なくとも第1のウェアラブルデバイス102A及び第2のウェアラブルデバイス102Bと対話及び通信することができるモバイルアプリケーションを含むことができる。
【0054】
システム100の各デバイス、すなわち、各ウェアラブルデバイス102及び周辺デバイス104は、それらのそれぞれの通信モジュールを使用して、各デバイス間の通信データストリームを確立し得る。例えば、
図1に例解するように、システム100は、第1のウェアラブルデバイス102Aと周辺デバイス104との間に第1の通信データストリーム162Aを確立し、第2のウェアラブルデバイス102Bと周辺デバイス104との間に第2の通信データストリーム162Bを確立し、第1のウェアラブルデバイス102Aと第2のウェアラブルデバイス102Bとの間に第3の通信データストリーム162Cを確立するように構成することができる。各通信データストリーム、すなわち第1の通信データストリーム162A、第2の通信データストリーム162B、及び第3の通信データストリーム162C(まとめて「通信データストリーム162」、「複数の通信データストリーム162」と称される)は、様々な無線データプロトコル又は伝送方法、例えば、Bluetoothプロトコル、Bluetoothクラシックプロトコル、Bluetooth Low-Energyプロトコル、LEオーディオプロトコル、非同期接続指向論理トランスポート(Connection-Oriented logical transport、ACL)プロトコル、無線周波数(RF)通信プロトコル、WiFiプロトコル、近距離磁場磁気インダクタンス(Near-Field Magnetic Inductance、NFMI)通信、LE非同期接続(LE Asynchronous Connection、LE ACL)論理トランスポートプロトコル、又はオーディオ及び音声データストリームの送信及び/又は受信に好適な無線データの他の伝送方法を利用することができる。一例では、複数の通信データストリーム162は、少なくとも1つのネゴシエートされた等時性データストリーム、例えば、ブロードキャスト等時性ストリーム及び/又はLEオーディオプロトコルの1つ以上の接続された等時性ストリームを利用することができ、LC3オーディオコーデックも利用し得る。他の例では、第1のウェアラブルデバイス102Aと第2のウェアラブルオーディオデバイス102Bとの間に確立される第3の通信データストリーム162Cは、非同期接続指向(ACL)論理トランスポートプロトコルを利用する。しかしながら、第3の通信データストリーム162Cは、第1のウェアラブルデバイス102Aと第2のウェアラブルデバイス102Bとの間のブロードキャスト等時性ストリーム又は接続された等時性ストリームであり得ることを理解されたい。複数の通信データストリーム162の各通信データストリームは、任意の考えられる組み合わせで上記に列挙されたプロトコルのうちの少なくとも1つを利用する通信ストリームを含むことができることを理解されたい。付加的に、システム100の各デバイスは、システム内の少なくとも1つの他のデバイスとペアリングすることができる。一例では、第1のウェアラブルデバイス102A及び第2のウェアラブルデバイス102Bは、ペアリングされたオーディオデバイス、例えば、ペアリングされた真の無線イヤバッド又はペアリングされたスピーカである。本明細書で使用される場合、「ペアリングされた」という用語は、当業者に対するその通常の意味とともに、デバイスの既知の関係及び/又は識別に基づいて、2つのデバイス間のデータ接続を確立することを意味することが意図される。デバイスは、最初に、認証情報、例えば、Bluetoothパスキーを互いの間で交換し、パスキーを共有する2つのデバイス間の接続を確立することができる。認証情報の交換は、両方のデバイスの所有権及び/又はペアリングする意図を示すために、2つのデバイスの専用のペアリングモードで行われ得る。デバイスがペアリングされると、それらは、共有パスキー及び/又はデバイスの既知の識別情報に基づいて、将来の接続を確立することができる。同様に、ウェアラブルデバイス102のうちの1つ以上は、周辺デバイス104とペアリングされて上記で考察される第1及び第2の通信データストリーム162A~162Bを確立することを支援することができる。
【0055】
動作中、システム100のユーザは、オーディオキャプチャセンサの第1のセット120の1つ以上及び/又はオーディオキャプチャセンサの第2のセット142の1つ以上を通して、ユーザを取り囲む環境からのオーディオデータのキャプチャを含む又は必要とする、様々なアクション、アクティビティ、又はアプリケーションに関与し得る。上で考察されるように、オーディオキャプチャセンサの第1又は第2のセット120、142のうちの1つ以上のオーディオキャプチャセンサによってキャプチャされたオーディオデータは、1つ以上のオーディオキャプチャセンサによって取得された電子信号を表し、風、会話、交通ノイズ、機械など、周囲の環境からの周囲音響エネルギーなどの発生源から発生する音響エネルギーが含まれる。オーディオデータはまた、音声データ、すなわち音声データ164を含むこともできる。音声データ164は、ユーザの発話から取得又はピックアップされた、例えば、ユーザから発声された、音響エネルギーの部分を指す。したがって、オーディオデータは、ユーザの周囲環境で起こるノイズからの周囲音響エネルギーだけでなく、発話中にユーザによって発生する音響エネルギー、すなわち音声データ164も含むことを理解されたい。したがって、本明細書で概説するように、上記で考察される信号、エネルギーレベル、及び平均エネルギーレベルは、周囲音響エネルギー並びにユーザの発話、すなわち音声データ164からの音響エネルギーに対応するエネルギーを含むことができる。例えば、オーディオキャプチャセンサの第1のセット120の少なくとも1つのオーディオキャプチャセンサからピックアップされた音響エネルギーに関連付けられる第1の信号122及び第1のエネルギーレベル124、並びにオーディオキャプチャセンサの第1のセット120の2つ以上のオーディオキャプチャセンサ間で平均化された音響エネルギーに関連付けられる第1の平均エネルギーレベル126は、周囲の音響源及び人間の発話に起因するエネルギーを含むことができる。同様に、オーディオキャプチャセンサの第2のセット142の少なくとも1つのオーディオキャプチャセンサからピックアップされた音響エネルギーに関連付けられる第2の信号144及び第2のエネルギーレベル146、並びにオーディオキャプチャセンサの第2のセット142の2つ以上のオーディオキャプチャセンサ間で平均化された音響エネルギーに関連付けられる第2の平均エネルギーレベル148は、周囲の音響源及び人間の発話に起因するエネルギーを含むことができる。
【0056】
いくつかの用途では、ユーザを取り囲む周囲ノイズは、全方向性又は対称ではなく、例えば、著しく多くの周囲ノイズが、ユーザの左耳よりもユーザの右耳に近接して受信され得る。これは、ユーザの右耳に方向付けられた風を含むいくつかの要因によって引き起こされ得る(典型的には、ユーザの頭部が直接的な風エネルギーを遮断するので、ユーザの左耳を通過する風が少なくなる)。これは、音が大きい物体、車両、機械、人などに近接したユーザの向きによって引き起こされる可能性もある。これらの用途及び状況では、本願のシステム及び方法は、第1の信号122(右耳に近接した総エネルギーを表す)と第2の信号144(左耳に近接した総エネルギーを表す)とを比較するように構成されている。これら2つの信号の比較の結果、一方の信号が他方よりも大きいエネルギーレベルを有する(すなわち、より音が大きい)場合、より高い信号の追加の音響エネルギーは、過度の周囲ノイズに起因する可能性がある。例えば、ユーザが発話している間、第1のウェアラブルデバイス102A(例えば、ユーザの右耳にある)及び第2のウェアラブルデバイス102B(例えば、ユーザの左耳にある)は両方とも、ユーザの口から等距離にある。したがって、音声データ164に起因する第1のウェアラブルデバイス102Aのオーディオキャプチャセンサの第1のセット120のオーディオキャプチャセンサによって取得される音響エネルギーの量、及び音声データ164に起因する第2のウェアラブルデバイス102Bのオーディオキャプチャセンサの第2のセット142のオーディオキャプチャセンサによって取得される音響エネルギーの量は、実質的に等しい。したがって、第1の信号122と第2の信号144との間の任意の差又は不一致は、より高い(又はより音が大きい)信号を有するそれぞれのウェアラブルデバイス102に方向付けられた周囲ノイズにおける差又は不一致のみに起因する。言い換えれば、より少ない総エネルギーを有するウェアラブルデバイス102によって発生する信号は、より高い信号対ノイズ比を有し、より多くの総エネルギーを有するウェアラブルデバイス102によって発生する信号は、より低い信号対ノイズ比を有する。したがって、様々なアプリケーション、例えば、電話通話の音声ピックアップのための音声データ164の取得する責任を負うオーディオキャプチャデバイスを選ぶか、又は選択するとき、現在のシステム及び方法は、オーディオキャプチャセンサが最も低いエネルギーレベル(最も静かな)信号を発生させているため、高い信号対ノイズ比を有することに基づいて、音声データをピックアップするオーディオキャプチャセンサを選ぶか、又は選択する。以下の比較で使用される第1の信号122及び第2の信号144は、正規化することができ、例えば、第1の信号122又は第2の信号144に適用される任意の自動ゲイン制御パラメータ又は設定を考慮することができることを理解されたい。言い換えれば、第1の信号122又は第2の信号144に適用される任意の自動ゲイン制御設定は、第1のエネルギーレベル124と第2のエネルギーレベル146とを比較するときに考慮に入れることができる。逆に、本明細書で考察される比較はまた、第1の信号122と第2の信号144とを比較して、例えば、第1の信号122又は第2の信号144に適用される任意の自動ゲイン制御設定を考慮せずに、処理前の生のセンサデータに基づいて、第1のエネルギーレベル124が第2のエネルギーレベル146を超えるか未満であるかを判定することもできる。
【0057】
図4Aに例解されるような動作中、システム100のユーザは、風がユーザの右側に近づくように、すなわち、ユーザの右耳の中の第1のウェアラブルデバイス102Aの方に方向付けられるように位置付けられる。この例では、第1のウェアラブルデバイス102Aは、少なくとも1つのオーディオキャプチャセンサ120を介して、第1のエネルギーレベル124に関連付けられた第1の信号122を取得するか、又はオーディオキャプチャセンサの第1のセット120の2つ以上のオーディオキャプチャセンサの平均エネルギーレベルを表す第1の平均エネルギーレベル126に関連付けられた第1の信号122を取得し、第1の信号122、第1のエネルギーレベル124、及び/又は第1の平均エネルギーレベル126をそれ自身のメモリ(すなわち、第1のメモリ110)に記憶するか、又は第1の信号122を第1の通信データストリーム162Aを介して周辺デバイス104が、第1のエネルギーレベル124及び/又は第1の平均エネルギーレベル126を判定するように構成されている周辺デバイス104に送信するように構成されている。またこの例の中では、第2のウェアラブルデバイス102Bは、少なくとも1つのオーディオキャプチャセンサ142を介して、第2のエネルギーレベル146に関連付けられた第2の信号144を取得するか、又はオーディオキャプチャセンサの第2のセット142の2つ以上のオーディオキャプチャセンサの平均エネルギーレベルを表す第2の平均エネルギーレベル148に関連付けられた第2の信号144を取得し、第2の信号144、第2のエネルギーレベル146、及び/又は第2の平均エネルギーレベル148をそれ自身のメモリ(すなわち、第2のメモリ132)に記憶するか、又は第2の信号144を第2の通信データストリーム162Bを介して周辺デバイス104が、第2のエネルギーレベル146及び/又は第2の平均エネルギーレベル148を判定するように構成されている周辺デバイス104に送信するように構成されている。例えば、第1のエネルギーレベル124が第2のエネルギーレベル146よりも小さい場合(例えば、風により、オーディオキャプチャセンサの第2のセット142のオーディオキャプチャセンサ内の総エネルギーが増加することによって引き起こされる)、第1の信号122が第2の信号144よりも低いエネルギーレベルを有し、及びしたがって、高い信号対ノイズ比を有すると判定されると、システム100は、第1のウェアラブルデバイス102Aにプライマリ音声キャプチャデバイス166の役割を割り当てることができる。プライマリ音声キャプチャデバイスの役割166が割り当てられると、第1のウェアラブルデバイス102Aは、オーディオキャプチャセンサの第1のセット120の1つ以上のオーディオキャプチャセンサを利用して、音声データ164を取得し(例えば、ユーザの発話を取得又はピックアップして記録する)、音声データ164を処理及び/又は送信して、例えば電話通話で使用するために、周辺デバイス104上で実行可能な1つ以上のアプリケーションで使用できるようにする。
【0058】
代替において、
図4Bに例解されるように、システムのユーザは、風がユーザの左側に接近するように、すなわち、ユーザの左耳内の第2のウェアラブルデバイス102Bに向かって方向付けられるように、位置付けられ得る。上記で考察されるように、第1の信号122及び第2の信号144は、各デバイスのそれぞれのオーディオキャプチャセンサによって取得され、比較される。例えば、第1のエネルギーレベル124が第2のエネルギーレベル146より大きい場合(例えば、風により、オーディオキャプチャセンサの第1のセット120のオーディオキャプチャセンサ内の総エネルギーが増加することによって引き起こされる)、第1の信号122が第2の信号144よりも高いエネルギーレベルを有し、及びしたがって、低い信号対ノイズ比を有すると判定されると、システム100は、第2のウェアラブルデバイス102Bにプライマリ音声キャプチャデバイス166の役割を割り当てることができる。第2のウェアラブルデバイス102Bは、プライマリ音声キャプチャデバイスの役割166を割り当てられると、オーディオキャプチャセンサの第2のセット142の1つ以上のオーディオキャプチャセンサを利用して、音声データ164を取得し(例えば、ユーザの発話を取得又はピックアップして記録する)、音声データ164を処理及び/又は送信して、例えば電話通話で使用するために、周辺デバイス104上で実行可能な1つ以上のアプリケーションで使用できるようにする。
【0059】
選択されると、プライマリ音声キャプチャデバイス166は、上で概説した第1及び第2のオーディオキャプチャセンサセットのそれぞれのオーディオキャプチャセンサから取得された音声データ164を圧縮し、符号化し、周辺デバイス104上で実行される1つ以上のアプリケーションでの復号化、ミキシング、及び/又は使用のために、周辺デバイス104に送信する責任を負う。言い換えれば、プライマリ音声キャプチャデバイス166は、両方のウェアラブルデバイス102のための音声データ164を収集又は取得する責任を負い、1つ以上のアプリケーションで使用するために音声データ164を周辺デバイス104に送信する。したがって、第1のウェアラブルデバイス102Aがプライマリオーディオキャプチャデバイス166として選択された場合、第2のウェアラブルデバイス102Bは、第3の通信データストリーム162Cを利用して、周辺デバイス104に転送するためにオーディオデータ及び音声データ164を第1のウェアラブルデバイス102Aに送信することができる。同様に、第2のウェアラブルデバイス102Bがプライマリオーディオキャプチャデバイス166として選択された場合、第1のウェアラブルデバイス102Aは、第3の通信データストリーム162Cを利用して、周辺デバイス104に転送するためにオーディオデータ及び音声データ164を第2のウェアラブルデバイス102Bに送信することができる。
【0060】
音声データ164を取得するために複数のオーディオキャプチャセンサ(例えば、オーディオキャプチャセンサの特定のセットの2つ以上のオーディオキャプチャセンサ)が使用される場合、音声データ164を周辺デバイス104に送信する前に、2つ以上のオーディオキャプチャセンサによって取得された音声データ164をミキシングすることが必要な場合がある。そのために、システム100の各デバイス、すなわち、第1のウェアラブルデバイス102A、第2のウェアラブルデバイス102B、及び周辺デバイス104は、各々が、それぞれのメモリ及びプロセッサ上でミキシングアルゴリズム168を記憶し、実行することができる。ミキシングアルゴリズム168は、選択されたプライマリ音声キャプチャデバイス166上の2つ以上のオーディオキャプチャセンサのオーディオ入力を結合又はミキシングするために利用することができ、その結果、周辺デバイス104上で実行される1つ以上のアプリケーションによって出力、送信、又は利用できるようにする。ミキシングアルゴリズムはまた、利用される音声データ164の品質を向上させるために、2つ以上のオーディオキャプチャセンサからの入力のためのビームフォーミング技法を含むか又は利用することができることを理解されたい。また、選択されたプライマリ音声キャプチャデバイス166の回路内の2つ以上のオーディオキャプチャセンサからのオーディオデータをミキシングすることに対する代替において、プライマリ音声キャプチャデバイス166は、各オーディオキャプチャセンサによってキャプチャされたオーディオデータを単純に圧縮して周辺デバイス104に送信し、周辺デバイス104によってミキシングすることができることを理解されたい。メタデータ170は、プライマリ音声キャプチャデバイス166として選択されたそれぞれのデバイスの2つ以上のオーディオキャプチャセンサによってキャプチャされたオーディオデータをミキシングするとき、プライマリ音声キャプチャデバイス166(すなわち、第1のウェアラブルデバイス102A又は第2のウェアラブルデバイス102Bのいずれか)によって利用され得る。例えば、メタデータ170は、オーディオキャプチャセンサの種類(例えば、それが内部マイクロフォンであるか外部マイクロフォンであるか)を含み、所与の信号が最終出力にどのくらい追加されるか、又はどのくらい少なく、又は最終出力から抑制されるかを支援することができる。一例では、2つ以上のオーディオキャプチャセンサからのオーディオデータは、ミキシングアルゴリズム168を使用してミキシングするために周辺デバイス104に送信される。この例では、ミキシングアルゴリズム168は、メタデータ170を含むことができるか、又はそれによって影響を受けることができる出力172を発生させるように構成されている。周辺デバイス104は、ウェアラブルデバイス102のうちの1つ以上に出力172を送信するように構成することができ、出力172は、ウェアラブルデバイス102によって使用されるゲインパラメータ176(下記で考察される)、音量レベル、又はアクティブノイズ低減レベルを自動的に調整するために使用することができる。前述のミキシングアルゴリズム168の出力172は、ウェアラブルデバイスの音量レベル又はANR設定に関する決定を行うために使用され得る。例えば、周辺デバイス104上で動くマイクロフォンミキシングアルゴリズム168によって検出されたノイズレベルに基づいて、環境ノイズを補償するために音量レベルを調整するように指示する信号をウェアラブルデバイス102に送信することができる。同様に、環境ノイズに関する情報は、ANRレベルを自動的に調整するために、ウェアラブルデバイス102に信号として送り返され得る。以下で考察されるように、これらのパラメータの各々の自動調整は、第1のウェアラブルデバイス102Aと第2のウェアラブルデバイス102Bとの間の役割の切り替え、例えば、どのデバイスがプライマリ音声キャプチャデバイス166であるかの切り替えに依存し得る。
【0061】
どのウェアラブルデバイス102がプライマリ音声キャプチャデバイス166の役割を割り当てられるかの分析において、使用されるオーディオキャプチャセンサは、上に列挙されたオーディオキャプチャセンサの任意の考えられる組み合わせであり得ることを理解されたい。例えば、最初に第1のウェアラブルデバイス102Aがプライマリ音声キャプチャデバイス166として選択される場合、オーディオキャプチャセンサの第1のセット120は、第1のオーディオキャプチャセンサ120A及び第2のオーディオキャプチャセンサ120Bを含むことができ、ここで、第1のオーディオキャプチャセンサ120Aは外部フィードフォワードマイクロフォンであり、ここで、第2のオーディオキャプチャセンサ120Bは、内部フィードバックマイクロフォンである。この例では、各オーディオキャプチャセンサのメタデータ170は、第1のオーディオキャプチャセンサ120Aによって生成又は取得された信号が外部マイクロフォンであり、第2のオーディオキャプチャセンサ120Bによって生成又は取得された信号が内部マイクロフォンであることを識別することができ、ミキシングアルゴリズム168は、より忠実度の高い出力を生成するために、外部フィードフォワードマイクロフォンでキャプチャされたオーディオを、ミキシングプロセスで内部フィードバックマイクロフォンよりも重く評価する必要があるかを重み付けすることを選ぶことができる。いくつかの例では、プライマリ音声キャプチャデバイス166は、オーディオキャプチャセンサの第1のセット120からの1つのオーディオキャプチャセンサと、オーディオキャプチャセンサの第2のセット142からの1つのオーディオキャプチャセンサと、を使用し得る。例えば、最初に第1のウェアラブルデバイス102Aがプライマリ音声キャプチャデバイス166として選択される場合、オーディオキャプチャセンサの第1のセット120は、第1のオーディオキャプチャセンサ120A及び第2のオーディオキャプチャセンサ120Bを含むことができ、ここで、第1のオーディオキャプチャセンサ120Aは外部フィードフォワードマイクロフォンであり、ここで、第2のオーディオキャプチャセンサ120Bは、内部フィードバックマイクロフォンである。付加的に、第2のウェアラブルデバイス102Bのオーディオキャプチャセンサの第2のセット142は、第1のオーディオキャプチャセンサ142A及び第2のオーディオキャプチャセンサ142Bを含むことができ、ここで第1のオーディオキャプチャセンサ142Aは外部フィードフォワードマイクロフォンであり、第2のオーディオキャプチャセンサ142Bは内部フィードバックマイクロフォンである。この例では、第1のウェアラブルデバイス102Aがプライマリオーディオキャプチャデバイスとして選択されるため、第2のウェアラブルデバイス102Bのオーディオキャプチャセンサの第2のセット142の第1のオーディオキャプチャセンサ142A及び/又は第2のオーディオキャプチャセンサ142Bからキャプチャされたオーディオデータは、第3の通信データストリーム162Cを介して第1のウェアラブルデバイス102Aに送信され得、その結果、ミキシングアルゴリズム168は、オーディオキャプチャセンサの第1のセット120からの少なくとも1つのオーディオキャプチャセンサと、オーディオキャプチャセンサの第2のセット142の少なくとも1つのオーディオキャプチャセンサと、を利用することができる。
【0062】
付加的に、2つ以上のオーディオキャプチャセンサからシステム100内の別のデバイスへのオーディオデータの送信を支援するために、各デバイスはまた、圧縮アルゴリズム174を利用することができる。使用される圧縮アルゴリズムは、オーディオ圧縮のために設計された従来の圧縮アルゴリズム、例えば、低複雑度サブバンドコーデック(subband codec、SBC)、LC3コーデック、アドバンストオーディオコーディング(advanced audio coding、AAC)、若しくはLDACコーデックであり得るか、又は非従来型圧縮アルゴリズム、例えば、OGG、MP3、M4Aなどであり得る。圧縮アルゴリズム174は、オーディオデータを圧縮し、システム内の1つのデバイスから別のデバイスに、すなわち、通信データストリーム162A~162Cを介して送信するときに、前述の圧縮コーデック又はフォーマットのいずれかを使用し得る。
【0063】
動作中、プライマリ音声キャプチャデバイス166の選択又はプライマリ音声キャプチャデバイス166の役割の切り替えは、動的プロセスであり得る。例えば、リアルタイムで、第1のウェアラブルデバイス102A及び第2のウェアラブルデバイス102Bは、1つ以上のアルゴリズムを利用して、オーディオキャプチャセンサの第1のセット120のオーディオキャプチャセンサの各々及び第2のオーディオキャプチャセンサ142の各オーディオキャプチャ秒からキャプチャされたオーディオデータを周期的に又は連続的に取得し、第1の信号122又は第2の信号144がより大きいエネルギーレベルを有するかどうか、すなわち、第1のエネルギーレベル124又は第2のエネルギーレベル146がより大きいかどうかを判定することができる。したがって、音声データ164を取得し、1つ以上のアプリケーションとともに使用するために音声データ164を周辺デバイスに送信するために使用されるオーディオキャプチャセンサの選択も動的である。
【0064】
一例では、動作中、システム100は、1つのウェアラブルデバイス102から他へのプライマリ音声キャプチャデバイス155の切り替えを動的に実施することができ、ここで周辺デバイス104は切り替えを認識しており、使用されている通信データストリームは、古典的なBluetooth通信プロトコルを利用する。例えば、システム100は、周辺デバイス104と第1のウェアラブルデバイス102Aとの間の第1の通信データストリーム162A、及び周辺デバイス104と第2のウェアラブルデバイス102Bとの間の第2の通信データストリーム162Bが、古典的Bluetoothデータストリームであるように構成することができる。この例では、ウェアラブルデバイス102のうちの1つが、音声データ164を取得し、それを1つ以上のアプリケーションとともに使用するために周辺デバイス104に送信する責任を負う。プライマリ音声キャプチャデバイス166の信号対ノイズ比が低すぎて、音声データ164が他のデバイス、すなわちプライマリ音声キャプチャデバイスではないデバイスから取得される必要がある場合。他のウェアラブルデバイス102から音声データを取得し、第3の通信データストリーム162Cを介して他のウェアラブルデバイス102からプライマリ音声キャプチャデバイス166に音声データ164を送信し、次いで、第1の通信データストリーム162Aを介して周辺デバイスに音声データを送信することは望ましくない。音声データ164のこの中継の総待ち時間は非常に長く、ユーザ経験を減少させる結果となる。したがって、プライマリ音声キャプチャデバイス166の役割切り替えが必要である。例えば、ウェアラブルデバイス102のうちの1つ、すなわちプライマリ音声キャプチャデバイス166は、最初に、音声データ164を受信し、1つ以上のアプリケーションとともに使用するために音声データ164を周辺デバイスに送信する責任を負う。付加的に、この例では、プライマリ音声キャプチャデバイス166は、両方のウェアラブルデバイス102において再生するための任意の再生オーディオデータを受信することと、再生オーディオデータを他のウェアラブルデバイス102に送信することと、の責任を負うことができる。言い換えれば、他のウェアラブルデバイス102は、プライマリ音声キャプチャデバイス166との別個の接続を介して、例えば第3の通信データストリーム162Cを介して、全てのオーディオデータを周辺デバイス104に送信及び受信する。プライマリ音声キャプチャデバイス166の役割が、例えば、第1のウェアラブルデバイス102Aから第2のウェアラブルデバイス102Bに切り替えられた場合、音声データ164を周辺デバイス104に送信する責任も切り替わる。この例では、プライマリ音声キャプチャデバイス166の役割が第1のウェアラブルデバイス102Aから第2のウェアラブルデバイス102Bに切り替える判定が行われると(例えば、第2のエネルギーレベル146が第1のエネルギーレベル124未満であるとき)、周辺デバイス104に、役割切り替えが行われようとしていることを周辺デバイス104が肯定応答することを要求する要求を送信することができる。周辺デバイス104から要求に対する応答を受信すると、第1及び第2のウェアラブルデバイス102は、ハンドシェイクを実施し、第1のウェアラブルデバイス102Aから第2のウェアラブルデバイス102Bへのプライマリ音声キャプチャデバイス166の役割の切り替えを開始することができる。したがって、第2のウェアラブルデバイス102Bは、新しいプライマリ音声キャプチャデバイス166になり、第1のウェアラブルデバイス102Aとの間の全てのオーディオデータを周辺デバイス104に中継する責任を負い、1つ以上のアプリケーションとともに使用するために音声データ164を周辺デバイス104に送信する責任を負う。
【0065】
別の例では、動作中に、システム100は、周辺デバイスが切り替えを認識し、使用されている通信データストリームがネゴシエートされた等時性データストリームを利用する場合、1つのウェアラブルデバイス102から他へのプライマリ音声キャプチャデバイスの役割166の切り替えを動的に実施することができる。例えば、システム100は、周辺デバイス104と第1のウェアラブルデバイス102Aとの間の第1の通信データストリーム162A及び周辺デバイス104と第2のウェアラブルデバイス102Bとの間の第2の通信データストリーム162Bが、ネゴシエートされた接続された等時性ストリームであるように構成され得る。したがって、周辺デバイス104は、各ウェアラブルデバイス102に固有のデータストリームを各ウェアラブルデバイス102に送信するように構成されている。他の例では、1つの通信データストリーム、例えば、周辺デバイス104とウェアラブルデバイス102との間の第1の通信データストリーム162Aのみが存在し得、すなわち、第1の通信データストリーム162Aは得、ブロードキャスト等時性ストリームである。したがって、周辺デバイス104は、ストリームの一部が第1のウェアラブルデバイス102Aに固有であり、ストリームの一部がウェアラブルデバイス102Bに固有であるデータの単一のストリームを送信するように構成されている。これらの例のいずれにおいても、周辺デバイス104は、最初に、選択されたプライマリ音声キャプチャデバイス166、例えば、第1のウェアラブルデバイス102Aから音声データ164を受信するように構成されている。プライマリ音声キャプチャデバイス166の役割が第1のウェアラブルデバイス102Aから第2のウェアラブルデバイス102Bに切り替えられる場合、両方のウェアラブルデバイス102から音声データ164を送信する役割も切り替えられ得る。この例では、プライマリ音声キャプチャデバイス166の役割が第1のウェアラブルデバイス102Aから第2のウェアラブルデバイス102Bに切り替える判定が行われると(例えば、第2のエネルギーレベル146が第1のエネルギーレベル124未満であるとき)、周辺デバイス104に、役割切り替えが行われようとしていることを周辺デバイス104が確認応答することを要求する要求を送信することができる。周辺デバイス104から要求に対する応答を受信すると、第1及び第2のウェアラブルデバイス102は、ハンドシェイクを実施し、第1のウェアラブルデバイス102Aから第2のウェアラブルデバイス102Bへのプライマリ音声キャプチャデバイス166の役割の切り替えを開始することができる。言い換えれば、周辺デバイス104は、切り替えが行われていること、又は行われようとしていることを知るように構成されており、それに応じて、例えば、新しいプライマリ音声キャプチャデバイス166から音声データパケットを受信することを期待している期間を調整することによって、その無線機、例えば、周辺無線機160を調整する。
【0066】
代替的に、プライマリ音声キャプチャデバイス166の選択のための動的選択プロセスは、周辺デバイス104に通知又は警告することなく、例えば、周辺デバイスが、切り替えが発生しようとしているか又は発生していることを「知る」ことなく、達成することができる。例えば、プライマリ音声キャプチャデバイス166の役割を1つのウェアラブルデバイス102から他に切り替える判定は、切り替えが発生しているという指示又は要求を周辺デバイス104に提供することなく、例えば第3の通信データストリーム162Cを通じて、2つのウェアラブルデバイス102内又はその間でストリームの途中で行われる。この例では、ウェアラブルデバイスは、役割を完全に切り替え、すなわち、第1のウェアラブルデバイス102Aは、第2のウェアラブルデバイス102Bのために元々指定されたデータパケット(接続された等時性ストリームを仮定する)を受信及び肯定応答し、第2のウェアラブルデバイス102Bは、周辺デバイス104が、変化が生じたことを認識しないように、第1のウェアラブルデバイス102Aのために元々指定されたパケット(接続された等時性ストリームを仮定する)を受信及び肯定応答する。周辺デバイス104からウェアラブルデバイス102への単一のブロードキャスト等時性ストリームが使用される場合、各デバイスは、いずれのデバイスもパケットの受信を肯定応答することなく、他のデバイスに元々指定されたパケットを単に受信する。
【0067】
役割を切り替えるのを支援するために、各デバイスは、各デバイスに対して指定された所与のデータストリームの特定の部分へのアクセスを許可するために特定のアクセスコードを交換することができる。例えば、システム100のデバイスが、接続された等時性データストリームを利用する場合、例えば、通信データストリーム162A~162Cのうちの1つ以上が接続された等時性データストリームである場合、第1のウェアラブルデバイス102Aは、第1のアクセスコードを利用して、第1の通信データストリーム162A内の周辺デバイス104によって提供されるデータを認証又はアクセスし、その使用を可能にすることができる。同様に、第2のウェアラブルデバイス102Bは、第2のアクセスコードを利用して、第2の通信データストリーム162B内の周辺デバイス104によって提供されるデータを認証又はアクセスし、その使用を可能にすることができる。第1のウェアラブルデバイス102Aと第2のウェアラブルデバイス102Bとの間で何らかの役割切り替えが発生する前に、これらのデバイスは、第3の通信データストリーム162Cを介して第1及び第2のアクセスコードを交換することができ、それにより、役割切り替えが発生した後、各デバイスは、新しいデータストリームのパケットをシームレスに受信及びアクセスすることができ、例えば、切り替えの後、第1のウェアラブルデバイス102Aは、第2の通信データストリーム162B内で送信されたパケットにアクセスし、受信し、肯定応答することができ、第2のウェアラブルデバイス102Bは、第1の通信データストリーム162A内で送信されたパケットにアクセスし、受信し、肯定応答することができる。
【0068】
一例では、各ウェアラブルデバイス102のゲインパラメータ176、音量設定及び/又はアクティブノイズ低減(ANR)設定もまた、役割を切り替える前に、第1のウェアラブルデバイス102Aと第2のウェアラブルデバイス102Bとの間で交換することができる。ゲインパラメータ176は、特定の信号、例えば、音声データ164に関連する第1の信号122又は第2の信号144に適用されるゲイン、或いは周辺デバイス104から送信又は受信される他のオーディオデータ、例えば、ユーザとの電話会話における他の話者の音声又は他のメディア入力に適用されるゲインを表す設定又は値であることが意図される。これらのパラメータ及び設定を交換することによって、例えば、第1のウェアラブルデバイス102Aから第2のウェアラブルデバイス102Bへの役割切り替えが行われると、新しいプライマリ音声キャプチャデバイス166(例えば、第2のウェアラブルデバイス102B)は、切り替えが有効になると、システムのユーザが音声再生又はオーディオ再生の変化又は中断を認識することがなくなるように、第1のウェアラブルデバイス102Aによって使用されるのと同じゲインパラメータ176、音量設定、及び/又はANR設定を適用することができる。
【0069】
図5は、本開示による方法200に対応するフロー図を例解する。示されるように、方法200は、例えば、第1のウェアラブルデバイス102Aの少なくとも1つのオーディオキャプチャセンサ120Aを使用して、ユーザの音声に対応する第1の信号122を検出することと(ステップ202)、第2のウェアラブルデバイス102Bの少なくとも1つのオーディオキャプチャセンサ142Aを使用して、ユーザの音声と対応する第2の信号144を検出することであって、第2のウェアラブルデバイス102Bは、第1のウェアラブルデバイス102Aに無線接続される、前記検出することと(ステップ204)、第1の信号122のエネルギーレベル124を判定することと(ステップ206)、第2の信号144のエネルギーレベル146を判定することと(ステップ208)、第1の信号122のエネルギーレベル124及び第2の信号144のエネルギーレベル146に少なくとも部分的に基づいて、第1のウェアラブルデバイス102Aの少なくとも1つのオーディオキャプチャセンサ(120A、120B)及び/又は第2のウェアラブルデバイス102Bの少なくとも1つのオーディオキャプチャセンサ(142A、142B)を選択して音声データ164を取得することと(ステップ210)、を含むことができる。
【0070】
本明細書で定義及び使用される全ての定義は、辞書の定義、参照により組み込まれる文書における定義、及び/又は定義された用語の通常の意味を制御するものと理解されるべきである。
【0071】
本明細書及び特許請求の範囲で使用される「a」及び「an」という不定冠詞は、別途明確に示されない限り、「少なくとも1つ」を意味すると理解されるべきである。
【0072】
本明細書及び特許請求の範囲で使用される「及び/又は」という句は、そのように結合された要素の「いずれか又は両方」、すなわち、ある場合には結合的に存在し、他の場合には分離的に存在する要素を意味すると理解されるべきである。「及び/又は」でリストされた複数の要素は、同じ様式、すなわち、そのように結合された要素のうちの「1つ以上」で解釈されるべきである。他の要素が、具体的に特定された要素に関係するか無関係であるかにかかわらず、「及び/又は」条項によって具体的に特定された要素以外に任意選択的に存在し得る。
【0073】
本明細書及び特許請求の範囲で使用される場合、「又は」は、上記で定義された「及び/又は」と同じ意味を有すると理解されるべきである。例えば、リスト内の項目を分離する場合、「又は」若しくは「及び/又は」は、包括的であると解釈されるべきであり、すなわち、要素の数又はリストのうちの少なくとも1つを含むが、また1つを超えて含み、任意選択的に、追加のリストにない項目を含む。「のうちの1つのみ」又は「のうちの正確に1つ」、若しくは特許請求の範囲で使用される場合、「からなる」などの用語が別途明確に示される場合のみ、要素の数又はリストのうちの正確に1つの要素を含むことを指す。概して、本明細書で使用される「又は」という用語は、「いずれか」、「のうちの1つ」、「のうちの1つのみ」、又は「のうちの正確に1つ」などの排他性の用語が前に付いている場合に、排他的な代替(すなわち、「一方又は他方であるが両方ではない」)を示すものとしてのみ解釈される。
【0074】
本明細書及び特許請求の範囲で使用される場合、1つ以上の要素のリストに関する「少なくとも1つ」という句は、要素のリスト内の要素のうちの任意の1つ以上から選択された少なくとも1つの要素を意味するが、必ずしも要素のリスト内に具体的にリストされた各及び全ての要素のうちの少なくとも1つを含むわけではなく、要素のリスト内の要素の任意の組み合わせを除外するものではないと理解されるべきである。この定義はまた、具体的に特定された要素に関係するか無関係であるかにかかわらず、要素が、「少なくとも1つ」という句が指す要素のリスト内で具体的に特定される要素以外に任意選択的に存在し得ることを可能にする。
【0075】
別途明確に示されない限り、1つを超えるステップ又は作用を含む本明細書で特許請求される任意の方法において、方法のステップ又は作用の順序は、必ずしも方法のステップ又は作用が列挙される順序に限定されないことも理解されたい。
【0076】
特許請求の範囲において、並びに上記の明細書において、「備える(comprising)」、「含む(including)」、「担持する(carrying)」、「有する(having)」、「含有する(containing)」、「関与する(involving)」、「保持する(holding)」、「構成されている(composed of)」などのような全ての移行句は、制限のないこと、すなわち、含むが限定されないことを意味すると理解されるべきである。「~からなる(consisting of)」及び「本質的に~からなる(consisting essentially of)」という移行句に限っては、それぞれ限定的又は半限定的な移行句となる。
【0077】
記載の主題の上述の例は、多数の方法のいずれかで実施することができる。例えば、いくつかの態様において、ハードウェア、ソフトウェア、又はこれらの組み合わせで実装され得る。いずれかの態様の少なくとも一部がソフトウェアとして実装される場合、ソフトウェアコードは、単一デバイス若しくはコンピュータに提供されるか、又は複数のデバイス/コンピュータに分散されるかにかかわらず、任意の好適なプロセッサ、若しくはプロセッサの集合で実行することができる。
【0078】
本開示は、想定される任意の技術的に詳細なレベルの統合で、システム、方法、及び/又はコンピュータプログラム製品として実装され得る。コンピュータプログラム製品は、本明の態様をプロセッサに実行させるコンピュータ可読プログラム命令を有するコンピュータ可読記憶媒体(又はメディア)を含み得る。
【0079】
コンピュータ可読記憶媒体は、命令実行デバイスによって使用するための命令を保持及び記憶することができる有形デバイスとすることができる。コンピュータ可読記憶媒体は、例えば、電子記憶デバイス、磁気記憶デバイス、光学記憶デバイス、電磁記憶デバイス、半導体記憶デバイス、又は前述の任意の好適な組み合わせであり得るが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例の非網羅的リストには、以下のものが含まれる:ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ(random access memory、RAM)、読み取り専用メモリ(read-only memory、ROM)、消去可能プログラマブル読み取り専用メモリ(erasable programmable read-only memory、EPROM、又はフラッシュメモリ)、静的ランダムアクセスメモリ(static random access memory、SRAM)、ポータブルコンパクトディスク読み取り専用メモリ(compact disc read-only memory、CD-ROM)、デジタル多用途ディスク(digital versatile disk、DVD)、メモリスティック、フロッピーディスク、パンチカード又は溝内で隆起した構造物な命令が記録された機械的に符号化されたデバイス、並びに、上記の任意の好適な組み合わせ。本明細書で使用する場合、コンピュータ可読記憶媒体は、電波などの自由に伝播する電磁波、導波管などの伝送媒体を伝播する電磁波(例えば、光ファイバケーブルを通過する光パルス)、電線を伝送する電気信号などの一過性の信号そのものであると解釈されない。
【0080】
本明細書に記載のコンピュータ可読プログラム命令は、ネットワーク、例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、及び/若しくは無線ネットワークを介して、コンピュータ可読記憶媒体からそれぞれの計算/処理デバイスに、又は外部コンピュータ、若しくは外部記憶デバイスにダウンロードすることができる。ネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、及び/又はエッジサーバを含み得る。各計算/処理デバイスのネットワークアダプタカード、又はネットワークインターフェイスは、ネットワークからコンピュータ可読プログラム命令を受信し、このコンピュータ可読プログラム命令を転送して、それぞれの計算/処理デバイス内のコンピュータ可読記憶媒体に記憶する。
【0081】
本開示の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ(instruction-set-architecture、ISA)命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路の設定データ、又は、Smalltalk、C++などのオブジェクト指向プログラミング言語、「C」プログラミング言語などの手続き型プログラミング言語、又は類似のプログラミング言語を含む、1つ以上のプログラミング言語の任意の組み合わせで記述されたソースコード若しくはオブジェクトコードであり得る。コンピュータ可読プログラム命令は、全てがユーザのコンピュータで実行され得るか、一部がユーザのコンピュータで実行され得るか、スタンドアロンのソフトウェアパッケージとして実行され得るか、一部がユーザのコンピュータ上で、一部がリモートコンピュータで実行され得るか、又は、全体がリモートコンピュータ若しくはサーバで実行され得る。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク(local area network、LAN)若しくはワイドエリアネットワーク(wide area network、WAN)を含む任意の種類のネットワークを通じて、ユーザのコンピュータに接続され得るか、又は(例えば、インターネットサービスプロバイダを使用してインターネットを通じて)外部コンピュータに接続され得る。いくつかの例では、例えば、プログラマブルロジック回路、フィールドプログラマブルゲートアレイ(field-programmable gate array、FPGA)、又はプログラマブルロジックアレイ(programmable logic array、PLA)を含む、電子回路は、本開示の態様を実行するために、コンピュータ可読プログラム命令の状態情報を使用して電子回路を個別化することによって、コンピュータ可読プログラム命令を実行し得る。
【0082】
本開示の態様は、本開示の例による方法、機器(システム)、及びコンピュータプログラム製品のフローチャート例解図、及び/又はブロック図を参照して本明細書で記載されている。フローチャート例解図、及び/又はブロック図の各ブロック、並びにフローチャート例解図、及び/又はブロック図のブロックの組み合わせは、コンピュータ可読プログラム命令によって実装することができるということが理解されよう。
【0083】
コンピュータ可読プログラム命令は、専用目的のコンピュータ、又は他のプログラマブルデータ処理機器のプロセッサに提供されて、機械を製造し得、これにより、コンピュータ若しくは他のプログラマブルデータ処理機器のプロセッサを介して実行する命令は、フローチャート、及び/又はブロック図の1つ以上のブロックで指定された機能/操作を実施するための手段を作り出す。更に、これらのコンピュータ可読プログラム命令は、コンピュータ、プログラマブルデータ処理機器、及び/又は他のデバイスに対して特定の方法で機能するように、指示することができるコンピュータ可読記憶媒体に記憶され得、これにより、命令が記憶されているコンピュータ可読記憶媒体は、フローチャート、及び/若しくはブロック図、又はブロックで指定された機能/操作の態様を実装する命令を有する製造物品を含む。
【0084】
また、コンピュータ可読プログラム命令は、コンピュータ、他のプログラマブルデータ処理機器、又は他のデバイスにロードされて、コンピュータ、他のプログラマブル機器、又は他のデバイス上で実行されるべき一連の操作ステップに対して、コンピュータ実装プロセスを生成させ得、これにより、コンピュータ、他のプログラマブル機器、又は他のデバイス上で実行する命令は、フローチャート、及び/若しくはブロック図の1つ以上のブロックで指定された機能/操作を実装する。
【0085】
図中のフローチャート及びブロック図は、本開示の様々な例によるシステム、方法、及びコンピュータプログラム製品について想定される実装形態のアーキテクチャ、機能、並びに動作を例解する。これに関して、フローチャート又はブロック図の各ブロックは、指定された論理機能を実装するための1つ以上の実行可能命令を含む、命令のモジュール、セグメント、又は部分に相当し得る。いくつかの代替的な実装形態では、ブロックに記載されている機能は、図に記載された順序から生じ得る。例えば、連続して示される2つのブロックは、実際には実質的に同時に実行され得るか、又は、場合によっては、ブロックは、関与する機能に応じて、逆の順序で実行され得る。更に、ブロック図、及び/又はフローチャート例解図の各ブロック、並びに、ブロック図、及び/又はフローチャート例解図におけるブロックの組み合わせは、特定機能を実行するか、又は専用ハードウェアとコンピュータ命令との組み合わせを操作若しくは実行する専用ハードウェアベースのシステムで実装することができることにも留意されたい。
【0086】
他の実装形態は、以下の請求項、並びに本出願人が権利を有し得る他の請求項の範囲内にある。
【0087】
本明細書において、様々な例について記載及び例解してきたが、当業者であれば、様々な他の手段、及び/若しくは、機能を実施し、かつ/又は結果、及び/若しくは、本明細書に記載の1つ以上の利点を得るための構造を容易に着想し、こうした変更形態、及び/若しくは変形形態の各々は、本明細書に記載の例の範囲内にあるとみなされる。より一般的には、当業者であれば、本明細書に記載のパラメータ、寸法、材料、及び構成の全てが例示的であること、更に、実際のパラメータ、寸法、材料、及び/又は構成は、特定の用途、又は本発明の教示が使用される用途に依存することを容易に理解するであろう。当業者であれば、日常的な実験を行うだけで、本明細書に記載されている特定例に相当する多くの等価物を認識又は確認することができるであろう。したがって、前述の例は、例示のみとして提示されたものであり、添付の特許請求の範囲及びその同等物の範囲内で、明確に記載、特許請求された以外の方法で例を実施することができるということを理解されたい。本開示の例は、本明細書に記載の各個々の特徴、システム、物品、材料、キット、及び/又は方法を対象とする。更に、2つ以上のこうした特徴、システム、物品、材料、キット、及び/又は方法のいかなる組み合わせも、こうした特徴、システム、物品、材料、キット、及び/又は方法が相互に矛盾しない場合、本開示の発明の範囲内に含まれる。
【符号の説明】
【0088】
100 システム
104 周辺デバイス
102A、102B ウェアラブルデバイス
162A、162B、162C 通信データストリーム
166 プライマリ音声キャプチャデバイス
【国際調査報告】