(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-12-14
(54)【発明の名称】音響シーンメトリックの推定のための音響ダイレクトシーケンススペクトラム拡散信号のオーケストレーション
(51)【国際特許分類】
G10K 15/00 20060101AFI20231207BHJP
【FI】
G10K15/00 L
【審査請求】未請求
【予備審査請求】有
(21)【出願番号】P 2023533890
(86)(22)【出願日】2021-12-02
(85)【翻訳文提出日】2023-08-02
(86)【国際出願番号】 US2021061614
(87)【国際公開番号】W WO2022120051
(87)【国際公開日】2022-06-09
(32)【優先日】2020-12-03
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2020-12-03
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2021-05-04
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2021-09-07
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
(71)【出願人】
【識別番号】507236292
【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション
(74)【代理人】
【識別番号】100101683
【氏名又は名称】奥田 誠司
(74)【代理人】
【識別番号】100155000
【氏名又は名称】喜多 修市
(74)【代理人】
【識別番号】100188813
【氏名又は名称】川喜田 徹
(74)【代理人】
【識別番号】100202197
【氏名又は名称】村瀬 成康
(72)【発明者】
【氏名】サウスウェル,ベンジャミン ジョン
(72)【発明者】
【氏名】グナワン,デイビッド
(72)【発明者】
【氏名】トーマス,マーク アール. ピー.
(72)【発明者】
【氏名】ハインズ,クリストファー グラハム
(57)【要約】
いくつかの方法は、第1のオーディオ信号群を含む第1のコンテンツストリームを受信することと、前記第1のオーディオ信号群をレンダリングして第1のオーディオ再生信号群を生成することと、第1のダイレクトシーケンススペクトラム拡散(DSSS)信号群を生成することと、前記第1のオーディオ再生信号群に前記第1のDSSS信号群を挿入することによって第1の修正オーディオ再生信号群を生成することと、前記第1の修正オーディオ再生信号群をラウドスピーカシステムに再生させることによって第1のオーディオデバイス再生音を生成することとを含み得る。方法(単数または複数)は、少なくとも第1のオーディオデバイス再生音と、第2~第Nのオーディオデバイスによって再生される第2~第Nの修正オーディオ再生信号(第2~第NのDSSS信号を含む)に対応する第2~第Nのオーディオデバイス再生音とに対応するマイクロフォン信号群を受信することと、前記マイクロフォン信号から第2~第NのDSSS信号を抽出することと、第2~第NのDSSS信号に少なくとも部分的に基づいて少なくとも1つの音響シーンメトリックを推定することとを含み得る。
【特許請求の範囲】
【請求項1】
制御システムによって、オーディオ環境の第1のオーディオデバイスに第1のダイレクトシーケンススペクトラム拡散(DSSS)信号群を生成させることと、
前記制御システムによって、前記第1のDSSS信号群を第1のコンテンツストリームに対応する第1のオーディオ再生信号群に挿入させ、前記第1のオーディオデバイスのための第1の修正オーディオ再生信号群を生成させることと、
前記制御システムによって、前記第1のオーディオデバイスに前記第1の修正オーディオ再生信号群を再生させ、第1のオーディオデバイス再生音を生成することと、
前記制御システムによって、前記オーディオ環境の第2のオーディオデバイスに第2のDSSS信号群を生成させることと、
前記制御システムによって、前記第2のDSSS信号群を第2のコンテンツストリームに挿入させ、前記第2のオーディオデバイスのための第2の修正オーディオ再生信号群を生成させることと、
前記制御システムによって、前記第2のオーディオデバイスに前記第2の修正オーディオ再生信号群を再生させ、第2のオーディオデバイス再生音を生成することと、
前記制御システムによって、前記オーディオ環境の少なくとも1つのマイクロフォンに、少なくとも前記第1のオーディオデバイス再生音および前記第2のオーディオデバイス再生音を検出させ、少なくとも前記第1のオーディオデバイス再生音および前記第2のオーディオデバイス再生音に対応するマイクロフォン信号群を生成させることと、
前記制御システムによって、前記マイクロフォン信号群から前記第1のDSSS信号群および前記第2のDSSS信号群を抽出させることと、
前記制御システムによって、前記第1のDSSS信号群および前記第2のDSSS信号群に少なくとも部分的に基づいて少なくとも1つの音響シーンメトリックを推定することと、
を含む、オーディオ処理方法。
【請求項2】
前記少なくとも1つの音響シーンメトリックは、飛行時間、到来時刻、レンジ、オーディオデバイスの可聴性、オーディオデバイスのインパルス応答、オーディオデバイス間の角度、オーディオデバイスの位置、オーディオ環境のノイズまたは信号対ノイズ比のうち1つ以上を含む、請求項1に記載のオーディオ処理方法。
【請求項3】
前記少なくとも1つの音響シーンメトリックを推定させることは、前記少なくとも1つの音響シーンメトリックを推定することまたは別のデバイスに少なくとも1つの音響シーンメトリックを推定させることを含む、請求項1または2に記載のオーディオ処理方法。
【請求項4】
前記少なくとも1つの音響シーンメトリックに少なくとも部分的に基づいてオーディオデバイス再生の1つ以上の態様を制御することを含む、請求項1から3のいずれか1つに記載のオーディオ処理方法。
【請求項5】
前記第1のオーディオデバイス再生音の第1のコンテンツストリーム成分は、前記第1のオーディオデバイス再生音の第1のDSSS信号成分の知覚的マスキングを引き起こす、請求項1から4のいずれか1つに記載のオーディオ処理方法。
【請求項6】
前記第2のオーディオデバイス再生音の第2のコンテンツストリーム成分は、前記第2のオーディオデバイス再生音の第2のDSSS信号成分の知覚的マスキングを引き起こす、請求項1から5のいずれか1つに記載のオーディオ処理方法。
【請求項7】
前記制御システムはオーケストレーションデバイス制御システムである、請求項1から6のいずれか1つに記載のオーディオ処理方法。
【請求項8】
制御システムによって、前記オーディオ環境の第3~第Nのオーディオデバイスに第3~第Nのダイレクトシーケンススペクトラム拡散(DSSS)信号を生成させることと、
前記制御システムによって、前記第3~第NのDSSS信号を第3~第Nのコンテンツストリームに挿入させることにより、前記第3~第Nのオーディオデバイスのための第3~第Nの修正オーディオ再生信号を生成することと、
前記制御システムによって、前記第3~第Nのオーディオデバイスに前記第3~第Nの修正オーディオ再生信号の対応するインスタンスを再生させ、オーディオデバイス再生音の第3~第Nのインスタンスを生成すること
と、
をさらに含む、請求項1から7のいずれか1つに記載のオーディオ処理方法。
【請求項9】
前記制御システムによって、前記第1~第Nのオーディオデバイスの各々の少なくとも1つのマイクロフォンにオーディオデバイス再生音の第1~第Nのインスタンスを検出させ、前記オーディオデバイス再生音の第1~第Nのインスタンスに対応するマイクロフォン信号群を生成することであって、前記オーディオデバイス再生音の第1~第Nのインスタンスは、前記第1のオーディオデバイス再生音、前記第2のオーディオデバイス再生音およびオーディオデバイス再生音の前記第3~第Nのインスタンスを含むことと、
前記制御システムによって、前記第1~第NのDSSS信号を前記マイクロフォン信号群から抽出させることであって、前記少なくとも1つの音響シーンメトリックは第1~第NのDSSS信号に少なくとも部分的に基づいて推定されることと、
をさらに含む、請求項8に記載のオーディオ処理方法。
【請求項10】
前記オーディオ環境内の複数のオーディオデバイスのための1つ以上のDSSSパラメータを決定することであって、前記1つ以上のDSSSパラメータはDSSS信号群の生成に使用可能であることと、
前記1つ以上のDSSSパラメータを前記複数のオーディオデバイスの各オーディオデバイスに提供することと、
をさらに含む、請求項1から9のいずれか1つに記載のオーディオ処理方法。
【請求項11】
前記1つ以上のDSSSパラメータを決定することは、前記複数のオーディオデバイスの各オーディオデバイスについて、修正オーディオ再生信号群を再生するためのタイムスロットをスケジュールすることを含み、第1のオーディオデバイスのための第1のタイムスロットは第2のオーディオデバイスのための第2のタイムスロットとは異なる、請求項10に記載のオーディオ処理方法。
【請求項12】
前記1つ以上のDSSSパラメータを決定することは、前記複数のオーディオデバイスの各オーディオデバイスについて、修正オーディオ再生信号群を再生するための周波数帯域を決定することを含む、請求項10に記載のオーディオ処理方法。
【請求項13】
第1のオーディオデバイスのための第1の周波数帯域は第2のオーディオデバイスのための第2の周波数帯域とは異なる、請求項12に記載のオーディオ処理方法。
【請求項14】
前記1つ以上のDSSSパラメータを決定することは、前記複数のオーディオデバイスの各オーディオデバイスについて拡散コードを決定することを含む、請求項10から12のいずれか1つに記載のオーディオ処理方法。
【請求項15】
第1のオーディオデバイスのための第1の拡散コードは第2のオーディオデバイスのための第2の拡散コードとは異なる、請求項14に記載のオーディオ処理方法。
【請求項16】
対応するオーディオデバイス可聴性に少なくとも部分的に基づく、少なくとも1つの拡散コード長を決定することをさらに含む、請求項14または15に記載の装置。
【請求項17】
前記1つ以上のDSSSパラメータを決定することは、前記オーディオ環境内の複数のオーディオデバイスの各々の相互可聴性に少なくとも部分的に基づく音響モデルを適用することを含む、請求項10から16のいずれか1つに記載のオーディオ処理方法。
【請求項18】
前記1つ以上のDSSSパラメータを決定することは、
現在の再生目的を決定することと、
前記オーディオ環境内の複数のオーディオデバイスの各々の相互可聴性に少なくとも部分的に基づいた音響モデルを適用することと、
人間の音知覚に基づいた知覚モデルを適用することにより、前記オーディオ環境内のDSSS信号群の知覚的影響を決定することと、
前記現在の再生目的、前記推定性能および前記知覚的影響に少なくとも部分的に基づいて、前記1つ以上のDSSSパラメータを決定することと、
を含む、請求項10から16のいずれか1つに記載のオーディオ処理方法。
【請求項19】
前記1つ以上のDSSSパラメータを決定することは、
DSSSパラメータ変化トリガを検出することと、
DSSSパラメータ変化トリガに対応する1つ以上の新たなDSSSパラメータを決定することと、
前記1つ以上の新たなDSSSパラメータを、前記オーディオ環境の1つ以上のオーディオデバイスに提供することと、
を含む、請求項10から18のいずれか1つに記載のオーディオ処理方法。
【請求項20】
前記DSSSパラメータ変化トリガを検出することは、前記オーディオ環境内の新たなオーディオデバイス、オーディオデバイスの位置の変化、オーディオデバイスの向きの変化、オーディオデバイスの設定の変化、前記オーディオ環境内の人の位置の変化、前記オーディオ環境内で再生されているオーディオコンテンツの種類の変化、前記オーディオ環境におけるバックグラウンドノイズの変化、前記オーディオ環境のドアまたは窓の構成の変化を含むがこれに限定されないオーディオ環境構成の変化、前記オーディオ環境の2つ以上のオーディオデバイス間のクロックスキュー、前記オーディオ環境の2つ以上のオーディオデバイス間のクロックバイアス、前記オーディオ環境の2つ以上のオーディオデバイス間の相互可聴性の変化、または再生目的の変化のうち1つ以上を検出することを含む、請求項19に記載のオーディオ処理方法。
【請求項21】
受信されたマイクロフォン信号群を処理して前処理済マイクロフォン信号群を生成することをさらに含み、DSSS信号群は前記前処理済マイクロフォン信号群から抽出される、請求項1から20のいずれか1つに記載のオーディオ処理方法。
【請求項22】
受信された前記マイクロフォン信号群を処理することは、ビームフォーミング、バンドパスフィルタまたはエコーキャンセレーションを適用することのうち1つ以上を含む、請求項21に記載のオーディオ処理方法。
【請求項23】
前記マイクロフォン信号群から少なくとも前記第1のDSSS信号群および前記第2のDSSS信号群を抽出させることは、整合フィルタを前記マイクロフォン信号群または前記マイクロフォン信号群の前処理済バージョンに適用して、遅延波形群を生成することを含み、前記遅延波形群は、少なくとも前記第1のDSSS信号群に基づいた第1の遅延波形および前記第2のDSSS信号群に基づいた第2の遅延波形を含む、請求項1から22のいずれか1つに記載のオーディオ処理方法。
【請求項24】
前記遅延波形群にローパスフィルタを適用することをさらに含む、請求項23に記載のオーディオ処理方法。
【請求項25】
前記整合フィルタを適用することは復調プロセスの一部であり、前記復調プロセスの出力は復調コヒーレントベースバンド信号である、請求項23または24に記載のオーディオ処理方法。
【請求項26】
バルク遅延を推定し、バルク遅延推定値を前記復調プロセスに提供することをさらに含む、請求項25に記載のオーディオ処理方法。
【請求項27】
前記復調コヒーレントベースバンド信号にベースバンド処理を行うことをさらに含み、前記ベースバンド処理は少なくとも1つの推定音響シーンメトリックを出力する、請求項25または請求項26に記載のオーディオ処理方法。
【請求項28】
前記ベースバンド処理は、非コヒーレント積分期間中に受信した復調コヒーレントベースバンド信号群に基づいて、非コヒーレントに積分された遅延波形を生成することをさらに含む、請求項27に記載のオーディオ処理方法。
【請求項29】
前記非コヒーレントに積分された遅延波形を生成することは、前記非コヒーレント積分期間中に受信した前記復調コヒーレントベースバンド信号群を2乗して2乗化復調ベースバンド信号群を生成し、前記2乗化復調ベースバンド信号群を積分することを含む、請求項28に記載のオーディオ処理方法。
【請求項30】
前記ベースバンド処理は、前縁推定プロセス、ステアード応答パワー推定プロセスまたは信号対ノイズ推定プロセスのうち1つ以上を、前記非コヒーレントに積分された遅延波形に適用することを含む、請求項28または29に記載のオーディオ処理方法。
【請求項31】
バルク遅延を推定し、バルク遅延推定値を前記ベースバンド処理に提供することをさらに含む、請求項27から30のいずれか1つに記載のオーディオ処理方法。
【請求項32】
少なくとも第1のノイズパワーレベルを第1のオーディオデバイス位置において推定し、第2のノイズパワーレベルを第2のオーディオデバイス位置において推定することをさらに含み、前記第1のノイズパワーレベルを推定することは前記第1の遅延波形に基づき、前記第2のノイズパワーレベルを推定することは前記第2の遅延波形に基づく、請求項23から31のいずれか1つに記載のオーディオ処理方法。
【請求項33】
推定された第1のノイズパワーレベルおよび推定された第2のノイズパワーレベルに少なくとも部分的に基づいて、前記オーディオ環境についての分布ノイズ推定値を生成することをさらに含む、請求項32に記載のオーディオ処理方法。
【請求項34】
2つの非同期オーディオデバイス間の未知のクロックバイアスの相殺のために、非同期双方向測距プロセスを行うことをさらに含み、前記非同期双方向測距プロセスは、前記2つの非同期オーディオデバイスのそれぞれによって送信されたDSSS信号群に基づく、請求項1から33のいずれか1つに記載のオーディオ処理方法。
【請求項35】
前記オーディオ環境の複数のオーディオデバイス対の各々間で前記非同期双方向測距プロセスを行うことをさらに含む、請求項34に記載のオーディオ処理方法。
【請求項36】
2つの非同期オーディオデバイス間の推定クロックバイアスを決定するために、前記2つの非同期オーディオデバイスのそれぞれによって送信されたDSSS信号群に基づく、クロックバイアス推定プロセスを行うこと、
前記推定クロックバイアスを補償することと、
をさらに含む、請求項1から33のいずれか1つに記載のオーディオ処理方法。
【請求項37】
前記オーディオ環境の複数のオーディオデバイスの各々間で前記クロックバイアス推定プロセスを行い、複数の推定クロックバイアスを生成することと、
前記複数の推定クロックバイアスの各推定クロックバイアスを補償することと、
をさらに含む、請求項36に記載のオーディオ処理方法。
【請求項38】
前記2つの非同期オーディオデバイスのそれぞれによって送信されたDSSS信号群に基づく、2つの非同期オーディオデバイス間の推定クロックスキューを決定するためのクロックスキュー推定処理を行うことと、
前記推定クロックスキューを補償することと、
をさらに含む、請求項1から37のいずれか1つに記載のオーディオ処理方法。
【請求項39】
前記オーディオ環境の複数のオーディオデバイスの各々間で前記クロックスキュー推定処理を行い、複数の推定クロックスキューを生成することと、
前記複数の推定クロックスキューの各推定クロックスキューを補償することと、
をさらに含む、請求項38に記載のオーディオ処理方法。
【請求項40】
オーディオデバイスによって送信されたDSSS信号を検出することであって、前記DSSS信号は、第1の拡散コードに対応することと、
前記オーディオデバイスに第2の拡散コードを提供することと、
をさらに含む、請求項1から39のいずれか1つに記載のオーディオ処理方法。
【請求項41】
前記第1の拡散コードは、新たに起動されるオーディオデバイスのために予約された第1の擬似乱数列を含む、請求項40に記載のオーディオ処理方法。
【請求項42】
前記オーディオ環境内の複数のオーディオデバイスの各々に、修正オーディオ再生信号群を同時に再生させることをさらに含む、請求項1から41のいずれか1つに記載のオーディオ処理方法。
【請求項43】
前記第1のオーディオ再生信号群の少なくとも一部、前記第2のオーディオ再生信号群の少なくとも一部、または前記第1のオーディオ再生信号群および前記第2のオーディオ再生信号群の各々の少なくとも一部は、無音に対応する、請求項1から42のいずれか1つに記載のオーディオ処理方法。
【請求項44】
請求項1から43のいずれか1つの方法を行うように構成された装置。
【請求項45】
請求項1から43のいずれか1つの方法を行うように構成されたシステム。
【請求項46】
1つ以上のデバイスを請求項1から43のいずれか1つに記載の方法を実行するように制御するための命令を含むソフトウェアを記憶した、1つ以上の非一時的な媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願との相互参照
本出願は、2020年12月3日に出願された米国仮特許出願第63/121,085号、2021年9月7日に出願された米国仮特許出願第63/260,953号、2020年12月3日に出願された米国仮特許出願第63/120,887号、および2021年5月4日に出願された米国仮特許出願第63/201,561号の優先権の利益を主張するものであり、これらの内容は本願において援用する。
【0002】
本開示は、オーディオ処理システムおよび方法に関する。
【背景技術】
【0003】
オーディオデバイスやシステムが広く用いられている。音響シーンメトリック(例えば、オーディオデバイスの可聴性)を推定するための既存のシステムおよび方法が知られているが、改良されたシステムおよび方法が望まれる。
【0004】
表記および命名法
特許請求の範囲を含む本開示全体を通じて、「スピーカ」および「ラウドスピーカ」は、単一のスピーカフィードによって駆動される任意の音響放射トランスデューサ(またはトランスデューサのセット)を表すように同義的に使用される。典型的なヘッドフォンセットは、2つのスピーカを含む。スピーカは、単一の共通のスピーカフィードまたは複数のスピーカフィードによって駆動されるような、複数のトランスデューサ(例えばウーファーとツイーター)を含むように実装され得る。いくつかの例においては、スピーカフィード(単数または複数)は、場合によっては、異なるトランスデューサに接続された異なる回路ブランチにおいて異なる処理を受けることもある。
【0005】
特許請求の範囲を含む本開示全体を通じて、信号またはデータに対して演算(例えば、信号またはデータに対するフィルタリング、スケーリング、変換、またはゲインの適用)を「行う」という表現は、信号またはデータに対して直接演算を行うこと、または信号またはデータの処理済みバージョン(例えば、演算の実行を受ける前に予備フィルタリングまたは前処理済バージョンの信号)に対して演算を行うことの意味において広義で使用される。
【0006】
特許請求の範囲を含む本開示全体を通じて、「システム」という表現は、デバイス、システム、またはサブシステムの意味において広義で使用される。例えば、デコーダを実装するサブシステムは、デコーダシステムと呼ばれることがあり、そのようなサブシステムを含むシステム(例えば、複数の入力に応答してX個の出力信号を生成するシステムであって、入力のうちM個をサブシステムが生成し、他のX-M個の入力が外部ソースから受信される)は、デコーダシステムとも呼ばれ得る。
【0007】
特許請求の範囲を含む本開示全体を通じて、「プロセッサ」という用語は、データ(例えば、オーディオ、またはビデオもしくは他の画像データ)に対する演算を実行するためにプログラマブルであるかまたは他の方法で(例えば、ソフトウェアまたはファームウェアによって)構成可能なシステムまたはデバイスの意味において広義で使用される。プロセッサの例としては、フィールドプログラマブルゲートアレイ(または他の構成可能な集積回路またはチップセット)、オーディオまたは他のサウンドデータに対してパイプライン化処理を行うようにプログラムおよび/または他の方法で構成されたデジタルシグナルプロセッサ、プログラマブルな汎用プロセッサまたはコンピュータ、およびプログラマブルなマイクロプロセッサチップまたはチップセットなどが挙げられる。
【0008】
特許請求の範囲を含め、本開示全体において、「接続する(couple)」または「接続された(coupled)」という用語は、直接的接続(connection)または間接的接続(connection)のいずれを意味してもよいように使用される。したがって、第1のデバイスが第2のデバイスに接続された場合、その接続は、直接接続によるものであっても、または他のデバイスおよび接続を介する間接接続によるものであってもよい。
【0009】
本明細書において、「スマートデバイス」は、一般にBluetooth、Zigbee、ニアフィールド通信、WiFi、ライトフィデリティ(LiFi)、3G、4G、5Gなどの様々なワイヤレスプロトコルを介して、1つ以上の他のデバイス(またはネットワーク)と通信するように構成され、ある程度インタラクティブにおよび/または自律的に動作可能である電子デバイスである。いくつかの代表的なタイプのスマートデバイスは、スマートフォン、スマートカー、スマートサーモスタット、スマートドアベル、スマートロック、スマート冷蔵庫、ファブレットおよびタブレット、スマートウォッチ、スマートバンド、スマートキーチェーンならびにスマートオーディオデバイスである。「スマートデバイス」という用語はまた、人工知能などのユビキタスコンピューティングのいくつかの特質を奏するデバイスを指し得る。
【0010】
本明細書中において、「スマートオーディオデバイス」という表現は、単一目的オーディオデバイスまたは多目的オーディオデバイス(例えば、バーチャルアシスタント機能の少なくともいくつかの態様を実装するオーディオデバイス)であるスマートデバイスを表すために用いられる。単一目的オーディオデバイスとは、少なくとも1つのマイクロフォンを含むかそれに接続される(かつオプションとして少なくとも1つのスピーカおよび/または少なくとも1つのカメラも含むかそれに接続される)デバイス(例えば、テレビ(TV))であり、単一の目的を達成するために概してまたは主として設計されているデバイスである。例えばTVは典型的には、番組素材からのオーディオを再生することができる(再生できると考えられている)が、ほとんどの場合、現代のTVは、何らかのオペレーティングシステムを実行し、その上で、テレビを見るためのアプリケーションを含む複数のアプリケーションがローカルに実行される。この意味で、スピーカ(単数または複数)およびマイクロフォン(単数または複数)を有する単一目的オーディオデバイスは、スピーカおよびマイクロフォンを直接使用するためのローカルアプリケーションおよび/またはサービスを実行するように構成されることが多い。ゾーンすなわちユーザー設定されたエリアにわたってオーディオの再生を実現するためにグループ化するように構成された、単一目的オーディオデバイスもある。
【0011】
1つの通常タイプの多目的オーディオデバイスは、バーチャルアシスタント機能の少なくともいくつかの態様を実装するが、バーチャルアシスタント機能の他の態様は、その多目的オーディオデバイスが通信するように構成される1つ以上のサーバなどの1つ以上の他のデバイスによって実装され得るオーディオデバイスである。そのような多目的オーディオデバイスは、本明細書において、「バーチャルアシスタント」と呼ばれ得る。バーチャルアシスタントは、少なくとも1つのマイクロフォンを含むか、または、それに接続された(かつ、必要に応じて、また、少なくとも1つのスピーカおよび/または少なくとも1つのカメラを含むか、または、それに接続された)デバイス(例えば、スマートスピーカまたは音声アシスタント一体化デバイス)である。いくつかの例において、バーチャルアシスタントは、ある意味においてクラウドイネーブルド(cloud-enabled)であるか、またはそうでなければ、バーチャルアシスタント自体内または上で完全には実装されないアプリケーションに対して複数のデバイス(バーチャルアシスタントとは異なる)を利用する能力を提供し得る。換言すると、バーチャルアシスタント機能の少なくともいくつかの態様、例えば、音声認識機能は、バーチャルアシスタントがインターネットなどのネットワークを介して通信し得る1つ以上のサーバまたは他のデバイスによって(少なくとも部分的に)実装され得る。複数のバーチャルアシスタントが、例えば、非常に離散的かつ条件的に定義された方法で、協働することがあってもよい。例えば、2つ以上のバーチャルアシスタントが、それらの1つ(例えばウェイクワードを聞いたことを最も確信している1つ)が、そのウェイクワードに応答するという意味において、協働し得る。いくつかの様態では、複数のコネクテッドバーチャルアシスタントが、1つのメインアプリケーションによって管理される一種の集団を形成してもよい。その1つのメインアプリケーションは、バーチャルアシスタントであり得る(または、バーチャルアシスタントを実装し得る)。
【0012】
本明細書中において、「ウェイクワード」とは、任意の音(例えば、人間によって発せられた単語、または他の何らかの音)の意味において広義で使用される。スマートオーディオデバイスは、(スマートオーディオデバイスに含まれるか接続された少なくとも1つのマイクロフォン、または少なくとも1つの他のマイクロフォンを用いた)音の検出(「聞き取り(hearing))に応答して、目覚めるよう構成される。この文脈において「目覚める(awake)」とは、デバイスがサウンドコマンドを待つ(すなわち、耳を立てている)状態に入ることを表す。いくつかの例において、本明細書において「ウェイクワード」と呼ばれ得るものは、複数のワード、例えばフレーズを含み得る。
【0013】
本明細書中において、「ウェイクワード検出器」という表現は、リアルタイムのサウンド(例えば、発話)特徴と学習済みモデルとの間の整合性を連続的に探索するように構成されたデバイス(またはデバイスを構成するための命令を含むソフトウェア)を表す。典型的には、ウェイクワードイベントは、ウェイクワードが検出された確率が事前に定義された閾値を超えているとウェイクワード検出器によって判断されるたびに、トリガされる。例えば閾値は、誤受入率と誤拒否率との間の良好な妥協点を与えるように調整された所定の閾値であってもよい。ウェイクワードイベントの後、デバイスはコマンドに耳を立てる状態(「目覚めた(awakened)」状態または「アテンティブネス(attentiveness)」状態と呼ばれることがある)に入り、この状態において、受け取ったコマンドをより大規模でより計算集約的な認識器に渡し得る。
【0014】
本明細書において、「プログラムストリーム」および「コンテンツストリーム」という用語は、1つ以上のオーディオ信号、および場合によってはビデオ信号の集合を指し、それらの少なくとも一部は、一緒に聞かれることが意図されている。例としては、音楽のセレクション、映画のサウンドトラック、映画、テレビ番組、テレビ番組の音声部分、ポッドキャスト、ライブ音声通話、スマートアシスタントからの合成音声応答などがある。いくつかの例において、コンテンツストリームは、オーディオ信号の少なくとも一部の複数のバージョン、例えば、複数の言語で同じダイアログを含むことがある。このような場合において、オーディオデータの1つのバージョンまたはその一部(例えば、1つの言語に対応するバージョン)のみが一度に再生されるように意図されている。
【発明の概要】
【課題を解決するための手段】
【0015】
本開示の少なくともいくつかの態様は、1つ以上のオーディオ処理方法を介して実施され得る。いくつかの例において、前記方法(単数または複数)は、制御システムおよび/または1つ以上の非一時的な媒体に記憶された命令(例えばソフトウェア)によって、少なくとも部分的に実装され得る。いくつかの方法は、制御システムによって、オーディオ環境の第1のオーディオデバイスに第1のダイレクトシーケンススペクトラム拡散(DSSS)信号群を生成させることを含む。いくつかの様態によれば、前記制御システムはオーケストレーションデバイス制御システムであってもよく、またはそれを含んでもよい。いくつかのそのような方法は、前記制御システムによって、前記第1のDSSS信号群を第1のコンテンツストリームに対応する第1のオーディオ再生信号群に挿入させ、前記第1のオーディオデバイスのための第1の修正オーディオ再生信号群を生成させることを含む。いくつかのそのような方法は、前記制御システムによって、前記第1のオーディオデバイスに前記第1の修正オーディオ再生信号群を再生させ、第1のオーディオデバイス再生音を生成することを含む。
【0016】
いくつかのそのような方法は、前記制御システムによって、前記オーディオ環境の第2のオーディオデバイスに第2のDSSS信号群を生成させることを含む。いくつかのそのような方法は、前記制御システムによって、前記第2のDSSS信号群を第2のコンテンツストリームに挿入させ、前記第2のオーディオデバイスのための第2の修正オーディオ再生信号群を生成させることを含む。いくつかのそのような方法は、前記制御システムによって、前記第2のオーディオデバイスに前記第2の修正オーディオ再生信号群を再生させ、第2のオーディオデバイス再生音を生成することを含む。いくつかの方法は、前記オーディオ環境内の複数のオーディオデバイスの各々に、修正オーディオ再生信号群を同時に再生させることを含み得る。
【0017】
いくつかのそのような方法は、前記制御システムによって、前記オーディオ環境の少なくとも1つのマイクロフォンに、少なくとも前記第1のオーディオデバイス再生音および前記第2のオーディオデバイス再生音を検出させ、少なくとも前記第1のオーディオデバイス再生音および前記第2のオーディオデバイス再生音に対応するマイクロフォン信号群を生成させることを含む。いくつかのそのような方法は、前記制御システムによって、前記マイクロフォン信号群から前記第1のDSSS信号群および前記第2のDSSS信号群を抽出させることを含む。いくつかのそのような方法は、前記制御システムによって、前記第1のDSSS信号群および前記第2のDSSS信号群に少なくとも部分的に基づいて、少なくとも1つの音響シーンメトリックを推定させることを含む。いくつかの方法は、前記少なくとも1つの音響シーンメトリックに少なくとも部分的に基づいて、オーディオデバイス再生の1つ以上の態様を制御することを含み得る。
【0018】
いくつかの例において、前記少なくとも1つの音響シーンメトリックは、飛行時間、到来時刻、レンジ、オーディオデバイスの可聴性、オーディオデバイスのインパルス応答、オーディオデバイス間の角度、オーディオデバイスの位置、オーディオ環境のノイズまたは信号対ノイズ比のうち1つ以上を含み得る。いくつかの例によれば、前記少なくとも1つの音響シーンメトリックを推定させることは、前記少なくとも1つの音響シーンメトリックを推定することを含み得る。代替的に、または追加的に、前記少なくとも1つの音響シーンメトリックを推定させることは、別のデバイスに少なくとも1つの音響シーンメトリックを推定させること少なくとも1つの音響シーンメトリックを含み得る。
【0019】
いくつかの例において、前記第1のオーディオデバイス再生音の第1のコンテンツストリーム成分は、前記第1のオーディオデバイス再生音の第1のDSSS信号成分の知覚的マスキングを引き起こし得る。いくつかの例において、前記第2のオーディオデバイス再生音の第2のコンテンツストリーム成分は、前記第2のオーディオデバイス再生音の第2のDSSS信号成分の知覚的マスキングを引き起こし得る。
【0020】
いくつかの方法は、制御システムによって、前記オーディオ環境の3つ以上のオーディオデバイスに3つ以上のダイレクトシーケンススペクトラム拡散(DSSS)信号を生成させることを含み得る。いくつかのそのような方法は、前記制御システムによって、前記3つ以上のDSSS信号を3つ以上のコンテンツストリームに挿入させ、前記3つ以上のオーディオデバイスのための3つ以上の修正オーディオ再生信号群を生成させることを含み得る。いくつかのそのような方法は、前記制御システムによって、前記3つ以上のオーディオデバイスに前記3つ以上の修正オーディオ再生信号群の対応するインスタンスを再生させ、オーディオデバイス再生音の3つ以上のインスタンスを生成することを含み得る。
【0021】
いくつかのそのような方法は、制御システムによって、前記オーディオ環境の第3~第Nのオーディオデバイスに第3~第Nのダイレクトシーケンススペクトラム拡散(DSSS)信号を生成させることを含み得る。いくつかのそのような方法は、前記制御システムによって、前記第3~第NのDSSS信号を第3~第Nのコンテンツストリームに挿入させることにより、前記第3~第Nのオーディオデバイスのための第3~第Nの修正オーディオ再生信号を生成することを含み得る。いくつかのそのような方法は、前記制御システムによって、前記第3~第Nのオーディオデバイスに前記第3~第Nの修正オーディオ再生信号の対応するインスタンスを再生させ、オーディオデバイス再生音の第3~第Nのインスタンスを生成することを含み得る。
【0022】
いくつかの方法は、前記制御システムによって、前記第1~第Nのオーディオデバイスの各々の少なくとも1つのマイクロフォンにオーディオデバイス再生音の第1~第Nのインスタンスを検出させ、前記オーディオデバイス再生音の第1~第Nのインスタンスに対応するマイクロフォン信号群を生成することを含み得る。いくつかの例において、前記オーディオデバイス再生音の第1~第Nのインスタンスは、前記第1のオーディオデバイス再生音、前記第2のオーディオデバイス再生音およびオーディオデバイス再生音の少なくとも第3のインスタンス(いくつかの例では、第3~第Nのインスタンス)を含み得る。
【0023】
いくつかのそのような方法は、前記制御システムによって、前記マイクロフォン信号群から前記第1~第NのDSSS信号を抽出させることを含み得る。いくつかの例において、前記少なくとも1つの音響シーンメトリックは、第1~第NのDSSS信号に少なくとも部分的に基づいて推定され得る。
【0024】
いくつかの方法は、前記オーディオ環境内の複数のオーディオデバイスのための1つ以上のDSSSパラメータを決定することを含み得る。いくつかの例において、前記1つ以上のDSSSパラメータはDSSS信号群の生成に使用可能であり得る。いくつかのそのような方法は、前記1つ以上のDSSSパラメータを前記複数のオーディオデバイスの各オーディオデバイスに提供することを含み得る。
【0025】
いくつかの例において、前記1つ以上のDSSSパラメータを決定することは、前記複数のオーディオデバイスの各オーディオデバイスについて、修正オーディオ再生信号群を再生するためのタイムスロットをスケジュールすることを含み得る。いくつかのそのような例において、第1のオーディオデバイスのための第1のタイムスロットは、第2のオーディオデバイスのための第2のタイムスロットとは異なってもよい。
【0026】
いくつかの例によれば、前記1つ以上のDSSSパラメータを決定することは、前記複数のオーディオデバイスの各オーディオデバイスについて、修正オーディオ再生信号群を再生するための周波数帯域を決定することを含み得る。いくつかのそのような例において、第1のオーディオデバイスのための第1の周波数帯域は第2のオーディオデバイスのための第2の周波数帯域とは異なってもよい。
【0027】
いくつかの例において、前記1つ以上のDSSSパラメータを決定することは、前記複数のオーディオデバイスの各オーディオデバイスについて拡散コードを決定することを含み得る。いくつかのそのような例によれば、第1のオーディオデバイスのための第1の拡散コードは、第2のオーディオデバイスのための第2の拡散コードとは異なってもよい。
【0028】
いくつかの方法は、対応するオーディオデバイス可聴性に少なくとも部分的に基づく、少なくとも1つの拡散コード長を決定することを含み得る。いくつかの例において、前記1つ以上のDSSSパラメータを決定することは、前記オーディオ環境内の複数のオーディオデバイスの各々の相互可聴性に少なくとも部分的に基づいて、音響モデルを適用することを含み得る。
【0029】
いくつかの例によれば、前記1つ以上のDSSSパラメータを決定することは、現在の再生目的を決定することを含み得る。いくつかのそのような方法は、前記オーディオ環境内の複数のオーディオデバイスの各々の相互可聴性に少なくとも部分的に基づいた音響モデルを適用し、前記オーディオ環境内のDSSS信号群の推定性能を決定することを含み得る。いくつかのそのような方法は、人間の音知覚に基づいた知覚モデルを適用することにより、前記オーディオ環境内のDSSS信号群の知覚的影響を決定することを含み得る。いくつかのそのような方法は、前記現在の再生目的、前記推定性能および前記知覚的影響のうち1つ以上に少なくとも部分的に基づいて前記1つ以上のDSSSパラメータを決定することを含み得る。
【0030】
いくつかの例において、前記1つ以上のDSSSパラメータを決定することは、DSSSパラメータ変化トリガを検出することを含み得る。いくつかのそのような方法は、DSSSパラメータ変化トリガに対応する1つ以上の新たなDSSSパラメータを決定することを含み得る。いくつかのそのような方法は、前記1つ以上の新たなDSSSパラメータを、前記オーディオ環境の1つ以上のオーディオデバイスに提供することを含み得る。
【0031】
いくつかの例によれば、前記DSSSパラメータ変化トリガを検出することは、前記オーディオ環境内の新たなオーディオデバイス、オーディオデバイスの位置の変化、オーディオデバイスの向きの変化、オーディオデバイスの設定の変化、前記オーディオ環境内の人の位置の変化、前記オーディオ環境内で再生されているオーディオコンテンツの種類の変化、前記オーディオ環境におけるバックグラウンドノイズの変化、前記オーディオ環境のドアまたは窓の構成の変化を含むがこれに限定されないオーディオ環境構成の変化、前記オーディオ環境の2つ以上のオーディオデバイス間のクロックスキュー、前記オーディオ環境の2つ以上のオーディオデバイス間のクロックバイアス、前記オーディオ環境の2つ以上のオーディオデバイス間の相互可聴性の変化、または再生目的の変化のうち1つ以上を検出することを含み得る。
【0032】
いくつかの方法は、受信されたマイクロフォン信号群を処理して前処理済マイクロフォン信号群を生成することを含み得る。いくつかのそのような例において、DSSS信号群は前記前処理済マイクロフォン信号群から抽出されてもよい。受信された前記マイクロフォン信号群を処理することは、例えば、ビームフォーミング、バンドパスフィルタまたはエコーキャンセレーションを適用することのうち1つ以上を含み得る。
【0033】
いくつかの例によれば、前記マイクロフォン信号群から少なくとも前記第1のDSSS信号群および前記第2のDSSS信号群を抽出させることは、整合フィルタを前記マイクロフォン信号群または前記マイクロフォン信号群の前処理済バージョンに適用して、遅延波形群を生成することを含み得る。いくつかの例において、前記遅延波形群は、少なくとも前記第1のDSSS信号群に基づいた第1の遅延波形および前記第2のDSSS信号群に基づいた第2の遅延波形を含み得る。いくつかの方法は、前記遅延波形群にローパスフィルタを適用することを含み得る。いくつかの例によれば、前記整合フィルタを適用することは復調プロセスの一部であってもよい。いくつかの例において、前記復調プロセスの出力は復調コヒーレントベースバンド信号であってもよい。
【0034】
いくつかの方法は、バルク遅延を推定し、バルク遅延推定値を前記復調プロセスに提供することを含み得る。いくつかの方法は、前記復調コヒーレントベースバンド信号にベースバンド処理を行うことを含み得る。いくつかの例において、前記ベースバンド処理は、少なくとも1つの推定音響シーンメトリックを出力し得る。
【0035】
いくつかの例によれば、前記ベースバンド処理は、前記ベースバンド処理は、非コヒーレント積分期間中に受信した復調コヒーレントベースバンド信号群に基づいて、非コヒーレントに積分された遅延波形を生成することを含み得る。いくつかの例において、前記非コヒーレントに積分された遅延波形を生成することは、前記非コヒーレント積分期間中に受信した前記復調コヒーレントベースバンド信号群を2乗して2乗化復調ベースバンド信号群を生成することを含み得る。いくつかのそのような例は、前記2乗化復調ベースバンド信号群を積分することを含み得る。いくつかの例において、前記ベースバンド処理は、前縁(leading edge)推定プロセス、ステアード応答パワー(steered response power)推定プロセスまたは信号対ノイズ推定プロセスのうち1つ以上を、前記非コヒーレントに積分された遅延波形に適用することを含み得る。
【0036】
いくつかの方法は、バルク遅延を推定することを含み得る。いくつかのそのような例は、バルク遅延推定値をベースバンド処理に提供することを含み得る。
【0037】
いくつかの方法は、少なくとも第1のノイズパワーレベルを第1のオーディオデバイス位置において推定し、第2のノイズパワーレベルを第2のオーディオデバイス位置において推定することを含み得る。いくつかの例において、前記第1のノイズパワーレベルを推定することは前記第1の遅延波形に基づき、前記第2のノイズパワーレベルを推定することは前記第2の遅延波形に基づいてもよい。いくつかのそのような例は、推定された第1のノイズパワーレベルおよび推定された第2のノイズパワーレベルに少なくとも部分的に基づいて、前記オーディオ環境についての分布ノイズ推定値を生成することを含み得る。
【0038】
いくつかの方法は、2つの非同期オーディオデバイス間の未知のクロックバイアスの相殺のために、非同期双方向測距プロセスを行うことを含み得る。いくつかの例において、前記非同期双方向測距プロセスは、前記2つの非同期オーディオデバイスのそれぞれによって送信されたDSSS信号群に基づいてもよい。いくつかのそのような例は、前記オーディオ環境の複数のオーディオデバイス対の各々間で前記非同期双方向測距プロセスを行うことを含み得る。
【0039】
いくつかの方法は、2つの非同期オーディオデバイス間の推定クロックバイアスを決定するために、クロックバイアス推定プロセスを行うことを含み得る。いくつかの例において、前記クロックバイアス推定プロセスは、前記2つの非同期オーディオデバイスのそれぞれによって送信されたDSSS信号群に基づいてもよい。いくつかのそのような例は、前記推定クロックバイアスを補償することを含み得る。
【0040】
いくつかの方法は、前記オーディオ環境の複数のオーディオデバイスの各々間で前記クロックバイアス推定プロセスを行い、複数の推定クロックバイアスを生成することを含み得る。いくつかのそのような例は、前記複数の推定クロックバイアスの各推定クロックバイアスを補償することを含み得る。
【0041】
いくつかの方法は、2つの非同期オーディオデバイス間の推定クロックスキューを決定するためのクロックスキュー推定処理を行うことを含み得る。いくつかの例において、前記クロックスキュー推定処理は、前記2つの非同期オーディオデバイスのそれぞれによって送信されたDSSS信号群に基づいてもよい。いくつかのそのような例は、前記推定クロックスキューを補償することを含み得る。いくつかの方法は、前記オーディオ環境の複数のオーディオデバイスの各々間で前記クロックスキュー推定処理を行い、複数の推定クロックスキューを生成することを含み得る。いくつかのそのような例は、前記複数の推定クロックスキューの各推定クロックスキューを補償することを含み得る。
【0042】
いくつかの方法は、オーディオデバイスによって送信されたDSSS信号を検出することを含み得る。いくつかの例において、前記DSSS信号は、第1の拡散コードに対応し得る。いくつかのそのような例は、前記オーディオデバイスに第2の拡散コードを提供することを含み得る。いくつかの例において、前記第1の拡散コードは、新たに起動されるオーディオデバイスのために予約された第1の擬似乱数列であってもよく、またはそれを含んでもよい。
【0043】
いくつかの例において、前記第1のオーディオ再生信号群の少なくとも一部、前記第2のオーディオ再生信号群の少なくとも一部、または前記第1のオーディオ再生信号群および前記第2のオーディオ再生信号群の各々の少なくとも一部は、無音に対応する。
【0044】
本開示の少なくともいくつかの態様は、装置を介して実施され得る。例えば、1つ以上のデバイスは、本明細書に開示する方法を、少なくとも部分的に実行することが可能であり得る。いくつかの様態では、装置は、インターフェースシステムおよび制御システムを有するオーディオ処理システムであるか、それを含み得る。前記制御システムは、1つ以上の汎用のシングルチップまたはマルチチッププロセッサ、デジタルシグナルプロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)または他のプログラマブルロジックデバイス、ディスクリートゲートまたはトランジスタロジック、ディスクリートなハードウェアコンポーネント、またはその組み合わせを含み得る。
【0045】
いくつかの様態によれば、前記装置はまた、少なくとも1つのラウドスピーカを含むラウドスピーカシステムを有し得る。いくつかの様態では、前記装置はまた、少なくとも1つのマイクロフォンを含むマイクロフォンシステムを有し得る。
【0046】
いくつかの様態では、前記制御システムは、第1のコンテンツストリームを受信するように構成され得る。前記第1のコンテンツストリームは、第1のオーディオ信号群を含み得る。いくつかのそのような例において、前記制御システムは、前記第1のオーディオ信号群をレンダリングして第1のオーディオ再生信号群を生成するように構成され得る。いくつかのそのような様態において、前記制御システムは、第1のダイレクトシーケンススペクトラム拡散(DSSS)信号群を生成するように構成され得る。いくつかのそのような例において、前記制御システムは、前記第1のDSSS信号群を前記第1のオーディオ再生信号群に挿入し、第1の修正オーディオ再生信号群を生成するように構成され得る。いくつかの例において、前記第1のオーディオ再生信号群に前記第1のDSSS信号群を挿入することは、前記第1のDSSS信号群と前記第1のオーディオ再生信号群とを混合することを含み得る。いくつかのそのような様態において、前記制御システムは、前記ラウドスピーカシステムに前記第1の修正オーディオ再生信号群を再生させ、第1のオーディオデバイス再生音を生成するように構成され得る。
【0047】
いくつかの例によれば、前記制御システムは、DSSS信号群を生成するように構成されたDSSS信号発生器を有し得る。いくつかの例において、前記制御システムは、前記DSSS信号発生器によって生成されたDSSS信号群を変調し、第1のDSSS信号群を生成するように構成されたDSSS信号変調器を有し得る。いくつかの例において、前記制御システムは、前記第1のDSSS信号群を前記第1のオーディオ再生信号群に挿入し、前記第1の修正オーディオ再生信号群を生成するように構成されたDSSS信号注入器を有し得る。
【0048】
いくつかの例において、前記制御システムは、前記マイクロフォンシステムから、少なくとも前記第1のオーディオデバイス再生音および前記第2のオーディオデバイス再生音に対応するマイクロフォン信号群を受信するように構成され得る。いくつかの例において、前記第2のオーディオデバイス再生音は、第2のオーディオデバイスによって再生される第2の修正オーディオ再生信号群に対応し得る。いくつかの例において、前記第2の修正オーディオ再生信号群は、第2のDSSS信号群を含み得る。いくつかの例において、前記制御システムは、少なくとも前記第2のDSSS信号群を前記マイクロフォン信号群から抽出するように構成され得る。
【0049】
いくつかの様態では、前記制御システムは、前記マイクロフォンシステムから、少なくとも前記第1のオーディオデバイス再生音および第2~第Nのオーディオデバイス再生音マイクロフォン信号群に対応するマイクロフォン信号群を受信するように構成され得る。いくつかの例において、前記第2~第Nのオーディオデバイス再生音は、第2~第Nのオーディオデバイスによって再生される第2~第Nの修正オーディオ再生信号に対応し得る。いくつかの例において、前記第2~第Nの修正オーディオ再生信号は、第2~第NのDSSS信号を含み得る。いくつかの様態では、前記制御システムは、少なくとも前記第2~第NのDSSS信号を前記マイクロフォン信号群から抽出するように構成され得る。
【0050】
いくつかの例において、前記制御システムは、前記第2~第NのDSSS信号に少なくとも部分的に基づいて少なくとも1つの音響シーンメトリックを推定するように構成され得る。いくつかの例において、前記少なくとも1つの音響シーンメトリックは、飛行時間、到来時刻、レンジ、オーディオデバイスの可聴性、オーディオデバイスのインパルス応答、オーディオデバイス間の角度、オーディオデバイスの位置、オーディオ環境のノイズまたは信号対ノイズ比のうち1つ以上を含み得る。いくつかの様態では、前記制御システムは、前記少なくとも1つの音響シーンメトリックおよび/または少なくとも1つのオーディオデバイス特性に少なくとも部分的に基づいて、オーディオデバイス再生の1つ以上の態様を制御するように構成され得る。
【0051】
いくつかの例において、前記制御システムは、前記オーディオ環境内の複数のオーディオデバイスの各オーディオデバイスのための1つ以上のDSSSパラメータを決定するように構成され得る。いくつかの例において、前記1つ以上のDSSSパラメータは、DSSS信号群の生成に使用可能であり得る。いくつかのそのような様態において、前記制御システムは、前記1つ以上のDSSSパラメータを前記複数のオーディオデバイスの各オーディオデバイスに提供するように構成され得る。
【0052】
いくつかの例において、前記1つ以上のDSSSパラメータを決定することは、前記複数のオーディオデバイスの各オーディオデバイスについて、修正オーディオ再生信号群を再生するためのタイムスロットをスケジュールすることを含み得る。いくつかのそのような例において、第1のオーディオデバイスのための第1のタイムスロットは、第2のオーディオデバイスのための第2のタイムスロットとは異なってもよい。
【0053】
いくつかの例によれば、前記1つ以上のDSSSパラメータを決定することは、前記複数のオーディオデバイスの各オーディオデバイスについて、修正オーディオ再生信号群を再生するための周波数帯域を決定することを含み得る。いくつかの例において、第1のオーディオデバイスのための第1の周波数帯域は第2のオーディオデバイスのための第2の周波数帯域とは異なってもよい。
【0054】
いくつかの様態では、前記1つ以上のDSSSパラメータを決定することは、前記複数のオーディオデバイスの各オーディオデバイスについて拡散コードを決定することを含み得る。いくつかの例において、第1のオーディオデバイスのための第1の拡散コードは、第2のオーディオデバイスのための第2の拡散コードとは異なってもよい。いくつかの例において、前記制御システムは、対応するオーディオデバイスの可聴性に少なくとも部分的に基づいた少なくとも1つの拡散コード長を決定するように構成され得る。いくつかの様態によれば、前記1つ以上のDSSSパラメータを決定することは、前記オーディオ環境内の複数のオーディオデバイスの各々の相互可聴性に少なくとも部分的に基づいた音響モデルを適用することを含み得る。
【0055】
いくつかの様態では、前記1つ以上のDSSSパラメータを決定することは、現在の再生目的を決定することを含み得る。いくつかのそのような例において、前記1つ以上のDSSSパラメータを決定することは、前記オーディオ環境内の複数のオーディオデバイスの各々の相互可聴性に少なくとも部分的に基づいた音響モデルを適用し、前記オーディオ環境内のDSSS信号群の推定性能を決定することを含み得る。いくつかのそのような例において、前記1つ以上のDSSSパラメータを決定することは、人間の音知覚に基づいた知覚モデルを適用することにより、前記オーディオ環境内のDSSS信号群の知覚的影響を決定することを含み得る。いくつかのそのような例において、前記1つ以上のDSSSパラメータを決定することは、前記現在の再生目的、前記推定性能または前記知覚的影響のうち1つ以上に少なくとも部分的に基づいてもよい。いくつかの例において、前記1つ以上のDSSSパラメータを決定することは、前記現在の再生目的、前記推定性能および前記知覚的影響に少なくとも部分的に基づき得る。
【0056】
いくつかの様態によれば、前記1つ以上のDSSSパラメータを決定することは、DSSSパラメータ変化トリガを検出することを含み得る。いくつかのそのような様態において、前記制御システムは、前記DSSSパラメータ変化トリガに対応する1つ以上の新たなDSSSパラメータを決定するように構成され得る。いくつかのそのような様態において、前記制御システムは、1つ以上の新たなDSSSパラメータを、前記オーディオ環境の1つ以上のオーディオデバイスに提供するように構成され得る。
【0057】
いくつかの様態では、前記DSSSパラメータ変化トリガを検出することは、前記オーディオ環境内の新たなオーディオデバイス、オーディオデバイスの位置の変化、オーディオデバイスの向きの変化、オーディオデバイスの設定の変化、前記オーディオ環境内の人の位置の変化、前記オーディオ環境内で再生され得るオーディオコンテンツの種類の変化、前記オーディオ環境におけるバックグラウンドノイズの変化、前記オーディオ環境のドアまたは窓の構成の変化を含むがこれに限定されないオーディオ環境構成の変化、前記オーディオ環境の2つ以上のオーディオデバイス間のクロックスキュー、前記オーディオ環境の2つ以上のオーディオデバイス間のクロックバイアス、前記オーディオ環境の2つ以上のオーディオデバイス間の相互可聴性の変化、または再生目的の変化のうち1つ以上を検出することを含み得る。
【0058】
いくつかの様態では、前記制御システムは、受信されたマイクロフォン信号群を処理して前処理済マイクロフォン信号群を生成するように構成され得る。いくつかのそのような例において、前記制御システムは、前記前処理済マイクロフォン信号群からDSSS信号群を抽出するように構成され得る。いくつかの様態では、受信された前記マイクロフォン信号群を処理することは、ビームフォーミング、バンドパスフィルタまたはエコーキャンセレーションを適用することのうち1つ以上を含み得る。
【0059】
いくつかの例によれば、少なくとも前記第2~第NのDSSS信号を前記マイクロフォン信号群から抽出することは、整合フィルタを前記マイクロフォン信号群または前記マイクロフォン信号群の前処理済バージョンに適用して、第2~第Nの遅延波形を生成することを含み得る。いくつかのそのような例において、前記第2~第Nの遅延波形は、前記第2~第NのDSSS信号の各々に対応してもよい。いくつかの例において、前記制御システムは、前記第2~第Nの遅延波形の各々にローパスフィルタを適用するように構成され得る。
【0060】
いくつかの様態では、前記制御システムは、復調器を実装するように構成され得る。いくつかのそのような様態において、前記整合フィルタを適用することは、前記復調器によって実行される復調プロセスの一部であり得る。いくつかのそのような例において、前記復調プロセスの出力は復調コヒーレントベースバンド信号であってもよい。
【0061】
いくつかの例において、前記制御システムは、バルク遅延を推定し、バルク遅延推定値を前記復調器に提供するように構成され得る。いくつかの様態では、前記制御システムは、前記復調コヒーレントベースバンド信号のベースバンド処理のために構成されたベースバンド処理器を実装するように構成され得る。いくつかのそのような例において、前記ベースバンド処理器は、少なくとも1つの推定音響シーンメトリックを出力するように構成され得る。
【0062】
いくつかの例によれば、前記ベースバンド処理は、前記ベースバンド処理は、非コヒーレント積分期間中に受信した復調コヒーレントベースバンド信号群に基づいて、非コヒーレントに積分された遅延波形を生成することを含み得る。いくつかの例において、前記非コヒーレントに積分された遅延波形を生成することは、前記非コヒーレント積分期間中に受信した前記復調コヒーレントベースバンド信号群を2乗して2乗化復調ベースバンド信号群を生成し、前記2乗化復調ベースバンド信号群を積分することを含み得る。いくつかの例によれば、前記ベースバンド処理は、前縁推定プロセス、ステアード応答パワー推定プロセスまたは信号対ノイズ推定プロセスのうち1つ以上を、前記非コヒーレントに積分された遅延波形に適用することを含み得る。いくつかの例において、前記制御システムは、バルク遅延を推定し、バルク遅延推定値を前記ベースバンド処理器に提供するように構成され得る。
【0063】
いくつかの様態では、前記制御システムは、第2~第Nのノイズパワーレベルを前記第2~第Nの遅延波形に基づき第2~第Nのオーディオデバイスの位置において推定するように構成され得る。いくつかのそのような例において、前記制御システムは、前記第2~第Nのノイズパワーレベルに少なくとも部分的に基づいて、前記オーディオ環境についての分布ノイズ推定値を生成するように構成され得る。
【0064】
いくつかの例において、前記制御システムは、2つの非同期オーディオデバイス間の未知のクロックバイアスの相殺のために、非同期双方向測距プロセスを行うように構成され得る。いくつかの例によれば、前記非同期双方向測距プロセスは、前記2つの非同期オーディオデバイスのそれぞれによって送信されたDSSS信号群に基づいてもよい。いくつかの例において、前記制御システムは、前記オーディオ環境の複数のオーディオデバイス対の各々間で前記非同期双方向測距プロセスを行うようにさらに構成され得る。
【0065】
いくつかの様態では、前記制御システムは、2つの非同期オーディオデバイス間の推定クロックバイアスを決定するためのクロックバイアス推定プロセスを行うように構成され得る。いくつかの例において、前記クロックバイアス推定プロセスは、前記2つの非同期オーディオデバイスのそれぞれによって送信されたDSSS信号群に基づいてもよい。いくつかの様態では、前記制御システムは、前記推定クロックバイアスを補償するように構成され得る。
【0066】
いくつかの例において、前記制御システムは、前記オーディオ環境の複数のオーディオデバイスの各々間で前記クロックバイアス推定プロセスを行い、複数の推定クロックバイアスを生成するように構成され得る。いくつかの様態では、前記制御システムは、前記複数の推定クロックバイアスの各推定クロックバイアスを補償するように構成され得る。
【0067】
いくつかの様態では、前記制御システムは、2つの非同期オーディオデバイス間の推定クロックスキューを決定するためのクロックスキュー推定処理を行うように構成され得る。いくつかの様態では、前記クロックスキュー推定処理は、前記2つの非同期オーディオデバイスのそれぞれによって送信されたDSSS信号群に基づいてもよい。いくつかのそのような例において、前記制御システムは、前記推定クロックスキューを補償するように構成され得る。
【0068】
いくつかの例において、前記制御システムは、前記オーディオ環境の複数のオーディオデバイスの各々間で前記クロックスキュー推定処理を行い、複数の推定クロックスキューを生成するように構成され得る。いくつかのそのような例において、前記制御システムは、前記複数の推定クロックスキューの各推定クロックスキューを補償するように構成され得る。
【0069】
いくつかの様態では、前記制御システムは、オーディオデバイスによって送信されたDSSS信号をするように構成され得る。いくつかのそのような例において、前記DSSS信号は、第1の拡散コードに対応し得る。いくつかのそのような例において、前記第1の拡散コードは、新たに起動されるオーディオデバイスのために予約された第1の擬似乱数列であってもよく、またはそれを含んでもよい。いくつかの様態では、前記制御システムは、前記オーディオデバイスに後に送信するための第2の拡散コードを提供するように構成され得る。
【0070】
いくつかの例において、前記制御システムは、前記オーディオ環境内の複数のオーディオデバイスの各々に、修正オーディオ再生信号群を同時に再生するように構成され得る。
【0071】
本開示いくつかの追加的な態様は、1つ以上の方法を介して実施され得る。いくつかの例において、前記方法(単数または複数)は、制御システムおよび/または1つ以上の非一時的な媒体に記憶された命令(例えばソフトウェア)によって少なくとも部分的に実装され得る。いくつかの方法は、制御システムによって、第1のコンテンツストリームを受信することを含み得る。前記第1のコンテンツストリームは、第1のオーディオ信号群を含み得る。いくつかのそのような方法は、前記制御システムによって、前記第1のオーディオ信号群をレンダリングして第1のオーディオ再生信号群を生成することを含む。いくつかのそのような方法は、前記制御システムによって、第1のダイレクトシーケンススペクトラム拡散(DSSS)信号群を生成することを含む。いくつかのそのような方法は、前記制御システムによって、前記第1のオーディオ再生信号群に前記第1のDSSS信号群を挿入することによって第1の修正オーディオ再生信号群を生成することを含む。いくつかのそのような方法は、前記制御システムによって、前記第1の修正オーディオ再生信号群をラウドスピーカシステムに再生させることによって第1のオーディオデバイス再生音を生成することを含む。
【0072】
いくつかの方法は、前記制御システムによって、マイクロフォンシステムから、少なくとも前記第1のオーディオデバイス再生音および第2のオーディオデバイス再生音に対応するマイクロフォン信号群を受信することをを含み得る。いくつかの例において、前記第2のオーディオデバイス再生音は、第2のオーディオデバイスによって再生される第2の修正オーディオ再生信号群に対応し得る。いくつかの例において、前記第2の修正オーディオ再生信号群は、第2のDSSS信号群を含み得る。いくつかの方法は、前記制御システムによって、少なくとも前記第2のDSSS信号群を前記マイクロフォン信号群から抽出することを含み得る。
【0073】
いくつかの方法は、前記制御システムによって、前記マイクロフォンシステムから、少なくとも前記第1のオーディオデバイス再生音および第2~第Nのオーディオデバイス再生音に対応するマイクロフォン信号群を受信することを含み得る。いくつかの例において、前記第2~第Nのオーディオデバイス再生音は、第2~第Nのオーディオデバイスによって再生される第2~第Nの修正オーディオ再生信号に対応し得る。いくつかの例において、前記第2~第Nの修正オーディオ再生信号は、第2~第NのDSSS信号を含み得る。いくつかの方法は、前記制御システムによって、少なくとも前記第2~第NのDSSS信号を前記マイクロフォン信号群から抽出することを含み得る。
【0074】
いくつかの方法は、前記制御システムによって、前記第2~第NのDSSS信号に少なくとも部分的に基づいて、少なくとも1つの音響シーンメトリックを推定することを含み得る。いくつかの例において、前記少なくとも1つの音響シーンメトリックは、飛行時間、到来時刻、レンジ、オーディオデバイスの可聴性、オーディオデバイスのインパルス応答、オーディオデバイス間の角度、オーディオデバイスの位置、オーディオ環境のノイズまたは信号対ノイズ比のうち1つ以上を含む。
【0075】
いくつかの方法は、前記制御システムによって、少なくとも1つの音響シーンメトリック、少なくとも1つのオーディオデバイス特性、または前記少なくとも1つの音響シーンメトリックと前記少なくとも1つのオーディオデバイス特性との両方に少なくとも部分的に基づいて、オーディオデバイス再生の1つ以上の態様を制御することを含み得る。
【0076】
いくつかの例において、前記第1のオーディオデバイス再生音の第1のコンテンツストリーム成分は、前記第1のオーディオデバイス再生音の第1のDSSS信号成分の知覚的マスキングを引き起こし得る。
【0077】
いくつかの方法は、前記制御システムによって、前記オーディオ環境内の複数のオーディオデバイスの各オーディオデバイスのための1つ以上のDSSSパラメータを決定することを含み得る。いくつかの例において、前記1つ以上のDSSSパラメータは、DSSS信号群の生成に使用可能であり得る。いくつかの方法は、前記制御システムによって、前記1つ以上のDSSSパラメータを前記複数のオーディオデバイスの各オーディオデバイスに提供することを含み得る。
【0078】
いくつかの例において、前記1つ以上のDSSSパラメータを決定することは、前記複数のオーディオデバイスの各オーディオデバイスについて、修正オーディオ再生信号群を再生するためのタイムスロットをスケジュールすることを含み得る。いくつかの例において、第1のオーディオデバイスのための第1のタイムスロットは、第2のオーディオデバイスのための第2のタイムスロットとは異なってもよい。いくつかの例によれば、前記1つ以上のDSSSパラメータを決定することは、前記複数のオーディオデバイスの各オーディオデバイスについて、修正オーディオ再生信号群を再生するための周波数帯域を決定することを含み得る。いくつかの例において、第1のオーディオデバイスのための第1の周波数帯域は第2のオーディオデバイスのための第2の周波数帯域とは異なってもよい。
【0079】
いくつかの例によれば、前記1つ以上のDSSSパラメータを決定することは、前記複数のオーディオデバイスの各オーディオデバイスについて拡散コードを決定することを含み得る。いくつかの例において、第1のオーディオデバイスのための第1の拡散コードは、第2のオーディオデバイスのための第2の拡散コードとは異なってもよい。いくつかの例は、対応するオーディオデバイス可聴性に少なくとも部分的に基づく、少なくとも1つの拡散コード長を決定することを含み得る。いくつかの例において、前記1つ以上のDSSSパラメータを決定することは、前記オーディオ環境内の複数のオーディオデバイスの各々の相互可聴性に少なくとも部分的に基づいた音響モデルを適用することを含み得る。
【0080】
いくつかの例において、前記第1のオーディオ信号群の少なくとも一部は無音に対応してもよい。
【0081】
本明細書に記載の動作、機能および/または方法のうちの一部またはすべては、1つ以上の非一時的な媒体に格納された命令(例えば、ソフトウェア)にしたがって1つ以上のデバイスによって行われ得る。そのような非一時的な媒体は、本明細書に記載されるようなメモリデバイスを含み得る。メモリデバイスは、ランダムアクセスメモリ(RAM)デバイス、読み出し専用メモリ(ROM)デバイスなどを含むが、これらに限定されない。このように、本開示に記載の主題のいくつかの革新的な態様は、格納されたソフトウェアを有する1つ以上の非一時的な媒体を介して実装できる。
【0082】
本明細書に記載の主題の1つ以上の実装例の詳細を添付の図面および以下の記載において説明する。他の特徴、態様および利点は、明細書、図面および特許請求の範囲から明らかになるであろう。なお、以下の図の相対的な寸法は、正確な縮尺で描かれていないことがある。
【図面の簡単な説明】
【0083】
様々な図面における同様の参照符号および表記は、同様の要素を示す。
【0084】
【
図1B】
図1Bは、本開示の様々な態様を実施可能な装置のコンポーネントの例を示すブロック図である。
【
図2】
図2は、いくつかの開示する様態によるオーディオデバイス要素の例を示すブロック図である。
【
図3】
図3は、別の開示する様態によるオーディオデバイス要素の例を示すブロック図である。
【
図4】
図4は、別の開示する実施態様によるオーディオデバイス要素の例を示すブロック図である。
【
図5】
図5は、オーディオデバイス再生音のコンテンツストリーム成分のレベルと、オーディオデバイス再生音のDSSS信号成分のレベルの例を、ある周波数範囲にわたって示したグラフである。
【
図6】
図6は、帯域幅が異なるが同じ中心周波数に位置する2つのDSSS信号のパワーの例を示すグラフである。
【
図7】
図7は、一例によるオーケストレーションモジュールの要素を示す。
【
図9】
図9は、
図8のオーディオデバイス100Bおよび100Cによって生成される音響DSSS信号群の主ローブの例を示す。
【
図10】
図10は、時分割多元接続(time domain multiple access:TDMA)方式の一例を示すグラフである。
【
図11】
図11は、周波数領域多重アクセス(frequency domain multiple access:FDMA)方式の一例を示すグラフである。
【
図12】
図12は、オーケストレーション方法の他の例を示すグラフである。
【
図13】
図13は、オーケストレーション方法の他の例を示すグラフである。
【
図14】
図14は、別の例によるオーディオ環境の要素を示す。
【
図15】
図15は、開示するオーディオデバイスのオーケストレーション方法の別の例の概要を示すフロー図である。
【
図17】
図17は、いくつかの開示する様態によるDSSS信号復調器要素、ベースバンド処理器要素、およびDSSS信号発生器要素の例を示すブロック図である。
【
図18】
図18は、別の例によるDSSS信号復調器の要素を示す。
【
図19】
図19は、いくつかの開示する様態によるベースバンド処理器要素の例を示すブロック図である。
【
図22】
図22は、さらに別の様態によるブロックの例を示す。
【
図23】
図23は、いくつかの開示する様態によるオーディオデバイス要素の例を示すブロック図である。
【
図27】
図27は、一例による2つの非同期オーディオデバイス間の飛行時間を推定する際に関連するクロック項を示すタイミング図である。
【
図28】
図28は、2つのオーディオデバイス間の相対クロックスキューを1つの音響DSSS信号で検出する例を示すグラフである。
【
図29】
図29は、1つの音響DSSS信号を複数回測定することで、2つのオーディオデバイス間の相対クロックスキューを検出する様子の一例を示すグラフである。
【
図30】
図30は、デバイス発見用に予約された音響DSSS拡散コードの例を示すグラフである。
【
図32A】
図32Aは、オーディオデバイス100Aおよび100Bから受信した音響DSSS信号群に基づいて、
図31のオーディオデバイス100Cによって生成された遅延波形群の例を示す。
【
図32B】
図32Bは、
図31のオーディオデバイス100Bが、オーディオデバイス100Aおよび100Cから受信した音響DSSS信号群に基づいて生成した遅延波形群の例を示す。
【
図33】
図33は、開示する方法の別の例の概要を示すフロー図である。
【
図34】
図34は、開示する方法の別の例の概要を示すフロー図である。
【
図35】
図35は、いくつかの様態による、複数のオーディオデバイスが測定セッションを相互調節する方法の例を示すフロー図である。
【
図36A】
図36Aは、いくつかの様態による、複数のオーディオデバイスが測定セッションを相互調節する方法の例を示すフロー図である。
【
図36B】
図36Bは、いくつかの様態による、複数のオーディオデバイスが測定セッションを相互調節する方法の例を示すフロー図である。
【発明を実施するための形態】
【0085】
メディアやエンタテインメントコンテンツの魅力的な空間再生を実現するには、利用可能なスピーカの物理的なレイアウトと相対的な能力を評価し、考慮する必要がある。同様に、(バーチャルアシスタントと遠隔の話者の両方とも)高品質な音声によるインタラクションを提供するためには、ユーザーは、ラウドスピーカを介して再生される会話を聞くことと、聞くことの両方が必要である。協力するデバイスがオーディオ環境に追加されるにつれ、デバイスがより共通して便利な音声範囲に入るようになるため、ユーザーにとっての総合的な実用性が高まると予想される。スピーカの数が増えれば、メディアプレゼンテーションの空間性が増強されるため、より没入感を高めることができる。
【0086】
デバイス間の十分な協調と協力があれば、このような機会や体験を実現できる可能性がある。各オーディオデバイスに関する音響情報は、このような協調と協力の重要な要素である。このような音響情報には、オーディオ環境内の様々な位置からの各ラウドスピーカの可聴性、およびオーディオ環境内のノイズの量が含まれる。
【0087】
スマートオーディオデバイスの集団をマッピングしキャリブレーションする従来の方法の中には、専用のキャリブレーション手順を必要とするものがあり、これによって、1つ以上のマイクロフォンが録音している間に、オーディオデバイス(多くの場合、一度に1つのオーディオデバイスが再生している)から既知の刺激が再生される。このプロセスは、独創的なサウンドデザインによって一部のユーザー層には魅力的なものになるが、デバイスの追加や削除、あるいは単に配置変更するだけでも、プロセスを繰り返し再実行する必要があるため、普及の障壁となる。このような手順をユーザーに課すことは、デバイスの通常の操作を妨げ、一部のユーザーを苛立たせる可能性がある。また、さらに初歩的な手法として、ソフトウェアアプリケーション(「アプリ」)を介した手動によるユーザーの介入、および/または、ユーザーがオーディオ環境内のオーディオデバイスの物理的な位置を指示するガイドプロセスも普及している。このような手法は、ユーザーによる導入にさらなる障壁をもたらし、専用のキャリブレーション手順よりもシステムに提供される情報が相対的に少なくなる可能性がある。
【0088】
一般に、キャリブレーションやマッピングのアルゴリズムには、オーディオ環境内の各オーディオデバイスの基本的な音響情報が必要である。このような方法は数多く提案されており、さまざまな基本的な音響測定結果や音響特性を測定することを使用している。このようなアルゴリズムで使用するための、マイクロフォン信号から得られる音響特性(本明細書では「音響シーンメトリック」とも呼ぶ)の例には、以下のようなものがある。
【0089】
〇デバイス間の物理的距離の推定値(音響測距)
〇デバイス間の角度(到来方向(DoA))の推定値
〇デバイス間のインパルス応答の推定値(例えば、掃引された正弦波刺激または他の測定信号による)
〇バックグラウンドノイズの推定値
【0090】
しかし、既存のキャリブレーションおよびマッピングのアルゴリズムは一般的に、オーディオ環境内の人の動き、オーディオ環境内のオーディオデバイスの再配置などの、オーディオ環境の音響シーンの変化に応答できるように実装されていない。
【0091】
本開示は、オーディオデバイスによってレンダリングされているコンテンツに注入される、ダイレクトシーケンススペクトラム拡散(DSSS)信号を含む技術について説明する。このような方法は、オーディオ環境内の他のオーディオデバイスによって送信された信号を受信した後に、オーディオデバイスが観測値を生成することを可能にすることができる。いくつかの様態では、オーディオ環境内の各参加オーディオデバイスは、DSSS信号を生成し、レンダリングされたラウドスピーカフィード信号にDSSS信号を注入することにより修正オーディオ再生信号を生成し、ラウドスピーカシステムに修正オーディオ再生信号を再生させることにより第1のオーディオデバイス再生音を生成するように、構成され得る。いくつかの様態では、オーディオ環境内の各参加オーディオデバイスは、オーディオ環境内の他のオーケストレーションを受ける(orchestrated)オーディオデバイスらからのオーディオデバイス再生音を検出し、DSSS信号を抽出するためにオーディオデバイス再生音を処理する一方で、前述のことを行うように構成することができる。
【0092】
DSSS信号は従来、電気通信の文脈で展開されてきた。DSSS信号が電気通信の文脈で使用される場合、DSSS信号は、送信データがチャネルを介して受信器に送信される前に、送信データをより広い周波数範囲に拡散するために使用される。これとは対照的に、開示する様態のほとんどまたはすべては、データを修正または送信するためにDSSS信号を使用することを伴わない。代わりに、これらの開示する様態は、オーディオ環境のオーディオデバイス間でDSSS信号を送信することを含む。送信と受信との間で送信されたDSSS信号に何が起こるかが、それ自体、送信された情報である。これが、電気通信の文脈におけるDSSS信号の使用され方と、開示する様態におけるDSSS信号の使用され方との1つの大きな違いである。
【0093】
さらに、開示する様態は、電磁DSSS信号の送受信ではなく、音響DSSS信号の送受信に関係する。多くの開示する様態では、音響DSSS信号は、レンダリングされて再生されるためのコンテンツストリームに挿入され、これら音響DSSS信号が再生されたオーディオに含まれるようにされる。いくつかのそのような様態によれば、音響DSSS信号は人間には聞こえないので、オーディオ環境にいる人は音響DSSS信号を知覚せず、再生されたオーディオコンテンツのみを検知する。
【0094】
本明細書に開示する音響DSSS信号の使用と、電気通信の文脈におけるDSSS信号の使用され方との間のもう1つの違いは、本明細書で「近・遠問題(near/far problem)」と呼ばれるものに関係する。いくつかの例において、本明細書に開示する音響DSSS信号は、オーディオ環境内の多数のオーディオデバイスによって送信され、受信される可能性がある。音響DSSS信号は、時間および周波数において重なる可能性がある。いくつかの開示する様態は、音響DSSS信号を分離するためにDSSS拡散コードがどのように生成されるかに依存する。いくつかの例において、オーディオデバイスが互いに近接しているため、信号レベルが音響DSSS信号の分離を侵害する可能性があり、信号を分離することが困難なことがある。これは近・遠問題の1つの現れであり、本明細書ではその解決策をいくつか開示する。
【0095】
いくつかの方法は、第1のオーディオ信号群を含む第1のコンテンツストリームを受信することと、前記第1のオーディオ信号群をレンダリングして第1のオーディオ再生信号群を生成することと、第1のダイレクトシーケンススペクトラム拡散(DSSS)信号群を生成することと、前記第1のオーディオ再生信号群に前記第1のDSSS信号群を挿入することによって第1の修正オーディオ再生信号群を生成することと、前記第1の修正オーディオ再生信号群をラウドスピーカシステムに再生させることによって第1のオーディオデバイス再生音を生成することとを含み得る。方法(単数または複数)は、少なくとも第1のオーディオデバイス再生音と、第2~第Nのオーディオデバイスによって再生される第2~第Nの修正オーディオ再生信号(第2~第NのDSSS信号を含む)に対応する第2~第Nのオーディオデバイス再生音とに対応するマイクロフォン信号群を受信することと、前記マイクロフォン信号から第2~第NのDSSS信号を抽出することと、第2~第NのDSSS信号に少なくとも部分的に基づいて少なくとも1つの音響シーンメトリックを推定することとを含み得る。
【0096】
音響シーンメトリック(単数または複数)は、オーディオデバイスの可聴性、オーディオデバイスのインパルス応答、オーディオデバイス間の角度、オーディオデバイスの位置、および/またはオーディオ環境のノイズであってもよく、またはそれを含んでもよい。開示するいくつかの方法は、音響シーンメトリック(単数または複数)に少なくとも部分的に基づいて、オーディオデバイス再生の1つ以上の態様を制御することを含み得る。
【0097】
開示するいくつかの方法は、DSSS信号を含む方法を実行するように、複数のオーディオデバイスを編成することを含み得る。いくつかのそのような方法は、制御システムによって、オーディオ環境の第1のオーディオデバイスに第1のDSSS信号群を生成させることと、前記制御システムによって、前記第1のDSSS信号群を第1のコンテンツストリームに対応する第1のオーディオ再生信号群に挿入させ、前記第1のオーディオデバイスのための第1の修正オーディオ再生信号群を生成させることと、前記制御システムによって、前記第1のオーディオデバイスに前記第1の修正オーディオ再生信号群を再生させ、第1のオーディオデバイス再生音を生成することとを含み得る。
【0098】
いくつかのそのような方法は、前記制御システムによって、前記オーディオ環境の第2のオーディオデバイスに第2のDSSS信号群を生成させることと、前記制御システムによって、前記第2のDSSS信号群を第2のコンテンツストリームに挿入させ、前記第2のオーディオデバイスのための第2の修正オーディオ再生信号群を生成させることと、前記制御システムによって、前記第2のオーディオデバイスに前記第2の修正オーディオ再生信号群を再生させ、第2のオーディオデバイス再生音を生成することと、前記制御システムによって、前記第2のオーディオデバイスに前記第2の修正オーディオ再生信号群を再生させ、第2のオーディオデバイス再生音を生成することとを含み得る。
【0099】
いくつかのそのような様態は、前記制御システムによって、前記オーディオ環境の少なくとも1つのマイクロフォンに、少なくとも前記第1のオーディオデバイス再生音および前記第2のオーディオデバイス再生音を検出させ、少なくとも前記第1のオーディオデバイス再生音および前記第2のオーディオデバイス再生音に対応するマイクロフォン信号群を生成させることを含み得る。いくつかのそのような方法は、前記制御システムによって、前記マイクロフォン信号群から少なくとも前記第1のDSSS信号群および前記第2のDSSS信号群を抽出させることと、前記制御システムによって、前記第1のDSSS信号群および前記第2のDSSS信号群に少なくとも部分的に基づいて、少なくとも1つの音響シーンメトリックを推定させることとを含み得る。
【0100】
図1Aはオーディオ環境の一例を示す。本明細書で提供される他の図と同様に、
図1Aに示される要素の種類および数は、単に例示として与えられている。他の様態では、より多くの、より少ない、および/または異なる種類および数の要素を含み得る。
【0101】
この例によれば、オーディオ環境130は、家庭のリビングスペースである。
図1Aに示す例では、オーディオデバイス100A、100B、100Cおよび100Dがオーディオ環境130内に配置されている。この例において、オーディオデバイス100A~100Dの各々は、ラウドスピーカシステム110A、110B、110Cおよび110Dのうちの対応する1つを含む。この例によれば、オーディオデバイス100Bのラウドスピーカシステム110Bは、少なくとも左ラウドスピーカ110B1および右ラウドスピーカ110B2を含む。この例では、オーディオデバイス100A~100Dは、様々なサイズの、様々な能力を有するラウドスピーカを含む。
図1Aに表される時刻において、オーディオデバイス100A~100Dは、オーディオデバイス再生音120A、120B1、120B2、120Cおよび120Dの対応するインスタンスを生成している。
【0102】
この例において、オーディオデバイス100A~100Dの各々は、マイクロフォンシステム111A、111B、111C、111Dのうちの対応する1つを含む。マイクロフォンシステム111A~111Dの各々は、1つ以上のマイクロフォンを含む。いくつかの例において、オーディオ環境130は、ラウドスピーカシステムを欠く少なくとも1つのオーディオデバイス、またはマイクロフォンシステムを欠く少なくとも1つのオーディオデバイスを含むことができる。
【0103】
いくつかの例において、少なくとも1つの音響イベントがオーディオ環境130で発生していてもよい。例えば、そのような音響イベントの1つは、いくつかの場合では音声コマンドを発する話者によって引き起こされることがある。他の場合では、音響イベントは、オーディオ環境130のドアや窓などの可変要素によって少なくとも部分的に引き起こされることがある。例えば、ドアが開くと、オーディオ環境130の外部からの音がオーディオ環境130の内部でより明瞭に知覚されることがある。さらに、ドアの角度の変化によって、オーディオ環境130内のエコー経路の一部が変化することがある。
【0104】
図1Bは、本開示の様々な態様を実施可能な装置のコンポーネントの例を示すブロック図である。本明細書で提供される他の図と同様に、
図1Bに示される要素の種類および数は、単に例示として与えられている。他の様態では、より多くの、より少ない、および/または異なる種類および数の要素を含み得る。いくつかの例によれば、装置150は、本明細書に開示する方法の少なくともいくつかを実行するように構成され得る。いくつかの様態では、装置150は、オーディオシステムの1つ以上のコンポーネントであってもよく、またはそれを含んでもよい。例えば、装置150は、いくつかの様態では、スマートオーディオデバイスなどのオーディオデバイスであってもよい。他の例では、装置150は、モバイルデバイス(携帯電話など)、ラップトップコンピュータ、タブレットデバイス、テレビ、または他のタイプのデバイスであってもよい。
【0105】
図1Aに示す例では、オーディオデバイス100A~100Dは、装置150のインスタンスである。いくつかの例によれば、
図1Aのオーディオ環境100は、本明細書においてスマートホームハブと呼ばれ得るものなどのオーケストレーションデバイスを含み得る。スマートホームハブ(または他のオーケストレーションデバイス)は、装置150のインスタンスであり得る。いくつかの様態では、オーディオデバイス100A~100Dのうち1つ以上が、オーケストレーションデバイスとして機能することができる。
【0106】
いくつかの代替的な様態によれば、装置150はサーバであってもよく、またはそれを含んでもよい。いくつかのそのような例において、装置150は、エンコーダであってもよく、またはそれを含んでもよい。したがって、いくつかの場合では、装置150は、ホームオーディオ環境などのオーディオ環境内で使用するように構成されるデバイスであってもよく、一方、他の場合では、装置150は、「クラウド」、例えばサーバで使用するように構成されるデバイスであってもよい。
【0107】
この例において、装置150は、インターフェースシステム155と、制御システム160とを含む。インターフェースシステム155は、いくつかの様態では、オーディオ環境の1つ以上の他のデバイスと通信するように構成された、有線または無線インターフェースを含むことができる。オーディオ環境は、いくつかの例では、ホームオーディオ環境であってもよい。他の例では、オーディオ環境は、オフィス環境、自動車環境、列車環境、道路または歩道環境、公園環境など、他のタイプの環境であってもよい。インターフェースシステム155は、いくつかの様態では、オーディオ環境のオーディオデバイスと制御情報および関連データを交換するように構成されてもよい。制御情報および関連データは、いくつかの例では、装置150が実行している1つ以上のソフトウェアアプリケーションに関連し得る。
【0108】
インターフェースシステム155は、いくつかの様態では、コンテンツストリームを受信するため、または提供するために構成され得る。コンテンツストリームは、オーディオデータを含み得る。オーディオデータは、オーディオ信号群を含み得るが、これに限定されない。いくつかの例において、オーディオデータは、チャネルデータおよび/または空間的メタデータなどの空間的データを含み得る。メタデータは、例えば、本明細書において「エンコーダ」と呼ばれ得るものによって提供されてもよい。いくつかの例において、コンテンツストリームは、ビデオデータと、ビデオデータに対応するオーディオデータとを含み得る。
【0109】
インターフェースシステム155は、1つ以上のネットワークインターフェースおよび/または1つ以上の外部デバイスインターフェース(1つ以上のユニバーサルシリアルバス(USB)インターフェースなど)を含むことができる。いくつかの様態によれば、インターフェースシステム155は、1つ以上の無線インターフェース、例えば、WiFiまたはBluetoothTM通信用に構成されたものを含むことができる。
【0110】
インターフェースシステム155は、いくつかの例では、1つ以上のマイクロフォン、1つ以上のスピーカ、ディスプレイシステム、タッチセンサシステムおよび/またはジェスチャセンサシステムなどの、ユーザインターフェースを実装するための1つ以上のデバイスを含むことができる。いくつかの例において、インターフェースシステム155は、制御システム160と、
図1Bに示すオプションのメモリシステム165などのメモリシステムとの間の1つ以上のインターフェースを含み得る。しかしながら、制御システム160は、いくつかの場合においてメモリシステムを含んでもよい。インターフェースシステム155は、いくつかの様態では、環境内の1つ以上のマイクロフォンから入力を受信するように構成されてもよい。
【0111】
いくつかの様態では、制御システム160は、少なくとも部分的に、本明細書に開示する方法を実行するように構成され得る。制御システム160は、例えば、汎用シングルチップまたはマルチチッププロセッサ、デジタルシグナルプロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)または他のプログラマブルロジックデバイス、ディスクリートゲートまたはトランジスタロジック、および/またはディスクリートなハードウェアコンポーネントを含み得る。
【0112】
いくつかの様態では、制御システム160は、複数のデバイスに存在してもよい。例えば、いくつかの様態では、制御システム160の一部は、本明細書で描かれた環境のうちの1つ内のデバイスに存在し、制御システム160の別の一部は、サーバ、モバイルデバイス(例えば、スマートフォンまたはタブレットコンピュータ)などの環境の外部にあるデバイスに存在してもよい。他の例では、制御システム160の一部は、本明細書で描かれた環境のうちの1つ内のデバイスに存在してもよく、制御システム160の別の一部は、環境の1つ以上の他のデバイスに存在してもよい。例えば、制御システムの機能は、環境の複数のスマートオーディオデバイスに分散されてもよく、またはオーケストレーションデバイス(本明細書においてスマートホームハブと呼ばれ得るものなど)および環境の1つ以上の他のデバイスによって共有されてもよい。他の例では、制御システム160の一部は、サーバなどの、クラウドベースのサービスを実装しているデバイスに存在してもよく、制御システム160の別の一部は、別のサーバやメモリデバイスなどの、クラウドベースのサービスを実装している別のデバイスに存在してもよい。インターフェースシステム155もまた、いくつかの例では、複数のデバイスに存在してもよい。
【0113】
本明細書に記載した方法のうちの一部またはすべては、1つ以上の非一時的な媒体に格納された命令(例えば、ソフトウェア)にしたがって、1つ以上のデバイスによって行われ得る。そのような非一時的な媒体は、本明細書に記載したようなメモリデバイスを含み得る。そのようなメモリデバイスは、ランダムアクセスメモリ(RAM)デバイス、読み出し専用メモリ(ROM)デバイスなどを含むが、これらに限定されない。1つ以上の非一時的な媒体は、例えば、
図1Bに図示されたオプションのメモリシステム615および/または制御システム160内に存在し得る。したがって、本開示に記載の主題の様々な革新的な態様は、格納されたソフトウェアを有する1つ以上の非一時的な媒体内に実装できる。ソフトウェアは、例えば、本明細書に開示する方法のうちいくつかまたはすべてを行う少なくとも1つのデバイスを制御するための命令を含み得る。ソフトウェアは、例えば、
図1Bの制御システム160などの制御システムの1つ以上のコンポーネントによって実行可能であり得る。
【0114】
いくつかの例において、装置150は、
図1Bに示すオプションのマイクロフォンシステム111を含むことができる。オプションのマイクロフォンシステム111は、1つ以上のマイクロフォンを含んでもよい。いくつかの例によれば、オプションのマイクロフォンシステム111は、マイクロフォンのアレイを含むことができる。マイクロフォンのアレイは、いくつかの場合において、例えば、制御システム160からの命令に従って、受信側ビームフォーミングを行うように構成されることがある。いくつかの例において、マイクロフォンのアレイは、例えば、制御システム160からの命令に従って、到来方向(DOA)および/または到来時刻(TOA)情報を決定するように構成されてもよい。代替的に、または追加的に、制御システム160は、例えば、マイクロフォンシステム111から受信されたマイクロフォン信号群に従って、到来方向(DOA)および/または到来時刻(TOA)情報を決定するように構成されてもよい。
【0115】
いくつかの様態では、マイクロフォンのうち1つ以上は、スピーカシステムのスピーカ、スマートオーディオデバイスなどの別のデバイスの一部であるか、またはこれと関連付けられていてもよい。いくつかの例において、装置150はマイクロフォンシステム111を含まなくてもよい。しかしながら、いくつかのそのような様態において、それにもかかわらず装置150は、インターフェースシステム160を介してオーディオ環境内の1つ以上のマイクロフォンのマイクロフォンデータを受信するように構成され得る。いくつかのそのような様態において、装置150のクラウドベースの様態は、インターフェースシステム160を介してオーディオ環境内の1つ以上のマイクロフォンからマイクロフォンデータ、またはマイクロフォンデータに対応するデータを受信するように構成されてもよい。
【0116】
いくつかの様態によれば、装置150は、
図1Bに示すオプションのラウドスピーカシステム110を含むことができる。オプションのラウドスピーカシステム110は、本明細書では「スピーカ」またはより一般的には「オーディオ再生トランスデューサ」とも呼ばれる1つ以上のラウドスピーカを含んでもよい。いくつかの例(例えば、クラウドベースの様態)では、装置150はラウドスピーカシステム110を含まなくてもよい。
【0117】
いくつかの様態では、装置150は、
図1Bに示すオプションのセンサシステム180を含むことができる。オプションのセンサシステム180は、1つ以上のタッチセンサ、ジェスチャセンサ、動き検出器などを含んでもよい。いくつかの様態によれば、オプションのセンサシステム180は、1つ以上のカメラを含んでもよい。いくつかの様態では、カメラは独立型(free-standing)カメラであってもよい。いくつかの例において、オプションのセンサシステム180の1つ以上のカメラは、スマートオーディオデバイスに存在してもよい。スマートオーディオデバイスは、単一目的のオーディオデバイスまたはバーチャルアシスタントであってもよいいくつかのそのような例において、オプションのセンサシステム180の1つ以上のカメラは、テレビ、携帯電話またはスマートスピーカに存在してもよい。いくつかの例において、装置150はセンサシステム180を含まなくてもよい。しかしながら、いくつかのそのような様態において、それにもかかわらず装置150は、インターフェースシステム160を介してオーディオ環境における1つ以上のセンサのセンサデータを受信するように構成され得る。
【0118】
いくつかの様態では、装置150は、
図1Bに示すオプションのディスプレイシステム185を含むことができる。オプションのディスプレイシステム185は、1つ以上の発光ダイオード(LED)ディスプレイなどの1つ以上のディスプレイを含んでもよい。いくつかの例において、オプションのディスプレイシステム185は、1つ以上の有機発光ダイオード(OLED)ディスプレイを含んでもよい。いくつかの例において、オプションのディスプレイシステム185は、スマートオーディオデバイスの1つ以上のディスプレイを含んでもよい。他の例では、オプションのディスプレイシステム185は、テレビディスプレイ、ラップトップディスプレイ、モバイルデバイスディスプレイ、または他のタイプのディスプレイを含んでもよい。装置150がディスプレイシステム185を含むいくつかの例では、センサシステム180は、ディスプレイシステム185の1つ以上のディスプレイに近接するタッチセンサシステムおよび/またはジェスチャセンサシステムを含み得る。いくつかのそのような様態によれば、制御システム160は、ディスプレイシステム185を制御して1つ以上のグラフィカルユーザーインターフェース(GUI)を提示するように構成され得る。
【0119】
いくつかのそのような例によれば、装置150は、スマートオーディオデバイスであってもよく、またはそれを含んでもよい。いくつかのそのような様態では、装置150は、ウェイクワード検出器であってもよく、またはそれを含んでもよい。例えば、装置150は、バーチャルアシスタントであってもよく、またはそれを含んでもよい。
【0120】
図2は、いくつかの開示する様態によるオーディオデバイス要素の例を示すブロック図である。本明細書で提供される他の図と同様に、
図2に示される要素の種類および数は、単に例示として与えられている。他の様態では、より多くの、より少ない、および/または異なる種類および数の要素を含み得る。この例において、
図2のオーディオデバイス100Aは、
図1Bを参照して上述した装置150のインスタンスである。この例において、オーディオデバイス100Aは、オーディオ環境における複数のオーディオデバイスの1つであり、いくつかの場合においては
図1Aに示すオーディオデバイス100Aの一例であり得る。この様態によれば、オーディオデバイス100Aは、オーディオ環境における複数のオーケストレーションを受けるオーディオデバイスのうちの1つである。この例において、オーディオ環境は、少なくとも2つの他のオーケストレーションを受けるオーディオデバイス、オーディオデバイス100Bおよびオーディオデバイス100Cを含む。
【0121】
この様態によれば、オーディオデバイス100Aは、以下の要素を含む:
【0122】
110A:
図1Bのラウドスピーカシステム110のインスタンスで、1つ以上のラウドスピーカを含む。
111A:
図1Bのマイクロフォンシステム111のインスタンスで、1つ以上のマイクロフォンを含む。
120A、B、C:同一音響空間内のオーディオデバイス100A~100Cで再生されるレンダリングされたコンテンツに対応するオーディオデバイス再生音群。
201A:レンダリングモジュール210Aが出力するオーディオ再生信号群。
202A:DSSS信号注入器211Aが出力する修正オーディオ再生信号群。
203A:DSSS信号発生器212Aが出力するDSSS信号群。
204A:オーディオ環境の他のオーディオデバイス(この例では、少なくともオーディオデバイス100Bおよび100C)によって生成されたDSSS信号群に対応するDSSS信号レプリカ群。いくつかの例において、DSSS信号レプリカ群204Aは、オーケストレーションデバイス(オーディオ環境の他のオーディオデバイス、スマートホームハブなどの他のローカルデバイス、などであってもよい)などの外部ソースから(例えば、WiFiまたはBluetooth
TMなどの無線通信プロトコルを介して)受信されてもよい。
【0123】
205A:オーディオ環境内のオーディオデバイスのうち1つ以上に属する、および/または使用される、DSSS情報。DSSS情報205Aは、DSSS信号群を生成するため、DSSS信号群を変調するため、DSSS信号群を復調するためなどにオーディオデバイス100Aの制御システム160によって使用されるパラメータを含んでもよい。DSSS情報205Aは、1つ以上のDSSS拡散コードパラメータと、1つ以上のDSSS搬送波パラメータとを含み得る。DSSS拡散コードパラメータは、例えば、DSSS拡散コード長情報、チッピングレート情報(またはチップ周期情報)などを含んでもよい。1チップ周期とは、拡散コードの1チップ(ビット)が再生されるのに要する時間である。チップ周期の逆数がチッピングレートである。DSSS拡散コードのビット群は、(通常のビットのように)データを含まないことを示すために「チップ」と呼ばれることがある。いくつかの例において、DSSS拡散コードパラメータは擬似乱数列を含み得る。DSSS情報205Aは、いくつかの例では、どのオーディオデバイスが音響DSSS信号群を生成しているかを示し得る。いくつかの例において、DSSS情報205Aは、オーケストレーションデバイスなどの外部ソースから(例えば、無線通信を介して)受信されてもよい。
【0124】
206A:マイクロフォン(単数または複数)111Aで受信したマイクロフォン信号群。
【0125】
208A:復調コヒーレントベースバンド信号群。
【0126】
210A:音楽、映画およびTV番組などのオーディオデータなどのコンテンツストリームのオーディオ信号群をレンダリングし、オーディオ再生信号群を生成するように構成された、レンダリングモジュール。
【0127】
211A:DSSS信号変調器220Aによって変調されたDSSS信号群230Aを、レンダリングモジュール210Aによって生成されたオーディオ再生信号群に挿入し、修正オーディオ再生信号群を生成するように構成された、DSSS信号注入器。挿入プロセスは、例えば、DSSS信号変調器220Aによって変調されたDSSS信号群230Aを、レンダリングモジュール210Aによって生成されたオーディオ再生信号群と混合して、修正オーディオ再生信号群を生成する混合プロセスであってもよい。
【0128】
212A:DSSS信号群203Aを生成し、DSSS信号群203AをDSSS信号変調器220AおよびDSSS信号復調器214Aに供給するように構成された、DSSS信号発生器。この例において、DSSS信号発生器212Aは、DSSS拡散コード発生器およびDSSS搬送波発生器を含む。この例において、DSSS信号発生器212Aは、DSSS信号レプリカ群204AをDSSS信号復調器214Aに供給する。
【0129】
214A:マイクロフォン(単数または複数)111Aによって受信されたマイクロフォン信号群206Aを復調するように構成された、DSSS信号復調器。この例では、DSSS信号復調器214Aは、復調コヒーレントベースバンド信号群208Aを出力する。マイクロフォン信号群206Aの復調は、例えば、積分およびダンプ(integrate and dump)形式の整合フィルタリング相関器バンクを含む標準的な相関技術を用いて実行され得る。以下にいくつかの詳細な例を示す。これらの復調技術の性能を向上させるために、いくつかの様態では、不要なコンテンツ/現象を除去するために、復調の前にマイクロフォン信号群206Aをフィルタリングしてもよい。いくつかの様態によれば、復調コヒーレントベースバンド信号群208Aは、ベースバンド処理器218Aに供給される前にフィルタリングされてもよい。信号対ノイズ比(SNR)は、一般に、積分時間が長くなるにつれて(使用される拡散コードの長さが長くなるにつれて)改善される。
【0130】
218A:復調コヒーレントベースバンド信号群208Aのベースバンド処理のために構成されたベースバンド処理器。いくつかの例において、ベースバンド処理器218Aは、遅延波形を生成するために二乗波形の分散を低減することによってSNRを改善するために、非コヒーレント平均化などの技術を実装するように構成され得る。いくつかの詳細な例を以下に示す。この例において、ベースバンド処理器218Aは、1つ以上の推定音響シーンメトリック225Aを出力するように構成される。
【0131】
220A:DSSS信号発生器により生成されたDSSS信号群203Aを変調し、DSSS信号群230Aを生成するように構成された、DSSS信号変調器。
【0132】
225A:1つ以上のDSSS由来の観測値であり、本明細書では音響シーンメトリックとも呼ばれる。音響シーンメトリック(単数または複数)225Aは、飛行時間、到来時刻、レンジ、オーディオデバイスの可聴性、オーディオデバイスのインパルス応答、オーディオデバイス間の角度、オーディオデバイスの位置、オーディオ環境のノイズおよび/または信号対ノイズ比に対応するデータを含むか、またはこれであってもよい。
【0133】
233A:音響シーンメトリック処理モジュールであり、音響シーンメトリック群225Aを受信して適用するように構成される。この例において、音響シーンメトリック処理モジュール233Aは、少なくとも1つの音響シーンメトリック225Aおよび/または少なくとも1つのオーディオデバイス特性に少なくとも部分的に基づいて、情報235A(および/またはコマンド群)を生成するように構成される。オーディオデバイス特性(単数または複数)は、特定の様態に応じて、オーディオデバイス100Aに対応してもよいし、オーディオ環境の別のオーディオデバイスに対応してもよい。オーディオデバイス特性(単数または複数)は、例えば、制御システム160のメモリに記憶されるか、または制御システム160がアクセス可能であってもよい。
【0134】
235A:オーディオ処理および/またはオーディオデバイス再生の1つ以上の態様を制御するための情報。情報235Aは、例えば、レンダリングプロセス、オーディオ環境マッピングプロセス(オーディオデバイスの自動位置決定プロセスなど)、オーディオデバイスのキャリブレーションプロセス、ノイズ抑制プロセスおよび/またはエコー減衰プロセスを制御するための情報(および/またはコマンド群)を含み得る。
【0135】
音響シーンメトリックの例
上述のように、いくつかの様態では、ベースバンド処理器218A(または制御システム160の別のモジュール)は、1つ以上の音響シーンメトリック225Aを決定するように構成され得る。以下は、音響シーンメトリック群225Aのいくつかの例である。
【0136】
測距
オーディオデバイスが他の装置から受信したDSSS信号は、信号の飛行時間(ToF)の形での、2つのデバイス間の距離に関する情報を含む。したがって、いくつかの例によれば、制御システムは、復調されたDSSS信号から遅延情報を抽出し、遅延情報を例えば以下のように擬似レンジ測定値に変換するように構成され得る:
【0137】
【0138】
前述の式においてτは遅延情報(本明細書ではToFとも呼ぶ)を表す、ρは擬似レンジ測定値を表し、cは音速を表す。「擬似レンジ」と呼ぶのは、レンジそのものが直接測定されないため、タイミング推定値に従ってデバイス間のレンジが推定されているからである。オーディオデバイスの分散非同期システムでは、各オーディオデバイスはそれ自身のクロックで動作しているため、生の遅延測定値群にはバイアスが存在する。遅延測定値群の十分なセットがあれば、これらのバイアスを解消し、時には推定することも可能である。遅延情報の抽出、擬似レンジ測定値群の生成と使用、クロックバイアスの決定と解決の詳細な例を以下に示する。
【0139】
DoA
測距と同様にして、リスニングデバイス上で利用可能な複数のマイクロフォンを用いて、制御システムは、復調された音響DSSS信号群を処理することにより到来方向(DoA)を推定するように構成され得る。いくつかのそのような様態において、結果として得られるDoA情報は、DoAベースのオーディオデバイス自動位置決定方法への入力として使用することができる。
【0140】
可聴性
復調された音響DSSS信号の信号強度は、オーディオデバイスが音響DSSS信号群を送信している帯域において聴取されているオーディオデバイスの可聴性に比例する。いくつかの様態では、制御システムは、ある範囲の周波数帯域にわたって複数の観測を行うことによって、周波数範囲全体の帯域化推定値を得るように構成することができる。送信オーディオデバイスのデジタル信号レベルが既知であれば、制御システムは、いくつかの例では、送信オーディオデバイスの絶対音響ゲインを推定するように構成され得る。
【0141】
図3は、別の開示する様態によるオーディオデバイス要素の例を示すブロック図である。本明細書で提供される他の図と同様に、
図3に示される要素の種類および数は、単に例示として与えられている。他の様態では、より多くの、より少ない、および/または異なる種類および数の要素を含み得る。この例において、
図3のオーディオデバイス100Aは、
図1Bおよび
図2を参照して上述した装置150のインスタンスである。しかしながら、この様態によれば、オーディオデバイス100Aは、少なくともオーディオデバイス100B、100Cおよび100Dを含む、オーディオ環境における複数のオーディオデバイスを編成するように構成される。
【0142】
図3に示す様態は、
図2のすべての要素に加えて、いくつかの追加的要素を含む。
図2および
図3に共通する要素については、
図3の様態においてその機能が異なる可能性がある点を除き、ここでは再度説明しない。この様態によれば、オーディオデバイス100Aは以下の要素および機能を含む:
【0143】
120A、B、C、D:同一音響空間内のオーディオデバイス100A~100Dで再生されているレンダリングされたコンテンツに対応するオーディオデバイス再生音群。
【0144】
204A、B、C、D:オーディオ環境の他のオーディオデバイス(この例では、少なくともオーディオデバイス100B、100Cおよび100D)によって生成されたDSSS信号群に対応するDSSS信号レプリカ群。この例において、DSSS信号レプリカ204A~204Dは、オーケストレーションモジュール213Aによって提供される。ここで、オーケストレーションモジュール213Aは、DSSS情報204B~204Dを、例えば無線通信を介して、オーディオデバイス100B~100Dに提供する。
【0145】
205A、B、C、D:これらの要素は、オーディオデバイス100A~100Dの各々に属する、および/またはオーディオデバイス100A~100Dの各々によって使用される、DSSS情報に対応する。DSSS情報205Aは、DSSS信号群を生成するため、DSSS信号群を変調するため、DSSS信号群を復調するためなどに、オーディオデバイス100Aの制御システム160によって使用されるパラメータ(1つ以上のDSSS拡散コードパラメータ、1つ以上のDSSS搬送波パラメータなど)を含み得る。DSSS情報205B、205Cおよび205Dは、DSSS信号群を生成するため、DSSS信号群を変調するため、DSSS信号群を復調するためなどに、それぞれオーディオデバイス100B、100Cおよび100Dによって使用されるパラメータ(例えば、1つ以上のDSSS拡散コードパラメータおよび1つ以上のDSSS搬送波パラメータ)を含み得る。DSSS情報205A~205Dは、いくつかの例では、どのオーディオデバイスが音響DSSS信号群を生成しているかを示し得る。
【0146】
213A:オーケストレーションモジュール。この例において、オーケストレーションモジュール213Aは、DSSS情報205A~205Dを生成し、例えば無線通信を介して、DSSS情報205AをDSSS信号発生器212Aに提供し、DSSS情報205A~205DをDSSS信号復調器に提供し、DSSS情報205B~205Dを、オーディオデバイス100B~100Dに提供する。いくつかの例において、オーケストレーションモジュール213Aは、情報235A~235Dおよび/または音響シーンメトリック群225A~225Dに少なくとも部分的に基づいて、DSSS情報205A~205Dを生成する。
【0147】
214A:少なくともマイクロフォン(単数または複数)111Aによって受信されたマイクロフォン信号群206Aを復調するように構成された、DSSS信号復調器。この例において、DSSS信号復調器214Aは、復調コヒーレントベースバンド信号群208Aを出力する。いくつかの代替的な様態において、DSSS信号復調器214Aは、オーディオデバイス100B~100Dからマイクロフォン信号群206B~206Dを受信して復調し、復調コヒーレントベースバンド信号群208B~208Dを出力することができる。
【0148】
218A:少なくとも復調コヒーレントベースバンド信号群208A、そしていくつかの例ではオーディオデバイス100B~100Dから受信された復調コヒーレントベースバンド信号群208B~208Dのベースバンド処理のために構成された、ベースバンド処理器。この例において、ベースバンド処理器218Aは、1つ以上の推定音響シーンメトリック225A~225Dを出力するように構成される。いくつかの様態では、ベースバンド処理器218Aは、オーディオデバイス100B~100Dから受信された復調コヒーレントベースバンド信号群208B~208Dに基づいて、音響シーンメトリック群225B~225Dを決定するように構成される。しかしながら、いくつかの場合では、ベースバンド処理器218A(または音響シーンメトリック処理モジュール233A)は、音響シーンメトリック群225B~225Dをオーディオデバイス100B~100Dから受信してもよい。
【0149】
233A:音響シーンメトリック処理モジュールであって、音響シーンメトリック群225A~225Dを受信して適用するように構成される、音響シーンメトリック処理モジュール。この例において、音響シーンメトリック処理モジュール233Aは、音響シーンメトリック群225A~225Dおよび/または少なくとも1つのオーディオデバイス特性に少なくとも部分的に基づいて、情報235A~235Dを生成するように構成される。オーディオデバイス特性(単数または複数)は、オーディオデバイス100Aおよび/またはオーディオデバイス100B~100Dのうち1つ以上に対応し得る。
【0150】
図4は、別の開示する実施態様によるオーディオデバイス要素の例を示すブロック図である。本明細書で提供される他の図と同様に、
図4に示される要素の種類および数は、単に例示として与えられている。他の様態では、より多くの、より少ない、および/または異なる種類および数の要素を含み得る。この例において、
図4のオーディオデバイス100Aは、
図1B、
図2および
図3を参照して上述した装置150のインスタンスである。
図4の例は、
図3のすべての要素に加えて、追加的要素を含む。
図2および
図3に共通する要素については、
図4の様態においてその機能が異なる可能性がある点を除き、ここでは再度説明しない。
【0151】
この様態によれば、制御システム160は、受信されたマイクロフォン信号群206Aを処理して、前処理済マイクロフォン信号群207Aを生成するように構成される。いくつかの様態では、受信されたマイクロフォン信号群を処理することは、バンドパスフィルタおよび/またはエコーキャンセレーションを適用することを含み得る。この例において、制御システム160(より具体的にはDSSS信号復調器214A)は、前処理済マイクロフォン信号群207AからDSSS信号群を抽出するように構成される。
【0152】
この例によれば、マイクロフォンシステム111Aはマイクロフォンのアレイを含み、いくつかの場合では、このマイクロフォンアレイは1つ以上の指向性マイクロフォンであるか、それを含み得る。この様態において、受信されたマイクロフォン信号群を処理することは、この例ではビームフォーマ215Aを介する、受信側ビームフォーミングを含む。この例において、ビームフォーマ215Aによって出力される前処理済マイクロフォン信号群207Aは、空間マイクロフォン信号群であるか、またはこれらを含む。
【0153】
この様態において、DSSS信号復調器214Aは空間的マイクロフォン信号群を処理し、これにより、オーディオデバイスがオーディオ環境じゅうに空間的に分布しているようなオーディオシステムに対する性能を高めることができる。受信側ビームフォーミングは、前述した「近・遠問題」を回避する1つの方法である。例えば、制御システム160は、より近いおよび/またはより大きな音のオーディオデバイスを補償して、より遠くのおよび/またはより小さな音のオーディオデバイスからのオーディオデバイス再生音を受信するように、ビームフォーミングを使用するよう構成されてもよい。
【0154】
受信側ビームフォーミングは、例えば、マイクロフォンアレイ内の各マイクロフォンからの信号を異なる係数で遅延および乗算することを含み得る。ビームフォーマ215Aは、いくつかの例では、ドルフ・チェビシェフ重み付けパターンを適用してもよい。しかしながら、他の様態では、ビームフォーマ215Aは、異なる重み付けパターンを適用してもよい。いくつかのそのような例によれば、ヌルおよびサイドローブと共に主ローブが生成され得る。主ローブ幅(ビーム幅)およびサイドローブレベルを制御するだけでなく、いくつかの例では、ヌルの位置を制御することもできる。
【0155】
可聴未満の信号
いくつかの様態によれば、オーディオデバイス再生音のDSSS信号成分は、オーディオ環境にいる人には聞こえない可能性がある。いくつかのそのような様態において、オーディオデバイス再生音のコンテンツストリーム成分は、オーディオデバイス再生音のDSSS信号成分の知覚的マスキングを引き起こす可能性がある。
【0156】
図5は、オーディオデバイス再生音のコンテンツストリーム成分のレベルと、オーディオデバイス再生音のDSSS信号成分のレベルの例を、ある周波数範囲にわたって示したグラフである。この例において、曲線501がコンテンツストリーム成分のレベルに対応し、曲線530がDSSS信号成分のレベルに対応している。
【0157】
DSSS信号は典型的には、データ、キャリア信号および拡散コードが含まれる。データをチャネル上で送信する必要性を省くと、変調された信号s(t)は以下のように表現できる:
【0158】
【0159】
上式において、AはDSSS信号の振幅を表し、C(t)は拡散コードを表し、Sin()は搬送波周波数f0Hzにおける正弦波搬送波を表す。
図5の曲線530は、上式のs(t)の一例に相当する。
【0160】
音響DSSS信号群に関わるいくつかの開示する様態の潜在的な利点の1つは、信号を拡散することによって、音響DSSS信号の所与のエネルギー量に対してDSSS信号成分の振幅が低減されるため、オーディオデバイス再生音のDSSS信号成分の知覚可能性を低減できることである。
【0161】
これにより、オーディオデバイス再生音のDSSS信号成分(例えば、
図5の曲線530で表されるような)を、DSSS信号成分がリスナーに知覚されないように、オーディオデバイス再生音のコンテンツストリーム成分(例えば、
図5の曲線501で表されるような)のレベルよりも十分に低いレベルに置くことができる。いくつかの開示する様態は、人間の聴覚系のマスキング特性を利用して、導出されたDSSS信号観測値群の信号対ノイズ比(SNR)を最大化する、および/またはDSSS信号成分の知覚確率を低減するように、DSSS信号のパラメータを最適化する。いくつかの開示する例は、コンテンツストリーム成分のレベルに重みを適用すること、および/またはDSSS信号成分のレベルに重みを適用することを含む。いくつかのそのような例では、音響DSSS信号成分が信号として扱われ、コンテンツストリーム成分がノイズとして扱われる、ノイズ補償方法を適用する。いくつかのそのような例は、再生/聴取目標メトリックに従って(例えば、それに比例して)1つ以上の重みを適用することを含む。
【0162】
DSSS拡散コード
本明細書の他の箇所で述べたように、いくつかの例では、オーケストレーションデバイスによって提供されるDSSS情報205(例えば、
図3を参照して上述したオーケストレーションモジュール213Aによって提供されるもの)は、1つ以上のDSSS拡散コードパラメータを含み得る。
【0163】
DSSS信号(単数または複数)を生成するため搬送波を拡散するために使用される拡散コードは、極めて重要である。DSSS拡散コードのセットは、対応するDSSS信号群が以下の特性を持つように選択されることが好ましい:
【0164】
1.自己相関波形における鋭い主ローブ。
2.自己相関波形の非ゼロ遅延における低サイドローブ。
3.複数のデバイスが同時にメディアにアクセスする場合(例えば、DSSS信号成分を含む修正オーディオ再生信号群を同時に再生する場合)に、使用される拡散コードセット内の任意の2つの拡散コード間の相互相関が低いこと。
4.DSSS信号は不偏である(DC成分がゼロである)。
【0165】
拡散コードのファミリー(例えば、GPS文脈で一般的に使用されるゴールドコード)は、典型的には上記4点を特徴付ける。複数のオーディオデバイスがすべて、DSSS信号成分を含む修正オーディオ再生信号群を同時に再生しており、各オーディオデバイスが異なる拡散コード(良好な相互相関特性を有しながら、例えば低い相互相関など)を使用する場合、受信オーディオデバイスは、符号分割多重アクセス(code domain multiple access:CDMA)方式を使用することにより、すべての音響DSSS信号群を同時に受信し、処理することができるはずである。CDMA方式を使用することにより、複数のオーディオデバイスが、場合によっては単一の周波数帯域を使用して、音響DSSS信号群を同時に送信することができる。拡散コードは、実行時に生成され、および/または、前もって生成され、例えばルックアップテーブルのようなデータ構造でメモリに格納される。
【0166】
DSSSを実装するために、いくつかの例では、二位相偏移変調(BPSK)変調を利用することができる。さらに、DSSS拡散コードは、いくつかの例では、四位相偏移変調(QPSK)システムを実装するために、例えば、以下のように、互いに直交して配置(インタープレックス)されてもよい:
【0167】
【0168】
前述の式において、AIおよびAQはそれぞれ同相信号および直交信号の振幅を表し、CIおよびCQはそれぞれ同相信号および直交信号の符号列を表し、f0はDSSS信号の中心周波数(8200)を表す。以上は、いくつかの例による、DSSSキャリアおよびDSSS拡散コードをパラメータ化する係数の例である。これらのパラメータは、上述したDSSS情報205の一例である。上述したように、DSSS情報205は、オーケストレーションモジュール213Aなどのオーケストレーションデバイスによって提供されてもよく、DSSS信号を生成するために、例えば信号発生器ブロック212によって使用されてもよい。
【0169】
図6は、帯域幅が異なるが同じ中心周波数に位置する2つのDSSS信号のパワーの例を示すグラフである。これらの例では、
図6は、同じ中心周波数605を中心とする2つのDSSS信号630Aおよび630Bのスペクトルを示す。いくつかの例において、DSSS信号630Aは、オーディオ環境の1つのオーディオデバイス(例えば、オーディオデバイス100A)によって生成され、DSSS信号630Bは、オーディオ環境の別のオーディオデバイス(例えば、オーディオデバイス100B)によって生成され得る。
【0170】
この例によれば、DSSS信号630Bは、DSSS信号630Aよりも高いレートでチップ化(chipped)され(換言すれば、拡散信号において、より多くの毎秒ビット数が使用され)、その結果、DSSS信号630Bの帯域幅610Bは、DSSS信号630Aの帯域幅610Aよりも大きくなる。各DSSS信号の所与のエネルギー量に対して、DSSS信号630Bの帯域幅が大きいほど、DSSS信号630Bの振幅および知覚可能性は、DSSS信号630Aよりも相対的に低くなる。より高い帯域幅のDSSS信号はまた、ベースバンドデータ生成物のより高い遅延分解能をもたらし、DSSS信号に基づく音響シーンメトリック群(飛行時間推定値、到来時刻(ToA)推定値、レンジ推定値、到来方向(DoA)推定値など)のより高い分解能の推定値につながる。しかし、より高い帯域幅のDSSS信号だと受信器のノイズ帯域幅も広くなり、抽出される音響シーンメトリック群のSNRが低下する。さらに、DSSS信号の帯域幅が大きすぎると、DSSS信号に関連するコヒーレンスやフェージングの問題が発生する可能性がある。
【0171】
DSSS信号の生成に使用される拡散コードの長さによって、相互相関除去の量が制限される。例えば、10ビットのゴールドコードは、隣接する符号に対して-26dBの除去しか有さない。このため、比較的低振幅の信号が別のより大きな音の(louder)信号の相互相関ノイズによって不明瞭にされるという、上述の近・遠問題の一例が発生する可能性がある。本開示で説明するシステムおよび方法の新規性の一部分として、このような問題を緩和または回避するように設計されたオーケストレーションスキームが含まれる。
【0172】
オーケストレーション方法
図7は、一例によるオーケストレーションモジュールの要素を示す。本明細書で提供される他の図と同様に、
図7に示される要素の種類および数は、単に例示として与えられている。他の様態では、より多くの、より少ない、および/または異なる種類および数の要素を含み得る。いくつかの例によれば、オーケストレーションモジュール213は、
図1Bを参照して上述した装置150のインスタンスによって実装され得る。いくつかのそのような例において、オーケストレーションモジュール213は、制御システム160のインスタンスによって実装されてもよい。いくつかの例では、オーケストレーションモジュール213は、
図3を参照して上述したオーケストレーションモジュールのインスタンスであってもよい。いくつかのそのような例において、
【0173】
この様態によれば、オーケストレーションモジュール213は、知覚モデル適用モジュール710、音響モデル適用モジュール711、および最適化モジュール712を含む。
【0174】
この例において、知覚モデル適用モジュール710は、先験的情報701に少なくとも部分的に基づいて、音響空間内のリスナーに対する音響DSSS信号群の知覚的影響の1つ以上の知覚的影響推定702を行うために、人間の聴覚系のモデルを適用するように構成される。音響空間は、たとえば、オーケストレーションモジュール213が編成するオーディオデバイス群が配置されるオーディオ環境、そのようなオーディオ環境の部屋、その他などであってよい。推定値(単数または複数)702は、時間の経過とともに変化し得る。知覚的影響推定値(単数または複数)702は、いくつかの例では、例えば、音響空間で現在再生されているオーディオコンテンツ(もしあれば)のタイプおよびレベルに基づいて、リスナーが音響DSSS信号群を知覚する能力の推定値であってもよい。知覚モデル適用モジュール710は、例えば、周波数およびラウドネスの関数としてのマスキング、空間的聴覚マスキングなど、聴覚マスキングの1つ以上のモデルを適用するように構成されてもよい。知覚モデル適用モジュール710は、例えば、周波数の関数としての人間のラウドネス知覚など、人間のラウドネス知覚の1つ以上のモデルを適用するように構成されてもよい。
【0175】
いくつかの例によれば、先験的情報701は、音響空間に関連する情報、音響空間における音響DSSS信号群の伝達に関連する情報、および/または音響空間を使用することがわかっているリスナーに関連する情報であってもよく、またはそれを含んでもよい。例えば、先験的情報701は、音響空間内のオーディオデバイス(例えば、オーケストレーションを受けるオーディオデバイスの)の数、オーディオデバイスの位置、オーディオデバイスのラウドスピーカシステムおよび/またはマイクロフォンシステムの能力、オーディオ環境のインパルス応答に関する情報、オーディオ環境の1つ以上のドアおよび/または窓に関する情報、音響空間で現在再生されているオーディオコンテンツに関する情報などを含み得る。いくつかの例において、先験的情報701は、1人または複数のリスナーの聴覚能力に関する情報を含むことがある。
【0176】
この様態において、音響モデル適用モジュール711は、先験的情報701に少なくとも部分的に基づいて、音響空間内の音響DSSS信号群の1つ以上の音響DSSS信号性能推定703を行うように構成される。例えば、音響モデル適用モジュール711は、各オーディオデバイスのマイクロフォンシステムが音響空間内の他のオーディオデバイスからの音響DSSS信号群をどの程度検出できるかを推定するように構成されることがあり、これは本明細書においてオーディオデバイスの「相互可聴性」の一態様として言及されることがある。このような相互可聴性は、いくつかの場合において、以前に受信した音響DSSS信号群に少なくとも部分的に基づいて、ベースバンド処理器によって以前に推定された音響シーンメトリックであることがある。いくつかのそのような様態においては、相互可聴性の推定は、先験的情報701の一部であってもよく、いくつかのそのような様態において、オーケストレーションモジュール213は、音響モデル適用モジュール711を含まなくてもよい。しかしながら、いくつかの様態では、相互可聴性推定は、音響モデル適用モジュール711によって独立的に行われてもよい。
【0177】
この例において、最適化モジュール712は、知覚的影響推定値(単数または複数)702および音響DSSS信号性能推定値群703、現在の再生/聴取目的情報704に少なくとも部分的に基づいて、オーケストレーションモジュール213によって編成されるすべてのオーディオデバイスのDSSSパラメータ705を決定するように構成される。現在の再生/聴取目的情報704は、例えば、音響DSSS信号群に基づく新たな音響シーンメトリック群の相対的な必要性を示し得る。
【0178】
例えば、音響空間において1つ以上のオーディオデバイスが新たに電源オンされる場合、オーディオデバイス自動位置決定、オーディオデバイス相互可聴性などに関連する新たな音響シーンメトリック群の必要性が高い場合がある。新たな音響シーンメトリック群の少なくとも一部は、音響DSSS信号群に基づき得る。同様に、既存のオーディオデバイスが音響空間内で移動された場合、新たな音響シーンメトリック群の必要性が高い場合がある。同様に、新たなノイズ源が音響空間内またはその近傍にある場合、新たな音響シーンメトリック群を決定する必要性が高いかもしれない。
【0179】
現在の再生/聴取目的情報704が、新たな音響シーンメトリック群を決定する必要性が高いことを示す場合、最適化モジュール712は、知覚的影響推定値(単数または複数)702よりも音響DSSS信号性能推定値(単数または複数)703に比較的高い重みを置くことによって、DSSSパラメータ群705を決定するように構成され得る。例えば、最適化モジュール712は、システムが音響DSSS信号群の高SNR観測値群を生成する能力に重点を置き、ユーザーにおける音響DSSS信号群の影響・知覚可能性に重点を置かないことによって、DSSSパラメータ群705を決定するように構成され得る。いくつかのそのような例において、DSSSパラメータ群705は、可聴音響DSSS信号に対応し得る。
【0180】
しかし、音響空間内またはその近傍で最近の変化が検出されておらず、1つ以上の音響シーンメトリックの少なくとも初期推定が行われている場合、新たな音響シーンメトリック群の必要性は高くない可能性がある。音響空間内またはその近傍で最近の変化が検出されておらず、1つ以上の音響シーンメトリックの少なくとも初期推定が行われており、オーディオコンテンツが現在音響空間内で再生されている場合、1つ以上の新たな音響シーンメトリックを直ちに推定することの相対的な重要性はさらに低下する可能性がある。
【0181】
現在の再生/聴取目的情報704が、新たな音響シーンメトリック群を決定する必要性が低レベルであることを示す場合、最適化モジュール712は、知覚的影響推定値(単数または複数)702よりも音響DSSS信号性能推定値(単数または複数)703に相対的に低い重みを置くことによって、DSSSパラメータ群705を決定するように構成されてもよい。そのような例では、最適化モジュール712は、システムが音響DSSS信号群の高SNR観測値群を生成する能力を重視せず、ユーザーにおける音響DSSS信号群の影響・知覚可能性を重視することによって、DSSSパラメータ群705を決定するように構成され得る。いくつかのそのような例において、DSSSパラメータ群705は、可聴未満の音響DSSS信号群に対応し得る。
【0182】
本書で後述するように(例えば、オーディオデバイスオーケストレーションの他の例において)、音響DSSS信号群のパラメータ群は、オーディオシステムの性能を高めるためにオーケストレーションデバイスが音響DSSS信号群を修正し得る方法に豊かな多様性を提供する。
【0183】
図8はオーディオ環境の他の例を示す。
図8では、オーディオデバイス100Bおよび100Cは、それぞれデバイス100Aから距離810および811だけ離れている。この特定の状況では、距離811は距離810よりも大きい。オーディオデバイス100Bおよび100Cがほぼ同じレベルでオーディオデバイス再生音を生成していると仮定すると、これは、オーディオデバイス100Aが、距離811の方が長いことによる追加的な音響損失によって、オーディオデバイス100Bからの音響DSSS信号群よりも低いレベルでオーディオデバイス100Cからの音響DSSS信号群を受信することを意味する。いくつかの実施形態において、オーディオデバイス100Aが音響DSSS信号群を抽出し、音響DSSS信号群に基づいて音響シーンメトリック群を決定する能力を強化するために、オーディオデバイス100Bおよび100Cを編成することができる。
【0184】
図9は、
図8のオーディオデバイス100Bおよび100Cによって生成される音響DSSS信号群の主ローブの例を示す。この例において、これらの音響DSSS信号群は、同じ帯域幅を有し、同じ周波数に位置するが、異なる振幅を有する。ここで、音響DSSS信号230Bの主ローブはオーディオデバイス100Bによって生成され、音響DSSS信号230Cの主ローブはオーディオデバイス100Cによって生成される。この例によれば、音響DSSS信号230Bのピークパワーは905Bであり、音響DSSS信号230Cのピークパワーは905Cである。ここで、音響DSSS信号230Bと音響DSSS信号230Cとは、同じ中心周波数901を有する。
【0185】
この例において、オーケストレーションデバイス(いくつかの例では
図7のオーケストレーションモジュール213のインスタンスを含み、いくつかの場合では
図8のオーディオデバイス100Aであり得る)は、オーディオデバイス100Bおよび100Cによって生成された音響DSSS信号のデジタルレベルを等化することによって、オーディオデバイス100Aが音響DSSS信号群を抽出する能力を強化しており、音響DSSS信号230Cのピークパワーが、音響DSSS信号230Bのピークパワーよりも、距離810および811の差による音響損失の差を相殺する係数だけ大きくなる。したがって、この例によれば、オーディオデバイス100Aは、距離811の方が長いことによる追加的な音響損失により、オーディオデバイス100Bから受信する音響DSSS信号群とほぼ同じレベルで、オーディオデバイス100Cから音響DSSS信号群230Bを受信する。
【0186】
点音源の周囲の表面積は、音源からの距離の2乗とともに増加する。これは、逆二乗則に従って、音源からの同じ音エネルギーがより広い面積に分布し、エネルギー強度が音源からの距離の二乗とともに減少することを意味する。距離810をbに設定し、距離811をcに設定すると、オーディオデバイス100Aがオーディオデバイス100Bから受信する音エネルギーは1/b2に比例し、オーディオデバイス100Aがオーディオデバイス100Cから受信する音エネルギーは1/c2に比例する。音エネルギーの差は、1/(c2-b2)に比例する。したがって、いくつかの様態では、オーケストレーションデバイスは、オーディオデバイス100Cによって生成されたエネルギーを(c2-b2)倍にすることができる。これは、性能向上のためにDSSSパラメータ群を変更する方法の一例である。
【0187】
いくつかの様態では、最適化プロセスはより複雑であってもよく、逆二乗則よりも多くの要因を考慮してもよい。いくつかの例において、イコライゼーションは、DSSS信号に適用されるフル帯域ゲインを介して、またはマイクロフォンシステム110Aの非フラット(周波数依存)応答のイコライゼーションを可能にするイコライゼーション(EQ)曲線を介して行われることがある。
【0188】
図10は、時分割多元接続(time domain multiple access:TDMA)方式の一例を示すグラフである。近・遠問題を回避する1つの方法は、音響DSSS信号群を送受信する複数のオーディオデバイスを、各オーディオデバイスがその音響DSSS信号を再生するために異なるタイムスロットがスケジュールされるように編成することである。これはTDMA方式として知られている。
図10に示す例では、オーケストレーションデバイスがTDMA方式に従ってオーディオデバイス1、2および3に音響DSSS信号群を放出させている。この例において、オーディオデバイス1、2および3は同じ周波数帯域で音響DSSS信号群を放射する。この例によれば、オーケストレーションデバイスは、時刻t
0から時刻t
1までの間、オーディオデバイス3に音響DSSS信号群を放射させ、その後、オーケストレーションデバイスは、時刻t
1から時刻t
2までの間、オーディオデバイス2に音響DSSS信号群を放射させ、その後、オーケストレーションデバイスは、時刻t
2から時刻t
3までの間、オーディオデバイス1に音響DSSS信号群を放射させる、といった具合である。
【0189】
したがって、この例では、2つのDSSS信号が同時に送受信されることはない。したがって、振幅、帯域幅、長さ(各DSSS信号が割り当てられたタイムスロット内に留まる限り)などの残りのDSSS信号パラメータ群は、多重アクセスには関係ない。しかし、このようなDSSS信号パラメータ群は、DSSS信号群から抽出される観測値群の品質には関係する。
【0190】
図11は、周波数領域多重アクセス(frequency domain multiple access:FDMA)方式の一例を示すグラフである。いくつかの様態において(例えば、DSSS信号群の帯域幅が限られているため)、オーケストレーションデバイスが、オーディオデバイスに、オーディオ環境内の他の2つのオーディオデバイスから音響DSSS信号群を同時に受信させるように構成され得る。いくつかのそのような例において、音響DSSS信号群を送信する各オーディオデバイスがそれぞれの音響DSSS信号群を異なる周波数帯域で再生する場合、音響DSSS信号群はその受信パワーレベルが大きく異なる。これがFDMA方式である。
図11に示すFDMA方式の例では、DSSS信号群230Bおよび230Cの主ローブは、異なるオーディオデバイスから同時に送信されているが、中心周波数は異なり(f
1、f
2)、周波数帯域も異なる(b
1、b
2)。この例において、主ローブの周波数帯域b
1とb
2は重ならない。このようなFDMA方式は、音響DSSS信号群の経路に関連する音響損失が大きく異なる場合に有利である。
【0191】
いくつかの様態では、オーケストレーションデバイスは、近・遠問題を緩和するために、FDMA、TDMAまたはCDMA方式を変化させるように構成されてもよい。いくつかの例において、DSSS拡散コードの長さは、室内のデバイスの相対的な可聴性に応じて変更されてもよい。
図6を参照して上述したように、音響DSSS信号のエネルギー量が同じである場合、拡散コードが音響DSSS信号の帯域幅を増加させると、音響DSSS信号は相対的に最大パワーが低くなり、相対的に可聴性が低下する。代替的に、または追加的に、いくつかの様態ではDSSS信号群を互いに直交させて配置することができる。このような実装により、システムは同時に異なる拡散コード長のDSSS信号群を持つことができる。代替的に、または追加的に、いくつかの様態では、近・遠問題の影響を低減するため(例えば、比較的音量が小さい、および/または、より遠くの送信オーディオデバイスによって生成される音響DSSS信号のレベルを高めるため)、および/または、所与の動作目的に対して最適な信号対ノイズ比を得るために、各DSSS信号のエネルギーが修正されてもよい。
【0192】
図12は、オーケストレーション方法の他の例を示すグラフである。
図12の要素は以下の通りである:
【0193】
1210、1211および1212:互いに重ならない周波数帯。
230Ai、BiおよびCi:周波数帯域1210内で時間分割多重された複数の音響DSSS信号。オーディオデバイス1、2および3は周波数帯域1210の異なる部分を用いているように見えるかもしれないが、この例において、音響DSSS信号群230Ai、BiおよびCiの主ローブは、周波数帯域1210のほとんどまたはすべてに広がっている。
230DおよびE:周波数帯域1211内で符号分割多重された複数の音響DSSS信号。オーディオデバイス4および5は周波数帯域1211の異なる部分を用いているように見えるかもしれないが、この例において、音響DSSS信号群230Dおよび230Eの主ローブは、周波数帯域1211のほとんどまたは全体にわたって延びている。
230Aii、BiiおよびCii:周波数帯域1212内で符号分割多重された複数の音響DSSS信号。オーディオデバイス1、2および3は周波数帯域1210の異なる部分を用いているように見えるかもしれないが、この例において、音響DSSS信号群230Aii、BiiおよびCiiの主ローブは、周波数帯域1212のほとんどまたは全体にわたって延びている。
【0194】
図12は、本発明の特定の様態において、TDMA、FDMAおよびCDMAがどのように併用され得るかについて例を示す。周波数帯域1(1210)において、TDMAは、オーディオデバイス1~3によってそれぞれ送信される音響DSSS信号群230Ai、BiおよびCiを編成するために使用される。周波数帯域1210は、音響DSSS信号群230Ai、BiおよびCiが重なることなく同時にその中に収まることはできないような、単一の周波数帯域である。
【0195】
周波数帯域2(1211)において、CDMAは、それぞれオーディオデバイス4および5からの音響DSSS信号群230DおよびEを編成するために使用される。この特定の例において、音響DSSS信号230Dは、音響DSSS信号230Eを生成するために用いられるDSSS拡散コードよりも長いDSSS拡散コードを用いることによって生成されている。DSSS拡散コード期間が短いと、帯域幅が広くなり得られるDSSS信号のピーク周波数が低くなるため、受信オーディオデバイスから見て、オーディオデバイス5がオーディオデバイス4よりも音が大きい場合にオーディオデバイス5のDSSS拡散コード期間が短いことは有用である。信号対ノイズ比(SNR)も、音響DSSS信号230DのDSSS拡散コード期間が比較的長いことによって改善される可能性がある。
【0196】
周波数帯域3(1212)では、CDMAを用いて、オーディオデバイス1~3がそれぞれ送信する音響DSSS信号群230Aii、BiiおよびCiiを編成する。これらの音響DSSS信号群は、周波数帯域1210内の同じオーディオデバイスに対してTDMA編成された音響DSSS信号群を同時に送信しているオーディオデバイス1~3によって送信される代替コードである。これは、より長い拡散コードが1つの周波数帯域(1212)内に配置されて同時に送信される(TDMAなし)一方で、より短い拡散コードがTDMAが使用される別の周波数帯域(1210)内に配置されるFDMAの一形態である。
【0197】
図13は、オーケストレーション方法の他の例を示すグラフである。この様態によれば、オーディオデバイス4は、互いに直交する音響DSSS信号群230Diおよび230Diiを送信しており、オーディオデバイス5は、やはり互いに直交する音響DSSS信号群230Eiおよび230Eiiを送信している。この例によれば、すべての音響DSSS信号群は、単一の周波数帯域1310内で同時に送信される。この場合において、直交音響DSSS信号群230Diおよび230Eiは、2つのオーディオデバイスによって送信される同相符号230Diiおよび230Eiiよりも長い。この結果、各オーディオデバイスは、音響DSSS信号群230Diおよび230Eiに由来するより高いSNRの観測値のセットに加え、低い更新レートでではあるが、音響DSSS信号群230Diiおよび230Eiiに由来するより高速でノイズの多い観測値のセットを有する。これは、2つのオーディオデバイスが、その2つのオーディオデバイスが共有している音響空間のために設計された音響DSSS信号群を送信している、CDMAベースのオーケストレーション方法の例である。いくつかの例において、オーケストレーション方法は、現在のリスニング目的に少なくとも部分的に基づいてもよい。
【0198】
図14は、別の例によるオーディオ環境の要素を示す。この例において、オーディオ環境1401は、音響空間130A、130Bおよび130Cを含むマルチルーム住居である。この例によれば、ドア1400Aおよび1400Bは、各音響空間の結合を変えることができる。例えば、ドア1400Aが開いている場合、音響空間130Aおよび130Cは、少なくともある程度音響的に結合され、一方、ドア1400Aが閉じている場合、音響空間130Aおよび130Cは、有意な程度には音響的に結合されない。いくつかの様態では、オーケストレーションデバイスは、隣接する音響空間におけるオーディオデバイス再生音の検出またはその欠如に応じて、ドアが開いていること(または別の音響的障害物が動かされていること)を検出するように構成され得る。
【0199】
いくつかの例において、オーケストレーションデバイスは、音響空間130A、130Bおよび130Cのすべてにおいて、オーディオデバイス100A~100Eのすべてを編成することができる。しかしながら、ドア1400Aおよび1400Bが閉じられているときの音響空間130A、130Bおよび130C間の有意なレベルの音響分離のため、いくつかの例では、オーケストレーションデバイスは、ドア1400Aおよび1400Bが閉じられているときには、音響空間130A、130Bおよび130Cを独立したものとして扱うことができる。いくつかの例において、オーケストレーションデバイスは、ドア1400Aおよび1400Bが開いているときでも、音響空間130A、130Bおよび130Cを独立したものとして扱うことができる。しかしながら、いくつかの場合では、オーケストレーションデバイスは、ドアが開くことによって音響空間が結合されるとき、開いているドアに近いオーディオデバイスが、ドアの両側の部屋に対応するオーディオデバイスであるとして扱われるように、ドア1400Aおよび/または1400Bに近い位置にあるオーディオデバイスを管理してもよい。例えば、オーケストレーションデバイスがドア1400Aが開いていると判断した場合、オーケストレーションデバイスは、オーディオデバイス100Cを音響空間130Aのオーディオデバイスであるとみなすとともに、音響空間130Cのオーディオデバイスであるとみなすように構成され得る。
【0200】
図15は、開示するオーディオデバイスのオーケストレーション方法の別の例の概要を示すフロー図である。方法1500のブロック群は、本明細書に記載した他の方法と同様に、必ずしも示された順序で実行されるわけではない。また、そのような方法は、図示および/または説明されているより多くのまたはより少ない数のブロックを含み得る。方法1500は、オーケストレーションデバイスと、オーケストレーションを受けるオーディオデバイスとを含むシステムによって実行され得る。システムは、
図1Bに示し上述した装置150のインスタンスを含んでよく、そのうちの1つはオーケストレーションデバイスとして構成される。オーケストレーションデバイスは、いくつかの例では、本明細書に開示するオーケストレーションモジュール213のインスタンスを含み得る。
【0201】
この例によれば、ブロック1505は、すべての参加オーディオデバイスの定常状態の動作を含む。この文脈において、「定常状態」動作とは、オーケストレーションデバイスから直近に受信されたパラメータのセットに従って動作することを意味する。この様態によれば、パラメータのセットは、1つ以上のDSSS拡散コードパラメータと、1つ以上のDSSS搬送波パラメータとを含む。
【0202】
この例において、ブロック1505はまた、1つ以上のデバイスがトリガ条件を待つことを含む。トリガ条件は、例えば、オーケストレーションを受けるオーディオデバイスが配置されているオーディオ環境における音響変化であってもよい。音響変化は、ノイズ源からのノイズ、ドアまたは窓の開閉に対応する変化(例えば、隣接する部屋の1つ以上のラウドスピーカからの再生音の可聴性の増加または減少)、オーディオ環境内のオーディオデバイスの検出された動き、オーディオ環境内の人の検出された動き、オーディオ環境内の人の検出された発話(例えば、ウェイクワードの)、オーディオコンテンツの再生の開始、(例えば、映画、テレビ番組、音楽コンテンツなどの開始)、オーディオコンテンツ再生の変化(例えば、デシベル単位の閾値変化以上の音量変化)などであってもよく、またはそれを含んでもよい。いくつかの例において、音響変化は、例えば、本明細書に開示するような音響DSSS信号群(例えば、オーディオ環境内のオーディオデバイスのベースバンド処理器218によって推定される1つ以上の音響シーンメトリック225A)を介して検出される。
【0203】
いくつかの例において、トリガ条件は、新たなオーディオデバイスがオーディオ環境において電源オンされたことを示すものであってもよい。いくつかのそのような例において、新たなオーディオデバイスは、1つ以上の特徴的な音を生成するように構成されてもよく、それは人間にとって可聴であっても、可聴でなくてもよい。いくつかの例によれば、新たなオーディオデバイスは、新たなデバイスのために予約されているタイプのDSSS拡散コードに従って音響DSSS信号を再生するように構成されてもよい。予約されたDSSS拡散コードのいくつかの例を以下に説明する。
【0204】
この例において、ブロック1510において、トリガ条件が検出されたかどうかが判定される。そうであれば、プロセスはブロック1515に進む。そうでない場合、プロセスはブロック1505に戻る。いくつかの様態では、ブロック1505はブロック1510を含んでもよい。
【0205】
この例によれば、ブロック1515は、オーケストレーションデバイスによって、オーケストレーションを受けるオーディオデバイスのうち1つ以上(場合によっては、すべて)のための1つ以上の更新された音響DSSSパラメータ群を決定することと、更新された音響DSSSパラメータ(単数または複数)を、オーケストレーションを受けるオーディオデバイス(単数または複数)に提供することとを含む。いくつかの例において、ブロック1515は、オーケストレーションデバイスによって、本明細書の他の箇所で説明されるDSSS情報205を提供することを含み得る。更新された音響DSSSパラメータ(単数または複数)の決定は、以下のような音響空間の既存の知識および推定値群を使用することを含み得る:
【0206】
・デバイスの位置
・デバイスのレンジ;
・デバイスの向きと相対的な入射角度;
・デバイス間の相対クロックバイアスとスキュー;
・デバイスの相対的な可聴性;
・室内ノイズの推定値;
・各デバイスにおけるマイクロフォンとラウドスピーカの数;
・各デバイスのラウドスピーカの指向性;
・各デバイスのマイクロフォンの指向性;
・音響空間にレンダリングされているコンテンツの種類;
・音響空間における1人以上のリスナーの位置;および/または
・鏡面反射やオクルージョンを含む、音響空間の知識。
【0207】
このような要因は、いくつかの例では、新たな動作ポイントを決定するために、ある動作目的と組み合わされることがある。更新されたDSSSパラメータ群を決定する際に既存の知識として使用されるこれらのパラメータ群の多くは、それ自体、音響DSSSパラメータ群から導出され得ることに留意されたい。したがって、いくつかの例では、編成された音響DSSSシステムは、システムがより多くの情報、より正確な情報などを得るにつれて、その性能を反復的に向上させることができることを、容易に理解することができる。
【0208】
この例において、ブロック1520は、オーケストレーションデバイスから受信した更新された音響DSSSパラメータ(単数または複数)に従って、音響DSSS信号群を生成するために使用される1つ以上のパラメータを、1つ以上のオーケストレーションを受けるオーディオデバイスによって再構成することを含む。この様態によれば、ブロック1520が完了した後、プロセスはブロック1505に戻る。
図15のフロー図には終了が示されていないが、方法1500は、例えば、オーディオデバイスの電源が落とされたときなど、様々な方法で終了することができる。
【0209】
図16は、オーディオ環境の他の例を示す。
図16に示すオーディオ環境130は、
図8に示すものと同様であるが、オーディオデバイス100Aから見た(オーディオデバイス100Aに対する)、オーディオデバイス100Bとオーディオデバイス100Cとの角度的な隔たりも示している。
図16では、オーディオデバイス100Bおよび100Cは、それぞれ距離810および811だけデバイス100Aから離間している。この特定の状況では、距離811は距離810よりも大きい。オーディオデバイス100Bおよび100Cがほぼ同じレベルでオーディオデバイス再生音を生成していると仮定すると、これは、オーディオデバイス100Aが、距離811の方が長いことによる追加的な音響損失により、オーディオデバイス100Bからの音響DSSS信号群よりも低いレベルでオーディオデバイス100Cからの音響DSSS信号群を受信することを意味する。
【0210】
この例において、デバイス100Aがデバイス100Bおよび100Cの両方を聞く能力を最適化するために、デバイス100Bと100Cとの編成に焦点を当てている。上記で概説したように、考慮すべき他の要因もあるが、この例においては、オーディオデバイス100Aに対するオーディオデバイス100Bとオーディオデバイス100Cとの角度的な隔たりによって生じる到来角の多様性に焦点を当てている。距離810および811の違いのため、編成の結果オーディオデバイス100Bおよび100Cのコード長が長く設定され、クロスチャネル相関を低減することによって近・遠問題を緩和することになる。しかし、受信側ビームフォーマ(215)がオーディオデバイス100Aによって実装された場合、オーディオデバイス100Bおよび100C間の角度的な隔たりによって、オーディオデバイス100Bおよび100Cからの音に対応するマイクロフォン信号群が異なるローブに配置され、2つの受信信号のさらなる分離が提供されるため、近・遠問題はいくらか緩和される。したがって、このさらなる分離により、オーケストレーションデバイスは音響DSSS拡散コード長を短縮し、より速い速度で観測値群を得ることができる。
【0211】
これは、音響DSSS拡散コード長だけに当てはまるわけではない。無指向性マイクロフォンフィードの代わりに空間的マイクロフォンフィードがオーディオデバイス100A(および/またはオーディオデバイス100Bおよび100C)によって使用される場合、(例えば、FDMAまたはTDMAを使用したとしても)近・遠問題を緩和するために変更されることが可能であるような音響DSSSパラメータは、もはや必要でないかもしれない。
【0212】
空間的手段(この場合は角度的多様性)に従ったオーケストレーションは、これらの特性の推定値群がすでに利用可能であることに依存する。一例において、DSSSパラメータ群を無指向性マイクロフォンフィード用に最適化し(206)、DoA推定値群が利用可能になった後に、音響DSSSパラメータ群を空間的マイクロフォンフィード用に最適化してもよい。これは、
図15を参照して上述したトリガ条件の1つの実現例である。
【0213】
図17は、いくつかの開示する様態によるDSSS信号復調器要素、ベースバンド処理器要素、およびDSSS信号発生器要素の例を示すブロック図である。本明細書で提供される他の図と同様に、
図17に示される要素の種類および数は、単に例示として与えられている。他の様態では、より多くの、より少ない、および/または異なる種類および数の要素を含み得る。他の例では、周波数領域相関などの他の方法を実装してもよい。この例において、DSSS信号復調器214、ベースバンド処理器218およびDSSS信号発生器212は、
図1Bを参照して上述した制御システム160のインスタンスによって実装される。
【0214】
いくつかの様態によれば、音響DSSS信号群が受信される各オーディオデバイスから、送信される(再生される)各音響DSSS信号ごとに、DSSS信号復調器214、ベースバンド処理器218およびDSSS信号発生器212のインスタンスが1つある。言い換えれば、
図16に示す様態の場合、オーディオデバイス100Aは、オーディオデバイス100Bから受信した音響DSSS信号群に対応する、DSSS信号復調器214、ベースバンド処理器218およびDSSS信号発生器212の1つのインスタンスと、オーディオデバイス100Cから受信した音響DSSS信号群に対応する、DSSS信号復調器214、ベースバンド処理器218およびDSSS信号発生器212の1つのインスタンスとを実装することになる。
【0215】
説明のために、
図17の以下の説明では、DSSS信号復調器214、ベースバンド処理器218およびDSSS信号発生器212のインスタンスを実装しているローカルデバイスとして、
図16のオーディオデバイス100Aのこの例を引き続き使用する。より具体的には、
図17の以下の説明では、DSSS信号復調器214によって受信されたマイクロフォン信号群206が、オーディオデバイス100Bのラウドスピーカによって生成された音響DSSS信号群を含む再生音を含み、
図17に示されるDSSS信号復調器214、ベースバンド処理器218、およびDSSS信号発生器212のインスタンスが、オーディオデバイス100Bのラウドスピーカによって再生された音響DSSS信号群に対応すると仮定する。
【0216】
この様態によれば、DSSS信号発生器212は音響DSSS搬送波モジュール1715を含む。音響DSSS搬送波モジュール1715は、その音響DSSS信号群を生成するためにオーディオデバイス100Bによって使用されている、DSSS搬送波のDSSS搬送波レプリカ1705を、DSSS信号復調器214に提供するように構成される。いくつかの代替的な様態において、音響DSSS搬送波モジュール1715は、その音響DSSS信号群を生成するためにオーディオデバイス100Bによって使用されている1つ以上のDSSS搬送波パラメータを、DSSS信号復調器214に提供するように構成され得る。
【0217】
この様態において、DSSS信号発生器212は音響DSSS拡散コードモジュール1720も含む。音響DSSS拡散コードモジュール1720は、その音響DSSS信号群を生成するためにオーディオデバイス100Bによって使用されるDSSS拡散コード1706を、DSSS信号復調器214に提供するように構成される。DSSS拡散コード1706は、本明細書に開示する式における拡散コードC(t)に対応する。DSSS拡散コード1706は、例えば、擬似乱数(PRN)列であってもよい。
【0218】
この様態によれば、DSSS信号復調器214は、受信されたマイクロフォン信号群206からバンドパスフィルタ処理されたマイクロフォン信号群1704を生成するように構成された、バンドパスフィルタ1703を含む。いくつかの例において、バンドパスフィルタ1703の通過帯域は、DSSS信号復調器214によって処理されている、オーディオデバイス100Bからの音響DSSS信号の中心周波数に中心を合わせられてもよい。バンドパスフィルタ1703は、例えば、音響DSSS信号の主ローブを通過させてもよい。いくつかの例において、バンドパスフィルタ1703の通過帯域は、オーディオデバイス100Bからの音響DSSS信号の送信のための周波数帯域に等しくてもよい。
【0219】
この例において、DSSS信号復調器214は、バンドパスフィルタ処理されたマイクロフォン信号群1704をDSSS搬送波レプリカ1705と畳み込み、ベースバンド信号群1700を生成するように構成された、乗算ブロック1711Aを含む。この様態によれば、DSSS信号復調器214は、DSSS拡散コード1706をベースバンド信号群1700に適用することによって非拡散ベースバンド信号群1701を生成するように構成された、乗算ブロック1711Bも含む。
【0220】
この例によれば、DSSS信号復調器214は累積器1710Aを含み、ベースバンド処理器218は累積器1710Bを含む。累積器1710Aおよび1710Bはまた、本明細書では和素子と呼ばれることもある。累積器1710Aは、各音響DSSS信号のコード長(この例では、オーディオデバイス100Bによって現在再生されている音響DSSS信号のコード長)に対応する、本明細書では「コヒーレント時間」と呼ばれ得る時間中に動作する。この例において、累積器1710Aは、「積分およびダンプ」プロセスを実行する。言い換えれば、コヒーレント時間について非拡散ベースバンド信号群1701の和を取った後、累積器1710Aは、復調コヒーレントベースバンド信号208をベースバンド処理器218に出力する(「ダンプする」)。いくつかの様態では、復調コヒーレントベースバンド信号208は、単一数であってもよい。
【0221】
この例において、ベースバンド処理器218は、二乗則モジュール1712を含む。二乗則モジュールは、この例では、復調コヒーレントベースバンド信号208の絶対値を2乗し、パワー信号1722を累積器1710Bに出力するように構成されている。絶対値および2乗処理の後、パワー信号は非コヒーレント信号と見なすことができる。この例において、累積器1710Bは「非コヒーレント時間にわたって動作する。非コヒーレント時間は、いくつかの例では、オーケストレーションデバイスからの入力に基づいていてもよい。非コヒーレント時間は、いくつかの例では、所望のSNRに基づいていてもよい。この例によれば、累積器1710Bは、複数の遅延(本明細書では「タウ」、またはタウのインスタンス(τ)とも呼ばれる)で遅延波形400を出力する。
【0222】
図17の1704から208までの段階を次のように表すことができる:
【数4】
【0223】
前述の式において、Y(tau)はコヒーレントな復調器出力(208)を表し、d[n]はバンドパスフィルタ処理された信号(1704または
図17のA)を表し、CAは室内の遠いデバイス(この例では、オーディオデバイス100B)によってDSSS信号を変調するために使用されるコードを拡散するローカルコピーを表し、最終項はキャリア信号である。いくつかの例において、これらの信号パラメータ群はすべて、オーディオ環境内のオーディオデバイス間で編成される(例えば、オーケストレーションデバイスによって決定され、提供されてもよい)。
【0224】
図17のY(tau)(208)から<Y(tau)>(400)までの信号チェーンは、非コヒーレント積分であり、コヒーレントな復調器出力が2乗され、平均化される。平均化の数(非コヒーレント累積器1710Bが実行される回数)は、いくつかの例では、例えば、十分なSNRが達成されたという決定に基づいて、オーケストレーションデバイスによって決定され、提供され得るパラメータである。いくつかの例において、ベースバンド処理器218を実装しているオーディオデバイスは、例えば、十分なSNRが達成されたという決定に基づいて、平均化の数を決定してもよい。
【0225】
非コヒーレント積分は、数学的には次のように表すことができる:
【数5】
【0226】
前述の式は、Nで定義される期間にわたって2乗コヒーレント遅延波形を単純に平均化することを含む、ここで、Nは非コヒーレント積分に用いられるブロック数を表す。
【0227】
図18は、別の例によるDSSS信号復調器の要素を示す。この例によれば、DSSS信号復調器214は、遅延推定値群、DoA推定値群および可聴性推定値群を生成するように構成される。この例において、DSSS信号復調器214は、コヒーレント復調を実行するように構成され、その後、全遅延波形に対して非コヒーレント積分が実行される。
図17を参照して上述した例と同様に、この例では、DSSS信号復調器214がオーディオデバイス100Aによって実装され、オーディオデバイス100Bによって再生される音響DSSS信号群を復調するように構成されていると仮定する。
【0228】
この例において、DSSS信号復調器214は、リスナーの体験のためにレンダリングされているオーディオコンテンツの一部や、近・遠問題を回避するために他の周波数帯域に配置された音響DSSS信号群などの他のオーディオ信号群から、不要なエネルギーを除去するように構成された、バンドパスフィルタ1703を含む。
【0229】
整合フィルタ1811は、バンドパスフィルタ処理された信号1704を、対象とする音響DSSS信号のローカルレプリカと相関させることによって、遅延波形1802を算出するように構成される。この例では、ローカルレプリカは、オーディオデバイス100Bによって生成されたDSSS信号群に対応するDSSS信号レプリカ群204のインスタンスである。整合フィルタ出力1802は、次に、ローパスフィルタ712によってローパスフィルタ処理され、コヒーレントに復調された複素遅延波形208を生成する。いくつかの代替的な様態において、ローパスフィルタ712は、
図17を参照して上述した例のような、非コヒーレント平均化遅延波形を生成するベースバンド処理器218における2乗演算の後に配置されてもよい。
【0230】
この例において、チャネルセレクタ1813は、DSSS情報205に従って、バンドパスフィルタ1703(例えば、バンドパスフィルタ1703の通過帯域)および整合フィルタ1811を制御するように構成される。上述のように、DSSS情報205は、DSSS信号群を復調するために制御システム160によって使用されるパラメータ群などを含んでもよい。DSSS情報205は、いくつかの例では、どのオーディオデバイスが音響DSSS信号群を生成しているかを示し得る。いくつかの例において、DSSS情報205は、オーケストレーションデバイスなどの外部ソースから(例えば、無線通信を介して)受信され得る。
【0231】
図19は、いくつかの開示する様態によるベースバンド処理器要素の例を示すブロック図である。本明細書で提供される他の図と同様に、
図19に示される要素の種類および数は、単に例示として与えられている。他の様態では、より多くの、より少ない、および/または異なる種類および数の要素を含み得る。この例において、ベースバンド処理器218は、
図1Bを参照して上述した制御システム160のインスタンスによって実装される。
【0232】
この特定の様態では、コヒーレント技術は適用されない。したがって、実行される最初の演算は、二乗則モジュール1712を介して複素遅延波形208のパワーを取り、非コヒーレント遅延波形1922を生成することである。非コヒーレント遅延波形1922は、累積器1710Bによって一定期間(この例ではオーケストレーションデバイスから受信したDSSS情報205で指定されるが、いくつかの例ではローカルに決定されてもよい)積分され、非コヒーレント平均化遅延波形400を生成する。この例によれば、遅延波形400は、次に、以下のように複数の方法で処理される:
【0233】
1.前縁推定器1912は、受信信号の推定時間遅延である遅延推定1902を行うように構成される。いくつかの例において、遅延推定値1902は、遅延波形400の前縁の位置の推定値に少なくとも部分的に基づいてもよい。いくつかのそのような例によれば、遅延推定値1902は、遅延波形400の前縁の位置に対応する時間サンプル、または遅延波形400の前縁の位置から1チップ周期(信号帯域幅に反比例する)未満の時間サンプルまでの(これ自体を含む)、遅延波形の信号部分(例えば、正の部分)の時間サンプルの数に従って決定されてもよい。後者の場合、この遅延は、DSSS符号の自己相関の幅を補償するために使用することができる。チッピングレートが増加するにつれて、自己相関のピークの幅は狭くなり、チッピングレートがサンプリングレートに等しいときに最小になる。この条件(チッピングレートがサンプリングレートに等しい)により、所定のDSSS符号に対するオーディオ環境の真のインパルス応答に最も近似した、遅延波形400が得られる。チッピングレートが増加すると、DSSS信号変調器220Aの後続でスペクトルの重複(エイリアシング)が発生する可能性がある。いくつかの例において、チッピングレートがサンプリングレートに等しい場合、DSSS信号変調器220Aはバイパスされるか、または省略され得る。サンプリングレートのそれに近づくチッピングレート(例えば、サンプリングレートの80%であるチッピングレート、サンプリングレートの90%であるチッピングレートなど)は、いくつかの目的については実際のインパルス応答の十分な近似であるような遅延波形400を提供し得る。いくつかのそのような例において、遅延推定値1902は、DSSS信号特性に関する情報に部分的に基づいてもよい。いくつかの例において、前縁推定器1912は、ある時間ウィンドウの間に閾値より大きい値の最初のインスタンスに従って、遅延波形400の前縁の位置を推定するように構成されてもよい。いくつかの例を
図20を参照して後述する。他の例では、前縁推定器1912は、最大値(例えば、ある時間ウィンドウ内の極大値)の位置に応じて遅延波形400の前縁の位置を推定するように構成されてもよく、これは「ピークピッキング」の例である。遅延を推定するために他の多くの技術が使用され得ることに留意されたい(例えば、ピークピッキング)。
【0234】
2.この例において、ベースバンド処理器218は、遅延和DoA推定器1914を使用する前に、遅延波形400をウィンドウ化(ウィンドウ化ブロック1913)することによってDoA推定1903を行うように構成される。遅延和DoA推定器1914は、遅延波形400のステアード応答パワー(SRP)の決定に少なくとも部分的に基づいて、DoA推定を行うことができる。したがって、遅延和DoA推定器1914は、本明細書ではSRPモジュールまたは遅延和ビームフォーマとも呼ばれることがある。ウィンドウ化は、結果として得られたDoA推定値がノイズよりも信号に基づくように、前縁周辺の時間区間を分離するのに役立つ。いくつかの例において、ウィンドウサイズは数十ミリ秒から数百ミリ秒の範囲、例えば10ミリ秒から200ミリ秒の範囲とすることができる。いくつかの例において、ウィンドウサイズは、典型的な部屋の減衰時間に関する知識、または問題のオーディオ環境の減衰時間に関する知識に基づいて選択され得る。いくつかの例において、ウィンドウサイズは、時間の経過とともに適応的に更新されてもよい。例えば、いくつかの様態は、ウィンドウの少なくともいくつかの部分が遅延波形400の信号部分によって占有されることになるようなウィンドウサイズを決定することを含み得る。いくつかのそのような様態は、前縁の前に発生する時間サンプルに従ってノイズパワーを推定することを含み得る。いくつかのそのような様態は、ウィンドウの少なくとも閾値パーセンテージが、少なくとも閾値信号レベルに対応する遅延波形の一部、例えば、推定ノイズパワーよりも少なくとも6dB大きい、推定ノイズパワーよりも少なくとも8dB大きい、推定ノイズパワーよりも少なくとも10dB大きい、などによって占有されることになるウィンドウサイズを選択することを含み得る。
【0235】
3.この例によれば、ベースバンド処理器218は、SNR推定ブロック1915を用いて信号対ノイズパワーを推定することにより、可聴性推定1904を行うように構成される。この例において、SNR推定ブロック1915は、遅延波形400から信号パワー推定値402およびノイズパワー推定値401を抽出するように構成される。いくつかのそのような例によれば、SNR推定ブロック1915は、
図20を参照して後述するように、遅延波形400の信号部分およびノイズ部分を決定するように構成され得る。いくつかのそのような例において、SNR推定ブロック1915は、選択された時間ウィンドウ群にわたって信号部分およびノイズ部分を平均化することによって、信号パワー推定値402およびノイズパワー推定値401を決定するように構成されてもよい。いくつかのそのような例において、SNR推定ブロック1915は、信号パワー推定値402とノイズパワー推定値401との比に従ってSNR推定を行うように構成され得る。いくつかの例において、ベースバンド処理器218は、SNR推定に従って可聴推定1904を行うように構成され得る。所与の量のノイズパワー量があたえられたとき、SNRはオーディオデバイスの可聴性に比例する。したがって、いくつかの様態では、SNRは、実際のオーディオデバイスの可聴性の推定値のプロキシ(例えば、比例する値)として直接使用されてもよい。キャリブレーションされたマイクロフォンフィード群を含むいくつかの様態では、(例えば、dBSPLで)絶対可聴性を測定し、SNRを絶対可聴性推定値に変換することを含み得る。いくつかのそのような様態において、絶対可聴性推定値を決定するための方法は、オーディオデバイス間の距離や室内のノイズの変動性による音響損失を考慮する。他の様態において、遅延波形から信号パワー、ノイズパワー、および/または相対的な可聴性を推定するための他の技法。
【0236】
図20に遅延波形の一例を示す。この例において、ベースバンド処理器218のインスタンスによって遅延波形400が出力されている。この例によれば、縦軸はパワーを示し、横軸は擬似レンジをメートル単位で示す。上述のように、ベースバンド処理器218は、本明細書においてτと呼ぶこともある遅延情報を、復調された音響DSSS信号から抽出するように構成される。τの値は、ρと呼ぶこともある擬似レンジ測定値に、以下のように変換することができる:
【0237】
【0238】
前述の式において、cは音速を表す。
図20において、遅延波形400は、ノイズ部分2001(ノイズフロアとも呼ばれることがある)と信号部分2002を含む。擬似レンジ測定値(および対応する遅延波形)における負の値は、ノイズとして識別することができる。負のレンジ(距離)は物理的に意味をなさないため、負の擬似レンジに対応するパワーはノイズであると仮定される。
【0239】
この例において、波形400の信号部分2002は、前縁2003と後縁とを含む。前縁2003は、信号部分2002のパワーが比較的強い場合に、遅延波形400の顕著な特徴である。いくつかの例において、
図19の前縁推定器1912は、ある時間ウィンドウの間に閾値より大きいパワー値の最初のインスタンスに従って、前縁2003の位置を推定するように構成されてもよい。いくつかの例において、時間ウィンドウは、τ(またはρ)がゼロのときに開始され得る。いくつかの例において、ウィンドウサイズは数十ミリ秒から数百ミリ秒の範囲、例えば10ミリ秒から200ミリ秒の範囲であってもよい。いくつかの様態によれば、閾値は、事前に選択された値、例えば、-5dB、-4dB、-3dB、-2dBなどであってもよい。いくつかの代替例においては、閾値は遅延波形400の少なくとも一部のパワー、例えばノイズ部分の平均パワーに基づいてもよい。
【0240】
しかしながら、上述したように、他の例では、前縁推定器1912は、最大値(例えば、時間ウィンドウ内の極大値)の位置に応じて前縁2003の位置を推定するように構成されてもよい。いくつかの例において、時間ウィンドウは上述のように選択されてもよい。
【0241】
図19のSNR推定ブロック1915、いくつかの例では、ノイズ部分2001の少なくとも一部に対応する平均ノイズ値と、信号部分2002の少なくとも一部に対応する平均またはピーク信号値とを決定するように構成され得る。
図19のSNR推定ブロック1915は、いくつかのそのような例では、平均信号値を平均ノイズ値で割ることによってSNRを推定するように構成され得る。
【0242】
図21は、別の様態によるブロックの例を示す。この例は、DSSS信号復調器214の相関器バンク実装を含む。この文脈において、用語「相関器バンク」とは、音響DSSS信号群の複数のインスタンスが異なる遅延で相関されることを意味する。この例によれば、バルク遅延推定器2110が、DSSS相関器バンク(214)を粗く整合(align)させるために用いられることにより、すべての遅延群のうちのサブセットのみがベースバンド処理器218によって計算される必要があるようにする。この様態において、DSSS相関器バンク(214)は、ウィンドウ化された復調コヒーレントベースバンド信号208を生成し、ベースバンド処理器218は、ウィンドウ化された非コヒーレント平均化遅延波形400を生成する。
【0243】
この実施形態において、バルク遅延推定器2110は、遠いデバイスによってレンダリングされている信号を基準として利用して、バルク遅延を推定する。そのような一例において、バルク遅延推定器2110は、オーディオ環境内の別のオーディオデバイス(「遠いデバイス」)によって再生されている基準信号(2102)を、受信されたマイクロフォン信号群206と相関させる相互相関器を実装し、バルク遅延2103を推定するように構成される。一般に、推定バルク遅延2103は、音響DSSS信号群を受信するオーディオデバイスごとに異なる。
【0244】
いくつかの代替的な様態は、遠いデバイスの基準再生をキャンセルしている音響エコーキャンセラのフィルタタップの情報に従って、バルク遅延2103を推定することを含む。フィルタは、他のデバイスからの直接信号群に対応するピークを示し、これにより大まかな整合が得られる。
【0245】
バルク遅延推定器2110は、後続の「下流」計算を制限することによって、効率を高めることができる。例えば、ウィンドウ化処理によって、擬似レンジを、
図20に示すような範囲ではなく、xからyメートルの範囲、例えば、1~4メートル、0~4メートル、1~5メートル、-1~4メートルなどに制限することができる。
【0246】
図22は、さらに別の様態によるブロックの例を示す。この例は、DSSS信号復調器214の「整合フィルタ」バージョンを含み、これは、いくつかの場合では、
図18を参照して上述したように構成され得る。この例は、バルク遅延推定器2110のインスタンスも含み、この様態では、これがバルク遅延推定値2103をベースバンド処理器218に提供する。
【0247】
この例によれば、ウィンドウは、ウィンドウ化ブロック1913を用いて抽出される遅延波形2204の信号成分について、外部からのバルク遅延推定値2103によってステアリング(センタリング)されている。追加のウィンドウ化ブロック2213が、バルク遅延推定値2103とオフセット2206とを用いてセンタリングされ、遅延波形のうちノイズのみの領域において遅延波形400をウィンドウ化する。例えば、オフセットされたウィンドウ化遅延波形2205は、
図20のノイズ部分2001に対応し得る。
【0248】
この例において、ベースバンド処理器218は、
図19を参照して上述したように、遅延和ビームフォーマ1914を介してSRPを実行する前に、遅延波形400をウィンドウ化する。しかし、この例では、ベースバンド処理器218は、バルク遅延推定値2103に基づいてウィンドウ化ブロック1913を制御する。この様態によれば、ウィンドウ化ブロック1913は、ウィンドウ化遅延波形2204を、前縁推定器1912、遅延和ビームフォーマ1914、およびSNR推定ブロック1915に提供する。さらに、この例では、ベースバンド処理器218は、バルク遅延推定値2103に基づいて、ウィンドウ化ブロック2213を制御する。
【0249】
いくつかの様態では、前縁推定器1912を用いて推定される遅延推定値1902は、いくつかの例では、後続の音響DSSS観測値群をウィンドウ化するために使用されてもよい。いくつかのそのような様態において、遅延推定値1902は、
図21および
図22におけるバルク遅延2103に取って代わることができる。
【0250】
図23は、いくつかの開示する様態によるオーディオデバイス要素の例を示すブロック図である。本明細書で提供される他の図と同様に、
図23に示される要素の種類および数は、単に例示として与えられている。他の様態では、より多くの、より少ない、および/または異なる種類および数の要素を含み得る。この例において、
図23のオーディオデバイス100Aは、
図1Bおよび
図2~4を参照して上述した装置150のインスタンスである。
図23に示す様態は、
図4のビームフォーマ215Aが
図23ではより一般化された前処理モジュール221Aに置き換えられていることを除いて、
図4のすべての要素を含む。
図4および
図23に共通する要素については、
図23の様態においてその機能が異なる可能性がある点を除き、ここでは再度説明しない。
【0251】
この様態によれば、前処理モジュール221Aは、受信されたマイクロフォン信号群206Aを前処理して、前処理済マイクロフォン信号群207Aを生成するように構成される。いくつかの様態では、受信されたマイクロフォン信号群を前処理することは、バンドパスフィルタおよび/またはーキャンセレーションの適用を含み得る。いくつかの例によれば、マイクロフォンシステム111Aは、マイクロフォンのアレイを含むことができ、いくつかの場合では、このマイクロフォンアレイは1つ以上の指向性マイクロフォンであるか、それを含み得る。ういくつかのそのような例において、受信されたマイクロフォン信号群を前処理することは、前処理モジュール221Aを介した受信側ビームフォーミングを含み得る。
【0252】
一般的に、各オーディオデバイスは独自の内部クロックを持ち、オーディオ環境の他のオーディオデバイスによって実装されるクロックとは独立して機能することが多い。クロックオフセットまたはバイアスとは、特定の時間だけずれたクロック(例えば、オーディオデバイスAのクロックとオーディオデバイスBのクロック)を指する。クロックは一般に、わずかに異なる速度で動作しており、これはクロックスキューとして知られている。クロックスキューは、時間とともにクロックバイアスを変化させる。このクロックバイアスの変化により、デバイス間の推定レンジあるいは距離が変化する。これは「レンジウォーク」として知られる現象である。
【0253】
クロックスキューがネットワーク同期によって制限され、および/またはクロックスキューの推定が(可能性として本開示に列挙される技術によって)行われるシステムの場合、積分期間中のレンジウォークによるSNR損失を緩和するために、受信デバイスのコヒーレント積分時間が制限されることが有利であり得る。いくつかの例において、スキューがコヒーレントな積分時間スケールでは大きくないが、非コヒーレントな積分時間スケールでは大きい場合などに、これをレンジウォーク補償技術と組み合わせることができる。
【0254】
図24は、他の様態例のブロックを示す。本明細書で提供される他の図と同様に、
図23に示される要素の種類および数は、単に例示として与えられている。他の様態では、より多くの、より少ない、および/または異なる種類および数の要素を含み得る。例えば、いくつかの様態では、ベースバンド処理器218は、
図19および
図22を参照して上述した要素などの追加的要素を含み得る。
【0255】
この実施形態において、
図15を参照して上記で言及した種類のトリガ条件の1つ(音響DSSSパラメータ群の更新をトリガするための)を監視する1つの方法は、オーディオ環境の任意の2つのオーディオデバイスの相対クロックスキューの変化を検出するように構成されたブロックとして実装される。2つのオーディオデバイスの相対クロックスキューを計算するいくつかの詳細な例を以下に示す。いくつかの例において、DSSS信号復調器214およびベースバンド処理器218の拡張係数(enhanced coefficients)は、相対クロックスキューに少なくとも部分的に基づいてもよい。さらに、閾量よりも大きいクロックスキューの変化は、いくつかの例では、すべての参加オーディオデバイスのグローバルな動作構成(例えばCDMA、FDMA、TDMAの割り当て)の変化をもたらし、いくつかの場合において
図15のブロック1510からブロック1515へのフローをトリガするトリガ条件であってもよい。
【0256】
図24に示す例によれば、DSSS信号発生器212Aは、信号スキューパラメータ群2402を受信し、オーディオ環境の他のオーディオデバイスによって生成されたDSSS信号群に対応するDSSS信号レプリカ群204を、DSSS信号復調器214に提供する。いくつかの例において、DSSS信号発生器212Aは、オーケストレーションデバイスからDSSS信号レプリカ群204および信号スキューパラメータ群2402を受信してもよい。
【0257】
図24に示す例では、DSSS信号復調器214が、DSSS信号レプリカ群204ならびに、マイクロフォン信号群206およびコヒーレント積分時間情報2401を受信する様子が示されている。この例によれば、ベースバンド処理器218の二乗則モジュール1712は、DSSS信号復調器214から復調コヒーレントベースバンド信号群208を受信し、非コヒーレント遅延波形1922を生成し、非コヒーレント遅延波形1922を遅延ウォーク補償器2410に提供するように構成される。この例によれば、遅延ウォーク補償器2410は、受信オーディオデバイスと、ベースバンド処理器218に現在音響DSSS信号を処理されているオーディオデバイスとの間の遅延ウォークを補償するように構成される。この例において、遅延ウォーク補償器2410は、受信した遅延レート推定値2403に従って遅延ウォークを補償し、非コヒーレント補償パワー遅延波形2405を出力するように構成される。「遅延ウォーク」という用語は、非ゼロ遅延レート項の影響、例えば、遅延波形がある期間内にどれだけシフトするかを指す。これは、送信デバイスと受信デバイスとの物理的なクロック周波数の不一致によって引き起こされる。この例において、遅延レート推定値2403は、推定された遅延の時間的な変化率である。いくつかの例によれば、遅延レート推定値2403は、一定期間(例えば、数時間、数日、数週間など)にわたって決定された遅延推定値の記憶されたインスタンスに従って決定され得る。推定遅延レートが大きい場合、遅延波形群が非コヒーレントに積分(平均化)されると、瞬間遅延波形のシフト(例えば、
図24の復調コヒーレントベースバンド信号群208のシフト)によって、最終的な非コヒーレント平均化信号(例えば、
図24の信号400)がぼやけることになる。「有意な(significant)」遅延レートの影響に相当する一例として)遅延レートによって誘発される誤差によるピークパワー応答の-3dBのずれを考慮すると、以下の式においてdelay_rate_limとして表される遅延レート制限を超える遅延レートは、-3dBよりも悪い誤差を誘発する。以下の式において、T_codeは拡散コード列全体の時間的長さを表す。
【0258】
【0259】
いくつかの例によれば、遅延ウォーク補償器2410は、遅延レート推定値2403を用いて、信号(1922)を平均化する前にシフトすることができる。いくつかのそのような例において、このシフトは、非コヒーレント積分期間にわたって発生する遅延ウォークの量に等しいが、遅延ウォークを打ち消するためにシフトは逆方向に適用される。
【0260】
いくつかの代替的な様態において、DSSS信号復調器214で発生するコヒーレント処理は、クロックバイアスおよび/またはクロックスキュー情報に従って変更されてもよい。1つのそのような例によれば、クロックバイアス推定値は、DSSS信号発生器212においてレプリカ信号コード(1720)の位相をシフトさせるために用いられることにより、遅延波形の遅延はオーディオデバイス間の物理的距離のみに起因するようにすることができる。いくつかの例において、クロックスキュー推定値群は、結果として得られるコヒーレント波形(208)に残留周波数成分が無い(言い換えれば、正弦波が残っていない)ように、DSSS信号発生器212においてレプリカ信号キャリア(1715)周波数をシフトさせるために使用され得る。この状態は、レプリカ信号が、現在評価/聴取されているオーディオデバイスによって送信される物理的信号に対応するキャリアを生成する場合に、発生する可能性がある。クロック周波数が異なるため、これらのキャリア周波数はわずかに異なる。
【0261】
図25はオーディオ環境の他の例を示す。この例によれば、
図25の要素は以下の通りである:
【0262】
100i,j,k:複数のオーケストレーションを受ける分散型オーディオデバイス;
2500:オーディオデバイスi(100i)から送信され、オーディオデバイスj(100j)で受信される信号;
2501:オーディオデバイスi(100i)から送信され、オーディオデバイスi(100i)で受信される信号;
2502:オーディオデバイスj(100j)から送信され、オーディオデバイスi(100i)で受信される信号;
2503:オーディオデバイスj(100j)から送信され、オーディオデバイスj(100j)で受信される信号;
2510:オーディオデバイスi(100i)とオーディオデバイスj(100j)の間の実際の距離、および
2511(i,j):オーディオデバイスのラウドスピーカとマイクロフォンとの距離。
【0263】
次に非同期双方向測距のいくつかの例を
図25を参照して説明する。この例において、オーディオデバイスは非同期であり、クロック間にバイアスがある。この特定の様態では、未知のクロック項がすべて相殺されるように双方向測距を使用している。この特定の例は、オーディオデバイスのペアで実行され、オーディオデバイス100iと100jを参照して説明される。音響空間内のすべてのオーディオデバイス間のレンジのセットは、すべてのオーディオデバイス対(例えば、オーディオデバイス対100i~100kおよびオーディオデバイス対100j~100k)についてこれを繰り返すことによって得ることができる。
【0264】
図26は、一例によるタイミング図である。
図26のタイミング図は、非同期双方向測距方法を説明するプロセスの一部として参考として使用する。本論で使用する記号、頭字語とその意味は以下の通りである:
【0265】
【0266】
また、頭字語「DW」は遅延波形を示す。記号の上のハットは推定値を示する。記号の上のティルデは測定された値を示す。オーディオデバイスの「クロックエポック」とは、オーディオデバイス制御システムがラウドスピーカ(単数または複数)に再生信号を送信する時刻のことである。オーディオデバイスの「再生エポック」とは、ラウドスピーカ(単数または複数)が再生信号に対応する音を実際に再生する時刻のことである。「レイテンシ」と「遅延」という用語は同義語として使用される。例えば、「再生レイテンシ」とは、オーディオデバイス制御システムが再生信号をラウドスピーカ(単数または複数)に送信する時刻と、ラウドスピーカ(単数または複数)が再生信号に対応する音を実際に再生する時刻との間の遅延である。同様に、「録音レイテンシ」とは、マイクロフォンが信号を受信する時刻と、その信号が制御システムによって受信される時刻との間の遅延である。
【0267】
図26に、オーディオデバイスiの再生・録音レイテンシを推定する際のタイミングを示す。再生と録音の入出力(I/O)ストリームが同期していると仮定すると、全二重のオーディオスレッドがオーディオデバイスのクロック
に同期して信号を出力する場合、再生レイテンシ
により、
iまで、信号はスピーカから再生されない。つまり、
【0268】
【0269】
その後、オーディオデバイス上のスピーカとマイクロフォンとの距離により生じる音響遅延
を経て、信号は同じオーディオデバイスのマイクロフォンに到達する。受信信号は、オーディオデバイスのオーディオスレッドに入るまでに、録音レイテンシ
だけさらに遅延される。
【0270】
【0271】
オーディオデバイスによって生成されるDWは、遅延
ii,に位置するピークを有する。ここで、
~は測定値を示す。つまり
iiはオーディオデバイスiとそれ自身との間の測定された擬似レンジを表す。オーディオスレッドによって生成されたローカルレプリカとマイクロフォンフィード中の信号のコード位相の差は、DWのピークのコード遅延を
【数10】
と決定し、オーディオデバイスの再生・録音レイテンシ(音響遅延を含む)に等しい。この式は、エコー管理の目的でオーディオデバイスのバルク遅延を推定するために有用であり、この式が非同期オーディオデバイス間の擬似レンジ測定値群におけるバイアスを除去するためにも使用できることを後で説明する。
【0272】
図27は、一例による2つの非同期オーディオデバイス間の飛行時間を推定する際に関連するクロック項を示すタイミング図である。ここで、2つのオーディオデバイスがともに音響DSSS信号を再生しており、もう1つのオーディオデバイスの音響DSSS信号を処理することによりDWを生成している場合を考える。この結果、遅延測定値
および
が得られ、これらはオーディオデバイス間のToFに対応する。
図27は、デバイスiからの送信とデバイスjでの受信、およびその逆を示している。
【0273】
この例において、
図27の記号と頭字語は、以下の意味および文脈を持つ:
【0274】
はそれぞれデバイスiおよびj上のオーディオスレッドと同期している。
・2つのデバイス間の実際の音響遅延は同じである。すなわち
であり、それぞれの音響経路は緑および青の矢印で示されている。
・送信されている信号のコード位相は、送信時刻(ToT)において、デバイスiのスピーカで(
)である。
・ToF後、この信号は受信側(デバイスj)に到着するが、デバイスj上での録音レイテンシだけ遅延されるため、デバイスjのオーディオスレッドのマイクロフォンバッファにおける送信信号の位相は、受信時刻(ToR)に(
)となる。
・デバイスj上で動作するオーディオスレッドが生成するローカルレプリカのコード位相は、ToRにおいて
の位相を有する。
【0275】
ローカルレプリカと受信信号とのコード位相の差によってDWのピークが発生する場所が決まるため、測定された遅延は以下のように表すことができる:
【数11】
【0276】
同様の解析を行い、デバイスjが送信、iが受信している場合の測定された遅延を求めると、以下の式が得られる:
【数12】
【0277】
(5)および(6)を参照して、相対クロックバイアス項
【数13】
は、2つの相互遅延測定値を合計すれば消去できる:
【数14】
【0278】
ここで(4)を(8)に代入して整理し直すと、以下の式が得られる:
【数15】
これにより、以下のように不偏な擬似レンジ推定値を得ることができる:
【数16】
【0279】
したがって、(9)を用いて、以下が得られる場合に不偏な擬似レンジ推定値群を得ることができる:
・相互遅延測定:
・再生・録音レイテンシ測定値:
・特定のデバイスの再生・録音レイテンシを構成する音響遅延の推定値:
【0280】
いくつかの例において、δ
aを推定することも消去することもできない場合がある。このような場合において、(9)のδ
aを省略し、推定擬似レンジ中のバイアスを残すこともできる:
【数17】
【0281】
または、オーディオデバイスの種類に基づくδaの近似値を使用するか、δaを事前に測定しておくことに頼ることもできる。
【0282】
クロックバイアス推定値
任意の2つの相互擬似レンジ推定値を合計する代わりに、その差を取れば次のようになる:
【数18】
もし、
【数19】
をデバイスiの再生および録音レイテンシの差とし、(7)を(12)に代入して整理し直すと、以下のようになる:
【数20】
【0283】
式(14)により、相対クロックバイアスを解くことができる(例えば、制御システム)Δtijを解くことができる:
1.再生レイテンシと録音レイテンシとの差が既知である(すなわち、事前に測定し、(14)に代入される)、または
2.再生レイテンシと録音レイテンシとの差が両デバイス上で等しい((14)で項が相殺される)、または
3.再生レイテンシと録音レイテンシとの差はゼロである((13)で項が相殺される)。
【0284】
クロックスキュー推定
DWを生成するために使用される信号によっては、2つのオーディオデバイスのクロックの周波数差(スキュー)の推定値を得ることができるように処理することも可能である。この実験で使用されるDSSS信号は、f0Hzに位置するキャリア信号を擬似乱数列(本明細書ではPRNシーケンス、PRNコード、拡散コード、または単にコードと呼ぶことがある)で拡散したものである。この信号の受信には、「非拡散化(de-spreading)」とベースバンドへのシフトバックの両方が含まれる。しかし、2つのクロックの周波数が異なると、コヒーレント積分(ローカルレプリカを使った整合フィルタリング)の後に、2つのクロック周波数の差に等しい残留周波数が存在することになる。このため、コヒーレント積分の結果の2乗を平均してDWを生成する代わりに、いくつかの様態では、スペクトル解析を実行して残留キャリアの周波数を決定し、残留キャリアの周波数からクロック周波数の差を推測することを含む。このような方法により、制御システムは1回のコヒーレント積分期間後に推定値を得ることができる。しかし、このような測定に最適化するためにDSSSパラメータ群を変更しない限り、1回のコヒーレント積分期間のみの後でも推定値はかなりノイズが多くなる可能性が高い。このようなDSSSパラメータ変化には、拡散コード(およびコヒーレント積分期間)を時間的に非常に長くすること(例えば、数百ミリ秒から数秒の範囲)が含まれる場合があり、これは、より長いコード(より多くのチップ)を使用すること、および/または、チッピングレート(帯域幅)を低下させることによって行うことができる。
【0285】
別の手法では、クロック周波数差によって相対的なコード位相(およびクロックバイアス)がウォーキングする(言い換えれば、時間とともに変化する)という事実を利用する。いくつかのそのような様態において、制御システムは、~τijが時間とともにどのように変化するか(これがコード位相がウォーキングする速度である)を追跡することができる。
【0286】
この2つの手法の間にはトレードオフが存在し、それをまとめると以下のようになる:
・キャリアベースの手法では、各コヒーレント積分結果に対してスペクトル解析を実行する必要があり、無視できない複雑さを伴う。コードウォークベースの手法では、制御システムは測定された擬似レンジ群の履歴を保持してこの量のデータを処理するだけでよく、これは著しく小さくなる。クロック周波数差がコヒーレント積分期間のスケールで検出できるほど大きかった場合、DWにSNR損失がある可能性が高く、期間を短くする必要があり、その結果、クロックレート差を解決できなくなる。
・キャリアベースの手法は、たった1回のコヒーレント積分期間後に推定値を生成するが、コードウォークベースの手法は、DWの位相ノイズの中でコードウォークを確実に推定できるような十分な数のDWと擬似レンジ推定値群を必要とする。そのため、コードウォークベースの手法は著しく低速である。しかし、本質的にノイズの多いコヒーレントキャリアベースの手法では、時間的平滑化が必要になる場合があり、その結果、必要な観測時間が同程度になる可能性がある。
【0287】
いくつかの様態によれば、クロックスキューを推定するために、遅延レート推定器(例えば、
図24を参照して上述したような)が使用され得る。遅延レートはクロックスキューに比例する。
【0288】
図28は、2つのオーディオデバイス間の相対クロックスキューを1つの音響DSSS信号で検出する例を示すグラフである。この例において、横軸は周波数を示し、縦軸はパワーを示す。
図28は、受信した変調音響DSSS信号2807の主ローブのスペクトラムと、復調された音響DSSS信号2808の周波数とを示している。復調された音響DSSS信号2808が、ゼロHzではないことに注意されたい。これはデバイス間の相対クロックスキューを表している。
【0289】
図29は、1つの音響DSSS信号を複数回測定することで、2つのオーディオデバイス間の相対クロックスキューを検出する様子の一例を示すグラフである。この例において、横軸が遅延時間、縦軸がパワーを示している。
図29は、受信オーディオのブロック(t=1とt=2)の音響DSSS信号群から生成される遅延波形群の例を示している。遅延波形ピークの位置のシフト(これ自体はバルク遅延を示す)は、デバイス間のクロックスキューを示す。いくつかの例において、時刻2は時刻1の数時間後または数日後になることがある。このような比較的大きな時間区間を使用することは、クロックスキューが比較的小さい場合に有利である。
【0290】
クロック規律付け
いくつかの様態では、クロックバイアスおよび遅延推定を活用して、閉ループ手法を用いてローカルクロックを実際に駆動(規律付け)するように構成された制御システムがある。周波数ロックループ、遅延ロックループ、フェーズロックループ、またはそれらの組み合わせを用いて、クロックの規律付けを達成するための信号処理チェーンを実現することができる。
【0291】
代替例においては、ローカルクロックを実際に調整する代わりに、クロックバイアスを補償するためにDSSS信号パラメータ群を調整してもよい。
【0292】
クロックバイアスおよび遅延推定技術の精度は、SNRに大きく依存するため、(
図7を参照すると)最適化モジュール712が、知覚的影響推定値(単数または複数)702よりも音響DSSS信号性能推定値(単数または複数)703に比較的高い重みを置くことによってDSSSパラメータ群705を決定する観測に最も適しているであろう。例えば、最適化モジュール712は、システムが音響DSSS信号群の高SNR観測値群を生成する能力に重点を置き、ユーザーにおける音響DSSS信号群の影響・知覚可能性に重点を置かないことによって、DSSSパラメータ群705を決定するように構成され得る。いくつかのそのような例において、DSSSパラメータ群705は、可聴音響DSSS信号群に対応することができる。
【0293】
しかし、いくつかの代替例では、(DW遅延トラッキング法などの)粗い技術を、連続的な可聴未満のかつ低SNR的なやり方で実装してもよい。
【0294】
デバイス発見性
図30は、デバイス発見用に予約された音響DSSS拡散コードの例を示すグラフである。この例において、予約された拡散コードが、例えば、新たなオーディオデバイスが電源投入され、オーディオ環境で使用するために構成されているプロセス途中のときなどにおいて使用される。ランタイム動作中は、異なる(「通常の」)音響DSSS拡散コードが使用される。予約された拡散コードは、通常の音響DSSS拡散コードと同じ周波数帯域を使用する場合もあれば、使用しない場合もある。
【0295】
図30の要素は以下の通りである:
3001:擬似乱数列とも呼ばれる、複数の予約された音響DSSS拡散コード。
3002:(オーケストレーションデバイスにより)割り当てられた複数の擬似乱数列。
3003:デバイス1には既に割り当てられたコードがある。
3006:デバイス2は予約コード(3001)を送信している。
3004:デバイス2が検出され、オーケストレーションデバイスがデバイス2にコードを割り当てる。
3007:デバイス2が自身に割り当てられたコードを送信中。
3008:デバイス3は、初めて電源が投入された後、予約コードの送信を開始する。
3005:デバイス3が検出され、オーケストレーションデバイスがデバイス3にコードを割り当てる。
3009:デバイス3は自身に割り当てられたコードを送信している。
【0296】
この例において、新たなオーディオデバイスがオーディオ環境システムに導入されると、新たなオーディオデバイスは予約された拡散コード列を用いて、生成された音響DSSS信号の再生を開始する。これにより、室内の他のデバイスは、新たなオーディオデバイスが音響空間に導入されたことを識別でき、統合シーケンスが開始される。新たなオーディオデバイスが発見され、オーケストレーションを受けるオーディオデバイスのシステムに統合された後、新たなオーディオデバイスは、(この例ではオーケストレーションデバイスによって割り当てられた)拡散コードを用いて、音響DSSS信号群の再生を開始する。
【0297】
この例によれば、デバイス2および3は、発見コードチャネル(周波数帯域)から、オーケストレーションシステムによって割り当てられた周波数帯域に移動する。統合に際して、音響DSSS信号群を再生する全デバイスの振幅、帯域幅、中心周波数は、新たなシステム構成に対して最適な観測が行われるように変更されてもよい。いくつかの例において、オーケストレーションデバイスは、音響空間内のすべてのデバイスの音響DSSSパラメータ群を再算出する可能性があるため、新たに発見されたオーディオデバイスによって、すべてのオーディオデバイスのDSSSパラメータ群が変更する可能性がある。
【0298】
ノイズ推定
この例において、複数のオーディオデバイスによって生成された音響DSSSベースの観測値群が、音響空間のノイズを推定するために使用される。
【0299】
図31はオーディオ環境の他の例を示す。
図31では、DSSS動作に参加する、分散された複数のオーケストレーションを受けるオーディオデバイス100A、100Bおよび100Cを有する、音響空間130が示されている。この例において、ノイズ8501を生成するノイズ源8500も存在する。
図31の要素は以下の通りである:
【0300】
130:音響空間;
100(A,B,C):分散された複数の、オーケストレーションを受けるオーディオデバイス;
110:複数のラウドスピーカ;
111:複数のマイクロフォン;
8010:100Aおよび100B間の距離;
8011:100Aおよび100C間の距離;
8012:100Bおよび100C間の距離;
8500:ノイズ源;
8501:ノイズ;
8510:8500および100A間の距離;
8511:8500および100B間の距離;および
8512:8500および100C間の距離。
【0301】
図32Aは、オーディオデバイス100Aおよび100Bから受信した音響DSSS信号群に基づいて、
図31のオーディオデバイス100Cによって生成された遅延波形群の例を示す。オーディオデバイス100Aから受信した音響DSSS信号群に対応する遅延波形を400Caと表示し、オーディオデバイス100Bから受信した音響DSSS信号群に対応する遅延波形を400Cbと表示する。
【0302】
図32Bは、
図31のオーディオデバイス100Bが、オーディオデバイス100Aおよび100Cから受信した音響DSSS信号群に基づいて生成した遅延波形群の例を示す。オーディオデバイス100Aから受信した音響DSSS信号群に対応する遅延波形を400Baと表示し、オーディオデバイス100Cから受信した音響DSSS信号群に対応する遅延波形を400Bcと表示する。
【0303】
図32Aおよび
図32Bの要素は以下の通りである:
400Ca:100Aから受信した音響DSSS信号群に対応してデバイス100Cが生成する遅延波形;
400Cb:100Bから受信した音響DSSS信号群に対応してデバイス100Cが生成する遅延波形;
400Ba:100Aから受信した音響DSSS信号群に対応してデバイス100Bが生成する遅延波形;
400Bc:100Cから受信した音響DSSS信号群に対応してデバイス100Bが生成する遅延波形;
401C、401B:遅延波形群のノイズフロア領域;
8552Ca:100Aから受信した音響DSSS信号群に対応して100Cが生成する遅延波形の信号パワー;
8552Cb:100Bから受信した音響DSSS信号群に対応して100Cが生成する遅延波形の信号パワー;
8552Ba:100Aから受信した音響DSSS信号群に対応して100Bが生成する遅延波形の信号パワー;
8552Bc:100Cから受信した音響DSSS信号群に対応して100Bが生成する遅延波形の信号パワー;
8551Ca:100Aから受信した音響DSSS信号群に対応して100Cが生成する遅延波形のノイズパワー;
8551Cb:100Bから受信した音響DSSS信号群に対応して100Cが生成する遅延波形のノイズパワー;
8551Ba:100Aから受信した音響DSSS信号群に対応して100Bによって生成された遅延波形のノイズパワー;および
8551Bc:100Cから受信した音響DSSS信号群に対応して100Bが生成する遅延波形のノイズパワー。
【0304】
再び
図31を参照して、この例において、オーディオデバイス100Bとノイズ源8500との間の距離8511は、オーディオデバイス100Cとノイズ源8500との間の距離8512よりも短く、またオーディオデバイス100Aとノイズ源8500との間の距離8510よりも短い。この特定のシナリオでは、オーディオデバイス100Bとノイズ源8500との相対的な近接によって、信号400Baおよび400Bcにおけるノイズパワー8551Baおよび8551Bcが、信号400Caおよび400Cbにおけるノイズパワー8551Caおよび8551Cbよりも大きくなる。さらに、信号400Bcには、信号400Baよりも比較的多くのノイズが存在する。このことは、ノイズ源8500が、オーディオデバイス100Bと100Aとの間の経路よりも、オーディオデバイス100Bと100Cとの間の経路の近くに位置していることを示唆している。いくつかの様態では、オーディオデバイスのうち1つ以上が指向性マイクロフォンを含むか、または受信側ビームフォーミングのために構成され得る。このような能力により、ノイズ源からの音のDoAに関する更なる情報、従ってノイズ源の位置に関する更なる情報を提供することができる。
【0305】
したがって、オーディオデバイスの既知のまたは計算された位置、オーディオデバイス間の既知のまたは計算された距離、ノイズ源の測定された位置、および各オーディオデバイスによって生成された遅延波形群の相対ノイズレベルを用いて、いくつかの例では、制御システムは、オーディオ環境130についての分布ノイズ推定値を生成するように構成されてもよい。そのような分布ノイズ推定値は、音響空間内の異なる位置にあるオーディオデバイス上のマイクロフォンによって測定されたノイズの推定値のセットであってもよいし、それに基づいていてもよい。例えば、あるオーディオデバイスはキッチンのベンチの近くに、別のオーディオデバイスはラウンジチェアの近くに、別のオーディオデバイスはドアの近くに配置されるかもしれない。これらのデバイスはそれぞれ、そのすぐ近くのノイズや音響空間内の様々な場所に対してより敏感であり、グループとして部屋全体のノイズ分布の推定値群を生成することができる。いくつかのそのような様態は、制御システムによって、オーディオデバイス群とノイズ源の間の距離に基づいて想定される減衰関数を適用することを含み得る。いくつかのそのような例は、制御システムによって、遅延波形群の測定されたノイズフロアに対して、および/または遅延波形群の測定されたノイズフロア間の差(例えば、8551Caと8551Cbとの間のレベルまたはパワーの差)に対して、各オーディオデバイスにおける計算されたノイズレベルを比較することを含み得る。
【0306】
図33は、開示する方法の別の例の概要を示すフロー図である。方法3300のブロック群は、本明細書に記載した他の方法と同様に、必ずしも示された順序で実行されるわけではない。また、そのような方法は、図示および/または説明されているより多くのまたはより少ない数のブロックを含み得る。方法3300は、
図1Bに示し、上述した装置150のような装置またはシステムによって実行され得る。
【0307】
この例において、ブロック3305は、制御システムによって、第1のオーディオ信号群を含む第1のコンテンツストリームを受信することを含む。コンテンツストリームおよび第1のオーディオ信号群は、特定の様態に応じて変化し得る。いくつかの例において、コンテンツストリームは、テレビ番組、映画、音楽、ポッドキャストなどに対応し得る。
【0308】
この例によれば、ブロック3310は、前記制御システムによって、前記第1のオーディオ信号群をレンダリングして第1のオーディオ再生信号群を生成することを含む。第1のオーディオ再生信号群は、オーディオデバイスのラウドスピーカシステムのためのラウドスピーカフィード信号群であってもよく、またはそれを含んでもよい。
【0309】
この例において、ブロック3315は、前記制御システムによって、第1のダイレクトシーケンススペクトラム拡散(DSSS)信号群を生成することを含む。この例によれば、第1のDSSS信号群は、本明細書において音響DSSS信号と呼ばれる信号に対応する。いくつかの例において、第1のDSSS信号群は、
図2を参照して上述したDSSS信号発生器212AおよびDSSS信号変調器220Aなどの1つ以上のDSSS信号発生器モジュールによって生成され得る。
【0310】
この例によれば、ブロック3320は、前記制御システムによって、前記第1のオーディオ再生信号群に前記第1のDSSS信号群を挿入することによって第1の修正オーディオ再生信号群を生成することを含む。いくつかの例において、ブロック3320は、
図2を参照して上述したDSSS信号注入器211Aによって実行され得る。
【0311】
この例において、ブロック3325は、前記制御システムによって、前記第1の修正オーディオ再生信号群をラウドスピーカシステムに再生させることによって第1のオーディオデバイス再生音を生成することを含む。いくつかの例において、ブロック3320は、
図2の制御システム160が、第1の修正オーディオ再生信号群を再生し、第1のオーディオデバイス再生音を生成するように、ラウドスピーカシステム110Aを制御することを含み得る。
【0312】
いくつかの様態では、方法3300は、前記制御システムによって、前記マイクロフォンシステムから、少なくとも前記第1のオーディオデバイス再生音および前記第2のオーディオデバイス再生音に対応するマイクロフォン信号群を受信することを含み得る。第2のオーディオデバイス再生音は、第2のオーディオデバイスによって再生される第2の修正オーディオ再生信号群に対応し得る。いくつかの例において、前記第2の修正オーディオ再生信号群は、前記第2のオーディオデバイスによって生成された第2のDSSS信号群を含み得る。いくつかのそのような例において、方法3300は、前記制御システムによって、前記マイクロフォン信号群から少なくとも前記第2のDSSS信号群を抽出することを含み得る。
【0313】
いくつかの様態によれば、方法3300は、前記制御システムによって、前記マイクロフォンシステムから、少なくとも前記第1のオーディオデバイス再生音および第2~第Nのオーディオデバイス再生音に対応するマイクロフォン信号群を受信することを含み得る。前記第2~第Nのオーディオデバイス再生音は、第2~第Nのオーディオデバイスによって再生される第2~第Nの修正オーディオ再生信号に対応し得る。いくつかの例において、前記第2~第Nの修正オーディオ再生信号は、第2~第NのDSSS信号を含み得る。いくつかのそのような例において、方法3300は、前記制御システムによって、少なくとも前記第2~第NのDSSS信号を前記マイクロフォン信号群から抽出することを含み得る。
【0314】
いくつかの様態では、方法3300は、前記制御システムによって、前記第2~第NのDSSS信号に少なくとも部分的に基づいて、少なくとも1つの音響シーンメトリックを推定することを含み得る。いくつかの例において、前記音響シーンメトリック(単数または複数)は、飛行時間、到来時刻、レンジ、オーディオデバイスの可聴性、オーディオデバイスのインパルス応答、オーディオデバイス間の角度、オーディオデバイスの位置、オーディオ環境のノイズおよび/または信号対ノイズ比であってもよく、またはそれを含んでもよい。いくつかの例によれば、方法3300は、前記制御システムによって、少なくとも1つの音響シーンメトリックおよび/または少なくとも1つのオーディオデバイス特性に少なくとも部分的に基づいて、オーディオデバイス再生の1つ以上の態様を制御することを含み得る。
【0315】
いくつかの例によれば、前記第1のオーディオデバイス再生音の第1のコンテンツストリーム成分は、前記第1のオーディオデバイス再生音の第1のDSSS信号成分の知覚的マスキングを引き起こし得る。いくつかのそのような例において、前記第1のDSSS信号成分は、人間には聞こえない可能性がある。
【0316】
いくつかの例において、方法3300は、前記制御システムによって、前記オーディオ環境内の複数のオーディオデバイスの各オーディオデバイスのための1つ以上のDSSSパラメータを決定することを含み得る。前記1つ以上のDSSSパラメータは、DSSS信号群の生成に使用可能であり得る。いくつかのそのような例は、前記制御システムによって、前記1つ以上のDSSSパラメータを前記複数のオーディオデバイスの各オーディオデバイスに提供することを含み得る。
【0317】
いくつかの様態では、前記1つ以上のDSSSパラメータを決定することは、前記複数のオーディオデバイスの各オーディオデバイスについて、修正オーディオ再生信号群を再生するためのタイムスロットをスケジュールすることを含み得る。いくつかのそのような例において、第1のオーディオデバイスのための第1のタイムスロットは、第2のオーディオデバイスのための第2のタイムスロットとは異なってもよい。
【0318】
いくつかの例によれば、前記1つ以上のDSSSパラメータを決定することは、前記複数のオーディオデバイスの各オーディオデバイスについて、修正オーディオ再生信号群を再生するための周波数帯域を決定することを含み得る。いくつかのそのような例において、第1のオーディオデバイスのための第1の周波数帯域は第2のオーディオデバイスのための第2の周波数帯域とは異なってもよい。
【0319】
いくつかの例において、前記1つ以上のDSSSパラメータを決定することは、前記複数のオーディオデバイスの各オーディオデバイスについてDSSS拡散コードを決定することを含み得る。いくつかのそのような例において、第1のオーディオデバイスのための第1の拡散コードは、第2のオーディオデバイスのための第2の拡散コードとは異なってもよい。いくつかの例において、前記1つ以上のDSSSパラメータを決定することは、対応するオーディオデバイス可聴性に少なくとも部分的に基づく、少なくとも1つの拡散コード長を決定することを含み得る。いくつかの例によれば、前記1つ以上のDSSSパラメータを決定することは、前記オーディオ環境内の複数のオーディオデバイスの各々の相互可聴性に少なくとも部分的に基づいた音響モデルを適用することを含み得る。
【0320】
いくつかの例において、前記1つ以上のDSSSパラメータを決定することは、現在の再生目的を決定することを含み得る。いくつかのそのような例は、前記オーディオ環境内の複数のオーディオデバイスの各々の相互可聴性に少なくとも部分的に基づいた音響モデルを適用し、前記オーディオ環境内のDSSS信号群の推定性能を決定することを含み得る。いくつかのそのような例は、人間の音知覚に基づいた知覚モデルを適用することにより、前記オーディオ環境内のDSSS信号群の知覚的影響を決定することを含み得る。いくつかのそのような例は、前記現在の再生目的、前記推定性能および/または前記知覚的影響に少なくとも部分的に基づいて、前記1つ以上のDSSSパラメータを決定することを含み得る。
【0321】
いくつかの例によれば、前記1つ以上のDSSSパラメータを決定することは、DSSSパラメータ変化トリガを検出することと、DSSSパラメータ変化トリガに対応する1つ以上の新たなDSSSパラメータを決定することを含み得る。いくつかのそのような例は、前記1つ以上の新たなDSSSパラメータを、前記オーディオ環境の1つ以上のオーディオデバイスに提供することを含み得る。
【0322】
いくつかの例において、前記DSSSパラメータ変化トリガを検出することは、以下のうち1つ以上を検出することを含み得る。すなわち、前記オーディオ環境内の新たなオーディオデバイス、オーディオデバイスの位置の変化、オーディオデバイスの向きの変化、オーディオデバイスの設定の変化、前記オーディオ環境内の人の位置の変化、前記オーディオ環境内で再生されているオーディオコンテンツの種類の変化、前記オーディオ環境におけるバックグラウンドノイズの変化、前記オーディオ環境のドアまたは窓の構成の変化を含むがこれに限定されないオーディオ環境構成の変化、前記オーディオ環境の2つ以上のオーディオデバイス間のクロックスキュー、前記オーディオ環境の2つ以上のオーディオデバイス間のクロックバイアス、前記オーディオ環境の2つ以上のオーディオデバイス間の相互可聴性の変化、および/または再生目的の変化である。
【0323】
いくつかの例において、方法3300は、受信されたマイクロフォン信号群を処理して前処理済マイクロフォン信号群を生成することを含み得る。いくつかのそのような例は、DSSS信号群を前記前処理済マイクロフォン信号群から抽出することを含み得る。前記受信されたマイクロフォン信号群を処理することは、例えば、ビームフォーミング、バンドパスフィルタおよび/またはエコーキャンセレーションを適用することを含み得る。
【0324】
いくつかの様態によれば、少なくとも前記第2~第NのDSSS信号を前記マイクロフォン信号群から抽出することは、整合フィルタを前記マイクロフォン信号群または前記マイクロフォン信号群の前処理済バージョンに適用して、第2~第Nの遅延波形を生成することを含み得る。前記第2~第Nの遅延波形は、例えば、前記第2~第NのDSSS信号の各々に対応してもよい。いくつかのそのような例は、前記第2~第Nの遅延波形の各々にローパスフィルタを適用することを含み得る。
【0325】
いくつかの例において、方法3300は、前記制御システムを介して、復調器を実装することを含み得る。いくつかのそのような例は、前記復調器によって行われる復調プロセスの一部として前記整合フィルタを適用することをを含み得る。いくつかのそのような例において、前記復調プロセスの出力は復調コヒーレントベースバンド信号であってもよい。いくつかの例は、前記制御システムを介して、バルク遅延を推定し、バルク遅延推定値を前記復調器に提供することを含み得る。
【0326】
いくつかの例において、方法3300は、前記制御システムを介して、前記復調コヒーレントベースバンド信号のベースバンド処理のために構成されたベースバンド処理器を実装することを含み得る。いくつかのそのような例において、前記ベースバンド処理器は、少なくとも1つの推定音響シーンメトリックを出力するように構成され得る。いくつかの例において、前記ベースバンド処理は、前記ベースバンド処理は、非コヒーレント積分期間中に受信した復調コヒーレントベースバンド信号群に基づいて、非コヒーレントに積分された遅延波形を生成することを含み得る。いくつかのそのような例において、前記非コヒーレントに積分された遅延波形を生成することは、前記非コヒーレント積分期間中に受信した前記復調コヒーレントベースバンド信号群を2乗して2乗化復調ベースバンド信号群を生成し、前記2乗化復調ベースバンド信号群を積分することを含み得る。いくつかの例において、前記ベースバンド処理は、前縁推定プロセス、ステアード応答パワー推定プロセスまたは信号対ノイズ推定プロセスのうち1つ以上を、前記非コヒーレントに積分された遅延波形に適用することを含み得る。いくつかの例は、前記制御システムを介して、バルク遅延を推定し、バルク遅延推定値を前記ベースバンド処理器に提供することを含み得る。
【0327】
いくつかの例によれば、方法3300は、前記制御システムによって、第2~第Nのノイズパワーレベルを前記第2~第Nの遅延波形に基づき第2~第Nのオーディオデバイスの位置において推定することを含み得る。いくつかのそのような例は、前記第2~第Nのノイズパワーレベルに少なくとも部分的に基づいて、前記オーディオ環境についての分布ノイズ推定値を生成することを含み得る。
【0328】
いくつかの例において、方法3300は、2つの非同期オーディオデバイス間の未知のクロックバイアスの相殺のために、非同期双方向測距プロセスを行うことを含み得る。前記非同期双方向測距プロセスは、例えば、前記2つの非同期オーディオデバイスのそれぞれによって送信されたDSSS信号群に基づいてもよい。いくつかのそのような例は、前記オーディオ環境内の複数のオーディオデバイス対の各々間で前記非同期双方向測距プロセスを行うことを含み得る。
【0329】
いくつかの例によれば、方法3300は、2つの非同期オーディオデバイス間の推定クロックバイアスを決定するために、クロックバイアス推定プロセスを行うことを含み得る。前記クロックバイアス推定プロセスは、例えば、前記2つの非同期オーディオデバイスのそれぞれによって送信されたDSSS信号群に基づいてもよい。いくつかのそのような例は、前記推定クロックバイアスを補償することを含み得る。いくつかの様態は、前記オーディオ環境の複数のオーディオデバイスの各々間で前記クロックバイアス推定プロセスを行い、複数の推定クロックバイアスを生成することを含み得る。いくつかのそのような様態は、各推定クロックバイアスを補償することを含み得る。
【0330】
いくつかの例において、方法3300は、2つの非同期オーディオデバイス間の推定クロックスキューを決定するためのクロックスキュー推定処理を行うことを含み得る。前記クロックスキュー推定処理は、例えば、前記2つの非同期オーディオデバイスのそれぞれによって送信されたDSSS信号群に基づいてもよい。いくつかのそのような例は、前記推定クロックスキューを補償することを含み得る。いくつかのそのような例は、前記オーディオ環境の複数のオーディオデバイス対の各々間で前記クロックスキュー推定処理を行い、複数の推定クロックスキューを生成することを含み得る。いくつかのそのような例は、各推定クロックスキューを補償することを含み得る。
【0331】
いくつかの例によれば、方法3300は、オーディオデバイスによって送信されたDSSS信号を検出することを含み得る。いくつかの例において、前記DSSS信号は、第1の拡散コードに対応し得る。いくつかのそのような例は、前記オーディオデバイスに後に送信するための第2の拡散コードを提供することを含み得る。いくつかのそのような例において、前記第1の拡散コードは、新たに起動されるオーディオデバイスのために予約された第1の擬似乱数列を含み得る。
【0332】
いくつかの例において、方法3300は、前記オーディオ環境内の複数のオーディオデバイスの各々に、修正オーディオ再生信号群を同時に再生させることを含み得る。
【0333】
いくつかの例において、音響DSSS信号群は、本明細書において「無音区間(silent intervals)」または「無音(silence)」と呼ばれる、オーディオ再生信号群が可聴でない1つ以上の時間区間で再生されることがある。いくつかのそのような例において、第1のオーディオ信号群の少なくとも一部は無音に対応してもよい。
【0334】
図34は、開示する方法の別の例の概要を示すフロー図である。方法3400のブロック群は、本明細書に記載した他の方法と同様に、必ずしも示された順序で実行されるわけではない。また、そのような方法は、図示および/または説明されているより多くのまたはより少ない数のブロックを含み得る。方法3400は、
図1Bに示し上述した装置150のような装置またはシステムによって実行され得る。
【0335】
いくつかの例において、方法3400のブロック群は、オーディオ環境内の1つ以上のデバイス、例えば、オーディオシステムコントローラ(本明細書においてスマートホームハブと呼ばれるものなど)などのオーケストレーションデバイスによって、またはオーディオシステムの別のコンポーネント、例えば、スマートスピーカ、テレビ、テレビ制御モジュール、ラップトップコンピュータ、モバイルデバイス(携帯電話など)などによって実行され得る。いくつかの様態では、前記オーディオ環境は、ホーム環境の1つ以上の部屋を含むことがある。他の例では、オーディオ環境は、オフィス環境、自動車環境、列車環境、道路または歩道環境、公園環境などの別のタイプの環境であってもよい。しかしながら、別の様態においては、方法3400の少なくともいくつかのブロックは、サーバなどのクラウドベースのサービスを実装する装置によって実行されてもよい。
【0336】
この例において、ブロック3405は、制御システムによって、オーディオ環境の第1のオーディオデバイスに第1のダイレクトシーケンススペクトラム拡散(DSSS)信号群を生成させることを含む。この例によれば、第1のDSSS信号群は、本明細書において音響DSSS信号と呼ばれる信号に対応する。いくつかの例において、第1のDSSS信号群は、
図2を参照して上述したDSSS信号発生器212AおよびDSSS信号変調器220Aなどの1つ以上のDSSS信号発生器モジュールによって、オーケストレーションデバイスから受信した命令にしたがって生成され得る。したがって、前記制御システムは、オーケストレーションデバイス制御システムであってもよい。いくつかの例において、前記命令は、オーディオデバイスのオーケストレーションモジュールから、例えば前記第1のオーディオデバイスのオーケストレーションモジュールから受信されてもよい。
【0337】
この例によれば、ブロック3410は、前記制御システムによって、前記第1のDSSS信号群を第1のコンテンツストリームに対応する第1のオーディオ再生信号群に挿入させ、前記第1のオーディオデバイスのための第1の修正オーディオ再生信号群を生成させることを含む。いくつかの例において、ブロック3410は、オーケストレーションデバイスまたはオーケストレーションモジュールから受信した命令にしたがって、
図2を参照して上述したDSSS信号注入器211Aによって実行され得る。
【0338】
この例において、ブロック3415は、前記制御システムによって、前記第1のオーディオデバイスに前記第1の修正オーディオ再生信号群を再生させ、第1のオーディオデバイス再生音を生成することを含む。いくつかの例において、ブロック3415は、
図2の制御システム160が、第1の修正オーディオ再生信号群を再生し、第1のオーディオデバイス再生音を生成するように、ラウドスピーカシステム110Aを制御する(オーケストレーションデバイスまたはオーケストレーションモジュールから受信した命令にしたがって)ことを含み得る。
【0339】
いくつかの様態では、ブロック3405、3410および3415は、オーケストレーションデバイスまたはオーケストレーションモジュールによって、DSSS情報(
図2を参照して上述したDSSS情報205Aなど)を、前記オーディオ環境の前記第1のオーディオデバイスに提供することを含み得る。上述のように、前記DSSS情報は、前記第1のオーディオデバイスの制御システムによって、DSSS信号群を生成するため、DSSS信号群を変調するため、DSSS信号群を復調するためなどに使用されるパラメータ群を含み得る。前記DSSS情報は、例えば本明細書の他の箇所で説明されるように、1つ以上のDSSS拡散コードパラメータおよび1つ以上のDSSS搬送波パラメータを含んでもよい。
【0340】
この例によれば、ブロック3420は、前記制御システムによって、前記オーディオ環境の第2のオーディオデバイスに第2のDSSS信号群を生成させることを含む。この様態において、ブロック3425は、前記制御システムによって、前記第2のDSSS信号群を第2のコンテンツストリームに挿入させ、前記第2のオーディオデバイスのための第2の修正オーディオ再生信号群を生成させることを含む。この例において、ブロック3430は、前記制御システムによって、前記第2のオーディオデバイスに前記第2の修正オーディオ再生信号群を再生させ、第2のオーディオデバイス再生音を生成することxxxを含む。ブロック3420~3430は、例えば、ブロック3405~3415にしたがって実行されてもよい。いくつかの例において、3420~3430は、ブロック3405~3415と並行して実行される。
【0341】
この例において、ブロック3435は、前記制御システムによって、前記オーディオ環境の少なくとも1つのマイクロフォンに、少なくとも前記第1のオーディオデバイス再生音および前記第2のオーディオデバイス再生音を検出させ、少なくとも前記第1のオーディオデバイス再生音および前記第2のオーディオデバイス再生音に対応するマイクロフォン信号群を生成させることを含む。前記少なくとも1つのマイクロフォンは、前記第1のオーディオデバイス、前記第2のオーディオデバイス、別のオーディオデバイス(前記オーケストレーションデバイスなど)その他の、前記オーディオ環境の1つ以上のオーディオデバイスのコンポーネントであり得る。
【0342】
この例によれば、ブロック3440は、前記制御システムによって、前記マイクロフォン信号群から前記第1のDSSS信号群および前記第2のDSSS信号群を抽出させることを含む。ブロック3440は、例えば、ブロック3435において言及した少なくとも1つのマイクロフォンを有する、前記オーディオ環境の1つ以上のオーディオデバイスによって実行され得る。
【0343】
この例において、ブロック3445は、前記制御システムによって、前記第1のDSSS信号群および前記第2のDSSS信号群に少なくとも部分的に基づいて、少なくとも1つの音響シーンメトリックを推定させることを含む。前記少なくとも1つの音響シーンメトリックは、例えば、飛行時間、到来時刻、レンジ、オーディオデバイスの可聴性、オーディオデバイスのインパルス応答、オーディオデバイス間の角度、オーディオデバイスの位置、オーディオ環境のノイズまたは信号対ノイズ比のうち1つ以上を含み得る。
【0344】
いくつかの例において、前記少なくとも1つの音響シーンメトリックを推定させることは、前記少なくとも1つの音響シーンメトリックを推定することまたは別のデバイスに少なくとも1つの音響シーンメトリックを推定させることを含み得る。すなわち、前記音響シーンメトリックは、オーケストレーションデバイスまたは前記オーディオ環境の別のデバイスによって推定されてもよい。
【0345】
いくつかの様態では、方法3400は、前記少なくとも1つの音響シーンメトリックに少なくとも部分的に基づいてオーディオデバイス再生の1つ以上の態様を制御することを含み得る。例えば、いくつかの様態は、1つ以上の音響シーンメトリックに少なくとも部分的に基づいてノイズ補償プロセスを制御することを含み得る。いくつかの例は、1つ以上の音響シーンメトリックに少なくとも部分的に基づいてレンダリングプロセスおよび/または1つ以上のオーディオデバイス再生レベルを制御することを含み得る。
【0346】
いくつかの様態によれば、オーディオデバイス再生音の前記DSSS信号成分は、人間には聞こえなくてもよい。いくつかの例において、前記第1のオーディオデバイス再生音の第1のコンテンツストリーム成分は、前記第1のオーディオデバイス再生音の第1のDSSS信号成分の知覚的マスキングを引き起こし得る。いくつかの例において、前記第2のオーディオデバイス再生音の第2のコンテンツストリーム成分は、前記第2のオーディオデバイス再生音の第2のDSSS信号成分の知覚的マスキングを引き起こし得る。
【0347】
いくつかの例において、方法3400は、制御システムによって、前記オーディオ環境の第3~第Nのオーディオデバイスに第3~第Nのダイレクトシーケンススペクトラム拡散(DSSS)信号を生成させることを含み得る。いくつかのそのような例は、前記制御システムによって、前記第3~第NのDSSS信号を第3~第Nのコンテンツストリームに挿入させることにより、前記第3~第Nのオーディオデバイスのための第3~第Nの修正オーディオ再生信号を生成することを含み得る。いくつかのそのような例は、前記制御システムによって、前記第3~第Nのオーディオデバイスに前記第3~第Nの修正オーディオ再生信号の対応するインスタンスを再生させ、オーディオデバイス再生音の第3~第Nのインスタンスを生成することを含み得る。
【0348】
いくつかの例において、方法3400は、前記オーディオ環境内の複数のオーディオデバイスの各々に、修正オーディオ再生信号群を同時に再生させることを含み得る。
【0349】
いくつかのそのような例は、前記制御システムによって、前記第1~第Nのオーディオデバイスの各々の少なくとも1つのマイクロフォンにオーディオデバイス再生音の第1~第Nのインスタンスを検出させ、前記オーディオデバイス再生音の第1~第Nのインスタンスに対応するマイクロフォン信号群を生成することを含み得る。いくつかのそのような例において、前記オーディオデバイス再生音の第1~第Nのインスタンスは、前記第1のオーディオデバイス再生音、前記第2のオーディオデバイス再生音およびオーディオデバイス再生音の前記第3~第Nのインスタンスを含み得る。いくつかのそのような例は、前記制御システムによって、前記第1~第NのDSSS信号を前記マイクロフォン信号群から抽出させることであって、前記少なくとも1つの音響シーンメトリックは第1~第NのDSSS信号に少なくとも部分的に基づいて推定されることを含み得る。
【0350】
いくつかの例において、方法3400は、前記オーディオ環境内の複数のオーディオデバイスのための1つ以上のDSSSパラメータを決定することを含み得る。前記1つ以上のDSSSパラメータは、DSSS信号群の生成に使用可能であり得る。いくつかのそのような例は、前記1つ以上のDSSSパラメータを前記複数のオーディオデバイスの各オーディオデバイスに提供することを含み得る。いくつかの例において、前記1つ以上のDSSSパラメータを決定することは、前記複数のオーディオデバイスの各オーディオデバイスについて、修正オーディオ再生信号群を再生するためのタイムスロットをスケジュールすることを含み得る。いくつかの例において、第1のオーディオデバイスのための第1のタイムスロットは、第2のオーディオデバイスのための第2のタイムスロットとは異なってもよい。
【0351】
いくつかの例によれば、前記1つ以上のDSSSパラメータを決定することは、前記複数のオーディオデバイスの各オーディオデバイスについて、修正オーディオ再生信号群を再生するための周波数帯域を決定することを含み得る。いくつかの例において、第1のオーディオデバイスのための第1の周波数帯域は第2のオーディオデバイスのための第2の周波数帯域とは異なってもよい。
【0352】
いくつかの例において、前記1つ以上のDSSSパラメータを決定することは、前記複数のオーディオデバイスの各オーディオデバイスについて拡散コードを決定することを含み得る。いくつかの例において、第1のオーディオデバイスのための第1の拡散コードは、第2のオーディオデバイスのための第2の拡散コードとは異なってもよい。いくつかの例において、前記1つ以上のDSSSパラメータを決定することは、対応するオーディオデバイス可聴性に少なくとも部分的に基づく、少なくとも1つの拡散コード長を決定することを含み得る。
【0353】
いくつかの例によれば、前記1つ以上のDSSSパラメータを決定することは、前記オーディオ環境内の複数のオーディオデバイスの各々の相互可聴性に少なくとも部分的に基づいて、音響モデルを適用することを含み得る。
【0354】
いくつかの例において、前記1つ以上のDSSSパラメータを決定することは、現在の再生目的を決定することを含み得る。いくつかのそのような例は、前記オーディオ環境内の複数のオーディオデバイスの各々の相互可聴性に少なくとも部分的に基づいた音響モデルを適用し、前記オーディオ環境内のDSSS信号群の推定性能を決定することを含み得る。いくつかのそのような例は、人間の音知覚に基づいた知覚モデルを適用することにより、前記オーディオ環境内のDSSS信号群の知覚的影響を決定することを含み得る。いくつかのそのような例は、前記現在の再生目的、前記推定性能および前記知覚的影響に少なくとも部分的に基づいて、前記1つ以上のDSSSパラメータを決定することを含み得る。
【0355】
いくつかの例によれば、前記1つ以上のDSSSパラメータを決定することは、DSSSパラメータ変化トリガを検出することを含み得る。いくつかのそのような例は、DSSSパラメータ変化トリガに対応する1つ以上の新たなDSSSパラメータを決定することを含み得る。いくつかのそのような例は、前記1つ以上の新たなDSSSパラメータを、前記オーディオ環境の1つ以上のオーディオデバイスに提供することを含み得る。
【0356】
いくつかの例において、前記DSSSパラメータ変化トリガを検出することは、前記オーディオ環境内の新たなオーディオデバイス、オーディオデバイスの位置の変化、オーディオデバイスの向きの変化、オーディオデバイスの設定の変化、前記オーディオ環境内の人の位置の変化、前記オーディオ環境内で再生されているオーディオコンテンツの種類の変化、前記オーディオ環境におけるバックグラウンドノイズの変化、前記オーディオ環境のドアまたは窓の構成の変化を含むがこれに限定されないオーディオ環境構成の変化、前記オーディオ環境の2つ以上のオーディオデバイス間のクロックスキュー、前記オーディオ環境の2つ以上のオーディオデバイス間のクロックバイアス、前記オーディオ環境の2つ以上のオーディオデバイス間の相互可聴性の変化、および/または再生目的の変化のうち1つ以上を検出することを含み得る。
【0357】
いくつかの例によれば、方法3400は、受信されたマイクロフォン信号群を処理して前処理済マイクロフォン信号群を生成することを含み得る。いくつかのそのような例において、DSSS信号群は前記前処理済マイクロフォン信号群から抽出されてもよい。いくつかのそのような例において、受信された前記マイクロフォン信号群を処理することは、ビームフォーミング、バンドパスフィルタまたはエコーキャンセレーションを適用することのうち1つ以上を含み得る。
【0358】
いくつかの例において、前記マイクロフォン信号群から少なくとも前記第1のDSSS信号群および前記第2のDSSS信号群を抽出させることは、整合フィルタを前記マイクロフォン信号群または前記マイクロフォン信号群の前処理済バージョンに適用して、遅延波形群を生成することを含み得る。いくつかのそのような例において、前記遅延波形群は、少なくとも前記第1のDSSS信号群に基づいた第1の遅延波形および前記第2のDSSS信号群に基づいた第2の遅延波形を含み得る。いくつかの例は、前記遅延波形群にローパスフィルタを適用することを含み得る。
【0359】
いくつかの例によれば、前記整合フィルタを適用することは復調プロセスの一部である。いくつかのそのような例において、前記復調プロセスは、
図2を参照して上述した復調器214A、
図17を参照して上述した復調器214、または
図18を参照して上述した復調器214によって実行されてもよい。いくつかのそのような例によれば、前記復調プロセスの出力は復調コヒーレントベースバンド信号であってもよい。いくつかの例は、バルク遅延を推定し、バルク遅延推定値を前記復調プロセスに提供することを含み得る。
【0360】
いくつかの例は、例えば本明細書に開示するベースバンド処理器218のインスタンスによって、前記前記復調コヒーレントベースバンド信号にベースバンド処理を行うことを含み得る。いくつかの例において、前記ベースバンド処理は、少なくとも1つの推定音響シーンメトリックを出力し得る。いくつかの例において、前記ベースバンド処理は、前記ベースバンド処理は、非コヒーレント積分期間中に受信した復調コヒーレントベースバンド信号群に基づいて、非コヒーレントに積分された遅延波形を生成することを含み得る。いくつかのそのような例によれば、前記非コヒーレントに積分された遅延波形を生成することは、前記非コヒーレント積分期間中に受信した前記復調コヒーレントベースバンド信号群を2乗して2乗化復調ベースバンド信号群を生成し、前記2乗化復調ベースバンド信号群を積分することを含み得る。いくつかの様態によれば、前記ベースバンド処理は、前縁推定プロセス、ステアード応答パワー推定プロセスおよび/または信号対ノイズ推定プロセスを、前記非コヒーレントに積分された遅延波形に適用することを含み得る。いくつかの例は、バルク遅延を推定し、バルク遅延推定値を前記ベースバンド処理に提供することを含み得る。
【0361】
いくつかの例は、少なくとも第1のノイズパワーレベルを第1のオーディオデバイス位置において推定し、第2のノイズパワーレベルを第2のオーディオデバイス位置において推定することを含み得る。いくつかのそのような例において、前記第1のノイズパワーレベルを推定することは前記第1の遅延波形に基づき、前記第2のノイズパワーレベルを推定することは前記第2の遅延波形に基づいてもよい。いくつかのそのような例は、推定された第1のノイズパワーレベルおよび推定された第2のノイズパワーレベルに少なくとも部分的に基づいて、前記オーディオ環境についての分布ノイズ推定値を生成することを含み得る。
【0362】
いくつかの例において、方法3400は、2つの非同期オーディオデバイス間の未知のクロックバイアスの相殺のために、非同期双方向測距プロセスを行うことを含み得る。いくつかの例において、前記非同期双方向測距プロセスは、前記2つの非同期オーディオデバイスのそれぞれによって送信されたDSSS信号群に基づいてもよい。いくつかの例は、前記オーディオ環境の複数のオーディオデバイス対の各々間で前記非同期双方向測距プロセスを行うことを含み得る。
【0363】
いくつかの例によれば、方法3400は、2つの非同期オーディオデバイス間の推定クロックバイアスを決定するために、クロックバイアス推定プロセスを行うことを含み得る。いくつかの例において、前記クロックバイアス推定プロセスは、前記2つの非同期オーディオデバイスのそれぞれによって送信されたDSSS信号群に基づいてもよい。いくつかのそのような例は、前記推定クロックバイアスを補償することを含み得る。いくつかの様態は、前記オーディオ環境の複数のオーディオデバイスの各々間で前記クロックバイアス推定プロセスを行い、複数の推定クロックバイアスを生成することを含み得る。いくつかのそのような例は、前記複数の推定クロックバイアスの各推定クロックバイアスを補償することを含み得る。
【0364】
いくつかの例において、方法3400は、2つの非同期オーディオデバイス間の推定クロックスキューを決定するためのクロックスキュー推定処理を行うことを含み得る。前記クロックスキュー推定処理は、前記2つの非同期オーディオデバイスのそれぞれによって送信されたDSSS信号群に基づいてもよい。いくつかのそのような例は、前記推定クロックスキューを補償することを含み得る。いくつかの例は、前記オーディオ環境の複数のオーディオデバイスの各々間で前記クロックスキュー推定処理を行い、複数の推定クロックスキューを生成することを含み得る。いくつかのそのような例は、前記複数の推定クロックスキューの各推定クロックスキューを補償することを含み得る。
【0365】
いくつかの例によれば、方法3400は、オーディオデバイスによって送信されたDSSS信号を検出することを含み得る。いくつかの例において、前記DSSS信号は、第1の拡散コードに対応し得る。いくつかのそのような例は、前記オーディオデバイスに第2の拡散コードを提供することを含み得る。いくつかの例において、前記第1の拡散コードは、新たに起動されるオーディオデバイスのために予約された第1の擬似乱数列であってもよく、またはそれを含んでもよい。
【0366】
いくつかの例において、音響DSSS信号群は、オーディオ再生信号群が可聴でない1つ以上の時間区間において再生されてもよい。いくつかのそのような例において、前記第1のオーディオ再生信号群の少なくとも一部、前記第2のオーディオ再生信号群の少なくとも一部、または前記第1のオーディオ再生信号群および前記第2のオーディオ再生信号群の各々の少なくとも一部は、無音に対応する。
【0367】
図35、36Aおよび36Bは、いくつかの様態による、複数のオーディオデバイスが測定セッションを相互調節する方法の例を示すフロー図である。
図35~36Bに示されるブロックは、本明細書に記載した他の方法と同様に、必ずしも示された順序で実行されるわけではない。例えば、いくつかの様態では、
図35のブロック3501の動作は、ブロック3500の動作の前に実行されてもよい。さらに、そのような方法は、図示および/または説明されているより多くのまたはより少ない数のブロックを含み得る。
【0368】
これらの例によれば、スマートオーディオデバイスがオーケストレーションデバイス(本明細書において「リーダー」とも呼ばれる場合がある)であり、一度に1つのデバイスのみがオーケストレーションデバイスであり得る。他の例では、オーケストレーションデバイスは、本明細書においてスマートホームハブと呼ばれるものであってもよい。オーケストレーションデバイスは、
図1Bを参照して上述した装置150のインスタンスであってもよい。
【0369】
図35は、本例によるすべての参加オーディオデバイスによって実行されるブロックを示す。この例において、ブロック3500は、他のすべての参加オーディオデバイスのリストを取得することを含む。ブロック3500のリストは、例えば、ネットワークパケットを介して他のオーディオデバイスからの情報を集約することによって作成することができる:他のオーディオデバイスは、例えば、測定セッションに参加する意思をブロードキャストすることができる。オーディオデバイスがオーディオ環境に追加および/または削除されると、ブロック3500のリストは更新され得る。いくつかのそのような例において、ブロック3500のリストは、最も重要なデバイス(例えば、
図1Aの主リビングスペース130内に現在あるオーディオデバイス)のみに関してリストを最新に保つために、様々なヒューリスティックに従って更新されてもよい。
【0370】
図35に示す例において、リンク3504はブロック3500のリストをブロック3501、リーダーシップ交渉プロセスに渡すことを示している。このブロック3501の交渉プロセスは、特定の様態に応じて、異なる形態をとることができる。最も単純な実施形態においては、すべてのデバイスが同じ方式を実装できると仮定すれば、最低または最高のデバイスIDコード(または他の一意のデバイス識別子)についての英数字ソートにより、デバイス間で複数の通信ラウンドを行うことなく、リーダーを決定することができる。より複雑な様態では、どのデバイスがリーダーに最も適しているかを決定するために、デバイス同士が交渉することもできる。例えば、編成された情報を集約するデバイスが、測定セッションを促進する目的で、リーダーにもなることは好都合かもしれない。最もアップタイムの長いデバイス、最も計算能力の高いデバイス、および/または主電源に接続されているデバイスが、リーダーの候補として適しているかもしれない。一般に、複数のデバイス間でこのようなコンセンサスを調整することは困難な問題であるが、多くの既存の満足のいくプロトコルやソリューション(例えば、Paxosプロトコル)を有する問題である。このようなプロトコルは数多く存在し、かつ適切であり得ることが理解されよう。
【0371】
この例によれば、すべての参加オーディオデバイスは次にブロック3503を実行する。つまり、この例ではリンク3506は無条件リンクであることを意味する。ブロック3503については、
図36Bを参照して後述する。あるデバイスがリーダーである場合、そのデバイスはブロック3502を実行する。この例において、リンク3505はリーダーシップのチェックを含む。リーダシッププロセスの一例を、
図36Aを参照して以下に説明する。このリーダーシッププロセスからの出力(他のオーディオデバイスへのメッセージを含むがこれに限定されない)を、
図35のリンク3507によって示している。
【0372】
図36Aは、オーケストレーションデバイスまたはリーダーによって実行されるプロセスの例を示す。ブロック3601は、各参加オーディオデバイスの音響DSSSパラメータ群を決定することを含む。いくつかの例において、ブロック3601は、1つ以上のDSSS拡散コードパラメータおよび1つ以上のDSSS搬送波パラメータを決定することを含み得る。いくつかの例において、ブロック3601は、各参加オーディオデバイスについて拡散コードを決定することを含み得る。いくつかのそのような例によれば、第1のオーディオデバイスのための第1の拡散コードは、第2のオーディオデバイスのための第2の拡散コードとは異なってもよい。いくつかの例において、ブロック3601は、対応するオーディオデバイスの可聴性に少なくとも部分的に基づいた拡散コード長を決定することを含み得る。いくつかの例によれば、ブロック3601は、現在の再生目的に少なくとも部分的に基づいてもよい。いくつかの例において、ブロック3601は、DSSSパラメータ変化トリガが検出されたかどうかに少なくとも部分的に基づいてもよい。
【0373】
この例によれば、オーケストレーションデバイスがブロック3601で音響DSSSパラメータ群を決定した後、
図36Aのプロセスはブロック3602へと続く。この例において、ブロック3602は、ブロック3601で決定された音響DSSSパラメータ群を他の参加オーディオデバイスに送ることを含む。いくつかの例において、ブロック3602は、無線通信、例えば、ローカルWiFiネットワーク、Bluetoothなどを介して、音響DSSSパラメータ群を他の参加オーディオデバイスに送ることを含み得る。いくつかの例において、ブロック3602は、例えば、
図36Bを参照して後述するように、「セッション開始」指示を送ることを含むことができる。いくつかの例において、参加オーディオデバイスは、ブロック502において自身の音響DSSSパラメータ群を更新する。
【0374】
この例によれば、ブロック3602の後、
図36Aのプロセスはブロック3603に続き、オーケストレーションデバイスは現在の測定セッションが終了するのを待つ。この例において、ブロック3603において、オーケストレーションデバイスは、他のすべての参加オーディオデバイスが自身のセッションを終了したことの確認を待つ。他の例では、ブロック503は、所定の期間を待つことを含み得る。いくつかの例において、ブロック503は、DSSSパラメータ変化トリガが検出されるのを待つことを含み得る。
【0375】
この例において、ブロック3603の後、
図36Aのプロセスはブロック3600に続き、オーケストレーションデバイスには測定セッションに関する情報が提供される。このような情報は、将来の測定セッションの選択およびタイミングに影響を及ぼし得る。いくつかの実施形態において、ブロック3600は、測定セッション中に得られた測定値群を、他のすべての参加オーディオデバイスから受け入れることを含む。受信される測定値群のタイプは、特定の様態に依存し得る。いくつかの例によれば、受信される測定値群は、マイクロフォン信号群であってもよく、またはそれを含んでもよい。代替的に、または追加的に、いくつかの例では、受信される測定値群は、マイクロフォン信号群から抽出されたオーディオデータであってもよく、またはそれを含んでもよい。いくつかの様態では、オーケストレーションデバイスは、受信した測定値群に対して1つ以上の演算を実行する(または実行させる)ことができる。例えば、オーケストレーションデバイスは、抽出されたオーディオデータに少なくとも部分的に基づいて、ターゲットオーディオデバイスの可聴性またはターゲットオーディオデバイスの位置を推定する(または推定させる)ことができる。いくつかの様態は、抽出されたオーディオデータに少なくとも部分的に基づいて、遠距離(far-field)オーディオ環境インパルス応答および/またはオーディオ環境ノイズを推定することを含み得る。
【0376】
図36Aに示す例では、ブロック3600が実行された後、プロセスはブロック3601に戻る。いくつかのそのような例において、プロセスは、ブロック3600が実行された後、所定の期間後にブロック3601に戻る。いくつかの例において、プロセスは、ユーザー入力に応答してブロック3601に戻ってもよい。いくつかの例において、DSSSパラメータ変化トリガが検出された後、プロセスはブロック3601に戻ってもよい。
【0377】
図36Bは、オーケストレーションデバイス以外の参加オーディオデバイスによって実行される処理の例を示す。ここで、ブロック3610は、他の参加オーディオデバイスの各々が、オーケストレーションデバイスに送信(例えば、ネットワークパケット)を送り、各デバイスが1つ以上の測定セッションに参加する意思を示すことを含む。いくつかの実施形態において、ブロック3610はまた、1つ以上の以前の測定セッションの結果をリーダーに送信することを含み得る。
【0378】
この例において、ブロック3615がブロック3610に続く。この例によれば、ブロック3615は、例えば「セッション開始」パケットを介して指示される、新たな測定セッションが開始されることの通知を待つことを含む。
【0379】
この例によれば、ブロック3620は、例えばブロック3615で待った「セッション開始」パケットとともに、オーケストレーションデバイスから提供された情報に従ってDSSSパラメータ群を適用することを含む。この例において、ブロック3620は、DSSSパラメータ群を適用して、測定セッション中に参加オーディオデバイスによって再生される修正オーディオ再生信号群を生成することを含む。この例によれば、ブロック3620は、オーディオデバイスのマイクロフォンを介してオーディオデバイス再生音を検出し、測定セッション中に対応するマイクロフォン信号群を生成することを含む。リンク3622が示唆するように、いくつかの場合では、ブロック3620は、オーケストレーションデバイスによって指示されたすべての測定セッションが完了するまで(たとえば、オーケストレーションデバイスから受信された「停止」指示(たとえば、停止パケット)に従って、または所定の継続時間後に)繰り返されてもよい。いくつかの例において、ブロック3620は、複数のターゲットオーディオデバイスの各々について繰り返され得る。
【0380】
最後に、ブロック3625は、測定セッション中に得られた情報をオーケストレーションデバイスに提供することを含む。この例において、ブロック3625の後、
図36Bのプロセスはブロック3610に戻る。いくつかのそのような例において、プロセスは、ブロック3625が実行された後、所定の期間後にブロック3610に戻る。いくつかの例において、プロセスは、ユーザー入力に応答してブロック3610に戻ってもよい。
【0381】
本開示のいくつかの態様は、開示する方法の1つ以上の例を実行するように構成された(例えば、プログラムされた)システムまたはデバイスと、開示する方法の1つ以上の例またはそのステップを実施するためのコードを記憶する有形のコンピュータ読み取り可能な媒体(例えば、ディスク)とを含む。例えば、いくつかの開示するシステムは、開示する方法またはそのステップの実施形態を含む、データに対する様々な操作のいずれかを実行するようにソフトウェアまたはファームウェアによってプログラムされおよび/または他の方法で構成された、プログラマブルな汎用プロセッサ、デジタルシグナルプロセッサ、またはマイクロプロセッサであるか、またはそれらを含むことができる。このような汎用プロセッサは、入力装置、メモリ、および、そこにアサートされたデータに応答して、開示する方法(またはそのステップ)の1つ以上の例を実行するようにプログラムされた(および/または他の方法で構成された)処理サブシステムを含むコンピュータシステムであるか、またはそれを含むことができる。
【0382】
いくつかの実施形態は、開示する方法の1つ以上の例の実行を含む、オーディオ信号(単数または複数)に対して必要な処理を実行するように構成された(例えばプログラムされるか他の方法で構成された)、コンフィギュラブル(例えば、プログラマブル)な、デジタルシグナルプロセッサ(DSP)として実装されてもよい。あるいは、開示するシステム(またはその要素)の実施形態は、開示する方法の1つ以上の例を含む様々な動作のいずれかを実行するように、ようにソフトウェアまたはファームウェアによってプログラムされおよび/または他の方法で構成された、汎用プロセッサ(例えば、パーソナルコンピュータ(PC)または他のコンピュータシステムまたはマイクロプロセッサであって、入力装置およびメモリを含み得る)として実装され得る。あるいは、本発明のシステムのいくつかの実施形態の要素は、開示する方法の1つ以上の例を実行するように構成された(例えば、プログラムされた)汎用プロセッサまたはDSPとして実装されてもよく、システムは、他の要素(例えば、1つ以上のラウドスピーカおよび/または1つ以上のマイクロフォン)も含む。開示する方法の1つ以上の例を実行するように構成された汎用プロセッサは、入力装置(例えば、マウスおよび/またはキーボード)、メモリ、およびディスプレイデバイスに結合されていてもよい。
【0383】
本開示の別の態様は、開示する方法またはそのステップの1つ以上の例を実行する(例えば、実行可能なコーダ)ためのコードを記憶するコンピュータ読み取り可能な媒体(例えば、ディスクまたは他の有形の記憶媒体)である。
【0384】
本開示の特定の実施形態および本開示の応用について本明細書で説明してきたが、本明細書で説明し特許請求する開示の範囲から逸脱することなく、本明細書に記載した実施形態および応用に対し多くの変形が可能であることが、当業者には明らかであろう。本開示の特定の形態が示され、記載されてきたが、本開示は、記載され図示された特定の実施形態または記載された特定の方法に限定されるものではないことが理解されるべきである。
【国際調査報告】