特表 2023-508002 オーディオデバイス自動場所選定

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-02-28

(54)【発明の名称】オーディオデバイス自動場所選定

(51)【国際特許分類】

   H04S 7/00 20060101AFI20230220BHJP

   G10K 15/00 20060101ALI20230220BHJP

【ＦＩ】

H04S7/00 320

G10K15/00 L

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022537580

(86)(22)【出願日】2020-12-17

(85)【翻訳文提出日】2022-08-12

(86)【国際出願番号】 US2020065769

(87)【国際公開番号】W WO2021127286

(87)【国際公開日】2021-06-24

(31)【優先権主張番号】19217580.0

(32)【優先日】2019-12-18

(33)【優先権主張国・地域又は機関】EP

(31)【優先権主張番号】62/949,998

(32)【優先日】2019-12-18

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/992,068

(32)【優先日】2020-03-19

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】507236292

【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】トーマス，マーク アール． ピー．

(72)【発明者】

【氏名】ディキンズ，グレン

(72)【発明者】

【氏名】ゼーフェルト，アラン

【テーマコード（参考）】

5D162

【Ｆターム（参考）】

5D162AA13

5D162CC12

5D162CC18

5D162DA02

5D162DA04

5D162DA06

5D162DA51

5D162EG04

(57)【要約】

環境内のオーディオデバイス場所を推定する方法は、環境内の複数のオーディオデバイスのうちの各オーディオデバイスについての到着方向（ＤＯＡ）データを取得することと、ＤＯＡデータに基づいて複数の三角形のうちの各三角形についての内角を決定することとを含んでよい。各三角形は、オーディオデバイス場所と対応する頂点を有してよい。本方法は、各三角形の各辺について辺の長さを決定することと、複数の三角形の各三角形を整列させる順方向アライメントプロセスを実行して順方向アライメント行列を生成することと、逆のシーケンスにおいて複数の三角形の各三角形を整列させる逆方向アライメントプロセスを実行して逆方向アライメント行列を生成することとを含んでよい。各オーディオデバイス場所の最終的な推定値は、順方向アライメント行列の値および逆方向アライメント行列の値に少なくとも部分的に基づいてよい。

【特許請求の範囲】

【請求項1】

環境内の少なくとも４つの複数のオーディオデバイスの場所を決定する方法であって、各オーディオデバイスは、前記複数のオーディオデバイスのうちの異なるオーディオデバイスによって生成される信号を検出するように構成され、当該方法は、
前記環境内の前記複数のオーディオデバイスのうちの別のオーディオデバイスによって生成される前記信号の検出される方向に基づいて到着方向データを取得することと、
前記到着方向データに基づいて複数の三角形の各三角形の内角を決定することであって、前記複数の三角形の各三角形は、前記複数のオーディオデバイスのうちの３つのオーディオデバイスの場所と対応する頂点を有する、決定することと、
前記内角に基づいて並びに決定されるべき辺の長さによって分離される前記オーディオデバイスによって生成される前記信号に基づいて、前記三角形の各三角形の各辺について辺の長さを決定すること、または
前記内角に基づいて前記辺の長さを決定することであって、前記三角形のうちの１つの三角形の１つの辺の長さは、所定の値に設定される、決定することと、
第１のシーケンスにおいて前記複数の三角形の各三角形を整列させる順方向アライメントプロセスを実行して順方向アライメント行列を生成することであって、前記順方向アライメントプロセスは、各三角形の辺の長さを隣接する三角形の辺の長さと一致させることおよび前記隣接する三角形について決定される前記内角を用いることによって実行される、生成することと、
前記複数の三角形の各三角形を整列させる逆方向アライメントプロセスを実行して逆方向アライメント行列を生成することであって、前記逆方向アライメントプロセスは、前記順方向アライメントプロセスとして事項されるが、前記第１のシーケンスの逆である第２のシーケンスにおいて実行される、生成することと、
前記順方向アライメント行列の値および前記逆方向アライメント行列の値に少なくとも部分的に基づいて、各オーディオデバイス場所の最終的な推定値を生成することと、を含む、
方法。

【請求項2】

各オーディオデバイス場所の前記最終的な推定値を生成することは、
前記順方向アライメント行列を並進およびスケーリングして、並進およびスケーリングされた順方向アライメント行列を生成することと、
前記逆方向アライメント行列を並進およびスケーリングして、並進およびスケーリングされた逆方向アライメント行列を生成することと、を含み、
前記順方向アライメント行列および前記逆方向アライメント行列を並進およびスケーリングすることは、それぞれの行列の質量中心を原点まで移動させることと、各行列のフロベニウスノルムをゼロにさせることと、を含む、
請求項１に記載の方法。

【請求項3】

各オーディオデバイス場所の前記最終的な推定値を生成することは、前記並進およびスケーリングされた順方向アライメント行列ならびに前記並進およびスケーリングされた逆方向アライメント行列に基づいて更なる行列を生成することを更に含み、該更なる行列は、各オーディオデバイスについての複数の推定されたオーディオデバイス場所を含む、請求項２に記載の方法。

【請求項4】

前記更なる行列を生成することは、前記並進およびスケーリングされた順方向アライメント行列ならびに前記並進およびスケーリングされた逆方向アライメント行列に対して特異値分解を実行することを含む、請求項３に記載の方法。

【請求項5】

各オーディオデバイス場所の前記最終的な推定値を生成することは、複数の三角形の頂点をオーバーラップさせることから得られる前記オーディオデバイスの前記場所の複数の推定値を平均化することを更に含む、請求項１～４のうちのいずれか１項に記載の方法。

【請求項6】

前記辺の長さを決定することは、
三角形の第１の辺の第１の長さを決定することと、
前記三角形の前記内角に基づいて前記三角形の第２の辺の長さおよび第３の辺の長さを決定することと、を含み、
前記第１の長さを決定することは、前記第１の長さを所定の値に設定することを含み、或いは、前記第１の長さを決定することは、到着時間データまたは受信する信号強度データのうちの少なくとも１つに基づく、
請求項１～５のうちのいずれか１項に記載の方法。

【請求項7】

各オーディオデバイスは、複数のオーディオデバイスマイクロホンを含み、前記到着方向データを決定することは、前記複数のオーディオデバイスの単一のオーディオデバイスに対応する複数のオーディオデバイスマイクロホンの各マイクロホンからマイクロホンデータを受信することと、前記マイクロホンデータに少なくとも部分的に基づいて前記単一のオーディオデバイスについての前記到着方向データを決定することとを含む、
請求項１～６のうちのいずれか１項に記載の方法。

【請求項8】

各オーディオデバイスは、１つ以上のアンテナを含み、前記到着方向データを決定することは、前記複数のオーディオデバイスのうちの単一のオーディオデバイスに対応する１つ以上のアンテナからアンテナデータを受信することと、前記アンテナデータに少なくとも部分的に基づいて前記単一のオーディオデバイスについての前記到着方向データを決定することと、を含む、請求項１～６のうちのいずれか１項に記載の方法。

【請求項9】

少なくとも１つのオーディオデバイス場所の前記最終的な推定値に少なくとも部分的に基づいて前記オーディオデバイスのうちの少なくとも１つのオーディオデバイスを制御することを更に含む、請求項１～８のうちのいずれか１項に記載の方法。

【請求項10】

前記複数のオーディオデバイスの各オーディオデバイスは、ラウドスピーカを含み、前記オーディオデバイスのうちの少なくとも１つのオーディオデバイスを制御することは、前記オーディオデバイスのうちの少なくとも１つのオーディオデバイスに基づいてラウドスピーカを制御することを含む、請求項９に記載の方法。

【請求項11】

請求項１～１０のうちのいずれか１項に記載の方法を実行するように構成される装置。

【請求項12】

命令を含むコンピュータプログラムであって、前記命令は、前記コンピュータプログラムがコンピュータによって実行されるときに、前記コンピュータに請求項１～１０のうちのいずれか１項に記載の方法を実行させる、コンピュータプログラム。

【請求項13】

請求項１２に記載のコンピュータプログラムを含む、コンピュータ読取可能媒体。

【請求項14】

複数のオーディオデバイスのうちのオーディオデバイスを構成する方法であって、
前記複数のオーディオデバイスの各オーディオデバイスは、前記複数のオーディオデバイスのうちの同じオーディオデバイスまたは異なるオーディオデバイスによって生成される信号を検出する１つ以上のセンサを含み、当該方法は、
制御システムを介して、環境内の複数のオーディオデバイスの各オーディオデバイスについてのオーディオデバイスの到着方向データを取得することと、
前記制御システムを介して、前記到着方向データに少なくとも部分的に基づいてオーディオデバイス場所データを生成することであって、該オーディオデバイス場所データは、各オーディオデバイスについてのオーディオデバイス場所の推定値を含む、生成することと、
前記制御システムを介して、前記環境内の視聴者場所を示す視聴者場所データを決定することと、
前記制御システムを介して、視聴者角度向きを示す視聴者角度向きデータを決定することと、
前記制御システムを介して、前記視聴者場所および前記視聴者角度向きに対する各オーディオデバイスについてのオーディオデバイス角度向きを示すオーディオデバイス角度向きデータを決定することと、を含む、
方法。

【請求項15】

対応するオーディオデバイス場所、対応するオーディオデバイス角度向き、前記視聴者場所データおよび前記視聴者角度向きに少なくとも部分的に基づいて、前記オーディオデバイスのうちの少なくとも１つのオーディオデバイスを制御することを更に含む、請求項１４に記載の方法。

【請求項16】

前記オーディオデバイス場所データ、前記オーディオデバイス角度向きデータ、前記視聴者場所データおよび前記視聴者角度向きデータを、オーディオレンダリングシステムに提供することを更に含む、請求項１４または１５に記載の方法。

【請求項17】

前記オーディオデバイス場所データ、前記オーディオデバイス角度向き、前記視聴者場所データおよび前記視聴者角度向きデータに少なくとも部分的に基づいて、オーディオデータレンダリングプロセスを制御することを更に含む、請求項１４～１６のうちのいずれか１項に記載の方法。

【請求項18】

各オーディオデバイスは、ラウドスピーカを含み、前記到着方向データを取得することは、前記環境内の複数のラウドスピーカの各ラウドスピーカを制御して試験信号を再生することを含む、請求項１４～１７のうちのいずれか１項に記載の方法。

【請求項19】

前記視聴者場所データおよび前記視聴者角度向きデータのうちの少なくとも１つは、前記視聴者の１つ以上の発話に対応する前記到着方向データに基づく、請求項１４～１８のうちのいずれか１項に記載の方法。

【請求項20】

前記視聴者角度向きは、視聴者視認方向に対応する、請求項１４～１９のうちのいずれか１項に記載の方法。

【請求項21】

前記視聴者視認方向は、視聴者場所とテレビ場所とに従って決定される、請求項２０に記載の方法。

【請求項22】

前記視聴者視認方向は、前記視聴者場所とテレビサウンドバー場所とに従って決定される、請求項２０に記載の方法。

【請求項23】

前記視聴者視認方向は、視聴者入力に従って決定される、請求項２０に記載の方法。

【請求項24】

前記視聴者入力は、前記視聴者によって保持されるデバイスから受信される慣性センサデータを含む、請求項２０に記載の方法。

【請求項25】

前記慣性センサデータは、音を出しているラウドスピーカに対応する慣性センサデータを含む、請求項２４に記載の方法。

【請求項26】

前記視聴者入力は、前記視聴者によって選択されるオーディオデバイスの表示を含む、請求項２３に記載の方法。

【請求項27】

ラウドスピーカ音響能力データをレンダリングシステムに提供することを更に含み、前記ラウドスピーカ音響能力データは、１つ以上のドライバの向き、複数のドライバ、または１つ以上のドライバのドライバ周波数応答のうちの少なくとも１つを示す、請求項１４～２６のうちのいずれか１項に記載の方法。

【請求項28】

前記オーディオデバイス場所を生成することは、請求項１～１０のうちのいずれか１項に記載の方法に従って実行される、請求項１４～２６のうちのいずれか１項に記載の方法。

【請求項29】

請求項１４～２８のうちのいずれか１項に記載の方法を実行するように構成される装置。

【請求項30】

命令を含むコンピュータプログラムであって、前記命令は、コンピュータによって実行されるときに、該コンピュータに請求項１４～２８のうちのいずれか１項に記載の方法を実行させる、コンピュータプログラム。

【請求項31】

請求項３０に記載のコンピュータプログラムを含む、コンピュータ読取可能媒体。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の参照）
この出願は、参照により本明細書に援用する２０１９年１２月１８日に出願された米国仮特許出願第６２／９４９，９９８号、２０１９年１２月１８日に出願された欧州特許出願第１９２１７５８０．０号、および２０２０年３月１９日に出願された米国仮特許出願第６２／９９２，０６８号に対する優先権を主張する。

【0002】

この開示は、オーディオデバイスを自動的に場所特定する(locating)ためのシステムおよび方法に関する。

【背景技術】

【0003】

スマートオーディオデバイス(smart audio devices)を含むが、これに限定されない、オーディオデバイスは、広く配置されており、多くの家庭の一般的な機能となっている。オーディオデバイスを場所特定するための既存のシステムおよび方法は利益をもたらすが、改良されたシステムおよび方法が望ましい。

【発明の概要】

【0004】

本明細書では、「スマートオーディオデバイス」という表現を用いて、単一目的オーディオデバイスまたは仮想アシスタント（例えば、接続された仮想アシスタント）のいずれかであるスマートデバイスを示す。単一目的オーディオデバイスは、少なくとも１つのマイクロホンを含むか或いは少なくとも１つのマイクロホンに結合されるデバイス（例えば、スマートスピーカ、テレビジョン（ＴＶ）または携帯電話）であり、（幾つかの例において、それは少なくとも１つのスピーカを含むか或いは少なくとも１つのマイクロホンに結合されることもあり）、それは概ねまたは主として単一目的を達成するように設計されている。ＴＶは、典型的には、番組素材からオーディオを再生することができる（或いは再生することができると考えられている）が、殆どの場合、現代のＴＶは、テレビを視聴するアプリケーションを含むアプリケーションがローカルに動作する何らかのオペレーティングシステムを実行する。同様に、携帯電話におけるオーディオ入力および出力は、多くのことをすることがあるが、これらは電話上で動作するアプリケーションによってサービス提供される。この意味において、スピーカおよびマイクロホンを有する単一目的オーディオデバイスは、しばしば、スピーカおよびマイクロホンを直接的に使用するためのローカルアプリケーションおよび／またはサービスを実行するように構成される。幾つかの単一目的オーディオデバイスは、ゾーンまたはユーザ設定エリアでオーディオの再生を達成するために、互いにグループ化するように設定されることがある。

【0005】

本明細書において、「仮想アシスタント」（例えば、接続された仮想アシスタント）は、少なくとも１つのマイクロホンを含むか或いは少なくとも１つのマイクロホンに結合される（任意的に少なくとも１つのスピーカを含むか或いは少なくとも１つのスピーカに結合される）デバイス（例えば、スマートスピーカ、スマートディスプレイまたは音声(voice)アシスタント統合デバイス）であり、それはある意味においてクラウド対応であるか或いはその他の方法で仮想アシスタント自体内または上で実装されていないアプリケーションのための（仮想アシスタントとは別個の）複数のデバイスを利用する能力を提供することがある。仮想アシスタントは、時折、例えば、非常に離散的且つ条件付きで定義された方法で、協働することがある。例えば、２つ以上の仮想アシスタントは、それらのうちの１つ、すなわち、ウエークワード(wakeword)を聞いたことに最も自信がある仮想アシスタントが、そのワードに応答するという意味で、協働することがある。接続されたデバイスは、一種の集団(constellation)を形成することがあり、それは仮想アシスタントである（或いは仮想アシスタントを含むか或いは実装する）ことがある１つのメインアプリケーションによって管理されることがある。

【0006】

本明細書において、「ウエークワード」とは、広義には、任意のサウンド(音)(sound)（例えば、人間によって発声された単語(word)、または何らかの他の音）を示すために使用され、スマートオーディオデバイスは、（スマートオーディオデバイスに含まれるか或いは結合される少なくとも１つのマイクロホン、または少なくとも１つの他のマイクロホンを使用して）その音（を聞くこと）の検出に応答して、覚醒する(awake)ように構成される。この文脈において、「覚醒する」とは、デバイスがサウンドコマンドを待つ（すなわち、聞いている）状態に入ることを意味する。

【0007】

本明細書において、「ウエークワード検出器」という表現は、リアルタイムサウンド（例えば、発話(speech)）機構と訓練されたモデルとの間の整列のために連続的に探索するように構成されたデバイス（またはデバイスを構成するための命令を含むソフトウェア）を意味する。典型的には、ウエークワードが検出された確率が所定の閾値を超えることがウエークワード検出器によって決定されるときにはいつでも、ウエークワードイベントがトリガされる。例えば、閾値は、誤り受理(false acceptance)と誤り拒絶(false rejection)との間の良好な妥協を与えるように調整される所定の閾値であってよい。ウエークワードイベントに続いて、デバイスは、デバイスがコマンドを聞き、受け取ったコマンドをより大きな、より計算集約的な認識器に渡す（「覚醒された」状態または「注意(attentiveness)」の状態と呼ぶことがある）状態に入ることがある。

【0008】

特許請求の範囲を含むこの開示を通じて、「スピーカ」および「ラウドスピーカ」は、単一のスピーカフィード(speaker feed)によって駆動される任意のサウンド放射トランスデューサ（またはトランスデューサのセット）を示すよう同義的に使用される。ヘッドフォンの典型的なセットは、２つのスピーカを含む。スピーカは、全てが単一の共通スピーカフィードによって駆動される複数のトランスデューサ（例えば、ウーファおよびツイータ）を含むように実装されてよい。スピーカフィードは、幾つかの例において、異なるトランスデューサに結合された異なる回路構成分岐において異なる処理を受けることがある。

【0009】

特許請求の範囲を含むこの開示を通じて、信号またはデータを「オン」にする操作を実行する表現（例えば、信号またはデータをフィルタリングすること(filtering)、スケーリングすること(scaling)、変換すること(transforming)、或いは信号またはデータに利得を適用すること(applying)）は、広義には、信号またはデータに対して或いは処理されたバージョンの信号またはデータに対して（例えば、操作の実行前に予備的なフィルタリングまたは前処理を受けた信号のバージョンに対して）直接的に操作を実行することを示すために使用される。

【0010】

特許請求の範囲を含むこの開示を通じて、「システム」という表現は、広義には、デバイス、システム、またはサブシステムを示すために使用される。例えば、復号器(デコーダ)を実装するサブシステムを復号器システムと呼ぶことがあり、そのようなサブシステムを含むシステム（例えば、複数の入力に応答してＸ出力信号を生成するシステムであって、サブシステムはＭの入力を生成し、他のＸ－Ｍ入力が外部ソースから受信されるシステム）を復号器システムと呼ぶこともある。

【0011】

特許請求の範囲を含むこの開示を通じて、「プロセッサ」という用語は、広義には、データ（例えば、オーディオ、ビデオまたは他の画像データ）に対して操作を実行するために、（例えば、ソフトウェアまたはファームウェアを用いて）プログラム可能または他の方法で構成能なシステムまたはデバイスを示すために使用される。プロセッサの例は、フィールドプログラマブルゲートアレイ（または他の構成可能な集積回路またはチップセット）、オーディオまたは他のサウンドデータに対してパイプライン処理を行うようにプログラムされたおよび／または他の方法で構成されたデジタル信号プロセッサ、プログラム可能な汎用プロセッサまたはコンピュータ、およびプログラム可能なマイクロプロセッサチップまたはチップセットを含む。

【0012】

本開示の少なくとも幾つかの態様は、方法を介して実装されてよい。幾つかのそのような方法は、オーディオデバイス場所、すなわち、環境内の複数の（例えば、少なくとも４つ以上の）オーディオデバイスの場所を決定する方法を含んでよい。例えば、幾つかの方法は、複数のオーディオデバイスのうちの各オーディオデバイスについての到着方向（ＤＯＡ：direction of arrival）データを取得することと、ＤＯＡデータに基づいて複数の三角形の各三角形についての内角を決定することとを含んでよい。幾つかの例において、複数の三角形のうちの各三角形は、オーディオデバイスのうちの３つのオーディオデバイスの場所と対応する頂点を有してよい。幾つかのそのような方法は、少なくとも部分的に内角に基づいて三角形の各三角形の各辺の辺の長さを決定することを含んでよい。

【0013】

幾つかのそのような方法は、第１のシークエンスにおいて複数の三角形のうちの各三角形を整列させる順方向アライメントプロセスを実行して、順方向アライメント行列を生成することを含んでよい。幾つかのそのような方法は、第１のシーケンスの逆である第２のシーケンスにおいて複数の三角形のうちの各三角形を整列させる逆方向アライメントプロセスを実行して、逆方向アライメント行列を生成することを含んでよい。幾つかのそのような方法は、順方向アライメント行列の値および逆方向アライメント行列の値に少なくとも部分的に基づいて、各オーディオデバイス場所の最終的な推定値を生成することを含んでよい。

【0014】

幾つかの例によれば、各オーディオデバイス場所の最終的な推定値を生成することは、順方向アライメント行列を並進(平行移動)およびスケーリングして、並進およびスケーリングされた順方向アライメント行列を生成することと、逆方向アライメント行列を並進およびスケーリングして、並進およびスケーリングされた逆方向アライメント行列を生成することとを含んでよい。幾つかのそのような方法は、並進およびスケーリングされた順方向アライメント行列ならびに並進およびスケーリングされた逆方向アライメント行列に基づいて回転行列を生成することを含んでよい。回転行列は、各オーディオデバイスについて複数の推定されるオーディオデバイス場所を含むことがある。幾つかの実装において、回転行列を生成することは、並進およびスケーリングされた順方向アライメント行列ならびに並進およびスケーリングされた逆方向アライメント行列に対して特異値分解を実行することを含んでよい。幾つかの例によれば、各オーディオデバイス場所の最終的な推定値を作成することは、各オーディオデバイスについて推定されるオーディオデバイス場所を平均化して、各オーディオデバイス場所の最終的な推定値を作成することを含んでよい。

【0015】

幾つかの実装において、辺の長さを決定することは、三角形の第１の辺の第１の長さを決定することと、三角形の内角に基づいて三角形の第２の辺の長さおよび第３の辺の長さを決定することを含んでよい。第１の長さを決定することは、幾つかの例において、第１の長さを所定の値に設定することを含んでよい。第１の長さを決定することは、幾つかの例において、到着時間データおよび／または受信される信号強度データに基づいてよい。

【0016】

幾つかの例によれば、ＤＯＡデータを取得することは、複数のオーディオデバイスのうちの少なくとも１つのオーディオデバイスについてのＤＯＡデータを決定することを含んでよい。幾つかの例において、ＤＯＡデータを決定することは、複数のオーディオデバイスのうちの単一のオーディオデバイスに対応する複数のオーディオデバイスマイクロホンのうちの各マイクロホンからマイクロホンデータを受信することと、少なくとも部分的にマイクロホンデータに基づいて単一のオーディオデバイスについてのＤＯＡデータを決定することとを含んでよい。幾つかの例によれば、ＤＯＡデータを決定することは、複数のオーディオデバイスのうちの単一のオーディオデバイスに対応する１つ以上のアンテナからアンテナデータを受信することと、アンテナデータに少なくとも部分的に基づいて単一のオーディオデバイスについてのＤＯＡデータを決定することとを含んでよい。

【0017】

幾つかの実装において、本方法は、少なくとも１つのオーディオデバイス場所の最終的な推定値に少なくとも部分的に基づいて、オーディオデバイスのうちの少なくとも１つのオーディオデバイスを制御することを含んでもよい。幾つかのそのような幾つかの例において、オーディオデバイスのうちの少なくとも１つのオーディオデバイスを制御することは、オーディオデバイスのうちの少なくとも１つのオーディオデバイスのラウドスピーカを制御することを含んでよい。

【0018】

本明細書に記載する動作、機能および／または方法の一部または全部は、１つ以上の非一時的媒体に格納された命令（例えば、ソフトウェア）に従って１つ以上のデバイスによって実行されてよい。そのような非一時的媒体は、ランダムアクセスメモリ（ＲＡＭ）デバイス、読出し専用メモリ（ＲＯＭ）デバイスなどを含むが、これらに限定されない、本明細書に記載するもののようなメモリデバイスを含んでよい。従って、この開示に記載する主題のうちの幾つかの革新的な態様は、その上に格納されたソフトウェアを有する非一時的媒体内に実装されることができる。

【0019】

例えば、ソフトウェアは、１つ以上のデバイスを制御して、オーディオデバイス場所を含む方法を実行するための命令を含んでよい。幾つかの方法は、複数のオーディオデバイスのうちの各オーディオデバイスについてＤＯＡデータを取得することと、ＤＯＡデータに基づいて複数の三角形のうちの各三角形についての内角を決定することとを含んでよい。幾つかの例において、複数の三角形のうちの各三角形は、オーディオデバイスのうちの３つのオーディオデバイスのオーディオデバイス場所にと応する頂点を有してよい。幾つかのそのような方法は、少なくとも部分的に内角に基づいて、三角形のうちの各三角形の各辺の辺の長さを決定することを含んでよい。

【0020】

幾つかのそのような方法は、第１のシークエンスにおいて複数の三角形のうちの各三角形を整列させる順方向アライメントプロセスを実行して、順方向アライメント行列を生成することを含んでよい。幾つかのそのような方法は、第１のシーケンスの逆である第２のシーケンスにおいて複数の三角形のうちの各三角形を整列させる逆方向アライメントプロセスを実行して、逆方向アライメント行列を生成することを含んでよい。幾つかのそのような方法は、順方向アライメント行列の値および逆方向アライメント行列の値に少なくとも部分的に基づいて、各オーディオデバイス場所の最終的な推定値を生成することを含んでよい。

【0021】

幾つかの例によれば、各オーディオデバイス場所の最終的な推定値を生成することは、順方向アライメント行列を並進(平行移動)およびスケーリングして、並進およびスケーリングされた順方向アライメント行列を生成することと、逆方向アライメント行列を並進およびスケーリングして、並進およびスケーリングされた逆方向アライメント行列を生成することとを含んでよい。幾つかのそのような方法は、並進およびスケーリングされた前方アライメント行列ならびに並進およびスケーリングされた逆アライメント行列に基づいて回転行列を生成することを含んでよい。回転行列は、各オーディオデバイスについての複数の推定されるオーディオデバイス場所を含んでよい。幾つかの実装において、回転行列を生成することは、並進およびスケーリングされた順方向アライメント行列ならびに並進およびスケーリングされた逆方向アライメント行列に対して特異値分解を実行することを含んでよい。幾つかの例によれば、各オーディオデバイス場所の最終的な推定値を作成することは、各オーディオデバイスについて推定されたオーディオデバイス場所を平均化して、各オーディオデバイス場所の最終的な推定値を作成することを含んでよい。

【0022】

幾つかの実装において、辺の長を決定することは、三角形の第１の辺の第１の長さを決定することと、三角形の内角に基づいて三角形の第２の辺の長さおよび第３の辺の長さを決定することを含んでよい。第１の長さを決定することは、幾つかの例において、第１の長さを所定の値に設定することを含んでよい。第１の長さを決定することは、幾つかの例において、到着時間データおよび／または受信される信号強度データに基づいてよい。

【0023】

幾つかの例によれば、ＤＯＡデータを取得することは、複数のオーディオデバイスのうちの少なくとも１つのオーディオデバイスについてのＤＯＡデータを決定することを含んでよい。幾つかの例において、ＤＯＡデータを決定することは、複数のオーディオデバイスのうちの単一のオーディオデバイスに対応する複数のオーディオデバイスマイクロホンのうちの各マイクロホンからマイクロホンデータを受信することと、少なくとも部分的にマイクロホンデータに基づいて単一のオーディオデバイスについてのＤＯＡデータを決定することとを含んでよい。幾つかの例によれば、ＤＯＡデータを決定することは、複数のオーディオデバイスのうちの単一のオーディオデバイスに対応する１つ以上のアンテナからアンテナデータを受信することと、アンテナデータに少なくとも部分的に基づいて単一のオーディオデバイスについてのＤＯＡデータを決定することとを含んでよい。

【0024】

幾つかの実装において、本方法は、少なくとも１つのオーディオデバイス場所の最終的な推定値に少なくとも部分的に基づいて、オーディオデバイスのうちの少なくとも１つのオーディオデバイスを制御することを含んでよい。幾つかのそのような例において、オーディオデバイスのうちの少なくとも１つのオーディオデバイスを制御することは、オーディオデバイスのうちの少なくとも１つのオーディオデバイスのラウドスピーカを制御することを含んでよい。

【0025】

本開示の少なくとも幾つかの態様は、装置を介して実装されてよい。例えば、１つ以上のデバイスは、少なくとも部分的に、本明細書に開示する方法を実行することができてよい。幾つかの実装では、装置が、インターフェースシステムと、制御システムとを含んでよい。制御システムは、１つ以上の汎用単一チップまたはマルチチッププロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または他のプログラマブル論理デバイス、離散ゲートまたはトランジスタ論理、離散ハードウェアコンポーネント、またはそれらの組み合わせを含んでよい。幾つかの例において、装置は、上述のオーディオデバイスのうちの１つであってよい。しかしながら、幾つかの実装において、装置は、モバイルデバイス、ラップトップ、サーバなどのような、別のタイプのデバイスであってよい。

【0026】

本開示の幾つかの態様において、記載の方法のいずれかは、命令を含むコンピュータプログラム（コンピュータプログラム製品）において実装されてよく、命令は、プログラムがコンピュータによって実行されるときに、コンピュータに本開示に記載する方法のうちのいずれかまたは方法のステップを実行させる。

【0027】

本開示の幾つかの態様では、コンピュータプログラム製品を含むコンピュータ読取可能媒体が記載される。

【0028】

本明細書に記載する主題の１つ以上の実装の詳細は、添付の図面および以下の記述に記載される。他の構成、態様、および利点は、明細書、図面、および特許請求の範囲から明らかになるであろう。以下の図の相対的な寸法は、縮尺通りに描かれない場合があることに留意されたい。

【図面の簡単な説明】

【0029】

【図1】環境内の３つのオーディオデバイス間の幾何学的関係の例を示している。

【図2】図１に示す環境における３つのオーディオデバイス間の幾何学的関係の別の例を示している。

【図3A】対応するオーディオデバイスおよび環境の他の構成を伴わない、図１および図２に示す両方の三角形を示している。

【図3B】３つのオーディオデバイスによって形成された三角形の内角を推定する例を示している。

【図4】図１１に示すような装置によって実行されることがある方法の一例を概説するフロー図である。

【図5】環境内の各オーディオデバイスが複数の三角形の頂点である例を示している。

【図6】順方向アライメントプロセスの一部分の例を提供している。

【図7】順方向アライメントプロセス中に発生したオーディオデバイス場所の複数の推定値の例を示している。

【図8】逆方向アライメントプロセスの一部分の例を提供している。

【図9】逆方向アライメントプロセス中に発生したオーディオデバイス場所の複数の推定値の例を示している。

【図10】推定されたオーディオデバイス場所および実際のオーディオデバイス場所の比較を示している。

【図11】この開示の様々な態様を実装することができる装置のコンポーネントの例を示すブロック図である。

【図12】図１１に示すような装置によって実行されることがある方法の一例を概説するフロー図である。

【図13A】図１２の幾つかのブロックの例を示している。

【図13B】視聴者角度向きデータを決定する追加的な例を示している。

【図13C】視聴者角度向きデータを決定する追加的な例を示している。

【図13D】図１３Ｃを参照して記載した方法に従ったオーディオデバイス座標のための適切な回転を決定する一例を示している。

【図14】これらの特定のスピーカ位置についての式１１の最適解を含むスピーカアクティブ化を示している。

【図15】スピーカアクティブ化が図１４に示されている個々のスピーカ位置をプロットしている。

【発明を実施するための形態】

【0030】

様々な図面における同等の参照番号および呼称(designations)は、同等の要素を示している。

【0031】

テレビとサウンドバーとを含む既存のオーディオデバイス、ならびに電球およびマイクロ波のような新しいマイクロホンおよびラウドスピーカ対応の接続されたデバイスに加えて、複数の駆動ユニットおよびマイクロホンアレイを組み込んだスマートスピーカの出現は、オーケストレーション(orchestration)を達成するために数十のマイクロホンおよびラウドスピーカを互いに対して位置付ける必要があるという問題を引き起こしている。オーディオデバイスは、（離散的なドルビー５．１ラウドスピーカレイアウトのような）標準的なレイアウトにあるとはみなさることはできない。幾つかの場合には、環境内のオーディオデバイスは、無作為に配置されてもよく、或いは少なくとも不規則および／または非対称的な方法で環境内に分散されてよい。

【0032】

更に、オーディオデバイスが異種(heterogeneous)または同期(synchronous)であると想定されることはできない。本明細書で使用するとき、サウンドが同じサンプルクロックまたは同期されたサンプルクロックに従ってオーディオデバイスによって検出または放射されるならば、オーディオデバイスを「同期」または「同期されている」と呼ぶことがある。例えば、ある環境内の第１のオーディオデバイスの第１の同期されたマイクロホンは、第１のサンプルクロックに従ってオーディオデータをデジタル的にサンプリングすることがあり、その環境内の第２の同期されたオーディオデバイスの第２のマイクロホンは、第１のサンプルクロックに従ってオーディオデータをデジタル的にサンプリングすることがある。代替的にまたは追加的に、ある環境内の第１のオーディオデバイスの第１の同期されたスピーカは、あるスピーカセットアップクロックに従ってサウンドを放射することがあり、その環境内の第２のオーディオデバイスの第２の同期されたスピーカは、そのスピーカセットアップクロックに従ってサウンドを放射することがある。

【0033】

自動スピーカ場所選定(location)のための幾つかの十全に開示された方法は、同期されたマイクロホンおよび／またはスピーカを必要とする。例えば、デバイス場所特定(localization)のための幾つかの従前のツールは、システム内の全てのマイクロホン間のサンプル同期性(synchrony)に依存して、既知の試験刺激を必要とし、センサ間で全帯域幅オーディオデータを通過させる。

【0034】

本譲受人は、シネマおよび家庭のための幾つかのスピーカ場所特定技術を生成し、スピーカ場所特定技術は、それらが設計されたユースケースにおける優れた解決策である。幾つかのそのような方法は、各ラウドスピーカとほぼ同じ場所にあるマイクロホンと音源との間のインパルス応答(impulse response)から導き出される飛行時間(time-of-flight)に基づく。記録(record)および再生(playback)チェーン内のシステム待ち時間を推定することもあるが、インパルス応答を推定するための既知の試験刺激の必要性と共に、クロック間のサンプル同期性が必要とされる。

【0035】

この文脈におけるソース場所特定の最近の例は、デバイス内マイクロホン同期性を必要とするが、デバイス間同期性を必要としないことによって、制約を緩和している。加えて、幾つかのそのような方法は、直接（反射されない）サウンドの到着時間（ＴＯＡ：time of arrival）の検出を介する或いは直接サウンドの支配的な到着方向（ＤＯＡ：direction of arrival）の検出を介するような低帯域幅メッセージ通過によって、センサ間でサウンドを通過させる必要性を放棄する。各アプローチは、幾つかの潜在的な利点および潜在的な欠点を有する。例えば、ＴＯＡ法は、未知の並進(平行移動)(translation)、回転、および３つの軸のうちの１つの軸についての反射までのデバイス幾何学的形状(geometry)を決定することができる。デバイスト毎に１つだけのマイクロホンがあるならば、個々のデバイスの回転も未知である。ＤＯＡ法は、未知の並進(平行移動)、回転、およびスケールまでのデバイス幾何学を決定することができる。幾つかのそのような方法は、理想的な条件の下で満足な結果をもたらすが、測定誤差に対するそのような方法の堅牢性(ロバスト性)は実証されていない。

【0036】

本開示の幾つかの実装は、各デバイス内のマイクロホンアレイによって観測される制御されていない音源からの非同期ＤＯＡ推定値を使用する幾何学的ベースの最適化を適用することによって、ある環境内（例えば、部屋内）の複数のオーディオデバイスの位置を自動的に場所選定する(locate)。様々な開示されたオーディオデバイス場所選定アプローチは、大きなＤＯＡ推定誤差に対して堅牢(ロバスト)であることが証明されている。

【0037】

幾つかのそのような実装は、ＤＯＡデータのセットから導き出される三角形を反復的に整列させることを含む。幾つかのそのような例において、各オーディオデバイスは、制御されていないソースからＤＯＡを推定するマイクロホンアレイを含むことがある。幾つかの実装において、マイクロホンアレイは、少なくとも１つのラウドスピーカと同一場所にあることがある。しかしながら、少なくとも幾つかの開示された方法は、全てのマイクロホンアレイがラウドスピーカと同一場所にあるわけではない場合に一般化される。

【0038】

幾つかの開示された方法によれば、環境内のあらゆるオーディオデバイスからあらゆる他のオーディオデバイスへのＤＯＡデータは集約されることがある。オーディオデバイス場所は、ＤＯＡのペアによってパラメータ化された三角形を反復的に整列させることによって推定されることがある。幾つかのそのような方法は、未知のスケールおよび回転まで正しい結果をもたらすことがある。多くの用途において、絶対スケールは不要であり、解に追加的な制約を加えることによって回転を解決することができる。例えば、幾つかのマルチスピーカ環境は、テレビジョン（ＴＶ）スピーカと、ＴＶ視聴のために位置付けられたカウチとを含むことがある。その環境内のスピーカを場所選定した後に、幾つかの方法は、ＴＶを指すベクトルを見出すことと、三角測量によってカウチに座っているユーザの発話を場所特定することとを含むことがある。次に、幾つかのそのような方法は、ＴＶにそのスピーカからサウンドを放射させること、および／またはユーザを促してＴＶまで歩かせて、三角測量によってユーザの発話を場所特定することと、を含むことがある。幾つかの実装は、環境の周囲をパンする(pan)オーディオオブジェクトをレンダリングすることを含むことがある。ユーザは、オーディオオブジェクトが、環境の前方、環境のテレビ場所などのような、環境内の１つ以上の所定の位置にあるときを示す、ユーザ入力（例えば、「停止」と言うこと）を提供してよい。幾つかのそのような例によれば、環境内でスピーカを場所特定し、それらの向きを決定した後に、ユーザは、複数のスピーカによって放射されるサウンドの到来方向の交点を見出すことによって場所特定されてよい。幾つかの実装は、少なくとも２つのオーディオデバイス間の推定される距離を決定することと、推定される距離に従って環境内の他のオーディオデバイス間の距離をスケーリングすることとを含む。

【0039】

図１は、環境内の３つのオーディオデバイス間の幾何学的関係の例を示している。この例において、環境１００は、テレビ１０１、ソファ１０５、および５つのオーディオデバイス１０５を含む、部屋である。この例によれば、オーディオデバイス１０５は、環境１００の場所１～５にある。この実装において、オーディオデバイス１０５の各々は、少なくとも３つのマイクロホンを有するマイクロホンシステム１２０と、少なくとも１つのスピーカを含むスピーカシステム１２５とを含む。幾つかの実装において、各マイクロホンシステム１２０は、マイクロホンのアレイを含む。幾つかの実装によれば、オーディオデバイス１０５の各々は、少なくとも３つのアンテナを含むアンテナシステムを含んでよい。

【0040】

本明細書に開示される他の例と同様に、図１に示される要素のタイプ(type)、数(number)、および構成(arrangement)は、単に一例として作られているにすぎない。他の実装は、異なるタイプ、数および構成の要素、例えば、より多くのまたはより少ないオーディオデバイス１０５、異なる場所にあるオーディオデバイス１０５などを有することがある。

【0041】

この例において、三角形１１０ａは、場所１、２および３に、その頂点を有する。ここで、三角１１０ａは、辺１２、２３ａおよび１３ａを有する。この例によれば、辺１２と辺２３との間の角度は、θ_２であり、辺１２と辺１３ａとの間の角度は、θ_１であり、辺２３ａと辺１３ａとの間の角度は、θ_３である。これらの角度は、以下により詳細に記載されるように、ＤＯＡデータに従って決定されてよい。

【0042】

幾つかの実装では、三角形の辺の相対的な長さのみが決定されてよい。代替的な実装では、三角形の辺の実際の長さが推定されてよい。幾つかのそのような実装によれば、三角側の辺の実際の長さは、ＴＯＡデータに従って、例えば、１つの三角形の頂点に位置するオーディオデバイスによって生成され且つ別の三角形の頂点に位置するオーディオデバイスによって検出されるサウンドの到着時間に従って推定されてよい。代替的にまたは追加的に、三角形の辺の長さは、１つの三角形の頂点に位置するオーディオデバイスによって生成され且つ別の三角形の頂点に位置するオーディオデバイスによって検出される電磁波に従って推定されてよい。例えば、三角形の辺の長さは、１つの三角形の頂点に位置するオーディオデバイスによって生成され且つ別の三角形の頂点に位置するオーディオデバイスによって検出される電磁波の信号強度に従って推定されてよい。幾つかの実装において、三角形の辺の長さは、電磁波の検出される位相シフトに従って推定されてよい。

【0043】

図２は、図１に示す環境内の３つのオーディオデバイス間の幾何学的関係の別の例を示している。この例において、三角形１１０ｂは、場所１、３および４に、その頂点を有する。ここで、三角形１１０ｂは、辺１３ｂ、１４、および３４ａを有する。この例によれば、辺１３ｂと辺１４との間の角度は、θ_４であり、辺１３ｂと辺３４ａとの間の角度は、θ_５であり、辺３４ａと辺１４との間の角度は、θ_６である。

【0044】

図１と図２とを比較することによって、三角形１１０ａの辺１３ａの長さが、三角形１１０ｂの辺１３ｂの長さと等しいはずであることが観察される。幾つかの実装では、１つの三角形（例えば、三角形１１０ａ）の辺の長さが正しいと仮定されてよく、隣接する三角形によって共有される辺の長さはこの長さに制約される。

【0045】

図３Ａは、対応するオーディオデバイスおよび環境の他の構成を伴わない、図１および図２に示す両方の三角形を示している。図３は、三角形１１０ａおよび１１０ｂの辺の長さおよび角度向きの推定値を示している。図３Ａに示す例において、三角形１１０ｂの辺１３ｂの長さは、三角形１１０ａの辺１３ａと同じ長さに制約される。三角形１１０ｂの他の辺の長さは、結果として生じる辺１３ｂの長さの変化に比例してスケーリング(拡大縮小)される。結果として得られた三角形１１０ｂ’は、三角形１１０ａに隣接して図３Ａに示されている。

【0046】

幾つかの実装によれば、三角形１１０ａおよび１１０ｂに隣接する他の三角形の辺の長さは、全て、環境１００内の全てのオーディオデバイス場所が決定されるまで、同様の方法で決定されてよい。

【0047】

オーディオデバイス場所の幾つかの例は以下の通り続く。各オーディオデバイスは、環境内のあらゆる他のオーディオデバイスによって生成されるサウンドに基づいて、環境（例えば、部屋）内のあらゆる他のオーディオデバイスのＤＯＡを報告してよい。ｉ番目のオーディオデバイスのデカルト座標は、ｘ_ｉ＝［ｘ_ｉ，ｙ_ｉ］^Ｔのように表されてよく、ここで、上付き文字Ｔは、ベクトル転位を示す。環境内のオーディオデバイスがＭであるならば、ｉ＝｛１．．．Ｍ｝である。

【0048】

図３Ｂは、３つのオーディオデバイスによって形成された三角形の内角を推定する例を示している。この例において、オーディオデバイスはｉ、ｊおよびｋである。デバイスｉから観測されるようなデバイスｊから発する音源のＤＯＡは、θ_ｊｉとして表されることがある。デバイスｉから観測されるようなデバイスｋから発する音源のＤＯＡは、θ_ｋｉとして表わされることがある。図３Ｂに示す例において、θ_ｊｉおよびθ_ｋｉは、軸３０５ａから測定され、それらの向きは任意であり、例えば、オーディオデバイスｉの向きに対応することがある。三角形３１０の内角ａは、ａ＝θ_ｋｉ－θ_ｊｉとして表されることがある。内部角ａの計算は軸３０５ａの向きに依存しないことが観察されることがある。

【0049】

図３Ｂに示す例において、θ_ｉｊおよびθ_ｋｊは、軸３０５ｂから測定され、それらの向きは任意であり、オーディオデバイスｊの向きに対応することがある。三角形３１０の内角ｂは、ｂ＝θ_ｉｊ－θ_ｋｊとして表されることがある。同様に、θ_ｊｋおよびθ_ｉｋは、この例では、軸３０５ｃから測定される。三角形３１０の内角ｃは、ｃ＝θ_ｊｋ－θ_ｉｋとして表されることがある。

【0050】

測定誤差が存在する場合、ａ＋ｂ＋ｃ≠１８０°である。堅牢性(ロバストネス)は、他の２つの角度から各角度を予測して、平均化することによって、例えば、以下のように改良されることができる。

【数1】

【0051】

幾つかの実装において、エッジ長（Ａ，Ｂ，Ｃ）は、正弦則を適用することによって（スケーリング誤差まで）計算されてよい。幾つかの例において、１つのエッジ長は、１のような任意の値を割り当てられてよい。例えば、Ａ＝１を作り、頂点
（外１）

を原点に置くことによって、残りの２つの頂点の場所は、以下のように計算されてよい。

【数2】

【0052】

しかしながら、任意の回転が許容可能であることがある。

【0053】

幾つかの実装によれば、三角パラメータ化のプロセスは、サイズ
（外２）

のスーパーセットζ内に列挙される、環境内の３つのオーディオデバイスの全ての可能なサブセットについて繰り返されてよい。幾つかの例において、Ｔ_ｌは、ｌ番目の三角形を表すことがある。実装に依存して、三角形は、如何なる特定の順序において列挙されなくてもよい。三角形は、重なり合うことがあり、ＤＯＡおよび／または辺の長さの推定値における可能な誤差の故に、完全には整列しないことがある。

【0054】

図４は、図１１に示すような装置によって実行されることがある方法の一例を概略するフロー図である。方法４００のブロックは、本明細書に記載する他の方法と同様に、図示する順序で必ずしも実行されるわけではない。更に、そのような方法は、図示する且つ／或いは記載するよりも多いまたは少ないブロックを含むことがある。この実装において、方法４００は、環境内のスピーカの場所を推定することを含む。方法４００のブロックは、図１１に示す装置１１００であってもよい（或いは図１１に示す装置１１００を含んでよい）１つ以上のデバイスによって実行されてよい。

【0055】

この例において、ブロック４０５は、複数のオーディオデバイスの各オーディオデバイスについての到着方向（ＤＯＡ：direction of arrival）データを取得することを含む。幾つかの例において、複数のオーディオデバイスは、図１に示す全てのオーディオデバイス１０５のような、環境内の全てのオーディオデバイスを含むことができる。

【0056】

しかしながら、幾つかの場合において、複数のオーディオデバイスは、環境内の全てのオーディオデバイスのサブセットのみを含むことがある。例えば、複数のオーディオデバイスは、環境内の全てのスマートスピーカを含むが、環境内の他のオーディオデバイスの１つ以上を含まないことがある。

【0057】

ＤＯＡデータは、特定の実装に依存して、様々な方法で取得されてよい。幾つかの例において、ＤＯＡデータを決定することは、複数のオーディオデバイスのうちの少なくとも１つのオーディオデバイスについてのＤＯＡデータを決定することを含むことがある。例えば、ＤＯＡデータを決定することは、複数のオーディオデバイスのうちの単一のオーディオデバイスに対応する複数のオーディオデバイスマイクロホンの各マイクロホンからマイクロホンデータを受信することと、少なくとも部分的にマイクロホンデータに基づいて、単一のオーディオデバイスについてのＤＯＡデータを決定することとを含むことがある。代替的にまたは追加的に、ＤＯＡデータを決定することは、複数のオーディオデバイスのうちの単一のオーディオデバイスに対応する１つ以上のアンテナからアンテナデータを受信することと、少なくとも部分的にアンテナデータに基づいて単一のオーディオデバイスについてのＤＯＡデータを決定することとを含むことがある。

【0058】

幾つかのそのような例において、単一のオーディオデバイス自体は、ＤＯＡデータを決定することがある。幾つかのそのような実装によれば、複数のオーディオデバイスの各オーディオデバイスは、それ自体のＤＯＡデータを決定することがある。しかしながら、他の実装では、ローカルまたはリモートデバイスであることがある別のデバイスが、環境内の１つ以上のオーディオデバイスのＤＯＡデータを決定することがある。幾つかの実装によれば、サーバが、環境内の１つ以上のオーディオデバイスについてのＤＯＡデータを決定することがある。

【0059】

この例によれば、ブロック４１０は、ＤＯＡデータに基づいて複数の三角形の各三角形の内角を決定することを含む。この例において、複数の三角形の各三角形は、３つのオーディオデバイスのオーディオデバイス場所と対応する頂点を有する。幾つかのそのような例は、上述されている。

【0060】

図５は、環境内の各オーディオデバイスが複数の三角形の頂点である例を示している。各三角形の辺は、２つのオーディオデバイス１０５の間の距離と対応する。

【0061】

この実装において、ブロック４１５は、各三角形の各辺について辺の長さを決定することを含む。（本明細書では三角形の一辺を「エッジ」と呼ぶこともある）。この例によれば、辺の長さは、少なくとも部分的に内角に基づく。幾つかの場合において、辺の長さは、三角形の第１の辺の第１の長さを決定すること、および三角形の内角に基づいて三角形の第２の辺および第３の辺の長さを決定することによって、計算されてよい。幾つかのそのような例は、上述されている。

【0062】

幾つかのそのような実装によれば、第１の長さを決定することは、第１の長さを所定の値に設定することを含んでよい。次に、第２および第３の辺の長さは、三角形の内角に基づいて決定されてよい。三角形の全ての辺は、所定の値、例えば、基準値に基づいて決定されてよい。環境内のオーディオデバイス間の実際の距離（長さ）を得るために、標準化されたなスケーリングが、図４のブロック４２０および４２５を参照して以下に記載する整列プロセスから得られる幾何学的形状に適用されてよい。この標準化されたスケーリングは、整列させられた三角形が、環境に対応するサイズの境界形状、例えば、円形、多角形などに適合するように、整列させられた三角形をスケーリングすることを含んでよい。形状のサイズは、典型的な家庭環境のサイズまたは特定の実装に適する任意のサイズであってよい。しかしながら、整列された三角形をスケーリングすることは、幾何学的形状を特定の境界形状に適合させることに限定されず、特定の実装に適する任意の他のスケーリング基準が用いられてよい。

【0063】

幾つかの例において、第１の長さを決定することは、到着時間データおよび／または受信する信号強度データに基づいてよい。到着時間データおよび／または受信する信号強度データは、幾つかの実装において、環境内の第２のオーディオデバイスによって検出される環境内の第１のオーディオデバイスからの音波に対応することがある。代替的にまたは追加的に、到着時間データおよび／または受信する信号強度データは、環境内の第２のオーディオデバイスによって検出される環境内の第１のオーディオデバイスからの電磁波（例えば、電波、赤外線波など）に対応することがある。到着時間データおよび／または受信する信号強度データが入手可能でないときに、第１の強度は、上述のような所定の値に設定されてよい。

【0064】

この例によれば、ブロック４２０は、第１のシーケンスにおいて複数の三角形の各三角形を整列させる順方向アライメントプロセス(forward alignment process)を実行することを含む。この例によれば、順方向アライメントプロセスは、順方向アライメント行列(matrix)を生成する。

【0065】

幾つかのそのような例によれば、三角形は、例えば、図３Ａに示し且つ上述したように、エッジ（ｘ_ｉ，ｘ_ｊ）が隣接するエッジに等しくなるような方法で整列することが期待される。εがサイズの全てのエッジのセットであるとすると、
（外３）

である。幾つかのそのような実装において、ブロック４２０は、εを通じて横断させることと、エッジを従前に整列させられたエッジと一致させることによって順方向において三角形の共通エッジを整列させることとを含んでよい。

【0066】

図６は、順方向アライメントプロセスの一部分の例を提供する。図６に太字で示す１～５の数字は、図１、図２および図５に示すオーディオデバイス場所と対応する。図６に示し且つ本明細書に記載する順方向アライメントプロセスのシーケンスは、単なる例である。

【0067】

この例では、図３Ａにおけるように、三角形１１０ｂの辺１３ｂの長さは、三角形１１０ａの辺１３ａの長さと一致させられる。結果として得られた三角１１０ｂ’は、同じ内角が維持されて、図６に示されている。この例によれば、三角形１１０ｃの辺１３ｃの長さも、三角形１１０ａの辺１３ａの長さと一致させられる。結果として得られた三角形１１０ｃ’は、同じ内角が維持されて、図６に示されている。

【0068】

次に、この例において、三角形１１０ｄの辺３４ｂの長さは、三角形１１０ｂ’の辺３４ａの長さと一致させられる。更に、この例において、三角形１１０ｄの辺２３ｂの長さは、三角１１０ａの辺２３ａの長さと一致させられる。結果として得られた三角１１０ｄ’は、同じ内角が維持されて、図６に示されている。幾つかのそのような例によれば、図５に示す残りの三角形は、三角形１１０ｂ、１１０ｃおよび１１０ｄと同じ方法で処理されてよい。

【0069】

順方向アライメントプロセスの結果は、データ構造に格納されてよい。幾つかのそのような例によれば、順方向アライメントプロセスの結果は、順方向アライメント行列に格納されてよい。例えば、順方向アライメントプロセスの結果は、行列
（外４）

に格納されてよく、ここで、Ｎは、三角形の総数を示す。

【0070】

ＤＯＡデータおよび／または初期的な辺の長さの決定が誤差を含むとき、オーディオデバイス場所の複数の推定値が発生する。誤差は、一般に、順方向アライメントプロセスの間に増加する。

【0071】

図７は、順方向アライメントプロセス中に発生したオーディオデバイス場所の複数の推定値の例を示している。この例において、順方向アライメントプロセスは、７つのオーディオデバイス場所を頂点として有する三角形に基づく。ここで、三角形は、ＤＯＡ推定値における加法的誤差の故に完全に整列しない。図７に示す番号１～７の場所は、順方向アライメントプロセスによって生成された、推定されたオーディオデバイス場所に対応する。この例において、「１」と印されたオーディオデバイス場所推定値は一致するが、オーディオデバイス「６」および「７」についてのオーディオデバイス場所推定値は、数字６および７が位置する比較的より大きな領域によって示すように、より大きな差を示す。

【0072】

図４に戻ると、この例において、ブロック４２５は、第１のシーケンスの逆である第２のシーケンスにおいて複数の三角形の各三角形を整列させる逆方向アライメントプロセスを含む。幾つかの実装によれば、逆方向アライメントプロセスは、前の通りであるが、逆の順序において、εを通じて横断することを含んでよい。代替的な例において、逆方向アライメントプロセスは、正確には、順方向アライメントプロセスの動作のシーケンスの逆でないことがある。この例によれば、逆方向アライメントプロセスは、本明細書では
（外５）

のように表されることがある、逆方向アライメント行列を生成する。

【0073】

図８は、逆方向アライメントプロセスの一部分の例を提供する。図８に太字で示す番号１～５は、図１、図２および図５に示すオーディオデバイス場所と対応する。図８に示し且つ本明細書に記載する逆方向アライメントプロセスのシーケンスは、単なる例である。

【0074】

図８に示す例において、三角形１１０ｅは、オーディオデバイス場所３、４および５に基づく。この実装において、三角形１１０ｅの辺の長さ（または「エッジ」）は正しいと仮定され、隣接する三角形の辺の長さはそれらと一致させられる。この例によれば、三角形１１０ｆの辺４５ｂの長さは、三角形１１０ｅの辺４５ａの長さと一致させられる。内角が同じままである、結果として得られる三角形１１０ｆ’が、図８に示されている。この例において、三角形１１０ｃの辺３５ｂの長さは、三角１１０ｅの辺３５ａの長さと一致させられる。内角が同じままである、結果として得られる三角形１１０ｃ”が、図８に示されている。幾つかのそのような例によれば、図５に示す残りの三角形は、逆方向アライメントプロセスが全ての残りの三角形を含むまで、三角形１１０ｃおよび１１０ｆと同様に処理されてよい。

【0075】

図９は、逆方向アライメントプロセス中に発生したオーディオデバイス場所の複数の推定値の例を示している。この例において、逆方向アライメントプロセスは、図７を参照して上述した７つのオーディオデバイス場所を頂点として有する三角形に基づく。図９に示す番号１～７の場所は、逆方向アライメントプロセスによって生成される、推定されるオーディオデバイス場所に対応する。ここでも、三角形は、ＤＯＡ推定値における加法的誤差の故に完全には整列しない。この例において、６および７と印されるオーディオデバイス場所推定値は一致するが、オーディオデバイス１および２についてのオーディオデバイス場所推定値はより大きな差を示す。

【0076】

図４に戻ると、ブロック４３０は、少なくとも部分的には順方向アライメント行列の値および逆方向アライメント行列の値に基づいて、各オーディオデバイス場所の最終的な推定値を生成することを含む。幾つかの例において、各オーディオデバイス場所の最終的な推定値を生成することは、順方向アライメント行列を並進(平行移動)およびスケーリングして、並進(平行移動)およびスケーリングされた順方向アライメント行列を生成することと、逆方向アライメント行列を並進(平行移動)およびスケーリングして、並進(平行移動)およびスケーリングされた逆方向アライメント行列を生成することとを含んでよい。

【0077】

例えば、並進(平行移動)およびスケーリングは、重心を原点に移動させることおよび単位をフロベニウスノルムにすること、例えば、
（外６）

および
（外７）

によって固定される。

【0078】

幾つかのそのような例によれば、各オーディオデバイス場所の最終的な推定値を生成することは、並進(平行移動)およびスケーリングされた順方向アライメント行列および並進(平行移動)およびスケーリングされた逆方向アライメント行列に基づく回転行列を生成することを含んでもよい。回転行列は、各オーディオデバイスについての複数の推定されたオーディオデバイス場所を含んでよい。順方向アライメントと逆方向アライメントとの間の最適な回転は、例えば、特異値分解(singular value decomposition)によって見出されることができる。幾つかのそのような例において、回転行列を生成することは、例えば、以下のように、

【数3】

並進(平行移動)およびスケーリングされた順方向アライメント行列および並進(平行移動)およびスケーリングされた逆方向アライメント行列に対して特異値分解を実行することを含んでよい。

【0079】

前述の式において、ＵおよびＶは、それぞれ、行列
（外８）

の左特異ベクトルおよび右特異ベクトルを表す。Σは、特異値の行列を表す。前述の式は、回転行列Ｒ＝ＶＵ^Ｔをもたらす。行列積ＶＵ^Ｔは、
（外９）

が最適に回転されて
（外１０）

と整列させられるような、回転行列をもたらす。

【0080】

幾つかの例によれば、回転行列Ｒ＝ＶＵ^Ｔを決定した後に、整列を、例えば、以下のように平均化してよい。

【数4】

【0081】

幾つかの実装において、各オーディオデバイス場所の最終的な推定値を生成することは、各オーディオデバイスの推定されるオーディオデバイス場所を平均化して、各オーディオデバイス場所の最終的な推定値を生成することを含んでもよい。ＤＯＡデータおよび／または他の計算が有意な誤差を含むときでさえ、様々な開示された実装は堅牢であることが証明されている。例えば、
（外１１）

は、
（外１２）

、すなわち、複数の三角形の頂点が重なり合うことに起因する同じノードの複数の推定値を含む。共通のノードに亘って平均化することは、最終的な推定値
（外１３）

をもたらす。

【0082】

図１０は、推定されたオーディオデバイス場所および実際のオーディオデバイス場所の比較を示している。図１０に示す例において、オーディオデバイス場所は、図７および図９を参照して上述した順方向および逆方向アライメント処理中に推定される場所に対応する。これらの例において、ＤＯＡ推定値における誤差は、１５度の標準偏差を有した。それにもかかわらず、各オーディオデバイス場所の最終的な推定値（それらの各々は図１０に「ｘ」で表されている）は、実際のオーディオデバイス場所（それらの各々は図１０に円で表されている）とよく一致する。第１のシーケンスにおいて順方向アライメントプロセスを実行し、第１のシーケンスとは逆の第２のシーケンスにおいて逆方向アライメントプロセスを実行することによって、到着推定値の方向（データ）における誤差／不正確性が平均化され、それによって、環境内のオーディオデバイス場所の推定値の全体的な誤差が減少させられる。（より多い頂点の数がより大きな整列の広がりを示す）図７および（より少ない頂点の数がより大きな広がりを示す）図９に示すように、誤差は、整列シーケンスにおいて蓄積する傾向がある。逆の順序においてシーケンスを横断するプロセスは、整列誤差も逆転させ、それによって、最終的な場所推定値における全体的な誤差を平均化させる。

【0083】

図１１は、この開示の様々な態様を実装することができる装置のコンポーネントの例を示すブロック図である。幾つかの例によれば、装置１１００は、本明細書に開示する方法の少なくとも一部を実行するように構成された（スマートスピーカのような）スマートオーディオデバイスであってよく、或いはそのようなスマートオーディオデバイスを含んでよい。他の実装において、装置１１００は、本明細書に開示する方法の少なくとも一部を実行するように構成された別のデバイスであってよく、或いはそのような別のデバイスを含んでよい。幾つかのそのような実装において、装置１１００は、サーバであってよく、或いはサーバを含んでよい。

【0084】

この例において、装置１１００は、インターフェースシステム１１０５と、制御システム１１１０とを含む。インターフェースシステム１１０５は、幾つかの実装において、環境内の複数のマイクロホンの各マイクロホンから入力を受信するように構成されてよい。インターフェースシステム１１０５は、１つ以上のネットワークインターフェースおよび／または（１つ以上のユニバーサルシリアルバス（ＵＳＢ）インターフェースのような）１つ以上の外部デバイスインターフェースを含んでよい。幾つかの実装によれば、インターフェースシステム１１０５は、１つ以上の無線インターフェースを含んでよい。インターフェースシステム１１０５は、１つ以上のマイクロホン、１つ以上のスピーカ、ディスプレイシステム、タッチセンサシステムおよび／またはジェスチャセンサシステムのような、ユーザインターフェースを実装するための１つ以上のデバイスを含んでよい。幾つかの例において、インターフェースシステム１１０５は、制御システム１１１０と図１１に示す任意的なメモリシステム１１１５のようなメモリシステムとの間に１つ以上のインターフェースを含んでもよい。しかしながら、制御システム１１１０は、メモリシステムを含んでよい。

【0085】

制御システム１１１０は、例えば、汎用の単一またはマルチチッププロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または他のプログラマブルロジックデバイス、離散ゲートまたはトランジスタロジック、および／または離散ハードウェアコンポーネントを含んでよい。幾つかの実装において、制御システム１１１０は、１つよりも多くのデバイス内に存在してよい。例えば、制御システム１１１０の一部分は、図１に示す環境１００内のデバイス内に存在してよく、制御システム１１１０の別の部分は、サーバ、モバイルデバイス（例えば、スマートフォンまたはタブレットコンピュータ）などのような、環境１００の外側にあるデバイス内に存在してよい。インターフェースシステム１１０５は、幾つかのそのような例において、１つよりも多くのデバイス内に存在してよい。

【0086】

幾つかの実装において、制御システム１１１０は、少なくとも部分的に本明細書に開示する方法を実行するように構成されてよい。幾つかの例によれば、制御システム１１１０は、例えば、図４を参照して上述した方法、および／または図１２以下を参照して以下に記載する方法を実装するように構成されてよい。幾つかのそのような例において、制御システム１１１０は、少なくとも部分的に分類器からの出力に基づいて、環境内の複数のオーディオデバイス場所の各場所の推定値を決定するように構成されてよい。

【0087】

幾つかの例において、装置１１００は、図１１に示す任意的なマイクロホンシステム１１２０を含んでよい。マイクロホンシステム１１２０は、１つ以上のマイクロホンを含んでよい。幾つかの例において、マイクロホンシステム１１２０は、マイクロホンのアレイを含んでよい。幾つかの例において、装置１１００は、図１１に示す任意的なスピーカシステム１１２５を含んでよい。スピーカシステム１１２５は、１つ以上のラウドスピーカを含んでよい。幾つかの例において、マイクロホンシステム１１２０は、ラウドスピーカのアレイを含んでよい。幾つかのそのような例において、装置１１００は、オーディオデバイスであってよく、或いはオーディオデバイスを含んでよい。例えば、装置１１００は、図１に示すオーディオデバイス１０５のうちの１つであってよく、或いは図１に示すオーディオデバイス１０５のうちの１つを含んでよい。

【0088】

幾つかの例において、装置１１００は、図１１に示す任意的なアンテナシステム１１３０を含んでよい。幾つかの例によれば、アンテナシステム１１３０は、アンテナのアレイを含んでよい。幾つかの例において、アンテナシステム１１３０は、電磁波を送信および／または受信するように構成されてよい。幾つかの実装によれば、制御システム１１１０は、アンテナシステム１１３０からのアンテナデータに基づいて、環境内の２つのオーディオデバイス間の距離を推定するように構成されてよい。例えば、制御システム１１１０は、アンテナデータの到着時間および／または受信するアンテナデータの信号強度に従って、環境内の２つのオーディオデバイス間の距離を推定するように構成されてよい。

【0089】

本明細書に記載する方法の一部または全部は、１つ以上の非一時的な媒体に格納される命令（例えば、ソフトウェア）に従って１つ以上のデバイスによって実行されてよい。そのような非一時的な媒体は、ランダムアクセスメモリ（ＲＡＭ）デバイス、読出し専用メモリ（ＲＯＭ）デバイスなどを含むが、これらに限定されない、本明細書に記載するもののような、メモリデバイスを含んでよい。１つ以上の非一時的な媒体は、例えば、図１１に示す任意的なメモリシステム１１１５内におよび／または制御システム１１１０内に存在してよい。従って、この開示に記載する主題の様々な革新的な態様は、１つ以上の非一時的な媒体内に実装されることができ、１つ以上の非一時的な媒体は、その上に格納されたソフトウェアを有する。ソフトウェアは、例えば、オーディオデータを処理するように少なくとも１つのデバイスを制御するための命令を含んでよい。ソフトウェアは、例えば、図１１の制御システム１１１０のような制御システムの１つ以上のコンポーネントによって実行可能であってよい。

【0090】

前述の議論の多くは、オーディオデバイス自動場所選定(auto-location)に関する。以下の議論は、上記で簡単に記載した視聴者(リスナー)場所(listener location)および視聴者角度向き(listener angular orientation)を決定する幾つかの方法に基づく。前述の記載において、「回転(rotation)」という用語は、「向き(orientation)」という用語が以下の記載において使用されるのと本質的に同じ方法で使用される。例えば、上述の「回転」は、図４以下を参照して上述したプロセス中の個々の三角形の回転ではなく、最終的なスピーカ幾何学的形状の全体的な回転を指すことがある。この全体的な回転または向きは、視聴者角度向きを参照して、例えば、視聴者が見ている方向、視聴者の鼻が指している方向などによって決定されてよい。

【0091】

視聴者場所を推定する様々な満足できる方法が当該技術分野で知られており、その一部が以下に記載される。しかしながら、視聴者角度向きの推定は困難であり得る。幾つかの関連する方法を以下に詳述する。

【0092】

視聴者場所および視聴者角度向きを決定することは、位置付けられたオーディオデバイスを視聴者に対して方向付けることのような、幾つかの所望の構成を可能にすることができる。視聴者場所および角度向きを知ることは、例えば、視聴者に対して、環境内のどのスピーカが前方にあるか、どのスピーカが後方にあるか、（もしあるならば）どのスピーカが中心付近にあるかなどの決定を可能にする。

【0093】

オーディオデバイス場所と視聴者場所および向きとの間で相関を行った後に、幾つかの実装は、オーディオデバイス場所データ、オーディオデバイス角度向きデータ、視聴者場所データ、視聴者角度向きデータを、オーディオレンダリングシステムに提供することを含んでよい。代替的にまたは追加的に、幾つかの実装は、少なくとも部分的に、オーディオデバイス場所データ、オーディオデバイス角度向きデータ、視聴者場所データおよび視聴者角度向きデータに基づく、オーディオデータレンダリングプロセスを含んでよい。

【0094】

図１２は、図１１に示すような装置によって実行されることがある方法の一例を概説するフロー図である。方法１２００のブロックは、本明細書に記載する他の方法と同様に、図示する順序で必ずしも実行されるわけではない。更に、そのような方法は、図示および／または記載するよりも多いまたは少ないブロックを含むことがある。この例において、方法１２００のブロックは、図１１に示す制御システム１１１０であってよい（或いは図１１に示す制御システム１１１０を含んでよい）制御システムによって実行される。上述のように、幾つかの実装において、制御システム１１１０は、単一のデバイスに存在することがあるのに対し、他の実施形態では、制御システム１１１０は、２つ以上のデバイスに存在することがある。

【0095】

この例において、ブロック１２０５は、環境内の複数のオーディオデバイスの各オーディオデバイスについて到着方向（ＤＯＡ）データを取得することを含む。幾つかの例において、複数のオーディオデバイスは、図１に示す全てのオーディオデバイス１０５のような、環境内の全てのオーディオデバイスを含んでよい。

【0096】

しかしながら、幾つかの場合において、複数のオーディオデバイスは、環境内の全てのオーディオデバイスのサブセットのみを含むことがある。例えば、複数のオーディオデバイスは、環境内の全てのスマートスピーカを含むことがあるが、環境内の他のオーディオデバイスのうちの１つ以上を含まないことがある。

【0097】

ＤＯＡデータは、特定の実装に依存して、様々な方法で取得されることがある。幾つかの例において、ＤＯＡデータを決定することは、複数のオーディオデバイスのうちの少なくとも１つのオーディオデバイスのＤＯＡデータを決定することを含むことがある。幾つかの例おいて、ＤＯＡデータは、試験信号(test signal)を再生する(reproduce)ために環境内の複数のラウドスピーカの各ラウドスピーカを制御することによって取得されてよい。例えば、ＤＯＡデータを決定することは、複数のオーディオデバイスのうちの単一のオーディオデバイスに対応する複数のオーディオデバイスマイクロホンの各マイクロホンからマイクロホンデータを受信することと、少なくとも部分的にマイクロホンデータに基づいて単一のオーディオデバイスについてのＤＯＡデータを決定することとを含んでよい。代替的にまたは追加的に、ＤＯＡデータを決定することは、複数のオーディオデバイスの単一のオーディオデバイスに対応する１つ以上のアンテナからアンテナデータを受信することと、少なくとも部分的にアンテナデータに基づいて単一のオーディオデバイスについてのＤＯＡデータを決定することとを含んでよい。

【0098】

幾つかのそのような例では、単一のオーディオデバイス自体が、ＤＯＡデータを決定してよい。幾つかのそのような実装によれば、複数のオーディオデバイスの各オーディオデバイスは、それ自体のＤＯＡデータを決定することがある。しかしながら、他の実装では、ローカルまたはリモートデバイスであることがある他のデバイスが、環境内の１つ以上のオーディオデバイスのＤＯＡデータを決定してよい。幾つかの実装によれば、サーバが、環境内の１つ以上のオーディオデバイスについてのＤＯＡデータを決定してよい。

【0099】

図１２に示す例によれば、ブロック１２１０は、制御システムを介して、少なくとも部分的にはＤＯＡデータに基づいてオーディオデバイス場所データを生成することを含む。この例において、オーディオデバイス場所データは、ブロック１２０５で参照する各オーディオデバイスについてのオーディオデバイス場所の推定値を含む。

【0100】

オーディオデバイス場所データは、例えば、デカルト座標系、球面座標系または円筒座標系のような、座標系の座標であってよい（或いはそのような座標系を含んでよい）。本明細書では座標系をオーディオデバイス座標系と呼ぶことがある。幾つかのそのような例において、オーディオデバイス座標系は、環境内のオーディオデバイスのうちの１つを参照して方向付けられることがある。他の例において、オーディオデバイス座標系は、環境内の２つのオーディオデバイス間の線によって定義される軸を参照して方向付けられてよい。しかしながら、他の例において、オーディオデバイス座標系は、テレビ、部屋の壁などのような、環境の別の部分を参照して方向付けられてよい。

【0101】

幾つかの例において、ブロック１２１０は、図４を参照して上述したプロセスを含むことがある。幾つかのそのような例によれば、ブロック１２１０は、ＤＯＡデータに基づいて複数の三角形の各三角形についての内角を決定することを含むことがある。幾つかの場合において、複数の三角形の各三角形は、３つのオーディオデバイスのオーディオデバイス場所と対応する頂点を有することがある。幾つかのそのような方法は、少なくとも部分的に内角に基づいて、三角形の各三角形の各辺についての長さを決定することを含んでよい。

【0102】

幾つかのそのような方法は、第１のシークエンスにおいて複数の三角形の各三角形を整列させる順方向アライメントプロセスを実行して、順方向アライメント行列を生成することを含むことがある。幾つかのそのような方法は、第１のシーケンスの逆方向である第２のシーケンスにおいて複数の三角形の各三角形を整列させる逆方向アライメントプロセスを実行して、逆方向アライメント行列を生成することを含むことがある。幾つかのそのような方法は、少なくとも部分的には順方向アライメント行列の値および逆方向アライメント行列の値に基づいて、各オーディオデバイス場所の最終的な推定値を生成することを含むことがある。しかしながら、方法１２００の幾つかの実装において、ブロック１２１０は、図４を参照して上述したもの以外の方法を適用することを含んでよい。

【0103】

この例において、ブロック１２１５は、制御システムを介して、環境内の視聴者場所を示す視聴者場所データを決定することを含む。視聴者場所データは、例えば、オーディオデバイス座標系を参照することがある。しかしながら、他の例において、座標系は、視聴者を参照して、或いはテレビ、部屋の壁などのような環境の一部を参照して、方向付けられてよい。

【0104】

幾つかの例において、ブロック１２１５は、（例えば、環境内の１つ以上のラウドスピーカからのオーディオプロンプトを介して）視聴者に１つ以上の発話を行うよう促すことと、ＤＯＡデータに従って視聴者場所を推定することとを含んでよい。ＤＯＡデータは、環境内の複数のマイクロホンによって取得されるマイクロホンデータに対応してよい。マイクロホンデータは、マイクロホンによる１つ以上の発話の検出に対応してよい。マイクロホンの少なくとも一部は、ラウドスピーカと同一場所にあってよい。幾つかの例によれば、ブロック１２１５は、三角測量プロセスを含んでよい。例えば、ブロック１２１５は、例えば、図１３Ａを参照して後述するように、オーディオデバイスを通過するＤＯＡベクトル間の交点を見出すことによって、ユーザの音声を三角測量することを含んでよい。幾つかの実装によれば、ブロック１２１５（または方法１２００の別の動作）は、オーディオデバイス座標系および視聴者座標系の原点を同一場所に配置することを含んでよく、それは視聴者場所が決定された後である。オーディオデバイス座標系および視聴者座標系の原点を同一場所に配置することは、オーディオデバイスの位置をオーディオデバイスの座標系から視聴者の座標系に変換すること(transforming)を含んでもよい。

【0105】

この実施態様によれば、ブロック１２２０は、制御システムを介して、視聴者角度向きを示す視聴者角度向きデータを決定することを含む。視聴者角度向きデータは、例えば、オーディオデバイス座標系のような、視聴者場所データを表すために使用される座標系を参照して作られてよい。幾つかのそのような例において、視聴者角度向きデータは、オーディオデバイス座標系の原点および／または軸を参照して作られてよい。

【0106】

しかしながら、幾つかの実装において、視聴者角度向きデータは、視聴者場所によって定義される軸と、テレビ、オーディオデバイス、壁などのような、環境内の別の点とを参照して作られてよい。幾つかのそのような実装において、視聴者場所は、視聴者座標系の原点を定義するために使用されてよい。視聴者角度向きデータは、幾つかのそのような例において、視聴者座標系の軸を参照して作られてよい。

【0107】

ブロック１２２０を実行するための様々な方法が本明細書に開示される。幾つかの例によれば、視聴者角度向きは、視聴者視認方向(viewing direction)に対応することがある。幾つかのそのような例において、視聴者の視認方向は、例えば、視聴者がテレビのような特定の物体を見ていると仮定することによって、視聴者場所データを参照して推測されることがある。幾つかのそのような実装において、視聴者視認方向は、視聴者場所およびテレビ場所に従って決定されてよい。代替的にまたは追加的に、視聴者視認方向は、視聴者場所およびテレビサウンドバー場所に従って決定されてよい。

【0108】

しかしながら、幾つかの例において、視聴者視認方向は、視聴者入力に従って決定されてよい。幾つかのそのような例によれば、視聴者入力は、視聴者が保持するデバイスから受信される慣性センサデータを含んでよい。視聴者は、デバイスを使用して、環境内の場所、例えば、視聴者が向いている方向に対応する場所を指してよい。例えば、視聴者は、デバイスを使用して、音響ラウドスピーカ(sounding loudspeaker)（サウンドを再生するラウドスピーカ）を指してよい。従って、そのような例において、慣性センサデータは、音響ラウドスピーカに対応する慣性センサデータを含むことがある。

【0109】

幾つかのそのような場合において、視聴者入力は、視聴者によって選択されるオーディオデバイスの表示を含んでよい。オーディオデバイスの表示は、幾つかの例において、選択されるオーディオデバイスに対応する慣性センサデータを含んでよい。

【0110】

しかしながら、他の例において、オーディオデバイスの表示は、視聴者の１つ以上の発話（例えば、「テレビがいま私の前にある」、「スピーカ２がいま私の前にある」など）に従って行われてよい。視聴者の１つ以上の発話に従って視聴者角度向きデータを決定する他の例が以下に記載される。

【0111】

図１２に示す例によれば、ブロック１２２５は、制御システムを介して、視聴者場所および視聴者角度向きに対する各オーディオデバイスについてのオーディオデバイス角度向きデータを示すオーディオデバイス角度向きデータを決定することを含む。幾つかのそのような例によれば、ブロック１２２５は、視聴者場所によって定義される点の周りのオーディオデバイス座標の回転を含むことがある。幾つかの実装において、ブロック１２２５は、オーディオデバイス場所データをオーディオデバイス座標系から視聴者座標系に変換することを含むことがある。幾つかの例を以下に記載する。

【0112】

図１３Ａは、図１２の幾つかのブロックの例を示している。幾つかのそのような例によれば、オーディオデバイス場所データは、オーディオデバイス座標系１３０７を参照して、オーディオデバイス１～５の各オーディオデバイスについてのオーディオデバイス場所の推定値を含む。この実装において、オーディオデバイス座標系１３０７は、オーディオデバイス２のマイクロホンの場所を原点として有するデカルト座標系である。ここで、オーディオデバイス座標系１３０７のｘ軸は、オーディオデバイス２のマイクロホンの場所とオーディオデバイス１のマイクロホンの場所との間の線１３０３に対応する。

【0113】

この例において、視聴者場所は、（例えば、環境１３００ａ内の１つ以上のラウドスピーカからのオーディオプロンプトを介して）カウチ１０３に着座して示されている視聴者１３０５に１つ以上の発話１３２７を行うように促すことと、到着時間（ＴＯＡ）データに従って視聴者場所を推定することとによって、決定される。ＴＯＡデータは、環境内の複数のマイクロホンから取得されるマイクロホンデータに対応する。この例において、マイクロホンデータは、オーディオデバイス１～５のうちの少なくとも一部（例えば、３つ、４つまたは全て５つ）のマイクロホンによる１つ以上の発話１３２７の検出と対応する。

【0114】

代替的にまたは追加的に、ＤＯＡデータに従った視聴者場所は、オーディオデバイス１～５の少なくとも一部（例えば、２つ、３つ、４つまたは全て５つ）のマイクロホンによって提供される。幾つかのそのような例によれば、視聴者場所は、ＤＯＡデータに対応する線１３０９ａ、１３０９ｂなどの交点に従って決定されてよい。

【0115】

この例によれば、視聴者場所は、視聴者座標系１３２０の原点と対応する。この例において、視聴者角度向きデータは、視聴者の頭１３１０（および／または視聴者の鼻１３２５）とテレビ１０１のサウンドバー１３３０との間の線１３１３ａと対応する、視聴者座標系１３２０のｙ’軸によって示されている。図１３Ａに示す例において、線１３１３ａは、ｙ’軸に対して平行である。従って、角度θは、ｙ軸とｙ’軸との間の角度を表す。この例において、図１２のブロック１２２５は、視聴者座標系１３２０の原点の周りのオーディオデバイス座標の角度θによる回転を含んでよい。従って、オーディオデバイス座標系１３０７の原点は、図１３Ａのオーディオデバイス２と対応するように示されているが、幾つかの実装は、視聴者座標系１３２０の原点の周りでのオーディオデバイス座標の角度θだけの回転の前に、オーディオデバイス座標系１３０７の原点を視聴者座標系１３２０の原点と同一場所に配置すること(co-locating)を含む。この同一場所に配置すること(co-location)は、オーディオデバイス座標系１３０７から視聴者座標系１３２０への座標変換によって実行されてよい。

【0116】

幾つかの例において、サウンドバー１３３０および／またはテレビ１０１の場所は、サウンドバーにサウンドを発するようにさせること、並びにＤＯＡおよび／またはＴＯＡデータに従ってサウンドバーの場所を推定することによって決定されてよく、それはオーディオデバイス１～５のうちの少なくとも一部（例えば、３つ、４つまたは全て５つ）のオーディオデバイスのマイクロホンによるサウンドの検出に対応してよい。代替的にまたは追加的に、サウンドバー１３３０および／またはテレビ１０１の場所は、テレビまで歩くようにユーザを促すこと、並びにＤＯＡおよび／またはＴＯＡデータによってユーザの発話を場所特定することによって決定されてよく、それはオーディオデバイス１～５のうちの少なくとも一部（例えば、３つ、４つまたは全て５つ）のマイクロホンによる音の検出に対応してよい。そのような方法は、三角測量を含むことがある。そのような例は、サウンドバー１３３０および／またはテレビ１０１が関連するマイクロホンを持たない状況において有益なことがある。

【0117】

サウンドバー１３３０および／またはテレビ１０１が関連するマイクロホンを有する他の幾つかの他の例において、サウンドバー１３３０および／またはテレビ１０１の場所は、本明細書に開示するＤＯＡ法のような、ＴＯＡ法またはＤＯＡ法に従って決定されてよい。幾つかのそのような方法によれば、マイクロホンは、サウンドバー１３３０と同一場所に配置されてよい。

【0118】

幾つかの実装によれば、サウンドバー１３３０および／またはテレビ１０１は、関連するカメラ１３１１を有してよい。制御システムが、視聴者の頭１３１０（および／または視聴者の鼻１３２５）の画像を取り込むように構成されてよい。幾つかのそのような例において、制御システムは、視聴者の頭１３１０（および／または視聴者の鼻１３２５）とカメラ１３１１との間の線１３１３ａを決定するように構成されてよい。視聴者角度向きデータは、線１３１３ａと対応してよい。代替的にまたは追加的に、制御システムは、線１３１３ａとオーディオデバイス座標系のｙ軸との間の角度θを決定するように構成されてよい。

【0119】

図１３Ｂは、視聴者角度向きデータを決定する追加的な例を示している。この例によれば、視聴者場所は、図１２のブロック１２１５において既に決定されている。ここでは、制御システムが、環境１３００ｂのラウドスピーカを制御して、オーディオオブジェクト１３３５を環境１３００ｂ内の様々な場所にレンダリングしている。幾つかのそのような例において、制御システムは、例えば、オーディオオブジェクト１３３５が視聴者座標系１３２０の原点の周りで回転するようにオーディオオブジェクト１３３５をレンダリングすることによって、オーディオオブジェクト１３３５が視聴者１３０５の周りを回転するように見えるように、ラウドスピーカにオーディオオブジェクト１３３５をレンダリングさせてよい。この例において、湾曲した矢印１３４０は、オーディオオブジェクト１３３５が視聴者１３０５の周りを回転するときのオーディオオブジェクト１３３５の軌跡の一部分を示している。

【0120】

幾つかのそのような例によれば、視聴者１３０５は、オーディオオブジェクト１３３５が、視聴者１３０５が面している方向にあるときを示す、ユーザ入力（例えば、「停止」と言うこと）を提供してよい。幾つかのそのような例において、制御システムは、視聴者場所とオーディオオブジェクト１３３５の場所との間の線１３１３ｂを決定するように構成されてよい。この例において、線１３１３ｂは、視聴者１３０５が面している方向を示す視聴者座標系のｙ’軸と対応する。代替的な実装において、視聴者１３０５は、オーディオオブジェクト１３３５が、環境の前方、環境のテレビ場所、オーディオデバイス場所などにあるときを示す、ユーザ入力を提供してよい。

【0121】

図１３Ｃは、視聴者角度向きデータを決定する追加的な例を示している。この例によれば、視聴者場所は、図１２のブロック１２１５において既に決定されている。ここで、視聴者１３０５は、ハンドヘルドデバイス１３４５をテレビ１０１またはサウンドバー１３３０に向けることによって、ハンドヘルドデバイス１３４５を使用して、視聴者１３０５の視認方向に関する入力を提供する。ハンドヘルドデバイス１３４５と視聴者の腕の破線の輪郭は、視聴者１３０５がハンドヘルドデバイス１３４５をテレビ１０１またはサウンドバー１３３０に向けていた時よりも前の時に、この例では、視聴者１３０５がハンドヘルドデバイス１３４５をオーディオデバイス２に向けていたことを示す。他の例において、視聴者１３０５は、ハンドヘルドデバイス１３４５をオーディオデバイス１のような別のオーディオデバイスに向けてよい。この例によれば、ハンドヘルドデバイス１３４５は、オーディオデバイス２とテレビ１０１またはサウンドバー１３３０との間の角度αを決定するように構成され、それはオーディオデバイス２と視聴者１３０５の視認方向との間の角度を近似する。

【0122】

ハンドヘルドデバイス１３４５は、幾つかの例において、慣性センサシステムと、環境１３００ｃのオーディオデバイスを制御している制御システムと通信するように構成された無線インターフェースとを含む、携帯電話であってよい。幾つかの例において、ハンドヘルドデバイス１３４５は、例えば、（例えば、グラフィカルユーザインターフェースを介して）ユーザプロンプトを提供することによって、ハンドヘルドデバイス１３４５が所望の方向を指していることを示す入力を受信することによって、対応する慣性センサデータを保存することおよび／または対応する慣性センサデータを環境１３００ｃのオーディオデバイスを制御している制御システムに送信することなどによって、必要な機能性を実行するようにハンドヘルドデバイス１３４５を制御するように構成されたアプリケーションまたは「アプリ」を実行してよい。

【0123】

この例によれば、（ハンドヘルドデバイス１３４５の制御システムまたは環境１３００ｃのオーディオデバイスを制御している制御システムであってよい）制御システムは、慣性センサデータ、例えば、ジャイロスコープデータに従って、線１３１３ｃおよび１３５０の向きを決定するように構成される。この例において、線１３１３ｃは、軸ｙ’に対して平行であり、視聴者角度向きを決定するために使用されてよい。幾つかの例によれば、制御システムは、オーディオデバイス２と視聴者１３０５の視認方向との間の角度αに従って、視聴者座標系１３２０の原点の周りのオーディオデバイス座標についての適切な回転を決定することがある。

【0124】

図１３Ｄは、図１３Ｃを参照して記載した方法に従って、オーディオデバイス座標についての適切な回転を決定する一例を示している。この例において、オーディオデバイス座標系１３０７の原点は、視聴者座標系１３２０の原点と同一場所にある。オーディオデバイス座標系１３０７および視聴者座標系１３２０の原点を同一場所に配置することは、視聴者場所が決定される１２１５の処理後に可能にされる。オーディオデバイス座標系１３０７および視聴者座標系１３２０の原点を同一場所に配置することは、オーディオデバイス場所をオーディオデバイス座標系１３０７から視聴者座標系１３２０に変換することを含むことがある。角度αは、図１３Ｃを参照して上述したように決定されている。従って、角度αは、視聴者座標系１３２０におけるオーディオデバイス２の所望の向きと対応する。この例において、角度βは、オーディオデバイス座標系１３０７におけるオーディオデバイス２の向きと対応する。この実施例ではβ－αである角度θは、オーディオデバイス座標系１３０７のｙ軸を視聴者座標系１３２０のｙ’軸と整列させるために必要な回転を示す。

【0125】

幾つかの実装において、図１２の方法は、対応するオーディオデバイス場所、対応するオーディオデバイス角度向き、視聴者場所データおよび視聴者角度向きデータに少なくとも部分的に基づいて、環境内のオーディオデバイスの少なくとも１つを制御することを含んでよい。

【0126】

例えば、幾つかの実装は、オーディオデバイス場所データ、オーディオデバイス角度向きデータ、視聴者場所データおよび視聴者角度向きデータを、オーディオレンダリングシステムに提供することを含んでよい。幾つかの例において、オーディオレンダリングシステムは、図１１の制御システム１１１０のような制御システムによって実装されてよい。幾つかの実装は、オーディオデバイス場所データ、オーディオデバイス角度向きデータ、視聴者場所データおよび視聴者角度向きデータに少なくとも部分的に基づいて、オーディオデータレンダリングプロセスを制御することを含んでよい。幾つかのそのような実装は、ラウドスピーカ音響能力データをレンダリングシステムに提供することを含んでよい。ラウドスピーカ音響能力データは、環境の１つ以上のラウドスピーカに対応してよい。ラウドスピーカ音響能力データは、１つ以上のドライバ、複数のドライバ、または１つ以上のドライバのドライバ周波数応答の向きを示すことがある。幾つかの例において、ラウドスピーカ音響能力データは、メモリから取り出され、次に、レンダリングシステムに提供される。

【0127】

既存のフレキシブルレンダリング技術は、ＣＭＡＰ（Center of Mass Amplitude Panning）およびＦＶ（Flexible Virtualization）を含む。高レベルから、これらの技術の両方は、各々が関連する所望の知覚された空間位置を有する１つ以上のオーディオ信号のセットを、２つ以上のスピーカのセットの上で再生するためにレンダリングし、その場合、セットのスピーカの相対的なアクティブ化は、スピーカの上で再生される前記オーディオ信号の知覚された空間位置のモデルおよびスピーカの位置に対するオーディオ信号の所望の知覚された空間位置の近接性の関数である。モデルは、オーディオ信号が、その意図される空間位置の近くで視聴者によって確実に聞かれることを保証し、近接性項(proximity term)は、この空間的印象を達成するために、どのスピーカが使用されるかを制御する。特に、近接性項は、オーディオ信号の所望の知覚された空間位置に近いスピーカのアクティブ化を好む。ＣＭＡＰおよびＦＶの両方について、この関数関係は、以下のように、２つの項、すなわち、空間的側面についての１つの項および近接性についての１つ項の合計として書かれた費用関数から便利に導き出される。

【数5】

【0128】

ここで、セット
（外１４）

は、Ｍラウドスピーカのセットの位置を示し、
（外１５）

は、オーディオ信号の所望の知覚された空間位置を示し、ｇは、スピーカアクティブ化のＭ次元ベクトルを示す。ＣＭＡＰについて、ベクトル中の各アクティブ化は、スピーカ当たりの利得を表し一方で、ＦＶについて、各アクティブ化は、フィルタを表す（この第２の場合において、ｇは、同等に、特定の周波数での複素値のベクトルと考えられることができ、異なるｇが、フィルタを形成するために複数の周波数に亘って計算される）。アクティブ化の最適ベクトルは、以下のように、アクティブ化に亘ってコスト関数を最小化することによって求められる

【数6】

【0129】

コスト関数の特定の定義では、上記最小化の結果として得られる最適アクティブ化の絶対レベルを制御することは困難であるが、ｇ_ｏｐｔの成分間の相対レベルは適切である。この問題に対処するために、アクティブ化の絶対レベルが制御されるように、ｇ_ｏｐｔの引き続きの正規化が実行されてよい。例えば、単位長を有するベクトルの正規化が望ましく、それは以下のような一般的に使用される定電力パンルール(constant power panning rules)と一致する。

【数7】

【0130】

フレキシブルレンダリングアルゴリズムの正確な挙動は、コスト関数の２つの項、すなわち、Ｃ_{ｓｐａｔｉａｌ}およびＣ_{ｐｒｏｘｉｍｉｔｙ}の特定の構成によって決定される。ＣＭＡＰについて、Ｃ_{ｓｐａｔｉａｌ}は、ラウドスピーカのセットから再生するオーディオ信号の知覚される空間的位置を、それらのラウドスピーカの関連するアクティブ化利得ｇ_ｉ（ベクトルｇの要素）によって重み付けられたそれらのラウドスピーカの位置の質量中心に置くモデルから、以下のように導き出される。

【数8】

【0131】

次に、式３は、以下のように、所望のオーディオ位置とアクティブ化されたラウドスピーカによって生成され位置との間の誤差の二乗を表す空間コストに操作される。

【数9】

【0132】

ＦＶでは、コスト関数の空間項は、異なって定義される。ここでは、目標は、聴者の左耳および右耳でのオーディオオブジェクト位置
（外１６）

に対応する両耳応答ｂを生成することである。概念的には、ｂは、フィルタ（各耳について１つのフィルタ）の２×１ベクトルであるが、特定の周波数での複素値の２×１ベクトルとしてより便利に取り扱われる。特定の周波数でこの表現を続けると、所望の両耳応答が、以下のように、オブジェクト位置によるＨＲＴＦ指数(index)のセットから取り出されることがある

【数10】

【0133】

同時に、ラウドスピーカによって視聴者の耳で生成される２×１両耳応答ｅは、以下のように、２×Ｍ音響伝達行列(acoustic transmission matrix)Ｈを複素スピーカアクティブ化値のＭｘ１ベクトルｇで乗じたものとしてモデル化される

【数11】

【0134】

音響伝達行列Ｈは、視聴者場所に対するラウドスピーカ位置
（外１７）

のセットに基づいてモデル化される。最後に、コスト関数の空間成分は、以下のように、所望の両耳応答（式５）とラウドスピーカによって生成される応答（式６）との間の誤差の二乗として定義される。

【数12】

【0135】

便利なことに、式４および式７で定義されるＣＭＡＰおよびＦＶのコスト関数の空間項は、両方とも、以下のように、スピーカアクティブ化ｇの関数として、行列２次に再構成されことができる

【数13】

ここで、Ａは、Ｍ×Ｍの正方行列であり、Ｂは、１×Ｍベクトルであり、Ｃは、スカラーである。行列Ａは、ランク２であり、従って、Ｍ＞２であるときに、空間誤差項がゼロに等しい無限数のスピーカアクティブ化ｇが存在する。コスト関数の第２の項、すなわち、Ｃ_{ｐｒｏｘｉｍｉｔｙ}を導入することは、この不確定性(indeterminacy)を除去し、他の可能な解決策と比較して知覚的に有益な特性を有する特別な解決策をもたらす。ＣＭＡＰおよびＦＶの両方について、Ｃ_{ｐｒｏｘｉｍｉｔｙ}は、その位置
（外１８）

が所望のオーディオ信号位置
（外１９）

から離れているスピーカのアクティブ化が、その位置が所望の位置に近いスピーカのアクティブ化よりも多くペナルティが課されるように構成される。この構成は、僅かであるスピーカアクティブ化の最適なセットをもたらし、その場合には、所望のオーディオ信号の位置に近接近するスピーカのみが有意にアクティブ化され、スピーカのセットの周りの視聴者の動きに対して知覚的により堅牢であるオーディオ信号の空間的再生を実際にもたらす。

【0136】

この目的のために、コスト関数の第２の項は、すなわち、Ｃ_{ｐｒｏｘｉｍｉｔｙ}は、視聴者アクティブ化の絶対値の２乗の距離加重和として定義されよてい。これは、以下のように、行列形式でコンパクトに表現される

【数14】

ここで、Ｄは、以下のように、所望のオーディオ位置と各スピーカとの間の距離ペナルティの対角行列である。

【数15】

【0137】

距離ペナルティ関数は、多くの形式をとることができるが、以下は、有用なパラメータ化である。

【数16】

ここで、
（外２０）

は、所望のオーディオ位置とスピーカ位置の間のユークリッド距離であり、αおよびβは、調整可能なパラメータである。パラメータαは、ペナルティの大域的な強さを示し、ｄ_０は、距離ペナルティの空間的な広がりに対応し（約ｄ_０の距離にあるか或いはそれよりも更に離れたラウドスピーカはペナルティを課される）、βは、距離ｄ_０でペナルティが発生する突然性を説明する。

【0138】

式８および式９ａで定義されるコスト関数の２つの項を組み合わせると、以下のように、全体的なコスト関数をもたらす。

【数17】

以下のように、ｇに関するこのコスト関数の導関数を０に等しく設定してｇの値を求めると、最適なスピーカアクティブ化解(activation solution)をもたらす。

【数18】

【0139】

一般に、式１１の最適解は、値が負であるスピーカアクティブ化をもたらすことがある。フレキシブルレンダラのＣＭＡＰ構造について、そのような負のアクティブ化は望ましくないことがあり、よって、式１１は、全てのアクティブ化が正のままであることを条件として、最小限に抑えられることがある。

【0140】

図１４および図１５は、スピーカ位置が４、６４、１６５、－８７および－４度であることを前提とした、スピーカアクティブ化およびオブジェクトレンダリング位置の例示的なセットを示す図である。図１４は、これらの特定のスピーカ位置についての式１１の最適解を含むスピーカアクティブ化を示している。図１５は、個々のスピーカの位置を、それぞれ、橙色、紫色、緑色、金色および青色の点としてプロットしている。図１５は、緑色ドットとしての多数の可能なオブジェクト角度についての理想的なオブジェクト位置（すなわち、オーディオオブジェクトがレンダリングされるべき位置）と、黒色の点線によって理想的なオブジェクト位置に接続された、赤色ドットとしてのそれらのオブジェクトについての対応する実際のレンダリング位置とを示している。

【0141】

本開示の特定の実施形態および用途が本明細書に記載されているが、本明細書に記載される実施形態および用途の多くの変形が、この開示の範囲から逸脱することなく可能であることが、当業者に明らかであろう。

【0142】

本開示の様々な態様が、以下に列挙する例示的な実施形態（ＥＥＥ）から理解されることがある。

【0143】

１．オーディオデバイス場所を選定する方法であって、
複数のオーディオデバイスの各オーディオデバイスについての到着方向（ＤＯＡ）データの取得することと、
ＤＯＡデータに基づいて複数の三角形の各三角形の内角を決定することであって、複数の三角形の各三角形は、オーディオデバイスのうちの３つのオーディオデバイスのオーディオデバイス場所と対応する頂点を有する、決定することと、
内角に少なくとも部分的に基づいて三角形の各三角形の各辺の辺の長さを決定することと、
第１のシークエンスにおいて複数の三角形の各三角形を整列させる順方向アライメントプロセスを実行して順方向アライメント行列を生成することと、
第１のシーケンスの逆方向である第２のシーケンスにおいて複数の三角形の各三角形を整列させる逆方向アライメントプロセスを実行して逆方向アライメント行列を生成することと、
順方向アライメント行列の値および逆方向アライメント行列の値に少なくとも部分的に基づいて、各オーディオデバイス場所の最終的な推定値を生成することと、を含む、
方法。

【0144】

２．各オーディオデバイス場所の最終的な推定値を生成することは、
順方向アライメント行列を並進およびスケーリングして、並進およびスケーリングされた順方向アライメント行列を生成することと、
逆方向アライメント行列を並進およびスケーリングして、並進およびスケーリングされた逆方向アライメント行列を生成することと、を含む、
ＥＥＥ１の方法。

【0145】

３．各オーディオデバイス場所の最終的な推定値を生成することは、並進およびスケーリングされた順方向アライメント行列ならびに並進およびスケーリングされた逆方向アライメント行列に基づく回転行列を生成することを更に含み、回転行列は、各オーディオデバイスについて複数の推定されたオーディオデバイス場所を含む、
ＥＥＥ２の方法。

【0146】

４．回転行列を生成することは、並進およびスケーリングされた順方向アライメント行列ならびに並進およびスケーリングされた逆方向アライメント行列に対して特異値分解を実行することを含む、
ＥＥＥ３の方法。

【0147】

５．各オーディオデバイス場所の最終的な推定値を生成することは、各オーディオデバイスについて推定されるオーディオデバイス場所を平均化して、各オーディオデバイス場所の最終的な推定値を生成することを更に含む、
ＥＥＥ３またはＥＥＥ４の方法。

【0148】

６．辺の長さを決定することは、
三角形の第１の辺の第１の長さを決定することと、
三角形の内角に基づいて三角形の第２の辺の長さと第３の辺の長さを決定することと、を含む、
ＥＥＥ１～５のうちのいずれか１つの方法。

【0149】

７．第１の長さを決定することは、第１の長さを所定の値に設定することを含む、ＥＥＥ６の方法。

【0150】

８．第１の長さを決定することは、到着時間データまたは受信される信号強度データのうちの少なくとも１つに基づく、ＥＥＥ６の方法。

【0151】

９．ＤＯＡデータを取得することは、複数のオーディオデバイスのうちの少なくとも１つのオーディオデバイスについてＤＯＡデータを決定することを含む、ＥＥＥ１～８のうちのいずれか１つの方法。

【0152】

１０．ＤＯＡデータを決定するステップは、複数のオーディオデバイスのうちの単一のオーディオデバイスに対応する複数のオーディオデバイスマイクロホンの各マイクロホンからマイクロホンデータを受信することと、マイクロホンデータに少なくとも部分的に基づいて単一のオーディオデバイスについてのＤＯＡデータを決定することと、を含む、ＥＥＥ９の方法。

【0153】

１１．ＤＯＡデータを決定することは、複数のオーディオデバイスのうちの単一のオーディオデバイスに対応する１つ以上のアンテナからアンテナデータを受信することと、アンテナデータに少なくとも部分的に基づいて単一のオーディオデバイスについてのＤＯＡデータを決定することと、を含む、ＥＥＥ９の方法。

【0154】

１２．少なくとも１つのオーディオデバイス場所の最終的な推定値に少なくとも部分的に基づいてオーディオデバイスの少なくとも１つのオーディオデバイスを制御することを更に含む、ＥＥＥ１～１１のうちのいずれか１つの方法。

【0155】

１３．オーディオデバイスのうちの少なくとも１つのオーディオデバイスを制御することは、オーディオデバイスのうちの少なくとも１つのオーディオデバイスのラウドスピーカを制御することを含む、ＥＥＥ１２の方法。

【0156】

１４．ＥＥＥ１～１３のうちのいずれか１つの方法を実行するように構成される装置。

【0157】

その上に記録されたソフトウェアを含む１つ以上の非一時的媒体であって、ソフトウェアは、ＥＥＥ１－１３のうちのいずれかの方法を実行するために１つ以上のデバイスを制御するための命令を含む、１つ以上の非一時的媒体。

【0158】

オーディオデバイスを構成する方法であって、
制御システムを介して、環境内の複数のオーディオデバイスの各オーディオデバイスについてオーディオデバイス到着方向（ＤＯＡ）データを取得することと、
制御システムを介して、ＤＯＡデータに少なくとも部分的に基づいてオーディオデバイス場所データを生成することであって、オーディオデバイス場所データは、各オーディオデバイスについてのオーディオデバイス場所の推定値を含む、生成することと、
制御システムを介して、環境内の視聴者場所を示す視聴者場所データを決定することと、
制御システムを介して、視聴者角度向きを示す視聴者角度向きデータを決定することと、
制御システムを介して、視聴者場所および視聴者角度向きに対する各オーディオデバイスについてのオーディオデバイス角度向きを示すオーディオデバイス角度向きデータを決定することと、を含む、
方法。

【0159】

１７．対応するオーディオデバイス場所、対応するオーディオデバイス角度向き、視聴者場所データおよび視聴者角度向きデータに少なくとも部分的に基づいて、オーディオデバイスのうちの少なくとも１つのオーディオデバイスを制御することを更に含む、ＥＥＥ１６の方法。

【0160】

１８．オーディオデバイス場所データ、オーディオデバイス角度向きデータ、視聴者場所データおよび視聴者角度向きデータを、オーディオレンダリングシステムに提供することを更に含む、ＥＥＥ１６の方法。

【0161】

１９．オーディオデバイス場所データ、オーディオデバイス角度向きデータ、視聴者場所データおよび視聴者角度向きデータに少なくとも部分的に基づいて、オーディオデータレンダリングプロセスを制御することを更に含む、ＥＥＥ１６の方法。

【0162】

２０．ＤＯＡデータを取得することは、環境内の複数のラウドスピーカの各ラウドスピーカを制御して試験信号を再生することを含む、ＥＥＥ１６～１９のいずれか１つの方法。

【0163】

２１．視聴者場所データまたは視聴者角度向きデータのうちの少なくとも１つは、視聴者の１つ以上の発話に対応するＤＯＡデータに基づく、ＥＥＥ１６～２０のいずれか１つの方法。

【0164】

２２．視聴者角度向きは、視聴者視認方向に対応する、ＥＥＥ１６～２１のいずれか１つの方法。

【0165】

２３．視聴者視認方向は、視聴者場所とテレビ場所とに従って決定される、ＥＥＥ２２の方法。

【0166】

２４．視聴者視認方向は、視聴者場所とテレビサウンドバー場所とに従って決定される、ＥＥＥ２２の方法。

【0167】

２５．視聴者視認方向は、視聴者入力に従って決定される、ＥＥＥ２２の方法。

【0168】

２６．視聴者入力は、視聴者によって保持されるデバイスから受信される慣性センサデータを含む、ＥＥＥ２５の方法。

【0169】

２７．慣性センサデータは、音を出しているラウドスピーカに対応する慣性センサデータを含む、ＥＥＥ２５の方法。

【0170】

２８．視聴者入力は、視聴者によって選択されるオーディオデバイスの表示を含む、ＥＥＥ２５の方法。

【0171】

２９．ラウドスピーカ音響能力データをレンダリングシステムに提供することを更に含み、ラウドスピーカ音響能力データは、１つ以上のドライバの向き、複数のドライバ、または１つ以上のドライバのドライバ周波数応答のうちの少なくとも１つを示す、ＥＥＥ１６～２８のいずれか１つの方法。

【0172】

３０．オーディオデバイス場所データを生成することは、
オーディオデバイスＤＯＡデータに基づいて複数の三角形の各三角形についての内角を決定することであって、複数の三角形の各三角形は、オーディオデバイスのうちの３つのオーディオデバイスのオーディオデバイス場所と対応する頂点を有する、決定することと、
内角に少なくとも部分的に基づいて三角形の各三角形の各辺の辺の長さを決定することと、
第１のシークエンスにおいて複数の三角形の各三角形を整列させる順方向アライメントプロセスを実行して順方向アライメント行列を生成することと、
第１のシーケンスの逆方向である第２のシーケンスにおいて複数の三角形の各三角形を整列させる逆方向アライメントプロセスを実行して逆方向アライメント行列を生成することと、
順方向アライメント行列の値および逆方向アライメント行列の値に少なくとも部分的に基づいて、各オーディオデバイス場所の最終的な推定値を生成することと、を含む、
ＥＥＥ１６～２９のいずれか１つの方法。

【0173】

ＥＥＥ１６～３０のうちのいずれか１の方法を実行するように構成される装置。

【0174】

その上に記録されたソフトウェアを有する１つ以上の非一時的媒体であって、ソフトウェアは、ＥＥＥ１６－３０のちのいずれか１つの方法を実行するために１つ以上のデバイスを制御するための命令を含む、非一時的媒体。

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13A】

【図13B】

【図13C】

【図13D】

【図14】

【図15】

【国際調査報告】