特表 2024-532883 オーディオキャリブレーションプロファイルを計算する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-09-10

(54)【発明の名称】オーディオキャリブレーションプロファイルを計算する方法

(51)【国際特許分類】

   G10K 15/00 20060101AFI20240903BHJP

   H04S 7/00 20060101ALI20240903BHJP

【ＦＩ】

G10K15/00 L

H04S7/00 310

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024512157

(86)(22)【出願日】2022-08-19

(85)【翻訳文提出日】2024-02-22

(86)【国際出願番号】 EP2022073246

(87)【国際公開番号】W WO2023025695

(87)【国際公開日】2023-03-02

(31)【優先権主張番号】202141038169

(32)【優先日】2021-08-23

(33)【優先権主張国・地域又は機関】IN

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】519383544

【氏名又は名称】アナログ・ディヴァイシス・インターナショナル・アンリミテッド・カンパニー

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】サントシュ・バラドワジ・シン

(72)【発明者】

【氏名】エオイン・イングリッシュ

(72)【発明者】

【氏名】マイケル・トーマス・コリガン

(72)【発明者】

【氏名】アラヴィンド・ケー・ナヴァダ

(72)【発明者】

【氏名】コーシャル・サングハイ

(72)【発明者】

【氏名】ティー・ブイ・ビー・スブラマニヤム

【テーマコード（参考）】

5D162

【Ｆターム（参考）】

5D162AA06

5D162DA02

5D162EG03

(57)【要約】

本開示は、部屋などの三次元空間のオーディオキャリブレーションプロファイルを計算する方法に関する。本開示は、サウンド記録デバイスからのフィードバックと併せて、三次元（３Ｄ）画像化技術を使用して三次元空間のモデルを作り出すことによってこれを達成する。収集される情報は、部屋等化を行うために、デジタル信号処理（ＤＳＰ）デバイスが使用することができる。この情報はまた、ビーム特性を調整して、三次元空間の中のユーザの場所において理想的な空間的体験又はサラウンドサウンド体験を再現するために、ビームフォーミング音源によって使用され得る。

【特許請求の範囲】

【請求項1】

三次元空間のオーディオキャリブレーションプロファイルを計算する方法であって、前記方法は、
第１の電子装置によって、１つ以上のテストサウンドを出力することと、
第２の電子装置によって、三次元空間の中の１つ以上の場所の各々において前記１つ以上のテストサウンドを記録することであって、前記第２の電子装置は、モバイル電子装置である、記録することと、
前記第１の電子装置又は前記第２の電子装置によって、前記１つ以上の場所の各々に対応する空間座標を判定することと、
前記場所について判定された前記空間座標と、前記場所において記録された前記１つ以上のテストサウンドとに基づいて、前記場所の各々についてローカルオーディオプロファイルを生成することと、
前記第１の電子装置又は前記第２の電子装置によって、前記三次元空間をマッピングすることと、
前記マッピングに基づいて、前記三次元空間のモデルを生成することと、
前記三次元空間の前記モデルと前記ローカルオーディオプロファイルとに基づいて、前記三次元空間のオーディオキャリブレーションプロファイルを計算することと、を含む、方法。

【請求項2】

前記三次元空間をマッピングすることは、前記三次元空間の１つ以上の境界を識別することを含む、請求項１に記載の方法。

【請求項3】

前記三次元空間の前記モデルを生成することは、前記１つ以上の境界のモデルを生成することを含む、請求項１又は２に記載の方法。

【請求項4】

前記三次元空間の前記モデルを生成することは、前記１つ以上の境界の前記モデルにサウンド反射プロパティを割り当てることを含む、請求項３に記載の方法。

【請求項5】

前記境界のうちの少なくとも１つは、開口部を含み、前記少なくとも１つの境界の前記モデルは、前記開口部のモデルを含む、請求項３又は４に記載の方法。

【請求項6】

前記三次元空間をマッピングすることは、前記三次元空間の中に位置する１つ以上のオブジェクトを識別することを含む、請求項１～５のいずれか一項に記載の方法。

【請求項7】

前記三次元空間の前記モデルを生成することは、前記１つ以上のオブジェクトのモデルを生成することを含み、任意選択的に、前記三次元空間の前記モデルを生成することは、前記１つ以上のオブジェクトの前記モデルにサウンド反射プロパティを割り当てることを含む、請求項６に記載の方法。

【請求項8】

前記第２の電子装置のモデルを生成することを含み、前記三次元空間の前記オーディオキャリブレーションプロファイルを計算することは、前記第２の電子装置の前記モデルに基づいて前記第２の電子装置の存在を補償することを含む、請求項１～７のいずれか一項に記載の方法。

【請求項9】

ユーザのモデルを生成することを含み、前記三次元空間の前記オーディオキャリブレーションプロファイルを計算することは、前記ユーザの前記モデルに基づいて前記ユーザの存在を補償することを含む、請求項１～８のいずれか一項に記載の方法。

【請求項10】

前記三次元空間の前記オーディオキャリブレーションプロファイルを計算することは、周波数等化情報を計算することを含む、請求項１～９のいずれか一項に記載の方法。

【請求項11】

計算された前記オーディオキャリブレーションプロファイルを前記第１の電子装置に出力し、かつ前記第１の電子装置によって、前記オーディオキャリブレーションプロファイルに従ってサウンドを出力することを更に含む、請求項１～１０のいずれか一項に記載の方法。

【請求項12】

三次元空間のオーディオキャリブレーションプロファイルを計算するためのシステムであって、前記システムは、
１つ以上のテストサウンドを出力するように構成されたサウンド出力デバイスを備える第１の電子装置と、
三次元空間の中の１つ以上の場所において前記１つ以上のテストサウンドを記録するように構成されたサウンド記録デバイスを備える第２の電子装置であって、前記第２の電子装置は、モバイル電子装置である、第２の電子装置と、を備え、
前記第１の電子装置及び前記第２の電子装置のうちの少なくとも一方は、前記１つ以上の場所の各々に対応する空間座標を記録するように構成された三次元画像化デバイスを備え、
前記第１の電子装置及び前記第２の電子装置のうちの少なくとも一方は、前記場所について記録された前記空間座標と、前記場所において記録された前記１つ以上のテストサウンドとに基づいて、前記場所の各々についてのローカルオーディオプロファイルを生成するように構成されており、
前記三次元画像化デバイスは、前記三次元空間をマッピングし、前記マッピングに基づいて前記三次元空間のモデルを生成するように更に構成されており、
前記システムは、前記三次元空間の前記モデルと前記ローカルオーディオプロファイルとに基づいて、前記三次元空間のオーディオキャリブレーションプロファイルを計算するように構成された１つ以上のプロセッサを更に備える、システム。

【請求項13】

前記第１の電子装置は、サウンドバーデバイスである、請求項１２に記載のシステム。

【請求項14】

前記第２の電子装置は、モバイルフォン又はマイクロフォンである、請求項１２又は１３に記載のシステム。

【請求項15】

前記三次元画像化デバイスは、飛行時間カメラを含む、請求項１２～１４のいずれか一項に記載のシステム。

【請求項16】

前記１つ以上のプロセッサのうちの少なくとも１つは、クラウドベースのプロセッサであること、
前記第１の電子装置は、前記１つ以上のプロセッサのうちの少なくとも１つを備えること、
前記第２の電子装置は、前記１つ以上のプロセッサのうちの少なくとも１つを備えることのうちの少なくとも１つが適用される、請求項１２～１５のいずれか一項に記載のシステム。

【請求項17】

前記三次元画像化デバイスは、前記三次元空間の１つ以上の境界及び／又は前記三次元空間の中に位置する１つ以上のオブジェクトを識別するように構成されている、請求項１２～１６のいずれか一項に記載のシステム。

【請求項18】

前記１つ以上のプロセッサは、計算された前記オーディオキャリブレーションプロファイルを前記第１の電子装置に出力するように構成されており、
前記第１の電子装置は、前記オーディオキャリブレーションプロファイルに従ってサウンドを出力するように構成されている、請求項１２～１７のいずれか一項に記載のシステム。

【請求項19】

三次元空間のオーディオキャリブレーションプロファイルを計算するための処理システムであって、前記処理システムは、１つ以上のプロセッサを備え、前記１つ以上のプロセッサは、
三次元空間のモデルを受信し、
１つ以上のローカルオーディオプロファイルであって、前記三次元空間の中のそれぞれの場所に対応し、かつ前記場所について記録された空間座標と、前記場所において記録された１つ以上のテストサウンドとに基づく、１つ以上のローカルオーディオプロファイルを受信し、かつ
前記三次元空間の前記モデルと前記ローカルオーディオプロファイルとに基づいて、前記三次元空間のオーディオキャリブレーションプロファイルを計算するように構成されている、処理システム。

【請求項20】

前記１つ以上のプロセッサは、
前記オーディオキャリブレーションプロファイルに従って１つ以上のオーディオ信号を処理するように更に構成されている、請求項１９に記載の処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、三次元空間のオーディオキャリブレーションプロファイルを計算する方法に関する。本開示はまた、三次元空間のオーディオキャリブレーションプロファイルを計算するためのシステム、及び三次元空間のオーディオキャリブレーションプロファイルを計算するための処理システムに関する。

【背景技術】

【0002】

サラウンドサウンドは、ユーザを取り巻く複数のスピーカからのオーディオを提供するサウンド再生技術である。一般的なサラウンドサウンド規格には、５．１及び７．１規格が含まれる。没入型サラウンドサウンド技術は、頭上から来るオーディオチャネルを用いて５．１及び７．１の装備を拡張する特殊なサラウンドサウンド技法である。この効果を達成するには、スピーカを部屋の周囲並びに天井の複数の場所に配置する必要がある。家庭環境では、これは望ましくなく、したがって、壁及び天井からサウンドを跳ね返すことによって没入型サラウンドサウンド効果を作り出して、サウンドがそれらの周囲全体から来ているという印象をユーザに与えるという、デジタル信号処理（ＤＳＰ）方法を使用することができる。

【発明の概要】

【0003】

本開示は、部屋などの三次元空間のオーディオキャリブレーションプロファイルを計算する方法に関する。本開示は、サウンド記録デバイスからのフィードバックと併せて、三次元（３Ｄ）画像化技術を使用して三次元空間のモデルを作り出すことによってこれを達成する。収集される情報は、部屋等化を行うために、ＤＳＰデバイスが使用することができる。この情報はまた、ビーム特性を調整して、三次元空間の中のユーザの場所において理想的な空間的体験又はサラウンドサウンド体験を再現するために、ビームフォーミング音源が使用することができる。

【0004】

本開示の実施形態によれば、三次元空間のオーディオキャリブレーションプロファイルを計算する方法が提供される。本方法は、第１の電子装置によって、１つ以上のテストサウンドを出力することと、第２の電子装置によって、三次元空間の中の１つ以上の場所の各々において１つ以上のテストサウンドを記録することであって、第２の電子装置は、モバイル電子装置である、記録することと、第１の電子装置又は第２の電子装置によって、１つ以上の場所の各々に対応する空間座標を判定することと、上記の場所について判定された空間座標と、上記の場所において記録された１つ以上のテストサウンドとに基づいて、場所の各々についてのローカルオーディオプロファイルを生成することと、第１の電子装置又は第２の電子装置によって、三次元空間をマッピングすることと、マッピングに基づいて、三次元空間のモデルを生成することと、三次元空間のモデルとローカルオーディオプロファイルとに基づいて、三次元空間のオーディオキャリブレーションプロファイルを計算することと、を含む。

【0005】

三次元空間をマッピングすることは、三次元空間の１つ以上の境界を識別することを含み得る。

【0006】

三次元空間のモデルを生成することは、１つ以上の境界のモデルを生成することを含み得る。

【0007】

三次元空間のモデルを生成することは、１つ以上の境界のモデルにサウンド反射プロパティを割り当てることを含み得る。

【0008】

境界のうちの少なくとも１つは、開口部を含み得、少なくとも１つの境界のモデルは、開口部のモデルを含み得る。

【0009】

三次元空間をマッピングすることは、三次元空間の中に位置する１つ以上のオブジェクトを識別することを含み得る。

【0010】

三次元空間のモデルを生成することは、１つ以上のオブジェクトのモデルを生成することを含み得る。

【0011】

三次元空間のモデルを生成することは、１つ以上のオブジェクトのモデルにサウンド反射プロパティを割り当てることを含み得る。

【0012】

本方法は、第２の電子装置のモデルを生成することを含み得る。三次元空間のオーディオキャリブレーションプロファイルを計算することは、第２の電子装置のモデルに基づいて第２の電子装置の存在を補償することを含み得る。

【0013】

本方法は、ユーザのモデルを生成することを含み得る。三次元空間のオーディオキャリブレーションプロファイルを計算することは、ユーザのモデルに基づいてユーザの存在を補償することを含み得る。

【0014】

三次元空間のオーディオキャリブレーションプロファイルを計算することは、周波数等化情報を計算することを含み得る。

【0015】

本方法は、計算されたオーディオキャリブレーションプロファイルを第１の電子装置に出力し、かつ第１の電子装置によって、オーディオキャリブレーションプロファイルに従ってサウンドを出力することを含み得る。

【0016】

本開示の実施形態によれば、三次元空間のオーディオキャリブレーションプロファイルを計算するためのシステムが提供される。本システムは、１つ以上のテストサウンドを出力するように構成されたサウンド出力デバイスを備える第１の電子装置と、三次元空間の中の１つ以上の場所において１つ以上のテストサウンドを記録するように構成されたサウンド記録デバイスを備える第２の電子装置であって、第２の電子装置は、モバイル電子装置である、第２の電子装置と、を備える。第１の電子装置及び第２の電子装置のうちの少なくとも一方は、１つ以上の場所の各々に対応する空間座標を記録するように構成された三次元画像化デバイスを備える。第１の電子装置及び第２の電子装置のうちの少なくとも一方は、上記の場所について記録された空間座標と、上記の場所において記録された１つ以上のテストサウンドとに基づいて、上記の場所の各々についてのローカルオーディオプロファイルを生成するように構成されている。三次元画像化デバイスは、三次元空間をマッピングし、マッピングに基づいて三次元空間のモデルを生成するように更に構成されている。本システムは、三次元空間のモデルとローカルオーディオプロファイルとに基づいて、三次元空間のオーディオキャリブレーションプロファイルを計算するように構成された１つ以上のプロセッサを更に備える。

【0017】

第１の電子装置は、サウンドバーデバイスであり得る。

【0018】

第２の電子装置は、モバイルフォン又はマイクロフォンであり得る。

【0019】

三次元画像化デバイスは、飛行時間カメラを含み得る。

【0020】

１つ以上のプロセッサのうちの少なくとも１つは、クラウドベースのプロセッサであり得る。

【0021】

第１の電子装置は、１つ以上のプロセッサのうちの少なくとも１つを備え得る。

【0022】

第２の電子装置は、１つ以上のプロセッサのうちの少なくとも１つを備え得る。

【0023】

１つ以上のプロセッサは、１つ以上のデジタル信号プロセッサを含み得る。

【0024】

三次元画像化デバイスは、三次元空間の１つ以上の境界及び／又は三次元空間の中に位置する１つ以上のオブジェクトを識別するように構成され得る。

【0025】

１つ以上のプロセッサは、計算されたオーディオキャリブレーションプロファイルを第１の電子装置に出力するように構成され得、第１の電子装置は、オーディオキャリブレーションプロファイルに従ってサウンドを出力するように構成され得る。

【0026】

本開示の実施形態によれば、三次元空間のオーディオキャリブレーションプロファイルを計算するための処理システムが提供される。処理システムは、１つ以上のプロセッサを備え、１つ以上のプロセッサは、三次元空間のモデルを受信し、１つ以上のローカルオーディオプロファイルであって、三次元空間の中のそれぞれの場所に対応し、かつ上記の場所において記録された空間座標と、上記の場所において記録された１つ以上のテストサウンドとに基づく、１つ以上のローカルオーディオプロファイルを受信し、かつ三次元空間のモデルとローカルオーディオプロファイルとに基づいて、三次元空間のオーディオキャリブレーションプロファイルを計算するように構成されている。

【0027】

１つ以上のプロセッサは、オーディオキャリブレーションプロファイルに従って１つ以上のオーディオ信号を処理するように更に構成され得る。

【0028】

１つ以上のプロセッサは、１つ以上のデジタル信号プロセッサを含み得る。

【0029】

本開示の実施形態によれば、三次元空間のオーディオキャリブレーションプロファイルを計算するためのシステムが提供される。本システムは、１つ以上のテストサウンドを出力するための手段と、三次元空間の中の１つ以上の場所の各々において１つ以上のテストサウンドを記録するための手段と、１つ以上の場所の各々に対応する空間座標を判定するための手段と、上記の場所について判定された空間座標と、上記の場所において記録された１つ以上のテストサウンドとに基づいて、上記の場所の各々についてのローカルオーディオプロファイルを生成するための手段と、三次元空間をマッピングするための手段と、マッピングに基づいて、三次元空間のモデルを生成するための手段と、三次元空間のモデルとローカルオーディオプロファイルとに基づいて、三次元空間のオーディオキャリブレーションプロファイルを計算するための手段と、を備える。

【0030】

本開示の更なる特徴、実施例、及び利点は、以下の記載から、及び添付の請求項から明らかになるであろう。

【図面の簡単な説明】

【0031】

本開示並びにその特徴及び利点のより完全な理解を提供するために、添付の図面と併せて以下の記載を参照し、同様の参照番号は同様の部分を表す。

【図1】図１は、本開示の実施形態によるシステムのブロック図である。

【図2】図２は、本開示の実施形態によるシステムのブロック図である。

【図3】図３は、本開示の実施形態によるシステムのブロック図である。

【図4】図４は、図１に示されるシステムの概略図である。

【図5】図５は、本開示の実施形態による方法のフロー図である。

【発明を実施するための形態】

【0032】

本開示は、サウンドバーデバイスなどの第１の電子装置、及びモバイルフォンなどの第２の電子装置を含むシステムに関する。

【0033】

第１の電子装置は、１つのスピーカ又は複数のスピーカ（例えば、５つ又は７つのスピーカ）を含み得る。第１の電子装置が複数のスピーカを含む実施例では、各スピーカは、第１の電子装置の異なるチャネルに対応し得る。例えば、第１の電子装置は、５つのチャネル又は７つのチャネルを有し得る。第１の電子装置は、スピーカを収容するエンクロージャを含み得る。

【0034】

第１の電子装置のサウンド出力デバイスは、第２の電子装置によって記録される一連のテストサウンドを、部屋などの三次元空間の中の複数の場所において出力することができる。これらの記録は、上記の場所の各々における三次元空間のサウンド再生特性に関する情報を提供する。

【0035】

第１の電子装置及び第２の電子装置のうちの一方又は両方は、三次元空間をマッピングし、かつマッピングに基づいて三次元空間のモデルを生成することができる３Ｄ画像化デバイスを含む。また、３Ｄ画像化デバイスは、テストサウンドが記録されているときに、上記の場所の各々に対応する空間座標を記録する。本明細書では、３Ｄ画像化デバイスを含む電子装置は「Ａ」とラベル付けされ、３Ｄ画像化デバイスを有していない電子装置は「Ｂ」とラベル付けされている。

【0036】

本システムはまた、クラウド処理システムなどの処理システムを含む。テストサウンド及びそれらに関連付けられた空間座標の記録は、三次元空間のモデルと一緒に処理システムに送信される。本処理システムは、マルチフィジックスシミュレーションなどのシミュレーションを介して三次元空間のオーディオキャリブレーションプロファイルを生成するために、この情報の全てを使用することができる。例えば、オーディオキャリブレーションプロファイルは、三次元空間の中の様々な場所についての周波数等化情報を含み得る。代替的に又は追加的に、オーディオキャリブレーションプロファイルは、異なるスピーカ、例えば、第１の電子装置のスピーカの一時的なプレイバック遅延を含み得る。

【0037】

本処理システムは、オーディオキャリブレーションプロファイルを三次元空間の中に位置するサウンド出力デバイス（例えば、第１の電子装置）に送信する。サウンド出力デバイスは、三次元空間の中の任意の所与の場所に対して出力するサウンドを最適化するために、オーディオキャリブレーションプロファイルを使用することができる。例えば、サウンド出力デバイスは、三次元空間の中の所与の場所の周波数応答を平坦化するために、オーディオキャリブレーションプロファイルを使用し得る。

【0038】

図１は、本開示の実施形態によるシステムを示すブロック図である。

【0039】

本システムは、第１の電子装置１００Ａ、第２の電子装置２００Ｂ、及び処理システム３００を含む。

【0040】

第１の電子装置１００Ａは、部屋などの三次元空間の中の特定の場所に設置されるように設計された電子装置である。この実施例では、第１の電子装置１００Ａは、サウンドバーデバイスである。サウンドバーデバイス１００Ａは、エンクロージャ（図示せず）内に収容された複数のスピーカ（この場合では、５つのスピーカ）を含む。

【0041】

第２の電子装置２００Ｂは、モバイル（すなわち、可搬型）電子装置である。この実施例では、第２の電子装置は、モバイルフォンである。他の実施例では、第２の電子デバイスは、マイクロフォンであり得る。

【0042】

第１の電子装置１００Ａは、サウンド出力デバイス１１０を含み、このサウンド出力デバイス１１０は、サウンド、例えば、テストサウンド又は一連のテストサウンドを出力するように構成されている。サウンド出力デバイス１１０は、スピーカを含む。通常の使用では、サウンド出力デバイス１１０は、テレビ（図示せず）などの別のデバイスから受信されるオーディオ信号に基づいてサウンドを出力し得る。

【0043】

本実施例では、第１の電子装置１００Ａは、３Ｄ画像化デバイス１３０を含み、この３Ｄ画像化デバイス１３０は、第１の電子装置１００を取り囲む三次元空間をマッピングし、マッピングに基づいて三次元空間のモデルを生成するように構成されている。三次元空間をマッピングすることは、部屋の天井など、三次元空間の１つ以上の境界を識別することを含み得る。そのような場合、３Ｄ画像化デバイス１３０は、天井の最大高さを判定し得る。３Ｄ画像化デバイス１３０は、三次元空間を画像化し、かつ３Ｄモデルを構築することができる任意の技術、例えば、飛行時間（ＴｏＦ）、レーダ及び／又はステレオビジョンを利用し得る。例えば、３Ｄ画像化デバイス１３０は、飛行時間カメラを含み得、この飛行時間カメラは、間接飛行時間又は直接飛行時間カメラであり得る。

【0044】

３Ｄ画像化デバイス１３０は、三次元空間の中の異なる場所において第２の電子装置２００Ｂを検出し、各場所に対応する空間座標を記録するように構成されている。３Ｄ画像化デバイス１３０はまた、各一組の空間座標に対応するタイムスタンプを記録するように構成されている。

【0045】

本実施例では、３Ｄ画像化デバイス１３０は、オブジェクト認識プロセスを使用して、第２の電子装置２００Ｂを検出する、すなわち、３Ｄ画像化デバイス１３０は、モバイルフォンを識別するように訓練される。第２の電子装置２００Ｂがマイクロフォンである実施例では、３Ｄ画像化デバイス１３０は、マイクロフォンを識別するように訓練される。他の実施例では、第２の電子装置２００Ｂは、識別子（例えば、タグ）を含み得るが、３Ｄ画像化デバイス１３０は、第２の電子装置を検出するために、第２の電子装置２００Ｂの識別子を識別するように訓練される。更に他の実施例では、第２の電子装置２００Ｂは、光源（例えば、発光ダイオード（ＬＥＤ））を含み得るが、この光源は、特定の周波数で光のフラッシュを発するように構成されている。そのような実施例では、３Ｄ画像化デバイス１３０は、三次元空間の中の特定の場所において第２の電子装置２００Ｂを検出するために、光のフラッシュを識別するように構成されている。

【0046】

いくつかの実施例では、３Ｄ画像化デバイス１３０は、第２の電子装置２００Ｂをマッピングし、第２の電子装置２００Ｂのモデルを生成するように構成されている。いくつかの実施例では、３Ｄ画像化デバイスは、ユーザをマッピングし、ユーザのモデルを生成するように構成されている。

【0047】

いくつかの実施例では、三次元空間のモデルは、それらの場所及びそれらのサウンド反射プロパティなど、三次元空間の境界についての情報を含む。３Ｄ画像化デバイス１３０はまた、三次元空間の境界の中の任意の開口部を識別し得るが、これらの開口部の場所は、モデルの中に記録することができる。３Ｄ画像化デバイス１３０はまた、三次元空間の中のオブジェクトを識別し、オブジェクトの材料を検出し得る。オブジェクトのモデルは、それらのサウンド反射プロパティに関する情報を含み得る。この追加情報のいずれか又は全ては、三次元空間のモデルに組み込まれ得るが、これにより、モデルが三次元空間のオーディオ特性をより正確に表すことが可能になる。

【0048】

第１の電子装置１００Ａはまた、第１の電子装置１００Ａの全体的な動作を制御するように構成されたプロセッサ１４０、並びに通信機１５０及びメモリ１６０を含む。通信機１５０は、第１の電子装置１００Ａに近接して他のデバイスと（例えば、Ｂｌｕｅｔｏｏｔｈ又はＷｉＦｉを介して）通信するように構成されている。通信機１５０はまた、処理システム３００と（例えば、インターネット接続を介して）通信するように構成されている。

【0049】

プロセッサ１４０は、記録されたテストサウンド及び一組の記録されたテストサウンドごとのタイムスタンプなどの情報を、通信機１５０を介して第２の電子装置２００Ｂから受信することができる。空間座標及び記録されたテストサウンドのタイムスタンプを使用して、プロセッサ１４０は、各一組の記録されたテストサウンドを一組の空間座標に関連付けることができる。所与の場所において記録されたテストサウンドと、上記の場所について判定された空間座標は、上記の場所のローカルオーディオプロファイルと称される。プロセッサ１４０は、複数のローカルオーディオプロファイルを生成し、これらをメモリ１６０に記憶することができる。

【0050】

プロセッサ１４０は、通信機１５０を介して、上記の場所のローカルオーディオプロファイルを処理システム３００に送信することができる。プロセッサ１４０はまた、通信機１５０を介して、三次元空間のモデルを処理システム３００に送信することができる。

【0051】

第２の電子装置２００Ｂは、サウンド記録デバイス２２０を含み、このサウンド記録デバイス２２０は、第１の電子装置１００Ａによって出力されたテストサウンドなどのサウンドを記録するように構成されている。本実施例では、第２の電子装置２００Ｂはまた、サウンドを出力するように構成されたサウンド出力デバイス２１０を含む。

【0052】

本実施例では、第２の電子装置２００Ｂは、第２の電子装置２００Ｂの全体的な動作を制御するように構成されたプロセッサ２４０、並びに、通信機２５０及びメモリ２６０を含む。プロセッサ２４０は、テストサウンドの各記録に関連付けられたタイムスタンプを記録するように構成されている。

【0053】

通信機２５０は、第１の電子デバイス１００Ａなど、第２の電子装置２００Ｂに（例えば、Ｂｌｕｅｔｏｏｔｈ又はＷｉＦｉを介して）近接している他のデバイスと通信するように構成されている。通信機２５０はまた、処理システム３００と（例えば、インターネット接続を介して）通信するように構成され得る。第２の電子装置２００Ｂはまた、ディスプレイ２７０を含み、このディスプレイ２７０は、タッチスクリーンであり得る。

【0054】

第２の電子装置２００Ｂがマイクロフォンである実施例では、第２の電子装置２００Ｂは、サウンド記録デバイス２２０を含むが、ディスプレイなどの他の特徴は省略され得る。マイクロフォンは、有線接続又はワイヤレス接続を介して第１の電子装置１００Ａに接続され得、マイクロフォンによって記録されるテストサウンドを第１の電子装置１００Ａに送信することができる。第２の電子装置２００Ｂがマイクロフォンである実施例では、第１の電子装置１００Ａのプロセッサ１４０は、一組の記録されたテストサウンドごとのタイムスタンプを記録するように構成され得る。

【0055】

処理システム３００は、１つ以上のプロセッサ３４０、メモリ３５０、及び通信機３６０を含む。プロセッサ３４０は、通信機３６０を介して第１の電子装置１００Ａ及び／又は第２の電子装置２００Ｂから情報を受信するように構成されている。プロセッサ３４０は、１つ以上のデジタル信号プロセッサ（ＤＳＰ）を含み得る。いくつかの実施例では、処理システム３００は、第１の電子装置１００Ａ及び第２の電子装置２００Ｂから遠隔にあるクラウド処理システム（例えば、クラウドサーバ）である。

【0056】

本実施例では、プロセッサ３４０は、三次元空間のモデルを第１の電子装置１００Ａから受信するように構成されている。プロセッサ３４０はまた、三次元空間の中の場所のローカルオーディオプロファイルを第１の電子装置１００Ａから受信するように構成されている。いくつかの実施例では、プロセッサ３４０は、第２の電子装置２００Ｂのモデル及び／又はユーザのモデルを受信するように構成されている。

【0057】

プロセッサ３４０は、受信した情報に基づいてマルチフィジックスシミュレーションを行い、三次元空間のオーディオキャリブレーションプロファイルを計算する。オーディオキャリブレーションプロファイルは、三次元空間の幾何学形状及び音響応答を考慮して、プレイバック中にオーディオ信号に対してなされる必要がある変更を判定し得る。

【0058】

プロセッサ３４０が第２の電子装置２００Ｂのモデル及び／又はユーザのモデルを受信する実施例では、プロセッサ３４０は、オーディオキャリブレーションプロファイルを計算するときに、三次元空間における第２の電子装置２００Ｂ及び／又はユーザの存在を補償することができる。換言すれば、第２の電子装置２００Ｂ及び／又はユーザが三次元空間のオーディオ特性に及ぼす影響は、破棄することができる。

【0059】

次いで、プロセッサ３４０は、通信機３６０を介して、オーディオキャリブレーションプロファイルを第１の電子装置１００Ａに送信し、第１の電子装置１００Ａは、オーディオキャリブレーションプロファイルに基づいてサウンド出力デバイス１１０を介してサウンドを出力することができる。例えば、第１の電子装置１００Ａは、第１の電子装置１００Ａのチャネルごとに、ビーム角、経路長、利得、及び焦点距離などのパラメータを調整し得る。

【0060】

更に、第１の電子装置１００Ａの通常の動作中に、三次元空間のモデルは、三次元空間におけるユーザ（又は複数のユーザ）の位置を考慮するために、３Ｄ画像化デバイス１３０からの情報に基づいて更新され得る。次いで、更新されたモデルは、ユーザ（又は複数のユーザ）の場所に適合するオーディオキャリブレーションプロファイルを計算するために使用される。これは、最適化された体験をユーザ（又は複数のユーザ）に提供し得る。第１の電子装置１００Ａはまた、スピーカのビーム特性を調整するためにユーザ（又は複数のユーザ）の場所を使用し得、上記の場所において理想的な空間的又はサラウンドサウンド体験を作り出す。

【0061】

３Ｄ画像化デバイス１３０は、第１の電子装置１００Ａがユーザに対して最適なキャリブレーションプロファイルを使用していることを確実にするために、三次元空間の中のユーザ（又は複数のユーザ）の場所を定期的に判定し得る。ユーザの場所（又は複数の場所）が、テストサウンドを記録するために第２の電子装置２００Ｂが配置された位置と所定の閾値を超えて異なる場合、第１の電子装置デバイス１００Ａは、キャリブレーションプロセスを繰り返す必要があることを示す出力（例えば、サウンド）を提供し得る。

【0062】

３Ｄ画像化デバイス１３０はまた、三次元空間の中の検出されたオブジェクトの場所を三次元空間の以前に生成されたモデルと比較することによって、三次元空間の中のオブジェクトが再配置されたかどうか、又は新しいオブジェクトが追加されたかどうかを判定することができる。３Ｄ画像化デバイス１３０が、オブジェクトの構成が所定の閾値を超えて変化したと判定する場合、第１の電子装置デバイス１００Ａは、キャリブレーションプロセスを繰り返す必要があることを示す出力（例えば、サウンド）を提供し得る。

【0063】

図２は、本開示の実施形態によるシステムを示すブロック図である。

【0064】

システムは、第１の電子装置１００Ｂ、第２の電子装置２００Ａ、及び処理システム３００を含む。この実施例では、第１の電子装置１００Ｂは、サウンドバーデバイスであり、第２の電子装置２００Ａは、モバイルフォンである。「サウンドバーデバイス」とは、同じ物理的なスピーカエンクロージャ内に取り付けられた複数の独立して駆動可能又はアドレス指定可能なスピーカ又はサウンダを有するデバイスを意味し、それにより、複数のスピーカ又はサウンダは、本質的に共通のエンクロージャ内に配置され、次いで共通のエンクロージャは、部屋の中のある点に配置される。そのようなデバイスは、当技術分野において周知であり、実施例としては、Ｓｏｎｏｓ Ｉｎｃ．（Ｓａｎｔａ Ｂａｒｂａｒａ，ＣＡ）から入手可能なＳｏｎｏｓ（登録商標）Ｒａｙ（登録商標）及びＢｅａｍ（登録商標）サウンドバーが挙げられる。そのようなデバイスは、それ自体を独立して使用することができるか、又は例えばフルルームサラウンドサウンドシステムを提供するために、同じ部屋の中のサウンドバーから物理的に分離されたそれら自身のエンクロージャに設けられた他の物理的に分離されたスピーカと一緒に使用することができる。本開示の実施例では、サウンドバーデバイスは、典型的には、それ自体で使用され、他の物理的に分離されたスピーカを伴っていない。処理システム３００は、図１に関連して上述した処理システム３００と同じであるため、処理システムの詳細な記載は省略する。

【0065】

図１に示される第１の電子装置１００Ａとは対照的に、第１の電子装置１００Ｂは、３Ｄ画像化デバイスを含んでいない。代わりに、第２の電子装置２００Ａは、３Ｄ画像化デバイス２３０を含み、この３Ｄ画像化デバイス２３０は、図１に関して上述した３Ｄ画像化デバイス１３０と実質的に同じである。３Ｄ画像化デバイス２３０は、三次元空間を画像化し、かつ３Ｄモデルを構築することができる任意の技術、例えば、飛行時間（ＴｏＦ）、レーダ及び／又はステレオビジョンを利用し得る。例えば、３Ｄ画像化デバイス１３０は、飛行時間カメラを含み得、この飛行時間カメラは、間接飛行時間又は直接飛行時間カメラであり得る。

【0066】

３Ｄ画像化デバイス２３０は、第２の電子装置２００Ａを取り囲む三次元空間をマッピングし、マッピングに基づいて三次元空間のモデルを生成するように構成されている。３Ｄ画像化デバイス２３０はまた、三次元空間の中のオブジェクトの空間座標を判定するように構成されている。例えば、３Ｄ画像化デバイス２３０は、三次元空間内の第１の電子装置１００Ａの場所を判定することができる。３Ｄ画像化デバイス２３０は、テストサウンドが記録される三次元空間の中の各場所において第２の電子装置２００Ａの空間座標を記録するように構成されている。プロセッサ２４０は、場所ごとにローカルオーディオプロファイルを生成することができ、ローカルオーディオプロファイルをメモリ２６０に記憶することができる。プロセッサ２４０は、通信機２５０を介して、ローカルオーディオプロファイルを処理システム３００に送信することができる。プロセッサ２４０はまた、通信機２５０を介して、三次元空間のモデルを処理システム３００に送信することができる。

【0067】

図３は、本開示の実施形態によるシステムを示すブロック図である。

【0068】

本システムは、第１の電子装置１００Ａ、第２の電子装置２００Ａ、及び処理システム３００を含む。第１の電子装置１００Ａは、サウンドバーデバイスであり、第２の電子装置２００Ａは、モバイルフォンである。処理システム３００は、図１に関連して上述した処理システム３００と同じであるため、処理システムの詳細な記載は省略する。

【0069】

図３に示されるシステムでは、第１の電子装置１００Ａ及び第２の電子装置２００Ａは各々、それぞれの３Ｄ画像化デバイス１３０、２３０を含む。この実施例では、三次元空間のマッピング及び三次元空間のモデルの生成は、第１の電子装置１００Ａ及び第２の電子装置２００Ａのいずれかによって行うことができる。同様に、この実施例では、第２の電子装置２００Ａの各場所に対応する空間座標の記録は、第１の電子装置１００Ａ及び第２の電子装置２００Ａのいずれかによって行うことができる。

【0070】

上記のシステムは、第１の電子装置及び第２の電子装置に加えて、処理システムを含む。他の実施例では、本システムは、第１の電子装置及び第２の電子装置を含み、別個の処理システムは伴わない。そのような実施例では、処理システムによって行われる処理は、第１の電子装置又は第２の電子装置によって行われ得る。処理が第１の電子装置又は第２の電子装置によって行われる実施例では、処理は、オーディオキャリブレーションプロファイルに従って１つ以上のオーディオ信号を処理することを含み得る。これらの処理されたオーディオ信号は、第１の電子装置又は第２の電子装置のサウンド出力デバイスによって出力され得る。

【0071】

図４は、図１に示されるシステムの概略図である。本システムは、サウンドバーデバイス１００Ａ、モバイルフォン２００Ｂ、及びクラウド処理システム３００を含む。

【0072】

この実施例では、サウンドバーデバイス１００Ａは、部屋Ｒの中の特定の場所に設置されている。モバイルフォン２００Ｂもまた、部屋Ｒの中に位置し、ユーザが部屋Ｒの中の異なる場所に移動させることができる。クラウド処理システム３００は、部屋Ｒから遠隔にある場所にあり、インターネット接続４００を介してサウンドバーデバイス１００Ａ及び／又はモバイルフォン２００Ｂに接続されている。

【0073】

部屋Ｒは、６つのリスニングゾーン１～６に分割されている。リスニングゾーン１～３は、部屋Ｒ内の椅子Ｃの位置に対応し、リスニングゾーン４～６は、ソファＳ上の異なる位置に対応している。図４は、リスニングゾーン１に位置するモバイルフォン２００Ｂを示している。リスニングゾーンのこの配置は単なる例示であり、一般に、リスニングゾーンの数及びリスニングゾーンのそれぞれの位置は、部屋の大きさ及び部屋内の潜在的なユーザ数に応じて判定され得る。

【0074】

キャリブレーションプロセスの間、モバイルフォン２００Ｂは、リスニングゾーン１～６の各々に配置される。モバイルフォン２００Ｂが所与のリスニングゾーンに位置するとき、サウンドバーデバイス１００Ａのサウンド出力デバイス１１０は、モバイルフォン２００Ｂによって記録される一連のテストサウンドを再生する。リスニングゾーンごとに、サウンドバーデバイス１００Ａの３Ｄ画像化デバイス１３０は、部屋Ｒ内のモバイルフォン２００ＢのＸ、Ｙ、Ｚ座標を取り込む。サウンドバーデバイス１００Ａは、モバイルフォン２００Ｂからリスニングゾーンごとの記録されたテストサウンドを受信し、記録されたテストサウンドとリスニングゾーンごとのモバイルフォン２００Ｂの場所とを、リスニングゾーンのローカルオーディオプロファイルとして記憶する。

【0075】

サウンドバーデバイス１００Ａの３Ｄ画像化デバイス１３０は、その視野（ＦｏＶ）内で部屋をマッピングし、マッピングプロセスから得られたデータに基づいて、部屋Ｒのモデルを作り出す。このマッピングプロセスは、モバイルフォン２００Ｂによるテストサウンドの記録の前又は後のいずれかで行われ得る。部屋Ｒのモデルは、部屋Ｒの床、天井、及び壁の場所など、部屋Ｒの境界についての情報を含む。３Ｄ画像化デバイス１３０はまた、窓又は換気口シャフトなどの境界の任意の開口部を識別し得るが、これらは、モデルに含まれ得る。

【0076】

３Ｄ画像化デバイス１３０はまた、椅子Ｃ及びソファＳなどの部屋Ｒの中のオブジェクトを識別し得る。３Ｄ画像化デバイス１３０はまた、部屋Ｒの中のオブジェクトの材料を検出することが可能であり得る。この追加情報は、部屋Ｒのモデルに組み込まれ得る。これにより、モデルが部屋Ｒのオーディオ特性をより正確に表すことが可能になる。

【0077】

テストサウンドの記録及びモデルの生成が完了すると、サウンドバーデバイス１００Ａは、インターネット接続４００を介して、部屋のモデル及びリスニングゾーンのローカルオーディオプロファイルをクラウド処理システム３００に送信する。クラウド処理システム３００は、部屋Ｒのモデル及びローカルオーディオプロファイルを使用して部屋Ｒのマルチフィジックスシミュレーションを行い、部屋Ｒのオーディオキャリブレーションプロファイルを生成する。次いで、部屋Ｒのオーディオキャリブレーションプロファイルは、インターネット接続４００を介してサウンドバーデバイス１００Ａに送信される。

【0078】

サウンドバーデバイス１００Ａの動作中、部屋Ｒのモデルは、部屋Ｒの中のユーザ（又は複数のユーザ）の位置、特に、ユーザがどのリスニングゾーンに位置するかを考慮するために、３Ｄ画像化デバイス１３０からの情報に基づいて更新することができる。サウンドバーデバイス１００Ａは、クラウド処理システム３００から受信した部屋Ｒのオーディオキャリブレーションプロファイルに基づいて、リスニングゾーン内のユーザの適切なオーディオ等化プロファイルを使用することができる。

【0079】

３Ｄ画像化デバイス１３０は、部屋Ｒの中の家具（例えば、椅子Ｃ及びソファＳ）が再配置されたかどうか、又は新しい家具が部屋Ｒに追加されたかどうかを判定することができる。３Ｄ画像化デバイスが、家具が以前に検出された位置から特定の閾値外に移動したと判定する場合、サウンドバーデバイス１００Ａは、キャリブレーションプロセスを繰り返す必要があることを示す出力（例えば、サウンド）を提供し得る。

【0080】

図５は、本開示の実施形態による方法を示すフロー図である。

【0081】

本方法は、第１の電子装置によって、１つ以上のテストサウンドを出力すること（Ｓ５１０）、及び第２の電子装置によって、三次元空間の中の１つ以上の場所の各々において１つ以上のテストサウンドを記録すること（Ｓ５２０）、を含む。第２の電子装置は、モバイル装置である。

【0082】

本方法は、第１の電子装置又は第２の電子装置によって、１つ以上の場所の各々に対応する空間座標を判定すること（Ｓ５３０）を更に含む。

【0083】

本方法は、上記の場所について判定された空間座標と、上記の場所において記録された１つ以上のテストサウンドとに基づいて、上記の場所の各々のローカルオーディオプロファイルを生成すること（Ｓ５４０）を更に含む。このステップは、第１の電子装置又は第２の電子装置によって行われ得る。代替的に、このステップは、処理システムによって行われ得る。

【0084】

本方法は、第１の電子装置又は第２の電子装置によって、三次元空間をマッピングすること（Ｓ５５０）と、マッピングに基づいて三次元空間のモデルを生成すること（Ｓ５６０）と、を更に含む。モデルを生成することは、第１の電子装置又は第２の電子装置によって行われ得る。代替的に、このステップは、処理システムによって行われ得る。

【0085】

本方法は、三次元空間のモデルとローカルオーディオプロファイルとに基づいて、三次元空間のオーディオキャリブレーションプロファイルを計算すること（Ｓ５７０）を更に含む。このステップは、処理システムによって行われ得る。代替的に、このステップは、第１の電子装置又は第２の電子装置によって行われ得る。

【0086】

本方法のステップの順序は、図５に示される特定の順序に限定されないことを理解されたい。例えば、ステップ５５０及び５６０は、ステップ５１０～５４０の前に行われ得る。

【0087】

追加、削除、又は置換によるかどうかにかかわらず、追加の実施例を提供するための上述の実施例に対する様々な更なる修正が当業者には明らかであり、それらのいずれか及び全ては、添付の特許請求の範囲によって包含されることが意図される。

【図1】

【図2】

【図3】

【図4】

【図5】

【国際調査報告】