(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-02-09
(54)【発明の名称】没入型及びバイノーラルサウンドの組み合わせ
(51)【国際特許分類】
H04S 3/00 20060101AFI20220202BHJP
H04S 7/00 20060101ALI20220202BHJP
H04R 1/00 20060101ALI20220202BHJP
【ＦＩ】
H04S3/00 400
H04S7/00 380
H04R1/00 317
【審査請求】未請求
【予備審査請求】有
(21)【出願番号】P 2021534156
(86)(22)【出願日】2019-11-14
(85)【翻訳文提出日】2021-08-05
(86)【国際出願番号】 US2019061395
(87)【国際公開番号】W WO2020123087
(87)【国際公開日】2020-06-18
(31)【優先権主張番号】16/219,180
(32)【優先日】2018-12-13
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕ－ｒａｙ
２．ＡＮＤＲＯＩＤ
(71)【出願人】
【識別番号】503206684
【氏名又は名称】ディーティーエス・インコーポレイテッド
【氏名又は名称原語表記】ＤＴＳ，Ｉｎｃ．
(74)【代理人】
【識別番号】100094569
【弁理士】
【氏名又は名称】田中 伸一郎
(74)【代理人】
【識別番号】100103610
【弁理士】
【氏名又は名称】▲吉▼田 和彦
(74)【代理人】
【識別番号】100109070
【弁理士】
【氏名又は名称】須田 洋之
(74)【代理人】
【識別番号】100067013
【弁理士】
【氏名又は名称】大塚 文昭
(74)【代理人】
【識別番号】100086771
【弁理士】
【氏名又は名称】西島 孝喜
(74)【代理人】
【識別番号】100109335
【弁理士】
【氏名又は名称】上杉 浩
(74)【代理人】
【識別番号】100120525
【弁理士】
【氏名又は名称】近藤 直樹
(74)【代理人】
【識別番号】100139712
【弁理士】
【氏名又は名称】那須 威夫
(72)【発明者】
【氏名】スラック ブライアン
【テーマコード（参考）】
5D017
5D162
【Ｆターム（参考）】
5D017AB11
5D162AA07
5D162BA09
5D162CA26
5D162CC12
5D162CD07
5D162CD21
(57)【要約】
本発明の主題は、サウンドを分離して、ラウドスピーカのセット及びヘッドホンのセットを用いて分離されたサウンドを再生することによって、音像定位が直面する技術的問題に対する技術的解決策を提供する。部屋全体で体験することを目的とした一般的なサウンドトラックは、ラウドスピーカを通じて再生され、リスナーの近くで体験することを目的とした特定のサウンドは、ヘッドホンのバイノーラル表現で再生されることになる。ヘッドホンは、耳を塞がないように選択することで、ラウドスピーカにて発生するサウンドを明瞭に聞こえるようにすることができる。ラウドスピーカとヘッドホンの組み合わせを使用したこのサウンドの分離及び再生は、室内の任意の場所においてリスナーへのサウンドを定位することによって、典型的なサラウンドサウンドシステムが直面する技術的な問題に対する技術的解決策を提供する。これにより、同一平面スピーカ構成の上方又は下方のオーディオオブジェクトを含む、場所固有のオーディオオブジェクトの再生精度が向上する。
【選択図】図２
【選択図】図２
【特許請求の範囲】
【請求項1】
没入型サウンドシステムであって、１又は２以上のプロセッサと、
命令を含む記憶装置と、
を備え、
前記命令は、前記１又は２以上のプロセッサによって実行されたときに、
サラウンドサウンドオーディオ入力を受信し、
前記サラウンドサウンドオーディオ入力をシーンサウンドコンポーネントとユーザサウンドコンポーネントとに分解し、
前記シーンサウンドコンポーネントを複数のラウドスピーカに出力し、
前記ユーザサウンドコンポーネントをユーザヘッドホンに出力する、
ように前記１又は２以上のプロセッサを構成する、没入型サウンドシステム。
【請求項2】
前記命令は、ヘッドホン接続を検出するように前記１又は２以上のプロセッサを更に構成し、前記サラウンドサウンドオーディオ入力の分解は、前記ヘッドホン接続の検出に応答する、請求項１に記載のシステム。
【請求項3】
前記命令が、ヘッドホン切断を検出し、
前記ヘッドホン切断の検出に応答して、前記シーンサウンドコンポーネント及び前記ユーザサウンドコンポーネントを前記複数のラウドスピーカに出力する、
ように前記１又は２以上のプロセッサを更に構成する、請求項１に記載のシステム。
【請求項4】
前記命令が、前記サラウンドサウンドオーディオ入力に関連付けられた複数のオーディオチャネルを決定し、前記複数のオーディオチャネルの各々が、関連付けられたラウドスピーカ位置を有し、
前記複数のラウドスピーカの各々の数及び位置を示すラウドスピーカ構成情報を受信し、
前記複数のオーディオチャネルと前記ラウドスピーカ構成情報との比較に基づいて、１又は２以上の不適合チャネルを識別し、
前記１又は２以上の不適合チャネルを前記ユーザヘッドホンに出力する、
ように前記１又は２以上のプロセッサを更に構成する、請求項１に記載のシステム。
【請求項5】
前記ユーザサウンドコンポーネントが、移動するサウンドオブジェクトを含む、請求項１に記載のシステム。
【請求項6】
前記ユーザサウンドコンポーネントが、高所サウンドオブジェクトを含み、前記高所サウンドオブジェクトは、リスナー位置の上方の関連する３Ｄ位置を有する、請求項１に記載のシステム。
【請求項7】
前記ユーザヘッドホンが、骨伝導ヘッドホンを含む、請求項１に記載のシステム。
【請求項8】
前記ユーザヘッドホンが、ステレオヘッドホンを含み、頭部伝達関数（ＨＲＴＦ）を用いて、前記ユーザヘッドホンの周りの３Ｄ位置からのサウンドの知覚を生成する、請求項１に記載のシステム。
【請求項9】
前記サラウンドサウンドオーディオ入力の分解が、オーディオオブジェクトを前記シーンサウンドコンポーネントに分解し、前記各オーディオオブジェクトが、関連する３Ｄオーディオオブジェクト位置を含み、
サウンドソースを前記ユーザサウンドコンポーネントに分解し、前記サウンドソースが、関連するレンダリング方法を使用した最終ミックスの再生オーディオ信号を含む、
ように前記１又は２以上のプロセッサを更に構成する命令を含む、請求項１に記載のシステム。
【請求項10】
前記サラウンドサウンドオーディオ入力の分解が、自己中心的オーディオを前記シーンサウンドコンポーネントに分解し、前記自己中心的オーディオが、各ヘッドホンユーザに固有のオーディオを含み、
他者中心的オーディオを前記ユーザサウンドコンポーネントに分解し、前記他者中心的オーディオが、部屋に固有のオーディオを含む、
ように前記１又は２以上のプロセッサを更に構成する命令を含む、請求項１に記載のシステム。
【請求項11】
前記サラウンドサウンドオーディオ入力の分解が、ダイジェティックオーディオを前記シーンサウンドコンポーネントに分解し、前記ダイジェティックオーディオが、ビデオ画面で見ることができるオーディオ又はビデオ画面に表示されるシーンに存在することが暗示されるオーディオを含み、
非ダイジェティックオーディオを前記ユーザサウンドコンポーネントに分解し、前記非ダイジェティックオーディオが、前記ビデオ画面で見ることができないか、又は前記ビデオ画面に表示される前記シーンに存在することを暗示されない、
ように前記１又は２以上のプロセッサを更に構成する命令を含む、請求項１に記載のシステム。
【請求項12】
没入型サウンドシステム方法であって、サラウンドサウンドオーディオ入力を受信するステップと、
前記サラウンドサウンドオーディオ入力をシーンサウンドコンポーネントとユーザサウンドコンポーネントとに分解するステップと、
前記シーンサウンドコンポーネントを複数のラウドスピーカに出力するステップと、
前記ユーザサウンドコンポーネントをユーザヘッドホンに出力するステップと、
を含む、方法。
【請求項13】
ヘッドホン接続を検出するステップを更に含み、前記サラウンドサウンドオーディオ入力の分解が、前記ヘッドホン接続の検出に応答する、請求項１２に記載の方法。
【請求項14】
ヘッドホン切断を検出するステップと、前記ヘッドホン切断の検出に応答して、前記シーンサウンドコンポーネント及び前記ユーザサウンドコンポーネントを前記複数のラウドスピーカに出力するステップと、
を更に含む、
請求項１２に記載の方法。
【請求項15】
前記サラウンドサウンドオーディオ入力に関連付けられた複数のオーディオチャネルを決定し、前記複数のオーディオチャネルの各々は、関連付けられたラウドスピーカ位置を有する、ステップと、前記複数のラウドスピーカの各々の数及び位置を示すラウドスピーカ構成情報を受信するステップと、
前記複数のオーディオチャネルと前記ラウドスピーカ構成情報との比較に基づいて、１又は２以上の不適合チャネルを識別するステップと、
前記１又は２以上の不適合チャネルを前記ユーザヘッドホンに出力するステップと、
を更に含む、請求項１２に記載の方法。
【請求項16】
前記ユーザヘッドホンが、骨伝導ヘッドホンを含む、請求項１２に記載の方法。
【請求項17】
前記ユーザヘッドホンが、ステレオヘッドホンを含み、頭部伝達関数（ＨＲＴＦ）を用いて、前記ユーザヘッドホンの周りの３Ｄ位置からのサウンドの知覚を生成する、請求項１２に記載の方法。
【請求項18】
複数の命令を含む機械可読記憶媒体であって、前記命令が、装置のプロセッサで実行されたときに、
サラウンドサウンドオーディオ入力を受信する動作と、
前記サラウンドサウンドオーディオ入力をシーンサウンドコンポーネントとユーザサウンドコンポーネントとに分解する動作と、
前記シーンサウンドコンポーネントを複数のラウドスピーカに出力する動作と、
前記ユーザサウンドコンポーネントをユーザヘッドホンに出力する動作と、
を前記装置に実行させる、機械可読記憶媒体。
【請求項19】
前記命令が更に、前記装置にヘッドホン接続を検出させ、サラウンドサウンドオーディオ入力の分解が、前記ヘッドホン接続の検出に応答する、請求項１８に記載の機械可読記憶媒体。
【請求項20】
前記命令は、前記装置が、ヘッドホン切断を検出し、
前記ヘッドホン切断の検出に応答して、前記シーンサウンドコンポーネント及び前記ユーザサウンドコンポーネントを前記複数のラウドスピーカに出力する、
ようにさせる、請求項１８に記載の機械可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本出願は、その内容が全体的に本明細書に組み込まれる、２０１８年１２月１３日に出願された米国特許出願第６２／５７３，９６６号明細書に対する優先権を主張する。
（技術分野）
本出願は、その内容が全体的に本明細書に組み込まれる、２０１８年１２月１３日に出願された米国特許出願第６２／５７３，９６６号明細書に対する優先権を主張する。
（技術分野）
【0002】
本明細書に記載される技術は、リスナーに対してサラウンドサウンド符号化オーディオを再生するシステム及び方法に関する。
【背景技術】
【0003】
サラウンドサウンドシステムは、リスナー（例えば、ユーザ）に対してオーディオソースを再生するための複数のスピーカを含む。典型的なサラウンドサウンドシステムは、リスナーの周りの水平面においてあらゆる方向から来るサウンドの知覚を生成するよう配置されたフロントスピーカ、リアスピーカ、又はサイドスピーカを含むことができる。没入型サウンドシステムは、リスナーの耳の上方又は下方にスピーカを含むことができ、これらのスピーカを用いて、リスナーの周りのあらゆる位置から来るサウンドの知覚を生成することができる。
【0004】
サラウンド又は没入型サウンドシステムは、部屋の特定のポイントにサウンドを定位することができ、通常は、再生されたサウンドをリスナーの耳の位置に定位するリスナーの物理的位置を表す「スイートスポット」又はプライマリ聴取位置にサウンドを定位できる。しかしながら、このようなシステムでは、様々な位置にいるリスナーに対して音を所定位置に配置することはできない。例えば、あるリスナーの右側に定位されたサウンドが、別のリスナーの左側に定位される場合がある。この部屋固有の定位により、リスナーが着席できる位置の数が低減される可能性がある。必要とされるのは、様々なリスナー位置でサラウンドサウンドを再生するための改良されたシステムである。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】米国特許第５，９７４，３８０号明細書
【特許文献2】米国特許第５，９７８，７６２号明細書
【特許文献3】米国特許第６，４８７，５３５号明細書
【図面の簡単な説明】
【0006】
【図1】例示的な実施形態による、例示的なサラウンドシステムの概略図である。
【図2】例示的な実施形態による、第１の没入型及びバイノーラルサウンドシステムの概略図である。
【図3】例示的な実施形態による、第２の没入型及びバイノーラルサウンドシステムの概略図である。
【図4】例示的な実施形態による、没入型及びバイノーラルサウンドシステムの流れ図である。
【図5】例示的な実施形態による、没入型及びバイノーラルサウンドシステムのブロック図である。
【発明を実施するための形態】
【0007】
本発明の主題は、サウンドを分離して、ラウドスピーカのセット及びヘッドホンのセットを用いて分離されたサウンドを再生することによって、音像定位が直面する技術的問題に対する技術的解決策を提供する。一例では、部屋全体で体験することを目的とした一般的なサウンドトラックは、ラウドスピーカを通じて再生され、リスナーの近くで体験することを目的とした特定のサウンドは、ヘッドホンのバイノーラル表現で再生されることになる。ヘッドホンは、耳を塞がないように選択することで、ラウドスピーカにて発生するサウンドを明瞭に聞こえるようにすることができる。ラウドスピーカとヘッドホンの組み合わせを使用したこのサウンドの分離及び再生は、室内の任意の場所においてリスナーへのサウンドを定位することによって、典型的なサラウンドサウンドシステムが直面する技術的な問題に対する技術的解決策を提供する。これにより、同一平面スピーカ構成の上方又は下方のオーディオオブジェクトを含む、場所固有のオーディオオブジェクトの再生精度が向上する。追加のスピーカを必要とすることなく再生精度を向上させることにより、この解決策は、新規の臨場感のあるオーディオ体験を提供する。
【0008】
実施形態に関する以下の説明で使用される場合、「オーディオオブジェクト」は３Ｄ位置データを含む。従って、オーディオオブジェクトは、静的又は動的な３Ｄ位置データを有するオーディオソースの特定の組み合わせ表現を含むことを理解されたい。対照的に、「サウンドソース」は、最終ミックス又はレンダリングでプレイバック又は再生するためのオーディオ信号であり、対象とする静的又は動的レンダリング方法又は目的を有する。サウンドソースは、１又は２以上の特定のチャネル（例えば、信号「フロントレフト」、低音効果（ＬＦＥ）チャネル）に関連付けられ、又は２又は３以上のサウンドソースの発生方向間のパニングに関連付けられ（例えば、中央チャネルから右に９０度パンされ）、或いは他の指向性構成に関連付けることができる。
【0009】
この説明は、特にラウドラウドスピーカ及びヘッドホン（例えば、ヘッドセット）アプリケーションにおいてオーディオ信号を合成するための方法及び装置を含む。本開示の態様は、ラウドスピーカ又はヘッドセットを含む例示的なシステムの関連で提示されるが、記載される方法及び装置は、このようなシステムに限定されず、本明細書の教示は、オーディオ信号の合成を含む他の方法及び装置に適用可能であることを理解されたい。以下の説明及び図面は、当業者が各特定の実施形態を理解できるように特定の実施形態を十分に例示している。他の実施形態は、構造的、論理的、電気的、プロセス、及び他の変更を組み込むことができる。様々な実施形態の一部及び特徴は、他の実施形態のものに含まれるか又はこれらと置き換えることができる。請求項に記載された実施形態は、これらの請求項の利用可能な全ての均等物を包含する。本明細書は、図示の実施形態に関連して本発明の主題を開発及び動作するための機能及びステップシーケンスを記載している。同じ又は同等の機能及びシーケンスは、本発明の主題の範囲内に包含されることが意図された異なる実施形態によって達成できることは理解されたい。関係用語（例えば、第１、第２）の使用は、単に１つの構成要素を別の構成要素から区別するためだけに用いられ、何れかの実際のこのような関係又はこのような構成要素間の順序を必ずしも必要とするか又は示唆するものではない点を理解されたい。
【0010】
図１は、例示的な実施形態による、例示的なサラウンドシステム１００の概略図である。システム１００は、画面１１０上でビデオを見るユーザなど、ユーザ１０５にサラウンドサウンドを提供することができる。サラウンドサウンドシステム１００は、画面１１０とユーザ１０５との間の中心にある中心チャネル１１５を含むことができる。システム１００は、左フロントスピーカ１２０、右フロントスピーカ１２５、左スピーカ１３０、右スピーカ１３５、左リアスピーカ１４０、及び右リアスピーカ１４５を含む、左右のスピーカのペアを含むことができる。サラウンドサウンドシステム１００のラウドスピーカの組み合わせを使用して、リスナーの周りの任意の方向から来る音の知覚を生成することができる。
【0011】
図２は、例示的な実施形態による、第１の没入型及びバイノーラルサウンドシステム２００の概略図である。没入型及びバイノーラルサウンドシステム２００は、センターチャネル２１５、左フロントスピーカ２２０、及び右フロントスピーカ２２５、左スピーカ２３０、右スピーカ２３５、左リアスピーカ２４０、及び右リアスピーカ２４５などの１又は２以上の物理的ラウドスピーカを含むことができる。
【0012】
物理的ラウドスピーカに加えて、没入型及びバイノーラルサウンドシステム２００は、ヘッドホン２１０を含むことができる。ヘッドホン２１０は、様々なラウドスピーカにて又はラウドスピーカ間の任意の場所で再生されているサウンドの知覚を生成する「仮想スピーカ」を作成するのに使用することができる。例えば、ヘッドホン２１０は、リスナーの真後ろのサウンド、他の場合で左リアスピーカ２４０及び右リアスピーカ２４５によって生成できるサウンドの知覚を生成することができる。物理的なリアスピーカは、２つの物理的なリアスピーカの間に直接配置されたリスナーの後方からサウンドを再生することができるが、部屋の中央の左又は右のリスナーは、後方から右又は左に発生するのと同じオーディオを知覚する。対照的に、ヘッドホン２１０は、部屋内のリスナーの位置に関係なく、リスナーの真後ろからのサウンドの知覚を生成することができる。ヘッドホン２１０は、リスナーがスピーカからサウンドを受信できるようにしながら、サウンドを再生するように選択することができる。一実施形態では、ヘッドホン２１０は、耳を覆うのではなく、リスナーの顔面骨構造を通してオーディオを変換する骨伝導ヘッドホンを含むことができる。別の実施形態では、ヘッドホン２１０は、ラウドスピーカから受信したサウンドの閉塞を低減又は排除するように構成されたオープンイヤーヘッドホン設計を含むことができる。
【0013】
ヘッドホン２１０はまた、リスナーの上方又は下方のラウドスピーカで再生されているサウンドの知覚を生成する仮想スピーカを作成するのに使用することができる。一実施形態では、仮想スピーカは、左高度角２７０などの水平より上方の角度でリスナーの左側に配置することができる左ハイトスピーカ２５０を含むことができる。仮想スピーカはまた、右ハイトスピーカ２５５、左リアハイトスピーカ２６０、及び右リアハイトチャネル２６５を含むことができる。追加の仮想スピーカ（図示せず）は、ヘッドホン２１０によって作成することができる。幾つかの実施形態では、仮想スピーカの数及び配置は、５．１チャネル、７．１チャネル、及び他の構成のような予め設定されたスピーカ構成に適合することができる。仮想スピーカを作成する機能によって提供される追加の利点は、スピーカ数を低減する機能を含む。例えば、劇場は、７．１未満のスピーカで７．１チャネルシステムを実施することができ、或いは、１又は２以上のスピーカを取り付けることができない劇場（例えば、歴史的な劇場）は、ヘッドホン２１０を用いてスピーカを補完又は置換することができる。
【0014】
様々な場所で再生されているサウンドの知覚を生成するために、ヘッドホン２１０は、耳ごとに複数のスピーカ、又は耳ごとに１つのスピーカだけを含むことができる。様々なデジタル信号処理（ＤＳＰ）技術を用いて、ヘッドホンのスピーカから直接以外の場所からのサウンドの知覚を作成することができる。このような１つの手法は、頭部の周りの様々な場所で頭部伝達関数（ＨＲＴＦ）の選択をサンプリングすることを含み、各ＨＲＴＦは、頭部の周りの様々な場所の各々に対応するソースオーディオ信号の変化、これらの場所の各々からのサウンドの知覚を生成する変化を記述する。サウンドは、ＨＲＴＦサンプリング位置の何れかで再生することができ、又は、ＨＲＴＦを補間して、測定されたＨＲＴＦ位置間の任意の位置のＨＲＴＦを近似することができる。一実施形態では、測定された全ての同側及び対側のＨＲＴＦを最小位相に変換して、これらの間で線形補間を実行してＨＲＴＦペアを導出することができ、各ＨＲＴＦペアは、適切な両耳間時間遅延（ＩＴＤ）と組み合わせて、所望の合成位置に対するＨＲＴＦを提示する。これらの技術は、ヘッドホン２１０と共に使用して、仮想スピーカを作成するか、又は図３に示すように、ユーザの近くを移動するオーディオオブジェクトの知覚を作成することができる。
【0015】
図３は、例示的な実施形態による、第２の没入型及びバイノーラルサウンドシステム３００の概略図である。没入型及びバイノーラルサウンドシステム３００は、ヘッドホン３１０及び１又は２以上の物理的ラウドスピーカ３１５～３４５を含むことができる。ヘッドホン３１０を用いて、サウンドがオーディオオブジェクトの初期仮想位置３５０にて再生され、オーディオオブジェクトパス３５５に沿って移動し、オーディオオブジェクトの最終仮想位置３６０にて静止するという知覚を生成することができる。様々な例では、これを用いて、リスナーの周りを歩き回っている人、リスナーの周りで音を立てている蜂、又は他の何れかの移動しているオーディオオブジェクトを表すことができる。ヘッドホン３１０を使用して、初期位置３５０、オーディオオブジェクトパス３５５、及び最終位置３６０を再現することにより、オーディオオブジェクトの位置及び動きは、リスナーに対して相対的である。これにより、ヘッドホン３１０を使用するあらゆるリスナーは、リスニングエリア又はビューエリア内の位置に関係なく、同じオーディオオブジェクトの位置及び動きを体験することができるようになる。図３は、図２よりも少ない仮想話者を示しているが、システム２００及びシステム３００の両方は、任意の数の仮想スピーカ又はオーディオオブジェクトを再生することができる。
【0016】
各リスナーにサウンドの正確な再生を提供するために、没入型及びバイノーラルサウンドシステム２００及び３００は、ラウドスピーカ又はヘッドホンで再生するためのオーディオ信号の分離のための１又は２以上の技術を含むことができる。一実施形態では、ソースオーディオ信号は、オーディオオブジェクト（及び対応する３Ｄ位置データ）がヘッドホンによって再生することができ、一方、サウンドソースはラウドスピーカによって再生することができるように分離することができる。別の実施形態では、ソースオーディオ信号は、自己中心的オーディオ（例えば、各リスナーに固有のオーディオ）がヘッドホンによって再生することができ、一方、他者中心的オーディオ（例えば、部屋又は環境に固有のオーディオ）がスピーカによって再生できるように分離することができる。別の実施形態では、ソースオーディオ信号は、ダイジェティックオーディオ（例えば、映画のキャラクターの声又はオブジェクトベースの音場内のオブジェクトからのサウンドなど、通常は画面で見ることができるか、又は存在することが暗示されるソース）はヘッドホンで再生することができ、一方、非ダイジェティックオーディオ（例えば、映画音楽又はナレーターの解説など、通常は画面上で見ることができない、又はシーンに物理的に存在しないことが暗示されるソース）はスピーカで再生できるように分離することができる。これらの手法の様々な組み合わせを使用して、例えば、センターチャネルを使用して、画面上で見ることができるオブジェクト（例えば、画面の中央での俳優の話すセリフ）に対応するダイジェティックオーディオを再生し、他方、ヘッドホンを使用して、画面上で見ることができないダイジェティックオーディオ（例えば、聴衆の後ろから聞こえてくる群衆からの声）を再生するなど、ソースオーディオ信号を分離することができる。
【0017】
没入型及びバイノーラルサウンドシステム２００及び３００は、典型的なサラウンドサウンドシステムに比べて追加の利点を提供する。典型的なサラウンドサウンドシステムは、予め設定された入力オーディオ信号構成を特定のスピーカ構成にマッピングする（例えば、５．１サラウンドサウンドは特定のジオメトリの５つのラウドスピーカにマッピングされる）。しかしながら、スピーカの数又はスピーカ幾何形状が、予め設定された入力オーディオ信号構成に適合しない場合がある。没入型及びバイノーラルサウンドシステム２００及び３００は、これらの非標準構成（例えば、レンダリング例外）に応答することができ、スピーカ又はヘッドホンの数、位置、周波数応答、又は他の特性に基づいて、オーディオ信号を分離及び再生することができる。一実施形態では、ラウドスピーカ又はヘッドホンによる再生のためのオーディオ信号の分離は、利用可能なラウドスピーカの数又は位置に基づくことができる。没入型及びバイノーラルサウンドシステムは、利用可能なラウドスピーカの数及び位置の通知を受信し、入力オーディオ信号を利用可能なラウドスピーカ及びヘッドホンスピーカごとにチャネルに分割することができる。例えば、ソースオーディオ信号が予め設定された構成（例えば、５．１サラウンドサウンド）に関連付けられているが、スピーカが予め設定された構成に必要なスピーカよりも少ない場合、ヘッドホンが予め設定された構成に対応する仮想スピーカを提供するようにオーディオ信号を分離することができる。別の実施形態では、オーディオ信号の分離は、利用可能なラウドスピーカの数又は位置の変化に応答することができる。例えば、ヘッドホンの接続が検出されると、オーディオ信号は、他者中心的ラウドスピーカオーディオ信号と自己中心的ヘッドホンオーディオ信号とに分離することができる。同様に、ヘッドホンの断線が検出されると、オーディオ信号が再結合されて、利用可能なラウドスピーカにより全てのオーディオが再生されるようになる。別の実施形態では、オーディオ信号の分離は、利用可能なラウドスピーカ又はヘッドホンの周波数応答に応答することができる。例えば、骨伝導ヘッドホンの検出は、周波数応答の低下を示し、オーディオ信号は、スピーカが周波数応答の低下を補償するように再結合することができる。ラウドスピーカ又はヘッドホンの様々な特性は、ユーザ測定（例えば、劇場のオーディオエンジニアにより測定されたスピーカの幾何形状）によって提供することができ、又はスピーカの１又は２以上のセンサーによって提供することができ、或いは、ラウドスピーカ又はヘッドホンから送信されるデータによって提供することができる。ラウドスピーカ又はヘッドホンの様々な特性は、セルフテスト又は自動構成ルーチンなど、没入型及びバイノーラルサウンドシステムによって検出することができる。利用可能なラウドスピーカ又はヘッドホンの数、位置、又は変更を含むレンダリングの例外に応答することにより、没入型及びバイノーラルサウンドシステム２００及び３００は、初期インストール時の柔軟性を向上させ、且つその後の何らかの構成変更への適応性を向上させる。
【0018】
図４は、例示的な実施形態による、没入型及びバイノーラルサウンド法４００の流れ図である。方法４００は、サラウンドサウンドオーディオ入力を受信するステップ４１０と、サラウンドサウンドオーディオ入力をシーンサウンドコンポーネントとユーザサウンドコンポーネントとに分解するステップ４２０とを含むことができる。一実施形態では、サラウンドサウンドオーディオ入力の分解は、ヘッドホン接続の検出に応答する。別の実施形態では、サラウンドサウンドオーディオ入力の分解は、入力オーディオチャネルの分析に応答する。例えば、サラウンドサウンドオーディオ入力は、関連する数のラウドスピーカオーディオチャネルとラウドスピーカ位置を有し、サラウンドサウンドオーディオ入力と物理スピーカとの差異に基づいて、サラウンドサウンドオーディオ入力チャネルの１又は２以上は、がユーザのヘッドホンに再割り当てすることができる。
【0019】
サラウンドサウンドオーディオ入力の分解４２０は、サラウンドサウンドオーディオ入力の１又は２以上の特性に基づくことができる。一実施形態では、サラウンドサウンドオーディオ入力の分解は、オーディオオブジェクトをシーンサウンドコンポーネントに分解するステップを含み、各オーディオオブジェクトが関連するオーディオオブジェクト位置を含み、また、サウンドソースをユーザサウンドコンポーネントに分解するステップを含むことができ、サウンドソースが、関連するレンダリング方法との最終ミックスにおいて再生オーディオ信号を含む。別の実施形態では、サラウンドサウンドオーディオ入力の分解は、自己中心的オーディオをシーンサウンドコンポーネントに分解するステップを含み、自己中心的オーディオは、各ヘッドホンユーザに固有のオーディオを含み、また、他者中心的オーディオをユーザサウンドコンポーネントに分解するステップを含むことができる。他者中心的オーディオは、部屋に固有のオーディオを含む。別の実施形態では、サラウンドサウンドオーディオ入力の分解は、ダイジェティックオーディオをシーンサウンドコンポーネントに分解するステップを含み、ダイジェティックオーディオは、ビデオ画面で見ることができるか又はビデオ画面で表示されるシーンに存在することが暗示されるオーディオを含み、また、非ダイジェティックオーディオをユーザサウンドコンポーネントに分解するステップを含み、非ダイジェティックオーディオは、ビデオ画面で見ることができないか、又はビデオ画面に表示されるシーンに存在することが暗示されない。様々な実施形態において、ユーザサウンドコンポーネントは、移動サウンドオブジェクト又は高所サウンドオブジェクトを含み、高所サウンドオブジェクトは、リスナー位置の上方に関連の３Ｄ位置を有する。
【0020】
方法４００は、シーンサウンドコンポーネントを複数のラウドスピーカに出力するステップ４３０と、ユーザサウンドコンポーネントをユーザヘッドホンに出力するステップ４４０とを含むことができる。その後、ヘッドホンの切断が検出された場合、シーンサウンドコンポーネント及びユーザサウンドコンポーネントの両方は、複数のラウドスピーカに出力することができる。ユーザヘッドホンは、骨伝導ヘッドホンを含むことができる。ユーザヘッドホンは、ステレオヘッドホンを含むことができ、頭部伝達関数（ＨＲＴＦ）を使用して、ユーザのヘッドホンの周りの位置からサウンドの知覚を生成する。
【0021】
図５は、例示的な実施形態による、没入型及びバイノーラルサウンドシステム５００のブロック図である。システム５００は、入力オーディオ信号を提供するオーディオソース５１０を含むことができる。システム５００は、上記の技術に基づいてオーディオを再生するために、１又は２以上のヘッドホン５５０又はスピーカ５６０を含むことができる。システム５００は、オーディオソース５１０に動作可能に結合された処理回路５２０を含むことができる。
【0022】
処理回路５２０は、本明細書で教示されるように、処理回路５２０の機能を実行するための命令を有する１又は２以上のプロセッサ５３０及びメモリ５４０を含むことができる。例えば、処理回路５２０は、サラウンドサウンドオーディオ入力を受信し、サラウンドサウンドオーディオ入力をシーンサウンドコンポーネントとユーザサウンドコンポーネントに分解し、シーンサウンドコンポーネントを複数のラウドスピーカに出力し、ユーザサウンドコンポーネントをユーザのヘッドホンに出力するように構成することができる。１又は２以上のプロセッサ５３０は、ベースバンドプロセッサを含むことができる。処理回路５２０は、本明細書で教示される機能、例えば、限定ではないが、図１～４に関連する機能及び構造を実行するためのハードウェア及びソフトウェアを含むことができる。
【0023】
オーディオソースは、複数のオーディオ信号（すなわち、物理的サウンドを表す信号）を含むことができる。これらのオーディオ信号は、デジタル電子信号によって表される。これらのオーディオ信号はアナログとすることができるが、本発明の主題の典型的な実施形態は、時系列のデジタルバイト又はワードとの関連において動作し、これらのバイト又はワードがアナログ信号の離散的近似又は最終的には物理的サウンドを形成する。離散的デジタル信号は、周期的にサンプリングされたオーディオ波形のデジタル表現に対応する。均一なサンプリングでは、波形は、関心のある周波数のナイキストサンプリング定理を満足させるのに十分な速度で又はこれよりも高い速度でサンプリングされる。典型的な実施形態では、１秒当たり約４４，１００サンプルの均一なサンプリングレート（例えば、４４．１ｋＨｚ）を用いることができるが、高サンプリングレート（例えば、９６ｋＨｚ、１２８ｋＨｚ）を代わりに用いることもできる。定量化方式及びビット解像度は、標準的なデジタル信号処理技術に従って特定の応用の要件を満足させるように選択する必要がある。本発明の主題の技術及び装置は、典型的には複数のチャネルにおいて互いに依存しあって適用されることになる。例えば、「サラウンド」オーディオシステム（例えば、２より多いチャネルを有する）の関連で用いることができる。
【0024】
本明細書で使用される「デジタルオーディオ信号」又は「オーディオ信号」は、単なる数学的抽象化を表すものではなく、代わりに、機械又は装置によって検出できる物理媒体において具現化された又は物理媒体によって伝達される情報を示す。この用語は、記録され又は送信される信号を含み、パルス符号変調（ＰＣＭ）又は他の符号化を含む符号化の何らかの形態による伝達を含むことを理解されたい。出力又は入力、或いは中間オーディオ信号は、ＭＰＥＧ、ＡＴＲＡＣ、ＡＣ３、又は米国特許第５，９７４，３８０号、米国特許第５，９７８，７６２号、及び米国特許第６，４８７，５３５号に記載のＤＴＳ社の独占所有権を有する方法を含む、様々な既知の方法の何れかによって符号化又は圧縮することができる。計算の幾つかの修正は、当業者には明らかであるように、この特定の圧縮又は符号化方法に対応することが必要となる場合がある。
【0025】
ソフトウェアでは、オーディオ「コーデック」は、所与のオーディオファイルフォーマット又はストリーミングオーディオフォーマットに従ってデジタルオーディオデータをフォーマット化するコンピュータプログラムを含む。ほとんどのコーデックが、ＱｕｉｃｋＴｉｍｅプレーヤ、ＸＭＭＳ、Ｗｉｎａｍｐ、Ｗｉｎｄｏｗｓ(登録商標)メディアプレーヤ、ＰｒｏＬｏｇｉｃ、又は他のコーデックなどの１又は２以上のマルチメディアプレーヤにインタフェース接続するライブラリとして実装される。ハードウェアでは、オーディオコーデックは、アナログオーディオをデジタル信号として符号化してデジタルをアナログに復号する１又は２以上のデバイスを指す。換言すると、コーデックは、共通クロックで動作するアナログ－デジタルコンバータ（ＡＤＣ）及びデジタル－アナログコンバータ（ＤＡＣ）の両方を包含する。
【0026】
オーディオコーデックは、ＤＶＤプレーヤ、Ｂｌｕ－Ｒａｙプレーヤ、ＴＶチューナ、ＣＤプレーヤ、手持ち式プレーヤ、インターネットオーディオ／ビデオデバイス、ゲームコンソール、移動電話、又は別の電子デバイスなどの消費者電子デバイスにおいて実施することができる。消費者電子デバイスは、ＩＢＭ ＰｏｗｅｒＰＣ、Ｉｎｔｅｌ Ｐｅｎｔｉｕｍ（ｘ８６）プロセッサ、又は他のプロセッサなどのプロセッサの１又は２以上の従来のタイプのものを表すことができる中央処理ユニット（ＣＰＵ）を含む。ランダムアクセスメモリ（ＲＡＭ）は、ＣＰＵによって実行されるデータ処理動作の結果を一時的に格納し、ＣＰＵは一般的に専用メモリチャネルを介してＲＡＭに相互接続される。消費者電子デバイスは、入力／出力（Ｉ／Ｏ）バスを通じてＣＰＵと通信するハードドライブなどの永久記憶装置を含むこともできる。テープドライブ、光学ディスクドライブ、又は他の記憶装置などの他の種類の記憶装置も接続することができる。グラフィクスカードもビデオバスを介してＣＰＵに接続することができ、グラフィクスカードがディスプレイデータを表す信号をディスプレイモニタに送信する。キーボード又はマウスなどの外部周辺データ入力デバイスをＵＳＢポートを通じてオーディオ再生システムに接続することができる。ＵＳＢコントローラが、ＵＳＢポートに接続された外部周辺装置のＣＰＵとの間でデータ及び命令を変換する。プリンタ、マイクロフォン、スピーカ、又は他のデバイスなどの追加のデバイスは、消費者電子デバイスに接続することができる。
【0027】
消費者電子デバイスは、米国ワシントン州レドモンドのＭｉｃｒｏｓｏｆｔ社から提供されているＷＩＮＤＯＷＳ(登録商標)、米国カリフォルニア州クパチーノのＡｐｐｌｅ社から提供されているＭＡＣ ＯＳ、Ａｎｄｒｏｉｄなどのモバイルオペレーティングシステム向けに設計された様々なバージョンのモバイルＧＵＩなどのグラフィカルユーザインタフェース（ＧＵＩ）を有するオペレーティングシステムを利用することができる。消費者電子デバイスは、１又は２以上のコンピュータプログラムを実行することができる。一般的に、オペレーティングシステム及びコンピュータプログラムは、ハードドライブを含む固定式及び／又は着脱式データ記憶装置のうちの１又は２以上のなどのコンピュータ可読媒体内で有形的に具体化される。これらのオペレーティングシステム及びコンピュータプログラムは、何れもＣＰＵによる実行のために上述のデータ記憶装置からＲＡＭにロードすることができる。コンピュータプログラムは、ＣＰＵによって読み取られて実行されたときに、ＣＰＵに、本発明のステップ又は機能を実行するためのステップを実行させる命令を含むことができる。
【0028】
オーディオコーデックは、様々な構成又はアーキテクチャを含むことができる。何れかのこのような構成又はアーキテクチャは、本発明の主題の範囲から逸脱することなく容易に置き換えることができる。当業者であれば、上述のシーケンスがコンピュータ可読媒体で最も一般的に用いられるが、本発明の主題の範囲から逸脱することなく置き換えることができる他の既存のシーケンスも存在することは理解されるであろう。
【0029】
オーディオコーデックの１つの実施形態の要素は、ハードウェア、ファームウェア、ソフトウェア、又はこれらの何れかの組み合わせによって実施することができる。ハードウェアとして実施されたときに、オーディオコーデックは、単一オーディオ信号プロセッサで利用できるか又は様々な処理構成要素間に分散させることができる。ソフトウェアで実施されるときは、本発明の主題の実施形態の要素が、必要なタスクを実行するためのコードセグメントを含むことができる。ソフトウェアは、好ましくは、本発明の主題の１つの実施形態にて記載される動作を実行するための実際のコードを含むか、又は動作をエミュレート又はシミュレートするコードを含む。このプログラム又はコードセグメントは、プロセッサ又は機械アクセス可能媒体に格納するか、或いは伝送媒体を介して搬送波（例えば、キャリアによって変調される信号）において具現化されるコンピュータデータ信号によって送信することができる。「プロセッサ可読又はアクセス可能媒体」又は「機械可読又はアクセス可能媒体」は、情報を格納、送信、又は転送することができる何れかの媒体を含むことができる。
【0030】
プロセッサ可読媒体の実施例は、電子回路、半導体メモリデバイス、読取り専用メモリ（ＲＯＭ）、フラッシュメモリ、消去可能プログラマブルＲＯＭ（ＥＰＲＯＭ）、フロッピーディスケット、コンパクトディスク（ＣＤ）ＲＯＭ、光学ディスク、ハードディスク、光ファイバ媒体、無線周波数（ＲＦ）リンク、又は他の媒体を含む。コンピュータデータ信号は、電子ネットワークチャネル、光ファイバ、無線リンク、電磁リンク、ＲＦリンク、又は他の伝送媒体などの伝送媒体を介して伝播できる何れかの信号を含むことができる。コードセグメントは、インターネット、イントラネット、又は別のネットワークなどのコンピュータネットワークを介してダウンロードすることができる。機械アクセス可能媒体は、製造物品にて具現化することができる。機械アクセス可能媒体は、機械によってアクセスされたときに、以下に説明する動作を機械に実行させるデータを含むことができる。本明細書での用語「データ」は、機械可読目的で符号化される何れかの種類の情報を意味し、これは、プログラム、コード、データ、ファイル、又は他の情報を含むことができる。
【0031】
本発明の主題の実施形態はソフトウェアによって実装することができる。ソフトウェアは、互いに結合された複数のモジュールを含むことができる。ソフトウェアモジュールは、別のモジュールに結合されて、変数、パラメータ、引数、ポインタ、結果、更新された変数、ポインタ、又は他の入力又は出力を生成、送信、受信、又は処理する。ソフトウェアモジュールはまた、プラットフォーム上で実行されるオペレーティングシステムと対話するためのソフトウェアドライバ又はインタフェースとすることもできる。ソフトウェアモジュールはまた、ハードウェアデバイスとの間でデータを構成、セットアップ、初期化、送信、又は受信するためのハードウェアドライバとすることができる。
【0032】
本発明の主題の実施形態は、通常はフローチャート、流れ図、構造図、又はブロック図として表される処理として記述することができる。ブロック図は順次的処理として動作を記述することができるが、これらの動作の多くは、並列で又は同時に実行することができる。加えて、動作の順序は、並べ替えることができる。処理は、その動作が完了したときに終了することができる。処理は、方法、プログラム、手順、又はステップの他のグループに対応することができる。
【0033】
特定の実施形態について、本明細書において例証し説明してきたが、同じ目的を達成するために計画されるあらゆる構成が、図示した特定の実施形態に対して置き換え得ることは、当業者には理解されるであろう。様々な実施形態は、本明細書で記載される実施形態の置換及び／又は組み合わせを用いる。上記の説明は、例証を意図しており、限定ではないこと、及び本明細書で用いる表現及び用語は説明の目的であることを理解されたい。上記の実施形態と他の実施形態の組み合わせは、上記の説明を学習した当業者には明らかであろう。本開示について、本開示の例示的な実施形態を参照しながら詳細に説明してきたが、様々な変更及び修正が実施形態の範囲から逸脱することなく本明細書にて行い得ることは当業者には明らかであろう。従って、本開示は、本開示の修正及び変形形態が添付の請求項及びそれらの均等物の範囲内にある場合、これらを保護するものとする。本明細書にて引用又は言及される各特許及び特許公開は、個々にその全体が引用により組み入れられるか、又は全体が本明細書に記載されるのと同等に引用により本明細書に組み入れられる。本明細書の教示とのこれらの特許又は特許公開の何らかの不一致は、本明細書の教示によって管理される。
【0034】
本明細書で開示される方法及び装置をより良好に例証するために、実施形態の非限定的なリストが提示される。
【0035】
実施例１は、１又は２以上のプロセッサと、命令を含む記憶装置と、を備え、上記命令は、上記１又は２以上のプロセッサによって実行されたときに、サラウンドサウンドオーディオ入力を受信し、上記サラウンドサウンドオーディオ入力をシーンサウンドコンポーネントとユーザサウンドコンポーネントとに分解し、上記シーンサウンドコンポーネントを複数のラウドスピーカに出力し、上記ユーザサウンドコンポーネントをユーザヘッドホンに出力する、ように上記１又は２以上のプロセッサを構成する、没入型サウンドシステムである。
【0036】
実施例２において、実施例１の主題は、任意選択的に、ヘッドホン接続を検出するように１又は２以上のプロセッサを更に構成する命令を含み、サラウンドサウンドオーディオ入力の分解は、ヘッドホン接続の検出に応答する。
【0037】
実施例３において、実施例１～２の１又は２以上の何れかの主題は、任意選択で、ヘッドホン切断を検出し、上記ヘッドホン切断の検出に応答して、上記シーンサウンドコンポーネント及び上記ユーザサウンドコンポーネントを上記複数のラウドスピーカに出力する、ように上記１又は２以上のプロセッサを更に構成する命令を含む。
【0038】
実施例４では、実施例１～３の１又は２以上の何れかの主題は、任意選択的に、上記サラウンドサウンドオーディオ入力に関連付けられた複数のオーディオチャネルを決定し、上記複数のオーディオチャネルの各々が、関連付けられたラウドスピーカ位置を有し、上記複数のラウドスピーカの各々の数及び位置を示すラウドスピーカ構成情報を受信し、上記複数のオーディオチャネルと上記ラウドスピーカ構成情報との比較に基づいて、１又は２以上の不適合チャネルを識別し、上記１又は２以上の不適合チャネルを上記ユーザヘッドホンに出力する、ように上記１又は２以上のプロセッサを更に構成する命令を含む。
【0039】
実施例５では、実施例１～４の１又は２以上の何れかの主題は、任意選択的に、ユーザサウンドコンポーネントが移動するサウンドオブジェクトを含むことを含む。
【0040】
実施例６では、実施例１～５の１又は２以上の何れかの主題は、任意選択的に、ユーザサウンドコンポーネントが高所サウンドオブジェクトを含み、高所サウンドオブジェクトがリスナー位置の上方の関連する位置を有する、ことを含む。
【0041】
実施例７では、実施例１～６の１又は２以上の何れかの主題は、任意選択的に、ユーザヘッドホンが骨伝導ヘッドホンを含むことを含む。
【0042】
実施例８では、実施例１～７の１又は２以上の何れかの主題は、任意選択的に、ユーザヘッドホンがステレオヘッドホンを含み、頭部伝達関数（ＨＲＴＦ）を使用して、ユーザヘッドホンの周りの位置からのサウンドの知覚を生成することを含む。
【0043】
実施例９において、実施例１～８の１又は２以上の何れかの主題は、任意選択的に、オーディオオブジェクトを上記シーンサウンドコンポーネントに分解し、上記各オーディオオブジェクトが、関連する３Ｄオーディオオブジェクト位置を含み、サウンドソースを上記ユーザサウンドコンポーネントに分解し、上記サウンドソースが、関連するレンダリング方法を使用した最終ミックスの再生オーディオ信号を含む、ように上記１又は２以上のプロセッサを更に構成する命令を含む、ことを含む。
【0044】
実施例１０において、実施例１～９の１又は２以上の何れかの主題は、任意選択的に、上記サラウンドサウンドオーディオ入力の分解が、自己中心的オーディオを上記シーンサウンドコンポーネントに分解し、上記自己中心的オーディオが、各ヘッドホンユーザに固有のオーディオを含み、他者中心的オーディオを上記ユーザサウンドコンポーネントに分解し、上記他者中心的オーディオが、部屋に固有のオーディオを含む、ように上記１又は２以上のプロセッサを更に構成する命令を含む、ことを含む。
【0045】
実施例１１において、実施例１～１０の１又は２以上の何れかの主題は、任意選択的に、上記サラウンドサウンドオーディオ入力の分解が、ダイジェティックオーディオを上記シーンサウンドコンポーネントに分解し、上記ダイジェティックオーディオが、ビデオ画面で見ることができるオーディオ又はビデオ画面に表示されるシーンに存在することが暗示されるオーディオを含み、非ダイジェティックオーディオを上記ユーザサウンドコンポーネントに分解し、上記非ダイジェティックオーディオが、上記ビデオ画面で見ることができないか、又は上記ビデオ画面に表示される上記シーンに存在することを暗示されない、ように上記１又は２以上のプロセッサを更に構成する命令を含む、ことを含む。
【0046】
実施例１２は、没入型サウンドシステム方法であって、サラウンドサウンドオーディオ入力を受信するステップと、上記サラウンドサウンドオーディオ入力をシーンサウンドコンポーネントとユーザサウンドコンポーネントとに分解するステップと、上記シーンサウンドコンポーネントを複数のラウドスピーカに出力するステップと、上記ユーザサウンドコンポーネントをユーザヘッドホンに出力するステップと、を含む。
【0047】
実施例１３において、実施例１２の主題は、任意選択的に、ヘッドホン接続を検出するステップを更に含み、上記サラウンドサウンドオーディオ入力の分解が、上記ヘッドホン接続の検出に応答する。
【0048】
実施例１４では、実施例１２～１３の１又は２以上の何れかの主題は、任意選択的に、ヘッドホン切断を検出するステップと、上記ヘッドホン切断の検出に応答して、上記シーンサウンドコンポーネント及び上記ユーザサウンドコンポーネントを上記複数のラウドスピーカに出力するステップと、を含む。
【0049】
実施例１５では、実施例１２～１４の１又は２以上の何れかの主題は、任意選択的に、上記サラウンドサウンドオーディオ入力に関連付けられた複数のオーディオチャネルを決定し、上記複数のオーディオチャネルの各々は、関連付けられたラウドスピーカ位置を有する、ステップと、上記複数のラウドスピーカの各々の数及び位置を示すラウドスピーカ構成情報を受信するステップと、上記複数のオーディオチャネルと上記ラウドスピーカ構成情報との比較に基づいて、１又は２以上の不適合チャネルを識別するステップと、上記１又は２以上の不適合チャネルを上記ユーザヘッドホンに出力するステップと、を含む。
【0050】
実施例１６では、実施例１２～１５の１又は２以上の何れかの主題は、任意選択的に、ユーザサウンドコンポーネントが移動するサウンドオブジェクトを含む、ことを含む。
【0051】
実施例１７では、実施例１２～１６の１又は２以上の何れかの主題は、任意選択的に、上記ユーザサウンドコンポーネントが、高所サウンドオブジェクトを含み、上記高所サウンドオブジェクトは、リスナー位置の上方の関連する３Ｄ位置を有する、ことを含む。
【0052】
実施例１８では、実施例１２～１７の１又は２以上の何れかの主題は、任意選択的に、ユーザヘッドホンが骨伝導ヘッドホンを含む、ことを含む。
【0053】
実施例１９において、実施例１２～１８の１又は２以上の何れかの主題は、任意選択的に、上記ユーザヘッドホンが、ステレオヘッドホンを含み、頭部伝達関数（ＨＲＴＦ）を用いて、上記ユーザヘッドホンの周りの３Ｄ位置からのサウンドの知覚を生成する、ことを含む。
【0054】
実施例２０において、実施例１２～１９の１又は２以上の何れかの主題は、任意選択的に、上記サラウンドサウンドオーディオ入力の分解が、オーディオオブジェクトを上記シーンサウンドコンポーネントに分解し、上記各オーディオオブジェクトが、関連する３Ｄオーディオオブジェクト位置を含む、ステップと、サウンドソースを上記ユーザサウンドコンポーネントに分解し、上記サウンドソースが、関連するレンダリング方法を使用した最終ミックスの再生オーディオ信号を含む、ステップと、を含む。
【0055】
実施例２１において、実施例１２～２０の１又は２以上の何れかの主題は、任意選択的に、上記サラウンドサウンドオーディオ入力の分解が、自己中心的オーディオを上記シーンサウンドコンポーネントに分解し、上記自己中心的オーディオが、各ヘッドホンユーザに固有のオーディオを含む、ステップと、他者中心的オーディオを上記ユーザサウンドコンポーネントに分解し、上記他者中心的オーディオが、部屋に固有のオーディオを含む、ステップと、を含む。
【0056】
実施例２２において、実施例１２～２１の１又は２以上の何れかの主題は、任意選択的に、上記サラウンドサウンドオーディオ入力の分解が、ダイジェティックオーディオを上記シーンサウンドコンポーネントに分解し、上記ダイジェティックオーディオが、ビデオ画面で見ることができるオーディオ又はビデオ画面に表示されるシーンに存在することが暗示されるオーディオを含む、ステップと、非ダイジェティックオーディオを上記ユーザサウンドコンポーネントに分解し、上記非ダイジェティックオーディオが、上記ビデオ画面で見ることができないか、又は上記ビデオ画面に表示される上記シーンに存在することを暗示されない、ステップと、を含む。
【0057】
実施例２３は、命令を含む１又は２以上の機械可読媒体であって、上記命令が、コンピューティングシステムによって実行されたときに、上記コンピューティングシステムに実施例１２～２２の方法の何れかを実行させるようにする。
【0058】
実施例２４は、実施例１２～２２の方法の何れかを実施するための手段を含む装置である。
【0059】
実施例２５は、複数の命令を含む機械可読記憶媒体であって、上記命令が、装置のプロセッサで実行されたときに、サラウンドサウンドオーディオ入力を受信し、上記サラウンドサウンドオーディオ入力をシーンサウンドコンポーネントとユーザサウンドコンポーネントとに分解し、上記シーンサウンドコンポーネントを複数のラウドスピーカに出力し、上記ユーザサウンドコンポーネントをユーザヘッドホンに出力する。
【0060】
実施例２６において、実施例２５の主題は、任意選択的に、上記装置に更にヘッドホン接続を検出させ、サラウンドサウンドオーディオ入力の分解が、上記ヘッドホン接続の検出に応答する、命令を含む。
【0061】
実施例２７において、実施例２５～２６の１又は２以上の何れかの主題は、任意選択的に、ヘッドホン切断を検出し、上記ヘッドホン切断の検出に応答して、上記シーンサウンドコンポーネント及び上記ユーザサウンドコンポーネントを上記複数のラウドスピーカに出力する、ように上記装置に更にさせる、命令を含む。
【0062】
実施例２８において、実施例２５～２７の１又は２以上の何れかの主題は、任意選択的に、デバイスに、上記サラウンドサウンドオーディオ入力に関連付けられた複数のオーディオチャネルを決定し、上記複数のオーディオチャネルの各々が、関連付けられたラウドスピーカ位置を有し、上記複数のラウドスピーカの各々の数及び位置を示すラウドスピーカ構成情報を受信し、上記複数のオーディオチャネルと上記ラウドスピーカ構成情報との比較に基づいて、１又は２以上の不適合チャネルを識別し、上記１又は２以上の不適合チャネルを上記ユーザヘッドホンに出力する、ように上記装置に更にさせる、命令を含む。
【0063】
実施例２９では、実施例２５～２８の１又は２以上の何れかの主題は、任意選択的に、上記ユーザサウンドコンポーネントが移動サウンドオブジェクトを含む、ことを含む。
【0064】
実施例３０では、実施例２５～２９の１又は２以上の何れかの主題は、任意選択的に、ユーザサウンドコンポーネントが高所サウンドオブジェクトを含み、高所サウンドオブジェクトがリスナー位置の上方の関連する位置を有することを含む。
【0065】
実施例３１では、実施例２５～３０の１又は２以上の何れかの主題は、任意選択的に、ユーザヘッドホンが骨伝導ヘッドホンを含むことを含む。
【0066】
実施例３２において、実施例２５～３１の１又は２以上の何れかの主題は、任意選択的に、ユーザヘッドホンがステレオヘッドホンを含み、頭部伝達関数（ＨＲＴＦ）を使用して、ユーザヘッドホンの周りの位置からのサウンドの知覚を生成することを含む。
【0067】
実施例３３において、実施例２５～３２の１又は２以上の何れかの主題は、任意選択的に、上記サラウンドサウンドオーディオ入力の分解が、オーディオオブジェクトを上記シーンサウンドコンポーネントに分解し、上記各オーディオオブジェクトが、関連する３Ｄオーディオオブジェクト位置を含む、ステップと、サウンドソースを上記ユーザサウンドコンポーネントに分解し、上記サウンドソースが、関連するレンダリング方法を使用した最終ミックスの再生オーディオ信号を含む、ように上記装置に更にさせる、命令を含む、ことを含む。
【0068】
実施例３４において、実施例２５～３３の１又は２以上の何れかの主題は、任意選択的に、上記サラウンドサウンドオーディオ入力の分解が、自己中心的オーディオを上記シーンサウンドコンポーネントに分解し、上記自己中心的オーディオが、各ヘッドホンユーザに固有のオーディオを含み、他者中心的オーディオを上記ユーザサウンドコンポーネントに分解し、上記他者中心的オーディオが、部屋に固有のオーディオを含む、ように上記装置に更にさせる、命令を含む、ことを含む。
【0069】
実施例３５において、実施例２５～３４の１又は２以上の何れかの主題は、任意選択的に、上記サラウンドサウンドオーディオ入力の分解が、ダイジェティックオーディオを上記シーンサウンドコンポーネントに分解し、上記ダイジェティックオーディオが、ビデオ画面で見ることができるオーディオ又はビデオ画面に表示されるシーンに存在することが暗示されるオーディオを含む、ステップと、非ダイジェティックオーディオを上記ユーザサウンドコンポーネントに分解し、上記非ダイジェティックオーディオが、上記ビデオ画面で見ることができないか、又は上記ビデオ画面に表示される上記シーンに存在することを暗示されない、ように上記装置に更にさせる、命令を含む、ことを含む。
【0070】
実施例３６は、没入型サウンドシステム装置であって、サラウンドサウンドオーディオ入力を受信するステップと、上記サラウンドサウンドオーディオ入力をシーンサウンドコンポーネントとユーザサウンドコンポーネントとに分解するステップと、上記シーンサウンドコンポーネントを複数のラウドスピーカに出力するステップと、上記ユーザサウンドコンポーネントをユーザヘッドホンに出力するステップと、を含む。
【0071】
例３７は、命令を含む１又は２以上の機械可読媒体であって、上記命令は、機械によって実行されたときに、上記機械に、実施例１～３６の動作の何れかを実行させる。
【0072】
実施例３８は、実施例１～３６の動作の何れかを実行するための手段を備える装置である。
【0073】
実施例３９は、実施例１～３６の何れかの動作を実行するためのシステムである。
【0074】
実施例４０は、実施例１～３６の何れかの動作を実行するための方法である。
【0075】
上記の詳細な説明は、この詳細な説明の一部を形成する添付図面の参照を含む。図面は、例証として特定の実施形態を示す。これらの実施形態はまた、「実施例」として本明細書で参照される。このような実施例は、図示又は説明されたものに加えて要素を含むことができる。更に、本発明の主題は、特定の実施例（又はこの１又は２以上の態様）に関して、又は本明細書で図示又は説明された他の実施例（又はこの１又は２以上の態様）に関しての何れかにおいて、図示又は説明された要素（又はこの１又は２以上の態様）の何れかの組み合わせ又は置換を含むことができる。
【0076】
本明細書において、用語「ａ」又は「ａｎ」は、特許文書において共通するように、「少なくとも１つ」又は「１又は２以上」の他の何れかの事例又は使用に関係なく１又は１よりも多いものを含むのに使用される。本明細書において、用語「ｏｒ（又は）」は、非排他的であることを指すのに使用され、すなわち、別途指示がない限り、「Ａ又はＢ」が「ＢではなくＡ」、「ＡではなくＢ」、及び「Ａ及びＢ」を含むものとする。本明細書において、「ｉｎｃｌｕｄｉｎｇ」及び「ｉｎ ｗｈｉｃｈ」は、それぞれの用語「ｃｏｍｐｒｉｓｉｎｇ」及び「ｗｈｅｒｅｉｎ」の一般的意味の等価物として使用される。また、以下の請求項において、用語「ｉｎｃｌｕｄｉｎｇ」及び「ｃｏｍｐｒｉｓｉｎｇ」は、非制限的なものであり、すなわち、請求項におけるこのような用語の後に列挙された用語に加えて要素を含むシステム、デバイス、製品、組成物、配合物、又はプロセスは、当該請求項の範囲内にあるものと見なされる。更に、以下の請求項において、「第１」、「第２」、及び「第３」などの用語は、単に標識として用いられ、これらの対象に対して数値的要件を課すものではない。
【0077】
上記の説明は例証であり限定ではないものとする。例えば、上述の実施例（又はこの１又は２以上の態様）は、互いに組み合わせて用いることができる。上記の説明を読むと、当業者によってなど、他の実施形態を用いることができる。要約は、読んだ人が技術的開示の本質を迅速に確認できるようにするために提供される。この要約は、請求項の範囲又は意味を解釈又は限定するのに用いられないという条件の下で提示される。上記の詳細な説明では、様々な特徴を共にグループ化して、本開示を簡素化することができる。これは、特許請求されていない開示された特徴が何れかの請求項に必須であるという意図として解釈すべきではない。むしろ、本発明の主題は、特定の開示された実施形態の全てではない特徴によって成立することができる。従って、以下の請求項は、本明細書で詳細な説明に組み入れられ、各請求項は、別個の実施形態として単独で成立しており、このような実施形態が様々な組み合わせ又は置換で互いに組み合わせ得ることが企図される。本発明の範囲は、このような請求項が与えられる均等物の全範囲と共に添付の請求項を参照して決定すべきである。
【符号の説明】
【0078】
215 中央スピーカ
250 左ハイトスピーカ
255 右ハイトスピーカ
230 左スピーカ
270 左高度角
210 ヘッドホン
275 右リア高度角
235 右スピーカ
265 右リアハイトスピーカ
245 右リアスピーカ
260 左リアハイトスピーカ
240 左リアスピーカ
250 左ハイトスピーカ
255 右ハイトスピーカ
230 左スピーカ
270 左高度角
210 ヘッドホン
275 右リア高度角
235 右スピーカ
265 右リアハイトスピーカ
245 右リアスピーカ
260 左リアハイトスピーカ
240 左リアスピーカ
【図1】
【図2】
【図3】
【図4】
【図5】
【手続補正書】
【提出日】2021-08-24
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
没入型サウンドシステムであって、１又は２以上のプロセッサと、
命令を含む記憶装置と、
を備え、
前記命令は、前記１又は２以上のプロセッサによって実行されたときに、
サラウンドサウンドオーディオ入力を受信し、
前記サラウンドサウンドオーディオ入力を部屋に固有のシーンサウンドコンポーネントと各ヘッドホンユーザに固有のユーザサウンドコンポーネントとに分解し、
前記シーンサウンドコンポーネントを複数のラウドスピーカに出力し、
前記ユーザサウンドコンポーネントをユーザヘッドホンに出力する、
ように前記１又は２以上のプロセッサを構成する、没入型サウンドシステム。
【請求項2】
前記命令は、ヘッドホン接続を検出するように前記１又は２以上のプロセッサを更に構成し、前記サラウンドサウンドオーディオ入力の分解は、前記ヘッドホン接続の検出に応答する、請求項１に記載のシステム。
【請求項3】
前記命令が、ヘッドホン切断を検出し、
前記ヘッドホン切断の検出に応答して、前記シーンサウンドコンポーネント及び前記ユーザサウンドコンポーネントを前記複数のラウドスピーカに出力する、
ように前記１又は２以上のプロセッサを更に構成する、請求項１に記載のシステム。
【請求項4】
前記命令が、前記サラウンドサウンドオーディオ入力に関連付けられた複数のオーディオチャネルを決定し、前記複数のオーディオチャネルの各々が、関連付けられたラウドスピーカ位置を有し、
前記複数のラウドスピーカの各々の数及び位置を示すラウドスピーカ構成情報を受信し、
前記複数のオーディオチャネルと前記ラウドスピーカ構成情報との比較に基づいて、１又は２以上の不適合チャネルを識別し、
前記１又は２以上の不適合チャネルを前記ユーザヘッドホンに出力する、
ように前記１又は２以上のプロセッサを更に構成する、請求項１に記載のシステム。
【請求項5】
前記ユーザサウンドコンポーネントが、移動するサウンドオブジェクトを含む、請求項１に記載のシステム。
【請求項6】
前記ユーザサウンドコンポーネントが、高所サウンドオブジェクトを含み、前記高所サウンドオブジェクトは、リスナー位置の上方の関連する３Ｄ位置を有する、請求項１に記載のシステム。
【請求項7】
前記ユーザヘッドホンが、骨伝導ヘッドホンを含む、請求項１に記載のシステム。
【請求項8】
前記ユーザヘッドホンが、ステレオヘッドホンを含み、頭部伝達関数（ＨＲＴＦ）を用いて、前記ユーザヘッドホンの周りの３Ｄ位置からのサウンドの知覚を生成する、請求項１に記載のシステム。
【請求項9】
前記サラウンドサウンドオーディオ入力の分解が、オーディオオブジェクトを前記シーンサウンドコンポーネントに分解し、前記各オーディオオブジェクトが、関連する３Ｄオーディオオブジェクト位置を含み、
サウンドソースを前記ユーザサウンドコンポーネントに分解し、前記サウンドソースが、関連するレンダリング方法を使用した最終ミックスの再生オーディオ信号を含む、
ように前記１又は２以上のプロセッサを更に構成する命令を含む、請求項１に記載のシステム。
【請求項10】
前記サラウンドサウンドオーディオ入力の分解が、自己中心的オーディオを前記シーンサウンドコンポーネントに分解し、前記自己中心的オーディオが、各ヘッドホンユーザに固有のオーディオを含み、
他者中心的オーディオを前記ユーザサウンドコンポーネントに分解し、前記他者中心的オーディオが、部屋に固有のオーディオを含む、
ように前記１又は２以上のプロセッサを更に構成する命令を含む、請求項１に記載のシステム。
【請求項11】
前記サラウンドサウンドオーディオ入力の分解が、ダイジェティックオーディオを前記シーンサウンドコンポーネントに分解し、前記ダイジェティックオーディオが、ビデオ画面で見ることができるオーディオ又はビデオ画面に表示されるシーンに存在することが暗示されるオーディオを含み、
非ダイジェティックオーディオを前記ユーザサウンドコンポーネントに分解し、前記非ダイジェティックオーディオが、前記ビデオ画面で見ることができないか、又は前記ビデオ画面に表示される前記シーンに存在することを暗示されない、
ように前記１又は２以上のプロセッサを更に構成する命令を含む、請求項１に記載のシステム。
【請求項12】
没入型サウンドシステム方法であって、サラウンドサウンドオーディオ入力を受信するステップと、
前記サラウンドサウンドオーディオ入力を部屋に固有のシーンサウンドコンポーネントと各ヘッドホンユーザに固有のユーザサウンドコンポーネントとに分解するステップと、
前記シーンサウンドコンポーネントを複数のラウドスピーカに出力するステップと、
前記ユーザサウンドコンポーネントをユーザヘッドホンに出力するステップと、
を含む、方法。
【請求項13】
ヘッドホン接続を検出するステップを更に含み、前記サラウンドサウンドオーディオ入力の分解が、前記ヘッドホン接続の検出に応答する、請求項１２に記載の方法。
【請求項14】
ヘッドホン切断を検出するステップと、前記ヘッドホン切断の検出に応答して、前記シーンサウンドコンポーネント及び前記ユーザサウンドコンポーネントを前記複数のラウドスピーカに出力するステップと、
を更に含む、
請求項１２に記載の方法。
【請求項15】
前記サラウンドサウンドオーディオ入力に関連付けられた複数のオーディオチャネルを決定し、前記複数のオーディオチャネルの各々は、関連付けられたラウドスピーカ位置を有する、ステップと、前記複数のラウドスピーカの各々の数及び位置を示すラウドスピーカ構成情報を受信するステップと、
前記複数のオーディオチャネルと前記ラウドスピーカ構成情報との比較に基づいて、１又は２以上の不適合チャネルを識別するステップと、
前記１又は２以上の不適合チャネルを前記ユーザヘッドホンに出力するステップと、
を更に含む、請求項１２に記載の方法。
【請求項16】
前記ユーザヘッドホンが、骨伝導ヘッドホンを含む、請求項１２に記載の方法。
【請求項17】
前記ユーザヘッドホンが、ステレオヘッドホンを含み、頭部伝達関数（ＨＲＴＦ）を用いて、前記ユーザヘッドホンの周りの３Ｄ位置からのサウンドの知覚を生成する、請求項１２に記載の方法。
【請求項18】
複数の命令を含む機械可読記憶媒体であって、前記命令が、装置のプロセッサで実行されたときに、
サラウンドサウンドオーディオ入力を受信する動作と、
前記サラウンドサウンドオーディオ入力を部屋に固有のシーンサウンドコンポーネントと各ヘッドホンユーザに固有のユーザサウンドコンポーネントとに分解する動作と、
前記シーンサウンドコンポーネントを複数のラウドスピーカに出力する動作と、
前記ユーザサウンドコンポーネントをユーザヘッドホンに出力する動作と、
を前記装置に実行させる、機械可読記憶媒体。
【請求項19】
前記命令が更に、前記装置にヘッドホン接続を検出させ、サラウンドサウンドオーディオ入力の分解が、前記ヘッドホン接続の検出に応答する、請求項１８に記載の機械可読記憶媒体。
【請求項20】
前記命令は、前記装置が、ヘッドホン切断を検出し、
前記ヘッドホン切断の検出に応答して、前記シーンサウンドコンポーネント及び前記ユーザサウンドコンポーネントを前記複数のラウドスピーカに出力する、
ようにさせる、請求項１８に記載の機械可読記憶媒体。
【国際調査報告】