知財求人 - 知財ポータルサイト「IP Force」
特許7579311低複雑性低ビットレート６ＤＯＦ ＨＯＡのレンダリング方法および装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-29
(45)【発行日】2024-11-07
(54)【発明の名称】低複雑性低ビットレート６ＤＯＦ ＨＯＡのレンダリング方法および装置
(51)【国際特許分類】
G10L 19/008 20130101AFI20241030BHJP
H04S 7/00 20060101ALI20241030BHJP
【ＦＩ】
G10L19/008 100
H04S7/00 320
【請求項の数】
18
【外国語出願】
(21)【出願番号】P 2022165971
(22)【出願日】2022-10-17
(65)【公開番号】P2023060836
(43)【公開日】2023-04-28
【審査請求日】2023-02-20
(31)【優先権主張番号】2114833.3
(32)【優先日】2021-10-18
(33)【優先権主張国・地域又は機関】GB
(73)【特許権者】
【識別番号】515076873
【氏名又は名称】ノキア テクノロジーズ オサケユイチア
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100092624
【弁理士】
【氏名又は名称】鶴田 準一
(74)【代理人】
【識別番号】100141162
【弁理士】
【氏名又は名称】森 啓
(74)【代理人】
【識別番号】100151459
【弁理士】
【氏名又は名称】中村 健一
(72)【発明者】
【氏名】スジート シャムスンダル マテ
(72)【発明者】
【氏名】ユッシ アルットゥリ レッパネン
(72)【発明者】
【氏名】アルト ユハニ レフティニエミ
【審査官】堀 洋介
(56)【参考文献】
【文献】国際公開第２０２１／１７０９００（ＷＯ，Ａ１）
【文献】特表２０２０－５２７７４６（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ１０Ｌ １９／００－１９／００８
Ｈ０４Ｓ １／００－ ７／００
(57)【特許請求の範囲】
【請求項1】
少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つのメモリとを備える装置であって、前記少なくとも１つのメモリおよび前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサにより、前記装置に、少なくとも、２つ以上のオーディオシーンベースのソースを取得することであって、前記２つ以上のオーディオシーンベースのソースは、オーディオシーンにおける１つ以上の位置に関連付けられ、各オーディオシーンベースのソースは、少なくとも１つの空間パラメータおよび少なくとも１つのオーディオ信号を含む、取得することと、
前記取得された２つ以上のオーディオシーンベースのソースの少なくとも１つに関連付けられた少なくとも１つの位置を決定することであって、前記少なくとも１つの位置は、レンダリングのために決定される、決定することと、
前記決定された少なくとも１つの位置に基づいて、少なくとも１つのオーディオソースを生成することであって、前記少なくとも１つのオーディオソースを生成するように構成された手段は、
前記決定された少なくとも１つの位置に関連して、前記取得された２つ以上のオーディオシーンベースのソースのうちの少なくとも１つに前記関連する前記少なくとも１つの空間パラメータに基づいて、少なくとも１つの空間オーディオパラメータを生成し、
前記決定された少なくとも１つの位置に関連して、前記取得された２つ以上のオーディオシーンベースのソースの前記少なくとも１つのオーディオ信号に基づいて、前記少なくとも１つのオーディオソースのための少なくとも１つのオーディオソース信号を生成するように構成される、生成することと、
前記生成された少なくとも１つの空間オーディオパラメータと、前記取得された２つ以上のオーディオシーンベースのソースの少なくとも１つに関連する前記少なくとも１つのオーディオ信号との間の関係に関する情報を生成することであって、前記生成された少なくとも１つのオーディオソースは、レンダラのプリファレンスに基づいて選択される、生成することと、
を行わせるように構成される装置。
【請求項2】
前記装置は、前記少なくとも１つの位置を決定するようにされ、前記装置は、前記少なくとも１つのさらなる装置から前記少なくとも１つの位置を取得するようにされ、前記装置は、さらに、 前記少なくとも１つのさらなる装置に前記情報を送信することと、前記２つ以上のオーディオシーンベースのソースを選択するときに、前記選択された２つ以上のソースの少なくとも１つの空間パラメータおよび前記少なくとも１つのオーディオ信号を出力することと、
前記少なくとも１つのオーディオソースを選択するときに、前記オーディオソースの前記少なくとも１つの空間オーディオパラメータおよび前記少なくとも１つのオーディオソース信号を出力することと、
を行うように構成されている、請求項１に記載の装置。
【請求項3】
少なくとも１つのさらなる装置からの前記１つの位置に基づいて、前記２つ以上のオーディオシーンベースのソースまたは前記少なくとも１つのオーディオソースを選択するようにされた前記装置は、前記装置と前記さらなる装置との間の伝送または記憶チャネルの帯域幅、および、
前記さらなる装置の計算能力、
のうちの少なくとも１つに基づいて、前記２つ以上のオーディオシーンベースのソース、または、前記少なくとも１つのオーディオソースを選択するようにされる、請求項２に記載の装置。
【請求項4】
前記決定された少なくとも１つの位置に基づいて、前記少なくとも１つのオーディオソースを生成するようにされた前記装置は、前記少なくとも１つのさらなる装置からの前記決定された少なくとも１つの位置に基づいて、前記少なくとも１つのオーディオソースの位置を決定するようにされている、請求項２に記載の装置。
【請求項5】
前記決定された少なくとも１つの位置に基づいて、前記少なくとも１つのオーディオソースを生成するようにされた前記装置は、前記２つ以上のオーディオシーンベースのソース内のオーディオシーンベースのソースのグループを選択または定義することと、
前記２つ以上のオーディオシーンベースのソースと、前記２つ以上のオーディオシーンベースのソース内の前記選択または定義されたオーディオシーンベースのソースのグループからの少なくとも１つの空間パラメータとの組み合わせに基づいて、前記少なくとも１つの空間オーディオパラメータを生成することと、
前記２つ以上のオーディオシーンベースのソースと、前記２つ以上のオーディオシーンベースのソース内の前記選択または定義されたオーディオシーンベースのソースのグループからの少なくとも１つのオーディオ信号との組み合わせに基づいて、前記少なくとも１つのオーディオソース信号を生成することと、
を行うようにされる、請求項１に記載の装置。
【請求項6】
前記２つ以上のオーディオシーンベースのソースを取得するようにされた前記装置は、前記オーディオシーンに配置されたマイクから、少なくとも２つのオーディオ信号を取得することと、
前記少なくとも２つのオーディオ信号を解析して、前記２つ以上のオーディオシーンベースのソースと、前記２つ以上のオーディオシーンベースのソースの各々に関連する少なくとも１つの空間パラメータおよび前記少なくとも１つのオーディオ信号とを識別することと、
を行うようにされる、請求項１に記載の装置。
【請求項7】
２つ以上のオーディオシーンベースのソースを取得するように構成された前記手段は、前記２つ以上のオーディオシーンベースのソースを受信または合成するように構成される、請求項１に記載の装置。
【請求項8】
前記２つ以上のオーディオシーンベースのソースは、高次アンビソニクスソースである、請求項１に記載の装置。
【請求項9】
前記決定された少なくとも１つの位置に基づいて生成された前記少なくとも１つのオーディオソースは、位置補間された高次アンビソニクスソースである、請求項１に記載の装置。
【請求項10】
少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つのメモリとを備える装置であって、前記少なくとも１つのメモリおよび前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサにより、前記装置に、少なくとも、
生成された少なくとも１つの空間オーディオパラメータと、取得された２つ以上のオーディオシーンベースのソースおよび生成された少なくとも１つのオーディオソースのうちの少なくとも１つに関連付けられた少なくとも１つのオーディオ信号との間の関係に関する情報を取得することと、
ユーザ位置の値およびユーザ方向の値を取得することと、
前記ユーザ位置の値に基づいて、前記生成された少なくとも１つのオーディオソース、および／または、前記２つ以上のオーディオシーンベースのソースの少なくとも２つの選択を要求することと、
前記要求に基づいて、少なくとも１つのレンダリングソース空間パラメータを取得することと、
前記要求に基づいて、少なくとも１つのレンダリングソースオーディオ信号を取得することと、
前記ユーザ方向の値、前記少なくとも１つのレンダリングソース空間パラメータ、および、前記少なくとも１つのレンダリングソースオーディオ信号に基づいて、少なくとも１つの出力オーディオ信号を生成することと、
を行わせるように構成され、
前記ユーザ位置の値に基づいて、前記生成された少なくとも１つのオーディオソース、および／または、前記２つ以上のオーディオシーンベースのソースのうちの少なくとも２つの選択を要求するようにされた前記装置は、さらに、
前記少なくとも１つのレンダリングソース空間パラメータおよび前記少なくとも１つのレンダリングソースオーディオ信号が取得される前記装置とさらなる装置との間の伝送または記憶チャネルの帯域幅、および、
前記装置の計算能力、
のうちの少なくとも１つを決定することと、
前記伝送または記憶チャネルの前記帯域幅または前記計算能力に基づいて、前記少なくとも１つのオーディオソースまたは前記２つ以上のオーディオシーンベースのソースのうちの少なくとも２つを選択することと、
を行うようにされる、装置。
【請求項11】
イマーシブオーディオシーンを生成する装置のための方法であって、該方法は、２つ以上のオーディオシーンベースのソースを取得することであって、前記２つ以上のオーディオシーンベースのソースは、オーディオシーンにおける１つ以上の位置に関連付けられ、各オーディオシーンベースのソースは、少なくとも１つの空間パラメータおよび少なくとも１つのオーディオ信号を含む、取得することと、
前記取得された２つ以上のオーディオシーンベースのソースの少なくとも１つに関連付けられた少なくとも１つの位置を決定することであって、前記少なくとも１つの位置は、レンダリングのために決定される、決定することと、
前記決定された少なくとも１つの位置に基づいて、少なくとも１つのオーディオソースを生成することであって、前記少なくとも１つのオーディオソースを生成することは、
前記決定された少なくとも１つの位置に関連して、前記取得された２つ以上のオーディオシーンベースのソースのうちの少なくとも１つに前記関連する前記少なくとも１つの空間パラメータに基づいて、少なくとも１つの空間オーディオパラメータを生成することと、
前記決定された少なくとも１つの位置に関連して、前記取得された２つ以上のオーディオシーンベースのソースの前記少なくとも１つのオーディオ信号に基づいて、前記少なくとも１つのオーディオソースのための少なくとも１つのオーディオソース信号を生成することと、
を含む、生成することと、
前記生成された少なくとも１つの空間オーディオパラメータと、前記取得された２つ以上のオーディオシーンベースのソースの少なくとも１つに関連する前記少なくとも１つのオーディオ信号との間の関係に関する情報を生成することであって、前記生成された少なくとも１つのオーディオソースは、レンダラのプリファレンスに基づいて選択される、生成することと、
を含む方法。
【請求項12】
前記取得された２つ以上のオーディオシーンベースのソースの少なくとも１つに関連する少なくとも１つの位置を決定することは、少なくとも１つのさらなる装置から前記少なくとも１つの位置を取得することを含み、前記方法は、さらに、前記少なくとも１つのさらなる装置に前記情報を送信することと、
前記２つ以上のオーディオシーンベースのソースを選択するときに、前記選択された２つ以上のソースの少なくとも１つの空間パラメータおよび前記少なくとも１つのオーディオ信号を出力することと、
前記少なくとも１つのオーディオソースを選択するときに、前記オーディオソースの前記少なくとも１つの空間オーディオパラメータおよび前記少なくとも１つのオーディオソース信号を出力することと、
を含む、請求項１１に記載の方法。
【請求項13】
少なくとも１つのさらなる装置からの１つの位置に基づいて、前記２つ以上のオーディオシーンベースのソースまたは前記少なくとも１つのオーディオソースを選択することは、前記装置と前記さらなる装置との間の伝送または記憶チャネルの帯域幅、および、
前記さらなる装置の計算能力、
のうちの少なくとも１つに基づいて、前記２つ以上のオーディオシーンベースのソース、または、前記少なくとも１つのオーディオソースを選択することをさらに含む、請求項１２に記載の方法。
【請求項14】
前記決定された少なくとも１つの位置に基づいて、前記少なくとも１つのオーディオソースを生成することは、前記少なくとも１つのさらなる装置からの前記決定された少なくとも１つの位置に基づいて、前記少なくとも１つのオーディオソースの前記位置を決定することを含む、請求項１２に記載の方法。
【請求項15】
前記決定された少なくとも１つの位置に基づいて、前記少なくとも１つのオーディオソースを生成することは、前記２つ以上のオーディオシーンベースのソース内のオーディオシーンベースのソースのグループを選択または定義することと、
前記２つ以上のオーディオシーンベースのソースと、前記２つ以上のオーディオシーンベースのソース内の前記選択または定義されたオーディオシーンベースのソースのグループからの少なくとも１つの空間パラメータとの組み合わせに基づいて、前記少なくとも１つの空間オーディオパラメータを生成することと、
前記２つ以上のオーディオシーンベースのソースと、前記２つ以上のオーディオシーンベースのソース内の前記選択または定義されたオーディオシーンベースのソースのグループからの少なくとも１つのオーディオ信号との組み合わせに基づいて、前記少なくとも１つのオーディオソース信号を生成すること、
のうちの少なくとも１つを含む、請求項１１に記載の方法。
【請求項16】
前記２つ以上のオーディオシーンベースのソースを取得することは、前記オーディオシーンに配置されたマイクから、少なくとも２つのオーディオ信号を取得することと、
前記少なくとも２つのオーディオ信号を解析して、前記２つ以上のオーディオシーンベースのソースと、前記２つ以上のオーディオシーンベースのソースの各々に関連する前記少なくとも１つの空間パラメータおよび前記少なくとも１つのオーディオ信号とを識別することと、
のうちの少なくとも１つを含む、請求項１１に記載の方法。
【請求項17】
前記２つ以上のオーディオシーンベースのソースを取得することは、前記２つ以上のオーディオシーンベースのソースを受信または合成することを含む、請求項１１に記載の方法。
【請求項18】
空間オーディオ信号レンダリングのための装置のための方法であって、該方法は、生成された少なくとも１つの空間オーディオパラメータと、取得された２つ以上のオーディオシーンベースのソースおよび生成された少なくとも１つのオーディオソースのうちの少なくとも１つに関連する少なくとも１つのオーディオ信号との間の関係に関する情報を取得することと、ユーザ位置の値およびユーザ方向の値を取得することと、前記ユーザ位置の値に基づいて、前記生成された少なくとも１つのオーディオソース、および／または、前記２つ以上のオーディオシーンベースのソースのうちの少なくとも２つの選択を要求することと、前記要求に基づいて、少なくとも１つのレンダリングソース空間パラメータを取得することと、前記要求に基づいて、少なくとも１つのレンダリングソースオーディオ信号を取得することと、前記ユーザ方向の値、前記少なくとも１つのレンダリングソース空間パラメータ、および、前記少なくとも１つのレンダリングソースオーディオ信号に基づいて、少なくとも１つの出力オーディオ信号を生成することと、を含み、
前記ユーザ位置の値に基づいて、前記生成された少なくとも１つのオーディオソース、および／または、前記２つ以上のオーディオシーンベースのソースのうちの少なくとも２つの選択を要求することは、
前記少なくとも１つのレンダリングソース空間パラメータおよび前記少なくとも１つのレンダリングソースオーディオ信号が取得される前記装置とさらなる装置との間の伝送または記憶チャネルの帯域幅、および、
前記装置の計算能力、
のうちの少なくとも１つを決定することと、
前記伝送または記憶チャネルの前記帯域幅または前記計算能力に基づいて、前記少なくとも１つのオーディオソースまたは前記２つ以上のオーディオシーンベースのソースのうちの少なくとも２つを選択することと、
を含む、方法。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、６自由度のユーザのために、既知の位置にある高次アンビソニクスソースを含むオーディオシーンに対して、空間メタデータ補間を伴うオーディオレンダリングの装置および方法に関する。
【背景技術】
【0002】
空間オーディオキャプチャのアプローチは、オーディオ環境がリスナに効果的な方法で知覚的に再現され、さらに、リスナが再現されたオーディオ環境内で移動および／または回転することができるように、オーディオ環境をキャプチャしようとするものである。例えば、あるシステム（３自由度－３ＤｏＦ）では、リスナは頭を回転させることができ、レンダリングされたオーディオ信号は、この回転運動を反映する。一部のシステム（３自由度プラス－３ＤｏＦ＋）では、リスナは頭を回転させると同時に環境内でわずかに「動く」ことができ、他のシステム（６自由度－６ＤｏＦ）では、リスナは環境内で自由に動き、頭を回転させることができる。
【0003】
線形空間オーディオキャプチャとは、処理が、キャプチャされたオーディオの特徴に適応しないオーディオキャプチャ方法を指す。代わりに、出力は、キャプチャされたオーディオ信号の所定の線形結合である。
【0004】
録音空間のある位置で空間音をリニアに録音するためには、ハイエンドのマイクアレイが必要である。そのひとつが球状の３２本マイク「Ｅｉｇｅｎｍｉｋｅ」である。このマイクアレイから高次のアンビソニクス（ＨＯＡ）信号を取得し、レンダリングに使用することができる。ＨＯＡ信号を用いることで、異なる方向から到来する音を適切な可聴帯域幅で十分に分離するように空間オーディオをレンダリングすることができる。
【0005】
リニア空間オーディオのキャプチャ技術では、マイクアレイの性能が問題となる。短波長（高い周波数のオーディオ信号）には小さなマイク間隔が、長波長（低い周波数のオーディオ信号）には大きなアレイサイズが必要で、１つのマイクアレイで両方の条件を満たすことは困難である。
【0006】
キャプチャデバイスにリニアな空間オーディオキャプチャを実装すると、１つの位置でのみ取得される空間オーディオになる。
【0007】
パラメトリック空間オーディオキャプチャとは、マイクでキャプチャされたオーディオ信号に基づいて知覚的に関連するパラメータを推定し、これらのパラメータとオーディオ信号に基づいて、空間音を合成するシステムである。解析と合成は、通常、人間の空間的な聴覚解像度に近い周波数帯域で行われる。
【0008】
ＭＰＥＧ－Ｉイマーシブオーディオの標準化が進められている。ＭＰＥＧ－Ｉイマーシブオーディオでは、オブジェクト、チャンネル、ＨＯＡの３種類のオーディオ信号フォーマットを受信することが想定されている。ＭＰＥＧ－Ｉで採用されている信号フォーマットのひとつである高次アンビソニクス（ＨＯＡ）ソースは、オブジェクトオーディオのキャプチャが不可能な場合や複雑すぎる場合に有効である。ＨＯＡオーディオは、ライブキャプチャから作成することも、多数のオブジェクトを含む仮想シーンから合成することもできる。シーンを表す複数のＨＯＡソースを使用して、６自由度で移動できる。一般的に、シーンベースのオーディオキャプチャの場合、１つ以上のＨＯＡソースは、適切なマイク（例えば、マイクアレイ）を用いてオーディオシーンをキャプチャすることによって作成される。
【0009】
レンダリングとは、キャプチャしたオーディオ信号（または、キャプチャしたオーディオ信号から派生したトランスポートオーディオ信号）、および、パラメータを処理して、例えば、ヘッドホンやラウドスピーカなど、適切なオーディオトランスデューサを介して、リスナに出力するのに適した出力を生成するプロセスである。
【発明の概要】
【発明が解決しようとする課題】
【0010】
本願発明の実施形態は、従来技術に関連する課題を解決することを目的とする。
【課題を解決するための手段】
【0011】
第１の態様によれば、イマーシブオーディオシーンを生成するための装置が提供され、該装置は、２つ以上のオーディオシーンベースのソースを取得することであって、該２つ以上のオーディオシーンベースのソースは、オーディオシーンにおける１つ以上の位置に関連付けられ、各オーディオシーンベースのソースは、少なくとも１つの空間パラメータおよび少なくとも１つのオーディオ信号を含む、取得することと、取得された２つ以上のオーディオシーンベースのソースのうちの少なくとも１つに関連する少なくとも１つの位置を決定することであって、少なくとも１つの位置は、レンダリングのために決定される、決定することと、決定された少なくとも１つの位置に基づいて、少なくとも１つのオーディオソースを生成することであって、少なくとも１つのオーディオソースを生成するように構成された手段は、決定された少なくとも１つの位置に関連して、取得された２つ以上のオーディオシーンベースのソースのうちの少なくとも１つに関連する少なくとも１つの空間パラメータに基づいて、少なくとも１つの空間オーディオパラメータを生成し、決定された少なくとも１つの位置に関連して、取得された２つ以上のオーディオシーンベースのソースの少なくとも１つのオーディオ信号に基づいて、少なくとも１つのオーディオソースのための少なくとも１つのオーディオソース信号を生成するように構成される、生成することと、生成された少なくとも１つの空間オーディオパラメータと、取得された２つ以上のオーディオシーンベースのソースの少なくとも１つに関連する少なくとも１つのオーディオ信号との間の関係に関する情報を生成することであって、生成された少なくとも１つのオーディオソースは、レンダラのプリファレンスに基づいて選択される、生成することと、を行うように構成された手段を備える。
【0012】
取得された２つ以上のオーディオシーンベースのソースのうちの少なくとも１つに関連する少なくとも１つの位置を決定するように構成された手段は、少なくとも１つのさらなる装置から少なくとも１つの位置を取得するように構成されており、手段は、さらに、少なくとも１つのさらなる装置に情報を送信することと、２つ以上のオーディオシーンベースのソースを選択するときに、選択された２つ以上のソースの少なくとも１つの空間パラメータおよび少なくとも１つのオーディオ信号を出力することと、少なくとも１つのオーディオソースを選択するときに、オーディオソースの少なくとも１つの空間オーディオパラメータ、および、少なくとも１つのオーディオソース信号を出力することと、を行うように構成されてよい。
【0013】
少なくとも１つのさらなる装置からの１つの位置に基づいて、２つ以上のオーディオシーンベースのソース、または、少なくとも１つのオーディオソースを選択するように構成された手段は、装置とさらなる装置との間の伝送または記憶チャネルの帯域幅、および、さらなる装置の計算能力のうちの少なくとも１つに基づいて、２つ以上のオーディオシーンベースのソース、または、少なくとも１つのオーディオソースを選択するように構成されてよい。
【0014】
決定された少なくとも１つの位置に基づいて、少なくとも１つのオーディオソースを生成するように構成された手段は、少なくとも１つのさらなる装置からの決定された少なくとも１つの位置に基づいて、少なくとも１つのオーディオソースの位置を決定するように構成されてよい。
【0015】
決定された少なくとも１つの位置に基づいて、少なくとも１つのオーディオソースを生成するように構成された手段は、２つ以上のオーディオシーンベースのソース内のオーディオシーンベースのソースのグループを選択または定義することと、２つ以上のオーディオシーンベースのソースと、２つ以上のオーディオシーンベースのソース内の選択または定義されたオーディオシーンベースのソースのグループからの少なくとも１つの空間パラメータとの組み合わせに基づいて、少なくとも１つの少なくとも１つの空間オーディオパラメータを生成し、２つ以上のオーディオシーンベースのソースと、２つ以上のオーディオシーンベースのソース内の選択または定義されたオーディオシーンベースのソースのグループからの少なくとも１つのオーディオ信号との組み合わせに基づいて、少なくとも１つのオーディオソース信号を生成する、ように構成されてよい。
【0016】
２つ以上のオーディオシーンベースのソースを取得するように構成された手段は、オーディオシーンに配置されたマイクから、少なくとも２つのオーディオ信号を取得することと、少なくとも２つのオーディオ信号を解析して、２つ以上のオーディオシーンベースのソースと、２つ以上のオーディオシーンベースのソースの各々に関連する少なくとも１つの空間パラメータおよび少なくとも１つのオーディオ信号とを識別することと、を行うように構成されてもよい。
【0017】
２つ以上のオーディオシーンベースのソースを取得するように構成された手段は、２つ以上のオーディオシーンベースのソースを受信または合成するように構成されてよい。
【0018】
２つ以上のオーディオシーンベースのソースは、高次アンビソニクスソースであってよい。
【0019】
決定された少なくとも１つの位置に基づいて生成された少なくとも１つのオーディオソースは、位置補間された高次アンビソニクスソースであってよい。
【0020】
第２の態様によれば、空間オーディオ信号レンダリングのための装置が提供され、該装置は、生成された少なくとも１つの空間オーディオパラメータと、取得された２つ以上のオーディオシーンベースのソースおよび生成された少なくとも１つのオーディオソースのうちの少なくとも１つに関連する、少なくとも１つのオーディオ信号と、の間の関係に関する情報を取得することと、ユーザ位置の値およびユーザ方向の値を取得することと、ユーザ位置の値に基づいて、生成された少なくとも１つのオーディオソース、および／または、２つ以上のオーディオシーンベースのソースの少なくとも２つを選択するように要求することと、要求に基づいて、少なくとも１つのレンダリングソース空間パラメータを取得することと、要求に基づいて少なくとも１つのレンダリングソースオーディオ信号を取得することと、ユーザ方向の値、少なくとも１つのレンダリングソース空間パラメータ、および、少なくとも１つのレンダリングソースオーディオ信号に基づいて、少なくとも１つの出力オーディオ信号を生成することと、を行うように構成された手段を備える。
【0021】
ユーザ位置の値に基づいて、生成された少なくとも１つのオーディオソース、および／または、２つ以上のオーディオシーンベースのソースのうちの少なくとも２つの選択を要求するように構成された手段は、少なくとも１つのレンダリングソース空間パラメータおよび少なくとも１つのレンダリングソースオーディオ信号が取得される装置とさらなる装置との間の伝送または記憶チャネルの帯域幅、および、装置の計算能力、のうちの少なくとも１つを決定することと、伝送または記憶チャネルの帯域幅または計算能力に基づいて、少なくとも１つのオーディオソースまたは２つ以上のオーディオシーンベースのソースのうちの少なくとも２つを選択することと、を行うように構成されてよい。
【0022】
第３の態様によれば、イマーシブオーディオシーンを生成する装置のための方法が提供され、該方法は、２つ以上のオーディオシーンベースのソースを取得することであって、該２つ以上のオーディオシーンベースのソースはオーディオシーンにおける１つ以上の位置に関連付けられ、各オーディオシーンベースのソースは、少なくとも１つの空間パラメータおよび少なくとも１つのオーディオ信号を含む、取得することと、取得された２つ以上のオーディオシーンベースのソースの少なくとも１つに関連付けられた少なくとも１つの位置を決定することであって、少なくとも１つの位置はレンダリングのために決定される、決定することと、決定された少なくとも１つの位置に基づいて、少なくとも１つのオーディオソースを生成することであって、少なくとも１つのオーディオソースを生成することは、決定された少なくとも１つの位置に関連して、取得された２つ以上のオーディオシーンベースのソースのうちの少なくとも１つに関連する少なくとも１つの空間パラメータに基づいて、少なくとも１つの空間オーディオパラメータを生成することと、決定された少なくとも１つの位置に関連して、取得された２つ以上のオーディオシーンベースのソースの少なくとも１つのオーディオ信号に基づいて、少なくとも１つのオーディオソースのための少なくとも１つのオーディオソース信号を生成することと、を含む、生成することと、生成された少なくとも１つの空間オーディオパラメータと、取得された２つ以上のオーディオシーンベースのソースの少なくとも１つに関連する少なくとも１つのオーディオ信号との間の関係に関する情報を生成することであって、生成された少なくとも１つのオーディオソースは、レンダラのプリファレンスに基づいて選択される、生成することと、を含む。
【0023】
取得された２つ以上のオーディオシーンベースのソースの少なくとも１つに関連する少なくとも１つの位置を決定することは、少なくとも１つのさらなる装置から少なくとも１つの位置を取得することを含み、方法は、さらに、少なくとも１つのさらなる装置に情報を送信することと、２つ以上のオーディオシーンベースのソースを選択するときに、選択された２つ以上のソースの少なくとも１つの空間パラメータおよび少なくとも１つのオーディオ信号を出力することと、少なくとも１つのオーディオソースを選択するときに、オーディオソースの少なくとも１つの空間オーディオパラメータ、および、少なくとも１つのオーディオソース信号を出力することと、を含んでよい。
【0024】
少なくとも１つのさらなる装置からの１つの位置に基づいて、２つ以上のオーディオシーンベースのソースまたは少なくとも１つのオーディオソースを選択することは、装置とさらなる装置との間の伝送または記憶チャネルの帯域幅、および、さらなる装置の計算能力の少なくとも１つに基づいて、２つ以上のオーディオシーンベースのソース、または、少なくとも１つのオーディオソースを選択することを含む。
【0025】
決定された少なくとも１つの位置に基づいて、少なくとも１つのオーディオソースを生成することは、少なくとも１つのさらなる装置からの、決定された少なくとも１つの位置に基づいて、少なくとも１つのオーディオソースの位置を決定することを含んでよい。
【0026】
決定された少なくとも１つの位置に基づいて、少なくとも１つのオーディオソースを生成することは、２つ以上のオーディオシーンベースのソースのうちのオーディオシーンベースのソースのグループを選択または定義することと、２つ以上のオーディオシーンベースのソースと、２つ以上のオーディオシーンベースのソースのちの選択または定義されたオーディオシーンベースのソースのグループからの少なくとも１つの空間パラメータとの組み合わせに基づいて、少なくとも１つの少なくとも１つの空間オーディオパラメータを生成することと、２つ以上のオーディオシーンベースのソースと、２つ以上のオーディオシーンベースのソースのうちの選択または定義されたオーディオシーンベースのソースのグループからの少なくとも１つのオーディオ信号との組み合わせに基づいて、少なくとも１つのオーディオソース信号を生成することと、を含んでよい。
【0027】
２つ以上のオーディオシーンベースのソースを取得することは、オーディオシーンに位置するマイクから少なくとも２つのオーディオ信号を取得することと、少なくとも２つのオーディオ信号を解析して、２つ以上のオーディオシーンベースのソース、ならびに、２つ以上のオーディオシーンベースのソースのそれぞれに関連する、少なくとも１つの空間パラメータ、および、少なくとも１つのオーディオ信号を識別することと、を含んでよい。
【0028】
２つ以上のオーディオシーンベースのソースを取得することは、２つ以上のオーディオシーンベースのソースを受信または合成することを含んでよい。
【0029】
２つ以上のオーディオシーンベースのソースは、高次アンビソニクスソースであってよい。
【0030】
決定された少なくとも１つの位置に基づいて生成された少なくとも１つのオーディオソースは、位置補間された高次アンビソニクスソースであってよい。
【0031】
第４の態様によれば、空間オーディオ信号レンダリングのための装置のための方法が提供され、該方法は、生成された少なくとも１つの空間オーディオパラメータと、取得された２つ以上のオーディオシーンベースのソースの少なくとも１つ、および、生成された少なくとも１つのオーディオソースに関連する少なくとも１つのオーディオ信号との間の関係に関する情報を取得することと、ユーザ位置の値およびユーザ方向の値を取得することと、ユーザ位置の値に基づいて、生成された少なくとも１つのオーディオソース、および／または、２つ以上のオーディオシーンベースのソースの少なくとも２つの選択を要求することと、要求に基づいて少なくとも１つのレンダリングソース空間パラメータを取得することと、要求に基づいて少なくとも１つのレンダリングソースオーディオ信号を取得することと、ユーザ方向の値、少なくとも１つのレンダリングソース空間パラメータ、および、少なくとも１つのレンダリングソースオーディオ信号に基づいて、少なくとも１つの出力オーディオ信号を生成することと、を含む。
【0032】
ユーザ位置の値に基づいて、生成された少なくとも１つのオーディオソース、および／または、２つ以上のオーディオシーンベースのソースのうちの少なくとも２つの選択を要求することは、少なくとも１つのレンダリングソース空間パラメータおよび少なくとも１つのレンダリングソースオーディオ信号が取得される装置とさらなる装置との間の伝送または記憶チャネルの帯域幅、ならびに、装置の計算能力のうちの少なくとも１つを決定することと、伝送または記憶チャネルの帯域幅、または、計算能力に基づいて、少なくとも１つのオーディオソース、または、２つ以上のオーディオシーンベースのソースのうちの少なくとも２つを選択することと、を含んでよい。
【0033】
第５の態様によれば、イマーシブオーディオシーンを生成するための装置が提供され、この装置は、少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つのメモリとを備え、少なくとも１つのメモリおよびコンピュータプログラムコードは、少なくとも１つのプロセッサを用いて、装置に少なくとも、２つ以上のオーディオシーンベースのソースを取得することであって、該２つ以上のオーディオシーンベースのソースは、オーディオシーンにおける１つ以上の位置に関連付けられ、各オーディオシーンベースのソースは、少なくとも１つの空間パラメータおよび少なくとも１つのオーディオ信号を含む、取得することと、取得された２つ以上のオーディオシーンベースのソースの少なくとも１つに関連付けられた少なくとも１つの位置を決定することであって、少なくとも１つの位置はレンダリングのために決定される、決定することと、決定した少なくとも１つの位置に基づいて少なくとも１つのオーディオソースを生成することであって、少なくとも１つのオーディオソースを生成するように構成されている手段は、決定された少なくとも１つの位置に関連して、取得された２つ以上のオーディオシーンベースのソースのうちの少なくとも１つに関連する少なくとも１つの空間パラメータに基づいて少なくとも１つの空間オーディオパラメータを生成し、決定された少なくとも１つの位置に関連して、取得された２つ以上のオーディオシーンベースのソースの少なくとも１つのオーディオ信号に基づいて少なくとも１つのオーディオソース用の信号を生成する、ように構成されている、生成することと、生成された少なくとも１つの空間オーディオパラメータと、取得された２つ以上のオーディオシーンベースのソースの少なくとも１つに関連する少なくとも１つのオーディオ信号との間の関係に関する情報を生成することであって、生成された少なくとも１つのオーディオソースは、レンダラのプリファレンスに基づいて選択される、生成することと、を行わせるように構成される。
【0034】
取得された２つ以上のオーディオシーンベースのソースの少なくとも１つに関連する少なくとも１つの位置を決定するようにされた装置は、少なくとも１つのさらなる装置から、少なくとも１つの位置を取得するようにされてもよく、装置は、さらに、情報を少なくとも１つのさらなる装置に送信することと、２つ以上のオーディオシーンベースのソースを選択するときに、少なくとも１つの空間パラメータおよび選択した２つ以上のソースの少なくとも１つのオーディオ信号を出力することと、少なくとも１つのオーディオソースを選択するときに、オーディオソースの少なくとも１つの空間オーディオパラメータおよび少なくとも１つのオーディオソース信号を出力することと、を行わせるようにされてよい。
【0035】
少なくとも１つのさらなる装置からの１つの位置に基づいて、２つ以上のオーディオシーンベースのソース、または、少なくとも１つのオーディオソースを選択するようにされる装置は、装置とさらなる装置との間の伝送または記憶チャネルの帯域幅、および、さらなる装置の計算能力の少なくとも１つに基づいて、２つ以上のオーディオシーンベースのソース、または、少なくとも１つのオーディオソースを選択するようにされてよい。
【0036】
決定された少なくとも１つの位置に基づいて、少なくとも１つのオーディオソースを生成するようにされた装置は、少なくとも１つのさらなる装置からの決定された少なくとも１つの位置に基づいて、少なくとも１つのオーディオソースの位置を決定するようにされてよい。
【0037】
決定された少なくとも１つの位置に基づいて、少なくとも１つのオーディオソースを生成するようにされた装置は、２つ以上のオーディオシーンベースのソース内のオーディオシーンベースのソースのグループを選択または定義し、２つ以上のオーディオシーンベースのソースと、２つ以上のオーディオシーンベースのソース内の選択または定義されたオーディオシーンベースのソースのグループからの少なくとも１つの空間パラメータとの組み合わせに基づいて、少なくとも１つの少なくとも１つの空間オーディオパラメータを生成し、２つ以上のオーディオシーンベースのソースと、２つ以上のオーディオシーンベースのソース内の選択または定義されたオーディオシーンベースのソースのグループからの少なくとも１つのオーディオ信号との組み合わせに基づいて、少なくとも１つのオーディオソース信号を生成する、ことを行うようにされてよい。
【0038】
２つ以上のオーディオシーンベースのソースを取得するようにされた装置は、オーディオシーンに配置されたマイクから少なくとも２つのオーディオ信号を取得し、少なくとも２つのオーディオ信号を解析して、２つ以上のオーディオシーンベースのソース、ならびに、２つ以上のオーディオシーンベースのソースのそれぞれに関連する少なくとも１つの空間パラメータ、および、少なくとも１つのオーディオ信号を識別する、ことを行うようにされてもよい。
【0039】
２つ以上のオーディオシーンベースのソースを取得するようにされた装置は、２つ以上のオーディオシーンベースのソースを受信または合成するようにされてよい。
【0040】
２つ以上のオーディオシーンベースのソースは、高次アンビソニクスソースであってよい。
【0041】
決定された少なくとも１つの位置に基づいて生成された少なくとも１つのオーディオソースは、位置補間された高次アンビソニクスソースであってよい。
【0042】
第６の態様によれば、空間オーディオ信号レンダリングのための装置が提供され、この装置は、少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つのメモリとを備え、少なくとも１つのメモリおよびコンピュータプログラムコードは、少なくとも１つのプロセッサにより、装置に少なくとも、生成された少なくとも１つの空間オーディオパラメータと、取得された２つ以上のオーディオシーンベースのソースおよび生成された少なくとも１つのオーディオソースのうちの少なくとも１つに関連する少なくとも１つのオーディオ信号との間の関係に関する情報を取得することと、ユーザ位置の値およびユーザ方向の値を取得することと、ユーザ位置の値に基づいて、生成された少なくとも１つのオーディオソース、および／または、２つ以上のオーディオシーンベースのソースの少なくとも２つの選択を要求することと、要求に基づいて、少なくとも１つのレンダリングソース空間パラメータを取得することと、要求に基づいて、少なくとも１つのレンダリングソースオーディオ信号を取得することと、ユーザ方向の値、少なくとも１つのレンダリングソース空間パラメータ、および、少なくとも１つのレンダリングソースオーディオ信号に基づいて、少なくとも１つの出力オーディオ信号を生成することと、を行わせるように構成される。
【0043】
ユーザ位置の値に基づいて、生成された少なくとも１つのオーディオソース、および／または、２つ以上のオーディオシーンベースのソースのうちの少なくとも２つの選択を要求される装置は、さらに、少なくとも１つのレンダリングソース空間パラメータおよび少なくとも１つのレンダリングソースオーディオ信号が取得される装置とさらなる装置との間の伝送または記憶チャネルの帯域幅、および、装置の計算能力、のうちの少なくとも１つを決定することと、伝送または記憶チャネルの帯域幅、または、計算能力に基づいて、少なくとも１つのオーディオソースまたは２つ以上のオーディオシーンベースのソースのうちの少なくとも２つを選択することと、を行うようにされてよい。
【0044】
第７の態様によれば、ユーザ位置に基づいて空間化されたオーディオ出力を生成するための装置が提供され、該装置は、２つ以上のオーディオシーンベースのソースを取得するための手段であって、２つ以上のオーディオシーンベースのソースはオーディオシーン内の１つ以上の位置に関連付けられ、各オーディオシーンベースのソースは、少なくとも１つの空間パラメータおよび少なくとも１つのオーディオ信号を含む、取得するための手段と、取得された２つ以上のオーディオシーンベースのソースの少なくとも１つに関連付けられた少なくとも１つの位置を決定するための手段であって、少なくとも１つの位置はレンダリングのために決定される、決定するための手段と、決定された少なくとも１つの位置に基づいて、少なくとも１つのオーディオソースを生成するための手段であって、少なくとも１つのオーディオソースを生成するための手段は、決定された少なくとも１つの位置に関連して、取得された２つ以上のオーディオシーンベースのソースのうちの少なくとも１つに関連する少なくとも１つの空間パラメータに基づいて、少なくとも１つの空間オーディオパラメータを生成するための手段と、決定された少なくとも１つの位置に関連して、取得された２つ以上のオーディオシーンベースのソースの少なくとも１つのオーディオ信号に基づいて、少なくとも１つのオーディオソース用の少なくとも１つのオーディオソース信号を生成するための手段と、を備える、生成するための手段と、生成された少なくとも１つの空間オーディオパラメータと、取得された２つ以上のオーディオシーンベースのソースの少なくとも１つに関連する少なくとも１つのオーディオ信号との間の関係に関する情報を生成するための手段であって、生成された少なくとも１つのオーディオソースは、レンダラのプリファレンスに基づいて選択される、生成するための手段と、を備える。
【0045】
第８の態様によれば、ユーザ位置に基づいて空間化されたオーディオ出力を生成するための装置が提供され、該装置は、生成された少なくとも１つの空間オーディオパラメータと、取得された２つ以上のオーディオシーンベースのソース、および、生成された少なくとも１つのオーディオソースのうちの少なくとも１つに関連する少なくとも１つのオーディオ信号との間の関係に関する情報を取得するための手段と、ユーザ位置の値およびユーザ方向の値を取得するための手段と、ユーザ位置の値に基づいて、生成された少なくとも１つのオーディオソース、および／または、２つ以上のオーディオシーンベースのソースの少なくとも２つを選択することを要求するための手段と、要求に基づいて少なくとも１つのレンダリングソース空間パラメータを取得するための手段と、要求に基づいて少なくとも１つのレンダリングソースオーディオ信号を取得するための手段と、ユーザ方向の値、少なくとも１つのレンダリングソース空間パラメータ、および、少なくとも１つのレンダリングソースオーディオ信号に基づいて、少なくとも１つの出力オーディオ信号を生成するための手段と、を備える。
【0046】
第９の態様によれば、装置に、少なくとも、２つ以上のオーディオシーンベースのソースを取得することであって、２つ以上のオーディオシーンベースのソースはオーディオシーンにおける１つ以上の位置に関連付けられ、各オーディオシーンベースのソースは、少なくとも１つの空間パラメータ、および、少なくとも１つのオーディオ信号を含む、取得することと、取得された２つ以上のオーディオシーンベースのソースの少なくとも１つに関連付けられた少なくとも１つの位置を決定することであって、少なくとも１つの位置はレンダリングのために決定される、決定することと、決定した少なくとも１つの位置に基づいて少なくとも１つのオーディオソースを生成することであって、少なくとも１つのオーディオソースの生成は、決定された少なくとも１つの位置に関連して、取得された２つ以上のオーディオシーンベースのソースのうちの少なくとも１つに関連する少なくとも１つの空間パラメータに基づいて、少なくとも１つの空間オーディオパラメータを生成し、決定された少なくとも１つの位置に関連して、取得された２つ以上のオーディオシーンベースのソースの少なくとも１つのオーディオ信号に基づいて、少なくとも１つのオーディオソースのための少なくとも１つのオーディオ信号を生成する、ことを実施可能である、生成することと、生成された少なくとも１つの空間オーディオパラメータと、取得された２つ以上のオーディオシーンベースのソースの少なくとも１つに関連する少なくとも１つのオーディオ信号との間の関係に関する情報を生成することであって、生成された少なくとも１つのオーディオソースは、レンダラのプリファレンスに基づいて選択される、生成することと、を実行させるための命令［または、プログラム命令を含むコンピュータ可読媒体］を含むコンピュータプログラムが提供される。
【0047】
第９の態様によれば、装置に少なくとも、生成された少なくとも１つの空間オーディオパラメータと、取得された２つ以上のオーディオシーンベースのソースのうちの少なくとも１つ、および、生成された少なくとも１つのオーディオソースに関連する少なくとも１つのオーディオ信号との間の関係に関する情報を取得し、ユーザ位置の値およびユーザ方向の値を取得し、ユーザ位置の値に基づいて、生成された少なくとも１つのオーディオソース、および／または、２つ以上のオーディオシーンベースのソースのうちの少なくとも２つの選択を要求し、要求に基づいて少なくとも１つのレンダリングソース空間パラメータを取得し、要求に基づいて少なくとも１つのレンダリングソースオーディオ信号を取得し、ユーザ方向の値、少なくとも１つのレンダリングソース空間パラメータ、および、少なくとも１つのレンダリングソースオーディオ信号に基づいて、少なくとも１つの出力オーディオ信号を生成する、ことを実行させるための命令［または、プログラム命令を含むコンピュータ可読媒体］を含むコンピュータプログラムが提供される。
【0048】
第１１の態様によれば、装置に少なくとも、２つ以上のオーディオシーンベースのソースを取得することであって、該２つ以上のオーディオシーンベースのソースは、オーディオシーンにおける１つ以上の位置に関連付けられ、各オーディオシーンベースのソースは、少なくとも１つの空間パラメータおよび少なくとも１つのオーディオ信号を含む、取得することと、取得された２つ以上のオーディオシーンベースのソースの少なくとも１つに関連付けられた少なくとも１つの位置を決定することであって、少なくとも１つの位置はレンダリングのために決定される、決定することと、決定された少なくとも１つの位置に基づいて、少なくとも１つのオーディオソースを生成することであって、少なくとも１つのオーディオソースの生成は、装置に、決定された少なくとも１つの位置に関連して、取得された２つ以上のオーディオシーンベースのソースの少なくとも１つに関連する少なくとも１つの空間パラメータに基づいて、少なくとも１つの空間オーディオパラメータを生成し、決定された少なくとも１つの位置に関連して、取得された２つ以上のオーディオシーンベースのソースの少なくとも１つのオーディオ信号に基づいて、少なくとも１つのオーディオソースのための少なくとも１つのオーディオソース信号を生成する、ことを行わせる、生成することと、生成された少なくとも１つの空間オーディオパラメータと、取得された２つ以上のオーディオシーンベースのソースの少なくとも１つに関連する少なくとも１つのオーディオ信号との間の関係に関する情報を生成することであって、生成された少なくとも１つのオーディオソースは、レンダラのプリファレンスに基づいて選択される、生成することと、を実行させるためのプログラム命令を含む非一時的なコンピュータ可読媒体が提供される。
【0049】
第１２の態様によれば、装置に、少なくとも、生成された少なくとも１つの空間オーディオパラメータと、取得された２つ以上のオーディオシーンベースのソースの少なくとも１つ、および、生成された少なくとも１つのオーディオソースに関連する少なくとも１つのオーディオ信号との間の関係に関する情報を取得することと、ユーザ位置の値およびユーザ方向の値を取得することと、ユーザ位置の値に基づいて、生成された少なくとも１つのオーディオソース、および／または、２つ以上のオーディオシーンベースのソースの少なくとも２つの選択を要求することと、要求に基づいて少なくとも１つのレンダリングソース空間パラメータを取得することと、要求に基づいて少なくとも１つのレンダリングソースオーディオ信号を取得することと、ユーザ方向の値、少なくとも１つのレンダリングソース空間パラメータ、および、少なくとも１つのレンダリングソースオーディオ信号に基づいて、少なくとも１つの出力オーディオ信号を生成することと、を実行させるためのプログラム命令を含む非一時的なコンピュータ可読媒体が提供される。
【0050】
第１３の態様によれば、２つ以上のオーディオシーンベースのソースを取得するように構成された取得回路であって、２つ以上のオーディオシーンベースのソースはオーディオシーンにおける１つ以上の位置に関連付けられ、各オーディオシーンベースのソースは、少なくとも１つの空間パラメータ、および、少なくとも１つのオーディオ信号を含む、取得回路と、取得された２つ以上のオーディオシーンベースのソースの少なくとも１つと関連付けられた少なくとも１つの位置を決定するように構成された決定回路であって、少なくとも１つの位置はレンダリングのために決定される、決定回路と、決定された少なくとも１つの位置に基づいて少なくとも１つのオーディオソースを生成することであって、少なくとも１つのオーディオソースを生成するように構成された生成回路は、決定された少なくとも１つの位置に関連して、取得された２つ以上のオーディオシーンベースのソースのうちの少なくとも１つに関連する少なくとも１つの空間パラメータに基づいて、少なくとも１つの空間オーディオパラメータを生成し、決定された少なくとも１つの位置に関連して、取得された２つ以上のオーディオシーンベースのソースの少なくとも１つのオーディオ信号に基づいて、少なくとも１つのオーディオソース用の少なくとも１つのオーディオソース信号を生成する、ように構成される、生成することと、生成された少なくとも１つの空間オーディオパラメータと、取得された２つ以上のオーディオシーンベースのソースの少なくとも１つに関連する少なくとも１つのオーディオ信号との間の関係に関する情報を生成するように構成された生成回路であって、生成された少なくとも１つのオーディオソースがレンダラのプリファレンスに基づいて選択される、生成回路と、を備える装置が提供される。
【0051】
第１４の態様によれば、生成された少なくとも１つの空間オーディオパラメータと、取得された２つ以上のオーディオシーンベースのソースの少なくとも１つ、および、生成された少なくとも１つのオーディオソースに関連する少なくとも１つのオーディオ信号との間の関係に関する情報を取得するように構成された取得回路と、ユーザ位置の値およびユーザ方向の値を取得することと、ユーザ位置の値に基づいて、生成された少なくとも１つのオーディオソース、および／または、２つ以上のオーディオシーンベースのソースの少なくとも２つの選択を要求するように構成されている取得回路と、要求に基づいて少なくとも１つのレンダリングソース空間パラメータを取得するように構成された取得回路と、要求に基づいて少なくとも１つのレンダリングソースオーディオ信号を取得するように構成された取得回路と、ユーザ方向の値、少なくとも１つのレンダリングソース空間パラメータ、および、少なくとも１つのレンダリングソースオーディオ信号に基づいて、少なくとも１つの出力オーディオ信号を生成するように構成された生成回路と、を備える装置が提供される。
【0052】
第１５の態様によれば、装置に、少なくとも、２つ以上のオーディオシーンベースのソースを取得することであって、２つ以上のオーディオシーンベースのソースはオーディオシーンにおける１つ以上の位置に関連付けられ、各オーディオシーンベースのソースは、少なくとも１つの空間パラメータ、および、少なくとも１つのオーディオ信号を含む、取得することと、取得された２つ以上のオーディオシーンベースのソースの少なくとも１つに関連付けられた少なくとも１つの位置を決定することであって、少なくとも１つの位置はレンダリングのために決定される、決定することと、決定された少なくとも１つの位置に基づいて、少なくとも１つのオーディオソースを生成することであって、少なくとも１つのオーディオソースの生成は、装置に、決定された少なくとも１つの位置に関連して、取得された２つ以上のオーディオシーンベースのソースのうちの少なくとも１つに関連する少なくとも１つの空間パラメータに基づいて、少なくとも１つの空間オーディオパラメータを生成し、決定された少なくとも１つの位置に関連して、取得された２つ以上のオーディオシーンベースのソースの少なくとも１つのオーディオ信号に基づいて、少なくとも１つのオーディオソースのための少なくとも１つのオーディオソース信号を生成する、ことを行わせる、生成することと、生成された少なくとも１つの空間オーディオパラメータと、取得された２つ以上のオーディオシーンベースのソースの少なくとも１つに関連する少なくとも１つのオーディオ信号との間の関係に関する情報を生成することであって、生成された少なくとも１つのオーディオソースは、レンダラのプリファレンスに基づいて選択される、生成することと、を実行させるためのプログラム命令を含む、コンピュータ可読媒体が提供される。
【0053】
第１６の態様によれば、装置に少なくとも、生成された少なくとも１つの空間オーディオパラメータと、取得された２つ以上のオーディオシーンベースのソースの少なくとも１つ、および、生成された少なくとも１つのオーディオソースに関連する少なくとも１つのオーディオ信号との間の関係に関する情報を取得することと、ユーザ位置の値およびユーザ方向の値を取得することと、ユーザ位置の値に基づいて、生成された少なくとも１つのオーディオソース、および／または、２つ以上のオーディオシーンベースのソースの少なくとも２つの選択を要求することと、要求に基づいて少なくとも１つのレンダリングソース空間パラメータを取得することと、要求に基づいて少なくとも１つのレンダリングソースオーディオ信号を取得することと、ユーザ方向の値、少なくとも１つのレンダリングソース空間パラメータ、および、少なくとも１つのレンダリングソースオーディオ信号に基づいて、少なくとも１つの出力オーディオ信号を生成することと、を実行させるためのプログラム命令を含むコンピュータ可読媒体が提供される。
【0054】
電子機器は、本明細書に記載されるような装置を備えてよい。
【0055】
チップセットは、本明細書で説明するような装置を備えてよい。
【図面の簡単な説明】
【0056】
本願のより良い理解のために、次に、添付の図面を例として参照する。
【発明を実施するための形態】
【0057】
マルチポイント高次アンビソニクス（ＭＰＨＯＡ）レンダリングは、一般的に、計算量が多い。レンダリング処理には、複数の高次アンビソニクス（ＨＯＡ）オーディオソースのオーディオ信号が必要である。そのため、複数のオーディオソースからオーディオ信号を伝送するために、通常、必要な帯域幅が大きくなる。
【0058】
既存のシステムでは、通常、３つのＨＯＡソースのオーディオ信号と、３～５個のＨＯＡソースの空間メタデータセット（例えば、リスナ位置が５つのＨＯＡソースで形成される２つの三角形の境界にある場合）を配信する必要がある。
【0059】
そのため、現在、より高次のアンビソニクスベースのシステムには、大きな計算能力と大きな帯域幅が必要とされている。
【0060】
例えば、図１に示すように、実施形態が適用され、現在の手法に対する利点をもたらし得るシナリオの一例が示されている。図１において、オーディオシーンにおける、第１オーディオソースＡＳ１１０１、第２オーディオソースＡＳ２１０３、第３オーディオソースＡＳ３１０５、および、第４オーディオソースＡＳ４１０７の４つのオーディオソースが示されており、これらは、６つのマイク（または、マイクアレイ）によりキャプチャされて、キャプチャした高次アンビソニクス（ＨＯＡ）ソースである、第１ＨＯＡソースＨ１１１１、第２ＨＯＡソースＨ２１１３、第３ＨＯＡソースＨ３１１５、第４ＨＯＡソースＨ４１１７、第５ＨＯＡソースＨ５１１９、および、第６ＨＯＡソースＨ６１２１を作成することが可能である。以下の例では、ＨＯＡソースＨ２１１３、Ｈ３１１５、Ｈ４１１７を含むＨＯＡソースの第１サブセットＳ１１２３と、ＨＯＡソースＨ３１１５、Ｈ４１１７、および、Ｈ５１１９を含むＨＯＡソースの第２サブセットＳ２１２５が定義されうる。リスニング位置Ｐ１１３１とＰ２１３３を結ぶ曲線で表される経路をたどるリスナ位置に応じて、レンダラは、３～５個のＨＯＡソース空間メタデータおよびオーディオ信号データを要求することになる。例では、キャプチャされたＨＯＡソースについて説明したが、いくつかの実施形態では、合成ＨＯＡソースも存在し得る。
【0061】
図２は、６ＤｏＦ ＨＯＡシステムをレンダリングするために採用されている現在の方法を示す。
【0062】
まず、図２において、ステップ２０１で示すように、エンコーダ入力フォーマット（ＥＩＦ）情報を受信、または、他の方法により取得する。ＥＩＦ（エンコーダ入力フォーマット）は、コンテンツ作成者指定のオーディオシーン記述の一形態である。ＨＯＡソースＨ１、Ｈ２、Ｈ３、Ｈ４、Ｈ５は、ＥＩＦ（または、それに相当するコンテンツ作成者のシーン記述）に含まれる。
【0063】
さらに、図２において、ステップ２０２で示すように、ＭＰＥＧ－Ｈ、または、他のフォーマットのオーディオ信号データを受信、または、その他の方法で取得する。
【0064】
図２において、ステップ２０３で示すように、ＥＩＦおよびオーディオ信号データは、ＭＰＥＧ－Ｉ ＭＰＨＯＡエンコーダへ送られる。
【0065】
次に、図２において、ステップ２０５で示すように、エンコーダは、６自由度を持つリスナ動作を可能にするためのＭＰＨＯＡ処理を行うために一緒に処理すべきＨＯＡグループの数を決定するためにＥＩＦを解析するように構成される。
【0066】
次に、図２において、ステップ２０７で示すように、エンコーダは、ＨＯＡグループにおいて高次アンビソニックソース（ＯＨ）を決定するように構成され得る。
【0067】
続いて、エンコーダは、ＨＯＡソースの各々を処理して、６ＤＯＦレンダリングに必要な空間メタデータを生成するように構成される。高次アンビソニックオーディオ信号からの高次アンビソニックソースのための空間メタデータの生成は、図２において、ステップ２０９で示される。
【0068】
これらの操作は、その後、図２に参照番号２００で示すように、ＥＩＦに基づいてレンダリングメタデータを生成する動作としてまとめることができる。
【0069】
ＥＩＦにおけるＨＯＡソースは、コンテンツ作成者がＥＩＦにおいて定義したものであるため、オリジナルＨＯＡソースと呼ばれる。
【0070】
図２において、ステップ２１１で示すように、（再生装置）プレーヤは、リスナ位置（ＬＰ）に基づいて、ＨＯＡソース空間メタデータおよびオーディオ信号を選択するように構成されている。
【0071】
図１に示すシナリオを参照すると、リスナが位置Ｐ１１３１にいる場合、ソースの選択はサブセットＳ１１２３であり、位置Ｐ２１３３の場合、選択はサブセットＳ２１２５である。リスナ位置（ＬＰ）に基づくＯＨソース空間メタデータおよびオーディオ信号の選択は、図２において、ステップ２１１で示される。
【0072】
その後、選択されたコンテンツが取り出される（ｒｅｔｒｉｅｖｅｄ）。通常、この動作は、帯域幅のかなりの量を消費する。ＬＰの周りに三角形を形成するＯＨソース空間メタデータおよびオーディオ信号を取り出す動作は、図２において、ステップ２１３で示されている。
【0073】
図２において、ステップ２１０で示すように、ステップ２１１および２１３は、ＬＰ（３～５個のＯＨソース空間メタデータおよびオーディオ信号）に基づくコンテンツ選択および取り出しとして要約することができる。
【0074】
その後、取り出されたサブセットは、再生装置またはレンダリング装置におけるレンダリング処理のために入力される。最も近いＨＯＡオーディオ信号から始まる、ＬＰに基づくＨＯＡ空間メタデータ補間の実行は、図２において、ステップ２２１で示されている。このレンダリング処理は、複数のＨＯＡソースからのデータを含む処理であるため、計算集約的な動作となる。ステップ２２１は、３～５個のＯＨソースから空間メタデータ補間の処理およびメモリに必要な計算リソースとしてまとめることができる。
【0075】
以下の説明では、オリジナルの高次アンビソニクスソース（ＯＨソース）は、オーディオシーンの作成の一部として、コンテンツ作成者によって提供される、ＨＯＡまたはシーンベースのオーディオである。オリジナルのＨＯＡ（ＯＨ）ソースは、オーディオシーンにおける１つ以上の位置からシーンをキャプチャするマイク（または、マイクアレイ）のいずれかから生成される。また、ＨＯＡソースは、オーディオオブジェクトのセットから合成によって生成することもできる。ＯＨソースはコンテンツ作成時に、シーンに導入されるものであるため、オーディオシーン記述に存在する。ＭＰＥＧ－Ｉイマーシブオーディオの標準化規格では、コンテンツ作成者のオーディオシーン記述はＥＩＦ（エンコーダ入力フォーマット）である。
【0076】
さらに以下の説明では、位置補間ＨＯＡソース（ＰＩＨソース）は、コンテンツ消費の選択の柔軟性を高めるために、レンダリングメタデータ作成の一部として生成されるＨＯＡソースである。ＰＩＨソースは、ＭＰＥＧ－Ｉエンコーダによる６自由度レンダリングメタデータ作成段階で導入されるため、ＭＰＥＧ－Ｉイマーシブオーディオ標準化規格では、コンテンツ作成者のシーン記述やＥＩＦにＰＩＨソースが存在しない。しかしながら、ＰＩＨソースは、ＭＰＥＧ－Ｉプレーヤがコンテンツの選択および取り出しのために利用できるＭＰＥＧ－Ｉビットストリームに存在する。
【0077】
以下の実施形態に示すコンセプトでは、レンダリングメタデータ作成段階で、追加の位置補間ＨＯＡ（ＰＩＨ）ソース（空間メタデータ付き）を生成し、ＰＩＨソースに対して関連するＨＯＡソースオーディオ情報を生成して、単一のＨＯＡソースのみで６ＤｏＦ移動（ｔｒａｎｓｌａｔｉｏｎ）レンダリングを可能にすることによって、複数のオリジナルＨＯＡ（ＯＨ）ソースを含むシーンに対する６ＤＯＦレンダリングに必要なレンダリング計算およびネットワーク帯域を低減する方法および装置について説明する。
【0078】
事前に生成されたＰＩＨソースおよび関連するメタデータは、ＯＨソースとともにコンテンツ配信サーバによってホストされ得る。その結果、レンダラやプレーヤは、適切なＰＩＨソースおよび指示されたオーディオ信号を直接取り出すことができる。その結果、（通常、３つのＨＯＡソースメタデータの代わりに）単一のＨＯＡソースメタデータ処理を含む計算が少なくなり、単一のＨＯＡソース空間メタデータおよび関連するＯＨソースオーディオ信号のみを取り出す必要性により、帯域幅が減少する。
【0079】
したがって、低複雑性、低帯域幅の移動再生は、いくつかの実施形態において、
レンダリングメタデータ作成中に、ＯＨオーディオ信号から補間された空間メタデータを含む１つまたは複数のＰＩＨソースを生成することと、
少なくとも１つの基準（例えば、ＰＩＨソースの位置に最も近い、２番目に近いが別の隣接するＰＩＨソースに近い）に基づいて、ＰＩＨソースの各々に関連する少なくとも１つのＨＯＡオーディオ信号を決定することと、
ＰＩＨ空間メタデータとＨＯＡオーディオ信号との間を関連付ける情報を生成することと、
ＯＨおよびＰＩＨ表示を含むＨＯＡソース情報をレンダラに生成することと、
によって達成することができる。
いくつかの実施形態では、ＰＩＨソースおよびＯＨソースメタデータは、ＨＴＴＰ上の動的適応ストリーミング（ＤＡＳＨ）ベースの配信のためのコンテンツ選択を可能にするために、メディア表示記述（またはマニフェスト）において示される。
いくつかの実施形態において、レンダラは、帯域幅および／または計算リソースの制約に応じて、異なるモードで動作するように構成され得る。いくつかの実施形態では、３つのモードが存在し得る。
モード１：２つ以上のＯＨソースの空間メタデータおよびオーディオ信号によるレンダリング。
モード２：単一のＯＨソース空間メタデータ、および、６ＤｏＦが制限された関連するＯＨオーディオ信号によるレンダリング。
モード３：３ＤｏＦレンダリングで最も近い単一のＯＨまたはＰＩＨソース空間メタデータおよび関連するＯＨオーディオ信号によるレダリング。
レンダリングメタデータ作成中に、ＯＨオーディオ信号から補間された空間メタデータを含む１つまたは複数のＰＩＨソースを生成することと、
少なくとも１つの基準（例えば、ＰＩＨソースの位置に最も近い、２番目に近いが別の隣接するＰＩＨソースに近い）に基づいて、ＰＩＨソースの各々に関連する少なくとも１つのＨＯＡオーディオ信号を決定することと、
ＰＩＨ空間メタデータとＨＯＡオーディオ信号との間を関連付ける情報を生成することと、
ＯＨおよびＰＩＨ表示を含むＨＯＡソース情報をレンダラに生成することと、
によって達成することができる。
いくつかの実施形態では、ＰＩＨソースおよびＯＨソースメタデータは、ＨＴＴＰ上の動的適応ストリーミング（ＤＡＳＨ）ベースの配信のためのコンテンツ選択を可能にするために、メディア表示記述（またはマニフェスト）において示される。
いくつかの実施形態において、レンダラは、帯域幅および／または計算リソースの制約に応じて、異なるモードで動作するように構成され得る。いくつかの実施形態では、３つのモードが存在し得る。
モード１：２つ以上のＯＨソースの空間メタデータおよびオーディオ信号によるレンダリング。
モード２：単一のＯＨソース空間メタデータ、および、６ＤｏＦが制限された関連するＯＨオーディオ信号によるレンダリング。
モード３：３ＤｏＦレンダリングで最も近い単一のＯＨまたはＰＩＨソース空間メタデータおよび関連するＯＨオーディオ信号によるレダリング。
【0080】
モード１では、ユーザの動きの自由度が高くなる。モード２はモード１に比べてユーザの動きの自由度は低いが、モード１に比べて計算量が少なく、帯域幅も狭くなる。モード３は、モード１やモード２に比べて計算量が最も少ないが、想定されるリスニング位置においてＯＨおよびＰＩＨのソースが利用可能であることが期待される。リスナ位置のホットスポットが分かっている場合、ＭＰＥＧ－Ｉエンコーダは、適切なＬＰにおいてＰＩＨソースを生成することができる。本発明の一実施形態において、コンテンツ処理サーバ（すなわち、ＭＰＥＧ－Ｉエンコーダをホストする）は、ユーザの動きから収集されるＬＰの軌跡によって取得されるクラウドソースされたコンテンツ消費ホットスポットに基づいて、利用可能なＰＩＨソースを定期的に更新する。上記のいずれのモードにおいても、プレーヤは、３つのモードすべてにおいて、ＰＩＨソースと同等の方法でレンダリングを実行することができる。ＰＩＨソースを追加する必要性は、完全な６ＤｏＦのためのＯＨソースサブセットの使用と比較して、単一のＰＩＨレンダリング（限定的６ＤｏＦ）で、音質の有意な損失なしに、限られたユーザの移動に起因する。
【0081】
本明細書に記載された実施形態を採用することにより、ＭＰＨＯＡレンダリング帯域幅を最大１／３まで削減することができる。さらに、計算に制約のある消費デバイスでのＭＰＨＯＡレンダリングにより、ローエンド機器を６ＤｏＦ ＭＰＨＯＡレンダリングの対象となる市場とすることができる。
【0082】
本明細書に記載された実施形態では、サーバにおける追加の記憶装置および事前計算を利用することによって、レンダラ／プレーヤにおける計算の複雑性とネットワーク帯域幅の要件との間のトレードが実施され得る。
【0083】
そのため、複雑なシーンのレンダリングにおいて、柔軟な機器構成が可能となる。
【0084】
実施形態において、ＯＨソースの助けを借りて位置補間ＨＯＡまたは位置補間ＨＯＡ（ＰＩＨ）ソースを生成し、６ＤｏＦレンダリングメタデータ作成段階で適切なＯＨオーディオソース情報を追加することは、現在、他で議論されていない概念である。上記で示したように、これは、コンテンツ作成に影響を与えることなく、計算の複雑性をレンダラからコンテンツ処理またはコンテンツホスティング（例えば、ＰＩＨソース空間メタデータをホストするＤＡＳＨサーバ）にシフトさせるものである。
【0085】
さらに本明細書で説明するコンセプトは、複数のＨＯＡソースオーディオ信号データの配信の必要性を大幅に削減する単一のＯＨオーディオソースの信号を示すように構成されている。
【0086】
コンセプトおよび実施形態は、ＭＰＥＧ規格内での実装に適しているが、本技術は、他のフォーマットおよび空間オーディオキャプチャコンテンツに適用することができる。さらに、本明細書で説明する実施形態は、オーディオ信号データを変更する必要がなく、最適なものの使用のみを示すように構成される。
【0087】
本発明のコンセプトは、図１に示されるようなシーンを示す図３を参照して説明される。しかしながら、この例のシーンでは、さらなる第５のオーディオソースＡＳ５１０９と、リスナ装置１３５および１３７のためのさらなる位置も存在する。シーンは、さらに（位置補正ＨＯＡ）ＰＩＨソース３０１、３０３、３０５、および、３０７を含む。ＰＩＨソースは、単一のＨＯＡソース空間メタデータおよび単一のＨＯＡソースオーディオ信号データのみを取得することによって、レンダラがレンダリングを実行できる追加のリスニング位置を作成する。
【0088】
図４に関連して、シーンラベル４０１「ｐｏａｌ」に関連するＰＩＨソース４１０、および、ＨＯＡソース４２０、４３０、４４０のデータ構造の例を示す。
【0089】
この例では、ソース４２０、４３０、４４０などのＯＨ（ＨＯＡ）ソースのデータ構造は、以下の通りである。
ソースタイプ識別子（ｈｏａ＿ｓｏｕｒｃｅ＿ｔｙｐｅ ＯＨ）４４１
一意のソース識別子（ｈｏａ＿ｓｏｕｒｃｅ＿ｉｄ）４４３
ＨＯＡソース情報４４５
６ＤＯＦ ＨＯＡオーディオデータトラックヘッダ４４７
ＨＯＡオーディオ信号データトラック４４９
ソースタイプ識別子（ｈｏａ＿ｓｏｕｒｃｅ＿ｔｙｐｅ ＯＨ）４４１
一意のソース識別子（ｈｏａ＿ｓｏｕｒｃｅ＿ｉｄ）４４３
ＨＯＡソース情報４４５
６ＤＯＦ ＨＯＡオーディオデータトラックヘッダ４４７
ＨＯＡオーディオ信号データトラック４４９
【0090】
本実施例におけるソース４１０のようなＰＩＨソースのデータ構造は、以下の通りである。
ソースタイプ識別子（ｈｏａ＿ｓｏｕｒｃｅ＿ｔｙｐｅ ＰＩＨ）４１１
一意のソース識別子（ｈｏａ＿ｓｏｕｒｃｅ＿ｉｄ）４１３
ＨＯＡソース情報４１５
６ＤＯＦ ＨＯＡ空間メタデータトラックヘッダ４１７
ＨＯＡレンダリングメタデータトラック４１９
ソースタイプ識別子（ｈｏａ＿ｓｏｕｒｃｅ＿ｔｙｐｅ ＰＩＨ）４１１
一意のソース識別子（ｈｏａ＿ｓｏｕｒｃｅ＿ｉｄ）４１３
ＨＯＡソース情報４１５
６ＤＯＦ ＨＯＡ空間メタデータトラックヘッダ４１７
ＨＯＡレンダリングメタデータトラック４１９
【0091】
図５に関して、いくつかの実施形態を実施するのに適した装置の例示的なシステムを示す。
【0092】
この例では、システムは、エンコーダ（この例では、ＭＰＥＧ－Ｉエンコーダ５０５）に渡されるように構成されたＥＩＦ５０２入力を含む。
【0093】
さらに、システムは、エンコーダ５０５に渡されるように構成されたＭＰＥＧ－Ｉオーディオ５０４入力を含む。
【0094】
システムは、さらに、（ＭＰＥＧ－Ｉ）エンコーダ５０５を有する。エンコーダ５０５は、（ＭＰＥＧ－Ｉ）オーディオ５０４およびＥＩＦ５０２を受信し、受信したシーン記述（ＥＩＦ）およびオーディオ生信号からレンダリングメタデータを生成するように構成される。
【0095】
いくつかの実施形態では、エンコーダは、シーン記述情報（ＥＩＦ）を使用して、１つ以上のＨＯＡグループの存在を検出または決定する。各ＨＯＡグループは、２つ以上のＨＯＡソースを含む。ＥＩＦ情報においてコンテンツ作成者によって特定されたＨＯＡソースは、オリジナルＨＯＡソースまたはＯＨソースと呼ばれる。
【0096】
さらに、エンコーダ５０５は、追加の位置補間ＨＯＡソース（ＰＩＨソース）を生成するための少なくとも１つの候補位置を決定するように構成される。
【0097】
いくつかの実施形態におけるエンコーダ５０５は、候補ＰＩＨソースのそれぞれを包含するＯＨソースを使用して空間メタデータ補間を実行し、位置補間された空間メタデータを生成する。空間メタデータ補間を実行する方法は、ＧＢ出願２００２７１０．８で議論されているように行うことができる。
【0098】
いくつかの実施形態では、エンコーダは、使用されるＰＩＨ空間メタデータを計算するために使用される１つまたは複数のＯＨソースからオーディオ信号を決定するようにさらに構成される。
【0099】
例えば、いくつかの実施形態において、最も近いＯＨソースオーディオ信号が、特定のＰＩＨソースと関連するＯＨソースオーディオ信号として追加される。
【0100】
いくつかの実施形態では、エンコーダは、近隣のＰＩＨソースにも関連するオーディオ信号であるように、ＯＨソースオーディオ信号を選択するように構成される。このようなアプローチは、プレーヤ／レンダラが、リスナの動きに応答してシームレスな動作を保証するために、オーディオコンテンツのより長い持続時間を取得することを可能にする。
【0101】
いくつかの実施形態において、特定または決定されたリスナ位置の数は、ＯＨソースの数およびＯＨソース間の距離に依存し得る。
【0102】
さらにいくつかの実施形態では、決定されたＰＩＨソースの数は、許可される移動の量に依存する。ＰＩＨソースの数は、各ＰＩＨソースに対して許可される移動の範囲と、許容可能な記憶装置のサイズとの間のトレードオフに依存する。
【0103】
例えば、簡単に説明すると、マイクは（オーディオシーンの各マイクに対して）正三角形になるように配置される。三角形の面積Ａは次式で与えられる。
ここで、ａは三角形の辺の長さである。
【数1】
【0104】
各ＰＩＨソースの移動距離が６分の１になるように、ＰＩＨソースがＯＨソースの間に埋め込まれる場合、各ＰＩＨソースによる６ＤｏＦレンダリングの対象領域は、（ａ／ｄ）＾２＊πとなり、ここでｄ＞１である。通常、単一のＰＩＨソースのパラメトリックレンダリングでは、ｄが１に近づくと顕著な劣化はあるが、限られた移動距離では高い品質を維持することができる。
【0105】
ＡをカバーするＰＩＨソースの数は、以下の式で与えられる。
【数2】
【0106】
ａ＝３ｍとすると、Ａ＝３．９平方メートルとなる。０．５ｍの移動が可能なＰＩＨの場合（すなわち、ｄ＝６）、必要なＰＩＨソースの数は、この例では、５個である。
【0107】
正三角形に対する定義は、あらゆる三角形に拡張することができる。
【0108】
いくつかの実施形態では、必要とされる追加の記憶容量が制約となるように、ＰＩＨ間距離を決定することができる。
【0109】
さらにいくつかの実施形態では、ＯＨソースのサブセットのみがＰＩＨソースと共に埋め込まれる。例えば、このサブセット実装は、リスナ位置ヒートマップに基づいて、ＰＩＨソースとの追加のデータ格納が制御される大きなオーディオシーンで採用することができる。
【0110】
さらに、このサブセットの選択は、レンダリングメタデータやオーディオ信号データをホストするＣＤＮ（コンテンツデリバリーネットワーク）に基づいて、地域ごとにカスタマイズすることも可能である。
【0111】
いくつかの実施形態では、ＯＨソースのＨＯＡソース情報は、以下のようにすることができる。
aligned(8) HOASourceInformationStruct()｛
unsigned int(2) hoa_source_type; //OH or PIH source
HOASourcePositionStruct(); //position of the HOA source
unsigned int(16) hoa_source_id; //unique identifier for each HOA source
unsigned int(3) hoa_order; //order of HOA source
bit (3) reserved = 0;
HOAGroupInformationStruct(); //grouping information of the HOA source
｝
aligned(8) HOAGroupInformationStruct()｛
unsigned int(16) hoa_source_group_id; //Unique HOA group identifier
｝
aligned(8) HOASourceInformationStruct()｛
unsigned int(2) hoa_source_type; //OH or PIH source
HOASourcePositionStruct(); //position of the HOA source
unsigned int(16) hoa_source_id; //unique identifier for each HOA source
unsigned int(3) hoa_order; //order of HOA source
bit (3) reserved = 0;
HOAGroupInformationStruct(); //grouping information of the HOA source
｝
aligned(8) HOAGroupInformationStruct()｛
unsigned int(16) hoa_source_group_id; //Unique HOA group identifier
｝
【0112】
【表1】
【0113】
図４に示すように、レンダリング４０１のための信頼できる代替であるＯＨソース、ＰＩＨソース、および、ＯＨオーディオ信号のグループ化は、ＰＩＨソースメタデータを含むトラックおよび関連する代替ＯＨオーディオ信号を同じエンティティグループに含めることを指定する、「ｐｏａｌ」（ＰＩＨおよびＯＨのソースオーディオの代替）に等しいｇｒｏｕｐｉｎｇ＿ｔｙｐｅを有するＥｎｔｉｔｙＴｏＧｒｏｕｐＢｏｘを用いて定義することが可能である。
aligned(8) class HOASourceOHAudioAlternativesBox(version, flags) extends EntityToGroupBox('poal', version, flags) ｛
// conditionally mandatory
for(i=0; i<num_entities_in_group; i++)
unsigned int(16) ref_ohaudio_id[i];
｝
aligned(8) class HOASourceOHAudioAlternativesBox(version, flags) extends EntityToGroupBox('poal', version, flags) ｛
// conditionally mandatory
for(i=0; i<num_entities_in_group; i++)
unsigned int(16) ref_ohaudio_id[i];
｝
【0114】
この例では、ｒｅｆ＿ｏｈａｕｄｉｏ＿ｉｄ［ｉ］は、このグループ内のＰＩＨソースのレンダリングに信頼できるオーディオ信号であるｉ番目のｅｎｔｉｔｙ＿ｉｄで識別されるトラックからのｈｏａ＿ｓｏｕｒｃｅ＿ｉｄを指定する。ＰＩＨソースのレンダリングに適したＯＨオーディオ信号のｅｎｔｉｔｙ＿ｉｄは、最小のインデックスが最も高い優先順位となるように並べられる。ｒｅｆ＿ｏｈａｕｄｉｏ＿ｉｄ［０］で識別されるＯＨは、最も好ましいＯＨオーディオ信号ソースである。ｉ番目の参照されるトラックは、ｒｅｆ＿ｏｈａｕｄｉｏ＿ｉｄ［ｉ］に等しいｈｏａ＿ｓｏｕｒｃｅ＿ｉｄを有することができる。単一のオーディオ信号が適している場合、エンティティの数は存在しないようにすることができる。
【0115】
いくつかの実装形態では、６ＤＯＦ ＯＨソースは、空間レンダリングメタデータトラックのサンプルエントリに含まれる新しいボックス－６ＤＯＦＯＨＳｏｕｒｃｅＢｏｘ（「６ｄｏｈｂ」）として、ＨＯＡＳｏｕｒｃｅＩｎｆｏｒｍａｔｉｏｎＳｔｒｕｃｔ（）をシグナリングすることにより示され、関連するＯＨオーディオ信号データについての情報を搬送する。
aligned(8) 6DOFHOABox() extends FullBox('6dhb',0,flags) ｛ #container: AudioSampleEntry or Timed metadata. New definition
HOASourceInformationStruct();
unsigned int(1) hoa_source_audio_or_render_meta;
bit(7) reserved = 0;
｝
aligned(8) 6DOFHOABox() extends FullBox('6dhb',0,flags) ｛ #container: AudioSampleEntry or Timed metadata. New definition
HOASourceInformationStruct();
unsigned int(1) hoa_source_audio_or_render_meta;
bit(7) reserved = 0;
｝
【0116】
いくつかの実施形態では、（ＭＰＥＧ－Ｉ）エンコーダ５０５は、コンテンツ選択のためのメタデータマニフェストをレンダリングまたは生成するようにさらに構成される。
【0117】
いくつかの実施形態では、コンテンツ選択のためのメタデータマニフェストの生成は、ＤＡＳＨメディアプレゼンテーション記述（ＭＰＤ）に対して、「ｕｒｎ：ｍｐｅｇ：ｍｐｅｇＩ：ｍｉａ：２０２１：６ＤＯＨ」に等しい＠ｓｃｈｅｍｅＩｄＵｒｉ属性を有するＨＯＡソース要素が、オリジナルＨＯＡソース（ＥＩＦで定義されたＯＨソース）、６ＤＯＨ記述子として言及されるものである。さらに、ＨＯＡソースは、ＨＯＡＳｏｕｒｃｅＩｎｆｏｒｍａｔｉｏｎＳｔｒｕｃｔ（）において記述され、ｈｏａ＿ｓｏｕｒｃｅ＿ｔｙｐｅの値は０に等しい。
【0118】
また、＠ｓｃｈｅｍｅＩｄＵｒｉ属性が「ｕｒｎ：ｍｐｅｇ：ｍｐｅｇＩ：ｍｉａ：２０２１：６ＤＰＨ」であるＨＯＡソース要素は、位置補間ＨＯＡソース（ＰＩＨソース）、６ＤＰＨ記述子として参照される。ＨＯＡソースは、ＨＯＡＳｏｕｒｃｅＩｎｆｏｒｍａｔｉｏｎＳｔｒｕｃｔ（）に記述され、ｈｏａ＿ｓｏｕｒｃｅ＿ｔｙｐｅの値は１に等しい。
【0119】
いくつかの実施形態では、６ＤＯＨ適応セットの数は、コンテンツ作成者シーン記述におけるＯＨソースのそれぞれについてのデータ（オーディオ信号データおよび空間メタデータ）に対して存在する。同様に、レンダリングメタデータ作成段階で追加された１つ以上のＰＩＨソースがある場合、それらは、補間された空間メタデータ表現の各々に対応する６ＤＰＨ記述子を有する適応セットとして存在する。
【0120】
ＰＩＨソースがない場合、レンダリングはＯＨソース（オーディオおよび空間メタデータ）のみを使用して実行される。メディアマニフェスト内にＰＩＨソースがある場合、プレーヤは、レンダリング装置の計算リソースおよび帯域幅の利用可能性に応じて、取り出しと再生のための適切な適応セットを自由に選択することができる。
【0121】
いくつかの実施形態における６ＤＯＨおよび６ＤＰＨ記述子は、＠ｖａｌｕｅ属性と、以下の表に規定される副要素および属性を有するＨＯＡＳｏｕｒｃｅＩｎｆｏ要素を含むものとする。
【0122】
【表2-1】
【表2-2】
【0123】
いくつかの実施形態では、他のマニフェスト実装アプローチは、すべてのＨＯＡソース（ＯＨおよびＰＩＨ）に対する単一の記述子を含む。そのような実施形態におけるメディアプレゼンテーション記述（ＭＰＤ）は、適応セットがＯＨソースを表しているか、または、ＰＩＨソースを表しているかを示す追加の必須パラメータｈｏａ＿ｓｏｕｒｃｅ＿ｔｙｐｅを有する。
【0124】
いくつかの実施形態では、ＯＨおよびＰＩＨソースは、Ｊａｖａ（登録商標）Ｓｃｒｉｐｔ Ｏｂｊｅｃｔ Ｎｏｔａｔｉｏｎ（ＪＳＯＮ）形式の属性としてリストされる。これは、ＤＡＳＨ以外の配信方法が使用される場合に有用であり得る。配信方法の選好に応じて、セッション記述プロトコル（ＳＤＰ）も、利用可能なＨＯＡソースを記述するために使用され得る。これは、コンテンツのブロードキャストおよびマルチキャスト配信のために有益である。このようなシナリオでは、プレーヤは、ＯＨまたはＰＩＨソースを表すアプローチストリームを選択して、６ＤＯＦレンダリングを実行することができる。
【0125】
レンダリングビットストリームおよびＨＯＡソースオーディオ信号５０６を生成した後、これらを適切なＭＰＥＧ－Ｉコンテンツノード５０８（サーバまたはクラウドベースの記憶素子であってもよい）に渡すことができる。
【0126】
コンテンツノード５０８は、さらに、１つの位置補間されたＨＯＡソースメタデータおよび１つのＨＯＡソースオーディオ５１０を（ＭＰＥＧ－Ｉ）レンダラ５１１に転送することができる。
【0127】
いくつかの実施形態では、レンダラ５１１は、６ＤｏＦオーディオシーンにおけるＯＨおよびＰＩＨソースの存在を利用するために、異なるモードで動作するように構成され得る。いくつかの実施形態では、異なるプレーヤは、計算リソースの利用可能性およびネットワーク帯域幅の利用可能性に応じた選好を有するため、これらのモードは、決定された推定計算リソース要件および利用可能なネットワーク帯域幅に基づいて選択され得る。
【0128】
以下の例では、以下のモードを提示しているが、他の動作モードを実装することも可能である。
【0129】
いくつかの実施形態では、第１レンダリングモード（Ｍｏｄｅ１）が存在する。第１レンダリングモードは、レンダラ５１１が、最先端のＭＰＨＯＡレンダリングを実行するために計算機を備えて装備されている、いくつかの実施形態において採用され得る。この動作モードでは、レンダラ５１１は、リスナ位置に基づいて三角形を形成するＯＨソースおよび対応するオーディオ信号を取得するように構成される。
【0130】
このモードでは、（通常）３つ以上のＯＨソースを使用できるため、リスナの移動の自由度が高いという利点がある。さらに、３つのＯＨソースを包含する三角形内にリスナが移動する可能性が高いため、より多くのデータを事前に取得できる利点がある。
【0131】
また、このモードでは、ＯＨソースのオーディオ信号データに加えて、ＯＨソースのためだけに生成された空間メタデータをレンダラで使用することができる。
【0132】
さらに、このモードでは、レンダラがリスナの位置に依存して、いずれかのオーディオ信号を切り替える可能性があるため、オーディオ信号だけでなく３～５個のＨＯＡソースの空間メタデータを取得するための帯域も必要となる。
【0133】
しかしながら、提案されたＯＨソースオーディオ信号データの助けを借りて、いくつかの実施形態では、任意の適切なＭＰＨＯＡレンダリングは、「最適な」ＯＨソースオーディオ信号データのみの使用を要求することによって最適化され得る。「最適」は、実装に依存して、最も近いか、または、最も変化が少ないかのいずれかであり得る。
【0134】
いくつかの実施形態では、第２レンダリングモード（Ｍｏｄｅ２）が存在する。このモードは、レンダラ５１１が計算能力を備えているが、帯域幅によって制約される場合に実施することができる。そのような実施形態では、レンダラ５１１は、リスナ位置、１つのＰＩＨソース空間メタデータ、および、関連するＯＨソースオーディオ信号に基づいて取得するように構成され得る。レンダラは、取り出されたデータを用いて、限定的な６自由度の動作を実行することができる。レンダラ５１１は、いくつかの実施形態において、レンダリングのために、次の近接したＰＩＨソース空間メタデータおよび関連するソースオーディオ信号を取得するように構成され得る。
【0135】
そのため、このモードでは、単一のＰＩＨソースの空間メタデータおよび単一のＯＨソースのオーディオ信号データを取得するだけでよい。
【0136】
さらに、第２レンダリングモードは、ＯＨソースに加えて、ＰＩＨソースのための空間メタデータを生成するように構成される。したがって、このモードは、コンテンツノード５０８（例えば、ＤＡＳＨ配信のためのＣＤＮ）上に追加の記憶装置を必要とする。
【0137】
実施形態では、このモードは、レンダラ５１１が計算および帯域幅で制約されている場合に採用され得る。そのような実施形態では、レンダリングモードは、レンダラ５１１が、ＰＩＨソース空間メタデータおよび関連するオーディオ信号を取得するように構成されている。そのような実施形態におけるレンダラ５１１は、限定された６ＤＯＦレンダリングを実行するように構成される。
【0138】
いくつかの実施形態では、第３レンダリングモード（Ｍｏｄｅ３）が存在する。第３レンダリングモードは、レンダラ５１１が計算上著しく制約されるものである。そのような実施形態では、レンダラ５１１は、最も近いＰＩＨソースメタデータおよび関連するＯＨオーディオ信号データを選択して、３ＤＯＦレンダリングのみを実行するように構成される。
【0139】
この第３レンダリングモードにおいて、レンダラ５１１は、レンダラが計算上の制約のために３ＤＯＦレンダリングを実行することしかできない場合、最も近いＯＨソースの使用（これは、デフォルト動作であり得る）と比較して、より良いリスニング体験を提供するように構成される。さらに、コンテンツ作成者は、計算上の制約が大きいレンダラに対して、空間的にローカライズされた体験を提供するための追加のコンテンツ作成を行う必要がないという利点もある。ＭＰＥＧ－Ｉエンコーダは、レンダリングのための空間メタデータを作成する際に、必要なＰＩＨソースを生成する。
【0140】
図６に関して、システムの動作、および、レンダラのモード１およびモード２に関する動作を示す。
【0141】
したがって、図６において、ステップ６０１によって、ＥＩＦを受信する動作が示されている。
【0142】
さらに、図６において、ステップ６０２で示すように、ＭＰＥＧ－Ｈオーディオを受信する動作が示されている。
【0143】
そして、図６において、ステップ６０３で示すように、ＥＩＦ情報およびＭＰＥＧ－Ｈオーディオを受信すると、ＭＰＥＧ－Ｉ ＭＰＨＯＡを符号化する動作となる。
【0144】
図６において、ステップ６０５で示すように、ＭＰＥＧ－Ｉ ＭＰＨＯＡを生成した後、ＭＰＨＯＡグループが決定される。
【0145】
さらに、図６において、ステップ６０７で示すように、ＨＯＡグループのＯＨソースの決定が示されている。
【0146】
ステップ６０９、６１１、６１３、６１５では、ＯＨソースに基づき、ＰＩＨソースを用いない方法を説明する。
【0147】
例えば、図６において、ステップ６０９で示すように、レンダリングの第１モードでは、ＯＨオーディオ信号からＯＨ用空間メタデータを生成する動作が示されている。
【0148】
さらに、図６において、ステップ６１１で示すように、レンダリングの第１モードでは、リスナ位置（ＬＰ）に基づくＯＨソース空間メタデータおよびオーディオ信号の選択が示されている。
【0149】
さらに、図６において、ステップ６１３で示すように、レンダリングの第１モードでは、ＬＰの周りに三角形を形成するＯＨソース空間メタデータおよびオーディオ信号の取得が示されている。
【0150】
次に、図６において、ステップ６１５で示すように、レンダリングの第１モードについては、最も近いＨＯＡオーディオ信号から始まるＬＰに基づいて、ＨＯＡ空間メタデータ補間をレンダリングすることが示されている。
【0151】
ステップ６１０、６１２、６１４、６１６は、追加エンコーダ生成ＰＩＨソースおよび関連するＯＨオーディオデータシグナリングに基づく方法を説明する。
【0152】
例えば、図６において、ステップ６１０で示すように、第２レンダリングモードでは、ＰＩＨソースを生成するための補間位置を決定する動作が示される。
【0153】
さらに、図６において、ステップ６１２で示すように、レンダリングの第２モードでは、空間メタデータおよび関連するオーディオ信号情報を含むＰＩＨソースを生成することが示されている。
【0154】
さらに、図６において、ステップ６１４で示すように、レンダリングの第２モードでは、ＬＰに基づいて単一のＰＩＨソース空間メタデータおよび関連するオーディオ信号を取得することが示されている。
【0155】
次に、図６において、ステップ６１６で示すように、レンダリングの第２モードについて、ＬＰに基づいてＰＩＨソース空間メタデータおよび関連オーディオ信号からレンダリングし、最も近いＨＯＡオーディオ信号から開始することが示されている。
【0156】
図７は、補間された高次アンビソニクスおよび高次アンビソニックソースを含むレンダリングメタデータによるＭＰＨＯＡレンダリングのためのレンダラＨＯＡソース選択基準のフロー図を示す。
【0157】
したがって、図７において、ステップ７０１で示すように、いくつかの実施形態では、ＯＨおよびＰＩＨソースを含むＭＰＨＯＡシーンの再生を開始する。
【0158】
そして、図７において、ステップ７０３で示すように、レンダリング装置および取得帯域に十分な計算リソースがあるか否かの判定が行われる。
【0159】
図７において、ステップ７０７で示すように、レンダリング装置および再生帯域幅に十分な計算リソースがある場合は、ＬＰに基づいて三角形を形成するソースからのＯＨ空間メタデータおよびオーディオ信号で再生が開始される。換言すれば、第１レンダリングモードまたはデフォルトモードが採用される。
【0160】
図７において、ステップ７０５で示すように、レンダリング装置および取得帯域幅に十分な計算リソースがない場合、３ＤｏＦ＋レンダリングを実施するための十分な計算リソースがあるか否かを判断するために、さらなるチェックを実施することができる。
【0161】
図７において、ステップ７１２で示すように、十分な計算リソースがない場合、再生は、ＬＰに基づいて最も近いＰＩＨ空間メタデータおよびオーディオ信号による３ＤｏＦ再生を開始する。換言すれば、（低帯域幅最小複雑性のための）第３レンダリングモードが採用される。
【0162】
図７において、ステップ７１１で示すように、３Ｄｏｆ＋レンダリングを実施するための十分な計算機リソースがある場合、ＬＰに基づいてＰＩＨ空間メタデータおよびオーディオ信号で再生が開始される。換言すれば、（低帯域幅低複雑性のための）第２レンダリングモードが採用される。
【0163】
図８に関して、Ｎ個のＯＨソース８９０を生成するように構成されているコンテンツ作成者スコープ８００が存在するシステムのさらなる図が示されている。
【0164】
この部分には、オーディオ入力８０３、ＥＩＦ入力またはジェネレータ８０１がある。
【0165】
さらに、ＭＰＥＧ－Ｈエンコーダおよびデコーダ８０５は、オーディオ入力からオーディオ信号を受信し、これらをＭＰＥＧ－Ｈ符号化／復号化されたオーディオバッファ／記憶装置８０７に渡すように構成されている。
【0166】
ＭＰＥＧ－Ｈ符号化／復号化されたオーディオバッファ／記憶装置８０７は、さらに、符号化されたオーディオ信号を（ＭＰＥＧ－Ｉ）エンコーダ８０９に渡すように構成され得る。
【0167】
さらにこのセクションは、エンコーダ８０９（ただし、これはレンダリングメタデータ作成８２０部内に実装されてもよい）を含んでよい。エンコーダ８０９は、ＥＩＦ情報、オーディオ入力８０３からの（生の）オーディオ信号、および、符号化された（ＭＰＥＧ－Ｈ）オーディオを取得または受信し、さらにＰＩＨソースを生成するように構成される。
【0168】
いくつかの実施形態では、レンダリングメタデータ作成８２０部が存在し得る。上記に示したように、これは、エンコーダ８０９を含み得るか、またはエンコーダ８０９の出力を取得し得る。
【0169】
レンダリングメタデータ作成８２０部は、いくつかの実施形態において、上記に示したように、メタデータを生成するように構成されたメタデータレンダラ８２１を有することができる。
【0170】
このように、レンダリングメタデータ作成８２０部の出力は、（Ｎ個の）ＯＨソースと、さらに（Ｍ個の）ＰＩＨソース８９２が存在するものである。
【0171】
システム内のさらなるセクションは、配信用コンテンツホスティング８４０部である。配信用コンテンツホスティング８４０部は、ＯＨおよびＰＩＨソース、ならびに、ＯＨソースオーディオのＰＩＨソースとの関連性の表示８９４を提供することができる。
【0172】
いくつかの実施形態における配信用コンテンツホスティング８４０部は、ＭＰＥＧ－Ｉ ６ＤｏＦコンテンツビットストリームバッファ／記憶装置８４１を有する。ＭＰＥＧ－Ｉ ６ＤｏＦコンテンツビットストリームバッファ／記憶装置８４１は、ビットストリーム中のＯＨおよびＰＩＨソースを受信または取得し、それを保持するための適切なバッファ／記憶素子を提供するように構成される。
【0173】
さらに配信用コンテンツホスティング８４０部は、コンテンツマニフェストセレクタ８４３を有する。コンテンツマニフェストセレクタ８４３は、マニフェスト８６２、ならびに、空間メタデータおよびオーディオデータ８６４を生成し、再生装置８６１に出力するように構成される。
【0174】
いくつかの実施形態における再生８６０部は、ＯＨソースベースレンダリングおよびＰＩＨソースベースレンダリングなどの様々なレンダリングモード８９６を実装するように構成される。
【0175】
いくつかの実施形態では、再生装置８６１は、プレーヤ８６３を有する。プレーヤ８６３は、さらに、ＭＰＨＯＡレンダラ８６５およびコンテンツセレクタ８６７を有する。プレーヤ８６３は、レンダラオーディオをヘッドホン出力８６６としてヘッドホン／トラッカに出力するように構成され、さらに、そこから６ＤｏＦトラッキング情報８６８を取得するように構成される。
【0176】
図９に関して、コンピュータ、エンコーダプロセッサ、デコーダプロセッサ、または、本明細書に記載された機能ブロックのいずれかとして使用することができる電子装置の例を示している。装置は、任意の適切な電子機器または装置であってよい。例えば、いくつかの実施形態では、装置１６００は、携帯端末、ユーザ機器、タブレットコンピュータ、コンピュータ、オーディオ再生装置などである。
【0177】
いくつかの実施形態では、装置１６００は、少なくとも１つのプロセッサまたは中央処理装置１６０７を備える。プロセッサ１６０７は、本明細書に記載されるような方法など、様々なプログラムコードを実行するように構成され得る。
【0178】
いくつかの実施形態では、装置１６００は、メモリ１６１１を有する。いくつかの実施形態では、少なくとも１つのプロセッサ１６０７は、メモリ１６１１に接続される。メモリ１６１１は、任意の適切な記憶手段であり得る。いくつかの実施形態では、メモリ１６１１は、プロセッサ１６０７に実装可能なプログラムコードを格納するためのプログラムコード部を有する。さらに、いくつかの実施形態では、メモリ１６１１は、データ、例えば、本明細書に記載されるような実施形態に従って処理された、または、処理されるべきデータを格納するための格納データ部をさらに備えることができる。プログラムコード部内に格納された実装プログラムコードおよび格納データ部内に格納されたデータは、メモリ－プロセッサ接続を介して必要なときにいつでもプロセッサ１６０７によって取り出すことができる。
【0179】
いくつかの実施形態では、装置１６００は、ユーザインタフェース１６０５を有する。ユーザインタフェース１６０５は、いくつかの実施形態では、プロセッサ１６０７に接続され得る。いくつかの実施形態では、プロセッサ１６０７は、ユーザインタフェース１６０５の動作を制御し、ユーザインタフェース１６０５から入力を受け取ることができる。いくつかの実施形態では、ユーザインタフェース１６０５は、ユーザが、例えばキーパッドを介して、装置１６００にコマンドを入力することを可能にすることができる。いくつかの実施形態では、ユーザインタフェース１６０５は、ユーザが装置１６００から情報を取得することを可能にすることができる。例えば、ユーザインタフェース１６０５は、ユーザに対して装置１６００からの情報を表示するように構成されたディスプレイを含んでよい。ユーザインタフェース１６０５は、いくつかの実施形態において、装置１６００に情報を入力することを可能にし、さらに、装置１６００のユーザに対して情報を表示することの両方が可能なタッチスクリーンまたはタッチインタフェースを有することができる。
【0180】
いくつかの実施形態では、装置１６００は、入力／出力ポート１６０９を有する。いくつかの実施形態における入力／出力ポート１６０９は、トランシーバを備える。そのような実施形態におけるトランシーバは、プロセッサ１６０７に接続され、例えば、無線通信ネットワークを介して他の装置または電子デバイスとの通信を可能にするように構成され得る。トランシーバまたは任意の適切なトランシーバ、あるいは、送信機および／または受信機手段は、いくつかの実施形態において、有線または有線接続を介して他の電子デバイスまたは装置と通信するように構成され得る。
【0181】
トランシーバは、任意の適切な既知の通信プロトコルによって、さらなる装置と通信することができる。例えば、いくつかの実施形態では、トランシーバは、適切なユニバーサル移動通信システム（ＵＭＴＳ）プロトコル、例えばＩＥＥＥ８０２．Ｘなどの無線ローカルエリアネットワーク（ＷＬＡＮ）プロトコル、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの適切な短距離無線周波数通信プロトコル、または赤外線データ通信経路（ＩＲＤＡ）を使用することができる。
【0182】
トランシーバ入力／出力ポート１６０９は、適切なコードを実行するプロセッサ１６０７を使用することによって、オーディオ信号、ビットストリームを送信／受信し、いくつかの実施形態では、上述のような動作および方法を実行するように構成され得る。
【0183】
一般に、本発明の様々な実施形態は、ハードウェアまたは特殊用途回路、ソフトウェア、ロジック、または、それらの任意の組み合わせで実装されてもよい。例えば、いくつかの態様は、ハードウェアで実装されてもよく、他の態様は、コントローラ、マイクロプロセッサ、または、他のコンピューティングデバイスによって実行されてもよいファームウェアまたはソフトウェアで実装されてもよいが、本発明はこれらには限定されない。本発明の様々な態様は、ブロック図、フローチャートとして、または、他の何らかの図形的表現を用いて図示および説明され得るが、本明細書に記載されるこれらのブロック、装置、システム、技術、または、方法は、非限定的な例として、ハードウェア、ソフトウェア、ファームウェア、特殊用途回路、もしくは、論理、汎用ハードウェア、もしくは、コントローラ、もしくは、他のコンピューティングデバイス、または、これらの何らかの組み合わせで実施されてよいことは十分に理解されよう。
【0184】
本発明の実施形態は、プロセッサエンティティなどの携帯端末のデータプロセッサによって実行可能なコンピュータソフトウェアによって、または、ハードウェアによって、または、ソフトウェアとハードウェアの組み合わせによって実装されてもよい。さらに、この点で、図示したような論理フローの任意のブロックは、プログラムステップ、または、相互接続された論理回路、ブロックおよび機能、または、プログラムステップと論理回路、ブロックおよび機能の組み合わせを表すことができることに留意されたい。ソフトウェアは、メモリチップ、または、プロセッサ内に実装されたメモリブロック、磁気媒体、および、光媒体などの物理的媒体に格納されてもよい。
【0185】
メモリは、ローカルな技術環境に適した任意のタイプであってよく、半導体ベースのメモリデバイス、磁気メモリデバイスおよびシステム、光学メモリデバイスおよびシステム、固定メモリおよび取り外し可能メモリなどの任意の適切なデータ記憶技術を使用して実装されてもよい。データプロセッサは、ローカルな技術環境に適した任意のタイプであってよく、非限定的な例として、汎用コンピュータ、特殊用途コンピュータ、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、ゲートレベル回路およびマルチコアプロセッサアーキテクチャに基づくプロセッサの１つ以上を含んでよい。
【0186】
本発明の実施形態は、集積回路モジュールなどの様々な部品において実施することができる。集積回路の設計は、概して高度に自動化されたプロセスである。論理レベル設計を、半導体基板上にエッチングして形成するのに適した半導体回路設計に変換するために、複雑で強力なソフトウェアツールが利用可能である。
【0187】
カリフォルニア州マウンテンビューのシノプシス社や、カリフォルニア州サンノゼのケイデンスデザイン社などのプログラムは、確立された設計ルールと、あらかじめ保存された設計モジュールのライブラリを使用して、半導体チップ上の導体の配線や部品の配置を自動的に行う。半導体回路の設計が完了したら、製造のために、設計結果を標準化された電子フォーマット（Ｏｐｕｓ、ＧＤＳＩＩなど）で半導体製造施設（ファブ）に送信する。
【0188】
上記の説明は、例示的かつ非限定的な例によって、この発明の例示的な実施形態の完全かつ有益な説明を提供した。しかしながら、添付の図面および添付の特許請求の範囲と併せて読むと、上記の説明を考慮して、様々な変更および修正が当業者には明らかになるであろう。しかしながら、この発明の教示のすべてのそのようなおよび類似の修正は、やはり添付の特許請求の範囲で定義されるこの発明の範囲内に入るであろう。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
