IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ノキア テクノロジーズ オサケユイチアの特許一覧

特表2025-504850マルチチャンネルラウドスピーカシステムのための効率的なラウドスピーカ表面の検索
<>
  • 特表-マルチチャンネルラウドスピーカシステムのための効率的なラウドスピーカ表面の検索 図1
  • 特表-マルチチャンネルラウドスピーカシステムのための効率的なラウドスピーカ表面の検索 図2
  • 特表-マルチチャンネルラウドスピーカシステムのための効率的なラウドスピーカ表面の検索 図3
  • 特表-マルチチャンネルラウドスピーカシステムのための効率的なラウドスピーカ表面の検索 図4
  • 特表-マルチチャンネルラウドスピーカシステムのための効率的なラウドスピーカ表面の検索 図5
  • 特表-マルチチャンネルラウドスピーカシステムのための効率的なラウドスピーカ表面の検索 図6
  • 特表-マルチチャンネルラウドスピーカシステムのための効率的なラウドスピーカ表面の検索 図7
  • 特表-マルチチャンネルラウドスピーカシステムのための効率的なラウドスピーカ表面の検索 図8
  • 特表-マルチチャンネルラウドスピーカシステムのための効率的なラウドスピーカ表面の検索 図9
  • 特表-マルチチャンネルラウドスピーカシステムのための効率的なラウドスピーカ表面の検索 図10
  • 特表-マルチチャンネルラウドスピーカシステムのための効率的なラウドスピーカ表面の検索 図11
  • 特表-マルチチャンネルラウドスピーカシステムのための効率的なラウドスピーカ表面の検索 図12
  • 特表-マルチチャンネルラウドスピーカシステムのための効率的なラウドスピーカ表面の検索 図13
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2025-02-19
(54)【発明の名称】マルチチャンネルラウドスピーカシステムのための効率的なラウドスピーカ表面の検索
(51)【国際特許分類】
   H04S 7/00 20060101AFI20250212BHJP
【FI】
H04S7/00 300
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024543034
(86)(22)【出願日】2022-01-18
(85)【翻訳文提出日】2024-07-18
(86)【国際出願番号】 FI2022050030
(87)【国際公開番号】W WO2023139308
(87)【国際公開日】2023-07-27
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.BLUETOOTH
(71)【出願人】
【識別番号】515076873
【氏名又は名称】ノキア テクノロジーズ オサケユイチア
(74)【代理人】
【識別番号】100103610
【弁理士】
【氏名又は名称】▲吉▼田 和彦
(74)【代理人】
【識別番号】100109070
【弁理士】
【氏名又は名称】須田 洋之
(74)【代理人】
【識別番号】100119013
【弁理士】
【氏名又は名称】山崎 一夫
(74)【代理人】
【識別番号】100067013
【弁理士】
【氏名又は名称】大塚 文昭
(74)【代理人】
【識別番号】100120525
【弁理士】
【氏名又は名称】近藤 直樹
(72)【発明者】
【氏名】ライティネン ミッコ-ヴィル
(72)【発明者】
【氏名】ピヒラヤクヤ タパニ
(72)【発明者】
【氏名】ヴィルカモ ユハ タピオ
【テーマコード(参考)】
5D162
【Fターム(参考)】
5D162AA19
5D162BA18
5D162BA19
5D162CD11
5D162EG02
(57)【要約】
複数の仮想表面を含む仮想表面配置を有する3次元空間内に配置された複数のスピーカノードに関連付けられた空間音声信号のデコーディングおよびレンダリングのための装置。この装置は、仮想表面セットの仮想表面ごとに方位角を決定し、仮想表面セットの仮想表面を方位角に基づく順序に配置して、順序付けられた仮想表面セットを与える。次に、装置は、順序付けられた仮想表面セットの仮想表面を検索セクタに関連付け、検索セクタの関連付けられた仮想表面から開始し、順序付けられた仮想表面セットを検索して、目標パンニング方向を取り囲む仮想表面を決定する。
【特許請求の範囲】
【請求項1】
複数の仮想表面を含む仮想表面配置を有する3次元空間内に配置された複数のスピーカノードに関連付けられた空間音声信号のデコーディングおよびレンダリングのための装置であって、前記複数の仮想表面の各々が、少なくとも3つのスピーカノードに位置決めされたコーナを有し、前記仮想表面配置が、複数の仮想表面を含む仮想表面セットによって少なくとも部分的に定義され、前記複数の仮想表面の各々が、参照手段によってそれぞれ参照され、前記装置が、
前記仮想表面セットの仮想表面ごとに方位角を決定することと、
前記仮想表面セットの前記仮想表面を、前記決定された方位角に基づく順序に配置して、順序付けられた仮想表面セットを与えることと、
少なくとも2つの検索セクタを決定することであって、前記少なくとも2つの検索セクタの各々が、方位角の範囲を占める、決定することと、
前記順序付けられた仮想表面セットの仮想表面を、前記少なくとも2つの検索セクタの各々に関連付けることと、
少なくとも目標方位角を含む目標パンニング方向を取得することと、
前記目標方位角に基づいて前記少なくとも2つの検索セクタから検索セクタを決定することと、
前記決定された検索セクタの前記関連付けられた仮想表面から開始し、前記順序付けられた仮想表面セットを検索して、前記目標パンニング方向を取り囲む仮想表面を決定することとを実行するように構成される、装置。
【請求項2】
前記参照手段がインデックスである、請求項1に記載の装置。
【請求項3】
前記決定された検索セクタの前記関連付けられた仮想表面から開始し、前記順序付けられた仮想表面セットを検索して、前記目標パンニング方向を取り囲む仮想表面を決定するように構成された前記装置が、
前記決定された検索セクタの初期検索インデックスを決定することであって、前記初期検索インデックスが、前記決定された検索セクタの前記関連付けられた仮想表面のインデックスである、決定することと、
前記決定された検索セクタの前記関連付けられた仮想表面の前記少なくとも3つのスピーカノードのパンニング利得のセットを決定することと、
各パンニング利得が、前記決定されたセクタの前記関連付けられた仮想表面の前記少なくとも3つのスピーカノードの前記パンニング利得のセットの非負である場合に、前記関連付けられた仮想表面が前記目標パンニング方向を取り囲むということを決定することとを実行するようにさらに構成される、請求項2に記載の装置。
【請求項4】
前記決定された検索セクタの前記関連付けられた仮想表面の前記スピーカノードの前記パンニング利得のセットの少なくとも1つのパンニング利得が非負でない場合、前記装置が、
前記初期検索インデックスの片側にあるインデックスを使用して、前記順序付けられた仮想セットからさらなる仮想表面を選択することと、
前記さらなる仮想表面の前記少なくとも3つのスピーカノードのパンニング利得のセットを決定することと、
各パンニング利得が、前記さらなる仮想表面の前記少なくとも3つのスピーカノードの前記パンニング利得のセットの非負である場合に、前記さらなる仮想表面が前記目標プラニング方向を取り囲むということを決定することとを実行するようにさらに構成され、
前記さらなる仮想表面の前記少なくとも3つのスピーカノードの前記パンニング利得のセットの少なくとも1つのパンニング利得が非負でない場合、前記装置が、
前記初期検索インデックスの反対側にあるインデックスを使用して、前記順序付けられた仮想セットからいっそうさらなる仮想表面を選択することと、
前記いっそうさらなる仮想表面の前記少なくとも3つのスピーカノードのパンニング利得のセットを決定することと、
各パンニング利得が、前記いっそうさらなる仮想表面の前記少なくとも3つのスピーカノードの前記パンニング利得のセットの非負である場合に、前記いっそうさらなる仮想表面が前記目標プラニング方向を取り囲むということを決定することとを実行するようにさらに構成される、請求項3に記載の装置。
【請求項5】
前記複数の仮想表面の各々が、前記少なくとも3つのスピーカノードのうちの1つをそれぞれ指し示す少なくとも3つのベクトルによって定義され、前記仮想表面セットの仮想表面ごとに方位角を決定するように構成された前記装置が、
仮想表面ごとに、前記少なくとも3つのベクトルのベクトル和を決定することと、
仮想表面ごとに、x-y平面に投影された前記ベクトル和の角度として前記方位角を決定することとを実行するように構成される、請求項1~4に記載の装置。
【請求項6】
前記関連付けられた仮想表面の方位角が、前記決定された検索セクタの境界角度であり、前記決定された検索セクタの前記関連付けられた仮想表面から開始し、前記順序付けられた仮想表面セットを検索して、前記目標パンニング方向を取り囲む仮想表面を決定するように構成された前記装置が、
前記目標方位角が、前記関連付けられた仮想表面方位角の前記方位角未満であるかどうかを判定するように構成され、
前記目標方位角が前記関連付けられた仮想表面の前記方位角未満である場合、前記装置が、前記関連付けられた仮想表面が前記目標パンニング方向を取り囲むということを決定することと、前記決定された検索セクタの前記関連付けられた仮想表面の前記少なくとも3つのスピーカノードのパンニング利得のセットを決定することとを実行するようにさらに構成され、
前記目標方位角が前記関連付けられた仮想表面の前記方位角以上である場合、前記装置が、前記目標方位角が前記順序付けられた仮想表面セットのさらなる仮想表面の境界方位角未満である場合に、前記さらなる仮想表面が前記目標パンニング方向を取り囲むということを決定することと、前記さらなる仮想表面の前記少なくとも3つのスピーカノードのパンニング利得のセットを決定することとを実行するようにさらに構成される、請求項1に記載の装置。
【請求項7】
前記複数の仮想表面の各々が、前記少なくとも3つのスピーカノードのうちの1つをそれぞれ指し示す少なくとも3つのベクトルによって定義され、前記仮想表面セットの仮想表面ごとに方位角を決定するように構成された前記装置が、
仮想表面ごとに、前記少なくとも3つのベクトルのうちの第1のベクトルの第1の方位角を決定することと、
仮想表面ごとに、前記少なくとも3つのベクトルのうちの第2のベクトルの第2の方位角を決定することと、
仮想表面ごとに、前記第1の方位角および前記第2の方位角のうちの大きい方として前記方位角を選択することとを実行するように構成される、請求項1および6に記載の装置。
【請求項8】
前記装置が、
前記3次元空間内の水平面の仰角を取得することであって、前記複数のスピーカノードのうちのいくつかが、前記水平面上に位置する、取得することと、
最小仰角と前記水平面の前記仰角との間の仰角範囲を作成することとを実行するようにさらに構成される、請求項1~7に記載の装置。
【請求項9】
前記装置が、
前記水平面の前記仰角と最大仰角との間のさらなる仰角範囲を作成するようにさらに構成される、請求項8に記載の装置。
【請求項10】
前記装置が、
前記3次元空間内のさらなる水平面の仰角を取得することであって、前記複数のスピーカノードのうちのさらなるいくつかが、前記さらなる水平面上に位置する、取得することと、
前記水平面の前記仰角と前記さらなる水平面の前記仰角との間のさらなる仰角範囲を作成することとを実行するようにさらに構成される、請求項8に記載の装置。
【請求項11】
前記装置が、
前記さらなる水平面の前記仰角と最大仰角との間のいっそうさらなる仰角範囲を作成するようにさらに構成される、請求項10に記載の装置。
【請求項12】
前記装置が、
前記仮想表面セットに関連付けられた仰角を、前記仰角範囲、前記さらなる仰角範囲、およびいっそうさらなる仰角範囲のうちの1つにマッピングすることによって、前記仮想表面セットを、前記仰角範囲、前記さらなる仰角範囲、およびいっそうさらなる仰角範囲のうちの1つに割り当てるようにさらに構成される、請求項8~11に記載の装置。
【請求項13】
前記目標パンニング方向が目標仰角をさらに含み、前記装置が、
前記目標仰角が、前記仰角範囲、前記さらなる仰角範囲、およびいっそうさらなる仰角範囲のうちの1つの範囲内にあるということを決定し、決定された仰角範囲を与えるようにさらに構成される、請求項12に記載の装置。
【請求項14】
前記複数のスピーカノードうちの少なくとも3つのスピーカノードにコーナが位置決めされた前記複数の仮想表面が、前記3次元空間内で前記水平面と交差しないように構成されたコーナの対を接続する辺を有する、請求項8~13に記載の装置。
【請求項15】
少なくとも3つのスピーカノードにコーナが位置決めされた前記複数の仮想表面が、前記3次元空間内で前記さらなる水平面と交差しないように構成されたコーナの対を接続する辺を有する、請求項10~14に記載の装置。
【請求項16】
前記仮想表面セットの仮想表面の前記順序が、前記仮想表面の前記決定された方位角の増加順である、請求項1~15に記載の装置。
【請求項17】
仮想表面が、ラウドスピーカの三つ組のコーナをそれぞれ指し示す3つのベクトルを含む前記ラウドスピーカの三つ組である、請求項1~16に記載の装置。
【請求項18】
複数の仮想表面を含む仮想表面配置を有する3次元空間内に配置された複数のスピーカノードに関連付けられた空間音声信号のデコーディングおよびレンダリングのための方法であって、前記複数の仮想表面の各々が、少なくとも3つのスピーカノードに位置決めされたコーナを有し、前記仮想表面配置が、複数の仮想表面を含む仮想表面セットによって少なくとも部分的に定義され、前記複数の仮想表面の各々が、参照手段によってそれぞれ参照され、前記方法が、
前記仮想表面セットの仮想表面ごとに方位角を決定することと、
前記仮想表面セットの前記仮想表面を、前記決定された方位角に基づく順序に配置して、順序付けられた仮想表面セットを与えることと、
少なくとも2つの検索セクタを決定することであって、前記少なくとも2つの検索セクタの各々が、方位角の範囲を占める、決定することと、
前記順序付けられた仮想表面セットの仮想表面を、前記少なくとも2つの検索セクタの各々に関連付けることと、
少なくとも目標方位角を含む目標パンニング方向を取得することと、
前記目標方位角に基づいて前記少なくとも2つの検索セクタから検索セクタを決定することと、
前記決定された検索セクタの前記関連付けられた仮想表面から開始し、前記順序付けられた仮想表面セットを検索して、前記目標パンニング方向を取り囲む仮想表面を決定することとを含む、方法。
【請求項19】
前記参照手段がインデックスである、請求項18に記載の方法。
【請求項20】
前記決定された検索セクタの前記関連付けられた仮想表面から開始し、前記順序付けられた仮想表面セットを検索して、前記目標パンニング方向を取り囲む仮想表面を決定することが、
前記決定された検索セクタの初期検索インデックスを決定することであって、前記初期検索インデックスが、前記決定された検索セクタの前記関連付けられた仮想表面のインデックスである、決定することと、
前記決定された検索セクタの前記関連付けられた仮想表面の前記少なくとも3つのスピーカノードのパンニング利得のセットを決定することと、
各パンニング利得が、前記決定されたセクタの前記関連付けられた仮想表面の前記少なくとも3つのスピーカノードの前記パンニング利得のセットの非負である場合に、前記関連付けられた仮想表面が前記目標パンニング方向を取り囲むということを決定することとをさらに含む、請求項19に記載の方法。
【請求項21】
前記決定されたセクタの前記関連付けられた仮想表面の前記スピーカノードの前記パンニング利得のセットの少なくとも1つのパンニング利得が非負でない場合、前記方法が、
前記初期検索インデックスの片側にあるインデックスを使用して、前記順序付けられた仮想セットからさらなる仮想表面を選択することと、
前記さらなる仮想表面の前記少なくとも3つのスピーカノードのパンニング利得のセットを決定することと、
各パンニング利得が、前記さらなる仮想表面の前記少なくとも3つのスピーカノードの前記パンニング利得のセットの非負である場合に、前記さらなる仮想表面が前記目標プラニング方向を取り囲むということを決定することとをさらに含み、
前記さらなる仮想表面の前記少なくとも3つのスピーカノードの前記パンニング利得のセットの少なくとも1つのパンニング利得が非負でない場合、前記方法が、
前記初期検索インデックスの反対側にあるインデックスを使用して、前記順序付けられた仮想セットからいっそうさらなる仮想表面を選択することと、
前記いっそうさらなる仮想表面の前記少なくとも3つのスピーカノードのパンニング利得のセットを決定することと、
各パンニング利得が、前記いっそうさらなる仮想表面の前記少なくとも3つのスピーカノードの前記パンニング利得のセットの非負である場合に、前記いっそうさらなる仮想表面が前記目標プラニング方向を取り囲むということを決定することとをさらに含む、請求項20に記載の方法。
【請求項22】
前記複数の仮想表面の各々が、前記少なくとも3つのスピーカノードのうちの1つをそれぞれ指し示す少なくとも3つのベクトルによって定義され、前記仮想表面セットの仮想表面ごとに方位角を前記決定することが、
仮想表面ごとに、前記少なくとも3つのベクトルのベクトル和を決定することと、
仮想表面ごとに、x-y平面に投影された前記ベクトル和の角度として前記方位角を決定することとをさらに含む、請求項18~21に記載の方法。
【請求項23】
前記関連付けられた仮想表面の方位角が、前記決定された検索セクタの境界角度であり、前記決定された検索セクタの前記関連付けられた仮想表面から開始し、前記順序付けられた仮想表面セットを検索して、前記目標パンニング方向を取り囲む仮想表面を決定することが、
前記目標方位角が、前記関連付けられた仮想表面方位角の前記方位角未満であるかどうかを判定することをさらに含み、
前記目標方位角が前記関連付けられた仮想表面の前記方位角未満である場合、前記方法が、前記関連付けられた仮想表面が前記目標パンニング方向を取り囲むということを決定することと、前記決定された検索セクタの前記関連付けられた仮想表面の前記少なくとも3つのスピーカノードのパンニング利得のセットを決定することとをさらに含み、
前記目標方位角が前記関連付けられた仮想表面の前記方位角以上である場合、前記方法が、前記目標方位角が前記順序付けられた仮想表面セットのさらなる仮想表面の境界方位角未満である場合に、前記さらなる仮想表面が前記目標パンニング方向を取り囲むということを決定することと、前記さらなる仮想表面の前記少なくとも3つのスピーカノードのパンニング利得のセットを決定することとをさらに含む、請求項18に記載の方法。
【請求項24】
前記複数の仮想表面の各々が、前記少なくとも3つのスピーカノードのうちの1つをそれぞれ指し示す少なくとも3つのベクトルによって定義され、前記仮想表面セットの仮想表面ごとに方位角を前記決定することが、
仮想表面ごとに、前記少なくとも3つのベクトルのうちの第1のベクトルの第1の方位角を決定することと、
仮想表面ごとに、前記少なくとも3つのベクトルのうちの第2のベクトルの第2の方位角を決定することと、
仮想表面ごとに、前記第1の方位角および前記第2の方位角のうちの大きい方として前記方位角を選択することとを含む、請求項18および23に記載の方法。
【請求項25】
前記方法が、
前記3次元空間内の水平面の仰角を取得することであって、前記複数のスピーカノードのうちのいくつかが、前記水平面上に位置する、取得することと、
最小仰角と前記水平面の前記仰角との間の仰角範囲を作成することとをさらに含む、請求項18~24に記載の方法。
【請求項26】
前記方法が、
前記水平面の前記仰角と最大仰角との間のさらなる仰角範囲を作成することをさらに含む、請求項25に記載の方法。
【請求項27】
前記方法が、
前記3次元空間内のさらなる水平面の仰角を取得することであって、前記複数のスピーカノードのうちのさらなるいくつかが、前記さらなる水平面上に位置する、取得することと、
前記水平面の前記仰角と前記さらなる水平面の前記仰角との間のさらなる仰角範囲を作成することとをさらに含む、請求項25に記載の方法。
【請求項28】
前記方法が、
前記さらなる水平面の前記仰角と最大仰角との間のいっそうさらなる仰角範囲を作成することをさらに含む、請求項27に記載の方法。
【請求項29】
前記方法が、
前記仮想表面セットに関連付けられた仰角を、前記仰角範囲、前記さらなる仰角範囲、およびいっそうさらなる仰角範囲のうちの1つにマッピングすることによって、前記仮想表面セットを、前記仰角範囲、前記さらなる仰角範囲、およびいっそうさらなる仰角範囲のうちの1つに割り当てることをさらに含む、請求項25~28に記載の方法。
【請求項30】
前記目標パンニング方向が目標仰角をさらに含み、前記方法が、
前記目標仰角が、前記仰角範囲、前記さらなる仰角範囲、およびいっそうさらなる仰角範囲のうちの1つの範囲内にあるということを決定し、決定された仰角範囲を与えることをさらに含む、請求項29に記載の方法。
【請求項31】
前記複数のスピーカノードうちの少なくとも3つのスピーカノードにコーナが位置決めされた前記複数の仮想表面が、前記3次元空間内で前記水平面と交差しないように構成されたコーナの対を接続する辺を有する、請求項25~30に記載の方法。
【請求項32】
少なくとも3つのスピーカノードにコーナが位置決めされた前記複数の仮想表面が、前記3次元空間内で前記さらなる水平面と交差しないように構成されたコーナの対を接続する辺を有する、請求項25~31に記載の方法。
【請求項33】
前記仮想表面セットの仮想表面の前記順序が、前記仮想表面の前記決定された方位角の増加順である、請求項18~32に記載の方法。
【請求項34】
仮想表面が、ラウドスピーカの三つ組のコーナをそれぞれ指し示す3つのベクトルを含む前記ラウドスピーカの三つ組である、請求項18~33に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、マルチチャンネルラウドスピーカシステムを使用する空間音響再生のための装置および方法に関する。本出願は、マルチチャンネルラウドスピーカ設定が仮想マルチチャンネルラウドスピーカ設定であるシステムを含むが、そのようなシステム専用ではない。
【背景技術】
【0002】
パラメトリック空間音声処理は、パラメータのセットを使用して音の空間的特徴が表される音声信号処理の分野である。例えば、マイクロホンアレイからのパラメトリック空間音声捕捉では、マイクロホンアレイ信号から、周波数帯域内の音の方向、および周波数帯域内の捕捉された音の指向性部分および非指向性部分の相対エネルギーを表す比率パラメータなどのパラメータのセットを推定するのが、標準的で有効な選択肢である。これらのパラメータは、マイクロホンアレイの位置で捕捉された音の知覚的空間特性を適切に表すことが知られている。したがって、これらのパラメータは、ヘッドホンバイノーラルのため、ラウドスピーカのため、またはアンビソニックスなどの他の形式への、空間的音の合成において利用され得る。
【0003】
したがって、周波数帯域内の方向および指向性エネルギーと全エネルギーの比率は、空間音声捕捉に特に効果的なパラメータ化である。
【0004】
周波数帯域内の方向パラメータおよび(指向性である音響エネルギーの比率を示す)周波数帯域内のエネルギー比率パラメータから成るパラメータセットは、音声コーデックのための空間メタデータとしても利用され得る。例えば、これらのパラメータは、マイクロホンアレイによって捕捉された音声信号から推定されることが可能であり、例えば、空間メタデータと共に伝達されるマイクロホンアレイ信号からステレオ信号が生成され得る。ステレオ信号は、例えば、AACエンコーダを使用してエンコードされ得る。デコーダは、音声信号をPCM信号にデコードし、(空間メタデータを使用して)周波数帯域内の音を処理して、空間的出力(例えば、バイノーラル出力)を取得することができる。
【0005】
空間音声信号の再生(空間音響再生)は、通常、3D空間内の音を任意の方向に位置決めすることを必要とする。これらの方向は、例えば音響シーンパラメータから、自動的に取得されてもよく、またはユーザによって設定されてもよい。ベクトルベース振幅パンニング(VBAP:Vector base amplitude panning)は、ラウドスピーカ設定を使用して空間音声信号を位置決めするための一般的な方法である。
【0006】
VBAPは、通常、以下に基づく。
(1)ラウドスピーカ設定を自動的に、または手動で、三角形分割すること、
(2)(所与の方向に関して、所与の方向が収まる三角形を形成する3つのラウドスピーカが選択されるように)方向に基づいて適切な三角形を選択すること、および
(3)特定の三角形を形成する3つのラウドスピーカの方向に基づいて利得を計算すること。
【発明の概要】
【0007】
第1の態様によれば、複数の仮想表面を含む仮想表面配置を有する3次元空間内に配置された複数のスピーカノードに関連付けられた空間音声信号のデコーディングおよびレンダリングのための装置が提供されており、複数の仮想表面の各々は、少なくとも3つのスピーカノードに位置決めされたコーナを有し、仮想表面配置は、複数の仮想表面を含む仮想表面セットによって少なくとも部分的に定義され、複数の仮想表面の各々は、参照手段によってそれぞれ参照され、装置は、仮想表面セットの仮想表面ごとに方位角を決定することと、仮想表面セットの仮想表面を、決定された方位角に基づく順序に配置して、順序付けられた仮想表面セットを与えることと、少なくとも2つの検索セクタを決定することであって、少なくとも2つの検索セクタの各々が、方位角の範囲を占める、決定することと、順序付けられた仮想表面セットの仮想表面を、少なくとも2つの検索セクタの各々に関連付けることと、少なくとも目標方位角を含む目標パンニング方向を取得することと、目標方位角に基づいて少なくとも2つの検索セクタから検索セクタを決定することと、決定された検索セクタの関連付けられた仮想表面から開始し、順序付けられた仮想表面セットを検索して、目標パンニング方向を取り囲む仮想表面を決定することとを実行するように構成される。
【0008】
参照手段は、インデックスであることができる。
【0009】
決定された検索セクタの関連付けられた仮想表面から開始し、順序付けられた仮想表面セットを検索して、目標パンニング方向を取り囲む仮想表面を決定するように構成された装置は、決定された検索セクタの初期検索インデックスを決定することであって、初期検索インデックスが、決定された検索セクタの関連付けられた仮想表面のインデックスである、決定することと、決定された検索セクタの関連付けられた仮想表面の少なくとも3つのスピーカノードのパンニング利得のセットを決定することと、各パンニング利得が、決定されたセクタの関連付けられた仮想表面の少なくとも3つのスピーカノードのパンニング利得のセットの非負である場合に、関連付けられた仮想表面が目標パンニング方向を取り囲むということを決定することとを実行するようにさらに構成されてもよい。
【0010】
決定された検索セクタの関連付けられた仮想表面のスピーカノードのパンニング利得のセットの少なくとも1つのパンニング利得が非負でない場合、装置は、初期検索インデックスの片側にあるインデックスを使用して、順序付けられた仮想セットからさらなる仮想表面を選択することと、さらなる仮想表面の少なくとも3つのスピーカノードのパンニング利得のセットを決定することと、各パンニング利得が、さらなる仮想表面の少なくとも3つのスピーカノードのパンニング利得のセットの非負である場合に、さらなる仮想表面が目標プラニング方向を取り囲むということを決定することとを実行するようにさらに構成されてもよく、さらなる仮想表面の少なくとも3つのスピーカノードのパンニング利得のセットの少なくとも1つのパンニング利得が非負でない場合、装置は、初期検索インデックスの反対側にあるインデックスを使用して、順序付けられた仮想セットからいっそうさらなる仮想表面を選択することと、いっそうさらなる仮想表面の少なくとも3つのスピーカノードのパンニング利得のセットを決定することと、各パンニング利得が、いっそうさらなる仮想表面の少なくとも3つのスピーカノードのパンニング利得のセットの非負である場合に、いっそうさらなる仮想表面が目標プラニング方向を取り囲むということを決定することとを実行するようにさらに構成されてもよい。
【0011】
複数の仮想表面の各々は、少なくとも3つのスピーカノードのうちの1つをそれぞれ指し示す少なくとも3つのベクトルによって定義されてもよく、仮想表面セットの仮想表面ごとに方位角を決定するように構成された装置は、仮想表面ごとに、少なくとも3つのベクトルのベクトル和を決定することと、仮想表面ごとに、x-y平面に投影されたベクトル和の角度として方位角を決定することとを実行するように構成されてもよい。
【0012】
関連付けられた仮想表面の方位角は、決定された検索セクタの境界角度であり、決定された検索セクタの関連付けられた仮想表面から開始し、順序付けられた仮想表面セットを検索して、目標パンニング方向を取り囲む仮想表面を決定するように構成された装置は、目標方位角が、関連付けられた仮想表面方位角の方位角未満であるかどうかを判定するように構成されてもよく、目標方位角が関連付けられた仮想表面の方位角未満である場合、装置は、関連付けられた仮想表面が目標パンニング方向を取り囲むということを決定することと、決定された検索セクタの関連付けられた仮想表面の少なくとも3つのスピーカノードのパンニング利得のセットを決定することとを実行するように構成されてもよく、目標方位角が関連付けられた仮想表面の方位角以上である場合、装置は、目標方位角が順序付けられた仮想表面セットのさらなる仮想表面の境界方位角未満である場合に、さらなる仮想表面が目標パンニング方向を取り囲むということを決定することと、さらなる仮想表面の少なくとも3つのスピーカノードのパンニング利得のセットを決定することとを実行するように構成されてもよい。
【0013】
複数の仮想表面の各々は、少なくとも3つのスピーカノードのうちの1つをそれぞれ指し示す少なくとも3つのベクトルによって定義されてもよく、仮想表面セットの仮想表面ごとに方位角を決定するように構成された装置は、仮想表面ごとに、少なくとも3つのベクトルのうちの第1のベクトルの第1の方位角を決定することと、仮想表面ごとに、少なくとも3つのベクトルのうちの第2のベクトルの第2の方位角を決定することと、仮想表面ごとに、第1の方位角および第2の方位角のうちの大きい方として方位角を選択することとを実行するように構成されてもよい。
【0014】
装置は、3次元空間内の水平面の仰角を取得することであって、複数のスピーカノードのうちのいくつかが、この水平面上に位置する、取得することと、最小仰角と水平面の仰角との間の仰角範囲を作成することとを実行するようにさらに構成されてもよい。
【0015】
装置は、水平面の仰角と最大仰角との間のさらなる仰角範囲を作成するようにさらに構成されてもよい。
【0016】
装置は、3次元空間内のさらなる水平面の仰角を取得することであって、複数のスピーカノードのうちのさらなるいくつかが、このさらなる水平面上に位置する、取得することと、水平面の仰角とさらなる水平面の仰角との間のさらなる仰角範囲を作成することとを実行するようにさらに構成されてもよい。
【0017】
装置は、さらなる水平面の仰角と最大仰角との間のいっそうさらなる仰角範囲を作成するようにさらに構成されてもよい。
【0018】
装置は、仮想表面セットに関連付けられた仰角を、仰角範囲、さらなる仰角範囲、およびいっそうさらなる仰角範囲のうちの1つにマッピングすることによって、仮想表面セットを、仰角範囲、さらなる仰角範囲、およびいっそうさらなる仰角範囲のうちの1つに割り当てるようにさらに構成されてもよい。
【0019】
目標パンニング方向は目標仰角をさらに含んでもよく、装置は、目標仰角が、仰角範囲、さらなる仰角範囲、およびいっそうさらなる仰角範囲のうちの1つの範囲内にあるということを決定し、決定された仰角範囲を与えるようにさらに構成されてもよい。
【0020】
複数のスピーカノードうちの少なくとも3つのスピーカノードにコーナが位置決めされた複数の仮想表面は、3次元空間内で水平面と交差しないように構成されたコーナの対を接続する辺を有してもよい。
【0021】
代替として、少なくとも3つのスピーカノードにコーナが位置決めされた複数の仮想表面は、3次元空間内でさらなる水平面と交差しないように構成されたコーナの対を接続する辺を有してもよい。
【0022】
仮想表面セットの仮想表面の順序は、仮想表面の決定された方位角の増加順であってもよい。
【0023】
仮想表面は、ラウドスピーカの三つ組のコーナをそれぞれ指し示す3つのベクトルを含む、ラウドスピーカの三つ組であってもよい。
【0024】
第2の態様によれば、複数の仮想表面を含む仮想表面配置を有する3次元空間内に配置された複数のスピーカノードに関連付けられた空間音声信号のデコーディングおよびレンダリングのための方法が提供されており、複数の仮想表面の各々は、少なくとも3つのスピーカノードに位置決めされたコーナを有し、仮想表面配置は、複数の仮想表面を含む仮想表面セットによって少なくとも部分的に定義され、複数の仮想表面の各々は、参照手段によってそれぞれ参照され、この方法は、
【0025】
仮想表面セットの仮想表面ごとに方位角を決定することと、仮想表面セットの仮想表面を、決定された方位角に基づく順序に配置して、順序付けられた仮想表面セットを与えることと、少なくとも2つの検索セクタを決定することであって、少なくとも2つの検索セクタの各々が、方位角の範囲を占める、決定することと、順序付けられた仮想表面セットの仮想表面を、少なくとも2つの検索セクタの各々に関連付けることと、少なくとも目標方位角を含む目標パンニング方向を取得することと、目標方位角に基づいて少なくとも2つの検索セクタから検索セクタを決定することと、決定された検索セクタの関連付けられた仮想表面から開始し、順序付けられた仮想表面セットを検索して、目標パンニング方向を取り囲む仮想表面を決定することとを含む。
【0026】
参照手段は、インデックスである。
【0027】
決定された検索セクタの関連付けられた仮想表面から開始し、順序付けられた仮想表面セットを検索して、目標パンニング方向を取り囲む仮想表面を決定することは、決定された検索セクタの初期検索インデックスを決定することであって、初期検索インデックスが、決定された検索セクタの関連付けられた仮想表面のインデックスである、決定することと、決定された検索セクタの関連付けられた仮想表面の少なくとも3つのスピーカノードのパンニング利得のセットを決定することと、各パンニング利得が、決定されたセクタの関連付けられた仮想表面の少なくとも3つのスピーカノードのパンニング利得のセットの非負である場合に、関連付けられた仮想表面が目標パンニング方向を取り囲むということを決定することとをさらに含んでもよい。
【0028】
決定されたセクタの関連付けられた仮想表面のスピーカノードのパンニング利得のセットの少なくとも1つのパンニング利得が非負でない場合、この方法は、初期検索インデックスの片側にあるインデックスを使用して、順序付けられた仮想セットからさらなる仮想表面を選択することと、さらなる仮想表面の少なくとも3つのスピーカノードのパンニング利得のセットを決定することと、各パンニング利得が、さらなる仮想表面の少なくとも3つのスピーカノードのパンニング利得のセットの非負である場合に、さらなる仮想表面が目標プラニング方向を取り囲むということを決定することとをさらに含んでもよく、さらなる仮想表面の少なくとも3つのスピーカノードのパンニング利得のセットの少なくとも1つのパンニング利得が非負でない場合、この方法は、初期検索インデックスの反対側にあるインデックスを使用して、順序付けられた仮想セットからいっそうさらなる仮想表面を選択することと、いっそうさらなる仮想表面の少なくとも3つのスピーカノードのパンニング利得のセットを決定することと、各パンニング利得が、いっそうさらなる仮想表面の少なくとも3つのスピーカノードのパンニング利得のセットの非負である場合に、いっそうさらなる仮想表面が目標プラニング方向を取り囲むということを決定することとをさらに含んでもよい。
【0029】
複数の仮想表面の各々は、少なくとも3つのスピーカノードのうちの1つをそれぞれ指し示す少なくとも3つのベクトルによって定義されてもよく、仮想表面セットの仮想表面ごとに方位角を決定することは、仮想表面ごとに、少なくとも3つのベクトルのベクトル和を決定することと、仮想表面ごとに、x-y平面に投影されたベクトル和の角度として方位角を決定することとをさらに含んでもよい。
【0030】
関連付けられた仮想表面の方位角は、決定された検索セクタの境界角度であってもよく、決定された検索セクタの関連付けられた仮想表面から開始し、順序付けられた仮想表面セットを検索して、目標パンニング方向を取り囲む仮想表面を決定することは、目標方位角が、関連付けられた仮想表面方位角の方位角未満であるかどうかを判定することをさらに含んでもよく、目標方位角が関連付けられた仮想表面の方位角未満である場合、この方法は、関連付けられた仮想表面が目標パンニング方向を取り囲むということを決定することと、決定された検索セクタの関連付けられた仮想表面の少なくとも3つのスピーカノードのパンニング利得のセットを決定することとをさらに含んでもよく、目標方位角が関連付けられた仮想表面の方位角以上である場合、この方法は、目標方位角が順序付けられた仮想表面セットのさらなる仮想表面の境界方位角未満である場合に、さらなる仮想表面が目標パンニング方向を取り囲むということを決定することと、さらなる仮想表面の少なくとも3つのスピーカノードのパンニング利得のセットを決定することとをさらに含んでもよい。
【0031】
複数の仮想表面の各々は、少なくとも3つのスピーカノードのうちの1つをそれぞれ指し示す少なくとも3つのベクトルによって定義されてもよく、仮想表面セットの仮想表面ごとに方位角を決定することは、仮想表面ごとに、少なくとも3つのベクトルのうちの第1のベクトルの第1の方位角を決定することと、仮想表面ごとに、少なくとも3つのベクトルのうちの第2のベクトルの第2の方位角を決定することと、仮想表面ごとに、第1の方位角および第2の方位角のうちの大きい方として方位角を選択することとを含んでもよい。
【0032】
この方法は、3次元空間内の水平面の仰角を取得することであって、複数のスピーカノードのうちのいくつかが、この水平面上に位置する、取得することと、最小仰角と水平面の仰角との間の仰角範囲を作成することとをさらに含んでもよい。
【0033】
この方法は、水平面の仰角と最大仰角との間のさらなる仰角範囲を作成することをさらに含んでもよい。
【0034】
この方法は、3次元空間内のさらなる水平面の仰角を取得することであって、複数のスピーカノードのうちのさらなるいくつかが、このさらなる水平面上に位置する、取得することと、水平面の仰角とさらなる水平面の仰角との間のさらなる仰角範囲を作成することとをさらに含んでもよい。
【0035】
この方法は、さらなる水平面の仰角と最大仰角との間のいっそうさらなる仰角範囲を作成することをさらに含んでもよい。
【0036】
この方法は、仮想表面セットに関連付けられた仰角を、仰角範囲、さらなる仰角範囲、およびいっそうさらなる仰角範囲のうちの1つにマッピングすることによって、仮想表面セットを、仰角範囲、さらなる仰角範囲、およびいっそうさらなる仰角範囲のうちの1つに割り当てることをさらに含んでもよい。
【0037】
目標パンニング方向は目標仰角をさらに含んでもよく、この方法は、目標仰角が、仰角範囲、さらなる仰角範囲、およびいっそうさらなる仰角範囲のうちの1つの範囲内にあるということを決定し、決定された仰角範囲を与えることをさらに含んでもよい。
【0038】
複数のスピーカノードうちの少なくとも3つのスピーカノードにコーナが位置決めされた複数の仮想表面は、3次元空間内で水平面と交差しないように構成されたコーナの対を接続する辺を有してもよい。
【0039】
少なくとも3つのスピーカノードにコーナが位置決めされた複数の仮想表面は、3次元空間内でさらなる水平面と交差しないように構成されたコーナの対を接続する辺を有してもよい。
【0040】
仮想表面セットの仮想表面の順序は、仮想表面の決定された方位角の増加順であってもよい。
【0041】
仮想表面は、ラウドスピーカの三つ組のコーナをそれぞれ指し示す3つのベクトルを含む、ラウドスピーカの三つ組であってもよい。
【0042】
第3の態様によれば、複数の仮想表面を含む仮想表面配置を有する3次元空間内に配置された複数のスピーカノードに関連付けられた空間音声信号のデコーディングおよびレンダリングのための装置が提供されており、複数の仮想表面の各々は、少なくとも3つのスピーカノードに位置決めされたコーナを有し、仮想表面配置は、複数の仮想表面を含む仮想表面セットによって少なくとも部分的に定義され、複数の仮想表面の各々は、参照手段によってそれぞれ参照され、装置は、少なくとも1つのプロセッサと、コンピュータプログラムコードを含む少なくとも1つのメモリとを備え、少なくとも1つのメモリおよびコンピュータプログラムコードは、少なくとも1つのプロセッサと共に、装置に、仮想表面セットの仮想表面ごとに方位角を決定することと、仮想表面セットの仮想表面を、決定された方位角に基づく順序に配置して、順序付けられた仮想表面セットを与えることと、少なくとも2つの検索セクタを決定することであって、少なくとも2つの検索セクタの各々が、方位角の範囲を占める、決定することと、順序付けられた仮想表面セットの仮想表面を、少なくとも2つの検索セクタの各々に関連付けることと、少なくとも目標方位角を含む目標パンニング方向を取得することと、目標方位角に基づいて少なくとも2つの検索セクタから検索セクタを決定することと、決定された検索セクタの関連付けられた仮想表面から開始し、順序付けられた仮想表面セットを検索して、目標パンニング方向を取り囲む仮想表面を決定することとを少なくとも実行させるように構成される。
【0043】
非一時的コンピュータ可読媒体は、装置に前述したような方法を実行させるためのプログラム命令を含む。
【0044】
装置は、前述したような方法の動作を実行するように構成される。
【0045】
コンピュータプログラムは、コンピュータに前述したような方法を実行させるためのプログラム命令を含む。
【0046】
媒体に格納されたコンピュータプログラム製品は、装置に、本明細書において説明されるような方法を実行させてもよい。
【0047】
電子デバイスは、本明細書において説明されるような装置を備えてもよい。
【0048】
チップセットは、本明細書において説明されるような装置を備えてもよい。
【0049】
本出願の実施形態は、最先端の技術に関連する問題に対処することを目標とする。
【0050】
本出願をよく理解するために、ここで例として、添付の図面に対して参照が行われる。
【図面の簡単な説明】
【0051】
図1】ラウドスピーカの三つ組およびアクティブな三角形を含むベクトルベース振幅パンニングの例を概略的に示す図である。
図2】ベクトルベース振幅パンニングの三角形分割を概略的に示す図である。
図3】前の方法を使用して生成された、さらなるベクトルベース振幅パンニングの三角形分割を概略的に示す図である。
図4】一部の実施形態に従って、振幅パンニング利得決定処理を概略的に示す図である。
図5】一部の実施形態に従って、ラウドスピーカの三つ組セットの検索方法を選択する例示的な方法のフロー図を示す図である。
図6】一部の実施形態に従って、ラウドスピーカの三つ組セットの検索のためにラウドスピーカの三つ組セットを準備する例示的な方法のフロー図を示す図である。
図7】一部の実施形態に従って、ラウドスピーカの三つ組セットの検索のためにラウドスピーカの三つ組セットを準備するさらなる例示的な方法のフロー図を示す図である。
図8】一部の実施形態に従って、仰角範囲をラウドスピーカの三つ組セットに割り当てる例示的な方法のフロー図を示す図である。
図9】一部の実施形態に従って、目標パンニング方向のためのラウドスピーカの三つ組セットの検索方法を選択する例示的な方法のフロー図を示す図である。
図10】一部の実施形態に従って、目標パンニング方向のためのラウドスピーカの三つ組セットを検索する例示的な方法のフロー図を示す図である。
図11】一部の実施形態に従って、目標パンニング方向のためのラウドスピーカの三つ組セットを検索するさらなる例示的な方法のフロー図を示す図である。
図12】一部の実施形態に従って、ベクトルベース振幅パンニングの三角形分割を生成する方法を採用するのに適している装置を概略的に示す図である。
図13】示された装置を実施するのに適している例示的なデバイスを概略的に示す図である。
【発明を実施するための形態】
【0052】
以下では、ベクトルベース振幅パンニング(VBAP)の適応の提供に適した装置および可能なメカニズムについてさらに詳細に説明する。
【0053】
前述したように、VBAPは、自動的に3Dラウドスピーカ設定を三角形分割すること、(所与の方向に関して、所与の方向が収まる三角形を形成する3つのラウドスピーカが選択されるように)方向に基づいて適切なアクティブな三角形を選択すること、および特定の三角形(または一般に、特定の多角形)を形成する3つのラウドスピーカの利得を計算することを通常は含む3つの段階に基づく。「アクティブな」三角形は、ラウドスピーカまたはスピーカノードの位置にあるコーナを有する仮想表面を含む仮想表面配置であるとして一般化されてもよい。さらに、以下の一部の実施形態は、仮想表面の生成を三角形の表面として説明するが、同じ方法および装置が、任意の適切な多角形の表面に使用されてもよい。
【0054】
本明細書における説明を理解する目的で、以下の用語が採用される。ラウドスピーカは、スピーカ、スピーカノード、および頂点という名前で呼ばれてもよい。仮想表面は、スピーカノードによって定義された3D空間内で表された音響面であると理解されてもよい。三角形分割は、音響面がいくつかの同じ種類の仮想表面形状、言い換えると、仮想表面配置に分割されるプロセスと呼ばれてもよい。仮想表面形状(または仮想表面)は、三角形、四角形、五角形、または六角形のうちの1つであってもよい。本発明は、以下では、仮想表面の三つ組、およびラウドスピーカの三つ組という用語のうちの1つで呼ばれてもよい三角形に関して説明される。一般に、以下の実施形態は、上で挙げられた形状のうちの任意の1つを有する仮想表面に適用可能である。
【0055】
一部の実施形態では、仮想表面配置は、異なる形状の仮想表面に分割されてもよい。
【0056】
幅広い用語では、VBAPの第1の段階は、通常は装置の初期化中に実行され、システムのラウドスピーカ設定に従って(複数の方位角および仰角の値に関して)VBAPの利得およびラウドスピーカの三つ組が事前に形成され、その後、ルックアップテーブルとしてメモリに格納される。次に、リアルタイムプロセスが、(方位角および仰角値によって与えられた)所望のパンニング方向に、適したラウドスピーカの三つ組および対応するラウドスピーカの利得をメモリから特定することによって、振幅パンニングを実行する。
【0057】
3Dラウドスピーカ設定の三角形分割のための効果的なプロセスが、特許公開EP3541097において開示されている。さらに、パンニング利得の計算は、所与の方位角および仰角値に従って正しいラウドスピーカの三つ組が選択されていれば、計算効率が良くなることも可能である。
【0058】
しかし、方向パラメータ(方位角および仰角)の所与のセットに関する正しいラウドスピーカの三つ組の決定の問題に対するこれまでの解決策には、いくつかの欠点があることが分かった。本質的に、2つの手法、すなわち、リアルタイムでのラウドスピーカの三つ組の選択、およびラウドスピーカの三つ組の事前計算に依存する戦略が選ばれ得る。
【0059】
リアルタイムに正しい三角形(またはラウドスピーカの三つ組)を選択する場合、可能性のある各ラウドスピーカの三つ組を順番に選択し、関連付けられたパンニング利得を計算するために、十分な処理能力が使用可能にされる必要がある。例えば、ラウドスピーカ設定は、所与の方向に適した三角形を決定するために個別にそれぞれテストされる必要がある可能性がある最大22個の個別の三角形を含むことがある。適切な三角形は、すべて非負であるパンニング利得を有する三角形としてのみ識別される。したがって、所与の方向に応じて、レンダリングを実行する装置が、すべての個別の三角形をリアルタイムでテストするための十分な計算能力を有するという要件が存在する。モバイルユーザ端末などの一部のデバイスでは、この要件は要求が厳し過ぎることがあり、したがって、特定のラウドスピーカの三つ組を選択するために代替の戦略が使用されるのが好ましい。
【0060】
代替として、1つの解決策は、事前計算方法を展開し、それによって、初期化段階の間に、仰角方向成分および方位角方向成分の可能性のある組み合わせごとに三角形およびパンニング利得が計算されることである。しかし、この手法は、検索される方向成分の分解能に特に依存する。例えば、三角形および利得は、方向成分の可能な程度の分解能ごとに事前に計算されてもよい。これは、三角形の値の格納のための大きいテーブル、およびしたがって、大きいメモリをもたらすだけでなく、初期化段階の間にかなりの処理能力も必要とする。事前に計算された三角形の値の大きいテーブルを検索する問題を克服するために、一部の解決策は、Kirkpatrickの点位置決定アルゴリズムなどの、コンピュータグラフィックスの世界からの解決策を採用した。しかし、(仰角の分解能ごとに三角形の値を事前に計算している)この場合、Kirkpatrickの点位置決定アルゴリズムの使用は、検索構造を実施するためにさらに多くの三角形の値を格納するという要件をもたらす。代替として、平衡二分木検索などの、より一般的な解決策も、三角形の値のテーブル/格納をトラバースするための最も効率的な解決策につながらない。これは、VBAPの三角形分割において使用される計算が本質的に周期的であり、二分探索木の準最適な使用をもたらすという特性に起因する。
【0061】
本明細書における実施形態は、三角形の実行時の選択において使用され得るように計算効率が良く、かつ従来のテーブルに基づく方法よりも少ないストレージを必要とする解決策を提供することによって、上記の欠点を克服する。
【0062】
実施形態では、VBAPアルゴリズムは、音響面の配置を決定してもよく、音響面の配置は、複数のスピーカノードのうちの少なくとも3つのスピーカノードを有することによって生成された複数の音響面を含む。音響面のコーナを形成するために、少なくとも3つのスピーカノードの各々が3次元空間内で位置決めされ、少なくとも1つの定義された音響平面が音響面の任意の2つの辺と交差しないように、音響面の任意の2つの辺が音響面の1つのコーナに接続される。したがって、後で説明されるように、仮想表面は、スピーカノードによって定義された3D空間内で表された音響面であると理解されてもよい。
【0063】
VBAPの第1の段階は、三角形への3Dラウドスピーカ設定の分割である。例示的な「アクティブな」三角形が、図1に示されている。
【0064】
図1は、例えば、単位ベクトルI1の方向に位置するチャンネル1 101、単位ベクトルI2の方向に位置するチャンネル2 102、および単位ベクトルI3の方向に位置するチャンネル3 103という3つのラウドスピーカを示している。これらのベクトルは、原点の位置での聴取者100と相対的に定義され、3つのラウドスピーカによって定義された、定義されたアクティブな三角形105を示している。さらに、アクティブな三角形105内で、聴取者100と相対的に単位ベクトルpの方向に位置する仮想音源104が示されている。
【0065】
次の段階は、パンニング方向に対応するパンニング利得を形成することである。
【0066】
一般に、ベクトルベース振幅パンニングとは、3つの単位ベクトルI1、I2、I3が、パンニング方向が収まる三角形を形成する方法のことを指す。
【0067】
重み付けされたベクトル和が所望の振幅パンニング方向を指し示すように3つの単位ベクトルが重み付けされるように、3つのラウドスピーカのパンニング利得が決定される。これは、次のように解かれ得る。所望の振幅パンニング方向を指し示す列単位ベクトルpが形成され、振幅パンニング利得(amplitude panning gain)を含むベクトルgが、次の行列乗算によって解かれ得る。
【0068】
【数1】
ここで、-1は逆行列を示す。利得gを形成した後に、最終的な利得に関して合計エネルギーgTg=1になるように、利得の全体的レベルが正規化される。
【0069】
振幅パンニングを実行するために、VBAPは、3Dラウドスピーカ設定を最初に三角形分割する必要がある。三角形分割の生成に対する単一の解決策は存在せず、ラウドスピーカ設定は、多くの方法で三角形分割され得る。標準的なVBAPでは、解決策は、最小サイズの三角形を見つけようとすることである(三角形の内側にラウドスピーカがなく、辺ができるだけ等しい長さを有する)。一般的な事例では、これは、あらゆる方向で等しく聴覚オブジェクトを扱い、その方向で聴覚オブジェクトを作成するために使用されているラウドスピーカまでの距離を最小化しようとするため、有効な手法である。
【0070】
その目的で、特許出願EP3541097は、任意のラウドスピーカ設定に対するベクトルベース振幅パンニング(VBAP)の自動適応を生成するために、3Dマルチチャンネルラウドスピーカの(仮想または他の方法での)設定を三角形分割する方法を開示する。特許出願EP3541097における開示は、三角形がすべての水平面、および特に、0度の仰角での水平面と交差するのを防ぐVBAPの三角形分割方式について説明している。
【0071】
そのような三角形方式の例は、図2図3と比較することによって理解され得る。図2では、7.1+8を与えるために、4つのラウドスピーカが7.1設定の水平面の上に追加され、4つのラウドスピーカが水平面の下に追加される、一般的なラウドスピーカ設定を示している。以下の例では、4つのラウドスピーカを水平面の下にも追加することによって一般的な7.1+4設定を拡張することにより、完全な3D設定(水平面の上および下の両方のラウドスピーカ)が形成され、その結果、ラウドスピーカの以下の位置が得られる。
・仰角0度、方位角0度、±30度、±90度、および±150度。これらは、(0,0)205、(30,0)207、(90,0)209、(150,0)(図2に示されていない)、(-150,0)(図2に示されていない)、(-90,0)201、(-30,0)203として定義されてもよい。
・仰角30度、方位角±45度および±135度。これらは、(45,30)217、(135,30)215、(-135,30)211、および(-45,30)213として定義されてもよい。
・仰角-20度、方位角±45度および±135度。これらは、(45,-20)227、(135,-20)(図2に示されていない)、(-135,-20)(図2に示されていない)、および(-45,-20)223として定義されてもよい。
【0072】
この例示的なラウドスピーカ設定は、7.1+8として示される。
【0073】
そのような設定では、一般的な(またはデフォルトの)VBAP三角形分割方式は、231、232、233、および234などの、水平面と交差する三角形を作成する。一方、図3は、EP3541097によって生成された例示的な三角形分割を示しており、三角形231および232によって覆われたエリアが、ここでは、三角形321(ラウドスピーカ(-90,0)201、(-30,0)203、および(-45,30)213によって定義された頂点/コーナを含む)および323(ラウドスピーカ(-90,0)201、(-30,0)203、および(-45,30)223によって定義された頂点/コーナを含む)によって表されている。同様に、三角形233および234によって覆われたエリアが、ここでは、三角形331(ラウドスピーカ(90,0)209、(30,0)207、および(45,30)217によって定義された頂点/コーナを含む)および333(ラウドスピーカ(90,0)209、(30,0)207、および(45,-30)227によって定義された頂点/コーナを含む)によって表されている。
【0074】
前述したように、本明細書における実施形態は、VBAPプロセスの次の段階が、方向パラメータ(方位角および仰角)の所与のセットに対する正しいラウドスピーカの三つ組の決定であるということの検討から開始する。正しいラウドスピーカの三つ組の選択のための解決策がすでに存在するということが説明されたが、EP3541097において開示されているようなラウドスピーカ設定の三角形分割のための水平面手法を利用する解決策を有する必要がある。さらに、この解決策は、三角形の実行時の選択において使用され得るように計算効率が良く、かつ従来のテーブルに基づく方法よりも少ないストレージを必要とするべきである。以下で説明される解決策が、ラウドスピーカの三つ組が水平面と交差することを可能にする三角形分割アルゴリズムを展開するラウドスピーカ設定のためのさらに効率的な検索方法を提供することもできるということが、理解されるべきである。
【0075】
EP3541097では、三角形分割の前の事前ステップのうちの1つは、いくつかのスピーカを有する水平層が識別され得るように、ラウドスピーカ(スピーカまたはスピーカノードとも呼ばれる)の位置を調査することを含む。例えば、0°の仰角を有する5つのラウドスピーカは、0°の仰角で1つの水平層を形成する。任意の水平層が存在する場合、スピーカがスピーカサブセットに分割され得る。各サブセットは、制限する水平層に属するすべてのスピーカ、および制限する水平層の仰角の範囲の間の仰角を有するすべてのスピーカを含む。絶対仰角制限(通常は-90°および90°)は、スピーカサブセットが実際のスピーカを含まないことがあるとしても、スピーカサブセットの仰角を制限する役割を果たすことができる。例えば、2つの水平層(例えば、0°および30°の仰角)が存在する状態で、3つのスピーカサブセット(-90°~0°、0°~30°、および30°~90°の仰角)が存在してもよい。水平層が存在しない場合、すべてのスピーカを含む1つのスピーカセットが存在する。一部の実施形態では、水平層(およびしたがって、スピーカサブセット)の数および位置が制限されてもよい。例えば、実際の手法は、仰角0°での単一のサブセット分割水平層のみを使用することができる。
【0076】
図4は、VBAPプロセスの3つの段階を実施することができる振幅パンニング利得決定処理400を開示する。
【0077】
図4は、ラウドスピーカシステムの特定の設定を示す入力401を示している。例えば、図2および3の上記のラウドスピーカ設定では、入力401は、7.1+8のラウドスピーカ構成を伝達してもよい。この入力は、三角形分割および三角形セット作成処理402を実行する機能に渡される。実施形態では、機能402は、入力401によって示されているようなラウドスピーカ設定の三角形分割を実行するように構成される。実施形態では、三角形分割および三角形セット作成処理402は、特許出願EP3541097において概説されたプロセスに従って機能を実行してもよい。三角形分割および三角形セット作成処理402からの出力は、一部の例では、ラウドスピーカの三つ組の単一のセット(3Dラウドスピーカの仮想表面の三角形)であることができ、またはラウドスピーカ設定の他の例では、この出力は、ラウドスピーカの三つ組の複数のサブセットを含んでもよい。ラウドスピーカの三つ組のセット/サブセットが、検索方法選択処理および準備処理404に渡されてもよい。大まかに言って、検索方法選択処理および準備処理404は、ラウドスピーカの三つ組のセット/サブセットごとに適切な検索方法を選択し、最も適切なラウドスピーカの三つ組の効率的な選択のためにラウドスピーカの三つ組のセット/サブセットの形式(または構造)を準備するように構成される。404からの出力は、ラウドスピーカ設定情報、準備された三角形分割、準備されたラウドスピーカの三つ組セット、および検索を支援する情報を含むデータ構造を含むことができる、ラウドスピーカの三つ組の「準備された」セット/サブセットである。図4には、機能402および404によって実行されるプロセスが、レンダラー/デコーダの設定/初期化段階で実行されてもよいということの指示も示されている。言い換えると、機能402および404によって実行されるプロセスは、音声データのリアルタイム処理が存在する前に実行されることが期待される。しかし、実行時の間に402および403の機能が実行される動作例が存在してもよい。これらの動作例は、最初のエンコードされたフレームが処理される前にラウドスピーカ設定が知られていない場合を含んでもよい。したがって、そのような場合、最初の音声フレームの処理中に初期化を実行することが必要とされてもよい。その後、振幅パンニング利得決定処理400の動作の実行時段階の間に、ラウドスピーカの三つ組の「準備された」セット/サブセットが使用されてもよい。動作の実行時段階は、高速三角形選択処理およびパンニング利得決定処理406として図4に示されている。この機能は、ラウドスピーカの三つ組の「準備された」セット/サブセットの構造を受け取り、入力方向パラメータ403ごとにラウドスピーカの三つ組の各セット/サブセットの高速検索を実行する。入力方向パラメータ403ごとの機能406からの出力は、方向パラメータ403に対して選択されたラウドスピーカの三つ組に対応する振幅パンニング利得405である。
【0078】
図4から、ラウドスピーカ設定の三角形分割の後に続く段階は、検索方法選択処理および準備処理404と呼ばれる。それに関して、図5は、ラウドスピーカの三つ組セット/サブセットの最適な検索方法の選択のためのフローチャートを示している。前述したように、VBAPプロセスの第1の段階は、ラウドスピーカ設定の三角形分割を含む。これによって、ラウドスピーカ設定に固有のラウドスピーカの三つ組のセットまたはサブセットが得られる。
【0079】
最初に、図5の最適な検索方法選択プロセスは、ラウドスピーカの三つ組セット/サブセットの変形または複合をチェックするように構成されてもよい。これに関して、図5は、ラウドスピーカの三つ組セット/サブセットが2つの変形のうちの1つに該当するかどうかをチェックするように示されている。ラウドスピーカの三つ組の第1の変形は、+90°または-90°の仰角のいずれかに1つのスピーカという制約を含み、すべての他のスピーカが同じ水平層に存在する、特殊な事例と見なされてもよい。言い換えると、すべての他のスピーカは、同じ値の仰角を有してもよい。例えば、この種の変形は、-90°の仰角に1つのスピーカ、および0度の仰角で水平面に位置決めされた別の5つのスピーカを含んでもよい。第2の変形は、ラウドスピーカ設定が上記の制約を満たさない一般的な事例(またはデフォルトの事例)と見なされてもよい。
【0080】
図5に、チェックステップが501として示されており、501では、ラウドスピーカ設定が、+90°または-90°のいずれかの仰角値にスピーカのうちの1つの配置を有し、他の残りのスピーカが同じ仰角値にあるかどうかについて、制約がチェックされる。この制約が満たされる場合、特殊な事例のための選択肢5011が選ばれる。そうでない場合、プロセスは、一般的な(またはデフォルトの)事例のための分岐5012を選択する。
【0081】
上記の特殊な事例の選択(選択肢5011)は、(406で実行される)ラウドスピーカの三つ組セット/サブセットのその後の検索に特定のアルゴリズムを使用するという決定(ステップ503として示されている)につながる。各方位角値が、ラウドスピーカの三つ組のセット内の単一のラウドスピーカの三つ組に関連付けられている場合、方位角検索に基づくアルゴリズムが選択される。これは、上記の制約が満たされる場合、すなわち、+90°または-90°のいずれかの仰角値に1つのスピーカ、および同じ仰角値にすべての他のスピーカの配置を有する場合に、発生する。方位角に基づく検索方法を使用するという決定は、ラウドスピーカの三つ組セットに伴って生じてもよく、または単に、VBAPプロセスのその後のステップによってアクセスされ得る場所に格納される。
【0082】
一般的な事例の選択(選択肢5012)は、上記の基準を満たさないラウドスピーカ設定に関して示されている、ラウドスピーカの三つ組セット/サブセットを検索するより一般的な方法を使用するという決定につながる。この場合、高速三角形選択処理406において使用するための、ラウドスピーカの三つ組セット/サブセットの完全な3D検索方法が選択される。これが、図5のステップ505として示されている。一般的な3D検索方法を使用するという決定は、ラウドスピーカの三つ組セット/サブセットに伴って生じてもよく、または単に、VBAPプロセスのその後のステップによってアクセスされ得る場所に格納される。
【0083】
三角形分割プロセス402が(単一のラウドスピーカの三つ組セットではなく)複数のラウドスピーカの三つ組サブセットをもたらす場合、図5の処理ステップは、ラウドスピーカの三つ組サブセットの各々について繰り返される。
【0084】
ラウドスピーカの三つ組セット/サブセットを検索する方法が決定された後に、機能ブロック404が準備ステップを実行し、準備ステップでは、実行時段階の間の高速検索のために、ラウドスピーカの三つ組セット/サブセットの構造が準備される。その目的で、図6は、その後の一般的な3D検索方法のためにラウドスピーカの三つ組セット/サブセットを準備することに関わるステップを示しており、図7は、その後の特定の方位角に基づく検索方法のためにラウドスピーカの三つ組セットを準備することに関わる処理ステップを示している。明確化のために言うと、図6および7の準備ステップは、404の初期化段階の機能の一部として実行される。
【0085】
図6を参照すると、プロセスが、ラウドスピーカの三つ組セット/サブセットを受け取ることから開始する。次に、ラウドスピーカの三つ組ごとに、「中心」ベクトルを見つけ、x-y平面に投影された「中心」ベクトルの角度を計算する。これによって、事実上、「中心」ベクトルの方位角が得られる。
【0086】
ラウドスピーカの三つ組(または三角形)の「中心」ベクトルは、ラウドスピーカの三つ組の頂点(またはラウドスピーカ)を指し示す3つのベクトルの解決されたベクトル(ベクトル和)を決定することによって計算されてもよい。したがって方位角は、x-y平面に投影されたこのベクトルの角度である。ラウドスピーカの三つ組の「中心」方位角値θtri3dは、次のように表されてもよい。
【0087】
【数2】
【0088】
上記の式におけるインデックスiは、ラウドスピーカの三つ組セット/サブセット内の三角形のインデックスである。上記の式は、ラウドスピーカの三つ組セット/サブセット内のすべての三角形について実行される。
【0089】
各ラウドスピーカを指し示すことによってラウドスピーカの三つ組(または三角形)を定義し、三つ組(または三角形)iを定義する3つのベクトルは、次のように与えられる。
【0090】
【数3】
【0091】
上記の逆正接関数が、分子および分母の符号に基づく正しい象限について式を解くことが仮定されるということに留意されたい。
【0092】
前述したように、この計算は、ラウドスピーカの三つ組セットの各ラウドスピーカの三つ組(または三角形)ごとに実行され、図6の処理ステップ601として示されている。
【0093】
ラウドスピーカの三つ組セット/サブセットに関する一般的な3D準備プロセスの次の段階は、ラウドスピーカの三つ組セット/サブセットの三角形を方位角の増加順に順序付けることを含む。これは、既知の並べ替え手段によって実行されてもよい。実際には、このステップは、ラウドスピーカの三つ組セットの三角形のインデックスの順序を単に変更することを含んでもよい。この処理ステップからの結果は、インデックスの新しい順序付けられたリストであってもよく、isは、順序付けられたリストの三角形のインデックスを表す。このステップが、図6に処理ステップ603として示されている。図6には、406によって実行される高速検索において今後使用するために並べ替えられた三角形を格納する動作も示されている。このステップが、図6に処理ステップ605として示されている。実際には、このステップは、ラウドスピーカの三つ組構造の配列を格納された順序で格納することを含んでもよく、ラウドスピーカの三つ組構造は、ラウドスピーカの三つ組を形成するラウドスピーカ(またはスピーカノード)のインデックスを含む。
【0094】
一般的な3D準備プロセスの次の段階は、方位角値の全範囲をカバーするいくつかの重複しない検索セクタを形成することである。基本的に、このステップは、方位角をいくつかのセクタに分割することを含み、各セクションが方位角値の特定の範囲に割り当てられている。例えば、1つの実施形態例では、方位角値が整数精度であると見なされることを仮定して、方位角値の360°の範囲が、0°~89°、90°~179°、180°~269°、および270°~359°を含む4つの等しく間隔を空けられた重複しないセクタに分割されてもよい。他の分割比が使用されてもよいということが、理解されるべきである。例えば、セクタがすべて同じである必要はない。そのような実施形態では、セクタの各範囲は、ラウドスピーカの三つ組セット内の三角形の分布に比例してもよい。言い換えると、より多くの数の三角形を含む方位角範囲の領域は、より多くの数のセクタに分割されてもよく、それらの各セクタは、より少ない数の三角形を有する方位角の領域よりも小さい粒度を有する。例えば、1つの実施形態は、方位角範囲をいくつかのセクタに分割することを含んでもよく、それらの各セクタは、実質的に等しい数のラウドスピーカの三つ組を含むことができる。セクタが形成された後に、各セクタの境界/エッジの方位角が書き留められ、今後使用するために格納されてもよい。セクタごとの境界値は、θborder3d(j)として格納されてもよく、jはセクタのインデックスであり、合計でJ個のセクタが存在している。例えば、4つのセクタに分割される方位角範囲の上記の例を使用すると、セクタごとの境界値は、セクタの上限値
θborder3d(0),θborder3d(1),θborder3d(2),θborder3d(3)={90°,180°,270°,360°}を含んでもよい。代替として、一部の実施形態は、{0°,90°,180°,270°}などの、セクタごとに下限値を使用する境界値を展開してもよい。代替として、一部の実施形態は、下限値および上限値の両方を含む境界値を展開してもよい。
【0095】
しかし、一部の実施形態では、上記の境界値を格納することが必要とされなくてもよい。代わりに、セクタの数が知られ、方位角の全範囲にわたって各セクタの範囲が均等に分割される方式を採用することによって、各セクタの境界値が暗示されてもよい。
1つのCコードの実施は、次の形態をとってもよい。
if(abs(azi_deg)>90)

quadrant=azi_deg<0?2:1;

else

quadrant=azi_deg<0?3:0;

この場合、方位角値は、-180度と180度との間である。
【0096】
方位角の範囲にわたってセクタを形成する処理ステップが、図6の607として示されており、各セクタの境界/エッジを格納するステップが、処理ステップ609として示されている。
【0097】
セクタが定義された後に、高速3D検索方法のための準備プロセスが、検索セクタjごとに初期検索インデックスζ(j)を決定することを開始する。実施形態では、これは、検索セクタjごとに参照角ρ(j)を最初に決定することによって実行されてもよい。実施形態では、セクタjの参照角ρ(j)は、検索セクタの中点角であってもよい。例えば、第1の検索セクタが0°~89°の範囲にわたる上記の例を使用すると、参照角ρ(0)が45°に設定されてもよい。最後に、J個の参照角の各々について(およびしたがって、検索セクタごとに)、(ステップ603で得られるような)ラウドスピーカの三つ組の並べ替えられたリストから三角形が割り当てられる。実施形態では、割り当てられた三角形は、参照角ρ(j)に最も近い三角形の中心(方位)角θtri3dを有する(並べ替えられたリストからの)三角形であってもよい。次に、参照角ρ(j)に最も近い三角形の並べ替えられた三角形のインデックスis,jが、ζ(j)=is,jである検索セクタjの初期検索インデックスζ(j)として割り当てられてもよい。ここで、is,jは、参照角ρ(j)に最も近い三角形の中心(方位)角θtri3dを有する三角形のインデックスである。
【0098】
セクタjの初期検索インデックスζ(j)を決定するステップが、図6の処理ステップ611として、すべてのセクタJについて示されている。今後使用するために初期検索セクタのインデックスを格納する動作が、図6の処理ステップ613として示されている。
【0099】
図7を参照すると、特殊な事例の2D方位角に基づく検索のための準備プロセスが示されている。このプロセスは、特殊な事例の2D方位角に基づく検索のために図5のプロセスによって選択されているラウドスピーカの三つ組セットを入力として受け取る。
【0100】
このプロセスは、セット内の各三角形の2つの頂点(またはラウドスピーカの位置)の方位角を決定することから開始する。すなわち、三角形ごとに、三角形の頂点をそれぞれ指し示す2つのベクトルの方位角が決定される。前に説明されたように、方位角に基づく検索のためのラウドスピーカの位置は、±90°の仰角に位置決めされた1つの(仮想または現実の)ラウドスピーカを除いて、すべて1つの水平面上にある。したがって、これは、特殊な事例の2D方位角に基づく検索のすべての三角形が、±90°の仰角に少なくとも1つの頂点を含むということを意味する。その結果、三角形ごとに2つの方位角のみが計算される。
【0101】
例えば、実施形態では、例えば三角形の第1の頂点の方位角は、次式によって与えられる。
θtri2d=atan(y1/x1
ここで、上記の逆正接関数が、分子および分母の符号に基づく正しい象限について式を解くことが仮定され、三角形の第1の頂点を指し示すベクトルが次のように与えられる。
【0102】
【数4】
これが、三角形の各第2および第3の頂点をそれぞれ指し示す他の2つのベクトル
【数5】
または
【数6】
のうちのいずれか1つについて繰り返される。
【0103】
次に、三角形の最大の方位角が選択され、セクタ境界角度θborder2d(j)としてマーク付けされ、前と同様に、jは検索セクタのインデックスを示す。
【0104】
その後、この処理が、特殊な事例の検索のために選択されたラウドスピーカの三つ組セット内のすべての三角形について繰り返されてもよい。
【0105】
例えば、図2の7.1+8ラウドスピーカ設定の下半分を使用する。0、30、90、150、-150、-90、および-30度に、水平方向のスピーカが存在する(これらのすべての仰角は0度である)。さらに、-90度の仰角に1つの仮想ラウドスピーカが存在する。
【0106】
そのため、第1の三角形は、(φ,θ)の形態で、ノード(0,0)、(30,0)、および(0,-90)の間にある。第2の三角形は、ノード(30,0)、(90,0)、および(0,-90)の間にある。第3の三角形は、ノード(90,0)、(150,0)、および(0,-90)の間にある、などとなる。結果として、仮想球体の下半分をカバーする7つの三角形が得られる。
【0107】
そのため、この例では、j=0~6の場合のセクタ境界角度θborder2d(j)は、30、90、150、210、270、330、および360度になる。
【0108】
前に述べたように、特殊な2D方位角に基づく検索の場合、検索セクタとラウドスピーカの三つ組/三角形には1:1の比率が存在する。
【0109】
最後に、三角形の頂点のうちの1つが0°の方位角を有する場合の特殊な事例が存在する。この事例が検出された場合、三角形の他の頂点が180°よりも大きい方位角を有すれば、この三角形のセクタ境界角度は360°としてマーク付けされる。しかし、他の三角形の頂点が180°未満の方位角を有することが検出された場合、方位角のこの値が、三角形のセクタ境界角度として選択される。
【0110】
ラウドスピーカの三つ組セットの三角形ごとに最大の方位角を見つけるステップが、図7の処理ステップ701として示されている。
【0111】
方位角に基づく検索の準備プロセスの次の段階は、セクタ境界角度θborder2d(j)の増加順に関してラウドスピーカの三つ組セットの三角形を順序付けることを含む。これが、図7のステップ703として示されている。
【0112】
最後に、ラウドスピーカの三つ組セットの順序変更された三角形が、今後の使用のために、各セクタ境界角度と共に格納される。これが、図7の処理ステップ705として示されている。
【0113】
さらに、実施形態では、機能404によって実行されるような準備プロセスは、各ラウドスピーカの三つ組セット/サブセットが仰角値の範囲に割り当てられるさらなるプロセスを含んでもよい。そのようなプロセスが図8に示されており、図8では、第1のステップが、ラウドスピーカ設定がラウドスピーカノードの複数の水平層またはラウドスピーカノードの単一の水平層のどちらを含むかをチェックするということが理解され得る。これが、図8のステップ801として示されている。ステップ801が、ラウドスピーカノードの1つの水平層のみが存在するということを決定する場合、プロセスがステップ803に進み、ステップ803は、-90°~+90°の可能性のある仰角値の全範囲を占めているとしてラウドスピーカの三つ組セットにマークを付ける。しかし、ステップ801が、ラウドスピーカ設定がラウドスピーカノードの複数の水平層を含むということを示す場合、プロセスはステップ805に進んでもよい。ステップ805で、ラウドスピーカ設定に関して、(ラウドスピーカノードの)各水平層の仰角が取得される。
【0114】
次に、ステップ807で、仰角値の範囲が形成されてもよい。実施形態では、このステップは、可能な最大値(例えば、+90度)とラウドスピーカの三つ組サブセットの水平層の仰角値との間の仰角値の範囲を作成すること、または2つの水平層の仰角値の間の仰角値の範囲を作成すること、またはラウドスピーカの三つ組サブセットの水平層の仰角値と可能な最小値(例えば、-90度)との間の仰角値の範囲を作成することのいずれかの形態をとってもよい。仰角値の範囲の実際の境界は、ラウドスピーカの三つ組サブセットの水平層の仰角に依存してもよい。最低の仰角の水平層に関連付けられた第1の仰角範囲は、最小仰角値から第1の水平層の仰角値までの値の範囲として形成されてもよい。第1の水平層よりも高い仰角の水平層に関連付けられた第2の仰角範囲は、第1の水平層の仰角値と第2の水平層の仰角値との間の仰角値の範囲として形成されてもよい。第2の水平層が最高の仰角値である場合、仰角値の最後の(第3の)範囲は、第2の水平層の仰角値と最大仰角値との間に形成されてもよい。一般に、n+1個の仰角範囲が存在し、「n」はラウドスピーカ設定に従う水平層の数である。仰角範囲の数は、ラウドスピーカの三つ組サブセットの数を決定する。例えば、この場合、3つのラウドスピーカの三つ組サブセットが存在し、その第1のラウドスピーカの三つ組サブセットは、最大仰角値から第1の水平層の仰角値までにある仰角値を有する三角形を含む。第2のラウドスピーカの三つ組サブセットは、第1の水平層の仰角値から第2の水平層の仰角値までにある仰角値を有する三角形を含む。第3のラウドスピーカの三つ組サブセットは、第2の水平層の仰角値から最大仰角値までにある仰角値を有する三角形を含む。
【0115】
ステップ807によって実行されるような上記のプロセスは、仰角0°および仰角30°に水平層を含むラウドスピーカ設定が存在する次の例として、さらに明確にされ得る。この例では、ステップ807は、次の範囲の3つのラウドスピーカの三つ組サブセットへの仰角値の分割を引き起こす。
1.-90°(範囲の端点)~0°(水平層)、
2.0°(水平層)~30°(水平層)、および
3.30°(水平層)~90°(範囲の端点)。
【0116】
ステップ809で、各ラウドスピーカの三つ組の仰角値およびラウドスピーカの三つ組サブセットの仰角値の範囲に従って、三角形分割プロセスからの三角形(ラウドスピーカの三つ組)がラウドスピーカの三つ組サブセットに分配されてもよい。実際には、ラウドスピーカの三つ組の仰角値がラウドスピーカの三つ組サブセットに与えられた仰角値の範囲内にある場合、各ラウドスピーカの三つ組がこのラウドスピーカの三つ組サブセットに割り当てられる。
【0117】
最後に、図8はステップ811を示しており、ステップ811で、ラウドスピーカの三つ組セット/サブセットごとの仰角範囲が、機能406で使用するために格納される。
【0118】
VBAPプロセスの実行時段階を参照すると、実行時段階は、前述したように、高速三角形選択処理およびパンニング利得決定処理406によって実行され得る。実行時段階の第1のプロセスは、取得された目標パンニング方向(方向パラメータの仰角および方位角)を取り込み、適切なラウドスピーカの三つ組セット/サブセットに割り当てることを含む。実施形態では、この処理は、目標パンニング方向の仰角値を包含する仰角値の割り当てられた範囲を有するラウドスピーカの三つ組セット/サブセットを結び付け、その後、選択されたラウドスピーカの三つ組セット/サブセットの検索方法が、一般的な3D検索方法または特殊な事例の2D方位角に基づく検索方法のどちらであるかをチェックする形態をとってもよい。
【0119】
図9は、上記の機能を実行するように構成されたプロセスを示している。このプロセスは、方位角および仰角値を含む目標パンニング方向パラメータを受信する。このプロセスは、第1のラウドスピーカの三つ組セットを受け取ることから開始し(ステップ901)、次に、目標パンニング方向パラメータの仰角値が(第1の)ラウドスピーカの三つ組セット/サブセットの仰角値の範囲内にあるかどうかを判定するためのチェックを実行する(ステップ903)。目標パンニング方向パラメータの仰角値が(第1の)ラウドスピーカの三つ組セット/サブセットの仰角値の範囲内にない場合、プロセスが折り返し、次にチェックするラウドスピーカの三つ組セットを選択する(ステップ905)。しかし、上記のチェック(ステップ903)の結果が、目標パンニング方向パラメータの仰角値がラウドスピーカの三つ組セット/サブセットの仰角値の範囲内にあるという指示を返す場合、プロセスがステップ907に進み、ステップ907で、検索の方法がラウドスピーカの三つ組セット/サブセットに割り当てられる。ラウドスピーカの三つ組セット/サブセットが一般的な3D検索方法に関連付けられるということが決定された場合、ラウドスピーカの三つ組セット/サブセットは、目標パンニング方向値と一緒に、ラウドスピーカの三つ組セット/サブセットを検索する一般的な3D検索方法に転送される(ステップ909)。代替として、ステップ907で、ラウドスピーカの三つ組セット/サブセットが特殊な事例の2D方位角に基づく検索に関連付けられるということが決定された場合、ラウドスピーカの三つ組セット/サブセットは、目標パンニング方向値と一緒に、ラウドスピーカの三つ組セット/サブセットを検索する2D方位角に基づく方法に転送される(ステップ911)。
【0120】
図10は、VBAPプロセスの一部として機能ブロック406によって実施され得る「一般的な」高速3D検索方法のフロー図である。図10は、ラウドスピーカの三つ組セット/サブセットからのどのラウドスピーカの三つ組が目標パンニング方向を取り囲むかを決定するためのプロセスと見なされ得る。上で暗に示されたように、高速3D検索方法は、方位角および仰角値
【0121】
【数7】
を含む目標パンニング方向、図6のフロー図に従って準備された検索構造、および図9のフロー図に従って選択されて並べ替えられたラウドスピーカの三つ組セットを、入力として受け取る。図6に付随する説明から、一般的な高速3D検索手順のために準備された検索構造が、三角形の中心方位角θtri3dの増加順に配置された三角形のラウドスピーカの三つ組セット/サブセット、および検索セクタjごとの初期検索インデックス構造ζ(j)を含むということが、思い起こされてもよい(合計でJ個の検索セクタが存在し、0≦j<Jである)。各初期検索インデックス構造ζ(j)は、三角形の順序付けられたラウドスピーカの三つ組セットからの三角形のインデックスis,j、および検索セクタの境界を指定するパラメータθborder3d(j)を含む、要素データ項目を含む。
【0122】
3D検索方法は、最初の検索セクタ(j=0)で開始し、目標パンニング方向の方位角値θが最初の検索セクタの方位角値の制限内であるかどうかが判定される。この判定は、検索セクタ境界値θborder3d(j)を調べることによってチェックされてもよい。目標パンニング方向の方位角値θが検索セクタjの制限内でないということが決定された場合、プロセスが折り返し、次の検索セクタ(j=j+1)を選択する。このチェックループが、処理ステップ1001、1002、および1003によって図10に示されている。
【0123】
一方、ステップ1003で、目標パンニング方向の方位角値が現在の検索セクタjの境界制限内にあるということが決定された場合、次にプロセスは、次のステップ1005に移動するように構成され、ステップ1005で、現在の検索セクタjに関連付けられた三角形のインデックスis,jが、初期検索インデックス構造ζ(j)から取り出される。
【0124】
次にプロセスは、取り出された三角形のインデックスis,jに基づいて三角形検索インデックスiを設定するように構成される。この処理が、1007の初期化ステップによって図10に示されている。
【0125】
このプロセスは、取り出された三角形のインデックスis,jである場合両側にある三角形の検索を実行するように構成されてもよい。この検索は、is,jよりも少し高いインデックスを有する三角形が検索されることが可能であり、その後、is,jよりも少し低いインデックスを有する三角形が検索され得るように、(mの各インクリメントによって)インデックスiのインクリメントおよびデクリメントの両方を実行するように構成されたカウンタmを使用して実行されてもよい。実施形態では、インデックスiは、
【0126】
【数8】
の形態をとってもよく、ここで、Nは三角形セット内の三角形の数であり、modはモジュロ関数であり、カウンタmは、取り出された三角形のインデックスis,jの両側で検索される三角形の数を調整するために使用される。例えば、三角形の最初の5つ程度の検索は、m0~4の場合に、(i,i-1,i+1,i-2,i+2,...)というインデックス付けパターンに従ってもよく、iはis,jに初期化される。
【0127】
図10に戻り、カウンタmの初期化が、処理ステップ1009として示されている。
【0128】
次の段階は、現在の三角形iが正しい三角形であるかどうかを判定することを含む。実施形態では、この判定は、前述の次の方程式を解き、
【数9】
VBAPパンニング利得ベクトルgの3つの利得成分がすべて非負であるかどうかをチェックすることによって、決定されてもよい。目標パンニング方向の方位角および仰角値
【数10】
からベクトルpが決定され、p=[x,y,z]であり、
【数11】

【数12】
、および
【数13】
である。ベクトルI1、I2、I3は、現在の三角形iの3つのラウドスピーカを指し示す単位ベクトルである。
【0129】
3つの非負成分を有する利得ベクトルを生み出す三角形iが、入力目標パンニング方向に対する正しい三角形として決定される。この時点で、プロセスが停止し、インデックスiを目標パンニング方向に対する正しい三角形として出力する。さらに、プロセスは、三角形iのパンニング利得giも出力する(これらの利得は、上記の計算ステップの副産物として与えられる)。
【0130】
図10に戻ると、上記のチェックステップが処理ステップ1011として示されており、正しい三角形のインデックスおよびパンニング利得を出力するステップが、処理ステップ1013として示されている。言い換えると、正しい三角形のインデックスは、目標パンニング方向が選択されたラウドスピーカの三つ組内にあるか、または目標パンニング方向が選択された仮想表面と次の仮想表面との間の境界上にあるようにする、目標パンニング方向を取り囲むラウドスピーカの三つ組/三角形のインデックスである。
【0131】
しかし、ステップ1011で、VBAPパンニング利得ベクトルgがすべて非負でないということが決定される場合、インデックスiによって与えられた三角形は、入力目標パンニング方向に対する正しい三角形でないと見なされる。この場合、プロセスは、カウンタmを1だけ増やし、mおよびis,jに基づいてiの新しい値を計算するための上記の式を使用することによって、次の三角形のインデックスを決定する。この処理が、チェックステップ1011へのフィードバックループと共に、処理ステップ1014として示されている。
【0132】
図11は、VBAPプロセスの一部として機能ブロック406によってやはり実施され得る高速2D方位角に基づく検索方法のフロー図である。図11は、ラウドスピーカの三つ組セットからのどのラウドスピーカの三つ組が目標パンニング方向を取り囲むかを決定するためのプロセスと見なされ得る。上で暗に示されたように、高速な2D方位角に基づく検索方法は、目標パンニング方向の方位角(θ)値、図7のフロー図によって説明されたような準備された検索構造、および図9のフロー図からの選択されたラウドスピーカの三つ組セットを、入力として受け取る。図7に付随する説明から、高速な2D方位角に基づく検索手順のために準備された検索構造が、セクタ境界角度θborder2D(j)の増加順に配置された三角形のラウドスピーカの三つ組セット/サブセット、およびセクタ境界角度自体を含むということが、思い起こされてもよい。2D方位角に基づく検索の場合、セクタ境界角度との、ラウドスピーカの三つ組セット/サブセット内の三角形の1対1のマッピングが存在するということに留意されたい。
【0133】
図11に示されているように、プロセスは、目標パンニング方位角、ならびに順序付けられた三角形リストおよび順序付けられた三角形ごとの対応するセクタ境界角度を含む準備された検索構造を受信する。
【0134】
プロセスの第1の段階は、インデックスjを0に設定することを含み、このインデックスは、セクタ境界角度θborder2D(j)を1つずつインデックス付けするために使用される。これが、処理ステップ1101として示されている。
【0135】
次に、チェックステップ1103が実行され、チェックステップ1103は、目標方位角θが現在のインデックスjのセクタ境界角度θborder2D(j)よりも小さいかどうかを判定する。チェックが、目標方位角θがセクタ境界角度θborder2D(j)よりも大きいということを決定するたびに、プロセスがステップ1105を経由してループし、次のセクタ境界角度がテストされる。ステップ1105は、ステップ1103によって次のセクタ境界角度がチェックされ得るように、単にインデックスを1だけ増やす。
【0136】
基本的に、ステップ1103および1105は、方位角が現在のセクタ境界角度よりも小さくなるまで、セクタ境界角度の増加順のリストを進む。このセクタ境界角度に関連付けられたインデックスは、目標パンニング方位角の方向θに最も近く、θを取り囲む三角形のインデックスである。次に、この三角形のインデックスが、ループから出力される(ステップ1107)。言い換えると、三角形のインデックスは、2D検索のための、目標パンニング方向を取り囲むラウドスピーカの三つ組/三角形のインデックスである。
【0137】
ループバックは、現在のインデックスが検索セクタの数(J)に達したかどうかを判定するためのチェックも含む。この場合、目標方位角の方向は、最高の順序付けられた検索セクタよりも大きく、選択された三角形の出力インデックスが0に設定される。これが、図11の処理ステップ1109および1111として示されている。
【0138】
最後に、目標パンニング方向の方位角および仰角値
【数14】
、ならびにプロセスから出力されたインデックスに関連付けられた三角形の3つのラウドスピーカを指し示す単位ベクトルを使用して、パンニング利得が決定され得る。
【0139】
一部の実施形態では、ラウドスピーカの三つ組セットを検索する特殊な方位角に基づく方法が存在しなくてもよいということが、理解されるべきである。そのような実施形態では、一般的な3D方法のみがラウドスピーカの三つ組セット/サブセットに使用される。これらの実施形態では、図5図7、および図11に従うプロセスが実施されない。さらに、図8に関して、図9からの処理ステップ907および911と共に、ステップ803につながる処理経路が実施されなくてもよい。
【0140】
前述の実施形態の例示的な実施が図12に示されており、図12は、例示的なシステムのデコーダおよびレンダラーを示している。例示的なデコーダおよびレンダラーは、1つまたは2つの音声チャンネルおよび空間メタデータを送信するように構成されてもよい。空間メタデータは、少なくとも、周波数帯域内の指向性パラメータおよび周波数帯域内の比率メタデータを含み、比率(または拡散性)パラメータは、周波数帯域での音が指向性、または環境、あるいはそれらの間の何かであるかどうかを表す。
【0141】
(任意の発生源、例えば、スマートフォンによって捕捉され、エンコードされて送信された立体音響から)入力ビットストリーム1221を受信するように構成されたデマルチプレクサおよびデコーダ1201を備えているデコーダ1200が示されている。デマルチプレクサおよびデコーダ1201は、ビットストリーム1221を音声信号1206成分、ならびに拡散性メタデータ1202成分(環境エネルギーと全エネルギーの比率を定義する)および方向メタデータ1204成分などの空間メタデータに分離するように構成される。
【0142】
音声成分1206内の音声信号は、音声信号を周波数帯域に変換するように構成された(複素変調低遅延フィルタバンク(complex-modulated low-delay filterbank)であり得る)順方向フィルタバンク1203によって受信される。
【0143】
次に、周波数帯域音声信号が、分割器1205によって受信されてもよい。分割器1205は、拡散性メタデータ成分1202をさらに受信し、例えば、周波数帯域内の比率/拡散性メタデータの関数として乗算器を音声信号に適用することによって、周波数帯域信号を指向性部分1210および環境(または拡散)部分1208に分割してもよい。
【0144】
環境部分1208を脱相関して空間的に一貫性のないマルチチャンネル信号を生成するように構成された脱相関器1207によって、環境(または拡散)部分1208が受信されてもよい。
【0145】
図4に関して上で説明されたような振幅パンニング利得決定器400は、ラウドスピーカ設定情報401を受信するように構成されてもよく、3Dラウドスピーカ設定の三角形分割を実行し、動作の実行時段階の間の高速検索のために、結果として得られたラウドスピーカの三つ組セットを準備するように構成される。次に、400の実行時段階が、振幅パンナー1209のために、方向データ1204/403からパンニング利得および正しい三角形を生成し始める。
【0146】
指向性部分1210が、振幅パンナー1209によって受信されてもよい。振幅パンナー1209は、振幅パンニング利得決定器400から振幅パンニング利得(amplitude panning gains)をさらに受信してもよい。次に、指向性部分1210の音声信号が、本発明を使用して生成された振幅パンニング利得を利用して、方向メタデータに従って周波数帯域内で振幅パンニングされてもよい。
【0147】
合計モジュール1211は、振幅パンナー1209からの振幅パンニングされた方向出力、および脱相関器1207からの空間的に一貫性のないマルチチャンネル信号を受信し、結合されたマルチチャンネル信号を生成するように構成されてもよい。
【0148】
次に、逆フィルタバンク1213は、結合された信号を受信し、適切なマルチチャンネルラウドスピーカ出力1225を生成するように構成されてもよい。
【0149】
一部の実施形態では、方位角に基づく2D検索は、互いに真上にあるスピーカノードの2つの水平層を有する仰角範囲に適応されてもよい。この場合、スピーカノードの方位角は、各水平層上で同一であり、したがって、層のうちの1つのセクタ境界角度θborder2Dのみが決定される必要がある。その結果、実行時段階の間に、セクタごとに2つの可能性のあるラウドスピーカの三つ組が生成される。正しいラウドスピーカの三つ組は、次の方程式を解くことによって決定されてもよい。
【0150】
【数15】
【0151】
実際には、第1の三つ組が正しくないということが判明した場合(上記の方程式の解いた結果)、次のインデックスを有する三つ組が選択されてもよく、上記の方程式を使用して検証されてもよい。
【0152】
方位角に基づく2D検索について付け加えると、すべてのラウドスピーカが単に水平層として位置するラウドスピーカ設定を対象にするように、検索方法が拡張され得る。
【0153】
前述の一般的な3D検索方法に関して、最大で4つまでの方位角検索セクタを有することが、IVAS符号化システムにとって有利な解決策を提供するということが分かった。検索セクタの数は、チェックする三つ組の数を制限することと、実行時の間に必要とされる追加のメモリとの間のトレードオフに従って、さまざまな符号化システムに合わせて調整されてもよい。
【0154】
図13に関して、分析または合成デバイスとして使用され得る例示的な電子デバイスが示されている。このデバイスは、任意の適切な電子デバイスまたは装置であってもよい。例えば、一部の実施形態では、デバイス1400は、モバイルデバイス、ユーザ機器、タブレットコンピュータ、コンピュータ、音声再生装置などである。
【0155】
一部の実施形態では、デバイス1400は、少なくとも1つのプロセッサまたは中央処理装置1407を備える。プロセッサ1407は、本明細書において説明されたような方法などの、さまざまなプログラムコードを実行するように構成され得る。
【0156】
一部の実施形態では、デバイス1400は、メモリ1411を備える。一部の実施形態では、少なくとも1つのプロセッサ1407は、メモリ1411に結合される。メモリ1411は、任意の適切な格納手段であることができる。一部の実施形態では、メモリ1411は、プロセッサ1407上で実施可能なプログラムコードを格納するためのプログラムコードセクションを含む。さらに、一部の実施形態では、メモリ1411は、データ(例えば、本明細書に記載されたような実施形態に従って処理されているか、または処理されるデータ)を格納するための格納データセクションをさらに含むことができる。プログラムコードセクション内に格納された実施されるプログラムコードおよび格納データセクション内に格納されたデータは、必要とされるたびに、メモリとプロセッサの結合を介してプロセッサ1407によって取り出され得る。
【0157】
一部の実施形態では、デバイス1400は、ユーザインターフェイス1405を備える。ユーザインターフェイス1405は、一部の実施形態では、プロセッサ1407に結合され得る。一部の実施形態では、プロセッサ1407は、ユーザインターフェイス1405の動作を制御し、ユーザインターフェイス1405から入力を受信することができる。一部の実施形態では、ユーザインターフェイス1405は、ユーザが、例えばキーパッドを介して、コマンドをデバイス1400に入力することを可能にすることができる。一部の実施形態では、ユーザインターフェイス1405は、ユーザがデバイス1400から情報を取得することを可能にすることができる。例えば、ユーザインターフェイス1405は、デバイス1400からの情報をユーザに表示するように構成されたディスプレイを備えてもよい。ユーザインターフェイス1405は、一部の実施形態では、情報がデバイス1400に入力されることを可能にすること、および情報をデバイス1400のユーザにさらに表示することの両方の能力があるタッチ画面またはタッチインターフェイスを備えることができる。一部の実施形態では、ユーザインターフェイス1405は、本明細書に記載されているように位置決定処理と通信するためのユーザインターフェイスであってもよい。
【0158】
一部の実施形態では、デバイス1400は、入出力ポート1409を備える。入出力ポート1409は、一部の実施形態では、トランシーバを備える。トランシーバは、そのような実施形態では、プロセッサ1407に結合され、例えばワイヤレス通信ネットワークを介して、他の装置または電子デバイスとの通信を可能にするように構成され得る。トランシーバあるいは任意の適切なトランシーバまたは送信機および/もしくは受信機の手段は、一部の実施形態では、ワイヤまたは有線結合を介して他の電子デバイスまたは装置と通信するように構成され得る。
【0159】
トランシーバは、任意の適切な既知の通信プロトコルによって、さらなる装置と通信することができる。例えば、一部の実施形態では、トランシーバは、適切なユニバーサル移動体通信システム(UMTS:universal mobile telecommunications system)プロトコル、例えばIEEE 802.Xなどのワイヤレスローカルエリアネットワーク(WLAN:wireless local area network)プロトコル、Bluetoothなどの適切な短距離無線周波数通信プロトコル、または赤外線データ通信経路(IRDA:infrared data communication pathway)を使用することができる。
【0160】
トランシーバの入出力ポート1409は、信号を受信し、一部の実施形態では、適切なコードを実行するプロセッサ1407を使用することによって、本明細書に記載されているようなパラメータを決定するように構成されてもよい。さらに、デバイスは、合成デバイスに送信される適切なダウンミックス信号およびパラメータ出力を生成してもよい。
【0161】
一部の実施形態では、デバイス1400は、合成デバイスの少なくとも一部として採用されてもよい。そのため、入出力ポート1409は、ダウンミックス信号、および一部の実施形態では、本明細書に記載されているようなキャプチャデバイスまたは処理デバイスで決定されたパラメータを受信し、適切なコードを実行するプロセッサ1407を使用することによって適切な音声信号形式出力を生成するように構成されてもよい。入出力ポート1409は、任意の適切な音声出力に、例えば、マルチチャンネルスピーカシステムおよび/またはヘッドホンあるいは同様のものに結合されてもよい。
【0162】
一般に、本発明のさまざまな実施形態は、ハードウェアもしくは専用回路、ソフトウェア、論理回路、またはこれらの任意の組み合わせにおいて実施されてもよい。例えば、一部の態様は、ハードウェアにおいて実施されてもよく、一方、他の態様は、コントローラ、マイクロプロセッサ、または他のコンピューティングデバイスによって実行され得るファームウェアまたはソフトウェアにおいて実施されてもよいが、本発明はこれらに限定されない。本発明のさまざまな態様は、ブロック図、フローチャートとして、または何らかの他の図解表現を使用して例示され、説明され得るが、本明細書に記載されたこれらのブロック、装置、システム、技術、または方法が、非限定的な例として、ハードウェア、ソフトウェア、ファームウェア、専用回路もしくは論理回路、汎用ハードウェアもしくはコントローラまたは他のコンピューティングデバイス、あるいはこれらの何らかの組み合わせにおいて実施されてもよいということが、十分理解される。
【0163】
本発明の実施形態は、プロセッサ実体などのモバイルデバイスのデータプロセッサによって実行可能なコンピュータソフトウェアによって、またはハードウェアによって、あるいはソフトウェアとハードウェアの組み合わせによって、実施されてもよい。さらに、これに関して、図におけるような論理の流れの任意のブロックが、プログラムステップ、または相互接続された論理回路、ブロックおよび機能、あるいはプログラムステップおよび論理回路、ブロックおよび機能の組み合わせを表してもよいということに留意されたい。ソフトウェアは、メモリチップのような物理的媒体、またはプロセッサ内で実施されるメモリブロック、ハードディスクまたはフロッピーディスクなどの磁気媒体、ならびに例えば、DVDおよびそのデータの変形、CDなどの光媒体に格納されてもよい。
【0164】
メモリは、ローカルな技術環境に適した任意の種類であってもよく、半導体ベースのメモリデバイス、磁気メモリデバイスおよびシステム、光メモリデバイスおよびシステム、固定メモリ、ならびに取り外し可能メモリなどの、任意の適切なデータストレージ技術を使用して実施されてもよい。データプロセッサは、ローカルな技術環境に適した任意の種類であってもよく、非限定的な例として、汎用コンピュータ、専用コンピュータ、マイクロプロセッサ、デジタル信号プロセッサ(DSP:digital signal processors)、特定用途向け集積回路(ASIC:application specific integrated circuits)、ゲートレベル回路、およびマルチコアプロセッサアーキテクチャに基づくプロセッサのうちの1つまたは複数を含んでもよい。
【0165】
本発明の実施形態は、集積回路モジュールなどのさまざまなコンポーネントにおいて実践されてもよい。集積回路の設計は、概して、高度に自動化されたプロセスである。複雑で強力なソフトウェアツールが、論理レベル設計を、半導体基板にエッチングされて形成される準備ができた半導体回路設計に変換するために使用可能である。
【0166】
カリフォルニア州マウンテンビューのシノプシス社、およびカリフォルニア州サンノゼのケイデンス・デザイン・システムズ社によって提供されるプログラムなどのプログラムは、設計の確立されたルールおよび事前に格納された設計モジュールのライブラリを使用して、導体を自動的に配線し、コンポーネントを半導体チップに配置する。半導体回路の設計が完了した後に、標準化された電子形式(例えば、Opus、GDSIIなど)で得られた設計が、製造のために半導体製造施設または「ファブ」に送信されてもよい。
【0167】
前述の説明は、例示的な非限定的例として、本発明の実施形態例の完全で有益な説明を提供した。しかし、添付の図面および添付の特許請求の範囲と共に読まれたときに、前述の説明を考慮して、さまざまな変更および適応が当業者にとって明らかになってもよい。しかし、本発明の内容のそのような変更および類似する変更はすべて、添付の特許請求の範囲において定義されるような本発明の範囲に依然として含まれる。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
【手続補正書】
【提出日】2024-07-18
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
複数の仮想表面を含む仮想表面配置を有する3次元空間内に配置された複数のスピーカノードに関連付けられた空間音声信号のデコーディングおよびレンダリングのための装置であって、前記複数の仮想表面の各々が、少なくとも3つのスピーカノードに位置決めされたコーナを有し、前記仮想表面配置が、複数の仮想表面を含む仮想表面セットによって少なくとも部分的に定義され、前記複数の仮想表面の各々が、参照手段によってそれぞれ参照され、前記装置が、
前記仮想表面セットの仮想表面ごとに方位角を決定することと、
前記仮想表面セットの前記仮想表面を、前記決定された方位角に基づく順序に配置して、順序付けられた仮想表面セットを与えることと、
少なくとも2つの検索セクタを決定することであって、前記少なくとも2つの検索セクタの各々が、方位角の範囲を占める、決定することと、
前記順序付けられた仮想表面セットの仮想表面を、前記少なくとも2つの検索セクタの各々に関連付けることと、
少なくとも目標方位角を含む目標パンニング方向を取得することと、
前記目標方位角に基づいて前記少なくとも2つの検索セクタから検索セクタを決定することと、
前記決定された検索セクタの前記関連付けられた仮想表面から開始し、前記順序付けられた仮想表面セットを検索して、前記目標パンニング方向を取り囲む仮想表面を決定することとを実行するように構成される、装置。
【請求項2】
前記参照手段がインデックスである、請求項1に記載の装置。
【請求項3】
前記決定された検索セクタの前記関連付けられた仮想表面から開始し、前記順序付けられた仮想表面セットを検索して、前記目標パンニング方向を取り囲む仮想表面を決定するように構成された前記装置が、
前記決定された検索セクタの初期検索インデックスを決定することであって、前記初期検索インデックスが、前記決定された検索セクタの前記関連付けられた仮想表面のインデックスである、決定することと、
前記決定された検索セクタの前記関連付けられた仮想表面の前記少なくとも3つのスピーカノードのパンニング利得のセットを決定することと、
各パンニング利得が、前記決定されたセクタの前記関連付けられた仮想表面の前記少なくとも3つのスピーカノードの前記パンニング利得のセットの非負である場合に、前記関連付けられた仮想表面が前記目標パンニング方向を取り囲むということを決定することとを実行するようにさらに構成される、請求項2に記載の装置。
【請求項4】
前記決定された検索セクタの前記関連付けられた仮想表面の前記スピーカノードの前記パンニング利得のセットの少なくとも1つのパンニング利得が非負でない場合、前記装置が、
前記初期検索インデックスの片側にあるインデックスを使用して、前記順序付けられた仮想セットからさらなる仮想表面を選択することと、
前記さらなる仮想表面の前記少なくとも3つのスピーカノードのパンニング利得のセットを決定することと、
各パンニング利得が、前記さらなる仮想表面の前記少なくとも3つのスピーカノードの前記パンニング利得のセットの非負である場合に、前記さらなる仮想表面が前記目標パンニング方向を取り囲むということを決定することとを実行するようにさらに構成され、
前記さらなる仮想表面の前記少なくとも3つのスピーカノードの前記パンニング利得のセットの少なくとも1つのパンニング利得が非負でない場合、前記装置が、
前記初期検索インデックスの反対側にあるインデックスを使用して、前記順序付けられた仮想セットからいっそうさらなる仮想表面を選択することと、
前記いっそうさらなる仮想表面の前記少なくとも3つのスピーカノードのパンニング利得のセットを決定することと、
各パンニング利得が、前記いっそうさらなる仮想表面の前記少なくとも3つのスピーカノードの前記パンニング利得のセットの非負である場合に、前記いっそうさらなる仮想表面が前記目標パンニング方向を取り囲むということを決定することとを実行するようにさらに構成される、請求項3に記載の装置。
【請求項5】
前記複数の仮想表面の各々が、前記少なくとも3つのスピーカノードのうちの1つをそれぞれ指し示す少なくとも3つのベクトルによって定義され、前記仮想表面セットの仮想表面ごとに方位角を決定するように構成された前記装置が、
仮想表面ごとに、前記少なくとも3つのベクトルのベクトル和を決定することと、
仮想表面ごとに、x-y平面に投影された前記ベクトル和の角度として前記方位角を決定することとを実行するように構成される、請求項1~4に記載の装置。
【請求項6】
前記関連付けられた仮想表面の方位角が、前記決定された検索セクタの境界角度であり、前記決定された検索セクタの前記関連付けられた仮想表面から開始し、前記順序付けられた仮想表面セットを検索して、前記目標パンニング方向を取り囲む仮想表面を決定するように構成された前記装置が、
前記目標方位角が、前記関連付けられた仮想表面方位角の前記方位角未満であるかどうかを判定するように構成され、
前記目標方位角が前記関連付けられた仮想表面の前記方位角未満である場合、前記装置が、前記関連付けられた仮想表面が前記目標パンニング方向を取り囲むということを決定することと、前記決定された検索セクタの前記関連付けられた仮想表面の前記少なくとも3つのスピーカノードのパンニング利得のセットを決定することとを実行するようにさらに構成され、
前記目標方位角が前記関連付けられた仮想表面の前記方位角以上である場合、前記装置が、前記目標方位角が前記順序付けられた仮想表面セットのさらなる仮想表面の境界方位角未満である場合に、前記さらなる仮想表面が前記目標パンニング方向を取り囲むということを決定することと、前記さらなる仮想表面の前記少なくとも3つのスピーカノードのパンニング利得のセットを決定することとを実行するようにさらに構成される、請求項1に記載の装置。
【請求項7】
前記複数の仮想表面の各々が、前記少なくとも3つのスピーカノードのうちの1つをそれぞれ指し示す少なくとも3つのベクトルによって定義され、前記仮想表面セットの仮想表面ごとに方位角を決定するように構成された前記装置が、
仮想表面ごとに、前記少なくとも3つのベクトルのうちの第1のベクトルの第1の方位角を決定することと、
仮想表面ごとに、前記少なくとも3つのベクトルのうちの第2のベクトルの第2の方位角を決定することと、
仮想表面ごとに、前記第1の方位角および前記第2の方位角のうちの大きい方として前記方位角を選択することとを実行するように構成される、請求項1および6に記載の装置。
【請求項8】
前記装置が、
前記3次元空間内の水平面の仰角を取得することであって、前記複数のスピーカノードのうちのいくつかが、前記水平面上に位置する、取得することと、
最小仰角と前記水平面の前記仰角との間の仰角範囲を作成することとを実行するようにさらに構成される、請求項1~7に記載の装置。
【請求項9】
前記装置が、
前記水平面の前記仰角と最大仰角との間のさらなる仰角範囲を作成するようにさらに構成される、請求項8に記載の装置。
【請求項10】
前記装置が、
前記3次元空間内のさらなる水平面の仰角を取得することであって、前記複数のスピーカノードのうちのさらなるいくつかが、前記さらなる水平面上に位置する、取得することと、
前記水平面の前記仰角と前記さらなる水平面の前記仰角との間のさらなる仰角範囲を作成することとを実行するようにさらに構成される、請求項8に記載の装置。
【請求項11】
前記装置が、
前記さらなる水平面の前記仰角と最大仰角との間のいっそうさらなる仰角範囲を作成するようにさらに構成される、請求項10に記載の装置。
【請求項12】
前記装置が、
前記仮想表面セットに関連付けられた仰角を、前記仰角範囲、前記さらなる仰角範囲、およびいっそうさらなる仰角範囲のうちの1つにマッピングすることによって、前記仮想表面セットを、前記仰角範囲、前記さらなる仰角範囲、およびいっそうさらなる仰角範囲のうちの1つに割り当てるようにさらに構成される、請求項8~11に記載の装置。
【請求項13】
前記目標パンニング方向が目標仰角をさらに含み、前記装置が、
前記目標仰角が、前記仰角範囲、前記さらなる仰角範囲、およびいっそうさらなる仰角範囲のうちの1つの範囲内にあるということを決定し、決定された仰角範囲を与えるようにさらに構成される、請求項12に記載の装置。
【請求項14】
前記複数のスピーカノードうちの少なくとも3つのスピーカノードにコーナが位置決めされた前記複数の仮想表面が、前記3次元空間内で前記水平面と交差しないように構成されたコーナの対を接続する辺を有する、請求項8~13に記載の装置。
【請求項15】
少なくとも3つのスピーカノードにコーナが位置決めされた前記複数の仮想表面が、前記3次元空間内で前記さらなる水平面と交差しないように構成されたコーナの対を接続する辺を有する、請求項10~14に記載の装置。
【請求項16】
前記仮想表面セットの仮想表面の前記順序が、前記仮想表面の前記決定された方位角の増加順である、請求項1~15に記載の装置。
【請求項17】
仮想表面が、ラウドスピーカの三つ組のコーナをそれぞれ指し示す3つのベクトルを含む前記ラウドスピーカの三つ組である、請求項1~16に記載の装置。
【請求項18】
複数の仮想表面を含む仮想表面配置を有する3次元空間内に配置された複数のスピーカノードに関連付けられた空間音声信号のデコーディングおよびレンダリングのための方法であって、前記複数の仮想表面の各々が、少なくとも3つのスピーカノードに位置決めされたコーナを有し、前記仮想表面配置が、複数の仮想表面を含む仮想表面セットによって少なくとも部分的に定義され、前記複数の仮想表面の各々が、参照手段によってそれぞれ参照され、前記方法が、
前記仮想表面セットの仮想表面ごとに方位角を決定することと、
前記仮想表面セットの前記仮想表面を、前記決定された方位角に基づく順序に配置して、順序付けられた仮想表面セットを与えることと、
少なくとも2つの検索セクタを決定することであって、前記少なくとも2つの検索セクタの各々が、方位角の範囲を占める、決定することと、
前記順序付けられた仮想表面セットの仮想表面を、前記少なくとも2つの検索セクタの各々に関連付けることと、
少なくとも目標方位角を含む目標パンニング方向を取得することと、
前記目標方位角に基づいて前記少なくとも2つの検索セクタから検索セクタを決定することと、
前記決定された検索セクタの前記関連付けられた仮想表面から開始し、前記順序付けられた仮想表面セットを検索して、前記目標パンニング方向を取り囲む仮想表面を決定することとを含む、方法。
【請求項19】
前記参照手段がインデックスである、請求項18に記載の方法。
【請求項20】
前記決定された検索セクタの前記関連付けられた仮想表面から開始し、前記順序付けられた仮想表面セットを検索して、前記目標パンニング方向を取り囲む仮想表面を決定することが、
前記決定された検索セクタの初期検索インデックスを決定することであって、前記初期検索インデックスが、前記決定された検索セクタの前記関連付けられた仮想表面のインデックスである、決定することと、
前記決定された検索セクタの前記関連付けられた仮想表面の前記少なくとも3つのスピーカノードのパンニング利得のセットを決定することと、
各パンニング利得が、前記決定されたセクタの前記関連付けられた仮想表面の前記少なくとも3つのスピーカノードの前記パンニング利得のセットの非負である場合に、前記関連付けられた仮想表面が前記目標パンニング方向を取り囲むということを決定することとをさらに含む、請求項19に記載の方法。
【請求項21】
前記決定されたセクタの前記関連付けられた仮想表面の前記スピーカノードの前記パンニング利得のセットの少なくとも1つのパンニング利得が非負でない場合、前記方法が、
前記初期検索インデックスの片側にあるインデックスを使用して、前記順序付けられた仮想セットからさらなる仮想表面を選択することと、
前記さらなる仮想表面の前記少なくとも3つのスピーカノードのパンニング利得のセットを決定することと、
各パンニング利得が、前記さらなる仮想表面の前記少なくとも3つのスピーカノードの前記パンニング利得のセットの非負である場合に、前記さらなる仮想表面が前記目標パンニング方向を取り囲むということを決定することとをさらに含み、
前記さらなる仮想表面の前記少なくとも3つのスピーカノードの前記パンニング利得のセットの少なくとも1つのパンニング利得が非負でない場合、前記方法が、
前記初期検索インデックスの反対側にあるインデックスを使用して、前記順序付けられた仮想セットからいっそうさらなる仮想表面を選択することと、
前記いっそうさらなる仮想表面の前記少なくとも3つのスピーカノードのパンニング利得のセットを決定することと、
各パンニング利得が、前記いっそうさらなる仮想表面の前記少なくとも3つのスピーカノードの前記パンニング利得のセットの非負である場合に、前記いっそうさらなる仮想表面が前記目標パンニング方向を取り囲むということを決定することとをさらに含む、請求項20に記載の方法。
【請求項22】
前記複数の仮想表面の各々が、前記少なくとも3つのスピーカノードのうちの1つをそれぞれ指し示す少なくとも3つのベクトルによって定義され、前記仮想表面セットの仮想表面ごとに方位角を前記決定することが、
仮想表面ごとに、前記少なくとも3つのベクトルのベクトル和を決定することと、
仮想表面ごとに、x-y平面に投影された前記ベクトル和の角度として前記方位角を決定することとをさらに含む、請求項18~21に記載の方法。
【請求項23】
前記関連付けられた仮想表面の方位角が、前記決定された検索セクタの境界角度であり、前記決定された検索セクタの前記関連付けられた仮想表面から開始し、前記順序付けられた仮想表面セットを検索して、前記目標パンニング方向を取り囲む仮想表面を決定することが、
前記目標方位角が、前記関連付けられた仮想表面方位角の前記方位角未満であるかどうかを判定することをさらに含み、
前記目標方位角が前記関連付けられた仮想表面の前記方位角未満である場合、前記方法が、前記関連付けられた仮想表面が前記目標パンニング方向を取り囲むということを決定することと、前記決定された検索セクタの前記関連付けられた仮想表面の前記少なくとも3つのスピーカノードのパンニング利得のセットを決定することとをさらに含み、
前記目標方位角が前記関連付けられた仮想表面の前記方位角以上である場合、前記方法が、前記目標方位角が前記順序付けられた仮想表面セットのさらなる仮想表面の境界方位角未満である場合に、前記さらなる仮想表面が前記目標パンニング方向を取り囲むということを決定することと、前記さらなる仮想表面の前記少なくとも3つのスピーカノードのパンニング利得のセットを決定することとをさらに含む、請求項18に記載の方法。
【請求項24】
前記複数の仮想表面の各々が、前記少なくとも3つのスピーカノードのうちの1つをそれぞれ指し示す少なくとも3つのベクトルによって定義され、前記仮想表面セットの仮想表面ごとに方位角を前記決定することが、
仮想表面ごとに、前記少なくとも3つのベクトルのうちの第1のベクトルの第1の方位角を決定することと、
仮想表面ごとに、前記少なくとも3つのベクトルのうちの第2のベクトルの第2の方位角を決定することと、
仮想表面ごとに、前記第1の方位角および前記第2の方位角のうちの大きい方として前記方位角を選択することとを含む、請求項18および23に記載の方法。
【請求項25】
前記方法が、
前記3次元空間内の水平面の仰角を取得することであって、前記複数のスピーカノードのうちのいくつかが、前記水平面上に位置する、取得することと、
最小仰角と前記水平面の前記仰角との間の仰角範囲を作成することとをさらに含む、請求項18~24に記載の方法。
【請求項26】
前記方法が、
前記水平面の前記仰角と最大仰角との間のさらなる仰角範囲を作成することをさらに含む、請求項25に記載の方法。
【請求項27】
前記方法が、
前記3次元空間内のさらなる水平面の仰角を取得することであって、前記複数のスピーカノードのうちのさらなるいくつかが、前記さらなる水平面上に位置する、取得することと、
前記水平面の前記仰角と前記さらなる水平面の前記仰角との間のさらなる仰角範囲を作成することとをさらに含む、請求項25に記載の方法。
【請求項28】
前記方法が、
前記さらなる水平面の前記仰角と最大仰角との間のいっそうさらなる仰角範囲を作成することをさらに含む、請求項27に記載の方法。
【請求項29】
前記方法が、
前記仮想表面セットに関連付けられた仰角を、前記仰角範囲、前記さらなる仰角範囲、およびいっそうさらなる仰角範囲のうちの1つにマッピングすることによって、前記仮想表面セットを、前記仰角範囲、前記さらなる仰角範囲、およびいっそうさらなる仰角範囲のうちの1つに割り当てることをさらに含む、請求項25~28に記載の方法。
【請求項30】
前記目標パンニング方向が目標仰角をさらに含み、前記方法が、
前記目標仰角が、前記仰角範囲、前記さらなる仰角範囲、およびいっそうさらなる仰角範囲のうちの1つの範囲内にあるということを決定し、決定された仰角範囲を与えることをさらに含む、請求項29に記載の方法。
【請求項31】
前記複数のスピーカノードうちの少なくとも3つのスピーカノードにコーナが位置決めされた前記複数の仮想表面が、前記3次元空間内で前記水平面と交差しないように構成されたコーナの対を接続する辺を有する、請求項25~30に記載の方法。
【請求項32】
少なくとも3つのスピーカノードにコーナが位置決めされた前記複数の仮想表面が、前記3次元空間内で前記さらなる水平面と交差しないように構成されたコーナの対を接続する辺を有する、請求項25~31に記載の方法。
【請求項33】
前記仮想表面セットの仮想表面の前記順序が、前記仮想表面の前記決定された方位角の増加順である、請求項18~32に記載の方法。
【請求項34】
仮想表面が、ラウドスピーカの三つ組のコーナをそれぞれ指し示す3つのベクトルを含む前記ラウドスピーカの三つ組である、請求項18~33に記載の方法。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0010
【補正方法】変更
【補正の内容】
【0010】
決定された検索セクタの関連付けられた仮想表面のスピーカノードのパンニング利得のセットの少なくとも1つのパンニング利得が非負でない場合、装置は、初期検索インデックスの片側にあるインデックスを使用して、順序付けられた仮想セットからさらなる仮想表面を選択することと、さらなる仮想表面の少なくとも3つのスピーカノードのパンニング利得のセットを決定することと、各パンニング利得が、さらなる仮想表面の少なくとも3つのスピーカノードのパンニング利得のセットの非負である場合に、さらなる仮想表面が目標パンニング方向を取り囲むということを決定することとを実行するようにさらに構成されてもよく、さらなる仮想表面の少なくとも3つのスピーカノードのパンニング利得のセットの少なくとも1つのパンニング利得が非負でない場合、装置は、初期検索インデックスの反対側にあるインデックスを使用して、順序付けられた仮想セットからいっそうさらなる仮想表面を選択することと、いっそうさらなる仮想表面の少なくとも3つのスピーカノードのパンニング利得のセットを決定することと、各パンニング利得が、いっそうさらなる仮想表面の少なくとも3つのスピーカノードのパンニング利得のセットの非負である場合に、いっそうさらなる仮想表面が目標パンニング方向を取り囲むということを決定することとを実行するようにさらに構成されてもよい。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】0028
【補正方法】変更
【補正の内容】
【0028】
決定されたセクタの関連付けられた仮想表面のスピーカノードのパンニング利得のセットの少なくとも1つのパンニング利得が非負でない場合、この方法は、初期検索インデックスの片側にあるインデックスを使用して、順序付けられた仮想セットからさらなる仮想表面を選択することと、さらなる仮想表面の少なくとも3つのスピーカノードのパンニング利得のセットを決定することと、各パンニング利得が、さらなる仮想表面の少なくとも3つのスピーカノードのパンニング利得のセットの非負である場合に、さらなる仮想表面が目標パンニング方向を取り囲むということを決定することとをさらに含んでもよく、さらなる仮想表面の少なくとも3つのスピーカノードのパンニング利得のセットの少なくとも1つのパンニング利得が非負でない場合、この方法は、初期検索インデックスの反対側にあるインデックスを使用して、順序付けられた仮想セットからいっそうさらなる仮想表面を選択することと、いっそうさらなる仮想表面の少なくとも3つのスピーカノードのパンニング利得のセットを決定することと、各パンニング利得が、いっそうさらなる仮想表面の少なくとも3つのスピーカノードのパンニング利得のセットの非負である場合に、いっそうさらなる仮想表面が目標パンニング方向を取り囲むということを決定することとをさらに含んでもよい。
【国際調査報告】