特表2024-512953 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ ノキア　テクノロジーズ　オサケユイチアの特許一覧

特表2024-512953空間音声ストリームの結合

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-03-21

(54)【発明の名称】空間音声ストリームの結合

(51)【国際特許分類】

G10L 19/008 20130101AFI20240313BHJP

【ＦＩ】

G10L19/008 200

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023558512

(86)(22)【出願日】2021-03-22

(85)【翻訳文提出日】2023-09-22

(86)【国際出願番号】 FI2021050199

(87)【国際公開番号】W WO2022200666

(87)【国際公開日】2022-09-29

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．３ＧＰＰ

２．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】515076873

【氏名又は名称】ノキアテクノロジーズオサケユイチア

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中伸一郎

(74)【代理人】

【識別番号】100103610

【弁理士】

【氏名又は名称】▲吉▼田和彦

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚文昭

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤直樹

(74)【代理人】

【識別番号】100176418

【弁理士】

【氏名又は名称】工藤嘉晃

(72)【発明者】

【氏名】ライティネンミッコ－ヴィッレ

(72)【発明者】

【氏名】ヴァシラケアドリアナ

(72)【発明者】

【氏名】ピヒラヤクヤタパニ

(72)【発明者】

【氏名】ラークソネンラッセユハニ

(72)【発明者】

【氏名】ラーモアンシサカリ

(57)【要約】

とりわけ、空間音声符号化のための装置であって、入力音声信号と追加の入力音声信号との間の音声シーン分離メトリックを決定し、音声シーン分離メトリックを使用して、入力音声信号の少なくとも１つの空間音声パラメータを量子化するように構成された装置が開示されている。
【選択図】図１

【特許請求の範囲】

【請求項1】

空間音声信号符号化のための方法であって、
入力音声信号と追加の入力音声信号との間の音声シーン分離メトリックを決定すること、および
前記音声シーン分離メトリックを使用して、前記入力音声信号の少なくとも１つの空間音声パラメータを量子化すること
を含む方法。

【請求項2】

前記音声シーン分離メトリックを使用して、前記追加の入力音声信号の少なくとも１つの空間音声パラメータを量子化すること
をさらに含む、請求項１に記載の方法。

【請求項3】

前記音声シーン分離メトリックを使用して、前記入力音声信号の前記少なくとも１つの空間音声パラメータを量子化することが、
前記音声シーン分離メトリックに、前記入力音声信号の時間周波数タイルに対して計算されたエネルギー比パラメータを乗じること、
前記音声シーン分離メトリックと前記エネルギー比パラメータとの積を量子化して、量子化インデックスを生成すること、および
前記量子化インデックスを使用して、前記入力音声信号の前記少なくとも１つの空間音声パラメータを量子化するためのビット割当てを選択すること
を含む、請求項１および２に記載の方法。

【請求項4】

前記音声シーン分離メトリックを使用して、前記入力音声信号の前記少なくとも１つの空間音声パラメータを量子化することが、
前記入力音声信号の時間周波数タイルに対して計算されたエネルギー比パラメータを量子化するための量子化器を複数の量子化器の中から選択することであり、前記選択が、前記音声シーン分離メトリックに依存する、選択すること、
選択された前記量子化器を使用して前記エネルギー比パラメータを量子化して、量子化インデックスを生成すること、および
前記量子化インデックスを使用して、前記エネルギー比パラメータを、前記入力信号の前記少なくとも１つの空間音声パラメータとともに量子化するためのビット割当てを選択すること
を含む、請求項１および２に記載の方法。

【請求項5】

前記少なくとも１つの空間音声パラメータが、前記入力音声信号の前記時間周波数タイルに対する方向パラメータであり、前記エネルギー比パラメータが方向対全体エネルギー比である、請求項３および４に記載の方法。

【請求項6】

前記音声シーン分離メトリックを使用して、前記追加の入力音声信号の前記少なくとも１つの空間音声パラメータを量子化することが、
前記少なくとも１つの空間音声パラメータを量子化するための量子化器を複数の量子化器の中から選択することであり、選択される前記量子化器が、前記音声シーン分離メトリックに依存する、選択すること、および
選択された前記量子化器を用いて前記少なくとも１つの空間音声パラメータを量子化すること
を含む、請求項２～５に記載の方法。

【請求項7】

前記追加の入力音声信号の前記少なくとも１つの空間音声パラメータが、前記追加の入力音声信号の第１の音声オブジェクト信号の時間周波数タイルに対する音声オブジェクトエネルギー比パラメータである、請求項６に記載の方法。

【請求項8】

前記追加の入力音声信号の前記第１の音声オブジェクト信号の前記時間周波数タイルに対する前記音声オブジェクトエネルギー比パラメータが、
前記追加の入力音声信号の前記時間周波数タイルに対する複数の音声オブジェクト信号のうちの前記第１の音声オブジェクト信号のエネルギーを決定すること、
前記複数の音声オブジェクト信号のうちの残りのそれぞれの音声オブジェクト信号のエネルギーを決定すること、および
前記第１の音声オブジェクト信号と残りの音声オブジェクト信号の前記エネルギーの和に対する前記第１の音声オブジェクト信号の前記エネルギーの比を決定すること
によって決定される、請求項７に記載の方法。

【請求項9】

前記音声シーン分離メトリックが、前記入力音声信号の時間周波数タイルと前記追加の入力音声信号の時間周波数タイルとの間で決定され、前記音声シーン分離メトリックを使用して、前記追加の入力音声信号の少なくとも１つの空間音声パラメータの前記量子化を決定することが、
前記入力音声信号の追加の時間周波数タイルと前記追加の入力音声信号の追加の時間周波数タイルとの間の追加の音声シーン分離メトリックを決定すること、
前記音声シーン分離メトリックおよび前記追加の音声シーン分離メトリックを表現するためのファクタを決定すること、
前記ファクタに応じて複数の量子化器の中から量子化器を選択すること、および
選択された前記量子化器を使用して、前記追加の入力音声信号の少なくとも１つの追加の空間音声パラメータを量子化すること
を含む、請求項２～８に記載の方法。

【請求項10】

前記少なくとも１つの追加の空間音声パラメータが、前記追加の入力音声信号の音声フレームに対する音声オブジェクト方向パラメータである、請求項９に記載の方法。

【請求項11】

前記音声シーン分離メトリックおよび前記追加の音声シーン分離メトリックを表現するための前記ファクタが、
前記音声シーン分離メトリックと前記追加の音声シーン分離メトリックの平均、または
前記音声シーン分離メトリックと前記追加の音声シーン分離メトリックの最小
のうちの一方である、請求項９および１０に記載の方法。

【請求項12】

ストリーム分離インデックスが、前記入力音声信号および前記追加の入力音声信号を含む音声シーンに対する、前記入力音声信号と前記追加の入力音声信号のうちのそれぞれの信号の相対寄与の測度を提供する、請求項１～１１に記載の方法。

【請求項13】

前記音声シーン分離メトリックを決定することが、
前記入力音声信号を複数の時間周波数タイルに変換すること、
前記追加の入力音声信号を複数の追加の時間周波数タイルに変換すること、
少なくとも１つの時間周波数タイルのエネルギー値を決定すること、
少なくとも１つの追加の時間周波数タイルのエネルギー値を決定すること、および
前記音声シーン分離メトリックを、前記少なくとも１つの時間周波数タイルと前記少なくとも１つの追加の時間周波数タイルの和に対する前記少なくとも１つの時間周波数タイルの前記エネルギー値の比として決定すること
を含む、請求項１～１２に記載の方法。

【請求項14】

前記入力音声信号が２つ以上の音声チャネル信号を含み、前記追加の入力音声信号が複数の音声オブジェクト信号を含む、請求項１～１３に記載の方法。

【請求項15】

空間音声信号復号のための方法であって、
量子化された音声シーン分離メトリックを復号すること、および
前記量子化された音声シーン分離メトリックを使用して、第１の音声信号に関連した量子化された少なくとも１つの空間音声パラメータを決定すること
を含む方法。

【請求項16】

前記量子化された音声シーン分離メトリックを使用して、第２の音声信号に関連した量子化された少なくとも１つの空間音声パラメータを決定すること
をさらに含む、請求項１５に記載の方法。

【請求項17】

前記量子化された音声シーン分離メトリックを使用して、前記第１の音声信号に関連した前記量子化された少なくとも１つの空間音声パラメータを決定することが、
前記第１の音声信号の時間周波数タイルに対して計算されたエネルギー比パラメータを量子化するのに使用する量子化器を複数の量子化器の中から選択することであり、前記選択が、復号された前記量子化された音声シーン分離メトリックに依存する、選択すること、
量子化された前記エネルギー比パラメータを、選択された前記量子化器から決定すること、および
量子化された前記エネルギー比パラメータの量子化インデックスを使用して、前記第１の音声信号の前記少なくとも１つの空間音声パラメータを復号すること、
を含む、請求項１５および１６に記載の方法。

【請求項18】

前記少なくとも１つの空間音声パラメータが、前記第１の音声信号の前記時間周波数タイルに対する方向パラメータであり、前記エネルギー比パラメータが方向対全体エネルギー比である、請求項１７に記載の方法。

【請求項19】

前記量子化された音声シーン分離メトリックを使用して、前記第２の音声信号を表現する前記量子化された少なくとも１つの空間音声パラメータを決定することが、
前記第２の音声信号に対する前記少なくとも１つの空間音声パラメータを量子化するのに使用する量子化器を複数の量子化器の中から選択することであり、前記選択が、復号された前記量子化された音声シーン分離メトリックに依存する、選択すること、および
前記第２の音声信号に対する前記量子化された少なくとも１つの空間音声パラメータを、前記第２の音声信号に対する前記少なくとも１つの空間音声パラメータを量子化するのに使用する選択された前記量子化器から決定すること
を含む、請求項１６～１８に記載の方法。

【請求項20】

前記第２の入力音声信号の前記少なくとも１つの空間音声パラメータが、前記第２の入力音声信号の第１の音声オブジェクト信号の時間周波数タイルに対する音声オブジェクトエネルギー比パラメータである、請求項１９に記載の方法。

【請求項21】

ストリーム分離インデックスが、前記第１の音声信号および前記第２の音声信号を含む音声シーンに対する、前記第１の音声信号と前記第２の音声信号のうちのそれぞれの信号の相対寄与の測度を提供する、請求項１５～２０に記載の方法。

【請求項22】

前記第１の音声信号が２つ以上の音声チャネル信号を含み、前記第２の入力音声信号が複数の音声オブジェクト信号を含む、請求項１５～２１に記載の方法。

【請求項23】

空間音声信号符号化のための装置であって、
入力音声信号と追加の入力音声信号との間の音声シーン分離メトリックを決定する手段と、
前記音声シーン分離メトリックを使用して、前記入力音声信号の少なくとも１つの空間音声パラメータを量子化する手段と
を備える装置。

【請求項24】

前記音声シーン分離メトリックを使用して、前記追加の入力音声信号の少なくとも１つの空間音声パラメータを量子化する手段
をさらに備える、請求項２３に記載の装置。

【請求項25】

前記音声シーン分離メトリックを使用して、前記入力音声信号の前記少なくとも１つの空間音声パラメータを量子化する前記手段が、
前記音声シーン分離メトリックに、前記入力音声信号の時間周波数タイルに対して計算されたエネルギー比パラメータを乗じる手段と、
前記音声シーン分離メトリックと前記エネルギー比パラメータとの積を量子化して、量子化インデックスを生成する手段と、
前記量子化インデックスを使用して、前記入力音声信号の前記少なくとも１つの空間音声パラメータを量子化するためのビット割当てを選択する手段と
を備える、請求項２３および２４に記載の装置。

【請求項26】

前記音声シーン分離メトリックを使用して、前記入力音声信号の前記少なくとも１つの空間音声パラメータを量子化する前記手段が、
前記入力音声信号の時間周波数タイルに対して計算されたエネルギー比パラメータを量子化するための量子化器を複数の量子化器の中から選択する手段であり、前記選択が、前記音声シーン分離メトリックに依存する、手段と、
選択された前記量子化器を使用して前記エネルギー比パラメータを量子化して、量子化インデックスを生成する手段と、
前記量子化インデックスを使用して、前記エネルギー比パラメータを、前記入力信号の前記少なくとも１つの空間音声パラメータとともに量子化するためのビット割当てを選択する手段と
を備える、請求項２３および２４に記載の装置。

【請求項27】

前記少なくとも１つの空間音声パラメータが、前記入力音声信号の前記時間周波数タイルに対する方向パラメータであり、前記エネルギー比パラメータが方向対全体エネルギー比である、請求項２５および２６に記載の装置。

【請求項28】

前記音声シーン分離メトリックを使用して、前記追加の入力音声信号の前記少なくとも１つの空間音声パラメータを量子化する前記手段が、
前記少なくとも１つの空間音声パラメータを量子化するための量子化器を複数の量子化器の中から選択する手段であり、選択される前記量子化器が、前記音声シーン分離メトリックに依存する、手段と、
選択された前記量子化器を用いて前記少なくとも１つの空間音声パラメータを量子化する手段と
を備える、請求項２４～２７に記載の装置。

【請求項29】

前記追加の入力音声信号の前記少なくとも１つの空間音声パラメータが、前記追加の入力音声信号の第１の音声オブジェクト信号の時間周波数タイルに対する音声オブジェクトエネルギー比パラメータである、請求項２８に記載の装置。

【請求項30】

前記追加の入力音声信号の前記第１の音声オブジェクト信号の前記時間周波数タイルに対する前記音声オブジェクトエネルギー比パラメータが、
前記追加の入力音声信号の前記時間周波数タイルに対する複数の音声オブジェクト信号のうちの前記第１の音声オブジェクト信号のエネルギーを決定する手段と、
前記複数の音声オブジェクト信号のうちの残りのそれぞれの音声オブジェクト信号のエネルギーを決定する手段と、
前記第１の音声オブジェクト信号と残りの音声オブジェクト信号の前記エネルギーの和に対する前記第１の音声オブジェクト信号の前記エネルギーの比を決定する手段と
によって決定される、請求項２９に記載の装置。

【請求項31】

前記音声シーン分離メトリックが、前記入力音声信号の時間周波数タイルと前記追加の入力音声信号の時間周波数タイルとの間で決定され、前記音声シーン分離メトリックを使用して、前記追加の入力音声信号の少なくとも１つの空間音声パラメータの前記量子化を決定する前記手段が、
前記入力音声信号の追加の時間周波数タイルと前記追加の入力音声信号の追加の時間周波数タイルとの間の追加の音声シーン分離メトリックを決定する手段と、
前記音声シーン分離メトリックおよび前記追加の音声シーン分離メトリックを表現するためのファクタを決定する手段と、
前記ファクタに応じて複数の量子化器の中から量子化器を選択する手段と、
選択された前記量子化器を使用して、前記追加の入力音声信号の少なくとも１つの追加の空間音声パラメータを量子化する手段と
を備える、請求項２４～３０に記載の装置。

【請求項32】

前記少なくとも１つの追加の空間音声パラメータが、前記追加の入力音声信号の音声フレームに対する音声オブジェクト方向パラメータである、請求項３１に記載の装置。

【請求項33】

前記音声シーン分離メトリックおよび前記追加の音声シーン分離メトリックを表現するための前記ファクタが、
前記音声シーン分離メトリックと前記追加の音声シーン分離メトリックの平均、または
前記音声シーン分離メトリックと前記追加の音声シーン分離メトリックの最小
のうちの一方である、請求項３１および３２に記載の装置。

【請求項34】

ストリーム分離インデックスが、前記入力音声信号および前記追加の入力音声信号を含む音声シーンに対する、前記入力音声信号と前記追加の入力音声信号のうちのそれぞれの信号の相対寄与の測度を提供する、請求項２３～３３に記載の装置。

【請求項35】

前記音声シーン分離メトリックを決定することが、
前記入力音声信号を複数の時間周波数タイルに変換する手段と、
前記追加の入力音声信号を複数の追加の時間周波数タイルに変換する手段と、
少なくとも１つの時間周波数タイルのエネルギー値を決定する手段と、
少なくとも１つの追加の時間周波数タイルのエネルギー値を決定する手段と、
前記音声シーン分離メトリックを、前記少なくとも１つの時間周波数タイルと前記少なくとも１つの追加の時間周波数タイルの和に対する前記少なくとも１つの時間周波数タイルの前記エネルギー値の比として決定すること
を備える、請求項２３～３４に記載の装置。

【請求項36】

前記入力音声信号が２つ以上の音声チャネル信号を含み、前記追加の入力音声信号が複数の音声オブジェクト信号を含む、請求項２３～３５に記載の装置。

【請求項37】

空間音声信号復号のための装置であって、
量子化された音声シーン分離メトリックを復号する手段と、
前記量子化された音声シーン分離メトリックを使用して、第１の音声信号に関連した量子化された少なくとも１つの空間音声パラメータを決定する手段と
を備える装置。

【請求項38】

前記量子化された音声シーン分離メトリックを使用して、第２の音声信号に関連した量子化された少なくとも１つの空間音声パラメータを決定する手段
をさらに備える、請求項３７に記載の装置。

【請求項39】

前記量子化された音声シーン分離メトリックを使用して、前記第１の音声信号に関連した前記量子化された少なくとも１つの空間音声パラメータを決定することが、
前記第１の音声信号の時間周波数タイルに対して計算されたエネルギー比パラメータを量子化するのに使用する量子化器を複数の量子化器の中から選択する手段であり、前記選択が、復号された前記量子化された音声シーン分離メトリックに依存する、手段と、
量子化された前記エネルギー比パラメータを、選択された前記量子化器から決定する手段と、
量子化された前記エネルギー比パラメータの量子化インデックスを使用して、前記第１の音声信号の前記少なくとも１つの空間音声パラメータを復号する手段と
を備える、請求項３７および３８に記載の装置。

【請求項40】

前記少なくとも１つの空間音声パラメータが、前記第１の音声信号の前記時間周波数タイルに対する方向パラメータであり、前記エネルギー比パラメータが方向対全体エネルギー比である、請求項３９に記載の装置。

【請求項41】

前記量子化された音声シーン分離メトリックを使用して、前記第２の音声信号を表現する前記量子化された少なくとも１つの空間音声パラメータを決定する前記手段が、
前記第２の音声信号に対する前記少なくとも１つの空間音声パラメータを量子化するのに使用する量子化器を複数の量子化器の中から選択する手段であり、前記選択が、復号された前記量子化された音声シーン分離メトリックに依存する、手段と、
前記第２の音声信号に対する前記量子化された少なくとも１つの空間音声パラメータを、前記第２の音声信号に対する前記少なくとも１つの空間音声パラメータを量子化するのに使用する選択された前記量子化器から決定する手段と
を備える、請求項３８～４０に記載の装置。

【請求項42】

前記第２の入力音声信号の前記少なくとも１つの空間音声パラメータが、前記第２の入力音声信号の第１の音声オブジェクト信号の時間周波数タイルに対する音声オブジェクトエネルギー比パラメータである、請求項４１に記載の装置。

【請求項43】

ストリーム分離インデックスが、前記第１の音声信号および前記第２の音声信号を含む音声シーンに対する、前記第１の音声信号と前記第２の音声信号のうちのそれぞれの信号の相対寄与の測度を提供する、請求項３７～４２に記載の装置。

【請求項44】

前記第１の音声信号が２つ以上の音声チャネル信号を含み、前記第２の入力音声信号が複数の音声オブジェクト信号を含む、請求項３７～４４に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、音場に関係したパラメータ符号化のための装置および方法に関し、限定はされないが、音声符号器および復号器用の方向に関係したパラメータの時間－周波数ドメイン符号化のための装置および方法に関する。

【背景技術】

【0002】

パラメータ空間音声処理は、音の空間的な態様が一組のパラメータを使用して記述される音声信号処理の一分野である。例えば、マイクロホンアレイからのパラメータ空間音声捕捉において、周波数バンドにおける音の方向、および周波数バンドにおける捕捉音の指向性部分と無指向性部分との比などの一組のパラメータをマイクロホンアレイ信号から推定することは、典型的で有効な選択肢である。これらのパラメータは、マイクロホンアレイの位置における捕捉音の知覚的な空間特性を適切に記述することが知られている。したがって、これらのパラメータを、空間音の合成に利用することができ、ヘッドホンに対してバイノーラルで利用すること、ラウドスピーカ（ｌｏｕｄｓｐｅａｋｅｒ）に対して利用すること、またはアンビソニックス（Ａｍｂｉｓｏｎｉｃｓ）などの他のフォーマットに対して利用することができる。

【0003】

したがって、周波数バンドにおける方向および方向対全体エネルギー比（ｄｉｒｅｃｔ－ｔｏ－ｔｏｔａｌｅｎｅｒｇｙｒａｔｉｏ）（またはエネルギー比パラメータ）は、空間音声捕捉に対して特に有効なパラメータ化である。

【0004】

（音の指向性を示す）周波数バンドにおける方向パラメータおよび周波数バンドにおけるエネルギー比パラメータからなるパラメータセットを、音声コーデックのための空間メタデータとして利用することもできる（これは、サラウンドコヒーレンス（ｓｕｒｒｏｕｎｄｃｏｈｅｒｅｎｃｅ）、スプレッド（ｓｐｒｅａｄ）コヒーレンス、方向の数、距離などの他のパラメータを含むこともある）。例えば、マイクロホンアレイによって捕捉した音声信号からこれらのパラメータを推定することができ、例えば、マイクロホンアレイ信号から、空間メタデータとともに伝達されるステレオまたはモノ信号を生成することができる。ステレオ信号は、例えばＡＡＣ符号器を用いて符号化することができ、モノ信号は、ＥＶＳ符号器を用いて符号化することができる。復号器は、音声信号をＰＣＭ信号に復号することができ、周波数バンドにおける音を（空間メタデータを使用して）処理して、空間出力、例えばバイノーラル出力を取得することができる。

【0005】

上述の解決策は、マイクロホンアレイ（例えば携帯電話のマイクロホンアレイ、ＶＲカメラのマイクロホンアレイ、独立型マイクロホンアレイ）からの捕捉空間音を符号化するのに特に適している。しかしながら、そのような符号器が、マイクロホンアレイによって捕捉した信号以外の他の入力タイプ、例えばラウドスピーカ信号、音声オブジェクト（ａｕｄｉｏｏｂｊｅｃｔ）信号またはアンビソニック信号も有することが望ましいことがある。

【0006】

空間メタデータ抽出のために１次アンビソニックス（ｆｉｒｓｔ－ｏｒｄｅｒＡｍｂｉｓｏｎｉｃｓ）（ＦＯＡ）入力を分析することは、ディレクショナルオーディオコーディング（ＤｉｒｅｃｔｉｏｎａｌＡｕｄｉｏＣｏｄｉｎｇ）（ＤｉｒＡＣ）およびハーモニックプレーンウェイブエクスパンション（Ｈａｒｍｏｎｉｃｐｌａｎｅｗａｖｅｅｘｐａｎｓｉｏｎ）（Ｈａｒｐｅｘ）に関する科学文献において詳細に検討されている。これは、ＦＯＡ信号（より正確にはその異型であるＢフォーマット信号）を直接に提供するマイクロホンアレイが存在し、したがって、このような入力を分析することがこの分野における研究の要点であったためである。その上、多方向空間メタデータ抽出のための高次アンビソニックス（ｈｉｇｈｅｒ－ｏｒｄｅｒＡｍｂｉｓｏｎｉｃｓ）（ＨＯＡ）入力の分析も、高次ディレクショナルオーディオコーディング（ｈｉｇｈｅｒ－ｏｒｄｅｒｄｉｒｅｃｔｉｏｎａｌａｕｄｉｏｃｏｄｉｎｇ）（ＨＯ－ＤｉｒＡＣ）に関する科学文献において検討されている。

【0007】

さらに、符号器に対する追加の入力は、５．１または７．１チャネルサラウンド入力および音声オブジェクトなどのマルチチャネルラウドスピーカ入力である。

【0008】

上記のプロセスは、時間－周波数ドメインにおけるマルチチャネル分析を通して、方位および高度などの方向パラメータならびにエネルギー比を、空間メタデータとして取得することを含むことがある。他方、個々の音声オブジェクトに対する方向メタデータは別個の処理鎖で処理されることがある。しかしながら、これらの２つのタイプのメタデータの処理における可能な相乗効果は、これらのメタデータが別々に処理される場合、効率的には利用されない。

【発明の概要】

【0009】

第１の態様によれば、空間音声符号化のための方法であって、入力音声信号と追加の入力音声信号との間の音声シーン分離メトリックを決定すること、および音声シーン分離メトリックを使用して、入力音声信号の少なくとも１つの空間音声パラメータを量子化することを含む方法が提供される。

【0010】

この方法はさらに、音声シーン分離メトリックを使用して、追加の入力音声信号の少なくとも１つの空間音声パラメータを量子化することを含むことができる。

【0011】

音声シーン分離メトリックを使用して、入力音声信号の少なくとも１つの空間音声パラメータを量子化することは、音声シーン分離メトリックに、入力音声信号の時間周波数タイルに対して計算されたエネルギー比パラメータを乗じること、音声シーン分離メトリックとエネルギー比パラメータとの積を量子化して、量子化インデックスを生成すること、および量子化インデックスを使用して、入力音声信号の少なくとも１つの空間音声パラメータを量子化するためのビット割当てを選択することを含むことができる。

【0012】

あるいは、音声シーン分離メトリックを使用して、入力音声信号の少なくとも１つの空間音声パラメータを量子化することは、入力音声信号の時間周波数タイルに対して計算されたエネルギー比パラメータを量子化するための量子化器を複数の量子化器の中から選択することであり、この選択が、音声シーン分離メトリックに依存する、選択すること、選択された量子化器を使用してエネルギー比パラメータを量子化して、量子化インデックスを生成すること、および量子化インデックスを使用して、エネルギー比パラメータを、入力信号の少なくとも１つの空間音声パラメータとともに量子化するためのビット割当てを選択することを含むことができる。

【0013】

少なくとも１つの空間音声パラメータは、入力音声信号の時間周波数タイルに対する方向パラメータであってもよく、エネルギー比パラメータは方向対全体エネルギー比であってもよい。

【0014】

音声シーン分離メトリックを使用して、追加の入力音声信号の少なくとも１つの空間音声パラメータを量子化することは、少なくとも１つの空間音声パラメータを量子化するための量子化器を複数の量子化器の中から選択することであり、選択される量子化器が、音声シーン分離メトリックに依存する、選択すること、および選択された量子化器を用いて少なくとも１つの空間音声パラメータを量子化することを含むことができる。

【0015】

追加の入力音声信号の少なくとも１つの空間音声パラメータは、追加の入力音声信号の第１の音声オブジェクト信号の時間周波数タイルに対する音声オブジェクトエネルギー比パラメータであってもよい。

【0016】

追加の入力音声信号の第１の音声オブジェクト信号の時間周波数タイルに対する音声オブジェクトエネルギー比パラメータは、追加の入力音声信号の時間周波数タイルに対する複数の音声オブジェクト信号のうちの第１の音声オブジェクト信号のエネルギーを決定すること、複数の音声オブジェクト信号のうちの残りのそれぞれの音声オブジェクト信号のエネルギーを決定すること、および第１の音声オブジェクト信号と残りの音声オブジェクト信号のエネルギーの和に対する第１の音声オブジェクト信号のエネルギーの比を決定することによって決定することができる。

【0017】

音声シーン分離メトリックは、入力音声信号の時間周波数タイルと追加の入力音声信号の時間周波数タイルとの間で決定することができ、音声シーン分離メトリックを使用して、追加の入力音声信号の少なくとも１つの空間音声パラメータの量子化を決定することは、入力音声信号の追加の時間周波数タイルと追加の入力音声信号の追加の時間周波数タイルとの間の追加の音声シーン分離メトリックを決定すること、音声シーン分離メトリックおよび追加の音声シーン分離メトリックを表現するためのファクタを決定すること、ファクタに応じて複数の量子化器の中から量子化器を選択すること、および選択された量子化器を使用して、追加の入力音声信号の少なくとも１つの追加の空間音声パラメータを量子化することを含むことができる。

【0018】

少なくとも１つの追加の空間音声パラメータは、追加の入力音声信号の音声フレームに対する音声オブジェクト方向パラメータであってもよい。

【0019】

音声シーン分離メトリックおよび追加の音声シーン分離メトリックを表現するためのファクタは、音声シーン分離メトリックと追加の音声シーン分離メトリックの平均、または音声シーン分離メトリックと追加の音声シーン分離メトリックの最小のうちの一方とすることができる。

【0020】

ストリーム分離インデックスは、入力音声信号および追加の入力音声信号を含む音声シーンに対する、入力音声信号と追加の入力音声信号のうちのそれぞれの信号の相対寄与の測度を提供することができる。

【0021】

音声シーン分離メトリックを決定することは、入力音声信号を複数の時間周波数タイルに変換すること、追加の入力音声信号を複数の追加の時間周波数タイルに変換すること、少なくとも１つの時間周波数タイルのエネルギー値を決定すること、少なくとも１つの追加の時間周波数タイルのエネルギー値を決定すること、および音声シーン分離メトリックを、少なくとも１つの時間周波数タイルと少なくとも１つの追加の時間周波数タイルの和に対する少なくとも１つの時間周波数タイルのエネルギー値の比として決定することを含むことができる。

【0022】

入力音声信号は２つ以上の音声チャネル信号を含んでいてもよく、追加の入力音声信号は複数の音声オブジェクト信号を含んでいてもよい。

【0023】

第２の態様によれば、空間音声復号のための方法であって、量子化された音声シーン分離メトリックを復号すること、および量子化された音声シーン分離メトリックを使用して、第１の音声信号に関連した量子化された少なくとも１つの空間音声パラメータを決定することを含む方法が提供される。

【0024】

この方法はさらに、量子化された音声シーン分離メトリックを使用して、第２の音声信号に関連した量子化された少なくとも１つの空間音声パラメータを決定することを含むことができる。

【0025】

量子化された音声シーン分離メトリックを使用して、第１の音声信号に関連した量子化された少なくとも１つの空間音声パラメータを決定することは、第１の音声信号の時間周波数タイルに対して計算されたエネルギー比パラメータを量子化するのに使用する量子化器を複数の量子化器の中から選択することであり、この選択が、復号された量子化された音声シーン分離メトリックに依存する、選択すること、量子化されたエネルギー比パラメータを、選択された量子化器から決定すること、および量子化されたエネルギー比パラメータの量子化インデックスを使用して、第１の音声信号の少なくとも１つの空間音声パラメータを復号することを含むことができる。

【0026】

少なくとも１つの空間音声パラメータは、第１の音声信号の時間周波数タイルに対する方向パラメータであってもよく、エネルギー比パラメータは方向対全体エネルギー比であってもよい。

【0027】

量子化された音声シーン分離メトリックを使用して、第２の音声信号を表現する量子化された少なくとも１つの空間音声パラメータを決定することは、第２の音声信号に対する少なくとも１つの空間音声パラメータを量子化するのに使用する量子化器を複数の量子化器の中から選択することであり、この選択が、復号された量子化された音声シーン分離メトリックに依存する、選択すること、および第２の音声信号に対する量子化された少なくとも１つの空間音声パラメータを、第２の音声信号に対する少なくとも１つの空間音声パラメータを量子化するのに使用する選択された量子化器から決定することを含むことができる。

【0028】

第２の入力音声信号の少なくとも１つの空間音声パラメータは、第２の入力音声信号の第１の音声オブジェクト信号の時間周波数タイルに対する音声オブジェクトエネルギー比パラメータであってもよい。

【0029】

ストリーム分離インデックスは、第１の音声信号および第２の音声信号を含む音声シーンに対する、第１の音声信号と第２の音声信号のうちのそれぞれの信号の相対寄与の測度を提供することができる。

【0030】

第１の音声信号は２つ以上の音声チャネル信号を含んでいてもよく、第２の入力音声信号は複数の音声オブジェクト信号を含んでいてもよい。

【0031】

第３の態様によれば、空間音声符号化のための装置であって、入力音声信号と追加の入力音声信号との間の音声シーン分離メトリックを決定する手段と、音声シーン分離メトリックを使用して、入力音声信号の少なくとも１つの空間音声パラメータを量子化する手段とを備える装置が提供される。

【0032】

この装置はさらに、音声シーン分離メトリックを使用して、追加の入力音声信号の少なくとも１つの空間音声パラメータを量子化する手段を備えることができる。

【0033】

音声シーン分離メトリックを使用して、入力音声信号の少なくとも１つの空間音声パラメータを量子化する手段は、音声シーン分離メトリックに、入力音声信号の時間周波数タイルに対して計算されたエネルギー比パラメータを乗じる手段と、音声シーン分離メトリックとエネルギー比パラメータとの積を量子化して、量子化インデックスを生成する手段と、量子化インデックスを使用して、入力音声信号の少なくとも１つの空間音声パラメータを量子化するためのビット割当てを選択する手段とを備えることができる。

【0034】

あるいは、音声シーン分離メトリックを使用して、入力音声信号の少なくとも１つの空間音声パラメータを量子化する手段は、入力音声信号の時間周波数タイルに対して計算されたエネルギー比パラメータを量子化するための量子化器を複数の量子化器の中から選択する手段であり、この選択が、音声シーン分離メトリックに依存する、手段と、選択された量子化器を使用してエネルギー比パラメータを量子化して、量子化インデックスを生成する手段と、量子化インデックスを使用して、エネルギー比パラメータを、入力信号の少なくとも１つの空間音声パラメータとともに量子化するためのビット割当てを選択する手段とを備えることができる。

【0035】

少なくとも１つの空間音声パラメータは、入力音声信号の時間周波数タイルに対する方向パラメータであってもよく、エネルギー比パラメータは方向対全体エネルギー比であってよい。

【0036】

音声シーン分離メトリックを使用して、追加の入力音声信号の少なくとも１つの空間音声パラメータを量子化する手段は、少なくとも１つの空間音声パラメータを量子化するための量子化器を複数の量子化器の中から選択する手段であり、選択される量子化器が、音声シーン分離メトリックに依存する、手段と、選択された量子化器を用いて少なくとも１つの空間音声パラメータを量子化する手段とを備えることができる。

【0037】

【0038】

追加の入力音声信号の第１の音声オブジェクト信号の時間周波数タイルに対する音声オブジェクトエネルギー比パラメータは、追加の入力音声信号の時間周波数タイルに対する複数の音声オブジェクト信号のうちの第１の音声オブジェクト信号のエネルギーを決定する手段と、複数の音声オブジェクト信号のうちの残りのそれぞれの音声オブジェクト信号のエネルギーを決定する手段と、第１の音声オブジェクト信号と残りの音声オブジェクト信号のエネルギーの和に対する第１の音声オブジェクト信号のエネルギーの比を決定する手段とによって決定することができる。

【0039】

音声シーン分離メトリックは、入力音声信号の時間周波数タイルと追加の入力音声信号の時間周波数タイルとの間で決定することができ、音声シーン分離メトリックを使用して、追加の入力音声信号の少なくとも１つの空間音声パラメータの量子化を決定する手段は、入力音声信号の追加の時間周波数タイルと追加の入力音声信号の追加の時間周波数タイルとの間の追加の音声シーン分離メトリックを決定する手段と、音声シーン分離メトリックおよび追加の音声シーン分離メトリックを表現するためのファクタを決定する手段と、ファクタに応じて複数の量子化器の中から量子化器を選択する手段と、選択された量子化器を使用して、追加の入力音声信号の少なくとも１つの追加の空間音声パラメータを量子化する手段とを備えることができる。

【0040】

少なくとも１つの追加の空間音声パラメータは、追加の入力音声信号の音声フレームに対する音声オブジェクト方向パラメータであってもよい。

【0041】

【0042】

【0043】

音声シーン分離メトリックを決定する手段は、入力音声信号を複数の時間周波数タイルに変換する手段と、追加の入力音声信号を複数の追加の時間周波数タイルに変換する手段と、少なくとも１つの時間周波数タイルのエネルギー値を決定する手段と、少なくとも１つの追加の時間周波数タイルのエネルギー値を決定する手段と、音声シーン分離メトリックを、少なくとも１つの時間周波数タイルと少なくとも１つの追加の時間周波数タイルの和に対する少なくとも１つの時間周波数タイルのエネルギー値の比として決定する手段とを備えることができる。

【0044】

入力音声信号は２つ以上の音声チャネル信号を含んでいてもよく、追加の入力音声信号は複数の音声オブジェクト信号を含んでいてもよい。

【0045】

第４の態様によれば、空間音声復号のための装置であって、量子化された音声シーン分離メトリックを復号する手段と、量子化された音声シーン分離メトリックを使用して、第１の音声信号に関連した量子化された少なくとも１つの空間音声パラメータを決定する手段とを備える装置が提供される。

【0046】

この装置はさらに、量子化された音声シーン分離メトリックを使用して、第２の音声信号に関連した量子化された少なくとも１つの空間音声パラメータを決定する手段を備えることができる。

【0047】

量子化された音声シーン分離メトリックを使用して、第１の音声信号に関連した量子化された少なくとも１つの空間音声パラメータを決定する手段は、第１の音声信号の時間周波数タイルに対して計算されたエネルギー比パラメータを量子化するのに使用する量子化器を複数の量子化器の中から選択する手段であり、この選択が、復号された量子化された音声シーン分離メトリックに依存する、手段と、量子化されたエネルギー比パラメータを、選択された量子化器から決定する手段と、量子化されたエネルギー比パラメータの量子化インデックスを使用して、第１の音声信号の少なくとも１つの空間音声パラメータを復号する手段とを備えることができる。

【0048】

【0049】

量子化された音声シーン分離メトリックを使用して、第２の音声信号を表現する量子化された少なくとも１つの空間音声パラメータを決定する手段は、第２の音声信号に対する少なくとも１つの空間音声パラメータを量子化するのに使用する量子化器を複数の量子化器の中から選択する手段であり、この選択が、復号された量子化された音声シーン分離メトリックに依存する、手段と、第２の音声信号に対する量子化された少なくとも１つの空間音声パラメータを、第２の音声信号に対する少なくとも１つの空間音声パラメータを量子化するのに使用する選択された量子化器から決定する手段とを備えることができる。

【0050】

【0051】

【0052】

第１の音声信号は２つ以上の音声チャネル信号を含んでいてもよく、第２の入力音声信号は複数の音声オブジェクト信号を含む。

【0053】

第５の態様によれば、空間音声符号化のための装置であって、少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つのメモリとを備え、少なくとも１つのメモリおよびコンピュータプログラムコードが、入力音声信号と追加の入力音声信号との間の音声シーン分離メトリックを決定し、音声シーン分離メトリックを使用して、入力音声信号の少なくとも１つの空間音声パラメータを量子化するように構成された、装置が提供される。

【0054】

第６の態様によれば、空間音声復号のための装置であって、少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つのメモリとを備え、少なくとも１つのメモリおよびコンピュータプログラムコードが、量子化された音声シーン分離メトリックを復号し、量子化された音声シーン分離メトリックを使用して、第１の音声信号に関連した量子化された少なくとも１つの空間音声パラメータを決定するように構成された、装置が提供される。

【0055】

媒体上に記憶されたコンピュータプログラム製品は、本明細書に記載された方法を装置に実行させることができる。

【0056】

電子デバイスは、本明細書に記載された装置を備えることができる。

【0057】

チップセットは、本明細書に記載された装置を備えることができる。

【0058】

本出願の実施形態は、現状技術に関連した問題を解決することを目的としている。

【0059】

次に、本出願のより十分な理解のために、添付図面を例として参照する。

【図面の簡単な説明】

【0060】

【図1】いくつかの実施形態を実施するのに適した装置のシステムを概略的に示す図である。

【図2】いくつかの実施形態によるメタデータ符号器を概略的に示す図である。

【図3】いくつかの実施形態を実施するのに適した装置のシステムを概略的に示す図である。

【図4】示された装置を実施するのに適した例示的なデバイスを概略的に示す図である。

【発明を実施するための形態】

【0061】

以下では、効果的な空間分析によって導出されたメタデータパラメータを提供するための適当な装置および可能な機構をより詳細に説明する。以下の議論では、マルチチャネルシステムが、マルチチャネルマイクロホン実施態様に関して論じられる。しかしながら、上で論じたとおり、入力フォーマットは、マルチチャネルラウドスピーカ、アンビソニック（ＦＯＡ／ＨＯＡ）など、適当な任意の入力フォーマットとすることができる。いくつかの実施形態では、チャネル位置がマイクロホンの位置に基づくこと、またはチャネル位置が仮想位置もしくは方向であることが理解される。さらに、例示的なシステムの出力は、マルチチャネルラウドスピーカ装置である。しかしながら、ラウドスピーカ以外の手段によって出力がユーザに与えられてもよいことが理解される。さらに、マルチチャネルラウドスピーカ信号を、２つ以上の再生音声信号であるとして一般化することができる。このようなシステムは現在、３ＧＰＰ標準化団体によって、イマーシブボイスアンドオーディオサービス（ＩｍｍｅｒｓｉｖｅＶｏｉｃｅａｎｄＡｕｄｉｏＳｅｒｖｉｃｅ）（ＩＶＡＳ）として標準化されている。ＩＶＡＳは、既存および将来の移動（セル方式）および固定回線ネットワークにわたってイマーシブボイスアンドオーディオサービスを容易にするための、既存の３ＧＰＰエンハンストボイスサービス（ＥｎｈａｎｃｅｄＶｏｉｃｅＳｅｒｖｉｃｅ）（ＥＶＳ）コーデックに対する拡張であることが意図されている。ＩＶＡＳの用途は、３ＧＰＰ第４世代（４Ｇ）および第５世代（５Ｇ）ネットワークにわたってイマーシブボイスアンドオーディオサービスを提供することであることがある。さらに、ＥＶＳに対する拡張としてのＩＶＡＳコーデックは、再生のためにオーディオアンドスピーチコンテンツを符号化しファイルに記憶するストアアンドフォーワード用途において使用されることもある。ＩＶＡＳは、オーディオアンドスピーチ信号のサンプルを符号化する機能を有する他のオーディオアンドスピーチ符号化技術とともに使用されることがあることを理解されたい。

【0062】

メタデータアシステッドスペーシャルオーディオ（ｍｅｔａｄａｔａ－ａｓｓｉｓｔｅｄｓｐａｔｉａｌａｕｄｉｏ）（ＭＡＳＡ）は、ＩＶＡＳに対して提案された１つの入力フォーマットである。ＭＡＳＡ入力フォーマットは、いくつか（例えば１つまたは２つ）の音声信号を、対応する空間メタデータとともに含み得る。ＭＡＳＡ入力ストリームは、マイクロホンアレイ、例えばモバイルデバイス内に装着されたものであってもよいマイクロホンアレイを用いた空間音声捕捉を使用して捕捉することができる。次いで、捕捉したマイクロホン信号から空間音声パラメータを推定することができる。

【0063】

ＭＡＳＡ空間メタデータは、少なくとも、考慮される時間－周波数（ｔｉｍｅ－ｆｒｅｑｕｅｎｃｙ）（ＴＦ）ブロックまたはタイル、言い換えると時間／周波数サブバンドごとの、球面方向（高度、方位）、結果として生じる方向の少なくとも１つのエネルギー比、スプレッドコヒーレンス、および方向から独立したサラウンドコヒーレンスからなることができる。全体として、ＩＶＡＳは、時間－周波数（ＴＦ）タイルごとに異なるタイプのいくつかのメタデータパラメータを有することができる。ＭＡＳＡに対する空間メタデータを構成する空間音声パラメータのタイプを下表１に示す。

【0064】

【表1】

【0065】

このデータは、復号器において空間信号を再構成することができるように、符号器によって符号化および送信（または記憶）することができる。

【0066】

さらに、いくつかの例では、メタデータアシステッドスペーシャルオーディオ（ＭＡＳＡ）が、ＴＦタイルごとに最大２つの方向をサポートすることができ、このことは、上記のパラメータをＴＦタイルごとにそれぞれの方向に対して符号化および送信することを必要とするであろう。表１によれば、それによって、必要なビットレートをほぼ２倍になる。さらに、他のＭＡＳＡシステムが、ＴＦタイル当たり３つ以上の方向をサポートすることができることを予見することは容易である。

【0067】

実用的なイマーシブオーディオ通信コーデックにおいてメタデータに対して割り当てられるビットレートは大幅に変動し得る。このコーデックの典型的な全体のオペレーティングビットレートは、空間メタデータの送信／記憶のために２～１０ｋｂｐｓだけを残すことがある。しかしながら、いくつかの追加の実施態様は、空間メタデータの送信／記憶のために最大３０ｋｂｐｓ以上を可能にすることがある。方向パラメータおよびエネルギー比成分の符号化は、コヒーレンスデータの符号化とともに以前に検討されている。しかしながら、空間メタデータにどのような送信／記憶ビットレートが割り当てられるとしても、ＴＦタイルが、空間音声シーン内の異なる音源に対応する多数の方向をサポートすることがあるときには特に、できるだけ少数のビットを使用してこれらのパラメータを表すことが常に求められる。

【0068】

続いてＭＡＳＡ音声信号として符号化するマルチチャネル入力信号に加えて、符号化システムは、さまざまな音源を表す音声オブジェクトを符号化する必要があることもある。それぞれの音声オブジェクトは、それがメタデータの形態であるのかまたは他のある機構の形態であるのかにかかわらず、物理空間内の音声オブジェクトの位置を示す方位および高度値の形態の方向データを伴い得る。通常、音声オブジェクトは、音声フレーム当たり１つの方向パラメータ値を有することができる。

【0069】

以下で論じる思想は、ＩＶＡＳシステムなどの空間音声符号化システムへの多数の入力の符号化を改良することであり、このようなシステムには、上で論じたマルチチャネル音声信号ストリームおよび音声オブジェクトの別個の入力ストリームが提示される。符号化における効率は、これらの別個の入力ストリーム間の相乗効果を利用することによって達成することができる。

【0070】

この点に関して、図１は、本出願の実施形態を実施するための例示的な装置およびシステムを示している。このシステムは、「分析」部分１２１を有するものとして示されている。「分析」部分１２１は、マルチチャネル信号の受取りからメタデータおよびダウンミックス（ｄｏｗｎｍｉｘ）信号の符号化までの部分である。

【0071】

システムの「分析」部分１２１への入力はマルチチャネル信号１０２である。以下の例では、マイクロホンチャネル信号入力が説明されるが、他の実施形態では、適当な任意の入力（または合成マルチチャネル）フォーマットを実施することができる。例えば、いくつかの実施形態では、空間分析器および空間分析を符号器の外部で実施することができる。例えば、いくつかの実施形態では、音声信号に関連した空間（ＭＡＳＡ）メタデータを別個のビットストリームとして符号器に提供することができる。いくつかの実施形態では、空間（ＭＡＳＡ）メタデータを、一組の空間（方向）インデックス値として提供することができる。

【0072】

加えて、図１はさらに、分析部分１２１への追加の入力として多数の音声オブジェクト１２８を示している。上述のとおり、これらの多数の音声オブジェクト（または音声オブジェクトストリーム）１２８は物理空間内のさまざまな音源を表すことがある。それぞれの音声オブジェクトは、音声（オブジェクト）信号と、物理空間内の音声オブジェクトの位置を音声フレームベースで示す（方位および高度値の形態の）方向データを含む付随するメタデータとによって特徴づけることができ、

【0073】

マルチチャネル信号１０２は、トランスポート信号生成器１０３および分析プロセッサ１０５に渡される。

【0074】

いくつかの実施形態では、トランスポート信号生成器１０３が、マルチチャネル信号を受け取り、決められた数のチャネルを含む適当なトランスポート信号を生成し、そのトランスポート信号１０４（ＭＡＳＡトランスポート音声信号）を出力するように構成されている。例えば、トランスポート信号生成器１０３を、マルチチャネル信号の２音声チャネルダウンミックスを生成するように構成することができる。この決められた数のチャネルは適当な任意の数のチャネルとすることができる。いくつかの実施形態では、トランスポート信号生成器が、決められた数のチャネルへの入力音声信号を別のやり方で、例えばビーム形成技術によって選択または結合し、これらの信号をトランスポート信号として出力するように構成される。

【0075】

いくつかの実施形態では、トランスポート信号生成器１０３が任意であり、マルチチャネル信号が、処理されることなく、この例のトランスポート信号と同じように符号器１０７に渡される。

【0076】

いくつかの実施形態では、分析プロセッサ１０５も、マルチチャネル信号を受け取り、それらの信号を分析して、マルチチャネル信号に関連したメタデータ１０６、したがってトランスポート信号１０４に関連したメタデータ１０６を生成するように構成される。分析プロセッサ１０５は、方向パラメータ１０８およびエネルギー比パラメータ１１０、ならびにコヒーレンスパラメータ１１２（およびいくつかの実施形態では拡散パラメータ）を時間－周波数分析間隔ごとに含んでいてもよいメタデータを生成するように構成されたものとすることができる。いくつかの実施形態では、これらの方向、エネルギー比およびコヒーレンスパラメータを、ＭＡＳＡ空間音声パラメータ（またはＭＡＳＡメタデータ）であるとみなすことができる。言い換えると、空間音声パラメータは、マルチチャネル信号（または一般に２つ以上の音声信号）によって生成／捕捉された音場を特徴づけることを目的とするパラメータを含む。

【0077】

いくつかの実施形態では、生成されたパラメータが周波数バンドごとに異なることがある。したがって、例えば、バンドＸでは、パラメータの全てが生成および送信され、一方、バンドＹでは、パラメータの１つだけが生成および送信され、さらに、バンドＺでは、パラメータが生成または送信されない。このことの実際的な例は、最も高いバンドなどのいくつかの周波数バンドに関しては知覚上の理由からパラメータの一部が必要とされないことであることがある。ＭＡＳＡトランスポート信号１０４およびＭＡＳＡメタデータ１０６は符号器１０７に渡すことができる。

【0078】

音声オブジェクト１２８は、処理のために音声オブジェクト分析器１２２に渡されてもよい。他の実施形態では、音声オブジェクト分析器１２２が、符号器１０７の機能内に位置していてもよい。

【0079】

いくつかの実施形態では、音声オブジェクト分析器１２２が、適当な音声オブジェクトトランスポート信号１２４および音声オブジェクトメタデータ１２６を生成するために、オブジェクト音声入力ストリーム１２８を分析する。例えば、音声オブジェクトの音声信号を関連する音声オブジェクト方向に基づいて振幅パニング（ａｍｐｌｉｔｕｄｅｐａｎｎｉｎｇ）とともにステレオチャネルにダウンミキシングすることによって音声オブジェクトトランスポート信号１２４を生成するように、音声オブジェクト分析器１２２を構成することができる。加えて、音声オブジェクト入力ストリーム１２８に関連した音声オブジェクトメタデータ１２６を生成するように、音声オブジェクト分析器１２２を構成することもできる。音声オブジェクトメタデータ１２６は、少なくとも方向パラメータおよびエネルギー比パラメータを時間－周波数分析間隔ごとに含んでいてもよい。

【0080】

符号器１０７は、ＭＡＳＡトランスポート音声（例えばダウンミックス）信号１０４および音声オブジェクトトランスポート信号１２４の適当な符号化を生成するためにこれらの音声信号を受け取るように構成された音声符号器コア１０９を備えることができる。符号器１０７はさらに、ＭＡＳＡメタデータ１０６を受け取り、符号化または圧縮された形態の情報を、符号化されたＭＡＳＡメタデータとして出力するように構成されたＭＡＳＡ空間パラメータセット符号器１１１を備えることができる。符号器１０７はさらに、同様に、音声オブジェクトメタデータ１２６を受け取り、符号化または圧縮された形態の入力情報を、符号化された音声オブジェクトメタデータとして出力するように構成された、音声オブジェクトメタデータ符号器１２１を備えることができる。

【0081】

加えて、符号器１０７はさらに、全体の音声シーンに対するマルチチャネル信号１０２（ＭＡＳＡ音声信号）および音声オブジェクト１２８の相対的な寄与割合を決定するように構成されたものとすることができるストリーム分離メタデータ決定器（ｄｅｔｅｒｍｉｎｅｒ）および符号器１２３を備えることができる。ストリーム分離メタデータ決定器および符号器１２３によって生成されたこの割合測度を使用して、入力マルチチャネル信号１０２および音声オブジェクト１２８に対して費やされた量子化および符号化「労力」の割合を決定することができる。言い換えると、ストリーム分離メタデータ決定器および符号器１２３は、音声オブジェクト１２８に対して費やされた符号化労力と比較した、ＭＡＳＡ音声信号１０２に対して費やされた符号化労力の割合を定量化するメトリックを生成することができる。このメトリックを使用して、音声オブジェクトメタデータ１２６およびＭＡＳＡメタデータ１０６の符号化を駆動することができる。その上に、分離メタデータ決定器および符号器１２３によって決定されたメトリックを、音声符号器コア１０９によって実行されるＭＡＳＡトランスポート音声信号１０４および音声オブジェクトトランスポート音声信号１２４の符号化プロセスにおける影響ファクタして使用することもできる。ストリーム分離メタデータ決定器および符号器１２３からの出力メトリックは、符号化されたストリーム分離メタデータとして表され、この出力メトリックを、符号器１０７からの符号化されたメタデータストリームに結合することができる。

【0082】

いくつかの実施形態では、符号器１０７を、（メモリ上および少なくとも１つのプロセッサ上に記憶された適当なソフトウェアを実行する）コンピュータまたはモバイルデバイスとすることができ、または、その代わりに、符号器１０７を、特定のデバイス、例えばＦＰＧＡまたはＡＳＩＣを利用する特定のデバイスとすることもできる。この符号化は、適当な任意のスキームを使用して実施することができる。いくつかの実施形態において、符号器１０７はさらに、図１の破線によって示された送信または記憶の前に、符号化されたＭＡＳＡメタデータ、音声オブジェクトメタデータおよびストリーム分離メタデータをインタリーブすること、単一のデータストリームに多重化すること、または符号化された（ダウンミキシングされた）トランスポート音声信号に埋め込むことができる。この多重化は、適当な任意のスキームを使用して実施することができる。
したがって、要約すると、このシステム（分析部分）は、最初に、マルチチャネル音声信号を受け取るように構成される。

【0083】

このシステム（分析部分）は次いで、（例えば音声信号チャネルの一部を選択またはダウンミキシングすることによって）適当なトランスポート音声信号を生成し、また、空間音声パラメータをメタデータとして生成するように構成される。

【0084】

このシステムは次いで、記憶／送信のために、トランスポート信号およびメタデータを符号化するように構成される。

【0085】

この後、このシステムは、符号化されたトランスポートおよびメタデータを記憶／送信することができる。

【0086】

図２に関して、いくつかの実施形態による（図１に示された）例示的な分析プロセッサ１０５およびメタデータ符号器／量子化器１１１をより詳細に説明する。

【0087】

図１および２は、メタデータ符号器／量子化器１１１および分析プロセッサ１０５を、一緒に結合されてものとして示している。しかしながら、いくつかの実施形態は、分析プロセッサ１０５がメタデータ符号器／量子化器１１１とは異なるデバイス上に存在し得るような態様で、これらの２つの対応するそれぞれの処理実体を非常にしっかりとは結合しないことがあることを理解すべきである。その結果、捕捉および分析プロセスから独立して処理および符号化するために、メタデータ符号器／量子化器１１１を備えるデバイスにトランスポート信号およびメタデータストリームを提供することができる。

【0088】

いくつかの実施形態では、分析プロセッサ１０５が時間－周波数ドメイン変換器２０１を備える。

【0089】

いくつかの実施形態では、時間－周波数ドメイン変換器２０１が、マルチチャネル信号１０２を受け取り、入力時間ドメイン信号を適当な時間－周波数信号に変換するために短時間フーリエ変換（ＳｈｏｒｔＴｉｍｅＦｏｕｒｉｅｒＴｒａｎｓｆｏｒｍ）（ＳＴＦＴ）などの適当な時間－周波数ドメイン変換を適用するように構成される。これらの時間－周波数信号は空間分析器２０３に渡すことができる。

【0090】

したがって、例えば、時間－周波数信号２０２は、
Ｓ_MASA（ｂ，ｎ，ｉ）
によって時間－周波数ドメイン表現で表すことができ、この式で、ｂは、周波数ビン（ｂｉｎ）インデックス、ｎは、時間－周波数ブロック（フレーム）インデックス、ｉは、チャネルインデックスである。別の式では、ｎを、元の時間ドメイン信号のサンプリングレートよりも低いサンプリングレートを有する時間インデックスとみなすことができる。これらの周波数ビンを、それらのビンのうちの１つまたは複数のビンをバンドインデックスｋ＝０，．．．．，Ｋ－１のサブバンドにグループ化するサブバンドにグループ化することができる。それぞれのサブバンドｋは、最も低いビンｂ_k,lowおよび最も高いビンｂ_k,highを有し、サブバンドは、ｂ_k,lowからｂ_k,highまでの全てのビンを含む。サブバンドの幅は、適当な任意の分布に近いものとすることができる。例えば等価矩形帯域幅（Ｅｑｕｉｖａｌｅｎｔｒｅｃｔａｎｇｕｌａｒｂａｎｄｗｉｄｔｈ）（ＥＲＢ）スケールまたはＢａｒｋスケール。

【0091】

したがって、時間周波数（ＴＦ）タイル（ｎ、ｋ）（またはブロック）はフレームｎのサブフレーム内の特定のサブバンドｋである。

【0092】

パラメータに添えられているとき、下付き添字「ＭＡＳＡ」は、それらのパラメータがマルチチャネル入力信号１０２から導出されたものであることを意味し、下付き添字「Ｏｂｊ」は、それらのパラメータが音声オブジェクト入力ストリーム１２８から導出されたものであることを意味することに留意すべきである。

【0093】

空間音声パラメータを表すのに必要なビットの数は、少なくとも部分的に、ＴＦ（時間－周波数）タイル分解能（すなわちＴＦサブフレームまたはタイルの数）に依存することがあることを理解し得る。例えば、「ＭＡＳＡ」入力マルチチャネル音声信号に関して、２０ミリ秒の音声フレームを１つ５ミリ秒の４つの時間ドメインサブフレームに分割することができ、それぞれの時間ドメインサブフレームは、Ｂａｒｋスケール、その近似または他の適当な分割に従って周波数ドメインにおいて分割された最大２４個の周波数サブバンドを有することができる。この特定の例では、音声フレームを、９６個のＴＦサブフレーム／タイルに分割することができ、言い換えると、２４個の周波数サブバンドを有する４つの時間ドメインサブフレームに分割することができる。したがって、音声フレームに対する空間音声パラメータを表すのに必要なビットの数は、ＴＦタイル分解能に依存し得る。例えば、それぞれのＴＦタイルが上表１の分布に従って符号化される場合、それぞれのＴＦタイルは、音源方向当たり６４ビットを必要とするであろう。ＴＦタイル当たり２つの音源方向に関しては、両方の方向の完全な符号化のために２×６４ビットが必要となろう。音源という用語の使用は、ＴＦタイル内の伝搬音の支配的方向を意味し得ることに留意すべきである。

【0094】

実施形態では、分析プロセッサ１０５が空間分析器２０３を備えることができる。空間分析器２０３は、時間－周波数信号２０２を受け取り、これらの信号に基づいて方向パラメータ１０８を推定するように構成されたものとすることができる。方向パラメータは、音声ベースの任意の「方向」決定に基づいて決定することができる。

【0095】

例えば、いくつかの実施形態では、空間分析器２０３が、２つ以上の信号入力を用いて音源の方向を推定するように構成される。

【0096】

したがって、空間分析器２０３は、それぞれの周波数バンドおよび音声信号のフレーム内の一過性の時間－周波数ブロックに対する、方位Φ_MASA（ｋ，ｎ）および高度θ_MASA（ｋ，ｎ）として示された少なくとも１つの方位および高度を提供するように構成されたものとすることができる。時間サブフレームに対する方向パラメータ１０８は、符号化および量子化のために、ＭＡＳＡ空間パラメータセット（メタデータ）セット符号器１１１に渡すことができる。

【0097】

空間分析器２０３はさらに、エネルギー比パラメータ１１０を決定するように構成されたものとすることができる。このエネルギー比は、１つの方向から到来すると考え得る音声信号のエネルギーの決定と考えることができる。方向対全体エネルギー比ｒ_MASA（ｋ，ｎ）（言い換えるとエネルギー比パラメータ）は、例えば、方向推定の安定性測度を使用して、または任意の相関測度を使用して、または比パラメータを取得する他の適当な方法を使用して推定することができる。それぞれの方向対全体エネルギー比は特定の空間方向に対応し、全エネルギーに比べてどのくらいのエネルギーが特定の空間方向から来るのかを記述する。この値を時間－周波数タイルごとに別々に表すこともできる。空間方向パラメータおよび方向対全体エネルギー比は、時間－周波数タイルごとに、全エネルギーのうちのどれくらいのエネルギーが特定の方向から来ているのかを記述する。一般に、空間方向パラメータを、到来方向（ｄｉｒｅｃｔｉｏｎｏｆａｒｒｉｖａｌ）（ＤＯＡ）と考えることもできる。

【0098】

一般に、マルチチャネル捕捉されたマイクロホンアレイ信号に対する方向対全体エネルギー比パラメータは、バンドｋにおけるマイクロホン対間の正規化された相互相関パラメータｃｏｒ’（ｋ，ｎ）に基づいて推定することができ、相互相関パラメータの値は－１から１の間にある。方向対全体エネルギー比パラメータｒ（ｋ，ｎ）は、正規化された相互相関パラメータを、正規化された拡散場相互相関パラメータｃｏｒ’_D（ｋ，ｎ）と比較することにより、

【数1】

として決定することができる。方向対全体エネルギー比は、参照によって本明細書に組み込まれている国際公開第２０１７／００５９７８号パンフレットにおいてさらに説明されている。

【0099】

このマルチチャネル入力音声信号のケースに関しては、方向対全体エネルギー比パラメータｒ_MASA（ｋ，ｎ）比を、符号化および量子化のために、ＭＡＳＡ空間パラメータセット（メタデータ）セット符号器１１１に渡すことができる。

【0100】

空間分析器２０３はさらに、（マルチチャネル信号１０２に対する）いくつかのコヒーレンスパラメータ１１２を決定するように構成されたものとすることができ、コヒーレンスパラメータ１１２は、サラウンディングコヒーレンス（γ_MASA（ｋ，ｎ））およびスプレッドコヒーレンス（ζ_MASA（ｋ，ｎ））を含んでもよく、これらはともに時間－周波数ドメインで分析される。

【0101】

空間分析器２０３は、決定されたコヒーレンスパラメータ、すなわちスプレッドコヒーレンスパラメータζ_MASAおよびサラウンディングコヒーレンスパラメータγ_MASAを、符号化および量子化のために、ＭＡＳＡ空間パラメータセット（メタデータ）セット符号器１１１に出力するように構成されたものとすることができる。

【0102】

したがって、ＴＦタイルごとに、それぞれの音源方向に関連したＭＡＳＡ空間音声パラメータの集合が存在することになる。この例では、それぞれのＴＦタイルが、音源方向ごとに、そのＴＦタイルに関連した以下の音声空間パラメータを有することがある；方位Φ_MASA（ｋ，ｎ）および高度θ_MASA（ｋ，ｎ）で示された方位および高度、スプレッドコヒーレンス（γ_MASA（ｋ，ｎ））、および方向対全体エネルギー比パラメータ（ｒ_MASA（ｋ，ｎ））。加えて、それぞれのＴＦタイルはさらに、音源方向ごとに割り当てられていないサラウンドコヒーレンス（ζ_MASA（ｋ，ｎ））を有することがある。

【0103】

分析プロセッサ１０５によって実行される処理と同様の方式で、音声オブジェクト分析器１２２は、入力音声オブジェクトストリームを分析して、
Ｓ_obj（ｂ，ｎ，ｉ）
として示すことができる音声オブジェクト時間周波数ドメイン信号を生成することができる。

【0104】

上式で、前述のとおり、ｂは、周波数ビンインデックス、ｎは、時間－周波数ブロック（ＴＦタイル）（フレーム）インデックス、ｉは、チャネルインデックスである。両方の信号セットが時間および周波数分解能に関して整列するように、音声オブジェクト時間周波数ドメイン信号の分解能を、対応するＭＡＳＡ時間周波数ドメイン信号と同じとすることができる。例えば、音声オブジェクト時間周波数ドメイン信号Ｓ_obj（ｂ，ｎ，ｉ）は、ＴＦタイルｎベースで同じ時間分解能を有することができ、周波数ビンｂを、ＭＡＳＡ時間周波数ドメイン信号に対して展開されたのと同じサブバンドｋのパターンにグループ化することができる。言い換えると、音声オブジェクト時間周波数ドメイン信号のそれぞれのサブバンドｋも、最も低いビンｂ_k,lowおよび最も高いビンｂ_k,highを有することができ、サブバンドｋは、ｂ_k,lowからｂ_k,highまで全てのビンを含む。いくつかの実施形態では、音声オブジェクトストリームの処理が、必ずしも、ＭＡＳＡ音声信号の処理と同じ粒度レベルに従わなくてもよい。例えば、ＭＡＳＡ処理は、音声オブジェクトストリームに対する時間周波数分解能のそれとは異なる時間周波数分解能を有することができる。これらの例では、音声オブジェクトストリーム処理とＭＡＳＡ音声信号処理とを整列させるために、パラメータ補間などのさまざまな技法を展開することができ、または一方のパラメータセットを、もう一方のパラメータセットの上位セットとして展開することができる。

【0105】

したがって、音声オブジェクト時間周波数ドメイン信号に対する時間周波数（ＴＦ）タイルの結果として生じる分解能を、ＭＡＳＡ時間周波数ドメイン信号に対する時間周波数（ＴＦ）タイルの分解能と同じとすることができる。

【0106】

図１では、音声オブジェクト時間周波数ドメイン信号がオブジェクトトランスポート音声信号と呼ばれることがあり、ＭＡＳＡ時間周波数ドメイン信号がＭＡＳＡトランスポート音声信号と呼ばれることがあることに留意すべきである。

【0107】

音声オブジェクト分析器１２２は、それぞれの音声オブジェクトに対する方向パラメータを音声フレームベースで決定することができる。音声オブジェクト方向パラメータは、それぞれの音声フレームに対する方位および高度を含むことがある。この方向パラメータは、方位Φ_objおよび高度θ_objとして示すことができる。

【0108】

音声オブジェクト分析器１２２はさらに、音声オブジェクト信号ｉごとに音声オブジェクト対全体エネルギー比（ａｕｄｉｏｏｂｊｅｃｔ－ｔｏ－ｔｏｔａｌｅｎｅｒｇｙｒａｔｉｏ）ｒ_obj（ｋ，ｎ，ｉ）（言い換えると音声オブジェクト比パラメータ）を見つけるように構成されたものとすることができる。実施形態では、音声オブジェクト対全体エネルギー比ｒ_obj（ｋ，ｎ，ｉ）を、全ての音声オブジェクトのエネルギーに対するオブジェクトｉのエネルギーの割合として推定することができる。

【0109】

【数2】

【0110】

上式で、

【数3】

は、音声オブジェクトｉ、周波数バンドｋおよび時間サブフレームｎに対するエネルギーであり、ｂ_k,lowは、周波数バンドｋに対する最も低いビン、ｂ_k,highは最も高いビンである。

【0111】

音声オブジェクト信号に関連した空間音声パラメータ（メタデータ）、すなわち、音声オブジェクトｉに対する、音声フレームのＴＦタイルごとの音声オブジェクト対全体エネルギー比ｒ_obj（ｋ，ｎ，ｉ）ならびに音声フレームに対する方向成分である方位Φ_objおよび高度θ_objを生成するため、音声オブジェクト分析器１２２は本質的に、分析プロセッサ１０５と同様の機能処理ブロックを備えることができる。言い換えると、音声オブジェクト分析器１２２は、分析プロセッサ１０５に存在する時間ドメイン変換器および空間分析器と同様の処理ブロックを備えることができる。次いで、音声オブジェクト信号に関連した空間音声パラメータ（またはメタデータ）を、符号化および量子化のために、音声オブジェクト空間パラメータセット（メタデータ）セット符号器１２１に渡すことができる。

【0112】

音声オブジェクト対全体エネルギー比ｒ_obj（ｋ，ｎ，ｉ）の処理ステップはＴＦタイルごとに実行することができることを理解すべきである。言い換えると、方向対全体エネルギー比に必要な処理は、それぞれのサブバンドｋおよび音声フレームのサブフレームｎに対して実行されるが、方向成分である方位Φ_obj,iおよび高度θ_obj,iは、音声オブジェクトｉに対して音声フレームベースで取得される。

【0113】

上述のとおり、ＭＡＳＡトランスポート音声信号１０４およびオブジェクトトランスポート音声信号１２４を受け入れるように、ストリーム分離メタデータ決定器および符号器１２３を配置することができる。次いで、ストリーム分離メタデータ決定器および符号器１２３はこれらの信号を使用して、ストリーム分離メトリック／メタデータを決定することができる。

【0114】

実施形態では、最初に、ＭＡＳＡトランスポート音声信号１０４およびオブジェクトトランスポート音声信号１２４の各々のエネルギーを決定することによって、ストリーム分離メトリックを見つけることができる。これは、ＴＦタイルごとに、

【数4】

として表現することができ、上式で、Ｉは、トランスポート音声信号の番号、ｂ_k,lowは、周波数バンドｋに対する最も低いビン、ｂ_k,highは最も高いビンである。

【0115】

実施形態では、次いで、全音声エネルギーに対するＭＡＳＡエネルギーの割合をＴＦタイルベースで計算することによってストリーム分離メトリックを決定するように、ストリーム分離メタデータ決定器および符号器１２３を配置することができる（全音声エネルギーは、ＭＡＳＡエネルギーと音声オブジェクトエネルギーとを結合したものである）。これは、ＭＡＳＡトランスポート音声信号の各々におけるＭＡＳＡエネルギーと、ＭＡＳＡおよびオブジェクトトランスポート音声信号の各々における全エネルギーとの比として表現することができる。

【0116】

したがって、このストリーム分離メトリック（または音声ストリーム分離メトリック）は、ＴＦタイルベース（ｋ，ｎ）で、

【数5】

として表現することができる。

【0117】

次いで、パラメータのその後の送信または記憶を容易にするために、ストリーム分離メタデータ決定器および符号器１２３によってストリーム分離メトリックμ（ｋ，ｎ）を量子化することができる。ストリーム分離メトリックμ（ｋ，ｎ）は、ＭＡＳＡ対全体エネルギー比（ＭＡＳＡ－ｔｏ－ｔｏｔａｌｅｎｅｒｇｙｒａｔｉｏ）と呼ばれることもある。

【0118】

（それぞれのＴＦタイルに対する）ストリーム分離メトリックμ（ｋ，ｎ）を量子化するための例示的な手順は、以下のことを含むことができる。
－音声フレーム内の全てのＭＡＳＡ対全体エネルギー比を（Ｍ×Ｎ）行列として配置する。Ｍは、音声フレームのサブフレームの数、Ｎは、音声フレームのサブバンドの数である。
－２次元ＤＣＴ（離散的コサイン変換（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ））を使用してこの行列を変換する。
－次いで、最適化されたコードブックを用いてゼロ次のＤＣＴ係数を量子化することができる。
－残りのＤＣＴ係数は同じ分解能を用いてスカラー量子化することができる。
－次いで、スカラー量子化したＤＣＴ係数のインデックスを、ＧｏｌｏｍｂＲｉｃｅコードを用いて符号化することができる。
－次いで、（固定レートにおける）ゼロ次係数のインデックス、続いて、ＭＡＳＡ対全体エネルギー比を量子化するために割り当てられたビットの数に従って許容される数と同じ数のＧＲ符号化されたインデックスを有することによって、音声フレーム内における量子化されたＭＡＳＡ対全体エネルギー比を適当なビットストリームフォーマットに形成することができる。
－次いで、これらのインデックスを、ビットストリーム内に、第２の対角方向に従って、左上隅から始めてジグザグに配置することができる。ビットストリームに加えられるインデックスの数は、ＭＡＳＡ対全体比の符号化に対する使用可能なビットの量によって制限される。

【0119】

ストリーム分離メタデータ決定器および符号器１２３からの出力は、量子化されたストリーム分離メトリックμ_q（ｋ，ｎ）であり、これは、量子化されたＭＡＳＡ対全体エネルギー比と呼ばれることもある。ＭＡＳＡ空間音声パラメータ（言い換えるとＭＡＳＡメタデータ）の符号化および量子化を駆動するため、またはそのような符号化および量子化に影響を与えるために、この量子化されＭＡＳＡ対全体エネルギー比をＭＡＳＡ空間パラメータセット符号器１１１に渡すことができる。

【0120】

ＭＡＳＡ音声信号を単独で符号化する空間音声符号化システムに関して、それぞれのＴＦタイルに対するＭＡＳＡ空間音声方向パラメータの量子化は、そのタイルに対する（量子化された）方向対全体エネルギー比ｒ_MASA（ｋ，ｎ）に依存し得る。このようなシステムでは、次いで、最初に、そのＴＦタイルに対する方向対全体エネルギー比ｒ_MASA（ｋ，ｎ）をスカラー量子化器を用いて量子化することができる。次いで、そのＴＦタイルに対する方向対全体エネルギー比ｒ_MASA（ｋ，ｎ）を量子化するために割り当てられたインデックスを使用して、（方向対全体エネルギー比ｒ_MASA（ｋ，ｎ）を含む）当該ＴＦタイルに対する全てのＭＡＳＡ空間音声パラメータの量子化のために割り当てるビットの数を決定することができる。

【0121】

しかしながら、本発明の空間音声符号化システムは、マルチチャネル音声信号（ＭＡＳＡ音声信号）と音声オブジェクトの両方を符号化するように構成される。このようなシステムでは、全体の音声シーンが、マルチチャネル音声信号からの寄与および音声オブジェクトからの寄与として構成されることがある。その結果、当該の特定のＴＦタイルに対するＭＡＳＡ空間音声方向パラメータの量子化が、ＭＡＳＡ方向対全体エネルギー比（ＭＡＳＡｄｉｒｅｃｔ－ｔｏ－ｔｏｔａｌｅｎｅｒｇｙｒａｔｉｏ）ｒ_MASA（ｋ，ｎ）に単独で依存せず、その代わりに、その特定のＴＦタイルに対するＭＡＳＡ方向対全体エネルギー比ｒ_MASA（ｋ，ｎ）とストリーム分離メトリックμ（ｋ，ｎ）との結合に依存することがある。

【0122】

実施形態では、依存性のこの結合を、最初に、量子化されたＭＡＳＡ方向対全体エネルギー比ｒ_MASA（ｋ，ｎ）に、そのＴＦタイルに対する量子化されたストリーム分離メトリックμ_q（ｋ，ｎ）（またはＭＡＳＡ対全体エネルギー比）を乗じて、重み付けされたＭＡＳＡ方向対全体エネルギー比ｗｒ_MASA（ｋ，ｎ）を与えることによって表現することができる。
ｗｒ_MASA（ｋ，ｎ）＝μ_q（ｋ，ｎ）＊ｒ_MASA（ｋ，ｎ）

【0123】

次いで、復号器に送信されている一組のＭＡＳＡ空間音声パラメータをＴＦタイルベースで量子化するために割り当てるビットの数を決定するために、（そのＴＦタイルに対する）重み付けされたＭＡＳＡ方向対全体エネルギー比ｗｒ_MASA（ｋ，ｎ）を、スカラー量子化器、例えば３ビット量子化器を用いて量子化することができる。明白にするために、この一組のＭＡＳＡ空間音声パラメータは、少なくとも、方向パラメータΦ_MASA（ｋ，ｎ）および高度θ_MASA（ｋ，ｎ）、ならびに方向対全体エネルギー比ｒ_MASA（ｋ，ｎ）を含む。

【0124】

例えば、重み付けされたＭＡＳＡ方向対全体エネルギーｗｒ_MASA（ｋ，ｎ）を量子化するために使用される３ビット量子化器からのインデックスは、以下のアレイ［１１，１１，１０，９，７，６，５，３］からビット割当てを与えることができる。

【0125】

次いで、特許出願公開である国際公開第２０２０／０８９５１０号パンフレット、国際公開第２０２０／０７０３７７号パンフレット、国際公開第２０２０／００８１０５号パンフレット、国際公開第２０２０／１９３８６５号パンフレットおよび国際公開第２０２１／０４８４６８号パンフレットに詳細に説明されているいくつかの例示的なプロセスを使用することによって、上記のものなどのアレイからのビット割当てを使用した、方向パラメータΦ_MASA（ｋ，ｎ）、θ_MASA（ｋ，ｎ）、さらにスプレッドコヒーレンスおよびサラウンドコヒーレンス（言い換えるとそのＴＦタイルに対する残りの空間音声パラメータ）の符号化に進むことができる。

【0126】

他の実施形態では、量子化段階の分解能を、ＭＡＳＡ方向対全体エネルギー比ｒ_MASA（ｋ，ｎ）に関して可変とすることができる。例えば、ＭＡＳＡ対全体エネルギー比μ_q（ｋ，ｎ）が低い（例えば０．２５よりも小さい）場合には、低分解能量子化器、例えば１ビット量子化器を用いてＭＡＳＡ方向対全体エネルギー比ｒ_MASA（ｋ，ｎ）を量子化することができる。しかしながら、ＭＡＳＡ対全体エネルギー比μ_q（ｋ，ｎ）がより高い（例えば０．２５～０．５の間である）場合には、より高分解能の量子化器、例えば２ビット量子化器を使用することができる。しかしながら、ＭＡＳＡ対全体エネルギー比μ_q（ｋ，ｎ）が０．５（または次に低い分解能の量子化器に対するしきい値よりも高い他のあるしきい値）よりも大きい場合には、よりいっそう高い分解能の量子化器、例えば３ビット量子化器を使用することができる。

【0127】

次いで、ＭＡＳＡ空間パラメータセット符号器１２１からの出力は、量子化されたＭＡＳＡ方向対全体エネルギー比、量子化されたＭＡＳＡ方向パラメータ、量子化されたスプレッドおよびサラウンドコヒーレンスパラメータを表す量子化インデックスであることがある。図１では、これが、符号化されたＭＡＳＡメタデータとして示されている。

【0128】

同様の目的で、すなわち、音声オブジェクト空間音声パラメータ（言い換えると音声オブジェクトメタデータ）の符号化および量子化を駆動するため、またはそのような符号化および量子化に影響を与えるために、量子化されたＭＡＳＡ対全体エネルギー比μ_q（ｋ，ｎ）を音声オブジェクト空間パラメータセット符号器１２１に渡すこともできる。

【0129】

上述のとおり、ＭＡＳＡ対全体エネルギー比μ_q（ｋ，ｎ）を使用して、音声オブジェクトｉに対する音声オブジェクト対全体エネルギー比ｒ_obj（ｋ，ｎ，ｉ）の量子化に影響を与えることができる。例えば、ＭＡＳＡ対全体エネルギー比が低い場合には、低分解能量子化器、例えば１ビット量子化器を用いて音声オブジェクト対全体エネルギー比ｒ_obj（ｋ，ｎ，ｉ）を量子化することができる。しかしながら、ＭＡＳＡ対全体エネルギー比がより高い場合には、より高分解能の量子化器、例えば２ビット量子化器を使用することができる。しかしながら、ＭＡＳＡ対全体エネルギー比が０．５（または次に低い分解能の量子化器に対するしきい値よりも高い他のあるしきい値）よりも大きい場合には、よりいっそう高い分解能の量子化器、例えば３ビット量子化器を使用することができる。

【0130】

さらに、ＭＡＳＡ対全体エネルギー比μ_q（ｋ，ｎ）を使用して、音声フレームに対する音声オブジェクト方向パラメータの量子化に影響を与えることもできる。通常、これは、最初に、全体の音声フレームに対するＭＡＳＡ対全体エネルギー比μ_Fを表す全体のファクタを見つけることによって達成することができる。いくつかの実施形態では、μ_Fを、そのフレームの中の全てのＴＦタイルについてＭＡＳＡ対全体エネルギー比μ_q（ｋ，ｎ）の最小値とすることができる。他の実施形態は、そのフレーム内の全てのＴＦタイルについてＭＡＳＡ対全体エネルギー比μ_q（ｋ，ｎ）の平均値になるようにμ_Fを計算することができる。次いで、全体の音声フレームに対するＭＡＳＡ対全体エネルギー比μ_Fを使用して、そのフレームに対する音声オブジェクト方向パラメータの量子化を誘導することができる。例えば、全体の音声フレームに対するＭＡＳＡ対全体エネルギー比μ_Fが高い場合には、低分解能量子化器を用いて音声オブジェクト方向パラメータを量子化することができ、全体の音声フレームに対するＭＡＳＡ対全体エネルギー比μ_Fが低いときには、高分解能量子化器を用いて音声オブジェクト方向パラメータを量子化することができる。

【0131】

次いで、音声オブジェクトパラメータセット符号器１２１からの出力は、音声フレームのＴＦタイルに対する量子化された音声オブジェクト対全体エネルギー比ｒ_obj（ｋ，ｎ，ｉ）を表す量子化インデックス、およびそれぞれの音声オブジェクトｉに対する量子化された音声オブジェクト方向パラメータを表す量子化インデックスであることがある。図１では、これが、符号化された音声オブジェクトメタデータとして示されている。

【0132】

音声符号器コア１０９に関しては、ＭＡＳＡトランスポート音声（例えばダウンミックス）信号１０４および音声オブジェクトトランスポート信号１２４を受け取り、それらを結合して、結合された単一の音声トランスポート信号にするように、この処理ブロックを配置することができる。次いで、結合された音声トランスポート信号を、適当な音声符号器を使用して符号化することができる。適当な音声符号器の例には、３ＧＰＰエンハンストボイスサービスコーデックまたはＭＰＥＧアドバンスドオーディオコーデックを含めることができる。

【0133】

次いで、符号化されたＭＡＳＡメタデータ、符号化されたストリーム分離メタデータ、符号化された音声オブジェクトメタデータおよび符号化された結合されたトランスポート音声信号を多重化することによって、記憶または送信のためのビットストリームを形成することができる。

【0134】

このシステムは、符号化されたトランスポートおよびメタデータを取り出すこと／受け取ることができる。

【0135】

次いで、このシステムは、符号化されたトランスポートおよびメタデータパラメータからトランスポートおよびメタデータを抽出するように、例えば符号化されたトランスポートおよびメタデータパラメータを逆多重化および復号するように構成される。

【0136】

このシステム（合成部分）は、抽出されたトランスポート音声信号およびメタデータに基づいて出力マルチチャネル音声信号を合成するように構成される。

【0137】

この点に関して、図３は、本出願の実施形態を実施するための例示的な装置およびシステムを示している。このシステムは、（例えばマルチチャネルラウドスピーカ形態での）再生成された空間音声信号の提示に対する、符号化されたメタデータおよびダウンミックス信号の復号を示している「合成」部分３３１を有するものとして示されている。

【0138】

図３に関して、受け取ったまたは取り出したデータ（ストリーム）は、デマルチプレクサによって受け取ることができる。このデマルチプレクサは、符号化されたストリーム（符号化されたＭＡＳＡメタデータ、符号化されたストリーム分離メタデータ、符号化された音声オブジェクトメタデータおよび符号化されたトランスポート音声信号）を逆多重化し、符号化されたストリームを復号器３０７に渡すことができる。

【0139】

符号化された音声ストリームは、符号化されたトランスポート音声信号を復号して復号されたトランスポート音声信号を取得するように構成された音声復号コア３０４に渡すことができる。

【0140】

同様に、符号化されたストリーム分離メタデータをストリーム分離メタデータ復号器３０２に渡すように、デマルチプレクサを配置することができる。次いで、下記のことを実行することよって符号化されたストリーム分離メタデータを復号するように、ストリーム分離メタデータ復号器３０２を配置することができる。
－ゼロ次のＤＣＴ係数をデインデックスする（ｄｅｉｎｄｅｘｉｎｇ）こと。
－復号されたビットの数が許容ビット数の範囲内にあるとの条件で、残りのＤＣＴ係数をＧｏｌｏｍｂＲｉｃｅ復号すること。
－残りの係数をゼロにセットすること。
－音声フレームのＴＦタイルに対する復号された量子化されたＭＡＳＡ対全体エネルギー比μ_q（ｋ，ｎ）を取得するために、逆２次元ＤＣＴ変換を適用すること。

【0141】

図３に示されているように、音声フレームのＭＡＳＡ対全体エネルギー比μ_q（ｋ，ｎ）を、ＭＡＳＡメタデータ復号器３０１および音声オブジェクトメタデータ復号器３０３に渡して、それらの対応するそれぞれの空間音声（メタデータ）パラメータの復号を容易にすることができる。

【0142】

ＭＡＳＡメタデータ復号器３０１は、符号化されたＭＡＳＡメタデータを受け取り、ＭＡＳＡ対全体エネルギー比μ_q（ｋ，ｎ）の助けを借りて復号されたＭＡＳＡ空間音声パラメータを提供するように配置されたものとすることができる。実施形態では、これが、音声フレームごとに以下の形態をとることができる。

【0143】

最初に、符号器によって使用されたステップの逆ステップを使用して、ＭＡＳＡ方向対全体エネルギー比ｒ_MASA（ｋ，ｎ）をデインデックスする。このステップのこの結果は、ＴＦタイルごとの方向対全体エネルギー比ｒ_MASA（ｋ，ｎ）である。

【0144】

次いで、重み付けされた方向対全体エネルギー比ｗｒ_MASA（ｋ，ｎ）を提供するために、ＴＦタイルごとの方向対全体エネルギー比ｒ_MASA（ｋ，ｎ）に、対応するＭＡＳＡ対全体エネルギー比μ_q（ｋ，ｎ）を用いて重み付けすることができる。これは、音声フレーム内の全てのＴＦタイルに対して繰り返される。

【0145】

次いで、符号器で使用されたものと同じ最適化されたスカラー量子化器、例えば最適化された３ビットスカラー量子化器を使用して、重み付けされた方向対全体エネルギー比ｗｒ_MASA（ｋ，ｎ）をスカラー量子化することができる。

【0146】

符号器の場合と同様に、スカラー量子化器からのインデックスを使用して、残りのＭＡＳＡ空間音声パラメータを符号化するのに使用する割当てビット数を決定することができる。例えば、符号器に関して挙げた例では、ＭＡＳＡ空間音声パラメータの量子化のためのビット割当てを決定するのに、最適化された３ビットスカラー量子化器を使用した。ビット割当てが決定された後、残りの量子化されたＭＡＳＡ空間音声パラメータを決定することができる。これは、以下の特許出願公開、すなわち国際公開第２０２０／０８９５１０号パンフレット、国際公開第２０２０／０７０３７７号パンフレット、国際公開第２０２０／００８１０５号パンフレット、国際公開第２０２０／１９３８６５号パンフレットおよび国際公開第２０２１／０４８４６８号パンフレットに記載された方法のうちの少なくとも１つの方法に従って実行することができる。

【0147】

ＭＡＳＡメタデータ復号器３０１における上記のステップは、音声フレーム内の全てのＴＦタイルに対して実行される。

【0148】

音声オブジェクトメタデータ復号器３０１は、符号化された音声オブジェクトメタデータを受け取り、量子化されたＭＡＳＡ対全体エネルギー比μ_q（ｋ，ｎ）の助けを借りて復号された音声オブジェクト空間音声パラメータを提供するように配置されたものとすることができる。実施形態では、これが、音声フレームごとに以下の形態をとることができる。

【0149】

いくつかの実施形態では、それぞれの音声オブジェクトｉおよび音声フレームのＴＦタイル（ｋ，ｎ）に対する音声オブジェクト対全体エネルギー比ｒ_obj（ｋ，ｎ，ｉ）を、受け取った音声オブジェクト対全体エネルギー比ｒ_obj（ｋ，ｎ，ｉ）を復号する目的に使用することができる複数の量子化器からの正確な分解能の量子化器の助けを借りて、デインデックスすることができる。上述のとおり、音声オブジェクト対全体エネルギー比ｒ_obj（ｋ，ｎ，ｉ）は、さまざまな分解能の複数の量子化器のうちの１つの量子化器を使用して量子化することができる。使用された音声オブジェクト対全体エネルギー比ｒ_obj（ｋ，ｎ，ｉ）を量子化する特定の量子化器は、ＴＦタイルに対する量子化されたＭＡＳＡ対全体エネルギー比μ_q（ｋ，ｎ）の値によって決定される。その結果として、音声オブジェクトメタデータ復号器３０１において、音声オブジェクト対全体エネルギー比ｒ_obj（ｋ，ｎ，ｉ）に対する対応する逆量子化器（ｄｅ－ｑｕａｎｔｉｚｅｒ）を選択するために、ＴＦタイルに対する量子化されたＭＡＳＡ対全体エネルギー比μ_q（ｋ，ｎ）が使用される。言い換えると、ＭＡＳＡ対全体エネルギー比μ_q（ｋ，ｎ）値の範囲と異なる逆量子化器との間のマッピングが存在してもよい。

【0150】

あるいは、全体の音声フレームμ_Fに対するＭＡＳＡ対全体エネルギー比を表す全体ファクタを与えるために、音声フレームのＴＦタイルごとの量子化されたＭＡＳＡ対全体エネルギー比μ_q（ｋ，ｎ）を変換することもできる。符号器において実施された特定の実施態様によれば、μ_Fの導出は、フレームのＴＦタイル間の最小の量子化されたＭＡＳＡ対全体エネルギー比μ_q（ｋ，ｎ）を選択する形態、または音声フレームのＭＡＳＡ対全体エネルギー比μ_q（ｋ，ｎ）の全体について平均値を決定する形態をとることができる。μ_Fの値を使用して、音声フレームに対する音声オブジェクト方向パラメータを逆量子化するための特定の逆量子化器を（複数の逆量子化器の中から）選択することができる。

【0151】

次いで、音声オブジェクトメタデータ復号器３０１からの出力を、音声オブジェクトごとの、音声フレームに対する復号された量子化された音声オブジェクト方向パラメータ、および音声フレームのＴＦタイルに対する復号された量子化された音声オブジェクト対全体エネルギー比ｒ_obj（ｋ，ｎ，ｉ）とすることができる。図３では、これらのパラメータが、復号された音声オブジェクトメタデータとして示されている。

【0152】

いくつかの実施形態では、復号器３０７を、（メモリ上および少なくとも１つのプロセッサ上に記憶された適当なソフトウェアを実行する）コンピュータまたモバイルデバイスとすることができ、または、その代わりに、復号器３０７を、特定のデバイス、例えばＦＰＧＡまたはＡＳＩＣを利用する特定のデバイスとすることもできる。

【0153】

復号されたメタデータおよびトランスポート音声信号は、空間合成プロセッサ３０５に渡すことができる。

【0154】

トランスポートおよびメタデータを受け取り、トランスポート信号およびメタデータに基づいて、マルチチャネル信号の形態の合成された空間音声信号を適当な任意のフォーマット（これらは、使用事例に応じて、マルチチャネルラウドスピーカフォーマット、もしくは、いくつかの実施形態では、バイノーラルまたはアンビソニックス信号などの適当な任意の出力フォーマットであってもよく、または実際にＭＡＳＡフォーマットであってもよい）で再生成するように構成された空間合成プロセッサ３０５。適当な空間合成プロセッサ３０５の一例が、特許出願公開である国際公開第２０１９／０８６７５７号パンフレットに出ている。

【0155】

他の実施形態では、空間合成プロセッサ３０５が、マルチチャネル出力信号を生成するための異なる手法をとることができる。これらの実施形態では、メタデータドメインにおいてＭＡＳＡメタデータと音声オブジェクトメタデータとを結合することによって、メタデータドメインにおいてレンダリングを実行することができる。結合されたメタデータ空間パラメータを、レンダリングメタデータ空間パラメータと呼ぶことができ、結合されたメタデータ空間パラメータを、空間音声方向ベースで照合することができる。例えば、識別された１つの空間音声方向を有する、符号器へのマルチチャネル入力信号を有する場合、レンダリングされたＭＡＳＡ空間音声パラメータは、以下のように設定することができる。
θ_render（ｋ，ｎ，ｉ）＝θ_MASA（ｋ，ｎ）
Φ_render（ｋ，ｎ，ｉ）＝Φ_MASA（ｋ，ｎ）
ζ_render（ｋ，ｎ，ｉ）＝ζ_MASA（ｋ，ｎ）
ｒ_render（ｋ，ｎ，ｉ）＝ｒ_MASA（ｋ，ｎ）μ（ｋ，ｎ）
上式で、ｉは方向番号を意味する。例えば、入力されたマルチチャネル入力信号に関係する１つの空間音声方向の場合、この１つのＭＡＳＡ空間音声方向を示すために、ｉは値１をとることができる。さらに、ＭＡＳＡ対全体エネルギー比によって、「レンダリングされた」方向対全体エネルギー比ｒ_render（ｋ，ｎ，ｉ）をＴＦタイルベースで変更することができる。

【0156】

音声オブジェクト空間音声パラメータを、結合されたメタデータ空間パラメータに以下のように加えることができる。
θ_render（ｋ，ｎ，ｉ_obj＋１）＝θ_obj（ｎ，ｉ_obj）
Φ_render（ｋ，ｎ，ｉ_obj＋１）＝Φ_obj（ｎ，ｉ_obj）
ζ_render（ｋ，ｎ，ｉ_obj＋１）＝０
ｒ_render（ｋ，ｎ，ｉ_obj＋１）＝ｒ_obj（１－μ（ｋ，ｎ））
上式で、ｉ_objは音声オブジェクト番号である。この例では、スプレッドコヒーレンスζを持たないように、音声オブジェクトが決定される。最後に、ＭＡＳＡ対全体エネルギー比（μ）を使用して拡散対全体エネルギー比（ψ）が、変更され、サラウンドコヒーレンス（γ）は直接に設定される。
ψ_render（ｋ，ｎ）＝ψ_MASA（ｋ，ｎ）μ（ｋ，ｎ）
γ_render（ｋ，ｎ）＝γ_MASA（ｋ，ｎ）

【0157】

図４に関しては、分析または合成デバイスとして使用することができる例示的な電子デバイスが示されている。このデバイスは、適当な任意の電子デバイスまたは装置とすることができる。例えば、いくつかの実施形態では、デバイス１４００が、モバイルデバイス、ユーザ機器、タブレットコンピュータ、コンピュータ、音声再生装置などである。

【0158】

いくつかの実施形態では、デバイス１４００が、少なくとも１つのプロセッサまたは中央処理ユニット１４０７を備える。プロセッサ１４０７は、例えば本明細書に記載された方法など、さまざまなプログラムコードを実行するように構成されたものとすることができる。

【0159】

いくつかの実施形態では、デバイス１４００がメモリ１４１１を備える。いくつかの実施形態では、メモリ１４１１に、少なくとも１つのプロセッサ１４０７が結合されている。メモリ１４１１は、適当な任意の記憶手段とすることができる。いくつかの実施形態では、メモリ１４１１が、プロセッサ１４０７上で実施可能なプログラムコードを記憶するためのプログラムコードセクションを備える。その上、いくつかの実施形態では、メモリ１４１１がさらに、データ、例えば本明細書に記載された実施形態に従って処理されたデータまたは処理することになるデータを記憶するための記憶データセクションを備えることができる。プログラムコードセクション内に記憶された実施されたプログラムコードおよび記憶データセクション内に記憶されたデータは、必要なときにいつでも、メモリ－プロセッサ結合を介してプロセッサ１４０７によって取り出すことができる。

【0160】

いくつかの実施形態では、デバイス１４００がユーザインタフェース１４０５を備える。いくつかの実施形態では、ユーザインタフェース１４０５をプロセッサ１４０７に結合することができる。いくつかの実施形態では、プロセッサ１４０７が、ユーザインタフェース１４０５の動作を制御すること、およびユーザインタフェース１４０５から入力を受け取ることができる。いくつかの実施形態では、ユーザがコマンドをデバイス１４００に例えばキーパッドを介して入力することをユーザインタフェース１４０５が可能にすることができる。いくつかの実施形態では、ユーザがデバイス１４００から情報を取得することをユーザインタフェース１４０５が可能にすることができる。例えば、ユーザインタフェース１４０５は、デバイス１４００からユーザへの情報を表示するように構成されたディスプレイを備えることができる。いくつかの実施形態では、ユーザインタフェース１４０５が、デバイス１４００に情報を入力することを可能にすること、さらにデバイス１４００のユーザに対して情報を表示することの両方ができるタッチスクリーンまたはタッチインタフェースを備えることができる。いくつかの実施形態では、ユーザインタフェース１４０５を、本明細書に記載された位置決定器と通信するためのユーザインタフェースとすることができる。

【0161】

いくつかの実施形態では、デバイス１４００が入力／出力ポート１４０９を備える。いくつかの実施形態では、入力／出力ポート１４０９がトランシーバを備える。このような実施形態では、トランシーバをプロセッサ１４０７に結合することができ、トランシーバを、他の装置または電子デバイスと例えば無線通信ネットワークを介して通信することを可能にするように構成することができる。いくつかの実施形態では、このトランシーバ、あるいは適当な任意のトランシーバまたは送信および／もしくは受信手段を、導線または有線結合を介して他の電子デバイスまたは装置と通信するように構成することができる。

【0162】

このトランシーバは、知られている適当な任意の通信プロトコルによって追加の装置と通信することができる。例えば、いくつかの実施形態において、このトランシーバは、適当なユニバーサルモバイルテレコミュニケーションズシステム（ｕｎｉｖｅｒｓａｌｍｏｂｉｌｅｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓｓｙｓｔｅｍ）（ＵＭＴＳ）プロトコル、例えばＩＥＥＥ８０２．Ｘなどのワイヤレスローカルエリアネットワーク（ＷＬＡＮ）プロトコル、Ｂｌｕｅｔｏｏｔｈまたはインフラレッドデータコミュニケーションパスウェイ（ｉｎｆｒａｒｅｄｄａｔａｃｏｍｍｕｎｉｃａｔｉｏｎｐａｔｈｗａｙ）（ＩＲＤＡ）などの適当な短距離高周波通信プロトコルを使用することができる。

【0163】

トランシーバ入力／出力ポート１４０９は、信号を受け取るように構成することができ、いくつかの実施形態では、適当なコードを実行するプロセッサ１４０７を使用することによって本明細書に記載されたパラメータを決定するように構成することができる。さらに、このデバイスは、合成デバイスに送信する適当なダウンミックス信号およびパラメータ出力を生成することができる。

【0164】

いくつかの実施形態では、デバイス１４００を、合成デバイスの少なくとも一部分として使用することができる。そのため、ダウンミックス信号、および、いくつかの実施形態では、本明細書に記載された捕捉デバイスまたは処理デバイスで決定されたパラメータを受け取り、適当な音声信号フォーマット出力を、適当なコードを実行するプロセッサ１４０７を使用することによって生成するように、入力／出力ポート１４０９を構成することができる。入力／出力ポート１４０９を、適当な任意の音声出力、例えばマルチチャネルスピーカシステムおよび／もしくはヘッドホン、または同様の装置に結合することができる。

【0165】

一般に、本発明のさまざまな実施形態は、ハードウェアもしくは専用回路、ソフトウェア、論理またはこれらの任意の組合せで実施することができる。例えば、いくつかの態様はハードウェアで実施することができ、他の態様は、コントローラ、マイクロプロセッサまたは他のコンピューティングデバイスによって実行することができるファームウェアまたはソフトウェアで実施することができる。ただし本発明はこれらに限定されない。本発明のさまざまな態様は、ブロック図もしくは流れ図として、または他のある絵図表現を使用して図示または説明されることがあるが、本明細書に記載されたこれらのブロック、装置、システム、技法または方法は、非限定的な例として、ハードウェア、ソフトウェア、ファームウェア、専用回路もしくは論理、汎用ハードウェアもしくはコントローラ、または他のコンピューティングデバイス、あるいはこれらのある組合せで実施することができることが十分に理解される。

【0166】

本発明の実施形態は、モバイルデバイスのデータプロセッサによって実行可能なコンピュータソフトウェアによって例えばそのプロセッサ実体内で、またはハードウェアによって、またはソフトウェアとハードウェアの組合せによって実施することができる。さらに、この点に関して、図の論理フローのブロックはいずれも、プログラムステップ、もしくは相互接続された論理回路、ブロックおよび機能、またはプログラムステップと論理回路、ブロックおよび機能の組合せを表すことがあることに留意すべきである。ソフトウェアは、メモリチップなどの物理媒体、またはプロセッサ内に実施されたメモリブロック、ハードディスクもしくはフロッピーディスクなどの磁気媒体、ならびに例えばＤＶＤおよびそのデータ異型、ＣＤなどの光学媒体上に記憶されたものとすることができる。

【0167】

メモリは、局所的技術環境に適した任意のタイプのメモリとすることができ、半導体ベースのメモリデバイス、磁気メモリデバイスおよびシステム、光学メモリデバイスおよびシステム、固定メモリおよび取外し可能メモリなどの適当な任意のデータ記憶技術を使用して実施することができる。データプロセッサは、局所的技術環境に適した任意のタイプのデータプロセッサとすることができ、非限定的な例として、汎用コンピュータ、専用コンピュータ、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、マルチコアプロセッサアーキテクチャに基づくゲートレベル回路およびプロセッサのうちの１つまたは複数を含むことができる。

【0168】

本発明の実施形態は、集積回路モジュールなどのさまざまな構成要素内で実行することができる。集積回路の設計は概して高度に自動化されたプロセスである。論理レベル設計を、半導体基板上でエッチングおよび形成する準備ができた半導体回路設計に変換するための複雑で強力なソフトウェアツールが使用可能である。

【0169】

プログラムは、適切に確立された設計ルールおよび予め記憶された設計モジュールのライブラリを使用して、半導体チップ上で導体を配線すること、および構成要素を配置することができる。半導体回路の設計が完了した後、その結果得られた設計を、製造のために、標準化された電子フォーマットで、半導体製造設備または「ファブ（ｆａｂ）」に送信することができる。

【0170】

以上の説明では、本発明の例示的な実施形態の情報を提供する十分な説明を、例示的で非限定的な例として提供した。しかしながら、以上の説明を添付図面および添付の特許請求項とともに読んだときに、以上の説明を考慮したさまざまな変更および適合が当業者に明らかになることがある。しかしながら、それでもなお、本発明の教示のそのような全ての変更および同様の変更は、添付の特許請求項に規定された本発明の範囲に含まれる。

【図1】

【図2】

【図3】

【図4】

【手続補正書】

【提出日】2023-09-22

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

【請求項2】

【請求項3】

【請求項4】

【請求項5】

前記少なくとも１つの空間音声パラメータが、前記入力音声信号の前記時間周波数タイルに対する方向パラメータであり、前記エネルギー比パラメータが方向対全体エネルギー比である、請求項３または４に記載の方法。

【請求項6】

【請求項7】

【請求項8】

【請求項9】

【請求項10】

【請求項11】

前記音声シーン分離メトリックおよび前記追加の音声シーン分離メトリックを表現するための前記ファクタが、
前記音声シーン分離メトリックと前記追加の音声シーン分離メトリックの平均、または
前記音声シーン分離メトリックと前記追加の音声シーン分離メトリックの最小
のうちの一方である、請求項９または１０に記載の方法。

【請求項12】

前記音声シーン分離メトリックが、前記入力音声信号および前記追加の入力音声信号を含む音声シーンに対する、前記入力音声信号と前記追加の入力音声信号のうちのそれぞれの信号の相対寄与の測度を提供する、請求項１～１１のいずれか１項に記載の方法。

【請求項13】

【請求項14】

前記入力音声信号が２つ以上の音声チャネル信号を含み、前記追加の入力音声信号が複数の音声オブジェクト信号を含む、請求項１～１３のいずれか１項に記載の方法。

【請求項15】

【請求項16】

【請求項17】

【請求項18】

【請求項19】

【請求項20】

【請求項21】

前記音声シーン分離メトリックが、前記第１の音声信号および前記第２の音声信号を含む音声シーンに対する、前記第１の音声信号と前記第２の音声信号のうちのそれぞれの信号の相対寄与の測度を提供する、請求項１５～２０のいずれか１項に記載の方法。

【請求項22】

前記第１の音声信号が２つ以上の音声チャネル信号を含み、前記第２の入力音声信号が複数の音声オブジェクト信号を含む、請求項１５～２１のいずれか１項に記載の方法。

【請求項23】

【請求項24】

【請求項25】

【請求項26】

【請求項27】

前記少なくとも１つの空間音声パラメータが、前記入力音声信号の前記時間周波数タイルに対する方向パラメータであり、前記エネルギー比パラメータが方向対全体エネルギー比である、請求項２５または２６に記載の装置。

【請求項28】

【請求項29】

【請求項30】

【請求項31】

【請求項32】

【請求項33】

前記音声シーン分離メトリックおよび前記追加の音声シーン分離メトリックを表現するための前記ファクタが、
前記音声シーン分離メトリックと前記追加の音声シーン分離メトリックの平均、または
前記音声シーン分離メトリックと前記追加の音声シーン分離メトリックの最小
のうちの一方である、請求項３１または３２に記載の装置。

【請求項34】

ストリーム分離インデックスが、前記入力音声信号および前記追加の入力音声信号を含む音声シーンに対する、前記入力音声信号と前記追加の入力音声信号のうちのそれぞれの信号の相対寄与の測度を提供する、請求項２３～３３のいずれか１項に記載の装置。

【請求項35】

【請求項36】

前記入力音声信号が２つ以上の音声チャネル信号を含み、前記追加の入力音声信号が複数の音声オブジェクト信号を含む、請求項２３～３５のいずれか１項に記載の装置。

【請求項37】

【請求項38】

【請求項39】

【請求項40】

【請求項41】

【請求項42】

【請求項43】