▶ フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェラインの特許一覧
特開2023-175947スクリーン関連オーディオオブジェクトリマッピングのための装置および方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023175947
(43)【公開日】2023-12-12
(54)【発明の名称】スクリーン関連オーディオオブジェクトリマッピングのための装置および方法
(51)【国際特許分類】
H04S 7/00 20060101AFI20231205BHJP
【ＦＩ】
H04S7/00 300
【審査請求】有
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2023174101
(22)【出願日】2023-10-06
(62)【分割の表示】P 2020118271の分割
【原出願日】2015-03-25
(31)【優先権主張番号】14161819.9
(32)【優先日】2014-03-26
(33)【優先権主張国・地域又は機関】EP
(31)【優先権主張番号】14196769.5
(32)【優先日】2014-12-08
(33)【優先権主張国・地域又は機関】EP
(71)【出願人】
【識別番号】500341779
【氏名又は名称】フラウンホーファー－ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
(74)【代理人】
【識別番号】110003993
【氏名又は名称】弁理士法人野口新生特許事務所
(72)【発明者】
【氏名】ジモーネ・フュグ
(72)【発明者】
【氏名】ヤン・プログスティエス
(72)【発明者】
【氏名】ザッシャ・ディック
(72)【発明者】
【氏名】ヨハネス・ヒルパート
(72)【発明者】
【氏名】ユリアン・ロビリアード
(72)【発明者】
【氏名】アキーム・クンツ
(72)【発明者】
【氏名】アンドレアス・ホェルツァー
(57)【要約】 （修正有）
【課題】スクリーン関連オーディオオブジェクトリマッピングのための装置及び方法を提供する。
【解決手段】装置において、オブジェクトレンダラ１２０はオーディオオブジェクトを受信し、オブジェクトメタデータプロセッサ１１０はメタデータを受信する。オブジェクトメタデータプロセッサは、オーディオオブジェクトがメタデータにおいてスクリーン関連であるとして指示されている場合、オーディオオブジェクトの第１の位置およびスクリーンのサイズに応じてオーディオオブジェクトの第２の位置を計算し、オブジェクトレンダラに位置情報を供給し、オーディオオブジェクトがメタデータにおいてスクリーン関連でないとして指示されている場合、オーディオオブジェクトの第１の位置を位置情報としてオブジェクトレンダラに供給する。オブジェクトレンダラは、オーディオオブジェクトおよび位置情報に応じてスピーカ信号を生成する。
【選択図】図１
【解決手段】装置において、オブジェクトレンダラ１２０はオーディオオブジェクトを受信し、オブジェクトメタデータプロセッサ１１０はメタデータを受信する。オブジェクトメタデータプロセッサは、オーディオオブジェクトがメタデータにおいてスクリーン関連であるとして指示されている場合、オーディオオブジェクトの第１の位置およびスクリーンのサイズに応じてオーディオオブジェクトの第２の位置を計算し、オブジェクトレンダラに位置情報を供給し、オーディオオブジェクトがメタデータにおいてスクリーン関連でないとして指示されている場合、オーディオオブジェクトの第１の位置を位置情報としてオブジェクトレンダラに供給する。オブジェクトレンダラは、オーディオオブジェクトおよび位置情報に応じてスピーカ信号を生成する。
【選択図】図１
【特許請求の範囲】
【請求項1】
スピーカ信号を生成するための装置であって、
オブジェクトメタデータプロセッサ（１１０）と、
オブジェクトレンダラ（１２０）と、を備え、
前記オブジェクトレンダラ（１２０）は、オーディオオブジェクトを受信するように構成されており、
前記オブジェクトメタデータプロセッサ（１１０）は、前記オーディオオブジェクトがスクリーン関連であるか否かに関する指示を含むとともに前記オーディオオブジェクトの第１の位置をさらに含むメタデータを受信するように構成されており、
前記オブジェクトメタデータプロセッサ（１１０）は、前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連であるとして指示されている場合、前記オーディオオブジェクトの前記第１の位置に応じて、かつスクリーンのサイズに応じて、前記オーディオオブジェクトの第２の位置を計算するように構成されており、
前記オブジェクトレンダラ（１２０）は、前記オーディオオブジェクトおよび位置情報に応じて前記スピーカ信号を生成するように構成されており、
前記オブジェクトメタデータプロセッサ（１１０）は、前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連でないとして指示されている場合、前記オーディオオブジェクトの前記第１の位置を前記位置情報として前記オブジェクトレンダラ（１２０）に供給するように構成されており、
前記オブジェクトメタデータプロセッサ（１１０）は、前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連であるとして指示されている場合、前記オーディオオブジェクトの前記第２の位置を前記位置情報として前記オブジェクトレンダラ（１２０）に供給するように構成されている装置。
オブジェクトメタデータプロセッサ（１１０）と、
オブジェクトレンダラ（１２０）と、を備え、
前記オブジェクトレンダラ（１２０）は、オーディオオブジェクトを受信するように構成されており、
前記オブジェクトメタデータプロセッサ（１１０）は、前記オーディオオブジェクトがスクリーン関連であるか否かに関する指示を含むとともに前記オーディオオブジェクトの第１の位置をさらに含むメタデータを受信するように構成されており、
前記オブジェクトメタデータプロセッサ（１１０）は、前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連であるとして指示されている場合、前記オーディオオブジェクトの前記第１の位置に応じて、かつスクリーンのサイズに応じて、前記オーディオオブジェクトの第２の位置を計算するように構成されており、
前記オブジェクトレンダラ（１２０）は、前記オーディオオブジェクトおよび位置情報に応じて前記スピーカ信号を生成するように構成されており、
前記オブジェクトメタデータプロセッサ（１１０）は、前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連でないとして指示されている場合、前記オーディオオブジェクトの前記第１の位置を前記位置情報として前記オブジェクトレンダラ（１２０）に供給するように構成されており、
前記オブジェクトメタデータプロセッサ（１１０）は、前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連であるとして指示されている場合、前記オーディオオブジェクトの前記第２の位置を前記位置情報として前記オブジェクトレンダラ（１２０）に供給するように構成されている装置。
【請求項2】
前記オブジェクトメタデータプロセッサ（１１０）は、前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連でないとして指示されている場合、前記オーディオオブジェクトの前記第２の位置を計算しないように構成されている請求項１に記載の装置。
【請求項3】
前記オブジェクトレンダラ（１２０）は、前記位置情報が前記オーディオオブジェクトの前記第１の位置または前記オーディオオブジェクトの前記第２の位置であるかを決定しないように構成されている請求項１または２に記載の装置。
【請求項4】
前記オブジェクトレンダラ（１２０）はさらに再生環境の前記スピーカの数に応じて前記スピーカ信号を生成するように構成されている請求項１から３のいずれか一項に記載の装置。
【請求項5】
前記オブジェクトレンダラ（１２０）は、前記再生環境の前記スピーカの各々のスピーカ位置にさらに応じて前記スピーカ信号を生成するように構成されている請求項４に記載の装置。
【請求項6】
前記オブジェクトメタデータプロセッサ（１１０）は、前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連であるとして指示されている場合、前記オーディオオブジェクトの前記第１の位置および前記スクリーンの前記サイズに応じて、前記オーディオオブジェクトの前記第２の位置を計算するように構成され、前記第１の位置は３次元空間内の前記第１の位置を示し、前記第２の位置は前記３次元空間内の前記第２の位置を示す請求項１から５のいずれか一項に記載の装置。
【請求項7】
前記オブジェクトメタデータプロセッサ（１１０）は、前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連であるとして指示されている場合、前記オーディオオブジェクトの前記第１の位置に応じて、かつ前記スクリーンの前記サイズに応じて、前記オーディオオブジェクトの前記第２の位置を計算するように構成され、前記第１の位置は第１の方位角、第１の仰角および第１の距離を示し、前記第２の位置は第２の方位角、第２の仰角および第２の距離を示す請求項６に記載の装置。
【請求項8】
前記オブジェクトメタデータプロセッサ（１１０）は、第１の指示として前記オーディオオブジェクトがスクリーン関連であるか否かに関する指示を含み、前記オーディオオブジェクトがスクリーン関連である場合、第２の指示をさらに含む前記メタデータを受信するように構成されており、前記第２の指示は、前記オーディオオブジェクトがオンスクリーンオブジェクトであるか否かを指示し、
前記オブジェクトメタデータプロセッサ（１１０）は、前記オーディオオブジェクトがオンスクリーンオブジェクトであることを前記第２の指示が指示する場合、前記第２の位置が前記スクリーンのスクリーン領域上の第１の値をとるように、前記オーディオオブジェクトの前記第１の位置および前記スクリーンの前記サイズに応じて、前記オーディオオブジェクトの前記第２の位置を計算するように構成されている請求項１から７のいずれか一項に記載の装置。
前記オブジェクトメタデータプロセッサ（１１０）は、前記オーディオオブジェクトがオンスクリーンオブジェクトであることを前記第２の指示が指示する場合、前記第２の位置が前記スクリーンのスクリーン領域上の第１の値をとるように、前記オーディオオブジェクトの前記第１の位置および前記スクリーンの前記サイズに応じて、前記オーディオオブジェクトの前記第２の位置を計算するように構成されている請求項１から７のいずれか一項に記載の装置。
【請求項9】
前記オブジェクトメタデータプロセッサ（１１０）は、前記オーディオオブジェクトが前記オンスクリーンオブジェクトでないことを前記第２の指示が指示する場合、スクリーン領域にあるかないかのいずれかである第２の値を前記第２の位置がとるように、前記オーディオオブジェクトの前記第１の位置に応じてかつ前記スクリーンの前記サイズに応じて、前記オーディオオブジェクトの前記第２の位置を計算するように構成されている、請求項８に記載の装置。
【請求項10】
前記オブジェクトメタデータプロセッサ（１１０）は、第１の指示として前記オーディオオブジェクトがスクリーン関連であるか否かに関する指示を含み、前記オーディオオブジェクトがスクリーン関連である場合に、第２の指示をさらに含む、前記メタデータを受信するように構成されており、前記第２の指示は、前記オーディオオブジェクトがオンスクリーンオブジェクトであるか否かを指示し、
前記オブジェクトメタデータプロセッサ（１１０）は、前記オーディオオブジェクトがオンスクリーンオブジェクトであることを前記第２の指示が指示する場合、前記オーディオオブジェクトの前記第１の位置、前記スクリーンの前記サイズ、および、マッピング曲線としての第１のマッピング曲線に応じて前記オーディオオブジェクトの前記第２の位置を計算するように構成されており、前記第１のマッピング曲線は、第１の値間隔における元のオブジェクト位置の、第２の値間隔におけるリマッピングされたオブジェクト位置に対するマッピングを定義し、
前記オブジェクトメタデータプロセッサ（１１０）は、前記オーディオオブジェクトがオンスクリーンオブジェクトでないことを前記第２の指示が指示する場合、前記オーディオオブジェクトの前記第１の位置、前記スクリーンの前記サイズ、および、前記マッピング曲線としての第２のマッピング曲線に応じて前記オーディオオブジェクトの前記第２の位置を計算するように構成されており、前記第２のマッピング曲線は、前記第１の値間隔における元のオブジェクト位置の、第３の値間隔におけるリマッピングされたオブジェクト位置に対するマッピングを定義し、前記第２の値間隔は前記第３の値間隔によって含まれ、前記第２の値間隔は前記第３の値間隔よりも小さい請求項１から７のいずれか一項に記載の装置。
前記オブジェクトメタデータプロセッサ（１１０）は、前記オーディオオブジェクトがオンスクリーンオブジェクトであることを前記第２の指示が指示する場合、前記オーディオオブジェクトの前記第１の位置、前記スクリーンの前記サイズ、および、マッピング曲線としての第１のマッピング曲線に応じて前記オーディオオブジェクトの前記第２の位置を計算するように構成されており、前記第１のマッピング曲線は、第１の値間隔における元のオブジェクト位置の、第２の値間隔におけるリマッピングされたオブジェクト位置に対するマッピングを定義し、
前記オブジェクトメタデータプロセッサ（１１０）は、前記オーディオオブジェクトがオンスクリーンオブジェクトでないことを前記第２の指示が指示する場合、前記オーディオオブジェクトの前記第１の位置、前記スクリーンの前記サイズ、および、前記マッピング曲線としての第２のマッピング曲線に応じて前記オーディオオブジェクトの前記第２の位置を計算するように構成されており、前記第２のマッピング曲線は、前記第１の値間隔における元のオブジェクト位置の、第３の値間隔におけるリマッピングされたオブジェクト位置に対するマッピングを定義し、前記第２の値間隔は前記第３の値間隔によって含まれ、前記第２の値間隔は前記第３の値間隔よりも小さい請求項１から７のいずれか一項に記載の装置。
【請求項11】
前記第１の値間隔、前記第２の値間隔および前記第３の値間隔は、方位角の値間隔であるか、または
前記第１の値間隔、前記第２の値間隔および前記第３の値間隔は仰角の値間隔である請求項１０に記載の装置。
前記第１の値間隔、前記第２の値間隔および前記第３の値間隔は仰角の値間隔である請求項１０に記載の装置。
【請求項12】
前記オブジェクトメタデータプロセッサ（１１０）は、第１の線形マッピング関数および第２の線形マッピング関数の少なくとも１つに応じて前記オーディオオブジェクトの前記第２の位置を計算するように構成されており、
前記第１の線形マッピング関数は、第１の方位角値を第２の方位角値にマッピングするように定義されており、
前記第２の線形マッピング関数は、第１の仰角値を第２の仰角値にマッピングするように定義されており、
は方位角スクリーン左端基準を示し、
は方位角スクリーン右端基準を示し、
は仰角スクリーン上端基準を示し、
は仰角スクリーン下端基準を示し、
は前記スクリーンの方位角スクリーン左端を示し、
は前記スクリーンの方位角スクリーン右端を示し、
は前記スクリーンの仰角スクリーン上端を示し、
は前記スクリーンの仰角スクリーン下端を示し、
は前記第１の方位角値を示し、
は前記第２の方位角値を示し、
θは前記第１の仰角値を示し、
θ’は前記第２の仰角値を示し、
前記第２の方位角値
は、以下の式に従って前記第１の線形マッピング関数による前記第１の方位角値
の第１のマッピングからもたらされ、
前記第２の仰角値θ’は、以下の式に従って前記第２の線形マッピング関数による前記第１の仰角値θの第２のマッピングからもたらされる請求項１から１１のいずれか一項に記載の装置。
前記第１の線形マッピング関数は、第１の方位角値を第２の方位角値にマッピングするように定義されており、
前記第２の線形マッピング関数は、第１の仰角値を第２の仰角値にマッピングするように定義されており、
θは前記第１の仰角値を示し、
θ’は前記第２の仰角値を示し、
前記第２の方位角値
【請求項13】
復号器デバイスであって、
１つまたは複数のオーディオ入力チャネルを取得し、１つまたは複数の入力オーディオオブジェクトを取得し、圧縮オブジェクトメタデータを取得し、１つまたは複数のＳＡＯＣトランスポートチャネルを取得するためにビットストリームを復号するためのＵＳＡＣ復号器（９１０）と、
１つまたは複数のレンダリングされたオーディオオブジェクトから成る第１のグループを取得するために前記１つまたは複数のＳＡＯＣトランスポートチャネルを復号するためのＳＡＯＣ復号器（９１５）と、
請求項１から１２のいずれか一項に記載の装置（９１７）であって、
請求項１から１２のいずれか一項に記載の装置の前記オブジェクトメタデータプロセッサ（１１０）であり、前記圧縮オブジェクトメタデータを復号して非圧縮メタデータを取得するために実装されるオブジェクトメタデータ復号器（９１８）、及び
前記非圧縮メタデータに応じて前記１つまたは複数の入力オーディオオブジェクトをレンダリングして、１つまたは複数のレンダリングされたオーディオオブジェクトから成る第２のグループを取得するための、請求項１から１２のいずれか一項に記載の装置の前記オブジェクトレンダラ（９２０；１２０）を有する装置（９１７）と、
１つまたは複数の変換済みチャネルを取得するために前記１つまたは複数のオーディオ入力チャネルを変換するためのフォーマット変換器（９２２）と、
１つまたは複数の復号オーディオチャネルを取得するために、前記１つまたは複数のレンダリングされたオーディオオブジェクトから成る第１のグループの前記１つまたは複数のオーディオオブジェクト、前記１つまたは複数のレンダリングされたオーディオオブジェクトから成る第２のグループの前記１つまたは複数のオーディオオブジェクト、および、１つまたは複数の変換済みオーディオチャネルを混合するための混合器（９３０）と、
を備えた復号器デバイス。
１つまたは複数のオーディオ入力チャネルを取得し、１つまたは複数の入力オーディオオブジェクトを取得し、圧縮オブジェクトメタデータを取得し、１つまたは複数のＳＡＯＣトランスポートチャネルを取得するためにビットストリームを復号するためのＵＳＡＣ復号器（９１０）と、
１つまたは複数のレンダリングされたオーディオオブジェクトから成る第１のグループを取得するために前記１つまたは複数のＳＡＯＣトランスポートチャネルを復号するためのＳＡＯＣ復号器（９１５）と、
請求項１から１２のいずれか一項に記載の装置（９１７）であって、
請求項１から１２のいずれか一項に記載の装置の前記オブジェクトメタデータプロセッサ（１１０）であり、前記圧縮オブジェクトメタデータを復号して非圧縮メタデータを取得するために実装されるオブジェクトメタデータ復号器（９１８）、及び
前記非圧縮メタデータに応じて前記１つまたは複数の入力オーディオオブジェクトをレンダリングして、１つまたは複数のレンダリングされたオーディオオブジェクトから成る第２のグループを取得するための、請求項１から１２のいずれか一項に記載の装置の前記オブジェクトレンダラ（９２０；１２０）を有する装置（９１７）と、
１つまたは複数の変換済みチャネルを取得するために前記１つまたは複数のオーディオ入力チャネルを変換するためのフォーマット変換器（９２２）と、
１つまたは複数の復号オーディオチャネルを取得するために、前記１つまたは複数のレンダリングされたオーディオオブジェクトから成る第１のグループの前記１つまたは複数のオーディオオブジェクト、前記１つまたは複数のレンダリングされたオーディオオブジェクトから成る第２のグループの前記１つまたは複数のオーディオオブジェクト、および、１つまたは複数の変換済みオーディオチャネルを混合するための混合器（９３０）と、
を備えた復号器デバイス。
【請求項14】
スピーカ信号を生成するための方法であって、
オーディオオブジェクトを受信するステップと、
前記オーディオオブジェクトがスクリーン関連であるか否かに関する指示を含み、前記オーディオオブジェクトの第１の位置をさらに含むメタデータを受信するステップと、
前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連であるとして指示されている場合、前記オーディオオブジェクトの前記第１の位置およびスクリーンのサイズに応じて、前記オーディオオブジェクトの第２の位置を計算するステップと、
前記オーディオオブジェクトおよび位置情報に応じて前記スピーカ信号を生成するステップと、を含み、
前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連でないとして指示されている場合、前記位置情報は、前記オーディオオブジェクトの前記第１の位置であり、
前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連であるとして指示されている場合、前記位置情報は、前記オーディオオブジェクトの前記第２の位置である方法。
オーディオオブジェクトを受信するステップと、
前記オーディオオブジェクトがスクリーン関連であるか否かに関する指示を含み、前記オーディオオブジェクトの第１の位置をさらに含むメタデータを受信するステップと、
前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連であるとして指示されている場合、前記オーディオオブジェクトの前記第１の位置およびスクリーンのサイズに応じて、前記オーディオオブジェクトの第２の位置を計算するステップと、
前記オーディオオブジェクトおよび位置情報に応じて前記スピーカ信号を生成するステップと、を含み、
前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連でないとして指示されている場合、前記位置情報は、前記オーディオオブジェクトの前記第１の位置であり、
前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連であるとして指示されている場合、前記位置情報は、前記オーディオオブジェクトの前記第２の位置である方法。
【請求項15】
コンピュータまたは信号プロセッサ上で実行されるときに請求項１４に記載の方法を実施するためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、オーディオ信号処理に関し、特に、オーディオオブジェクトリマッピングのための装置および方法、より詳細には、スクリーン関連オーディオオブジェクトリマッピングのための装置および方法に関する。
【背景技術】
【0002】
日常生活におけるマルチメディアコンテンツ消費の増大にともなって、洗練されたマルチメディアソリューションに対する需要が絶えず増大している。この側面において、視覚コンテンツおよびオーディオコンテンツを統合することが、重要な役割を果たす。視覚およびオーディオマルチメディアコンテンツを利用可能な視覚およびオーディオ再生設定に最適に調整することが望ましい。
【0003】
現行の技術水準において、オーディオオブジェクトは既に知られている。オーディオオブジェクトは、たとえば、関連付けられるメタデータを有する音声トラックと考えることができる。メタデータは、たとえば、未処理のオーディオデータの特性、たとえば、所望の再生位置または音量レベルを記述することができる。オブジェクトベースのオーディオの利点は、再生側の特定のレンダリング処理によって、すべての再生スピーカレイアウトにとって可能な最良の様式で所定の動きを再生することができることである。
【0004】
幾何学的メタデータを使用して、オーディオオブジェクトがどこでレンダリングされるべきか、たとえば、基準点、たとえば聴き手に対する方位角もしくは仰角または絶対位置を規定することができる。メタデータは、オブジェクトオーディオ信号とともに記憶され、または送信される。
【0005】
第１０５回ＭＰＥＧ会合におけるＭＰＥＧ－Ｈのコンテキストにおいて、このオーディオグループは、複数の異なるアプリケーション規格の要件および時間線を検討した。その検討によれば、次世代ブロードキャストシステムのために特定の時点と特定の要件とを合わせることが不可欠である。それによれば、システムは、符号化器入力においてオーディオオブジェクトを受け入れることが可能であるべきである。その上、システムは、オーディオオブジェクトのシグナリング、送達およびレンダリングをサポートすべきであり、たとえば、対話強化、代替言語トラックおよびオーディオ記述言語について、ユーザがオブジェクトを制御することを可能にすべきである。
【0006】
現行の技術水準において、種々の概念が提供されている。「Ｍｅｔｈｏｄ ａｎｄ ａｐｐａｒａｔｕｓ ｆｏｒ ｐｌａｙｂａｃｋ ｏｆ ａ ｈｉｇｈｅｒ－ｏｒｄｅｒ ａｍｂｉｓｏｎｉｃｓ ａｕｄｉｏ ｓｉｇｎａｌ」（［１］参照）において提示されている第１の従来技術によれば、そのリンクされている視覚オブジェクトに対する空間音場指向オーディオの再生が、空間ワーピング処理を適用することによって適合される。その従来技術において、復号器は、スクリーンの方向にあるすべての音声オブジェクトが、標的スクリーンと基準スクリーンとのサイズ比に従って圧縮または伸張されるように、音場をワーピングする。コンテンツ再生に使用されるスクリーンの基準サイズ（または基準聴取位置からの視野角）をメタデータとして、コンテンツとともに符号化し送信する可能性が含まれている。代替的に、固定基準スクリーンサイズが符号化において、また復号のために仮定され、復号器には、標的スクリーンの実際のサイズが分かっている。この従来技術において、復号器は、スクリーンの方向にあるすべての音声オブジェクトが、標的スクリーンのサイズと基準スクリーンのサイズとの比に従って圧縮または伸張されるように、音場をワーピングする。いわゆる「２断片区分的線形」ワーピング関数が使用される。伸張は、音声アイテムの角度位置に限定される。その従来技術において、中心合わせされたスクリーンについて、ワーピング関数の定義は、スクリーン関連リマッピングのマッピング関数の定義と同様である。３断片区分的線形マッピング関数の第１の断片および第３の断片が、２断片区分的線形関数として定義され得る。しかしながら、その従来技術では、適用は空間領域におけるＨＯＡ（ＨＯＡ＝高次アンビソニックス）（音場指向）信号に限定される。その上、ワーピング関数は、基準スクリーンと再生スクリーンとの比に依存するのみであり、中心合わせされていないスクリーンに関する定義は与えられていない。
【0007】
別の従来技術である「Ｖｏｒｒｉｃｈｔｕｎｇ ｕｎｄ Ｖｅｒｆａｈｒｅｎ ｚｕｍ Ｂｅｓｔｉｍｍｅｎ ｅｉｎｅｒ Ｗｉｅｄｅｒｇａｂｅ－ｐｏｓｉｔｉｏｎ」（［２］参照）において、音源の位置をビデオ再生に適合させるための方法が記載されている。音源の再生位置は、基準位置に対する方向および距離、ならびに、カメラパラメータに応じて、各音声オブジェクトについて個々に決定される。その従来技術はまた、固定基準サイズを有するスクリーンが仮定されていることも記載している。シーンを基準スクリーンよりも大きいまたは小さい再生スクリーンに適合させるために、（デカルト座標における）すべての位置パラメータの線形スケーリングが実行される。しかしながら、その従来技術によれば、物理的なカメラおよび投影パラメータを組み込むことは複雑であり、そのようなパラメータは常に利用可能であるとは限らない。その上、その従来技術の方法はデカルト座標（ｘ，ｙ，ｚ）において作用し、そのため、シーンスケーリングによってオブジェクトの位置だけでなく距離も変化する。さらに、この従来技術は、角座標における相対スクリーンサイズ（開口角、視野角）の変化に対してオブジェクトの位置を適合させることには適用可能ではない。
【0008】
さらなる従来技術である「Ｖｅｒｆａｈｒｅｎ ｚｕｒ Ａｕｄｉｏｃｏｄｉｅｒｕｎｇ」（［３］参照）において、現在の（時間とともに変化する）水平および垂直の視野角をデータストリーム（元のシーンにおける聴き手の位置に関する基準視野角）内で送信することを含む方法が記載されている。再生側において、再生のサイズおよび位置が分析され、音声オブジェクトの再生が、基準スクリーンと一致するように個々に最適化される。
【0009】
別の従来技術である「Ａｃｏｕｓｔｉｃａｌ Ｚｏｏｍｉｎｇ Ｂａｓｅｄ ｏｎ ａ ｐａｒａｍｅｔｒｉｃ Ｓｏｕｎｄ Ｆｉｅｌｄ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ」（［４］参照）において、視覚的シーンの移動に追従するオーディオレンダリング（「音響ズーム」）を可能にする方法が記載されている。音響ズーム処理は、仮想記録位置のシフトとして定義される。ズームアルゴリズムのシーンモデルが、すべての音源を、任意ではあるが固定された半径を有する円上に配置する。しかしながら、その従来技術の方法はＤｉｒＡＣパラメータ領域において作用し、距離および角度（到来方向）は変化され、マッピング関数は非線形であり、ズーム係数／パラメータに依存し、中心合わせされていないスクリーンはサポートされない。
【先行技術文献】
【特許文献】
【0010】
【特許文献1】欧州特許出願公開第２０１２０３０５２７１号明細書
【特許文献2】国際公開第２００４０７３３５２号パンフレット
【特許文献3】欧州特許出願公開第２００２００２４６４３号明細書
【非特許文献】
【0011】
【非特許文献1】「Ａｃｏｕｓｔｉｃａｌ Ｚｏｏｍｉｎｇ Ｂａｓｅｄ ｏｎ ａ Ｐａｒａｍｅｔｒｉｃ Ｓｏｕｎｄ Ｆｉｅｌｄ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ」http://www.aes.org/tmpFiles/elib/20140814/15417.pdf
【発明の概要】
【発明が解決しようとする課題】
【0012】
本発明の目的は、既存のマルチメディア再生設定を利用したオーディオおよび視覚マルチメディアコンテンツ統合のための改善された概念を提供することである。本発明の目的は、請求項１による装置、請求項１３による復号器デバイス、請求項１４による方法、および、請求項１５によるコンピュータプログラムによって解決される。
【課題を解決するための手段】
【0013】
オーディオオブジェクトリマッピングのための装置が提供される。装置は、オブジェクトメタデータプロセッサと、オブジェクトレンダラと、を備えている。オブジェクトレンダラは、オーディオオブジェクトを受信するように構成されている。オブジェクトメタデータプロセッサは、オーディオオブジェクトがスクリーン関連であるか否かに関する指示を含み、オーディオオブジェクトの第１の位置をさらに含むメタデータを受信するように構成されている。その上、オブジェクトメタデータプロセッサは、オーディオオブジェクトがメタデータにおいてスクリーン関連であるとして指示されている場合、オーディオオブジェクトの第１の位置に応じて、かつスクリーンのサイズに応じて、オーディオオブジェクトの第２の位置を計算するように構成されている。オブジェクトレンダラは、オーディオオブジェクトおよび位置情報に応じてスピーカ信号を生成するように構成されている。オブジェクトメタデータプロセッサは、オーディオオブジェクトがメタデータにおいてスクリーン関連でないとして指示されている場合、オーディオオブジェクトの第１の位置を位置情報としてオブジェクトレンダラに供給するように構成されている。さらに、オブジェクトメタデータプロセッサは、オーディオオブジェクトがメタデータにおいてスクリーン関連であるとして指示されている場合、オーディオオブジェクトの第２の位置を位置情報としてオブジェクトレンダラに供給するように構成されている。
【0014】
一実施形態によれば、オブジェクトメタデータプロセッサは、たとえば、オーディオオブジェクトがメタデータにおいてスクリーン関連でないとして指示されている場合、オーディオオブジェクトの第２の位置を計算しないように構成されてもよい。
【0015】
一実施形態において、オブジェクトレンダラは、たとえば、位置情報がオーディオオブジェクトの第１の位置またはオーディオオブジェクトの第２の位置であるかを決定しないように構成されてもよい。
【0016】
一実施形態によれば、オブジェクトレンダラは、たとえば、再生環境のスピーカの数にさらに応じてスピーカ信号を生成するように構成されてもよい。
【0017】
一実施形態において、オブジェクトレンダラは、たとえば、再生環境のスピーカの各々のスピーカ位置にさらに応じてスピーカ信号を生成するように構成されてもよい。
【0018】
一実施形態によれば、オブジェクトメタデータプロセッサは、オーディオオブジェクトがメタデータにおいてスクリーン関連であるとして指示されている場合、オーディオオブジェクトの第１の位置およびスクリーンのサイズに応じて、オーディオオブジェクトの第２の位置を計算するように構成されており、第１の位置は３次元空間内の第１の位置を示し、第２の位置は３次元空間内の第２の位置を示す。
【0019】
一実施形態において、オブジェクトメタデータプロセッサは、たとえば、オーディオオブジェクトがメタデータにおいてスクリーン関連であるとして指示されている場合、オーディオオブジェクトの第１の位置およびスクリーンのサイズに応じて、オーディオオブジェクトの第２の位置を計算するように構成されてもよく、第１の位置は第１の方位角、第１の仰角および第１の距離を示し、第２の位置は第２の方位角、第２の仰角および第２の距離を示す。
【0020】
一実施形態によれば、オブジェクトメタデータプロセッサは、たとえば、第１の指示としてオーディオオブジェクトがスクリーン関連であるか否かに関する指示を含み、オーディオオブジェクトがスクリーン関連である場合、第２の指示をさらに含むメタデータを受信するように構成されてもよく、上記第２の指示は、オーディオオブジェクトがオンスクリーンオブジェクトであるか否かを指示する。オブジェクトメタデータプロセッサは、たとえば、オーディオオブジェクトがオンスクリーンオブジェクトであることを第２の指示が指示する場合、第２の位置がスクリーンのスクリーン領域上の第１の値をとるように、オーディオオブジェクトの第１の位置に応じて、かつスクリーンのサイズに応じて、オーディオオブジェクトの第２の位置を計算するように構成されてもよい。
【0021】
一実施形態において、オブジェクトメタデータプロセッサは、たとえば、オーディオオブジェクトがオンスクリーンオブジェクトでないことを第２の指示が指示する場合、第２の位置が第２の値（スクリーン領域にあるかないかのいずれかである）をとるように、オーディオオブジェクトの第１の位置およびスクリーンのサイズに応じて、オーディオオブジェクトの第２の位置を計算するように構成されてもよい。
【0022】
一実施形態によれば、オブジェクトメタデータプロセッサは、たとえば、第１の指示としてオーディオオブジェクトがスクリーン関連であるか否かに関する指示を含み、オーディオオブジェクトがスクリーン関連である場合、第２の指示をさらに含むメタデータを受信するように構成されてもよく、上記第２の指示は、オーディオオブジェクトがオンスクリーンオブジェクトであるか否かを指示する。オブジェクトメタデータプロセッサは、たとえば、オーディオオブジェクトがオンスクリーンオブジェクトであることを第２の指示が指示する場合、オーディオオブジェクトの第１の位置、スクリーンのサイズ、および、マッピング曲線としての第１のマッピング曲線に応じてオーディオオブジェクトの第２の位置を計算するように構成されてもよく、第１のマッピング曲線は、第１の値間隔における元のオブジェクト位置の、第２の値間隔におけるリマッピングされたオブジェクト位置へのマッピングを定義する。その上、オブジェクトメタデータプロセッサは、たとえば、オーディオオブジェクトがオンスクリーンオブジェクトでないことを第２の指示が指示する場合、オーディオオブジェクトの第１の位置、スクリーンのサイズ、および、マッピング曲線としての第２のマッピング曲線に応じてオーディオオブジェクトの第２の位置を計算するように構成されてもよく、第２のマッピング曲線は、第１の値間隔における元のオブジェクト位置の、第３の値間隔におけるリマッピングされたオブジェクト位置へのマッピングを定義し、上記第２の値間隔は第３の値間隔によって含まれ、上記第２の値間隔は上記第３の値間隔よりも小さい。
【0023】
一実施形態において、第１の値間隔、第２の値間隔、および第３の値間隔の各々は、たとえば、方位角の値間隔であってもよく、第１の値間隔、第２の値間隔、および第３の値間隔の各々は、たとえば、仰角の値間隔であってもよい。
【0024】
一実施形態によれば、オブジェクトメタデータプロセッサは、たとえば、第１の線形マッピング関数および第２の線形マッピング関数の少なくとも一方に応じてオーディオオブジェクトの第２の位置を計算するように構成されてもよく、第１の線形マッピング関数は、第１の方位角値を第２の方位角値にマッピングするように定義されており、第２の線形マッピング関数は、第１の仰角値を第２の仰角値にマッピングするように定義されており、
は方位角スクリーン左端基準を示し、
は方位角スクリーン右端基準を示し、
は仰角スクリーン上端基準を示し、
は仰角スクリーン下端基準を示し、
は前記スクリーンの方位角スクリーン左端を示し、
は前記スクリーンの方位角スクリーン右端を示し、
は前記スクリーンの仰角スクリーン上端を示し、
は前記スクリーンの仰角スクリーン下端を示し、
は前記第１の方位角値を示し、
は第２の方位角値を示し、θは第１の仰角値を示し、θ’は第２の仰角値を示し、第２の方位角値
は、たとえば、以下の式に従って第１の線形マッピング関数による第１の方位角値
の第１のマッピングからもたらすことができ、
第２の仰角値θ’は、たとえば、以下の式に従って第２の線形マッピング関数による第１の仰角値θの第２のマッピングからもたらすことができる。
【0025】
その上、復号器デバイスが提供される。復号器デバイスは、１つまたは複数のオーディオ入力チャネルを取得し、１つまたは複数の入力オーディオオブジェクトを取得し、圧縮オブジェクトメタデータを取得し、１つまたは複数のＳＡＯＣトランスポートチャネルを取得するためにビットストリームを復号するためのＵＳＡＣ復号器を備えている。さらに、復号器デバイスは、１つまたは複数のレンダリングされたオーディオオブジェクトから成る第１のグループを取得するために１つまたは複数のＳＡＯＣトランスポートチャネルを復号するためのＳＡＯＣ復号器を備えている。その上、復号器デバイスは、上述した実施形態による装置を備えている。装置は、上述した実施形態による装置のオブジェクトメタデータプロセッサであり、かつ非圧縮メタデータを取得するために圧縮オブジェクトメタデータを復号するために実装されるオブジェクトメタデータ復号器を備え、装置は、１つまたは複数のレンダリングされたオーディオオブジェクトから成る第２のグループを取得するために非圧縮メタデータに応じて、１つまたは複数の入力オーディオオブジェクトをレンダリングするための、上述した実施形態による装置のオブジェクトレンダラをさらに備えている。さらに、復号器デバイスは、１つまたは複数の変換済みチャネルを取得するために１つまたは複数のオーディオ入力チャネルを変換するためのフォーマット変換器を備えている。その上、復号器デバイスは、１つまたは複数の復号オーディオチャネルを取得するために、１つまたは複数のレンダリングされたオーディオオブジェクトから成る第１のグループの１つまたは複数のオーディオオブジェクト、１つまたは複数のレンダリングされたオーディオオブジェクトから成る第２のグループの１つまたは複数のオーディオオブジェクト、および、１つまたは複数の変換済みチャネルを混合するための混合器を備えている。
【0026】
さらに、スピーカ信号を生成するための方法が提供される。方法は、以下のステップを含む。
－ オーディオオブジェクトを受信するステップ。
－ オーディオオブジェクトがスクリーン関連であるか否かに関する指示を含み、オーディオオブジェクトの第１の位置をさらに含むメタデータを受信するステップ。
－ オーディオオブジェクトがメタデータにおいてスクリーン関連であるとして指示されている場合、オーディオオブジェクトの第１の位置およびスクリーンのサイズに応じて、オーディオオブジェクトの第２の位置を計算するステップ。
－ オーディオオブジェクトおよび位置情報に応じてスピーカ信号を生成するステップ。
－ オーディオオブジェクトを受信するステップ。
－ オーディオオブジェクトがスクリーン関連であるか否かに関する指示を含み、オーディオオブジェクトの第１の位置をさらに含むメタデータを受信するステップ。
－ オーディオオブジェクトがメタデータにおいてスクリーン関連であるとして指示されている場合、オーディオオブジェクトの第１の位置およびスクリーンのサイズに応じて、オーディオオブジェクトの第２の位置を計算するステップ。
－ オーディオオブジェクトおよび位置情報に応じてスピーカ信号を生成するステップ。
【0027】
オーディオオブジェクトがメタデータにおいてスクリーン関連でないとして指示されている場合、位置情報は、オーディオオブジェクトの第１の位置である。オーディオオブジェクトがメタデータにおいてスクリーン関連であるとして指示されている場合、位置情報は、オーディオオブジェクトの第２の位置である。
【0028】
その上、コンピュータプログラムが提供される。コンピュータプログラムは、コンピュータまたは信号プロセッサ上で実行されるとき、上述した方法を実施するように構成されている。
【図面の簡単な説明】
【0029】
【図1】一実施形態によるスピーカ信号を生成するための装置を示す図である。
【図2】一実施形態によるオブジェクトレンダラを示す図である。
【図3】一実施形態によるオブジェクトメタデータプロセッサを示す図である。
【図4】実施形態による方位角リマッピングを示す図である。
【図5】実施形態による仰角リマッピングを示す図である。
【図6】実施形態による方位角リマッピングを示す図である。
【図7】他の実施形態による仰角リマッピングを示す図である。
【図8】３Ｄオーディオ復号器の概略図である。
【図9】一実施形態による３Ｄオーディオ復号器の概略図である。
【図10】フォーマット変換器の構造を示す図である。
【図11】一実施形態によるオブジェクトベースのオーディオのレンダリングを示す図である。
【図12】一実施形態によるオブジェクトメタデータプリプロセッサを示す図である。
【図13】一実施形態による方位角リマッピングを示す図である。
【図14】一実施形態による仰角のリマッピングを示す図である。
【図15】一実施形態による方位角のリマッピングを示す図である。
【図16】他の実施形態による仰角リマッピングを示す図である。
【図17】さらなる実施形態による仰角リマッピングを示す図である。
【発明を実施するための形態】
【0030】
以下において、図面を参照して本発明の実施形態を詳細に説明する。
【0031】
図１は、一実施形態によるオーディオオブジェクトリマッピングのための装置を示す。装置は、オブジェクトメタデータプロセッサ１１０と、オブジェクトレンダラ１２０と、を備えている。
【0032】
オブジェクトレンダラ１２０は、オーディオオブジェクトを受信するように構成されている。
【0033】
オブジェクトメタデータプロセッサ１１０は、オーディオオブジェクトがスクリーン関連であるか否かに関する指示を含み、オーディオオブジェクトの第１の位置をさらに含むメタデータを受信するように構成されている。その上、オブジェクトメタデータプロセッサ１１０は、オーディオオブジェクトがメタデータにおいてスクリーン関連であるとして指示されている場合、オーディオオブジェクトの第１の位置およびスクリーンのサイズに応じて、オーディオオブジェクトの第２の位置を計算するように構成されている。
【0034】
オブジェクトレンダラ１２０は、オーディオオブジェクトおよび位置情報に応じてスピーカ信号を生成するように構成されている。
【0035】
オブジェクトメタデータプロセッサ１１０は、オーディオオブジェクトがメタデータにおいてスクリーン関連でないとして指示されている場合、オーディオオブジェクトの第１の位置を位置情報としてオブジェクトレンダラ１２０に供給するように構成されている。
【0036】
さらに、オブジェクトメタデータプロセッサ１１０は、オーディオオブジェクトがメタデータにおいてスクリーン関連であるとして指示されている場合、オーディオオブジェクトの第２の位置を位置情報としてオブジェクトレンダラ１２０に供給するように構成されている。
【0037】
一実施形態によれば、オブジェクトメタデータプロセッサ１１０は、たとえば、オーディオオブジェクトがメタデータにおいてスクリーン関連でないとして指示されている場合、オーディオオブジェクトの第２の位置を計算しないように構成されてもよい。
【0038】
一実施形態において、オブジェクトレンダラ１２０は、たとえば、位置情報がオーディオオブジェクトの第１の位置またはオーディオオブジェクトの第２の位置であるかを決定しないように構成されてもよい。
【0039】
一実施形態によれば、オブジェクトレンダラ１２０は、たとえば、再生環境のスピーカの数にさらに応じてスピーカ信号を生成するように構成されてもよい。
【0040】
一実施形態において、オブジェクトレンダラ１２０は、たとえば、再生環境のスピーカの各々のスピーカ位置にさらに応じてスピーカ信号を生成するように構成されてもよい。
【0041】
一実施形態によれば、オブジェクトメタデータプロセッサ１１０は、オーディオオブジェクトがメタデータにおいてスクリーン関連であるとして指示されている場合、オーディオオブジェクトの第１の位置およびスクリーンのサイズに応じて、オーディオオブジェクトの第２の位置を計算するように構成されており、第１の位置は３次元空間内の第１の位置を示し、第２の位置は３次元空間内の第２の位置を示す。
【0042】
一実施形態において、オブジェクトメタデータプロセッサ１１０は、たとえば、オーディオオブジェクトがメタデータにおいてスクリーン関連であるとして指示されている場合、オーディオオブジェクトの第１の位置およびスクリーンのサイズに応じて、オーディオオブジェクトの第２の位置を計算するように構成されてもよく、第１の位置は第１の方位角、第１の仰角および第１の距離を示し、第２の位置は第２の方位角、第２の仰角および第２の距離を示す。
【0043】
一実施形態によれば、オブジェクトメタデータプロセッサ１１０は、たとえば、第１の指示としてオーディオオブジェクトがスクリーン関連であるか否かに関する指示を含み、オーディオオブジェクトがスクリーン関連である場合、第２の指示をさらに含むメタデータを受信するように構成されてもよく、上記第２の指示は、オーディオオブジェクトがオンスクリーンオブジェクトであるか否かを指示する。オブジェクトメタデータプロセッサ１１０は、たとえば、オーディオオブジェクトがオンスクリーンオブジェクトであることを第２の指示が指示する場合、第２の位置がスクリーンのスクリーン領域上の第１の値をとるように、オーディオオブジェクトの第１の位置に応じて、かつスクリーンのサイズに応じて、オーディオオブジェクトの第２の位置を計算するように構成されてもよい。
【0044】
一実施形態において、オブジェクトメタデータプロセッサ１１０は、たとえば、オーディオオブジェクトがオンスクリーンオブジェクトでないことを第２の指示が指示する場合、第２の位置が、スクリーン領域にあるかないかのいずれかである第２の値
をとるように、オーディオオブジェクトの第１の位置に応じて、かつスクリーンのサイズに応じて、オーディオオブジェクトの第２の位置を計算するように構成されてもよい。
をとるように、オーディオオブジェクトの第１の位置に応じて、かつスクリーンのサイズに応じて、オーディオオブジェクトの第２の位置を計算するように構成されてもよい。
【0045】
一実施形態によれば、オブジェクトメタデータプロセッサ１１０は、たとえば、第１の指示としてオーディオオブジェクトがスクリーン関連であるか否かに関する指示を含み、オーディオオブジェクトがスクリーン関連である場合、第２の指示をさらに含むメタデータを受信するように構成されてもよく、上記第２の指示は、オーディオオブジェクトがオンスクリーンオブジェクトであるか否かを指示する。オブジェクトメタデータプロセッサ１１０は、たとえば、オーディオオブジェクトがオンスクリーンオブジェクトであることを第２の指示が指示する場合、オーディオオブジェクトの第１の位置、スクリーンのサイズ、および、マッピング曲線としての第１のマッピング曲線に応じてオーディオオブジェクトの第２の位置を計算するように構成されてもよく、第１のマッピング曲線は、第１の値間隔における元のオブジェクト位置の、第２の値間隔におけるリマッピングされたオブジェクト位置へのマッピングを定義する。その上、オブジェクトメタデータプロセッサ１１０は、たとえば、オーディオオブジェクトがオンスクリーンオブジェクトでないことを第２の指示が指示する場合、オーディオオブジェクトの第１の位置、スクリーンのサイズ、および、マッピング曲線としての第２のマッピング曲線に応じてオーディオオブジェクトの第２の位置を計算するように構成されてもよく、第２のマッピング曲線は、第１の値間隔における元のオブジェクト位置の、第３の値間隔におけるリマッピングされたオブジェクト位置へのマッピングを定義し、上記第２の値間隔は第３の値間隔によって含まれ、上記第２の値間隔は上記第３の値間隔よりも小さい。
【0046】
一実施形態において、第１の値間隔、第２の値間隔、および第３の値間隔の各々は、たとえば、方位角の値間隔であってもよく、第１の値間隔、第２の値間隔、および第３の値間隔の各々は、たとえば、仰角の値間隔であってもよい。
【0047】
以下において、本発明の特定の実施形態および本発明の複数の実施形態の任意選択の特徴を説明する。
【0048】
固定位置向けに意図されていないが、その位置が再生設定におけるスクリーンのサイズとともに変化することになるオーディオオブジェクト（３Ｄ空間における位置、たとえば、与えられている方位角、仰角および距離と関連付けられるオーディオ信号）が存在し得る。
【0049】
オブジェクトがスクリーン関連として（たとえば、メタデータ内のフラグによって）シグナリングされる場合、その位置が、特定の規則に従ってスクリーンサイズに対してリマッピング／再計算される。
【0050】
図２は、一実施形態によるオブジェクトレンダラを示す。
【0051】
導入として、以下が留意される。
【0052】
オブジェクトベースのオーディオフォーマットにおいて、メタデータは、オブジェクト信号とともに記憶または送信される。オーディオオブジェクトは、メタデータおよび再生環境に関する情報を使用して再生側でレンダリングされる。そのような情報は、たとえば、スピーカの数またはスクリーンのサイズである。
表１：例示的なメタデータ
表１：例示的なメタデータ
【0053】
オブジェクトについて、幾何学的メタデータを使用して、オーディオオブジェクトがどのようにレンダリングされるべきか、たとえば、基準点、たとえば聴き手に対する方位角もしくは仰角または基準点、たとえば聴き手に対する絶対位置を規定することができる。レンダラは、幾何学的データならびに利用可能なスピーカおよびそれらのスピーカの位置に基づいて、スピーカ信号を計算する。
【0054】
本発明による実施形態は、以下のように、上述から明らかになる。
【0055】
スクリーン関連レンダリングを制御するために、追加のメタデータフィールドが、幾何学的メタデータをどのように解釈するかを制御する。
【0056】
フィールドがＯＦＦに設定されている場合、幾何学的メタデータはレンダラによって、スピーカ信号を計算するために解釈される。
【0057】
フィールドがＯＮに設定されている場合、幾何学的メタデータはレンダラによって、公称データから他の値へとマッピングされる。このリマッピングは、オブジェクトメタデータプロセッサに従うレンダラがオブジェクトメタデータの前処理について不可知であり、変化せずに動作するように、幾何学的メタデータに対して行われる。そのようなメタデータフィールドの例を、以下の表に与える。
表２：スクリーン関連レンダリングを制御するためのメタデータおよびそれらの意味：
表２：スクリーン関連レンダリングを制御するためのメタデータおよびそれらの意味：
【0058】
加えて、公称スクリーンサイズまたはオーディオコンテンツの再生中に使用されるスクリーンサイズが、メタデータ情報として送信され得る。
【0059】
以下の表は、メタデータがどのように効率的にコード化され得るかの例を提示する。
表３－一実施形態によるObjectMetadataConfig()の構文
hasOnScreenObjects このフラグはスクリーン関連オブジェクトが存在するか否かを指定する。
isScreenRelatedObject このフラグは、オブジェクト位置がスクリーン相対的であるか否かを規定する（位置は、それらのオブジェクト位置がリマッピングされるが、依然としてすべての有効な角度値を含むことができるように、別様にレンダリングされるべきである。
isOnScreenObject このフラグは、対応するオブジェクトが「オンスクリーン（onscreen）」であることを規定する。このフラグが１に等しいオブジェクトは、それらの位置がスクリーン領域上の値のみをとるように、別様にレンダリングされるべきである。代替形態によれば、フラグは使用されず、基準スクリーン角度が規定される。ScreenRelativeObject=1である場合、すべての角度がこの基準角度に対して相対的である。オーディオオブジェクトがスクリーン上にあると分かっている必要がある他の使用事例があり得る。
表３－一実施形態によるObjectMetadataConfig()の構文
isScreenRelatedObject このフラグは、オブジェクト位置がスクリーン相対的であるか否かを規定する（位置は、それらのオブジェクト位置がリマッピングされるが、依然としてすべての有効な角度値を含むことができるように、別様にレンダリングされるべきである。
isOnScreenObject このフラグは、対応するオブジェクトが「オンスクリーン（onscreen）」であることを規定する。このフラグが１に等しいオブジェクトは、それらの位置がスクリーン領域上の値のみをとるように、別様にレンダリングされるべきである。代替形態によれば、フラグは使用されず、基準スクリーン角度が規定される。ScreenRelativeObject=1である場合、すべての角度がこの基準角度に対して相対的である。オーディオオブジェクトがスクリーン上にあると分かっている必要がある他の使用事例があり得る。
【0060】
isScreenRelativeObjectに関連して、一実施形態によれば、２つの可能性があることが留意される、すなわち、位置をリマッピングするが、これは依然としてすべての値をとることができる（スクリーン相対的）、および、スクリーン領域上にある値のみを含むことができるようにリマッピングする（オンスクリーン）。
【0061】
リマッピングは、ローカルスクリーンサイズを考慮に入れ、幾何学的メタデータのマッピングを実施するオブジェクトメタデータプロセッサにおいて行われる。
【0062】
図３は、一実施形態によるオブジェクトメタデータプロセッサを示す。
【0063】
スクリーン関連幾何学的メタデータ修正について、以下のことが言える。
【0064】
情報isScreenRelativeObjectおよびisOnScreenObjectに応じて、スクリーン関連オーディオ要素をシグナリングするための以下の２つの可能性がある。
ａ）スクリーン相対的オーディオ要素
ｂ）オンスクリーンオーディオ要素
ａ）スクリーン相対的オーディオ要素
ｂ）オンスクリーンオーディオ要素
【0065】
両方の事例において、オーディオ要素の位置データが、オブジェクトメタデータプロセッサによってリマッピングされる。その位置の元の方位角および仰角を、リマッピングされた方位角およびリマッピングされた仰角にマッピングする曲線が適用される。
【0066】
基準は、メタデータ内の公称スクリーンサイズまたは仮定されるデフォルトスクリーンサイズである。
【0067】
たとえば、ＩＴＵ－Ｒ ＲＥＣ－ＢＴ．２０２２（フラットパネルディスプレイ上のＳＤＴＶおよびＨＤＴＶテレビ画像の品質の主観的評価に関する一般的な観賞条件）において定義されている視野角を使用することができる。
【0068】
これら２つのタイプのスクリーン関連の間の差は、リマッピング曲線の定義である。
【0069】
事例ａ）において、リマッピングされた方位角は、－１８０°と１８０°との間の値をとることができ、リマッピングされた仰角は、－９０°と９０°との間の値をとることができる。曲線は、デフォルトの左端方位角とデフォルトの右端方位角との間の方位角値が所与のスクリーン左端と所与のスクリーン右端との間の間隔にマッピング（圧縮または伸張）されるように（したがって、仰角も同様に）定義される。全範囲の値がカバーされるように、他の方位角および仰角値がそれに従って圧縮または伸張される。
【0070】
図４は、実施形態による方位角リマッピングを示す。
【0071】
事例ｂ）において、リマッピングされる方位角および仰角は、スクリーン領域上の位置を記述する値（方位角（スクリーン左端） 方位角（リマッピングされた） 方位角（スクリーン右端）および仰角（スクリーン下端） 仰角（リマッピングされた） 仰角（スクリーン上端））のみをとることができる。
【0072】
これらの範囲外の値を処理するための複数の異なる可能性がある。それらはいずれも、－１８０°方位角とスクリーン左端との間のすべてのオブジェクトがスクリーン左端に行き着き、スクリーン右端と１８０°方位角との間のすべてのオブジェクトが右スクリーンに行き着くように、スクリーンの端部に対してマッピングされる。別の可能性は、後半球の値を前半球にマッピングすることである。その後、左半球において、－１８０°＋方位角（スクリーン左端）と方位角（スクリーン左端）との間の位置が、スクリーン左端にマッピングされる。－１８０°と－１８０°＋方位角（スクリーン左端）との間の値が、０°と方位角（スクリーン左端）との間の値にマッピングされる。右半球および仰角は同じように処理される。
【0073】
図５は、実施形態による仰角リマッピングを示す。
【0074】
勾配が変化する曲線の点－ｘ１および＋ｘ２（＋ｘ１とは異なってもよく、または等しくてもよい）は、デフォルト値（デフォルトの仮定される標準スクリーンサイズ＋位置）であるか、または、それらは、メタデータ内に（たとえば、その後そこで再生スクリーンサイズを与え得る再生者によって）存在し得る。
【0075】
線分から構成されていないが、代わりに湾曲している可能なマッピング関数もある。
【0076】
追加のメタデータが、たとえば、パン挙動または聴き取りの分解能を計上するためのオフセットまたは非線形係数を定義する、リマッピングの方法を制御してもよい。
【0077】
また、たとえば、後部に対して意図されているすべてのオブジェクトをスクリーン上に「投影」することによって、マッピングがどのように実施されるかがシグナリングされてもよい。
【0078】
そのような代替的なマッピング方法は、以下の図面にリストされている。
【0079】
そこで、図６は、実施形態による方位角リマッピングを示す。
【0080】
図７は、実施形態による仰角リマッピングを示す。
未知のスクリーンサイズ挙動に関して、
再生スクリーンサイズが与えられていない場合、
－ デフォルトのスクリーンサイズが仮定されるか、または
― たとえオブジェクトがスクリーン関連またはオンスクリーンとしてマークされている場合であっても、マッピングは適用されない。
未知のスクリーンサイズ挙動に関して、
再生スクリーンサイズが与えられていない場合、
－ デフォルトのスクリーンサイズが仮定されるか、または
― たとえオブジェクトがスクリーン関連またはオンスクリーンとしてマークされている場合であっても、マッピングは適用されない。
【0081】
図４に戻って、別の実施形態では、事例ｂ）において、リマッピングされる方位角および仰角は、スクリーン領域上の位置を記述する値（方位角（スクリーン左端）≦方位角（リマッピングされた）≦方位角（スクリーン右端）および仰角（スクリーン下端）≦仰角（リマッピングされた）≦仰角（スクリーン上端））のみをとることができる。これらの範囲外の値を処理するための以下の複数の異なる可能性がある。いくつかの実施形態において、それらはいずれも、＋１８０°方位角とスクリーン左端との間のすべてのオブジェクトがスクリーン左端に行き着き、スクリーン右端と－１８０°方位角との間のすべてのオブジェクトがスクリーン右端に行き着くように、スクリーンの端部に対してマッピングされる。別の可能性は、後半球の値を前半球にマッピングすることである。
【0082】
その後、左半球において、＋１８０°－方位角（スクリーン左端）と方位角（スクリーン左端）との間の位置が、スクリーン左端にマッピングされる。＋１８０°と＋１８０°－方位角（スクリーン左端）との間の値が、０°と方位角（スクリーン左端）との間の値にマッピングされる。右半球および仰角は同じように処理される。
【0083】
【0084】
【0085】
【0086】
いくつかの実施形態によれば、スクリーン関連要素リマッピングは、たとえば、ビットストリームが、ＯＡＭデータ（ＯＡＭデータ＝関連オブジェクトメタデータ）を伴うスクリーン関連要素を含み（少なくとも１つのオーディオ要素についてisScreenRelativeObject flag == 1）、かつ、ローカルスクリーンサイズがLocalScreenSize()インターフェースを介して復号器にシグナリングされる場合にのみ処理することができる。
【0087】
幾何学的位置データ（ユーザ対話による任意の位置修正が行われる前のＯＡＭデータ）を、たとえば、マッピング関数の定義および利用によって、異なる範囲の値にマッピングすることができる。リマッピングは、たとえば、レンダラがリマッピングについて不可知であり、変化せずに動作するように、レンダリングに対する前処理ステップとして幾何学的位置データを変更することができる。
【0088】
公称基準スクリーンのスクリーンサイズ（混合およびモニタリングプロセスにおいて使用される）および／または再生室内のローカルスクリーンサイズ情報が、たとえば、リマッピングのために考慮に入れられ得る。
【0089】
公称基準スクリーンサイズが与えられない場合、たとえば、例として４ｋディスプレイおよび最適な観賞距離を仮定して、デフォルトの基準値が使用されてもよい。
【0090】
ローカルスクリーンサイズ情報が与えられない場合、たとえば、リマッピングは適用されるべきではない。
【0091】
たとえば、２つの線形マッピング関数を、仰角および方位角値のマッピングのために定義することができる。
【0092】
公称スクリーンサイズのスクリーン端部は、たとえば、以下によって与えることができる。
【0093】
再生スクリーン端部は、たとえば、以下によって省略することができる。
【0094】
方位角および仰角位置データのリマッピングは、たとえば、以下の線形マッピング関数によって定義することができる。
【0095】
図１３は、一実施形態による位置データのリマッピング関数を示す。特に、図１３において、方位角のマッピングのためのマッピング関数が示されている。図１３において、曲線は、公称基準左端方位角と公称基準右端方位角との間の方位角値が所与のローカルスクリーン左端と所与のローカルスクリーン右端との間の間隔にマッピング（圧縮または伸張）されるように定義される。全範囲の値がカバーされるように、他の方位角値がそれに従って圧縮または伸張される。
【0096】
リマッピングされた方位角は、たとえば、－１８０°と１８０°との間の値をとることができ、リマッピングされた仰角は、－９０°と９０°との間の値をとることができる。
【0097】
たとえば、一実施形態によれば、isScreenRelativeObjectフラグが０に設定されている場合、対応する要素についてスクリーン関連要素リマッピングは適用されず、幾何学的位置データ（ＯＡＭデータ＋ユーザ対話による位置変化）が、レンダラによって、再生信号を計算するために直に使用される。
【0098】
いくつかの実施形態によれば、すべてのスクリーン関連要素の位置が、たとえば、再生室に対する適合として再生スクリーンサイズに従ってリマッピングされてもよい。たとえば、再生スクリーンサイズ情報が与えられていないか、または、スクリーン関連要素が存在しない場合、リマッピングは適用されない。
【0099】
リマッピングは、たとえば再生室内の再生スクリーンサイズ情報や、たとえば混合およびモニタリングプロセスにおいて使用される基準スクリーンのスクリーンサイズ情報を考慮に入れる線形マッピング関数によって定義されてもよい。
【0100】
一実施形態による方位角マッピング関数が、図１３に示されている。上記図１３において、方位角のマッピング関数が示されている。図１３にあるように、この関数は、たとえば、基準スクリーンの左端と右端との間の方位角値が、再生スクリーンの左端と右端との間の間隔にマッピング（圧縮または伸張）されるように定義されてもよい。全範囲の値がカバーされるように、他の方位角値が圧縮または伸張される。
【0101】
仰角マッピング関数は、たとえば、それに従って定義されてもよい（図１４参照）。スクリーン関連処理は、たとえば、高解像度ビデオコンテンツにズームするためのズーム領域をも考慮に入れることができる。スクリーン関連処理は、たとえば、動的位置データを伴い、スクリーン関連としてラベリングされている要素についてのみ定義され得る。
【0102】
以下において、３Ｄオーディオコーデックシステムのシステム概要を提供する。本発明の実施形態は、そのような３Ｄオーディオコーデックシステムにおいて利用することができる。３Ｄオーディオコーデックシステムは、たとえば、チャネルおよびオブジェクト信号のコード化のためのＭＰＥＧ－Ｄ ＵＳＡＣコーデックに基づいてもよい。
【0103】
実施形態によれば、大量のオブジェクトのコード化効率を増大させるために、ＭＰＥＧ ＳＡＯＣ技術が適合されている（ＳＡＯＣ＝空間オーディオオブジェクトコード化）。たとえば、いくつかの実施形態によれば、３つのタイプのレンダラが、たとえば、チャネルに対するオブジェクトのレンダリング、ヘッドホンに対するチャネルのレンダリング、または、異なるスピーカ設定に対するチャネルのレンダリングのタスクを実施することができる。
【0104】
オブジェクト信号が明示的に送信されるか、または、ＳＡＯＣを使用してパラメトリックに符号化されると、対応するオブジェクトメタデータ情報が、圧縮され、３Ｄオーディオビットストリームに多重化される。
【0105】
【0106】
【0107】
図８において、プレレンダラ８１０（混合器とも称する）が示されている。図８の構成において、プレレンダラ８１０（混合器）は任意である。プレレンダラ８１０は、符号化する前にチャネル＋オブジェクト入力シーンをチャネルシーンに変換するために任意に使用することができる。機能的に、符号化器側のプレレンダラ８１０は、たとえば、後述する復号器側のオブジェクトレンダラ／混合器９２０の機能に関連付けることができる。オブジェクトのプレレンダリングによって、基本的に同時にアクティブなオブジェクト信号の数とは無関係である符号化器入力における決定論的信号エントロピーが保証される。オブジェクトのプレレンダリングによって、オブジェクトメタデータ送信は必要ない。離散的なオブジェクト信号が、符号化器がそれを使用するように構成されているチャネルレイアウトにレンダリングされる。チャネルごとのオブジェクトの重みは、関連オブジェクトメタデータ（ＯＡＭ）から取得される。
【0108】
スピーカ－チャネル信号、離散的なオブジェクト信号、オブジェクトダウンミックス信号およびプレレンダリング済み信号のコアコーデックは、ＭＰＥＧ－Ｄ ＵＳＡＣ技術（ＵＳＡＣコアコーデック）に基づく。ＵＳＡＣ符号化器８２０（たとえば、図８に示す）は、入力のチャネルおよびオブジェクト割り当ての幾何学的かつ意味論的情報に基づいてチャネルとオブジェクトマッピング情報を作成することによって、複数の信号のコード化を処理する。このマッピング情報は、どのように入力チャネルとオブジェクトがＵＳＡＣチャネル要素（ＣＰＥ、ＳＣＥ、ＬＦＥ）にマッピングされ、対応する情報が復号器に送信されるかを記述する。
【0109】
ＳＡＯＣデータまたはオブジェクトメタデータのようなすべての追加のペイロードが拡張要素を通じて渡されており、たとえば、ＵＳＡＣ符号化器のレート制御において考慮され得る。
【0110】
オブジェクトのコード化は、レンダラのレート／歪み要件および双方向性要件に応じて、種々の方法で可能である。以下のオブジェクトコード化変形形態が可能である。
プレレンダリング済みオブジェクト：オブジェクト信号は、符号化前に２２．２チャネル信号にプレレンダリングおよび混合される。後続のコード化チェーンは、２２．２チャネル信号を考慮する。
離散オブジェクト波形：オブジェクトは、モノラル波形としてＵＳＡＣ符号化器８２０に供給される。ＵＳＡＣ符号化器８２０は、単一チャネル要素ＳＣＥを使用して、チャネル信号に加えてオブジェクトを送信する。復号されたオブジェクトは、受信機側でレンダリングおよび混合される。圧縮オブジェクトメタデータ情報が、受信機／レンダラにともに送信される。
パラメトリックオブジェクト波形：オブジェクト特性およびそれらの互いに対する関連が、ＳＡＯＣパラメータによって記述される。オブジェクト信号のダウンミックスが、ＵＳＡＣ符号化器８２０によってＵＳＡＣを用いてコード化される。パラメトリック情報がともに送信される。ダウンミックスチャネルの数は、オブジェクトの数と全体的なデータレートに応じて選択される。圧縮オブジェクトメタデータ情報が、ＳＡＯＣレンダラに送信される。
プレレンダリング済みオブジェクト：オブジェクト信号は、符号化前に２２．２チャネル信号にプレレンダリングおよび混合される。後続のコード化チェーンは、２２．２チャネル信号を考慮する。
離散オブジェクト波形：オブジェクトは、モノラル波形としてＵＳＡＣ符号化器８２０に供給される。ＵＳＡＣ符号化器８２０は、単一チャネル要素ＳＣＥを使用して、チャネル信号に加えてオブジェクトを送信する。復号されたオブジェクトは、受信機側でレンダリングおよび混合される。圧縮オブジェクトメタデータ情報が、受信機／レンダラにともに送信される。
パラメトリックオブジェクト波形：オブジェクト特性およびそれらの互いに対する関連が、ＳＡＯＣパラメータによって記述される。オブジェクト信号のダウンミックスが、ＵＳＡＣ符号化器８２０によってＵＳＡＣを用いてコード化される。パラメトリック情報がともに送信される。ダウンミックスチャネルの数は、オブジェクトの数と全体的なデータレートに応じて選択される。圧縮オブジェクトメタデータ情報が、ＳＡＯＣレンダラに送信される。
【0111】
復号器側で、ＵＳＡＣ復号器９１０がＵＳＡＣ復号を実行する。
【0112】
その上、実施形態によれば、復号器デバイスが提供される。図９を参照されたい。復号器デバイスは、１つまたは複数のオーディオ入力チャネルを取得し、１つまたは複数の入力オーディオオブジェクトを取得し、圧縮オブジェクトメタデータを取得し、１つまたは複数のＳＡＯＣトランスポートチャネルを取得するためにビットストリームを復号するためのＵＳＡＣ復号器９１０を備えている。
【0113】
さらに、復号器デバイスは、１つまたは複数のレンダリングされたオーディオオブジェクトから成る第１のグループを取得するために１つまたは複数のＳＡＯＣトランスポートチャネルを復号するためのＳＡＯＣ復号器９１５を備えている。
【0114】
その上、復号器デバイスは、図１～図７に関連して上述した実施形態による、または、図１１～図１５に関連して後述するような装置９１７を備えている。装置９１７は、図１の装置のオブジェクトメタデータプロセッサ１１０であり、圧縮オブジェクトメタデータを復号して非圧縮メタデータを取得するために実装されるオブジェクトメタデータ復号器９１８を備えている。
【0115】
さらに、上述した実施形態による装置９１７は、１つまたは複数のレンダリングされたオーディオオブジェクトから成る第２のグループを取得するために、非圧縮メタデータに応じて、１つまたは複数の入力オーディオオブジェクトをレンダリングするための、たとえば、図１の装置のオブジェクトレンダラ１２０であるオブジェクトレンダラ９２０を備えている。
【0116】
さらに、復号器デバイスは、１つまたは複数の変換済みチャネルを取得するために１つまたは複数のオーディオ入力チャネルを変換するためのフォーマット変換器９２２を備えている。
【0117】
その上、復号器デバイスは、１つまたは複数の復号オーディオチャネルを取得するために、１つまたは複数のレンダリングされたオーディオオブジェクトから成る第１のグループの１つまたは複数のオーディオオブジェクト、１つまたは複数のレンダリングされたオーディオオブジェクトから成る第２のグループの１つまたは複数のオーディオオブジェクト、および、１つまたは複数の変換済みチャネルを混合するための混合器９３０を備えている。
【0118】
図９において、復号器デバイスの特定の実施形態が示されている。オブジェクト信号のためのＳＡＯＣ符号化器８１５（ＳＡＯＣ符号化器８１５は任意である、図８参照）およびＳＡＯＣ復号器９１５（図９参照）は、ＭＰＥＧ ＳＡＯＣ技術に基づく。システムは、より少数の送信済みチャネルおよび追加のパラメトリックデータ（ＯＬＤ、ＩＯＣ、ＤＭＧ）に基づいていくつかのオーディオオブジェクトを再生成、修正およびレンダリングすることが可能である（ＯＬＤ＝オブジェクトレベル差、ＩＯＣ＝オブジェクト間相関、ＤＭＧ＝ダウンミックス利得）。追加のパラメトリックデータは、すべてのオブジェクトを個々に送信するために必要とされるよりも大幅に低いデータレートを呈し、コード化を非常に効率的にする。
【0119】
ＳＡＯＣ符号化器８１５は、入力として、モノラル波形としてのオブジェクト／チャネル信号をとり、パラメトリック情報（３Ｄオーディオビットストリームにパックされる）およびＳＡＯＣトランスポートチャネル（単一チャネル要素を使用して符号化され、送信される）を出力する。
【0120】
ＳＡＯＣ復号器９１５は、復号されたＳＡＯＣトランスポートチャネルおよびパラメトリック情報からオブジェクト／チャネル信号を再構築し、再生レイアウト、解凍されたオブジェクトメタデータ情報、および、任意ではあるがユーザ対話情報に基づいて出力オーディオシーンを生成する。
【0121】
オブジェクトメタデータコーデックに関して、各オブジェクトについて、３Ｄ空間内のオブジェクトの幾何学的位置および分散を指定する関連メタデータが、たとえば、図８のメタデータ符号化器８１８によって、時間および空間におけるオブジェクト特性の量子化によって効率的にコード化される。圧縮オブジェクトメタデータｃＯＡＭ（ｃＯＡＭ＝圧縮オーディオオブジェクトメタデータ）は、サイド情報として受信機に送信される。受信機側で、ｃＯＡＭはメタデータ復号器９１８によって復号される。
【0122】
たとえば、図９において、メタデータ復号器９１８は、たとえば、上述した実施形態の１つによるオブジェクトメタデータプロセッサを実装してもよい。
【0123】
オブジェクトレンダラ、たとえば、図９のオブジェクトレンダラ９２０は、圧縮オブジェクトメタデータを利用して、所与の再生フォーマットによるオブジェクト波形を生成する。各オブジェクトは、そのメタデータに従って特定の出力チャネルにレンダリングされる。このブロックの出力は、部分結果の合計からもたらされる。
【0124】
たとえば、図９において、オブジェクトレンダラ９２０は、たとえば、上述した実施形態の１つに従って実装されてもよい。
【0125】
図９において、メタデータ復号器９１８は、たとえば、図１～図７および図１１～図１５を参照して説明されている、上述したまたは後述する実施形態の１つに従って説明されているようなオブジェクトメタデータプロセッサとして実装されてもよく、オブジェクトレンダラ９２０は、たとえば、図１～図７および図１１～図１５を参照して説明されている、上述したまたは後述する実施形態の１つに従って説明されているようなオブジェクトレンダラとして実装されてもよい。メタデータ復号器９１８およびオブジェクトレンダラ９２０は、たとえば、ともに、図１～図７および図１１～図１５を参照して上述または後述されているような、スピーカ信号を生成するための装置９１７を実装してもよい。
【0126】
チャネルベースのコンテンツと離散／パラメトリックオブジェクトの両方が復号される場合、たとえば、図９の混合器９３０によって得られる波形が出力される前に（または、それらをバイノーラルレンダラまたはスピーカレンダラモジュールのような後処理装置モジュールに供給する前に）チャネルベースの波形とレンダリングされるオブジェクト波形が混合される。
【0127】
バイノーラルレンダラモジュール９４０は、たとえば、各入力チャネルが仮想音源によって表されるような、マルチチャネルオーディオ材料のバイノーラルダウンミックスを生成することができる。この処理は、ＱＭＦ領域においてフレームごとに実行される。バイノーラル化は、たとえば、測定されるバイノーラル室内インパルス応答に基づいてもよい。
【0128】
スピーカレンダラ９２２は、たとえば、送信チャネル構成と所望の再生フォーマットとの間で変換することができる。したがって、これは以下においてフォーマット変換器９２２と呼ばれる。フォーマット変換器９２２は、より少数の出力チャネルへの変換を実施し、たとえば、ダウンミックスを生成する。システムは、入力フォーマットと出力フォーマットとの所与の組み合わせについて最適化されたダウンミックス行列を自動的に生成し、これらの行列をダウンミックスプロセスにおいて適用する。フォーマット変換器９２２は、標準スピーカ構成、および、非標準的なスピーカ位置を有するランダム構成を可能にする。
【0129】
図１０は、フォーマット変換器の構造を示す。図１０は、ダウンミックス構成器１０１０、および、ＱＭＦ領域においてダウンミックスを処理するためのダウンミックスプロセッサを示す（ＱＭＦ領域＝直交ミラーフィルタ領域）。
【0130】
いくつかの実施形態によれば、オブジェクトレンダラ９２０は、図１～図７を参照して説明されている上述した複数の実施形態の１つに関連して説明されているような、または、図１１～図１５を参照して説明される後述する複数の実施形態の１つに関連して説明されるような、スクリーン関連オーディオオブジェクトリマッピングを実現するように構成することができる。
【0131】
以下において、本発明のさらなる実施形態および本発明の実施形態の概念を説明する。
【0132】
いくつかの実施形態によれば、オブジェクトのユーザ制御は、たとえば、記述的メタデータ、たとえば、ビットストリーム内部にオブジェクトが存在するか、および、オブジェクトの高レベル特性に関する情報を利用することができ、たとえば、制限的メタデータ、たとえば、コンテンツ生成者によってどのように対話が可能であるかまたは可能にされるかに関する情報を利用することができる。
【0133】
いくつかの実施形態によれば、オーディオオブジェクトのシグナリング、送達およびレンダリングは、たとえば、位置的メタデータ、構造的メタデータ、たとえば、オブジェクトのグループ分けおよび階層、特定のスピーカにレンダリングし、チャネルコンテンツをオブジェクトとしてシグナリングするための機能、ならびに、オブジェクトシーンをスクリーンサイズに適合させるための手段を利用することができる。
【0134】
実施形態は、３Ｄ空間ですでに定義されている幾何学的位置とオブジェクトのレベルに加えて、開発されている新たなメタデータフィールドを提供する。
【0135】
オブジェクトベースのオーディオシーンが異なる再生設定において再生される場合、いくつかの実施形態によれば、レンダリングされる音源の位置を、たとえば、自動的に再生の寸法にスケーリングすることができる。オーディオ－視覚コンテンツが提示される場合、音源の配置と、音声の視覚的な発生源の位置とは、たとえば、もはや一致していない場合があるため、再生に対するオーディオオブジェクトを標準的にレンダリングすると、たとえば、位置的なオーディオと視覚との一貫性が乱れることになり得る。
【0136】
この効果を回避するために、たとえば、オーディオオブジェクトが３Ｄ空間内の固定位置向けに意図されておらず、その位置が再生設定におけるスクリーンのサイズとともに変化すべきであることをシグナリングするための可能性が利用され得る。いくつかの実施形態によれば、これらのオーディオオブジェクトの特別な処理、および、シーンスケーリングアルゴリズムの定義によって、再生が、たとえば、再生環境のローカルな特性に対して最適化することができるため、たとえば、より没入型の経験が可能になり得る。
【0137】
いくつかの実施形態において、レンダラまたは前処理モジュールは、たとえば、再生室内のローカルなスクリーンサイズを考慮に入れることができ、したがって、たとえば、映画またはゲームの側面においてオーディオとビデオとの間の関係を保持することができる。そのような実施形態において、このとき、オーディオシーンは、たとえば、視覚要素の位置と対応する音源の位置とが一致するように、再生設定に従ってスケーリングすることができる。たとえば、サイズが変動するスクリーンに関するオーディオと視覚との位置的な一貫性を維持することができる。
【0138】
たとえば、実施形態によれば、このとき、対話および発話を、再生スクリーンサイズに関係なく、スクリーン上の話者の方向から知覚することができる。このとき、これは、定位置にある音源と、音声の軌道と視覚要素の移動とが対応しなければならない移動している音源とについて可能である。
【0139】
スクリーン関連レンダリングを制御するために、オブジェクトをスクリーン関連としてマークすることを可能にする追加のメタデータフィールドが導入される。オブジェクトがスクリーン関連としてマークされた場合、その幾何学的位置データが、レンダリングの前に他の値にリマッピングされる。たとえば、図１３は、方位角に関する例示的な（リ）マッピングを示す。
【0140】
とりわけ、いくつかの実施形態は、たとえば、角度領域（方位角、仰角）において機能する単純なマッピング関数が定義されることを実現することができる。
【0141】
その上、いくつかの実施形態は、たとえば、オブジェクトの距離が変化せず、スクリーンに向かう若しくはスクリーンから離れる「ズーム」、または仮想的な移動が実行されず、オブジェクトの位置のみのスケーリングが実行されることを実現することができる。
【0142】
さらに、いくつかの実施形態は、マッピング関数がスクリーン比に基づくだけでなく、スクリーン端部の方位角および仰角も考慮に入れるため、たとえば、中心合わせされていない再生スクリーン
を処理することができる。
【0143】
その上、いくつかの実施形態は、たとえば、オンスクリーンオブジェクトに対する特別なマッピング関数を定義することができる。いくつかの実施形態によれば、方位角および仰角のマッピング関数は、たとえば、独立であることができ、そのため、方位角または仰角値のみをリマッピングするように選択することができる。
【0144】
以下にさらなる実施形態を提供する。
【0145】
図１１は、一実施形態によるオブジェクトベースのオーディオのレンダリングを示す。オーディオオブジェクトは、たとえば、メタデータおよび再生環境に関する情報を使用して再生側でレンダリングすることができる。そのような情報は、たとえば、スピーカの数またはスクリーンのサイズである。レンダラ１１１０は、幾何学的データならびに利用可能なスピーカおよびそれらのスピーカの位置に基づいて、スピーカ信号を計算することができる。
【0146】
ここで、一実施形態によるオブジェクトメタデータ（プリ）プロセッサ１２１０を、図１２を参照して説明する。
【0147】
図１２において、オブジェクトメタデータプロセッサ１２１０は、ローカルスクリーンサイズを考慮に入れ、幾何学的メタデータのマッピングを実施するリマッピングを実行するように構成されている。
【0148】
スクリーン関連オブジェクトの位置データが、オブジェクトメタデータプロセッサ１２１０によってリマッピングされる。たとえば、その位置の元の方位角および仰角を、リマッピングされた方位角およびリマッピングされた仰角にマッピングする曲線を適用することができる。
【0149】
たとえば、混合およびモニタリングプロセスにおいて利用される公称基準スクリーンのスクリーンサイズ、ならびに、再生室内のローカルスクリーンサイズ情報が、たとえば、リマッピングのために考慮に入れられ得る。
【0150】
たとえば、再生スクリーンサイズと称され得る基準スクリーンサイズが、たとえば、メタデータ内で送信され得る。
【0151】
いくつかの実施形態において、公称スクリーンサイズが与えられない場合、たとえば、デフォルトのスクリーンサイズが仮定されてもよい。
【0152】
たとえば、ＩＴＵ－Ｒ ＲＥＣ－ＢＴ．２０２２（参照：フラットパネルディスプレイ上のＳＤＴＶおよびＨＤＴＶテレビ画像の品質の主観的評価に関する一般的な観賞条件）において定義されている視野角を、例として使用することができる。
【0153】
いくつかの実施形態において、たとえば、２つの線形マッピング関数を、仰角および方位角値のリマッピングのために定義することができる。
【0154】
【0155】
リマッピングされた方位角は、－１８０°と１８０°との間の値をとることができ、リマッピングされた仰角は、－９０°と９０°との間の値をとることができる。マッピング曲線は一般的に、デフォルトの左端方位角とデフォルトの右端方位角との間の方位角値が所与のスクリーン左端と所与のスクリーン右端との間の間隔にマッピング（圧縮または伸張）されるように（したがって、仰角も同様に）定義される。全範囲の値がカバーされるように、他の方位角および仰角値がそれに従って圧縮または伸張される。
【0156】
すでに上述したように、公称スクリーンサイズのスクリーン端部は、たとえば、以下によって与えることができる。
【0157】
再生スクリーン端部は、たとえば、以下によって省略することができる。
【0158】
方位角および仰角位置データのリマッピングは、たとえば、以下の線形マッピング関数によって定義することができる。
【0159】
【0160】
勾配が変化し得る曲線の点
は、デフォルト値（デフォルトの仮定される標準スクリーンサイズおよびデフォルトの仮定される標準スクリーン位置）として設定されるか、または、それらは、メタデータ内に（たとえば、その後そこで再生／モニタリングスクリーンサイズを与え得る再生者によって）存在し得る。
【0161】
スクリーン関連リマッピングのためのオブジェクトメタデータの定義に関して、スクリーン関連レンダリングを制御するために、「isScreenRelativeObject」と名付けられる追加のメタデータフラグが定義される。このフラグは、たとえば、オーディオオブジェクトがローカル再生スクリーンサイズに関連して処理／レンダリングされるべきであるか否かを定義することができる。
【0162】
オーディオシーン内にスクリーン関連要素が存在する場合、混合およびモニタリングに使用された公称基準スクリーンのスクリーンサイズ情報（オーディオコンテンツの再生中に使用されているスクリーンサイズ）を提供するための可能性が提供される。
表４－一実施形態によるObjectMetadataConfig()の構文
hasScreenRelativeObjects このフラグはスクリーン関連オブジェクトが存在するか否かを指定する。
hasScreenSize このフラグは公称スクリーンサイズが定義されるか否かを指定する。この定義は、スクリーン端部に対応する視野角を介して行われる。hasScreenSizeがゼロである場合、以下の値がデフォルトとして使用される。
bsScreenSizeAz このフィールドは、スクリーン左端およびスクリーン右端に対応する方位角を定義する。
bsScreenSizeTopEl このフィールドは、スクリーン上端に対応する仰角を定義する。
bsScreenSizeBottomEl このフィールドは、スクリーン下端に対応する仰角を定義する。
isScreenRelativeObject このフラグは、オブジェクト位置がスクリーン相対的であるか否かを規定する（位置は、それらのオブジェクト位置がリマッピングされるが、依然としてすべての有効な角度値を含むことができるように、別様にレンダリングされるべきである。
表４－一実施形態によるObjectMetadataConfig()の構文
hasScreenSize このフラグは公称スクリーンサイズが定義されるか否かを指定する。この定義は、スクリーン端部に対応する視野角を介して行われる。hasScreenSizeがゼロである場合、以下の値がデフォルトとして使用される。
【0163】
一実施形態によれば、再生スクリーンサイズが与えられない場合、デフォルトの再生スクリーンサイズおよびデフォルトの再生スクリーン位置が仮定されるか、または、たとえオブジェクトがスクリーン関連としてマークされていても、マッピングが適用されない。
【0164】
実施形態のいくつかは、可能な変形形態を実現する。
【0165】
いくつかの実施形態において、非線形マッピング関数が利用される。これらの可能なマッピング関数は、線分から構成されておらず、代わりに湾曲している。いくつかの実施形態において、追加のメタデータが、たとえば、パン挙動または聴き取りの分解能を計上するためのオフセットまたは非線形係数を定義する、リマッピングの方法を制御する。
【0166】
いくつかの実施形態は、方位角および仰角の独立した処理を実現する。方位角および仰角は、独立してスクリーン関連としてマークおよび処理され得る。表５は、そのような実施形態によるObjectMetadataConfig()の構文を示す。
表５：一実施形態によるObjectMetadataConfig()の構文
表５：一実施形態によるObjectMetadataConfig()の構文
【0167】
いくつかの実施形態は、オンスクリーンオブジェクトの定義を利用する。これは、スクリーン関連オブジェクトとオンスクリーンオブジェクトとの間で区別され得る。このとき、可能な構文は以下の表６のものであり得る。
表６－一実施形態によるObjectMetadataConfig()の構文
hasOnScreenObjects このフラグはスクリーン関連オブジェクトが存在するか否かを指定する。
isScreenRelatedObject このフラグは、オブジェクト位置がスクリーン相対的であるか否かを規定する（位置は、それらのオブジェクト位置がリマッピングされるが、依然としてすべての有効な角度値を含むことができるように、別様にレンダリングされるべきである）。
isOnScreenObject このフラグは、対応するオブジェクトが「オンスクリーン」であるか否かを規定する。このフラグが１に等しいオブジェクトは、それらの位置がスクリーン領域上の値のみをとるように、別様にレンダリングされるべきである。
表６－一実施形態によるObjectMetadataConfig()の構文
isScreenRelatedObject このフラグは、オブジェクト位置がスクリーン相対的であるか否かを規定する（位置は、それらのオブジェクト位置がリマッピングされるが、依然としてすべての有効な角度値を含むことができるように、別様にレンダリングされるべきである）。
isOnScreenObject このフラグは、対応するオブジェクトが「オンスクリーン」であるか否かを規定する。このフラグが１に等しいオブジェクトは、それらの位置がスクリーン領域上の値のみをとるように、別様にレンダリングされるべきである。
【0168】
オンスクリーンオブジェクトについて、リマッピングされた方位角および仰角は、スクリーン領域上の位置を記述する値のみをとることができる
。
【0169】
いくつかの実施形態によって実現されるものとして、これらの範囲外の値を処理するための以下の複数の異なる可能性がある。それらは、スクリーンの端部にマッピングされ得る。その後、左半球において、１８０°と
との間の位置が、スクリーン左端
にマッピングされる。右半球および仰角は同じように処理される（図１５内の破線でないマッピング関数１５１０）。
【0170】
実施形態のいくつかによって実現される別の可能性は、後半球の値を前半球にマッピングすることである。１８０°と
との間の値が、０°と
との間の値にマッピングされる。右半球および仰角は同じように処理される（図１５内の破線のマッピング関数１５２０）。
【0171】
図１５は、これらの実施形態による方位角のリマッピング（オンスクリーンオブジェクト）を示す。
【0172】
所望の挙動の選択は、追加のメタデータ（たとえば、後方（［１８０°および
］ならびに［－１８０°および
］向けに意図されているすべてのオンスクリーンオブジェクトをスクリーン上に「投影」するためのフラグ）によってシグナリングされ得る。
【0173】
いくつかの態様が装置の側面で説明されているが、これらの態様はまた、対応する方法の説明をも表すことは明らかであり、ブロックまたはデバイスが、方法ステップまたは方法ステップの特徴に対応する。同様に、方法ステップの側面で説明されている態様は、対応する装置の対応するブロックまたは項目もしくは特徴の説明をも表す。
【0174】
本発明の分解されている信号は、デジタル記憶媒体上に記憶することができ、または、インターネットのような、無線伝送媒体もしくは有線伝送媒体などの伝送媒体上で伝送することができる。
【0175】
特定の実施要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェア内で実装することができる。実施態様は、それぞれの方法が実施されるようにプログラム可能コンピュータシステムと協働する（または協働することが可能である）、電子可読制御信号を記憶されているデジタル記憶媒体、たとえば、フロッピーディスク、ＤＶＤ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはフラッシュメモリを使用して実施することができる。
【0176】
本発明によるいくつかの実施形態は、本明細書において説明されている方法の１つが実施されるように、プログラム可能コンピュータシステムと協働することが可能である、電子可読制御信号を有する非一時的データキャリアを含む。
【0177】
一般的に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装することができ、プログラムコードは、コンピュータプログラム製品がコンピュータ上で動作するときに、方法の１つを実施するように動作可能である。プログラムコードは、たとえば、機械可読キャリア上に記憶されてもよい。
【0178】
他の実施形態は、機械可読キャリア上に記憶されている、本明細書において説明されている方法の１つを実施するためのコンピュータプログラムを含む。
【0179】
言い換えれば、それゆえ、本発明の方法の実施形態は、コンピュータプログラムがコンピュータ上で動作するときに、本明細書において説明されている方法の１つを実施するためのプログラムコードを有するコンピュータプログラムである。
【0180】
それゆえ、本発明の方法のさらなる実施形態は、本明細書において説明されている方法の１つを実施するためのコンピュータプログラムを記録されて含むデータキャリア（またはデジタル記憶媒体、もしくはコンピュータ可読媒体）である。
【0181】
それゆえ、本発明の方法のさらなる実施形態は、本明細書において説明されている方法の１つを実施するためのコンピュータプログラムを表すデータストリームまたは信号系列である。データストリームまたは信号系列は、たとえば、データ通信接続、たとえばインターネットを介して転送されるように構成されてもよい。
【0182】
さらなる実施形態は、本明細書において説明されている方法の１つを実施するように構成または適合されている処理手段、たとえば、コンピュータ、またはプログラム可能論理デバイスを含む。
【0183】
さらなる実施形態は、本明細書において説明されている方法の１つを実施するためのコンピュータプログラムをインストールされているコンピュータを含む。
【0184】
いくつかの実施形態において、プログラム可能論理デバイス（たとえば、フィールドプログラマブルゲートアレイ）は、本明細書において説明されている方法の機能のいくつかまたはすべてを実施するために使用することができる。いくつかの実施形態において、フィールドプログラマブルゲートアレイは、本明細書において説明されている方法の１つを実施するために、マイクロプロセッサと協働することができる。一般的に、方法は、任意のハードウェア装置によって実施されることが好ましい。
【0185】
上述した実施形態は、本発明の実施形態の原理を例示しているに過ぎない。本明細書において説明されている構成および詳細の修正および変形が、当業者には諒解されよう。それゆえ、本明細書において実施形態の記述および説明の目的で提示されている特定の詳細によってではなく、添付の特許請求項の範囲のみによって限定されることが意図されている。
【0186】
［備考］
［請求項１］
スピーカ信号を生成するための装置であって、
オブジェクトメタデータプロセッサ（１１０）と、
オブジェクトレンダラ（１２０）と、を備え、
前記オブジェクトレンダラ（１２０）は、オーディオオブジェクトを受信するように構成されており、
前記オブジェクトメタデータプロセッサ（１１０）は、前記オーディオオブジェクトがスクリーン関連であるか否かに関する指示を含むとともに前記オーディオオブジェクトの第１の位置をさらに含むメタデータを受信するように構成されており、
前記オブジェクトメタデータプロセッサ（１１０）は、前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連であるとして指示されている場合、前記オーディオオブジェクトの前記第１の位置に応じて、かつスクリーンのサイズに応じて、前記オーディオオブジェクトの第２の位置を計算するように構成されており、
前記オブジェクトレンダラ（１２０）は、前記オーディオオブジェクトおよび位置情報に応じて前記スピーカ信号を生成するように構成されており、
前記オブジェクトメタデータプロセッサ（１１０）は、前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連でないとして指示されている場合、前記オーディオオブジェクトの前記第１の位置を前記位置情報として前記オブジェクトレンダラ（１２０）に供給するように構成されており、
前記オブジェクトメタデータプロセッサ（１１０）は、前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連であるとして指示されている場合、前記オーディオオブジェクトの前記第２の位置を前記位置情報として前記オブジェクトレンダラ（１２０）に供給するように構成されている装置。
［請求項２］
前記オブジェクトメタデータプロセッサ（１１０）は、前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連でないとして指示されている場合、前記オーディオオブジェクトの前記第２の位置を計算しないように構成されている請求項１に記載の装置。
［請求項３］
前記オブジェクトレンダラ（１２０）は、前記位置情報が前記オーディオオブジェクトの前記第１の位置または前記オーディオオブジェクトの前記第２の位置であるかを決定しないように構成されている請求項１または２に記載の装置。
［請求項４］
前記オブジェクトレンダラ（１２０）はさらに再生環境の前記スピーカの数に応じて前記スピーカ信号を生成するように構成されている請求項１から３のいずれか一項に記載の装置。
［請求項５］
前記オブジェクトレンダラ（１２０）は、前記再生環境の前記スピーカの各々のスピーカ位置にさらに応じて前記スピーカ信号を生成するように構成されている請求項４に記載の装置。
［請求項６］
前記オブジェクトメタデータプロセッサ（１１０）は、前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連であるとして指示されている場合、前記オーディオオブジェクトの前記第１の位置および前記スクリーンの前記サイズに応じて、前記オーディオオブジェクトの前記第２の位置を計算するように構成され、前記第１の位置は３次元空間内の前記第１の位置を示し、前記第２の位置は前記３次元空間内の前記第２の位置を示す請求項１から５のいずれか一項に記載の装置。
［請求項７］
前記オブジェクトメタデータプロセッサ（１１０）は、前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連であるとして指示されている場合、前記オーディオオブジェクトの前記第１の位置に応じて、かつ前記スクリーンの前記サイズに応じて、前記オーディオオブジェクトの前記第２の位置を計算するように構成され、前記第１の位置は第１の方位角、第１の仰角および第１の距離を示し、前記第２の位置は第２の方位角、第２の仰角および第２の距離を示す請求項６に記載の装置。
［請求項８］
前記オブジェクトメタデータプロセッサ（１１０）は、第１の指示として前記オーディオオブジェクトがスクリーン関連であるか否かに関する指示を含み、前記オーディオオブジェクトがスクリーン関連である場合、第２の指示をさらに含む前記メタデータを受信するように構成されており、前記第２の指示は、前記オーディオオブジェクトがオンスクリーンオブジェクトであるか否かを指示し、
前記オブジェクトメタデータプロセッサ（１１０）は、前記オーディオオブジェクトがオンスクリーンオブジェクトであることを前記第２の指示が指示する場合、前記第２の位置が前記スクリーンのスクリーン領域上の第１の値をとるように、前記オーディオオブジェクトの前記第１の位置および前記スクリーンの前記サイズに応じて、前記オーディオオブジェクトの前記第２の位置を計算するように構成されている請求項１から７のいずれか一項に記載の装置。
［請求項９］
前記オブジェクトメタデータプロセッサ（１１０）は、前記オーディオオブジェクトが前記オンスクリーンオブジェクトでないことを前記第２の指示が指示する場合、スクリーン領域にあるかないかのいずれかである第２の値を前記第２の位置がとるように、前記オーディオオブジェクトの前記第１の位置に応じてかつ前記スクリーンの前記サイズに応じて、前記オーディオオブジェクトの前記第２の位置を計算するように構成されている、請求項８に記載の装置。
［請求項１０］
前記オブジェクトメタデータプロセッサ（１１０）は、第１の指示として前記オーディオオブジェクトがスクリーン関連であるか否かに関する指示を含み、前記オーディオオブジェクトがスクリーン関連である場合に、第２の指示をさらに含む、前記メタデータを受信するように構成されており、前記第２の指示は、前記オーディオオブジェクトがオンスクリーンオブジェクトであるか否かを指示し、
前記オブジェクトメタデータプロセッサ（１１０）は、前記オーディオオブジェクトがオンスクリーンオブジェクトであることを前記第２の指示が指示する場合、前記オーディオオブジェクトの前記第１の位置、前記スクリーンの前記サイズ、および、マッピング曲線としての第１のマッピング曲線に応じて前記オーディオオブジェクトの前記第２の位置を計算するように構成されており、前記第１のマッピング曲線は、第１の値間隔における元のオブジェクト位置の、第２の値間隔におけるリマッピングされたオブジェクト位置に対するマッピングを定義し、
前記オブジェクトメタデータプロセッサ（１１０）は、前記オーディオオブジェクトがオンスクリーンオブジェクトでないことを前記第２の指示が指示する場合、前記オーディオオブジェクトの前記第１の位置、前記スクリーンの前記サイズ、および、前記マッピング曲線としての第２のマッピング曲線に応じて前記オーディオオブジェクトの前記第２の位置を計算するように構成されており、前記第２のマッピング曲線は、前記第１の値間隔における元のオブジェクト位置の、第３の値間隔におけるリマッピングされたオブジェクト位置に対するマッピングを定義し、前記第２の値間隔は前記第３の値間隔によって含まれ、前記第２の値間隔は前記第３の値間隔よりも小さい請求項１から７のいずれか一項に記載の装置。
［請求項１１］
前記第１の値間隔、前記第２の値間隔および前記第３の値間隔は、方位角の値間隔であるか、または
前記第１の値間隔、前記第２の値間隔および前記第３の値間隔は仰角の値間隔である請求項１０に記載の装置。
［請求項１２］
前記オブジェクトメタデータプロセッサ（１１０）は、第１の線形マッピング関数および第２の線形マッピング関数の少なくとも１つに応じて前記オーディオオブジェクトの前記第２の位置を計算するように構成されており、
前記第１の線形マッピング関数は、第１の方位角値を第２の方位角値にマッピングするように定義されており、
前記第２の線形マッピング関数は、第１の仰角値を第２の仰角値にマッピングするように定義されており、
は方位角スクリーン左端基準を示し、
は方位角スクリーン右端基準を示し、
は仰角スクリーン上端基準を示し、
は仰角スクリーン下端基準を示し、
は前記スクリーンの方位角スクリーン左端を示し、
は前記スクリーンの方位角スクリーン右端を示し、
は前記スクリーンの仰角スクリーン上端を示し、
は前記スクリーンの仰角スクリーン下端を示し、
は前記第１の方位角値を示し、
は前記第２の方位角値を示し、
θは前記第１の仰角値を示し、
θ’は前記第２の仰角値を示し、
前記第２の方位角値
は、以下の式に従って前記第１の線形マッピング関数による前記第１の方位角値
の第１のマッピングからもたらされ、
前記第２の仰角値θ’は、以下の式に従って前記第２の線形マッピング関数による前記第１の仰角値θの第２のマッピングからもたらされる請求項１から１１のいずれか一項に記載の装置。
［請求項１３］
復号器デバイスであって、
１つまたは複数のオーディオ入力チャネルを取得し、１つまたは複数の入力オーディオオブジェクトを取得し、圧縮オブジェクトメタデータを取得し、１つまたは複数のＳＡＯＣトランスポートチャネルを取得するためにビットストリームを復号するためのＵＳＡＣ復号器（９１０）と、
１つまたは複数のレンダリングされたオーディオオブジェクトから成る第１のグループを取得するために前記１つまたは複数のＳＡＯＣトランスポートチャネルを復号するためのＳＡＯＣ復号器（９１５）と、
請求項１から１２のいずれか一項に記載の装置（９１７）であって、
請求項１から１２のいずれか一項に記載の装置の前記オブジェクトメタデータプロセッサ（１１０）であり、前記圧縮オブジェクトメタデータを復号して非圧縮メタデータを取得するために実装されるオブジェクトメタデータ復号器（９１８）、及び
前記非圧縮メタデータに応じて前記１つまたは複数の入力オーディオオブジェクトをレンダリングして、１つまたは複数のレンダリングされたオーディオオブジェクトから成る第２のグループを取得するための、請求項１から１２のいずれか一項に記載の装置の前記オブジェクトレンダラ（９２０；１２０）を有する装置（９１７）と、
１つまたは複数の変換済みチャネルを取得するために前記１つまたは複数のオーディオ入力チャネルを変換するためのフォーマット変換器（９２２）と、
１つまたは複数の復号オーディオチャネルを取得するために、前記１つまたは複数のレンダリングされたオーディオオブジェクトから成る第１のグループの前記１つまたは複数のオーディオオブジェクト、前記１つまたは複数のレンダリングされたオーディオオブジェクトから成る第２のグループの前記１つまたは複数のオーディオオブジェクト、および、１つまたは複数の変換済みオーディオチャネルを混合するための混合器（９３０）と、
を備えた復号器デバイス。
［請求項１４］
スピーカ信号を生成するための方法であって、
オーディオオブジェクトを受信するステップと、
前記オーディオオブジェクトがスクリーン関連であるか否かに関する指示を含み、前記オーディオオブジェクトの第１の位置をさらに含むメタデータを受信するステップと、
前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連であるとして指示されている場合、前記オーディオオブジェクトの前記第１の位置およびスクリーンのサイズに応じて、前記オーディオオブジェクトの第２の位置を計算するステップと、
前記オーディオオブジェクトおよび位置情報に応じて前記スピーカ信号を生成するステップと、を含み、
前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連でないとして指示されている場合、前記位置情報は、前記オーディオオブジェクトの前記第１の位置であり、
前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連であるとして指示されている場合、前記位置情報は、前記オーディオオブジェクトの前記第２の位置である方法。
［請求項１５］
コンピュータまたは信号プロセッサ上で実行されるときに請求項１４に記載の方法を実施するためのコンピュータプログラム。
［請求項１］
スピーカ信号を生成するための装置であって、
オブジェクトメタデータプロセッサ（１１０）と、
オブジェクトレンダラ（１２０）と、を備え、
前記オブジェクトレンダラ（１２０）は、オーディオオブジェクトを受信するように構成されており、
前記オブジェクトメタデータプロセッサ（１１０）は、前記オーディオオブジェクトがスクリーン関連であるか否かに関する指示を含むとともに前記オーディオオブジェクトの第１の位置をさらに含むメタデータを受信するように構成されており、
前記オブジェクトメタデータプロセッサ（１１０）は、前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連であるとして指示されている場合、前記オーディオオブジェクトの前記第１の位置に応じて、かつスクリーンのサイズに応じて、前記オーディオオブジェクトの第２の位置を計算するように構成されており、
前記オブジェクトレンダラ（１２０）は、前記オーディオオブジェクトおよび位置情報に応じて前記スピーカ信号を生成するように構成されており、
前記オブジェクトメタデータプロセッサ（１１０）は、前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連でないとして指示されている場合、前記オーディオオブジェクトの前記第１の位置を前記位置情報として前記オブジェクトレンダラ（１２０）に供給するように構成されており、
前記オブジェクトメタデータプロセッサ（１１０）は、前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連であるとして指示されている場合、前記オーディオオブジェクトの前記第２の位置を前記位置情報として前記オブジェクトレンダラ（１２０）に供給するように構成されている装置。
［請求項２］
前記オブジェクトメタデータプロセッサ（１１０）は、前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連でないとして指示されている場合、前記オーディオオブジェクトの前記第２の位置を計算しないように構成されている請求項１に記載の装置。
［請求項３］
前記オブジェクトレンダラ（１２０）は、前記位置情報が前記オーディオオブジェクトの前記第１の位置または前記オーディオオブジェクトの前記第２の位置であるかを決定しないように構成されている請求項１または２に記載の装置。
［請求項４］
前記オブジェクトレンダラ（１２０）はさらに再生環境の前記スピーカの数に応じて前記スピーカ信号を生成するように構成されている請求項１から３のいずれか一項に記載の装置。
［請求項５］
前記オブジェクトレンダラ（１２０）は、前記再生環境の前記スピーカの各々のスピーカ位置にさらに応じて前記スピーカ信号を生成するように構成されている請求項４に記載の装置。
［請求項６］
前記オブジェクトメタデータプロセッサ（１１０）は、前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連であるとして指示されている場合、前記オーディオオブジェクトの前記第１の位置および前記スクリーンの前記サイズに応じて、前記オーディオオブジェクトの前記第２の位置を計算するように構成され、前記第１の位置は３次元空間内の前記第１の位置を示し、前記第２の位置は前記３次元空間内の前記第２の位置を示す請求項１から５のいずれか一項に記載の装置。
［請求項７］
前記オブジェクトメタデータプロセッサ（１１０）は、前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連であるとして指示されている場合、前記オーディオオブジェクトの前記第１の位置に応じて、かつ前記スクリーンの前記サイズに応じて、前記オーディオオブジェクトの前記第２の位置を計算するように構成され、前記第１の位置は第１の方位角、第１の仰角および第１の距離を示し、前記第２の位置は第２の方位角、第２の仰角および第２の距離を示す請求項６に記載の装置。
［請求項８］
前記オブジェクトメタデータプロセッサ（１１０）は、第１の指示として前記オーディオオブジェクトがスクリーン関連であるか否かに関する指示を含み、前記オーディオオブジェクトがスクリーン関連である場合、第２の指示をさらに含む前記メタデータを受信するように構成されており、前記第２の指示は、前記オーディオオブジェクトがオンスクリーンオブジェクトであるか否かを指示し、
前記オブジェクトメタデータプロセッサ（１１０）は、前記オーディオオブジェクトがオンスクリーンオブジェクトであることを前記第２の指示が指示する場合、前記第２の位置が前記スクリーンのスクリーン領域上の第１の値をとるように、前記オーディオオブジェクトの前記第１の位置および前記スクリーンの前記サイズに応じて、前記オーディオオブジェクトの前記第２の位置を計算するように構成されている請求項１から７のいずれか一項に記載の装置。
［請求項９］
前記オブジェクトメタデータプロセッサ（１１０）は、前記オーディオオブジェクトが前記オンスクリーンオブジェクトでないことを前記第２の指示が指示する場合、スクリーン領域にあるかないかのいずれかである第２の値を前記第２の位置がとるように、前記オーディオオブジェクトの前記第１の位置に応じてかつ前記スクリーンの前記サイズに応じて、前記オーディオオブジェクトの前記第２の位置を計算するように構成されている、請求項８に記載の装置。
［請求項１０］
前記オブジェクトメタデータプロセッサ（１１０）は、第１の指示として前記オーディオオブジェクトがスクリーン関連であるか否かに関する指示を含み、前記オーディオオブジェクトがスクリーン関連である場合に、第２の指示をさらに含む、前記メタデータを受信するように構成されており、前記第２の指示は、前記オーディオオブジェクトがオンスクリーンオブジェクトであるか否かを指示し、
前記オブジェクトメタデータプロセッサ（１１０）は、前記オーディオオブジェクトがオンスクリーンオブジェクトであることを前記第２の指示が指示する場合、前記オーディオオブジェクトの前記第１の位置、前記スクリーンの前記サイズ、および、マッピング曲線としての第１のマッピング曲線に応じて前記オーディオオブジェクトの前記第２の位置を計算するように構成されており、前記第１のマッピング曲線は、第１の値間隔における元のオブジェクト位置の、第２の値間隔におけるリマッピングされたオブジェクト位置に対するマッピングを定義し、
前記オブジェクトメタデータプロセッサ（１１０）は、前記オーディオオブジェクトがオンスクリーンオブジェクトでないことを前記第２の指示が指示する場合、前記オーディオオブジェクトの前記第１の位置、前記スクリーンの前記サイズ、および、前記マッピング曲線としての第２のマッピング曲線に応じて前記オーディオオブジェクトの前記第２の位置を計算するように構成されており、前記第２のマッピング曲線は、前記第１の値間隔における元のオブジェクト位置の、第３の値間隔におけるリマッピングされたオブジェクト位置に対するマッピングを定義し、前記第２の値間隔は前記第３の値間隔によって含まれ、前記第２の値間隔は前記第３の値間隔よりも小さい請求項１から７のいずれか一項に記載の装置。
［請求項１１］
前記第１の値間隔、前記第２の値間隔および前記第３の値間隔は、方位角の値間隔であるか、または
前記第１の値間隔、前記第２の値間隔および前記第３の値間隔は仰角の値間隔である請求項１０に記載の装置。
［請求項１２］
前記オブジェクトメタデータプロセッサ（１１０）は、第１の線形マッピング関数および第２の線形マッピング関数の少なくとも１つに応じて前記オーディオオブジェクトの前記第２の位置を計算するように構成されており、
前記第１の線形マッピング関数は、第１の方位角値を第２の方位角値にマッピングするように定義されており、
前記第２の線形マッピング関数は、第１の仰角値を第２の仰角値にマッピングするように定義されており、
θは前記第１の仰角値を示し、
θ’は前記第２の仰角値を示し、
前記第２の方位角値
復号器デバイスであって、
１つまたは複数のオーディオ入力チャネルを取得し、１つまたは複数の入力オーディオオブジェクトを取得し、圧縮オブジェクトメタデータを取得し、１つまたは複数のＳＡＯＣトランスポートチャネルを取得するためにビットストリームを復号するためのＵＳＡＣ復号器（９１０）と、
１つまたは複数のレンダリングされたオーディオオブジェクトから成る第１のグループを取得するために前記１つまたは複数のＳＡＯＣトランスポートチャネルを復号するためのＳＡＯＣ復号器（９１５）と、
請求項１から１２のいずれか一項に記載の装置（９１７）であって、
請求項１から１２のいずれか一項に記載の装置の前記オブジェクトメタデータプロセッサ（１１０）であり、前記圧縮オブジェクトメタデータを復号して非圧縮メタデータを取得するために実装されるオブジェクトメタデータ復号器（９１８）、及び
前記非圧縮メタデータに応じて前記１つまたは複数の入力オーディオオブジェクトをレンダリングして、１つまたは複数のレンダリングされたオーディオオブジェクトから成る第２のグループを取得するための、請求項１から１２のいずれか一項に記載の装置の前記オブジェクトレンダラ（９２０；１２０）を有する装置（９１７）と、
１つまたは複数の変換済みチャネルを取得するために前記１つまたは複数のオーディオ入力チャネルを変換するためのフォーマット変換器（９２２）と、
１つまたは複数の復号オーディオチャネルを取得するために、前記１つまたは複数のレンダリングされたオーディオオブジェクトから成る第１のグループの前記１つまたは複数のオーディオオブジェクト、前記１つまたは複数のレンダリングされたオーディオオブジェクトから成る第２のグループの前記１つまたは複数のオーディオオブジェクト、および、１つまたは複数の変換済みオーディオチャネルを混合するための混合器（９３０）と、
を備えた復号器デバイス。
［請求項１４］
スピーカ信号を生成するための方法であって、
オーディオオブジェクトを受信するステップと、
前記オーディオオブジェクトがスクリーン関連であるか否かに関する指示を含み、前記オーディオオブジェクトの第１の位置をさらに含むメタデータを受信するステップと、
前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連であるとして指示されている場合、前記オーディオオブジェクトの前記第１の位置およびスクリーンのサイズに応じて、前記オーディオオブジェクトの第２の位置を計算するステップと、
前記オーディオオブジェクトおよび位置情報に応じて前記スピーカ信号を生成するステップと、を含み、
前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連でないとして指示されている場合、前記位置情報は、前記オーディオオブジェクトの前記第１の位置であり、
前記オーディオオブジェクトが前記メタデータにおいてスクリーン関連であるとして指示されている場合、前記位置情報は、前記オーディオオブジェクトの前記第２の位置である方法。
［請求項１５］
コンピュータまたは信号プロセッサ上で実行されるときに請求項１４に記載の方法を実施するためのコンピュータプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】