特許 5856295 適応的オーディオシステムのための同期及びスイッチオーバ方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5856295

(24)【登録日】2015年12月18日

(45)【発行日】2016年2月9日

(54)【発明の名称】適応的オーディオシステムのための同期及びスイッチオーバ方法及びシステム

(51)【国際特許分類】

   H04N 21/44 20110101AFI20160120BHJP

   H04N 21/439 20110101ALI20160120BHJP

   G10L 19/00 20130101ALI20160120BHJP

   G10L 19/008 20130101ALI20160120BHJP

   H04S 5/02 20060101ALI20160120BHJP

   H04S 7/00 20060101ALI20160120BHJP

【ＦＩ】

   H04N21/44

   H04N21/439

   G10L19/00 330B

   G10L19/008 200

   H04S5/02 H

   H04S7/00 F

【請求項の数】27

【全頁数】21

(21)【出願番号】特願2014-518967(P2014-518967)

(86)(22)【出願日】2012年6月27日

(65)【公表番号】特表2014-526168(P2014-526168A)

(43)【公表日】2014年10月2日

(86)【国際出願番号】US2012044427

(87)【国際公開番号】WO2013006342

(87)【国際公開日】20130110

【審査請求日】2014年2月21日

(31)【優先権主張番号】61/504,005

(32)【優先日】2011年7月1日

(33)【優先権主張国】US

(31)【優先権主張番号】61/636,456

(32)【優先日】2012年4月20日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】507236292

【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】メータ，スリパル エス

(72)【発明者】

【氏名】マーティンズ，サージオ

(72)【発明者】

【氏名】グロスマン，イーサン エイ

(72)【発明者】

【氏名】サイアー，ブラッド

(72)【発明者】

【氏名】ブルロック，ディーン

(72)【発明者】

【氏名】ニアリー，ジョン

【審査官】 曽我 亮司

(56)【参考文献】

【文献】 国際公開第２０１１／０２００６５（ＷＯ，Ａ１）

【文献】 特開２００５−０８６５３７（ＪＰ，Ａ）

【文献】 特開平０９−０９３５５３（ＪＰ，Ａ）

【文献】 特開２０１１−００８２５８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ２１／４４

Ｈ０４Ｎ ２１／４３９

(57)【特許請求の範囲】

【請求項1】

オーディオ信号を処理するため１以上のプロセッサにより実行される方法であって、
チャネルベースオーディオ信号と、各チャネルベース信号が再生されるべきスピーカーアレイのスピーカーを指定する再生情報とを有するマルチチャネルオーディオコンテンツを生成するステップと、
オブジェクトベースオーディオ信号と、該オブジェクトベースオーディオ信号の３次元位置レンダリング情報とを有する適応的オーディオコンテンツを生成するステップであって、前記マルチチャネルオーディオコンテンツ又は前記適応的オーディオコンテンツがビデオコンテンツと共に再生され、前記マルチチャネルオーディオコンテンツは前記ビデオコンテンツと同期される、適応的オーディオコンテンツを生成するステップと、
前記ビデオコンテンツに対する前記オブジェクトベースオーディオ信号の再生を同期させるため、前記マルチチャネルオーディオコンテンツの現在のフレームと共に同期信号を提供するステップであって、前記同期信号は、前記適応的オーディオコンテンツの現在のトラックと現在のフレームとのトラック識別子及びフレームカウント情報を含み、前記受信した適応的オーディオコンテンツのトラック識別子及びフレームカウントが前記同期信号における前記トラック識別子及びフレームカウントに一致する場合、前記適応的オーディオコンテンツの現在のフレームが再生され、そうでない場合、前記マルチチャネルオーディオコンテンツが再生される、同期信号を提供するステップと、
を有する方法。

【請求項2】

前記適応的オーディオコンテンツの前記同期信号における前記トラック識別子及びフレームカウント情報と、前記適応的オーディオコンテンツの受信したオブジェクトベースオーディオ信号のトラック識別子及びフレームカウント情報とを比較するステップと、
前記同期信号における前記トラック識別子及びフレームカウント情報が前記受信したオブジェクトベースオーディオ信号の前記トラック識別子及びフレームカウント情報に一致しない場合、又は前記同期信号が存在しない場合、スイッチオーバ処理を実行するステップと、
を有する請求項１記載の方法。

【請求項3】

前記スイッチオーバ処理は、
サイレンス閾値に到達するまで前記オブジェクトベースオーディオ信号をフェードアウトするステップと、
前記チャネルベースオーディオ信号をフェードインするステップと、
を有する、請求項２記載の方法。

【請求項4】

前記同期信号における前記トラック識別子及びフレームカウント情報と、以降に受信したオブジェクトベースオーディオ信号のトラック識別子及びフレームカウント情報とが一致すると、前記スイッチオーバ処理はさらに、
前記チャネルベースオーディオ信号をフェードアウトするステップと、
前記以降のオブジェクトベースオーディオ信号をフェードインするステップと、
を有する、請求項３記載の方法。

【請求項5】

前記同期信号は、前記ビデオコンテンツ、前記マルチチャネルオーディオコンテンツ及び前記適応的オーディオコンテンツを含むオーディオビジュアル入力信号の一部として含まれる、請求項１記載の方法。

【請求項6】

前記同期信号は、リアルタイムオーディオコンテンツを生成するため、デジタルオーディオ信号トランスポート規格に従って受信された前記マルチチャネルオーディオコンテンツをフォーマット化するメディアブロックコンポーネントにより自動生成される、請求項１記載の方法。

【請求項7】

前記デジタルオーディオ信号トランスポート規格はＡＥＳ３規格を含み、
前記リアルタイムオーディオコンテンツは、マルチチャネルオーディオを有し、
前記リアルタイムオーディオコンテンツのマルチチャネルオーディオトラックファイルに埋め込まれる前記トラック識別子及びフレームカウント情報は、ＡＥＳ同期信号を介し前記適応的オーディオコンテンツに関連付けされる、請求項６記載の方法。

【請求項8】

前記オブジェクトベースオーディオ信号の位置レンダリング情報は、前記スピーカーアレイを含む再生環境において前記オブジェクトベースオーディオ信号の各信号が発生することが意図される３次元空間の位置を指定するメタデータを有し、
前記マルチチャネルオーディオコンテンツは、前記スピーカーアレイを利用するサラウンドサウンドオーディオシステムを介し再生するためサラウンドサウンドチャネルベースオーディオを有する、請求項７記載の方法。

【請求項9】

デジタルシネマサーバに入力される前記オーディオビジュアル信号を受信し、前記メタデータを解釈し、前記スピーカーアレイの指定されたスピーカーを介し前記適応的オーディオコンテンツの前記オブジェクトベース信号をレンダリング及び再生する適応的オーディオプロセッサに、第１イーサネット接続を介し前記ビデオ及びマルチチャネルオーディオコンテンツと、第２イーサネット接続を介し前記適応的オーディオコンテンツとを出力するステップをさらに有する、請求項８記載の方法。

【請求項10】

オーディオ及びビデオ信号を同期させるシステムであって、
オーディオビジュアル信号を受信し、第１イーサネット接続を介しビデオコンテンツ及びマルチチャネルオーディオコンテンツを出力し、第２イーサネット接続を介し適応的オブジェクトベースオーディオコンテンツを出力するサーバであって、前記マルチチャネルオーディオコンテンツは前記ビデオコンテンツと同期される、サーバと、
前記第１イーサネット接続を介し前記サーバに接続され、前記マルチチャネルオーディオコンテンツを受信し、前記マルチチャネルオーディオコンテンツを出力するメディアブロックであって、前記マルチチャネルオーディオコンテンツの現在のフレームは、前記適応的オブジェクトベースオーディオコンテンツのトラック識別子及びフレームカウント情報との比較のため、前記適応的オブジェクトベースオーディオコンテンツの現在のフレームのトラック識別子及びフレームカウント情報を含む同期信号と共に出力される、メディアブロックと、
前記第２イーサネット接続を介し前記サーバと前記メディアブロックとに接続され、前記マルチチャネルオーディオコンテンツと、前記同期信号と、前記適応的オブジェクトベースオーディオコンテンツとを受信する適応的オーディオプロセッサと、
前記受信した適応的オブジェクトベースオーディオコンテンツのトラック識別子及びフレームカウントと、前記同期信号における前記トラック識別子及びフレームカウントとを比較する前記適応的オーディオプロセッサの比較回路と、
前記受信した適応的オブジェクトベースオーディオコンテンツの前記トラック識別子及びフレームカウントが前記同期信号における前記トラック識別子及びフレームカウントに一致する場合には前記適応的オブジェクトベースオーディオコンテンツの現在のフレームをレンダリング及び再生し、そうでない場合には前記マルチチャネルオーディオコンテンツを再生するよう構成される再生システムと、
を有するシステム。

【請求項11】

前記マルチチャネルオーディオコンテンツは、サラウンドサウンドオーディオシステムを介し再生するためチャネルベースオーディオを含むデジタルシネマコンテンツを有する、請求項１０記載のシステム。

【請求項12】

定義されたサラウンドコンフィギュレーションに配置されるサラウンドサウンドスピーカーと、オーディオ再生環境を規定する部屋に配置された複数の追加的なスピーカーとを含むスピーカーアレイをさらに有する、請求項１１記載のシステム。

【請求項13】

前記適応的オブジェクトベースオーディオコンテンツは、オブジェクトベースオーディオ信号と、前記スピーカーアレイを含む再生環境において前記オブジェクトベースオーディオ信号の各信号が発生することが意図される３次元空間の位置を指定する３次元位置情報を含むメタデータとを有する、請求項１２記載のシステム。

【請求項14】

前記受信した適応的オブジェクトベースオーディオコンテンツのトラック識別子及びフレームカウントが前記同期信号に符号化された前記トラック識別子及びフレームカウントに一致しない場合、前記スピーカーアレイを介しオーディオ再生をフェードアウトし、前記受信した適応的オブジェクトベースオーディオコンテンツのフレーム番号が前記同期信号により符号化されたフレーム番号と一致するまで、前記マルチチャネルオーディオコンテンツをフェードイン及び再生し、前記マルチチャネルオーディオコンテンツをフェードアウトした後、以降の適応的オーディオフレームのトラック識別子及びフレームカウントが前記同期信号により符号化された前記トラック識別子及びフレームカウントに一致するとき、前記以降の適応的オーディオフレームをフェードインするよう構成されるスイッチオーバコンポーネントをさらに有する、請求項１３記載のシステム。

【請求項15】

前記マルチチャネルオーディオコンテンツは、リアルタイムオーディオとしてフォーマット化され、
前記同期信号は、前記マルチチャネルオーディオコンテンツのＤＣＩオーディオトラックファイルに埋め込まれたＡＥＳ同期信号を有する、請求項１４記載のシステム。

【請求項16】

前記同期信号は、ＳＭＰＴＥ ３３７Ｍ非オーディオストリーム信号としてフォーマット化され、少なくともトラック識別子及びフレームカウントを指定する複数のデータフィールドを有する、請求項１５記載のシステム。

【請求項17】

前記マルチチャネルオーディオコンテンツと前記適応的オブジェクトベースオーディオコンテンツとの双方を受信する同期マネージャコンポーネントと、
前記同期マネージャコンポーネントに接続され、前記マルチチャネルオーディオコンテンツのオーディオサンプルを格納する１以上の入出力バッファと、
をさらに有する、請求項１６記載のシステム。

【請求項18】

オーディオ及びビデオ信号を同期させるため１以上のプロセッサにより実行される方法であって、
入力オーディオビジュアル信号を受信し、第１イーサネット接続を介しビデオコンテンツとマルチチャネルオーディオコンテンツとを出力し、第２イーサネット接続を介し適応的オブジェクトベースオーディオコンテンツを出力するステップであって、前記マルチチャネルオーディオコンテンツは前記ビデオコンテンツに同期される、出力するステップと、
メディアブロックにおいて前記マルチチャネルオーディオコンテンツを受信し、前記マルチチャネルオーディオコンテンツを出力するステップであって、前記マルチチャネルオーディオコンテンツは、前記適応的オブジェクトベースオーディオコンテンツのフレームと前記マルチチャネルオーディオコンテンツの対応するフレームとを同期させるため、前記適応的オブジェクトベースオーディオコンテンツのトラック識別子及びフレームカウントを含むフレーム情報と共に提供される、マルチチャネルオーディオコンテンツを出力するステップと、
前記受信した適応的オブジェクトベースオーディオコンテンツの現在のフレームのトラック識別子及びフレームカウントと、前記マルチチャネルオーディオコンテンツの現在のフレームと共に提供されるトラック識別子及びフレームカウントとを比較するステップと、
前記受信した適応的オブジェクトベースオーディオコンテンツの前記トラック識別子及びフレーム番号が前記マルチチャネルオーディオコンテンツに関連する前記トラック識別子及びフレーム番号に一致する場合には前記適応的オブジェクトベースオーディオコンテンツをレンダリング及び再生し、そうでない場合には前記マルチチャネルオーディオコンテンツを再生するステップと、
を有する方法。

【請求項19】

前記マルチチャネルオーディオコンテンツは、定義されたサラウンドコンフィギュレーションに配置されたサラウンドサウンドスピーカーと、オーディオ再生環境を規定する部屋に配置された複数の追加的なスピーカーとを含むサラウンドサウンドオーディオシステムを介し再生するためチャネルベースオーディオを含むデジタルシネマコンテンツを有する、請求項１８記載の方法。

【請求項20】

前記適応的オブジェクトベースオーディオコンテンツは、オブジェクトベースオーディオ信号と、前記サラウンドサウンドオーディオシステムを含む再生環境において前記オブジェクトベースオーディオ信号の各信号が発生することが意図される３次元空間の位置を指定する３次元位置情報を有するメタデータとを有する、請求項１９記載の方法。

【請求項21】

前記受信した適応的オブジェクトベースオーディオコンテンツの前記トラック識別子及びフレームカウントが前記マルチチャネルオーディオコンテンツに符号化された前記トラック識別子及びフレームカウントに一致しない場合、前記サラウンドサウンドオーディオシステムを介しオーディオ再生をフェードアウトするステップと、
前記受信した適応的オブジェクトベースオーディオコンテンツの前記トラック識別子及びフレームカウントが前記マルチチャネルオーディオコンテンツに関連する前記フレーム番号に一致するまで、前記マルチチャネルオーディオコンテンツをフェードインするステップと、
をさらに有する、請求項２０記載の方法。

【請求項22】

オーディオ信号を処理するため１以上のプロセッサにより実行される方法であって、
チャネルベースオーディオ信号と、該チャネルベースオーディオ信号の各チャネルが再生されるべきスピーカーアレイのスピーカーを指定する再生情報とを有するマルチチャネルオーディオコンテンツを生成するステップと、
オブジェクトベースオーディオ信号と、該オブジェクトベースオーディオ信号の３次元位置レンダリング情報とを有する適応的オーディオコンテンツを生成するステップと、
前記マルチチャネルオーディオコンテンツ又は前記適応的オーディオコンテンツと共に再生されるビデオコンテンツに対して前記オブジェクトベースオーディオ信号の再生を同期するため、前記マルチチャネルオーディオコンテンツと共に同期信号を提供するステップであって、前記マルチチャネルオーディオコンテンツは前記ビデオコンテンツと同期される、提供するステップと、
前記同期信号に含まれる前記適応的オーディオコンテンツの現在のフレームのトラック識別子及びフレームカウント情報と、前記適応的オーディオコンテンツの現在のフレームのトラック識別子及びフレームカウント情報との比較が不一致となる場合、前記ビデオコンテンツと共に前記チャネルベースオーディオ信号の現在のフレームを再生するためスイッチオーバ処理を実行するステップと、
を有する方法。

【請求項23】

前記スイッチオーバ処理は、
サイレンス閾値に到達するまで、前記オブジェクトベースオーディオ信号をフェードアウトするステップと、
前記チャネルベースオーディオ信号をフェードインするステップと、
を有する、請求項２２記載の方法。

【請求項24】

前記同期信号における前記トラック識別子及びフレームカウント情報と、以降に受信されるオブジェクトベースオーディオ信号のトラック識別子及びフレームカウント情報とが一致すると、前記スイッチオーバ処理はさらに、
前記チャネルベースオーディオ信号をフェードアウトするステップと、
前記以降のオブジェクトベースオーディオ信号をフェードインするステップと、
を有する、請求項２３記載の方法。

【請求項25】

前記同期信号は、前記適応的オーディオコンテンツの現在トラックのトラック識別子及びフレームカウント情報を含む、請求項２２記載の方法。

【請求項26】

前記同期信号は、前記ビデオコンテンツ、前記マルチチャネルオーディオコンテンツ及び前記適応的オーディオコンテンツを含むオーディオビジュアル入力信号の一部として含まれる、請求項２５記載の方法。

【請求項27】

前記同期信号はまた、リアルタイムオーディオコンテンツを生成するため、デジタルオーディオ信号トランスポート規格に従って前記マルチチャネルオーディオをフォーマット化するメディアブロックコンポーネントによって自動生成される、請求項２２記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、参照することによって全ての目的のためにその全体がここに援用される、２０１１年７月１日に出願された米国仮出願第６１／５０４，００５号及び２０１２年４月２０日に出願された米国仮出願第６１／６３６，４５６号に対する優先権を主張する。

【0002】

１以上の実現形態は、一般にオーディオ信号処理に関し、より詳細には、適応的オーディオシステムにおけるオーディオストリーム同期及びスイッチオーバ方法に関する。

【背景技術】

【0003】

背景セクションにおいて説明される主題は、背景セクションにおける言及の結果として単に従来技術であると仮定されるべきでない。同様に、背景セクションにおいて言及されるか、又は背景セクションの主題に関連する問題は、従来技術において以前に認識されていたと仮定されるべきでない。背景セクションの主題は、単に異なるアプローチを表し、それ自体発明であってもよい。

【0004】

現在のデジタルシネマサーバは、例えば、４８ｋＨＺサンプルレートによるＰＣＭ（Ｐｕｌｓｅ−Ｃｏｄｅ Ｍｏｄｕｌａｔｅｄ）オーディオの１６チャネルなどのデジタルオーディオの複数のチャネルと共にメディアブロックに規定されたフォーマット（ＪＰＥＧ２０００ビデオなど）によるビデオデータの圧縮されたストリームを送信する。オーディオコンテンツは、シネマシステムのベンダに依存して異なるフォーマットを有してもよいパケット化されたストリームである。オーディオ及びビデオ信号は、メディアブロックに入力される前に暗号化されてもよい。メディアブロックは、ＪＰＥＧビデオを未圧縮のベースバンド信号に解読し、再生環境について調整するため当該オーディオをシネマプロセッサに送信する。シネマプロセッサは、再生環境のための等化などの機能を実行し、インオーディオコンテンツにおいて提供されるスピーカーチャネルラベルに基づき、サラウンドサウンドアレイの適切なスピーカーにオーディオ信号をルーティングする。最終的な出力は、ＨＤ−ＳＤＩ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）フォーマットによりプロジェクタに出力されるビデオフィードから構成され、アナログオーディオがアンプ及びスピーカーに送信される。適切な再生のため、オーディオトラックはビデオコンテンツに適切に同期される必要がある。

【0005】

一般に、Ａ／Ｖ同期はシアター環境では特に正確でなく、シアター技術者は、今日では一般にインストレーション／キャリブレーション中にＡ／Ｖ同期を測定しない。フィルムＡ／Ｖ同期は、１．５フレームの範囲内で正確であると言われる（６３ｍｓ＠２４ｆｐｓ）。サウンドは約１ｆｔ／ｍｓで伝搬するため、Ａ／Ｖ同期はシアターのリスナの位置に応じて５０ｍｓまで変動する可能性がある。現在のシネマシステムでは、オーディオ信号及びビデオ信号のタイミングは周知であり、オーディオとビデオとが通常同期される。プロセッサやプロジェクタなどの確立したコンポーネントの遅延がまた周知であり、例えば、プロジェクタの遅延は、典型的には、約２フレーム又は８８ｍｓで指定され、これにより、シネマサーバは、通常は適切な同期を確保するため異なるタイミング特性を収容するようプログラム可能である。典型的なアプリケーションでは、メディアブロックは、２つのリアルタイムコンポーネント、すなわち、ＨＤ−ＳＤＩインタフェースとＡＡＳ（Ａｕｄｉｏ Ａｍｐｌｉｆｉｅｒ Ｓｙｓｔｅｍ）インタフェースとを有する。これらはリアルタイムインタフェースであり、適切である場合、ある遅延により同期又はプログラムされるＡ／Ｖ出力を提供するよう構成可能である。従って、現在のシステムにおけるある程度の不正確さにもかかわらず、オーディオコンテンツとビデオコンテンツとの間のタイミングは固定され、このため、デジタルオーディオサンプルがシネマプロセッサに送信されると、それは、適正な精度のインターバル（例えば、１／２４秒後）によりアンプに送信されるアナログオーディオ信号に続く。

【0006】

オーディオが側波帯イーサネット接続を介し送信されることを可能にする新規な適応的オーディオプロセッサ及びオブジェクトベースオーディオフォーマットが開発された。このイーサネット接続は、複数の複合的なオーディオ信号を送信するため高帯域幅のルートを提供する。デジタルオーディオの単一のチャネルの帯域幅は１．５メガビット／秒（Ｍｂｐｓ）であると仮定すると、現在の１６チャネルシステム（ＡＥＳ８など）の帯域幅は、２４メガビット／秒のオーダである（１６×１．５メガビット／秒）。他方、このアプリケーションにおけるイーサネット接続の帯域幅は、１５０メガビット／秒のオーダであり、１２８個までの離散的な複合的オーディオ信号を可能にする。この適応的オーディオシステムは、デジタルシネマサーバから適応的オーディオシネマプロセッサまでのイーサネットにより非リアルタイムにＲＡＩＤアレイ（又は同様のストレージ要素）からのオーディオコンテンツを送信する。イーサネットは、バースト的、非リアルタイム及び非決定的伝送媒体である。従って、現在のシネマ処理システムの固有のオーディオ／ビデオ同期機能は、このタイプの適応的オーディオシステムに適用することができない。イーサネットを介し提供されるオーディオは、明示的な同期機能を介しビデオに同期される必要がある。イーサネットを介しビデオ信号に送信されるオーディオコンテンツを揃えるため、オーディオコンテンツとビデオコンテンツとを適切に同期させるための決定的な遅延がなければならない。

【発明の概要】

【0007】

従来のデジタルシネマサーバは、単一のメディアブロックにオーディオ及びビデオ信号を送信する。メディアブロックは、その後に、同期してそれらを復号化、タイムアライメント及び送信する。適応的オーディオシステムでは、オーディオコンテンツは、マルチチャネルオーディオ（５．１又は７．１サラウンドサウンドコンテンツなど）と、再生環境内のサウンド再生のための位置情報を符号化したメタデータを有するチャネルベースサウンドを有するオブジェクトベース適応的オーディオとの２つの異なるコンテンツタイプにより送信される。適応的オーディオシステムでは、高ビットレート適応的オーディオが、デジタルシネマサーバからイーサネットを介し適応的オーディオプロセッサに送信される。これは、非リアルタイム又は非決定的オーディオストリームを構成する。適応的オーディオコンテンツとシネマサーバにより提供されるビデオとを同期させるため、適応的オーディオプロセッサが再生すべき適応的オーディオのフレームを決定することを可能にするため、同期信号がマルチチャネルオーディオに関連付けされる。

【0008】

一実施例では、同期信号は、マルチチャネルオーディオストリームに埋め込まれ、適応的オーディオコンテンツをマルチチャネルオーディオコンテンツに同期させ続けるためのトラック識別子及びフレームカウント情報を含む。これは、再生環境において適切なオーディオ／ビデオ同期を確保するための機構を提供する。適応的オーディオフレームが利用不可となるようなエラーが発生した場合、又はトラック識別子及びフレーム番号情報が同期信号に一致しない場合、又は適応的オーディオコンテンツの代わりにマルチチャネルコンテンツを再生することが所望される場合、スイッチオーバ処理が呼び出される。スイッチオーバ処理は、オーディオをサイレンスまでフェード化し、次にマルチチャネルオーディオトラックをサイレンスから現在レベルにフェード化するフェード化コンポーネントを有する。システムは、同期信号のフレーム番号と適応的オーディオのフレーム番号とが一致するまでマルチチャネルオーディオトラックを再生し続け、当該時点で適応的オーディオコンテンツが再びフェードインされる。

【0009】

実施例は、適応的オーディオベースシネマシステムにおけるオーディオ及びビデオ信号の適切な同期を提供する。システムは、チャネルベースオーディオがビデオ信号にすでに同期されているという事実に依拠し、非決定的オブジェクトベース適応的オーディオコンテンツをチャネルベースコンテンツに同期させるシグナリング方法を提供する。このオーディオ・ツー・オーディオ同期方法は、適切なタイミング、フェールオーバプロテクション及びオーディオコンテンツ全体（マルチチャネルオーディオにプラスして適応的オーディオ）とビデオ信号との間のスイッチング機能を提供する。

【0010】

マルチチャネル（サラウンドサウンドなど）オーディオとオブジェクトベース適応的オーディオコンテンツとの双方が提供される適応的オーディオシステムのための同期及びスイッチオーバ機構の実施例が説明される。同期信号は、マルチチャネルオーディオストリームに埋め込まれ、再生すべき適応的オーディオストリームのトラック識別子及びフレームカウントを含む。受信した適応的オーディオフレームのトラック識別子及びフレームカウントは、同期信号に含まれるトラック識別子及びフレームカウントと比較される。トラック識別子又はフレームカウントが同期信号に一致しない場合、適応的オーディオトラックをフェードアウトし、マルチチャネルオーディオトラックをフェードインするスイッチオーバ処理が呼び出される。システムは、同期信号のトラック識別子及びフレームカウントと適応的オーディオのトラック識別子及びフレームカウントが一致するまで、マルチチャネルオーディオトラックを再生し続け、当該ポイントにおいて適応的オーディオコンテンツが再びフェードインされる。

【図面の簡単な説明】

【0011】

以下の図では、同様の参照番号は同様の要素を参照するのに利用される。以下の図は各種具体例を示しているが、１以上の実現形態は図示された具体例に限定されるものでない。

【図1】図１は、一実施例による同期スイッチオーバプロテクション処理を実現する適応的オーディオシステムのブロック図である。

【図2A】図２Ａは、同期信号がマルチチャネルオーディオコンテンツに関連付けされる実施例による適応的オーディオ信号の送信用のイーサネットサイドチャネルを有する適応的オーディオシステムのブロック図である。

【図2B】図２Ｂは、同期信号がマルチチャネルオーディオコンテンツを受信したメディアブロックにより生成される他の実施例による適応的オーディオ信号の伝送用のイーサネットサイドチャネルを有する適応的オーディオシステムのブロック図である。

【図3】図３は、一実施例による適応的オーディオトラックとマルチチャネルオーディオトラックとを同期させる方法を示すフローチャートである。

【図4】図４は、一実施例による適応的オーディオプロセッサへの入力としてのリアルタイムオーディオコンテンツと適応的オーディオコンテンツとの合成を示す。

【図5】図５は、一実施例による適応的オーディオコンテンツのバッファリング及び処理を示す図である。

【図6】図６は、一実施例による同期信号の合成を示す。

【図7】図７は、一実施例による同期信号を処理するための処理フロー及びコンポーネントを示す図である。

【図8】図８は、一実施例による同期信号を用いて適応的オーディオ信号を同期させる方法を示すフロー図である。

【図9】図９は、チャネルベースオーディオ及びオブジェクトベース適応的オーディオとの双方を含み、同期スイッチオーバ方法の実施例を利用可能な異なるコンテンツの具体例を示す。

【発明を実施するための形態】

【0012】

好ましいオーディオストリームタイプが利用不可な場合に異なるタイプのオーディオストリームの再生のため、オーディオストリームを同期させ、スイッチオーバプロテクションを提供する適応的オーディオシステムのレンダリング段階のためのシステム及び方法が説明される。ここに説明される１以上の実施例の各態様は、ソフトウェア命令を実行する１以上のコンピュータ又は処理装置を含むミキシング、レンダリング及び再生システムにおいてソースオーディオ情報を処理するオーディオ又はオーディオビジュアルシステムにおいて実現されてもよい。説明される実施例の何れかが、単独で又は何れかの組み合わせにより他のものと共に利用されてもよい。各種実施例は、明細書の１以上の場所で説明又は示唆される従来技術による各種問題点によって動機付けされているかもしれないが、これらの実施例は必ずしもこれらの問題点の何れかに対処するとは限らない。すなわち、異なる実施例は明細書において説明される異なる問題点に対処するものであってもよい。いくつかの実施例は、明細書で説明されるいくつかの問題点又は１つのみの問題点を部分的にしか対処しなくてもよく、いくつかの実施例はこれらの問題点の何れも対処しなくてもよい。

【0013】

以下の説明のため、チャネル又はオーディオチャネルという用語は、そのポジションがＬｅｆｔ Ｆｒｏｎｔ又はＲｉｇｈｔ Ｔｏｐ ＳｕｒｒｏｕｎｄなどのチャネルＩＤとして符号化されるメタデータを追加したオーディオストリーム又はモノラルオーディオ信号を意味する。チャネルは複数のスピーカーを導出するものであってもよく、例えば、Ｌｅｆｔ Ｓｕｒｒｏｕｎｄチャネル（Ｌｓ）はＬｅｆｔ Ｓｕｒｒｏｕｎｄアレイの全てのスピーカーに提供される。チャネルコンフィギュレーションは、５．１、７．１などの関連するノミナルな位置による所定のスピーカーゾーンセットであり、５．１は左前方及び右前方チャネル、１つのセンターチャネル、２つのサラウンドチャネル及び１つのサブウーファチャネルを有する６チャネルサラウンドサウンドオーディオシステムを表し、７．１は、５．１システムに２つの追加的なサラウンドチャネルを追加した８チャネルサラウンドシステムを表す。５．１及び７．１コンフィギュレーションの具体例は、Ｄｏｌｂｙ（登録商標）サラウンドシステムを含む。オブジェクト又はオブジェクトチャネルは、明確なソース位置（３次元座標など）、明確なソース幅などのパラメータソース記述を有する１以上のオーディオチャネルである。例えば、オブジェクトは、オーディオストリームに加えて、位置が空間における３次元位置として符号化されるメタデータとすることができる。“適応的オーディオ”という用語は、再生環境に基づきオーディオのレンダリングを制御するメタデータに関連付けされたオブジェクト又はチャネルベースオーディオコンテンツを意味する。

【0014】

一実施例では、標準的なサラウンドサウンドオーディオは、リスナに対して所定の位置にあるラウドスピーカーアレイを介しサウンドを再生する従来のチャネルベースオーディオコーデックを介し処理されてもよい。完全なマルチチャネルオーディオプログラムを生成するため、サウンド技術者は、典型的には、全体的に所望される印象を作成するため、多数の別個のオーディオストリーム（対話、音楽、エフェクトなど）をミックスする。オーディオミキシングの決定は、典型的には、特定のシアターにおける特定の５．１又は７．１システムなどの所定の位置にあるラウドスピーカーアレイにより再生されるオーディオプログラムを聴取することによって行われる。最終的な合成された信号は、オーディオコーデックへの入力として利用される。チャネルベースオーディオと対照的に、オブジェクト符号化は、別個のオーディオストリームの形式によるエンコーダへの入力として異なるサウンドソース（オーディオオブジェクト）を提供する。各オーディオオブジェクトは、特にサウンド位置、サウンド幅及び速度情報を含むものであってもよい空間パラメータに関連付けされる。オーディオオブジェクト及び関連するパラメータは、その後配信及び格納のため符号化される。最終的なオーディオオブジェクトのミキシング及びレンダリングは、オーディオプログラムの再生の一部としてオーディオ配信チェーンの受信エンドにおいて実行される。当該ステップは、実際のラウドスピーカーの位置の知識に基づくものであってもよく、その結果はユーザに固有のリスニング環境にカスタマイズ可能なオーディオ配信システムである。チャネルベース及びオブジェクトベースの２つの符号化形式は、異なる入力信号の状態について最適に実行される。例えば、チャネルベースオーディオ符号化装置は、一般に異なるサウンドの異なるオーディオソースの稠密なミクスチャを含む入力信号を符号化するのにより効率的である。他方、オーディオオブジェクト符号化装置は、少数の指向性の高いサウンドソースを符号化するのにより効率的である。

【0015】

図１は、一実施例による同期スイッチオーバ処理を実現する適応的オーディオシステムのブロック図である。システム１００に示されるように、オーディオ入力が適応的オーディオプロセッサブロック１０２に提供される。プロセッサは、既知のサラウンドサウンド技術による特定のサラウンドサウンドスピーカー又はスピーカーグループにチャネルベースオーディオ信号を送信するためのスピーカーチャネルラベルを有するボースチャネルベースＰＣＭオーディオを生成する。プロセッサ１０２はまた、対応するオーディオオブジェクトを再生するため、スピーカーアレイ内の特定のスピーカーを特定するメタデータを含むオブジェクトベースオーディオを生成する。位置情報は、部屋において特定のリスナに対する特定のスピーカーの識別情報又は位置と対照的に、部屋及び視聴画面のサイズ及び大きさに関する再生環境の形式により提供される。このようなオーディオシステムは、サウンドが他者中心（ａｌｌｏｃｅｎｔｒｉｃ）リファレンスフレームに基づきレンダリングされるため、より没入できるオーディオ体感を提供し、実質的に任意の再生環境における全てのリスナについてサウンド技術者又はミキサの意図を維持する。他者中心リファレンスは、オーディオオブジェクトがリスナの視点に対して規定され、リスナに対する角度に関してしばしば指定される（リスナの３０度右など）空間リファレンスである自己中心（ｅｇｏｃｅｎｔｒｉｃ）リファレンスと対照されるように、部屋の壁及びコーナー、標準的なスピーカー位置及びスクリーン位置（部屋の左前方のコーナーなど）などのレンダリング環境内の物に対して規定される空間リファレンスである。

【0016】

レンダリング／出力ブロック１０４は、規定されたコンフィギュレーション（５．１又は７．１など）におけるサラウンドサウンドスピーカー１０６と、適応的オーディオコンテンツの再生のための追加的なスピーカー１０８との双方を有してもよいスピーカーアレイの適切なスピーカーへの出力を提供する。このような追加的なスピーカーは、天井に装着されたトップスピーカー、追加的なリアサブウーファ、追加的なスクリーン及びサイドサラウンドスピーカーなどを含むものであってもよい。ここで用いられる“再生システム”という用語は、レンダリング、増幅及びサウンドブロードキャスト機能を実行するため一緒に利用される１以上のコンポーネントを表し、レンダリング装置、１以上のアンプ、バッファ、スピーカー、インターコネクションコンポーネントに加えて、何れかの要素の組み合わせ又は構成による他の何れか適切なコンポーネントを含むものであってもよい。

【0017】

システム１００はさらに、マルチチャネルオーディオプログラムの効率的な配信及び格納を可能にするオーディオコーデックを含む。それは、ミキシング環境と異なる環境におけるレンダリング及び再生のために構成及び最適化されたオーディオの作成及び配信を実現するオーディオオブジェクトを生成するため、従来のチャネルベースオーディオデータと関連するメタデータとを合成する。これは、サウンド技術者がリスナの実際のリスニング環境に基づき最終的なオーディオがリスナによってどのように聞こえるべきであるかに関する自分の意図を符号化することを可能にする。システム１００のコンポーネントは、従来のチャネルベースオーディオ要素とオブジェクトベースオーディオ要素との双方を含む１以上のビットストリームを生成するよう構成されるオーディオ符号化配信復号化システムを有する。このような合成されたアプローチは、別々に行われるチャネルベース又はオブジェクトベースアプローチと比較して、より大きな符号化効率性及びレンダリングフレキシビリティを提供する。実施例は、オーディオオブジェクト符号化要素を含むように、後方互換的に所定のチャネルベースオーディオコーデックを拡張することを含む。オーディオオブジェクト符号化要素を含む新たな拡張レイヤが定義され、チャネルベースオーディオコーデックビットストリームの“ベース”又は後方互換的なレイヤに追加される。このアプローチは、新たなデコーダによりユーザのための向上したリスナ体感を提供しながら、レガシーデコーダにより処理される拡張レイヤを含む１以上のビットストリームを可能にする。向上したユーザ体感の一例は、オーディオオブジェクトレンダリングの制御を含む。当該アプローチのさらなる効果は、オーディオオブジェクトがチャネルベースオーディオコーデックにより符号化されたマルチチャネルオーディオを復号化／ミキシング／再符号化することなく、配信チェーン上の何れかにおいて追加又は修正されてもよいということである。

【0018】

適応的オーディオシステムでは、高ビットレート適応的オーディオ信号が、デジタルシネマサーバからイーサネットを介し適応的オーディオプロセッサに送信される。図２Ａは、一実施例による適応的オーディオ信号の送信用のイーサネットサイドチャネルを含む適応的オーディオシステムのブロック図である。システム２００は、デジタルシネマ処理システムのレンダリングサブシステムの一部を表すものであってもよい。システム２００に示されるように、オーディオ／ビジュアル（Ａ／Ｖ）入力２０３が、デジタルシネマサーバ２０２に提供される。Ａ／Ｖ入力は、シネマ処理システムのオーサリングツールを利用して作成者によりオーサリングされたオーディオ及びビデオコンテンツを表す。図２Ａの実施例について、Ａ／Ｖ入力信号２０３は、ビデオデータ、オーディオデータ（チャネル及びオブジェクトベースオーディオに加えて位置メタデータ）及び同期信号を含む。

【0019】

ビデオコンテンツに関して、サーバ２０２は、第１ギガビットイーサネット（１０００ＢａｓｅＴ）又は同様のライン２０１を介しメディアブロック２０６にビデオコンテンツを圧縮データ（ＪＰＥＧ２０００など）として出力し、メディアブロック２０６は、その後に適切にフォーマット化されたビデオ信号（ＨＤ−ＳＤＩなど）をプロジェクタ２０８に送信する。

【0020】

オーディオコンテンツに関して、デジタルシネマサーバ２０２は、第２ギガビットイーサネットライン２０５を介し適応的オーディオプロセッサ２０４に適応的オーディオコンテンツを出力する。適応的オーディオコンテンツは、再生環境に基づきオーディオのレンダリングを制御するメタデータに関連付けされたオブジェクトベースオーディオコンテンツを有する。適応的オーディオコンテンツはイーサネット接続を介し送信されるため、それは本来的に非決定的であり、非リアルタイムオーディオコンポーネントを表す。シネマサーバ２０２はまた、Ａ／Ｖ入力２０３のチャネルベースコンテンツからパケット化されたマルチチャネルオーディオを生成する。これは、第１イーサネットリンク２０１を介しメディアブロック２０６に送信され、メディアブロック２０６は、リンク２０７を介し適応的オーディオプロセッサ２０４に送信するためリアルタイムオーディオコンテンツを生成する。一実施例では、メディアブロック２０６は、リンク２０７を介し送信されるリアルタイムオーディオコンテンツを生成するため、ＡＥＳ３などのデジタルオーディオ信号トランスポート規格に従ってリンク２０１を介し受信したパケット化されたマルチチャネルオーディオをフォーマット化する。典型的な実現形態では、リアルタイムオーディオは、トータルで１６個のチャネル２０７のための８つのＡＥＳ３信号を有する。

【0021】

適応的オーディオプロセッサ２０４は、シネマプロセッサモード（従来のデジタルシネマ）と適応的オーディオモードとの２つのモードで動作する。シネマプロセッサモードでは、オーディオの複数のチャネルがメディアブロック２０６により生成され、ライン２０７を介し適応的オーディオプロセッサ２０６に入力するため受信される。典型的な実現形態では、当該オーディオは、トータルで１６個のチャネル２０７のための８つのＡＥＳ３信号を有する。シネマプロセッサモードの適応的オーディオプロセッサ２０４の出力（ＡＥＳ又はＤＣＩオーディオとも呼ばれる）は、例えば、サラウンドチャネルアンプ２１２に出力される６４個のスピーカーフィード（又は７．１アレイ）から構成される。例えば、１３〜１７ｍｓの調整可能な遅延が、Ｂ−ｃｈａｉｎ（ＥＱ、バスマネージメント、リミティング）処理と共に提供されてもよい。一般に、Ｂ−ｃｈａｉｎフィードは、フィルムストック上のサウンドトラックを構成するＡ−ｃｈａｉｎコンテンツと対照的に、パワーアンプ、クロスオーバ及びスピーカーにより処理される信号を表す。

【0022】

適応的オーディオモードでは、適応的オーディオプロセッサ２０４は、データ／制御のためサーバ２０２からの１０００ＢａｓｅＴイーサネットによりオーディオメディアブロックとして動作する。メディアブロック２０６から提供される８つのＡＥＳチャネル２０７が、第２イーサネットチャネル２０５を介しサーバ２０２から送信される適応的オーディオ信号のクロック処理及び同期のため利用される。これらの信号の遅延は、リアルタイムオーディオコンテンツ２０７に関連付けされる同期信号を介しシネマプロセッサモードにマッチングされる。適応的オーディオレンダリング及びＢ−ｃｈａｉｎ処理に関して、同期信号は、リアルタイムオーディオを有するＤＣＩオーディオトラックファイルの所定のチャネル（チャネル１３など）に埋め込まれる。適応的オーディオコンテンツ及びフレーム情報は、デジタルシネマサーバ２０２から適応的オーディオプロセッサ２０４から非リアルタイムにイーサネットを介しストリーミングされる。一般に、フレームは、トータルのオーディオプログラムが分割される短く独立して復号化可能なセグメントであり、オーディオフレームレート及び境界は、典型的にはビデオフレームに揃えられる。適応的オーディオプロセッサ２０４内のコンパレータ処理又はコンポーネントは、同期信号のフレーム番号と第２イーサネットチャネル２０５からのフレーム情報とを確認し、これら２つを比較する。それらが一致する場合、適応的オーディオプロセッサはアンプ２１０，２１２を介し適応的オーディオフレームを再生する。同期信号のフレーム情報と適応的オーディオコンテンツとが一致しない場合、又は同期信号がない場合、プロセッサはリアルタイムオーディオストリームに戻す。

【0023】

図２Ａに示される実施例について、同期信号が生成され、コンテンツマスタリング又はオーサリング中に入力Ａ／Ｖコンテンツ２０３のオーディオ信号に関連付けされるか、又は埋め込まれる。他の実施例では、同期信号は、レンダリング段階においてコンポーネント又は処理により自動的に生成される。図２Ｂは、マルチチャネルオーディオコンテンツを受信したメディアブロックによって同期信号が生成される適応的オーディオシステムのブロック図である。図２Ｂのシステム２２０に示されるように、Ａ／Ｖ入力コンテンツは、デジタルシネマサーバ２０２に入力されるオーディオ及びビデオコンテンツ２１３を有する。デジタルシネマサーバ２０２は、コンポジションプレイリストとも呼ばれるコンテンツのコンポジションに関する情報をメディアブロック２０６に送信するよう構成される。当該コンポジションプレイリストは、（１）フレームによるビデオトラックファイル長（すなわち、再生する最初のビデオフレームと再生する最後のビデオフレーム）、（２）フレームによるマルチチャネルオーディオトラックファイル長（すなわち、再生する最初のビデオフレームと再生する最後のビデオフレーム）、及び（３）フレームによる適応的オーディオトラックファイル長（すなわち、再生する最初の適応的オーディオフレーム及び再生する最後の適応的オーディオフレーム）を含む。さらなる又は他の情報がまた、実現形態の制約及び要求に依存して必要に応じて含まれてもよい。同期信号は、メディアブロック２０６により自動生成され、例えば、適応的オーディオプロセッサ２０４にＡＥＳ３フォーマットによりリンク２０７を介しリアルタイムに送信される。コンテンツの作成及びマスタリング処理によって、マルチチャネル（ライン２０１を介した）及び適応的オーディオトラックファイル（ライン２０５を介した）は、同数のサンプル／フレームを有する必要があり、時間に関して合わせられる必要がある。メディアブロック２０６がコンポジションプレイリストを受信し、適応的オーディオトラックファイルが呼び出される場合、メディアブロックは、再生されるマルチチャネルオーディオトラックファイルの現在のフレーム番号に基づき、同期信号を動的にレンダリングすることができる。それは、コンテンツが適応的オーディオトラックファイルを呼び出さないとき、同期信号を出力することをやめることができる。

【0024】

図３は、一実施例による適応的オーディオトラックとマルチチャネルオーディオトラックとを同期させる方法を示すフローチャートである。図３に示されるように、当該処理は、サーバ２０２から第１イーサネットリンク２０１を介し送信されるマルチチャネルオーディオファイルの一部として同期信号を埋め込むことによって開始される。一実施例では、リンク２０７を介し送信されるリアルタイムオーディオコンテンツについて、ＡＥＳ同期信号は、現在のフレームカウント及びトラック識別子情報（ＵＵＩＤなど）を含み、フレーム毎に複数回繰り返す特定の非オーディオストリーム（ＳＭＰＴＥ３３７Ｍなど）としてフォーマット化される。図２Ａのシステム２００に関して示されるように、同期信号がレンダリング又はパッケージング時に生成され、ステップ３０４においてリアルタイムオーディオ（ＤＣＩ）トラックファイルのトラック１３に挿入される。あるいは、図２Ｂのシステム２２０に関して示されるように、同期信号がメディアブロック２０６により生成されてもよい。同期信号は、オーディオトラックファイルの始めに参照される。適応的オーディオ信号及び関連するフレーム情報は、ステップ３０６において、第２ギガビットイーサネット接続２０５を介し適応的オーディオプロセッサ２０４にストリーミングされる。システムは、その後、ステップ３０８において、同期信号のフレーム番号と適応的オーディオフレーム情報とを比較する。ステップ３０８において決定されるように、フレーム番号が一致する場合、ステップ３１２において、適応的オーディオフレームが再生される。そうでない場合、エラー状態が存在し、ステップ３１４において、マルチチャネルリアルタイムオーディオが再生される。

【0025】

他の実施例では、同期信号は、例えば、非オーディオＳＭＰＴＥ３３７Ｍフォーマット化ストリームと対照的に、ＦＳＫ（Ｆｒｅｑｕｅｎｃｙ−Ｓｈｉｆｔ Ｋｅｙｉｎｇ）などを用いて聴取可能なオーディオ信号として符号化されてもよい。これは、同期信号がオーディオ透かし処理及び４８〜９６ｋＨｚのサンプルレート変換に対してロウバストであることを可能にし、これらは共にリンク２０７を介しＡＥＳ３フォーマット化信号として出力される前にメディアブロックにより適用されてもよい。

【0026】

同期信号は、１つのコンポジションからのオーディオが異なるコンポジションからのビデオと共に再生されることを防ぐため、トラック識別子を有する。フレーム番号とトラック識別子（トラックＵＵＩＤなど）との双方を有することは、これが発生することを回避するための一意的な関連付けを生成する。この可能性は、あるショー内の複数のクリップが同一のフレーム番号を有する適応的オーディオを含む図９を参照して示される。この場合、異なるトラック識別子は、異なるビデオクリップとオーディオフレームとの関連付け又は誤った関連付けにより生じうる誤ったオーディオ再生を防ぐ。

【0027】

デジタルシネマサーバ２０２からリンク２０５を介し適応的オーディオプロセッサ２０４に送信される非リアルタイムイーサネットパケットは、トラックＩＤ及びフレームカウント情報を有するヘッダを含む。トラックＩＤ及びフレームカウントは、リアルタイムオーディオトラックに埋め込まれ、ＡＥＳチャネル２０７によりメディアブロック２０６から適応的オーディオプロセッサ２０４に送信される。適応的オーディオプロセッサは、イーサネットからのフレームデータと同期信号のものとを比較し、フレームが検出された場合、適応的オーディオフレームを再生する。図４は、一実施例による適応的リアルタイムチャネルデータ及び適応的オーディオイーサネットデータのコンポジションを示す。図４に示されるように、ギガバイトイーサネットリンク２０５によりサーバ２０２からプロセッサ２０４に送信されるデータパケットは、フレーム情報によりインタリーブされたデータパケットを含む。図４の具体例について、イーサネット２０５のデータは。オーディオフレームＢ１−Ａ３−Ａ２−Ａ１に構成される。リンク２０７を介しメディアブロック２０６からプロセッサ２０４に送信されるリアルタイムオーディオデータは、ＤＣＩオーディオ同期信号に符号化されたフレーム番号により符号化される。この場合、符号化例は、フレームＢ１−Ａ３−Ａ２−Ａ１をリストする。これらのフレームが２つの信号の間で一致するため、サーバ２０２からの適応的オーディオコンテンツは再生される。フレーム番号が一致しないエラーがある場合、又は同期信号がない場合、リアルタイムオーディオ信号は、適応的オーディオ信号の代わりに再生される。

【0028】

図５は、一実施例による適応的オーディオコンテンツのバッファリング及び処理を示す図である。システム５００は、８つのＡＥＳ入力を連続的に処理し、当該データをバッファリングし、同期信号があるか検出する。リアルタイム信号は、同期信号抽出ブロック５０２に入力される。フレームＩＤ及びＰＣＭデータは、フレームシーケンスマネージャ５１０に送信される。並行して、ギガビットイーサネットリンク２０５により送信された適応的オーディオ信号は、解読ブロック５０４、復号化ブロック５０６及びレンダリングブロック５０８に入力される。レンダリングブロック５０８により生成されるフレームＩＤ及びＰＣＭデータは、フレームシーケンスマネージャ５１０に入力される。フレームシーケンスマネージャは、その後、同期信号があるか、同期フレームが適応的オーディオフレームに一致するかに依存して、オーディオセット、リアルタイムオーディオ又は適応的オーディオの何れを出力するか決定する。選択された出力は、その後、Ｂ−ｃｈａｉｎプロセッサ５１２に送信される。

【0029】

図６は、一実施例による同期信号のコンポジションを示す。図６に示されるように、ＰＣＭの左右のチャネル６０２の一例となるフレームがＡ１及びＡ２により示される。同期信号６０６は、ＤＣＩオーディオトラック内の特定チャネル（チャネル１３など）により提供される。同期信号は、各オーディオフレームの始めに揃えられる（フレーム毎に４２ｍｓオーディオ）。同期信号６０６は、同期ワード、トラックだいるＩＤ（ＵＵＩＤ）及びフレームカウント（ＵＩＮＴ３２）を含む。

【0030】

一実施例では、初期的な同期、シーク（初期的な同期と同じであってもよい）、ＤＣＩオーディオスイッチへの／からの適応的オーディオ及びエラーリカバリのための再同期を含む異なる同期モードがあってもよい。全てのモードは、同一の機構を用いて何れのオーディオフォーマットを再生するか決定する。

【0031】

図７は、一実施例による同期信号を処理するためのコンポーネント及び処理フローを示す図である。図７に示されるように、適応的オーディオコンテンツとリアルタイムオーディオ（ＡＥＳ３）チャネルとが、同期マネージャ７０４に入力される。リアルタイム信号について、インタリーブされたＰＣＭデータの１つのチャネルが同期信号を搬送し、残りのチャネルがマルチチャネル（サラウンドサウンド）コンテンツを搬送する。同期マネージャは、入力ＰＣＭオーディオバッファ７０２及び入力符号化オーディオバッファ７０６とのインタフェースをとる。ＰＣＭオーディオデータは出力ＰＣＭオーディオバッファ７１０に直接送信され、符号化されたオーディオはオーディオ復号化ブロック７０８に送信され、符号化されたオーディオは、バッファ７１０への入力のためＰＣＭフォーマットに変換される。バッファ７１０は、その後、ＡＥＳ入力クロックに基づきクロック処理されるデジタル／アナログ出力を提供する。

【0032】

図８は、一実施例による同期信号を用いて適応的オーディオ信号を同期させる方法を示すフロー図である。図８に示される処理８００は、図７に示されるバッファ及び同期マネージャコンポーネントと、図６に示される同期信号とを利用する。図８の処理は、基本的には同期信号の入出力バッファへのバッファリングと、適応的オーディオフレーム番号との比較前に同期信号からの符号化フレームの出力バッファへの格納とを示す。処理８００は、ブロック８０２において、固定的な遅延の間のサイレンスにより出力バッファが予め充填されることから開始される。その後、ブロック８０４において、入出力処理が開始される。これは、ブロック８０６において、リアルタイムオーディオコンテンツの入力サンプルの受信を生じさせる。判定ブロック８０８において、同期信号が検出されたか判断される。検出されない場合、ブロック８２４において、さらに同期信号のサンプルの最大数に到達したか判断される。到達していない場合、ブロック８２６において、サンプルは入力サンプルバッファに格納され、当該処理はブロック８０６から再び進捗する。ブロック８２４において、最大数に到達したと判断された場合、ブロック８２２において、入力サンプルが出力バッファにコピーされ、ブロック８２０において、入力サンプルバッファがクリアされ、当該処理はブロック８０６から進捗する。ブロック８０８において決定されるように、同期信号が検出された場合、当該処理は、ブロック８１０において、同期信号に関連する符号化フレームが利用可能であるか確認する。判定ブロック８１２において決定されるように、フレームが利用可能である場合、ブロック８１４において、関連するフレームが出力バッファにコピーされ、ブロック８１８において、入力サンプルバッファがクリアされ、ブロック８０６において、次の入力サンプルが取得される。ブロック８１２において決定されるように、フレームが利用可能でない場合、その後、ブロック８１６において、入力サンプルが出力バッファにコピーされ、ブロック８１８において、入力サンプルバッファがクリアされ、ブロック８０６において、当該処理は、次の入力サンプルを取得することによって進捗する。

【0033】

ここに説明される同期機構は、最小限のメディアブロックソフトウェアの変更しか必要とせず（同期トラックのためのオーディオルーティング）、シネマサーバから適応的オーディオプロセッサへのシンプルな非リアルタイムストリーミング機構を表す。サーバ２０２からプロセッサ２０４へのバッファリング方式は、サーバ２０２からメディアブロック２０６へのものと同じストリーミングプロトコルを利用する。これは、メディアブロックとの正確な同期とメディアブロックエラーに対するロウバスト性とを保証し、メディアブロック２０６がフレームを落とした場合、プロセッサ２０４はフレームを落とすことになる。このロウバストなフォールバック機構は、オーディオが常に再生されることを保証する。

【0034】

イーサネットストリーミングに関して、サーバ２０２から適応的オーディオプロセッサ２０４へのプロトコルは、サーバ２０２からメディアブロック２０６へのプロトコルと同様である。これは、メディアブロックと帯域幅を共有せず、プロセッサ２０４にバッファリングされる複数秒によりイーサネット上でバーストする非リアルタイムインタフェースである専用のイーサネット接続である。可能な限り高速にデータを単に送信するサーバ２０２のリアルタイムデッドラインはない。システムは、ＴＣＰウィンドウ処理を利用してバッファフルネス／フロー制御を管理する。

【0035】

一例となる実現形態では、コンテンツビットレートは、以下のとおりであってもよい。２５０Ｍｂ／ｓ−ビデオ＋３７Ｍｂ／ｓ−ＤＣＩオーディオ（１６チャネル＠９６ｋＨｚ）＋１４７Ｍｂ／ｓ−適応的オーディオ（１２８チャネル＠４８ｋＨｚ）＝４３４Ｍｂ／ｓ（現在のＤ−Ｃｉｎｅｍａ＋適応的オーディオ）
一実施例では、適応的オーディオシステムは、メディアブロックにおける挿入／ドロップされたオーディオフレーム、サーバ２０２から適応的オーディオプロセッサ２０４への適応的オーディオに関するバッファアンダーフロー、サーバとプロセッサとの間のイーサネット接続の消失、サーバとメディアブロックとの間のイーサネット接続の消失、メディアブロックからプロセッサへのＡＥＳ接続の消失、プロセッサにおける解読／復号化エラー、及びプロセッサにおける動作エラーを含む特定のエラー状態に対処する機構を含む。

【0036】

さらなる展開は、適応的オーディオコンテンツがネイティブレートにより再生される規定、同時的なＡＥＳに加えてファイル入力のためのサポート、リアルタイムオーディオ入力における同期信号をモニタリングする手段、一定の遅延を有する同期信号に基づくリアルタイムオーディオと適応的オーディオとの間の自動スイッチング、異なるＤＣＩに加えて適応的オーディオコンテンツのオーダリングにおいて同期が維持されることを検証する手段を含む。

【0037】

再生する適応的オーディオストリームのフレーム番号を含むマルチチャネルオーディオストリームに埋め込まれた同期信号は、適応的オーディオフレームに関してエラー又はスイッチングイベントに発生におけるスイッチオーバ機構の基礎を提供する。再生中、適応的オーディオフレームが利用可能であり、フレーム番号が同期信号に一致する場合、適応的オーディオフレームが再生される。そうでない場合、オーディオはサイレントになるまでフェードアウトされる。その後、リアルタイムオーディオトラックがフェードインされる。システムは、同期信号のフレーム番号と適応的オーディオのフレーム番号とが一致するまで、リアルタイムオーディオトラックを再生し続ける。フェードイン／アウト期間及びランプ形状に関して、典型的な実現形態におけるパラメータは、リニア形状による１０ｍｓのフェードイン及びフェードアウト期間である。適応的オーディオフレームが利用可能であり、同期信号に一致すると、適応的オーディオコンテンツがフェードインされる。この場合、同じリニアな１０ｍｓのフェードイン期間を用いて、適応的オーディオがフェードインする。他のフェードイン期間及び形状が特定の実現形態の詳細に応じて実現されてもよいことに留意すべきである。

【0038】

一実施例では、同期スイッチオーバ方法及びコンポーネントは、ホールの特定の物理的位置から生じると知覚されるサウンド要素グループとしてオーディオオブジェクトが処理される適応的オーディオシステムにおいて実現される。当該オブジェクトは静的なものとすることが可能であり、又は移動可能である。オーディオオブジェクトは、特に所与の時点におけるサウンドの位置を詳述するメタデータにより制御される。オブジェクトがシアターにおいてモニタリング又は再生されるとき、それらは、物理チャネルに必ずしも出力されず、存在するスピーカーを用いて位置メタデータに従ってレンダリングされる。セッションにおけるトラックはオーディオオブジェクトとすることが可能であり、標準的なパンニングデータは、位置メタデータと類似する。このようにして、スクリーンに配置されるコンテンツは、チャネルベースコンテンツと同様にして効果的にパンされるが、サラウンドに配置されるコンテンツは、所望される場合、個々のスピーカーにレンダリングすることができる。

【0039】

実施例は、チャネルベースサラウンドサウンドコンテンツと適応的オーディオコンテンツとの双方を含む各種タイプのオーディオ及びプログラムコンテンツに適用されてもよい。図９は、リアルタイムオーディオと適応的オーディオとの双方を含み、同期スイッチオーバ処理の実施例を利用可能な異なるコンテンツの具体例を示す図９００である。コンテンツは、オブジェクトベースオーディオ及び関連するメタデータを含む単一の適応的オーディオクリップに基づくものであってもよい。ミックスされたオーディオフォーマットショーはまた、シネマで上映されてもよく、双方ともリアルタイムオーディオを利用する予告と宣伝とを追加できる。先進的なオーディオショーは、より適応的なオーディオコンテンツを有するビデオコンテンツを含む予告などのビデオコンテンツを追加してもよい。このようなケースは、インタリーブされた適応的オーディオ／ＤＣＩオーディオプログラムとして図９に示される。最終的に、コンテンツの具体例は、適応的オーディオベースビデオプログラムと共にリアルタイムオーディオベースの宣伝と予告コンテンツを含むミックスされたビデオフォーマットショーを有してもよい。一般に、適応的オーディオプロセッサは、ビデオ信号又はムービートポロジーとの同期関係について認識している必要はない。図９は実現形態に関する例示のためのみに含まれ、Ａ／Ｖプログラムの他の多数のタイプ及びコンポジションが説明された実施例の態様を利用してもよいことに留意すべきである。

【0040】

実施例は、一般にＤ−ｃｉｎｅｍａオーディオシステムの各チャネルの特定及び位置を示す“Ｄ−Ｃｉｎｅｍａ Ｄｉｓｔｒｉｂｕｔｉｏｎ Ｍａｓｔｅｒ Ａｕｄｉｏ Ｃｈａｎｎｅｌ Ｍａｐｐｉｎｇ ａｎｄ Ｃｈａｎｎｅｌ Ｌａｂｅｌｉｎｇ”というタイトルのＳＭＰＴＥ４２８−３−２００６規格を利用するデジタルシネマ（Ｄ−ｃｉｎｅｍａ）環境における適用に関する。実施例はまた、プロフェッショナル用のオーディオデバイス間のデジタルオーディオ信号の伝送のためのＡＥＳ３（Ａｕｄｉｏ Ｅｎｇｉｎｅｅｒｉｎｇ Ｓｏｃｉｅｔｙ）規格を利用するシステム上で実現される。必ずしも全ての実施例がこれに限定されるものでないことに留意すべきである。

【0041】

適応的オーディオコンテンツがデジタルシネマ処理システムにおける利用のためフィルムコンテンツに関連付けされるシネマ環境における具体例及び実現形態に関して説明されたが、実施例はまた非シネマ環境において実現されてもよいことに留意すべきである。オブジェクトベースオーディオ及びチャネルベースオーディオを有する適応的オーディオコンテンツが、何れか関連するコンテンツ（関連するオーディオ、ビデオ、グラフィックなど）に関して利用されてもよく、又はスタンドアローンオーディオコンテンツを構成してもよい。再生環境は、ヘッドフォン又はニアフィールドモニタから小さな又は大きな部屋、車、オープンエアアリーナ、コンサートホールなどまでの何れか適切な聴取環境であってもよい。

【0042】

システム１００の態様は、デジタル又はデジタル化されたオーディオファイルを処理するのに適したコンピュータベースサウンド処理ネットワーク環境において実現されてもよい。適応的オーディオシステムの各部分は、コンピュータ間で送信されるデータをバッファリング及びルーティングするのに利用される１以上のルータ（図示せず）を含む何れか所望される個数の個々のマシーンを有する１以上のネットワークを含むものであってもよい。このようなネットワークは、様々な異なるネットワークプロトコル上に構成されてもよく、インターネット、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）又はこれらの何れかの組み合わせであってもよい。ネットワークがインターネットから構成される実施例では、１以上のマシーンが、ウェブブラウザプログラムを介しインターネットにアクセスするよう構成されてもよい。さらに、図面に説明及び記載された特定のインタフェース及びリンクは、各種プロトコルを用いて実現されてもよい。例えば、イーサネット接続は、何れか適切なＴＣＰ／ＩＰプロトコルと、銅線、光ファイバなどの有線媒体とを用いて実現されてもよいし、あるいは、必要に応じて他のデジタル伝送プロトコルと置換されてもよい。

【0043】

これらのコンポーネント、ブロック、プロセス又は他の機能コンポーネントの１以上は、システムのプロセッサベース計算装置の実行を制御するコンピュータプログラムを介し実現されてもよい。また、ここに開示される各種機能は、それらの動作、レジスタ伝送、ロジックコンポーネント及び／又は他の特性に関して、各種マシーン可読又はコンピュータ可読媒体により実現されるデータ及び／又は命令として、及び／又は何れかの個数のハードウェアとソフトウェアとの組み合わせを用いて説明可能であることに留意すべきである。このようなフォーマット化されたデータ及び／又は命令が実現されるコンピュータ可読媒体は、限定することなく、光、磁気又は半導体記憶媒体など各種形態による物理的（非一時的）な不揮発性記憶媒体を含む。

【0044】

文脈から明らかに要求されない場合、本説明及び請求項を通じて、“有する”という単語は、排他的又は包括的な意味と対照的に、内包的な意味で解釈されるべきであり、すなわち、“限定することなく含む”の意味で解釈されるべきである。単数形又は複数形を用いた単語はまたそれぞれ複数又は単数を含む。さらに、“ここでは”、“以降では”、“上記”、“下記”という単語と、同様の趣旨の単語とは、本出願全体を表し、本出願の何れか特定の部分を表すものでない。“又は”という単語が２以上のアイテムのリストを参照して利用されるとき、当該単語は、リストのアイテムの何れか、リストのアイテムの全て及びリストのアイテムの何れかの組み合わせという当該単語の全ての解釈をカバーする。

【0045】

１以上の実現形態が特定の実施例に関して例示的に説明されたが、１以上の実現形態は開示された実施例に限定されるものでないことが理解されるべきである。他方、当業者に明らかなように、各種変更及び同様の構成をカバーすることが意図される。従って、添付した請求項の範囲は、これら全ての変更及び同様の構成を網羅するため最も広い解釈に従うべきである。

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】