特表 2022-511406 ソースデバイス、シンクデバイス、方法、およびコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-01-31

(54)【発明の名称】ソースデバイス、シンクデバイス、方法、およびコンピュータプログラム

(51)【国際特許分類】

   H04N 21/436 20110101AFI20220124BHJP

   H04N 21/44 20110101ALI20220124BHJP

【ＦＩ】

H04N21/436

H04N21/44

【審査請求】有

【予備審査請求】有

(21)【出願番号】P 2021523067

(86)(22)【出願日】2019-10-24

(85)【翻訳文提出日】2021-06-25

(86)【国際出願番号】 EP2019079109

(87)【国際公開番号】W WO2020084095

(87)【国際公開日】2020-04-30

(31)【優先権主張番号】18202428.1

(32)【優先日】2018-10-24

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

２．Ｂｌｕ－ｒａｙ

(71)【出願人】

【識別番号】500242786

【氏名又は名称】フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ．

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】シュテファン・クレーゲロー

(72)【発明者】

【氏名】トーマス・ヘラー

(72)【発明者】

【氏名】リナット・ツェー

(72)【発明者】

【氏名】ヘルベルト・トーマ

【テーマコード（参考）】

5C164

【Ｆターム（参考）】

5C164UB05P

5C164UB41S

5C164UB71P

5C164YA21

(57)【要約】

本発明は、1つまたは複数のデジタルメディアインターフェース上でオーディオデータおよびビデオデータを提供するためのソースデバイスを指し、ソースデバイスは、オーディオ経路のレイテンシに関する情報に基づき、および、ビデオ経路のレイテンシに関する情報に基づき、オーディオデータの提供とビデオデータの提供との間のタイムアラインメントを自動的に調整するよう構成される。

【特許請求の範囲】

【請求項1】

オーディオデータ(160、260、660、760、960)およびビデオデータ(165、265、865、965)を1つまたは複数のデジタルメディアインターフェース(170、270)上で提供するためのソースデバイス(100、200、400)であって、
前記ソースデバイス(100、200、400)は、オーディオ経路(180、280)のレイテンシに関する情報(110、210、310)に基づき、および、ビデオ経路(190、290)のレイテンシに関する情報(120、220、320)に基づき、オーディオデータ(160、260、660、760、960)の提供とビデオデータ(165、265、865、965)の提供との間のタイムアラインメント(150、250、350)を自動的に調整するよう構成されるソースデバイス(100、200、400)。

【請求項2】

前記ソースデバイス(100、200、400)は、
符号化済みビデオ表現(267)を取得し、
前記符号化済みビデオ表現(267)を復号して、復号済みビデオ表現を取得し、
前記ビデオデータ(165、265、865、965)が前記復号済みビデオ表現を表すように、前記ビデオデータ(165、265、865、965)を提供する
よう構成され、
前記ソースデバイス(100、200、400)は、前記オーディオ経路の前記レイテンシに関する前記情報(110、210、310)および前記ビデオ経路の前記レイテンシに関する情報(120、220、320)に基づき、前記符号化済みビデオ表現(267)の前記復号を選択的に遅延させるよう構成される請求項1に記載のソースデバイス(100、200、400)。

【請求項3】

前記ソースデバイス(100、200、400)は、前記1つまたは複数のデジタルインターフェース(170、270)のうちの1つを介してオーディオ再生デバイス(282、482、682、782)から取得されるオーディオ遅延情報(212)を使用して前記オーディオ経路の前記レイテンシに関する前記情報(110、210、310)を取得するよう構成され、および/または
前記ソースデバイス(100、200、400)は、前記1つまたは複数のデジタルインターフェース(170、270)のうちの1つを介して、ビデオレンダリングデバイス(292、892、992)から取得されるビデオ遅延情報(222)を使用して前記ビデオ経路の前記レイテンシに関する前記情報(120、220、320)を取得するよう構成される請求項1または2に記載のソースデバイス(100、200、400)。

【請求項4】

前記ソースデバイス(100、200、400)は、復号レイテンシ(218、318、418)をオーディオ再生デバイス(282、482、682、782)とネゴシエートし、前記ネゴシエートされた復号レイテンシに依存して前記タイムアラインメント(150、250、350)を調整するよう構成される請求項1から3のいずれか一項に記載のソースデバイス(100、200、400)。

【請求項5】

前記ソースデバイス(100、200、400)は、前記オーディオ再生デバイス(282、482、682、782)から、可能なレイテンシ値(447、747)のスパンを記述するレイテンシスパン情報を取得するか、または前記オーディオ再生デバイス(282、482、682、782)から、1つもしくは複数の可能なレイテンシ値(447、747)を記述するレイテンシリスト情報を取得するよう構成され、
前記ソースデバイス(100、200、400)は、前記レイテンシスパン情報または前記レイテンシリスト情報に基づき所望のレイテンシ値(448)を選択するよう構成され、
前記ソースデバイス(100、200、400)は、前記所望のレイテンシ値(448)を使用することを前記オーディオ再生デバイス(282、482、682、782)に命令するよう構成され、
前記ソースデバイス(100、200、400)は、前記選択された所望のオーディオ再生レイテンシ値(448)に依存して前記タイムアラインメント(150、250、350)を調整するよう構成される請求項4に記載のソースデバイス(100、200、400)。

【請求項6】

前記ソースデバイス(100、200、400)は、命令されたように、前記オーディオ再生デバイス(282、482、682、782)が前記選択された所望のレイテンシ値(448)を使用するかどうかを検証するよう構成され、
前記ソースデバイス(100、200、400)は、前記オーディオ再生デバイス(282、482、682、782)が前記選択された所望のレイテンシ値(448)を使用できなかった場合に既定のレイテンシ値を考慮するよう構成される請求項5に記載のソースデバイス(100、200、400)。

【請求項7】

前記ソースデバイス(100、200、400)は、前記オーディオ再生デバイス(282、482、682、782)から、可能なレイテンシ値(447、747)のスパンを記述するレイテンシスパン情報を含むか、または前記オーディオ再生デバイス(282、482、682、782)から、1つもしくは複数の可能なレイテンシ値(447、747)を記述するレイテンシリスト情報を含むレイテンシネゴシエーション要求を受信するよう構成され、
前記ソースデバイス(100、200、400)は、前記レイテンシスパン情報または前記レイテンシリスト情報に基づき、所望のレイテンシ値(448)を選択するよう構成される請求項5または6に記載のソースデバイス(100、200、400)。

【請求項8】

前記ソースデバイス(100、200、400)は、トポロジー情報(395)を取得するために、前記ソースデバイス(100、200、400)とオーディオ再生デバイス(282、482、682、782)との間の接続、およびさらに前記ソースデバイス(100、200、400)とビデオレンダリングデバイス(292、892、992)との間の接続のトポロジーを発見するよう構成され、
前記ソースデバイス(100、200、400)は、前記トポロジー情報(395)に依存して前記タイムアラインメント(150、250、350)を調整するよう構成される請求項1から7のいずれか一項に記載のソースデバイス(100、200、400)。

【請求項9】

前記ソースデバイス(100、200、400)は、第1のオーディオモードに対するオーディオ経路のトータルレイテンシを記述するか、または複数のオーディオモードにわたる前記オーディオ経路の平均トータルレイテンシを記述する、トータルオーディオレイテンシ情報(214、314)を取得するよう構成され、および/または
前記ソースデバイス(100、200、400)は、第1のビデオモードに対するビデオ経路のトータルレイテンシを記述するか、または複数のビデオモードにわたる前記ビデオ経路の平均トータルレイテンシを記述する、トータルビデオレイテンシ情報を取得するよう構成される請求項1から8のいずれか一項に記載のソースデバイス(100、200、400)。

【請求項10】

前記ソースデバイス(100、200、400)は、複数の個別のデバイスに、デバイス個々のレイテンシ情報を問い合わせるよう構成される請求項1から9のいずれか一項に記載のソースデバイス(100、200、400)。

【請求項11】

前記ソースデバイス(100、200、400)は、前記ビデオ経路の前記レイテンシに関する前記情報(120、220、320)を決定することを、
前記ビデオレンダリングデバイス(292、892、992)、および前記ソースデバイス(100、200、400)と前記ビデオレンダリングデバイス(292、892、992)との間のすべてのデバイスについてのデバイス個々の現在のビデオレイテンシ情報が前記ソースデバイス(100、200、400)に利用可能であるならば、デバイス個々の現在のビデオレイテンシ情報の総和を使用し、ならびに/または
第1のビデオモードに対するビデオ経路のトータルレイテンシを記述するか、または複数のビデオモードにわたる前記ビデオ経路の平均トータルレイテンシを記述する、トータルビデオレイテンシ情報と、
前記トータルビデオレイテンシ情報への前記ビデオレンダリングデバイス(292、892、992)の寄与を記述するレイテンシ情報と、
前記ビデオレンダリングデバイス(292、892、992)の現在のビデオレイテンシ情報とを、
前記トータルビデオレイテンシ情報、前記トータルビデオレイテンシ情報への前記ビデオレンダリングデバイス(292、892、992)の寄与を記述する前記レイテンシ情報、および前記ビデオレンダリングデバイス(292、892、992)の前記現在のビデオレイテンシ情報が前記ソースデバイス(100、200、400)に利用可能であるが、いくつかのデバイス個々の現在のビデオレイテンシ情報は前記ソースデバイス(100、200、400)に利用不可能であるならば使用し、ならびに/または
前記トータルビデオレンダリング情報が前記ソースデバイス(100、200、400)に利用可能であるが、前記ビデオレンダリングデバイス(292、892、992)の前記現在のビデオレイテンシ情報は前記ソースデバイス(100、200、400)に利用不可能であるならば、前記トータルビデオレンダリング情報を使用して
行うよう構成される請求項1から10のいずれか一項に記載のソースデバイス(100、200、400)。

【請求項12】

前記ソースデバイス(100、200、400)は、前記オーディオ経路の前記レイテンシに関する前記情報(110、210、310)を決定することを、
デバイス個々のパススルーレイテンシ情報(218)が前記ソースデバイス(100、200、400)と前記オーディオ再生デバイス(282、482、682、782)との間のすべてのデバイスに対して利用可能であるならば、前記第2のオーディオモードに対するオーディオ情報のパススルーに関連付けられているデバイス個々のパススルーレイテンシ情報(218)の総和を使用し、および/または
第1のオーディオモードに対するオーディオ経路のトータルレイテンシを記述するか、または複数のオーディオモードにわたる前記オーディオ経路の平均トータルレイテンシを記述する、トータルオーディオレイテンシ情報(214、314)を使用し、および/または
前記ソースデバイス(100、200、400)と前記オーディオ再生デバイス(282、482、682、782)との間のオーディオ経路内のデバイスの任意の知られているか、または推定されるオーディオレイテンシ情報の総和を使用して
行うよう構成される請求項1から11のいずれか一項に記載のソースデバイス(100、200、400)。

【請求項13】

前記ソースデバイス(100、200、400)は、前記第1のオーディオモードを使用する再生に関連付けられているレイテンシ情報を使用し、前記第2のオーディオモードに対するオーディオ情報のパススルーに関連付けられているレイテンシに関するレイテンシ情報を使用して前記トータルオーディオレイテンシ情報(214)を使用して取得される前記オーディオ経路の前記レイテンシに関する情報(110、210、310)を補正するよう構成される請求項1から12のいずれか一項に記載のソースデバイス(100、200、400)。

【請求項14】

前記ソースデバイス(100、200、400)は、前記ソースに利用可能な情報の量に依存して前記ビデオ経路の前記レイテンシに関する前記情報(120、220、320)の決定のための決定規則を選択するよう構成される請求項1から13のいずれか一項に記載のソースデバイス(100、200、400)。

【請求項15】

前記ソースデバイス(100、200、400)は、前記ビデオ経路の前記レイテンシに関する前記情報(120、220、320)に依存して、および前記オーディオ経路の前記レイテンシに関する前記情報(110、210、310)に依存して、オーディオデータ(160、260、660、760、960)の前記提供において適用されるべき遅延および/または前記ビデオデータ(165、265、865、965)の前記提供において適用されるべき遅延を決定するよう構成される請求項1から14のいずれか一項に記載のソースデバイス(100、200、400)。

【請求項16】

前記ソースデバイス(100、200、400)は、ユーザインターフェース(205)を使用して前記タイムアラインメント(150、250、350)の調整も可能とするよう構成される請求項1から15のいずれか一項に記載のソースデバイス(100、200、400)。

【請求項17】

前記ソースデバイス(100、200、400)は、1つもしくは複数のデジタルメディアインターフェース(170、270)とは別個のものである追加のリンク(207)を使用して、前記オーディオ再生デバイス(282、482、682、782)と、かつ/または前記ビデオレンダリングデバイス(292、892、992)、かつ/または前記ソースデバイス(100、200、400)と前記オーディオ再生デバイス(282、482、682、782)との間の1つもしくは複数のデバイス、かつ/または前記ソースデバイス(100、200、400)と前記ビデオレンダリングデバイス(292、892、992)との間の1つもしくは複数のデバイスと通信して、前記1つまたは複数のデバイスからレイテンシ情報を取得するよう構成される請求項1から16のいずれか一項に記載のソースデバイス(100、200、400)。

【請求項18】

シンクデバイス(682、782)であって、
前記シンクデバイス(682、782)は、デジタルメディアインターフェース(670)を介してオーディオデータ(160、260、660、760、960)を受信するよう構成され、
前記シンクデバイス(682、782)は、前記受信されたオーディオデータ(160、260、660、760、960)を復号して、復号済みオーディオデータ(662、762)を取得するよう構成され、
前記シンクデバイス(682、782)は、前記復号済み出力データ(662、762)を出力するよう構成され、
前記シンクデバイス(682、782)は、ソースデバイス(100、200、400)からの要求に応答して、第1のオーディオモードを使用する再生に関連付けられているレイテンシ情報(617、717)および第2のオーディオモードを使用する再生に関連付けられているレイテンシ情報(618、718)を含むデバイス個々のレイテンシ情報(616、716)を報告するよう構成されるシンクデバイス(682、782)。

【請求項19】

前記シンクデバイス(682、782)は、復号レイテンシ(218、318、418、618、718)、または前記第2のオーディオモードに関連付けられている再生レイテンシを、ソースデバイス(100、200、400)とネゴシエートするよう構成される請求項18に記載のシンクデバイス(682、782)。

【請求項20】

前記シンクデバイス(682、782)は、
可能な復号レイテンシ値(447、747)または再生レイテンシ値のスパンを記述するレイテンシスパン情報を前記ソースデバイス(100、200、400)に提供するか、または
1つもしくは複数の可能な復号レイテンシ値または再生レイテンシ値を記述するレイテンシリスト情報を前記ソースデバイス(100、200、400)に提供する
よう構成され、
前記シンクデバイス(682、782)は、前記ソースデバイス(100、200、400)からレイテンシ選択メッセージ(749)を受信し、前記レイテンシ選択メッセージ(749)に応答して復号レイテンシ(218、318、418、618、718)または再生レイテンシを設定するよう構成される請求項19に記載のシンクデバイス(682、782)。

【請求項21】

前記シンクデバイス(682、782)は、第1のオーディオモードに対するオーディオ経路のトータルレイテンシを記述するか、または複数のオーディオモードにわたる前記オーディオ経路の平均トータルレイテンシを記述する、トータルオーディオレイテンシ情報(214、314)への寄与(217、317、617、717)を提供するよう構成され、
前記トータルオーディオレイテンシ情報(214、314)への前記寄与(617、717)は、第2のオーディオモードを使用して再生に関連付けられている前記レイテンシ情報と異なる請求項18から20のいずれか一項に記載のシンクデバイス(682、782)。

【請求項22】

前記シンクデバイス(682、782)によって提供されるトータルオーディオレイテンシ情報(214、314)への前記寄与(217、317、617、717)は、前記第1のオーディオモードを使用する再生に関連付けられている前記レイテンシ情報に等しい請求項18から21のいずれか一項に記載のシンクデバイス(682、782)。

【請求項23】

シンクデバイス(292、892、992)であって、
前記シンクデバイス(292、892、992)は、デジタルメディアインターフェース(870、970)を介してビデオデータ(165、265、865、965)を受信するよう構成され、
前記シンクデバイス(292、892、992)は、前記受信されたビデオデータ(165、265、865、965)をレンダリングするよう構成され、
前記シンクデバイス(292、892、992)は、
ビデオ経路のトータルレイテンシを記述するか、または複数のビデオモードにわたる前記ビデオ経路の平均トータルレイテンシを記述する、トータルビデオレイテンシ情報への寄与を表すレイテンシ情報(827、927)と、
ビデオデータ(165、265)のレンダリングの実際のレイテンシを表すレイテンシ情報(828、928)とを
含むデバイス個々のレイテンシ情報(809、909)を報告するよう構成されるシンクデバイス(292、892、992)。

【請求項24】

前記シンクデバイス(292、892、992)は、ビデオ経路のトータルレイテンシを記述するか、または複数のビデオモードにわたる前記ビデオ経路の平均トータルレイテンシを記述する、トータルビデオレイテンシ情報(224、324)への前記シンクデバイス(292、892、992)の寄与(827、927)を提供するよう構成され、
前記トータルオーディオレイテンシ情報への前記寄与(827、927)は、ビデオデータのレンダリングの前記実際のレイテンシを表す前記レイテンシ情報とは異なる請求項23に記載のシンクデバイス(292、892、992)。

【請求項25】

前記シンクデバイス(292、892、992)によって報告される前記デバイス個々のレイテンシ情報(809、909)は、
第1のオーディオモードを使用するオーディオ再生に関連付けられているレイテンシ情報(917)、および/または
複数の異なるモードを使用するオーディオ再生に関連付けられている平均レイテンシ情報(917)、および/または
前記第2のオーディオモードに対するオーディオ情報のパススルーに関連付けられているレイテンシ情報(919)も含む請求項23または24に記載のシンクデバイス(292、892、992)。

【請求項26】

前記シンクデバイス(292、892、992)は、第1のオーディオモードに対するオーディオ経路のトータルレイテンシを記述するか、または複数のオーディオモードにわたる前記オーディオ経路の平均トータルレイテンシを記述する、トータルオーディオレイテンシ情報(214、314)への寄与(917)を提供するよう構成され、
前記トータルオーディオレイテンシ情報(214、314)への前記寄与(917)は、前記第2のオーディオモードに対するオーディオ情報のパススルーに関連付けられている前記レイテンシ情報(919)と異なる請求項23から25のいずれか一項に記載のシンクデバイス(292、892、992)。

【請求項27】

前記シンクデバイス(292、892、992)は、デバイス個々のレイテンシ情報(809、909)を提供することであって、前記シンクデバイス(292、892、992)によって報告される前記デバイス個々のレイテンシ情報(809、909)が、第1のデジタルメディアインターフェース(870)から第2のデジタルメディアインターフェース(970)へのオーディオデータ(160、260、660、760、860、960)の転送に関連付けられているレイテンシ情報(919)を含むように提供することを行うよう構成される請求項23から26のいずれか一項に記載のシンクデバイス(292、892、992)。

【請求項28】

オーディオデータ(160、260、660、760、960)およびビデオデータ(165、265、865、965)を1つまたは複数のデジタルメディアインターフェース(170、270)上で提供するための方法(1000)であって、
前記方法(1000)は、オーディオ経路のレイテンシに関する情報(110、210、310)に基づき、またビデオ経路のレイテンシに関する情報(120、220、320)に基づき、オーディオデータの提供とビデオデータ(165、265、865、965)の提供との間のタイムアラインメント(150、250、350)を自動的に調整するステップ(1010)を含む方法(1000)。

【請求項29】

シンクデバイスを操作するための方法(1100)であって、
前記方法は、デジタルメディアインターフェース(170、270)を介してオーディオデータ(160、260、660、760、960)を受信するステップ(1110)を含み、
前記方法は、前記受信されたオーディオデータ(160、260、660、760、960)を復号して、復号済みオーディオデータ(662、762)を取得するステップ(1120)を含み、
前記方法は、前記復号済み出力データ(662、762)を出力するステップ(1230)を含み、
前記方法は、ソースデバイス(100、200、400)からの要求に応答して、前記第1のオーディオモードを使用する再生に関連付けられているレイテンシ情報(217、317、617、717)および第2のオーディオモードを使用する再生に関連付けられているレイテンシ情報(218、318、618、718)を含むデバイス個々のレイテンシ情報を報告するステップ(1240)を含む方法(1100)。

【請求項30】

シンクデバイスを操作するための方法(1200)であって、
前記方法は、デジタルメディアインターフェース(170、270)を介してビデオデータ(165、265、865、965)を受信するステップ(1210)を含み、
前記方法は、前記受信されたビデオデータ(165、265、865、965)をレンダリングするステップ(1220)を含み、
前記方法は、
ビデオ経路のトータルレイテンシを記述するか、または複数のビデオモードにわたる前記ビデオ経路の平均トータルレイテンシを記述する、トータルビデオレイテンシ情報(224、324)への寄与を表すレイテンシ情報(227、327、827、927)と、
ビデオデータ(165、265、865、965)のレンダリングの実際のレイテンシを表すレイテンシ情報(228、328、828、928)とを
含むデバイス個々のレイテンシ情報(809、909)を報告するステップ(1230)を含む方法(1200)。

【請求項31】

コンピュータプログラムであって、前記コンピュータプログラムがコンピュータ上で実行されたときに、請求項28から30のいずれか一項に記載の方法を実行するためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、1つまたは複数のデジタルメディアインターフェース上でオーディオデータおよびビデオデータを提供するためのソースデバイスに関する。

【0002】

本発明のさらなる実施形態は、シンクデバイス、特にビデオシンクデバイス(video sink device)に関する。

【0003】

本発明のさらなる実施形態は、さらなるシンクデバイス、特にオーディオシンクデバイス(audio sink device)に関する。

【0004】

本発明のさらなる実施形態は、1つまたは複数のデジタルメディアインターフェース上でオーディオデータおよびビデオデータを提供するための方法に関する。

【0005】

本発明のさらなる実施形態は、コンピュータプログラムに関する。

【0006】

本発明による実施形態は、HDMI(登録商標)、HDMI ARC、およびS/PDIFを介して接続されているオーディオ/ビデオデバイスにおいてリップシンクを実現する手段を提供する。

【背景技術】

【0007】

オーディオ/ビデオコンテンツの再生は、多くの場合、たとえば、HDMI、HDMI ARC、およびS/PDIFリンクを使用して互いに接続されているいくつかのデバイスを要する。HDMIは、たとえば、オーディオとビデオとを搬送し、HDMI ARCおよびS/PDIFは、たとえば、オーディオのみを搬送する。HDMIまたはHDMI ARCにより接続されているすべてのデバイスは、それらの間でHDMI CECバスにより接続される。S/PDIF(電気的または光学的TOSLINK)は、純粋な一方向接続である。

【0008】

再生時については、ソースデバイス(たとえば、STB、セットトップボックス)がオーディオおよびビデオストリームをシンクデバイス(たとえば、テレビ受像機)に送信する。また、ビデオとオーディオのために異なるシンクデバイスを有すること、たとえば、ビデオのためにテレビ受像機を有し、オーディオのためにAVRまたはサウンドバーを有することも、普通のことである。それに加えて、HDMIネットワーク内にはさらなるデバイス、たとえば、リピータまたはスイッチまたは追加のソースもしくはシンクがあり得る。ビデオは、たとえば、常に、raw形式で伝送されるが、オーディオについては、様々な形式があり得、非圧縮(たとえば、PCM)と圧縮(たとえば、MPEG-H)の両方がある。

【0009】

リップシンクを実現するために、HDMI仕様(HDMI1.4、HDMI2.0)では、オーディオおよびビデオはソースデバイスによって同期してプレイアウトされる(play out)ように提案している。次いで、ビデオおよびオーディオのレンダリングが全く同時に行われるようにビデオ経路(video path)とオーディオ経路(audio path)に同じレイテンシ(latency)を適用する役目がすべての下流デバイス側にあるとみられる。

【0010】

これは、単純な場合、たとえば、PCMオーディオを使用してSTBからテレビ受像機にプレイアウトする場合には、うまく機能する。テレビ受像機側では、ビデオに対するレンダリング時間を知り、スピーカーに送出する前にこの時間をオーディオの遅延として適用する。

【0011】

オーディオ処理(復号およびレンダリング)に必要な時間がビデオレンダリングに必要な時間よりも長い場合に、問題が生じる。ビデオはRAW形式によりHDMI上で伝送されるので、シンクデバイスでは妥当な努力で遅延させることはできない。したがってHDMIの仕様では、オーディオレイテンシはビデオレイテンシ+20ms以下にすることを必須としている(HDMI 2.0a 10.6.1.1を参照)。

【0012】

しかし、今日の強力なオーディオコーデックは、典型的なビデオのレンダリング時間よりも長い復号時間を有することが多い。それに加えて、シンクデバイスは、オーディオレンダリングアルゴリズム(サウンドバーなどにおける)またはスピーカーのワイヤレス接続に実質的な時間を必要とし得る。したがって、オーディオレイテンシがビデオレイテンシよりも大きいときにリップシンクが達成できるソリューションが必要である。

【0013】

オーディオシンクおよびビデオシンクが同じデバイスでない場合に、別の問題が生じる。その場合、現在のスキームに従ってレイテンシを調整するために、オーディオシンク側はビデオシンクのレイテンシを知っているべきである(あるいは知る必要がある)。

【0014】

HDMIでは、シンクデバイスがEDIDでビデオおよびオーディオレイテンシを報告するための任意選択の機構を定義しているが(情報がシンクからソースに送信される)、これはほとんど実装されておらず、したがって実際には使用できない。また、たとえ実装されたとしても、それは静的で平均化された情報であり、ビデオレイテンシが変化しても変化しない。ビデオレイテンシは、異なるビデオ解像度が処理されるとき、またはテレビ受像機で異なるビデオオプション、たとえば、高速ゲームモードが選択されたときに変化し得る。

【0015】

HDMI 2.0では、変化するビデオレイテンシ時間を報告するための任意選択のCECコマンドも定義している(HDMI 2.0a 10.7.1を参照)。しかし、ここでもまた、これもほとんど実装されていないので、実際には使用できない。

【0016】

任意選択で、特徴、機能性、および詳細の一部または全部が適用され得るか、または本発明による実施形態に存在し得ることに留意されたい(少なくとも、これが以下で説明されている概念と矛盾しない場合)。

【発明の概要】

【発明が解決しようとする課題】

【0017】

したがって、接続されているオーディオおよびビデオデバイスにおけるオーディオおよびビデオ再生の同期を改善することが必要である。

【課題を解決するための手段】

【0018】

本発明による一実施形態は、たとえば、HDMI 1.4以降の仕様に従って、1つまたは複数のデジタルビデオインターフェース、たとえばHDMIポート上でオーディオデータおよびビデオデータを供給するためのソースデバイスを提供する。ソースデバイスは、オーディオ経路のレイテンシに関する情報に基づき、および、ビデオ経路のレイテンシに関する情報に基づき、たとえば、オーディオストリームの形態のオーディオデータの提供と、たとえば、ビデオストリームの形態のビデオデータの提供との間のタイムアラインメントを自動的に調整するよう構成される。オーディオ経路のレイテンシは、たとえば、ソースデバイスによるオーディオデータの提供から、たとえば、オーディオシンクデバイスによるオーディオデータの再生である、可聴オーディオ情報(audible audio information)の提供までのレイテンシである。ビデオ経路のレイテンシは、たとえば、ソースデバイスによるビデオデータまたはオーディオデータの提供から、たとえば、ビデオシンクデバイスによる、またはビデオソースデバイスによる可視ビデオデータ(visible video data)の提供までのレイテンシである。

【0019】

ソースデバイスは、ソースデバイスによるオーディオデータの提供とビデオデータの提供との間のタイムアラインメントを調整することによって、オーディオデータの再生とビデオデータの再生との同期が改善され得るという考えに基づいている。ソースデバイスは、たとえば、オーディオ経路のレイテンシに関する情報、およびビデオ経路のレイテンシに関する情報にアクセスできるよう構成されているので、ソースデバイスは、オーディオデータの提供とビデオデータの提供との間のタイムアラインメントを調整するためにオーディオ経路のレイテンシとビデオ経路のレイテンシの両方を考慮することができる。ソースデバイスは、オーディオデータおよびビデオデータの両方を提供するので、ソースデバイスは、オーディオデータとビデオデータとの間のタイムアラインメントを効率的に調整し得る(これは、たとえば、シンクデバイスにおいて遅延を追加するよりも効率的であり得る)。

【0020】

たとえば、ソースデバイスは、ビデオデータの提供に関してオーディオデータの提供を遅延させ得るか、またはソースデバイスは、オーディオデータの提供に関してビデオデータの提供を遅延させ得る。したがって、ソースデバイスは、オーディオデータの提供およびビデオデータの提供の両方を相互に遅延させることができる。したがって、ソースデバイスは、たとえば、オーディオ経路のレイテンシがビデオ経路のレイテンシよりも大きい場合、およびビデオ経路のレイテンシがオーディオ経路のレイテンシよりも大きい場合、またはオーディオ経路のレイテンシがビデオ経路のレイテンシに等しい場合に、オーディオデータの再生とビデオデータの再生との同期を改善することができる。

【0021】

たとえば、オーディオデータの提供とビデオデータの提供との間のタイムアラインメントの調整は、オーディオデータの再生とビデオデータの再生との完全なリップシンクをもたらし得る。

【0022】

たとえば、オーディオ経路のレイテンシがビデオ経路のレイテンシに比べて20ミリ秒以上大きいことが可能であり得る。ソースデバイスは、オーディオデータの提供とビデオデータの提供との間のタイムアラインメントを調整し得、これらの場合に対するリップシンクが達成されるようにし得る。

【0023】

たとえば、ソースデバイスによって提供されるオーディオデータが、MPEG-Hコーデックを使用することによってオーディオシンクまたはオーディオ再生デバイスによって復号されると決定される場合、オーディオデータの復号に起因するレイテンシは大きくなり得、たとえば、20ミリ秒よりも大きくなり得る。

【0024】

オーディオデータの提供とビデオデータの提供との間のタイムアラインメントがソースデバイスによって調整されるときに、異なるデバイスのセット内のオーディオデータの再生とビデオデータの再生との間の同期は、デバイスのそのセットのサブセットが互いに通信できない場合であっても改善され得る。たとえば、オーディオデータの再生とビデオデータの再生の同期は、オーディオ経路内のデバイスまたはビデオ経路内のデバイスが、別のデバイス、たとえば、オーディオ経路内もしくはビデオ経路内のソースデバイスもしくは別のデバイスと通信する、たとえば、レイテンシに関する情報を伝達するために互換性がない場合でも改善され得る。

【0025】

ソースデバイスは、オーディオデータの提供とビデオデータの提供との間のタイムアラインメントを自動的に調整するよう構成される。たとえば、ソースデバイスは、シンクデバイス、たとえば、オーディオシンクデバイスもしくはビデオシンクデバイス、またはオーディオ再生デバイスもしくはビデオ再生デバイスと通信できるものとしてよく、それにより、ソースデバイスは、オーディオ経路のレイテンシおよび/またはビデオ経路のレイテンシの変化に反応するものとしてよく、したがって、ソースデバイスは、これらの変化に応じてオーディオデータの提供とビデオデータの提供との間のタイムアラインメントを調整するよう構成され得る。したがって、ソースデバイスは、ビデオデータの再生とオーディオデータの再生との同期を非常に信頼性の高い仕方で改善し得る。

【0026】

たとえば、ソースデバイスは、オーディオのレイテンシがビデオのレイテンシに比べて20ms以上大きい場合に、リップシンクを達成することができるものとしてよい。

【0027】

たとえば、HDMI1.4および/またはHDMI2.0の仕様と互換性があり得る。

【0028】

たとえば、ソースデバイスは、既存のリップシンク管理アルゴリズム(オーディオレイテンシがビデオレイテンシに比べて20ms以上短い場合についてのみ定義される)の速度および信頼性を超えるものとしてよい。

【0029】

一実施形態により、ソースデバイスは、データ担体から取得するかもしくは受信するかもしくは読み取るか、または符号化済みビデオ表現を生成して、符号化済みビデオ表現を復号し、復号済みビデオ表現を取得し、ビデオデータを提供するよう構成され、それにより、ビデオデータは、復号済みビデオ表現を、たとえば、RAWデータ形式で表し、個々のピクセルを表現する。ソースデバイスは、たとえば、オーディオ経路のレイテンシがビデオ経路のレイテンシよりも大きい場合に、たとえば、オーディオ経路のレイテンシに関する情報およびビデオ経路のレイテンシに関する情報に基づき、符号化済みビデオ表現を遅延させるか、またはバッファリングすることによって、符号化済みビデオ表現の復号を選択的に遅延させるようにさらに構成される。符号化済みビデオ表現の復号(たとえば、フレーム間依存関係を含む表現および/または2つのフレームの間の動きの記述から個別のフレームに対するピクセル値の独立表現への復号)を遅延させることは、たとえば、復号済みビデオ表現を遅延させることとは対照的に、ビデオデータの提供を遅延させる非常に効率的なやり方である。ソースデバイスは、符号化済みビデオ表現を復号する機能を、ビデオデータおよびオーディオデータの両方を提供する機能と組み合わせるので、タイムアラインメントを非常に効率的に調整することができ、オーディオデータの再生とビデオデータの再生との間の非常に正確な同期を達成することができるものとしてよい。

【0030】

たとえば、ソースデバイスは、符号化済みオーディオ表現を取得し、オーディオデータを提供するよう構成されてよく、それにより、オーディオデータは、符号化済みオーディオ表現を表す。したがって、オーディオデータは、オーディオシンクデバイスがオーディオデータに基づき可聴オーディオ情報を提供し得る前に、オーディオシンクデバイスまたはオーディオ再生デバイスによって復号されなければならないことがある。たとえば、オーディオシンクデバイスまたはオーディオ再生デバイスによるオーディオデータの復号によって大きなオーディオレイテンシが生じることにより、オーディオ経路のレイテンシがビデオ経路のレイテンシよりも大きくなる場合、リップシンクまたはオーディオ再生とビデオ再生との同期の少なくとも改善を達成するために、ソースデバイスによるビデオデータの提供を遅延させる必要があり得る。ソースデバイスは、符号化済みビデオ表現の復号を遅延させることによってビデオデータの提供を効率的に遅延させるよう構成される。

【0031】

本発明の一実施形態により、ソースデバイスは、1つまたは複数のデジタルインターフェースのうちの1つを介して、オーディオ再生デバイス、たとえば、オーディオ復号デバイス、たとえば、サウンドバーから取得されるオーディオ遅延情報を使用してオーディオ経路のレイテンシに関する情報を取得するよう構成される。ソースデバイスは、1つまたは複数のデジタルインターフェースのうちの1つを介して、ビデオレンダリングデバイス、たとえばテレビから取得されるビデオ遅延情報を使用してビデオ経路のレイテンシに関する情報を取得するようにさらに構成される。オーディオ再生デバイスから取得されたオーディオ遅延情報からオーディオ経路のレイテンシに関する情報を取得することによって、ソースデバイスは、オーディオ経路のレイテンシに関する情報の精度を高めることができる。たとえば、ソースデバイスは、オーディオ再生デバイスから取得したオーディオ遅延情報を、オーディオ経路内のさらなるデバイスから取得されたより多くのオーディオ遅延情報と組み合わせて、オーディオ経路のレイテンシに関する情報を取得し得る。ビデオ経路のレイテンシに関する情報を、ビデオレンダリングデバイスから得られるビデオ遅延情報から取得することによって、ビデオ経路のレイテンシに関する情報の精度が高められ得る。オーディオ経路のレイテンシに関する情報および/またはビデオ経路のレイテンシに関する情報の精度を高めることで、ソースデバイスは、オーディオデータの提供とビデオデータの提供との間のタイムアラインメントを非常に正確に調整することによってオーディオ再生とビデオ再生との同期の改善を達成し得る。

【0032】

本発明の一実施形態により、ソースデバイスは、オーディオ再生デバイス、たとえば、オーディオデータを復号するよう構成されているオーディオ再生デバイスと復号レイテンシをネゴシエートし、ネゴシエートされた復号レイテンシに依存してタイムアラインメントを調整するよう構成される。復号レイテンシは、たとえば、オーディオデータを復号するよう構成されているオーディオ再生デバイスのオーディオ復号レイテンシであってよい。オーディオ復号レイテンシは、オーディオ再生デバイスがオーディオデータを復号するために必要とする、または使用する時間であってよい。たとえば、ソースデバイスは、符号化済みビデオ表現を復号するためのビデオ復号レイテンシに基づき復号レイテンシをネゴシエートし得る。たとえば、ソースデバイスは、復号レイテンシをネゴシエートし、復号レイテンシをビデオ復号レイテンシに適応させ得る。ソースデバイスは、オーディオ再生デバイスと復号レイテンシをネゴシエートすることによって、リップシンクを達成するために必要である、オーディオデータの提供および/またはビデオデータの提供に対する遅延を最小化することができ得る。たとえば、ソースデバイスは、オーディオ再生デバイスの復号レイテンシの調整を開始し、それにより、オーディオ経路のレイテンシとビデオ経路のレイテンシとの間の差を低減し得、ソースデバイスによるオーディオデータの提供とビデオデータの提供との間のタイムアラインメントの調整が最小化され得る。したがって、ソースデバイスとオーディオ再生デバイスとの間の復号レイテンシのネゴシエーションにより、ビデオデータおよびオーディオデータの取得と、ビデオデータおよびオーディオデータの再生との間の時間期間を短縮し得る。

【0033】

たとえば、ソースデバイスは、レイテンシを最適な値に調整することが可能になるようにソースデバイスとオーディオ復号デバイスとの間でレイテンシネゴシエーション(たとえば、DaNoLによって定義される)を実行するよう構成され得る。

【0034】

一実施形態により、ソースデバイスは、たとえば、報告レイテンシスパンメッセージを使用して、オーディオ再生デバイスから、可能なレイテンシ値のスパンを記述するレイテンシスパン情報を取得するか、もしくは要求するか、または、たとえば、オーディオ再生デバイスに要求レイテンシ情報メッセージを送信することによって、オーディオ再生デバイスから、たとえば、報告可能レイテンシ値メッセージを使用して、1つまたは複数の可能なレイテンシ値を記述するレイテンシリスト情報を取得するよう構成される。ソースデバイスは、レイテンシスパン情報またはレイテンシリスト情報に基づき、たとえば、所望のレイテンシ値がビデオ経路のレイテンシに関する情報に適合するように、所望のレイテンシ値を選択するようにさらに構成される。ソースデバイスは、たとえば、設定されたレイテンシメッセージを使用して、オーディオ再生デバイスに、所望のレイテンシ値を使用することを命令するようにさらに構成される。ソースデバイスは、選択された所望のオーディオ再生レイテンシ値に依存することなくタイムアラインメントを調整するようにさらに構成される。レイテンシスパン情報またはレイテンシリスト情報を取得することによって、ソースデバイスは、復号レイテンシまたはレイテンシ値を、オーディオ再生デバイスと互換性のあるオーディオ再生デバイスに対する可能なレイテンシ値のスパンからまたは1つもしくは複数の可能なレイテンシ値から選択するか、または選ぶことができる。ソースデバイスは、ソースデバイスによって選択されたレイテンシ値を使用することをオーディオ再生デバイスに命令するよう構成されるので、ソースデバイスは、ビデオ経路のレイテンシに関する情報、ならびにオーディオ経路のレイテンシおよび/またはソースデバイスのビデオ復号レイテンシに関する情報に基づきオーディオデバイスのレイテンシ値または復号レイテンシを調整することができる。したがって、ソースデバイスは、オーディオ経路およびビデオ経路のレイテンシがいたずらに長くなることを回避することができる。

【0035】

一実施形態により、ソースデバイスは、命令されたように、オーディオ再生デバイスが選択された所望のレイテンシ値を使用するかどうかを検証するよう構成され、ソースデバイスは、オーディオ再生デバイスが選択された所望のレイテンシ値を使用できない場合に、既定のレイテンシ値を考慮するよう構成される。ソースデバイスは、命令されたように、オーディオ再生デバイスが選択された所望のレイテンシ値を使用するかどうかを検証するよう構成されているので、ソースデバイスは、オーディオ再生デバイスの誤って想定されたレイテンシ値、または言い換えると、オーディオ経路のレイテンシに関する誤った情報に基づき、オーディオデータの提供とビデオデータの提供との間のタイムアラインメントを調整することを回避し得る。ソースデバイスは、オーディオ再生デバイスが選択された所望のレイテンシ値を使用できない場合に、既定のレイテンシ値を考慮するよう構成されているので、ソースデバイスは、オーディオ再生デバイスとの復号レイテンシのネゴシエーションが失敗した場合でも、オーディオデータの提供とビデオデータの提供との間のタイムアラインメントを正しく調整することが依然としてできる場合がある。

【0036】

一実施形態により、ソースデバイスは、たとえば、報告レイテンシスパンメッセージを使用して、オーディオ再生デバイスから、可能なレイテンシ値のスパンを記述するレイテンシスパン情報を含むか、またはオーディオ再生デバイスから、たとえば、報告可能レイテンシ値メッセージを使用して、1つまたは複数の可能なレイテンシ値を記述するレイテンシリスト情報を含むレイテンシネゴシエーション要求を受信するよう構成される。ソースデバイスは、レイテンシスパン情報またはレイテンシリスト情報に基づき、たとえば、所望のレイテンシ値がビデオ経路のレイテンシに関する情報に適合するように、所望のレイテンシ値を選択するようにさらに構成される。ソースデバイスは、レイテンシネゴシエーション要求を受信するよう構成されているので、ソースデバイスは、他のデバイスからの要求に基づき、オーディオデータの提供とビデオデータの提供との間のタイムアラインメントを調整するか、またはチェックすることができ、したがってソースデバイスは、オーディオ経路のレイテンシの変化に反応するものとしてよい。

【0037】

本発明の一実施形態により、ソースデバイスは、トポロジー情報を取得するために、ソースデバイスとオーディオ再生デバイスとの間の接続のトポロジーを、またソースデバイスとビデオレンダリングデバイスとの間の接続のトポロジーも、発見するよう構成される。ソースデバイスは、トポロジー情報に依存してタイムアラインメントを調整するようにさらに構成される。ソースデバイスとビデオレンダリングデバイスとの間の接続のトポロジーを発見することによって、ソースデバイスは、ビデオ経路のレイテンシに関するより正確な情報を取得することができる。ソースデバイスとオーディオ再生デバイスとの間の接続のトポロジーを発見することによって、ソースデバイスは、オーディオ経路のレイテンシに関するより正確な情報を取得することができる。たとえば、ソースデバイスは、ソースデバイスとオーディオ再生デバイスとの間の接続に含まれる1つまたは複数のデバイスの1つまたは複数のレイテンシ値を考慮することによってオーディオ経路のレイテンシに関する情報を取得し得る。たとえば、ソースデバイスは、ソースデバイスとビデオレンダリングデバイスとの間の接続のトポロジーに含まれる1つまたは複数のデバイスの1つまたは複数のレイテンシ値を考慮することによってビデオ経路のレイテンシに関する情報を取得し得る。

【0038】

一実施形態により、ソースデバイスは、第1のオーディオモードに対する、たとえば、レガシーオーディオモードに対する、もしくはnone-MPEG-Hオーディオモードに対する、もしくは低遅延オーディオモードに対する、オーディオ経路のトータルレイテンシを記述するか、またはたとえば、トータルオーディオレイテンシ情報を表すメッセージを受信することによって、複数のオーディオモードにわたるオーディオ経路の平均トータルレイテンシを記述する、トータルオーディオレイテンシ情報、たとえば、EDIDオーディオレイテンシ、たとえば、AL_EDIDsourceを取得するよう構成される。ソースデバイスは、第1のビデオモードに対する、たとえば、レガシービデオモードに対する、もしくは標準ビデオモードに対する、もしくは非MPEG-Hビデオモードに対する、ビデオ経路のトータルレイテンシを記述するか、またはたとえばトータルビデオレイテンシ情報を表すメッセージを受信することによって、複数のビデオモードにわたるビデオ経路の平均トータルレイテンシを記述する、トータルビデオレイテンシ情報、たとえば、EDIDビデオレイテンシ、たとえば、VL_EDIDsourceを取得するようにさらに構成される。トータルオーディオレイテンシ情報を取得することで、オーディオ経路のレイテンシに関する情報を改善し得る。トータルビデオレイテンシ情報を取得することで、ビデオ経路のレイテンシに関する情報を改善し得る。オーディオ経路のレイテンシに関する情報およびビデオ経路のレイテンシに関する情報の改善は、ソースデバイスがタイムアラインメントをより正確に調整することを可能にする。

【0039】

一実施形態により、ソースデバイスは、複数の個別デバイス、たとえば、ソースデバイスとオーディオ再生デバイスとの間のチェーン内のデバイス、またはソースデバイスとビデオレンダリングデバイスとの間のチェーン内のデバイスに、デバイス個々の(device-individual)(オーディオおよび/またはビデオ)レイテンシ情報を(たとえば、<Request Latency Info>メッセージを使用して、または任意選択で<Request EDID Latency Info>メッセージを使用することによって)問い合わせるよう構成されており、デバイス個々の(オーディオ)レイテンシ情報は、たとえば、第1のオーディオモード、AL_{none MPEG-H}を使用する再生に関連付けられているレイテンシ情報と、第2のオーディオモード、AL_MPEG-Hを使用する再生に関連付けられているレイテンシ情報と、第2のオーディオモードに対するオーディオ情報のパススルー、AL_{MPEG-H passthrough}に関連付けられているレイテンシと、トータルビデオレイテンシ情報、VL_EDIDに対するデバイスの寄与を記述するレイテンシ情報と、現在のビデオレイテンシ情報、VL_currentとを含み得る。ソースデバイスは、複数の個別デバイスに問い合わせを行うよう構成されているので、ソースデバイスは、オーディオ経路のレイテンシおよび/またはビデオ経路のレイテンシに関する非常に正確な情報を取得するものとしてよく、そのため、ソースデバイスは、第2のオーディオモードが使用されている状況、または、たとえばオーディオおよび/またはビデオ経路内のデバイスがトータルレイテンシ情報をサポートしていないので、オーディオ/ビデオ経路のトータルレイテンシを記述するトータルオーディオおよび/またはビデオレイテンシ情報がソースデバイスに利用不可能である状況であっても、タイムアラインメントを非常に正確に調整し得る。

【0040】

一実施形態により、ソースデバイスは、ビデオレンダリングデバイスならびにソースデバイスとビデオレンダリングデバイスとの間の、たとえばビデオ経路内の、すべてのデバイスに対して、デバイス個々の現在のビデオレイテンシ情報がソースデバイスに利用可能であるならば、デバイス個々の現在のビデオレイテンシ情報の総和を使用してビデオ経路のレイテンシに関する情報を決定する、たとえば、選択的に決定するよう構成される。代替的に、またはそれに加えて、ソースデバイスは、ビデオ経路のレイテンシに関する情報を決定することを、第1のビデオモードに対する、たとえば、レガシービデオモードに対する、もしくは非MPEG-Hビデオモードに対する、ビデオ経路のトータルレイテンシを記述するか、または複数のビデオモードにわたるビデオ経路の平均トータルレイテンシを記述する、トータルビデオレイテンシ情報を使用して、さらに、トータルビデオレイテンシ情報へのビデオレンダリングデバイスの寄与を記述するレイテンシ情報、たとえばVL_EDIDを使用して、さらに、ビデオレンダリングデバイスの現在のビデオレイテンシ情報、たとえば、VL_currentを使用して、トータルビデオレイテンシ情報、トータルビデオレイテンシ情報へのビデオレンダリングデバイスの寄与を記述するレイテンシ情報、およびビデオレンダリングデバイスの現在のビデオレイテンシ情報がソースデバイスに利用可能であるが、いくつかのデバイス個々の現在のビデオレイテンシ情報がソースデバイスに利用できない場合に、行うよう構成される。代替的に、またはそれに加えて、ソースデバイスは、トータルビデオレンダリング情報を使用して、ビデオ経路のレイテンシに関する情報を決定することを、トータルビデオレンダリング情報がソースデバイスに利用可能であるが、ビデオレンダリングデバイスの現在のビデオレイテンシ情報がソースデバイスに利用できない場合に、行うよう構成される。代替的に、またはそれに加えて、ソースデバイスは、たとえば、別の方法で利用可能なビデオ経路内のデバイスの任意の知られているか、または推定されるビデオレイテンシ情報を使用して、ビデオ経路のレイテンシに関する情報を決定するよう構成され得る。したがって、ソースデバイスは、ビデオ経路のレイテンシに関する情報への寄与、たとえば、ビデオ経路内の複数のデバイスからの寄与が利用可能であるかどうかに依存してビデオ経路のレイテンシに関する情報を決定する。したがって、ソースデバイスは、たとえば、デバイスのうちのいくつかが通信プロトコルと互換性がないか、またはそのレイテンシに関する情報を含んでいないので、ビデオ経路内のデバイスのうちの1つまたは複数がビデオ経路のレイテンシに関する情報への寄与を提供できないか、または提供することに失敗する場合に、タイムアラインメントを依然として調整し得る。ソースデバイスは、ビデオ経路のレイテンシに関する情報を決定するためのいくつかのオプションを有し得るので、ビデオ経路のレイテンシに関する情報を決定するための最も正確な方法を選ぶことができるものとしてよい。言い換えると、ソースデバイスは、たとえば、CEC DaNoLを介したソースデバイスとの直接通信をサポートするデバイスまたはサポートしないデバイスの組合せでタイムアラインメントを調整してもよい。

【0041】

言い換えれば、ソースデバイスは、ビデオ経路のレイテンシに関する一部の情報が利用できない場合、タイムアラインメントは精度が徐々に下げられてもそれでもまだ調整され得るという点でグレースフルデグラデーションを使用し得る。

【0042】

一実施形態によれば、ソースデバイスは、ソースデバイスとオーディオ再生デバイスとの間の、たとえばオーディオ経路内の、すべてのデバイスに対してデバイス個々のパススルーレイテンシ情報が利用可能であるならば、第2のオーディオモード、たとえば、MPEG-Hに対するオーディオ情報のパススルー、たとえばAL_{MPEG-H passthrough}に関連付けられているデバイス個々の(オーディオ)パススルーレイテンシ情報の総和を使用して、オーディオ経路のレイテンシに関する情報を決定する、たとえば、選択的に決定するよう構成される。代替的に、またはそれに加えて、ソースデバイスは、オーディオ経路のレイテンシに関する情報を決定することを、第1のオーディオモードに対する、たとえば、レガシーオーディオモードに対する、もしくは非MPEG-Hオーディオモードに対する、もしくは低遅延オーディオモードに対する、オーディオ経路のトータルレイテンシを記述するか、またはたとえば、トータルオーディオレイテンシ情報を表すメッセージを受信することによって、複数のオーディオモードにわたるオーディオ経路の平均トータルレイテンシを記述する、トータルオーディオレイテンシ情報、たとえば、EDIDオーディオレイテンシ、たとえば、AL_EDIDsourceを使用して行うよう構成される。任意選択で、トータルオーディオレイテンシ情報は、ソースデバイスのオーディオレイテンシの補正を含んでいてもよい。代替的に、またはそれに加えて、ソースデバイスは、オーディオ経路のレイテンシに関する情報を決定することを、ソースデバイスとオーディオ再生デバイスとの間のオーディオ経路内のデバイスの任意の知られているか、または推定されるオーディオレイテンシ情報の総和を使用して行うよう構成される。第1のオーディオモードは、基準オーディオモードであってよい。第2のオーディオモードは、ソースデバイスによって、およびオーディオ再生デバイスによって使用されるべきオーディオモードであり得る。たとえば、第2のオーディオモードは、MPEG-Hオーディオモードであってよく、第1のオーディオモードは、第2のオーディオモードのレイテンシよりも小さいレイテンシを有する低レイテンシオーディオモードであってよい。したがって、ソースデバイスは、オーディオ経路のレイテンシに関する情報への寄与、た
とえば、オーディオ経路内の複数のデバイスからの寄与が利用可能であるかどうかに依存してオーディオ経路のレイテンシに関する情報を決定する。したがって、ソースデバイスは、たとえば、デバイスのうちのいくつかが通信プロトコルと互換性がないか、またはそのレイテンシに関する情報を含んでいないので、オーディオ経路内のデバイスのうちの1つまたは複数がオーディオ経路のレイテンシに関する情報への寄与を提供できないか、または提供することに失敗する場合に、タイムアラインメントを依然として調整し得る。ソースデバイスは、オーディオ経路のレイテンシに関する情報を決定するためのいくつかのオプションを有し得るので、オーディオ経路のレイテンシに関する情報を決定するための最も正確な方法を選ぶことができるものとしてよい。言い換えれば、ソースデバイスは、オーディオ経路のレイテンシに関する一部の情報が利用できない場合、タイムアラインメントは精度が徐々に下げられてもそれでもまだ調整され得るという点でグレースフルデグラデーションを使用し得る。言い換えると、ソースデバイスは、たとえば、CEC DaNoLを介したソースデバイスとの直接通信をサポートするデバイスまたはサポートしないデバイスの組合せでタイムアラインメントを調整してもよい。

【0043】

一実施形態により、ソースデバイスは、取得されたオーディオ経路のレイテンシに関する情報、たとえば、AL_pathEDIDを補正することを、トータルオーディオレイテンシ情報、たとえば、AL_{EDID source}を使用し、第1のオーディオモード、たとえば、AL_{none MPEG-H}を使用して再生に関連付けられているレイテンシ情報を使用し、および第2のオーディオモードに対するオーディオ情報のパススルー、たとえば、AL_{MPEG-H passthrough}に関連付けられているレイテンシに関するレイテンシ情報を使用して行うよう構成される。ソースデバイスは、オーディオ経路のレイテンシに関する情報を補正するよう構成されているので、オーディオ経路が、たとえば、CECを介して、ソースデバイスに直接的に、オーディオ経路のレイテンシに関する情報への寄与を伝達することに失敗するデバイスを含む場合に、リップシンクを達成し得る。たとえば、ソースデバイスは、オーディオシンクが、たとえば、CEC、たとえば、CEC DaNoLを介してソースデバイスと直接的に通信するよう構成されている場合、またはソースデバイスとシンクデバイスとの間のオーディオ経路内のすべてのデバイスがEDIDをサポートしている場合に、オーディオ経路、すなわち、ソースデバイスとオーディオシンクデバイスまたは再生デバイスとの間の経路のレイテンシを発見することができるものとしてよい。

【0044】

一実施形態により、ソースデバイスは、ビデオ(またはオーディオ)経路のレイテンシに関する情報の決定に対する決定規則を選択することを、ソースデバイスに利用可能な情報の量に依存して、たとえば、ソースデバイスとオーディオ再生デバイスとの間のすべてのデバイス、たとえば、オーディオ経路内のデバイスに対するデバイス個々のパススルーレイテンシ情報の利用可能性に依存して、および/または第1のオーディオモードに対する、たとえば、レガシーオーディオモードに対する、もしくは非MPEG-Hオーディオモードに対する、もしくは低遅延オーディオモードに対する、オーディオ経路のトータルレイテンシを記述するか、または複数のオーディオモードにわたるオーディオ経路の平均トータルレイテンシを記述する、トータルオーディオレイテンシ情報、たとえば、EDIDオーディオレイテンシ、たとえば、AL_EDIDsourceの利用可能性に依存して、行うよう構成される。ソースデバイスに利用可能な情報の量に依存して決定規則を選択することによって、ソースデバイスは、ビデオ経路のレイテンシに関する情報の精度を改善するか、または最適化することができるものとしてよい。

【0045】

言い換えると、ソースデバイスは、各(またはいくつかの)取得された情報に対して優先順位を定義し、最も信頼性の高いもののみを(またはもっぱら)使用するよう構成され得るが、タイムアラインメントの調整は推定値のレベルまで働き得る。

【0046】

一実施形態により、ソースデバイスは、ビデオ経路のレイテンシに関する情報に依存して、およびオーディオ経路のレイテンシに関する情報に依存して、オーディオデータの提供において適用されるべき遅延および/またはビデオデータの提供において適用されるべき遅延を決定し、それによってたとえばタイムアラインメントを調整するよう構成される。オーディオデータの提供において、および/またはビデオデータの提供において適用されるべき遅延を決定することによって、タイムアラインメントは、非常に効率的に調整され得る。

【0047】

言い換えると、ソースデバイスは、たとえば、すべての(または少なくとも複数の)オーディオコーデックに対して、またオーディオコーデックのサブフレーバーに対してさえ、オーディオレイテンシとビデオレイテンシとを独立して調整するよう構成され得る。

【0048】

一実施形態により、ソースデバイスは、ユーザインターフェース、たとえば、スライダーを使用してタイムアラインメントの調整を可能にするようにも構成される。タイムアラインメントをユーザ側で調整することを可能にすることによって、ソースデバイスに利用可能なビデオ経路およびオーディオ経路のレイテンシに関する情報の量が不十分であるか、もしくは不正確であるか、もしくは一部であるか、またはビデオ経路およびオーディオ経路のレイテンシに関する情報に誤りがあるとしても、リップシンクは手動で達成され得る。

【0049】

一実施形態により、ソースデバイスは、オーディオ再生デバイスと、かつ/またはビデオレンダリングデバイスと、かつ/またはソースデバイスとオーディオ再生デバイスとの間の1つもしくは複数のデバイス、たとえば、信号経路、たとえば、オーディオ経路内のデバイスと、かつ/またはソースデバイスとビデオレンダリングデバイスとの間の、たとえば信号経路、たとえばビデオ経路内の、1つもしくは複数のデバイスと、1つもしくは複数のデジタルメディアインターフェースから分離している追加のリンク、たとえば、WLANまたはEthernetまたはBluetoothまたは別のネットワーク接続を使用して通信し、1つもしくは複数のデバイスからレイテンシ情報を取得するよう構成される。追加のリンクを介して通信することによって、ビデオ再生とオーディオ再生との同期は、オーディオ再生デバイスおよび/またはビデオレンダリングデバイスおよび/またはそれらの1つもしくは複数のデバイスが1つもしくは複数のデジタルメディアインターフェースを介してレイテンシ情報を伝達することができるかどうかに関係なく改善され得る。

【0050】

一実施形態により、ソースデバイスは、第D.1章「CECレイテンシの発見およびネゴシエーション(CEC DaNoL)」において説明されているようにCEC発見および/またはレイテンシのネゴシエーションを実行するよう構成される。

【0051】

一実施形態により、ソースデバイスは、たとえば前に説明されているように、第C.1章「MPEG_Hソース遅延調整アルゴリズム(MASDA)」において説明されているように1つもしくは複数の機能またはステップを実行するよう構成される。

【0052】

本発明によるさらなる実施形態は、シンクデバイス、たとえば、オーディオ再生デバイスを提供し、シンクデバイスは、デジタルメディアインターフェース、たとえば、バージョン1.4もしくは下位互換バージョンのHDMIインターフェースすなわち「高精細度マルチメディアインターフェース」を介してオーディオデータを受信するよう構成され、シンクデバイスは、受信されたオーディオデータを復号して、復号済みオーディオデータを取得するよう構成され、シンクデバイスは、復号済み出力データを、たとえば、1つまたは複数のスピーカーを使用して、またはアナログオーディオポートもしくはヘッドフォンジャックのようなアナログインターフェースを使用して、出力するよう構成される。シンクデバイスは、第1のオーディオモード、たとえば、低レイテンシ再生モードまたは第1の入力データ形式、たとえば、AL_{none MPEG-H}を使用する再生モードを使用する再生に関連付けられているレイテンシ情報、および第2のオーディオモード、たとえば、高レイテンシ再生モードまたは第2の入力データ形式AL_MPEG-Hを使用する再生モードを使用する再生に関連付けられているレイテンシ情報を含むデバイス個々のレイテンシ情報を、たとえばHDMI CECメッセージを使用する、たとえばソースデバイスから受信された<Request Latency Info>メッセージに応答してシンクデバイスによって出力される、<Latency Info>メッセージを使用する、ソースデバイスからの要求に応答して、報告するようにさらに構成される。代替的なおよび任意選択の例において、シンクデバイスは、たとえば、第2のオーディオモードに関連付けられているレイテンシ情報を報告するために、ソースデバイスから受信された<Request Latency Info>メッセージに応答してシンクデバイスによって出力される<Latency Info>を使用してデバイス個々のレイテンシ情報を報告するよう構成され、またシンクデバイスは、たとえば、第1のオーディオモードに関連付けられているレイテンシ情報を報告するために、ソースデバイスから受信された<Request EDID Latency Info>メッセージに応答してシンクデバイスによって出力される<EDID Latency Info>メッセージを使用してデバイス個々のレイテンシ情報を報告するよう構成される。シンクデバイスは、レイテンシ情報を報告するよう構成されているので、シンクデバイスのレイテンシは、レイテンシ情報を受信するデバイス、たとえばソースデバイスによって考慮され得、したがってシンクデバイスによる復号済み出力データの出力は、たとえばシンクデバイスまたは再生デバイスによってオーディオデータに属するビデオデータの再生との同期性が高くなるように調整され得る。複数の異なる再生モードに対するレイテンシ情報(たとえば、デバイス個々のレイテンシ情報)を報告することによって、シンクデバイスは、たとえば、適切な再生モード(たとえば、ビデオ再生デバイスの遅延に適合する再生モード)をソースデバイスが選択することを可能にし、および/またはデバイス個々のレイテンシ情報に基づきトータル(オーディオおよび/またはビデオ)レイテンシ情報をソースデバイスが補正することを可能にし得る。

【0053】

一実施形態により、シンクデバイスは、復号レイテンシまたは第2のオーディオモードに関連付けられている再生レイテンシをソースデバイスとネゴシエートするよう構成される。復号レイテンシをネゴシエートすることによって、復号レイテンシは、たとえば、復号済みオーディオデータの出力と関連するビデオデータの再生との間でリップシンクを達成するために可能な限り短く調整され得る。

【0054】

一実施形態により、シンクデバイスは、可能な復号レイテンシ値または再生レイテンシ値のスパンを記述するレイテンシスパン情報を、たとえばデジタルメディアインターフェースを介して、たとえば<reporting latency span>メッセージまたは<Report Latency Span>メッセージを使用してソースデバイスに提供するよう構成される。代替的に、シンクデバイスは、たとえば、<Report Possible Latency Values>メッセージを使用して、1つまたは複数の可能な復号レイテンシ値または再生レイテンシ値を記述するレイテンシリスト情報をソースデバイスに提供するよう構成される。たとえば、シンクデバイスは、ソースデバイスから<Request Latency Info>メッセージを受信したことに応答して、レイテンシスパン情報またはレイテンシリスト情報を提供するよう構成されてよい。シンクデバイスは、ソースデバイスから、HDMI CEC機構を使用して、レイテンシ選択メッセージ、たとえば、<Set Latency>メッセージを受信し、レイテンシ選択メッセージに応答して復号レイテンシまたは再生レイテンシを設定するようにさらに構成される。シンクデバイスがレイテンシスパン情報またはレイテンシリスト情報を提供することができることから、復号レイテンシの効率的なネゴシエーションを確実に行える。

【0055】

一実施形態により、シンクデバイスは、第1のオーディオモードに対する、たとえば、レガシーオーディオモードに対する、もしくは非MPEG-Hオーディオモードに対する、もしくは低遅延オーディオモードに対する、オーディオ経路のトータルレイテンシを記述するか、またはたとえば、トータルオーディオレイテンシ情報を表すメッセージを受信することによって、複数のオーディオモードにわたるオーディオ経路の平均トータルレイテンシを記述する、トータルオーディオレイテンシ情報、たとえば、EDIDオーディオレイテンシ、たとえば、AL_EDIDsourceへの寄与を提供するよう構成され、トータルオーディオレイテンシ情報への寄与は、第2のオーディオモードを使用して再生に関連付けられているレイテンシ情報と異なる。たとえば、シンクデバイスは、トータルオーディオレイテンシへのその寄与を入ってくるメッセージで受信されたレイテンシ値に加算し、増大したレイテンシ値を取得し、メッセージを増大したレイテンシ値とともに転送するよう構成され得る。トータルレイテンシ情報への寄与を提供することによって、シンクデバイスは、復号済みオーディオデータの出力と関連するビデオデータの再生との同期におけるそのレイテンシの考慮を、特に、シンクデバイスがシンクデバイスと直接的に、たとえば、CECもしくはCEC DaNoLを介して通信するうえで非互換であるソースデバイスからオーディオデータを受信する場合に確実にし、それによってシンクデバイスの互換性を確実にするものとしてよい。

【0056】

一実施形態によれば、シンクデバイスによって提供されるトータルオーディオレイテンシ情報への寄与は、第1のオーディオモードを使用する再生に関連付けられているレイテンシ情報に等しい。

【0057】

一実施形態により、シンクデバイスは、第D.1章「CECレイテンシの発見およびネゴシエーション(CEC DaNoL)」において説明されている機能またはステップのうちの1つまたは複数を実行するよう構成される。

【0058】

シンクデバイスは、上で説明されているソースデバイスと同じ考え方に依拠している。たとえば、シンクデバイスはソースデバイスと組み合わせて使用され得る。したがって、シンクデバイスは、ソースデバイスの文脈で説明されているシンクデバイスまたは再生デバイスに関する任意の特徴と組み合わされ得る。さらに、ソースデバイスの上で説明されている利点は、特にシンクデバイスを上で説明されているソースデバイスと組み合わせて使用するときに、シンクデバイスにも等しく適用される。

【0059】

本発明によるさらなる実施形態は、シンクデバイス、たとえば、ビデオ再生デバイスを提供し、シンクデバイスは、デジタルメディアインターフェース、たとえば、バージョン1.4もしくは下位互換バージョンのHDMIインターフェースすなわち「高精細度マルチメディアインターフェース」を介してビデオデータを受信するよう構成され、シンクデバイスは、受信されたビデオデータをレンダリングするよう構成される。シンクデバイスは、たとえば、トータルビデオレイテンシ情報を表すメッセージを供給することによって、ビデオ経路のトータルレイテンシを記述するか、または複数のビデオモードにわたるビデオ経路の平均トータルレイテンシを記述する、トータルビデオレイテンシ情報、たとえば、EDIDビデオレイテンシ、たとえば、VL_EDIDsourceへの、寄与を表す(たとえば、静的な、事前定義された)レイテンシ情報、たとえば、VL_EDIDを含むデバイス個々のレイテンシ情報を報告するようにさらに構成される。デバイス個々のレイテンシ情報は、ビデオデータのレンダリングの実際のレイテンシを表すレイテンシ情報をさらに含む。シンクデバイスは、個別デバイスレイテンシを報告するよう構成されているので、シンクデバイスのレイテンシは、個別デバイスレイテンシを受信するデバイス、たとえばソースデバイスによって考慮されるものとしてよく、それによりビデオデータの再生はシンクデバイスによってレンダリングされ得、たとえばシンクデバイスまたは再生デバイスによってビデオデータに属するオーディオデータの再生との同期性を高めるように調整され得る。

【0060】

一実施形態により、シンクデバイスは、たとえば、トータルビデオレイテンシ情報を表すメッセージを供給することによって、ビデオ経路のトータルレイテンシを記述するか、または複数のビデオモードにわたるビデオ経路の平均トータルレイテンシを記述する、トータルビデオレイテンシ情報、たとえば、EDIDビデオレイテンシ、たとえば、VL_EDIDsourceへのシンクデバイスの寄与を提供するよう構成され、トータルオーディオ(またはビデオ)レイテンシ情報への寄与は、ビデオデータのレンダリングの実際のレイテンシを表すレイテンシ情報とは異なる。たとえば、シンクデバイスは、トータルビデオレイテンシへのその寄与を入ってくるメッセージで受信されたレイテンシ値に加算し、増大したレイテンシ値を取得し、メッセージを増大したレイテンシ値とともに転送するよう構成され得る。たとえば、シンクデバイスは、たとえば、トータルビデオレイテンシ情報へのその寄与を含むメッセージを送信することによって、トータルビデオレイテンシ情報を送信するための新しいチェーンを開始するよう構成され得る。たとえば、シンクデバイスは、たとえば、CECを介して、直接通信でトータルビデオレイテンシ情報へのその寄与をソースデバイスに提供するよう構成され得る。トータルビデオレイテンシ情報への寄与を提供することによって、シンクデバイスは、シンクデバイスによってレンダリングされたビデオデータの再生とオーディオデータの再生との同期をソースデバイスが改善することを可能にし得る。

【0061】

一実施形態により、シンクデバイスによって報告されるデバイス個々のレイテンシ情報は、第1のオーディオモード、たとえば、低レイテンシオーディオモード、AL_{none MPEG-H}を使用するオーディオ再生に関連付けられているレイテンシ情報も含む。それに加えて、または代替的に、シンクデバイスによって報告されるデバイス個々のレイテンシ情報は、複数の異なるモード、たとえば、AL_{none MPEG-H}を使用するオーディオ再生に関連付けられている平均レイテンシ情報も含む。それに加えて、または代替的に、シンクデバイスによって報告されるデバイス個々のレイテンシ情報は、第2のオーディオモードに対するオーディオ情報のパススルー、たとえば、AL_{MPEG-H passthrough}に関連付けられているレイテンシ情報も含む。複数のデバイス個々のレイテンシ情報を提供することによって、シンクデバイスは、シンクデバイスによってレンダリングされたビデオデータの再生とオーディオデータの再生との同期をソースデバイスが改善することを可能にし得る。

【0062】

一実施形態により、シンクデバイスは、第1のオーディオモードに対する、たとえば、レガシーオーディオモードに対する、もしくは非MPEG-Hオーディオモードに対する、もしくは低遅延オーディオモードに対する、オーディオ経路のトータルレイテンシを記述するか、またはたとえば、トータルオーディオレイテンシ情報を表すメッセージを受信することによって、複数のオーディオモードにわたるオーディオ経路の平均トータルレイテンシを記述する、トータルオーディオレイテンシ情報、たとえば、EDIDオーディオレイテンシ、たとえば、AL_EDIDsourceへの寄与を提供するよう構成され、トータルオーディオレイテンシ情報への寄与は、第2のオーディオモードに対するオーディオ情報のパススルーに関連付けられているレイテンシ情報と異なる。トータルオーディオレイテンシ情報への寄与を提供することによって、シンクデバイスは、シンクデバイスによってレンダリングされたビデオデータの再生とオーディオデータの再生とのレンダリングをソースデバイスが改善することを可能にし得る。

【0063】

一実施形態により、シンクデバイスは、シンクデバイスによって報告されるデバイス個々のレイテンシ情報が第1のデジタルメディアインターフェースから第2のデジタルメディアインターフェースにオーディオデータを転送することに関連付けられているレイテンシ情報を含むように、デバイス個々のレイテンシ情報を提供するよう構成され、たとえば、第2のデジタルメディアインターフェースは、第1のデジタルメディアインターフェースと同じタイプのものであり得るか、またはたとえば、第1のデジタルメディアインターフェースおよび第2のデジタルメディアインターフェースは、異なるタイプのものであり得るか、またはたとえば、第1のデジタルメディアインターフェースおよび第2のデジタルメディアインターフェースは、異なるプロトコルを使用し得るか、または第1のデジタルメディアインターフェースはHDMIポートであり、第2のデジタルメディアインターフェースはS/PDIFインターフェースである。第1のデジタルメディアインターフェースから第2のデジタルメディアインターフェースにオーディオデータを転送することに関連付けられているレイテンシ情報を提供することによって、シンクデバイスは、シンクデバイスによってレンダリングされたビデオデータの再生とオーディオ再生デバイスがシンクデバイスに(直接的にまたは間接的に)接続されている場合にオーディオデータの再生との同期をソースデバイスが改善することを可能にするものとしてよく、シンクデバイスは、たとえば、オーディオデータを記述する信号およびビデオデータを記述する信号のスプリッタとして機能し得る。

【0064】

一実施形態により、シンクデバイスは、第D.1章「CECレイテンシの発見およびネゴシエーション(CEC DaNoL)」において説明されている機能またはステップのうちの1つまたは複数を実行するよう構成される。

【0065】

本発明によるさらなる実施形態は、たとえば、HDMI1.4以降の仕様に従って、1つまたは複数のデジタルメディアインターフェース、たとえばHDMIポート上でオーディオデータおよびビデオデータを供給するための方法を提供し、この方法は、たとえば、オーディオストリームの形態の、オーディオデータの提供と、たとえば、ビデオストリームの形態の、ビデオデータの提供との間のタイムアラインメントを、たとえばソースデバイスによるオーディオデータの提供から、可聴オーディオ情報の提供までのオーディオ経路のレイテンシに関する情報に基づき、またたとえばソースデバイスによるオーディオデータの提供から可視ビデオデータの提供までのビデオ経路のレイテンシに関する情報に基づき、自動的に調整するステップを含む。

【0066】

本発明によるさらなる実施形態は、シンクデバイス、たとえば、オーディオ再生デバイスを操作するための方法を提供し、この方法は、デジタルメディアインターフェース、たとえば、バージョン1.4もしくは下位互換バージョンのHDMIインターフェースすなわち「高精細度マルチメディアインターフェース」を介してオーディオデータを受信するステップを含み、方法は、受信されたオーディオデータを復号して、復号済みオーディオデータを取得するステップを含み、方法は、復号済み出力データを、たとえば、1つまたは複数のスピーカーを使用して、またはアナログオーディオポートもしくはヘッドフォンジャックのようなアナログインターフェースを使用して、出力するステップを含む。方法は、第1のオーディオモード、たとえば、低レイテンシ再生モードまたは第1の入力データ形式、たとえば、AL_{none MPEG-H}を使用する再生モードを使用する再生に関連付けられているレイテンシ情報、および第2のオーディオモード、たとえば、高レイテンシ再生モードまたは第2の入力データ形式AL_MPEG-Hを使用する再生モードを使用する再生に関連付けられているレイテンシ情報を含むデバイス個々のレイテンシ情報を、たとえばHDMI CECメッセージを使用する、たとえばソースデバイスから受信された<Request Latency Info>メッセージに応答してシンクデバイスによって出力される、<Latency Info>メッセージを使用する、ソースデバイスからの要求に応答して、報告するステップをさらに含む。

【0067】

本発明によるさらなる実施形態は、シンクデバイス、たとえば、ビデオ再生デバイスを操作するための方法を提供し、この方法は、デジタルメディアインターフェース、たとえば、バージョン1.4もしくは下位互換バージョンのHDMIインターフェースすなわち「高精細度マルチメディアインターフェース」を介してビデオデータを受信するステップを含み、方法は、受信されたビデオデータをレンダリングするステップを含み、方法は、トータルビデオレイテンシ情報、たとえば、EDIDビデオレイテンシ、たとえば、VL_EDIDsourceへの寄与を表す(たとえば、静的な、事前定義された)レイテンシ情報、たとえば、VL_EDIDを含むデバイス個々のレイテンシ情報を報告するステップを含む。デバイス個々のレイテンシ情報は、たとえば、トータルビデオレイテンシ情報を表すメッセージを供給することによって、ビデオ経路のトータルレイテンシを記述すること、または複数のビデオモードにわたるビデオ経路の平均トータルレイテンシを記述することをさらに含む。デバイス個々のレイテンシ情報は、ビデオデータのレンダリングの実際のレイテンシを表すレイテンシ情報をさらに含む。

【0068】

説明されている方法は、上で説明されているデバイスと同じ考え方に依拠しており、等しいまたは同等の機能性および利点を提供する。これらの方法は、対応するデバイス、すなわちソースデバイスまたはシンクデバイスに関して本明細書において説明されている特徴、機能性、および詳細のうちのどれかと任意選択で組み合わせられ得る(またはそれによって補足され得る)。これらの方法は、任意選択で、言及された特徴、機能性および詳細と、個別にまたはそれらの任意の組合せの両方で組み合わされ得る。

【0069】

本発明によるさらなる実施形態は、コンピュータプログラムがコンピュータ上で実行されたときに上で説明されている方法のうちの少なくとも1つを実行するためのコンピュータプログラムを提供する。

【0070】

次に、本開示の実施形態が、図を参照しつつより詳しく説明される。

【図面の簡単な説明】

【0071】

【図1】一実施形態によるソースデバイスの概略表現を示す図である。

【図2-1】さらなる実施形態によるソースデバイスの概略表現を示す図（パート１）である。

【図2-2】さらなる実施形態によるソースデバイスの概略表現を示す図（パート２）である。

【図3-1】一実施形態によるタイムアラインメントを調整するためのアジャスターを示すブロック図（パート１）である。

【図3-2】一実施形態によるタイムアラインメントを調整するためのアジャスターを示すブロック図（パート２）である。

【図4】一実施形態によるレイテンシネゴシエーションブロックの概略フローチャートである。

【図5A】実施形態によるソースデバイス、オーディオ再生デバイス、およびビデオレンダリングデバイスの配置構成の概略表現を示す図である。

【図5B】実施形態によるソースデバイス、オーディオ再生デバイス、およびビデオレンダリングデバイスの配置構成の概略表現を示す図である。

【図5C】実施形態によるソースデバイス、オーディオ再生デバイス、およびビデオレンダリングデバイスの配置構成の概略表現を示す図である。

【図5D】実施形態によるソースデバイス、オーディオ再生デバイス、およびビデオレンダリングデバイスの配置構成の概略表現を示す図である。

【図5E】実施形態によるソースデバイス、オーディオ再生デバイス、およびビデオレンダリングデバイスの配置構成の概略表現を示す図である。

【図5F】実施形態によるソースデバイス、オーディオ再生デバイス、およびビデオレンダリングデバイスの配置構成の概略表現を示す図である。

【図5G】実施形態によるソースデバイス、オーディオ再生デバイス、およびビデオレンダリングデバイスの配置構成の概略表現を示す図である。

【図5H】実施形態によるソースデバイス、オーディオ再生デバイス、およびビデオレンダリングデバイスの配置構成の概略表現を示す図である。

【図5I】実施形態によるソースデバイス、オーディオ再生デバイス、およびビデオレンダリングデバイスの配置構成の概略表現を示す図である。

【図6】一実施形態による、シンクデバイス、たとえば、オーディオ再生デバイスの概略表現を示す図である。

【図7】さらなる実施形態による、シンクデバイス、たとえば、オーディオ再生デバイスの概略表現を示す図である。

【図8】一実施形態による、シンクデバイス、たとえば、ビデオレンダリングデバイスの概略表現を示す図である。

【図9】さらなる実施形態による、シンクデバイス、たとえば、ビデオレンダリングデバイスの概略表現を示す図である。

【図10】一実施形態によるオーディオデータおよびビデオデータを提供するための方法を示すブロック図である。

【図11】一実施形態による、シンクデバイス、たとえば、オーディオ再生デバイスを操作するための方法を示すブロック図である。

【図12】一実施形態による、シンクデバイス、たとえば、ビデオレンダリングデバイスを操作するための方法を示すブロック図である。

【図13】一実施形態によるレイテンシネゴシエーションに対する通信のための値を列挙した表（表１）である。

【図14-1】一実施形態によるレイテンシの発見およびレイテンシネゴシエーションについてのメッセージを列挙した表（表２（パート１））である。

【図14-2】一実施形態によるレイテンシの発見およびレイテンシネゴシエーションについてのメッセージを列挙した表（表２（パート２））である。

【図15-1】任意選択の一実施形態によるレイテンシの発見およびレイテンシネゴシエーションについてのメッセージを列挙した表（表３（パート１））である。

【図15-2】任意選択の一実施形態によるレイテンシの発見およびレイテンシネゴシエーションについてのメッセージを列挙した表（表３（パート２））である。

【図16】任意選択の一実施形態によるレイテンシネゴシエーションに対する通信のための値を列挙した表（表４）である。

【発明を実施するための形態】

【0072】

次に、異なる発明の実施形態および態様が説明される。いくつかの実施形態は、図を参照しつつ説明される。さらなる実施形態は、第D.1章「CECレイテンシの発見およびネゴシエーション(CEC DaNoL)」および第C.1章「MPEG_Hソース遅延調整アルゴリズム(MASDA)」で説明される。また、さらなる実施形態は、同封の請求項の範囲によって定義される。

【0073】

請求項の範囲によって定義されているような任意の実施形態は、本明細書において説明されている詳細(特徴および機能性)のいずれかによって補足され得ることに留意されたい。また、本明細書において説明されている実施形態は、個別に使用することができ、また、任意選択で、請求項に含まれる詳細(特徴および機能性)のうちのいずれかによって補足することもできる。また、本明細書において説明されている個別の態様は、個別にまたは組み合わせて使用できることにも留意されたい。したがって、詳細は、前記個別の態様の各々に、前記態様のうちの別の態様に詳細を追加することなく、追加することができる。また、本開示は、オーディオおよび/またはビデオデバイス内で使用可能な特徴を明示的にまたは暗黙のうちに説明していることにも留意されたい。したがって、本明細書において説明されている特徴はどれも、オーディオおよび/またはビデオデバイスの文脈において使用することができる。

【0074】

さらに、方法に関係する本明細書において開示されている特徴および機能性は、装置(そのような機能性を実行するよう構成されている)においても使用することができる。さらに、装置に関して本明細書において開示されている任意の特徴および機能は、対応する方法においても使用することができる。言い換えると、本明細書において開示されている方法は、装置に関して説明されている特徴および機能性のうちのどれによっても補足され得る。

【0075】

本発明は、以下で与えられる詳細な説明から、また本発明の実施形態の添付図面からより完全に理解されるが、これは、本発明を説明されている特定の実施形態に限定するものと解釈されるべきでなく、説明および理解のみのためのものである。

【0076】

以下では、3桁の参照番号の1桁目は、その参照番号が指している図の番号に対応する。

【0077】

A)図1によるソースデバイス。
図1は、1つまたは複数のデジタルメディアインターフェース170上でオーディオデータ160およびビデオデータ165を提供するためのソースデバイス100の概略表現を示している。ソースデバイス100は、オーディオ経路180のレイテンシに関する情報110に基づき、および、ビデオ経路190のレイテンシに関する情報120に基づき、オーディオデータ160の提供とビデオデータ165の提供との間のタイムアラインメント150を自動的に調整するよう構成される。

【0078】

たとえば、オーディオ経路180は、1つもしくは複数のデジタルメディアインターフェース170のうちの第1のものに接続され、ビデオ経路190は、1つもしくは複数のデジタルメディアインターフェース170のうちの第2のものに接続されるか、または1つもしくは複数のデジタルメディアインターフェース170のうちの第1のものにも接続される。すなわち、オーディオ経路180およびビデオ経路190は、別々であり得るか、または少なくとも部分的に重なり得る。

【0079】

オーディオ経路180は、可聴信号または音響信号への信号の変換に対する1つまたは複数のデジタルメディアインターフェースのうちの1つのインターフェース全体を通して1つまたは複数のデジタルメディアインターフェースのうちの1つのインターフェースのところで提供されるような音声データ160を表す信号の信号経路であってよい。オーディオ経路は、1つまたは複数のデジタルメディアインターフェースのうちの1つのインターフェースのところでの信号の提供から、たとえばオーディオ経路180内のデバイスによる可聴信号または音響信号の出力までのタイムスパンであり得るレイテンシを含む。すなわち、オーディオ経路のレイテンシは、オーディオ経路180を完了するのに信号が必要とするタイムスパンであってよい。

【0080】

ビデオ経路190は、可視信号への信号の変換に対する1つまたは複数のデジタルメディアインターフェースのうちの1つのインターフェース全体を通して1つまたは複数のデジタルメディアインターフェースのうちの1つのインターフェースのところで提供されるようなビデオデータ165を表す信号の信号経路であってよい。ビデオ経路は、1つまたは複数のデジタルメディアインターフェースのうちの1つのインターフェースのところでの信号の提供から、たとえばビデオ経路190内のデバイスによる可視信号の出力までのタイムスパンであり得るレイテンシを含む。すなわち、ビデオ経路のレイテンシは、ビデオ経路190を完了するのに信号が必要とするタイムスパンであってよい。

【0081】

ソースデバイス100は、オーディオ経路180のレイテンシに関する情報110、およびビデオ経路190のレイテンシに関する情報120を取得するよう構成されているアジャスター102を備える。アジャスター102は、タイムアラインメント150を自動的に取得するよう構成される。アジャスター102は、オーディオ経路180のレイテンシに関する情報110およびビデオ経路190のレイテンシに関する情報120に基づきタイムアラインメント150を調整するか、または計算するよう構成されている計算器130を備える。

【0082】

図1によるソースデバイス100は、任意選択で、他のソースデバイスに関して本明細書において説明されているすべての特徴、機能性、および詳細によって補完され得ることが指摘される。それぞれの特徴、機能性、および詳細は、任意選択で、個別にまたはそれらの任意の組合せの両方でソースデバイス100に追加され得る。

【0083】

B)図2-1および図2-2に示すソースデバイス
図2-1および図2-2は、一実施形態によるソースデバイス200の概略表現を示している。ソースデバイス200は、たとえば、ソースデバイス100に対応するものとしてよい。

【0084】

ソースデバイス200は、オーディオデータ260を、たとえばオーディオデータ260の符号化済み表現で、オーディオ経路280に供給するよう構成される。オーディオ経路280は、オーディオ経路180に対応しているものとしてよい。

【0085】

オーディオ経路280は、オーディオデータ260を再生するように、すなわち、オーディオデータ260に基づき可聴オーディオ情報を提供するよう構成されている、オーディオ再生デバイス282、たとえば、オーディオシンクデバイスまたはオーディオ復号デバイスを含む。たとえば、オーディオ再生デバイス282は、オーディオデータ260を復号するよう構成される。

【0086】

オーディオ再生デバイス282は、たとえば、第1のオーディオモードまたは第2のオーディオモードで動作するよう構成される。第1のオーディオモードは、オーディオデータを復号するタイプまたはオーディオデータを再生するタイプ、たとえば、レガシーモードまたはnone-MPEG-Hモードに関係するものとしてよい。MPEG-Hモードは、MPEG-Hコーデックによるオーディオデータの復号を指すものとしてよい。第2のオーディオモードは、高品質オーディオモードに、またはオーディオデータの復号の時間がかかるタイプのものに関係するものとしてよい。たとえば、第2のオーディオモードは、20msを超える復号レイテンシを含む復号のタイプ、またはMPEG-Hモードを指すものとしてよい。

【0087】

オーディオ経路280は、任意選択で、さらなるデバイス、たとえば、ビデオ再生デバイスまたは接続デバイスまたはリピータまたは非アクティブオーディオおよび/もしくはビデオデバイスを含んでいてもよい。さらなるデバイスは、オーディオデータ260をパススルーするよう構成され得る。さらなるデバイスは、第1のオーディオモードおよび/または第2のオーディオモードを動作させるか、またはサポートするよう構成され得る。

【0088】

ソースデバイス200は、ビデオデータ265を、たとえばビデオデータ265の復号済み表現で、ビデオ経路290に供給するよう構成される。ビデオ経路290は、ビデオ経路190に対応しているものとしてよい。

【0089】

ビデオ経路290は、ビデオデータ265を再生するように、すなわち、ビデオデータ265に基づき可視ビデオ情報を提供するよう構成されている、ビデオ再生デバイス292、たとえば、ビデオシンクデバイスまたはビデオレンダリングデバイスを含む。

【0090】

ビデオ再生デバイス292は、たとえば、第1または第2のビデオモード、たとえばゲーミングモードまたは映画モードを使用して、ビデオデータ265をレンダリングするよう構成され得る。ビデオ再生デバイス292は、オーディオ経路280の一部であってよい。

【0091】

ビデオ経路290は、任意選択で、さらなるデバイス、たとえば、オーディオ再生デバイスまたは接続デバイスまたはリピータまたは非アクティブオーディオおよび/もしくはビデオデバイス、たとえば、オーディオデバイス282を含み得る。さらなるデバイスは、ビデオデータ265をパススルーするよう構成され得る。

【0092】

ソースデバイス200は、タイムアラインメント150に対応し得るタイムアラインメント250を自動的に調整するよう構成されているアジャスター202を備える。アジャスター202は、オーディオ経路280のレイテンシに関する情報210に基づき、および、ビデオ経路290のレイテンシに関する情報220に基づき、タイムアラインメント250を計算するよう構成されている計算器230を備える。

【0093】

オーディオ経路のレイテンシに関する情報210は、ソースデバイス200とオーディオ再生デバイス282との間の経路のレイテンシ、およびオーディオ再生デバイス282の復号レイテンシに関する情報を含み得る。

【0094】

ソースデバイス200は、復号器266を備える。復号器266は、ビデオデータの符号化済み表現267を復号して、ビデオデータ265を復号済みビデオ表現で取得するよう構成される。ソースデバイス200は、1つまたは複数のデジタルメディアインターフェース270上でビデオデータ265の復号済みビデオ表現を提供するよう構成される。

【0095】

ソースデバイス200は、タイムアラインメント250に基づきオーディオデータ260の提供を遅延させるよう構成され得る。たとえば、ソースデバイス200は、ビデオ経路290のレイテンシがオーディオ経路280のレイテンシよりも大きい場合にオーディオデータ260の提供を遅延させるよう構成されてもよい。ソースデバイス200は、オーディオ経路280のレイテンシがビデオ経路290のレイテンシよりも大きい場合にビデオデータ267の復号を遅延させるよう構成されてもよい。

【0096】

言い換えると、ソースデバイス200は、符号化済みビデオ表現267を取得するよう構成される。ソースデバイス200は、符号化済みビデオ表現267を復号して、復号済みビデオ表現を取得するようにさらに構成される。ソースデバイス200は、ビデオデータ265を提供するよう構成されており、これによりビデオデータ265は復号済みビデオ表現を表す。ソースデバイス200は、オーディオ経路280のレイテンシに関する情報210およびビデオ経路290のレイテンシに関する情報220に基づき符号化済みビデオ表現の復号を選択的に遅延させるようにさらに構成される。

【0097】

言い換えると、ソースデバイス200は、タイムアラインメント250に基づき復号器266によるビデオデータ267の復号を遅延させるよう構成される。

【0098】

ソースデバイス200は、1つまたは複数のデジタルインターフェース270のうちの1つを介して、オーディオ再生デバイスから取得されるオーディオ遅延情報212を使用してオーディオ経路280のレイテンシに関する情報210を取得するよう構成される。たとえば、ソースデバイス200は、オーディオ経路280内のデバイスからオーディオ遅延情報212を取得する。それに加えて、または代替的に、ソースデバイス200は、1つまたは複数のデジタルインターフェース270のうちの1つを介してビデオレンダリングデバイスから取得されるビデオ遅延情報222を使用してビデオ経路290のレイテンシに関する情報220を取得するよう構成される。たとえば、ソースデバイス200は、ビデオ経路290内のデバイスからビデオ遅延情報222を取得するよう構成される。

【0099】

オーディオ遅延情報212は、トータルオーディオレイテンシ情報214を含み得る。トータルオーディオレイテンシ情報214は、オーディオ経路280の少なくとも一部に沿ってデバイスのオーディオレイテンシの総和を含み得る。トータルオーディオレイテンシ情報214は、第1のオーディオモードを指すレイテンシを含み得る。たとえば、トータルオーディオレイテンシ情報214は、第1のオーディオモードに対するパススルーレイテンシまたは再生レイテンシまたは復号レイテンシに関連するか、またはそれらを指すレイテンシを含み得る。トータルオーディオレイテンシ情報214は、たとえば、EDID情報、たとえばAL_EDIDsourceにおいて報告されるオーディオレイテンシであり得る。

【0100】

オーディオ遅延情報212は、デバイス個々のオーディオレイテンシ情報216をさらに含み得る。たとえば、デバイス個々のオーディオレイテンシ情報216は、デバイス個々のオーディオレイテンシ寄与217を含み得、これはトータルオーディオレイテンシ情報214へのデバイスの寄与であり得る。デバイス個々のオーディオレイテンシ寄与217は、たとえば、第1のオーディオモード、たとえばnone-MPEG-Hモード、たとえばAL_none-MPEG-Hでの、オーディオデータの再生に関連付けられているレイテンシであってもよい。デバイス個々のオーディオレイテンシ寄与217は、デバイスによるオーディオデータのパススルーに関連付けられているレイテンシを指すものとしてもよい。パススルーに関連付けられているレイテンシは、たとえば、デバイスへの信号の入力から、デバイスからの信号の出力までのタイムスパンであり得、信号は無変化のままであり得る。

【0101】

デバイス個々のオーディオレイテンシ情報216は、第2のオーディオモード、たとえば、MPEG-Hモードでの、オーディオデータの再生、たとえば可聴オーディオデータの復号および/または出力に関連付けられているレイテンシに関する情報であり得るオーディオ復号情報218も含み得る。オーディオ復号情報218は、AL_MPEG-Hと称されてよい。

【0102】

デバイス個々のオーディオレイテンシ情報216は、たとえば、オーディオ経路内の、第2のオーディオモードで動作している、別のデバイスにオーディオデータを提供するために、第2のオーディオモードにおけるオーディオデータのパススルーに関連付けられているレイテンシに関する情報を指すものとしてよいデバイス個々のパススルーレイテンシ情報219をさらに含み得る。たとえば、デバイス個々のパススルーレイテンシ情報219は、AL_{MPEG-Hpassthrough}を指すものとしてよい。

【0103】

ビデオ遅延情報222は、トータルビデオレイテンシ情報224を含み得る。トータルビデオレイテンシ情報224は、デバイス個々のビデオレイテンシの総和、たとえば、ビデオ経路290内のデバイスのビデオレイテンシの総和を含み得る。トータルビデオレイテンシ情報224は、たとえば、EDID情報で報告され得る。トータルビデオレイテンシ情報224は、VL_EDIDsourceと称され得る。

【0104】

ビデオ遅延情報222は、デバイス個々のビデオレイテンシ情報226をさらに含み得る。デバイス個々のビデオレイテンシ情報226は、デバイス個々のビデオレイテンシ寄与227、たとえば、トータルビデオレイテンシ情報222へのビデオ経路290内のデバイスの個別デバイス寄与を含んでいてもよい。デバイス個々のビデオレイテンシ寄与227は、ビデオデータの再生またはビデオデータのパススルーに関連付けられているレイテンシ、たとえば再生レイテンシまたはパススルーレイテンシに関する情報を含み得る。デバイス個々のビデオレイテンシ寄与227は、VL_EDIDと称され得る。

【0105】

デバイス個々のビデオレイテンシ情報226は、現在のビデオレイテンシ情報228をさらに含み得る。現在のビデオレイテンシ情報228は、ビデオデータの再生またはレンダリングに関連付けられているレイテンシ、たとえば、デバイス、たとえば、ビデオ再生デバイスへの、信号、たとえば、ビデオデータを表す信号の入力と、デバイスによる可視信号としての信号の出力との間のタイムスパンに関する情報を含み得る。

【0106】

言い換えると、ソースデバイス200は、第1のオーディオモードに対するオーディオ経路280のトータルレイテンシを記述するトータルオーディオレイテンシ情報214を取得するよう構成される。それに加えて、または代替的に、ソースデバイス200は、第1のビデオモードまたはビデオモードに対するビデオ経路290のトータルレイテンシを記述するトータルビデオレイテンシ情報224を取得するよう構成され得る。

【0107】

アジャスター202は、ビデオ遅延情報222およびオーディオ遅延情報212を受信するよう構成され得るコミュニケータ240を含み得る。

【0108】

コミュニケータ240は、オーディオ再生デバイス282および/もしくはビデオレンダリングデバイス292、またはビデオおよび/もしくはオーディオ経路内の別のデバイスと、デジタルメディアインターフェース270を介して通信するよう構成される。すなわち、ソースデバイス400は、オーディオ再生デバイス282および/もしくはビデオレンダリングデバイス292またはビデオおよび/もしくはオーディオ経路内の別のデバイスにメッセージを送信し、それらのデバイスからメッセージを受信するよう構成される。

【0109】

たとえば、ソースデバイス400とオーディオ再生デバイス482との間の通信は、通信プロトコル、たとえば、HDMI1.4b-CECに記載されている通信プロトコルCEC(「Consumer Electronics Control」)によって規定され得る。

【0110】

たとえば、ソースデバイス400とオーディオ再生デバイス482との間の通信は、第D.1章において説明されているように、および/または表2において、または代替的におよび任意選択で表3において説明されているようなメッセージおよび規則に従って実行され得る。

【0111】

たとえば、ソースデバイス400は、表2に、または代替的におよび任意選択で表3に示されているメッセージのうちの1つまたは複数を1つまたは複数のシンクデバイスに(たとえば、シンクデバイスの個別の直接的アドレッシング、またはブロードキャストを使用して)伝送し、(適用可能な場合に)それぞれの返信メッセージを1つまたは複数のシンクデバイス(たとえば、シンクデバイスのチェーン内の)から受信し、それぞれの返信メッセージに含まれる情報を(たとえばタイムアラインメントを調整するために)使用するよう構成され得る。

【0112】

代替的に、たとえば、ソースデバイス400は、表2に、または代替的におよび任意選択で表3に示されているメッセージのうちの1つまたは複数を1つまたは複数のシンクデバイスから受信し、(適用可能な場合に)個別デバイスレイテンシに関する情報を含むそれぞれの返信メッセージを1つまたは複数のシンクデバイス(たとえば、シンクデバイスのチェーン内の)に(たとえば、シンクデバイスの個別の直接的アドレッシング、またはブロードキャストを使用して)伝送するよう構成され得る。

【0113】

コミュニケータ240は、さらに、デバイス個々のオーディオレイテンシ情報216および/またはデバイス個々のビデオレイテンシ情報226を要求するよう構成され得る。したがって、コミュニケータ240は、オーディオ経路280および/またはビデオ経路290内のデバイスと通信するよう構成される。たとえば、コミュニケータ240は、そのデバイス個々のオーディオレイテンシ情報216および/またはそのデバイス個々のビデオレイテンシ情報226を伝達することをデバイスに要求し得る。

【0114】

言い換えると、ソースデバイス200は、複数の個別のデバイスに対して、そのデバイス個々のレイテンシ情報、すなわち、そのデバイス個々のオーディオレイテンシ情報216および/またはそのデバイス個々のビデオレイテンシ情報226を問い合わせるよう構成される。

【0115】

コミュニケータ240は、さらに、オーディオ再生デバイス、たとえば、第2のオーディオモード、たとえばMPEG-Hモードで動作するオーディオ再生デバイスと、個別デバイスオーディオ再生レイテンシ280をネゴシエートするよう構成されてもよい。

【0116】

ソースデバイス200は、任意選択で、ユーザインターフェース205を備え得る。ユーザインターフェース205は、ユーザ調整206を受けるよう構成される。ユーザインターフェース205は、ユーザ調整206に従ってタイムアラインメント250を調整するようにさらに構成される。ユーザインターフェース205は、ユーザ調整206を含む信号を受信するよう構成されてもよい。代替的に、またはそれに加えて、ユーザインターフェース205は、ユーザがソースデバイス200と直接的に対話することを可能にし得る。

【0117】

オーディオ経路280および/またはビデオ経路290内の1つまたは複数のデバイスが、ソースデバイス200との通信に関して互換性がないか、または通信に失敗するか、またはそれらのレイテンシに関する正しい情報を通信することに失敗する場合、アジャスター202によるタイムアラインメント250の調整が不十分であり得る。ユーザインターフェース205は、たとえば、アジャスター202によるタイムアラインメント250の自動調整に加えて、タイムアラインメント250を手動で調整するための手段をユーザに提供する。

【0118】

言い換えると、ソースデバイス200は、ユーザインターフェース205を使用してタイムアラインメント250の調整206を行うことも可能にするよう構成される。

【0119】

ソースデバイスは、任意選択で、追加のリンク207、たとえば、データを交換するか、またはデバイスと通信するよう構成されている通信インターフェースを備え得る。追加のリンク207は、オーディオ経路280および/またはビデオ経路290内のデバイス、たとえば、オーディオ再生デバイス282、ビデオレンダリングデバイス290または別のデバイスと通信するよう構成される。追加のリンク207は、たとえば、WLAN、Ethernet、Bluetooth、または別の有線もしくはワイヤレス接続を介して通信し得る。ソースデバイス200は、追加のリンク207を介して、レイテンシ情報、たとえば、オーディオ遅延情報212および/またはビデオ遅延情報222を要求し、および/または受信し、および/またはネゴシエートするよう構成され得る。ソースデバイス200は、オーディオ再生デバイス282および/またはビデオレンダリングデバイス292および/または他のデバイスからレイテンシ情報を取得するよう構成される。たとえば、アジャスター202は、追加のリンク207を介して情報を取得するか、または追加のリンク207を使用して通信、たとえば、コミュニケータ240による通信を行うものとしてよい。

【0120】

言い換えると、ソースデバイス200は、1つもしくは複数のデジタルメディアインターフェース270とは別個のものである追加のリンク207を使用して、オーディオ再生デバイス282と、かつ/またはビデオレンダリングデバイス292と、かつ/またはソースデバイス200とオーディオ再生デバイス282との間の1つもしくは複数のデバイスと、かつ/またはソースデバイス200とビデオレンダリングデバイス292との間の1つもしくは複数のデバイスと通信して、1つまたは複数のデバイスからレイテンシ情報を取得するよう構成される。

【0121】

アジャスター202のさらなる詳細は、図3-1及び図3-2において説明されているアジャスター302の文脈において説明され、その特徴は、アジャスター302において個別にまたは互いに組み合わせて具現化され得る。

【0122】

C) 図3-1及び図3-2に示すタイムアラインメントを調整するためのアジャスター
図3-1及び図3-2は、一実施形態によるタイムアラインメント350を調整するためのアジャスター302を示すブロック図である。アジャスター302は、アジャスター102またはアジャスター202に対応し得る。タイムアラインメント350は、タイムアラインメント150またはタイムアラインメント250に対応するものとしてよく、これらは、セクションAおよびセクションBにおいて説明されているようにオーディオデータ160、260またはビデオデータ165、265を遅延させるために使用され得る。図3-1及び図3-2は、アジャスター302の動作原理を、概略的なブロック図を使用して説明している。

【0123】

オーディオデータ、たとえばオーディオデータ160、260の提供と、ビデオデータ、たとえばビデオデータ165、265の提供との間のタイムアラインメント350を調整するために、アジャスター302は、たとえば、オーディオ経路、たとえば、オーディオ経路180、280のレイテンシに関する情報310を取得し、ビデオ経路、たとえばビデオ経路190、290のレイテンシに関する情報320を取得するよう構成されているコミュニケータ340、たとえば、コミュニケータ240を備える。

【0124】

コミュニケータ340は、オーディオ経路のトポロジーおよび/またはビデオ経路のトポロジーを含む、トポロジー情報395を取得するよう構成されているディスカバラー341を備える。トポロジー情報395に基づき、コミュニケータ340は、デバイス個々のレイテンシ情報を要求し得るか、またはオーディオ遅延情報、たとえばオーディオ遅延情報212、および/またはビデオ遅延情報、たとえばビデオ遅延情報222をどのように処理するかを決定し得る。

【0125】

たとえば、ディスカバラー341は、CECコマンド、たとえば、第D.1章において説明されているコマンドを使用して、および/または表2において、もしくは代替的におよび任意選択で表3において説明されているようなメッセージおよび規則に従って通信するよう構成され得る。

【0126】

たとえば、ディスカバラー341は、表2に、または代替的におよび任意選択で表3に示されているメッセージのうちの1つまたは複数を1つまたは複数のシンクデバイスに(たとえば、シンクデバイスの個別の直接的アドレッシング、またはブロードキャストを使用して)伝送し、(適用可能な場合に)それぞれの返信メッセージを1つまたは複数のシンクデバイス(たとえば、シンクデバイスのチェーン内の)から受信し、それぞれの返信メッセージに含まれる情報を(たとえばトポロジー情報395を取得するために)使用するよう構成され得る。

【0127】

オーディオ経路のトポロジーは、たとえば、1つまたは複数のデジタルメディアインターフェース、たとえばデジタルメディアインターフェース170、270のうちの1つと、オーディオデータを再生するためのオーディオ再生デバイス、たとえばオーディオ再生デバイス282との間の接続を記述するものとしてよい。オーディオ経路のトポロジーは、たとえば、オーディオ経路内のデバイスの少なくとも一部に関する情報を含み得る。たとえば、オーディオ経路のトポロジーは、オーディオ経路内のいくつかのデバイスを含み得る。オーディオ経路のトポロジーは、オーディオ経路内のデバイスに関する情報、たとえば、オーディオ経路内のデバイスのタイプ、および/またはオーディオ経路内のデバイスの特性、たとえば、デジタルメディアインターフェースを介してプロパティを伝達するデバイスの能力に関する情報をさらに含み得る。

【0128】

ビデオ経路のトポロジーは、たとえば、1つまたは複数のデジタルメディアインターフェース、たとえばデジタルメディアインターフェース170、270のうちの1つと、ビデオデータを再生するためのビデオ再生デバイス、たとえばビデオ再生デバイス292との間の接続を記述するものとしてよい。ビデオ経路のトポロジーは、たとえば、ビデオ経路内のデバイスの少なくとも一部に関する情報を含み得る。たとえば、ビデオ経路のトポロジーは、ビデオ経路内のいくつかのデバイスを含み得る。ビデオ経路のトポロジーは、ビデオ経路内のデバイスに関する情報、たとえば、ビデオ経路内のデバイスのタイプ、および/またはビデオ経路内のデバイスの特性、たとえば、デジタルメディアインターフェースを介してプロパティを伝達するデバイスの能力に関する情報をさらに含み得る。

【0129】

言い換えると、ソースデバイス300は、トポロジー情報395を取得するために、ソースデバイス300とオーディオ再生デバイスとの間の接続のトポロジーを、またソースデバイス300とビデオレンダリングデバイスとの間の接続のトポロジーも、発見するよう構成され、ソースデバイス300は、トポロジー情報395に依存してタイムアラインメント350を調整するよう構成される。

【0130】

コミュニケータ340は、トータルオーディオレイテンシ情報314、たとえば、トータルオーディオレイテンシ情報214、および/またはトータルビデオレイテンシ情報324、たとえばトータルビデオレイテンシ情報224を取得するか、または受信するよう構成されているトータルレイテンシリーダー342をさらに備える。たとえば、トータルレイテンシリーダー342は、トータルオーディオレイテンシ情報314および/またはトータルビデオレイテンシ情報324を、オーディオ経路および/またはビデオ経路内のデバイスから、たとえば、ソースデバイスとオーディオ再生デバイスおよび/またはビデオ再生デバイスとの間の接続の範囲内でソースデバイスに最も近いデバイスから、それぞれ受信するよう構成され得る。たとえば、トータルレイテンシリーダー342は、オーディオ経路内および/またはビデオ経路内にあるデバイスのEDID情報を読み取るよう構成されるものとしてよい。EDID情報は、トータルオーディオレイテンシ情報314、たとえば、EDIDオーディオレイテンシAL_EDIDsource、および/またはトータルビデオレイテンシ情報324、たとえばEDIDビデオレイテンシVL_EDIDsourceを含み得る。

【0131】

コミュニケータは、オーディオ再生デバイス、たとえば、オーディオ再生デバイス282と、復号レイテンシ、たとえばオーディオ復号レイテンシをネゴシエートするよう構成されているレイテンシネゴシエータ343をさらに備える。すなわち、たとえば、レイテンシネゴシエータ343は、オーディオデータを復号するためにオーディオ再生デバイスによって使用されるべき復号レイテンシを選択するよう構成されてよく、レイテンシネゴシエータ343は、オーディオ再生デバイスと互換性のある復号レイテンシを選択するよう構成され得る。たとえば、レイテンシネゴシエータ343は、タイムアラインメント350の現在の値に基づき、またはオーディオ経路のレイテンシに関する情報310の少なくとも一部および/もしくはビデオ経路のレイテンシに関する情報320の少なくとも一部に基づき、復号レイテンシを選択するよう構成され得る。オーディオ再生デバイスと復号レイテンシをネゴシエートした結果、レイテンシネゴシエータ343は、オーディオ復号レイテンシ情報318、たとえば、オーディオ復号レイテンシ情報218を取得するか、または認識するものとしてよく、これは、たとえば第2のオーディオモードで動作し得る、オーディオ再生デバイスのネゴシエート済み復号レイテンシに対応するものとしてよい。ネゴシエータ343に関する詳細は、図4において説明されている。

【0132】

コミュニケータ340は、コレクタ344をさらに備える。コレクタ344は、デバイス個々のレイテンシ情報、たとえば、デバイス個々のオーディオレイテンシ情報316(たとえば、デバイス個々のオーディオレイテンシ情報216)および/またはデバイス個々のビデオレイテンシ情報326(たとえば、デバイス個々のビデオレイテンシ情報316)を収集するか、または取得するよう構成される。デバイス個々のオーディオレイテンシ情報316は、デバイス個々のオーディオレイテンシ寄与317(たとえば、デバイス個々のオーディオレイテンシ寄与217)、オーディオ復号レイテンシ318(たとえば、オーディオ復号レイテンシ218)、およびデバイス個々のパススルーレイテンシ情報319(たとえば、デバイス個々のパススルーレイテンシ情報219)のうちの少なくとも1つを含み得る。デバイス個々のビデオレイテンシ情報326は、デバイス個々のビデオレイテンシ寄与327(たとえば、デバイス個々のビデオレイテンシ寄与227)および現在のビデオレイテンシ情報328(たとえば、現在のビデオレイテンシ情報228)の少なくとも1つを含み得る。

【0133】

たとえば、コレクタ344は、CECコマンド、たとえば、第D.1章において説明されているコマンドを使用して、および/または表2において、もしくは代替的におよび任意選択で表3において説明されているようなメッセージおよび規則に従って通信するよう構成され得る。

【0134】

たとえば、コレクタ344は、表2に、または代替的におよび任意選択で表3に示されているメッセージのうちの1つまたは複数を1つまたは複数のシンクデバイスに(たとえば、シンクデバイスの個別の直接的アドレッシング、またはブロードキャストを使用して)伝送し、(適用可能な場合に)それぞれの返信メッセージを1つまたは複数のシンクデバイス(たとえば、シンクデバイスのチェーン内の)から受信し、それぞれの返信メッセージに含まれる情報を(たとえば、デバイス個々のオーディオレイテンシ情報316および/またはデバイス個々のレイテンシ情報326を取得するために)使用するよう構成され得る。

【0135】

たとえば、コレクタ344は、デバイス個々のレイテンシ情報を要求し、および/またはデバイス個々のレイテンシ情報を受信するよう構成される。コレクタ344は、たとえば、デジタルメディアインターフェース、たとえばデジタルメディアインターフェース170、270を介して、オーディオ経路および/またはビデオ経路内のデバイスと、通信プロトコルを介して通信するよう構成され得る。通信プロトコルは、たとえば、デジタルメディアインターフェースに関係するものとしてよい。たとえば、通信プロトコルは、HDMIに対して規定され得る。たとえば、通信プロトコルは、Consumer Electronics Control(CEC)プロトコルであってもよい。

【0136】

たとえば、コレクタ344は、トポロジー情報395に含まれるオーディオ経路のトポロジーの一部および/またはビデオ経路のトポロジーの一部であるデバイスにデバイス個々のレイテンシ情報を要求するよう構成され得る。たとえば、コレクタ344は、トポロジー情報395によって記述されるデバイスにメッセージを送信するよう構成されてもよい。コレクタ344は、要求があり次第デバイスからデバイス個々のレイテンシ情報を受信するよう構成されてもよい。

【0137】

アジャスター302は、絶対ビデオレイテンシ計算器331をさらに備える。絶対ビデオレイテンシ計算器331は、ビデオ遅延情報、たとえばビデオ遅延情報222に基づき、ビデオ経路のレイテンシに関する情報320を取得するよう構成され、これは、トータルビデオレイテンシ情報324および/またはデバイス個々のビデオレイテンシ情報326を含み得る。絶対ビデオレイテンシ計算器331は、ビデオ遅延情報に依存して、すなわち、ビデオ遅延情報に含まれる情報の量およびタイプに依存して、ビデオ経路のレイテンシに関する情報320の少なくとも一部を計算するよう構成される。

【0138】

たとえば、ビデオ遅延情報は、トポロジー情報395のビデオ経路のトポロジーによって記述されるようなビデオ経路内のすべてのデバイスに対する現在のビデオレイテンシ情報328を含んでいてもよい。この場合、絶対ビデオレイテンシ計算器331は、ビデオ経路内のすべてのデバイスの現在のビデオレイテンシ情報328を総和することによってビデオ経路のレイテンシに関する情報320を計算し得る。たとえば、絶対ビデオレイテンシ計算器331は、ソースデバイスとビデオレンダリングデバイスとの間のすべてのデバイスの現在のビデオレイテンシ情報328と、ビデオレンダリングデバイスの現在のビデオレイテンシ情報328とを総和するものとしてよい。ビデオ経路内のすべてのデバイスの現在のビデオレイテンシ情報328に基づきビデオ経路のレイテンシに関する情報320を計算することは、ビデオ経路のレイテンシに関する情報320を計算する最も信頼性の高い方法であり得る。

【0139】

ビデオレイテンシ情報が、トータルビデオレイテンシ情報324と、少なくともデバイス個々のビデオレイテンシ寄与327およびビデオレンダリングデバイスの現在のビデオレイテンシ情報328とを含む場合、絶対ビデオレイテンシ計算器331は、第2のビデオレイテンシ計算333を使用することによって、ビデオ経路のレイテンシに関する情報320を取得し得る。第2のビデオレイテンシ計算333は、たとえば、トータルビデオレイテンシ情報324に対するビデオレンダリングデバイスの寄与を修正することによってトータルビデオレイテンシ情報324を補正するよう構成され得る。たとえば、第2のビデオレイテンシ計算333は、トータルビデオレイテンシ情報324に対するビデオレンダリングデバイスのデバイス個々のビデオレイテンシ寄与327による寄与を、ビデオレンダリングデバイスの現在のビデオレイテンシ情報328で置換してもよい。したがって、第2のビデオレイテンシ計算333は、ビデオレンダリングデバイスのデバイス個々のビデオレイテンシ寄与327がビデオレンダリングデバイスの真の現在のビデオレイテンシを表さない場合にトータルビデオレイテンシ情報324を補正するものとしてよい。

【0140】

ビデオ遅延情報がトータルビデオレイテンシ情報324を含む場合、絶対ビデオレイテンシ計算器331は、代替的に、またはそれに加えて、第3のビデオレイテンシ計算334を使用することによってビデオ経路のレイテンシに関する情報320を取得し得る。第3のビデオレイテンシ計算334は、トータルビデオレイテンシ情報324を使用するよう構成される。たとえば、第3のビデオレイテンシ計算334は、ビデオ経路のレイテンシに関する情報320に対する値としてトータルビデオレイテンシ情報324の値を使用するよう構成されてもよい。

【0141】

代替的に、またはそれに加えて、絶対ビデオレイテンシ計算器331は、ビデオ経路のレイテンシに関する情報320を取得するために第4のビデオレイテンシ計算335を使用し得る。第4のビデオレイテンシ計算335は、たとえば、ビデオ経路内のすべての知られているデバイス、すなわち、トポロジー情報395に含まれるビデオ経路のトポロジーで記述されているすべてのデバイスの現在のビデオレイテンシ情報328を使用するよう構成され得る。それに加えて、第4のビデオレイテンシ計算335では、ビデオレンダリングデバイスに対する推定されたビデオレイテンシ情報を使用してもよい。ビデオレンダリングデバイスの推定されたビデオレイテンシ情報は、たとえば、ビデオレンダリングデバイスの現在のビデオレイテンシ情報328、または、追加のプロトコル、たとえばDynamic Audio Lip Sync(DALS)によって、もしくは既定値によって取得されるビデオレイテンシ情報であってよい。

【0142】

絶対ビデオレイテンシ計算器331は、情報の利用可能性に基づき、たとえばビデオ遅延情報の内容に基づき、第1のビデオレイテンシ計算332、第2のビデオレイテンシ計算333、第3のビデオレイテンシ計算334、および第4のビデオレイテンシ計算335のうちから選ぶよう構成され得る。

【0143】

言い換えると、ソースデバイスは、ソースデバイスに利用可能な情報の量に依存してビデオ経路のレイテンシに関する情報320の決定のための決定規則を選択するよう構成される。

【0144】

言い換えると、ソースデバイスは、ビデオレンダリングデバイス、およびソースデバイスとビデオレンダリングデバイスとの間のすべてのデバイスに対して、デバイス個々の現在のビデオレイテンシ情報328がソースデバイスに利用可能であるならば、デバイス個々の現在のビデオレイテンシ情報328の総和を使用することによってビデオ経路のレイテンシに関する情報320を決定するよう構成される。それに加えて、または代替的に、ソースデバイスは、第1のビデオモードに対するビデオ経路のトータルレイテンシを記述するか、または複数のビデオモードにわたるビデオ経路の平均トータルレイテンシを記述するトータルビデオレイテンシ情報324と、トータルビデオレイテンシ情報324に対するビデオレンダリングデバイスの寄与(たとえば、デバイス個々のビデオレイテンシ寄与327)を記述するレイテンシ情報327と、ビデオレンダリングデバイスの現在のビデオレイテンシ情報328とを、トータルビデオレイテンシ情報324、トータルビデオレイテンシ情報324に対するビデオレンダリングデバイスの寄与を記述するレイテンシ情報327、およびビデオレンダリングデバイスの現在のビデオレイテンシ情報328がソースデバイスに利用可能であるが、いくつかのデバイス個別の現在のビデオレイテンシ情報328はそのソースデバイスからは利用不可能である場合に、使用することによってビデオ経路320のレイテンシに関する情報320を決定するよう構成される。それに加えて、または代替的に、ソースデバイスは、トータルビデオレイテンシ情報324を使用することによってビデオ経路のレイテンシに関する情報を決定することを、トータルビデオレイテンシ情報224がソースデバイスに利用可能であるが、ビデオレンダリングデバイスの現在のビデオレイテンシ情報328がソースデバイスに利用不可能な場合に、行うよう構成される。

【0145】

アジャスター302は、絶対オーディオ経路レイテンシ計算器336をさらに備える。絶対オーディオ経路レイテンシ計算器336は、オーディオ遅延情報、たとえば、オーディオ遅延情報212に基づきオーディオ経路のレイテンシに関する情報310を取得するよう構成される。オーディオ遅延情報は、トータルレイテンシリーダー342によって取得され得るトータルオーディオレイテンシ情報314を含み得る。オーディオ遅延情報は、コレクタ344によって取得され得るデバイス個々のオーディオレイテンシ情報316をさらに含み得る。オーディオ遅延情報が、オーディオ経路内のすべてのデバイスについて、すなわち、トポロジー情報395に含まれるオーディオ経路のトポロジーによって記述されるすべてのデバイスについて、デバイス個々のオーディオレイテンシ情報316を含むならば、絶対オーディオ経路レイテンシ計算器336は、第1のオーディオ経路レイテンシ計算337を使用することによってオーディオ経路のレイテンシに関する情報310を取得するよう構成され得る。第1のオーディオ経路レイテンシ計算337では、オーディオ経路内のすべてのデバイス、たとえば、ソースデバイスとオーディオ再生デバイスとの間の、たとえばオーディオ再生デバイスを除く、すべてのデバイスのデバイス個々のパススルーレイテンシ情報219を使用するものとしてよい。

【0146】

絶対オーディオ経路レイテンシ計算器336は、オーディオ遅延情報がトータルオーディオレイテンシ情報314を含む場合、第2のオーディオ経路レイテンシ計算338を使用してオーディオ経路のレイテンシに関する情報310を計算するようにさらに構成され得る。第2のオーディオ経路レイテンシ計算338は、トータルオーディオレイテンシ情報314と、任意選択で、オーディオ再生デバイスのデバイス個々のオーディオレイテンシ寄与317とを使用して、ソースデバイスとオーディオ再生デバイスとの間の、たとえば再生デバイスのレイテンシを除く、オーディオ経路のレイテンシを取得するよう構成される。たとえば、オーディオ再生デバイスがオーディオ経路内にある場合、すなわち、トータルオーディオレイテンシ情報314がオーディオ再生デバイスの寄与を含んでいる場合、第2のオーディオ経路レイテンシ計算338は、トータルオーディオレイテンシ情報314からトータルオーディオレイテンシ情報314へのオーディオ再生デバイスの寄与を排除することによってオーディオ経路のレイテンシに関する情報310を取得するよう構成されてもよい。

【0147】

それに加えて、または代替的に、絶対オーディオ経路レイテンシ計算器336は、オーディオ経路のレイテンシに関する情報310を取得するために、デバイス個々のパススルーレイテンシ情報319を使用するよう構成されている第3のオーディオ経路レイテンシ計算339を使用するよう構成され得る。第3のオーディオ経路レイテンシ計算339は、デバイス個々のパススルーレイテンシ情報319が利用可能であるオーディオ経路内の知られているデバイスの個別デバイスオーディオパススルーレイテンシ情報319を使用するものとしてよい。オーディオ経路内の知られているデバイスは、トポロジー情報395のオーディオ経路のトポロジーによって記述されているデバイスであってよい。第3のオーディオ経路レイテンシ計算339では、オーディオ経路のレイテンシに関する情報310への追加のまたは代替的な寄与として、既定のレイテンシ値、たとえばゼロをさらに使用し得る。

【0148】

たとえば、第1のオーディオ経路レイテンシ計算337、オーディオ経路レイテンシ計算338、およびオーディオ経路レイテンシ計算339は、ソースデバイスとオーディオ再生デバイスとの間のオーディオ経路のレイテンシを含むオーディオ経路のレイテンシに関する情報310への第1の寄与を取得するよう構成され得る。オーディオ経路のレイテンシに関する情報310は、オーディオ再生デバイスのレイテンシ、たとえばオーディオ復号レイテンシ318を含む第2の寄与を含み得る。

【0149】

絶対オーディオ経路レイテンシ計算器336は、情報の利用可能性に基づき、たとえばオーディオ遅延情報の内容に基づき、第1のオーディオ経路レイテンシ計算337、第2のオーディオ経路レイテンシ計算338、および第3のオーディオ経路レイテンシ計算339のうちから選ぶよう構成され得る。絶対オーディオ経路レイテンシ計算器336は、必要な情報が利用可能な場合に、最も好ましくは、第1のオーディオ経路レイテンシ計算337を選ぶものとしてよい。絶対オーディオ経路レイテンシ計算器336は、必要な情報が利用可能な場合に、次に最も好ましくは、オーディオ経路レイテンシ計算338を選ぶものとしてよい。

【0150】

言い換えると、ソースデバイスは、ソースデバイスとオーディオ再生デバイスとの間のすべてのデバイスに対してデバイス個々のパススルーレイテンシ情報319が利用可能である場合に、第2のオーディオモードに対するオーディオ情報のパススルーに関連付けられているデバイス個々のパススルーレイテンシ情報319の総和を使用してオーディオ経路310のレイテンシに関する情報を決定するよう構成される。それ加えて、または代替的に、ソースデバイスは、第1のオーディオモードに対するオーディオ経路のトータルレイテンシを記述するか、または複数のオーディオモードにわたるオーディオ経路の平均トータルレイテンシを記述するトータルオーディオレイテンシ情報314を使用してオーディオ経路のレイテンシに関する情報310を決定するよう構成される。それに加えて、または代替的に、ソースデバイスは、ソースデバイスとオーディオ再生デバイスとの間のオーディオ経路内のデバイスの任意の知られている、または推定されたオーディオレイテンシ情報の総和を使用してオーディオ経路のレイテンシに関する情報310を決定するよう構成される。

【0151】

任意選択で、絶対オーディオ経路レイテンシ計算器336は、補正器329を備える。補正器329は、オーディオ経路レイテンシ計算338によって取得されるようなオーディオ経路のレイテンシに関する情報310への寄与を補正するよう構成される。補正器329は、オーディオ経路内のデバイスが第2のオーディオモードで動作するよう構成されている場合に、オーディオ経路のレイテンシに関する情報へのソースデバイスとオーディオ再生デバイスとの間のオーディオ経路内のデバイスの寄与を修正するよう構成される。補正器329は、オーディオ経路内のデバイスの第2のオーディオモードにおけるデバイス個々のオーディオレイテンシ寄与317および個別デバイスオーディオ再生レイテンシ情報318を使用することによってオーディオ経路のレイテンシに関する情報310への寄与を補正するよう構成される。

【0152】

言い換えると、ソースデバイスは、トータルオーディオレイテンシ情報214を使用して、たとえば第2のオーディオ経路レイテンシ計算338を使用し、第1のオーディオモードを使用する再生に関連付けられているレイテンシ情報、たとえば、個別デバイスオーディオ再生レイテンシ寄与217を使用し、第2のオーディオモードに対するオーディオ情報のパススルー、たとえば、個別デバイスオーディオパススルーレイテンシ情報219に関連付けられているレイテンシに関するレイテンシ情報を使用して取得されるオーディオ経路のレイテンシに関する情報を補正するよう構成される。

【0153】

アジャスター302は、計算器330、たとえば、計算器130、230をさらに備える。計算器330は、オーディオ経路のレイテンシに関する情報310およびビデオ経路のレイテンシに関する情報320に基づきタイムアラインメント350を計算するよう構成される。

【0154】

たとえば、計算器330は、オーディオ経路のレイテンシに関する情報310への少なくとも1つの寄与と、ビデオ経路のレイテンシに関する情報320への少なくとも1つの寄与とを比較することによってタイムアラインメント350を計算し得る。

【0155】

図1、図2-1および図2-2に関して説明されているように、タイムアラインメント350は、オーディオデータの提供および/またはビデオデータの提供において適用されるべき遅延として使用され得る。

【0156】

言い換えると、ソースデバイスは、ビデオ経路のレイテンシに関する情報320に依存して、およびオーディオ経路のレイテンシに関する情報310に依存して、オーディオデータの提供において適用されるべき遅延および/またはビデオデータの提供において適用されるべき遅延を決定するよう構成される。

【0157】

図3-1及び図3-2において、アジャスター302の動作原理が、アジャスター302のコンポーネントによって実行される動作ステップの例示的なシーケンスで示されている。しかしながら、これらのステップは、代替的なシーケンスでも実行され得る。たとえば、トータルレイテンシリーダー342およびレイテンシネゴシエータ343は、独立して動作し、したがって、それらの動作ステップは、並行して、または任意の順序で実行され得る。また、たとえば、絶対レイテンシ計算器331および絶対オーディオ経路レイテンシ計算器336は互いに独立して動作し得る。

【0158】

次の第C.1項では、アジャスター302の詳細な実施形態を説明する。第C.1項で説明されている特徴、機能性、および詳細は、任意選択で、本明細書において説明されている実施形態のうちのいずれか、特にアジャスター202、302に、個別と任意の組合せの両方で、導入されるものとしてよい。第C.1.1項および第C.1.2項における説明では、図3-1及び図3-2を参照する。図3-1及び図3-2において、xを数字とする、(x.x.x)の形式の章参照は、次の第C.1項を指し、括弧内の数字(x)は、第C.1項における式を指す。

【0159】

C.1. MPEG-Hソース遅延調整アルゴリズム(MASDA)
次の説明において、他の実施形態、たとえば、図1から図4および図6から図9の実施形態への参照は、例として考慮されるべきであることに留意されたい。そのような参照は、図1から図4および図6から図9に示された特徴のいずれかまたはすべてが、次の実施形態の中に存在していなければならないことを意味することを意図されていない。

【0160】

C.1.1. オーディオおよびビデオの適切な整合への導入(詳細は任意選択)
オーディオ160、260とビデオ165、265との間で完全なリップシンクを達成するために、ソースはオーディオ160、260またはビデオ165、265のいずれかを遅延させるべきである(または、いくつかの場合において、そうしなければならない)。これは、たとえば、追加のビデオレイテンシVL_additionalまたは追加のオーディオレイテンシAL_additionalによって行われる。これらは、式
VL_additional=(-AL_additional)=AL_path+AL_MPEG-H-VL_total (1)
によって計算される。

【0161】

オーディオ160、260およびビデオ165、265が遅延されるべきかどうかは、たとえば、遅延は常に正であり、両方のうちの一方のみが正であり得るので、(1)の符号で決定される。

【0162】

たとえば、オーディオ経路のオーディオレイテンシAL_path、MPEG-Hオーディオ復号レイテンシAL_MPEG-H、およびトータルビデオレイテンシVL_totalは、オーディオ/ビデオソースにとって最初は未知のものである。本明細書(および特に、本項)では、この情報を獲得するためのアルゴリズムを提案する。本明細書(および、特に本章)におけるオーディオ/ビデオソース100、200、400は、たとえば、セットトップボックス(STB)であるが、テレビはビデオ経路が内部的に知られているここで説明されている機能のサブセットのみを使用するからである。

【0163】

たとえば、計算器330は、(1)による計算を実行するよう構成され得る。オーディオ経路のレイテンシに関する情報310は、たとえば、MPEG-Hオーディオ復号レイテンシAL_MPEG-H、たとえば、オーディオ復号レイテンシ318、およびたとえば、オーディオ経路レイテンシ計算器336によって提供される結果であり得るオーディオ経路のオーディオレイテンシAL_pathを含み得る。たとえば、ビデオ経路のレイテンシに関する情報320は、たとえば、絶対ビデオレイテンシ計算器331の結果であり得るトータルビデオレイテンシVL_totalを含むものとしてよい。計算器330は、タイムアラインメント350、たとえばVL_additionalまたはAL_additionalを調整するよう構成される。

【0164】

C.1.2 MPEG-Hソース遅延調整アルゴリズム(MASDA)の9つのステップ(1つもしくは複数の、またはすべてのステップが使用されてよく、詳細は任意選択である)
次の9つのステップで、MPEG-Hソース遅延調整アルゴリズム(MASDA)を定義する。MASDAをビジュアルで表した概観は図3-1及び図3-2に示されている。この章では、数学的XOR演算子

【0165】

【数1】

【0166】

が使用される。その意味は、最初に言及されている変数を優先するように少し拡張されている。項

【0167】

【数2】

【0168】

は、利用可能であればAが使用され、そうでなければBが使用されることを意味している。

【0169】

C.1.2.1. トポロジーを発見する(詳細は任意選択)
オーディオおよびビデオ信号経路内の(たとえば)すべてのデバイス(または少なくともいくつかのデバイス)を発見する。オーディオ信号経路は、たとえば、ソースデバイスとオーディオ復号デバイスとの間にある。ビデオ信号経路190、290は、たとえば、ソース100、200、400とビデオレンダリングデバイス292(通常はテレビ)との間にある。ビデオレンダリングデバイス292を含むビデオ信号経路190、290は、EDIDチェーンとも呼ばれる。EDIDはビデオレンダリングデバイス292によって書き込まれ、ビデオ経路190、290を通してソース292に伝送されるからである。EDIDチェーン全体のビデオレイテンシは、トータルビデオレイテンシと呼ばれる。発見は、たとえば、「8.7.3 発見アルゴリズム」(HDMI 1.4b)または「10.9 発見アルゴリズム」(HDMI 2.1x)に従って行われるべきである。

【0170】

テレビおよびオーディオをレンダリングできるデバイスによるセットアップでは、たとえば、CEC System Audio Control Feature(たとえば、HDMI 1.4b CEC表23)を使用して誰がオーディオをレンダリングしているかを決定する。たとえば、サウンドバーまたはAVRがオーディオをレンダリングしている場合に<System Audio Mode Status>はオンであり、テレビがオーディオレンダリングを行っている場合はオフである。

【0171】

たとえば、このステップは、ディスカバラー341によって実行され得る。

【0172】

C1.2.2. EDIDを読み取る(詳細は任意選択)
EDIDは、HDMI Vendor-Specific Data Block (HDMI VSDB)に2つの有用な情報断片を含むことができる。第1に、EDIDオーディオレイテンシ

【0173】

【数3】

【0174】

、たとえば、トータルオーディオレイテンシ情報214、314、および第2に、EDIDビデオレイテンシ

【0175】

【数4】

【0176】

、たとえば、トータルビデオレイテンシ情報224、324である。EDIDオーディオレイテンシは、none MPEG-Hオーディオ形式、または加重平均値さえも指す(たとえば、HDMI 2.0a 10.6.1.3を参照)。それにもかかわらず、第C.0項でオーディオ経路レイテンシを計算することは有用である。たとえば、

【0177】

【数5】

【0178】

がEDIDに含まれていない場合、またはEDIDが読み取れない場合に、これ以降に既定値が使用される。

【0179】

たとえば、このステップは、トータルレイテンシリーダー342によって実行され、たとえば、トータルオーディオレイテンシ情報214、314およびトータルビデオレイテンシ情報224、324を取得するものとしてよい。

【0180】

C1.2.3. CEC DaNoLを介してMPEG-Hオーディオ復号レイテンシをネゴシエートする(詳細は任意選択)
このステップで、ソースおよびオーディオ復号デバイスは、たとえば第D.1項「CECレイテンシの発見およびネゴシエーション(CEC DaNoL)」において説明されているように、MPEG-Hオーディオ復号レイテンシをネゴシエートし得る。「CEC」はConsumer Electronics Controlの略であり、たとえばHDMI 1.4b-CECにおいて説明されている。次いで、MPEG-Hオーディオ復号レイテンシAL_MPEG-Hは、たとえば

【0181】

【数6】

【0182】

として定義される。

【0183】

C.1.2.4. CEC DaNoLプロトコルにより情報を収集する(詳細は任意選択)
たとえば、(表2において説明されているように)直接アドレス指定された<Request Latency Info>CEC DaNoLメッセージを使用して、オーディオおよびビデオ経路内のすべてのデバイスn(または、代替的に、それらのデバイスのうちのいくつかから)および(任意選択で)対応するシンクに有用な情報を問い合わせる。CEC DaNoLメッセージをサポートしているデバイスは、それに応答して、たとえば、非MPEG-H基本オーディオコーデックに対するオーディオレイテンシ217、317

【0184】

【数7】

【0185】

(追加されたEDIDの場合と同じ)、ビデオレイテンシ227、327、VL_n(追加されたEDIDの場合と同じ)、MPEG-Hオーディオ復号レイテンシ218、318、

【0186】

【数8】

【0187】

、MPEG-Hパススルーレイテンシ219、319、

【0188】

【数9】

【0189】

、および現在のビデオレイテンシ228、328、

【0190】

【数10】

【0191】

(または、任意選択で、前記値のうちの少なくとも1つもしくは複数)の値を送信する。第C.0章の例では、CEC DaNoLによって取得された情報を示すために、構造

【0192】

【数11】

【0193】

が使用され得る。

【0194】

代替的に、および任意選択で、ソースデバイスは、複数のメッセージ、たとえば、(表3において説明されているように)直接アドレス指定された<Request Latency Info>および<Request EDID Latency Info> CEC DaNoLメッセージを使用して、オーディオおよびビデオ経路内のすべてのデバイスn(または、代替的に、それらのデバイスのうちのいくつかから)および(任意選択で)対応するシンクに有用な情報を問い合わせ得る。表3によるCEC DaNoLメッセージをサポートしているデバイスは、それに応答して、たとえば、非MPEG-H基本オーディオコーデックに対するオーディオレイテンシ217、317

【0195】

【数12】

【0196】

(追加されたEDIDの場合と同じ)、ビデオレイテンシ227、327、VL_n(追加されたEDIDの場合と同じ)、MPEG-Hオーディオ復号レイテンシ218、318、

【0197】

【数13】

【0198】

、MPEG-Hパススルーレイテンシ219、319、

【0199】

【数14】

【0200】

、および現在のビデオレイテンシ228、328、

【0201】

【数15】

【0202】

(または、任意選択で、前記値のうちの少なくとも1つもしくは複数)の値を送信する。たとえば、これらのデバイスは、<Request EDID Latency Info>メッセージに応答して非MPEG-H基本オーディオコーデックに対するオーディオレイテンシ217、317

【0203】

【数16】

【0204】

(追加されたEDIDの場合と同じ)および/またはビデオレイテンシ227、327、VL_n(追加されたEDIDの場合と同じ)を<EDID Latency Info>メッセージで送信し、<Request Latency Info>メッセージに応答して、MPEG-Hオーディオ復号レイテンシ218、318、

【0205】

【数17】

【0206】

、MPEG-Hパススルーレイテンシ219、319、

【0207】

【数18】

【0208】

、および現在のビデオレイテンシ228、328、

【0209】

【数19】

【0210】

(または、任意選択で、前記値のうちの少なくとも1つもしくは複数)を<Latency Info>メッセージで送信する。第C.0章の例では、CEC DaNoLによって取得されるような情報を示すために、表3において説明されている任意選択の代替的実装形態により、構造

【0211】

【数20】

【0212】

が使用され得る。

【0213】

たとえば、コレクタ344は、上で説明されている例のうちの1つに従ってこのステップを実行し、コミュニケータ340と通信する互換性のあるデバイスからデバイス個々のレイテンシ情報
AL_{none MPEG-H}、VL_EDID、AL_MPEG-H、AL_{MPEG-H passthrough}、VL_current
の少なくとも一部を取得するよう構成され得る。

【0214】

C.1.2.5. トータルビデオレイテンシを計算する(詳細は任意選択)
このステップでは、トータルビデオレイテンシVL_totalが計算される。これは、ビデオ再生デバイスまでのソースの後のすべてのビデオレイテンシ(または、任意選択で、少なくともいくつかのビデオレイテンシ)を足し合わせたものである。情報を取得するためには、たとえば、2つの利用可能な方法がある。第1にソースが読み取るEDID、第2にCEC DaNoLプロトコルである。両方の情報源が許されることはなく、したがって、たとえば、シナリオに応じて異なる式が4つあることになる。

【0215】

原理上、トータルビデオレイテンシは、ソースがEDIDを介して読み取るビデオレイテンシ値と同じであるべきである。しかしながら、テレビが特別な映画またはゲーミングモードに切り替わる場合、これはそのEDIDを変更しないが、CEC DaNoLを介して報告されるVL_currentを変更するべきである(または、いくつかの場合においてそうしなければならない)。このことは、CEC DaNoLによって取得される情報の質が非常に高いことを意味する。

【0216】

セットアップおよび使用されるデバイスの能力に応じて、たとえば、トータルビデオレイテンシを計算する異なる方法は4つある。

【0217】

a)ビデオ経路内のすべてのデバイスおよびテレビ側でCEC DaNoLメッセージを認識し、有効なVL_currentを報告した場合、トータルビデオレイテンシは、オーディオ経路内のすべての現在のビデオレイテンシとビデオ再生デバイス(テレビ)のビデオレイテンシとの総和となる。

【0218】

【数21】

【0219】

これは、経路のビデオレイテンシを計算する最も信頼性の高い方法である。

【0220】

たとえば、第1のビデオレイテンシ計算器332は、ビデオ経路のレイテンシに関する情報310を(3)に従って計算するよう構成され得る。

【0221】

b)ビデオシンクに関するEDID情報およびCEC情報が取得される場合、トータルビデオレイテンシは、ソースがEDIDで読み取るがテレビ(ビデオシンク)の現在のビデオレイテンシで調整されるビデオレイテンシである。

【0222】

【数22】

【0223】

たとえば、第2のビデオレイテンシ計算器333は、ビデオ経路のレイテンシに関する情報310を(4)に従って計算するよう構成され得る。

【0224】

c)EDID値はあるが、テレビからDaNoL値が取得されていない場合に、EDIDにおけるビデオレイテンシは、トータルビデオレイテンシとして使用される。

【0225】

【数23】

【0226】

たとえば、第3のビデオレイテンシ計算器334は、ビデオ経路のレイテンシに関する情報310を(5)に従って計算するよう構成され得る。

【0227】

d)EDID情報が取得されず、経路内のすべてのデバイスがCEC DaNoLメッセージをサポートしているわけではないか、またはいかなるデバイスもCEC DaNoLメッセージをサポートしていない場合、たとえば(6)によりトータルビデオレイテンシが計算される。HDMI 2.0a 10.7では、Dynamic Auto Lipsync (DALS)が導入されている。このプロトコルにより、これは(いくつかの場合において)現在のビデオレイテンシを得ることが可能である。

【0228】

【数24】

【0229】

たとえば、第4のビデオレイテンシ計算器335は、ビデオ経路のレイテンシに関する情報310を(3)に従って計算するよう構成され得る。

【0230】

C.1.2.6. オーディオ経路レイテンシを決定する(詳細は任意選択)
このステップでは、オーディオ経路レイテンシAL_pathが計算される。たとえば、これはソースからオーディオ復号デバイスまでの間のすべてのオーディオレイテンシ(または少なくともいくつかのオーディオレイテンシ)を足し合わせる。セットアップおよび使用されるデバイスの能力に応じて、たとえば、この情報を計算する異なる方法がいくつかある。

【0231】

a)オーディオ経路内のすべてのデバイスがCEC DaNoLメッセージを認識する場合、この経路のオーディオレイテンシは、オーディオ経路内のすべてのMPEG-Hパススルーレイテンシの総和

【0232】

【数25】

【0233】

である。

【0234】

これは、経路のオーディオレイテンシを計算する最も信頼性の高い方法である。

【0235】

たとえば、第1のオーディオ経路レイテンシ計算器337は、ビデオ経路のレイテンシ、たとえば、AL_pathに関する情報310への寄与を(7)に従って計算するよう構成され得る。

【0236】

b)シンクに関するEDID情報およびCEC情報が取得された場合、経路のオーディオレイテンシは、EDIDにおけるオーディオレイテンシからシンクの非MPEG-Hコンテンツに対するオーディオレイテンシを引いた値

【0237】

【数26】

【0238】

である。

【0239】

オーディオレイテンシ

【0240】

【数27】

【0241】

は、たとえば、ソースによってEDIDを介して読み取られ、シンクの非MPEG-Hコンテンツに対するオーディオレイテンシは、たとえば、CEC DaNoLを介して取得される。オーディオシンクがEDIDチェーン内にない場合、非MPEG-Hコンテンツに対するそのオーディオレイテンシの減算は必要ない。

【0242】

たとえば、第1のオーディオ経路レイテンシ計算器338は、ビデオ経路のレイテンシ、たとえば、AL_pathに関する情報310への寄与を(8)に従って計算するよう構成され得る。

【0243】

c)EDID情報が取得されず、経路内のすべてのデバイスがCEC DaNoLメッセージをサポートしているわけではないか、またはいかなるデバイスもCEC DaNoLメッセージをサポートしていない場合、経路のオーディオレイテンシは、ゼロに経路のすべての知られているMPEG-Hパススルーレイテンシを加えた値

【0244】

【数28】

【0245】

に設定される。

【0246】

たとえば、第1のオーディオ経路レイテンシ計算器338は、ビデオ経路のレイテンシ、たとえば、AL_pathに関する情報310への寄与を(8)に従って計算するよう構成され得る。

【0247】

C.1.2.7. オーディオ経路レイテンシを調整する(詳細は任意選択)
MPEG-Hデバイスがオーディオ経路内にある場合に、これらはそのオーディオレイテンシをEDIDに書き込む。しかし、これは、MPEG-Hビットストリームパススルーに対して適用するMPEG-Hパススルーレイテンシと異なることがある。この差は、任意選択で、式

【0248】

【数29】

【0249】

で補正される(たとえば、それらのデバイスはそれぞれの情報が利用可能なものについて考慮され得る)。

【0250】

経路のオーディオレイテンシは、すでに論じられているオプションのうち最も適したもの

【0251】

【数30】

【0252】

である。

【0253】

C.1.2.8. オーディオ/ビデオ調整を計算する(詳細は任意選択)
この時点で、(1)を計算するために利用可能なすべての情報が収集(または推定)されており、関連する値には下線が引かれている。計算された調整は、ソースにおいてビデオとオーディオとの整合をとるのに使用されることとする。

【0254】

C.1.2.9. ユーザに対して調整可能性を提供する(詳細は任意選択)
任意選択で、たとえば少なくとも5msのステップサイズにより、たとえば、最小[-250, 250ms]の範囲内で、ユーザがオーディオ/ビデオ整合を調整できるようにする追加のスライダーを提供する。これは、オーディオ復号デバイスの後のビデオレンダリングデバイスが、EDIDもCEC DaNoLもサポートしていないことがあり得るので、役に立つ(または、いくつかの場合において必要である)。この結果、トータルビデオレイテンシに関する情報が得られず、オーディオとビデオの同期が取れなくなる可能性がある。これに対処する唯一の方法は、手動スライダーである。

【0255】

C.1.3. 例
(詳細は、任意選択で実施形態に、個別および組合せの両方で、含まれてよく、特定の値、識別子、メッセージ名はオプションであると考えられるべきである)
図5A～図5Iは、実施形態によるソースデバイス、たとえば、STB、オーディオ再生デバイス、たとえば、サウンドバー、ビデオレンダリングデバイス、たとえば、テレビ、および他のデバイスの配置構成の概略表現を示している。この項で参照している、図5A～図5Iは、黒矢印で示されているHDMI接続で接続されているデバイスを記号化した、ボックスを含む。デバイスの物理アドレスは、デバイスの上部に書かれている。テレビは、常に物理アドレス0.0.0.0を有する。この表記法は、HDMI 1.4b 8.7において説明されている。デバイスが次のデバイスに報告するEDIDは、ボックスの下に記載されている。

【0256】

たとえば、図5A～図5Iの表現は、ボックスによって表されているデバイスを含み得る。ボックス内の値は、たとえば、デバイス個々のレイテンシ情報を指すものとしてよい。ALは、任意選択で、デバイス個々のオーディオレイテンシ寄与、たとえば、デバイス個々のオーディオレイテンシ寄与217、317を指すものとしてよい。AL_MPEG-Hは、任意選択で、第2のオーディオモードを使用するオーディオ復号レイテンシ、たとえば、オーディオ復号レイテンシ218、318を指すものとしてよい。VLは、任意選択で、デバイス個々のビデオレイテンシ寄与、たとえば、デバイス個々のビデオレイテンシ寄与227、327を指すものとしてよい。

【0257】

たとえば、ソースデバイス500A～500Iは、任意選択で、それぞれのソースデバイス500A～500Iに最も近いデバイスから、それぞれのトータルオーディオレイテンシ情報514A～514I、たとえば、トータルオーディオレイテンシ情報214、314、およびそれぞれのトータルビデオレイテンシ情報524A～524I、たとえば、トータルビデオレイテンシ情報224、324を取得し得る。

【0258】

C.1.3.1 例1
図5Aは、STB500A、たとえば、ソースデバイス100、200、400、サウンドバー582A、たとえば、オーディオ再生デバイス282、482、682、782、テレビ592A、たとえば、ビデオレンダリングデバイス292、892、992、およびビデオ経路内の別のデバイス591Aを含む所与のセットアップの概略表現を示している。

【0259】

1)トポロジーの発見後、ソース500Aは、オーディオおよびビデオ経路に関するすべての情報を有する。これは、未定義のデバイス591Aがビデオ経路にあるという事実を含む。このデバイス591Aは、典型的には、ビデオとオーディオを同じ程度で遅延させるが、オーディオはすでに経路から外れているので、このデバイス591Aは、オーディオおよびビデオが同時にプレイアウトされた場合にリップシンクを妨げることになる。さらに、MPEG-Hオーディオ復号レイテンシAL_MPEG-Hは、トータルビデオレイテンシ524Aに等しくなく、同様にリップシンクを妨げることになる。

【0260】

2)STB500Aは、EDID(514Aおよび524A)を読み込み、

【0261】

【数31】

【0262】

である。

【0263】

サウンドバー582Aおよびテレビ592Aはオーディオシンクである。しかし、サウンドバー582Aはオーディオに対する所望の出力であり、したがって、テレビ592AのEDID値を上書きする。トータルビデオレイテンシは、デバイスのすべてのビデオレイテンシを足し合わせたものからなる。

【0264】

3)STBは、サウンドバー582Aが

【0265】

【数32】

【0266】

のMPEG-Hオーディオ復号レイテンシを有するようにCECを介してネゴシエートする。(2)のように、定義されるのは、既定のMPEG-H復号レイテンシとしてのより高い優先度のネゴシエートされたMPEG-H復号レイテンシである。

【0267】

4)CEC DaNoLを介してテレビ592Aと通信する試みは、テレビ592Aにはその能力がないので失敗する。これは、

【0268】

【数33】

【0269】

を取得する手立てがないことを意味する。サウンドバーは、CEC DaNoLを介して

【0270】

【数34】

【0271】

を報告する。

【0272】

任意選択で、サウンドバーによって提供される情報は、1つまたは複数のメッセージで、たとえば、表2または表3のうちの1つで定義されているメッセージで、たとえば、表3で定義されているような<Latency Info>および<EDID Latency Info> CEC DaNoLメッセージで送信されるものとしてよい。この場合、サウンドバーによって提供される情報の構造は、

【0273】

【数35】

【0274】

である。

【0275】

5)EDID値のみが取得されるので、トータルビデオレイテンシは(5)で

【0276】

【数36】

【0277】

のように計算される。

【0278】

6、7)ステップ1以降、オーディオ経路内にデバイスが存在しないことが分かっているので、

【0279】

【数37】

【0280】

である。

【0281】

8)STBは、(1)の後、前のステップの情報により追加のビデオレイテンシを計算する。
VL_additional=AL_path+AL_MPEG-H-VL_total=0ms+150ms-90ms=60ms

【0282】

ソースは、その出力を、ビデオがオーディオから60ms遅れるよう構成する。システムは完全なリップシンクを達成する。

【0283】

たとえば、例1では、オーディオ復号レイテンシが20ms以上大きい場合でもソースデバイス500Aがオーディオ復号レイテンシがビデオレイテンシよりも大きいか、またはビデオ経路のトータルビデオレイテンシよりも大きい状況を取り扱うことができることを示している。例1は、ソースデバイス500Aが、未知のデバイス591Aがビデオ経路の一部であるが、オーディオ経路の一部ではない、すなわち、オーディオ経路とビデオ経路との間に未知ではあるが非対称である相対的遅延がある状況を取り扱うことができることをさらに示し得る。例1は、ソースデバイス500Aが、デバイス個々のレイテンシ情報を伝達するために、デバイス、たとえばビデオレンダリングデバイス592Aが非互換である状況を取り扱うことができることをさらに示し得る。

【0284】

C.1.3.2 例2
図5Bは、STB500B、たとえば、ソースデバイス100、200、400、サウンドバー582B、たとえば、オーディオ再生デバイス282、482、682、782、テレビ592B、たとえば、ビデオレンダリングデバイス292、892、992、オーディオ経路内の別のデバイス581B、およびビデオ経路内の別のデバイス591Bを含む所与のセットアップの概略表現を示している。

【0285】

1)トポロジーの発見後、ソース500Bは、オーディオおよびビデオ経路に関するすべての情報を有する。

【0286】

2)EDIDは

【0287】

【数38】

【0288】

を示す。

【0289】

3)CEC DaNoLを介して、AL_MPEG-Hは150msに設定される。

【0290】

注:STBとサウンドバーとの間のレイテンシネゴシエーションが失敗する場合、両方のデバイスが既定のMPEG-Hオーディオレイテンシ

【0291】

【数39】

【0292】

を使用しなければならない。

【0293】

4)サウンドバー582Bは、CEC DaNoL <Latency Info>メッセージを介して5つの値を報告するが、AL_{none MPEG-H}の値のみがこの特定の場合

【0294】

【数40】

【0295】

において使用される。

【0296】

任意選択で、サウンドバーによって提供される情報は、1つまたは複数のメッセージで、たとえば、表2または表3のうちの1つで定義されているメッセージで、たとえば、表3で定義されているような<Latency Info>および<EDID Latency Info> CEC DaNoLメッセージで送信されるものとしてよい。この場合、サウンドバーによって提供される情報の構造は、

【0297】

【数41】

【0298】

である。

【0299】

5)トータルビデオレイテンシは、(5)を用いて計算され

【0300】

【数42】

【0301】

が得られる。

【0302】

6)サウンドバー582BはCECを介して

【0303】

【数43】

【0304】

を報告し、EDIDにはサウンドバーの1つを含むレイテンシの総和が記述されるので、(8)によりオーディオ経路レイテンシを

【0305】

【数44】

【0306】

のように計算することが可能である。

【0307】

7)オーディオ経路内のデバイスは、DaNoL通信ができない。したがって、オーディオ経路レイテンシを調整することは可能でなく、またその必要もない。

【0308】

8)STBは、(1)の後、最後のステップの情報により追加のビデオ遅延を

【0309】

【数45】

【0310】

のように計算する。

【0311】

ソースは、その出力を、ビデオがオーディオから40ms遅れるよう構成する。システムは完全なリップシンクを達成する。

【0312】

たとえば、例2は、例1で説明された状況に加えて、ソースデバイス500Bが、オーディオ経路とビデオ経路内に未知のデバイス581Bがあり、デバイス581Bはデバイス個々のレイテンシ情報を伝達するための互換性を有しない、状況を取り扱うことができることを示している。たとえば、未知のデバイス581Bはそのレイテンシ値をトータルオーディオレイテンシ情報514Bおよびそのトータルビデオレイテンシ情報524Bに加え得るので、ソースデバイス500Bは、デバイス581Bに関するデバイス個々のレイテンシ情報を知る必要はない。

【0313】

C.1.3.3. 例3
図5Cは、STB500C、たとえば、ソースデバイス100、200、400、サウンドバー582C、たとえば、オーディオ再生デバイス282、482、682、782、テレビ592C、たとえば、ビデオレンダリングデバイス292、892、992、オーディオ経路内の別のデバイス581C、およびビデオ経路内の別のデバイス591Cを含む所与のセットアップの概略表現を示している。

【0314】

テレビ592Cは、EDIDにおいてALおよびVLをサポートしていない。にもかかわらず、これらの値は実際には適用され、そのため、番号は図中ではクロスアウトされている。MPEG-Hサポートのないテレビには必要ないので、テレビ592CのEDIDにおけるいかなるAL、VL値も可能でない。デバイス581C、591Cは、同様にEDIDのレイテンシ値をサポートしない。

【0315】

1)トポロジーの発見後、ソースは、オーディオおよびビデオ経路に関するすべてのルーティング情報を有する。

【0316】

2)EDIDでは、ALまたはVLに対する値をいっさい記述しないので、以後既定値をもたらす。

【0317】

3)CEC DaNoLとのレイテンシネゴシエーションを介して

【0318】

【数46】

【0319】

は150msに設定される。

【0320】

4)サウンドバー582Cは、CEC DaNoL <Latency Info>メッセージを介して5つの値を報告するが、太字の値のみがこの特定の場合

【0321】

【数47】

【0322】

において使用される。

【0323】

任意選択で、サウンドバーによって提供される情報は、1つまたは複数のメッセージで、たとえば、表2または表3のうちの1つで定義されているメッセージで、たとえば、表3で定義されているような<Latency Info>および<EDID Latency Info> CEC DaNoLメッセージで送信されるものとしてよい。この場合、サウンドバーによって提供される情報の構造は、

【0324】

【数48】

【0325】

である。

【0326】

5)サウンドバーの現在のビデオレイテンシが知られているので、(6)を介してトータルビデオレイテンシが

【0327】

【数49】

【0328】

に更新される。

【0329】

6、7)認識されたステップ1の場合のようにオーディオ経路内にデバイス581Cがある。このデバイスではEDIDもCEC DaNoLもサポートされていないので、オーディオ経路レイテンシを計算する可能性はない。(9)により得られた既定値は

【0330】

【数50】

【0331】

である。

【0332】

8)STBは、(1)の後、最後のステップの情報により追加のビデオ遅延を

【0333】

【数51】

【0334】

のように計算する。

【0335】

ソースは、その出力を、ビデオがオーディオから60ms遅れるよう構成する。システムは、パラメータが未知であるので完全なリップシンクを達成しない。

【0336】

9)完全なリップシンクを達成するために、ユーザはSTB内のオーディオレイテンシスライダーを手動で-20msに設定する。

【0337】

注:オーディオレイテンシ全体は170msであり、ビデオレイテンシ全体は130msなので、元の追加のビデオレイテンシの60msから20msを引くと、結果としてリップシンクを達成するために40msを要する。

【0338】

たとえば、例3は、ソースデバイス500Cが、タイムアラインメントを手動で調整する可能性を提供するので、オーディオ経路および/もしくはビデオ経路のデバイスならびに/またはビデオレンダリングデバイスがデバイス個々のレイテンシ情報もトータルレイテンシ値も伝達する互換性を有しない状況を取り扱い得ることを示している。手動調整なしでも、ソースデバイス500Cは、図示されている状況においてタイムアラインメントを調整するよう構成され、オーディオデータとビデオデータの同期が改善される。

【0339】

C.1.3.4 例4
代替A:
図5Dは、STB500D、たとえば、ソースデバイス100、200、400、サウンドバー582D、たとえば、オーディオ再生デバイス282、482、682、782、テレビ592D、たとえば、ビデオレンダリングデバイス292、892、992、ならびにオーディオ経路内およびビデオ経路内の別のデバイス581Dを含む所与のセットアップの概略表現を示している。

【0340】

1)トポロジーの発見後、ソースは、オーディオおよびビデオ経路に関するすべての情報を有する。

【0341】

2)EDIDは

【0342】

【数52】

【0343】

を示す。

【0344】

3)CEC DaNoLとのレイテンシネゴシエーションを介して

【0345】

【数53】

【0346】

は150msに設定される。

【0347】

4)テレビおよびサウンドバーは、各々、CEC DaNoLを介して5つの値を報告するが、太字の値のみがこの特定の場合

【0348】

【数54】

【0349】

において使用される。

【0350】

5)すべてのデバイスがDaNoLを介して情報を報告しているわけではないが、テレビ592Dは報告しており、EDID524Dは利用可能であるので、トータルビデオレイテンシは(4)を介して

【0351】

【数55】

【0352】

のように取得される。

【0353】

6)すべてのデバイスがDaNoLを介して情報を報告しているわけではなく、EDID514Dが利用可能であるので、(8)を介してオーディオ経路レイテンシが取得される。サウンドバー582DはEDIDチェーン内になく、これは

【0354】

【数56】

【0355】

のように式(8)の第2の項が無視されることを意味している。

【0356】

7)EDIDにおける報告されたオーディオレイテンシ514Dは調整を必要とする。その理由は、テレビ592Dが、MPEG-Hパススルーレイテンシではなく、それ自身のオーディオ出力のオーディオレイテンシをEDIDに書き込むからである。調整は

【0357】

【数57】

【0358】

のように(10)で行われ、そこではテレビがMPEG-HデバイスであるEDIDチェーン内の唯一のデバイスである。

【0359】

8)STB500Dは、(1)の後、最後のステップの情報により追加のビデオ遅延を

【0360】

【数58】

【0361】

のように計算する。

【0362】

ソースは、その出力を、ビデオがオーディオから80ms遅れるよう構成する。システムは完全なリップシンクを達成する。

【0363】

代替B(任意選択):
図5Gは、STB500G、たとえば、ソースデバイス100、200、400、サウンドバー582G、たとえば、オーディオ再生デバイス282、482、682、782、テレビ592G、たとえば、ビデオレンダリングデバイス292、892、992、ならびにオーディオ経路内およびビデオ経路内の別のデバイス581Gを含む所与のセットアップの概略表現を示している。

【0364】

代替Bでは、テレビ592Gは、代替Aのテレビ592DのパススルーレイテンシAL_{MPEG-H pt}=20msと比較して、より高いパススルーレイテンシAL_{MPEG-H pt}=50msを有する。より高いパススルーレイテンシは、たとえば、テレビがデータ、たとえば、オーディオデータを再パックする必要がある場合に生じ得る。

【0365】

1)トポロジーの発見後、ソースは、オーディオおよびビデオ経路に関するすべての情報を有する。

【0366】

2)EDIDは

【0367】

【数59】

【0368】

を示す。

【0369】

3)CEC DaNoLとのレイテンシネゴシエーションを介して

【0370】

【数60】

【0371】

は150msに設定される。

【0372】

4)テレビおよびサウンドバーは、各々、CEC DaNoLを介して5つの値を報告するが、太字の値のみがこの特定の場合

【0373】

【数61】

【0374】

において使用される。

【0375】

5)すべてのデバイスがDaNoLを介して情報を報告しているわけではないが、テレビは報告しており、EDIDは利用可能であるので、トータルビデオレイテンシは(4)を介して

【0376】

【数62】

【0377】

のように取得される。

【0378】

6)すべてのデバイスがDaNoLを介して情報を報告しているわけではなく、EDIDが利用可能であるので、(8)を介してオーディオ経路レイテンシが取得される。サウンドバーはEDIDチェーン内になく、これは

【0379】

【数63】

【0380】

のように式(8)の第2の項が無視されることを意味している。

【0381】

7)EDIDにおける報告されたオーディオレイテンシは調整を必要とする。その理由は、テレビが、MPEG-Hパススルーレイテンシではなく、それ自身のオーディオ出力のオーディオレイテンシをEDIDに書き込むからである。調整は

【0382】

【数64】

【0383】

のように(10)で行われ、そこではテレビがMPEG-HデバイスであるEDIDチェーン内の唯一のデバイスである。

【0384】

8)STBは、(1)の後、最後のステップの情報により追加のビデオ遅延を

【0385】

【数65】

【0386】

のように計算する。

【0387】

ソースは、その出力を、ビデオがオーディオから110ms遅れるよう構成する。システムは完全なリップシンクを達成する。

【0388】

たとえば、例4(AおよびB)は、ソースデバイス500D(または500G)が、第2のオーディオモードにおけるデバイス、たとえばMPEG-Hモードにおけるテレビ592D(または592G)がオーディオ経路内にある状況を取り扱うものとしてよく、したがって、完全なリップシンクを達成するためにトータルオーディオレイテンシ情報514D(または514G)が調整されなければならないことがあり得ることを示している。

【0389】

C.1.3.5 例5
代替A:
図5Eは、STB500E、たとえば、ソースデバイス100、200、400、サウンドバー582E、たとえば、オーディオ再生デバイス282、482、682、782、テレビ592E、たとえば、ビデオレンダリングデバイス292、892、992、ならびにオーディオ経路内およびビデオ経路内の別のデバイス581Eを含む所与のセットアップの概略表現を示している。

【0390】

1)トポロジーの発見後、ソース500Eは、オーディオおよびビデオ経路に関するすべての情報を有する。しかし、ソース500Eは、テレビ592Eをオーディオシンクとみなす。

【0391】

2)EDIDは

【0392】

【数66】

【0393】

(514E、524E)を示す。

【0394】

これは、デバイス581EがEDID情報にそのレイテンシを付加していないことを意味する。この場合、デバイス581EのALおよびVLは等しいので、関係ない。

【0395】

3)CECを介して、AL_MPEG-Hは275msにネゴシエートされる。テレビ592Eは、また、通常オーディオレイテンシAL_{none MPEG-H}=70msを報告する。テレビは、MPEG-Hサウンドバー582Eが接続されているという情報を有する。MPEG-Hストリームを8Ch192kHzから2Ch192kHzに変換する必要があり得るが、その結果、オーディオ信号のMHASフレーム長1つ分の遅延が追加される(たぶん概数を得るためにさらに数ミリ秒)。この例では、ビットストリームをS/PDIFに渡すためにレイテンシとして25msが使用される。実際のMPEG-Hシンク(サウンドバー)にはCECアクセスがないので、テレビ592EはMPEG-Hシンクの役を引き継ぎ、サウンドバー582Eが有する既定のMPEG-Hオーディオレイテンシと、テレビのS/PDIFレイテンシへのMPEG-Hパスの総和

【0396】

【数67】

【0397】

であるMPEG-Hオーディオ復号レイテンシを報告する。

【0398】

セットアップに応じて、テレビは、異なるMPEG-Hオーディオ復号レイテンシを報告する。サウンドバーがARCを介して接続されている場合、またはテレビがMPEG-Hそれ自体を再生している場合であっても、テレビはAL_MPEG-H=250msまたはネゴシエートされた値を報告する。

【0399】

サウンドバーが、たとえば、S/PDIFまたはHDMIを使用しない他の技術を介して接続されている場合、テレビは、その値をAL_MPEG-H=275msに変更する。ネゴシエーションは可能でない。

【0400】

4)テレビは、CEC DaNoLを介して5つの値を報告するが、太字の値のみがこの特定の場合

【0401】

【数68】

【0402】

において使用される。

【0403】

5)トータルビデオレイテンシは、(4)を介して

【0404】

【数69】

【0405】

のように取得される。

【0406】

6、7)デバイス581Eは、EDID情報の中に出現しないので、経路(8)のオーディオレイテンシは

【0407】

【数70】

【0408】

である。

【0409】

8)STB500Eは、(1)の後、最後のステップの情報により追加のビデオ遅延を

【0410】

【数71】

【0411】

のように計算する。

【0412】

ソースは、その出力を、ビデオがオーディオから205ms遅れるよう構成する。システムは完全なリップシンクを達成する。

【0413】

代替B(任意選択):
図5Hは、STB500H、たとえば、ソースデバイス100、200、400、サウンドバー582H、たとえば、オーディオ再生デバイス282、482、682、782、テレビ592H、たとえば、ビデオレンダリングデバイス292、892、992、ならびにオーディオ経路内およびビデオ経路内の別のデバイス581Hを含む所与のセットアップの概略表現を示している。

【0414】

代替Bでは、テレビ592Hは、代替Aのテレビ592EのパススルーレイテンシAL_{MPEG-H pt}=25msと比較して、より高いパススルーレイテンシAL_{MPEG-H pt}=50msを有する。より高いパススルーレイテンシは、たとえば、テレビがデータ、たとえば、オーディオデータを再パックする必要がある場合に生じ得る。

【0415】

1)トポロジーの発見後、ソースは、オーディオおよびビデオ経路に関するすべての情報を有する。しかし、ソースは、テレビをオーディオシンクとみなす。

【0416】

2)EDIDは

【0417】

【数72】

【0418】

を示す。

【0419】

これは、デバイスがEDID情報にそのレイテンシを付加していないことを意味する。この場合、デバイスのALおよびVLは等しいので、関係ない。

【0420】

3)CECを介して、AL_MPEG-Hは300msにネゴシエートされる。テレビは、また、通常オーディオレイテンシAL_{none MPEG-H}=70msを報告する。テレビは、MPEG-Hサウンドバーが接続されているという情報を有する。MPEG-Hストリームを8Ch192kHzから2Ch192kHzに変換する必要があり得るが、その結果、オーディオ信号のMHASフレーム長1つ分の遅延が追加される(たぶんさらに数ミリ秒)。この例では、ビットストリームをS/PDIFに渡すためにレイテンシとして50msが使用される。実際のMPEG-Hシンク(サウンドバー)にはCECアクセスがないので、テレビはMPEG-Hシンクの役を引き継ぎ、サウンドバーが有する既定のMPEG-Hオーディオレイテンシと、テレビのS/PDIFレイテンシへのMPEG-Hパスの総和

【0421】

【数73】

【0422】

であるMPEG-Hオーディオ復号レイテンシを報告する。

【0423】

セットアップに応じて、テレビは、異なるMPEG-Hオーディオ復号レイテンシを報告する。サウンドバーがARCを介して接続されている場合、またはテレビがMPEG-Hそれ自体を再生している場合であっても、テレビはAL_MPEG-H=250msまたはネゴシエートされた値を報告する。

【0424】

サウンドバーが、たとえば、S/PDIFまたはHDMIを使用しない他の技術を介して接続されている場合、テレビは、その値をAL_MPEG-H=300msに変更する。ネゴシエーションは可能でない。

【0425】

4)テレビは、CEC DaNoLを介して5つの値を報告するが、太字の値のみがこの特定の場合

【0426】

【数74】

【0427】

において使用される。

【0428】

5)トータルビデオレイテンシは、(4)を介して

【0429】

【数75】

【0430】

のように取得される。

【0431】

6、7)デバイスは、EDID情報の中に出現しないので、経路(8)のオーディオレイテンシは

【0432】

【数76】

【0433】

である。

【0434】

8)STBは、(1)の後、最後のステップの情報により追加のビデオ遅延を

【0435】

【数77】

【0436】

のように計算する。

【0437】

ソースは、その出力を、ビデオがオーディオから230ms遅れるよう構成する。システムは完全なリップシンクを達成する。

【0438】

たとえば、例5(AおよびB)は、ビデオレンダリングデバイス592E(または592H)は、ソースデバイス500E(または500H)からオーディオ再生デバイス582E(または582H)にオーディオデータをパススルーし、オーディオ再生デバイス582E(または582H)の個別デバイスオーディオ復号レイテンシをソースデバイス500E(または500H)に提供し、オーディオ再生デバイス582E(または582H)のオーディオ復号レイテンシに基づきオーディオ復号レイテンシをソースデバイス500E(または500H)とネゴシエートする、すなわち、可能なレイテンシ値をソースデバイス500E(または500H)に提供するよう構成され得ることを示している。したがって、完全なリップシンクは、オーディオ再生デバイス、第2のオーディオモードのオーディオ再生デバイスですら、ソースデバイスと通信ができない場合あっても達成され得る。

【0439】

C.1.3.6 例6
代替A:
図5Fは、STB500F、たとえば、ソースデバイス100、200、400、サウンドバー582F、たとえば、オーディオ再生デバイス282、482、682、782、テレビ592F、たとえば、ビデオレンダリングデバイス292、892、992、ならびにオーディオ経路内およびビデオ経路内の別のデバイス581Fを含む所与のセットアップの概略表現を示している。

【0440】

1)トポロジーの発見後、ソース500Fは、オーディオおよびビデオ経路に関するすべての情報を有するが、ソースは、テレビ592Fをオーディオシンクとみなす。

【0441】

2)EDIDは

【0442】

【数78】

【0443】

(514F、524F)を示す。これは、デバイス581Fおよびテレビ592Fが、none-MPEG-Hの場合に対するそのオーディオレイテンシをEDID情報514Fに追加していることを意味する。

【0444】

3)CECを介して、

【0445】

【数79】

【0446】

はテレビによって275msであると報告される。前の例と同様に、テレビはS/PDIFレイテンシへのMPEG-Hパスをサウンドバーに対する既定のMPEG-Hオーディオ復号レイテンシに加える。

【0447】

【数80】

【0448】

4)テレビ592Fおよびデバイス581Fは、CEC DaNoLを介して5つの値を報告するが、太字の値のみがこの特定の場合

【0449】

【数81】

【0450】

において使用される。

【0451】

5)トータルビデオレイテンシは、(3)を用いて計算され

【0452】

【数82】

【0453】

が得られる。

【0454】

6)オーディオ経路レイテンシは、(7)を用いて計算され

【0455】

【数83】

【0456】

が得られる。

【0457】

7)ステップ7は、DaNoLの能力を有するデバイスのみが使用される場合には適用されない。

【0458】

8)STBは、(1)の後、最後のステップの情報により追加のビデオ遅延を

【0459】

【数84】

【0460】

のように計算する。

【0461】

ソースは、その出力を、ビデオがオーディオから195ms遅れるよう構成する。システムは完全なリップシンクを達成する。

【0462】

代替B(任意選択):
図5Iは、STB500I、たとえば、ソースデバイス100、200、400、サウンドバー582I、たとえば、オーディオ再生デバイス282、482、682、782、テレビ592I、たとえば、ビデオレンダリングデバイス292、892、992、ならびにオーディオ経路内およびビデオ経路内の別のデバイス581Iを含む所与のセットアップの概略表現を示している。

【0463】

代替Bでは、テレビ592Iは、代替Aのテレビ592FのパススルーレイテンシAL_{MPEG-H pt}=25msと比較して、より高いパススルーレイテンシAL_{MPEG-H pt}=50msを有する。より高いパススルーレイテンシは、たとえば、テレビがデータ、たとえば、オーディオデータを再パックする必要がある場合に生じ得る。

【0464】

1)トポロジーの発見後、ソースは、オーディオおよびビデオ経路に関するすべての情報を有するが、ソースは、テレビをオーディオシンクとみなす。

【0465】

2)EDIDは

【0466】

【数85】

【0467】

を示す。これは、デバイスおよびテレビが、none-MPEG-Hの場合に対するそのオーディオレイテンシをEDID情報に追加していることを意味する。

【0468】

3)CECを介して、

【0469】

【数86】

【0470】

はテレビによって300msであると報告される。前の例と同様に、テレビはS/PDIFレイテンシへのMPEG-Hパスをサウンドバーに対する既定のMPEG-Hオーディオ復号レイテンシに加える。

【0471】

【数87】

【0472】

4)テレビおよびデバイスは、CEC DaNoLを介して5つの値を報告するが、太字の値のみがこの特定の場合

【0473】

【数88】

【0474】

において使用される。

【0475】

5)トータルビデオレイテンシは、(3)を用いて計算され

【0476】

【数89】

【0477】

が得られる。

【0478】

6)オーディオ経路レイテンシは、(7)を用いて計算され

【0479】

【数90】

【0480】

が得られる。

【0481】

7)ステップ7は、DaNoLの能力を有するデバイスのみが使用される場合には適用されない。

【0482】

8)STBは、(1)の後、最後のステップの情報により追加のビデオ遅延を

【0483】

【数91】

【0484】

のように計算する。

【0485】

ソースは、その出力を、ビデオがオーディオから220ms遅れるよう構成する。システムは完全なリップシンクを達成する。

【0486】

たとえば、例6(AおよびB)は、ソースデバイス500F(または500I)が、オーディオ経路およびビデオ経路内のデバイス581F(または581I)がデバイス個々のレイテンシ情報を伝達する状況を取り扱い得ることを示している。そのような場合において、ソースデバイス500F(または500I)は、トータルオーディオレイテンシ情報514F(または514I)およびトータルビデオレイテンシ情報524F(または524I)から独立してタイムアラインメントを調整できるものとしてよい。

【0487】

D)図4によるレイテンシネゴシエーション。
図4は、一実施形態により、ソースデバイス400によって実行される復号レイテンシのレイテンシネゴシエーションのフローチャートを示している。ソースデバイス400は、ソースデバイス100、200に対応するものとしてよい。たとえば、レイテンシネゴシエーションは、ソースデバイス300のレイテンシネゴシエータ343によって実行され得る。図4は、オーディオ再生デバイス482の復号レイテンシ418の、ソースデバイス400と任意選択のオーディオ再生デバイス482、たとえばオーディオ再生デバイス282との間のレイテンシネゴシエーションを示している。復号レイテンシ418は、オーディオ復号レイテンシ218、318に対応し得る。オーディオ再生デバイス482は、オーディオデータ、たとえば、オーディオデータ160、260を復号するよう構成される。オーディオ再生デバイス482は、オーディオ経路、たとえばオーディオ経路180、280を介して、ソースデバイス400のデジタルメディアインターフェースに接続される。オーディオ再生デバイス482は、ソースデバイス400によって提供されるオーディオデータ、たとえばオーディオデータ160、260に基づき可聴オーディオ情報を提供するよう構成される。

【0488】

たとえば、ソースデバイス400は、ソースデバイス400のビデオ復号レイテンシに基づき復号レイテンシ218をオーディオ再生デバイス482とネゴシエートするよう構成され得る。ビデオ復号レイテンシは、たとえば、ビデオデータの符号化済み表現の復号に関連付けられているレイテンシであり得る。たとえば、ビデオ復号レイテンシは、復号済みビデオ表現として表されるビデオデータ265を取得するために復号器266によって符号化済みビデオ表現267の復号に関連付けられ得る。

【0489】

ソースデバイス400とオーディオ再生デバイス482とのレイテンシネゴシエーションの結果として、オーディオ再生デバイス482のオーディオ復号レイテンシ418が適応され得る。ソースデバイス400は、オーディオ再生デバイス482のオーディオ復号レイテンシ418の変化に応じて、タイムアラインメント、たとえばタイムアラインメント150、250、350を調整するよう構成される。

【0490】

言い換えると、ソースデバイス400は、復号レイテンシ418をオーディオ再生デバイス482とネゴシエートし、ネゴシエート済み復号レイテンシに依存してタイムアラインメントを調整するよう構成される。

【0491】

オーディオ復号レイテンシのネゴシエーションは、ソースデバイス400によって、たとえば、オーディオ再生デバイス482にオーディオ復号レイテンシをネゴシエートする要求を送信することによって、開始され得る。たとえば、ソースデバイス400は、ソースデバイス400の起動後に、レイテンシネゴシエーションを要求してもよい。

【0492】

代替的に、またはそれに加えて、レイテンシネゴシエーションは、オーディオ再生デバイス482によって開始されてもよい。たとえば、オーディオ再生デバイス482は、ソースデバイス400にメッセージを送信することによってソースデバイス400とのレイテンシネゴシエーションを要求してもよい。たとえば、オーディオ再生デバイス482は、オーディオ再生デバイス482のオーディオ復号レイテンシ418の変化により、レイテンシネゴシエーションを要求してもよい。

【0493】

たとえば、オーディオ再生デバイス482は、可能なレイテンシ値447をソースデバイス400に伝達することによってレイテンシネゴシエーションを開始し得る。オーディオ再生デバイス482は、また、要求があり次第、またはソースデバイス400によるレイテンシネゴシエーションの開始後に、可能なレイテンシ値をソースデバイス400に伝達し得る。

【0494】

ソースデバイス400は、オーディオ再生デバイス482によって伝達された可能なレイテンシ値447のうち所望のレイテンシ値448を選択するよう構成されてもよい。たとえば、ソースデバイス400は、ソースデバイス400のビデオ復号レイテンシに基づきオーディオ再生デバイス482によって伝達される可能なレイテンシ値のうち所望のレイテンシ値448を選択し得る。たとえば、ソースデバイス400は、所望のレイテンシ値448がビデオ復号レイテンシに対応するように所望のレイテンシ値448を選択し得る。

【0495】

オーディオ再生デバイス482は、可能なレイテンシ値447を、レイテンシ値のセットを含むレイテンシリスト情報として伝達するよう構成され得るか、または可能なレイテンシ値447を、可能なレイテンシ値のスパンを含むレイテンシスパン情報として伝達するよう構成され得る。

【0496】

ソースデバイス400は、所望のレイテンシ値448をオーディオ再生デバイス482に伝達するよう構成される。

【0497】

言い換えると、ソースデバイス400は、オーディオ再生デバイス482から、可能なレイテンシ値447のスパンを記述するレイテンシスパン情報を取得するか、またはオーディオ再生デバイス482から1つもしくは複数の可能なレイテンシ値447を記述するレイテンシリスト情報を取得するよう構成される。ソースデバイス400は、レイテンシスパン情報またはレイテンシリスト情報に基づき所望のレイテンシ値448を選択するようにさらに構成される。ソースデバイス400は、所望のレイテンシ値448を使用することをオーディオ再生デバイス482に命令するようにさらに構成される。ソースデバイス400は、選択された所望のオーディオ再生レイテンシ値448に依存してタイムアラインメントを調整するようにさらに構成される。

【0498】

ソースデバイス400は、レイテンシネゴシエーションが成功したかどうかをチェックするよう構成される。すなわち、ソースデバイス400は、オーディオ再生デバイス482が所望のレイテンシ値448に従ってそのオーディオ復号レイテンシ418を適応させた場合、またはオーディオ再生デバイス482がレイテンシネゴシエーションの後にオーディオ復号レイテンシ418に対する元の値を維持した場合を想定するよう構成される。ソースデバイス400は、レイテンシネゴシエーションの成功に関する仮定に応じて所望のレイテンシ値448に基づき、またはシンクデバイス482のオーディオ復号レイテンシ418の元の値に基づきタイムアラインメントを調整するよう構成される。たとえば、ソースデバイス400は、オーディオ再生デバイス482から、オーディオ復号レイテンシ418を含むメッセージを受信するよう構成される。

【0499】

任意選択で、ソースデバイス400は、たとえば、レイテンシネゴシエーションを要求することによって、または、レイテンシネゴシエーション、たとえば、可能なレイテンシ値447に関する情報に対する要求を受信することによって、完了したレイテンシネゴシエーションの後に、オーディオ復号レイテンシ418を再ネゴシエートするよう構成され得る。

【0500】

言い換えると、ソースデバイス400は、命令されたように、オーディオ再生デバイス482が選択された所望のレイテンシ値448を使用するかどうかを検証するよう構成される。ソースデバイス400は、オーディオ再生デバイス482が選択された所望のレイテンシ値448を使用できなかった場合に既定のレイテンシ値を考慮するようにさらに構成される。

【0501】

ソースデバイス400は、オーディオ再生デバイス482から、可能なレイテンシ値のスパンを記述するレイテンシスパン情報447を含むレイテンシネゴシエーション要求を、またはオーディオ再生デバイス482から、1つもしくは複数の可能なレイテンシ値を記述するレイテンシリスト情報を含むレイテンシネゴシエーション要求を受信するよう構成される。ソースデバイス400は、レイテンシスパン情報またはレイテンシリスト情報に基づき所望のレイテンシ値448を選択するようにさらに構成される。

【0502】

たとえば、レイテンシネゴシエータ343は、CECコマンド、たとえば、第D.1章において説明されているコマンドを使用して、および/または表2において説明されているような、もしくは代替的におよび任意選択で表3において説明されているようなメッセージおよび規則に従って伝達するよう構成され得る(またはレイテンシネゴシエーションが実行され得る)。

【0503】

たとえば、レイテンシネゴシエータ343は、表2に、または代替的におよび任意選択で表3に示されているメッセージのうちの1つまたは複数を1つまたは複数のシンクデバイスに(たとえば、シンクデバイスの個別の直接的アドレッシング、またはブロードキャストを使用して)伝送し、(適用可能な場合に)それぞれの返信メッセージを1つまたは複数のシンクデバイス(たとえば、シンクデバイスのチェーン内の)から受信し、それぞれの返信メッセージに含まれる情報を(たとえばオーディオ復号レイテンシ318をネゴシエートするために)使用するよう構成され得る。

【0504】

次の第D.1項では、レイテンシネゴシエータの実施形態について説明する。第D.1項で説明されている特徴、機能性、および詳細は、任意選択で、本明細書において説明されている実施形態のうちのいずれか、特にレイテンシネゴシエータ343に、個別と任意の組合せの両方で、導入されるものとしてよい。第D.1.1項および第D.1.2項の説明では図4を参照する。

【0505】

D.1. CECレイテンシの発見およびネゴシエーション(CEC DaNoL)
次の説明において、他の実施形態、たとえば、図1から図9の実施形態への参照は、例として考慮されるべきであることに留意されたい。そのような参照は、図1から図9に示された特徴のいずれかまたはすべてが、次の実施形態の中に存在していなければならないことを意味することを意図されていない。

【0506】

この章で説明されている特徴、機能性、および詳細は、任意選択で、本明細書において(一連の請求項においても)説明されている実施形態のうちのいずれかに、個別と組合せの両方で、導入されるものとしてよい。

【0507】

本章で説明されているメッセージおよび他の特徴および詳細は、たとえば、ソースデバイス100、200、400、特にディスカバラー341、レイテンシネゴシエータ343および/もしくはコレクタ344、ならびに/またはシンクデバイスにおいて、個別に、またはそれらの任意の組合せで実装されてよい。

【0508】

本章で説明されるメッセージおよび他の機能および詳細は、たとえば、ビデオ経路および/もしくはオーディオ経路内のデバイスを発見するため(たとえばD.1.2.1.項)、個別デバイス(オーディオおよび/もしくはビデオ)レイテンシ情報を伝達するため、ならびに/または復号レイテンシをネゴシエートするため(たとえばD.1.2.2.項)に使用され得る。

【0509】

D.1.1. メッセージ
次のメッセージ(または任意選択で、そのサブセット)は、レイテンシ発見およびネゴシエーション機能に使用される。
<Report Latency Span>、<Report Possible Latency Values>、<Set Latency>、<Request Latency Negotiation>、<Report Latency>、<Request Report Latency>、<Latency Info>、<Request Latency Info>、<Latency Not Supported>、<Unsupported Audio Codec>。

【0510】

これらのメッセージのすべては、<Vendor Command With ID> (HDMI 1.4b、CEC15、CEC表16)の拡張であり、Vendor IDはFraunhofer IISのMA-L、すなわち「12:34:56」である(これは、ダミー変数である。実際のMA-Lは定義されるべきである)。

【0511】

いくつかの実施形態においてどのメッセージが必須であるかの詳細については、表2を参照されたい。他の実施形態は、これらのメッセージおよび/または追加のメッセージのサブセットを任意選択で使用してよい。

【0512】

たとえば、代替的に、次のメッセージ(または任意選択で、そのサブセット)は、レイテンシ発見およびネゴシエーション機能に任意選択で使用されてよい。
<Report Latency Span>、<Report Possible Latency Values>、<Set Latency>、<Request Latency Negotiation>、<Latency Info>、<Request Latency Info>、<EDID Latency Info>、<Request EDID Latency Info>、<Latency Not Supported>、<Unsupported Audio Codec>。

【0513】

これらのメッセージのすべては、<Vendor Command With ID> (HDMI 1.4b、CEC15、CEC表16)の拡張であり、Vendor IDはFraunhofer IISのCID、すなわち、BA-C4-85 (hex)、BAC485 (base 16)である。

【0514】

いくつかの任意選択の実施形態においてどのメッセージが必須であるかの詳細については、表3を参照されたい。

【0515】

D.1.2. 特徴の説明(詳細は任意選択)
この特徴は、たとえば、HDMIセットアップにおけるすべてのデバイスがレイテンシ値を伝達することを可能にする。これは、オーディオビットストリーム復号デバイス(シンク)、たとえばオーディオ再生デバイス282、482、682、782、および能動的ソース(ソース)であるビデオ復号デバイス、たとえば、ソースデバイス100、200、400について特に興味深い。この特徴は、たとえば、ソースがCECメッセージを介してオーディオおよびビデオ経路内のデバイスならびにシンクから関連するすべての情報を得ることによってリップシンクを確実にすることを可能にする。この特徴は、いくつかの場合において、MPEG-Hのような最新のオーディオコーデックが、Video Latency+20ms<Audio Latencyという、禁止したケースとしてマークされているHDMIに分類されるので必要である。たとえば、HDMI 2.0a 10.6.1.1の表10～26のケース4を参照。

【0516】

この機構は、いくつかの場合において、複雑なHDMI経路でリップシンクを達成するために必要である。しかし、特定のコーデックの既定のオーディオレイテンシとは別のオーディオレイテンシをネゴシエートするためにも使用できる。この通信は、たとえば、HDMI 1.4b、CEC 13.9において説明されているCEC Vendor Specific Commandsを介して行われる。デバイスは両方とも、この項で指定されている手順に従って両デバイス間のネゴシエーションおよび確認が正常に完了した後にのみ非既定レイテンシ値を利用するものとする。

【0517】

たとえば、本文献において説明されているすべてのCECメッセージは、Opcode <Vendor command With ID>を有し、対応する値は「0xA0」である。コマンドの概要が以下に示されている。
[logical address Tx] [logical address Rx] [opcode 0xA0] [Vendor ID] [Vendor Specific data]

【0518】

論理アドレスは、たとえば、HDMI 1.4b、CEC 10.2において定義されている。ベンダーIDは、たとえば、常にFraunhofer IISのMA-L、すなわち「12:34:56」である。代替的に、および任意選択で、ベンダーIDは、常に、Fraunhofer IISのCID、すなわちBAC485であり得る。ベンダー固有データは、たとえば、1バイトのVendor Opcodeと、その後に続く、たとえば3バイト長のショートオーディオディスクリプタ(short audio descriptor)(SAD)とによって占有される。その後、たとえば、Vendor Opcodeに対応する最大7つの1バイトパラメータが続く。
[Vendor Specific Data]=[Vendor Opcode] [SAD] [parameter 1] [parameter 2] … [parameter 7]

【0519】

いくつかの場合において、7個を超えるパラメータを使用することが許されないが、それは、1つの[Vendor Specific Data]ブロックのデータは、たとえば、11バイトに制限されるからである。たとえば、HDMI 1.4b CEC 17表29を参照すると、列「Purpose」内に「Name」[Vendor Specific Data]がある。

【0520】

ショートオーディオディスクリプタ(SAD)は、たとえば、HDMI 1.4bにおいて説明されており、これは、CTA-861-G 7.5.2および7.5.3を参照している。1つのSADは、たとえば、明確に定義されているオーディオ符号化および関連するパラメータを含む。これは、いくつかの場合において、リップシンクの問題が様々なオーディオコーデックについて、さらにはそれらの異なるフレーバーについて異なることもあり得るので、必要である。

【0521】

オーディオ復号デバイスおよびソースのSADは、同じ「Audio Format Code」および同じ「Audio Coding Extension Type Code」を含むべきである(または、いくつかの場合において、含まなければならない)。すべての他のビットの一致は、コーデックに依存し得る。ソースデバイスは、たとえば、1つの特定のコーデックフレーバーのみを使用し、EDIDとは異なる仕方でSADを書き込むものとする。たとえば、ソースデバイスは、コーデックのフレーバーAおよびBのオーディオパススルーをサポートする。EDID-SADは、AおよびBの能力を記述する。CECリップシンク発見を別にすれば、ソースは、Aを含むだけの1つのSADおよびBを含むだけの1つのSADと別々にネゴシエートすることになる。すべてのコーデックは、すべてのフレーバーに対する取り扱い情報を提供する(または、いくつかの場合において、提供しなければならない)か、またはすべてのフレーバーが同じリップシンク調整を有する。一般に、ソースのSADは、復号デバイスのSADのサブセットであるべきである。

【0522】

たとえば、メッセージが現在再生されているオーディオストリームのSADを参照している場合、または最後に再生されたものを参照している場合、SADのすべてのビットは任意選択でゼロに設定されるべきである。現在のまたは最新のSADを参照する3バイトは、たとえば、00:00:00のように見える場合がある。

【0523】

レイテンシを伝送するために、たとえば、次の式で1バイトに変換され、これはHDMI 2.0a 10.7.1表10～28またはHDMI 1.4b 8.3.2「オーディオレイテンシ」と同じである。
latency_{converted to one byte}=[latency_{in ms}/2+1]_HEX

【0524】

ネゴシエーション可能なレイテンシは、たとえば、[0ms, 500ms]または変換された[0x01, 0xFB]の範囲内にある。デバイスが<Latency Info>メッセージに記述されている特定のレイテンシをサポートしていない場合、これは、たとえば、0xffを報告するものとする。たとえば、すべての他の値は予約済みである。

【0525】

本書のすべての特徴は、いくつかの場合において、ベンダー機能がアクティブ化された後でないと使用できない(HDMI 1.4b CEC 13.9.2を参照)。

【0526】

D.1.2.1. レイテンシの発見(詳細は任意選択)
ソース側で複数のデバイスのチェーンのレイテンシを計算したい場合、関連するすべてのデバイスに直接アドレス指定された<Request Latency Info>メッセージを送信するものとする。注:オーディオコーデックMPEG-Hの場合にソースデバイス内の遅延を設定するアルゴリズムは、「MPEG-Hソース遅延調整アルゴリズム(MASDA)」という別の章に含まれている。

【0527】

<Request Latency Info>メッセージには、たとえば5つのパラメータからなる、たとえばブロードキャストにアドレス指定された、たとえば<Latency Info>メッセージで返信されるものとする。これらのパラメータは、たとえば、順に、EDIDにおいて加えられるようなナンコーデックケース(none codec case)に対するオーディオレイテンシ(プログレッシブ値)、EDIDにおいて加えられるようなビデオレイテンシ(プログレッシブ値)、コーデックパススルーレイテンシ、コーデック復号レイテンシ、および現在のビデオレイテンシである。最初の2つのパラメータは、たとえば、デバイスがそのEDIDにおいてVendor-Specific Data Block(HDMI VSDB)を追加するのと同じである。コーデックで2つの追加の値を定義し、後からそれらを追加することも可能である。

【0528】

任意選択で、デバイスが内部パラメータを変更し、したがって<Latency Info>メッセージのデータを変更する場合、このメッセージをソースに通知する新しいパラメータとともに送信するものとする。これは、たとえば、テレビがビデオモードを変更した結果、異なる現在のビデオレイテンシが生じる場合に起こる。

【0529】

代替的に、任意選択の例により、<Request Latency Info>メッセージは、3つのパラメータからなるブロードキャストにアドレス指定された<Latency Info>メッセージで返信されるものとする。これらのパラメータは、たとえば、順に、コーデック復号レイテンシ、コーデックパススルーレイテンシ、および現在のビデオレイテンシであってよい。コーデックで4つの追加の値を定義し、後からそれらを追加することも可能である。

【0530】

この任意選択の例により、テレビのようなデバイスにおいて、たとえば、ビデオモードの切り替えにより、<Latency Info>メッセージの3番目のパラメータ[Current video latency]のみが変化し、現在のビデオレイテンシがすべてのオーディオモードに対して等しい場合、SAD 0xffffffとともに、レイテンシパラメータ1および2も0xffに設定して、ブロードキャストにアドレス指定された<Latency Info>メッセージを送信することが許され得る。

【0531】

この任意選択の例により、<Request EDID Latency Info>メッセージは、たとえば、4つのパラメータからなるブロードキャストにアドレス指定された<EDID Latency Info>メッセージで返信されるものとする。これらのパラメータは、たとえば、順に、EDIDにおいて加えられるようなオーディオレイテンシ(ナンコーデックケースに対する)(プログレッシブ値)、EDIDにおいて加えられるようなビデオレイテンシ(プログレッシブ値)、EDIDにおいて加えられるようなオーディオレイテンシ(ナンコーデックケースに対する)(インタリーブ値)、EDIDにおいて加えられるようなビデオレイテンシ(インタリーブ値)である。これらのパラメータは、たとえば、デバイスがそのEDIDにおいてVendor-Specific Data Block(HDMI VSDB)を追加し得るのと同じである。プログレッシブおよびインタリーブのケースが同じレイテンシを有する場合、これは、たとえば、最初の2つのパラメータを伝送するだけでよい。

【0532】

D.1.2.2. レイテンシネゴシエーション(詳細は任意選択)
ソースデバイス側でレイテンシネゴシエーションを開始したい場合、オーディオ復号デバイスに、たとえば、直接アドレス指定された<Request Latency Negotiation>メッセージを送信するものとする。次いで、オーディオ復号デバイスは、レイテンシネゴシエーションの開始を行うものとする。

【0533】

レイテンシネゴシエーション開始の場合、オーディオ復号デバイスは、たとえば、直接アドレス指定された<Report Latency Span>(または<Report Possible Latency Values>)メッセージをソースに送信するものとする。たとえば、フォロワーが、たとえばHDMI 1.4b、CEC 9.2(たとえば、=1s)で指定された必要な最大応答時間内に<Feature Abort>['Unrecognized opcode']メッセージを送信するか、または関係するメッセージをいっさい送信しない場合、MPEG-H復号デバイスは、たとえば、ビデオ復号デバイスがレイテンシネゴシエーションをサポートしていないと仮定する。

【0534】

フォロワーが、たとえば、直接アドレス指定された<Latency Not Supported>メッセージで応答した場合、オーディオ復号デバイスは、フォロワーがレイテンシネゴシエーションを行えるデバイスであるが、要求済みコーデックタイプに対する要求済みレイテンシをサポートしていないことを認識する。フォロワーが、たとえば、直接アドレス指定された<Unsupported Audio Codec>メッセージで応答した場合、オーディオ復号デバイスのSADは、ソースに対する未知のオーディオコーデックを含む。

【0535】

フォロワーが、報告されたスパンまたは報告された値のうちから1つのレイテンシを選んだ場合、たとえば、このレイテンシをアクティブ化して、直接アドレス指定された<Set Latency>メッセージを介してそれを伝送する。

【0536】

<Set Latency>メッセージのレイテンシパラメータがオーディオ復号デバイスのレイテンシスパン内にある場合、たとえば、このレイテンシを使用し、直接アドレス指定された<Report Latency>メッセージをソースに送信するか、または任意選択の例により、<Latency Info>メッセージをブロードキャストするか、または<Latency Info>メッセージをソースに送信するものとする。

【0537】

<Set Latency>メッセージのレイテンシパラメータがオーディオ復号デバイスのレイテンシスパン内にない場合、たとえば、既定のレイテンシを使用し、直接アドレス指定された<Latency Not Supported>メッセージをソースに送信するものとする。

【0538】

たとえば、ソースは、<Set Latency>メッセージの後、たとえば、HDMI 1.4b、CEC 9.2において指定されている必要な最大応答時間の間、<Report Latency>メッセージを待つ。<Report Latency>メッセージがない場合、サウンドバーまたはソースはネゴシエート済みレイテンシを使用しない。

【0539】

任意選択の例により、ソースは、<Set Latency>メッセージの後、たとえば、HDMI 1.4b、CEC 9.2において指定されている必要な最大応答時間の間、<Latency Info>メッセージを待つ。<Latency Info>メッセージがない場合、ソースはネゴシエート済みレイテンシを使用しない。

【0540】

この方法で、レイテンシは、たとえば、使用される前に両側でチェックされる。<Latency Not Supported>メッセージは、別の<Latency Not Supported>メッセージで返信され得る。

【0541】

通常のネゴシエーションプロセスは、たとえば、図4において提示されている。

【0542】

任意選択で、ビデオ復号デバイス側で再ネゴシエートしたい場合、これは、たとえば、直接アドレス指定された<Request Latency Negotiation>メッセージをオーディオ復号デバイスに送信する。

【0543】

任意選択で、オーディオ復号デバイス側で再ネゴシエートしたい場合、これは、たとえば、直接アドレス指定された<Report Latency Span>または<Report Possible Latency Values>メッセージをビデオ復号デバイスに送信する。スパンは、新しいレイテンシ値を含むべきである。

【0544】

D.1.2.3. 情報の更新(任意選択)
たとえば<Latency Info>メッセージで、動的な値を報告するすべてのデバイスは、値が変更された後にこのメッセージをブロードキャストしなければならない。たとえば、テレビがビデオモードを映画からゲームに変更した場合、たとえば、すべての聴取デバイス、または少なくとも、いくつかの聴取デバイスにおいて、このメッセージの[current video latency]の値を更新するために、<Latency Info>を送信する必要がある。

【0545】

D.1.3. 例
(詳細は、任意選択で実施形態に、個別および組合せの両方で、含まれてよく、特定の値、識別子、メッセージ名はオプションであると考えられるべきである)
この項では、伝送データは16進値で示されている。論理部は「:」記号で区切られている。

【0546】

この項では、例示的な実施形態が説明されている。たとえば、テレビは、ソースデバイス、たとえば、ソースデバイス100、200、400として、またビデオレンダリングデバイス、たとえば、ビデオレンダリングデバイス292、892、992として機能し得、テレビに接続されているサウンドバーは、オーディオ再生デバイス、たとえば、オーディオ再生デバイス282、482、692、792として機能し得る。

【0547】

D.1.3.1. レイテンシネゴシエーションの開始
論理アドレス0x5(オーディオシステム)を有するMPEG-Hサウンドバーは、ARCを介して論理アドレス0x0(TV)を有するテレビに接続されている。MPEG-Hテレビは、250msの既定のMPEG-H復号レイテンシを有すると仮定されるサウンドバーのオーディオとリップシンク状態になるようにビデオ信号を遅延させている。サウンドバーは、100msまでのより小さいレイテンシ値の能力を有する。テレビは、150msまたは最大150msのビデオレイテンシを必要とする特別な画像強調モードになっている。これら2つのデバイス間のネゴシエーションは以下に示されている。
Soundbar_Tx:50:A0:654321:01:SAD_MPEG-H:33:7E
TV_Tx: 05:A0:654321:03:SAD_MPEG-H:4C
Soundbar_TX:50:A0:654321:05:SAD_MPEG-H:4C

【0548】

この通信は、表1においてさらに詳しく説明される。

【0549】

代替的に、任意選択の実施形態により、Vendor IDは値BAC485を有し、および/またはサウンドバーは、表3に示されているメッセージのセットに従って<Set Latency>メッセージに<Latency Info>メッセージで応答する。この任意選択の例により、これら2つのデバイス間のネゴシエーションは、ここに示されているように記述され得る。
Soundbar_Tx:50:A0:BAC485:01:SAD_MPEG-H:33:7E
TV_Tx: 05:A0:BAC485:03:SAD_MPEG-H:4C
Soundbar_TX:50:A0:BAC485:05:SAD_MPEG-H:4C:0C:00

【0550】

この通信は、表4においてさらに詳しく説明される。

【0551】

上で示されている両方の例において、レイテンシネゴシエーションがない場合、テレビはリップシンクを確実にするためにそのビデオ(復号された形式の)を100msだけ遅延させなければならない。ネゴシエーションが成功すると、テレビに追加のビデオ遅延は生じない。

【0552】

D.1.3.2. レイテンシネゴシエーションの終了およびエラー
D.1.3.2.1. オーディオコーデックの不一致
サウンドバーは、レイテンシネゴシエーションを開始しようとするが、テレビは、SAD_Aに記述されているオーディオコーデックフレーバーをサポートしていないので、<Unsupported Audio Codec>メッセージで反応する。
Soundbar_Tx:50:A0:654321:01:SAD_A:33:7E
TV_Tx: 05:A0:654321:0A:SAD_B

【0553】

代替的に、任意選択の実施形態により、Vendor IDは値BAC485を有し、したがって、これら2つのデバイス間のネゴシエーションはここに示されているように記述され得る。
Soundbar_Tx:50:A0:BAC485:01:SAD_A:33:7E
TV_Tx: 0 5:A0:BAC485:0A:SAD_B

【0554】

D.1.3.2.2. 一致するネゴシエーション可能なレイテンシがない
サウンドバーはレイテンシのネゴシエーションを開始しようとし、3つの可能なレイテンシ値を直接アドレス指定される<Report Possible Latency Values>メッセージとともに送信する。これらのレイテンシはどれもテレビに適さない。直接アドレス指定された<Latency Not Supported>メッセージで応答するからである。
Soundbar_Tx:50:A0:654321:02:SAD_MPEG-H:4C:59:6F
(150ms, 176ms, 220ms)
TV_Tx: 05:A0:654321:09:SAD_MPEG-H

【0555】

代替的に、任意選択の実施形態により、Vendor IDは値BAC485を有し、したがって、これら2つのデバイス間のネゴシエーションはここに示されているように記述され得る。
Soundbar_Tx:50:A0:BAC485:02:SAD_MPEG-H:4C:59:6F
(150ms, 176ms, 220ms)
TV_Tx: 05:A0:BAC485:09:SAD_MPEG-H

【0556】

サウンドバーは、これで、テレビがCECを介してネゴシエートできることを知る。したがって、サウンドバーは、異なるレイテンシ値で別の試行を行うことも可能である。

【0557】

D.1.3.3. レイテンシ情報の交換
プレイアウトデバイス(論理アドレス0x1)は、サウンドバー(論理アドレス0x5)にそのレイテンシ値を求める。サウンドバーは、EDIDにおいて追加された非MPEG-Hに対するそのオーディオレイテンシ(プログレッシブ値)、EDIDにおいて追加されたビデオレイテンシ(プログレッシブ値)、MPEG-Hパススルーレイテンシ、MPEG-Hオーディオ復号レイテンシ、および現在のビデオレイテンシで応答する。この情報は、ソースデバイスがリップシンクを確実にするために役立つ。
Playout_Tx: 15:A0:654321:07:SAD_MPEG-H
Soundbar_Tx: 5F:A0:654321:08:SAD_MPEG-H:29:29:0C:4C:FF
(80ms, 80ms, 22ms, 150ms,利用可能でない)

【0558】

代替的に、任意選択の実施形態により、Vendor IDは値BAC485を有し、通信は表3において説明されているメッセージの任意選択のセットに従うものとしてよく、したがって、これら2つのデバイス間の情報交換はここに示されているように記述され得る。

【0559】

プレイアウトデバイス(論理アドレス0x1)は、サウンドバー(論理アドレス0x5)にそのレイテンシ値を求める。サウンドバーは、そのMPEG-Hオーディオ復号レイテンシ、MPEG-Hパススルーレイテンシ、および現在のビデオレイテンシで応答する。この情報は、ソースデバイスがリップシンクを確実にするために有用である。
Playout_Tx: 15:A0:BAC485:06:SAD_MPEG-H
Soundbar_Tx: 5F:A0:BAC485:05:SAD_MPEG-H:4C:0C:FF
(150ms, 22ms,利用可能でない)

【0560】

また、プレイアウトデバイスは、EDIDに収められている静的なオーディオおよびビデオレイテンシ値を求める。
Playout_Tx: 15:A0:BAC485:08:SAD_MPEG-H
Soundbar_Tx: 5F:A0:BAC485:07:SAD_MPEG-H:29:29
(80ms, 80ms)

【0561】

たとえば、インターレースおよびプログレッシブオーディオ/ビデオレイテンシが等しい場合、一方の対を伝送するだけでよい。これは上記の例において生じていることであり、サウンドバーはプログレッシブ(およびインターレース)オーディオレイテンシおよびプログレッシブ(およびインターレース)ビデオレイテンシを報告する。

【0562】

レイテンシネゴシエーションは、レイテンシ情報交換の前に行われることが強く推奨される(およびMPEG-Hソース遅延調整アルゴリズムで提案されている)。このようにして、ネゴシエートされたレイテンシは再びチェックされ得る。

【0563】

E)図6によるシンクデバイス
図6は、一実施形態によるシンクデバイス682の概略表現を示している。シンクデバイス682は、オーディオ再生デバイス、たとえば、オーディオ再生デバイス282であってもよい。

【0564】

シンクデバイス682は、デジタルメディアインターフェース670を介してオーディオデータ660を受信するよう構成される。シンクデバイス682は、受信されたオーディオデータ660を復号して、復号済みオーディオデータ662を取得するよう構成されている復号器661を備える。シンクは、復号済み出力データ662を出力するよう構成されている出力684をさらに備える。シンクデバイスは、ソースデバイスからの要求に応答して、第1のオーディオモードを使用する再生に関連付けられているレイテンシ情報、たとえばデバイス個々のオーディオレイテンシ寄与617と、第2のオーディオモードを使用する再生に関連付けられているレイテンシ情報、たとえばオーディオ復号レイテンシ618とを含むデバイス個々のレイテンシ情報616を報告するよう構成されているコミュニケータ640を備える。

【0565】

シンクデバイスは、符号化された表現でオーディオデータ660を受信するよう構成される。シンクデバイス682のタスクは、符号化済みオーディオデータ660から復号済みオーディオデータ662を取得し、復号済みオーディオデータ662を、たとえば、アナログ信号または可聴信号として提供することである。シンクデバイスは、復号のために、および/または復号済みオーディオデータ662を提供するために、様々なオーディオモードを使用するよう構成され得る。

【0566】

たとえば、シンクデバイス682は、第1のオーディオモード、たとえばソースデバイス100、200、400に関して説明されている第1のオーディオモードで動作するように、または第2のオーディオモード、たとえばソースデバイス100、200、400に関して説明されている第2のオーディオモードで動作するよう構成され得る。オーディオモードは、復号器661の設定を参照するものとしてよく、その設定は復号器661によるオーディオデータ660の復号を決定する。出力684は、可聴オーディオデータを出力するように、またはオーディオデータ660の復号済み表現662、たとえば、復号済みオーディオデータ662または復号済み出力データ662を提供するよう構成され得る。

【0567】

図6によるシンクデバイス682は、任意選択で、他のソースデバイスに関して本明細書において説明されているすべての特徴、機能性、および詳細によって補完され得ることが指摘される。それぞれの特徴、機能性、および詳細は、任意選択で、個別にまたはそれらの任意の組合せの両方でシンクデバイス682に追加され得る。

【0568】

F)図7によるシンクデバイス
図7は、一実施形態によるシンクデバイス782の概略表現を示している。シンクデバイス782は、シンクデバイス682に対応するものとしてよい。

【0569】

シンクデバイス782は、デジタルメディアインターフェース770を介して、入力として、符号化済み表現によるオーディオデータ760、たとえばオーディオデータ660を受信するよう構成される。デジタルメディアインターフェース770は、デジタルメディアインターフェース670に対応するものとしてよい。デジタルメディアインターフェースは、デジタルメディアインターフェース170、270に等しいか、もしくは類似のタイプのものであり得るか、または少なくとも、デジタルメディアインターフェース170、270との通信を円滑にするよう構成され得る。

【0570】

シンクデバイス782は、たとえば、第1のオーディオモードまたは第2のオーディオモードを使用することによって、オーディオデータ760を復号して復号済みオーディオデータ762を取得するよう構成されている復号器を備える。第1のオーディオモードおよび第2のオーディオモードは、A、B、C、Dの各章で説明されているそれぞれの第1および第2のオーディオモードに対応するものとしてよい。シンクデバイス782は、復号済みオーディオデータ762を提供するよう構成されている出力784を備える。

【0571】

オーディオデータの復号は、レイテンシ、すなわち、符号化されたオーディオデータを表す信号の受信と、復号されたオーディオデータを表す信号の提供との間の時間的オフセットを伴い得る。

【0572】

シンクデバイス782は、オーディオデータ760を復号するために様々なオーディオモードを使用し得るので、オーディオデータ760を復号するためのレイテンシは、しかるべく変化し得る。したがって、オーディオモードは、そのオーディオモードに特有である、オーディオデータを復号し、および/または提供する、たとえば再生するためのレイテンシを含み得る。

【0573】

シンクデバイスは、たとえば、デジタルメディアインターフェース770を介して、または別の有線もしくはワイヤレス接続を介して、通信するよう構成されているコミュニケータ740を備える。すなわち、コミュニケータ740は、メッセージを送信および/または受信するよう構成され得る。コミュニケータ740は、ソースデバイス、たとえばソースデバイス100、200、400、または別のシンクデバイスもしくはデジタルメディアインターフェース770に接続されている別のデバイスに通信するよう構成され得る。

【0574】

コミュニケータ740は、デバイス個々のレイテンシ情報216、316、616に対応し得る、デバイス個々のレイテンシ情報716を提供することによって、シンクデバイス782のレイテンシを伝達するよう構成される。

【0575】

デバイス個々のレイテンシ情報716は、シンクデバイスのオーディオモードに特有であるレイテンシ情報を含む。第1のオーディオモードのレイテンシは、デバイス個々のオーディオレイテンシ寄与717と称され、デバイス個々のオーディオレイテンシ寄与217、317、617に対応し得る。第2のオーディオモードのレイテンシは、オーディオ復号レイテンシ718と称され、オーディオ復号レイテンシ218、318、718に対応し得る。デバイス個々のレイテンシ情報716は、デバイス個々のオーディオレイテンシ寄与717および/またはオーディオ復号レイテンシ718を含む。

【0576】

個別デバイスオーディオ復号レイテンシ717は、復号済みオーディオデータ762の再生、すなわち、可聴オーディオ情報としてオーディオデータ760の受信から復号済みオーディオデータ762の再生までの間のレイテンシに関連付けられ得る。

【0577】

言い換えると、シンクデバイスによって提供されるトータルオーディオレイテンシ情報への寄与は、第1のオーディオモードを使用する再生に関連付けられているレイテンシ情報に等しい。

【0578】

第2のオーディオモードは、復号済みオーディオデータ762をより高品質にして提供し得るので、第2のオーディオモードのレイテンシは、第1のオーディオモードのレイテンシよりも大きくなり得る。したがって、オーディオ復号レイテンシ718は、デバイス個々のオーディオレイテンシ寄与717とは異なり得る。

【0579】

第2のオーディオモードに関連付けられているオーディオ復号レイテンシ718は可変であってもよく、したがって、シンクデバイス782は、オーディオ復号レイテンシ718を、可能なレイテンシ値747の範囲内、または可能なレイテンシ値747のセット内で適応させ得る。

【0580】

言い換えると、シンクデバイス782は、トータルオーディオレイテンシ情報、たとえば、第1のオーディオモードに対するオーディオ経路のトータルレイテンシを記述するか、または複数のオーディオモードにわたるオーディオ経路の平均トータルレイテンシを記述する、トータルオーディオレイテンシ情報214、314、614に対する寄与717を提供するよう構成され、トータルオーディオレイテンシ情報への寄与717は、第2のオーディオモードを使用する再生に関連付けられているレイテンシ情報718と異なる。

【0581】

シンクデバイス782は、オーディオ復号レイテンシ718を別のデバイス、たとえば、ソースデバイス、たとえばソースデバイス100、200、400とネゴシエートするよう構成され得る。シンクデバイス782は、オーディオ復号レイテンシ718をネゴシエートした結果、オーディオ復号レイテンシ718を適応させるよう構成され得る。

【0582】

言い換えると、シンクデバイス782は、復号レイテンシ718または第2のオーディオモードに関連付けられている再生レイテンシをソースデバイスとネゴシエートするよう構成される。

【0583】

シンクデバイス782は、たとえば、可能なレイテンシ値747をスパンとして記述するレイテンシスパン情報の形式で、または可能なレイテンシ値747をリストとして含むレイテンシリスト情報の形式で、可能なレイテンシ値747を含むメッセージを送信するよう構成される。

【0584】

シンクデバイス782は、レイテンシ選択メッセージ749を受信するようにさらに構成され、これは、別のデバイス、たとえばソースデバイスによって提案または要求される所望のレイテンシ値、たとえば所望のレイテンシ値448を含み得る。シンクデバイスは、可能なレイテンシ値747が所望のレイテンシ値を含む場合、所望のレイテンシ値に応じてオーディオ復号レイテンシ418を適応させるよう構成される。

【0585】

シンクデバイス782は、レイテンシ選択メッセージ749を受信した後に、オーディオ遅延情報718、たとえばデバイス個々のレイテンシ情報を含む情報を提供するよう構成されるものとしてよく、したがって、その情報は、レイテンシ選択メッセージ749に従ってオーディオ遅延情報718の値を適応させるか否かのシンクデバイス782の決定後のオーディオ遅延情報718の値に対応するオーディオ遅延情報718の現在の値を含む。

【0586】

言い換えると、シンクデバイス782は、可能な復号レイテンシ値747または再生レイテンシ値のスパンを記述するレイテンシスパン情報をソースデバイスに提供するか、または1つもしくは複数の可能な複数の復号レイテンシ値747または再生レイテンシ値を記述するレイテンシリスト情報をソースデバイスに提供するよう構成される。シンクデバイス782は、ソースデバイスからレイテンシ選択メッセージ749を受信し、レイテンシ選択メッセージ749に応答して復号レイテンシ718または再生レイテンシを設定するようにさらに構成される。

【0587】

たとえば、シンクデバイス782は、表2に、または代替的におよび任意選択で表3に示されているメッセージのうちの1つまたは複数をソースデバイスから(たとえば、ソースデバイス100、200、400から)受信し、(たとえば、表2に、または代替的におよび任意選択で表3に示されている情報を含む、たとえば、デバイス個々のレイテンシ情報716、もしくは可能なレイテンシ値747を提供する)それぞれの返信メッセージを提供するよう構成され得る。

【0588】

G)図8による、シンクデバイス、たとえばビデオレンダリングデバイス
図8は、一実施形態によるシンクデバイス892の概略表現を示している。シンクデバイス892は、ビデオレンダリングデバイス、たとえば、ビデオレンダリングデバイス292であってもよい。

【0589】

シンクデバイス892は、デジタルメディアインターフェース870を介してビデオデータ865を受信するよう構成される。シンクデバイスは、受信されたビデオデータ865をレンダリングするよう構成されているレンダラー866を備える。シンクデバイス892は、ビデオ経路のトータルレイテンシを記述するか、または複数のビデオモードにわたるビデオ経路の平均トータルレイテンシを記述するトータルビデオレイテンシ情報への寄与を表すレイテンシ情報827と、ビデオデータのレンダリングの実際のレイテンシを表すレイテンシ情報828とを含むデバイス個々のレイテンシ情報909を報告するよう構成されているコミュニケータ840をさらに備える。

【0590】

たとえば、シンクデバイスは、復号済み表現のビデオデータ265、たとえば、ビデオデータ165、265を受信するよう構成される。シンクデバイスのタスクは、ビデオデータ265をレンダリングしてレンダリングされたビデオデータを取得することである。レンダリングされたビデオデータは、たとえば、出力、たとえば、画面、またはアナログ信号を提供する出力に提供され得る。ビデオシンクデバイスは、ビデオデータ265をレンダリングするために様々なビデオモードを使用することができるものとしてよい。デバイス個々のレイテンシ情報を報告することによって、シンクデバイスは、出力へのレンダリングされたビデオデータの提供と、たとえばオーディオ再生デバイスによる関係するオーディオデータの再生との間のタイムアラインメントの正確な調整をサポートすることができるものとしてよい。

【0591】

図8によるシンクデバイス892は、任意選択で、他のソースデバイスに関して本明細書において説明されているすべての特徴、機能性、および詳細によって補完され得ることが指摘される。それぞれの特徴、機能性、および詳細は、任意選択で、個別にまたはそれらの任意の組合せの両方でシンクデバイス892に追加され得る。

【0592】

H)図9による、シンクデバイス、たとえばビデオレンダリングデバイス
図9は、一実施形態によるシンクデバイス992の概略表現を示している。シンクデバイス992は、シンクデバイス892に対応するものとしてよい。

【0593】

シンクデバイス992は、デジタルメディアインターフェース970を介して、入力として、復号済み表現によるビデオデータ965、たとえばビデオデータ965を受信するよう構成される。デジタルメディアインターフェース970は、デジタルメディアインターフェース870に対応するものとしてよい。デジタルメディアインターフェースは、デジタルメディアインターフェース170、270、670、770に等しいか、または類似のタイプのものであり得るか、または少なくとも、デジタルメディアインターフェース170、270、670、770との通信を円滑にするよう構成され得る。

【0594】

シンクデバイス992は、たとえば、映画モードまたはゲーミングモードなどの特定のビデオモードを使用することによって、ビデオデータ965をレンダリングするよう構成されているレンダラーを備える。

【0595】

ビデオデータのレンダリングは、レイテンシ、すなわち、ビデオデータ965を表す信号の受信と、レンダリングされたビデオデータの提供との間の時間的オフセットを伴い得る。

【0596】

シンクデバイス992が、ビデオデータ965を復号するために様々なビデオモードのうち特定のビデオモードを使用するよう構成され得るので、ビデオデータ965をレンダリングするためのレイテンシはしかるべく変化し得る。したがって、ビデオモードは、そのビデオモードに特有である、ビデオデータをレンダリングし、および/または提供する、たとえば再生するためのレイテンシを含み得る。

【0597】

シンクデバイスは、たとえば、デジタルメディアインターフェース970を介して、または別の有線もしくはワイヤレス接続を介して、通信するよう構成されているコミュニケータ940を備える。すなわち、コミュニケータ940は、メッセージを送信および/または受信するよう構成され得る。コミュニケータ940は、ソースデバイス、たとえばソースデバイス100、200、400、または別のシンクデバイスもしくはデジタルメディアインターフェース970に接続されている別のデバイスに通信するよう構成され得る。

【0598】

コミュニケータ940は、デバイス個々のビデオレイテンシ情報226、326、626、および任意選択で、さらに、デバイス個々のオーディオレイテンシ情報216、316、616を含み得る、デバイス個々のレイテンシ情報909を提供することによって、シンクデバイス992のレイテンシを伝達するよう構成される。

【0599】

デバイス個々のレイテンシ情報909は、シンクデバイスのビデオモードに特有であるレイテンシ情報を含む。シンクデバイスは、標準ビデオモードを備え得る。標準ビデオモードのレイテンシは、デバイス個々のビデオレイテンシ寄与927と称されてよく、デバイス個々のビデオレイテンシ寄与227、327、827に対応し得る。レンダラー966は、標準ビデオモードと異なるビデオモードを使用することができるものとしてよい。異なるビデオモードは、デバイス個々のビデオレイテンシ寄与927としてのとは異なるレイテンシを伴い得る。シンクデバイス992の動作時に現在使用されているビデオモードのレイテンシは、デバイス個々のレイテンシ情報909の一部であってもよい、現在のビデオレイテンシ情報928、たとえば、現在のビデオレイテンシ情報228、328、828によって記述され得る。

【0600】

言い換えると、シンクデバイス992は、ビデオ経路のトータルレイテンシを記述するか、または複数のビデオモードにわたるビデオ経路の平均トータルレイテンシを記述する、トータルビデオレイテンシ情報、たとえばトータルビデオレイテンシ情報227、327へのシンクデバイスの寄与927を提供するよう構成され、トータルオーディオレイテンシ情報またはトータルビデオレイテンシ情報への寄与927は、ビデオデータのレンダリングの実際のレイテンシを表すレイテンシ情報928とは異なる。

【0601】

ビデオレンダリングデバイス992は、たとえば、デジタルメディアインターフェース970(第1のデジタルメディアインターフェース970と称される)を介して、オーディオデータ960を受信するようにさらに構成され得る。ビデオレンダリングデバイス992は、第2のデジタルメディアインターフェース975を構成し得る。ビデオレンダリングデバイス992は、第2のデジタルメディアインターフェース975上でオーディオデータ960を、たとえば変更せずに提供するか、または出力するよう構成され得る。すなわち、ビデオレンダリングデバイス992は、オーディオデータ960をパススルーするか、または転送するよう構成され得る。

【0602】

たとえば、ビデオレンダリングデバイス992は、たとえば、1つのデジタルメディアインターフェース上でオーディオデータ960およびビデオデータ965を提供するソースデバイスから、第1のデジタルメディアインターフェース970を介して、ビデオデータ965およびオーディオデータ960を同時に受信するよう構成され得る。ビデオレンダリングデバイスは、ビデオデータ965をレンダリングし、オーディオデータ960をパススルーするよう構成されるものとしてよく、それにより、オーディオデータ960は、オーディオ再生デバイス、たとえば、オーディオ再生デバイス282、682、782によって受信され、再生され得る。すなわち、ビデオレンダリングデバイス992は、オーディオ経路とビデオ経路とを分割することができるものとしてよい。

【0603】

ビデオレンダリングデバイス992がオーディオデータをパススルーするよう構成されている場合、ビデオレンダリングデバイス992は、オーディオ経路、たとえば、オーディオ経路180、280の一部であってもよい。したがって、ビデオレンダリングデバイス992は、オーディオ経路のレイテンシに寄与し得る。ビデオレンダリングデバイス992は、オーディオ経路に関する個別デバイスレイテンシを、たとえば、トータルオーディオレイテンシ情報、たとえば、トータルオーディオレイテンシ情報214へのビデオレンダリングデバイス992の寄与であるデバイス個々のオーディオレイテンシ寄与917の形態で報告するよう構成され得る。たとえば、デバイス個々のレイテンシ情報909は、デバイス個々のオーディオレイテンシ寄与217に対応し得るデバイス個々のオーディオレイテンシ寄与917を含み得る。たとえば、デバイス個々のオーディオレイテンシ寄与917は、たとえば、第2のデジタルメディアインターフェース975に接続されているオーディオ再生デバイスによる、第1のオーディオモードにおけるオーディオデータ960の再生に関連付けられているレイテンシを指すものとしてよい。デバイス個々のオーディオレイテンシ寄与917は、たとえば、複数のオーディオ再生モードに関連付けられている複数のレイテンシ値の平均を指してもよい。

【0604】

言い換えると、シンクデバイス992は、シンクデバイスによって報告されるデバイス個々のレイテンシ情報909が第1のデジタルメディアインターフェース970から第2のデジタルメディアインターフェース975にオーディオデータ960を転送することに関連付けられているレイテンシ情報を含むように、デバイス個々のレイテンシ情報909を提供するよう構成される。

【0605】

ビデオレンダリングデバイス992は、たとえば、第2のオーディオモードをサポートするよう構成されてもよい。たとえば、ビデオレンダリングデバイスは、オーディオデータ960が第2のオーディオモードを使用して再生され得るようにオーディオデータ960をパススルーするよう構成されてもよい。第2のオーディオモードに対する、第1のデジタルメディアインターフェース970上のオーディオデータ960の受信と、第2のデジタルメディアインターフェース975上のオーディオデータ960の提供との間のレイテンシを記述するレイテンシ値は、デバイス個々のパススルーレイテンシ情報919、たとえば、デバイス個々のパススルーレイテンシ情報219によって記述され、これはデバイス個々のレイテンシ情報909の一部であってよい。

【0606】

言い換えると、シンクデバイス992によって報告されるデバイス個々のレイテンシ情報909は、第1のオーディオモードを使用するオーディオ再生に関連付けられているレイテンシ情報917、および/または複数の異なるモードを使用するオーディオ再生に関連付けられている平均レイテンシ情報917、および/または第2のオーディオモードに対するオーディオ情報のパススルーに関連付けられているレイテンシ情報919も含み得る。

【0607】

デバイス個々のパススルーレイテンシ情報919は、第2のオーディオモードのオーディオデータのパススルーを指しているので、たとえば、第1のオーディオモードにおける再生および/または第1のオーディオモードに対するオーディオデータのパススルーに関係し得るデバイス個々のオーディオレイテンシ寄与917とは異なり得る。

【0608】

言い換えると、シンクデバイス992は、第1のオーディオモードに対するオーディオ経路のトータルレイテンシを記述するか、または複数のオーディオモードにわたるオーディオ経路の平均トータルレイテンシを記述する、トータルオーディオレイテンシ情報への寄与917を提供するよう構成されるものとしてよく、トータルオーディオレイテンシ情報への寄与917は、第2のオーディオモードに対するオーディオ情報のパススルーに関連付けられているレイテンシ情報と異なる。

【0609】

たとえば、シンクデバイス992は、表2に、または代替的におよび任意選択で表3に、示されているメッセージのうちの1つまたは複数をソースデバイスから(たとえば、ソースデバイス100、200、400から)受信し、それぞれの返信メッセージ(たとえば、表2に、または代替的におよび任意選択で表3に、示されている情報を含む、たとえば、デバイス個々のレイテンシ情報909を提供する)を提供するよう構成され得る。

【0610】

G)図10によるオーディオデータおよびビデオデータの提供のための方法
図10は、一実施形態によるオーディオデータおよびビデオデータを提供するための方法1000を示すブロック図である。

【0611】

オーディオデータ、たとえば、オーディオデータ160、260、660、760、960、およびビデオデータ、たとえばビデオデータ165、265、865、965を、1つまたは複数のデジタルメディアインターフェース、たとえば1つまたは複数のデジタルメディアインターフェース170、270上で提供するための方法1000は、オーディオデータ、たとえば、オーディオデータ160、260、660、760、960の提供と、ビデオデータ、たとえば、ビデオデータ165、265、865、965の提供との間のタイムアラインメント、たとえば、タイムアラインメント150、250、350を、オーディオ経路のレイテンシに関する情報、たとえば、オーディオ経路のレイテンシに関する情報110、210、310に基づき、およびビデオ経路のレイテンシに関する情報、たとえば、ビデオ経路のレイテンシに関する情報120、220、320に基づき、自動的に調整するステップ1010を含む。

【0612】

H)図11によるオーディオ再生デバイスを操作するための方法
図11は、一実施形態による、シンクデバイス、たとえば、オーディオ再生デバイス282、482、682、782を操作するための方法1100を示すブロック図である。

【0613】

方法1100は、オーディオデータ、たとえば、オーディオデータ160、260、660、760、960を、デジタルメディアインターフェース、たとえば1つまたは複数のデジタルメディアインターフェース170、270を介して受信するステップ1110を含む。方法1100は、受信されたオーディオデータを復号して、復号済みオーディオデータ、たとえば、復号済みオーディオデータ662、762を取得するさらなるステップ1120を含む。方法1100は、復号済み出力データを出力するさらなるステップ1230を含む。方法1100は、ソースデバイスからの要求に応答して、デバイス個々のレイテンシ情報、たとえば、第1のオーディオモードを使用する再生に関連付けられているレイテンシ情報および第2のオーディオモードを使用する再生に関連付けられているレイテンシ情報を含むデバイス個々のレイテンシ情報616、716を報告するさらなるステップ1240を含む。

【0614】

図11に提示されているような方法1100のステップの順序は必須ではなく、これらのステップは他の任意の順序で、または並行して実行されてもよいことが指摘される。特に、ステップ1140は、独立して、すなわち、他のステップの前、後、または時間的に重なって実行されてもよい。

【0615】

I)図12によるビデオレンダリングデバイスを操作するための方法
図12は、一実施形態による、シンクデバイス、たとえば、ビデオレンダリングデバイス292、892、992を操作するための方法1200を示すブロック図である。

【0616】

方法1200は、ビデオデータ、たとえば、ビデオデータ165、265、865、965を、デジタルメディアインターフェース、たとえばデジタルメディアインターフェース870、970を介して受信するステップ1210を含む。方法1200は、受信されたビデオデータをレンダリングするさらなるステップ1220を含む。方法1200は、デバイス個々のレイテンシ情報、たとえばデバイス個々のレイテンシ情報809、909を報告するさらなるステップ1230を含み、これはレイテンシ情報、たとえば、ビデオ経路のトータルレイテンシを記述するか、または複数のビデオモードにわたるビデオ経路の平均トータルレイテンシを記述するトータルビデオレイテンシ情報への寄与を表す、デバイス個々のビデオレイテンシ寄与227、327、827、927、およびレイテンシ情報、たとえば、ビデオデータのレンダリングの実際のレイテンシを表す、現在のビデオレイテンシ情報228、328、828、928を含む。

【0617】

図12に提示されているような方法1200のステップの順序は必須ではなく、これらのステップは他の任意の順序で、または並行して実行されてもよいことが指摘される。特に、ステップ1230は、独立して、すなわち、他のステップの前、後、または時間的に重なって実行されてもよい。

【0618】

J)さらなる実施形態、態様、および利点
本発明のさらなる実施形態は、次の追加の実施形態によって説明される。

【0619】

1)HDMI1.4以降の仕様による、HDMIポート上でオーディオおよびビデオデータをプレイアウトするためのソースデバイスであって、
プレイアウトされるオーディオストリームとビデオストリームとの間のタイムアラインメントの、オーディオ経路のレイテンシ(HDMIソース出力から可聴オーディオまで)とビデオ経路のレイテンシ(HDMIソース出力から可視ビデオまで)に関する情報に基づく自動調整を備えるソースデバイス。

【0620】

2)ビデオストリームは、オーディオ経路のレイテンシがビデオ経路のレイテンシよりも大きい場合に圧縮領域で遅延できる、追加の実施形態1に記載のソースデバイス。

【0621】

3)ソースデバイスは、「CECレイテンシの発見およびネゴシエーション(CEC DaNoL)」で定義されているCEC DaNoLプロトコルを実装する、追加の実施形態1または2のいずれか一項に記載のソースデバイス。

【0622】

4)ソースデバイスは、文書「MPEG-H_Adjust_Source_Delay_Algorithm_(MASDA)」において定義されているステップを実行して、オーディオ経路およびビデオ経路のレイテンシを計算するために使用され得る可能な限り多くのパラメータを獲得し、
a)「8.7.3 発見アルゴリズム」(HDMI 1.4b)または「10.9 発見アルゴリズム」(HDMI 2.1x)を実行して、ソースデバイスからビデオシンクまで、およびソースデバイスからオーディオシンクまでの接続済みデバイスのトポロジーを発見し、
b)EDIDを読み取り、適用可能な場合にオーディオレイテンシおよびビデオレイテンシに関する情報を抽出し、
c)(任意選択で)CEC DaNoLを使用してオーディオシンクのMPEG-Hオーディオ復号レイテンシをネゴシエートし、
d)CEC DaNoLをサポートするオーディオ経路およびビデオ経路内のすべてのデバイスからCEC DaNoLプロトコルを用いてレイテンシ情報を収集する
追加の実施形態1から3のいずれか一項に記載のソースデバイス。

【0623】

5)ソースデバイスは、WLANまたはイーサネットまたはBluetoothまたは他のネットワーク接続を使用して他のデバイスと通信することができ、この通信は、そうでなければCEC DaNoLを使用して収集されるであろう他のデバイスのレイテンシ情報を収集するためにソースデバイスによって使用される、追加の実施形態1から3のいずれか一項に記載のソースデバイス。

【0624】

6)ソースデバイスは、
a)MASDAにおいて定義されているようにビデオレイテンシの利用可能な最良の推定値を計算し、
b)MASDAにおいて定義されているようにオーディオレイテンシの利用可能な最良の推定値を計算する
追加の実施形態1から5のいずれか一項に記載のソースデバイス。

【0625】

7)ソースデバイスは、収集されたレイテンシ情報を使用して、MASDAにおいて定義されているようにオーディオとビデオとの間の整合を調整する、追加の実施形態1から6のいずれか一項に記載のソースデバイス。

【0626】

8)ソースデバイスは、オーディオとビデオとの整合を手動で微調整するためのインターフェースをユーザに提供する、追加の実施形態1から7のいずれか一項に記載のソースデバイス。

【0627】

9)HDMI 1.4以降に準拠するHDMI入力を備え、CEC DaNoLを使用してレイテンシ情報の交換を実装するビデオシンクデバイス。

【0628】

10)HDMIまたはHDMI ARC入力を備え、CEC DaNoLを使用してレイテンシ情報の交換を実装するオーディオシンクデバイス。

【0629】

11)それに加えて、S/PDIF(電気または光)オーディオ入力を有する請求項10に記載のオーディオシンクデバイス。

【0630】

従来の解決策:今日の同期化方式
(ここで論じられている詳細は、任意選択で実施形態に導入することができる)
オーディオ再生とビデオ再生との間の同期を改善するための従来のアプローチには、次のような制約がある。

【0631】

1)HDMI 1.4および2.0では、ソースデバイスがオーディオおよびビデオを同期してプレイアウトすることを期待する。

【0632】

2)シンクデバイスは、ビデオレンダリングに必要な同じ量だけオーディオを遅延させることを期待されている。

【0633】

3)この方式では、ビデオレイテンシより+20ms大きいオーディオレイテンシは禁止される。

【0634】

4)(ビデオシンク以外のデバイスによる)ビデオレイテンシの発見は、今日のデバイスには典型的には実装されていない任意選択の機構に基づく。したがって、実際には、オーディオシンクデバイスは、通常、ビデオレイテンシを発見することができない。

【0635】

本発明の実施形態の態様
(本発明による実施形態は、次に言及されている態様の1つもしくは複数またはすべてを実装し得る)
次の態様は、問題を解決するために本発明の実施形態によって具現化され得る。

【0636】

1)ソースデバイスおよびシンクデバイスが様々なオーディオおよび/またはビデオレイテンシを互いに直接伝達することを可能にするベンダー特有のCECコマンドの新しいセット(HDMI1.3以降のすべてのHDMIバージョンと互換性がある)を定義する。「CECレイテンシの発見およびネゴシエーション(CEC DaNoL)」の章を参照されたい。前記章において説明されている特徴、機能性、および詳細の1つもしくは複数またはすべてが、任意選択で、個別および組合せの両方で使用され得る。

【0637】

2)既存のリソースからのすべての情報(または少なくとも一部の情報、もしくは少なくとも関連する情報)を使用して、セットアップのトポロジー(ソースからシンクまでの経路)を発見し、オーディオおよびビデオレイテンシを発見する。これをCEC DaNoLを適用することで得られる情報と組み合わせて増強する。代替的に、通常であればCEC DaNoLを介して交換されるであろう情報は、デバイス間の他の通信経路を使用して交換され得る。

【0638】

3)すべての知られている情報(または関連するすべての情報)を使用することによってソースデバイス内のオーディオとビデオとの間のタイムアラインメントをとる。ビデオはソースデバイスでは圧縮形式で利用可能であるので、妥当な努力でのみソースデバイスにおいて遅延させることができる。

【0639】

ステップ2)および3)は、第C.1章「MPEG-H_Adjust_Source_Delay_Algorithm_(MASDA)」で、情報が部分的にしか利用可能でないこともあり得るという事実に関しても、詳しく説明される。前記章において説明されている特徴、機能性、および詳細の1つもしくは複数またはすべてが、任意選択で、個別および組合せの両方で使用され得る。

【0640】

発明の利点
(本発明の実施形態は、次の利点のうちの1つもしくは複数またはすべてを含み得る)

【0641】

1)オーディオレイテンシがビデオレイテンシよりも+20ms大きい場合、リップシンクが達成され得る。

【0642】

2)提案されている方法は、HDMI1.4およびHDMI2.0の仕様と互換性がある。

【0643】

3)提案されている方法は、CEC DaNoLをサポートするデバイスとサポートしていないデバイスとを組み合わせて使用できる。

【0644】

4)提案されている手法は、すべての情報が利用可能であるとは限らない場合に、徐々に精度が低下するが、それでも使用可能であるという点でグレースフルデグラデーションを使用する。

【0645】

5)提案されている方法は、CEC DaNoLがソースおよびシンクにおいてサポートされており、EDIDからのレイテンシ情報が経路内でサポートされている場合、ソースとシンクとの間の経路のオーディオレイテンシを発見することができる。

【0646】

6)提案されている方法は、すべてのオーディオコーデックに対して、およびそのサブフレーバーに対してさえ、独立してオーディオおよびビデオレイテンシを調整できる。

【0647】

7)提案されている方法は、既存のリップシンク管理アルゴリズムの速度および信頼性を上回る(オーディオレイテンシ<ビデオレイテンシ+20msの場合にのみ定義されている)。

【0648】

8)提案されている方法DaNoLでは、ソースデバイスとオーディオ復号デバイスとの間のレイテンシネゴシエーションを定義し、それによりレイテンシを最適な値に調整することが可能である。

【0649】

9)提案されている方法では、各取得された情報に対する優先順位を定義し、最も信頼性の高いものだけを使用するが、最大でも推定値のレベルまで機能する。

【0650】

K)さらなる態様
方法ステップのうちのいくつかまたはすべては、たとえばマイクロプロセッサ、プログラム可能なコンピュータ、または電子回路のような、ハードウェア装置によって(またはそれを使用することで)実行され得る。いくつかの実施形態において、最も重要な方法ステップのうちの1つまたは複数は、そのような装置によって実行され得る。

【0651】

いくつかの実装形態の要件に応じて、本発明の実施形態は、ハードウェアもしくはソフトウェアで、または少なくとも部分的にハードウェアで、もしくは少なくとも部分的にソフトウェアで実装され得る。実装形態は、それぞれの方法が実行されるようなプログラム可能なコンピュータシステムと連携する(または連携することができる)、電子的に読み取り可能な制御信号が記憶される、デジタル記憶媒体、たとえば、フロッピィディスク、DVD、Blu-Ray、CD、ROM、PROM、EPROM、EEPROM、またはFLASH（登録商標）メモリを使用して実行され得る。したがって、デジタル記憶媒体は、コンピュータ読み取り可能であるものとしてよい。

【0652】

本発明によるいくつかの実施形態は、本明細書で説明されている方法のうちの1つが実行されるようなプログラム可能なコンピュータシステムと連携することができる、電子的に読み取り可能な制御信号を収めたデータ担体を含む。

【0653】

一般に、本発明の実施形態は、プログラムコードを含むコンピュータプログラム製品として実装することができ、プログラムコードはコンピュータプログラム製品がコンピュータ上で稼働するときに方法のうちの1つを実行するように動作可能である。プログラムコードは、たとえば、機械読み取り可能な担体上に記憶され得る。

【0654】

他の実施形態は、機械読み取り可能な担体上に記憶されている、本明細書で説明されている方法のうちの1つを実行するためのコンピュータプログラムを含む。

【0655】

したがって、言い換えると、本発明の方法の一実施形態は、コンピュータプログラムがコンピュータ上で稼動しているときに、本明細書で説明されている方法のうちの1つを実行するためのプログラムコードを有するコンピュータプログラムである。

【0656】

したがって、本発明の方法のさらなる実施形態は、本明細書で説明されている方法のうちの1つを実行するためのコンピュータプログラムが記録されるデータ担体(またはデジタル記憶媒体またはコンピュータ読み取り可能な媒体)である。データ担体、デジタル記憶媒体、または記録媒体は、典型的には、有形であり、および/または非一時的なものである。

【0657】

したがって、本発明の方法のさらなる実施形態は、本明細書で説明されている方法のうちの1つを実行するためのコンピュータプログラムを表現するデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、たとえば、データ通信接続、たとえばインターネットを介して、転送されるよう構成され得る。

【0658】

さらなる実施形態は、本明細書で説明されている方法のうちの1つを実行するよう構成されるか、または適合される処理手段、たとえば、コンピュータ、またはプログラム可能な論理デバイスを含む。

【0659】

さらなる実施形態は、本明細書で説明されている方法のうちの1つを実行するためのコンピュータプログラムがインストールされているコンピュータを含む。

【0660】

本発明によるさらなる実施形態は、本明細書で説明されている方法のうちの1つを実行するためのコンピュータプログラムを受信器に(たとえば、電子的にまたは光学的に)転送するよう構成されている装置またはシステムを含む。受信器は、たとえば、コンピュータ、モバイルデバイス、メモリデバイス、または同様のものであってよい。装置またはシステムは、たとえば、コンピュータプログラムを受信器に転送するためのファイルサーバを含み得る。

【0661】

いくつかの実施形態において、プログラム可能な論理デバイス(たとえば、フィールドプログラマブルゲートアレイ)は、本明細書で説明されている方法の機能うちのいくつかまたはすべてを実行するために使用されてよい。いくつかの実施形態において、フィールドプログラマブルゲートアレイは、本明細書で説明されている方法のうちの1つを実行するためにマイクロプロセッサと連携し得る。一般的に、これらの方法は、好ましくは、任意のハードウェア装置によって実行される。

【0662】

本明細書で説明されている装置は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータとの組合せを使用して実装され得る。

【0663】

本明細書で説明されている方法は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータとの組合せを使用して実行され得る。

【0664】

上で説明されている実施形態は、単に、本発明の原理について例示しているだけである。本明細書で説明されている配置構成および詳細の修正および変更は、当業者には明らかであることは理解される。したがって、次に示す特許請求項の範囲によってのみ制限され、本明細書の実施形態の記述および説明を用いて提示されている具体的詳細によって制限されないことが意図されている。

【0665】

略語
次に、前述の説明で使用される略語が例示的に説明される。すべての詳細は任意選択のものである。略語の説明に用いられている詳細は、本明細書において説明されている実施形態のうちのいずれにも、個別と任意の組合せの両方で、任意選択で導入され得る。

【0666】

【表1A】

【0667】

【表1B】

【符号の説明】

【0668】

100 ソースデバイス
102 アジャスター
130 計算器
150 タイムアラインメント
160 オーディオデータ
165 ビデオデータ
170 デジタルメディアインターフェース
180 オーディオ経路
190 ビデオ経路、ビデオ信号経路
200 ソースデバイス
202 アジャスター
205 ユーザインターフェース
206 ユーザ調整
207 追加のリンク
212 オーディオ遅延情報
222 ビデオ遅延情報
224 トータルビデオレイテンシ情報
226 デバイス個々のビデオレイテンシ情報
227 デバイス個々のビデオレイテンシ寄与
228 現在のビデオレイテンシ情報
230 計算器
240 コミュニケータ
250 タイムアラインメント
260 オーディオデータ
265 ビデオデータ
266 復号器
267 ビデオデータ
270 デジタルメディアインターフェース
280 オーディオ経路
282 オーディオ再生デバイス
290 ビデオ経路
292 ビデオ再生デバイス
292 ビデオレンダリングデバイス
300 ソースデバイス
302 アジャスター
314 トータルオーディオレイテンシ情報
316 デバイス個々のオーディオレイテンシ情報
317 デバイス個々のオーディオレイテンシ寄与
318 オーディオ復号レイテンシ
319 デバイス個々のパススルーレイテンシ情報
324 トータルビデオレイテンシ情報
326 デバイス個々のビデオレイテンシ情報
327 デバイス個々のビデオレイテンシ寄与
328 現在のビデオレイテンシ情報
329 補正器
331 絶対ビデオレイテンシ計算器
333 第2のビデオレイテンシ計算
334 第3のビデオレイテンシ計算
335 第4のビデオレイテンシ計算
336 絶対オーディオ経路レイテンシ計算器
337 第1のオーディオ経路レイテンシ計算
338 第2のオーディオ経路レイテンシ計算
339 第3のオーディオ経路レイテンシ計算
340 コミュニケータ
341 ディスカバラー
342 トータルレイテンシリーダー
343 レイテンシネゴシエータ
344 コレクタ
350 タイムアラインメント
395 トポロジー情報
400 ソースデバイス
418 復号レイテンシ
447 可能なレイテンシ値
448 所望のレイテンシ値
482 オーディオ再生デバイス
500A～500I ソースデバイス
500A～500I STB
514A～514I トータルオーディオレイテンシ情報
524A～524I トータルビデオレイテンシ情報
581B～581I デバイス
582A～581I サウンドバー
591A～591C デバイス
592A～592I テレビ
616 デバイス個々のレイテンシ情報
617 デバイス個々のオーディオレイテンシ寄与
618 オーディオ復号レイテンシ
640 コミュニケータ
660 オーディオデータ
661 復号器
662 復号済み出力データまたは復号済みオーディオデータ
670 デジタルメディアインターフェース
682 オーディオ再生デバイス
684 出力
716 デバイス個々のレイテンシ情報
717 デバイス個々のオーディオレイテンシ寄与
718 オーディオ復号レイテンシ
740 コミュニケータ
747 可能なレイテンシ値
749 レイテンシ選択メッセージ
760 オーディオデータ
762 復号済みオーディオデータ
770 デジタルメディアインターフェース
782 オーディオ再生デバイス
784 出力
827 レイテンシ情報
828 現在のレイテンシ情報
840 コミュニケータ
865 ビデオデータ
866 レンダラー
870 デジタルメディアインターフェース
892 ビデオレンダリングデバイス
909 デバイス個々のレイテンシ情報
917 デバイス個々のオーディオレイテンシ寄与
919 デバイス個々のパススルーレイテンシ情報
927 デバイス個々のビデオレイテンシ寄与
928 現在のビデオレイテンシ情報
940 コミュニケータ
960 オーディオデータ
965 ビデオデータ
966 レンダラー
970 第1のデジタルメディアインターフェース
975 第2のデジタルメディアインターフェース
992 ビデオレンダリングデバイス

【図1】

【図2-1】

【図2-2】

【図3-1】

【図3-2】

【図4】

【図5A】

【図5B】

【図5C】

【図5D】

【図5E】

【図5F】

【図5G】

【図5H】

【図5I】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14-1】

【図14-2】

【図15-1】

【図15-2】

【図16】

【手続補正書】

【提出日】2021-06-25

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

オーディオデータ(160、260、660、760、960)およびビデオデータ(165、265、865、965)を1つまたは複数のデジタルメディアインターフェース(170、270)上で提供するためのソースデバイス(100、200、400)であって、
前記ソースデバイス(100、200、400)は、オーディオ経路(180、280)のレイテンシに関する情報(110、210、310)に基づき、および、ビデオ経路(190、290)のレイテンシに関する情報(120、220、320)に基づき、オーディオデータ(160、260、660、760、960)の提供とビデオデータ(165、265、865、965)の提供との間のタイムアラインメント(150、250、350)を自動的に調整するよう構成され、
前記ソースデバイス(100、200、400)は、
符号化済みビデオ表現(267)を取得し、
前記符号化済みビデオ表現(267)を復号して、復号済みビデオ表現を取得し、
前記ビデオデータ(165、265、865、965)が前記復号済みビデオ表現を表すように、前記ビデオデータ(165、265、865、965)を提供する
よう構成され、
前記ソースデバイス(100、200、400)は、前記オーディオ経路の前記レイテンシに関する前記情報(110、210、310)および前記ビデオ経路の前記レイテンシに関する情報(120、220、320)に基づき、前記符号化済みビデオ表現(267)の前記復号を選択的に遅延させるよう構成され、
前記ソースデバイス(100、200、400)は、前記1つまたは複数のデジタルインターフェース(170、270)のうちの1つを介してオーディオ再生デバイス(282、482、682、782)から取得されるオーディオ遅延情報(212)を使用して前記オーディオ経路の前記レイテンシに関する前記情報(110、210、310)を取得するよう構成され、および/または
前記ソースデバイス(100、200、400)は、前記1つまたは複数のデジタルインターフェース(170、270)のうちの1つを介して、ビデオレンダリングデバイス(292、892、992)から取得されるビデオ遅延情報(222)を使用して前記ビデオ経路の前記レイテンシに関する前記情報(120、220、320)を取得するよう構成される、ソースデバイス(100、200、400)。

【請求項2】

前記ソースデバイス(100、200、400)は、復号レイテンシ(218、318、418)をオーディオ再生デバイス(282、482、682、782)とネゴシエートし、前記ネゴシエートされた復号レイテンシに依存して前記タイムアラインメント(150、250、350)を調整するよう構成される請求項1に記載のソースデバイス(100、200、400)。

【請求項3】

前記ソースデバイス(100、200、400)は、前記オーディオ再生デバイス(282、482、682、782)から、可能なレイテンシ値(447、747)のスパンを記述するレイテンシスパン情報を取得するか、または前記オーディオ再生デバイス(282、482、682、782)から、1つもしくは複数の可能なレイテンシ値(447、747)を記述するレイテンシリスト情報を取得するよう構成され、
前記ソースデバイス(100、200、400)は、前記レイテンシスパン情報または前記レイテンシリスト情報に基づき所望のレイテンシ値(448)を選択するよう構成され、
前記ソースデバイス(100、200、400)は、前記所望のレイテンシ値(448)を使用することを前記オーディオ再生デバイス(282、482、682、782)に命令するよう構成され、
前記ソースデバイス(100、200、400)は、前記選択された所望のオーディオ再生レイテンシ値(448)に依存して前記タイムアラインメント(150、250、350)を調整するよう構成される請求項2に記載のソースデバイス(100、200、400)。

【請求項4】

前記ソースデバイス(100、200、400)は、命令されたように、前記オーディオ再生デバイス(282、482、682、782)が前記選択された所望のレイテンシ値(448)を使用するかどうかを検証するよう構成され、
前記ソースデバイス(100、200、400)は、前記オーディオ再生デバイス(282、482、682、782)が前記選択された所望のレイテンシ値(448)を使用できなかった場合に既定のレイテンシ値を考慮するよう構成される請求項3に記載のソースデバイス(100、200、400)。

【請求項5】

前記ソースデバイス(100、200、400)は、前記オーディオ再生デバイス(282、482、682、782)から、可能なレイテンシ値(447、747)のスパンを記述するレイテンシスパン情報を含むか、または前記オーディオ再生デバイス(282、482、682、782)から、1つもしくは複数の可能なレイテンシ値(447、747)を記述するレイテンシリスト情報を含むレイテンシネゴシエーション要求を受信するよう構成され、
前記ソースデバイス(100、200、400)は、前記レイテンシスパン情報または前記レイテンシリスト情報に基づき、所望のレイテンシ値(448)を選択するよう構成される請求項3または4に記載のソースデバイス(100、200、400)。

【請求項6】

前記ソースデバイス(100、200、400)は、トポロジー情報(395)を取得するために、前記ソースデバイス(100、200、400)とオーディオ再生デバイス(282、482、682、782)との間の接続、およびさらに前記ソースデバイス(100、200、400)とビデオレンダリングデバイス(292、892、992)との間の接続のトポロジーを発見するよう構成され、
前記ソースデバイス(100、200、400)は、前記トポロジー情報(395)に依存して前記タイムアラインメント(150、250、350)を調整するよう構成される請求項1から5のいずれか一項に記載のソースデバイス(100、200、400)。

【請求項7】

前記ソースデバイス(100、200、400)は、第1のオーディオモードに対するオーディオ経路のトータルレイテンシを記述するか、または複数のオーディオモードにわたる前記オーディオ経路の平均トータルレイテンシを記述する、トータルオーディオレイテンシ情報(214、314)を取得するよう構成され、および/または
前記ソースデバイス(100、200、400)は、第1のビデオモードに対するビデオ経路のトータルレイテンシを記述するか、または複数のビデオモードにわたる前記ビデオ経路の平均トータルレイテンシを記述する、トータルビデオレイテンシ情報を取得するよう構成される請求項1から6のいずれか一項に記載のソースデバイス(100、200、400)。

【請求項8】

前記ソースデバイス(100、200、400)は、複数の個別のデバイスに、デバイス個々のレイテンシ情報を問い合わせるよう構成される請求項1から7のいずれか一項に記載のソースデバイス(100、200、400)。

【請求項9】

前記ソースデバイス(100、200、400)は、前記ビデオ経路の前記レイテンシに関する前記情報(120、220、320)を決定することを、
前記ビデオレンダリングデバイス(292、892、992)、および前記ソースデバイス(100、200、400)と前記ビデオレンダリングデバイス(292、892、992)との間のすべてのデバイスについてのデバイス個々の現在のビデオレイテンシ情報が前記ソースデバイス(100、200、400)に利用可能であるならば、デバイス個々の現在のビデオレイテンシ情報の総和を使用し、ならびに/または
第1のビデオモードに対するビデオ経路のトータルレイテンシを記述するか、または複数のビデオモードにわたる前記ビデオ経路の平均トータルレイテンシを記述する、トータルビデオレイテンシ情報と、
前記トータルビデオレイテンシ情報への前記ビデオレンダリングデバイス(292、892、992)の寄与を記述するレイテンシ情報と、
前記ビデオレンダリングデバイス(292、892、992)の現在のビデオレイテンシ情報とを、
前記トータルビデオレイテンシ情報、前記トータルビデオレイテンシ情報への前記ビデオレンダリングデバイス(292、892、992)の寄与を記述する前記レイテンシ情報、および前記ビデオレンダリングデバイス(292、892、992)の前記現在のビデオレイテンシ情報が前記ソースデバイス(100、200、400)に利用可能であるが、いくつかのデバイス個々の現在のビデオレイテンシ情報は前記ソースデバイス(100、200、400)に利用不可能であるならば使用し、ならびに/または
前記トータルビデオレンダリング情報が前記ソースデバイス(100、200、400)に利用可能であるが、前記ビデオレンダリングデバイス(292、892、992)の前記現在のビデオレイテンシ情報は前記ソースデバイス(100、200、400)に利用不可能であるならば、前記トータルビデオレンダリング情報を使用して
行うよう構成される請求項1から8のいずれか一項に記載のソースデバイス(100、200、400)。

【請求項10】

前記ソースデバイス(100、200、400)は、前記オーディオ経路の前記レイテンシに関する前記情報(110、210、310)を決定することを、
デバイス個々のパススルーレイテンシ情報(218)が前記ソースデバイス(100、200、400)と前記オーディオ再生デバイス(282、482、682、782)との間のすべてのデバイスに対して利用可能であるならば、前記第2のオーディオモードに対するオーディオ情報のパススルーに関連付けられているデバイス個々のパススルーレイテンシ情報(218)の総和を使用し、および/または
第1のオーディオモードに対するオーディオ経路のトータルレイテンシを記述するか、または複数のオーディオモードにわたる前記オーディオ経路の平均トータルレイテンシを記述する、トータルオーディオレイテンシ情報(214、314)を使用し、および/または
前記ソースデバイス(100、200、400)と前記オーディオ再生デバイス(282、482、682、782)との間のオーディオ経路内のデバイスの任意の知られているか、または推定されるオーディオレイテンシ情報の総和を使用して
行うよう構成される請求項1から9のいずれか一項に記載のソースデバイス(100、200、400)。

【請求項11】

前記ソースデバイス(100、200、400)は、前記第1のオーディオモードを使用する再生に関連付けられているレイテンシ情報を使用し、前記第2のオーディオモードに対するオーディオ情報のパススルーに関連付けられているレイテンシに関するレイテンシ情報を使用して前記トータルオーディオレイテンシ情報(214)を使用して取得される前記オーディオ経路の前記レイテンシに関する情報(110、210、310)を補正するよう構成される請求項1から10のいずれか一項に記載のソースデバイス(100、200、400)。

【請求項12】

前記ソースデバイス(100、200、400)は、前記ソースに利用可能な情報の量に依存して前記ビデオ経路の前記レイテンシに関する前記情報(120、220、320)の決定のための決定規則を選択するよう構成される請求項1から11のいずれか一項に記載のソースデバイス(100、200、400)。

【請求項13】

前記ソースデバイス(100、200、400)は、前記ビデオ経路の前記レイテンシに関する前記情報(120、220、320)に依存して、および前記オーディオ経路の前記レイテンシに関する前記情報(110、210、310)に依存して、オーディオデータ(160、260、660、760、960)の前記提供において適用されるべき遅延および/または前記ビデオデータ(165、265、865、965)の前記提供において適用されるべき遅延を決定するよう構成される請求項1から12のいずれか一項に記載のソースデバイス(100、200、400)。

【請求項14】

前記ソースデバイス(100、200、400)は、ユーザインターフェース(205)を使用して前記タイムアラインメント(150、250、350)の調整も可能とするよう構成される請求項1から13のいずれか一項に記載のソースデバイス(100、200、400)。

【請求項15】

前記ソースデバイス(100、200、400)は、1つもしくは複数のデジタルメディアインターフェース(170、270)とは別個のものである追加のリンク(207)を使用して、前記オーディオ再生デバイス(282、482、682、782)と、かつ/または前記ビデオレンダリングデバイス(292、892、992)、かつ/または前記ソースデバイス(100、200、400)と前記オーディオ再生デバイス(282、482、682、782)との間の1つもしくは複数のデバイス、かつ/または前記ソースデバイス(100、200、400)と前記ビデオレンダリングデバイス(292、892、992)との間の1つもしくは複数のデバイスと通信して、前記1つまたは複数のデバイスからレイテンシ情報を取得するよう構成される請求項1から14のいずれか一項に記載のソースデバイス(100、200、400)。

【請求項16】

シンクデバイス(682、782)であって、
前記シンクデバイス(682、782)は、デジタルメディアインターフェース(670)を介してオーディオデータ(160、260、660、760、960)を受信するよう構成され、
前記シンクデバイス(682、782)は、前記受信されたオーディオデータ(160、260、660、760、960)を復号して、復号済みオーディオデータ(662、762)を取得するよう構成され、
前記シンクデバイス(682、782)は、前記復号済み出力データ(662、762)を出力するよう構成され、
前記シンクデバイス(682、782)は、ソースデバイス(100、200、400)からの要求に応答して、第1のオーディオモードを使用する再生に関連付けられているレイテンシ情報(617、717)および第2のオーディオモードを使用する再生に関連付けられているレイテンシ情報(618、718)を含むデバイス個々のレイテンシ情報(616、716)を報告するよう構成され、
前記シンクデバイス(682、782)は、復号レイテンシ(218、318、418、618、718)、または前記第2のオーディオモードに関連付けられている再生レイテンシを、ソースデバイス(100、200、400)とネゴシエートするよう構成される、シンクデバイス(682、782)。

【請求項17】

前記シンクデバイス(682、782)は、
可能な復号レイテンシ値(447、747)または再生レイテンシ値のスパンを記述するレイテンシスパン情報を前記ソースデバイス(100、200、400)に提供するか、または
1つもしくは複数の可能な復号レイテンシ値または再生レイテンシ値を記述するレイテンシリスト情報を前記ソースデバイス(100、200、400)に提供する
よう構成され、
前記シンクデバイス(682、782)は、前記ソースデバイス(100、200、400)からレイテンシ選択メッセージ(749)を受信し、前記レイテンシ選択メッセージ(749)に応答して復号レイテンシ(218、318、418、618、718)または再生レイテンシを設定するよう構成される請求項16に記載のシンクデバイス(682、782)。

【請求項18】

前記シンクデバイス(682、782)は、第1のオーディオモードに対するオーディオ経路のトータルレイテンシを記述するか、または複数のオーディオモードにわたる前記オーディオ経路の平均トータルレイテンシを記述する、トータルオーディオレイテンシ情報(214、314)への寄与(217、317、617、717)を提供するよう構成され、
前記トータルオーディオレイテンシ情報(214、314)への前記寄与(617、717)は、第2のオーディオモードを使用して再生に関連付けられている前記レイテンシ情報と異なる請求項16または17に記載のシンクデバイス(682、782)。

【請求項19】

前記シンクデバイス(682、782)によって提供されるトータルオーディオレイテンシ情報(214、314)への前記寄与(217、317、617、717)は、前記第1のオーディオモードを使用する再生に関連付けられている前記レイテンシ情報に等しい請求項16から18のいずれか一項に記載のシンクデバイス(682、782)。

【請求項20】

シンクデバイス(292、892、992)であって、
前記シンクデバイス(292、892、992)は、デジタルメディアインターフェース(870、970)を介してビデオデータ(165、265、865、965)を受信するよう構成され、
前記シンクデバイス(292、892、992)は、前記受信されたビデオデータ(165、265、865、965)をレンダリングするよう構成され、
前記シンクデバイス(292、892、992)は、
ビデオ経路のトータルレイテンシを記述するか、または複数のビデオモードにわたる前記ビデオ経路の平均トータルレイテンシを記述する、前記シンクデバイス(292、892、992)のトータルビデオレイテンシ情報への寄与を表す静的なレイテンシ情報(827、927)と、
ビデオデータ(165、265)のレンダリングの実際のレイテンシを表すレイテンシ情報(828、928)とを
含むデバイス個々のレイテンシ情報(809、909)を報告するよう構成され、
前記トータルビデオレイテンシ情報への前記寄与は、ビデオデータのレンダリングの前記実際のレイテンシを表す前記レイテンシ情報とは異なる、
シンクデバイス(292、892、992)。

【請求項21】

前記トータルビデオレイテンシ情報への前記寄与を表す前記静的なレイテンシ情報(827、927)は、
前記トータルビデオレイテンシ情報への前記寄与を表す前記静的なレイテンシ情報(827、927)が、前記ビデオデータをレンダリングするための標準ビデオモードを用いるときの前記シンクデバイスのビデオレイテンシを表し、
ビデオデータのレンダリングの前記実際のレイテンシを表す前記レイテンシ情報(828、928)が、前記ビデオデータをレンダリングするために現在用いられているビデオモードについての前記シンクデバイスのビデオレイテンシを表すというように、
ビデオデータのレンダリングの前記実際のレイテンシを表す前記レイテンシ情報(828、928)とは異なる請求項20に記載のシンクデバイス(292、892、992)。

【請求項22】

前記シンクデバイス(292、892、992)によって報告される前記デバイス個々のレイテンシ情報(809、909)は、
第1のオーディオモードを使用するオーディオ再生に関連付けられているレイテンシ情報(917)、および/または
複数の異なるモードを使用するオーディオ再生に関連付けられている平均レイテンシ情報(917)、および/または
前記第2のオーディオモードに対するオーディオ情報のパススルーに関連付けられているレイテンシ情報(919)も含む請求項20または21に記載のシンクデバイス(292、892、992)。

【請求項23】

前記シンクデバイス(292、892、992)は、第1のオーディオモードに対するオーディオ経路のトータルレイテンシを記述するか、または複数のオーディオモードにわたる前記オーディオ経路の平均トータルレイテンシを記述する、トータルオーディオレイテンシ情報(214、314)への寄与(917)を提供するよう構成され、
前記トータルオーディオレイテンシ情報(214、314)への前記寄与(917)は、前記第2のオーディオモードに対するオーディオ情報のパススルーに関連付けられている前記レイテンシ情報(919)と異なる請求項20から22のいずれか一項に記載のシンクデバイス(292、892、992)。

【請求項24】

前記シンクデバイス(292、892、992)は、デバイス個々のレイテンシ情報(809、909)を提供することであって、前記シンクデバイス(292、892、992)によって報告される前記デバイス個々のレイテンシ情報(809、909)が、第1のデジタルメディアインターフェース(870)から第2のデジタルメディアインターフェース(970)へのオーディオデータ(160、260、660、760、860、960)の転送に関連付けられているレイテンシ情報(919)を含むように提供することを行うよう構成される請求項20から23のいずれか一項に記載のシンクデバイス(292、892、992)。

【請求項25】

オーディオデータ(160、260、660、760、960)およびビデオデータ(165、265、865、965)を1つまたは複数のデジタルメディアインターフェース(170、270)上で提供するための方法(1000)であって、
前記方法(1000)は、オーディオ経路のレイテンシに関する情報(110、210、310)に基づき、またビデオ経路のレイテンシに関する情報(120、220、320)に基づき、オーディオデータの提供とビデオデータ(165、265、865、965)の提供との間のタイムアラインメント(150、250、350)を自動的に調整するステップ(1010)を含み、
前記方法(1000)は、
符号化済みビデオ表現(267)を取得し、
前記符号化済みビデオ表現(267)を復号して、復号済みビデオ表現を取得し、
前記ビデオデータ(165、265、865、965)が前記復号済みビデオ表現を表すように、前記ビデオデータ(165、265、865、965)を提供する
ことを含み、
前記方法(1000)は、前記オーディオ経路の前記レイテンシに関する前記情報(110、210、310)および前記ビデオ経路の前記レイテンシに関する情報(120、220、320)に基づき、前記符号化済みビデオ表現(267)の前記復号を選択的に遅延させることを含み、
前記方法(1000)は、
前記1つまたは複数のデジタルインターフェース(170、270)のうちの1つを介してオーディオ再生デバイス(282、482、682、782)から取得されるオーディオ遅延情報(212)を使用して前記オーディオ経路の前記レイテンシに関する前記情報(110、210、310)を取得し、および/または
前記1つまたは複数のデジタルインターフェース(170、270)のうちの1つを介して、ビデオレンダリングデバイス(292、892、992)から取得されるビデオ遅延情報(222)を使用して前記ビデオ経路の前記レイテンシに関する前記情報(120、220、320)を取得する、
ことを含む、方法。

【請求項26】

シンクデバイス(682;782)を操作するための方法(1100)であって、
前記方法は、デジタルメディアインターフェース(170、270)を介してオーディオデータ(160、260、660、760、960)を受信するステップ(1110)を含み、
前記方法は、前記受信されたオーディオデータ(160、260、660、760、960)を復号して、復号済みオーディオデータ(662、762)を取得するステップ(1120)を含み、
前記方法は、前記復号済み出力データ(662、762)を出力するステップ(1230)を含み、
前記方法は、ソースデバイス(100、200、400)からの要求に応答して、前記第1のオーディオモードを使用する再生に関連付けられているレイテンシ情報(217、317、617、717)および第2のオーディオモードを使用する再生に関連付けられているレイテンシ情報(218、318、618、718)を含むデバイス個々のレイテンシ情報を報告するステップ(1240)を含み、
前記方法は、前記第2のオーディオモードに関連付けられる復号レイテンシ(218、318、418、618、718)または再生レイテンシをソースデバイス(100、200、400)とネゴシエートすることを含む、
方法(1100)。

【請求項27】

シンクデバイス(1200)を操作するための方法(1200)であって、
前記方法は、デジタルメディアインターフェース(170、270)を介してビデオデータ(165、265、865、965)を受信するステップ(1210)を含み、
前記方法は、前記受信されたビデオデータ(165、265、865、965)をレンダリングするステップ(1220)を含み、
前記方法は、
ビデオ経路のトータルレイテンシを記述するか、または複数のビデオモードにわたる前記ビデオ経路の平均トータルレイテンシを記述する、トータルビデオレイテンシ情報(224、324)への前記シンクデバイス(292、892、992)の寄与を表すレイテンシ情報(227、327、827、927)と、
ビデオデータ(165、265、865、965)のレンダリングの実際のレイテンシを表すレイテンシ情報(228、328、828、928)とを
含むデバイス個々のレイテンシ情報(809、909)を報告するステップ(1230)を含み、
前記トータルビデオレイテンシ情報への前記寄与(827、927)は、ビデオデータのレンダリングの前記実際のレイテンシを表す前記レイテンシ情報とは異なる、
方法(1200)。

【請求項28】

オーディオデータ(160、260、660、760、960)およびビデオデータ(165、265、865、965)を1つまたは複数のデジタルメディアインターフェース(170、270)上で提供するためのソースデバイス(100、200、400)であって、
前記ソースデバイス(100、200、400)は、オーディオ経路(180、280)のレイテンシに関する情報(110、210、310)に基づき、および、ビデオ経路(190、290)のレイテンシに関する情報(120、220、320)に基づき、オーディオデータ(160、260、660、760、960)の提供とビデオデータ(165、265、865、965)の提供との間のタイムアラインメント(150、250、350)を自動的に調整するよう構成され、
前記ソースデバイス(100、200、400)は、復号レイテンシ(218、318、418)をオーディオ再生デバイス(282、482、682、782)とネゴシエートし、前記ネゴシエートされた復号レイテンシに依存して前記タイムアラインメント(150、250、350)を調整するよう構成される、
ソースデバイス(100、200、400)。

【請求項29】

オーディオデータ(160、260、660、760、960)およびビデオデータ(165、265、865、965)を1つまたは複数のデジタルメディアインターフェース(170、270)上で提供するためのソースデバイス(100、200、400)であって、
前記ソースデバイス(100、200、400)は、
オーディオ経路(180、280)のレイテンシに関する情報(110、210、310)に基づき、および、ビデオ経路(190、290)のレイテンシに関する情報(120、220、320)に基づき、オーディオデータ(160、260、660、760、960)の提供とビデオデータ(165、265、865、965)の提供との間のタイムアラインメント(150、250、350)を自動的に調整し、
復号レイテンシ(218、318、418)をオーディオ再生デバイス(282、482、682、782)とネゴシエートし、前記ネゴシエートされた復号レイテンシに依存して前記タイムアラインメント(150、250、350)を調整し、
前記オーディオ再生デバイス(282、482、682、782)から、可能なレイテンシ値(447、747)のスパンを記述するレイテンシスパン情報を取得するか、または前記オーディオ再生デバイス(282、482、682、782)から、1つもしくは複数の可能なレイテンシ値(447、747)を記述するレイテンシリスト情報を取得し、
前記所望のレイテンシ値が前記ビデオ経路の前記レイテンシに関する情報に適合するように、前記レイテンシスパン情報または前記レイテンシリスト情報に基づき所望のレイテンシ値(448)を選択し、
前記所望のレイテンシ値(448)を使用することを前記オーディオ再生デバイス(282、482、682、782)に命令し、
前記選択された所望のオーディオ再生レイテンシ値(448)に依存して前記タイムアラインメント(150、250、350)を調整する、
よう構成される、
ソースデバイス(100、200、400)。

【請求項30】

オーディオデータ(160、260、660、760、960)およびビデオデータ(165、265、865、965)を1つまたは複数のデジタルメディアインターフェース(170、270)上で提供するための方法(1000)であって、
オーディオ経路のレイテンシに関する情報(110、210、310)に基づき、および、ビデオ経路のレイテンシに関する情報(120、220、320)に基づき、オーディオデータの提供とビデオデータ(165、265、865、965)の提供との間のタイムアラインメント(150、250、350)を自動的に調整するステップ(1010)と、
復号レイテンシ(218、318、418)をオーディオ再生デバイス(282、482、682、782)とネゴシエートし、前記ネゴシエートされた復号レイテンシに依存して前記タイムアラインメント(150、250、350)を調整する、ステップと、
を含む方法(1000)。

【請求項31】

オーディオデータ(160、260、660、760、960)およびビデオデータ(165、265、865、965)を1つまたは複数のデジタルメディアインターフェース(170、270)上で提供するための方法(1000)であって、
オーディオ経路のレイテンシに関する情報(110、210、310)に基づき、および、ビデオ経路のレイテンシに関する情報(120、220、320)に基づき、オーディオデータの提供とビデオデータ(165、265、865、965)の提供との間のタイムアラインメント(150、250、350)を自動的に調整するステップ(1010)と、
復号レイテンシ(218、318、418)をオーディオ再生デバイス(282、482、682、782)とネゴシエートし、前記ネゴシエートされた復号レイテンシに依存して前記タイムアラインメント(150、250、350)を調整する、ステップと、
前記オーディオ再生デバイス(282、482、682、782)から、可能なレイテンシ値(447、747)のスパンを記述するレイテンシスパン情報を取得するか、または前記オーディオ再生デバイス(282、482、682、782)から、1つもしくは複数の可能なレイテンシ値(447、747)を記述するレイテンシリスト情報を取得するステップと、
前記所望のレイテンシ値が前記ビデオ経路の前記レイテンシに関する情報に適合するように、前記レイテンシスパン情報または前記レイテンシリスト情報に基づき所望のレイテンシ値(448)を選択するステップと、
前記所望のレイテンシ値(448)を使用することを前記オーディオ再生デバイス(282、482、682、782)に命令するステップと、
前記選択された所望のオーディオ再生レイテンシ値(448)に依存して前記タイムアラインメント(150、250、350)を調整するステップと、を含む方法(1000)。

【請求項32】

コンピュータプログラムであって、前記コンピュータプログラムがコンピュータ上で実行されたときに、請求項25から27または30または31のいずれか一項に記載の方法を実行するためのコンピュータプログラム。

【国際調査報告】