【実施例】
【0018】
本発明は、同期化されたストリーム・パッキングに関する。一実施例によれば、オーディオ・コンテンツ及び/又はサブピクチャ/サブタイトル・コンテンツが異なるインタリーブされた複数のオーディオ/ビデオ(A/V)のプレゼンテーション間のシームレスな切り換えを可能にするために、多重化されたストリーム(例えば、MPEGプログラム・ストリーム及びトランスポート・ストリーム)内のオーディオ・パケット及びサブピクチャ・パケットの編成を制約する方法を提供する。
【0019】
本明細書は、本発明の原理を例示する。よって、本明細書及び特許請求の範囲に明示的に説明ないし示されているものでないが、本発明の原理を実施し、その趣旨及び範囲内に含まれる種々の構成を、当業者が考え出すことができるであろう。
【0020】
本明細書に記載された全ての例および条件付の文言は、本発明の原理を読者が理解するのを助けるための教示目的のものであり、発明者によって寄与された概念は、技術を発展させるものであり、このような具体的に記載された例や条件に限定されるように解釈されるべきではない。
【0021】
更に、本発明の原理、態様及び実施例、並びにその具体例を記載した、本明細書及び特許請求の範囲内の提示は全て、その構造的な均等物及び機能的な均等物を包含することが意図されている。更に、このような均等物は、現在公知の均等物だけでなく、将来において開発される均等物、すなわち、構造に係わらず、同じ機能を実行するように開発された全ての要素を包含することが意図されている。
【0022】
よって、例えば、本明細書記載のブロック図が、本発明の原理を実施する例示的な回路の概念図を表すことが当業者によって認識されるであろう。同様に、コンピュータ又はプロセッサを明示的に示しているか否かに係わらず、コンピュータ読み取り可能な媒体において実質的に表現され、よって、コンピュータ又はプロセッサによって実行することができる種々の処理を、任意のフローチャート、フロー図、状態遷移図、疑似コード等が表すことが理解されるであろう。
【0023】
図に示す種々の構成要素の機能は、専用ハードウェア、並びに適切なソフトウェアと関連してソフトウェアを実行することができるハードウェアを用いることによって提供され得る。プロセッサによって提供される場合、機能は、単一の専用プロセッサによって、単一の共有プロセッサによって、又は、一部は共有され得る複数の個々のプロセッサによって提供され得る。更に、「プロセッサ」又は「コントローラ」の用語を明示的に用いていることは、ソフトウェアを実行することができるハードウェアを排他的に表していると解されないものとし、ディジタル信号プロセッサ(DSP)ハードウェア、ソフトウェアを記憶するリード・オンリー・メモリ(ROM)、ランダム・アクセス・メモリ(RAM)、及び不揮発性記憶装置を限定なしで黙示的に含み得る。
【0024】
通常の及び/又はカスタムされた他のハードウェアも含むことができる。同様に、図に示すスイッチは何れも、概念的なものに過ぎない。それらの機能は、プログラム・ロジックの処理によって、専用ロジックによって、プログラム制御と専用ロジックとの相互作用によって実行することも、あるいは手作業によっても実行することができ、具体的な手法は、コンテキストからより具体的に理解されるように、実施者によって選択可能である。
【0025】
本願の特許請求の範囲では、特定の機能を行う手段として記載された構成要素は、例えば、a)その機能を行う回路要素の組み合わせ、b)その機能を行うためにソフトウェアを実行する適切な回路と組み合わせた、ファームウェア、マイクロコード等を含む任意の形態のソフトウェア、を含む、その機能を行う任意の手段を包含することが意図されている。このような特許請求の範囲記載に定義される本発明は、特許請求の範囲が求めるように、記載された種々の手段によって提供される機能が組み合わせられて集約されるということにある。よって、前述の機能を提供することが可能ないかなる手段も、本明細書及び特許請求の範囲に記載のものと均等であるとみなされる。
【0026】
図1を参照すると、本発明を適用可能なディジタル多用途ディスク(DVD)プレイヤ10は、参照番号10によって全体が示されている。DVDプレイヤ10は、サーボ機構14の制御に従ってDVD13を回転させるドライブ・モータ12を含む。同様にサーボ機構14によって制御されるピックアップ・ヘッド・モータ16は、光ピックアップ・ヘッド18をDVD13を横切って移動させ、それによって、収容されている情報を読み出すように機能する。プリアンプ20は、復号器22への入力のためにピックアップ・ヘッド18の出力を増幅し、復号器22は、DVD13から読み出された光情報を復号してプログラム・ストリームを生成する。逆多重化器24は、(a)オーディオ・ストリーム、(b)ビデオ・ストリーム、(c)サブピクチャ・ストリーム、及び(d)通常はメタデータ等の形式のナビゲーション情報、の別個のコンポーネントにプログラム・ストリームを逆多重化する。
【0027】
オーディオ・ストリーム、ビデオ・ストリーム及びサブピクチャ・ストリームは、オーディオ復号器26、ビデオ復号器28及びサブピクチャ復号器30のうちの別個の1つによって、それぞれ復号される。プレゼンテーション・エンジンとしても知られている同期化器32は、別個に復号されたオーディオ・ストリーム、ビデオ・ストリーム及びサブピクチャ・ストリームを同期化させ、それらを結合して、NTSC又はPALに限定されないがそれらを含むいくつかの既知のテレビジョン・フォーマットの1つによって適切に再生するための埋め込まれたオーディオを備えたビデオ・ストリームを生成する。ビデオ・ディジタル・アナログ変換器34は、テレビジョン受像機などのディスプレイ装置(不図示)上に表示するために、ビデオ・ストリームをアナログ・ビデオに変換し、オーディオ・ディジタル・アナログ変換器36は、ディスプレイ装置又は他の手段(不図示)による後の再生のために、埋め込まれたオーディオをアナログ・オーディオに変換する。
【0028】
DVDプレイヤ10内では、通常、関連したメモリを有するマイクロプロセッサ、又はマイクロコンピュータもしくはマイクロコントローラの形態の中央処理装置(CPU)38は、通常はリモコンの形式の赤外線(I/R)送信器とI/R受信器との組み合わせを有する視聴者インタフェース(U/I)40を介して入力される視聴者コマンドに応じて、ナビゲーション、及びDVDプレイヤの他の特徴を制御する役目を担う。特にナビゲーションに関しては、CPU38は、復号されたメタデータを逆多重化器24から受信し、同期化器32による受信のためのメニュー情報を生成する。このようにして、メニュー情報は最終的には視聴者によって視聴されるために表示される。表示された情報に応答して、視聴者は、通常は、CPU38による受信のために、1つ又は複数のコマンドをU/I40を介して入力し、CPU38は次に、ピックアップ・ヘッド18を移動させて、所望のプログラム・コンテンツを取り出すようにサーボ機構14を制御する。
【0029】
DVD仕様書(DVD Specifications for Read−Only Disc/Part 3.VIDEO SPECIFICATIONS、Version 1.0,August 1996)は、ビデオ・オブジェクト・ユニット(VOBU)としてDVDナビゲーションが適用可能な最小のオブジェクトを規定している。VOBUは通常、約0.4〜1.2秒の再生継続時間に対応する、多重化されたビデオ・データ、オーディオ・データ、サブピクチャ・データ、ハイライト・データ、及びその他のナビゲーション・データを含む。オーディオ及びサブピクチャのデータの複数のサブストリーム(例えば、ステレオ・オーディオ・サブストリーム及びサラウンドサウンド・オーディオ・サブストリーム、並びに/又は、ドイツ語及びポルトガル語のサブタイトル)が、各VOBUに存在し得る。このような多重化されたデータのこの組み合わせは、「A/Vストリーム」を構成する。マルチアングル・セグメントでは、シームレスな切り換え、又はほぼシームレスな切り換えのためにストリーム間の素早いアクセスを可能にするために、複数のA/Vストリームが、単一のビデオ・オブジェクト(VOB)ストリーム内にインタリーブされている。
【0030】
DVD仕様書は、複数のアングルのA/Vストリーム・コンテンツを、A/Vストリームの同期化を生じさせる共通のタイムスタンプに合わせるための1つ又は複数のVOBUのブロックとして、インタリーブ・ユニット(ILVU)を規定している。再生中、同期化器32は、現在選択されているA/Vストリームに対応するILVUのみを復号して表示する。DVD仕様書は、アングルの数(すなわち、利用可能なストリームの数)、物理的デバイスのスキャン速度、及び復号バッファ(不図示)のサイズに基づいて、ILVUの最大サイズを規定している。この最大サイズを超えた場合、何れのアングルのシームレスな再生も保証することはできない。
【0031】
一実施例によれば、提示中に別のオーディオ/ビデオ(A/V)ストリームが選択されると、サブピクチャ/サブタイトル・データ、オーディオ・データ及びビデオ・データ間の同期化を維持し、かつ、それらのデータ間の連続性を生じさせるために、並列に提示される複数のオーディオ・ビデオ・ストリームのうちの少なくとも1つの中に、サブピクチャ/サブタイトル・デ―タ及び/又はオーディオ・デ―タを記憶させる方法が提供される。
【0032】
並列の提示におけるA/Vストリーム間でコンテキスト的に異なるオーディオ・パケット及びサブピクチャ/サブタイトル・パケットのビデオとの一定の同期化及び対応を確実にするために、ビデオ・オブジェクト・ユニット(VOBU)又はトランスポート・ストリーム(TS)は、サブピクチャ/サブタイトル・パケット及びオーディオ・パケットの到着タイムスタンプがビデオ・パケットの到達タイムスタンプに(サブピクチャ/サブタイトル・パケット又はオーディオ・パケットそれぞれの時間基準の一単位内で)一致する、サブピクチャ/サブタイトル・パケット及びオーディオ・パケットを含まなくてはならない。サブピクチャ/サブタイトルは通常は固有のフレーム・レートを有しておらず、その代わり、そのフレーム・レートは通常はビデオ・フレーム・レートから導き出されるか、又はビデオ・フレーム・レートに関係していることを理解されたい。同様のルールがプレゼンテーション・タイムスタンプにあてはまり、VOBU又はTSは、サブピクチャ/サブタイトル・パケット及びオーディオ・パケットのプレゼンテーション・タイムスタンプがビデオ・パケットのプレゼンテーション・タイムスタンプに(サブピクチャ/サブタイトル・パケット又はオーディオ・パケットの時間基準の一単位内で)一致する、サブピクチャ/サブタイトル・パケット及びオーディオ・パケットを含まなくてはならない。VOBU又はTSがこのようにしてパッキングされた場合には、別のA/VストリームのVOBU間又はTS間でオーディオ・データ又はサブピクチャ/サブタイトル・データが異なる場合に、オーディオ・データ、サブピクチャ/サブタイトル・データ、及びビデオ・データ間の同期化及びコンテキスト的な対応が維持される。
【0033】
他の課題は、ILVUにおける最初のVOBUの最初における(又は、TSのアングル切り換え点マーカにおける)オーディオ・データ・パケット又はサブピクチャ・データ・パケットが、断片化されており、後続の完全なパケットが現れるまで復号することができないであろうがために、新たなA/VストリームのILVUが提示された場合にオーディオ・データ又はサブピクチャ/サブタイトル・データに起こり得る破損である。
【0034】
この課題を解決するために、ILVUの最初のVOBUの最初における(又は、TSのアングル切り換え点マーカにおける)オーディオ・データ・パケットはオーディオ・フレーム・ヘッダを含まなくてはならならず、ILVUの最後のVOBUにおける最後のオーディオ・パケット(又は、TSにおけるアングル切り換え点マーカの直前の、最後のオーディオ・パケット)は、完全なオーディオ・フレームを含まなくてはならならず、すなわち、オーディオ・フレームの断片化は、何れのILVU境界をまたがっても(又は何れのアングル切り換え点マーカをまたがっても)生じるべきではない。同様に、サブピクチャ/サブタイトル・データは、サブピクチャ・ユニット(SPU)ヘッダ又はエポック開始ヘッダから始まらなければならない。
【0035】
図2を参照すると、並列の提示におけるA/Vストリーム間でコンテキスト的に異なるパケットの同期化されたストリーム・パッキングの方法が、参照番号200によって全体的に示されている。
【0036】
方法200は、機能ブロック210に制御を移す開始ブロック205を含む。機能ブロック210は、到着タイムスタンプがビデオ・パケットの到着タイムスタンプに一致するサブピクチャ/サブタイトル・パケット及び/又はオーディオ・パケットを識別し、機能ブロック220に制御を移す。
【0037】
機能ブロック220は、ビデオ・オブジェクト・ユニット(VOBU)又はトランスポート・ストリーム(TS)を、識別されたサブピクチャ/サブタイトル・パケット及びオーディオ・パケット、並びに一致する到着タイムスタンプを有するビデオ・パケットでパッキングし、終了ブロック225に制御を移す。終了ブロック225は、この方法を終了する。
【0038】
図3を参照すると、並列の提示におけるA/Vストリーム間でコンテキスト的に異なるパケットの同期化されたストリーム・パッキングの方法が、参照番号300によって全体的に示されている。
【0039】
方法300は、機能ブロック310に制御を移す開始ブロック305を含む。機能ブロック310は、プレゼンテーション・タイムスタンプがビデオ・パケットのプレゼンテーション・タイムスタンプに一致するサブピクチャ/サブタイトル・パケット及び/又はオーディオ・パケットを識別し、機能ブロック320に制御を移す。機能ブロック320は、ビデオ・オブジェクト単位(VOBU)又は伝送ストリーム(TS)を、識別されたサブピクチャ/サブタイトル・パケット及びオーディオ・パケット、並びに一致するプレゼンテーション・タイムスタンプを有するビデオ・パケットでパッキングし、終了ブロック325に制御を移す。終了ブロック325は、この方法を終了する。
【0040】
図4を参照すると、並列の提示においてコンテキスト的に異なる複数のA/Vストリームの中から別のA/Vストリームを提示する方法が、参照番号400によって全体的に示されている。
【0041】
方法400は、機能ブロック410に制御を移す開始ブロック405を含む。機能ブロック410は、インタリーブ・ユニット(ILVU)における最初のビデオ・オブジェクト・ユニット(VOBU)の最初におけるオーディオ・パケット内にオーディオ・フレーム・ヘッダをパッキングするか、又は、トランスポート・ストリーム(TS)のアングル切り換え点マーカにおけるオーディオ・パケット内にオーディオ・フレーム・ヘッダをパッキングし、制御を機能ブロック420に移す。
【0042】
機能ブロック420は、完全なオーディオ・フレームで終える(オーディオ断片化が、いずれのILVU境界又はいずれのアングル切り換えマーカをまたがって存在しない)ように、上記ILVUにおける(もしくは同じA/Vストリームの別のILVUにおける)最後のVOBUにおける最後のオーディオ・パケットをパッキングするか、又は、上記TSにおける別のアングル切り換え点マーカの直前の最後のオーディオ・パケットをパッキングし、機能ブロック430に制御を移す。
【0043】
機能ブロック430は、サブピクチャ・ユニット(SPU)ヘッダ又はエポック開始ヘッダから始まるようにサブピクチャ/サブタイトル・パケットをパッキングし、終了ブロック435に制御を移す。終了ブロック435は、この方法を終了する。
【0044】
図5を参照すると、多重化されたA/Vストリーム・データと、マルチアングル・ビデオのVOBUデータ構造及びILVUデータ構造との関係が、参照番号500によって全体的に示されている。
図5に示されているように、
図1の復号器22によって復号されたプログラム・ストリームの各ブロックは、ナビゲーション・パケット(NV_PCK)、ビデオ・パケット(V_PCK)、オーディオ・パケット(A_PCK)及びサブピクチャ・パケット(SP_PCK)を含んでいる。DVD仕様書は、シームレスなアングル毎の次のILVUがある位置を示すILVU開始点のテーブルを含む、各VOBUの最初におけるNV_PCKのナビゲーション・データ構造(DSI)部分におけるシームレス・アングル情報データ構造(SML_AGLI)を規定している。そのような情報によって、
図1のCPU38が、次のILVUを提示し始める準備ができている場合にサーボ機構14がVOBストリーム内で行くべき位置を制御することが可能になる。
【0045】
さらに、DVD仕様書は、インタラクティブ・ボタンのハイライト情報(HLI)を表す各VOBUの最初におけるナビゲーション・データの一部分内のいくつかのデータ構造を規定している。ハイライト一般情報(HLI_GI)、ボタン色情報テーブル(BTN_COLIT)、及びボタン情報テーブル(BTN_IT)等のこれらのデータ構造は、画面表示に表示されるボタンの数、位置、外観及び機能を規定する。
【0046】
本発明の前述並びにその他の特徴及び利点は、本明細書及び特許請求の範囲記載の教示に基づいて当業者によって容易に確認することができる。本発明の教示は、ハードウェア、ソフトウェア、ファームウェア、特定用途向けのプロセッサ、又はこれらの組み合わせの種々の形態で実現することができる。
【0047】
最も好ましくは、本発明の教示はハードウェア及びソフトウェアの組み合わせとして実現される。更に、ソフトウェアは好ましくは、プログラム記憶装置上で実際に実施されるアプリケーション・プログラムとして実現される。アプリケーション・プログラムは、任意の適切なアーキテクチャを備えるマシンにアップロードすることができ、そのマシンによって実行することができる。本明細書及び特許請求の範囲に記載の種々の処理及び機能は、CPUによって実行することができる、マイクロ命令コードの一部もしくはアプリケーション・プログラムの一部、又はそれらの任意の組み合わせであってもよい。
【0048】
更に、添付図面に表した構成システムの構成要素及び方法の一部は好ましくはソフトウェアで実現されるので、システム構成の構成要素間又は処理機能ブロック間の実際の接続は、本発明がプログラムされるやり方によって変わり得る。本明細書及び特許請求の範囲に記載の教示が与えられれば、当業者は、本発明の前述及び同様の実現形態又は構成を考え出すことができるであろう。
【0049】
添付図面を参照して例示的な実施例を本明細書及び特許請求の範囲において説明したが、本発明は前述のまさにその実施例に限定されるものでなく、本発明の範囲又は趣旨から逸脱しない限り、当業者によって種々の変更及び修正を行うことができる。前述の変更及び修正は全て、特許請求の範囲記に載の本発明の範囲内に含まれることが意図されている。