▶ フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェラインの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-08
(45)【発行日】2023-09-19
(54)【発明の名称】仮想参照デコーダ
(51)【国際特許分類】
H04N 19/70 20140101AFI20230911BHJP
【ＦＩ】
H04N19/70
【請求項の数】
14
(21)【出願番号】P 2021551746
(86)(22)【出願日】2020-02-27
(65)【公表番号】
(43)【公表日】2022-04-20
(86)【国際出願番号】 EP2020055122
(87)【国際公開番号】W WO2020178126
(87)【国際公開日】2020-09-10
【審査請求日】2021-10-29
(31)【優先権主張番号】19160423.0
(32)【優先日】2019-03-01
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】500341779
【氏名又は名称】フラウンホーファー－ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
(74)【代理人】
【識別番号】110002952
【氏名又は名称】弁理士法人鷲田国際特許事務所
(74)【代理人】
【識別番号】100134119
【弁理士】
【氏名又は名称】奥町 哲行
(72)【発明者】
【氏名】スクピン・ロバート
(72)【発明者】
【氏名】サンチェスデラフエンテ・ヤゴ
(72)【発明者】
【氏名】ヘルゲ・コーネリアス
(72)【発明者】
【氏名】シエル・トーマス
(72)【発明者】
【氏名】ズーリング・カルステン
(72)【発明者】
【氏名】ヴィーガンド・トーマス
【審査官】坂東 大五郎
(56)【参考文献】
【文献】特表２０１５－５３３０４８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １９／００－１９／９８
(57)【特許請求の範囲】
【請求項1】
データストリームにビデオを符号化するビデオエンコーダであって、前記データストリーム（１４）の完全バージョン（１５）をバッファリングする場合にデコーダ側に適用される第１の符号化画像バッファ（ＣＰＢ）除去時間（ｔｒｍ （１））に関する第１のタイミング情報（１６）を前記データストリームに符号化し、
前記完全バージョンからの部分（２４）の除去（２２）により前記完全バージョンとは異なる、前記データストリーム（１４）の縮小バージョン（２０）をバッファリングするためにデコーダ側に適用される第２のＣＰＢ除去時間（ｔｒｍ （２））に関する第２のタイミング情報（１８）を前記データストリームに符号化する
ように構成され、
前記第２のタイミング情報（１８）は、前記第２のＣＰＢ除去時間（ｔ ｒｍ （２） ）を生成するために前記第１のＣＰＢ除去時間（ｔ ｒｍ （１） ）を修正するための、画像タイミングＳＥＩメッセージ内のタイミング修正情報によって、前記第２のＣＰＢ除去時間（ｔ ｒｍ （２） ）を指示する
ビデオエンコーダ。
【請求項2】
前記第１のタイミング情報（１６）は、画像ごとに、前記データストリーム内のバッファリング期間メッセージによってマークされ、復号順（２６）で先行する、マーク画像に対する増分によって、前記第１のＣＰＢ除去時間（ｔｒｍ
（１））をシグナリングする請求項１に記載のビデオエンコーダ。
【請求項3】
前記タイミング修正情報（１９）は、前記データストリーム内で部分（２４’）に先行する、第１の画像部分（ＣＲＡ）に関する第１のタイミング修正情報を含む
請求項１に記載のビデオエンコーダ。
【請求項4】
前記タイミング修正情報（１９）は、前記データストリームの前記部分（２４’）に続く第２の画像部分（ＴＲＡＩＬ１）に関連する第２のタイミング修正情報を備える
請求項３に記載のビデオエンコーダ。
【請求項5】
前記第１の画像部分はバッファリング期間ＳＥＩメッセージによってマークされる
請求項３に記載のビデオエンコーダ。
【請求項6】
前記第２の画像部分は、通常のトレイリング画像（ＴＲＡＩＬ）、または従属ランダムアクセスポイント（ＤＲＡＰ）画像に対応する
請求項４に記載のビデオエンコーダ。
【請求項7】
前記部分が１つ以上のＲＡＳＬ画像のシーケンスに関する、または前記部分がＤＲＡＰに先行する画像のシーケンスに関する場合、
前記第２のタイミング情報は、前記第２のＣＰＢ除去時間を定義する
請求項１に記載のビデオエンコーダ。
【請求項8】
前記データストリームは、前記部分が除去されているか否かを示す信号化（３２，３５）を備える請求項１に記載のビデオエンコーダ。
【請求項9】
前記データストリームは、前記ビデオの画像（１２）が、各階層レベルについて、当該階層レベルの全ての画像が単に当該階層レベルまたは下位の階層レベルの画像に依存するように、それぞれの階層レベル（５０ｉ）に割り当てられるように、時間的にスケーラブルな方法で、時間インター予測を使用して符号化され、前記部分（２４）は、１つ以上の最上位階層レベルの画像で構成される
請求項１に記載のビデオエンコーダ。
【請求項10】
前記タイミング修正情報は、それぞれの階層レベルに割り当てられる
請求項９に記載のビデオエンコーダ。
【請求項11】
前記タイミング修正情報は、復号される最上位階層レベルに依存するオフセットである
請求項１０に記載のビデオエンコーダ。
【請求項12】
ビデオデコーダの符号化画像バッファ（ＣＰＢ）を管理するための装置（４６）であって、前記装置は、データストリーム（１４）の完全バージョン（１５）をバッファリングする場合に適用される第１の符号化画像バッファ（ＣＰＢ）除去時間（ｔ ｒｍ （１） ）に関する第１のタイミング情報（１６）を前記データストリームから復号し、
前記完全バージョンからの部分（２４）の除去（２２）により前記完全バージョンとは異なる、前記データストリーム（１４）の縮小バージョン（２０）をバッファリング場合に適用される第２のＣＰＢ除去時間（ｔ ｒｍ （２） ）に関する第２のタイミング情報（１８）を前記データストリームから復号する
ように構成され、
前記第２のタイミング情報（１８）は、前記第２のＣＰＢ除去時間（ｔ ｒｍ （２） ）を生成するために前記第１のＣＰＢ除去時間（ｔ ｒｍ （１） ）を修正するための、画像タイミングＳＥＩメッセージ内のタイミング修正情報によって、前記第２のＣＰＢ除去時間（ｔ ｒｍ （２） ）を指示する
装置（４６）。
【請求項13】
ビデオ（１２）をデータストリームに符号化する方法であって、
データストリーム（１４）の完全バージョン（１５）をバッファリングする場合にデコーダ側に適用される第１の符号化画像バッファ（ＣＰＢ）除去時間（ｔｒｍ （１））に関する第１のタイミング情報（１６）を前記データストリームに符号化するステップと、
前記完全バージョンからの部分（２４）の除去（２２）により前記完全バージョンとは異なる、前記データストリーム（１４）の縮小バージョン（２０）をバッファリングするためにデコーダ側に適用される第２のＣＰＢ除去時間（ｔｒｍ （２））に関する第２のタイミング情報（１８）を前記データストリームに符号化するステップと
を備え、
前記第２のタイミング情報（１８）は、前記第２のＣＰＢ除去時間（ｔ ｒｍ （２） ）を生成するために前記第１のＣＰＢ除去時間（ｔ ｒｍ （１） ）を修正するための、画像タイミングＳＥＩメッセージ内のタイミング修正情報によって、前記第２のＣＰＢ除去時間（ｔ ｒｍ （２） ）を指示する
方法。
【請求項14】
ビデオデコーダの符号化画像バッファ（ＣＰＢ）を管理するための方法（４８）であって、
データストリーム（１４）の完全バージョン（１５）をバッファリングする場合に適用される第１のＣＰＢ除去時間（ｔｒｍ （１））に関する第１のタイミング情報（１６）をデータストリームから復号するステップと、
前記完全バージョンからの一部分（２４）の除去（２２）により前記完全バージョンとは異なる、前記データストリーム（１４）の縮小バージョン（２０）をバッファリングする場合に適用される第２のＣＰＢ除去時間（ｔｒｍ （２））に関する第２のタイミング情報（１８）を前記データストリームから復号するステップと
を備え、
前記第２のタイミング情報（１８）は、前記第２のＣＰＢ除去時間（ｔ ｒｍ （２） ）を生成するために前記第１のＣＰＢ除去時間（ｔ ｒｍ （１） ）を修正するための、画像タイミングＳＥＩメッセージ内のタイミング修正情報によって、前記第２のＣＰＢ除去時間（ｔ ｒｍ （２） ）を指示する
方法。
【発明の詳細な説明】
【技術分野】
【0001】
仮想参照デコーダＨＲＤ、ならびにビットストリームおよびデコーダの適合性をチェックするためのその使用は、通常、ＡＶＣ（アドバンストビデオコーデック）およびＨＥＶＣ（高効率ビデオコーディング）などのビデオ符号化規格で指定される。
【0002】
本発明による実施形態は、ビデオストリーム、ビデオエンコーダ、ビデオデコーダ、ネットワークノード、ビデオデコーダの符号化画像バッファ（ＣＰＢ）を管理するための装置、およびビデオデータストリームを互いにスプライスするための装置に関する。
【背景技術】
【0003】
以下、本発明の背景の序章が提供される。
これを行うために、図２に示されるように、仮想ストリームスケジューラ（ＨＳＳ）、符号化画像バッファ（ＣＰＢ）、復号プロセス（瞬時と見なされる）、復号画像バッファ（ＤＰＢ）、および出力クロッピングプロセスからなるＨＲＤバッファモデルが指定される。
これを行うために、図２に示されるように、仮想ストリームスケジューラ（ＨＳＳ）、符号化画像バッファ（ＣＰＢ）、復号プロセス（瞬時と見なされる）、復号画像バッファ（ＤＰＢ）、および出力クロッピングプロセスからなるＨＲＤバッファモデルが指定される。
【0004】
モデルは、ビットストリームが符号化画像バッファに供給されるタイミングおよびビットレート、その復号ユニット（低遅延動作モードの場合、ＡＵ、アクセスユニット、またはＶＣＬ ＮＡＬ（ＶＣＬ：ビデオ符号化層、ＮＡＬ：ネットワーク抽象化層）ユニットのいずれか）がＣＰＢから除去されて瞬時に復号される時間、ならびに画像がＤＰＢから出力される出力時間を定義する。
【0005】
そうすることにより、デコーダがバッファオーバーフロー（ＣＰＢ内に維持できるよりも多くのデータがデコーダに送信される）または（必要とされるより低いビットレートで）より少ないデータがデコーダに送信され、必要な復号ユニットが復号のためにデコーダにおいて適切な時間ではない、アンダーランを回避するために必要なＣＰＢサイズを定義することも可能である。
【0006】
最先端の符号化規格は、ビットストリームおよびＨＲＤ要件ならびにバッファモデルを記述するために異なるパラメータを指定する。
【0007】
たとえば、副層ごとにＨＥＶＣ内で定義されたｈｒｄ＿ｐａｒａｍｅｔｅｒは、Ｂｉｔｒａｔｅ（ｉ）およびＣＰＢｓｉｚｅ（ｉ）の１つ以上のペアからなり、これらは、ストリームスケジューラがサイズＣＰＢｓｉｚｅ（ｉ）のＣＰＢにＢｉｔｒａｔｅ（ｉ）のビットレートを供給する場合、オーバーフローまたはアンダーフローが発生しないことを示す。
【0008】
ｈｒｄ＿ｐａｒａｍｅｔｅｒの構文要素と併せて、その画像に属するＶＣＬ ＮＡＬユニットがいつ復号のために送信されるかを示すＣＰＢからの画像の除去時間を指定するビットストリーム内に追加のタイミング情報が存在する。
理解を容易にするために、サブ画像処理は説明から省略される。
理解を容易にするために、サブ画像処理は説明から省略される。
【0009】
関連情報は、ＩｎｉｔｉａｌＣＰＢＲｅｍｏｖａｌＤｅｌａｙ（ｉ）、ＩｎｉｔｉａｌＣＰＢＲｅｍｏｖａｌＯｆｆｓｅｔ（ｉ）、およびＡｕＣＰＢＲｅｍｏｖａｌＤｅｌａｙを有するバッファリング期間ＳＥＩ（補足強化情報）メッセージ内、およびＡｕＣＰＢＲｅｍｏｖａｌＤｅｌａｙを有する画像タイミングＳＥＩメッセージ内に存在する。
最も基本的な動作では、ＩｎｉｔｉａｌＣＰＢＲｅｍｏｖａｌＤｅｌａｙ（ｉ）およびＡｕＣＰＢＲｅｍｏｖａｌＤｅｌａｙのみが使用される。
最も基本的な動作では、ＩｎｉｔｉａｌＣＰＢＲｅｍｏｖａｌＤｅｌａｙ（ｉ）およびＡｕＣＰＢＲｅｍｏｖａｌＤｅｌａｙのみが使用される。
【0010】
その場合、復号される最初のアクセスユニットは、ランダムアクセスポイントＲＡＰであり、その対応するバッファリング期間ＳＥＩメッセージおよび時間０は、ランダムアクセスポイントの最初のビットがＣＰＢに入る時間として定義される。次に、時間ＩｎｉｔｉａｌＣＰＢＲｅｍｏｖａｌＤｅｌａｙ（ｉ）において、ランダムアクセスポイントに対応する画像がＣＰＢから除去され、さらに非ＲＡＰ画像のＣＰＢからの除去がＩｎｉｔｉａｌＣＰＢＲｅｖｏｖａｌＤｅｌａｙ（ｉ）＋ＡｕＣＰＢＲｅｍｏｖａｌＤｅｌａｙにおいて行われる（ＨＥＶＣは、遅延を時間に変換するためのいくつかのパラメータ、すなわちＣｌｏｃｋＴｉｃｋを定義するが、これは簡略化のためにここでは無視される）。
【0011】
次のＲＡＰが来ると、非ＲＡＰ画像について除去時間が以前と同様に計算され、すなわち
ＩｎｉｔｉａｌＣＰＢＲｅｖｏｖａｌＤｅｌａｙ（ｉ）＋ＡｕＣＰＢＲｅｍｏｖａｌＤｅｌａｙ
そしてこの新しい値は、別のＲＡＰまでのさらなるデルタのアンカーとして使用され、すなわち
ａｎｃｈｏｒＴｉｍｅ＝ＩｎｉｔｉａｌＣＰＢＲｅｍｏｖａｌＤｅｌａｙ（ｉ）＋ＡｕＣＰＢＲｅｍｏｖａｌＤｅｌａｙ
ＩｎｉｔｉａｌＣＰＢＲｅｖｏｖａｌＤｅｌａｙ（ｉ）＋ＡｕＣＰＢＲｅｍｏｖａｌＤｅｌａｙ
そしてこの新しい値は、別のＲＡＰまでのさらなるデルタのアンカーとして使用され、すなわち
ａｎｃｈｏｒＴｉｍｅ＝ＩｎｉｔｉａｌＣＰＢＲｅｍｏｖａｌＤｅｌａｙ（ｉ）＋ＡｕＣＰＢＲｅｍｏｖａｌＤｅｌａｙ
【0012】
その後、画像の除去はａｎｃｈｏｒＴｉｍｅ＋ＡｕＣＰＢＲｅｍｏｖａｌＤｅｌａｙとなり、ａｎｃｈｏｒＴｉｍｅは、次のＲＡＰにおいてバッファリングＳＥＩメッセージで更新され、
ａｎｃｈｏｒＴｉｍｅ＝ａｎｃｈｏｒＴｉｍｅ＋ＡｕＣＰＢＲｅｍｏｖａｌＤｅｌａｙなどである。
記載された動作モードは、最も単純なものである。考慮される必要があるさらなるケースがある。
現在の状況では、本発明が克服するいくつかの欠点がある。詳細は、以下の通りである。
ａｎｃｈｏｒＴｉｍｅ＝ａｎｃｈｏｒＴｉｍｅ＋ＡｕＣＰＢＲｅｍｏｖａｌＤｅｌａｙなどである。
記載された動作モードは、最も単純なものである。考慮される必要があるさらなるケースがある。
現在の状況では、本発明が克服するいくつかの欠点がある。詳細は、以下の通りである。
【発明の概要】
【0013】
本発明による一実施形態は、ビデオが符号化され、ビデオデータストリームの完全バージョンをバッファリングする場合にデコーダ側に適用される第１の符号化画像バッファ（ＣＰＢ）除去時間に関する第１のタイミング情報と、ビデオデータストリームの完全バージョンからのビデオデータストリームの一部分の除去によるビデオデータストリームとは異なる、ビデオデータストリームの縮小バージョンをバッファリングするためにデコーダ側に適用される第２のＣＰＢ除去時間に関する第２のタイミング情報とを備える、ビデオデータストリームに関する。
【0014】
本発明による別の実施形態は、ビデオが符号化され、最小ＣＰＢ供給ビットレートに関する第１のＨＲＤタイミング情報データと、最大ＣＰＢ供給ビットレートに関する第２のＨＲＤタイミング情報データとを備えるビデオデータストリームであって、第１のＨＲＤタイミング情報データおよび第２のＨＲＤタイミング情報データは、第１および第２のＨＲＤタイミング情報データ間を線形補間することによって、実際のＣＰＢ供給ビットレートの第３のＨＲＤタイミング情報の決定を可能にする、ビデオデータストリームに関する。
【0015】
本発明による別の実施形態は、ビデオデータストリームであって、ビデオデータストリームは、画像部分のシーケンスであって、各画像部分は符号化されたビデオの画像を有し、画像部分は、ＣＰＢ除去時間基準として機能する第１のタイプの画像部分および第２のタイプの画像部分を備える、画像部分のシーケンスと、それぞれの画像部分の第１のＣＰＢ除去時間に関する各画像部分の第１のタイミング情報であって、第１のＣＰＢ除去時間は、先行する第１のタイプの画像部分の除去からの経過時間を測定する、第１のタイミング情報と、それぞれの所定の第１のタイプの画像部分以降のビデオデータストリームの復号を再開する場合のそれぞれの所定の第１のタイプの画像部分の第２のＣＰＢ除去時間に関する所定の第１のタイプの画像部分の各々の第２のタイミング情報であって、第２のＣＰＢ除去時間は、それぞれの所定の第１のタイプの画像部分の最初のビットのＣＰＢ到着からの経過時間を測定する、第２のタイミング情報と、別のビデオデータストリームを有するスプライスポイントの前の最後の画像部分として機能し得るように、その最終ＣＰＢ到着とそのＣＰＢ除去との間の時間差が所定の閾値を超える画像部分を示すスプライスポイント表示とを備える、ビデオデータストリームに関する。
【0016】
本発明による別の実施形態は、ビデオをビデオデータストリームに符号化し、ビデオデータストリームに、ビデオデータストリームの完全バージョンをバッファリングする場合にデコーダ側に適用される第１のＣＰＢ除去時間に関する第１のタイミング情報と、ビデオデータストリームの完全バージョンからのビデオデータストリームの一部分の除去によるビデオデータストリームとは異なる、ビデオデータストリームの縮小バージョンをバッファリングするためにデコーダ側に適用される第２のＣＰＢ除去時間に関する第２のタイミング情報とを提供するための、ビデオエンコーダに関する。
【0017】
本発明による別の実施形態は、ビデオをビデオデータストリームに符号化し、ビデオデータストリームに、最小ＣＰＢ供給ビットレートに関する第１のＨＲＤタイミング情報と、最大ＣＰＢ供給ビットレートに関する第２のＨＲＤタイミング情報とを提供するためのビデオエンコーダであって、第１のＨＲＤタイミング情報および第２のＨＲＤタイミング情報は、第１および第２のＨＲＤタイミング情報間を線形補間することによって、実際のＣＰＢ供給ビットレートの第３のＨＲＤタイミング情報の決定を可能にする、ビデオエンコーダに関する。
【0018】
本発明による別の実施形態は、ビデオデータストリームが画像部分のシーケンスを備えるようにビデオをビデオデータストリームに符号化するためのビデオエンコーダであって、各画像部分は符号化されたビデオの画像を有し、ビデオエンコーダは、画像部分をＣＰＢ除去時間基準として機能する第１のタイプの画像部分および第２のタイプの画像部分に分類し、ビデオデータストリームに、それぞれの画像部分の第１のＣＰＢ除去時間に関する各画像部分の第１のタイミング情報であって、第１のＣＰＢ除去時間は、先行する第１のタイプの画像部分の除去からの経過時間を測定する、第１のタイミング情報と、それぞれの所定の第１のタイプの画像部分以降のビデオデータストリームの復号を再開する場合のそれぞれの所定の第１のタイプの画像部分の第２のＣＰＢ除去時間に関する所定の第１のタイプの画像部分の各々の第２のタイミング情報であって、第２のＣＰＢ除去時間は、それぞれの所定の第１のタイプの画像部分の最初のビットのＣＰＢ到着からの経過時間を測定する、第２のタイミング情報とを提供し、別のビデオデータストリームを有するスプライスポイントの前に最後の画像部分として機能するように、その最終ＣＰＢ到着とそのＣＰＢ除去との間の時間差が所定の閾値を超えるか否かについて、所定の画像部分の各々をチェックし、ビデオデータストリームに、その最終ＣＰＢ到着とそのＣＰＢ除去との間の時間差が所定の閾値を超えるこれらの所定の画像部分を示すためのスプライスポイント表示を提供する、ビデオエンコーダに関する。
【0019】
本発明による別の実施形態は、ビデオデータストリームからビデオデータストリームの一部分を除去するためにビデオデータストリームを転送するためのネットワークノードに関する。
【0020】
本発明による別の実施形態は、ＣＰＢによってバッファリングされる方法でビデオデータストリームを復号するビデオデコーダのＣＰＢを管理するための装置であって、装置は、部分がビデオデータストリームによって構成される場合に第１のタイミング情報、部分が除去されている場合には第２のタイミング情報に従ってＣＰＢを管理する、装置に関する。
【0021】
本発明による別の実施形態は、ビデオが符号化されたビデオデータストリームを復号するビデオデコーダのＣＰＢを管理するための装置であって、装置は、ビデオデータストリームから、最小ＣＰＢ供給ビットレートに関する第１のＨＲＤタイミング情報を導出し、最大ＣＰＢ供給ビットレートに関する第２のＨＲＤタイミング情報を導出し、第１および第２のＨＲＤタイミング情報間を線形補間することによって実際のＣＰＢ供給ビットレートの第３のＨＲＤタイミング情報を決定し、第３のＨＲＤタイミング情報を使用してＣＰＢを管理する、装置に関する。
【0022】
本発明による別の実施形態は、ＣＰＢによってバッファリングされる方法でビデオデータストリームを復号するビデオデコーダのＣＰＢを管理するための装置であって、装置は、最初の所定の第１のタイプの画像部分の連結フラグが、スプライスインが最初の所定の第１のタイプの画像部分で行われたことを示すか否かについてチェックし、ＣＰＢから最初の所定の第１のタイプの画像部分を除去する時間を決定する、装置に関する。ここで、決定は、最初の所定の第１のタイプの画像部分の連結フラグが、スプライスインが最初の所定の第１のタイプの画像部分で行われなかったことを示す場合には、最初の所定の第１のタイプの画像部分の第１のタイミング情報に基づき、最初の所定の第１のタイプの画像部分の連結フラグが、スプライスインが最初の所定の第１のタイプの画像部分で行われたことを示す場合には、最初の所定の第１のタイプの画像部分の第２および第３のタイミング情報に基づく。
【0023】
本発明による別の実施形態は、第１のビデオデータストリームおよび第２のビデオデータストリームを互いにスプライスするための装置であって、これらの各々は、画像部分のシーケンスであって、各画像部分は符号化されたビデオの画像を有し、画像部分は、ＣＰＢ除去時間基準として機能する第１のタイプの画像部分および第２のタイプの画像部分を備える、画像部分のシーケンスと、それぞれの画像部分の第１のＣＰＢ除去時間に関する各画像部分の第１のタイミング情報であって、第１のＣＰＢ除去時間は、先行する第１のタイプの画像部分の除去からの経過時間を測定する、第１のタイミング情報と、それぞれの所定の第１のタイプの画像部分以降のビデオデータストリーム復号を再開する場合のそれぞれの所定の第１のタイプの画像部分の第２のＣＰＢ除去時間に関する所定の第１のタイプの画像部分の各々の第２のタイミング情報とを備え、第２のＣＰＢ除去時間は、それぞれの所定の第１のタイプの画像部分の最初のビットのＣＰＢ到着からの経過時間を測定し、第２のビデオデータストリームは、最初の所定の第１のタイプの画像部分に連結フラグおよび第３のタイミング情報を備え、連結フラグは、最初の所定の第１のタイプの画像部分が第２のビデオデータストリームを継続する第２のビデオデータストリームを示す第２の状態に設定され、第３のタイミング情報は、最初の所定の第１のタイプの画像部分で第２のビデオデータストリームをスプライスインするときのＣＰＢ除去時間を決定するのに役立つ最初の所定の第１のタイプの画像部分の第３のＣＰＢ除去時間を示し、第３のＣＰＢ除去時間は、廃棄不可能な画像部分の直近のＣＰＢ除去からの経過時間を測定する、装置に関する。本発明の装置は、第１のビデオデータストリームが第２のビデオデータストリームとスプライスされる前の最後の画像部分として機能し得るように、第１のビデオデータストリームのスプライスポイント表示が、所定の画像部分について、そのＣＰＢ到着とそのＣＰＢ除去との間の時間差が所定の閾値を超えることを示すか否かをチェックし、そうであれば、第２のビデオデータストリームの最初の所定の第１のタイプの画像部分の連結フラグを、第２のビデオデータストリームが最初の所定の第１のタイプの画像部分でスプライスインされたことを示す第１の状態に設定し、スプライスされたビデオデータストリームを取得するように、所定の画像部分および最初の所定の第１のタイプの画像部分で第１および第２のデータストリームをそれぞれ連結する。
【0024】
上記の概念は、本発明の実施形態による方法によって実施されることが可能である。これらの方法は、上記のデコーダ、エンコーダ、装置、およびデータストリームと同じ考察に基づいている。しかしながら、方法は、本明細書に記載される特徴、機能、および詳細のいずれかによって補足されることが可能であり、デコーダ、エンコーダ、装置、およびデータストリームに関しても同様であることに、留意すべきである。また、方法は、個別でも組み合わせても、デコーダ、エンコーダ、装置、およびデータストリームの特徴、機能、および詳細によって補足されることが可能である。
【0025】
最後に、概念は、本発明の実施形態による符号化データストリームを生成するためにも使用されることが可能である。データストリームは、個別でも組み合わせても、デコーダ、エンコーダ、装置、および方法の特徴、機能、および詳細によって補足されることも可能である。
本発明による実施形態は、以下の添付図面を参照して、引き続き説明される。
本発明による実施形態は、以下の添付図面を参照して、引き続き説明される。
【図面の簡単な説明】
【0026】
【図1】本出願の一実施形態による符号化データストリームを示す図である。
【図2】本出願の一実施形態による仮想参照デコーダのフローチャートである。
【図3】本出願の一実施形態による除去時間を含む符号化画像バッファの状態を示す図である。
【図4】本出願の一実施形態による除去時間を含む符号化画像バッファの状態を示す図である。
【図5】本出願の一実施形態による除去時間を含む符号化画像バッファの状態を示す図である。
【図6】本出願の一実施形態による除去時間を含む符号化画像バッファの状態を示す図である。
【図7】本出願の一実施形態による除去時間を含む符号化画像バッファの状態を示す図である。
【図9】本出願の一実施形態による除去時間を含む符号化画像バッファの状態を示す図である。
【図8】本出願の実施形態による例示的なシグナリング構文を示す図である。
【図10】本出願の実施形態による例示的なシグナリング構文を示す図である。
【図11】本出願の実施形態による例示的なシグナリング構文を示す図である。
【図20】本出願の実施形態による例示的なシグナリング構文を示す図である。
【図21】本出願の実施形態による例示的なシグナリング構文を示す図である。
【図22】本出願の実施形態による例示的なシグナリング構文を示す図である。
【図23】本出願の実施形態による例示的なシグナリング構文を示す図である。
【図24】本出願の実施形態による例示的なシグナリング構文を示す図である。
【図26】本出願の実施形態による例示的なシグナリング構文を示す図である。
【図27】本出願の実施形態による例示的なシグナリング構文を示す図である。
【図28】本出願の実施形態による例示的なシグナリング構文を示す図である。
【図29】本出願の実施形態による例示的なシグナリング構文を示す図である。
【図30】本出願の実施形態による例示的なシグナリング構文を示す図である。
【図31】本出願の実施形態による例示的なシグナリング構文を示す図である。
【図32】本出願の実施形態による例示的なシグナリング構文を示す図である。
【図33】本出願の実施形態による例示的なシグナリング構文を示す図である。
【図34】本出願の実施形態による例示的なシグナリング構文を示す図である。
【図12】本出願の実施形態による異なるフレームレートのデータストリーム構造を示す図である。
【図13】本出願の実施形態による異なるフレームレートのデータストリーム構造を示す図である。
【図14】本出願の実施形態による異なるフレームレートのデータストリーム構造を示す図である。
【図16】本出願の実施形態による異なるフレームレートのデータストリーム構造を示す図である。
【図18】本出願の実施形態による異なるフレームレートのデータストリーム構造を示す図である。
【図15】本出願の実施形態による、異なるフレームレートが同じビットストリームで提供されるときの例示的な除去時間値を示す図である。
【図17】本出願の実施形態による、異なるフレームレートが同じビットストリームで提供されるときの例示的な除去時間値を示す図である。
【図19】本出願の実施形態による、異なるフレームレートが同じビットストリームで提供されるときの例示的な除去時間値を示す図である。
【図25】本出願の一実施形態による、互いにステッチされている符号化データストリームを示す図である。
【図35】本出願の実施形態によるＣＰＢサイズの計算の値の表を示す図である。
【図36】本出願の実施形態によるＣＰＢサイズの計算の値の表を示す図である。
【図37】本出願の実施形態によるＣＰＢサイズの計算の値の表を示す図である。
【図38】本出願の実施形態による例示的なＣＰＢフィルレベルのグラフである。
【発明を実施するための形態】
【0027】
図中、同様の参照符号は、同様の要素および特徴を示す。
【0028】
以下、本発明の根底にある考察が論じられ、いくつかの解決策が記載される。特に、いくつかの詳細が開示され、これらは本明細書に開示される実施形態のいずれかに、任意選択的に導入されることが可能である。具体的には、以下の説明は、様々な送信条件でのスプライシング、ストリーム抽出、スケーラブルビットストリームのストリッピング、およびビットストリーム供給に対処するときに発生し、直面する問題の簡単な提示から始まる。次に、問題の特定の修正が提示され、続いて対応する修正を利用する実施形態が提示される。
以下の問題が、検査および対処される。
以下の問題が、検査および対処される。
【0029】
スプライシング：画像のＣＰＢの除去時間が使用されるようにＡｕＣＰＢＲｅｍｏｖａｌＤｅｌａｙを追加するために、バッファリングＳＥＩを有する以前のＲＡＰの除去時間がアンカーとして使用される。
【0030】
しかしながら、スプライシングが発生すると、スプライシングポイントにおいて、ａｎｃｈｏｒＴｉｍｅの以前の値が何であったかを容易に知ることはできない。したがって、このような場合、スプライスされたバッファリングＳＥＩを有するＲＡＰのＣＰＢ除去時間の導出は、異なる方法で実行される。
【0031】
この問題を解決するために、ＨＥＶＣは２つの追加のパラメータを含み、これらは、バッファリング期間ＳＥＩメッセージを含むＲＡＰでスプライシングが発生したか否かを示すｃｏｎｃａｔｅｎａｔｉｏｎ＿ｆｌａｇ、およびバッファリング期間ＳＥＩメッセージを有する以前のＲＡＰを参照する代わりに以前の廃棄不可能な画像までの時間内のデルタを参照するＡｕＣＰＢＲｅｍｏｖａｌＤｅｌｔａ時間である。したがって、これにより、任意の値を計算し、スプライシングポイントにおいてバッファリング期間ＳＥＩメッセージを書き換える必要がなくなる。すると、スプライシングが発生するＲＡＰからのＣＰＢ除去時間は以下のようになる。
Ｒｅｍｏｖａｌ（ｐｒｅｖｉｏｕｓＮｏｎＤｉｓｃａｒｄａｂｌｅ）＋ＡｕＣＰＢＲｅｍｏｖａｌＤｅｌｔａ
Ｒｅｍｏｖａｌ（ｐｒｅｖｉｏｕｓＮｏｎＤｉｓｃａｒｄａｂｌｅ）＋ＡｕＣＰＢＲｅｍｏｖａｌＤｅｌｔａ
【0032】
これは、シームレスなスプライシングシナリオを想定している。しかしながら、元のビットストリームのスプライシングポイント（スプライシングのバッファリング期間ＳＥＩメッセージ結果を有するＲＡＰがスプライスされず、その元のビットストリーム内にあるとき）とスプライスするときとでＣＰＢステータスが同じであることを保証することはできない。より具体的には、図３は記載された問題を示しており、フレーム＃３における上部のビットストリームは、フレーム＃２以降の底部のビットストリームとスプライスされる。
【0033】
したがって、（フレームがｔａｆ３に到着したときよりも早くなるであろう）上述のような
Ｒｅｍｏｖａｌ（ｐｒｅｖｉｏｕｓＮｏｎＤｉｓｃａｒｄａｂｌｅ）＋ＡｕＣＰＢＲｅｍｏｖａｌＤｅｌｔａ
の除去時間を有する代わりに、
Ｒｅｍｏｖａｌ（ｐｒｅｖｉｏｕｓＮｏｎＤｉｓｃａｒｄａｂｌｅ）＋ＩｎｉｔｉａｌＣＰＢＲｅｖｏｖａｌＤｅｌａｙ（ｉ）＋ｔａｆ２－ｔｒｍ２
の除去時間が代わりに使用される。
Ｒｅｍｏｖａｌ（ｐｒｅｖｉｏｕｓＮｏｎＤｉｓｃａｒｄａｂｌｅ）＋ＡｕＣＰＢＲｅｍｏｖａｌＤｅｌｔａ
の除去時間を有する代わりに、
Ｒｅｍｏｖａｌ（ｐｒｅｖｉｏｕｓＮｏｎＤｉｓｃａｒｄａｂｌｅ）＋ＩｎｉｔｉａｌＣＰＢＲｅｖｏｖａｌＤｅｌａｙ（ｉ）＋ｔａｆ２－ｔｒｍ２
の除去時間が代わりに使用される。
【0034】
つまり、スプライスされたＲＡＰの除去時間は、
Ｒｅｍｏｖａｌ（ｐｒｅｖｉｏｕｓＮｏｎＤｉｓｃａｒｄａｂｌｅ）＋ＳｐｌｉｃｉｎｇＤｅｌｔａ
であり、ここでＳｐｌｉｃｉｎｇＤｅｌｔａはＡｕＣＰＢＲｅｍｏｖａｌＤｅｔａおよびＩｎｉｔｉａｌＣＰＢＲｅｖｏｖａｌＤｅｌａｙ（ｉ）＋ｔａｆ２－ｔｒｍ２の最大値に設定される。
たとえば図３に示されるように、たまたま第２の値が第１の値よりも大きい場合、シームレスではないスプライシングが発生する。
Ｒｅｍｏｖａｌ（ｐｒｅｖｉｏｕｓＮｏｎＤｉｓｃａｒｄａｂｌｅ）＋ＳｐｌｉｃｉｎｇＤｅｌｔａ
であり、ここでＳｐｌｉｃｉｎｇＤｅｌｔａはＡｕＣＰＢＲｅｍｏｖａｌＤｅｔａおよびＩｎｉｔｉａｌＣＰＢＲｅｖｏｖａｌＤｅｌａｙ（ｉ）＋ｔａｆ２－ｔｒｍ２の最大値に設定される。
たとえば図３に示されるように、たまたま第２の値が第１の値よりも大きい場合、シームレスではないスプライシングが発生する。
【0035】
ＡｕＦｉｎａｌＡｒｒｉｖａｌＴｉｍｅおよびＮｏｎＤｉｓｃａｒｄａｂｌｅ画像に続く別の画像の除去時間が不明であり、したがって、両方の値ｔａｆＸおよびｔｒｍＸの差がＮｏｎＤｉｓｃａｒｄａｂｌｅ画像の場合と同じではない場合に導出された除去時間が誤りである（ＩｎｉｔｉａｌＣＰＢＲｅｍｏｖａｌＤｅｌａｙ（ｉ）＋ｔａｆＸ－ｔｒｍＸ）可能性があるため、このスプライシング動作は、最初のビットストリームが対応するＮｏｎＤｉｓｃａｒｄａｂｌｅ画像で終了する場合にのみ機能する。
【0036】
ＣＰＢフルネスおよび遅延：ＨＲＤモデルで発生する別の問題は、ＣＰＢバッファを利用するために、第１のアクセスユニットの除去のための時間遅延が必要とされることである。
【0037】
スプライシング後の最初のＲＡＰがＣＰＢに入ると、そのＡＵの除去は、既に論じられたように、ＩｎｉｔｉａｌＣＰＢＲｅｍｏｖａｌＤｅｌａｙ（ｉ）時間後まで遅延される。ＩｎｉｔｉａｌＣＰＢＲｅｍｏｖａｌＤｅｌａｙ（ｉ）の間にＢｉｔｒａｔｅ（ｉ）でＣＰＢを供給することにより、所与のＣＰＢフルネス、たとえばＣＰＢＡが達成される。その後、バッファリング期間ＳＥＩメッセージを有するさらなるＲＡＰにおいて、ＣＰＢＡよりも大きいＣＰＢＢを達成することは不可能である。その理由は、ＡＵがＣＰＢに入ることができる最も早い時間を数学的にチェックすることでわかる。
【0038】
ｉｎｉｔＡｒｒｉｖａｌＴｉｍｅ［ｎ］＝Ｍａｘ（ＡｕＦｉｎａｌＡｒｒｉｖａｌＴｉｍｅ［ｎ－１］，ｉｎｉｔＡｒｒｉｖａｌＥａｒｌｉｅｓｔＴｉｍｅ［ｎ］）、ここで
ｉｎｉｔＡｒｒｉｖａｌＥａｒｌｉｅｓｔＴｉｍｅ［ｎ］＝ＲｅｍｏｖａｌＴｉｍｅ［ｎ］－ＩｎｉｔＣｐｂＲｅｍｏｖａｌＤｅｌａｙ（ｉ）
ｉｎｉｔＡｒｒｉｖａｌＥａｒｌｉｅｓｔＴｉｍｅ［ｎ］＝ＲｅｍｏｖａｌＴｉｍｅ［ｎ］－ＩｎｉｔＣｐｂＲｅｍｏｖａｌＤｅｌａｙ（ｉ）
【0039】
これは、バッファリング期間ＳＥＩメッセージに続くＡＵがその除去時間のＩｎｉｔｉａｌＣＰＢＲｅｍｏｖａｌＤｅｌａｙ（ｉ）よりも早くＣＰＢに入ることができない場合、ＩｎｉｔｉａｌＣＰＢＲｅｍｏｖａｌＤｅｌａｙ（ｉ）の間にＣＰＢにＢｉｔｒａｔｅ（ｉ）を供給することはＣＰＢＡのＣＰＢフルネスを達成するのみであるため、ＣＰＢＡよりも大きいＣＰＢＢを達成することができないことを意味する。
【0040】
この問題を解決するために、図４に示されるように、仮想送信者（または図中のＨＳＳ）が、所与の時間オフセットＩｎｉｔｉａｌＣＰＢＲｅｍｏｖａｌＯｆｆｓｅｔ（ｉ）でバッファリングＳＥＩメッセージを有する最初のＲＡＰのスケジューリングを遅延させることが考えられる。
これはＶＢＲでのみ機能し、以下のＣＢＲのようにＣＢＲでは機能しないことに言及することが重要である。
ｉｎｉｔＡｒｒｉｖａｌＴｉｍｅ［ｎ］＝ＡｕＦｉｎａｌＡｒｒｉｖａｌＴｉｍｅ［ｎ－１］
これにより、スケジューリングは、以下のように変更される。
これはＶＢＲでのみ機能し、以下のＣＢＲのようにＣＢＲでは機能しないことに言及することが重要である。
ｉｎｉｔＡｒｒｉｖａｌＴｉｍｅ［ｎ］＝ＡｕＦｉｎａｌＡｒｒｉｖａｌＴｉｍｅ［ｎ－１］
これにより、スケジューリングは、以下のように変更される。
【0041】
ｉｎｉｔＡｒｒｉｖａｌＥａｒｌｉｅｓｔＴｉｍｅ［ｎ］＝ＲｅｍｏｖａｌＴｉｍｅ［ｎ］ＩｎｉｔＣｐｂＲｅｍｏｖａｌＤｅｌａｙ（ｉ）－ＩｎｉｔｉａｌＣＰＢＲｅｍｏｖａｌＯｆｆｓｅｔ（ｉ）
【0042】
これは、ＣＰＢＢのＣＰＢサイズが、ＩｎｉｔＣｐｂＲｅｍｏｖａｌＤｅｌａｙ（ｉ）＋ＩｎｉｔｉａｌＣＰＢＲｅｍｏｖａｌＯｆｆｓｅｔ（ｉ）のためにＣＰＢにＢｉｔｒａｔｅ（ｉ）を供給することによって達成されるサイズに対応することができることを意味する。
【0043】
ＡＵのドロップ：ＨＥＶＣのＨＲＤモデルは、いくつかのＮＡＬユニットのドロップもサポートする。より具体的には、ＲＡＰ画像に関連付けられた「廃棄可能な」画像がドロップされることが可能である。「廃棄可能な」画像とは、ＲＡＳＬ（ランダムアクセススキップリーディング）画像、すなわちオープンＧＯＰ（画像のグループ）構造において、提示順ではＲＡＰ画像に先行するが、復号順では後続し、復号順でＲＡＰに先行する画像も参照する画像を意味する。したがって、対応するＲＡＰ画像でランダムアクセスするとき、ＲＡＳＬ画像は復号されることが不可能である。このため、このようなビットストリームを別のビットストリームとスプライスするとき、またはそのＲＡＰ位置でセッションを開始するとき、ＲＡＳＬ画像を送信することはリソースの浪費であり、場合によっては、これらの画像は送信前にドロップされる。
明らかに、ビットストリームが修正されると、タイミング情報、すなわち画像の初期到着時間および除去時間が変化する。
明らかに、ビットストリームが修正されると、タイミング情報、すなわち画像の初期到着時間および除去時間が変化する。
【0044】
したがって、バッファリング期間ＳＥＩメッセージは、バッファリング期間ＳＥＩメッセージを有するＲＡＰに関連付けられたＲＡＳＬ画像がドロップされる場合の代替タイミングを含む。
・ＡｌｔＩｎｉｔＣｐｂＲｅｍｏｖａｌＤｅｌａｙ（ｉ）
・ＡｌｔＩｎｉｔｉａｌＣＰＢＲｅｍｏｖａｌＯｆｆｓｅｔ（ｉ）
・ＡｌｔＩｎｉｔＣｐｂＲｅｍｏｖａｌＤｅｌａｙ（ｉ）
・ＡｌｔＩｎｉｔｉａｌＣＰＢＲｅｍｏｖａｌＯｆｆｓｅｔ（ｉ）
【0045】
時間スケーラビリティ：副層をドロップするとき、タイミング情報も変化する。たとえば、元のビットストリームが６０Ｈｚを有する場合、復号順で２つの連続する画像間の公称除去時間の距離は１／６０秒であると予想される。１つおきに画像をドロップすると、距離は１／３０秒となる。これは、画像タイミングＳＥＩメッセージが置換される必要があることを意味する。さらに、ＩｎｉｔＣｐｂＲｅｍｏｖａｌＤｅｌａｙ（ｉ）およびＩｎｉｔｉａｌＣＰＢＲｅｍｏｖａｌＯｆｆｓｅｔ（ｉ）も変更される必要がある。そのため、バッファリング期間ＳＥＩメッセージは置換される必要がある。このような動作のために、典型的には追加の画像タイミングＳＥＩメッセージおよびバッファリング期間ＳＥＩメッセージがいわゆるネスティングＳＥＩメッセージに含まれる。ミドルウェアが副層ビットストリーム抽出（たとえば、６０Ｈｚビットストリームから３０Ｈｚビットストリームを得るために１つおきのフレームをドロップする）を実行するとき、元の画像タイミングＳＥＩメッセージおよびバッファリング期間ＳＥＩメッセージは、ネスティングＳＥＩメッセージからの対応する画像タイミングＳＥＩメッセージおよびバッファリング期間ＳＥＩメッセージで置換される。
【0046】
ビットレート変形例：ｉｎｉｔｉａｌ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙおよびｉｎｉｔｉａｌ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｏｆｆｓｅｔ、ならびにビットレートおよびＣＰＢ＿ｓｉｚｅなどのＨＲＤパラメータは、通常、いくつかの値に対して提供される。所与のビットストリームがＣＰＢ内に供給されるビットレートは変動する可能性があり、したがって有効なＨＲＤモデルをもたらすいくつかの値が提供されると考えられる。
【0047】
しかしながら、適切に考慮されていないいくつかの態様がある。
・ＣＢＲをもたらすビットレートのみが存在する可能性がある。
・適切なＢｉｔｒａｔｅが先験的に知られていない場合、ビットストリームは有効なＨＲＤモデル（そのためのパラメータ）を提供することができない。
・ＣＢＲをもたらすビットレートのみが存在する可能性がある。
・適切なＢｉｔｒａｔｅが先験的に知られていない場合、ビットストリームは有効なＨＲＤモデル（そのためのパラメータ）を提供することができない。
【0048】
上記で概説されたように、ｎｏｎＤｉｓｃａｒｄａｂｌｅポイントをスプライスすることは、現時点では達成することが困難なタスクであり、したがって、以下に記載される実施形態は、ｎｏｎＤｉｓｃａｒｄａｂｌｅポイントであってもスプライシングが可能となる可能性を正確に達成することを目的とする。最初の簡単な修正は、廃棄不可能な画像をアンカーとして常に使用せず、スプライシングの後に受信した最後の画像を使用するように、式を訂正することである。すなわち、
Ｒｅｍｏｖａｌ（ｐｒｅｖｉｏｕｓＮｏｎＤｉｓｃａｒｄａｂｌｅ）＋ＳｐｌｉｃｉｎｇＤｅｌｔａ
Ｒｅｍｏｖａｌ（ｐｒｅｖｉｏｕｓＮｏｎＤｉｓｃａｒｄａｂｌｅ）＋ＳｐｌｉｃｉｎｇＤｅｌｔａ
【0049】
ここで、ＳｐｌｉｃｉｎｇＤｅｌｔａは、ＡｕＣＰＢＲｅｍｏｖａｌＤｅｌｔａおよびＩｎｉｔｉａｌＣＰＢＲｅｖｏｖａｌＤｅｌａｙ（ｉ）＋ｔａｆ２－ｔｒｍ２の最大値に設定される
から、
－Ｒｅｍｏｖａｌ（ｐｒｅｖｉｏｕｓＮｏｎＤｉｓｃａｒｄａｂｌｅ）＋ＡｕＣＰＢＲｅｍｏｖａｌＤｅｌｔａ
から、
－Ｒｅｍｏｖａｌ（ｐｒｅｖｉｏｕｓＮｏｎＤｉｓｃａｒｄａｂｌｅ）＋ＡｕＣＰＢＲｅｍｏｖａｌＤｅｌｔａ
【0050】
－Ｒｅｍｏｖａｌ（ｌａｓｔＰｉｃｔｕｒｅＢｅｆｏｒｅＳｐｌｉｃｉｎｇ）＋ＩｎｉｔｉａｌＣＰＢＲｅｖｏｖａｌＤｅｌａｙ（ｉ）＋ｔａｆ２－ｔｒｍ２、ここでＲｅｍｏｖａｌ（ｌａｓｔＰｉｃｔｕｒｅＢｅｆｏｒｅＳｐｌｉｃｉｎｇ）は実際にはｔｒｍ２
のうちの最大値への変更。（上記の例において）
のうちの最大値への変更。（上記の例において）
【0051】
依然として、式に見られるように、スプライサが以前の画像をスプライシング前の最後の画像、たとえばｔｒｍ１と見なすことに決定した場合、両方の場合のうちの最大値は常にＲｅｍｏｖａｌ（ｐｒｅｖｉｏｕｓＮｏｎＤｉｓｃａｒｄａｂｌｅ）＋ＡｕＣＰＢＲｅｍｏｖａｌＤｅｌｔａとなる。これは、スプライサがＡｕＣＰＢＲｅｍｏｖａｌＤｅｌｔａの値を相応に変更し、（ｔａｆ２－ｔｒｍ２）の差がシームレスな切り替えを可能にするようになっていることを確実にするのでなければ、任意のＡＵでのシームレスなスプライシングを防止することになる。
【0052】
バッファリング期間ＳＥＩにＡｕＣＰＢＲｅｍｏｖａｌＤｅｌｔａの値を変更することは、実現可能である。しかしながら、（ｔａｆＸおよびｔｒｍＸ）を追跡することはそれほど簡単ではないので、スプライサが（ｔａｆＸおよびｔｒｍＸ）の値を追跡することは簡単ではない。
【0053】
異なるポイントでのシームレスなスプライシングが望ましいので、所与の画像がこれを可能にするか否かをスプライサに示すための何らかのシグナリングが望ましいだろう。これは、エンコーダ側で（ｔａｆＸおよびｔｒｍＸ）値をチェックし、差（ｔｒｍＸ－ｔａｆＸ）が所与の値よりも小さくならないことを確認することによって、達成されることが可能である。シグナリングは、たとえば、スプライシングポイントの前の最後のものとして使用され得る画像に関連付けられた画像タイミングＳＥＩで行われることが可能である。一例が図２６に見られる。
または、約束としてのｎｏｎＤｉｓｃａｒｄａｂｌｅ画像であっても、後続の廃棄可能な画像は要件を満たす。一例が図２７に見られる。
または、約束としてのｎｏｎＤｉｓｃａｒｄａｂｌｅ画像であっても、後続の廃棄可能な画像は要件を満たす。一例が図２７に見られる。
【0054】
（ｔｒｍＸ－ｔａｆＸ）が満たさなければならない最小値に対する要件は、スプライスされたビットストリームのｉｎｉｔｉａｌ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙに関連している。バッファリング期間ＳＥＩには、どの値で画像がシームレスなスプライシングのために使用され得るかに関する何らかの表示があるはずである。一例が図２８に見られる。
したがって、ちょうど概説された可能な修正の考察の結果として、以下の実施形態を評価した。
したがって、ちょうど概説された可能な修正の考察の結果として、以下の実施形態を評価した。
【0055】
図２５、ならびに図２６、図２７、および図２８のシグナリング例では、ビデオデータストリームが、アクセスユニットなどの画像部分２３ａのシーケンスを備えることができ、各画像部分は符号化されたビデオ１２ａの画像１０ａを有することができることがわかる。図２５は、２つのデータストリーム１４ａおよび１４ｂを描写し、スプライシングポイント９２に先行する、すなわちその左のストリーム１４ａの部分の後端が、スプライシングポイント９２に続く、すなわちその右のストリーム１４ｂの部分の前端に当接するような、スプライシングポイント９２でのストリーム１４ａおよび１４ｂのスプライシングを示す。サーバ、ビデオ会議システム、またはクライアント－サーバストリーミングシステムなどのスプライシング装置によって実行されるスプライシングの結果、すなわちスプライスされたデータストリームは、１４ｃで示されている。
【0056】
画像部分は第１のタイプの画像部分を備えることができ、これらはクロスハッチング、またはいくつかの図では単純にハッチングされて示されており、上記ではマーク画像と呼ばれる。そのための例は、バッファリング期間ＳＥＩを有する、または備えるＡＵである。これらの第１のタイプの画像部分はＣＰＢ除去時間基準として機能し、つまり、これらのＣＰＢ除去は、ＡｕＣＰＢＲｅｍｏｖａｌＤｅｌａｙなどの時間オフセットとして与えられるその他のタイミングのための基準ａｎｃｈｏｒＴｉｍｅとして使用される。
【0057】
画像部分は、バッファリング期間ＳＥＩを備えない画像など、いくつかの図ではハッチングなしで示されている、第２のタイプの画像部分をさらに備えることがでる。
【0058】
データストリーム１４ａおよび１４ｂは、第１のタイミング情報９５を追加で備え、各画像部分においてＡｕＣＰＢＲｅｍｏｖａｌＤｅｌａｙまたはａｕ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｍｉｎｕｓ１を比較し、それぞれの画像部分の第１のＣＰＢ除去時間について通知する。第１のＣＰＢ除去時間は、先行する第１のタイプの画像部分、すなわち図２５に描写される符号化またはビットストリーム順で先行するもの、具体的には直前のものの除去からの経過時間を測定する。
【0059】
データストリーム１４ａおよび１４ｂは、第２のタイミング情報をさらに備え、所定の第１のタイプの画像部分の各々において、たとえば以下で論じられるスプライスポイント表示の前など、バッファリング期間ＳＥＩの画像タイミング構文内に存在し得るｉｎｉｔｉａｌ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙを比較する。これらの所定の第１のタイプの画像部分は、単純にハッチングされて示され、たとえばＲＡＰであるように示されるバッファリング期間ＳＥＩを有するＡＵ、または言い換えると、バッファリング期間ＳＥＩを備えてＲＡＰであるように示されるＡＵなど、特定の第１のタイプの画像部分である、別の第１のタイプの画像部分と区別するために、図２５ではクロスハッチングで示されている。第２のタイミング情報は、それぞれの所定の第１のタイプの画像部分以降のビデオデータストリームの復号を再開する場合に、それぞれの所定の第１のタイプの画像部分の第２のＣＰＢ除去時間について通知する。第２のＣＰＢ除去時間は、それぞれの所定の第１のタイプの画像部分の最初のビットのＣＰＢ到着、すなわちデコーダのＣＰＢの到着からの経過時間を測定する。
【0060】
データストリームのうちの少なくとも１つ、図２５ではその１４ａ、すなわちそのスプライシングポイント９２に追加された、別のストリーム、ここでは１４ｂを取得するために分割すべき、または分離すべきものは、スプライスポイント表示９４、９４’、たとえばｓｐｌｉｃｅａｂｌｅ＿ｆｌａｇまたはｆｏｌｌｏｗｉｎｇ＿ｐｉｃ＿ｓｐｌｉｃｅａｂｌｅ＿ｆｌａｇをさらに備えることができ、これは、別のビデオデータストリーム１４ｂを有するスプライスポイント９２の前の最後の画像部分として機能し得るように、すなわちスプライシングを可能にするのに適するように、その最終ＣＰＢ到着とそのＣＰＢ除去との間の、上記で示されたｔｒｍ＃－ｔａｆ＃などの時間差が所定の閾値を超える、たとえばＲＡＰのない画像部分を示す。
閾値は、たとえば、以下のように計算されることが可能であることに留意すべきである。
閾値は、たとえば、以下のように計算されることが可能であることに留意すべきである。
【0061】
除去時間は等距離であり、１／フレームレートに等しいと想定される。図２５のＡＵ２３ｂ’など、新たにスプライスされたＡＵの望ましい除去時間はｔｒｍ＃＋１／フレームレートとなるべきであり、ｔｒｍ＃は直前のＡＵまたは画像部分の除去時間であり、２３’ａが指している。
【0062】
ｔｒｍ＃＋１／フレームレートは、ｔａｆ＃＋ｉｎｉｔｉａｌ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ以上でなければならず、ｔａｆ＃は、それぞれのＡＵ２３ｂ’のＣＰＢ最終到着時間である。したがって、「所定の閾値」はｉｎｉｔｉａｌ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ－１／フレームレートということになる。
【0063】
そして、ｍａｘ＿ｖａｌ＿ｉｎｉｔｉａｌ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｆｏｒ＿ｓｅａｍｌｅｓｓ＿ｓｐｌｉｃｉｎｇの変形例、すなわちこの閾値が、たとえば別のストリーム１４ｂが追加差あれるデータストリーム１４ａなど、データストリームのうちの少なくとも１つに明示的に示される変形例では、ｔｒｍ＃＋１／フレームレートは、ｔａｆ＃＋ｍａｘ＿ｖａｌ＿ｉｎｉｔｉａｌ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｆｏｒ＿ ＿ｓｅａｍｌｅｓｓ＿ｓｐｌｉｃｉｎｇ以上である。すると、「所定の閾値」は、ｍａｘ＿ｖａｌ＿ｉｎｉｔｉａｌ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｆｏｒ＿ｓｅａｍｌｅｓｓ＿ｓｐｌｉｃｉｎｇ－１／フレームレートということになる。
【0064】
つまり、ビデオデータストリーム１４ａは、最大の第２のＣＰＢ除去時間値の表示９９も備えることができ、これは、別のビデオデータストリーム１４ｂがスプライスポイント９２でビデオデータストリーム１４ａと連結される別のビデオデータストリーム１４ｂの開始の第１のタイプの画像部分２３ｂ’の第２のＣＰＢ除去時間が最大の第２のＣＰＢ除去時間値を下回る限り、その最終ＣＰＢ到着とそのＣＰＢ除去との間の時間差ｔｒｍ＃－ｔａｆ＃がスプライスポイント表示によって所定の閾値を超えるように示される画像部分のいずれかと別のビデオデータストリーム１４ｂを連結することがシームレスなスプライシングをもたらすことを示す。
【0065】
上記で示されたバッファリング期間ＳＥＩの例は、表示９９、連結フラグ９５、および第３のＣＰＢ除去時間９８を含むことに留意されたい。これは、ストリーム１４ａおよび１４ｂの両方が同じ種類の情報データを搬送する例を示す。別の例では、これは異なる可能性がある。
【0066】
スプライスポイント表示９４、９４’は、それぞれの画像部分についてその最終ＣＰＢ到着とそのＣＰＢ除去との間の時間差ｔｒｍ＃－ｔａｆ＃が所定の閾値を超えるか否かを示す、たとえばＲＡＰなしの、画像部分の各々または画像部分のセットの各々に存在するフラグ９４をさらに備えることができる。
【0067】
代替的にまたは追加的に、スプライスポイント表示９４、９４’は、画像部分の各々または画像部分のセットの各々に、たとえばＲＡＰではないこれらの画像部分に存在するフラグ９４’をさらに備えることができ、このフラグは、各々についてそれぞれの画像部分以降次の第１のタイプの画像部分まで、その最終ＣＰＢ到着とそのＣＰＢ除去との間の時間差ｔｒｍ＃－ｔａｆ＃が所定の閾値を超えるか否かを示す。
【0068】
画像部分のシーケンスは、画像部分が、図２５などのいくつかの図では下線なしで示されている廃棄不可能な画像部分と、その中で下線が引かれて示されている廃棄可能な画像部分とを備えるように、動き補償予測などの時間インター予測９０を使用して符号化されたビデオ１２ａの画像をさらに有することができる。
【0069】
これらの廃棄不可能な画像部分は、スタンドアロン方式で復号可能であり、その一方で廃棄可能な画像部分は、廃棄不可能な画像部分を復号するために必要とされないが、それ自体復号可能であるために廃棄不可能な画像部分を必要とする可能性がある。廃棄可能な画像部分が復号されなければ、将来、問題なくビデオを復号することができることに留意されたい。
【0070】
つまり、廃棄可能な画像部分は、たとえば、時間インター予測のための参照画像として機能せず、その一方で廃棄不可能な画像は、時間インター予測のための参照画像として機能し得る。階層的時間スケーラビリティを使用して符号化されたデータストリームは、このような画像部分の一例を表し、最下位（ベース）時間層の画像部分は廃棄不可能であってもよいが、他のものは廃棄可能であってもよい。別の例は、ＲＡＳＬ画像が廃棄不可能であり得るオープンＧＯＰ符号化データストリームである。
【0071】
ビデオデータストリーム１４ｃは、その最終ＣＰＢ到着とそのＣＰＢ除去との間の時間差ｔｒｍ＃－ｔａｆ＃が所定の閾値を超えることをスプライスポイント表示９４；９４’が示す所定の画像部分２３ａ’に、スプライスインビデオデータストリーム１４ｂに由来する最初の所定の第１のタイプの画像部分２３ｂ’が続き、これに当接するように、スプライスポイント９２でスプライスされる。
【0072】
ビデオデータストリーム１４ｃは、最初の所定の第１のタイプの画像部分に連結フラグ９６および第３のタイミング情報９８を備え、ＡｕＣＰＢＲｅｍｏｖａｌＤｅｌｔａまたはａｕ＿ｃｐ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｄｅｌｔａ＿ｍｉｎｕｓ１を比較する。連結フラグ９６および第３のタイミング情報９８は、スプライシングの前に既にスプライスインデータストリーム１４ｂに存在していた可能性があるが、スプライシング装置は、非スプライシングを示す状態からスプライシングを示す状態にフラグ９６をリセットしていてもよく、および／または第３のタイミング情報９８を設定していてもよい。つまり、連結フラグ９６は、ビデオデータストリームが最初の所定の第１のタイプの画像部分でスプライスされていることを示す第１の状態に設定され、第３のタイミング情報は、最初の所定の第１のタイプの画像部分２３ｂ’でスプライスする場合のＣＰＢ除去時間を決定するのに役立つ最初の所定の第１のタイプの画像部分２３ｂ’の第３のＣＰＢ除去時間を示す。第３のＣＰＢ除去時間は、廃棄不可能な画像部分の直近のＣＰＢ除去からの経過時間を測定する。たとえば、スプライスされたデータストリーム１４ｃに符号化されているビデオデータストリームの直近の廃棄不可能な画像部分の除去以来である。
【0073】
任意選択的に、いくつかの図ではハッチングで示されている所定の第１のタイプの画像部分の各々は、連結フラグ９６および第３のタイミング情報９８を備え、連結フラグは第１および第２の状態に設定可能であり、第２の状態は、ビデオデータストリームがそれぞれの所定の第１のタイプの画像部分でスプライスされていないことを示すということがあり得る。
【0074】
この実施形態によるビデオエンコーダは、以下の方法でビデオをビデオデータストリームに符号化することができる。たとえば、このようなエンコーダはエンコーダデータストリーム１４ａであると仮定する。これはまた、上述のように、同じように解釈され得るデータストリーム１４ｂを符号化するように構成されることも可能である。エンコーダは、ビデオデータストリーム１４ａが画像部分２３ａのシーケンスを備え、各画像部分が符号化されたビデオ１２ａの画像１０ａを有するように、符号化を実行する。次に、ビデオエンコーダは、画像部分を、ＣＰＢ除去時間基準として機能する第１のタイプの画像部分および上述の第２のタイプの画像部分に分類することができる。エンコーダは、ビデオデータストリームに第１および第２のタイミング情報を提供し、所定の画像部分（たとえばこれらは、たとえば廃棄可能な画像部分を含むことができる）の各々について、その最終ＣＰＢ到着とそのＣＰＢ除去との間の時間差が所定の閾値を超えるか否かをチェックすることができる。そうである場合、それぞれの所定の画像部分は、別のビデオデータストリーム１４ｂとのスプライスポイント９２の前の最後の画像部分として機能し得ること。
ビデオエンコーダは、ビデオデータストリーム１４ａにスプライスポイント表示９４、９４’をさらに提供することができる。
ビデオエンコーダは、ビデオデータストリーム１４ａにスプライスポイント表示９４、９４’をさらに提供することができる。
【0075】
ビデオエンコーダは、各所定の画像部分について、所定の閾値として、それぞれの所定の画像部分、たとえば２３ａ’に先行する図のいくつかで単純にハッチングされたものの前の直近の第１のタイプの所定の画像の第２のＣＰＢ除去時間に基づいて決定された値をさらに使用することができる。
【0076】
ビデオエンコーダはまた、各所定の画像部分について、所定の閾値として、最大の第２のＣＰＢ除去時間値に基づいて決定された値を使用し、それぞれの所定の画像部分、たとえば２３ａ’に先行する図で単純にハッチングされたものの前の直近の第１のタイプの所定の画像に、最大の第２のＣＰＢ除去時間値の表示９９を書き込むこともできる。
【0077】
以下は、上述のスプライスされたデータストリームがデコーダ内で、その中のＨＲＤ４６などによって、または言い換えればビデオデコーダ４４のＣＰＢ４８を管理するための装置４６によってどのように処理され得るかを対象とし、ビデオデコーダ４４は、ＣＰＢによってバッファリングされるように、すなわち除去時間にＣＰＢを介して画像部分を受信し、画像部分は前述の最終到着時間において完全にＣＰＢに到達するように、ビデオデータストリーム１４ｃを復号する。この装置は、最初の所定の第１のタイプの画像部分２３ｂ’の連結フラグ９６が、最初の所定の第１のタイプの画像部分でスプライスインが行われたことを示すか否かをチェックすることができる。次に、装置は、ＣＰＢから最初の所定の第１のタイプの画像部分２３ｂ’を除去する時間を決定することができる。
【0078】
除去すべき時間は、最初の所定の第１のタイプの画像部分の連結フラグが、最初の所定の第１のタイプの画像部分でスプライスインが行われなかったことを示す場合、最初の所定の第１のタイプの画像部分２３ｂ’の第１のタイミング情報９５に基づいて決定されることが可能である。
【0079】
そして除去すべき時間は、最初の所定の第１のタイプの画像部分の連結フラグ９６が、最初の所定の第１のタイプの画像部分でスプライスインが行われたことを示す場合、最初の所定の第１のタイプの画像部分２３ｂ’の第２のタイミング情報、たとえばｉｎｉｔｉａｌ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ、および最初の所定の第１のタイプの画像部分の第３のタイミング情報９８に基づいて決定されることが可能である。
【0080】
任意選択的に、装置は、廃棄不可能な画像部分の直近のＣＰＢ除去プラス最初の所定の第１のタイプの画像部分の第３のＣＰＢ除去時間と、最初の所定の第１のタイプの画像部分が続いてこれに当接する所定の画像部分２３ａ’のＣＰＢ除去プラス第２のＣＰＢ時間マイナス所定の画像部分２３ａ’の最終ＣＰＢ到着とＣＰＢ除去との間の時間差ｔｒｍ＃－ｔａｆ＃との間の最大値を決定することによって、これを行うことができる。この時間はその後、ＣＰＢから最初の所定の第１のタイプの画像部分２３ｂ’を除去するために使用される。
【0081】
やはりこの実施形態によれば、２つのビデオデータストリーム、ここでは１４ｃを生成するための１４ａおよび１４ｂを互いにスプライスするための装置、すなわち図２５に描写されるものが説明される。各々は、上記で記載された通り、各々が画像部分２３ａ、ｂのシーケンスを備え、各画像部分が符号化されたビデオ１２ａ、ｂの画像１２ａ、ｂを有するようになっている。
画像部分もまた上記で記載された通り、第１および第２のタイプの画像部分、ならびに第１および第２のタイミング情報を備えている。
画像部分もまた上記で記載された通り、第１および第２のタイプの画像部分、ならびに第１および第２のタイミング情報を備えている。
【0082】
次に、第２のビデオデータストリームは、最初の所定の第１のタイプの画像部分に連結フラグ９６および第３のタイミング情報９８を備える。連結フラグ９６は、第２のビデオデータストリームを示す第２の状態に設定され、最初の所定の第１のタイプの画像部分は第２のビデオデータストリームを継続し、第３のタイミング情報は、最初の所定の第１のタイプの画像部分で第２のビデオデータストリームをスプライスインするときにＣＰＢ除去時間を決定するのに役立つ最初の所定の第１のタイプの画像部分の第３のＣＰＢ除去時間を示し、第３のＣＰＢ除去時間は、廃棄不可能な画像部分の直近のＣＰＢ除去からの経過時間を測定する。
【0083】
装置はその後、第１のビデオデータストリームが第２のビデオデータストリームとスプライスされる前の最後の画像部分として機能し得るように、第１のビデオデータストリームのスプライスポイント表示９４；９４’が、たとえばＲＡＰのない所定の画像部分について、そのＣＰＢ到着とそのＣＰＢ除去との間の時間差が所定の閾値を超えることを示すか否かをチェックすることができる。
【0084】
たとえば、一変形例では、所定の閾値は、第１のストリーム１４ａのバッファリングＳＥＩのｉｎｔｉａｌ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙに基づいて、またはｍａｘ＿ｖａｌ＿ｉｎｉｔｉａｌ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｆｏｒ＿ｓｅａｍｌｅｓｓ＿ｓｐｌｉｃｉｎｇ］に基づいて決定されている。
【0085】
このチェックの結果が肯定、すなわち「はい」である場合、装置は、第２のビデオデータストリームの最初の所定の第１のタイプの画像部分の連結フラグ９６を、第２のビデオデータストリームが最初の所定の第１のタイプの画像部分でスプライスインされたことを示す第１の状態に設定し、スプライスされたビデオデータストリームを取得するように、所定の画像部分２６ａ’の第１および第２のデータストリームおよび最初の所定の第１のタイプの画像部分２６ｂ’をそれぞれ連結することができる。
【0086】
また、そうである場合、装置は、第２のビデオデータストリーム内の代わりにスプライスされたビデオデータストリーム内の第１のビデオデータストリームの廃棄不可能な画像部分の直近のＣＰＢ除去からの経過時間を測定するように、第３のタイミング情報９８を書き換えることができる。
【0087】
また、そうである場合、装置は、第２のビデオデータストリームと比較してスプライスされたビデオデータストリームを考慮するときに、最初の所定の第１のタイプの画像部分の前の廃棄不可能な画像部分の直近のＣＰＢ除去からの経過時間が変化したか否かをさらにチェックすることができ、そうである場合、スプライスされたビデオデータストリーム内の第１のビデオデータストリームの廃棄不可能な画像部分の直近のＣＰＢ除去からの経過時間を測定するように、第３のタイミング情報９８を書き換えることができる。
一般に、装置は、以下のチェックをチェックし、両方のチェックが肯定となった場合に設定および連結を実行することもできる。
一般に、装置は、以下のチェックをチェックし、両方のチェックが肯定となった場合に設定および連結を実行することもできる。
【0088】
まず、それぞれの所定の画像部分の前の第１のビデオデータストリーム１４ａの直近の第１のタイプの所定の画像部分の第２のＣＰＢ除去時間に等しい、またはそこから決定された上限が、第２のビデオデータストリームの最初の所定の第１のタイプの画像部分２３ｂ’の第２のＣＰＢ除去時間よりも大きいか否か。
第１のストリーム１４ａの直近の第１のタイプの所定の画像部分は、いくつかの図では単純にハッチングされて示されている。
第１のストリーム１４ａの直近の第１のタイプの所定の画像部分は、いくつかの図では単純にハッチングされて示されている。
【0089】
直近の第１のタイプの所定の画像部分の第２のＣＰＢ除去時間は、直近の第１のタイプの所定の画像部分の追加のＣＰＢ供給延期時間を有することもできる。これは、直近の第１のタイプの所定の画像部分の最初のビットのＣＰＢ到着が遅延される経過時間を測定する。
それぞれの所定の画像部分は、たとえば、２３ａ’に先行する、図のいくつかで単純にハッチングされたものである。
それぞれの所定の画像部分は、たとえば、２３ａ’に先行する、図のいくつかで単純にハッチングされたものである。
【0090】
第２のチェックは、直近の第１のタイプの所定の画像部分に示される最大の第２のＣＰＢ除去時間値９９が、第２のビデオデータストリームの最初の所定の第１のタイプの画像部分２３ｂ’の第２のＣＰＢ除去時間よりも大きいか否かである。
【0091】
たとえば、一変形例では、所定の閾値は、第１のストリームのバッファリングＳＥＩのｉｎｔｉａｌ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙのみであり得る。あるいは、閾値は、ｉｎｉｔｉａｌ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＋ｉｎｉｔｉａｌ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｏｆｆｓｅｔ、すなわちＣＰＢ供給延期時間である。さらに代替的に、第２の選択肢で記載されたように、最大値ｍａｘ＿ｖａｌ＿ｉｎｉｔｉａｌ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｆｏｒ＿ｓｅａｍｌｅｓｓ＿ｓｐｌｉｃｉｎｇが送信されることが可能である。
【0092】
たとえば、ＡｕＣＰＢＲｅｍｏｖａｌＤｅｌｔａは、元の第２のビットストリーム１４ｂの廃棄不可能な画像までの距離である元の値がスプライスされたビットストリーム１４ｃでの距離と異なる場合にのみ、書き換えられる必要がある。
【0093】
たとえば、両方のビットストリームは同じフレームレートを有し、復号順で示される以下のビットストリームは、連結、すなわちスプライスされると想定され得る。
第２のビットストリーム：ＲＡＰ１、Ｂ０、Ｂ１（廃棄不可能）、Ｂ２、ＲＡＰ２（ｓｐｌｉｃｉｎｇ＿ｐｏｉｎｔ）
第１のビットストリーム：ｒａｐ１、ｂ０（廃棄不可能）、ｂ１、ｂ２、ｂ３、ｂ４
互いにスプライス：
ｒａｐ１、ｂ０（廃棄不可能）、ｂ１、ｂ２、ｂ３、ＲＡＰ２（ｓｐｌｉｃｉｎｇ＿ｐｏｉｎｔ）
第２のビットストリーム：ＲＡＰ１、Ｂ０、Ｂ１（廃棄不可能）、Ｂ２、ＲＡＰ２（ｓｐｌｉｃｉｎｇ＿ｐｏｉｎｔ）
第１のビットストリーム：ｒａｐ１、ｂ０（廃棄不可能）、ｂ１、ｂ２、ｂ３、ｂ４
互いにスプライス：
ｒａｐ１、ｂ０（廃棄不可能）、ｂ１、ｂ２、ｂ３、ＲＡＰ２（ｓｐｌｉｃｉｎｇ＿ｐｏｉｎｔ）
【0094】
本来、ＲＡＰ２のバッファリング期間ＳＥＩは、０に設定されたｃｏｎｃａｔｅｎａｔｉｏｎ＿ｆｌａｇおよび２／フレームレートに等しいＡｕＣＰＢＲｅｍｏｖａｌＤｅｌｔａを含む。
【0095】
スプライスされたビットストリームでは、ｃｏｎｃａｔｅｎａｔｉｏｎ＿ｆｌａｇは１に設定され、ＡｕＣＰＢＲｅｍｏｖａｌＤｅｌｔａは４／フレームレートに等しくなる。
【0096】
しかしながら、スプライスされたビットストリームがｒａｐ１、ｂ０（廃棄不可能）、ｂ１、ＲＡＰ２（ｓｐｌｉｃｉｎｇ＿ｐｏｉｎｔ）である場合、ｃｏｎｃａｔｅｎａｔｉｏｎ＿ｆｌａｇは１に設定され、ＡｕＣＰＢＲｅｍｏｖａｌＤｅｌｔａは２／フレームレートに等しい。
したがって、第１のケースではＡｕＣＰＢＲｅｍｏｖａｌＤｅｌｔａを書き換える必要があるが、第２のケースでは必要ない。
したがって、第１のケースではＡｕＣＰＢＲｅｍｏｖａｌＤｅｌｔａを書き換える必要があるが、第２のケースでは必要ない。
【0097】
スプライスされ、ｍａｘ＿ｖａｌ＿ｉｎｉｔｉａｌ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｆｏｒ＿ｓｅａｍｌｅｓｓ＿ｓｐｌｉｃｉｎｇよりも小さい初期除去遅延を含むストリームでは、画像タイミングＳＥＩでのフラグがそのように指示する場合に、シームレスなスプライスが達成され得る。スプライスされたストリームの初期除去遅延の方が高い場合には、スプライス可能であるか否かを知ることは、明らかに実現不可能である。
【0098】
上記の実施形態は、廃棄不可能なポイントでのスプライシングを可能にするという問題に関連していたが、以下の説明は、どのようにして利用可能な除去時間をＤＲＡＰなどの除去可能な画像部分にも利用可能にできるかという問題を対象とする。特に、後続の実施形態は、ランダムアクセスが実行されるかまたはスプライシング走査が実行されるときのオープンＧＯＰ構造のＲＡＳＬ画像の場合など、いくつかのＡＵのドロップが実行される場合のタイミング情報（除去時間）を提供することに関する。言い換えると、除去時間が従属ランダムアクセスポイント、ＤＲＡＰ、画像でも適用可能か否かである。
【0099】
ここでの考え方は、ＲＡＰのバッファリング期間ＳＥＩのｉｎｉｔｉａｌ＿ｒｅｍｏｖａｌ時間を修正することである。以下では異なるケースが論じられ、ＡＵの除去時間の例が示される。
【0100】
図１は、本出願による発明の概念を示す。ビデオ１２が符号化され、ビデオデータストリーム１４の完全バージョン１５をバッファリングする場合にデコーダ側に適用される第１のＣＰＢ除去時間ｔｒｍ
（１）に関する第１のタイミング情報１６と、ビデオデータストリームの完全バージョンからのビデオデータストリームの一部分２４の除去２２によるビデオデータストリームとは異なる、ビデオデータストリーム１４の縮小バージョン２０をバッファリングするためにデコーダ側に適用される第２のＣＰＢ除去時間ｔｒｍ
（２）に関する第２のタイミング情報１８とを有するビデオデータストリームが描写されている。
【0101】
任意選択的に、第２のタイミング情報１８は、第２のＣＰＢ除去時間ｔｒｍ
（２）を生成するために第１のＣＰＢ除去時間ｔｒｍ
（１）を修正する方法に関するタイミング修正情報によって、第２のＣＰＢ除去時間ｔｒｍ
（２）を定義する。このようなタイミング修正情報の例は、たとえば、ｉｎｉｔ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｃｏｒｒｅｃｔｉｏｎ＿ｏｆｆｓｅｔである。
【0102】
さらに、第１のタイミング情報１６は、画像ごとに、復号順２６で先行するマーク画像に対する増分によって、画像に対する第１のＣＰＢ除去時間ｔｒｍ
（１）をシグナリングすることができる。
【0103】
増分は、ＡｕＣＰＢＲｅｍｏｖａｌＤｅｌａｙまたはａｕ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｍｉｎｕｓ１によって例示的にシグナリングされることが可能である。マーク画像は、たとえば、クリーンランダムアクセスポイントＣＲＡにあってもよく、バッファリング期間ＳＥＩを含む画像である。これらは、典型的にはＲＡＰ画像であるが、たとえば時間層０画像など、他の必須の画像であってもよい。
【0104】
言い換えると、ビデオデータストリームの各画像部分２３は、その画像部分２３が符号化順２６に沿ってその画像部分に先行するＲＡＰ画像に対するＣＰＢ４８からのその除去の遅延を測定する増分を備える。画像部分２３は、ＨＥＶＣの場合など、アクセスユニットＡＵとも呼ばれる。
任意選択的に、マーク画像は、マーク画像に関連する画像部分内のビデオデータストリームのバッファリング期間メッセージによってマークされる。
任意選択的に、マーク画像は、マーク画像に関連する画像部分内のビデオデータストリームのバッファリング期間メッセージによってマークされる。
【0105】
さらに、ビデオデータストリームを復号するビデオデコーダ４４のＣＰＢ４８を管理するための装置４６は、その部分がビデオデータストリームによって構成される場合には第１のタイミング情報１６に従って、部分２４が除去されている場合には第２のタイミング情報１８に従って、ＣＰＢを管理することができる。
図５は、完全なビットストリームを示す。クリーンランダムアクセスポイントＣＲＡの初期除去時間は８である。
図５は、完全なビットストリームを示す。クリーンランダムアクセスポイントＣＲＡの初期除去時間は８である。
【0106】
図７では、ＲＡＳＬ画が除去されている。ＣＲＡの初期除去時間は７である。後続の画像の除去時間は、以前のケースと比較して、４のデルタオフセットを有する。
【0107】
図６は、除去されたＲＡＳＬ画像と、ＤＲＡＰであるＴＲＡＩＬ４までの（ただしこれを除く）ＴＲＡＩＬ（通常のトレイリング）画像を示す。ＣＲＡの初期除去は、ビットストリームが最初からあった場合とＣＰＢレベルが同じになるように、この時点で１１である。
【0108】
１つの選択肢は、フレームをドロップする様々な可能性の代替タイミングを追加することであろう。すなわち、ＲＡＳＬ画像を除去するためのもの、第１のＤＲＡＰを除去するためのもの、第２のＤＲＡＰを除去するためのものなどである。
【0109】
しかしながら、これは、バッファリング期間ＳＥＩのサイズを増加させ、これがどのケースに該当するか、すなわちＲＡＳＬが除去されるのか、第１のＤＲＡＰまでの全てのＡＵか、第２のＤＲＡＰまでの全てのＡＵかなどを受信機に示す必要がある。これはＳＥＩで行われることが可能である。
【0110】
しかしながら、バッファリングＳＥＩが適切に書き込まれ得るように、全てのＤＲＡＰの符号化が行われることも必要であり、これにより、エンコーダ／送信機側で追加の遅延を引き起こす。
【0111】
あるいは、バッファリングＳＥＩメッセージにおいて単一の値が示され、これは後続のＳＥＩ、たとえば次の除去されていないＡＵの画像タイミングＳＥＩメッセージによって修正されることが可能である。次いでＡＵの除去が実行されると、フラグａｕｓ＿ｓｉｎｃｅ＿ｒａｐ＿ｒｅｍｏｖｅｄ＿ｆｌａｇを設定するだけでよい。その一例が図８に見られる。
【0112】
ここでは、上述の図と組み合わせて、第２のタイミング情報１８は、第１の画像部分２８’に対する第２のＣＰＢ除去時間ｔｒｍ
（２）を生成するために、第１の所定の画像ＣＲＡに関するビデオデータストリームの第１の画像部分２８’に対して第１のタイミング情報によって示され、ビデオデータストリームの部分２４’に先行する、第１のＣＰＢ除去時間ｔｒｍ
（１）を修正する方法に関する第１のタイミング修正情報１９によって、またはこの第１のＣＰＢ除去時間ｔｒｍ
（１）を置換するための第１のタイミング置換情報によって、第２のＣＰＢ除去時間ｔｒｍ
（２）を定義できることがわかる。
【0113】
第１のタイミング修正情報１９は、たとえば、ｉｎｉｔ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｃｏｒｒｅｃｔｉｏｎ＿ｏｆｆｓｅｔによってシグナリングされることが可能である。
【0114】
さらに、第１のタイミング修正情報１９または第１のタイミング置換情報は、ビデオデータストリームの部分２４’に続き、第２の所定の画像ＴＲＡＩＬ１に関連する、ビデオデータストリームの第２の画像部分３０’内のビデオデータストリームでシグナリングされる。
【0115】
ＳＥＩメッセージは、ＣＰＢでもバッファリングされているものとして処理されることが可能であり、したがって、第１および第２のタイミング情報を決定する際に考慮される必要があるかも知れないことに留意されたい。第１および第２のタイミング情報は、含まれている第１および第２のタイミング情報を伝達するＳＥＩメッセージについて１回、およびドロップされているＳＥＩメッセージについて１回、計算および伝達され得る。
また、任意選択的に、第２の画像部分は、その部分が除去されているか否かを示す信号化３２を備えることができる。
また、任意選択的に、第２の画像部分は、その部分が除去されているか否かを示す信号化３２を備えることができる。
【0116】
そして第１のタイミング修正情報１９または第１のタイミング置換情報は、その部分が除去されていることを示す信号化３２またはその部分が除去されていないことを示す信号化３２に関係なく、ビデオデータストリームでシグナリングされることが可能である。
【0117】
第１の所定の画像は、マーク画像、たとえばイントラランダムアクセスポイントＩＲＡＰまたは従属ランダムアクセスポイントＤＲＡＰ、画像、すなわち上記で詳述されたように、タイミング基準として機能するものであり得る。
また、第２の所定の画像は、ＴＲＡＩＬまたはＤＲＡＰ画像であり得る。
また、第２の所定の画像は、ＴＲＡＩＬまたはＤＲＡＰ画像であり得る。
【0118】
さらに、第２のタイミング情報１８は、１つ以上の第３の画像部分３０’のセットに対して第２のＣＰＢ除去時間ｔｒｍ
（２）を生成するために、第３の所定の画像に関連し、ビデオデータストリームの部分２４’に従い、第２の画像部分２８’を備えるビデオデータストリームの１つ以上の第３の画像部分３１’のセットに対して第１のタイミング情報によって示された第１のＣＰＢ除去時間ｔｒｍ
（１）を修正する方法に関する第２のタイミング修正情報２１によってさらに第２のＣＰＢ除去時間ｔｒｍ
（２）を定義することができ、第２のタイミング修正情報２１は、第２の画像部分３０’内のビデオデータストリームでシグナリングされることが可能である。
第２のタイミング修正情報２１は、たとえばｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｏｆｆｓｅｔによってシグナリングされることが可能である。
第２のタイミング修正情報２１は、たとえばｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｏｆｆｓｅｔによってシグナリングされることが可能である。
【0119】
第２の画像部分はまた、その部分が除去されているか否かを示す信号化３２を備えることもでき、第２のタイミング修正情報２１は、その部分が除去されていることを示す信号化３２またはその部分が除去されていないことを示す信号化３２に関係なく、ビデオデータストリームでシグナリングされることが可能である。
【0120】
ビデオデータストリームの１つ以上の第３の画像部分３１’のセットがマーク画像に関する第４の画像部分まで拡張することは、１つの選択肢である。ここでは、マーク画像は、タイミング基準の開始点として機能することができる。
最後に、マーク画像は、マーク画像に関連する画像部分内のビデオデータストリームのバッファリング期間メッセージによってマークされることが可能である。
最後に、マーク画像は、マーク画像に関連する画像部分内のビデオデータストリームのバッファリング期間メッセージによってマークされることが可能である。
【0121】
ＤＲＡＰについて示されるケースでは、ＣＲＡの初期除去は、フルビットストリームが考慮され、そのためＣＰＢフィルレベルが元のケースよりも高いときのように、８ではなく１１であることに留意されたい。これは、潜在的な問題およびバッファオーバーフローをもたらす可能性がある。
【0122】
別の選択肢は、（ＤＲＡＰの場合）ＣＰＢからの除去時間が全てのフレームについて等距離ではないことを許容することであろう。より具体的には、ＲＡＰおよびＤＲＡＰでは、等距離ではない距離を有することができ、他の全てのＡＵではそうである。
【0123】
その場合、ＲＡＰのバッファリング期間ＳＥＩメッセージは、ビットストリーム全体の、またはＲＡＳＬが除去されたときのもの、およびＤＲＡＰの場合のものの２つのタイミングを有することができる。第２のケースでは、ＲＡＰは出力されないので、ＲＡＰの除去時間は、ＲＡＰの最終到着時間がその除去時間に等しくなるようになり得る。次に、ＤＲＡＰ ＡＵは、バッファを所望のレベルまで蓄積する第２の除去時間を有する。このような場合、ＲＡＰの最終到着時間は、ＣＢＲおよびＶＢＲの両方のケースのＤＲＡＰの最も早い到着時間である。記載された解決策は、図９に示されている。
例示的なシグナリング構文は、図１０および図１１に示されている。
例示的なシグナリング構文は、図１０および図１１に示されている。
【0124】
一実施形態では、第２のタイミング情報１８は、修正方法に関しては第３のタイミング修正情報３３および／または第４のタイミング修正情報３５によって、もしくは第３のタイミング置換情報３３または第４のタイミング置換情報３５によって、第２のＣＰＢ除去時間ｔｒｍ
（２）を定義することができる。
【0125】
第３のタイミング修正／置換情報３３は、第１の画像部分２８’に対する第２のＣＰＢ除去時間ｔｒｍ
（２）を生成するために、第１の所定の画像ＣＲＡに関連してビデオデータストリームの部分２４’’に先行するビデオデータストリームの第１の画像部分２８’に対する第１のタイミング情報によって示される第１のＣＰＢ除去時間ｔｒｍ
（１）を修正または置換する方法に関する。
【0126】
第３のタイミング修正／置換情報３３は、たとえば、ｄｒａｐ＿ｏｐｅｒａｔｉｏｎ＿ｉｎｉｔｉａｌ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙによってシグナリングされることが可能である。ｃｐｂ＿ｄｒａｐ＿ｏｐｅｒａｔｉｏｎ＿ｒｅｍｏｖａｌ＿ｏｆｆｓｅｔは、到着時間、すなわち、特定の画像部分、すなわちバッファリングＳＥＩメッセージによってマークされたマーク画像がＣＰＢに入るかまたは供給される時間に関係することにも、留意すべきである。供給は、本出願に記載されるようなＣＰＢを管理するための装置とは異なる装置の責任になり得る。到着時間の遵守は、送信中間ネットワークノード次第であり得る。
【0127】
第４のタイミング修正／置換情報３５は、１つ以上の第３の画像部分３０’’のセットに対する第２のＣＰＢ除去時間ｔｒｍ
（２）を生成するために、第３の所定の画像に関連してビデオデータストリームの部分２４’’に続くビデオデータストリームの１つ以上の第３の画像部分３１’’のセットに対する第１のタイミング情報によって示される第１のＣＰＢ除去時間ｔｒｍ
（１）を修正または置換する方法に関する。
【0128】
第４のタイミング修正／置換情報３５は、たとえば、ｃｐｂ＿ｄｒａｐ＿ｏｐｅｒａｔｉｏｎ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｏｆｆｓｅｔによってシグナリングされることが可能である。
一般に、ビデオデコーダのＣＰＢ４８を管理するための装置４６もまた、上記で詳述された修正または置換を実行することができる。
一般に、ビデオデコーダのＣＰＢ４８を管理するための装置４６もまた、上記で詳述された修正または置換を実行することができる。
【0129】
任意選択的に、第３のタイミング修正／置換情報３３は、ビデオデータストリームの第１の画像部分２８’内のビデオデータストリームでシグナリングされることが可能であり、第４のタイミング修正／置換情報３５は、１つ以上の第３の画像部分のセットのうちの符号化順２６に関して先行するビデオデータストリームの第２の画像部分３０’’内のビデオデータストリームでシグナリングされることが可能である。
【0130】
さらに、第１の画像部分２８’は、第１および第２の画像部分の第２のＣＰＢ除去時間の間の距離が第２および第３の画像部分の連続するペアの第２のＣＰＢ除去時間の間の距離から逸脱できるか否かを示す信号化３６を備えることができ、第３のタイミング修正情報３３または第３のタイミング置換情報３３は、第１および第２の画像部分の第２のＣＰＢ除去時間の間の距離が第２および第３の画像部分の連続するペアの第２のＣＰＢ除去時間の間の距離から逸脱できることを示す信号化３６を条件として、ビデオデータストリームの第１の画像部分２８’内のビデオデータストリームでシグナリングされることが可能である。
【0131】
ビデオエンコーダは、第２の所定の画像がＲＡＰである第１の所定の画像を参照するＤＲＡＰであるか否かをチェックし、第２の所定の画像がＲＡＰである第１の所定の画像を参照するＤＲＡＰであるか否かを示すように信号化３６を設定し、第２の所定の画像がＲＡＰである第１の所定の画像を参照するＤＲＡＰである場合に、ビデオデータストリームの第１の画像部分２８’内のビデオデータストリームで第３のタイミング修正／置換情報３３を符号化することができる。
【0132】
通常、ｐｉｃ＿ｔｉｍｉｎｇ ＳＥＩメッセージ内のａｕ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｍｉｎｕｓ１は、連続する画像部分の間で恒常的に増加し、すなわち同じ距離で恒常的に増加することに留意されたい。しかし、第１の画像部分２８’に符号化された画像から離れるか、または提示もしくは出力しない場合には、実際に出力される画像があるので、通常の時間的距離がＤＲＡＰまで中断され、それ以降有効であれば、許容可能である。言い換えると、例では、ｐｉｃ＿ｔｉｍｉｎｇ ＳＥＩメッセージのａｕ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｍｉｎｕｓ１は、同じ距離で恒常的に増加する。通常はこれが該当するが、そうでないことも禁止されていない。例は、これが元々何も除去しないフルビットストリームのケースである場合を示している。しかしながら、ＲＡＰとＤＲＡＰとの間の全てを除去するとき、これはもはや該当しないが、ＤＲＡＰ機能を使用する場合にはＲＡＰは全く出力も表示もされないので、問題ない。
さらに、第２の画像部分３０’’は、部分２４’が除去されているか否かを示す信号化３８を備えることができる。
さらに、第２の画像部分３０’’は、部分２４’が除去されているか否かを示す信号化３８を備えることができる。
【0133】
本発明によるビデオデコーダ４４のＣＰＢ４８を管理するための装置４６は、信号化３２；３８の検査後に、ビデオデータストリームの第１の画像部分の除去を延期することができる。
【0134】
あるいは、本発明によるビデオデータストリームを転送するためのネットワークノード４２は、その部分がビデオデータストリームから除去されることを示すように、信号化３２；３６を設定することができる。
ネットワークノード４２はまた、ビデオデータストリームからビデオデータストリームの部分２４を除去、すなわちドロップすることもできる。
ネットワークノード４２はまた、ビデオデータストリームからビデオデータストリームの部分２４を除去、すなわちドロップすることもできる。
【0135】
図５に見られるように、任意選択的に、第２のタイミング情報は、ビデオデータストリームの部分に先行するビデオデータストリームの第１の画像部分をバッファリングした後にデコーダ側に出現するデコーダ側の第１のＣＰＢフィルレベル３９ａ’；３９ａ’’であって、ビデオデータストリームの部分および第２の画像部分が第１のＣＰＢ除去時間に従って第２の画像部分のバッファ除去を実行するときにビデオデータストリームの部分に続く、第１のＣＰＢフィルレベル３９ａ’；３９ａ’’が、バッファリングされていない部分を有する第２のＣＰＢバッファ時間に従って第２の画像部分のバッファ除去を実行するときにビデオデータストリームの第１および第２の画像部分をバッファリングした後にデコーダ側に出現するデコーダ側の第２のＣＰＢフィルレベル３９ｂ’；３９ｂ’’に等しくなるように、第２のＣＰＢ除去時間を定義することができる。
ビデオエンコーダは、ビデオデータストリームが上記に従うように、第１および第２のタイミング情報を設定することができる。
ビデオエンコーダは、ビデオデータストリームが上記に従うように、第１および第２のタイミング情報を設定することができる。
【0136】
より一般的には、第２のタイミング情報は、１つ以上のＲＡＳＬ画像のシーケンスに関する部分、または特定のＤＲＡＰに先行する画像のシーケンスに関する部分のいずれかについて、第２のＣＰＢ除去時間を定義することができる。
また、ビデオデータストリームは、その部分が除去されているか否かを示す信号化３２、３５を備えることができる。
また、ビデオデータストリームは、その部分が除去されているか否かを示す信号化３２、３５を備えることができる。
【0137】
ランダムアクセスに使用されるＤＲＡＰのオフセットは、後続のＡＵの除去時間の計算に使用される。明らかに、画像タイミングＳＥＩメッセージにオフセットを表示する代わりに、ＤＲＡＰがバッファリング期間ＳＥＩメッセージを含むこと、およびこれらのオフセットがバッファリング期間ＳＥＩメッセージに表示されることが、義務づけられる。
【0138】
続いて記載される実施形態が対象とする問題は、時間スケーラビリティと、画像タイミングＳＥＩおよびバッファリング期間ＳＥＩメッセージの画像バッファタイミングに関する情報をこのような符号化環境でどのように表示するかという問題である。したがって、画像タイミングＳＥＩメッセージおよびバッファリング期間ＳＥＩメッセージにおける時間スケーラビリティについて画像内の代替情報を参照する実施形態が記載される。まず、画像タイミングＳＥＩメッセージおよびバッファリング期間ＳＥＩメッセージにおける時間スケーラビリティについて画像内の代替情報を参照する実施形態、すなわち画像タイミングＳＥＩメッセージにおけるタイミングのためにオフセットを利用する実施形態の提示から始まる。
【0139】
【0140】
図１７の表は、フレーム「青色」のｄｅｌｔａＴｉｍｅが０、１／６０、３／１２０、２／６０、および６／１２０であることを示している。「赤色フレーム」では、３／１２０および６／１２０である。青色フレームは、３０、６０、および１２０ｆｐｓの値を含む、表のこれらの行によって参照される。赤色フレームは、６０および１２０ｆｐｓの値のみを含み、３０ｆｐｓの値は含まない、表のこれらの行によって参照される。
【0141】
最も高いフレームレートが図１６に示されているオープンＧＯＰのケースでは、図１５にも示される、以下が適用される。図１５の表では、フレーム「青色」のｄｅｌｔａＴｉｍｅが０、１／６０、および３／１２０であることがわかる。「赤色フレーム」では、１／１２０および２／１２０である。ここでも、青色フレームは、３０、６０、および１２０ｆｐｓの値を含む、表のこれらの行によって参照される。赤色フレームは、６０および１２０ｆｐｓの値のみを含み、３０ｆｐｓの値は含まない、表のこれらの行によって参照される。
【0142】
要約すると、異なるフレームレートの除去時間のｄｅｌｔａＴｉｍｅにおいて、符号化されたビットストリームのＧＯＰ構造に起因して繰り返されるいくつかのパターンがある。
【0143】
考慮すべき別の態様は、記載されたパターンが中断されるため、シーンカットである。シーンカットのための異なる位置は、異なる値をもたらす。簡略化のため、図１８には１つの位置のみが示されている。
図１９の表からわかるように、明らかに、シーンカットの影響を受けるＧＯＰはパターンに従わない。
図１９の表からわかるように、明らかに、シーンカットの影響を受けるＧＯＰはパターンに従わない。
【0144】
図２０は、異なるフレームレートの異なる値を含む画像タイミングＳＥＩメッセージを参照する例示的なシグナリング構造を示す（すなわち目標ＴｅｍｐｏｒａｌＩｄ）。
【0145】
図１４に示される実施形態では、ビデオデータストリームは、ビデオの画像１２が、各階層レベルについて、それぞれの階層レベルの全ての画像が単にそれぞれのレベルまたはより下位の階層レベルの画像に依存する、異なる階層レベル５０ｉの画像にグループ化されるように、時間的にスケーラブルな方法で、時間インター予測を使用して画像のグループ５０の単位で符号化される。図では、１つのＧＯＰの開始部分のみが示されている。
【0146】
また、部分２４は、最上位階層レベル５０３に、または最上位階層レベル５０３および階層順５２で最上位階層レベル５０３のすぐ下の最下位階層レベル５０１を除く１つ以上の階層レベル５０２に属する画像で構成される。
【0147】
次に、第１のタイミング情報１６は、画像ごとに、復号順で現在のグループの先行するマーク画像５３に対する増分によって、画像に対する第１のＣＰＢ除去時間ｔｒｍ
（１）をシグナリングする。この順序は、画像がラベル付けされる際に使用される小数値の順番によって示される。
【0148】
ここでも、増分は、ＡｕＣＰＢＲｅｍｏｖａｌＤｅｌａｙまたはａｕ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｍｉｎｕｓ１によって例示的にシグナリングされることが可能である。現在のＧＯＰは、それぞれの画像がその一部であるＧＯＰの先行する画像に関する画像である。
さらに、マーク画像は、マーク画像に関連する画像部分内のビデオデータストリームのバッファリング期間メッセージによってマークされることが可能である。
さらに、マーク画像は、マーク画像に関連する画像部分内のビデオデータストリームのバッファリング期間メッセージによってマークされることが可能である。
【0149】
一実施形態では、第２のタイミング情報１８は、最上位階層レベル以外の１つ以上の階層レベルに関連付けられた第５の画像５４に関するビデオデータストリームの第５の画像部分２３の各々の中のビデオデータストリームでシグナリングされる、第５のタイミング修正情報１９または置換のための第５のタイミング置換情報１９によって、第２のＣＰＢ除去時間ｔｒｍ
（２）を定義することができる。
【0150】
第５のタイミング修正情報１９は、たとえばａｕ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｐａｔｔｅｒｎ＿ｏｆｆｓｅｔによってシグナリングされることが可能であり、第５のタイミング置換情報１９は、たとえばａｕ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｍｉｎｕｓ１［ｉ］によってシグナリングされることが可能であり、ｉは、ｐｉｃ＿ｔｉｍｉｎｇが送信される画像が属する現在の階層レベルに等しくない。
【0151】
第５のタイミング修正／置換情報１９は、第５の画像部分２３に対する第２のＣＰＢ除去時間ｔｒｍ
（２）を生成するために、それぞれの第５の画像部分２３に関する第１のタイミング情報によって示される第１のＣＰＢ除去時間ｔｒｍ
（１）を修正または置換する方法に関する。
【0152】
第１のタイミング情報は、たとえば、ｉが、ｐｉｃ＿ｔｉｍｉｎｇが送信される画像が属する現在の階層レベルに等しい、ａｕ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｍｉｎｕｓ１［ｉ］、またはｕ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｍｉｎｕｓ１によって、シグナリングされることが可能である。
【0153】
部分２４がそれぞれの階層レベルの上のそれぞれの階層レベルまでの最上位階層レベルを備える場合、第５のタイミング修正／置換情報１９は、最上位と最下位階層レベルの間、すなわち図示される例の５０１と５０２との間の階層レベルごとに、およびそれぞれの階層レベルの上の最上位と最下位階層レベルの間、すなわち図示される例の５０２の５０３と５０１の５０３および５０２との間の階層レベルについて、シグナリングされる。一例として、数値は、ｂｕｆｆｅｒｉｎｇ＿ｐｅｒｉｏｄ＿ｐａｔｔｅｒｎ＿ｆｌａｇが１である場合にはｎｕｍ＿ｓｕｂ＿ｌａｙｅｒ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙｓ＿ｍｉｎｕｓ１、およびｂｕｆｆｅｒｉｎｇ＿ｐｅｒｉｏｄ＿ｐａｔｔｅｒｎ＿ｆｌａｇがゼロである場合にはｎｕｍ＿ｓｕｂ＿ｌａｙｅｒ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙｓ＿ｍｉｎｕｓ１＋１によって示される。
【0154】
図２１および図２２は、代替的に、パターンが各バッファリング期間ＳＥＩ内で定義されることが可能であり、これらが画像タイミングＳＥＩメッセージ内に示されることが可能な、例示的なシグナリング構造を示す。上述のように、たとえばシーンカットのため、パターンが適用されないとき、値は明示的に（または何らかのオフセットの形態で）シグナリングされることが可能である
【0155】
この実施形態によれば、第２のタイミング情報１８は、第５のタイミング修正情報１９、たとえばａｕ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｐａｔｔｅｒｎ＿ｏｆｆｓｅｔによって、第２のＣＰＢ除去時間ｔｒｍ
（２）を定義する。第５のタイミング修正情報１９は、オフセット値によって第１のＣＰＢ除去時間を修正する方法を示し、ビデオデータストリームは、画像の１つ以上のグループ内の第１のＣＰＢ除去時間を修正するための第５の修正情報によって示されるオフセット値によって想定される代表的なオフセット値のリストを示すデータ６０を備える。次いで、第５のタイミング修正情報１９は、代表的なオフセット値のリスト内を指し示すポインタによって、オフセット値をシグナリングする。
【0156】
より一般的には、上記の実施形態では、ビデオデータストリームは、部分２４だけ縮小され、すなわちその結果として縮小バージョン２０となり、ビデオデータストリームは、第１および第２のタイミング情報１８を備える。言い換えると、第２のタイミング情報は、何らかの中間ネットワークデバイスにおいて特定の階層レベルをドロップする場合に入れ子にならずに対応する第１のタイミング情報を置換するように、入れ子になっていない。むしろ、第１および第２のタイミング情報は変更されずにデコーダ側のままであり、正確なタイミング情報は、ビデオデータストリーム内で送信されたシグナリングに応じて処理するＣＰＢに使用されるように選択され、どの部分が除去されたか、またはより正確には、以前のどの最上位階層レベルが除去／ドロップされたかを説明する中間ネットワークデバイスとなるように設定されている。
【0157】
画像タイミングＳＥＩメッセージおよびバッファリング期間ＳＥＩメッセージにおける時間スケーラビリティについて画像内の代替情報を参照する実施形態の別の例は、バッファリング期間ＳＥＩメッセージにおけるデルタである。
【0158】
図２３に見られるように、ｖｃｌ＿ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ［ｉ］およびｖｃｌ＿ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｏｆｆｓｅｔ［ｉ］の異なる値もまた明らかに、全ての可能なフレームレートには１つでは不十分なので、バッファリング期間ＳＥＩメッセージ内に示されるべきである。
【0159】
別の実施形態は、複数のビットレートの考察を参照する。上述のように、異なる伝送率またはＣＰＢ供給率をサポートする現在の方法は、ビットレート、ＣＰＢｓｉｚｅ、ならびにそれぞれの初期除去時間およびオフセットのいくつかの値を示すことである。
【0160】
この現在の解決策に関する問題は、全ての潜在的なＣＰＢ供給ビットレートが予め知られている必要があり、提供された情報が有効であることを保証するために、エンコーダにおけるレート制御がその全てを考慮する必要があることである。
【0161】
これは、言及されたパラメータが多くの方法で変更され得る高い柔軟性をある程度可能にするものの、いくつかの実際のシナリオでは、多くの潜在的なＣＰＢ供給率を考慮に入れることは、送信側からは望ましい可能性があるが、エンコーダ側では実施するのが困難である。このような状況下では、ＨＲＤモデルの何らかのパラメータ化が行われる「かなり」限定的なレート制御が役に立つ可能性があり、これは、最大ビットレートおよび最小ビットレートの２つの極値が考慮され、その間のものは全て線形補間され得ることを意味する。このような解決策は、ＨＲＤモデリングに関して柔軟な解決策よりも限定的であるが、送信側で最大ビットレートと最小ビットレートとの間の任意のレートを使用できるようにし、最大値および最小値について送信された値に基づいて計算され得るＣＰＢｓｉｚｅおよび初期除去時間を有するアンダーフローまたはオーバーフローがないことを依然として保証する。
ｈｒｄ＿ｐａｒａｍｅｔｅｒｓは、３つの部分に分割される。
・ｃｂｒ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ
・ｖｂｒ＿ｍｉｎ＿ｐａｒａｍｅｔｅｒ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ
・ｖｂｒ＿ｍａｘ＿ｐａｒａｍｅｔｅｒ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ
ｈｒｄ＿ｐａｒａｍｅｔｅｒｓは、３つの部分に分割される。
・ｃｂｒ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ
・ｖｂｒ＿ｍｉｎ＿ｐａｒａｍｅｔｅｒ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ
・ｖｂｒ＿ｍａｘ＿ｐａｒａｍｅｔｅｒ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ
【0162】
ｖｂｒ＿ｍｉｎ＿ｐａｒａｍｅｔｅｒ＿ｐｒｅｓｅｎｔ＿ｆｌａｇおよびｖｂｒ＿ｍａｘ＿ｐａｒａｍｅｔｅｒ＿ｐｒｅｓｅｎｔ＿ｆｌａｇに与えられた２つの間の任意の他のビットレートが計算されることが可能である。例示的なシグナリングは、図２４ａ、図２９、および図３０に示されている。
【0163】
【0164】
これによれば、ＨＲＤタイミング情報データ、たとえば第１のＨＲＤタイミング情報データ、第２のＨＲＤタイミング情報データ、または複数のＨＲＤタイミング情報データのいずれか、および各ＨＲＤタイミング情報データは、以下のうちの１つ以上を備える。
－それぞれのＨＲＤタイミング情報が関連するＣＰＢ供給ビットレートの表示１０４、
－それぞれのＨＲＤタイミング情報が関連するそれぞれのＣＰＢ供給ビットレートに必要なＣＰＢサイズの表示１０６、
－それぞれのＨＲＤタイミング情報が関連するＣＰＢ供給ビットレートの表示１０４、
－それぞれのＨＲＤタイミング情報が関連するそれぞれのＣＰＢ供給ビットレートに必要なＣＰＢサイズの表示１０６、
【0165】
－それぞれのＨＲＤタイミング情報が関連するそれぞれのＣＰＢ供給ビットレートについてそれぞれのマーク画像部分の最初のビットのＣＰＢ到着からの経過時間を測定する、ビデオデータストリームのマーク画像部分の各々のＣＰＢ除去時間の表示１０８－ここでマーク画像部分は、ＲＡＰなどのバッファリング期間ＳＥＩを有するものであり、それぞれ、これらは別の適切な図ではクロスハッチングで示されているが、別の画像は別の適切な図では単純なハッチングなどで示されている、表示１０８、
【0166】
－それぞれのＨＲＤタイミング情報が関連するそれぞれのＣＰＢ供給ビットレートについてそれぞれのマーク画像部分の最初のビットのＣＰＢ到着が遅延する経過時間を測定する、ビデオデータストリームのマーク画像部分の各々のＣＰＢ供給延期時間の表示１１０。
最小値および最大値がある場合、その間の任意の値は、たとえば、最小値および最大値の線形補間をもたらす。
最小値および最大値がある場合、その間の任意の値は、たとえば、最小値および最大値の線形補間をもたらす。
【0167】
それでもなお、場合によっては、ＨＲＤモデルを線形補間モデルに限定しないさらなる柔軟性が望ましいだろう（たとえば、線形的ではなくｉｎｉｔｉａｌ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙを減少させ、ビットレートを増加させる）。したがって、シナリオに応じて、エンコーダは、線形補間を有するものかまたは複数の値を有するもののどちらのモードを使用するか選択することを選ぶことができる。例示的なシグナリングは、図３２、図３３、および図３４に示されている。
【0168】
図２４、図２９、図３１、図３２、および図３４に示されるように、ビデオストリームは、最小ＣＰＢ供給ビットレートに関する第１のＨＲＤタイミング情報データ７０ａ、ｂと、最大ＣＰＢ供給ビットレートに関する第２のＨＲＤタイミング情報データ７２ａ、ｂとを備えることができる。第１のＨＲＤタイミング情報データ７０ａ、ｂならびに第２のＨＲＤタイミング情報データ７２ａ、ｂはその後、第１および第２のＨＲＤタイミング情報データ間を線形補間することによって、実際のＣＰＢ供給ビットレートの第３のＨＲＤタイミング情報の決定を可能にする。実際のＣＰＢ供給ビットレートは、たとえば、ビデオデータストリームが実際にＣＰＢに供給されるビットレートである。
【0169】
ビデオデータストリームは、第１のＨＲＤタイミング情報データ７０ａ、ｂならびに第２のＨＲＤタイミング情報データ７２ａ、ｂが存在するか、またはＣＰＢ供給ビットレートの求められるセットの各々に関する複数のＨＲＤタイミング情報データ７６が存在するかを示すフラグ７４、たとえばｈｒｄ＿ｉｎｔｅｒｐｏｌａｔｉｏｎ－ｍｏｄｅ＿ｆｌａｇをさらに備えることができる。
【0170】
次に、ビデオエンコーダは、ビデオデータストリームに第１のＨＲＤタイミング情報７０および第２のＨＲＤタイミング情報７２を提供するか、またはビデオデータストリームにＣＰＢ供給ビットレートの求められるセットの各々に関する複数のＨＲＤタイミング情報データ７６を提供するように決定することができる。
【0171】
ビデオエンコーダは任意選択的に、第１および第２のＨＲＤタイミング情報の間の線形補間が最小および最大ＣＰＢ供給ビットレートの間の全てのＣＰＢ供給ビットレートにＣＰＢオーバーフローおよびアンダーフローのない状況をもたらすか否かの実現可能性チェックに基づく決定を実行することができる。
ビデオデコーダ４４のＣＰＢ４８を管理するための装置４６はその後、第３のＨＲＤタイミング情報を使用してＣＰＢを管理することができる。
ビデオデコーダ４４のＣＰＢ４８を管理するための装置４６はその後、第３のＨＲＤタイミング情報を使用してＣＰＢを管理することができる。
【0172】
同様に、装置は、ビデオデータストリーム内のフラグ７４、たとえばｈｒｄ＿ｉｎｔｅｒｐｏｌａｔｉｏｎ－ｍｏｄｅ＿ｆｌａｇを検査し、フラグに応じて、ビデオデータストリームからの第１のＨＲＤタイミング情報データ７０ａ、ｂならびに第２のＨＲＤタイミング情報データ７２ａ、ｂの導出を実行するか、またはビデオデータストリームからＣＰＢ供給ビットレートの求められるセットの各々に関する複数のＨＲＤタイミング情報データ７６を導出することができる。
図３８は、３つの動作点の例を示す。
補間されるケースは、以下の線形補間式を使用する。
－ＢＲｉｎｔｅｒｐｏｌａｔｅｄ＝ＢＲｍｉｎ＋（ＢＲｍａｘ－ＢＲｍｉｎ）＊ａｌｐｈａ
－ＩＮＤｉｎｔｅｒｐｏｌａｔｅｄ＝ＩＮＤｍｉｎ＋（ＩＮＤｍａｘ－ＩＮＤｍｉｎ）＊ａｌｐｈａ（ここでＩＮＤ＝ＩｎｉｔｉａｌＲｅｍｏｖａｌＤｅｌａｙ）
なお、ＩＮＤｍｉｎ（最小ビットレートの場合）はＩＮＤｍａｘ（最高ビットレートの場合）よりも大きいことに留意されたい。
図３７はＩＮＤｍｉｎを参照し、以下の略語が使用される。
ＲｍＤ＝除去遅延
Ａｆｉｎａｌ＝最終到着時間
ＡｒｒｉｖａｌＥａｒ＝フレームレートに起因する画像の最初のビットの可能な限り最も早い到達時間
ＡｒｒｉｖａｌＩｎｉｔ＝画像の最初のビットの実際の到着時間
最大ＣＰＢサイズは１５であることがわかる。
図３６はＩＮＤｍａｘを参照する。そしてこの第２のケースに必要とされるＣＰＢサイズは、１２，１１２５である。
図３８は、３つの動作点の例を示す。
補間されるケースは、以下の線形補間式を使用する。
－ＢＲｉｎｔｅｒｐｏｌａｔｅｄ＝ＢＲｍｉｎ＋（ＢＲｍａｘ－ＢＲｍｉｎ）＊ａｌｐｈａ
－ＩＮＤｉｎｔｅｒｐｏｌａｔｅｄ＝ＩＮＤｍｉｎ＋（ＩＮＤｍａｘ－ＩＮＤｍｉｎ）＊ａｌｐｈａ（ここでＩＮＤ＝ＩｎｉｔｉａｌＲｅｍｏｖａｌＤｅｌａｙ）
なお、ＩＮＤｍｉｎ（最小ビットレートの場合）はＩＮＤｍａｘ（最高ビットレートの場合）よりも大きいことに留意されたい。
図３７はＩＮＤｍｉｎを参照し、以下の略語が使用される。
ＲｍＤ＝除去遅延
Ａｆｉｎａｌ＝最終到着時間
ＡｒｒｉｖａｌＥａｒ＝フレームレートに起因する画像の最初のビットの可能な限り最も早い到達時間
ＡｒｒｉｖａｌＩｎｉｔ＝画像の最初のビットの実際の到着時間
最大ＣＰＢサイズは１５であることがわかる。
図３６はＩＮＤｍａｘを参照する。そしてこの第２のケースに必要とされるＣＰＢサイズは、１２，１１２５である。
【0173】
アルファを０．３として線形に計算された初期除去遅延およびビットレートについて、図３５は、この場合に必要とされるＣＰＢサイズが１３，８７９１２であることを示している。線形補間が実行される場合、計算されたＣＰＢサイズは１２，９７８７５に対応することになる。見てわかるように、この値は異なっている。
【0174】
したがって、関与するＨＲＤパラメータが最大値および最小値の範囲内で完全な柔軟性を持って線形に導出されるという制約にエンコーダが従おうとする場合、エンコーダにおけるレート制御は、補間時のＣＰＢサイズ制限が満たされるように、画像のサイズを決定するときにこれを考慮に入れるべきである。
【0175】
これは常に可能ではないため、１つの選択肢は、エンコーダが処理する場合にのみ補間が可能であることをシグナリングし、そうでなければ離散数の動作点で使用された実際の値を全てシグナリングすることであろう。
【0176】
前述のように、上記の概念は、ビデオストリーム、ビデオエンコーダ、ビデオデコーダ、ネットワークノード、ビデオデコーダの符号化画像バッファ（ＣＰＢ）を管理するための装置、およびビデオデータストリームを互いにスプライスするための装置によって採用されることが可能である。
【0177】
同様に、概念は、本発明の実施形態による対応する方法によって実施されることが可能である。これらの方法は、上記のビデオストリーム、ビデオエンコーダ、ビデオデコーダ、ネットワークノード、ビデオデコーダの符号化画像バッファ（ＣＰＢ）を管理するための装置、および／またはビデオデータストリームを互いにスプライスするための装置と同じ考察に基づく。しかしながら、方法は、やはりビデオストリーム、ビデオエンコーダ、ビデオデコーダ、ネットワークノード、ビデオデコーダの符号化画像バッファ（ＣＰＢ）を管理するための装置、および／またはビデオデータストリームを互いにスプライスするための装置に関して、本明細書に記載された特徴、機能、および詳細のいずれかによって補足され得ることに留意すべきである。また、方法は、個別でも組み合わせても、ビデオストリーム、ビデオエンコーダ、ビデオデコーダ、ネットワークノード、ビデオデコーダの符号化画像バッファ（ＣＰＢ）を管理するための装置、および／またはビデオデータストリームを互いにスプライスするための装置の特徴、機能、および詳細によって補足されることが可能である。
【0178】
最後に、概念は、本発明の実施形態による符号化データストリームを生成するためにも使用されることが可能である。データストリームもまた、個別でも組み合わせても、方法、ビデオエンコーダ、ビデオデコーダ、ネットワークノード、ビデオデコーダの符号化画像バッファ（ＣＰＢ）を管理するための装置、および／またはビデオデータストリームを互いにスプライスするための装置の特徴、機能、および詳細によって補足されることが可能である。
【0179】
結論として、本明細書に記載された実施形態は、本明細書に記載された重要な点または態のいずれかによって任意選択的に補足されることが可能である。しかしながら、本明細書に記載された重要な点および態様は、個別にまたは組み合わせて使用されることが可能であり、個別でも組み合わせても本明細書に記載された実施形態のいずれかに導入され得ることに留意されたい。
【0180】
いくつかの態様は装置の文脈で説明されてきたが、これらの態様が対応する方法の説明も表すことは明らかであり、デバイスまたはその部分は、方法ステップまたは方法ステップの特徴に対応する。同様に、方法ステップの文脈で説明された態様は、対応する装置またはその部分もしくは対応する装置のアイテムまたは特徴の説明も表す。方法ステップの一部または全ては、たとえば、マイクロプロセッサ、プログラム可能なコンピュータ、または電子回路などのハードウェア装置によって（またはこれを使用して）実行されてもよい。いくつかの実施形態では、最も重要な方法ステップのうちの１つ以上が、このような装置によって実行されてもよい。
【0181】
特定の実施要件に応じて、本発明の実装形態は、ハードウェアまたはソフトウェアで実装され得る。本実装形態は、それぞれの方法が実行されるようにプログラム可能なコンピュータシステムと協働する（または協働可能な）、電子可読制御信号が記憶された、フロッピーディスク、ＤＶＤ、Ｂｌｕ－Ｒａｙ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、またはフラッシュメモリなどのデジタル記憶媒体を使用して実行され得る。したがって、デジタル記憶媒体はコンピュータ読み取り可能であり得る。
【0182】
本発明によるいくつかの実施形態は、本明細書に記載された方法の１つが実行されるように、プログラム可能なコンピュータシステムと協働することが可能な電子的可読制御信号を有するデータキャリアを含む。
【0183】
一般に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装されることが可能であり、プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されたときに方法の１つを実行するように動作する。プログラムコードは、たとえば、機械可読キャリア上に記憶されてもよい。
別の実施形態は、機械可読キャリア上に記憶された、本明細書に記載される方法の１つを実行するためのコンピュータプログラムを含む。
別の実施形態は、機械可読キャリア上に記憶された、本明細書に記載される方法の１つを実行するためのコンピュータプログラムを含む。
【0184】
したがって、言い換えると、本発明の方法の一実施形態は、コンピュータプログラムがコンピュータ上で実行されたときに、本明細書に記載される方法の１つを実行するためのプログラムコードを有するコンピュータプログラムである。
【0185】
したがって、本発明の方法のさらなる実施形態は、本明細書に記載される方法の１つを実行するためのコンピュータプログラムを含み、それが記録された、データキャリア（またはデジタル記憶媒体またはコンピュータ可読媒体）である。データキャリア、デジタル記憶媒体、または記録媒体は、典型的には有形および／または非一時的である。
【0186】
したがって、本発明の方法のさらなる実施形態は、本明細書に記載される方法の１つを実行するためのコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスはたとえば、データ通信接続を介して、たとえばインターネットを介して転送されるように構成されてもよい。
【0187】
さらなる実施形態は、本明細書に記載される方法の１つを実行するように構成または適合された、たとえばコンピュータまたはプログラマブル論理デバイスなどの処理手段を含む。
さらなる実施形態は、本明細書に記載される方法の１つを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。
さらなる実施形態は、本明細書に記載される方法の１つを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。
【0188】
本発明によるさらなる実施形態は、本明細書に記載される方法の１つを実行するためのコンピュータプログラムを受信機に（たとえば、電子的または光学的に）送信するように構成された、装置またはシステムを含む。受信機は、たとえば、コンピュータ、モバイルデバイス、メモリデバイスなどであり得る。装置またはシステムは、たとえば、コンピュータプログラムを受信機に転送するためのファイルサーバを含んでもよい。
【0189】
いくつかの実施形態では、プログラマブル論理デバイス（たとえばフィールドプログラマブルゲートアレイ）は、本明細書に記載される方法の機能の一部または全てを実行するために使用され得る。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書に記載される方法の１つを実行するためにマイクロプロセッサと協働し得る。一般に、方法は、好ましくはいずれかのハードウェア装置によって実行される。
【0190】
本明細書に記載される装置は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置およびコンピュータの組み合わせを使用して、実装され得る。
【0191】
本明細書に記載される装置、または本明細書に記載される装置の任意の構成要素は、少なくとも部分的にハードウェアおよび／またはソフトウェアで実装され得る。
【0192】
本明細書に記載される方法は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置およびコンピュータの組み合わせを使用して、実行され得る。
【0193】
本明細書に記載される方法、または本明細書に記載される方法の任意の部分は、少なくとも部分的にハードウェアおよび／またはソフトウェアによって実行され得る。
【0194】
上記の実施形態は、本発明の原理を単に例示するものである。本明細書に記載される配置および詳細の修正および変形は、当業者にとって明らかとなることが理解される。したがって、喫緊の請求項の範囲によってのみ限定され、本明細書の実施形態の記載および説明によって提示される具体的詳細によっては限定されないことが意図される。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24a】
【図24b】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】