▶ ドルビー ラボラトリーズ ライセンシング コーポレイションの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-07-03
(54)【発明の名称】可変フレームレートビデオのためのピクチャメタデータ
(51)【国際特許分類】
H04N 19/70 20140101AFI20230626BHJP
H04N 19/132 20140101ALI20230626BHJP
H04N 19/172 20140101ALI20230626BHJP
【ＦＩ】
H04N19/70
H04N19/132
H04N19/172
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022571226
(86)(22)【出願日】2021-05-26
(85)【翻訳文提出日】2022-11-21
(86)【国際出願番号】 US2021034275
(87)【国際公開番号】W WO2021242873
(87)【国際公開日】2021-12-02
(31)【優先権主張番号】20176416.4
(32)【優先日】2020-05-26
(33)【優先権主張国・地域又は機関】EP
(31)【優先権主張番号】63/029,776
(32)【優先日】2020-05-26
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕ－ｒａｙ
(71)【出願人】
【識別番号】507236292
【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】アトキンズ，ロビン
(72)【発明者】
【氏名】ゴディン，イアン
(72)【発明者】
【氏名】イン，プオン
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159KK56
5C159PP04
5C159PP05
5C159RC04
5C159RC12
5C159TA07
5C159TB04
5C159TC11
5C159UA02
5C159UA05
(57)【要約】
可変フレームレート（ＶＦＲ）ビデオ再生のためのメタデータおよび方法が提示される。提案されるメタデータは、プレゼンテーション持続時間、ピクチャソースタイプ（例えば、オリジナル、複製、または補間）、シーン内のピクチャ位置（例えば、最初、最後、または中間）、および前のピクチャに対する動き関連情報に関連するシンタックスパラメータを含む。デコーダは、これらのメタデータを使用して、適切なフレームレート変換技法を適用し、ＶＦＲ再生中のアーチファクトを低減することができる。
【特許請求の範囲】
【請求項1】
可変フレームレートでビデオストリームを再生する方法であって、前記方法は、プロセッサによって実行され、ビデオピクチャとメタデータとを含む前記ビデオストリームを受信することと、ここで、前記メタデータは、可変フレームレートで前記ビデオピクチャを表示することを可能にするためのシンタックスパラメータを含み、前記シンタックスパラメータは、ｐｉｃｔｕｒｅ－ｔｉｍｉｎｇ－ｐｒｅｓｅｎｔフラグと、ｐｉｃｔｕｒｅ－ｓｏｕｒｃｅ－ｔｙｐｅフラグと、ｐｉｃｔｕｒｅ－ｐｏｓｉｔｉｏｎ－ｔｙｐｅフラグとを含み、
前記メタデータ中の前記シンタックスパラメータにしたがって前記ビデオピクチャを表示することと、
を含み、前記ビデオピクチャの中の現在のピクチャについて、
前記ｐｉｃｔｕｒｅ－ｔｉｍｉｎｇ－ｐｒｅｓｅｎｔフラグが１に設定されていることを検出した場合、
前記メタデータ中のピクチャプレゼンテーション時間パラメータに基づいて、前記現在のピクチャについてのディスプレイでのプレゼンテーションの時間情報を生成し、
前記ｐｉｃｔｕｒｅ－ｓｏｕｒｃｅ－ｔｙｐｅフラグが１に設定されていることを検出した場合、
前記メタデータ中のピクチャソースパラメータに基づいて、前記現在のピクチャについてのピクチャソース情報を生成し、
前記ｐｉｃｔｕｒｅ－ｐｏｓｉｔｉｏｎ－ｔｙｐｅフラグが１に設定されていることを検出した場合、
前記メタデータ中の１つまたは複数のピクチャ位置パラメータに基づいて、前記現在のピクチャについてのピクチャ位置情報を生成する
方法。
【請求項2】
前記シンタックスパラメータは、ｐｉｃｔｕｒｅ－ｍｏｔｉｏｎ－ｉｎｆｏｒｍａｔｉｏｎ－ｐｒｅｓｅｎｔフラグをさらに含み、前記ｐｉｃｔｕｒｅ－ｍｏｔｉｏｎ－ｉｎｆｏｒｍａｔｉｏｎ－ｐｒｅｓｅｎｔフラグが１に設定されていることを検出した場合、
前記メタデータ中の１つまたは複数のｐｉｃｔｕｒｅ－ｍｏｔｉｏｎ－ｒｅｌａｔｅｄパラメータに基づいて、前記現在のピクチャについての動き統計を生成する、
請求項１に記載の方法。
【請求項3】
前記１つまたは複数のｐｉｃｔｕｒｅ－ｍｏｔｉｏｎ－ｒｅｌａｔｅｄパラメータは、前記現在のピクチャと前記現在のピクチャに表示順序で先行するピクチャとの変位の平均および標準偏差を示す動き平均値および動き標準偏差値を含む、請求項２に記載の方法。
【請求項4】
前記ピクチャソースパラメータは、前記現在のピクチャが、オリジナルのピクチャを含むか、複製ピクチャを含むか、補間ピクチャを含むかを示す、請求項１から３のいずれか一項に記載の方法。
【請求項5】
前記１つまたは複数のピクチャ位置パラメータは、ピクチャグループにおける前記現在のピクチャの位置を含み、前記位置は、未知であるか、前記ピクチャグループの中で最初であるか、前記ピクチャグループの中で最後であるか、または前記ピクチャグループ中の他のピクチャの間にあり得る、請求項１から４のいずれか一項に記載の方法。
【請求項6】
前記１つまたは複数のピクチャ位置パラメータは、前記現在のピクチャに関連する動きを有する、前記現在のピクチャに表示順序で先行するピクチャの第１の数を示す第１のフィールドと、前記現在のピクチャに関連する動きを有する、前記現在のピクチャに表示順序で後続するピクチャの第２の数を示す第２のフィールドとを含む、請求項１から５のいずれか一項に記載の方法。
【請求項7】
前記第１のフィールドおよび前記第２のフィールドは、０とＮとの間の正の整数を含み、Ｎは、２以上７以下である、請求項６に記載の方法。
【請求項8】
符号化ビデオストリーム構造を記憶した非一時的プロセッサ可読媒体であって、前記符号化ビデオストリーム構造は、ビデオピクチャのシーケンスの符号化を含む符号化ピクチャセクションと、
可変フレームレートで前記ビデオピクチャのシーケンスを表示することを可能にするためのシンタックスパラメータを含むメタデータの符号化を含むシグナリングセクションと
を含み、ここで、前記シンタックスパラメータは、ｐｉｃｔｕｒｅ－ｔｉｍｉｎｇ－ｐｒｅｓｅｎｔフラグと、ｐｉｃｔｕｒｅ－ｓｏｕｒｃｅ－ｔｙｐｅフラグと、ｐｉｃｔｕｒｅ－ｐｏｓｉｔｉｏｎ－ｔｙｐｅフラグとを含み、
前記ビデオピクチャのシーケンスの中の現在のピクチャについて、
前記ｐｉｃｔｕｒｅ－ｔｉｍｉｎｇ－ｐｒｅｓｅｎｔフラグが１に設定されている場合、
前記メタデータ中にピクチャプレゼンテーション時間パラメータを含め、
前記ｐｉｃｔｕｒｅ－ｓｏｕｒｃｅ－ｔｙｐｅフラグが１に設定されている場合、
前記メタデータ中にピクチャソースパラメータを含め、
前記ｐｉｃｔｕｒｅ－ｐｏｓｉｔｉｏｎ－ｔｙｐｅフラグが１に設定されている場合、
前記メタデータ中に１つまたは複数のピクチャ位置パラメータを含める、
非一時的プロセッサ可読媒体。
【請求項9】
前記シンタックスパラメータは、ｐｉｃｔｕｒｅ－ｍｏｔｉｏｎ－ｉｎｆｏｒｍａｔｉｏｎ－ｐｒｅｓｅｎｔフラグをさらに含み、前記ｐｉｃｔｕｒｅ－ｍｏｔｉｏｎ－ｉｎｆｏｒｍａｔｉｏｎ－ｐｒｅｓｅｎｔフラグが１に設定されている場合、
前記メタデータ中に１つまたは複数のｐｉｃｔｕｒｅ－ｍｏｔｉｏｎ－ｒｅｌａｔｅｄパラメータを含める、
請求項８に記載の非一時的プロセッサ可読媒体。
【請求項10】
前記ピクチャソースパラメータは、前記現在のピクチャが、オリジナルのピクチャを含むか、複製ピクチャを含むか、補間ピクチャを含むかを示す、請求項８または９に記載の非一時的プロセッサ可読媒体。
【請求項11】
前記１つまたは複数のピクチャ位置パラメータは、ピクチャグループにおける前記現在のピクチャの位置を含み、前記位置は、未知であるか、前記ピクチャグループの中で最初であるか、前記ピクチャグループの中で最後であるか、または前記ピクチャグループ中の他のピクチャの間にあり得る、請求項８から１０のいずれか一項に記載の非一時的プロセッサ可読媒体。
【請求項12】
前記１つまたは複数のピクチャ位置パラメータは、前記現在のピクチャに関連する動きを有する、前記現在のピクチャに表示順序で先行するピクチャの第１の数を示す第１のフィールドと、前記現在のピクチャに関連する動きを有する、前記現在のピクチャに表示順序で後続するピクチャの第２の数を示す第２のフィールドとを含む、請求項８から１１のいずれか一項に記載の非一時的プロセッサ可読媒体。
【請求項13】
前記第１のフィールドおよび前記第２のフィールドは、０とＮとの間の正の整数を含み、Ｎは、２以上７以下である、請求項１２に記載の非一時的プロセッサ可読媒体。
【請求項14】
プロセッサを備え、請求項１から７に記載の方法のいずれか１つを実行するように構成された装置。
【請求項15】
請求項１から７のいずれか一項に記載の方法を１つまたは複数のプロセッサで実行するためのコンピュータ実行可能命令を記憶した非一時的コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
［関連出願の相互参照］
本出願は、参照により本明細書に組み込まれる、２０２０年５月２６日に出願された米国仮特許出願第６３／０２９，７７６号、および２０２０年５月２６日に出願された欧州特許出願第２０１７６４１６．４号からの優先権の利益を主張する。
本出願は、参照により本明細書に組み込まれる、２０２０年５月２６日に出願された米国仮特許出願第６３／０２９，７７６号、および２０２０年５月２６日に出願された欧州特許出願第２０１７６４１６．４号からの優先権の利益を主張する。
【0002】
[技術分野］
本発明は、一般に画像に関する。より詳細には、本発明の一実施形態は、可変フレームレートビデオシーケンスの再生に使用されるメタデータに関する。
本発明は、一般に画像に関する。より詳細には、本発明の一実施形態は、可変フレームレートビデオシーケンスの再生に使用されるメタデータに関する。
【背景技術】
【0003】
従来のビデオシーケンスまたはビットストリームは、各々が固定の持続時間の間表示されるように意図されたフレームまたはピクチャのシーケンスを含んでいる。例えば、３０フレーム／秒（ｆｐｓ）では、各画像は１／３０秒間表示される。そのようなビットストリームは、「標準フレームレート」（ＳＦＲ）または固定フレームレートビデオとして示され得る。
【0004】
新しいタイプのビデオビットストリームは、各個々のピクチャが、ピクチャごとに異なる可変時間の間表示されることを可能にし得る。そのようなビットストリームは、「可変フレームレート」ビデオとして示される。
【0005】
本明細書で使用される場合、「メタデータ」という用語は、コード化ビットストリームまたはシーケンスの一部として送信され、デコーダが復号画像をレンダリングするのを支援する任意の補助情報を指す。そのようなメタデータは、本明細書で説明されているような、色空間または色域情報、参照ディスプレイパラメータ、および補助信号パラメータを含み得るが、それらに限定されない。
【0006】
既存のおよび将来の表示方式を改善するために、本明細書の発明者らによって理解されるように、可変フレームレートビデオのためのメタデータを生成および使用するための改善された技法が必要とされる。
【0007】
このセクションで説明される手法は、追求され得る手法であるが、必ずしも以前に考案または追求された手法ではない。したがって、別段の指示がない限り、このセクションで説明されるいずれの手法も、単にこのセクションに含まれるという理由で先行技術とみなされると仮定されるべきではない。同様に、１つまたは複数の手法に関して特定された問題は、別途示されない限り、このセクションに基づいて任意の先行技術において認識されていると仮定されるべきではない。
【図面の簡単な説明】
【0008】
本発明の実施形態は、添付の図面の図において、限定としてではなく例として示され、同様の参照番号は同様の要素を指す。
【図1】ビデオ配信パイプラインのための例示的なプロセスを示す。
【図2A】本発明の一実施形態による、可変フレームレートビデオのためのメタデータを適用するための例示的なプロセスフローを示す。
【図2B】本発明の一実施形態による、可変フレームレートビデオのためのメタデータを適用するための例示的なプロセスフローを示す。
【発明を実施するための形態】
【0009】
可変フレームレートビットストリームのための方法およびメタデータについて説明する。以下の説明では、説明の目的で、本発明の完全な理解を与えるために多数の具体的な詳細が記載される。しかしながら、本発明がこれらの具体的な詳細なしに実施され得ることは明らかであろう。他の事例では、本発明を不必要に隠蔽すること、不明瞭にすること、または難解にすることを回避するために、周知の構造およびデバイスは、徹底的に詳細には説明されない。
【0010】
［発明の概要］
本明細書で説明される例示的な実施形態は、可変フレームレートビデオのための方法およびメタデータに関する。デコーダにおいて、プロセッサは、ビデオピクチャのシーケンスおよびメタデータを受信し、ここで、メタデータは、可変フレームレートでビデオピクチャを表示することを可能にするためのシンタックスパラメータを含み、シンタックスパラメータは、ｐｉｃｔｕｒｅ－ｔｉｍｉｎｇ－ｐｒｅｓｅｎｔフラグと、ｐｉｃｔｕｒｅ－ｓｏｕｒｃｅ－ｔｙｐｅフラグと、ｐｉｃｔｕｒｅ－ｐｏｓｉｔｉｏｎ－ｔｙｐｅフラグとを含む。プロセッサは、メタデータ中のシンタックスパラメータにしたがってビデオピクチャを表示し、ビデオピクチャの中の現在のピクチャについて、
ｐｉｃｔｕｒｅ－ｔｉｍｉｎｇ－ｐｒｅｓｅｎｔフラグが１に設定されていることを検出した場合、
メタデータ中のピクチャプレゼンテーション時間パラメータに基づいて、現在のピクチャについてのディスプレイでのプレゼンテーションの時間情報を生成し、
ｐｉｃｔｕｒｅ－ｓｏｕｒｃｅ－ｔｙｐｅフラグが１に設定されていることを検出した場合、
メタデータ中のピクチャソースパラメータに基づいて、現在のピクチャについてのピクチャソース情報を生成し、
ｐｉｃｔｕｒｅ－ｐｏｓｉｔｉｏｎ－ｔｙｐｅフラグが１に設定されていることを検出した場合、
メタデータ中の１つまたは複数のピクチャ位置パラメータに基づいて、現在のピクチャについてのピクチャ位置情報を生成する。
本明細書で説明される例示的な実施形態は、可変フレームレートビデオのための方法およびメタデータに関する。デコーダにおいて、プロセッサは、ビデオピクチャのシーケンスおよびメタデータを受信し、ここで、メタデータは、可変フレームレートでビデオピクチャを表示することを可能にするためのシンタックスパラメータを含み、シンタックスパラメータは、ｐｉｃｔｕｒｅ－ｔｉｍｉｎｇ－ｐｒｅｓｅｎｔフラグと、ｐｉｃｔｕｒｅ－ｓｏｕｒｃｅ－ｔｙｐｅフラグと、ｐｉｃｔｕｒｅ－ｐｏｓｉｔｉｏｎ－ｔｙｐｅフラグとを含む。プロセッサは、メタデータ中のシンタックスパラメータにしたがってビデオピクチャを表示し、ビデオピクチャの中の現在のピクチャについて、
ｐｉｃｔｕｒｅ－ｔｉｍｉｎｇ－ｐｒｅｓｅｎｔフラグが１に設定されていることを検出した場合、
メタデータ中のピクチャプレゼンテーション時間パラメータに基づいて、現在のピクチャについてのディスプレイでのプレゼンテーションの時間情報を生成し、
ｐｉｃｔｕｒｅ－ｓｏｕｒｃｅ－ｔｙｐｅフラグが１に設定されていることを検出した場合、
メタデータ中のピクチャソースパラメータに基づいて、現在のピクチャについてのピクチャソース情報を生成し、
ｐｉｃｔｕｒｅ－ｐｏｓｉｔｉｏｎ－ｔｙｐｅフラグが１に設定されていることを検出した場合、
メタデータ中の１つまたは複数のピクチャ位置パラメータに基づいて、現在のピクチャについてのピクチャ位置情報を生成する。
【0011】
別の実施形態では、符号化ビデオストリーム構造を記憶した非一時的プロセッサ可読媒体において、符号化ビデオストリーム構造は：
ビデオピクチャのシーケンスの符号化を含む符号化ピクチャセクションと、
可変フレームレートでビデオピクチャのシーケンスを表示することを可能にするためのシンタックスパラメータを含むメタデータの符号化を含むシグナリングセクションと
を含み、シンタックスパラメータは、ｐｉｃｔｕｒｅ－ｔｉｍｉｎｇ－ｐｒｅｓｅｎｔフラグと、ｐｉｃｔｕｒｅ－ｓｏｕｒｃｅ－ｔｙｐｅフラグと、ｐｉｃｔｕｒｅ－ｐｏｓｉｔｉｏｎ－ｔｙｐｅフラグとを含み、
ビデオピクチャのシーケンスの中の現在のピクチャについて、
ｐｉｃｔｕｒｅ－ｔｉｍｉｎｇ－ｐｒｅｓｅｎｔフラグが１に設定されている場合、
メタデータ中にピクチャプレゼンテーション時間パラメータを含め、
ｐｉｃｔｕｒｅ－ｓｏｕｒｃｅ－ｔｙｐｅフラグが１に設定されている場合、
メタデータ中にピクチャソースパラメータを含め、
ｐｉｃｔｕｒｅ－ｐｏｓｉｔｉｏｎ－ｔｙｐｅフラグが１に設定されている場合、
メタデータ中に１つまたは複数のピクチャ位置パラメータを含める。
ビデオピクチャのシーケンスの符号化を含む符号化ピクチャセクションと、
可変フレームレートでビデオピクチャのシーケンスを表示することを可能にするためのシンタックスパラメータを含むメタデータの符号化を含むシグナリングセクションと
を含み、シンタックスパラメータは、ｐｉｃｔｕｒｅ－ｔｉｍｉｎｇ－ｐｒｅｓｅｎｔフラグと、ｐｉｃｔｕｒｅ－ｓｏｕｒｃｅ－ｔｙｐｅフラグと、ｐｉｃｔｕｒｅ－ｐｏｓｉｔｉｏｎ－ｔｙｐｅフラグとを含み、
ビデオピクチャのシーケンスの中の現在のピクチャについて、
ｐｉｃｔｕｒｅ－ｔｉｍｉｎｇ－ｐｒｅｓｅｎｔフラグが１に設定されている場合、
メタデータ中にピクチャプレゼンテーション時間パラメータを含め、
ｐｉｃｔｕｒｅ－ｓｏｕｒｃｅ－ｔｙｐｅフラグが１に設定されている場合、
メタデータ中にピクチャソースパラメータを含め、
ｐｉｃｔｕｒｅ－ｐｏｓｉｔｉｏｎ－ｔｙｐｅフラグが１に設定されている場合、
メタデータ中に１つまたは複数のピクチャ位置パラメータを含める。
【0012】
可変フレームレートビデオのためのメタデータ
信号のビデオコーディング
図１は、ビデオキャプチャからビデオコンテンツ表示までの様々な段階を示す従来のビデオ配信パイプライン（１００）の例示的なプロセスを示す。ビデオフレームのシーケンス（１０２）は、画像生成ブロック（１０５）を使用してキャプチャまたは生成される。ビデオフレーム（１０２）は、ビデオデータ（１０７）を提供するために、（例えば、デジタルカメラによって）デジタルにキャプチャされ得るか、または（例えば、コンピュータアニメーションを使用して）コンピュータによって生成され得る。代替的に、ビデオフレーム（１０２）は、フィルムカメラによってフィルム上にキャプチャされてもよい。フィルムは、デジタルフォーマットに変換され、ビデオデータ（１０７）が提供される。プロダクション段階（１１０）では、ビデオデータ（１０７）が編集されてビデオプロダクションストリーム（１１２）が提供される。
信号のビデオコーディング
図１は、ビデオキャプチャからビデオコンテンツ表示までの様々な段階を示す従来のビデオ配信パイプライン（１００）の例示的なプロセスを示す。ビデオフレームのシーケンス（１０２）は、画像生成ブロック（１０５）を使用してキャプチャまたは生成される。ビデオフレーム（１０２）は、ビデオデータ（１０７）を提供するために、（例えば、デジタルカメラによって）デジタルにキャプチャされ得るか、または（例えば、コンピュータアニメーションを使用して）コンピュータによって生成され得る。代替的に、ビデオフレーム（１０２）は、フィルムカメラによってフィルム上にキャプチャされてもよい。フィルムは、デジタルフォーマットに変換され、ビデオデータ（１０７）が提供される。プロダクション段階（１１０）では、ビデオデータ（１０７）が編集されてビデオプロダクションストリーム（１１２）が提供される。
【0013】
次いで、プロダクションストリーム（１１２）のビデオデータは、ポストプロダクション編集のためにブロック（１１５）においてプロセッサに提供される。ブロック（１１５）のポストプロダクション編集は、ビデオ制作者の制作意図にしたがって、画質を向上させるためにまたは画像の特定の外観を達成するために、画像の特定のエリアの色または明るさを調整または修正することを含み得る。これは、「カラータイミング」または「カラーグレーディング」と呼ばれることもある。フレーム／ピクチャレートのリサンプリングも含まれ得る。他の編集（例えば、シーン選択およびシーケンシング、画像クロッピング、コンピュータにより生成される視覚的な特殊効果の追加、可変フレームレートシーケンシングなど）がブロック（１１５）において行われ得、配布のためのプロダクションの最終バージョン（１１７）を生成し得る。ポストプロダクション編集（１１５）の間、参照ディスプレイ（１２５）でビデオ画像を見ることができる。
【0014】
ポストプロダクション（１１５）に続いて、最終プロダクション（１１７）のビデオデータは、テレビジョンセット、セットトップボックス、映画館などの復号および再生デバイスへと下流に配信するために、符号化ブロック（１２０）に提供され得る。いくつかの実施形態では、コーディングブロック（１２０）は、コード化ビットストリーム（１２２）を生成するために、ＡＴＳＣ、ＤＶＢ、ＤＶＤ、Ｂｌｕ－Ｒａｙ、および他の配信フォーマットによって定義されたものなどのオーディオおよびビデオエンコーダを含み得る。受信機において、コード化ビットストリーム（１２２）は、復号ユニット（１３０）によって復号され、信号（１１７）と同一のまたは近似する復号された信号（１３２）が生成される。受信機は、参照ディスプレイ（１２５）とは完全に異なる特性を有し得るターゲットディスプレイ（１４０）に取り付けられ得る。その場合、ディスプレイ管理ブロック（１３５）は、ディスプレイマッピングされた信号（１３７）を生成することによって、復号された信号（１３２）のダイナミックレンジまたはフレームレートをターゲットディスプレイ（１４０）の特性にマッピングするために使用され得る。
【0015】
可変フレームレート（ＶＦＲ）ビットストリームは、ビデオエコシステムにおいて、以下を含むいくつかの新たな課題をもたらす。
１）コンテンツ作成中、一部のコンテンツは、より滑らかに見えるビデオを作成するために、低フレームレートからより高いフレームレートにアップサンプリングされ得る。これを行うための一般的な技法は、動き推定アルゴリズムおよび動き補償アルゴリズムを使用して、オリジナルのフレーム間に新しいフレームを補間することを含む。補間されたフレームは、動きのある状態で見たときには好ましくないものではないが、静止画で見たときには好ましくないものとなり得る画像アーチファクトを含む可能性がある。
２）ＶＦＲコンテンツ作成中、一部のフレームは複数回繰り返され得る。例えば、１／２４秒間表示されることが意図されたオリジナルのフレームは、各フレームが１／１２０秒間表示されることを意図して、５回複製され得る。結果として得られる５つのフレームは、スクリーン上に表示されたとき、同じ画像を作り出すはずである。
３）ＶＦＲ再生またはコンテンツ作成中、ＶＦＲコンテンツを異なるフレームレートの他のコンテンツと組み合わせる必要がある場合がある。これには、ＶＦＲビデオを異なるフレームレートにリサンプリングする必要がある。例示的な実施形態は、これらすべての問題に対処し、ＶＦＲビデオシーケンスの表示を改善するメタデータおよび復号処理を説明する。
１）コンテンツ作成中、一部のコンテンツは、より滑らかに見えるビデオを作成するために、低フレームレートからより高いフレームレートにアップサンプリングされ得る。これを行うための一般的な技法は、動き推定アルゴリズムおよび動き補償アルゴリズムを使用して、オリジナルのフレーム間に新しいフレームを補間することを含む。補間されたフレームは、動きのある状態で見たときには好ましくないものではないが、静止画で見たときには好ましくないものとなり得る画像アーチファクトを含む可能性がある。
２）ＶＦＲコンテンツ作成中、一部のフレームは複数回繰り返され得る。例えば、１／２４秒間表示されることが意図されたオリジナルのフレームは、各フレームが１／１２０秒間表示されることを意図して、５回複製され得る。結果として得られる５つのフレームは、スクリーン上に表示されたとき、同じ画像を作り出すはずである。
３）ＶＦＲ再生またはコンテンツ作成中、ＶＦＲコンテンツを異なるフレームレートの他のコンテンツと組み合わせる必要がある場合がある。これには、ＶＦＲビデオを異なるフレームレートにリサンプリングする必要がある。例示的な実施形態は、これらすべての問題に対処し、ＶＦＲビデオシーケンスの表示を改善するメタデータおよび復号処理を説明する。
【0016】
一実施形態では、提案される新しいメタデータフィールドは、可変フレームレートコンテンツの符号化、処理、および再生を改善することが意図される。そのようなフレームレート変換メタデータは、シーケンス全体において、シーンレベルにおいて、またはピクチャレベルにおいて適合され得る。これらのフレームレート変換メタデータは、伝送フレームレートではなく、視聴可能フレームレートを参照する。このフレームレートメタデータは、ポストプロダクション段階（１１５）中にコンテンツプロデューサによって（例えば、手動で、またはコンピュータベースのツールと人間の対話との組合せによって）選択されてもよいし、ポストプロダクション中に、もしくは符号化段階（１２０）の一環として、シーン特性に基づいて自動的に導出されてもよい。
【0017】
メタデータの説明
【0018】
ピクチャ時間（Picture Time）
このパラメータは、フレーム（またはピクチャ）が表示されることが意図される持続時間を示し得る。一実施形態では、これは、ＭＰＥＧ「プレゼンテーション時間」ＳＥＩメッセージの複製とすることができる。代替的な機構も、後に提示される。
このパラメータは、フレーム（またはピクチャ）が表示されることが意図される持続時間を示し得る。一実施形態では、これは、ＭＰＥＧ「プレゼンテーション時間」ＳＥＩメッセージの複製とすることができる。代替的な機構も、後に提示される。
【0019】
ピクチャソース（Picture Source）
このパラメータは、ピクチャのソースタイプを示す。例えば、限定するものではないが、一実施形態では、０はオリジナルのピクチャを示し得、１は複製ピクチャを示し得、２は補間ピクチャを示し得る。限定ではなく例として、このパラメータは、以下の目的のために使用され得る：
１）エンコーダは、ピクチャソースを使用して、瞬時復号リフレッシュ（ＩＤＲ）ピクチャまたはクリアランダムアクセス（ＣＲＡ）ピクチャを含む適切なイントラランダムアクセスポイントＩＲＡＰピクチャを決定するのを助ける。画像アーチファクトを含み得る補間ピクチャの使用を回避するために、一実施形態では、ピクチャソースが０に等しいピクチャのみがＩＲＡＰピクチャとして使用されるべきである。
２）エンコーダは、ピクチャソースを使用して、どの画像を復号ピクチャバッファに記憶すべきか、またはどれを符号化する必要があるかを決定するのを助ける。複製ピクチャは圧縮プロセスに付加情報を追加しないので、複製ピクチャにメモリを割り当てる必要はない。代わりに、メモリは、圧縮性能を改善するために、オリジナルのピクチャおよび補間ピクチャに使用され得る。
３）再生デバイスは、ピクチャソースを使用して、補間ピクチャまたは複製ピクチャでの休止を防ぐ。これにより、画像アーチファクトを含み得る補間ピクチャで視聴者が休止しないようにする。これは、コンテンツ作成中と再生中の両方で使用され得る。
４）再生時の画像処理は、ピクチャソースを使用して、同じピクチャの二重の追加処理を防ぎ、その代わりに、前のピクチャを繰り返して電力を節約する。
５）再生時のフレームレート変換アルゴリズムは、リサンプリングアルゴリズムを適用するときにピクチャソース情報を使用することができる。ピクチャレート変換アルゴリズムを適用するとき、複製ピクチャまたは補間ピクチャは無視することができる。
このパラメータは、ピクチャのソースタイプを示す。例えば、限定するものではないが、一実施形態では、０はオリジナルのピクチャを示し得、１は複製ピクチャを示し得、２は補間ピクチャを示し得る。限定ではなく例として、このパラメータは、以下の目的のために使用され得る：
１）エンコーダは、ピクチャソースを使用して、瞬時復号リフレッシュ（ＩＤＲ）ピクチャまたはクリアランダムアクセス（ＣＲＡ）ピクチャを含む適切なイントラランダムアクセスポイントＩＲＡＰピクチャを決定するのを助ける。画像アーチファクトを含み得る補間ピクチャの使用を回避するために、一実施形態では、ピクチャソースが０に等しいピクチャのみがＩＲＡＰピクチャとして使用されるべきである。
２）エンコーダは、ピクチャソースを使用して、どの画像を復号ピクチャバッファに記憶すべきか、またはどれを符号化する必要があるかを決定するのを助ける。複製ピクチャは圧縮プロセスに付加情報を追加しないので、複製ピクチャにメモリを割り当てる必要はない。代わりに、メモリは、圧縮性能を改善するために、オリジナルのピクチャおよび補間ピクチャに使用され得る。
３）再生デバイスは、ピクチャソースを使用して、補間ピクチャまたは複製ピクチャでの休止を防ぐ。これにより、画像アーチファクトを含み得る補間ピクチャで視聴者が休止しないようにする。これは、コンテンツ作成中と再生中の両方で使用され得る。
４）再生時の画像処理は、ピクチャソースを使用して、同じピクチャの二重の追加処理を防ぎ、その代わりに、前のピクチャを繰り返して電力を節約する。
５）再生時のフレームレート変換アルゴリズムは、リサンプリングアルゴリズムを適用するときにピクチャソース情報を使用することができる。ピクチャレート変換アルゴリズムを適用するとき、複製ピクチャまたは補間ピクチャは無視することができる。
【0020】
ピクチャ位置（Picture Position）
このパラメータは、シーンまたはピクチャグループにおけるピクチャの位置を示す。例えば、２ビットフィールドを使用する場合、次のようにその値を割り当てることができる：０＝未知／未指定、１＝最初のピクチャ、２＝中間のピクチャ、３＝最後のピクチャ。このパラメータは、動きリサンプリングをガイドするために使用され得る。ピクチャがシーンの最初のピクチャである場合、動き推定アルゴリズムは、動きを推定するときに前のピクチャを無視する。最後のピクチャである場合、動き推定アルゴリズムは、後のピクチャを無視する。中間のピクチャである場合、動き推定アルゴリズムは、動きを推定するために前のピクチャと後のピクチャの両方を使用することができる。前のピクチャと後のピクチャのピクチャ位置を反復的に比較することによって、動き推定アルゴリズムは、動き補間に使用するための有効なピクチャのウィンドウを確立することができる。ピクチャ位置が未知または未指定である場合、動き推定アルゴリズムは、シーンカットを推測しようと試みるか、または単にすべての隣接ピクチャを使用することができる。
このパラメータは、シーンまたはピクチャグループにおけるピクチャの位置を示す。例えば、２ビットフィールドを使用する場合、次のようにその値を割り当てることができる：０＝未知／未指定、１＝最初のピクチャ、２＝中間のピクチャ、３＝最後のピクチャ。このパラメータは、動きリサンプリングをガイドするために使用され得る。ピクチャがシーンの最初のピクチャである場合、動き推定アルゴリズムは、動きを推定するときに前のピクチャを無視する。最後のピクチャである場合、動き推定アルゴリズムは、後のピクチャを無視する。中間のピクチャである場合、動き推定アルゴリズムは、動きを推定するために前のピクチャと後のピクチャの両方を使用することができる。前のピクチャと後のピクチャのピクチャ位置を反復的に比較することによって、動き推定アルゴリズムは、動き補間に使用するための有効なピクチャのウィンドウを確立することができる。ピクチャ位置が未知または未指定である場合、動き推定アルゴリズムは、シーンカットを推測しようと試みるか、または単にすべての隣接ピクチャを使用することができる。
【0021】
動き平均および動き標準偏差（Motion Mean and Motion Standard Deviation）
パラメータは、前のピクチャを基準とした画像全体の平均および標準偏差変位を示す。例として、一実施形態では、動き平均は、（１－ｍｅａｎ（ｍｏｔｉｏｎ））＊２５５として整数形式で表され得、動き標準偏差は、（１－ｓｔｄ＿ｄｅｖ（ｍｏｔｉｏｎ））＊２５５として表され得、ここで、関数ｍｅａｎ（ｍｏｔｉｏｎ）およびｓｔｄ＿ｄｅｖ（ｍｏｔｉｏｎ）は、非整数表現で動きの平均および標準偏差を計算し、［０，１］で正規化される。
パラメータは、前のピクチャを基準とした画像全体の平均および標準偏差変位を示す。例として、一実施形態では、動き平均は、（１－ｍｅａｎ（ｍｏｔｉｏｎ））＊２５５として整数形式で表され得、動き標準偏差は、（１－ｓｔｄ＿ｄｅｖ（ｍｏｔｉｏｎ））＊２５５として表され得、ここで、関数ｍｅａｎ（ｍｏｔｉｏｎ）およびｓｔｄ＿ｄｅｖ（ｍｏｔｉｏｎ）は、非整数表現で動きの平均および標準偏差を計算し、［０，１］で正規化される。
【0022】
一実施形態では、これらのパラメータは、ピクチャレートリサンプリング中に使用され得、ここで、動き平均値および動き標準偏差値は、一般にフレームレート変換（ＦＲＣ）と呼ばれるピクチャレート変換アルゴリズムを選択するために使用され得る。例えば、平均動きは高いが標準偏差は低いピクチャは、動きがカメラパンによって支配されていることを示す。その場合、最適なピクチャレートリサンプリングアルゴリズムは、画像全体の全変位を計算することに基づき得る。代替的に、平均動きは低いが標準偏差は高いピクチャは、動きが画像内で動くオブジェクトによって支配されることを示す。その場合、最適なピクチャレートリサンプリングアルゴリズムは、補間なしにピクチャを複製することであり得る。
【0023】
動き統計は、平均および標準偏差に限定されないであろう。他の実施形態では、尖度、歪度、またはヒストグラム分布などのより高次の他の統計も使用することができる。動き特性はまた、ランダム、パン、ズームなどの動きのタイプに関する情報を含むことができる。動き統計はまた、より良好な時間的一貫性を提供するために、ピクチャグループまたは１つのシーンなど、２つ以上のピクチャについて示され得る。動き統計を計算する様々な手段がある。一実施形態では、動きは、ブロックベースの動き推定を使用して計算される。
【0024】
例えば、以下が考えられ得る：
・ フレームを重複しないブロックに細分する。
・ 前のフレームに対する各ブロックの動きベクトルｍｖ［ｉ］＝（ｘｉ，ｙｉ）を計算する。
・ 各動きベクトルの大きさを計算し、例えば、
・ 次いで、ｒ［ｉ］値の平均および標準偏差を計算する。
・ フレームを重複しないブロックに細分する。
・ 前のフレームに対する各ブロックの動きベクトルｍｖ［ｉ］＝（ｘｉ，ｙｉ）を計算する。
・ 各動きベクトルの大きさを計算し、例えば、
【数1】
【0025】
「オプティカルフロー」およびフレームレート変換技法を計算する際に使用されるものとして、当技術分野で知られている代替方法の例は、参考文献［１～３］に記載されている。
【0026】
一実施形態では、振幅値（例えば、ｒ［ｉ］）のみを使用することに加えて、動きの方向も使用することができ、動き振幅統計とは別個にシグナリングされ得る。別の実施形態では、カメラの動きとオブジェクトの動きとを分離することができる。上述した動き統計は、オブジェクトの動き（またはローカルな動き）を計算する。メタデータでは、カメラの動き（一般にグローバル動きと呼ばれる）も、ローカル動き統計に加えて、明示的にシグナリングされ得る。別の実施形態では、別個の背景および前景の動きならびに動き統計が、背景および前景オブジェクトについて、シグナリングされることができる。
【0027】
ピクチャまたはフレームが圧縮中に（例えば、Ｉ、Ｐ、またはＢフレームとして）特徴付けられる方法は、それらが解凍後の動き補間のためにＶＦＲメタデータ中でマークされる方法と一致する必要はないことに留意されたい。例えば、コーデックは、２秒ごとにＩフレームを挿入して、新しいピクチャグループ（ＧＯＰ）のコーディングを開始し得るが、フレームレート変換における動き補間アルゴリズムの場合、それらのＩフレームはシーン内の動きとは関係がないので、そのコーディング境界にわたってフレームを使用することが望まれ得る。
【0028】
一例として、表１は、ＭＰＥＧビデオコーディング規格における補足エンハンスメント情報（ＳＥＩ）のためのシンタックスに準拠するシンタックスを使用するＶＦＲメタデータの一実施形態を説明する。表１中の記述子フィールドは、既存のＭＰＥＧおよびＩＴＵ規格（例えば、ＡＶＣ、ＨＥＶＣなど）で使用されるものに準拠する。
【表1】
【0029】
セマンティクス（Semantics）
表１のピクチャレート変換ヒント情報ＳＥＩメッセージは、フレームレート変換をガイドするために、関連するピクチャのコンテンツ特性を記述する。
１に等しいｐｉｃｔｕｒｅ＿ｔｉｍｉｎｇ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、シンタックス要素ｐｉｃｔｕｒｅ＿ｐｒｅｓｅｎｔａｔｉｏｎ＿ｔｉｍｅが存在することを指定する。０に等しいｐｉｃｔｕｒｅ＿ｔｉｍｉｎｇ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、シンタックス要素ｐｉｃｔｕｒｅ＿ｐｒｅｓｅｎｔａｔｉｏｎ＿ｔｉｍｅが存在しないことを指定する。
１に等しいｐｉｃｔｕｒｅ＿ｓｏｕｒｃｅ＿ｔｙｐｅ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、シンタックス要素ｐｉｃｔｕｒｅ＿ｓｏｕｒｃｅ＿ｔｙｐｅが存在することを指定する。０に等しいｐｉｃｔｕｒｅ＿ｓｏｕｒｃｅ＿ｔｙｐｅ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、シンタックス要素ｐｉｃｔｕｒｅ＿ｓｏｕｒｃｅ＿ｔｙｐｅが存在しないことを指定する。
１に等しいｐｉｃｔｕｒｅ＿ｐｏｓｉｔｉｏｎ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、シンタックス要素ｐｉｃｔｕｒｅ＿ｐｏｓｉｔｉｏｎが存在することを指定する。０に等しいｐｉｃｔｕｒｅ＿ｐｏｓｉｔｉｏｎ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、シンタックス要素ｐｉｃｔｕｒｅ＿ｐｏｓｉｔｉｏｎが存在しないことを指定する。
１に等しいｐｉｃｔｕｒｅ＿ｍｏｔｉｏｎ＿ｃｈａｒａｔｅｒｉｓｔｉｃｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、シンタックス要素ｍｏｔｉｏｎ＿ｍｅａｎおよびｍｏｔｉｏｎ＿ｓｔａｎｄａｒｄ＿ｄｅｖｉａｔｉｏｎが存在することを指定する。０に等しいｐｉｃｔｕｒｅ＿ｐｏｓｉｔｉｏｎ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、シンタックス要素ｍｏｔｉｏｎ＿ｍｅａｎおよびｍｏｔｉｏｎ＿ｓｔａｎｄａｒｄ＿ｄｅｖｉａｔｉｏｎが存在しないことを指定する。
注：ピクチャ動き特性関連のシンタックスは、ピクチャ、シーン、フレームのグループなどについて存在し得る。
注：ピクチャタイミングは、ＡＶＣ、ＨＥＶＣ、もしくはＶＶＣにおけるピクチャタイミングＳＥＩメッセージング、またはＡＶＣもしくはＨＥＶＣにおける時間コードＳＥＩメッセージングなど、様々な方法によって示すことができる。一実施形態では、提案されたピクチャプレゼンテーションタイミング（ＰＰＴ）メッセージは、ＭＰＥＧ－２トランスポート（Ｈ．２２２）（参考文献［４］）で使用されているプレゼンテーションタイムスタンプ（ＰＴＳ）変数のシンタックスと一致する。
ｐｉｃｔｕｒｅ＿ｐｒｅｓｅｎｔａｔｉｏｎ＿ｔｉｍｅは、以下のように復号時間に関連するものとする：
ｐｉｃｔｕｒｅ＿ｐｒｅｓｅｎｔａｔｉｏｎ＿ｔｉｍｅ（ＰＰＴ）は、３つの別個のフィールドにコーディングされた３３ビットの数である。これは、エレメンタリストリームｎのプレゼンテーション単位ｋのシステムターゲットデコーダにおけるプレゼンテーションの時間ｔｐn（ｋ）を示す。ＰＰＴの値は、システムクロック周波数の周期を３００で割った値（９０ｋＨｚとなる）を単位として指定される。ピクチャプレゼンテーション時間は、以下の式にしたがってＰＰＴから導出される。
ＰＰＴ（ｋ）＝（（ｓｙｓｔｅｍ＿ｃｌｏｃｋ＿ｆｒｅｑｕｅｎｃｙ ｘ ｔｐn（ｋ））／３００）％２33
ここで、ｔｐn（ｋ））は、プレゼンテーション単位Ｐn（ｋ）のプレゼンテーション時間である。
０に等しいｐｉｃｔｕｒｅ＿ｓｏｕｒｃｅ＿ｔｙｐｅは、関連するピクチャのソースタイプがオリジナルとして解釈されるべきであることを示す。１に等しいｐｉｃｔｕｒｅ＿ｓｏｕｒｃｅ＿ｔｙｐｅは、関連するピクチャのソースタイプが出力順序で前のピクチャの複製として解釈されるべきであることを示す。２に等しいｐｉｃｔｕｒｅ＿ｓｏｕｒｃｅ＿ｔｙｐｅは、関連するピクチャのソースタイプが出力順序で前のピクチャおよび／または後のピクチャからの補間ピクチャとして解釈されるべきであることを示す。３に等しいｐｉｃｔｕｒｅ＿ｓｏｕｒｃｅ＿ｔｙｐｅは、関連するピクチャのソースタイプが未知または未指定であるとして解釈されるべきであることを示す。
１に等しいｐｉｃｔｕｒｅ＿ｐｏｓｉｔｉｏｎは、関連するピクチャが出力順序でシーン中の最初のピクチャであることを示す。３に等しいｐｉｃｔｕｒｅ＿ｐｏｓｉｔｉｏｎは、関連するピクチャが出力順序でシーン中の最後のピクチャであることを示す。２に等しいｐｉｃｔｕｒｅ＿ｐｏｓｉｔｉｏｎは、関連するピクチャが出力順序でシーン中の最初のピクチャと最後のピクチャとの間にあることを示す。０に等しいｐｉｃｔｕｒｅ＿ｐｏｓｉｔｉｏｎは、関連するピクチャが出力順序でＣＶＳ中の未知（または未指定の）位置にあることを示す。
ｍｏｔｉｏｎ＿ｍｅａｎは、前のピクチャからの現在のピクチャの平均変位を示す。
ｍｏｔｉｏｎ＿ｓｔａｎｄａｒｄ＿ｄｅｖｉａｔｉｏｎは、前のピクチャからの現在のピクチャの変位の標準偏差を示す。
表１のピクチャレート変換ヒント情報ＳＥＩメッセージは、フレームレート変換をガイドするために、関連するピクチャのコンテンツ特性を記述する。
１に等しいｐｉｃｔｕｒｅ＿ｔｉｍｉｎｇ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、シンタックス要素ｐｉｃｔｕｒｅ＿ｐｒｅｓｅｎｔａｔｉｏｎ＿ｔｉｍｅが存在することを指定する。０に等しいｐｉｃｔｕｒｅ＿ｔｉｍｉｎｇ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、シンタックス要素ｐｉｃｔｕｒｅ＿ｐｒｅｓｅｎｔａｔｉｏｎ＿ｔｉｍｅが存在しないことを指定する。
１に等しいｐｉｃｔｕｒｅ＿ｓｏｕｒｃｅ＿ｔｙｐｅ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、シンタックス要素ｐｉｃｔｕｒｅ＿ｓｏｕｒｃｅ＿ｔｙｐｅが存在することを指定する。０に等しいｐｉｃｔｕｒｅ＿ｓｏｕｒｃｅ＿ｔｙｐｅ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、シンタックス要素ｐｉｃｔｕｒｅ＿ｓｏｕｒｃｅ＿ｔｙｐｅが存在しないことを指定する。
１に等しいｐｉｃｔｕｒｅ＿ｐｏｓｉｔｉｏｎ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、シンタックス要素ｐｉｃｔｕｒｅ＿ｐｏｓｉｔｉｏｎが存在することを指定する。０に等しいｐｉｃｔｕｒｅ＿ｐｏｓｉｔｉｏｎ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、シンタックス要素ｐｉｃｔｕｒｅ＿ｐｏｓｉｔｉｏｎが存在しないことを指定する。
１に等しいｐｉｃｔｕｒｅ＿ｍｏｔｉｏｎ＿ｃｈａｒａｔｅｒｉｓｔｉｃｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、シンタックス要素ｍｏｔｉｏｎ＿ｍｅａｎおよびｍｏｔｉｏｎ＿ｓｔａｎｄａｒｄ＿ｄｅｖｉａｔｉｏｎが存在することを指定する。０に等しいｐｉｃｔｕｒｅ＿ｐｏｓｉｔｉｏｎ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、シンタックス要素ｍｏｔｉｏｎ＿ｍｅａｎおよびｍｏｔｉｏｎ＿ｓｔａｎｄａｒｄ＿ｄｅｖｉａｔｉｏｎが存在しないことを指定する。
注：ピクチャ動き特性関連のシンタックスは、ピクチャ、シーン、フレームのグループなどについて存在し得る。
注：ピクチャタイミングは、ＡＶＣ、ＨＥＶＣ、もしくはＶＶＣにおけるピクチャタイミングＳＥＩメッセージング、またはＡＶＣもしくはＨＥＶＣにおける時間コードＳＥＩメッセージングなど、様々な方法によって示すことができる。一実施形態では、提案されたピクチャプレゼンテーションタイミング（ＰＰＴ）メッセージは、ＭＰＥＧ－２トランスポート（Ｈ．２２２）（参考文献［４］）で使用されているプレゼンテーションタイムスタンプ（ＰＴＳ）変数のシンタックスと一致する。
ｐｉｃｔｕｒｅ＿ｐｒｅｓｅｎｔａｔｉｏｎ＿ｔｉｍｅは、以下のように復号時間に関連するものとする：
ｐｉｃｔｕｒｅ＿ｐｒｅｓｅｎｔａｔｉｏｎ＿ｔｉｍｅ（ＰＰＴ）は、３つの別個のフィールドにコーディングされた３３ビットの数である。これは、エレメンタリストリームｎのプレゼンテーション単位ｋのシステムターゲットデコーダにおけるプレゼンテーションの時間ｔｐn（ｋ）を示す。ＰＰＴの値は、システムクロック周波数の周期を３００で割った値（９０ｋＨｚとなる）を単位として指定される。ピクチャプレゼンテーション時間は、以下の式にしたがってＰＰＴから導出される。
ＰＰＴ（ｋ）＝（（ｓｙｓｔｅｍ＿ｃｌｏｃｋ＿ｆｒｅｑｕｅｎｃｙ ｘ ｔｐn（ｋ））／３００）％２33
ここで、ｔｐn（ｋ））は、プレゼンテーション単位Ｐn（ｋ）のプレゼンテーション時間である。
０に等しいｐｉｃｔｕｒｅ＿ｓｏｕｒｃｅ＿ｔｙｐｅは、関連するピクチャのソースタイプがオリジナルとして解釈されるべきであることを示す。１に等しいｐｉｃｔｕｒｅ＿ｓｏｕｒｃｅ＿ｔｙｐｅは、関連するピクチャのソースタイプが出力順序で前のピクチャの複製として解釈されるべきであることを示す。２に等しいｐｉｃｔｕｒｅ＿ｓｏｕｒｃｅ＿ｔｙｐｅは、関連するピクチャのソースタイプが出力順序で前のピクチャおよび／または後のピクチャからの補間ピクチャとして解釈されるべきであることを示す。３に等しいｐｉｃｔｕｒｅ＿ｓｏｕｒｃｅ＿ｔｙｐｅは、関連するピクチャのソースタイプが未知または未指定であるとして解釈されるべきであることを示す。
１に等しいｐｉｃｔｕｒｅ＿ｐｏｓｉｔｉｏｎは、関連するピクチャが出力順序でシーン中の最初のピクチャであることを示す。３に等しいｐｉｃｔｕｒｅ＿ｐｏｓｉｔｉｏｎは、関連するピクチャが出力順序でシーン中の最後のピクチャであることを示す。２に等しいｐｉｃｔｕｒｅ＿ｐｏｓｉｔｉｏｎは、関連するピクチャが出力順序でシーン中の最初のピクチャと最後のピクチャとの間にあることを示す。０に等しいｐｉｃｔｕｒｅ＿ｐｏｓｉｔｉｏｎは、関連するピクチャが出力順序でＣＶＳ中の未知（または未指定の）位置にあることを示す。
ｍｏｔｉｏｎ＿ｍｅａｎは、前のピクチャからの現在のピクチャの平均変位を示す。
ｍｏｔｉｏｎ＿ｓｔａｎｄａｒｄ＿ｄｅｖｉａｔｉｏｎは、前のピクチャからの現在のピクチャの変位の標準偏差を示す。
【0030】
別の実施形態では、ピクチャ位置を示すために２つのフィールドを使用することができる。例えば、１つのフィールド（例えば、ｐｉｃｔｕｒｅ＿ｐｏｓｉｔｉｏｎ＿ｂｅｆｏｒｅ）は、関連する動きを有する前のフレームの数を示し得、他方のフィールド（例えば、ｐｉｃｔｕｒｅ＿ｐｏｓｉｔｉｏｎ＿ａｆｔｅｒ）は、関連する動きを有する後のフレームの数を示し得る。例えば、ピクチャの場合、値は以下の通りである：
・ １，０は、それがシーンの最後のピクチャであり、前のピクチャにのみ関連することを示す。
・ ２，０は、それがシーンの最後のピクチャであり、前のピクチャのうちの２つに関連することを示す。
・ ０，０は、それが独立フレームであることを示す。
・ ０，１は、それが最初のフレームであり、次のフレームが関連することを示す。
・ ２，３は、前後に複数の関連するフレームがあることを示す（前に２つと後に３つ）。そのような表記は、フレーム補間のためのより良好な動き情報を得るために、単一のフレームを使用するよりも複数のフレーム（例えば、２つまたは３つのフレーム）を使用するようにＦＲＣアルゴリズムをガイドし得る。一方、このような情報は、先に述べた単一フィールドｐｉｃｔｕｒｅ＿ｐｏｓｉｔｉｏｎパラメータを使用して抽出することもできる。例えば、現在の位置が中間のフレームであり、かつ、前の位置が中間のフレームである場合、デコーダは、動き補間のために少なくとも２つの前のフレームおよび将来のフレームを使用することができることを知る。２つのフィールドを使用するには、より多くのメタデータを送る必要があるが、複数のフレームにわたって動きを追跡するためのデコーダでの計算の複雑さはより少なくて済む。
・ １，０は、それがシーンの最後のピクチャであり、前のピクチャにのみ関連することを示す。
・ ２，０は、それがシーンの最後のピクチャであり、前のピクチャのうちの２つに関連することを示す。
・ ０，０は、それが独立フレームであることを示す。
・ ０，１は、それが最初のフレームであり、次のフレームが関連することを示す。
・ ２，３は、前後に複数の関連するフレームがあることを示す（前に２つと後に３つ）。そのような表記は、フレーム補間のためのより良好な動き情報を得るために、単一のフレームを使用するよりも複数のフレーム（例えば、２つまたは３つのフレーム）を使用するようにＦＲＣアルゴリズムをガイドし得る。一方、このような情報は、先に述べた単一フィールドｐｉｃｔｕｒｅ＿ｐｏｓｉｔｉｏｎパラメータを使用して抽出することもできる。例えば、現在の位置が中間のフレームであり、かつ、前の位置が中間のフレームである場合、デコーダは、動き補間のために少なくとも２つの前のフレームおよび将来のフレームを使用することができることを知る。２つのフィールドを使用するには、より多くのメタデータを送る必要があるが、複数のフレームにわたって動きを追跡するためのデコーダでの計算の複雑さはより少なくて済む。
【0031】
図２Ａおよび図２Ｂは、一実施形態による、ＶＦＲビデオにおいてメタデータを使用するための例示的なプロセスフローを提供する。図２Ａに示すように、ＶＦＲ関連のメタデータを有する入力ビデオビットストリームが与えられると、デコーダは、ステップ２１０においてメタデータを解析した後、ステップ２２０において、ピクチャプレゼンテーション時間に関連する情報を抽出し得る。次に、それは、残りのプレゼンテーションフラグの間で反復適用され得る。例えば、ステップ２２５において、ピクチャソースデータが利用可能であることを検出した場合、ステップ２３０に進み、ピクチャソース情報（例えば、ピクチャがオリジナルであるか、複写であるか、または補間であるか）を識別する。
【0032】
図２Ｂに移り、ステップ２５０において、ピクチャ位置情報が利用可能であることを検出した場合、ステップ２５５に進み、ピクチャ位置情報（例えば、最初のピクチャであるか、最後のピクチャであるか、または中間のピクチャであるか）を識別する。次に、ステップ２６０において、動き情報が利用可能であることを検出した場合、ステップ２６５において、そのような情報（例えば、動き平均および／または動き標準偏差）を抽出して、後のフレームレート変換動作を容易かつ最適化する。
【0033】
限定することなく、ＶＦＲメタデータを有するビデオ信号の例示的な実施形態は、以下を含む：一実施形態では、入力ビデオビットストリームは、コーディングされた（例えば、圧縮された）ビットストリームを含み得、ＶＦＲメタデータは、補足エンハンスメント情報（ＳＥＩ）メッセージングとして配信され得る。別の実施形態では、ＶＦＲメタデータは、例えば、ピクチャパラメータセット、ピクチャヘッダなどにおいて定義されるように、そのパラメータセットの一部としてコード化ビットストリームの一部であってもよい。別の実施形態では、ビデオビットストリームは、編集アプリケーションによって使用されるべき、および／またはディスプレイに送信されるべき有形記録媒体（例えば、ディスクドライブまたはテープ）中に非圧縮ピクチャを含んでもよい。
【0034】
これらの参考文献のそれぞれは、その全体が参照により本明細書に組み込まれる。
[参考文献］
［１］米国特許出願第２０１９／０１８０４５４号，「Detecting motion dragging artifacts for dynamic adjustment of frame rate conversion settings」，AKA Choudhuryら，２０１９年６月１３日。
[２］米国特許出願第２０１８／００８２４２９号、「Dynamic adjustment of frame rate conversion settings」，AKA Choudhuryら，２０１８年３月２２日。
[３］Ｇ．Ｌｕら，「A novel frame rate up conversion using iterative non-local means interpolation」、２０１７年IEEE International Symposium on Broadband Multimedia Systems and Broadcasting(BMSB)，pp.1-5.IEEE，2017。
[４］Infrastructure of audiovisual services－Transmission multiplexing and synchronization，H.222.0，Series H，Generic coding of moving pictures and associated audio information: Systems，ITU，08/2018．
[参考文献］
［１］米国特許出願第２０１９／０１８０４５４号，「Detecting motion dragging artifacts for dynamic adjustment of frame rate conversion settings」，AKA Choudhuryら，２０１９年６月１３日。
[２］米国特許出願第２０１８／００８２４２９号、「Dynamic adjustment of frame rate conversion settings」，AKA Choudhuryら，２０１８年３月２２日。
[３］Ｇ．Ｌｕら，「A novel frame rate up conversion using iterative non-local means interpolation」、２０１７年IEEE International Symposium on Broadband Multimedia Systems and Broadcasting(BMSB)，pp.1-5.IEEE，2017。
[４］Infrastructure of audiovisual services－Transmission multiplexing and synchronization，H.222.0，Series H，Generic coding of moving pictures and associated audio information: Systems，ITU，08/2018．
【0035】
例示的なコンピュータシステム実装形態
本発明の実施形態は、コンピュータシステム、電子回路および構成要素で構成されたシステム、マイクロコントローラ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または別の構成可能もしくはプログラム可能な論理デバイス（ＰＬＤ）などの集積回路（ＩＣ）デバイス、離散時間もしくはデジタルシグナルプロセッサ（ＤＳＰ）、特定用途向けＩＣ（ＡＳＩＣ）、および／またはそのようなシステム、デバイス、もしくは構成要素のうちの１つもしくは複数を含む装置を用いて実装され得る。コンピュータおよび／またはＩＣは、本明細書で説明されているようなＶＦＲビデオのためのメタデータに関連する命令を実施、制御、または実行し得る。コンピュータおよび／またはＩＣは、本明細書で説明されているＶＦＲビデオのためのメタデータに関連する様々なパラメータまたは値のいずれかを計算し得る。画像およびビデオの実施形態は、ハードウェア、ソフトウェア、ファームウェア、およびそれらの様々な組合せで実装され得る。
本発明の実施形態は、コンピュータシステム、電子回路および構成要素で構成されたシステム、マイクロコントローラ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または別の構成可能もしくはプログラム可能な論理デバイス（ＰＬＤ）などの集積回路（ＩＣ）デバイス、離散時間もしくはデジタルシグナルプロセッサ（ＤＳＰ）、特定用途向けＩＣ（ＡＳＩＣ）、および／またはそのようなシステム、デバイス、もしくは構成要素のうちの１つもしくは複数を含む装置を用いて実装され得る。コンピュータおよび／またはＩＣは、本明細書で説明されているようなＶＦＲビデオのためのメタデータに関連する命令を実施、制御、または実行し得る。コンピュータおよび／またはＩＣは、本明細書で説明されているＶＦＲビデオのためのメタデータに関連する様々なパラメータまたは値のいずれかを計算し得る。画像およびビデオの実施形態は、ハードウェア、ソフトウェア、ファームウェア、およびそれらの様々な組合せで実装され得る。
【0036】
本発明の特定の実装形態は、プロセッサに本発明の方法を実行させるソフトウェア命令を実行するコンピュータプロセッサを含む。例えば、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダなどにおける１つまたは複数のプロセッサは、プロセッサにアクセス可能なプログラムメモリ内のソフトウェア命令を実行することによって、上で説明したようなＶＦＲビデオのためのメタデータに関連する方法を実装し得る。本発明はまた、プログラム製品の形態で提供され得る。プログラム製品は、データプロセッサによって実行されるとデータプロセッサに本発明の方法を実行させる命令を含むコンピュータ可読信号のセットを搬送する任意の有形の非一時的媒体を含み得る。本発明によるプログラム製品は、多種多様な形態のいずれであり得る。プログラム製品は、例えば、フロッピー（登録商標）ディスク、ハードディスクドライブを含む磁気データ記憶媒体、ＣＤ ＲＯＭ、ＤＶＤを含む光データ記憶媒体、ＲＯＭ、フラッシュＲＡＭを含む電子データ記憶媒体などの物理媒体を含み得る。プログラム製品上のコンピュータ可読信号は、任意選択で圧縮または暗号化され得る。
【0037】
構成要素（例えば、ソフトウェアモジュール、プロセッサ、アセンブリ、デバイス、回路など）が上記で言及される場合、別段の指示がない限り、その構成要素への言及（「手段」への言及を含む）は、説明される構成要素の機能を実行する（例えば、機能的に同等である）任意の構成要素をその構成要素の同等物として含むものとして解釈されるべきであり、本発明の図示される例示的な実施形態における機能を実行する開示される構造と構造的に同等でない構成要素を含む。
【0038】
同等物、拡張物、代替物、およびその他
このように、ＶＦＲビデオのためのメタデータに関する例示的な実施形態が説明される。前述の明細書では、本発明の実施形態は、実装形態ごとに異なり得る多数の具体的な詳細を参照して説明された。したがって、何が本発明であり、出願人が何を本発明であると意図しているかを示す唯一かつ排他的な指標は、本出願から発行される特許請求の範囲のセットであり、その後のあらゆる補正を含め、かかる特許請求の範囲が発行する特定の形態である。かかる特許請求の範囲に含まれる用語について本明細書に明示的に記載される任意の定義は、特許請求の範囲で使用されるそのような用語の意味に適用されるものとする。したがって、特許請求の範囲に明示的に記載されていない限定、要素、特性、特徴、利点または属性は、そのような請求項の範囲を決して限定すべきではない。結果として、本明細書および図面は、限定的な意味ではなく例示的な意味で考慮されるべきである。
このように、ＶＦＲビデオのためのメタデータに関する例示的な実施形態が説明される。前述の明細書では、本発明の実施形態は、実装形態ごとに異なり得る多数の具体的な詳細を参照して説明された。したがって、何が本発明であり、出願人が何を本発明であると意図しているかを示す唯一かつ排他的な指標は、本出願から発行される特許請求の範囲のセットであり、その後のあらゆる補正を含め、かかる特許請求の範囲が発行する特定の形態である。かかる特許請求の範囲に含まれる用語について本明細書に明示的に記載される任意の定義は、特許請求の範囲で使用されるそのような用語の意味に適用されるものとする。したがって、特許請求の範囲に明示的に記載されていない限定、要素、特性、特徴、利点または属性は、そのような請求項の範囲を決して限定すべきではない。結果として、本明細書および図面は、限定的な意味ではなく例示的な意味で考慮されるべきである。
【0039】
本発明の様々な態様は、以下の列挙された例示的な実施形態（ＥＥＥ）から理解され得る。
ＥＥＥ１．可変フレームレートでビデオストリームを再生する方法であって、方法は、プロセッサによって実行され、
ビデオピクチャとメタデータとを含むビデオストリームを受信することと、ここで、メタデータは、可変フレームレートでビデオピクチャを表示することを可能にするためのシンタックスパラメータを含み、シンタックスパラメータは、ｐｉｃｔｕｒｅ－ｔｉｍｉｎｇ－ｐｒｅｓｅｎｔフラグと、ｐｉｃｔｕｒｅ－ｓｏｕｒｃｅ－ｔｙｐｅフラグと、ｐｉｃｔｕｒｅ－ｐｏｓｉｔｉｏｎ－ｔｙｐｅフラグとを含み、
メタデータ中のシンタックスパラメータにしたがってビデオピクチャを表示することと、
を含み、ビデオピクチャの中の現在のピクチャについて、
ｐｉｃｔｕｒｅ－ｔｉｍｉｎｇ－ｐｒｅｓｅｎｔフラグが１に設定されていることを検出した場合、
メタデータ中のピクチャプレゼンテーション時間パラメータに基づいて、現在のピクチャについてのディスプレイでのプレゼンテーションの時間情報を生成し、
ｐｉｃｔｕｒｅ－ｓｏｕｒｃｅ－ｔｙｐｅフラグが１に設定されていることを検出した場合、
メタデータ中のピクチャソースパラメータに基づいて、現在のピクチャについてのピクチャソース情報を生成し、
ｐｉｃｔｕｒｅ－ｐｏｓｉｔｉｏｎ－ｔｙｐｅフラグが１に設定されていることを検出した場合、
メタデータ中の１つまたは複数のピクチャ位置パラメータに基づいて、現在のピクチャについてのピクチャ位置情報を生成する、
方法。
ＥＥＥ２．シンタックスパラメータは、ｐｉｃｔｕｒｅ－ｍｏｔｉｏｎ－ｉｎｆｏｒｍａｔｉｏｎ－ｐｒｅｓｅｎｔフラグをさらに含み、
ｐｉｃｔｕｒｅ－ｍｏｔｉｏｎ－ｉｎｆｏｒｍａｔｉｏｎ－ｐｒｅｓｅｎｔフラグが１に設定されていることを検出した場合、
メタデータ中の１つまたは複数のｐｉｃｔｕｒｅ－ｍｏｔｉｏｎ－ｒｅｌａｔｅｄパラメータに基づいて、現在のピクチャについての動き統計を生成する、
ＥＥＥ１の方法。
ＥＥＥ３．１つまたは複数のｐｉｃｔｕｒｅ－ｍｏｔｉｏｎ－ｒｅｌａｔｅｄパラメータは、現在のピクチャと現在のピクチャに表示順序で先行するピクチャとの変位の平均および標準偏差を示す動き平均値および動き標準偏差値を含む、ＥＥＥ２の方法。
ＥＥＥ４．ピクチャソースパラメータは、現在のピクチャが、オリジナルのピクチャを含むか、複製ピクチャを含むか、補間ピクチャを含むかを示す、ＥＥＥ１～３のいずれかの方法。
ＥＥＥ５．１つまたは複数のピクチャ位置パラメータは、ピクチャグループにおける現在のピクチャの位置を含み、位置は、未知であるか、ピクチャグループの中で最初であるか、ピクチャグループの中で最後であるか、またはピクチャグループ中の他のピクチャの間にあり得る、ＥＥＥ１～４のいずれかの方法。
ＥＥＥ６．１つまたは複数のピクチャ位置パラメータは、現在のピクチャに関連する動きを有する、現在のピクチャに表示順序で先行するピクチャの第１の数を示す第１のフィールドと、現在のピクチャに関連する動きを有する、現在のピクチャに表示順序で後続するピクチャの第２の数を示す第２のフィールドとを含む、ＥＥＥ１～５のいずれかの方法。
ＥＥＥ７．第１のフィールドおよび第２のフィールドは、０とＮとの間の正の整数を含み、Ｎは、２以上７以下である、ＥＥＥ６の方法。
ＥＥＥ８．符号化ビデオストリーム構造を記憶した非一時的プロセッサ可読媒体であって、符号化ビデオストリーム構造は、
ビデオピクチャのシーケンスの符号化を含む符号化ピクチャセクションと、
可変フレームレートでビデオピクチャのシーケンスを表示することを可能にするためのシンタックスパラメータを含むメタデータの符号化を含むシグナリングセクションと
を含み、シンタックスパラメータは、ｐｉｃｔｕｒｅ－ｔｉｍｉｎｇ－ｐｒｅｓｅｎｔフラグと、ｐｉｃｔｕｒｅ－ｓｏｕｒｃｅ－ｔｙｐｅフラグと、ｐｉｃｔｕｒｅ－ｐｏｓｉｔｉｏｎ－ｔｙｐｅフラグとを含み、
ビデオピクチャのシーケンスの中の現在のピクチャについて、
ｐｉｃｔｕｒｅ－ｔｉｍｉｎｇ－ｐｒｅｓｅｎｔフラグが１に設定されている場合、
メタデータ中にピクチャプレゼンテーション時間パラメータを含め、
ｐｉｃｔｕｒｅ－ｓｏｕｒｃｅ－ｔｙｐｅフラグが１に設定されている場合、
メタデータ中にピクチャソースパラメータを含め、
ｐｉｃｔｕｒｅ－ｐｏｓｉｔｉｏｎ－ｔｙｐｅフラグが１に設定されている場合、
メタデータ中に１つまたは複数のピクチャ位置パラメータを含める、
非一時的プロセッサ可読媒体。
ＥＥＥ９．シンタックスパラメータは、ｐｉｃｔｕｒｅ－ｍｏｔｉｏｎ－ｉｎｆｏｒｍａｔｉｏｎ－ｐｒｅｓｅｎｔフラグをさらに含み、
ｐｉｃｔｕｒｅ－ｍｏｔｉｏｎ－ｉｎｆｏｒｍａｔｉｏｎ－ｐｒｅｓｅｎｔフラグが１に設定されている場合、
メタデータ中に１つまたは複数のｐｉｃｔｕｒｅ－ｍｏｔｉｏｎ－ｒｅｌａｔｅｄパラメータを含める、
ＥＥＥ８の非一時的プロセッサ可読媒体。
ＥＥＥ１０．ピクチャソースパラメータは、現在のピクチャが、オリジナルのピクチャを含むか、複製ピクチャを含むか、補間ピクチャを含むかを示す、ＥＥＥ８またはＥＥＥ９の非一時的プロセッサ可読媒体。
ＥＥＥ１１．１つまたは複数のピクチャ位置パラメータは、ピクチャグループにおける現在のピクチャの位置を含み、位置は、未知であるか、ピクチャグループの中で最初であるか、ピクチャグループの中で最後であるか、またはピクチャグループ中の他のピクチャの間にあり得る、ＥＥＥ８～１０のいずれかの非一時的プロセッサ可読媒体。
ＥＥＥ１２．１つまたは複数のピクチャ位置パラメータは、現在のピクチャに関連する動きを有する、現在のピクチャに表示順序で先行するピクチャの第１の数を示す第１のフィールドと、現在のピクチャに関連する動きを有する、現在のピクチャに表示順序で後続するピクチャの第２の数を示す第２のフィールドとを含む、ＥＥＥ８～１１のいずれかの非一時的プロセッサ可読媒体。
ＥＥＥ１３．第１のフィールドおよび第２のフィールドは、０とＮとの間の正の整数を含み、Ｎは、２以上７以下である、ＥＥＥ１２に記載の非一時的プロセッサ可読媒体。
ＥＥＥ１４．プロセッサを備え、ＥＥＥ１～７に記載の方法のいずれか１つを実行するように構成された装置。
ＥＥＥ１５．ＥＥＥ１～７のいずれかの方法を１つまたは複数のプロセッサで実行するためのコンピュータ実行可能命令を記憶した非一時的コンピュータ可読記憶媒体。
ＥＥＥ１．可変フレームレートでビデオストリームを再生する方法であって、方法は、プロセッサによって実行され、
ビデオピクチャとメタデータとを含むビデオストリームを受信することと、ここで、メタデータは、可変フレームレートでビデオピクチャを表示することを可能にするためのシンタックスパラメータを含み、シンタックスパラメータは、ｐｉｃｔｕｒｅ－ｔｉｍｉｎｇ－ｐｒｅｓｅｎｔフラグと、ｐｉｃｔｕｒｅ－ｓｏｕｒｃｅ－ｔｙｐｅフラグと、ｐｉｃｔｕｒｅ－ｐｏｓｉｔｉｏｎ－ｔｙｐｅフラグとを含み、
メタデータ中のシンタックスパラメータにしたがってビデオピクチャを表示することと、
を含み、ビデオピクチャの中の現在のピクチャについて、
ｐｉｃｔｕｒｅ－ｔｉｍｉｎｇ－ｐｒｅｓｅｎｔフラグが１に設定されていることを検出した場合、
メタデータ中のピクチャプレゼンテーション時間パラメータに基づいて、現在のピクチャについてのディスプレイでのプレゼンテーションの時間情報を生成し、
ｐｉｃｔｕｒｅ－ｓｏｕｒｃｅ－ｔｙｐｅフラグが１に設定されていることを検出した場合、
メタデータ中のピクチャソースパラメータに基づいて、現在のピクチャについてのピクチャソース情報を生成し、
ｐｉｃｔｕｒｅ－ｐｏｓｉｔｉｏｎ－ｔｙｐｅフラグが１に設定されていることを検出した場合、
メタデータ中の１つまたは複数のピクチャ位置パラメータに基づいて、現在のピクチャについてのピクチャ位置情報を生成する、
方法。
ＥＥＥ２．シンタックスパラメータは、ｐｉｃｔｕｒｅ－ｍｏｔｉｏｎ－ｉｎｆｏｒｍａｔｉｏｎ－ｐｒｅｓｅｎｔフラグをさらに含み、
ｐｉｃｔｕｒｅ－ｍｏｔｉｏｎ－ｉｎｆｏｒｍａｔｉｏｎ－ｐｒｅｓｅｎｔフラグが１に設定されていることを検出した場合、
メタデータ中の１つまたは複数のｐｉｃｔｕｒｅ－ｍｏｔｉｏｎ－ｒｅｌａｔｅｄパラメータに基づいて、現在のピクチャについての動き統計を生成する、
ＥＥＥ１の方法。
ＥＥＥ３．１つまたは複数のｐｉｃｔｕｒｅ－ｍｏｔｉｏｎ－ｒｅｌａｔｅｄパラメータは、現在のピクチャと現在のピクチャに表示順序で先行するピクチャとの変位の平均および標準偏差を示す動き平均値および動き標準偏差値を含む、ＥＥＥ２の方法。
ＥＥＥ４．ピクチャソースパラメータは、現在のピクチャが、オリジナルのピクチャを含むか、複製ピクチャを含むか、補間ピクチャを含むかを示す、ＥＥＥ１～３のいずれかの方法。
ＥＥＥ５．１つまたは複数のピクチャ位置パラメータは、ピクチャグループにおける現在のピクチャの位置を含み、位置は、未知であるか、ピクチャグループの中で最初であるか、ピクチャグループの中で最後であるか、またはピクチャグループ中の他のピクチャの間にあり得る、ＥＥＥ１～４のいずれかの方法。
ＥＥＥ６．１つまたは複数のピクチャ位置パラメータは、現在のピクチャに関連する動きを有する、現在のピクチャに表示順序で先行するピクチャの第１の数を示す第１のフィールドと、現在のピクチャに関連する動きを有する、現在のピクチャに表示順序で後続するピクチャの第２の数を示す第２のフィールドとを含む、ＥＥＥ１～５のいずれかの方法。
ＥＥＥ７．第１のフィールドおよび第２のフィールドは、０とＮとの間の正の整数を含み、Ｎは、２以上７以下である、ＥＥＥ６の方法。
ＥＥＥ８．符号化ビデオストリーム構造を記憶した非一時的プロセッサ可読媒体であって、符号化ビデオストリーム構造は、
ビデオピクチャのシーケンスの符号化を含む符号化ピクチャセクションと、
可変フレームレートでビデオピクチャのシーケンスを表示することを可能にするためのシンタックスパラメータを含むメタデータの符号化を含むシグナリングセクションと
を含み、シンタックスパラメータは、ｐｉｃｔｕｒｅ－ｔｉｍｉｎｇ－ｐｒｅｓｅｎｔフラグと、ｐｉｃｔｕｒｅ－ｓｏｕｒｃｅ－ｔｙｐｅフラグと、ｐｉｃｔｕｒｅ－ｐｏｓｉｔｉｏｎ－ｔｙｐｅフラグとを含み、
ビデオピクチャのシーケンスの中の現在のピクチャについて、
ｐｉｃｔｕｒｅ－ｔｉｍｉｎｇ－ｐｒｅｓｅｎｔフラグが１に設定されている場合、
メタデータ中にピクチャプレゼンテーション時間パラメータを含め、
ｐｉｃｔｕｒｅ－ｓｏｕｒｃｅ－ｔｙｐｅフラグが１に設定されている場合、
メタデータ中にピクチャソースパラメータを含め、
ｐｉｃｔｕｒｅ－ｐｏｓｉｔｉｏｎ－ｔｙｐｅフラグが１に設定されている場合、
メタデータ中に１つまたは複数のピクチャ位置パラメータを含める、
非一時的プロセッサ可読媒体。
ＥＥＥ９．シンタックスパラメータは、ｐｉｃｔｕｒｅ－ｍｏｔｉｏｎ－ｉｎｆｏｒｍａｔｉｏｎ－ｐｒｅｓｅｎｔフラグをさらに含み、
ｐｉｃｔｕｒｅ－ｍｏｔｉｏｎ－ｉｎｆｏｒｍａｔｉｏｎ－ｐｒｅｓｅｎｔフラグが１に設定されている場合、
メタデータ中に１つまたは複数のｐｉｃｔｕｒｅ－ｍｏｔｉｏｎ－ｒｅｌａｔｅｄパラメータを含める、
ＥＥＥ８の非一時的プロセッサ可読媒体。
ＥＥＥ１０．ピクチャソースパラメータは、現在のピクチャが、オリジナルのピクチャを含むか、複製ピクチャを含むか、補間ピクチャを含むかを示す、ＥＥＥ８またはＥＥＥ９の非一時的プロセッサ可読媒体。
ＥＥＥ１１．１つまたは複数のピクチャ位置パラメータは、ピクチャグループにおける現在のピクチャの位置を含み、位置は、未知であるか、ピクチャグループの中で最初であるか、ピクチャグループの中で最後であるか、またはピクチャグループ中の他のピクチャの間にあり得る、ＥＥＥ８～１０のいずれかの非一時的プロセッサ可読媒体。
ＥＥＥ１２．１つまたは複数のピクチャ位置パラメータは、現在のピクチャに関連する動きを有する、現在のピクチャに表示順序で先行するピクチャの第１の数を示す第１のフィールドと、現在のピクチャに関連する動きを有する、現在のピクチャに表示順序で後続するピクチャの第２の数を示す第２のフィールドとを含む、ＥＥＥ８～１１のいずれかの非一時的プロセッサ可読媒体。
ＥＥＥ１３．第１のフィールドおよび第２のフィールドは、０とＮとの間の正の整数を含み、Ｎは、２以上７以下である、ＥＥＥ１２に記載の非一時的プロセッサ可読媒体。
ＥＥＥ１４．プロセッサを備え、ＥＥＥ１～７に記載の方法のいずれか１つを実行するように構成された装置。
ＥＥＥ１５．ＥＥＥ１～７のいずれかの方法を１つまたは複数のプロセッサで実行するためのコンピュータ実行可能命令を記憶した非一時的コンピュータ可読記憶媒体。
【図1】
【図2A】
【図2B】
【国際調査報告】