(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-06-02
(45)【発行日】2023-06-12
(54)【発明の名称】メディアファイルにおける画像トランジションのためのトランジション期間
(51)【国際特許分類】
H04N 21/235 20110101AFI20230605BHJP
H04N 19/70 20140101ALI20230605BHJP
H04N 19/30 20140101ALI20230605BHJP
H04N 21/6332 20110101ALI20230605BHJP
H04N 5/262 20060101ALI20230605BHJP
【FI】
H04N21/235
H04N19/70
H04N19/30
H04N21/6332
H04N5/262
【外国語出願】
(21)【出願番号】P 2021142852
(22)【出願日】2021-09-02
【審査請求日】2021-09-28
(32)【優先日】2020-09-02
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2020-10-05
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】521388058
【氏名又は名称】レモン インコーポレイテッド
【氏名又は名称原語表記】Lemon Inc.
(74)【代理人】
【識別番号】100107766
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】イェ-クイ ワン
(72)【発明者】
【氏名】リー ザン
【審査官】富樫 明
(56)【参考文献】
【文献】特表2009-512325(JP,A)
【文献】特表2008-530717(JP,A)
【文献】特開2006-079748(JP,A)
【文献】特表2019-506096(JP,A)
【文献】Vinod Kumar Malamal Vadakital, et al.,HEVC Still Image file format,ISO/IEC JTC1/SC29/WG11, [online],2014年01月17日,[令和4年10月18日検索], インターネット<URL: https://mpeg.chiariglione.org/standards/mpeg-h/image-file-format/text-isoiec-cd-23008-12-image-file-format>
(58)【調査した分野】(Int.Cl.,DB名)
H04N 21/00-21/858
H04N 19/00-19/98
H04N 5/262
(57)【特許請求の範囲】
【請求項1】
画像データを処理する方法であって、
視覚メディアファイルとビットストリームとの間の変換を実行するステップを有し、
前記視覚メディアファイルは、メディアファイルフォーマットに従ってピクチャのシーケンスを夫々が含む画像アイテムを有し、前記ビットストリームは、ビデオコーディングフォーマットに従ってレイヤに夫々属している1つ以上のピクチャを夫々が含むアクセスユニットを有し、
前記メディアファイルフォーマットは、スライドショーとしての前記ピクチャの表示中に画像アイテムと次の画像アイテムとの間の
トランジションのために適用される当該画像アイテムの推奨されるトランジション期間を指定
し、
前記推奨されるトランジション期間は、前記トランジションの開始から終了までの推奨されるトランジション効果存続期間を示し、前記推奨されるトランジション期間は、1/X秒の単位でMビット符号なし整数値として指定され、Mは8に等しく、Xは正の整数である、
方法。
【請求項2】
前記推奨されるトランジション期間は、1/16秒の単位で指定される、
請求項
1に記載の方法。
【請求項3】
前記推奨されるトランジション期間は、トランジション特性ごと又はトランジションのタイプごとに指定される、
請求項1
又は2に記載の方法。
【請求項4】
前記メディアファイルフォーマットは
、スライドショーとしての第1画像アイテム及び第2画像アイテムの表示間に適用されるトランジション
に対して複数のトランジション効果が可能にされる、ことを更に指定する、
請求項1乃至
3のうちいずれか一項に記載の方法。
【請求項5】
前記トランジションは、前記第1画像アイテムの第1領域と前記第2画像アイテムの第2領域との間に適用可能である、
請求項
4に記載の方法。
【請求項6】
前記メディアファイルフォーマットは、前記複数のトランジション効果の優先順位を更に指定する、
請求項
4又は
5に記載の方法。
【請求項7】
前記変換は、前記視覚メディアファイルを前記ビットストリームに符号化することを含む、
請求項1乃至
6のうちいずれか一項に記載の方法。
【請求項8】
前記変換は、前記視覚メディアファイルを前記ビットストリームから復号することを含む、
請求項1乃至
6のうちいずれか一項に記載の方法。
【請求項9】
視覚メディアファイルデータを処理する装置であって、
プロセッサと、
命令を有する非一時的メモリと
を有し、
前記命令は、前記プロセッサによって実行されると、該プロセッサに、視覚メディアファイルとビットストリームとの間の変換を実行させ、
前記視覚メディアファイルは、メディアファイルフォーマットに従ってピクチャのシーケンスを夫々が含む画像アイテムを有し、前記ビットストリームは、ビデオコーディングフォーマットに従ってレイヤに夫々属している1つ以上のピクチャを夫々が含むアクセスユニットを有し、
前記メディアファイルフォーマットは、スライドショーとしての前記ピクチャの表示中に画像アイテムと次の画像アイテムとの間の
トランジションのために適用される当該画像アイテムの推奨されるトランジション期間を指定
し、
前記推奨されるトランジション期間は、前記トランジションの開始から終了までの推奨されるトランジション効果存続期間を示し、前記推奨されるトランジション期間は、1/X秒の単位でMビット符号なし整数値として指定され、Mは8に等しく、Xは正の整数である、
装置。
【請求項10】
命令を記憶している非一時的なコンピュータ可読記憶媒体であって、
命令は、プロセッサに、視覚メディアファイルとビットストリームとの間の変換を実行させ、
前記視覚メディアファイルは、メディアファイルフォーマットに従ってピクチャのシーケンスを夫々が含む画像アイテムを有し、前記ビットストリームは、ビデオコーディングフォーマットに従ってレイヤに夫々属している1つ以上のピクチャを夫々が含むアクセスユニットを有し、
前記メディアファイルフォーマットは、スライドショーとしての前記ピクチャの表示中に画像アイテムと次の画像アイテムとの間の
トランジションのために適用される当該画像アイテムの推奨されるトランジション期間を指定
し、
前記推奨されるトランジション期間は、前記トランジションの開始から終了までの推奨されるトランジション効果存続期間を示し、前記推奨されるトランジション期間は、1/X秒の単位でMビット符号なし整数値として指定され、Mは8に等しく、Xは正の整数である、
非一時的なコンピュータ可読記憶媒体。
【請求項11】
ビデオのビットストリームを記憶する方法であって、
前記ビットストリームを視覚メディアファイルから生成するステップ
と、
前記ビットストリームを非一時的なコンピュータ可読記録媒体に記憶するステップと
を有し、
前記視覚メディアファイルは、メディアファイルフォーマットに従ってピクチャのシーケンスを夫々が含む画像アイテムを有し、前記ビットストリームは、ビデオコーディングフォーマットに従ってレイヤに夫々属している1つ以上のピクチャを夫々が含むアクセスユニットを有し、
前記メディアファイルフォーマットは、スライドショーとしての前記ピクチャの表示中に画像アイテムと次の画像アイテムとの間の
トランジションのために適用される当該画像アイテムの推奨されるトランジション期間を指定
し、
前記推奨されるトランジション期間は、前記トランジションの開始から終了までの推奨されるトランジション効果存続期間を示し、前記推奨されるトランジション期間は、1/X秒の単位でMビット符号なし整数値として指定され、Mは8に等しく、Xは正の整数である、
方法。
【発明の詳細な説明】
【技術分野】
【0001】
[関連出願への相互参照]
適用可能な特許法及び/又はパリ条約に従う規則の下で、本願は、2020年9月2日付けで出願された米国特許仮出願第63/073829号及び2020年10月5日付けで出願された米国特許仮出願第63/087458号に対する優先権及び利益を適宜請求するようなされている。法律の下での全ての目的のために、上記の出願の開示全体は、本願の開示の部分として参照により援用される。
【0002】
[技術分野]
本特許文献は、画像及びビデオの符号化及び復号化に関係がある。
【背景技術】
【0003】
デジタルビデオは、インターネット及び他のデジタル通信ネットワーク上で最大バンド幅使用を占める。ビデオを受信及び表示することが可能なユーザデバイスの接続数が増えるにつれて、デジタルビデオ利用のためのバンド幅需要は成長し続けることが予期される。
【発明の概要】
【0004】
本特許文献は、ファイルフォーマットに従ってビデオ又は画像のコーディングされた表現を処理するビデオエンコーダ及びデコーダによって使用され得る技術を開示する。
【0005】
一例となる態様で、画像データを処理する方法が開示される。方法は、視覚メディアファイルとビットストリームとの間の変換を実行するステップを含む。視覚メディアファイルは、メディアファイルフォーマットに従ってピクチャのシーケンスを夫々が含む画像アイテムを有し、ビットストリームは、ビデオコーディングフォーマットに従ってレイヤに夫々属している1つ以上のピクチャを夫々が含むアクセスユニットを有する。メディアファイルフォーマットは、スライドショーとしてのピクチャの表示中に画像アイテムと次の画像アイテムとの間のトランジションのために適用される当該画像アイテムの推奨されるトランジション期間を指定する。
【0006】
他の例となる態様で、画像データを処理する方法が開示される。方法は、視覚メディアファイルとビットストリームとの間の変換を実行するステップを含む。視覚メディアファイルは、メディアファイルフォーマットに従ってピクチャのシーケンスを夫々が含む画像アイテムを有し、ビットストリームは、ビデオコーディングフォーマットに従ってレイヤに夫々属している1つ以上のピクチャを夫々が含むアクセスユニットを有する。メディアファイルフォーマットは、複数のトランジション効果がスライドショーとしての第1画像アイテム及び第2画像アイテムの表示間に適用されるトランジションのために許されることを指定する。
【0007】
他の例となる態様で、画像データを処理する方法が開示される。方法は、視覚メディアファイルとビットストリームとの間の変換を実行するステップを含む。視覚メディアファイルは、メディアファイルフォーマットに従って1つ以上のピクチャのシーケンスを夫々が含む画像アイテムを有し、ビットストリームは、ビデオコーディングフォーマットに従ってレイヤに夫々属している1つ以上のピクチャを夫々が含むアクセスユニットを有する。ビデオコーディングフォーマットは、複数のプロファイルを定義する。メディアファイルフォーマットは、ビットストリームが特定のブランドを有してるファイルで表現されることを指定し、メディアファイルフォーマットは、ビットストリームでビデオを表現するために使用される1つ以上のプロファイルが特定のブランドのアグノスティック(agnostic)であることを更に指定する。
【0008】
他の例となる態様で、画像データを処理する方法が開示される。方法は、視覚メディアファイルとビットストリームとの間の変換を実行するステップを含む。視覚メディアファイルは、メディアファイルフォーマットに従って1つ以上のピクチャのシーケンスを夫々が含む画像アイテムを有し、ビットストリームは、ビデオコーディングフォーマットに従ってレイヤに夫々属している1つ以上のピクチャを夫々が含むアクセスユニットを有する。メディアファイルフォーマットは、ビデオコーディングフォーマットに関連した1つ以上の画像アイテムタイプ又は1つ以上のファイルブランドを指定する。メディアファイルフォーマットは、1つ以上の画像アイテムタイプのうちの1つ又は1つ以上のファイルブランドのうちの1つに適合するビットストリームが単一アクセスユニットを含むことを指定し、単一アクセスユニットは、少なくとも部分的にイントラコーディングされる単一ピクチャを含む。
【0009】
他の例となる態様で、画像データを処理する方法が開示される。方法は、視覚メディアファイルとビットストリームとの間の変換を実行するステップを含む。視覚メディアファイルは、メディアファイルフォーマットに従ってピクチャのシーケンスを夫々が含む画像アイテムを有する。ビットストリームは、ビデオコーディングフォーマットに従ってレイヤに夫々属している1つ以上のピクチャを夫々が含むアクセスユニットを有する。メディアファイルフォーマットは、動作点情報(Operating Point Information,OPI)ネットワーク抽象化レイヤ(Network Abstraction Layer,NAL)ユニットが、特定の画像アイテムタイプを有している画像アイテム又は画像アイテムのサンプルに存在しないことを指定する。
【0010】
一例となる態様で、ビデオ処理方法が開示される。方法は、ファイルフォーマットに従って、1つ以上の画像のシーケンスを含む視覚メディアとビットストリーム表現との間の変換を実行するステップを含み、ファイルフォーマットは、1つ以上の画像の表示中の1つ以上の画像間のトランジション特性を示す1つ以上のシンタックス要素を含むよう構成される。
【0011】
他の例となる態様で、他のビデオ処理方法が開示される。方法は、ファイルフォーマットに従って、1つ以上の画像のシーケンスを含む視覚メディアとビットストリーム表現との間の変換を実行するステップを含み、ファイルフォーマットは、視覚メディアが特定のファイルブランドを有しているファイルで表現される場合に、ファイルフォーマットが規則に従って制限されることを指定する。
【0012】
他の例となる態様で、他のビデオ処理方法が開示される。方法は、ファイルフォーマットに従って、1つ以上の画像のシーケンスを含む視覚メディアとビットストリーム表現との間の変換を実行するステップを含み、ファイルフォーマットは、規則に従って1つ以上の画像の画像タイプを示すよう構成される。
【0013】
更なる他の例となる態様で、ビデオエンコーダ装置が開示される。ビデオエンコーダは、上記の方法を実装するよう構成されたプロセッサを有する。
【0014】
更なる他の例となる態様で、ビデオデコーダ装置が開示される。ビデオデコーダは、上記の方法を実装するよう構成されたプロセッサを有する。
【0015】
更なる他の例となる態様で、コードを記憶しているコンピュータ可読媒体が開示される。コードは、本明細書で記載される方法の1つを、プロセッサによって実行可能なコードの形で具現する。
【0016】
更なる他の例となる態様で、ビットストリームを記憶しているコンピュータ可読媒体が開示される。ビットストリームは、本明細書で記載される方法を用いて生成される。
【0017】
これら及び他の特徴は、本明細書の全体にわたって説明される。
【図面の簡単な説明】
【0018】
【
図1】例となるビデオ処理システムのブロック図である。
【
図3】ビデオ処理の方法の例のフローチャートである。
【
図4】本開示のいくつかの実施形態に従ってビデオコーディングシステムを表すブロック図である。
【
図5】本開示のいくつかの実施形態に従ってエンコーダを表すブロック図である。
【
図6】本開示のいくつかの実施形態に従ってデコーダを表すブロック図である。
【
図8】本技術の1つ以上の実施形態に従って画像データを処理する方法のフローチャート表現である。
【
図9】本技術の1つ以上の実施形態に従って画像データを処理する方法のフローチャート表現である。
【
図10】本技術の1つ以上の実施形態に従って画像データを処理する方法のフローチャート表現である。
【
図11】本技術の1つ以上の実施形態に従って画像データを処理する方法のフローチャート表現である。
【
図12】本技術の1つ以上の実施形態に従って画像データを処理する方法のフローチャート表現である。
【発明を実施するための形態】
【0019】
セクション見出しは、理解を簡単にするために本明細書で使用されているのであって、各セクションで開示されている技術及び実施形態の適用性をそのセクションにのみ制限するものではない。更に、H.266の専門用語は、理解を簡単にするためにのみ一部の記載で使用されており、開示されている技術の範囲を限定するためではない。従って、本明細書で記載される技術は、他のビデオコーデックプロトコル及び設計にも適用可能である。本明細書において、編集の変更は、VVC規格の現在の草案に対して、取り消されたテキストを取り消し線で示し、追加されたテキストを強調表示(太字イタリック体を含む。)することによって、テキストに示されている。
【0020】
1.概要
本明細書は、画像ファイルフォーマットに関係がある。具体的に、それは、ISO基本メディアファイルフォーマットに基づいたメディアファイルでの画像及び画像トランジションのシグナリング及びストレージに関係がある。アイデアは、任意のコーデック、例えば、バーサタイル・ビデオ・コーディング(Versatile Video Coding,VVC)標準によってコーディングされている画像に対して、そして、任意の画像ファイルフォーマット、例えば、開発中のVVC画像ファイルフォーマットに対して、個々に又は様々な組み合わせで適用されてよい。
【0021】
2.略称
AU Access Unit
AUD Access Unit Delimiter
AVC Advanced Video Coding
BP Buffering Period
CLVS Coded Layer Video Sequence
CLVSS Coded Layer Video Sequence Start
CPB Coded Picture Buffer
CRA Clean Random Access
CTU Coding Tree Unit
CVS Coded Video Sequence
DCI Decoding Capability Information
DPB Decoded Picture Buffer
DUI Decoding Unit Information
EOB End Of Bitstream
EOS End Of Sequence
GDR Gradual Decoding Refresh
HEVC High Efficiency Video Coding
HRD Hypothetical Reference Decoder
IDR Instantaneous Decoding Refresh
ILP Inter-Layer Prediction
ILRP Inter-Layer Reference Picture
IRAP Intra Random Access Picture
JEM Joint Exploration Model
LTRP Long-Term Reference Picture
MCTS Motion-Constrained Tile Sets
NAL Network Abstraction Layer
OLS Output Layer Set
PH Picture Header
POC Picture Order Count
PPS Picture Parameter Set
PT Picture Timing
PTL Profile, Tier and Level
PU Picture Unit
RAP Random Access Point
RBSP Raw Byte Sequence Payload
SEI Supplemental Enhancement Information
SLI Subpicture Level Information
SPS Sequence Parameter Set
STRP Short-Term Reference Picture
SVC Scalable Video Coding
VCL Video Coding Layer
VPS Video Parameter Set
VTM VVC Test Model
VUI Video Usability Information
VVC Versatile Video Coding
【0022】
3.最初の議論
3.1 ビデオコーディング標準規格
ビデオコーディング標準規格は、主として、よく知られているITU-T及びISO/IEC標準規格の開発を通じて、進化してきた。ITU-Tは、H.261及びH.263を作り出し、ISO/IECは、MPEG-1及びMPEG-4 Visualを作り出し、2つの組織は共同で、H.262/MPEG-2 Video及びH264/MPEG-4 AVC(Advanced Video Coding)並びにH.265/HEVC標準規格を作り出した。H.262以降、ビデオコーディング標準規格は、ハイブリッドビデオコーディング構造に基づいており、時間予測及び変換コーディングが利用される。HEVCを越える将来のビデオコーディング技術を探るために、JVET(Joint Video Exploration Team)が2015年にVCEG及びMPEGによって共同設立された。それ以来、多くの新しい方法がJVETによって導入され、JEM(Joint Exploration Model)と名付けられた参照ソフトウェアに置かれてきた。JVETは、VVC(Versatile Video Coding)プロジェクトが公式に始まったときに、JVET(Joint Video Experts Team)であるよう後に改名された。VVCは、2020年7月1日に終了したその第19回会議でJVETによってまとめられた、HEVCと比較してビットレート50%減を目指す新しいコーディング標準規格である。
【0023】
VVC(Versatile Video Coding)標準規格(ITU-T H.266|ISO/IEC 23090-3)及び関連するVSEI(Versatile Supplemental Enhancement Information)標準規格(ITU-T H.274|ISO/IEC 23002-7)は、テレビ放送、ビデオ会議、又は記憶媒体からの再生などの従来の使用と、適応ビットレートストリーミング、ビデオ領域抽出、複数のコーディングされたビデオビットストリームからのコンテンツの合成及びマージ、マルチビュービデオ、スケーラブルレイヤードコーディング、並びにビューポート適応360°没入メディアなどのより新しくかつより高度な使用ケースとの両方を含む最大限に広い範囲の用途での使用のために設計されている。
【0024】
3.2 ファイルフォーマット標準規格
メディアストリーミングアプリケーションは、通常は、IP、TCP、及びHTTPトランスポート方法に基づいており、通常は、ISO基本メディアファイルフォーマット(ISO Base Media File Format,ISOBMFF)などのファイルフォーマットに依存する。1つのそのようなストリーミングシステムは、HTTPを介した動的適応ストリーミング(Dynamic Adaptive Streaming over HTTP,DASH)である。ISOBMFF及びDASHによるビデオフォーマットを使用するために、AVCファイルフォーマット及びHEVCファイルフォーマットなどのビデオフォーマットに特有のファイルフォーマット規格が、ISOBMFFトラックにおける並びにDASH表現及びセグメントにおけるビデオコンテンツのカプセル化のために必要とされることになった。ビデオビットストリームに関する重要な情報、例えば、プロファイル、ティア、及びレベル、並びにその他多くは、コンテンツ選択を目的として、例えば、ストリーミングセッションの開始時の初期化及びストリーミングセッション中のストリーム適応の両方のための適切なメディアセグメントの選択のために、ファイルフォーマットレベルメタデータ及び/又はDASHメディア提示記述(Media Presentation Description,MPD)として公開されることが必要となった。
【0025】
同様に、ISOBMFFによる画像フォーマットを使用するために、AVC画像ファイルフォーマット及びHEVC画像ファイルフォーマットなどの画像フォーマットに特有のファイルフォーマット規格が必要とされる可能性がある。
【0026】
3.3 VVCビデオファイルフォーマット
VVCビデオファイルフォーマットは、ISOBMFFに基づいたVVCビデオコンテンツのストレージのためのファイルフォーマットであり、現在MPEGによって開発中である。
【0027】
3.4 VVC画像ファイルフォーマット及び画像トランジション
VVC画像ファイルフォーマットは、ISOBMFFに基づいた、VVCを用いてコーディングされた画像コンテンツのストレージのためのファイルフォーマットであり、現在MPEGによって開発中である。
【0028】
いくつかの場合に、スライドショーシグナリングのための設計は、ワイプ、ズーム、フェード、スプリット、ディゾルブなどの画像トランジション効果の後押しによって、含まれている。トランジション効果は、トランジション効果特性構造でシグナリングされ、この構造は、トランジションに関与する2つの連続したアイテムのうちの最初のアイテムに関連し、トランジションタイプを含み、場合により、適用可能である場合には、トランジション方向及びトランジション形状などの他のトランジション情報を通知する。
【0029】
4.開示されている技術的解決法によって解決される技術的課題の例
VVC画像ファイルフォーマット及び画像トランジション効果のシグナリングの最新の設計には、次の問題がある。
【0030】
1)1つの画像から他へのトランジション効果を伴うスライドショー又は他のタイプの画像に基づいたアプリケーションにおいて、トランジションのための時間はしばしば正確である必要はないが、優れたユーザ経験のために、長すぎても短すぎてもならない。そして、最良のトランジション期間は、コンテンツ及びトランジションタイプに依存する。従って、ユーザ経験の視点から、推奨されるトランジション期間を通知することが有用であり、推奨される値は、コンテンツ作成者によって決定される。
【0031】
2)最新のVVC画像ファイルフォーマットドラフト仕様では、特定のVVC画像アイテムタイプ及びファイルブランドにより、画像アイテムのVVCビットストリームに、複数のレイヤの複数のピクチャを含むアクセスユニットを含めることができる。ここで、一部のピクチャはインターコーディングされる可能性があり、つまり、VVCで指定されているインターレイヤ予測を用いて予測されたB又はPスライスを含む。言い換えると、画像アイテムタイプ又はファイルブランドのいずれかを介した相互運用ポイントは欠けており、画像アイテムは、イントラコーディングされている1つのピクチャしか含むことができない(つまり、イントラコーディングされたIスライスしか含まない)。VVC標準規格自体では、そのような相互運用ポイントは、Main10静止画プロファイル及びMain10 4:4:4静止画プロファイルの2つの静止画プロファイルの定義により与えられている。
【0032】
3)タイプ‘vvc1’のアイテムは、次のように指定される:
タイプ‘vvc1’のアイテムは、以下で指定されるように長さを区切られているVVCビットストリームのNALユニットから成り、ビットストリームは厳密に1つのアクセスユニットを含む。
備考2 タイプ‘vvc1’のアイテムは、ISO/IEC 23090-3で定義されているIRAPアクセスユニットから成ってよく、1つよりも多いコーディングされたピクチャを含むことができ、如何なる特定の値のnuh_layer_idも有する多くても1つのコーディングされたピクチャを含む。
ただし、どのアクセスユニットも、このような画像アイテムでのアクセスユニットであることはできない。従って、上記の備考2の最初の部分は、基本定義(つまり、上記で引用された最初の分)に移動されるべきであり、GDRアクセスユニットの欠落部分は追加されるべきである。
【0033】
4)次の文が存在する:
‘vvc1’画像アイテムは、関連するTargetOlsPropertyによって識別されたレイヤセットに含まれるレイヤを含むべきであり、他のレイヤも含んでよい。
識別されたOLSに含まれるレイヤ以外の他のレイヤを許すべき場合に、アプリケーションシステム内のどのエンティティが、関連するTargetOlsPropertyにおいてターゲットOLSインデックスの正しい値をセットすることになっているのか?如何なる場合にも、この値は、例えば、ファイルコンポーザによって、正確にセットされる必要があるので、不必要なレイヤ内の不必要なピクチャを捨てることもファイルコンポーザによる容易な動作であるから、不必要なレイヤ内の不必要なピクチャを全く認めないことは理にかなっている。
【0034】
5)次の制約が存在する:
同じビットストリームを起源とする画像アイテムは、同じVvcOperatingPointsInformationPropertyと関連付けられるべきである。
ただし、VVCビットストリームは、異なる動作点を有する可能性がある複数のCVSを含むことがある。
【0035】
6)以下のテキストでは、ptl_max_temporal_id[i](レベル情報がi番目のprofile_tier_level()シンタックス構造に存在する最上位のサブレイヤ表現の時間ID)及びop_max_temporal_idなどの、VvcOperatingPointRecordのその他のシンタックス要素の値も、制約されるべきである:
VvcOperatingPointsInformationPropertyに含まれる場合に、VvcOperatingPointsRecordのシンタックス要素の値は、次のように制約される:
frame_rate_info_flagは、0に等しくなければならない。その結果、avgFrameRate及びconstantFrameRateは存在せず、それらのセマンティクスは指定されない。
bit_rate_info_flagは、0に等しくなければならない。その結果、maxBitRate及びavgBitRateは存在せず、それらのセマンティクスは指定されない。
【0036】
7)次のテキストが存在する:
VVCサブピクチャアイテムが、VVCデコーダにより復号され、他のVVCサブピクチャアイテムなしで消費されるのに適している場合に、そのVVCサブピクチャアイテムは、タイプ‘vvc1’のアイテムとして記憶されるべきである。そうでない場合には、VVCサブピクチャアイテムは、タイプ‘vvs1’のアイテムとして記憶され、L.2.2.1.2で定義されるように、長さフィールドに先導された一連のNALユニットとしてフォーマット化されるべきである。
これには、次の問題がある:
a)この条件は、適合要件の条件として使用されるには十分に明確でない(例えば、要件が満足されるかどうかをいかに確認すべきかについて考える場合)ので、明確化される必要がある。
b)ここで、タイプ‘vvc1’の画像アイテムのビットストリームは、VVCアクセスユニットのまさにサブセットを含むことができるということで、タイプ‘vvc1’の画像アイテムの使用は、ビットストリームが厳密に1つのVVCアクセスユニットを含むという上記の定義と厳密に一致しない。
c)複数の「抽出可能な」サブピクチャを含むピクチャを含む、例えば、タイプ‘vvc1’の、1つのVVC画像アイテムを有することが許されるかどうかが明らかでない。
【0037】
8)次のステートメントはOPI NALユニットを含まない:
VPS、DCI、SPS、PPS、AUD、PH、EOS、及びEOB NALユニットは、アイテムと、‘っvs1’アイテムのサンプルとの両方に存在すべきでない。
ただし、動作点情報(OPI)NALユニットは、ここでは同様に扱われるべきである。
【0038】
9)ただ1つのトランジション効果(例えば、ズーム、回転)が、所与の画像内又は所与の画像内の領域に対して許される。ただし、実際のアプリケーションでは、複数の効果が、1つの画像又は所与の画像内の1つの領域に適用されてよい。
【0039】
10)VVC画像シーケンスブランドの仕様は、次のフレーズによりVVCプロファイルを含む:「general_profile_idcは1に等しいか、あるいは、(general_profile_compatibility_flags & 2(32-1))は0よりも大きい」(for which general_profile_idc is equal to 1 or (general_profile_compatibility_flags & 2(32-1)) is greater than 0)。ただし、VVCにおける1に等しいgeneral_profile_idcはMain10プロファイルであり、つまり、他のVVCプロファイルは認められない。
【0040】
5.例となる実施形態及び解決法
上記の問題及び他を解決すべく、以下に要約する方法が開示される。項目は、一般概念を説明するための例と見なされるべきであり、狭い意味で解釈されるべきではない。更に、これらの項目は、個別的に適用されても、あるいは、何らかの方法で組み合わされてもよい。
【0041】
1)問題1を解決するために、推奨されるトランジション期間が、1つの画像から他へのトランジションのために通知されてよい。
a.一例で、代替的に、強制的なトランジション期間が、1つの画像から他へのトランジションのために通知される。
b.一例で、通知される値、つまり、推奨される又は義務的なトランジション期間の値は、コンテンツ作成者によって決定される。
c.一例で、1つのトランジション期間は、トランジション特性ごとに通知される。
d.一例で、1つのトランジション期間は、トランジションのタイプごとに通知される。
e.一例で、1つのトランジション期間は、トランジション特性のリストについて通知される。
f.一例で、1つのトランジション期間は、トランジションのタイプのリストについて通知される。
g.一例で、1つのトランジション期間は、全てのトランジションについて通知される。
h.一例で、トランジション期間は、Mが正の整数であるとして、秒の単位でMビット(例えば、8ビット)符号なし整数値として通知される。
i.代替的に、トランジション期間は、Xが正の整数秒であるとして、1/X(例えば、1/8、1/16、1/32、1/64、1/128、1/256、等)の単位でNビット(例えば、16ビット)符号なし整数値として通知される。
ii.代替的に、トランジション期間は、ピクチャ又はフレームの単位でNビット(例えば、16ビット)符号なし整数値として通知される。
iii.代替的に、トランジション期間のシグナリング方法は、適用可能であるトランジション特性の全種類について同じであってよい(例えば、同じ単位及び/又はビットの長さを使用する)。
iv.代替的に、トランジション期間のシグナリング方法は、適用可能であるトランジション特性の異なる種類ごとに異なってよい(例えば、異なる単位又はビットの長さを使用する)。
v.代替的に、固定ビット長さ(例えば、Mビット又はNビット)を使用するのではなく、ビットの長さが更に通知されてもよい。
i.代替的に、更に、トランジション期間は、u(v)として通知されてもよく、ここで、vは、ビットの長さを表す。
vi.代替的に、固定ビット長さ(例えば、Mビット又はNビット)を使用するのではなく、トランジション期間は、ue(v)などの他の方法により通知されてもよい。
【0042】
2)問題2を解決するために、1つ又は1つよりも多いファイルブランドは、そのようなブランドに適合する画像アイテムに含まれるVVCビットストリームが、イントラコーディングされているただ1つのピクチャ(又はその部分)を含むただ1つのアクセスユニットを含むことを求められるように、定義される。
a.代替的に、1つ又は1つよりも多いファイルブランドは、そのようなブランドに適合する画像アイテムに含まれるVVCビットストリームが、イントラ/IBC/パレットコーディングされているただ1つのピクチャ(又はその部分)を含むただ1つのアクセスユニットを含むことを求められるように、定義される。
i.代替的に、1つ又は1つよりも多いファイルブランドは、そのようなブランドに適合する画像アイテムに含まれるVVCビットストリームが、ただ1つのIピクチャ(又はその部分)を含むただ1つのアクセスユニットを含むことを求められるように、定義される。
b.一例で、そのようなファイルブランドの値は、‘vvic’、‘vvi1’、‘vvi2’として指定される。
c.一例で、追加的に、そのような画像アイテムに含まれるVVCビットストリームは、Main10静止画プロファイル、Main10 4:4:4静止画プロファイル、Main10プロファイル、Main10 4:4:4プロファイル、マルチレイヤMain10プロファイル、又はマルチレイヤMain10 4:4:4プロファイルに適合することを求められる。
i.代替的に、追加的に、そのような画像アイテムに含まれるVVCビットストリームは、Main10静止画プロファイル、Main10 4:4:4静止画プロファイル、Main10プロファイル、又はMain10 4:4:4プロファイルに適合することを求められる。
ii.代替的に、追加的に、そのような画像アイテムに含まれるVVCビットストリームは、Main10静止画プロファイル又はMain10 4:4:4静止画プロファイルに適合することを求められる。
d.一例で、そのようなブランドに適合する画像アイテムは、次の特性:ターゲット出力レイヤセット特性(TargetOlsProperty)、VV動作点情報プロパティ(VvcOperatingPointsInformationProperty)、のうちのいずれも有するべきではないことが指定されてよい。
【0043】
3)問題2を解決するために、1つ又は1つよりも多い画像アイテムタイプは、そのようなタイプの画像アイテムに含まれるVVCビットストリームが、イントラコーディングされているピクチャしか含まないただ1つのアクセスユニットを含むように、定義される。
a.代替的に、1つ又は1つよりも多い画像アイテムタイプは、そのようなタイプの画像アイテムに含まれるVVCビットストリームが、イントラ/パレット/IBCコーディングされているピクチャしか含まないただ1つのアクセスユニットを含むように、定義される。
i.代替的に、1つ又は1つよりも多い画像アイテムタイプは、そのようなタイプの画像アイテムに含まれるVVCビットストリームが、Iピクチャしか含まないただ1つのアクセスユニットを含むように、定義される。
b.一例で、そのような画像アイテムタイプのタイプ値は、‘vvc1’又は‘vvc2’として指定される。
c.一例で、追加的に、そのような画像アイテムにおけるビットストリームは、Main10静止画プロファイル、Main10 4:4:4静止画プロファイル、Main10プロファイル、Main10 4:4:4プロファイル、マルチレイヤMain10プロファイル、又はマルチレイヤMain10 4:4:4プロファイルに適合することを求められる。
i.代替的に、追加的に、そのような画像アイテムにおけるビットストリームは、Main10静止画プロファイル、Main10 4:4:4静止画プロファイル、Main10プロファイル、又はMain10 4:4:4プロファイルに適合することを求められる。
ii.代替的に、追加的に、そのような画像アイテムにおけるビットストリームは、Main10静止画プロファイル又はMain10 4:4:4静止画プロファイルに適合することを求められる。
d.一例で、そのようなタイプの画像アイテムは、次の特性:ターゲット出力レイヤセット特性(TargetOlsProperty)、VVC動作点情報プロパティ(VvcOperatingPointsInformationProperty)、のうちのいずれも有するべきではないことが指定されてよい。
【0044】
4)問題3を解決するために、例えば、タイプ‘vvc1’の、VVC画像アイテムは、ISO/IEC23090-3で定義されているIRAPアクセスユニット又は全てのピクチャがISO/IEC23090-3で定義されるように0に等しいph_recovery_poc_cntを有しているGDRアクセスユニットである厳密に1つのアクセスユニットを含むVVCビットストリームのNALユニットからなるように定義される。
【0045】
5)問題4を解決するために、例えば、タイプ‘vvc1’の、VVC画像アイテムは、ターゲット出力レイヤセットに属さないレイヤ内のピクチャを含むことを許されない。
【0046】
6)問題5を解決するために、同じビットストリームを起源とする画像アイテムは、VvcOperatingPointsInformationPropertyの異なるインスタンスと関連付けられることを許される。
【0047】
7)問題6を解決するために、VvcOperatingPointsRecordのシンタックス要素ptl_max_temporal_id[i]及びop_max_temporal_idは、VvcOperatingPointsRecordがVvcOperatingPointsInformationPropertyに含まれる場合に、特定の値であるよう制約される。
【0048】
8)問題7を解決するために、次のどちらか一方が、例えば、‘vvc1’の、VVC画像アイテムについて許される:
a.各ピクチャが複数の「抽出可能な」サブピクチャを含み得るVVCアクセスユニット全体を含む。
b.ビットストリームに存在するレイヤごとに、長方形領域を集合的に形成する1つ以上の「抽出可能な」サブピクチャが存在する、VVCアクセスユニットのサブセットを含む。
ここで、「抽出可能な」サブピクチャとは、VVCで指定される対応するフラグsps_subpic_treated_as_pic_flag[i]が1に等しいサブピクチャを指す。
【0049】
9)問題8を解決するために、OPI NALユニットは、アイテムと、‘vvs1’アイテムのサンプルとの両方に存在すべきでないことが指定されてよい。
【0050】
10)問題9を解決するために、スライドショーにおいて1つの画像(又はその領域)から他の画像(又はその領域)への複数のトランジション効果が可能にされることが提案される。
a.一例で、複数のトランジション効果の指示は、例えば、2つの連続した画像アイテムのうちの最初に関連した複数のトランジション効果特性構造を有することによって、シグナリングされてよい。
b.一例で、2つの連続した画像アイテムに適用されるトランジション効果の数の指示は、ファイルでシグナリングされてよい。
c.代替的に、更には、複数のトランジション効果を適用する方法は、ファイルでシグナリングされるか、あるいは、予め定義されるか、あるいは、オン・ザ・フライで導出されてよい。
i.一例で、複数のトランジション効果を適用する順序は、ファイルでシグナリングされてよい。
ii.一例で、複数のトランジション効果を適用する順序は、ビットストリーム内の複数の効果の指示の順序に従って導出されてよい。
【0051】
11)問題9を解決するために、スライドショーにおいて1つの画像から他の画像への複数のトランジション効果を可能にすることが提案される。ここで、複数のトランジション効果の夫々は、そのトランジションに関与する2つの画像アイテムにおける特定の領域に適用される。
a.一例で、トランジション効果が適用されるトランジションに関与する2つの画像アイテムにおける特定の領域は、トランジション効果特性でシグナリングされる。
【0052】
12)問題9を解決するために、複数の選択的なトランジション効果が一対の連続した画像アイテムについてシグナリングされることを可能にすることが提案され、適用されるべき複数のトランジション効果のうちの1つを選択することは、ファイルのプレイヤー次第である。
a.一例で、複数のトランジション効果の優先順位(又は選好順位)は、ファイルでシグナリングされるか、あるいは、予め定義されるか、あるいは、トランジション特性のシグナリングの順序に従って導出される。
【0053】
13)問題10を解決するために、VVC画像シーケンスブランドは、VVCプロファイルが適用され得るように、VVCプロファイルに対してアグノスティックであるよう指定されることが提案される。
【0054】
6.実施形態
以下は、セクション5で先に簡単に説明された発明態様のいくつかについてのいくつかの例となる実施形態であり、これらは、VVC画像ファイルフォーマット及びスライドショーのサポートの標準仕様に適用され得る。追加又は変更されている最も関連する部分は、太字イタリック体で下線を付されており、削除されている部分のいくつは、[[]]を用いて示されている。
【0055】
6.1 第1実施形態
この実施形態は、少なくとも項目1、1.b及び1.cに関する。
【表1】
【0056】
6.2 第2実施形態
この実施形態は、少なくとも項目4及び5に関する。
【表2】
【0057】
6.3 第3実施形態
この実施形態は、少なくとも項目6及び7に関する。
【表3】
【0058】
6.4 第4実施形態
この実施形態は、少なくとも項目9に関する。
【表4】
【0059】
6.5 第5実施形態
この実施形態は、少なくとも項目13に関する。
【表5】
【0060】
図1は、本明細書で開示されている様々な技術が実装され得る例示的なビデオ処理システム1900を示すブロック図である。様々な実施には、システム1900のコンポーネントの一部又は全てが含まれ得る。システム1900は、ビデオコンテンツを受け取る入力部1902を含んでよい。ビデオコンテンツは、生の(raw)又は圧縮されていないフォーマットで受け取られてよく、例えば、8又は10ビットのマルチコンポーネントピクセル値であり、あるいは、圧縮された又は符号化されたフォーマットであってもよい。入力部1902は、ネットワークインターフェース、ペリフェラルバスインターフェース、又はストレージインターフェースに相当し得る。ネットワークインターフェースの例には、Ethernet(登録商標)、受動光ネットワーク(PON)などの有線インターフェース、及びWi-Fi又はセルラーインターフェースなどの無線インターフェースが含まれる。
【0061】
システム1900は、本明細書で説明されている様々なコーディング又は符号化方法を実装し得るコーディングコンポーネント1904を含んでよい。コーディングコンポーネント1904は、ビデオのコーディングされた表現を生成するよう、入力部1902からコーディングコンポーネント1904の出力部へのビデオの平均ビットレートを低減し得る。従って、コーディング技術は、ビデオ圧縮又はビデオトランスコーディング技術と時々呼ばれる。コーディングコンポーネント1904の出力は、コンポーネント1906によって表されるように、保存されるか、あるいは、接続された通信を介して伝送されてよい。入力部1902で受け取られたビデオの保存又は通信されたビットストリーム(又はコーディングされた)表現は、ピクセル値又は表示インターフェース1910へ送られる表示可能なビデオを生成するコンポーネント1908によって使用されてよい。ユーザが見ることができるビデオをビットストリームから生成するプロセスは、ビデオ圧縮解除と時々呼ばれる。更に、特定のビデオ処理動作が「コーディング」動作又はツールと呼ばれる一方で、そのようなコーディングツール又は動作はエンコーダで使用され、コーディングの結果を入れ替える対応する復号化ツール又は動作は、デコーダによって実行されることになることが理解されるだろう。
【0062】
ペリフェラルバスインターフェース又は表示インターフェースの例には、ユニバーサルシリアルバス(USB)又は高精細マルチメディアインターフェース(HDMI(登録商標))又はDisplayport(登録商標)などが含まれ得る。ストレージインターフェースの例には、SATA(Serial Advanced Technology Attachment)、PCI、IDEインターフェース、などがある。本明細書で説明されている技術は、携帯電話機、ラップトップ、スマートフォン、あるいは、デジタルデータ処理及び/又はビデオ表示を実行する能力がある他のデバイスなどの様々な電子デバイスで具現されてよい。
【0063】
図2は、ビデオ処理装置3600のブロック図である。装置3600は、本明細書で記載される方法の1つ以上を実装するために使用されてよい。装置3600は、スマートフォン、タブレット、コンピュータ、インターネット・オブ・シングス(IoT)レシーバ、などで具現されてよい。装置3600は、1つ以上のプロセッサ3602、1つ以上のメモリ3604、及びビデオ処理ハードウェア3606を含んでよい。プロセッサ3602は、本明細書で記載される1つ以上の方法を実装するよう構成されてよい。メモリ(複数のメモリ)3604は、本明細書で記載される方法及び技術を実装するために使用されるデータ及びコードを記憶するために使用されてよい。ビデオ処理ハードウェア3606は、ハードウェア回路において、本明細書で記載されるいくつかの技術を実装するために使用されてよい。いくつかの実施形態で、ビデオ処理ハードウェア3606は、プロセッサ3602、例えば、グラフィクスコプロセッサ、に少なくとも部分的に含まれてもよい。
【0064】
図4は、本開示の技術を利用し得る例示的なビデオコーディングシステム100を表すブロック図である。
【0065】
図4に示されるように、ビデオコーディングシステム100は、発信元デバイス110及び送信先デバイス120を含んでよい。発信元デバイス110は、符号化されたビデオデータを生成し、ビデオ符号化デバイスと呼ばれ得る。送信先デバイス120は、発信元デバイス110によって生成された符号化されたビデオデータを復号することができ、ビデオ復号化デバイスと呼ばれ得る。
【0066】
発信元デバイス110は、ビデオソース112、ビデオエンコーダ114、及び入出力(I/O)インターフェース116を含んでよい。
【0067】
ビデオソース112は、ビデオ捕捉デバイスなどのソース、ビデオコンテンツプロバイダからビデオデータを受け取るインターフェース、及び/又はビデオデータを生成するコンピュータグラフィクスシステム、あるいは、そのようなソースの組み合わせを含んでよい。ビデオエンコーダ114は、ビットストリームを生成するようビデオソース112からのビデオデータを符号化する。ビットストリームは、ビデオデータのコーディングされた表現を形成するビットのシーケンスを含んでよい。ビットストリームは、コーディングされたピクチャ及び関連するデータを含んでよい。コーディングされたピクチャは、ピクチャのコーディングされた表現である。関連するデータは、シーケンスパラメータセット、ピクチャパラメータセット、及び他のシンタックス構造を含んでよい。I/Oインターフェース116は、変調器/復調器(モデム)及び/又は送信器を含んでよい。符号化されたビデオデータは、I/Oインターフェース116を介して送信先デバイス120に対してネットワーク130aを通じて直接に伝送されてよい。符号化されたビデオデータはまた、送信器によるアクセスのために記憶媒体/サーバ130bに記憶されてもよい。
【0068】
送信先デバイス120は、I/Oインターフェース126、ビデオデコーダ124、及び表示デバイス122を含んでよい。
【0069】
I/Oインターフェース126は、受信器及び/又はモデムを含んでよい。I/Oインターフェース126は、発信元デバイス110又は記憶媒体/サーバ130bから符号化されたビデオデータを取得してよい。ビデオデコーダ124は、符号化されたビデオデータを復号してよい。表示デバイス122は、復号されたビデオデータをユーザに表示してよい。表示デバイス122は、送信先デバイス120と一体化されてよく、あるいは、外付け表示デバイスとインターフェース接続するよう構成されて送信先デバイス120の外にあってもよい。
【0070】
ビデオエンコーダ114及びビデオデコーダ124は、HEVC(High Efficiency Video Coding)標準規格、VVC(Versatile Video Coding)標準規格、並びに他の現在の及び/又は更なる標準規格などのビデオ圧縮規格に従って作動してよい。
【0071】
図5は、ビデオエンコーダ200の例を表すブロックであり、
図4に表されているシステム100のビデオエンコーダ114であってよい。
【0072】
ビデオエンコーダ200は、本開示の技術のいずれか又は全てを実行するよう構成されてよい。
図5の例で、ビデオエンコーダ200は、複数の機能コンポーネントを含む。本開示で記載される技術は、ビデオエンコーダ200の様々なコンポーネントの間で共有されてよい。いくつかの例で、プロセッサは、本開示で記載される技術のいずれか又は全てを実行するよう構成されてよい。
【0073】
ビデオエンコーダ200の機能コンポーネントは、パーティションユニット201と、モード選択ユニット203、動き推定ユニット204、動き補償ユニット205及びイントラ予測ユニット206を含み得る予測ユニット202と、残差生成ユニット207と、変換ユニット208と、量子化ユニット209と、逆量子化ユニット210と、逆変換ユニット211と、再構成ユニット212と、バッファ213と、エントロピ符号化ユニット214とを含んでよい。
【0074】
他の例で、ビデオエンコーダ200は、より多い、より少ない、又は異なる機能コンポーネントを含んでよい。例において、予測ユニット202は、イントラブロックコピー(IBC)ユニットを含んでよい。IBCユニットは、少なくとも1つの参照ピクチャが、現在のビデオブロックが位置しているピクチャであるIBCモードで、予測を実行してよい。
【0075】
更に、動き推定ユニット204及び動き補償ユニット205などのいくつかのコンポーネントは、高度に集積されてもよいが、説明のために
図5の例では別々に表されている。
【0076】
パーティションユニット201は、ピクチャを1つ以上のビデオブロックにパーティション化してよい。ビデオエンコーダ200及びビデオデコーダ300は、様々なビデオブロックサイズをサポートしてよい。
【0077】
モード選択ユニット203は、例えば、エラー結果に基づいて、イントラ又はインターのコーディングモードの1つを選択し、結果として得られたイントラ又はインターコーディングされたブロックを、残差ブロックデータを生成する残差生成ユニット207へ、及び参照ピクチャとしての使用のために符号化されたブロックを再構成する再構成ユニット212へ供給してよい。いくつかの例で、モード選択ユニット203は、予測がインター予測信号及びイントラ予測信号に基づくイントラ及びインター予測複合(Combination of Intra and Inter Prediction,CIIP)モードを選択してもよい。モード選択ユニット203はまた、インター予測の場合に、ブロックの動きベクトルのための分解能(例えば、サブピクセル又は整数ピクセル精度)を選択してもよい。
【0078】
現在のビデオブロックに対してインター予測を実行するために、動き推定ユニット204は、バッファ213からの1つ以上の参照フレームを現在のビデオブロックと比較することによって、現在のビデオブロックの動き情報を生成してよい。動き補償ユニット205は、動き情報と、現在のビデオブロックに関連したピクチャ以外のバッファ213からのピクチャの復号されたサンプルとに基づいて、現在のビデオブロックの予測されたビデオブロックを決定してよい。
【0079】
動き推定ユニット204及び動き補償ユニット205は、例えば、現在のビデオブロックがIスライス、Pスライス、又はBスライスであるかどうかに応じて、現在のビデオブロックのために異なる動作を実行してよい。
【0080】
いくつかの例で、動き推定ユニット204は、現在のビデオブロックのために一方向予測を実行してもよく、動き推定ユニット204は、現在のビデオブロックのための参照ビデオブロックのためにリスト0又はリスト1の参照ピクチャを探してよい。動き推定ユニット204は、次いで、参照ビデオブロックを含むリスト0又はリスト1内の参照ピクチャを示す参照インデックスと、現在のビデオブロックと参照ビデオブロックとの間の空間変位を示す動きベクトルとを生成してよい。動き推定ユニット204は、現在のビデオブロックの動き情報として参照インデックス、予測方向インジケータ、及び動きベクトルを出力してよい。動き補償ユニット205は、現在のビデオブロックの動き情報によって示される参照ビデオブロックに基づいて、現在のブロックの予測されたビデオブロックを生成してよい。
【0081】
他の例では、動き推定ユニット204は、現在のビデオブロックのために双方向予測を実行してもよく、動き推定ユニット204は、現在のビデオブロックのための参照ビデオブロックのためにリスト0内の参照ピクチャを探してよく、また、現在のビデオブロックのためのもう1つの参照ビデオブロックのためにリスト1内の参照ピクチャも探してよい。動き推定ユニット204は、次いで、参照ビデオブロックを含むリスト0及びリスト1内の参照ピクチャを示す参照インデックスと、参照ビデオブロックと現在のビデオブロックとの間の空間変位を示す動きベクトルとを生成してよい。動き推定ユニット204は、現在のビデオブロックの動き情報として現在のビデオブロックの参照インデックス及び動きベクトルを出力してよい。動き補償ユニット205は、現在のビデオブロックの動き情報によって示される参照ビデオブロックに基づいて、現在のビデオブロックの予測されたビデオブロックを生成してよい。
【0082】
いくつかの例で、動き推定ユニット204は、デコーダの復号化処理のために動き情報のフルセットを出力してよい。
【0083】
いくつかの例で、動き推定ユニット204は、現在のビデオの動き情報のフルセットを出力しなくてもよい。むしろ、動き推定ユニット204は、他のビデオブロックの動き情報を参照して現在のビデオブロックの動き情報をシグナリングしてよい。例えば、動き推定ユニット204は、現在のビデオブロックの動き情報が隣接ビデオブロックの動き情報と十分に類似していることを決定してもよい。
【0084】
一例で、動き推定ユニット204は、現在のビデオブロックに関連したシンタックス構造で、現在のビデオブロックが他のビデオブロックと同じ動き情報を有していることをビデオデコーダ300に示す値を示してもよい。
【0085】
他の例では、動き推定ユニット204は、現在のビデオブロックに関連したシンタックス構造で、他のビデオブロック及び動きベクトル差分(Motion Vector Difference,MVD)を特定してもよい。動きベクトル差分は、現在のビデオブロックの動きベクトルと、特定されているビデオブロックの動きベクトルとの間の差を示す。ビデオデコーダ300は、現在のビデオブロックの動きベクトルを決定するために、特定されているビデオブロックの動きベクトル及び動きベクトル差分を使用してよい。
【0086】
上述されたように、ビデオエンコーダ200は、動きベクトルを予測的にシグナリングしてよい。ビデオエンコーダ200によって実装され得る予測シグナリング技術の2つの例は、アドバンスド動きベクトル予測(Advanced Motion Vector Prediction,AMVP)及びマージモードシグナリングを含む。
【0087】
イントラ予測ユニット206は、現在のビデオブロックに対してイントラ予測を実行してよい。イントラ予測ユニット206が現在のビデオブロックに対してイントラ予測を実行する場合に、イントラ予測ユニット206は、同じピクチャ内の他のビデオブロックの復号されたサンプルに基づいて、現在のビデオブロックの予測データを生成してよい。現在のビデオブロックの予測データは、予測されたビデオブロック及び様々なシンタックス用を含んでよい。
【0088】
残差生成ユニット207は、現在のビデオブロックから現在のビデオブロックの予測されたビデオブロックを減じること(例えば、マイナス符号によって示される)によって、現在のビデオブロックの残差データを生成してよい。現在のビデオブロックの残差データは、現在のビデオブロック内のサンプルの異なるサンプルコンポーネントに対応する残差ビデオブロックを含んでよい。
【0089】
他の例では、例えば、スキップモードで、現在のビデオブロックの残差データを存在しなくてもよく、残差生成ユニット207は、減算演算を実行しなくてもよい。
【0090】
変換処理ユニット208は、現在のビデオブロックに関連した残差ビデオブロックに1つ以上の変換を適用することによって、現在のビデオブロックの1つ以上の変換係数ビデオブロックを生成してよい。
【0091】
変換処理ユニット208が現在のビデオブロックに関連した変換係数ビデオブロックを生成した後、量子化ユニット209は、現在のビデオブロックに関連した1つ以上の量子化パラメータ(QP)値に基づいて、現在のビデオブロックに関連した変換係数ビデオブロックを量子化してよい。
【0092】
逆量子化ユニット210及び逆変換ユニット211は、変換係数ビデオブロックに各々逆量子化及び逆変換を適用して、変換係数ビデオブロックから残差ビデオブロックを再構成してよい。再構成ユニット212は、再構成された残差ビデオブロックを、予測ユニット202によって生成された1つ以上の予測されたビデオブロックからの対応するサンプルに加えて、バッファ213での記憶のために、現在のブロックに関連した再構成されたビデオブロックを生成してよい。
【0093】
再構成ユニット212がビデオブロックを再構成した後、ループフィルタリング動作が、ビデオブロックにおいてビデオブロッキングアーチファクトを低減するよう実行されてもよい。
【0094】
エントロピ符号化ユニット214は、ビデオエンコーダ200の他の機能コンポーネントからデータを受け取ってよい。エントロピ符号化ユニット214がデータを受け取るとき、エントロピ符号化ユニット214は、エントロピ符号化されたデータを生成し、そのエントロピ符号化されたデータを含むビットストリームを生成するよう、1つ以上のエントロピ符号化動作を実行してよい。
【0095】
図6は、ビデオデコーダ300の例を表すブロック図であり、
図4で表されているシステム100のビデオデコーダ124であってよい。
【0096】
ビデオデコーダ300は、本開示の技術のいずれか又は全てを実行するよう構成されてよい。
図6の例で、ビデオデコーダ300は、複数の機能コンポーネントを含む。本開示で記載される技術は、ビデオデコーダ300の様々なコンポーネントの間で共有されてよい。いくつかの例で、プロセッサは、本開示で記載される技術のいずれか又は全てを実行するよう構成されてよい。
【0097】
図6の例で、ビデオデコーダ300は、エントロピ復号化ユニット301と、動き補償ユニット302と、イントラ予測ユニット303と、逆量子化ユニット304と、逆変換ユニット305と、再構成ユニット306と、バッファ307とを含む。ビデオデコーダ300は、いくつかの例で、ビデオエンコーダ200(
図5)に関して記載された符号化パスとは概して逆の復号化パスを実行してよい。
【0098】
エントロピ復号化ユニット301は、符号化されたビットストリームを取り出してよい。符号化されたビットストリームは、エントロピコーディングされたビデオデータ(例えば、ビデオデータの符号化されたブロック)を含んでよい。エントロピ復号化ユニット301は、エントロピコーディングされたビデオデータを復号してよく、エントロピ復号されたビデオデータから、動き補償ユニット302は、動きベクトル、動きベクトル精度、参照ピクチャリストインデックス、及び他の動き情報を含む動き情報を決定してよい。動き補償ユニット302は、例えば、AMVP及びマージモードを実行することによって、そのような情報を決定してよい。
【0099】
動き補償ユニット302は、場合により、補間フィルタに基づく補間を実行して、動き補償されたブロックを生成してよい。サブピクセル精度で使用される補間フィルタのための識別子は、シンタックス要素に含まれてよい。
【0100】
動き補償ユニット302は、参照ブロックのサブ整数ピクセルについて補間値を計算するために、ビデオブロックの符号化中にビデオエンコーダ200によって使用された補間フィルタを使用してよい。動き補償ユニット302は、受け取られたシンタックス情報に従って、ビデオエンコーダ200によって使用された補間フィルタを決定し、その補間フィルタを使用して、予測ブロックを生成し得る。
【0101】
動き補償ユニット302は、符号化されたビデオシーケンスのフレーム及び/又はスライスを符号化するために使用されるブロックのサイズと、符号化されたビデオシーケンスのピクチャの各マクロブロックがどのようにパーティション化されるかを記述するパーティション情報と、各インターコーディングされたブロックについての1つ以上の参照フレーム(及び参照フレームリスト)と、符号化されたビデオシーケンスを復号するための他の情報とを決定するために、シンタックス情報のいくつかを使用してよい。
【0102】
イントラ予測ユニット303は、空間的に隣接するブロックから予測ブロックを形成するよう、例えば、ビットストリームで受け取られたイントラ予測モードを使用してよい。逆量子化ユニット304は、ビットストリームで供給されてエントロピ復号化ユニット301によって復号された量子化されたビデオブロック係数を逆量子化する、すなわち、量子化解除する。逆変換ユニット305は、逆変換を適用する。
【0103】
再構成ユニット306は、動き補償ユニット302又はイントラ予測ユニット303によって生成された対応する予測ブロックと残差ブロックに加算して、復号されたブロックを形成してよい。望まれる場合には、デブロッキングフィルタも、ブロッキネスアーチファクトを取り除くために、復号されたブロックにフィルタをかけるよう適用されてもよい。復号されたビデオブロックは、次いで、バッファ307に格納され、バッファ307は、その後の動き補償/イントラ予測のために参照ブロックを提供し、更には、復号されたビデオを表示デバイスでの提示のために生成する。
【0104】
いくつかの実施形態によって望まれる解決法の列挙が、次に与えられる。
【0105】
以下の解決法は、前のセクション(例えば、項目1、10及び11)で議論されている技術の例示的な実施形態を示す。
【0106】
1.視覚メディア処理方法(例えば、
図3に表される方法700)であって、
1つ以上の画像のシーケンスを含む視覚メディアとビットストリーム表現との間の変換をファイルフォーマットに従って実行するステップ(702)を有し、
ファイルフォーマットは、1つ以上の画像の表示中の1つ以上の画像間のトランジション特性を示す1つ以上のシンタックス要素を含むよう構成される、
方法。
【0107】
2.解決法1の方法であって、
トランジション特性は、トランジション時間であり、ファイルフォーマットは、トランジション時間のタイプを示す他のシンタックス要素を含み、タイプは、義務的なトランジション時間又は推奨されるトランジション時間を有する、
方法。
【0108】
3.解決法1の方法であって、
トランジション特性は、1つ以上の画像間の1つ以上のトランジション効果を有する、
方法。
【0109】
4.解決法2の方法であって、
ファイルフォーマットは、連続した画像又は連続した画像の部分の間のトランジションに適用可能な1つ以上のトランジション効果を記述する1つ以上のシンタックス要素を含む、
方法。
【0110】
5.解決法3の方法であって、
ファイルフォーマットは、複数のトランジション効果と、複数のトランジション効果が1つの画像から次の画像へのトランジション中に適用可能である画像の対応する部分とを指定するシンタックス構造を含む、
方法。
【0111】
以下の解決法は、前のセクション(例えば、項目2)で議論されている技術の例示的な実施形態を示す。
【0112】
6.視覚メディア処理方法であって、
1つ以上の画像のシーケンスを含む視覚メディアとビットストリーム表現との間の変換をファイルフォーマットに従って実行するステップを有し、
視覚メディアが特定のファイルブランドを有するファイルで表現される場合に、ファイルフォーマットは規則に従って制限される、
方法。
【0113】
7.解決法6の方法であって、
規則は、特定のコーディングツールを使用してコーディングされている画像の部分のただ1つのアクセスユニットを含むことを定める、
方法。
【0114】
8.解決法6~7の方法であって、
特定のコーディングツールは、イントラコーディングツールを有する、
方法。
【0115】
9.解決法6~7の方法であって、
特定のコーディングツールは、イントラブロックコピーコーディングツールを有する、
方法。
【0116】
10.解決法6の方法であって、
特定のコーディングツールは、パレットコーディングツールを有する、
方法。
【0117】
11.解決法6の方法であって、
規則は、ファイルフォーマットが、コーディング特性に従ってコーディングされた1つ以上の画像を保存することを許可されないことを定める、
方法。
【0118】
12.解決法11の方法であって、
コーディング特性は、ターゲット出力レイヤセット特性を有する、
方法。
【0119】
以下の解決法は、前のセクション(例えば、項目3、4、5及び8)で議論されている技術の例示的な実施形態を示す。
【0120】
13.視覚メディア処理方法であって、
1つ以上の画像のシーケンスを含む視覚メディアとビットストリーム表現との間の変換をファイルフォーマットに従って実行するステップを有し、
ファイルフォーマットは、規則に従って1つ以上の画像の画像タイプを示すよう構成される、
方法。
【0121】
14.解決法13の方法であって、
規則は、ファイルフォーマットが、1つの画像タイプについて、ファイルフォーマットが、イントラコーディングされた画像を含むただ1つのアクセスユニットの包含を認めることを更に定める、ことを指定する、
方法。
【0122】
15.解決法13の方法であって、
規則は、特定の画像タイプが、イントラランダムアクセスピクチャユニットである厳密に1つのアクセスユニットを含むネットワーク抽象化レイヤユニットのみを含むことを許される、ことを指定する、
方法。
【0123】
16.解決法13の方法であって、
規則は、特定の画像タイプについて、ファイルフォーマットが、異なるターゲット出力レイヤセットからであるレイヤ内のピクチャを含むことを認めない、ことを指定する、
方法。
【0124】
17.解決法13の方法であって、
規則は、ファイルフォーマットが、特定の画像タイプについて、複数の抽出可能なサブピクチャを含む1つ以上のピクチャが含まれるアクセスユニット全体を含むことを許可する、ことを指定する、
方法。
【0125】
18.解決法1の方法であって、
トランジション特性は、トランジション期間に対応し、1つ以上のシンタックス要素は、第1時間単位で符号なし整数値としてトランジション期間を示すシンタックス要素を含む、
方法。
【0126】
19.解決法18の方法であって、
シンタックス要素は、秒の単位でのMビット要素であり、M=8である、
方法。
【0127】
20.解決法18の方法であって、
シンタックス要素は、1/M秒の単位でのNビットフィールドであり、N及びXAWHは整数である、
方法。
【0128】
21.解決法18の方法であって、
第1時間単位は、ビデオのビデオフレームのフレーム数に対応する、
方法。
【0129】
22.解決法1~21のいずれかの方法であって、
変換は、ファイルフォーマットに従ってビットストリーム表現を生成するよう1つ以上の画像を符号化することを有する、
方法。
【0130】
23.解決法22の方法であって、
ファイルフォーマットに従うビットストリーム表現は、コンピュータ可読媒体に記憶されるか、あるいは、通信接続を介して伝送される、
方法。
【0131】
24.解決法1~21のいずれかの方法であって、
変換は、ビットストリーム表現から1つ以上の画像を復号化及び再構成することを有する、
方法。
【0132】
25.解決法24の方法であって、
復号化及び再構成の後で1つ以上の画像を表示することを促すステップを更に含む、
方法。
【0133】
26.解決法1乃至25のうちの1つ以上に記載された方法を実装するよう構成されたプロセッサを有するビデオ復号化装置。
【0134】
27.解決法1乃至25のうちの1つ以上に記載された方法を実装するよう構成されたプロセッサを有するビデオ符号化装置。
【0135】
28.コンピュータコードを記憶しているコンピュータプログラム製品であって、
コードは、プロセッサによって実行される場合に、プロセッサに、解決法1乃至25のうちいずれかに記載された方法を実装させる、
コンピュータプログラム製品。
【0136】
29.解決法1乃至25のうちいずれかで生成されるファイルフォーマットに従うビットストリーム表現を記録しているコンピュータ可読媒体。
【0137】
30.本明細書で記載される方法、装置、又はシステム。
【0138】
本明細書で記載される解決法で、エンコーダは、コーディングされた表現をフォーマット規則に従って生成することによって、フォーマット規則に適合してよい。本明細書で記載される解決法で、デコーダは、復号されたビデオを生成するために、フォーマット規則に従って、シンタックス要素の有無を知った上で、コーディングされた表現内のシンタックス要素をパースするよう、フォーマット規則を使用してよい。
【0139】
図8は、本技術の1つ以上の実施形態に従って画像データを処理する方法のフローチャート表現である。方法800は、動作810で、視覚メディアファイルとビットストリームとの間の変換を実行することを含む。視覚メディアファイルは、メディアファイルフォーマットに従ってピクチャのシーケンスを夫々が含む画像アイテムを有し、ビットストリームは、ビデオコーディングフォーマットに従ってレイヤに夫々属している1つ以上のピクチャを夫々が含むアクセスユニットを有する。メディアファイルフォーマットは、スライドショーとしてのピクチャの表示中に画像アイテムと次の画像アイテムとの間の
トランジションのために適用される当該画像アイテムの推奨されるトランジション期間を指定する。
【0140】
図9は、本技術の1つ以上の実施形態に従って画像データを処理する方法のフローチャート表現である。方法900は、動作910で、視覚メディアファイルとビットストリームとの間の変換を実行することを含む。視覚メディアファイルは、メディアファイルフォーマットに従ってピクチャのシーケンスを夫々が含む画像アイテムを有し、ビットストリームは、ビデオコーディングフォーマットに従ってレイヤに夫々属している1つ以上のピクチャを夫々が含むアクセスユニットを有する。メディアファイルフォーマットは、複数のトランジション効果がスライドショーとしての第1画像アイテム及び第2画像アイテムの表示間に適用されるトランジションのために許されることを指定する。
【0141】
以下は、
図8~9に関連して議論された技術の例である。
【0142】
1.画像データを処理する方法の例であって、
視覚メディアファイルとビットストリームとの間の変換を実行するステップを含み、
視覚メディアファイルは、メディアファイルフォーマットに従ってピクチャのシーケンスを夫々が含む画像アイテムを有し、ビットストリームは、ビデオコーディングフォーマットに従ってレイヤに夫々属している1つ以上のピクチャを夫々が含むアクセスユニットを有し、メディアファイルフォーマットは、スライドショーとしてのピクチャの表示中に画像アイテムと次の画像アイテムとの間のトランジションのために適用される当該画像アイテムの推奨されるトランジション期間を指定する、
方法。
【0143】
2.例1の方法であって、
メディアファイルフォーマットは、トランジション期間が推奨される又は義務的なフィールドである、ことを指定する、
方法。
【0144】
3.例1又は2の方法であって、
トランジション期間は、Mビット符号なし整数値として指定される、
方法。
【0145】
4.例2の方法であって、
トランジション期間は、8ビット符号なし整数値として指定される、
方法。
【0146】
5.例1又は2の方法であって、
トランジション期間のビットの数は、他のシンタックス要素の値に依存した方法で変化する、
方法。
【0147】
6.例1乃至5のうちいずれかの方法であって、
トランジション期間は、1/X行の単位で指定され、Xは、正の整数である、
方法。
【0148】
7.例6の方法であって、
トランジション期間は、1/16秒の単位で指定される、
方法。
【0149】
8.例1乃至5のうちいずれかの方法であって、
トランジション期間は、ピクチャ又はフレームの単位で指定される、
方法。
【0150】
9.例1乃至8のうちいずれかの方法であって、
トランジション期間は、トランジション特性ごとに又はトランジションのタイプごとに指定される、
方法。
【0151】
10.例1乃至9のうちいずれかの方法であって、
トランジション期間は、トランジション特性のリスト又はトランジションのタイプのリストについて指定される、
方法。
【0152】
11.画像データを処理する方法の例であって、
視覚メディアファイルとビットストリームとの間の変換を実行するステップを含み、
視覚メディアファイルは、メディアファイルフォーマットに従ってピクチャのシーケンスを夫々が含む画像アイテムを有し、ビットストリームは、ビデオコーディングフォーマットに従ってレイヤに夫々属している1つ以上のピクチャを夫々が含むアクセスユニットを有し、メディアファイルフォーマットは、複数のトランジション効果がスライドショーとしての第1画像アイテム及び第2画像アイテムの表示間に適用されるトランジションのために許されることを指定する、
方法。
【0153】
12.例11の方法であって、
トランジションは、第1画像アイテムの第1領域と第2画像アイテムの第2領域との間に適用可能である、
方法。
【0154】
13.例11又は12の方法であって、
メディアファイルフォーマットは、複数のトランジション効果を適用する優先順位を更に指定する、
方法。
【0155】
14.プロセッサを有するビデオ処理装置であって、
プロセッサは、例1乃至13のうちいずれかの方法を実行するよう構成される、
ビデオ処理装置。
【0156】
15.ビデオ処理装置によって実行された例1乃至13のうちいずれかの方法によって生成されるビデオのビットストリームを記憶している非一時的なコンピュータ可読記録媒体。
【0157】
図10は、本技術の1つ以上の実施形態に従って画像データを処理する方法のフローチャート表現である。方法1000は、動作1010で、視覚メディアファイルとビットストリームとの間の変換を実行することを含む。視覚メディアファイルは、メディアファイルフォーマットに従って1つ以上のピクチャのシーケンスを夫々が含む画像アイテムを有し、ビットストリームは、ビデオコーディングフォーマットに従ってレイヤに夫々属している1つ以上のピクチャを夫々が含むアクセスユニットを有する。ビデオコーディングフォーマットは、複数のプロファイルを定義する。メディアファイルフォーマットは、ビットストリームが特定のブランドを有してるファイルで表現されることを指定し、メディアファイルフォーマットは、ビットストリームでビデオを表現するために使用される1つ以上のプロファイルが特定のブランドのアグノスティック(agnostic)であることを更に指定する。
【0158】
図11は、本技術の1つ以上の実施形態に従って画像データを処理する方法のフローチャート表現である。方法1100は、動作1110で、視覚メディアファイルとビットストリームとの間の変換を実行することを含む。視覚メディアファイルは、メディアファイルフォーマットに従って1つ以上のピクチャのシーケンスを夫々が含む画像アイテムを有し、ビットストリームは、ビデオコーディングフォーマットに従ってレイヤに夫々属している1つ以上のピクチャを夫々が含むアクセスユニットを有する。メディアファイルフォーマットは、ビデオコーディングフォーマットに関連した1つ以上の画像アイテムタイプ又は1つ以上のファイルブランドを指定する。メディアファイルフォーマットは、1つ以上の画像アイテムタイプのうちの1つ又は1つ以上のファイルブランドのうちの1つに適合するビットストリームが単一アクセスユニットを含むことを指定する。単一アクセスユニットは、少なくとも部分的にイントラコーディングされる単一ピクチャを含む。
【0159】
図12は、本技術の1つ以上の実施形態に従って画像データを処理する方法のフローチャート表現である。方法1200は、動作1210で、視覚メディアファイルとビットストリームとの間の変換を実行することを含む。視覚メディアファイルは、メディアファイルフォーマットに従ってピクチャのシーケンスを夫々が含む画像アイテムを有する。ビットストリームは、ビデオコーディングフォーマットに従ってレイヤに夫々属している1つ以上のピクチャを夫々が含むアクセスユニットを有する。メディアファイルフォーマットは、動作点情報(Operating Point Information,OPI)ネットワーク抽象化レイヤ(Network Abstraction Layer,NAL)ユニットが、特定の画像アイテムタイプを有している画像アイテム又は画像アイテムのサンプルに存在しないことを指定する。
【0160】
以下は、
図10~12に関連して議論された技術の例である。
【0161】
1.画像データを処理する方法の例となる解決法であって、
視覚メディアファイルとビットストリームとの間の変換を実行するステップを含み、
視覚メディアファイルは、メディアファイルフォーマットに従って1つ以上のピクチャのシーケンスを夫々が含む画像アイテムを有し、ビットストリームは、ビデオコーディングフォーマットに従ってレイヤに夫々属している1つ以上のピクチャを夫々が含むアクセスユニットを有し、ビデオコーディングフォーマットは、複数のプロファイルを定義する。メディアファイルフォーマットは、ビットストリームが特定のブランドを有してるファイルで表現されることを指定し、メディアファイルフォーマットは、ビットストリームでビデオを表現するために使用される1つ以上のプロファイルが特定のブランドのアグノスティックであることを更に指定する、
方法。
【0162】
2.例となる解決法1の方法であって、
ビデオコーディングフォーマットは、VVC(Versatile Video Coding)標準規格に対応し、
特定のブランドは、VVCブランドを有し、
特定のブランドに対応するタイプは、‘vvc1’と指定される、
方法。
【0163】
3.画像データを処理する方法の例となる解決法であって、
視覚メディアファイルとビットストリームとの間の変換を実行するステップを含み、
視覚メディアファイルは、メディアファイルフォーマットに従って1つ以上のピクチャのシーケンスを夫々が含む画像アイテムを有し、ビットストリームは、ビデオコーディングフォーマットに従ってレイヤに夫々属している1つ以上のピクチャを夫々が含むアクセスユニットを有し、メディアファイルフォーマットは、ビデオコーディングフォーマットに関連した1つ以上の画像アイテムタイプ又は1つ以上のファイルブランドを指定する。メディアファイルフォーマットは、1つ以上の画像アイテムタイプのうちの1つ又は1つ以上のファイルブランドのうちの1つに適合するビットストリームが単一アクセスユニットを含むことを指定し、単一アクセスユニットは、少なくとも部分的にイントラコーディングされる単一ピクチャを含む、
方法。
【0164】
4.例となる解決法3の方法であって、
ビデオコーディングフォーマットは、VVC(Versatile Video Coding)標準規格に対応する、
方法。
【0165】
5.例となる解決法3又は4の方法であって、
単一ピクチャは、イントラ、イントラブロックコピー、又はパレットコーディング技術を用いて少なくとも部分的にイントラコーディングされる、
方法。
【0166】
6.例となる解決法5の方法であって、
単一ピクチャは、Iピクチャ又はIピクチャの部分である、
方法。
【0167】
7.例となる解決法3乃至6のうちいずれかの方法であって、
1つ以上のファイルブランドがVVC標準規格に関連し、
ファイルブランドの値は、‘vvic’、‘vvi1’又は‘vvi2’と指定される、
方法。
【0168】
8.例となる解決法3乃至6のうちいずれかの方法であって、
1つ以上の画像アイテムタイプがVVC標準規格に関連し、
画像アイテムタイプの値は、‘vvc1’又は‘vvc2’と指定される、
方法。
【0169】
9.例となる解決法3乃至8のうちいずれかの方法であって、
ビットストリームは、Main10静止画プロファイル、Main10 4:4:4静止画プロファイル、Main10プロファイル、Main10 4:4:4プロファイル、マルチレイヤMain10プロファイル、又はマルチレイヤMain10 4:4:4プロファイルのうちの少なくとも1つを含むプロファイルに適合する、
方法。
【0170】
10.例となる解決法3乃至9のうちいずれかの方法であって、
ファイルブランド又は画像アイテムタイプに適合する画像アイテムは、特性記述子を除き、
特性記述子は、ターゲット出力レイヤセット特性又はVVC動作点情報特性を示す、
方法。
【0171】
11.例となる解決法10の方法であって、
特性記述子は、TargetOlsProperty又はVvcOperatingPointsInformationPropertyとして表される、
方法。
【0172】
12.画像データを処理する方法の例となる解決法であって、
視覚メディアファイルとビットストリームとの間の変換を実行するステップを含み、
メディアファイルフォーマットに従ってピクチャのシーケンスを夫々が含む画像アイテムを有する。ビットストリームは、ビデオコーディングフォーマットに従ってレイヤに夫々属している1つ以上のピクチャを夫々が含むアクセスユニットを有し、メディアファイルフォーマットは、動作点情報(OPI)ネットワーク抽象化レイヤ(NAL)ユニットが、特定の画像アイテムタイプを有している画像アイテム又は画像アイテムのサンプルに存在しないことを指定する、
方法。
【0173】
13.例となる解決法12の方法であって、
特定の画像アイテムタイプは、VVC(Versatile Video Coding)標準規格に関連し、
特定の画像アイテムタイプは、‘vvs1’と指定される、
方法。
【0174】
14.プロセッサを有するビデオ処理装置であって、
プロセッサは、例1乃至13のうちいずれかの方法を実行するよう構成される、
ビデオ処理装置。
【0175】
15.ビデオ処理装置によって実行された例1乃至13のうちいずれかの方法によって生成されるビデオのビットストリームを記憶している非一時的なコンピュータ可読記録媒体。
【0176】
本明細書中、「ビデオ処理」という用語は、ビデオ符号化、ビデオ復号化、ビデオ圧縮又はビデオ圧縮解除を指し得る。例えば、ビデオ圧縮アルゴリズムは、ビデオのピクセル表現から、対応するビットストリーム表現への変換中に、又はその逆も同様に、適用されてよい。現在のビデオブロックのビットストリーム表現は、例えば、シンタックスによって定義されるような、ビットストリーム内で同一位置にあるか又は異なった場所に広がっているかのどちらかであるビットに対応してよい。例えば、マクロブロックは、変換及びコーディングされた誤差残余値に関して、更には、ビットストリーム内のヘッダ及び他のフィールドにおけるビットを用いて、符号化されてよい。更には、変換中、デコーダは、上記の解決法で説明されているように、決定に基づいて、いくつかのフィールドの有無の可能性を分かった上でビットストリームをパースしてよい。同様に、エンコーダは、特定のシンタックスフィールドが含まれるべきか否かを決定し、それに応じて、ビットストリーム表現からシンタックスフィールドを含めるか又は除くことによって、ビットストリーム表現を生成してよい。
【0177】
本明細書で説明されている開示の及び他の解決法、例、実施形態、モジュール及び機能動作は、デジタル電子回路において、あるいは、本明細書で開示されている構造及びそれらの構造的同等物を含むコンピュータソフトウェア、ファームウェア、若しくはハードウェアにおいて、あるいは、それらの1つ以上の組み合わせにおいて実装可能である。開示されている実施形態及び他の実施形態は、1つ以上のコンピュータプログラム製品、例えば、データ処理装置による実行のために又はその動作を制御するためにコンピュータ可読媒体上で符号化されたコンピュータプログラム命令の1つ以上のモジュールとして、実装可能である。コンピュータ可読媒体は、機械読み出し可能な記憶デバイス、機械読み出し可能な記憶担体、メモリデバイス、機械読み出し可能な伝搬信号をもたらす組成物、又はそれらの1つ以上の組み合わせであることができる。「データ処理装置」との用語は、例として、プログラム可能なプロセッサ、コンピュータ、又は複数のプロセッサ若しくはコンピュータを含め、データを処理する全ての装置、デバイス、及び機械を包含する。装置は、ハードウェアに加えて、問題となっているコンピュータプログラムのための実行環境を作り出すコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、又はそれらの1つ以上の組み合わせを構成するコードを含むことができる。伝搬信号は、人工的に生成された信号、例えば、機械により生成された電気的、光学的、又は電磁気的信号であって、適切なレシーバ装置への伝送のために情報を符号化するよう生成される。
【0178】
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、又はコードとしても知られる。)は、コンパイル済み又は解釈済みの言語を含む如何なる形式のプログラミング言語でも記述可能であり、それは、スタンドアロンプログラムとして又はコンピューティング環境における使用に適したモジュール、コンポーネント、サブルーチン、若しくは他のユニットとしてを含め、如何なる形式でもデプロイ可能である。コンピュータプログラムは、必ずしもファイルシステムにおけるファイルに対応しない。プログラムは、問題となっているプログラムに専用の単一のファイルで、又は複数の協調したファイル(例えば、1つ以上のモジュール、サブプログラム、又はコードの部分を保存するファイル)で、他のプログラム又はデータ(例えば、マークアップ言語文書で保存された1つ以上のスクリプト)を保持するファイルの部分において保存可能である。コンピュータプログラムは、1つのコンピュータで、あるいは、1つの場所に位置しているか、又は複数の場所にわたって分布しており、通信ネットワークによって相互接続されている複数のコンピュータで実行されるようデプロイ可能である。
【0179】
本明細書で説明されているプロセス及びロジックフローは、入力データに作用して出力を生成することによって機能を実行するよう1つ以上のコンピュータプログラムを実行する1つ以上のプログラム可能なプロセッサによって実行可能である。プロセス及びロジックフローはまた、専用のロジック回路、例えば、フィールド・プログラマブル・ゲート・アレイ(FPGA)又は特定用途向け集積回路(ASIC)によっても実行可能であり、装置は、そのようなものとして実装可能である。
【0180】
コンピュータプログラムの実行に適したプロセッサは、例として、汎用のマイクロプロセッサ及び専用のマイクロプロセッサの両方、並びにあらゆる種類のデジタルコンピュータのいずれか1つ以上のプロセッサを含む。一般に、プロセッサは、リード・オンリー・メモリ若しくはランダム・アクセス・メモリ又はその両方から命令及びデータを読み出すことになる。コンピュータの必須の要素は、命令を実行するプロセッサと、命令及びデータを保存する1つ以上のメモリデバイスとである。一般に、コンピュータはまた、データを保存する1つ以上の大容量記憶デバイス、例えば、磁気、光学磁気ディスク、又は光ディスクを含むか、あるいは、そのような1つ以上の大容量記憶デバイスからのデータの受信若しくはそれへのデータの転送又はその両方のために動作可能に結合されることになる。しかし、コンピュータは、そのようなデバイスを有する必要はない。コンピュータプログラム命令及びデータを保存するのに適したコンピュータ可読媒体は、例として、半導体メモリデバイス、例えば、EPROM、EEPROM、及びフラッシュメモリデバイス;磁気ディスク、例えば、内蔵ハードディスク又はリムーバブルディスク;光学磁気ディスク;並びにCDROM及びDVD-ROMディスクを含む全ての形式の不揮発性メモリ、媒体及びメモリデバイスを含む。プロセッサ及びメモリは、専用のロジック回路によって強化されるか、あるいは、それに組み込まれ得る。
【0181】
本明細書は、多数の詳細を含むが、それらは、あらゆる対象の又は請求される可能性があるものの範囲に対する限定としてではなく、むしろ、特定の技術の特定の実施形態に特有であり得る特徴の説明として解釈されるべきである。別々の実施形態に関連して本明細書で説明されている特定の特徴は、単一の実施形態と組み合わせても実装可能である。逆に、単一の実施形態に関連して説明されている様々な特徴はまた、複数の実施形態で別々に、又は何らかの適切なサブコンビネーションで実装可能である。更に、特徴は、特定の組み合わせで動作するものとして先に説明され、更には、そのようなものとして最初に請求されることがあるが、請求されている組み合わせからの1つ以上の特徴は、いくつかの場合に、その組み合わせから削除可能であり、請求されている組み合わせは、サブコンビネーションまたはサブコンビネーションの変形に向けられてもよい。
【0182】
同様に、動作は、特定の順序で図面において表されているが、これは、所望の結果を達成するために、そのような動作が示されているその特定の順序で又は順次的な順序で実行されること、あるいは、表されている全ての動作が実行されることを求めている、と理解されるべきではない。更に、本明細書で説明されている実施形態における様々なシステムコンポーネントの分離は、全ての実施形態でそのような分離を求めている、と理解されるべきではない。
【0183】
ほんのわずかの実施及び例が説明されており、他の実施、強化及び変形は、本特許文献で記載及び例示されているものに基づいて行われ得る。