ホーム > 特許ランキング > ソニーグループ株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-09-08
(54)【発明の名称】ピクチャのサブセクション用の独立したＣＡＢＡＣ
(51)【国際特許分類】
H04N 19/13 20140101AFI20220901BHJP
H04N 19/15 20140101ALI20220901BHJP
【ＦＩ】
H04N19/13
H04N19/15
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2021575321
(86)(22)【出願日】2020-06-24
(85)【翻訳文提出日】2022-02-14
(86)【国際出願番号】 GB2020051537
(87)【国際公開番号】W WO2020260879
(87)【国際公開日】2020-12-30
(31)【優先権主張番号】1909143.8
(32)【優先日】2019-06-25
(33)【優先権主張国・地域又は機関】GB
(31)【優先権主張番号】1919471.1
(32)【優先日】2019-12-31
(33)【優先権主張国・地域又は機関】GB
(81)【指定国・地域】
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110003339
【氏名又は名称】特許業務法人南青山国際特許事務所
(72)【発明者】
【氏名】キーティング ステファン マーク
(72)【発明者】
【氏名】シャーマン カール ジェームス
(72)【発明者】
【氏名】ブラウン エイドリアン リチャード
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159KK40
5C159TA57
5C159TC20
(57)【要約】
画像データ符号化装置は、符号化された二値化シンボルを生成するために、第１の、コンテキスト適応二値算術符号化（ＣＡＢＡＣ）、符号化システム、または、第２の、バイパス、符号化システムによって符号化されるべき画像データを表すデータ項目を選択的に符号化するためのエントロピーエンコーダを具備する。画像データは、ピクチャシーケンスの１つ以上のピクチャを表し、各ピクチャは、ピクチャのそれぞれのサブセクションを表す２つ以上の出力データ部を含み、各サブセクションは、そのピクチャ及びピクチャシーケンスにおける他のサブセクションとは独立して復号可能であり、再構成可能であり、上記エントロピーエンコーダは、制約を満たすために、上記制約を満たさない各出力データ部に対して、その出力データ部のバイト単位のサイズを増加するように、上記制約を各出力データ部に適用し、パディングデータを提供するように構成される、その出力データ部のバイト単位のサイズに対する任意の個々の出力データ部によって表現される、２値化シンボルの数に対する上限を定義する上記制約に従って、出力データストリームを生成するように構成される。
【選択図】図２２
【選択図】図２２
【特許請求の範囲】
【請求項1】
符号化された二値化シンボルを生成するために、第１の、コンテキスト適応二値算術符号化（ＣＡＢＡＣ）、符号化システム、または、第２の、バイパス、符号化システムによって符号化されるべき画像データを表すデータ項目を選択的に符号化するためのエントロピーエンコーダを具備し、画像データは、ピクチャシーケンスの１つ以上のピクチャを表し、各ピクチャは、ピクチャのそれぞれのサブセクションを表す２つ以上の出力データ部を含み、
各サブセクションは、そのピクチャ及びピクチャシーケンスにおける他のサブセクションとは独立して復号可能であり、再構成可能であり、
前記エントロピーエンコーダは、制約を満たすために、前記制約を満たさない各出力データ部に対して、その出力データ部のバイト単位のサイズを増加するように、前記制約を各出力データ部に適用し、パディングデータを提供するように構成される、その出力データ部のバイト単位のサイズに対する任意の個々の出力データ部によって表現される、２値化シンボルの数に対する上限を定義する前記制約に従って、出力データストリームを生成するように構成される
画像データ符号化装置。
【請求項2】
請求項１に記載の画像データ符号化装置であって、前記第２の符号化システムは、固定された５０％確率コンテキストモデルを使用する二値算術符号化システムである
画像データ符号化装置。
【請求項3】
請求項１に記載の画像データ符号化装置であって、前記制約は、
N <= K1 * B + (K2 * CU)
ここで、N＝前記出力データ部の２値化シンボル数、
K1は定数、
B＝前記出力データ部のエンコードされたバイト数、
K2は、前記画像データ符号化装置によって採用される最小サイズ符号化単位の特性に依存する変数であり、
CU＝最小サイズの符号化単位数で表される前記出力データ部で表される前記サブセクションのサイズである
ように定義される
画像データ符号化装置。
【請求項4】
請求項１に記載の画像データ符号化装置であって、電流出力データ部の符号化に対して所定の段階で、前記制約が前記電流出力データ部によって満たされるかどうかを検出するように構成された検出器と、
挿入されるパディングデータを含む前記出力データ部が前記制約を満たすように、前記電流出力データ部に十分なパディングデータを生成し、挿入するように構成されたパディングデータ生成器と
をさらに備える
画像データ符号化装置。
【請求項5】
請求項４に記載の画像データ符号化装置であって、前記所定の段階は、前記電流出力データ部を符号化する端部である
画像データ符号化装置。
【請求項6】
請求項１に記載の画像データ符号化装置であって、前記サブセクションは、サブピクチャ、スライス及びタイルから構成されるリストからのサブセクションをそれぞれ表す
画像データ符号化装置。
【請求項7】
請求項１に記載の画像データ符号化装置であって、(i)サブピクチャは、前記ピクチャの一領域を表し、
(ii)スライスは、ピクチャ、サブピクチャ、またはタイルのラスタ順序における一部分を表し、それぞれのネットワーク抽象化層(NAL)ユニット内にカプセル化されるように制約され、
(iii)タイルは、ピクチャ、サブピクチャ、またはスライスのグリッド配置におけるそれぞれの水平および垂直境界を定義する一部分を表し、それぞれのNALユニット内にカプセル化されるように制約されない
画像データ符号化装置。
【請求項8】
請求項１に記載の画像データ符号化装置であって、各サブセクションは、それぞれの最小圧縮比に従う
画像データ符号化装置。
【請求項9】
請求項１に記載の画像データ符号化装置であって、前記画像データ符号化装置は、一組の符号化プロファイルから選択された符号化プロファイルに従って動作可能であり、
各符号化プロファイルは、前記符号化されるべき画像データおよび／または前記出力データストリームに少なくとも一組の制約を定義し、この場合、前記画像データ符号化装置は、そのピクチャの他のサブセクションに適用される前記符号化プロファイルとは無関係に、ピクチャの各サブセクションにそれぞれの符号化プロファイルを適用するように構成される
画像データ符号化装置。
【請求項10】
請求項９に記載の画像データ符号化装置であって、サブセクション用の前記符号化プロファイルは、そのサブセクションに関連するサブセクション・ヘッダ・データによって定義される
画像データ符号化装置。
【請求項11】
請求項１に記載の画像データ復号化装置を具備する、ビデオ記憶装置、キャプチャ装置、送受信装置。
【請求項12】
ピクチャシーケンスの１つ以上のピクチャを表す圧縮画像データを生成するために圧縮符号化を適用する画像データエンコーダを具備する画像データ符号化装置であって、各ピクチャは、２つ以上のサブセクションを表す出力データ部を備え、
前記サブセクションは、そのピクチャまたはそのピクチャシーケンスの他のサブセクションとは無関係に、復号化および再構成可能であり、
前記画像データ符号化装置は、一連の符号化プロファイルから選択された符号化プロファイルに従って動作可能であり、各符号化プロファイルは、符号化されるべき画像データ及び／又は出力データストリームに対する少なくとも一連の制約を定義し、
前記画像データ符号化装置は、そのピクチャの他のサブセクションに適用される符号化プロファイルとは無関係に、ピクチャの各サブセクションにそれぞれの符号化プロファイルを適用するように構成される
画像データ符号化装置。
【請求項13】
請求項１２に記載の画像データ符号化装置であって、前記符号化プロファイルは、少なくとも最小の圧縮率を定義し、
前記画像データエンコーダは、各サブセクションに適用可能なそれぞれの最小の圧縮率に従って、前記圧縮画像データを生成するように構成される
画像データ符号化装置。
【請求項14】
請求項１２に記載の画像データ復号化装置を具備する、ビデオ記憶装置、キャプチャ装置、送受信装置。
【請求項15】
符号化された二値化シンボルを生成するために、第１の、コンテキスト適応二値算術符号化（ＣＡＢＡＣ）、符号化システム、または、第２の、バイパス、符号化システムによって符号化されるべき画像データを表すデータ項目を選択的に符号化するステップと、出力データストリームを生成するステップと、
制約を満たすために、その出力データ部のバイト単位のサイズを増加するように、前記制約を満たさない各出力データ部にパディングデータを提供するステップと
を含み、
前記画像データは、ピクチャシーケンスの１つ以上のピクチャを表し、各ピクチャは、ピクチャのそれぞれのサブセクションを表す２つ以上の出力データ部を含み、
各サブセクションは、そのピクチャ及びピクチャシーケンスにおける他のサブセクションとは独立して復号可能であり、再構成可能であり、
上記生成するステップは、その出力データ部のバイト単位のサイズに対する任意の個々の出力データ部によって表現され得る二値化シンボルの数に対する上限を定義する前記制約の対象となり、上記生成するステップは、各出力データ部に前記制約を適用することを含む
画像データ符号化方法。
【請求項16】
コンピュータによって実行されるときに、前記コンピュータに、請求項１５に記載の方法を実行させるコンピュータソフトウェア。
【請求項17】
請求項１６に記載のコンピュータソフトウェアを記憶する、機械読み取り可能な非一時的記憶媒体。
【請求項18】
請求項１５に記載の方法に従って生成された符号化データを含むデータ信号。
【請求項19】
請求項１８に記載のデータ信号を復号化するように構成された画像データデコーダ。
【請求項20】
ピクチャシーケンスの１つ以上のピクチャを表す画像データを圧縮符号化するステップを含み、各ピクチャは、前記ピクチャのそれぞれのサブサブセクションを表す２つ以上の出力データ部を含み、各サブセクションは、そのピクチャおよびピクチャシーケンス内の他のサブセクションとは無関係に復号化および再構成可能であり、
前記圧縮符号化するステップは、一連の符号化プロファイルから選択された符号化プロファイルに従って動作可能であり、
各符号化プロファイルは、符号化されるべき画像データ及び／又は出力データストリームに対する一連の制約を少なくとも定義し、
前記圧縮符号化するステップは、そのピクチャの他のサブセクションに適用される前記符号化プロファイルとは無関係に、ピクチャの各サブセクションにそれぞれの符号化プロファイルを適用することを含む
画像データ符号化方法。
【請求項21】
コンピュータによって実行されるときに、前記コンピュータに、請求項２０に記載の方法を実行させるコンピュータソフトウェア。
【請求項22】
請求項２１に記載のコンピュータソフトウェアを記憶する、機械読み取り可能な非一時的記憶媒体。
【請求項23】
請求項２０に記載の方法に従って生成された符号化データを含むデータ信号。
【請求項24】
画像の一連のサブセクション用のそれぞれのデータを含み、各々のデータが、関連するそれぞれの最小の圧縮比および/または符号化プロファイルを有する
データ信号。
【請求項25】
請求項２３に記載のデータ信号を復号化するように構成された画像データデコーダ。
【請求項26】
請求項２４に記載のデータ信号を復号化するように構成された画像データデコーダ。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像データ符号化及び復号化に関する。
【背景技術】
【0002】
本明細書の「背景技術」の記載は、本出願における背景を一般的に説明するためのものである。本発明者らの技術は、この背景技術の欄で説明される範囲において、本出願の出願時点で従来技術でないのであれば従来技術と見なしてはならない説明の側面と同様に、明示又は黙示を問わず、本出願に対する従来技術として認められるものではない。
【0003】
ビデオデータを周波数領域表現に変換し、得られた周波数領域係数を量子化し、その後、当該量子化された係数に或る種のエントロピー符号化を適用するビデオデータ符号化システム及びビデオデータ復号化システムがいくつか存在する。これにより、ビデオデータを圧縮することができる。対応する復号化又は解凍技術を適用することにより、元のビデオデータを再構築して復元する。
【0004】
H.264/MPEG-4 AVCに対する後継技術として、H.265又はMPEG-H Part 2としても知られるＨＥＶＣ（High Efficiency Video Coding）が提案されている。これは、ＨＥＶＣのビデオ品質を向上させると共にデータ圧縮比をH.264の二倍にすること、及びH.264を１２８×９６～７６８０×４３２０画素解像度の範囲でスケーラブルとすることを目的としている。これは、概ね１２８キロビット／秒～８００メガビット／秒のビットレートに相当する。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本開示は、上記処理に伴う問題に対処する又はこれらの問題を軽減させることを目的とする。
【課題を解決するための手段】
【0006】
本開示は、符号化された二値化シンボルを生成するために、第１の、コンテキスト適応二値算術符号化（ＣＡＢＡＣ）、符号化システム、または、第２の、バイパス、符号化システムによって符号化されるべき画像データを表すデータ項目を選択的に符号化するエントロピーエンコーダを具備し、
上記画像データは、１つ以上のピクチャを表し、各々のピクチャは、
（ｉ）各ネットワークアブストラクションレイヤ（ＮＡＬ）部内の１つ以上のスライスと、
（ｉｉ）ピクチャ領域のそれぞれの水平方向の境界および垂直境界を定義し、それぞれのＮＡＬユニット内にカプセル化されるように制約されないゼロ個以上のタイルと、
を表す出力データ部を備え、
ピクチャの各スライスは、同じピクチャの他のスライスとは無関係に復号化可能であり、上記タイルは、同じピクチャの他のタイルとは無関係に復号化可能であり、
上記エントロピーエンコーダは、その出力データ部のバイト単位のサイズに対する任意の個々の出力データ部によって表現され得る２値化シンボルの数に対する上限を定義する制約に従う出力データストリームを生成するように構成され、
上記エントロピーエンコーダは、上記制約を満たすために、その出力データ部のバイト単位のサイズを増加するように、スライスを表す各出力データ部およびタイルを表す各出力データ部に上記制約を適用し、上記制約を満たさない各出力データ部にパディングデータを提供するように構成される
画像データ符号化装置を提供する。
上記画像データは、１つ以上のピクチャを表し、各々のピクチャは、
（ｉ）各ネットワークアブストラクションレイヤ（ＮＡＬ）部内の１つ以上のスライスと、
（ｉｉ）ピクチャ領域のそれぞれの水平方向の境界および垂直境界を定義し、それぞれのＮＡＬユニット内にカプセル化されるように制約されないゼロ個以上のタイルと、
を表す出力データ部を備え、
ピクチャの各スライスは、同じピクチャの他のスライスとは無関係に復号化可能であり、上記タイルは、同じピクチャの他のタイルとは無関係に復号化可能であり、
上記エントロピーエンコーダは、その出力データ部のバイト単位のサイズに対する任意の個々の出力データ部によって表現され得る２値化シンボルの数に対する上限を定義する制約に従う出力データストリームを生成するように構成され、
上記エントロピーエンコーダは、上記制約を満たすために、その出力データ部のバイト単位のサイズを増加するように、スライスを表す各出力データ部およびタイルを表す各出力データ部に上記制約を適用し、上記制約を満たさない各出力データ部にパディングデータを提供するように構成される
画像データ符号化装置を提供する。
【0007】
本開示は、符号化された二値化シンボルを生成するために、第１の、コンテキスト適応二値算術符号化（ＣＡＢＡＣ）、符号化システム、または、第２の、バイパス、符号化システムによって符号化されるべき画像データを表すデータ項目を選択的に符号化するステップを含み、
上記画像データは、１つ以上のピクチャを表し、各々のピクチャは、
（ｉ）各ネットワークアブストラクションレイヤ（ＮＡＬ）部内の１つ以上のスライスと、
（ｉｉ）ピクチャ領域のそれぞれの水平方向の境界および垂直境界を定義し、それぞれのＮＡＬユニット内にカプセル化されるように制約されないゼロ個以上のタイルと、
を含み、
ピクチャの各スライスは、同じピクチャの他のスライスとは無関係に復号化可能であり、上記タイルは、同じピクチャの他のタイルとは無関係に復号化可能であり、
その出力データ部のバイト単位のサイズに対する任意の個々の出力データ部によって表現され得る２値化シンボルの数に対する上限を定義する制約に従う出力データストリームを生成し、
上記制約を満たすために、その出力データ部のバイト単位のサイズを増加するように、スライスを表す各出力データ部およびタイルを表す各出力データ部に上記制約を適用し、上記制約を満たさない各出力データ部にパディングデータを提供する
画像データ符号化方法をさらに提供する。
上記画像データは、１つ以上のピクチャを表し、各々のピクチャは、
（ｉ）各ネットワークアブストラクションレイヤ（ＮＡＬ）部内の１つ以上のスライスと、
（ｉｉ）ピクチャ領域のそれぞれの水平方向の境界および垂直境界を定義し、それぞれのＮＡＬユニット内にカプセル化されるように制約されないゼロ個以上のタイルと、
を含み、
ピクチャの各スライスは、同じピクチャの他のスライスとは無関係に復号化可能であり、上記タイルは、同じピクチャの他のタイルとは無関係に復号化可能であり、
その出力データ部のバイト単位のサイズに対する任意の個々の出力データ部によって表現され得る２値化シンボルの数に対する上限を定義する制約に従う出力データストリームを生成し、
上記制約を満たすために、その出力データ部のバイト単位のサイズを増加するように、スライスを表す各出力データ部およびタイルを表す各出力データ部に上記制約を適用し、上記制約を満たさない各出力データ部にパディングデータを提供する
画像データ符号化方法をさらに提供する。
【0008】
本開示は、符号化された二値化シンボルを生成するために、第１の、コンテキスト適応二値算術符号化（ＣＡＢＡＣ）、符号化システム、または、第２の、バイパス、符号化システムによって符号化されるべき画像データを表すデータ項目を選択的に符号化するためのエントロピーエンコーダを具備し、
画像データは、ピクチャシーケンスの１つ以上のピクチャを表し、各ピクチャは、ピクチャのそれぞれのサブセクションを表す２つ以上の出力データ部を含み、
各サブセクションは、そのピクチャ及びピクチャシーケンスにおける他のサブセクションとは独立して復号可能であり、再構成可能であり、
上記エントロピーエンコーダは、制約を満たすために、上記制約を満たさない各出力データ部に対して、その出力データ部のバイト単位のサイズを増加するように、上記制約を各出力データ部に適用し、パディングデータを提供するように構成される、その出力データ部のバイト単位のサイズに対する任意の個々の出力データ部によって表現される、２値化シンボルの数に対する上限を定義する上記制約に従って、出力データストリームを生成するように構成される
画像データ符号化装置をさらに提供する。
画像データは、ピクチャシーケンスの１つ以上のピクチャを表し、各ピクチャは、ピクチャのそれぞれのサブセクションを表す２つ以上の出力データ部を含み、
各サブセクションは、そのピクチャ及びピクチャシーケンスにおける他のサブセクションとは独立して復号可能であり、再構成可能であり、
上記エントロピーエンコーダは、制約を満たすために、上記制約を満たさない各出力データ部に対して、その出力データ部のバイト単位のサイズを増加するように、上記制約を各出力データ部に適用し、パディングデータを提供するように構成される、その出力データ部のバイト単位のサイズに対する任意の個々の出力データ部によって表現される、２値化シンボルの数に対する上限を定義する上記制約に従って、出力データストリームを生成するように構成される
画像データ符号化装置をさらに提供する。
【0009】
本開示は、ピクチャシーケンスの１つ以上のピクチャを表す圧縮画像データを生成するために圧縮符号化を適用する画像データエンコーダを具備する画像データ符号化装置であって、
各ピクチャは、２つ以上のサブセクションを表す出力データ部を備え、
上記サブセクションは、そのピクチャまたはそのピクチャシーケンスの他のサブセクションとは無関係に、復号化および再構成可能であり、
上記画像データ符号化装置は、一連の符号化プロファイルから選択された符号化プロファイルに従って動作可能であり、各符号化プロファイルは、符号化されるべき画像データ及び／又は出力データストリームに対する少なくとも一連の制約を定義し、
上記画像データ符号化装置は、そのピクチャの他のサブセクションに適用される符号化プロファイルとは無関係に、ピクチャの各サブセクションにそれぞれの符号化プロファイルを適用するように構成される
画像データ符号化装置をさらに提供する。
各ピクチャは、２つ以上のサブセクションを表す出力データ部を備え、
上記サブセクションは、そのピクチャまたはそのピクチャシーケンスの他のサブセクションとは無関係に、復号化および再構成可能であり、
上記画像データ符号化装置は、一連の符号化プロファイルから選択された符号化プロファイルに従って動作可能であり、各符号化プロファイルは、符号化されるべき画像データ及び／又は出力データストリームに対する少なくとも一連の制約を定義し、
上記画像データ符号化装置は、そのピクチャの他のサブセクションに適用される符号化プロファイルとは無関係に、ピクチャの各サブセクションにそれぞれの符号化プロファイルを適用するように構成される
画像データ符号化装置をさらに提供する。
【0010】
本開示は、符号化された二値化シンボルを生成するために、第１の、コンテキスト適応二値算術符号化（ＣＡＢＡＣ）、符号化システム、または、第２の、バイパス、符号化システムによって符号化されるべき画像データを表すデータ項目を選択的に符号化するステップと、
出力データストリームを生成するステップと、
制約を満たすために、その出力データ部のバイト単位のサイズを増加するように、上記制約を満たさない各出力データ部にパディングデータを提供するステップと
を含み、
上記画像データは、ピクチャシーケンスの１つ以上のピクチャを表し、各ピクチャは、ピクチャのそれぞれのサブセクションを表す２つ以上の出力データ部を含み、
各サブセクションは、そのピクチャ及びピクチャシーケンスにおける他のサブセクションとは独立して復号可能であり、再構成可能であり、
上記生成するステップは、その出力データ部のバイト単位のサイズに対する任意の個々の出力データ部によって表現され得る二値化シンボルの数に対する上限を定義する上記制約の対象となり、上記生成するステップは、各出力データ部に上記制約を適用することを含む
画像データ符号化方法をさらに提供する。
出力データストリームを生成するステップと、
制約を満たすために、その出力データ部のバイト単位のサイズを増加するように、上記制約を満たさない各出力データ部にパディングデータを提供するステップと
を含み、
上記画像データは、ピクチャシーケンスの１つ以上のピクチャを表し、各ピクチャは、ピクチャのそれぞれのサブセクションを表す２つ以上の出力データ部を含み、
各サブセクションは、そのピクチャ及びピクチャシーケンスにおける他のサブセクションとは独立して復号可能であり、再構成可能であり、
上記生成するステップは、その出力データ部のバイト単位のサイズに対する任意の個々の出力データ部によって表現され得る二値化シンボルの数に対する上限を定義する上記制約の対象となり、上記生成するステップは、各出力データ部に上記制約を適用することを含む
画像データ符号化方法をさらに提供する。
【0011】
本開示は、ピクチャシーケンスの１つ以上のピクチャを表す画像データを圧縮符号化するステップを含み、
各ピクチャは、上記ピクチャのそれぞれのサブサブセクションを表す２つ以上の出力データ部を含み、各サブセクションは、そのピクチャおよびピクチャシーケンス内の他のサブセクションとは無関係に復号化および再構成可能であり、
上記圧縮符号化するステップは、一連の符号化プロファイルから選択された符号化プロファイルに従って動作可能であり、
各符号化プロファイルは、符号化されるべき画像データ及び／又は出力データストリームに対する一連の制約を少なくとも定義し、
上記圧縮符号化するステップは、そのピクチャの他のサブセクションに適用される上記符号化プロファイルとは無関係に、ピクチャの各サブセクションにそれぞれの符号化プロファイルを適用することを含む
画像データ符号化方法をさらに提供する。
各ピクチャは、上記ピクチャのそれぞれのサブサブセクションを表す２つ以上の出力データ部を含み、各サブセクションは、そのピクチャおよびピクチャシーケンス内の他のサブセクションとは無関係に復号化および再構成可能であり、
上記圧縮符号化するステップは、一連の符号化プロファイルから選択された符号化プロファイルに従って動作可能であり、
各符号化プロファイルは、符号化されるべき画像データ及び／又は出力データストリームに対する一連の制約を少なくとも定義し、
上記圧縮符号化するステップは、そのピクチャの他のサブセクションに適用される上記符号化プロファイルとは無関係に、ピクチャの各サブセクションにそれぞれの符号化プロファイルを適用することを含む
画像データ符号化方法をさらに提供する。
【0012】
本開示のさらなるそれぞれの態様及び特徴は、添付の特許請求の範囲において定義される。
【0013】
なお、上述の一般的な説明及び以降の詳細な説明は、本技術の一例であり、本技術を限定するものではないことが理解されるべきである。
【図面の簡単な説明】
【0014】
【図1】ビデオデータの圧縮及びビデオデータ解凍を行うオーディオ／ビデオ（Ａ／Ｖ）データ送受信システムを示す概略図である。
【図2】ビデオデータ解凍を行うビデオ表示システムを示す概略図である。
【図3】ビデオデータの圧縮及びビデオデータ解凍を行うオーディオ／ビデオ記憶システムを示す概略図である。
【図4】ビデオデータの圧縮を行うビデオカメラを示す概略図である。
【図5】記憶媒体を示す概略図である。
【図6】記憶媒体を示す概略図である。
【図7】ビデオデータ圧縮及び解凍装置を示す概略図である。
【図8】予測部を示す概略図である。
【図9】部分的に符号化された画像を示す概略図である。
【図10】セットのあり得るイントラ予測方向を示す概略図である。
【図11】セットの予測モードを示す概略図である。
【図12】別のセットの予測モードを示す概略図である。
【図13】イントラ予測プロセスを示す概略図である。
【図14】ＣＡＢＡＣエンコーダを示す概略図である。
【図15】ＣＡＢＡＣエンコーディング手法を示す概略図である。
【図16】ＣＡＢＡＣエンコーディング手法を示す概略図である。
【図17】ＣＡＢＡＣ復号技術を示す概略図である。
【図18】ＣＡＢＡＣ復号技術を示す概略図である。
【図19】分割された画像を示す概略図である。
【図20】一装置を示す概略図である。
【図21】一方法を示す模式的なフローチャートである。
【図22】ピクチャのサブセクションのセットを示す概略図である。
【図23】一連のサブピクチャ・パラメータ・データを示す概略図である。
【図24】データ信号を示す概略図である。
【図25】一方法を示す模式的なフローチャートである。
【発明を実施するための形態】
【0015】
添付図面と共に以降の詳細な説明を参照することによって、本技術の完全な理解及びその優位性の多くが容易に理解される。
【0016】
【0017】
以下に説明する全てのデータ圧縮装置及び／又はデータ解凍装置は、ハードウェアで実現されてもよいし、例えば、特定用途向け集積回路（ＡＳＩＣ：Application Specific Integrated Circuit）又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ：Field Programmable Gate Array）、或いはこれらの組み合わせ等のようなプログラム可能なハードウェアとして、汎用コンピュータ等の汎用データ処理装置上で動作するソフトウェアで実現されてもよい。
ソフトウェア及び／又はファームウェアで実現される実施形態の場合、このようなソフトウェア及び／又はファームフェア、並びに、このようなソフトウェア及び／又はファームウェアが記憶又は提供される非一時的なデータ記録媒体が本技術の実施形態と見なされることが理解されるであろう。
ソフトウェア及び／又はファームウェアで実現される実施形態の場合、このようなソフトウェア及び／又はファームフェア、並びに、このようなソフトウェア及び／又はファームウェアが記憶又は提供される非一時的なデータ記録媒体が本技術の実施形態と見なされることが理解されるであろう。
【0018】
図１は、ビデオデータの圧縮及びビデオデータ解凍を行うオーディオ／ビデオデータ送受信システムを示す概略図である。
【0019】
入力オーディオ／ビデオ信号１０は、少なくともオーディオ／ビデオ信号１０のビデオ要素を圧縮するビデオデータ圧縮装置２０に供給され、例えば、ケーブル、光ファイバ、無線リンク等の送信ルート３０に沿って送信される。圧縮された信号は、解凍装置４０によって処理され、これにより、出力オーディオ／ビデオ信号５０が提供される。リターンパスでは、圧縮装置６０がオーディオ／ビデオ信号を圧縮し、当該オーディオ／ビデオ信号は送信ルート３０に沿って解凍装置７０に送信される。
【0020】
したがって、圧縮装置２０及び解凍装置７０は、送信リンクの１つのノードを構成することができる。また、解凍装置４０及び圧縮装置６０は、当該送信リンクの他の１つのノードを構成することができる。もちろん、送信リンクが単方向である場合は、これらのノードのうちの一方のノードのみが圧縮装置を必要とし、他方のノードのみが解凍装置を必要とすることになる。
【0021】
図２は、ビデオデータ解凍を行うビデオ表示システムを示す概略図である。具体的には、圧縮されたオーディオ／ビデオ信号１００は解凍装置１１０によって処理され、これにより、表示装置１２０上で表示することができる解凍信号が提供される。
解凍装置１１０は、例えば、表示装置１２０と同じ筐体内に設けることにより、表示装置１２０と一体的に形成してもよい。或いは、解凍装置１１０は、（例えば）いわゆるセットトップボックス（ＳＴＢ：Set Top Box）として提供されてもよい。
なお、「セットトップ」という用語は、当該ボックスを表示装置１２０に対して特定の方向又は位置に配置する必要があることを意味するわけではない。この用語は、単に、周辺機器として表示部に接続可能なデバイスを示すために当該技術分野で使用されているに過ぎない。
解凍装置１１０は、例えば、表示装置１２０と同じ筐体内に設けることにより、表示装置１２０と一体的に形成してもよい。或いは、解凍装置１１０は、（例えば）いわゆるセットトップボックス（ＳＴＢ：Set Top Box）として提供されてもよい。
なお、「セットトップ」という用語は、当該ボックスを表示装置１２０に対して特定の方向又は位置に配置する必要があることを意味するわけではない。この用語は、単に、周辺機器として表示部に接続可能なデバイスを示すために当該技術分野で使用されているに過ぎない。
【0022】
図３は、ビデオデータの圧縮及びビデオデータ解凍を行うオーディオ／ビデオ記憶システムを示す概略図である。入力オーディオ／ビデオ信号１３０は、圧縮信号を生成する圧縮装置１４０に供給され、例えば、磁気ディスク装置、光ディスク装置、磁気テープ装置、又は半導体メモリやその他の記憶装置等の固体記憶装置等の記憶装置１５０に記憶される。再生時においては、圧縮データが記憶装置１５０から読み出され、解凍装置１６０に送られて解凍される。これにより、出力オーディオ／ビデオ信号１７０が提供される。
【0023】
圧縮又は符号化された信号及び当該信号を記憶する非一過性の装置可読記憶媒体等の記憶媒体が本技術の実施形態として見なされることが理解されるであろう。
【0024】
図４は、ビデオデータの圧縮を行うビデオカメラを示す概略図である。図４において、ＣＣＤ（Charge Coupled Device）イメージセンサ及びそれに付随する制御及び読出電子機器等の画像キャプチャ装置１８０は、圧縮装置１９０に送るビデオ信号を生成する。１つ又は複数のマイクロフォン２００は、圧縮装置１９０に送るオーディオ信号を生成する。圧縮装置１９０は、記憶及び／又は送信する（ステージ２２０として包括的に表す）圧縮オーディオ／ビデオ信号２１０を生成する。
【0025】
以下に説明する技術は、主に、ビデオデータの圧縮及び解凍に関する。オーディオデータの圧縮を行うために、以下に説明するビデオデータ圧縮技術と共に多くの既存の技術を用いて圧縮オーディオ／ビデオ信号を生成してもよいことが理解されるであろう。
したがって、オーディオデータの圧縮について別途説明は行わない。また、特に、放送品質ビデオデータにおいて、ビデオデータに関連するデータレートは一般的に、（圧縮及び非圧縮を問わず）オーディオデータに関連するデータレートよりもはるかに高いことも理解されるであろう。
したがって、非圧縮オーディオデータを圧縮ビデオデータに追加して圧縮オーディオ／ビデオ信号とすることができることが理解されるであろう。さらに、本発明の実施形態（図１～図４参照）はオーディオ／ビデオデータに関するものであるが、以下に説明する技術は、単にビデオデータを処理（すなわち、圧縮、解凍、記憶、表示、及び／又は送信）するシステムに使用してもよいことが理解されるであろう。
すなわち、これらの実施形態は、必ずしもオーディオデータ処理と関連している必要はなく、ビデオデータの圧縮に適用することができる。
したがって、オーディオデータの圧縮について別途説明は行わない。また、特に、放送品質ビデオデータにおいて、ビデオデータに関連するデータレートは一般的に、（圧縮及び非圧縮を問わず）オーディオデータに関連するデータレートよりもはるかに高いことも理解されるであろう。
したがって、非圧縮オーディオデータを圧縮ビデオデータに追加して圧縮オーディオ／ビデオ信号とすることができることが理解されるであろう。さらに、本発明の実施形態（図１～図４参照）はオーディオ／ビデオデータに関するものであるが、以下に説明する技術は、単にビデオデータを処理（すなわち、圧縮、解凍、記憶、表示、及び／又は送信）するシステムに使用してもよいことが理解されるであろう。
すなわち、これらの実施形態は、必ずしもオーディオデータ処理と関連している必要はなく、ビデオデータの圧縮に適用することができる。
【0026】
したがって、図４は、画像センサと、以下で説明するタイプの符号化装置とを含むビデオキャプチャ装置の一例を提供する。したがって、図２は、以下で説明するタイプの復号化装置の例と、復号化された画像が出力される表示装置を提供する。
【0027】
図２および４の組み合わせは、画像センサ１８０および符号化装置１９０、復号化装置１１０、および、復号化された画像が出力される表示装置１２０を含むビデオキャプチャ装置を提供することができる。
【0028】
図５及び図６は、装置２０、６０によって生成される（例えば）圧縮データ、装置１１０に入力される圧縮データ、又は記憶媒体又はステージ１５０、２２０を記憶する記憶媒体を示す概略図である。図５は、磁気ディスク又は光ディスク等のディスク型記憶媒体を示す概略図である。図６は、フラッシュメモリ等の固体記憶媒体を示す概略図である。なお、図５及び図６は、コンピュータによって実行されることによって後述の方法のうちの１つ又は複数の方法を当該コンピュータに実行させるコンピュータソフトウェアを記憶する非一過性の装置可読記憶媒体の例も示す。
【0029】
したがって、上記の構成は、本技術のいずれかを具体化するビデオ記憶装置、キャプチャ装置、送受信装置の例を提供する。
【0030】
図７は、ビデオデータ圧縮及び解凍装置の概略図である。
【0031】
制御部３４３は、ビデオデータ圧縮及び解凍装置の全体的な動作を制御する。制御部３４３は、特に、圧縮モードについて言えば、ブロックのサイズ及び形状等の種々の動作形態を選択する選択器として動作することによって、試行符号化処理を制御する。
また、制御部３４３は、ビデオデータが符号化されるに当たって損失が生じるか否かを制御する。この制御部は、画像エンコーダ又は画像デコーダ（場合による）の一部を構成すると見なされる。入力ビデオ信号３００の連続画像は、加算部３１０及び画像予測部３２０に供給される。画像予測部３２０については、図８を参照して後で詳述する。
画像エンコーダ又は画像デコーダ（場合による）は、図８のイントラ画像予測部と共に、図７に示す装置からの特徴を用いてもよい。しかしながら、この画像エンコーダ又は画像デコーダは、必ずしも図７に示す全ての特徴を必要とするわけではない。
また、制御部３４３は、ビデオデータが符号化されるに当たって損失が生じるか否かを制御する。この制御部は、画像エンコーダ又は画像デコーダ（場合による）の一部を構成すると見なされる。入力ビデオ信号３００の連続画像は、加算部３１０及び画像予測部３２０に供給される。画像予測部３２０については、図８を参照して後で詳述する。
画像エンコーダ又は画像デコーダ（場合による）は、図８のイントラ画像予測部と共に、図７に示す装置からの特徴を用いてもよい。しかしながら、この画像エンコーダ又は画像デコーダは、必ずしも図７に示す全ての特徴を必要とするわけではない。
【0032】
加算部３１０は、「＋」入力上で入力ビデオ信号３００を受信し、「－」入力上で画像予測部３２０の出力を受信する事実上の減算（負の加算）動作を実行する。これにより、入力画像から予測画像が減算される。この結果、実画像と予測画像との差を表すいわゆる残差画像信号３３０が生成される。
【0033】
残差画像信号を生成する理由の１つは次の通りである。説明を行うデータ符号化技術、すなわち、残差画像信号に適用される技術は、符号化される画像において「エネルギー」が少ない場合に、より効率的に作用する傾向がある。ここで、「効率的」という用語は、生成した符号化データの量が少ないことを示す。特定の画像品質レベルにおいては、生成するデータができるだけ少ないことが望ましい（且つ、「効率的」と考えられる）。
残差画像における「エネルギー」は、残差画像に含まれる情報量に関連する。仮に、予測画像と実画像とが同一だとすると、これら２つの画像の差（すなわち、残差画像）は、ゼロの情報（ゼロエネルギー）を含み、非常に容易に少量の符号化データに符号化することができる。
一般的に、予測画像の内容が、符号化される画像の内容と同様になるように、予測処理を或る程度良好に実行することができる場合、残差画像データは、入力画像よりも情報が少なく（エネルギーが少ない）、容易に少量の符号化データに符号化することができると予想される。
残差画像における「エネルギー」は、残差画像に含まれる情報量に関連する。仮に、予測画像と実画像とが同一だとすると、これら２つの画像の差（すなわち、残差画像）は、ゼロの情報（ゼロエネルギー）を含み、非常に容易に少量の符号化データに符号化することができる。
一般的に、予測画像の内容が、符号化される画像の内容と同様になるように、予測処理を或る程度良好に実行することができる場合、残差画像データは、入力画像よりも情報が少なく（エネルギーが少ない）、容易に少量の符号化データに符号化することができると予想される。
【0034】
（残差又は差分画像を符号化する）エンコーダとして動作する装置の残りの部分を説明する。残差画像データ３３０は、残差画像データのブロック又は領域の離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）表現を生成する変換部すなわち回路３４０に供給される。このＤＣＴ技術自体は広く知られているため、ここでは詳しく説明しない。
また、ＤＣＴの使用は、一構成例の例示に過ぎない。他の変換方式として、例えば、離散サイン変換（ＤＳＴ：Discrete Sine Transform）を用いることができるであろう。変換方式は、例えば、１つの変換方式に別の変換方式が（直接的又は間接的に）続く構成等、個々の変換方式を組み合わせてもよい。
変換方式の選択は、明示的に決定されてもよく、且つ／又は、エンコーダ及びデコーダを構成するのに用いられる付帯情報（side information）に依存してもよい。
また、ＤＣＴの使用は、一構成例の例示に過ぎない。他の変換方式として、例えば、離散サイン変換（ＤＳＴ：Discrete Sine Transform）を用いることができるであろう。変換方式は、例えば、１つの変換方式に別の変換方式が（直接的又は間接的に）続く構成等、個々の変換方式を組み合わせてもよい。
変換方式の選択は、明示的に決定されてもよく、且つ／又は、エンコーダ及びデコーダを構成するのに用いられる付帯情報（side information）に依存してもよい。
【0035】
変換部３４０の出力、すなわち（一例において）、画像データにおける各変換ブロックに対する一連のＤＣＴ係数は、量子化部３５０に供給される。量子化スケーリング要素による単純な乗算から、量子化パラメータの制御下における複雑なルックアップテーブルの応用に至るまで、様々な量子化技術がビデオデータ圧縮の分野において広く知られている。その目的として一般的なものには２つある。１つ目は、変換データが取り得る値を量子化処理により減少させることである。
２つ目は、変換データの値がゼロである可能性を量子化処理により増加させることである。これらにより、少量の圧縮ビデオデータの生成において、後述するエントロピー符号化処理をより効率的に行うことができる。
２つ目は、変換データの値がゼロである可能性を量子化処理により増加させることである。これらにより、少量の圧縮ビデオデータの生成において、後述するエントロピー符号化処理をより効率的に行うことができる。
【0036】
スキャン部３６０により、データスキャン処理が適用される。スキャン処理の目的は、非ゼロの量子化変換係数をできるだけひとまとめにするため、また、もちろん、これにより、ゼロ値の係数をできるだけひとまとめにするために、量子化変換データを再整理することである。これらの機能により、いわゆるランレングス符号化又は同様の技術を効率的に適用することができる。
したがって、スキャン処理は、（ａ）スキャンの一部として全ての係数が一度は選択されるように、且つ、（ｂ）スキャンにより所望の再整理を行うことができるように、「スキャン順」に従って、量子化変換データ、及び、特に、変換及び量子化された画像データのブロックに対応する係数のブロックから係数を選択することを含む。有効な結果をもたらすスキャン順の一例は、いわゆるUp-right Diagonalスキャン順のような斜めの順である。
したがって、スキャン処理は、（ａ）スキャンの一部として全ての係数が一度は選択されるように、且つ、（ｂ）スキャンにより所望の再整理を行うことができるように、「スキャン順」に従って、量子化変換データ、及び、特に、変換及び量子化された画像データのブロックに対応する係数のブロックから係数を選択することを含む。有効な結果をもたらすスキャン順の一例は、いわゆるUp-right Diagonalスキャン順のような斜めの順である。
【0037】
スキャンされた係数は、その後、エントロピーエンコーダ（ＥＥ）３７０に送られる。この場合もやはり、各種エントロピー符号化を実行してもよい。２つの例は、いわゆるＣＡＢＡＣ（Context Adaptive Binary Coding）システムの変形、及び、いわゆるＣＡＶＬＣ（Context Adaptive Variable-Length Coding）システムの変形である。一般的に、ＣＡＢＡＣは効率がよいと考えられている。或る研究では、ＣＡＢＡＣにおける符号化出力データの量は、同等の画像品質に対して、ＣＡＶＬＣよりも１０～２０％少ないことが示されている。
しかしながら、ＣＡＶＬＣが示す（実行する上での）複雑性のレベルは、ＣＡＢＡＣの複雑性のレベルよりもはるかに低いと考えられている。なお、スキャン処理及びエントロピー符号化処理は、別々の処理として示されているが、実際には、組み合わせるか、又は、一緒に扱うことができる。すなわち、エントロピーエンコーダへのデータの読み出しは、スキャン順で行うことができる。これは、後述する各逆処理の場合も同様である。
しかしながら、ＣＡＶＬＣが示す（実行する上での）複雑性のレベルは、ＣＡＢＡＣの複雑性のレベルよりもはるかに低いと考えられている。なお、スキャン処理及びエントロピー符号化処理は、別々の処理として示されているが、実際には、組み合わせるか、又は、一緒に扱うことができる。すなわち、エントロピーエンコーダへのデータの読み出しは、スキャン順で行うことができる。これは、後述する各逆処理の場合も同様である。
【0038】
エントロピーエンコーダ３７０の出力により、例えば、予測部３２０が予測画像を生成する方法を定義する（上述及び／又は後述の）追加データと共に、圧縮出力ビデオ信号３８０が提供される。
【0039】
一方、予測部３２０自体の動作は解凍された圧縮出力データに依存するため、リターンパス３９０も提供される。
【0040】
この機能の理由は以下の通りである。解凍処理（後述する）における適切なステージで、解凍された残差データが生成される。この解凍残差データは、出力画像を生成するために、予測画像に追加する必要がある（なぜなら、元の残差データは、入力画像と予測画像との差であったため）。圧縮側と解凍側とでこの処理が同等となるように、予測部３２０によって生成される予測画像は、圧縮処理中及び解凍処理中において、同一であるべきである。
もちろん、装置は、解凍時において元の入力画像にアクセスすることができない。装置がアクセスすることができるのは、解凍画像のみである。したがって、圧縮時において、予測部３２０は、解凍された圧縮画像に基づいて（少なくともインター画像符号化について）その予測を行う。
もちろん、装置は、解凍時において元の入力画像にアクセスすることができない。装置がアクセスすることができるのは、解凍画像のみである。したがって、圧縮時において、予測部３２０は、解凍された圧縮画像に基づいて（少なくともインター画像符号化について）その予測を行う。
【0041】
エントロピーエンコーダ３７０により実行されるエントロピー符号化処理は、（少なくともいくつかの例では）「無損失（lossless）」であると考えられる。すなわち、エントロピーエンコーダ３７０に最初に供給されたデータと全く同じデータに置き換えることができる。したがって、このような例では、リターンパスは、エントロピー符号化ステージよりも前に実装することができる。
実際、スキャン部３６０によって実行されるスキャン処理も無損失であると考えられるし、本実施形態では、リターンパス３９０は、量子化部３５０の出力から、補足逆量子化部４２０の入力までとされている。ステージによって損失が生じる又は損失が生じる可能性がある場合、当該ステージ（及びその逆）は、リターンパスによって形成されるフィードバックループに含めてもよい。
例えば、エントロピー符号化ステージは、例えば、ビットをパリティ情報において符号化する技術によって、少なくとも原理的には損失を生じるものとされ得る。このような例では、エントロピー符号化及び復号化は、フィードバックループの一部を形成する必要がある。
実際、スキャン部３６０によって実行されるスキャン処理も無損失であると考えられるし、本実施形態では、リターンパス３９０は、量子化部３５０の出力から、補足逆量子化部４２０の入力までとされている。ステージによって損失が生じる又は損失が生じる可能性がある場合、当該ステージ（及びその逆）は、リターンパスによって形成されるフィードバックループに含めてもよい。
例えば、エントロピー符号化ステージは、例えば、ビットをパリティ情報において符号化する技術によって、少なくとも原理的には損失を生じるものとされ得る。このような例では、エントロピー符号化及び復号化は、フィードバックループの一部を形成する必要がある。
【0042】
一般的には、エントロピーデコーダ４１０、逆スキャン部４００、逆量子化部４２０、逆変換部すなわち回路４３０は、それぞれ、エントロピーエンコーダ３７０、スキャン部３６０、量子化部３５０、及び変換部３４０の逆機能を提供する。ここでは、圧縮処理について説明を続け、入力圧縮ビデオ信号を解凍するための処理については、別途後述する。
【0043】
圧縮処理において、スキャンされた係数は、リターンパス３９０により量子化部３５０から、スキャン部３６０の逆動作を実行する逆量子化部４２０に送られる。逆量子化処理及び逆変換処理が逆量子化部４２０、逆変換部４３０により実行され、圧縮－解凍残差画像信号４４０が生成される。
【0044】
画像信号４４０は、加算部４５０で予測部３２０の出力に追加され、再構築出力画像４６０が生成される。これにより、後述するように、画像予測部３２０への１つの入力が構成される。
【0045】
受信した圧縮ビデオ信号４７０を解凍するために適用される処理について説明する。圧縮ビデオ信号４７０は、まず、エントロピーデコーダ４１０に供給され、そこから逆スキャン部４００、逆量子化部４２０、及び逆変換部４３０の順に供給される。その後、加算部４５０によって画像予測部３２０の出力に追加される。
したがって、デコーダ側では、デコーダは、残差画像を再構築し、これを（ブロック単位で）（加算部４５０によって）予測画像に適用することで各ブロックを復号化する。端的に言うと、加算部４５０の出力４６０が出力解凍ビデオ信号４８０を形成する。
実際には、信号を出力する前に、さらに（例えば、フィルタ５６０を用いて）フィルタリングを任意選択で施してもよい。このフィルタ５６０は、図８に示す。図８に比べて全体的な構成を示す図７では、フィルタ５６０は、見易さのために省略している。
したがって、デコーダ側では、デコーダは、残差画像を再構築し、これを（ブロック単位で）（加算部４５０によって）予測画像に適用することで各ブロックを復号化する。端的に言うと、加算部４５０の出力４６０が出力解凍ビデオ信号４８０を形成する。
実際には、信号を出力する前に、さらに（例えば、フィルタ５６０を用いて）フィルタリングを任意選択で施してもよい。このフィルタ５６０は、図８に示す。図８に比べて全体的な構成を示す図７では、フィルタ５６０は、見易さのために省略している。
【0046】
図７及び図８に示す装置は、圧縮（符号化）装置又は解凍（復号化）装置として動作することができる。二種類の装置の機能が実質的に重複する。スキャン部３６０及びエントロピーエンコーダ３７０は、解凍モードでは使用されない。予測部３２０（後で詳述する）及び他の各部の動作は、受信した圧縮ビットストリームに含まれるモード及びパラメータ情報に従い、自らはこれらの情報を生成しない。
【0047】
図８は、予測画像の生成を示す概略図であり、特に、画像予測部３２０の動作を示している。
【0048】
２つの基本的な予測モードが画像予測部３２０によって実行される。２つの基本的な予測モードとは、いわゆるイントラ画像予測及びいわゆるインター画像予測又は動き補償（ＭＣ：Motion-Compensated）予測である。エンコーダ側では、これらの予測はそれぞれ、予測対象である現在のブロックについて予測方向を検出し、（同じ（イントラ）又は別の（インター）画像における）他のサンプルに応じてサンプルの予測ブロックを生成することを含む。加算部３１０又は４５０により、予測ブロックと実際のブロックとの差異を符号化又は復号化することで、ブロックをそれぞれ符号化又は復号化する。
【0049】
（デコーダ側又はエンコーダの逆復号化側では、この予測方向の検出は、どの方向がエンコーダで用いられたかを示す、エンコーダによる符号化データに関係付けられたデータに応じるものであってもよい。或いは、当該予測方向の検出は、エンコーダで決定された要素と同じものに応じるものであってもよい。）
【0050】
イントラ画像予測は、同一画像内から得られるデータにおける画像ブロック又は領域の内容の予測を基礎としている。これは、他のビデオ圧縮技術における、いわゆるＩフレーム符号化に対応する。しかし、画像全体をイントラ符号化によって符号化するＩフレーム符号化とは対照的に、本実施形態では、イントラ符号化及びインター符号化の選択を、ブロック毎に行うことができる。他の実施形態では、当該選択が依然として画像毎に行われる。
【0051】
動き補償予測は、インター画像予測の一例であり、他の隣接画像又は近接画像において、現在の画像において符号化される画像詳細のソースを定義しようとする動き情報が用いられる。したがって、理想的な例では、予測画像における画像データのブロックの内容は、隣接画像において同じ位置又はわずかに異なる位置に存在する対応ブロックを示す参照（動きベクトル）として、非常に容易に符号化することができる。
【0052】
「ブロックコピー」予測として知られる技術は、現在の予測ブロックを生成するためにコピーすべき、同一の画像内の現在の予測ブロックから変位した位置にある、サンプルから成るブロックを示すベクトルを用いるため、いくつかの点において、上記２つの予測のハイブリッドと言える。
【0053】
図８に戻る。図８には（イントラ画像予測及びインター画像予測に対応する）２つの画像予測構成が示されており、その予測結果が、加算部３１０及び４５０に供給するための予測画像のブロックを提供するように、（例えば、制御部３４３の）モード信号５１０の制御下において乗算部５００によって選択される。当該選択は、どちらを選択すれば最少の「エネルギー」（上述のように、符号化が必要な情報の量と考えてもよい）となるかに基づいて行われ、また、当該選択は、符号化出力データストリームでデコーダに通知される。
これに関して、例えば、入力画像から、２つのバージョンの予測画像の領域を試行減算し、差分画像の各ピクセル値を２乗し、乗算値を合計し、当該２つのバージョンのうち、その画像領域に関連する差分画像の平均乗算値が低いのはどちらのバージョンかを特定することによって、画像エネルギーを検出することができる。他の例では、選択毎に又はあり得る選択毎に試行符号化を実行することができる。そして、符号化に必要なビット数及び当該画像に対する歪みのうちの一方又は両方に関する、あり得る選択毎の費用に応じて選択が行われる。
これに関して、例えば、入力画像から、２つのバージョンの予測画像の領域を試行減算し、差分画像の各ピクセル値を２乗し、乗算値を合計し、当該２つのバージョンのうち、その画像領域に関連する差分画像の平均乗算値が低いのはどちらのバージョンかを特定することによって、画像エネルギーを検出することができる。他の例では、選択毎に又はあり得る選択毎に試行符号化を実行することができる。そして、符号化に必要なビット数及び当該画像に対する歪みのうちの一方又は両方に関する、あり得る選択毎の費用に応じて選択が行われる。
【0054】
イントラ予測システムでは、実際の予測は、信号４６０の一部として受信された画像ブロックに基づいて行われる。すなわち、予測は、解凍装置において全く同じ予測を行うことができるように、符号化－復号化画像ブロックに基づいて行われる。しかしながら、データを入力ビデオ信号３００から導出して、イントラモード選択部５２０により、イントラ画像予測部５３０の動作を制御することもできる。
【0055】
インター画像予測では、動き補償（ＭＣ）予測部５４０は、例えば、動き推定部５５０によって入力ビデオ信号３００から導出された動きベクトル等の動き情報を用いる。動き補償予測部５４０は、これら動きベクトルを再構築画像４６０に適用し、インター画像予測のブロックを生成する。
【0056】
したがって、イントラ画像予測部５３０及び動き補償予測部５４０（推定部５５０と共に動作する）はそれぞれ、予測対象である現在のブロックについての予測方向を検出する検出部として、また、予測方向によって画定される他のサンプルに応じてサンプルの予測ブロック（加算部３１０及び４５０に送る予測結果の一部をなす）を生成する生成部として動作する。
【0057】
ここで、信号４６０に適用される処理について説明する。まず、信号４６０は、フィルタ部５６０によって任意選択でフィルタリングされる。フィルタ部５６０については、以下でさらに詳細に説明する。この処理では、変換部３４０が実行する、ブロックに基づく処理及び後続の動作に対する影響を排除する、又は少なくとも軽減させるために「非ブロック化（deblocking）」フィルタが適用される。
サンプルアダプティブオフセット（ＳＡＯ：Sample Adaptive Offsetting）フィルタを用いることも可能である。また、再構築信号４６０及び入力ビデオ信号３００を処理することによって得られる係数を使用して、適応ループフィルタが任意選択で適用される。この適応ループフィルタは、公知の技術を使用して、フィルタリング対象のデータに対して適応フィルタ係数を適用するフィルタの一種である。すなわち、フィルタ係数は、各種要素に基づいて変化し得る。どのフィルタ係数を用いるかを定義するデータは、符号化出力データストリームの一部に挿入される。
サンプルアダプティブオフセット（ＳＡＯ：Sample Adaptive Offsetting）フィルタを用いることも可能である。また、再構築信号４６０及び入力ビデオ信号３００を処理することによって得られる係数を使用して、適応ループフィルタが任意選択で適用される。この適応ループフィルタは、公知の技術を使用して、フィルタリング対象のデータに対して適応フィルタ係数を適用するフィルタの一種である。すなわち、フィルタ係数は、各種要素に基づいて変化し得る。どのフィルタ係数を用いるかを定義するデータは、符号化出力データストリームの一部に挿入される。
【0058】
装置が解凍装置として動作している場合、フィルタ部５６０からのフィルタリングされた出力は、実際には、出力ビデオ信号４８０を形成する。この信号は、１つ又は複数の画像又はフレーム記憶部５７０に記憶される。連続画像の記憶は、動き補償予測処理、特に、動きベクトルの生成において必要となる。必要なメモリを確保するため、画像記憶部５７０に記憶される画像は、圧縮形式で保持され、その後、動きベクトルの生成に用いるために解凍されてもよい。
この特定の目的のために、公知のいかなる圧縮／解凍システムを用いてもよい。記憶画像は、より高い解像度の記憶画像を生成する補間フィルタ５８０に送られてもよい。この例では、補間フィルタ５８０によって出力される補間画像の解像度が、輝度チャンネルが４：２：０である場合に画像記憶部５７０に記憶された画像の４倍（各寸法）となるように、色チャンネルが４：２：０である場合に画像記憶部５７０に記憶された画像の８倍（各寸法）となるように、中間サンプル（サブサンプル）が生成される。補間画像は、動き推定部５５０及び動き補償予測部５４０への入力として送られる。
この特定の目的のために、公知のいかなる圧縮／解凍システムを用いてもよい。記憶画像は、より高い解像度の記憶画像を生成する補間フィルタ５８０に送られてもよい。この例では、補間フィルタ５８０によって出力される補間画像の解像度が、輝度チャンネルが４：２：０である場合に画像記憶部５７０に記憶された画像の４倍（各寸法）となるように、色チャンネルが４：２：０である場合に画像記憶部５７０に記憶された画像の８倍（各寸法）となるように、中間サンプル（サブサンプル）が生成される。補間画像は、動き推定部５５０及び動き補償予測部５４０への入力として送られる。
【0059】
ここで、圧縮処理のために画像を分割する方法について説明する。基本的なレベルでは、圧縮対象の画像は、サンプルから成るブロック又は領域の配列として考えることができる。このような画像のブロック又は領域への分割は、参照によりその内容が本明細書に援用されるBross他著「High Efficiency Video Coding（HEVC）text specification draft 6」、JCTVC-H1003_d0（November 2011）に記載されているような決定木によって行うことができる。
いくつかの例では、結果として得られるブロック又は領域は、様々なサイズを有し、場合によっては、決定木により、全体的に当該画像内の画像特徴の配列に沿った形状を有する。これだけでも符号化効率を向上させることができる。というのも、類似の画像特徴を表す又はこれらに沿うサンプルは、このような構成によって、グループ化される傾向にあるからである。いくつかの例では、異なるサイズの正方形ブロック又は領域（例えば、４×４サンプル～例えば６４×６４、又はより大きいブロック）が、選択に利用可能である。
他の構成例では、（例えば、垂直方向又は水平方向に配向された）矩形ブロック等の異なる形状のブロック又は領域を用いることができる。他の非正方形及び非矩形ブロックも包含される。このような画像のブロック又は領域への分割結果として、（少なくとも本例では）画像のサンプルがそれぞれ１つの、さらには、１つのみの係るブロック又は領域サンプルに割り当てられる。
いくつかの例では、結果として得られるブロック又は領域は、様々なサイズを有し、場合によっては、決定木により、全体的に当該画像内の画像特徴の配列に沿った形状を有する。これだけでも符号化効率を向上させることができる。というのも、類似の画像特徴を表す又はこれらに沿うサンプルは、このような構成によって、グループ化される傾向にあるからである。いくつかの例では、異なるサイズの正方形ブロック又は領域（例えば、４×４サンプル～例えば６４×６４、又はより大きいブロック）が、選択に利用可能である。
他の構成例では、（例えば、垂直方向又は水平方向に配向された）矩形ブロック等の異なる形状のブロック又は領域を用いることができる。他の非正方形及び非矩形ブロックも包含される。このような画像のブロック又は領域への分割結果として、（少なくとも本例では）画像のサンプルがそれぞれ１つの、さらには、１つのみの係るブロック又は領域サンプルに割り当てられる。
【0060】
これより、イントラ予測処理について説明する。一般的に、イントラ予測は、同一の画像において先に符号化及び復号化されたサンプルからサンプルの現在のブロックの予測結果を生成することを含む。
【0061】
図９は、部分的に符号化された画像８００を示す概略図である。ここで、当該画像は、左上から右下に向かってブロック単位で符号化されている。画像全体の処理において符号化途中にあるブロックの一例を、ブロック８１０として示す。上方の影付き領域８２０からブロック８１０の左側までは既に符号化されている。ブロック８１０の内容のイントラ画像予測のために、影付き領域８２０のうちのいずれも利用することができるが、それより下方の影なし領域を利用することはできない。
【0062】
いくつかの例では、より大きいブロック（ＣＵ（Coding Unit）と称する）が、図９を参照して説明した順序等の順序で符号化されるように、画像をブロック単位で符号化する。ＣＵ毎に、（行われたブロック分割処理に応じて）ＣＵは、セットの２つ以上のより小さいブロック又はＴＵ（Transform Unit）として処理される可能性がある。これによって、当該画像がＣＵ単位で符号化されるような符号化の階層順が与えられる。
各ＣＵは、可能性として、ＴＵ単位で符号化される。なお、現在のＣＴＵ（Coding Tree Unit）内の個々のＴＵ（ブロック分割のツリー構造において最大のノード）について、上述した（ＣＵ毎の、次いで、ＴＵ毎の）符号化の階層順は、現在のＣＵにおいて先に符号化されたサンプルが存在し、当該ＴＵの符号化に利用可能であり得ることを意味する。これらのサンプルは、例えば、当該ＴＵの右上又は左下に存在する。
各ＣＵは、可能性として、ＴＵ単位で符号化される。なお、現在のＣＴＵ（Coding Tree Unit）内の個々のＴＵ（ブロック分割のツリー構造において最大のノード）について、上述した（ＣＵ毎の、次いで、ＴＵ毎の）符号化の階層順は、現在のＣＵにおいて先に符号化されたサンプルが存在し、当該ＴＵの符号化に利用可能であり得ることを意味する。これらのサンプルは、例えば、当該ＴＵの右上又は左下に存在する。
【0063】
ブロック８１０は、ＣＵを表す。上述したように、イントラ画像予測処理のために、これは、セットのより小さい単位に細分化してもよい。現在のＴＵ８３０の一例をＣＵ８１０内に示す。より一般的には、画像は、シグナリング情報及び変換後のデータを効率的に符号化することができるように、領域又はサンプル群に分割される。情報のシグナリングは、当該変換の構造に対して、実際には、予測情報又は予測そのものの構造に対して、細分化されたものから成る異なるツリー構造を必要とし得る。
このような理由から、ＣＵは、変換ブロック又は領域、予測ブロック又は領域及び予測情報の構造に対して異なるツリー構造を有し得る。ＨＥＶＣ等のいくつかの例では、当該構造は、葉ノードが１つ又は複数の予測単位及び１つ又は複数のＴＵを含む、ＣＵのいわゆる四分木とすることができる。ＴＵは、画像のルマ及びクロマ表現に対応する複数の変換ブロックを含むことができ、予測方式は、変換ブロックレベルで適用可能であると考えることができる。
いくつかの例では、特定のサンプル群に適用されるパラメータは、主にブロックレベルで定義されると考えることができる。このブロックレベルは、変換構造と同じ粒度ではない可能性がある。
このような理由から、ＣＵは、変換ブロック又は領域、予測ブロック又は領域及び予測情報の構造に対して異なるツリー構造を有し得る。ＨＥＶＣ等のいくつかの例では、当該構造は、葉ノードが１つ又は複数の予測単位及び１つ又は複数のＴＵを含む、ＣＵのいわゆる四分木とすることができる。ＴＵは、画像のルマ及びクロマ表現に対応する複数の変換ブロックを含むことができ、予測方式は、変換ブロックレベルで適用可能であると考えることができる。
いくつかの例では、特定のサンプル群に適用されるパラメータは、主にブロックレベルで定義されると考えることができる。このブロックレベルは、変換構造と同じ粒度ではない可能性がある。
【0064】
イントラ画像予測は、現在のＴＵを考慮する前に符号化されたサンプルを考慮する。当該サンプルは、現在のＴＵの上方及び／又は左側のサンプルである。必要なサンプルの予測元となるサンプルは、現在のＴＵに対して異なる位置又は方向に存在し得る。現在の予測単位に対していずれの方向が適しているかを決定するために、例示的なエンコーダのモード選択部５２０は、候補方向毎に利用可能なＴＵ構造の組み合わせを全て試し、圧縮効率が最高となる予測方向及びＴＵ構造を選択することができる。
【0065】
画像は、「スライス」毎に符号化されてもよい。一例では、スライスは、水平方向に隣接するＣＵ群である。しかしながら、より一般的には、残差画像全体でスライスを構成することができ、或いは、スライスを単一のＣＵ又はＣＵの行等とすることもできる。スライスは、独立した単位として符号化されるため、エラーに対する回復力が或る程度得られる。エンコーダ及びデコーダの状態は、スライス境界で完全にリセットされる。例えば、イントラ予測はスライス境界を跨いでは行われない。このため、スライス境界は、画像境界として処理される。
【0066】
より一般的には、(ピクチャシーケンスの一部を形成してもよい)ピクチャは、サブセクションベースで符号化されてもよい。ここで、各サブセクションは、独立して復号可能であり、再構成可能である(すなわち、そのピクチャまたはピクチャシーケンスの他のサブセクションとは独立して、符号化パラメータは、共有されず、サブセクション境界を越えて依存しないことを意味する)。
例えば、サブセクションは、サブピクチャ、スライス及びタイルから構成されるリストからのサブセクションをそれぞれ表してもよい。
例えば、サブセクションは、サブピクチャ、スライス及びタイルから構成されるリストからのサブセクションをそれぞれ表してもよい。
【0067】
これらの例では、(i)サブピクチャは、ピクチャの一領域を表し、(ii)スライスは、ピクチャ、サブピクチャ、またはタイルのラスタ順序における一部分を表し、それぞれのネットワーク抽象化層(NAL)ユニット内にカプセル化されるように制約され、(iii)タイルは、ピクチャ、サブピクチャ、またはスライスのグリッド配置におけるそれぞれの水平および垂直境界を定義する一部分を表し、それぞれのNALユニット内にカプセル化されるように制約されない。
【0068】
図１０は、考えられる（候補となる）セットの予測方向を示す概略図である。予測単位に対して方向候補を全て利用可能である。方向は、現在のブロック位置に対する水平及び垂直移動により決定されるが、予測「モード」として符号化される。当該セットの方向を図１１に示す。なお、いわゆるＤＣモードは、周囲にある上部及び左側のサンプルの単純算術平均を表す。また、図１０に示す方向のセットは一例に過ぎない。他の例では、図１２に概略的に示されているように、（例えば）６５の角度モードにＤＣ及びplanarを合わせたセット（合計６７のモード）で一セットとする。他のモード数も採用可能である。
【0069】
一般的に、システムは、予測方向の検出後、予測方向によって確定された他のサンプルに応じてサンプルの予測ブロックを生成するように動作可能である。いくつかの例では、画像エンコーダは、画像のサンプル又は領域毎に選択された予測方向を識別するデータを符号化するように構成される（そして、画像デコーダは、そのようなデータを検出するように構成される）。
【0070】
図１３は、イントラ予測処理を示す概略図である。このイントラ予測処理では、サンプルから成るブロック又は領域９１０のサンプル９００を、当該サンプルに関連するイントラ予測モードによって確定された方向９３０に応じて同一の画像の他の参照サンプル９２０から導出する。本例の参照サンプル９２０は、対象のブロック９１０の上方及び左側のブロックが元となっており、サンプル９００の予測値は、参照サンプル９２０に対して方向９３０に沿ってトラッキングすることによって得られる。
方向９３０は、単一の個別の参照サンプルを示してもよいが、より一般的には、周辺の参照サンプルの補間値を予測値として用いる。なお、ブロック９１０は、図１３に示すように正方形であってもよく、矩形等の他の形状であってもよい。
方向９３０は、単一の個別の参照サンプルを示してもよいが、より一般的には、周辺の参照サンプルの補間値を予測値として用いる。なお、ブロック９１０は、図１３に示すように正方形であってもよく、矩形等の他の形状であってもよい。
【0071】
図１４は、ＣＡＢＡＣエントロピーエンコーダの動作を示す概略図である。
【0072】
ＣＡＢＡＣエンコーダは、バイナリデータ、すなわち、０及び１の２つのシンボルのみで表されるデータに関して動作する。当該エンコーダは、既に符号化されたデータに基づいて、次のデータに対する「コンテキスト」、すなわち、確率モデルを選択するいわゆるコンテキストモデリング処理を実行する。
コンテキストの選択は、既に復号化されたデータに基づいて、デコーダに渡される符号化データストリームに追加される（コンテキストを特定する）別のデータを必要とすることなく、デコーダにおいて同じ決定が行われるような決定論的な方法で実行される。
コンテキストの選択は、既に復号化されたデータに基づいて、デコーダに渡される符号化データストリームに追加される（コンテキストを特定する）別のデータを必要とすることなく、デコーダにおいて同じ決定が行われるような決定論的な方法で実行される。
【0073】
図１４を参照して、符号化される入力データは、既にバイナリ形式でない限りバイナリコンバータ１４００に渡してもよい。データが既にバイナリ形式である場合、コンバータ１４００は（図のスイッチ１４１０により）バイパスされる。本実施形態では、バイナリ形式への変換は、実際には、量子化ＤＣＴ係数データを一連のバイナリ「マップ」として表現することにより行う。バイナリマップについては後述する。
【0074】
バイナリデータは、その後、（別々の経路として概略的に示されているが、後述する本発明のいくつかの実施形態では、わずかに異なるパラメータを用いるだけで同じ処理ステージで実際に実行することができる）「正規」経路及び「バイパス」経路の２つの処理経路のうちの１つにより処理してもよい。バイパス経路では、必ずしも正規経路と同じ形式のコンテキストモデリングを利用しないいわゆるバイパスコーダ１４２０が用いられる。
ＣＡＢＡＣ符号化のいくつかの例では、一連のデータを特に急速に処理する必要がある場合、当該バイパス経路を選択することができる。しかしながら、本実施形態では、いわゆる「バイパス」データの２つの特徴について言及する。１つ目の特徴は、バイパスデータは、５０％の確率を表す固定コンテキストモデルを利用するだけでＣＡＢＡＣエンコーダ（９５０，１４６０）により処理されることである。
２つ目の特徴は、バイパスデータは、一定のカテゴリのデータに関するということである。当該データの特定例は、係数符号データである。バイパス経路を選択しない場合、制御回路１４３５の制御下で動作する図に示すスイッチ１４３０，１４４０により正規経路が選択される。これには、コンテキストモデラ１４５０によって処理され、続いて符号化エンジン１４６０によって処理されるデータが含まれる。
ＣＡＢＡＣ符号化のいくつかの例では、一連のデータを特に急速に処理する必要がある場合、当該バイパス経路を選択することができる。しかしながら、本実施形態では、いわゆる「バイパス」データの２つの特徴について言及する。１つ目の特徴は、バイパスデータは、５０％の確率を表す固定コンテキストモデルを利用するだけでＣＡＢＡＣエンコーダ（９５０，１４６０）により処理されることである。
２つ目の特徴は、バイパスデータは、一定のカテゴリのデータに関するということである。当該データの特定例は、係数符号データである。バイパス経路を選択しない場合、制御回路１４３５の制御下で動作する図に示すスイッチ１４３０，１４４０により正規経路が選択される。これには、コンテキストモデラ１４５０によって処理され、続いて符号化エンジン１４６０によって処理されるデータが含まれる。
【0075】
図１４に示すエントロピーエンコーダは、ブロック全体が０値のデータから構成される場合、データのブロック（すなわち、例えば、残差画像のブロックに関する係数のブロックに対応するデータ）を単一値として符号化する。このカテゴリに含まれない各ブロック、すなわち、少なくともいくつかの非ゼロのデータを含むブロックに対しては、「重要性マップ（significance map）」を作成する。重要性マップは、符号化されるデータのブロックにおける各位置に対して、ブロック内の対応する係数が非ゼロであるか否かを示す。
バイナリ形式である重要性マップデータ自体は、ＣＡＢＡＣ符号化される。重要性マップを利用することは、重要性マップによってゼロであると示される大きさの係数に対してデータを符号化する必要はないため、圧縮に役立つ。また、重要性マップには、ブロックにおける最後の非ゼロ係数を示す特別なコードを含めることもできる。これにより、最後の高周波数／後置ゼロ（トレーリングゼロ）係数の全てを符号化から省略することができる。符号化ビットストリームにおいて、重要性マップの後には、重要性マップにより規定される非ゼロ係数の値を定義するデータが続く。
バイナリ形式である重要性マップデータ自体は、ＣＡＢＡＣ符号化される。重要性マップを利用することは、重要性マップによってゼロであると示される大きさの係数に対してデータを符号化する必要はないため、圧縮に役立つ。また、重要性マップには、ブロックにおける最後の非ゼロ係数を示す特別なコードを含めることもできる。これにより、最後の高周波数／後置ゼロ（トレーリングゼロ）係数の全てを符号化から省略することができる。符号化ビットストリームにおいて、重要性マップの後には、重要性マップにより規定される非ゼロ係数の値を定義するデータが続く。
【0076】
また、別のレベルのマップデータも作成され、ＣＡＢＡＣ符号化される。その一例としては、重要性マップによって「非ゼロ」であると示されたマップ位置における係数データが実際には「１」の値を有するか否かをバイナリ値（１＝ｙｅｓ，０＝ｎｏ）として定義するマップがある。他のマップは、重要性マップによって「非ゼロ」であると示されたマップ位置における係数データが実際には「２」の値を有するか否かを規定する。さらに別のマップは、重要性マップによって当該係数データが「非ゼロ」であると示されたこれらマップ位置に対し、当該データが「３以上の」値を有するか否かを示す。また、さらに別のマップは、「非ゼロ」として特定されたデータに対して、（＋に対して１、－に対して０、あるいはその逆、等の所定のバイナリ表記を用いて）データ値の符号を示す。
【0077】
本発明の実施形態では、有意性マップおよび他のマップは、ＣＡＢＡＣエンコーダまたはバイパスエンコーダのいずれかに所定の方法で割り当てられ、すべて同じ初期データ項目の異なるそれぞれの属性または値範囲を表す。
1つの例では、少なくとも有意性マップはＣＡＢＡＣエンコードされ、残りのマップの少なくとも一部(符号データなど)はバイパスエンコードされる。したがって、各データ項目は、データのそれぞれのサブセットに分割され、それぞれのサブセットは、第1の(例えば、ＣＡＢＡＣ)および第2の(例えば、バイパス)符号化システムによって符号化される。
データ、ＣＡＢＡＣおよびバイパス符号化の性質は、所定の量のＣＡＢＡＣ符号化データに対して、同じ初期データ項目に関して可変量がゼロ以上のバイパスデータが生成されるようなものである。したがって、例えば、量子化された、再配列されたＤＣＴデータが実質的にすべてゼロ値を含む場合、バイパスデータが生成されないか、または非常に少量のバイパスデータが生成されてもよい。
これは、バイパスデータは、有意性マップの値がゼロでないことを示しているマップ位置のみに関係するためである。別の例では、多くの高い値係数を有する量子化再順序付けＤＣＴデータにおいて、かなりの量のバイパスデータが生成されてもよい。
1つの例では、少なくとも有意性マップはＣＡＢＡＣエンコードされ、残りのマップの少なくとも一部(符号データなど)はバイパスエンコードされる。したがって、各データ項目は、データのそれぞれのサブセットに分割され、それぞれのサブセットは、第1の(例えば、ＣＡＢＡＣ)および第2の(例えば、バイパス)符号化システムによって符号化される。
データ、ＣＡＢＡＣおよびバイパス符号化の性質は、所定の量のＣＡＢＡＣ符号化データに対して、同じ初期データ項目に関して可変量がゼロ以上のバイパスデータが生成されるようなものである。したがって、例えば、量子化された、再配列されたＤＣＴデータが実質的にすべてゼロ値を含む場合、バイパスデータが生成されないか、または非常に少量のバイパスデータが生成されてもよい。
これは、バイパスデータは、有意性マップの値がゼロでないことを示しているマップ位置のみに関係するためである。別の例では、多くの高い値係数を有する量子化再順序付けＤＣＴデータにおいて、かなりの量のバイパスデータが生成されてもよい。
【0078】
本発明の実施形態では、有意性マップ及び他のマップは、量子化されたＤＣＴ係数から、例えば、走査ユニット３６０によって生成され、ＣＡＢＡＣ符号化に供される前に、ジグザグ走査処理(又は、ジグザグ、水平ラスタ及び垂直ラスタ走査から選択される走査処理)に供される。
【0079】
一般的に、ＣＡＢＡＣ符号化は、前に符号化された他のデータに基づいて、符号化される次のビットのコンテキスト、すなわち確率モデルを予測することを含む。次のビットが確率モデルによって「最も可能性が高い」と識別されるビットと同じである場合、「次のビットが確率モデルと一致する」という情報の符号化は、大きな効率で符号化することができる。
「次のビットは確率モデルと一致しない」ことを符号化することは効率が悪いので、コンテキストデータの導出は、エンコーダの良好な動作にとって重要である。「適応」という用語は、(まだ符号化されていない)次のデータとの良好な一致を提供する試みにおいて、コンテキストまたは確率モデルが符号化の間に適応されるか、または、変化されることを意味する。
「次のビットは確率モデルと一致しない」ことを符号化することは効率が悪いので、コンテキストデータの導出は、エンコーダの良好な動作にとって重要である。「適応」という用語は、(まだ符号化されていない)次のデータとの良好な一致を提供する試みにおいて、コンテキストまたは確率モデルが符号化の間に適応されるか、または、変化されることを意味する。
【0080】
単純な類推を用いて、書かれた英語では、文字"Ｕ"は比較的まれである。しかし、文字"Ｑ"の直後の文字位置では、非常に一般的である。そのため、確率モデルでは「Ｕ」の確率を非常に低い値として設定できるが、現在の文字が「Ｑ」の場合、次の文字としての「Ｕ」の確率モデルは、非常に高い確率値に設定できる。
【0081】
ＣＡＢＡＣ符号化は、現在の構成では、少なくとも有意性マップと、非ゼロ値が1か2かを示すマップのために使用される。
バイパス処理-これらの実施形態では、ＣＡＢＡＣ符号化と同一であるが、確率モデルが1sと0sの等しい(0.5:0.5)確率分布で固定されているという事実に対して、少なくとも符号データと、値が>2であるかどうかを示すマップのために使用される。>2として識別されるそれらのデータ位置に対して、別個のいわゆるエスケープデータエンコードを使用して、データの実際の値を符号化することができる。これには、Golomb-Rice符号化技術が含まれてもよい。
バイパス処理-これらの実施形態では、ＣＡＢＡＣ符号化と同一であるが、確率モデルが1sと0sの等しい(0.5:0.5)確率分布で固定されているという事実に対して、少なくとも符号データと、値が>2であるかどうかを示すマップのために使用される。>2として識別されるそれらのデータ位置に対して、別個のいわゆるエスケープデータエンコードを使用して、データの実際の値を符号化することができる。これには、Golomb-Rice符号化技術が含まれてもよい。
【0082】
ＣＡＢＡＣコンテキストモデリングとエンコード処理については、WD4: 高効率ビデオコーディングのWorking Draft 4、JCTVC-F803_d5、Draft ISO I/EC 23008-HEVC; 201x(E) 2011-10-28でさらに詳しく説明されている。
【0083】
ここで、図１５および図１６を参照すると、ビデオ符号化装置の一部を形成するエントロピーエンコーダは、第1の符号化システム(例えば、ＣＡＢＡＣエンコーダ１５００のような算術符号化システム)と、(バイパスエンコーダ１５１０のような)第2の符号化システムとを含み、特定のデータワードまたは値がＣＡＢＡＣエンコーダまたはバイパスエンコーダのいずれかによって最終出力データストリームに符号化されるが、両方では符号化されないように配置される。
【0084】
本発明の実施形態では、ＣＡＢＡＣエンコーダおよびバイパスエンコーダに渡されるデータ値は、初期入力データ(この例では再順序付けされた量子化されたＤＣＴデータ)から分割または導出される順序付けられたデータ値のそれぞれのサブセットであり、入力データから生成された「マップ」のセットの異なるものを表す。
【0085】
模式図は、ＣＡＢＡＣエンコーダとバイパスエンコーダを別々の配置として扱う。これは、実際にはよく当てはまるが、図１６に概略的に示される別の可能性では、単一のＣＡＢＡＣエンコーダ１６２０が、図１５のＣＡＢＡＣエンコーダ１５００およびバイパスエンコーダ１５１０の両方として使用される。
エンコーダ１６２０は、ＣＡＢＡＣエンコーダ１５００のモードにあるとき（上述のように）適応コンテキストモデルで動作し、かつ、バイパスエンコーダ１５１０のモードにあるとき、固定された５０％確率コンテキストモデルで動作するように、エンコーダ１６３０の制御下で動作する。
エンコーダ１６２０は、ＣＡＢＡＣエンコーダ１５００のモードにあるとき（上述のように）適応コンテキストモデルで動作し、かつ、バイパスエンコーダ１５１０のモードにあるとき、固定された５０％確率コンテキストモデルで動作するように、エンコーダ１６３０の制御下で動作する。
【0086】
第３の可能性は、２つの実質的に同一のＣＡＢＡＣエンコーダを並列に（図１５の並列配置と同様に）動作させることができるという点で、これらの２つを組み合わせる。その差は、バイパスエンコーダ１５１０として動作するＣＡＢＡＣエンコーダが、そのコンテキストモデルを５０％の確率コンテキストモデルで固定しているという点である。
【0087】
ＣＡＢＡＣ符号化プロセスおよびバイパス符号化プロセスの出力は、それぞれのバッファ１５４０、１５５０に（一時的に少なくとも）格納することができる。図１６の場合、スイッチまたはデマルチプレクサ１６６０は、モード信号１６３０の制御の下で機能し、ＣＡＢＡＣ符号化データをバッファ１５５０にルーティングし、符号化データをバッファ１５４０にバイパスする。
【0088】
図１７及び図１８は、ビデオデコーディング装置の一部を形成するエントロピーデコーダの例を概略的に示す。
図１７を参照すると、それぞれのバッファ１７１０、１７００は、ＣＡＢＡＣデコーダ１７３０およびバイパスデコーダ１７２０にデータを渡し、特定の符号化されたデータワードまたは値がＣＡＢＡＣデコーダまたはバイパスデコーダのいずれかによって復号されるが、両方ではないように配置される。復号化されたデータは、ロジック１７４０によって、後続の復号化段階のための適切な順序に再順序付けされる。
図１７を参照すると、それぞれのバッファ１７１０、１７００は、ＣＡＢＡＣデコーダ１７３０およびバイパスデコーダ１７２０にデータを渡し、特定の符号化されたデータワードまたは値がＣＡＢＡＣデコーダまたはバイパスデコーダのいずれかによって復号されるが、両方ではないように配置される。復号化されたデータは、ロジック１７４０によって、後続の復号化段階のための適切な順序に再順序付けされる。
【0089】
図１７の概略図は、ＣＡＢＡＣデコーダとバイパスデコーダを別々の配置として扱っている。これは、実際にはよく当てはまるが、図１８に概略的に示される別の可能性においては、単一のＣＡＢＡＣデコーダ１８５０が、図１７のＣＡＢＡＣデコーダ１７３０およびバイパスデコーダ１７２０の両方として使用される。
デコーダ１８５０は、ＣＡＢＡＣデコーダ１７３０のモードにあるとき（上述のように）適応コンテキストモデルで動作し、かつ、バイパスエンコーダ１７２０のモードにあるとき、固定された５０％確率コンテキストモデルで動作するように、デコーダ１８６０の制御下で動作する。
デコーダ１８５０は、ＣＡＢＡＣデコーダ１７３０のモードにあるとき（上述のように）適応コンテキストモデルで動作し、かつ、バイパスエンコーダ１７２０のモードにあるとき、固定された５０％確率コンテキストモデルで動作するように、デコーダ１８６０の制御下で動作する。
【0090】
前述のように、第３の可能性は、２つの実質的に同一のＣＡＢＡＣデコーダを並列に動作させることができるという点で（図１７の並列配置に同様）、その差は、バイパスデコーダ１７２０として動作するＣＡＢＡＣデコーダが、５０％の確率コンテキストモデルで固定されたコンテキストモデルを有することである。
【0091】
図１８の場合、スイッチまたはマルチプレクサ１８７０は、モード信号１８６０の制御下で作用して、ＣＡＢＡＣ符号化データを、適宜、バッファ１７００またはバッファ１７１０からデコーダ１８５０にルーティングする。
【0092】
図１９は、ピクチャ１９００を概略的に示し、以下の議論に関連する各種ピクチャ分割スキームを示すために使用される。
【0093】
ピクチャの分割の一例は、スライスまたは「正規のスライス」にある。各正規スライスは、独自のネットワーク抽象化層（ＮＡＬ）ユニットにカプセル化される。ピクチャ内の予測（例えば、サンプル内予測、動き情報予測、符号化モード予測）とスライス境界を越えるエントロピー符号化依存性は許可されない。つまり、通常のスライスは、同じピクチャ内の他の正規のスライスから独立して再構成できる。
いわゆるタイルは、ピクチャをタイルの行と列に分割するための水平方向の境界と垂直境界を定義する。正規のスライスに対応する方法では、インピクチャ予測依存性はタイル境界を越えて許可されず、エントロピーデコード依存性もない。ただし、タイルは、個々のＮＡＬ ユニットに含まれるように制約されない。
いわゆるタイルは、ピクチャをタイルの行と列に分割するための水平方向の境界と垂直境界を定義する。正規のスライスに対応する方法では、インピクチャ予測依存性はタイル境界を越えて許可されず、エントロピーデコード依存性もない。ただし、タイルは、個々のＮＡＬ ユニットに含まれるように制約されない。
【0094】
サブピクチャは、ピクチャの一領域を表し、個別に復号可能であり、再構成可能である。
【0095】
本技術の目的例は以下の通りである。
・複数のサブセクションからピクチャを形成することを可能にする。
・複数のサブセクションを別々に扱うことができ、潜在的に他のサブセクションに結合することができる（例えば、３６０度の表現や、パノラマまたは３６０度の表現における意図されたビューポートのための組み合わせ）。
・個々のサブセクションは、単一のデコーダによって抽出および複号化することができる。
・複数のサブセクションからピクチャを形成することを可能にする。
・複数のサブセクションを別々に扱うことができ、潜在的に他のサブセクションに結合することができる（例えば、３６０度の表現や、パノラマまたは３６０度の表現における意図されたビューポートのための組み合わせ）。
・個々のサブセクションは、単一のデコーダによって抽出および複号化することができる。
【0096】
一般的に言えば、１つのスライス内に複数のタイルがあったり、１つのタイル内に複数のスライスがあったり、１つのピクチャまたはサブピクチャ内に１つ以上のスライスがあったりする。
【0097】
これらはすべて、サブセクションの例であり、（少なくともいくつかの実施形態の目的のために）各サブセクションは、個別に復号化可能であり、再構成可能である（すなわち、そのピクチャまたはピクチャシーケンスの他のサブセクションとは独立して、符号化パラメータは共有されず、サブセクション境界を越えて依存しない）。
例えば、サブセクションは、サブピクチャ、スライス及びタイルから構成されるリストからのサブセクションをそれぞれ表すことができる。
例えば、サブセクションは、サブピクチャ、スライス及びタイルから構成されるリストからのサブセクションをそれぞれ表すことができる。
【0098】
図１９の概略例は、４つのスライス１９１０、１９２０、１９３０、１９４０を示し、スライス１９４０は、２つのタイル１９５０、１９６０を含む。しかしながら、言及されているように、これは単に任意の概略的な例である。
【0099】
いくつかの構成例では、以下の式に従って、スライスまたはピクチャに符号化され得るビンの数（ＥＰまたはＣＡＢＡＣのいずれか）に対して閾値が存在する。
【0100】
BinCountsinNalUnits <= (4/3) * NumByteslnVclNalUnits + (RawMinCuBits*PicSizelnMinCbsY)/32
【0101】
式の右側は、２つの部分の合計に依存する。これらは、特定の画像領域の定数値（RawMinCuBits*PicSizelnMinCbsY)で、スライスまたはピクチャのサイズに関連し、サブセクションまたはピクチャの出力ストリームで符号化されたバイト数である動的値(NumByteslnVclNalUnits)である。値１．２５は、ビットごとのビンの数を表すことに注意する。
【0102】
RawMinCuBitsは最小サイズ（通常は４＊４）の未加工のＣＵのビット数で、PicSizelnMinCbsYはサブセクションまたはピクチャの最小サイズＣＵの数である。
【0103】
この閾値を超えると、閾値が達成されるまで、ＣＡＢＡＣゼロワード（値００ ００ ０３を持つ３バイト）がストリームに付加される。このようなゼロワードのそれぞれは、動的値を３ずつ増加させる。
【0104】
この制約（またはそれぞれの定数が異なる他のバージョン）は、以下のように一般的に表現されてもよい。
N <= K1 * B + (K2 * CU)
ここで、N＝出力データ部の２値化シンボル数、
K1は定数、
B＝出力データ部のエンコードされたバイト数、
K2は、画像データ符号化装置によって採用される最小サイズ符号化単位の特性に依存する変数であり、
CU＝最小サイズの符号化単位数で表される出力データ部で表されるサブセクションのサイズである。
N <= K1 * B + (K2 * CU)
ここで、N＝出力データ部の２値化シンボル数、
K1は定数、
B＝出力データ部のエンコードされたバイト数、
K2は、画像データ符号化装置によって採用される最小サイズ符号化単位の特性に依存する変数であり、
CU＝最小サイズの符号化単位数で表される出力データ部で表されるサブセクションのサイズである。
【0105】
以前に提案した例では、この閾値チェックをピクチャとスライスレベルで実行される。
【0106】
ただし、図１９を参照して注記したように、ピクチャまたはスライスを複数のタイルに分割することができる。これが実行される理由の一例は、複数の同時（並列）デコーダの使用を可能にすることである。
【0107】
先に提案した配置下では、各タイルは必ずしも先に議論した閾値算出を満たさない。たとえば、タイルがピクチャのように単独で使用またはデコードされたり、異なるタイル（異なるクオンタイズパラメータや異なるソースなど）が一緒に合成されたりすると、合成されたスライスやピクチャが上記の仕様に準拠している保証がない場合がある。
【0108】
この問題に対処するために、例示的な実施形態では、ＣＡＢＡＣ閾値は、各スライスまたは画像単独の終わりではなく、各サブセクションの終わりに適用される。そのため、閾値の適用は、タイル、スライス、ピクチャのいずれかの符号化の最後に行われる。これを述べると、画像内の各タイルが閾値に準拠している場合、ピクチャ全体も準拠していなければならないと想定できるので、スライスまたはタイルに分割されたピクチャの場合、ピクチャの符号化の最後に閾値を再び適用する必要はない。
【0109】
より一般的には、本開示の実施形態は、ピクチャの２つ以上のサブセクションの各サブセクションにこの閾値を個別に適用する。
【0110】
「タイル」および「スライス」という用語は、独立して復号可能な単位を意味し、本出願の優先日に使用されている例のサブセクションに適用可能な名称を表す。名称の後続または他の変化の場合、その配置は、そのような独立して復号可能な他のユニットに適用可能である。「サブピクチャ」という用語は、サブセクションの例も指していることに注意する。
【0111】
上述の式を適用するために、動的値は、タイルの出力ストリームで符号化されたバイト数を表し、固定値はタイル内の最小サイズ符号化単位（ＣＵ）の数に依存する。
【0112】
図２０は、このテストを実行するように構成された装置を概略的に示す。
図２０を参照すると、入力２０００において、ＣＡＢＡＣ／ＥＰ符号化ストリームがエンコーダから受信される。検出器２０１０は、スライス、タイル、またはサブピクチャの符号化の終わりなどのサブセクションの完了を参照して、所定の段階で、上述した閾値算出が準拠しているかどうかを検出する。
コントローラ２０２０は、検出器２０１０による検出に応答してジェネレータ（生成器）２０３０を制御し、上述したＣＡＢＡＣゼロワードのようなパディングデータ２０４０を生成し、これを結合器２０５０によってストリームに付加して出力ストリーム２０６０を形成する。
ゼロワードの生成は、ゼロワードが付加されると、検出器２０１０が閾値に準拠しているかどうかを監視し続け、閾値に準拠した後、コントローラ２０２０にゼロワードの生成を中止させるように、検出器２０１０に信号を送り返すこともできる。
図２０を参照すると、入力２０００において、ＣＡＢＡＣ／ＥＰ符号化ストリームがエンコーダから受信される。検出器２０１０は、スライス、タイル、またはサブピクチャの符号化の終わりなどのサブセクションの完了を参照して、所定の段階で、上述した閾値算出が準拠しているかどうかを検出する。
コントローラ２０２０は、検出器２０１０による検出に応答してジェネレータ（生成器）２０３０を制御し、上述したＣＡＢＡＣゼロワードのようなパディングデータ２０４０を生成し、これを結合器２０５０によってストリームに付加して出力ストリーム２０６０を形成する。
ゼロワードの生成は、ゼロワードが付加されると、検出器２０１０が閾値に準拠しているかどうかを監視し続け、閾値に準拠した後、コントローラ２０２０にゼロワードの生成を中止させるように、検出器２０１０に信号を送り返すこともできる。
【0113】
先に説明した原理に従って作動する図７および図１４の装置は、画像データ符号化装置の一例を表し、
符号化された二値化シンボルを生成するために、第１の、コンテキスト適応二値算術符号化（ＣＡＢＡＣ）、符号化システム、または、第２の、バイパス、符号化システムによって符号化されるべき画像データを表すデータ項目を選択的に符号化するエントロピーエンコーダ（図１４）を備え、
画像データは、１つ以上のピクチャを表し、各々のピクチャは、
（ｉ）各ネットワークアブストラクションレイヤ（ＮＡＬ）部内の１つ以上のスライスと、
（ｉｉ）ピクチャ領域のそれぞれの水平方向の境界および垂直境界を定義し、それぞれのＮＡＬユニット内にカプセル化されるように制約されないゼロ個以上のタイルと、
を表す出力データ部を備え、
ピクチャの各スライスは、同じピクチャの他のスライスとは無関係に復号化可能であり、タイルは、同じピクチャの他のタイルとは無関係に復号化可能である。
エントロピーエンコーダは、その出力データ部のバイト単位のサイズに対する任意の個々の出力データ部によって表現され得る２値化シンボルの数に対する上限を定義する制約に従う出力データストリームを生成するように構成され、
エントロピーエンコーダは、制約を満たすために、その出力データ部のバイト単位のサイズを増加するように、スライスを表す各出力データ部およびタイルを表す各出力データ部に制約を適用し、制約を満たさない各出力データ部にパディングデータを提供するように構成される。
符号化された二値化シンボルを生成するために、第１の、コンテキスト適応二値算術符号化（ＣＡＢＡＣ）、符号化システム、または、第２の、バイパス、符号化システムによって符号化されるべき画像データを表すデータ項目を選択的に符号化するエントロピーエンコーダ（図１４）を備え、
画像データは、１つ以上のピクチャを表し、各々のピクチャは、
（ｉ）各ネットワークアブストラクションレイヤ（ＮＡＬ）部内の１つ以上のスライスと、
（ｉｉ）ピクチャ領域のそれぞれの水平方向の境界および垂直境界を定義し、それぞれのＮＡＬユニット内にカプセル化されるように制約されないゼロ個以上のタイルと、
を表す出力データ部を備え、
ピクチャの各スライスは、同じピクチャの他のスライスとは無関係に復号化可能であり、タイルは、同じピクチャの他のタイルとは無関係に復号化可能である。
エントロピーエンコーダは、その出力データ部のバイト単位のサイズに対する任意の個々の出力データ部によって表現され得る２値化シンボルの数に対する上限を定義する制約に従う出力データストリームを生成するように構成され、
エントロピーエンコーダは、制約を満たすために、その出力データ部のバイト単位のサイズを増加するように、スライスを表す各出力データ部およびタイルを表す各出力データ部に制約を適用し、制約を満たさない各出力データ部にパディングデータを提供するように構成される。
【0114】
例えば、第２の符号化システムは、固定された５０％確率コンテキストモデル（バイパス符号器／復号器１４２０など）を使用する二値算術符号化システムであってもよい。
【0115】
上述したように、検出器２０１０は、電流出力データ部の符号化に対して所定の段階で、制約が電流出力データ部によって満たされるかどうかを検出するように構成されてもよく、パディングデータ生成器２０３０は、挿入されるパディングデータを含む出力データ部が制約を満たすように、電流出力データ部に十分なパディングデータを生成し、挿入するように構成されてもよい。
【0116】
所定の段階は、電流出力データ部を符号化する端部であってもよい。
【0117】
先に説明した原理に従って作動する図７及び図１４の装置は、画像データ符号化装置の一例を表し、
符号化された二値化シンボルを生成するために、第１の、コンテキスト適応二値算術符号化（ＣＡＢＡＣ）、符号化システム、または、第２の、バイパス、符号化システムによって符号化されるべき画像データを表すデータ項目を選択的に符号化するためのエントロピーエンコーダを備える。
画像データは、ピクチャシーケンスの１つ以上のピクチャを表し、各ピクチャは、ピクチャのそれぞれのサブセクションを表す２つ以上の出力データ部を含み、
各サブセクションは、そのピクチャ及びピクチャシーケンスにおける他のサブセクションとは独立して復号可能であり、再構成可能である。
エントロピーエンコーダは、制約を満たすために、制約を満たさない各出力データ部に対して、その出力データ部のバイト単位のサイズを増加するように、制約を各出力データ部に適用し、パディングデータを提供するように構成される、その出力データ部のバイト単位のサイズに対する任意の個々の出力データ部によって表現され得る、２値化シンボルの数に対する上限を定義する制約に従って、出力データストリームを生成するように構成される。
符号化された二値化シンボルを生成するために、第１の、コンテキスト適応二値算術符号化（ＣＡＢＡＣ）、符号化システム、または、第２の、バイパス、符号化システムによって符号化されるべき画像データを表すデータ項目を選択的に符号化するためのエントロピーエンコーダを備える。
画像データは、ピクチャシーケンスの１つ以上のピクチャを表し、各ピクチャは、ピクチャのそれぞれのサブセクションを表す２つ以上の出力データ部を含み、
各サブセクションは、そのピクチャ及びピクチャシーケンスにおける他のサブセクションとは独立して復号可能であり、再構成可能である。
エントロピーエンコーダは、制約を満たすために、制約を満たさない各出力データ部に対して、その出力データ部のバイト単位のサイズを増加するように、制約を各出力データ部に適用し、パディングデータを提供するように構成される、その出力データ部のバイト単位のサイズに対する任意の個々の出力データ部によって表現され得る、２値化シンボルの数に対する上限を定義する制約に従って、出力データストリームを生成するように構成される。
【0118】
図２１は、画像データ符号化方法を示す模式的なフローチャートである。
この方法は、
符号化された二値化シンボルを生成するために、第１の、コンテキスト適応二値算術符号化（ＣＡＢＡＣ）、符号化システム、または第２の、バイパス、符号化システムによって符号化されるべき画像データを表すデータ項目を（ステップ２１００で）選択的に符号化するステップと、
（ステップ２１１０で）出力データストリームを生成するステップと、
制約を満たすために、その出力データ部のバイト単位のサイズを増加するように、制約を満たさない各出力データ部に（ステップ２１２０で）パディングデータを提供するステップと
を含む。
画像データは、ピクチャシーケンスの１つ以上のピクチャを表し、各ピクチャは、ピクチャのそれぞれのサブセクションを表す２つ以上の出力データ部を含み、
各サブセクションは、そのピクチャ及びピクチャシーケンスにおける他のサブセクションとは独立して復号可能であり、再構成可能である。
上記生成ステップは、その出力データ部のバイト単位のサイズに対する任意の個々の出力データ部によって表現され得る二値化シンボルの数に対する上限を定義する制約の対象となり、上記生成ステップは、各出力データ部に制約を適用することを含む。
この方法は、
符号化された二値化シンボルを生成するために、第１の、コンテキスト適応二値算術符号化（ＣＡＢＡＣ）、符号化システム、または第２の、バイパス、符号化システムによって符号化されるべき画像データを表すデータ項目を（ステップ２１００で）選択的に符号化するステップと、
（ステップ２１１０で）出力データストリームを生成するステップと、
制約を満たすために、その出力データ部のバイト単位のサイズを増加するように、制約を満たさない各出力データ部に（ステップ２１２０で）パディングデータを提供するステップと
を含む。
画像データは、ピクチャシーケンスの１つ以上のピクチャを表し、各ピクチャは、ピクチャのそれぞれのサブセクションを表す２つ以上の出力データ部を含み、
各サブセクションは、そのピクチャ及びピクチャシーケンスにおける他のサブセクションとは独立して復号可能であり、再構成可能である。
上記生成ステップは、その出力データ部のバイト単位のサイズに対する任意の個々の出力データ部によって表現され得る二値化シンボルの数に対する上限を定義する制約の対象となり、上記生成ステップは、各出力データ部に制約を適用することを含む。
【0119】
（エンコードプロファイル及び最小圧縮率）
以下の技術は、先に論じた技術のいずれかと組み合わせて適用することができ、または先に論じた技術の１つ以上とは無関係に適用することができる。
以下の技術は、先に論じた技術のいずれかと組み合わせて適用することができ、または先に論じた技術の１つ以上とは無関係に適用することができる。
【0120】
図２２は、ピクチャ２２００のサブセクション２２１０、２２２０の一例を概略的に示す。例えば、サブセクションは、いわゆるサブピクチャであってもよいし、上述した他のタイプのサブセクションであってもよい。
【0121】
各サブセクションには、符号化と復号化との態様を定義する関連パラメータ・データがある。このようなパラメータ・データは、一度（又は、連続するピクチャ間の反復的かつ同一のサブセクション分割を想定して、少なくともいくつかのピクチャのピクチャシーケンスに対して一度）提供されてもよく、又は、原則として、その特定のピクチャに含まれる特定のサブセクションに対して、各ピクチャに対して一度／一度ずつ提供されてもよい。
パラメータ・データは、ピクチャに関連するパラメータ・セット２３００（図２３）のサブ部分２３１０として、または、例えば、そのサブセクションに関連するサブセクション・ヘッダ・データによってサブセクション用の符号化プロファイルを表す、個々のサブセクション・パラメータ・セットとして提供することができる。
これらは、例えば、ヘッダ・データ、ＳＥＩ（補足拡張情報）メッセージ、シーケンスパラメータセット（サブセクションに関する情報を含むことができ、効果的に、完全なピクチャを再構築する方法に関する指示を含むことができる）などとして、ピクチャデータ自体を表す符号化データストリームと関連して通信することができる。
パラメータ・データは、ピクチャに関連するパラメータ・セット２３００（図２３）のサブ部分２３１０として、または、例えば、そのサブセクションに関連するサブセクション・ヘッダ・データによってサブセクション用の符号化プロファイルを表す、個々のサブセクション・パラメータ・セットとして提供することができる。
これらは、例えば、ヘッダ・データ、ＳＥＩ（補足拡張情報）メッセージ、シーケンスパラメータセット（サブセクションに関する情報を含むことができ、効果的に、完全なピクチャを再構築する方法に関する指示を含むことができる）などとして、ピクチャデータ自体を表す符号化データストリームと関連して通信することができる。
【0122】
全体像を参照するピクチャ・パラメータ・データに以前関連付けられていた符号化および復号化の一態様は、いわゆる最小圧縮率（ＭＣＲ）である。ＭＣＲの使用は、少なくとも以下の利点を提供する。
デコーダおよび／またはエンコーダ側の圧縮ピクチャバッファのようなバッファを、オーバーフローしないように適切なサイズにすることを可能にする。実際、いくつかの例では、ＭＣＲは、少なくとも部分的に、圧縮ピクチャバッファからデータを除去する率によって定義されてもよい。
デコーダおよび／またはエンコーダ側の圧縮ピクチャバッファのようなバッファを、オーバーフローしないように適切なサイズにすることを可能にする。実際、いくつかの例では、ＭＣＲは、少なくとも部分的に、圧縮ピクチャバッファからデータを除去する率によって定義されてもよい。
【0123】
ＭＣＲは、例えば、最終的な小数データ量の分母を示す比率値（例えば、１／２の圧縮率を示す２、又は、同じ圧縮率を示す１／２）又はピクチャの最大データ量（例えば、非圧縮版のピクチャが２Ｘキロバイトを必要とするＸキロバイト）によって定義することができる。表現形式の特定の選択は、現在の議論にとって技術的な意味を持たない。
【0124】
本開示の例では、各サブセクションは、それぞれの最小圧縮比に従う。例えば、このような部ＭＣＲは、特定のピクチャの特定のサブセクションに基づいて、またはピクチャのシーケンスにわたって定義されるサブセクションに基づいて、サブセクションに関連するパラメータ・データによって定義することができる。
言い換えると、関連データは、このようなＭＣＲをサブセクション単位で定義するために提供されてもよく、処理は、サブセクション単位で処理される、このようなＭＣＲを実装および／または準拠するために実行される。これにより、それぞれのＭＣＲが必ずしも異なる必要はなく、単に個別に指定するだけである。
言い換えると、関連データは、このようなＭＣＲをサブセクション単位で定義するために提供されてもよく、処理は、サブセクション単位で処理される、このようなＭＣＲを実装および／または準拠するために実行される。これにより、それぞれのＭＣＲが必ずしも異なる必要はなく、単に個別に指定するだけである。
【0125】
各サブセクションに適用可能な個々のＭＣＲの使用は、上記の利点に関連しており、その場合、サブセクションは互いに独立しており、このようなバッファがオーバーフローする可能性があるという懸念を減らしながら、個別にデコードおよびバッファリングすることができる。
【0126】
サブセクションが関連するＭＣＲに準拠していない場合、エンコーダは、より高い量子化ステップやドロップ係数データを使用するなど、この閾値を確実に満たすために別の選択を行う必要がある。
【0127】
ＭＣＲをサブセクションに関連付ける別の技術の例は、エンコーダおよび／またはデコーダ側で、全体像に適用可能な全体最小データ量の比例を各ピクチャに割り当てることである。例えば、これは、全体像におけるピクセル又はサンプルの数と比較して、サブセクションにおけるピクセル又はサンプルの数に依存して（例えば、比例して）実行されてもよい。
いくつかの例では、これはサブセクションのサイズから直接導き出すことができる。他の例では、値（例えばｎ／２５６ｔｈ、ここではｎは１から２５６の間）を各サブセクション（例えばパラメータまたはヘッダ・データ）に関連付け、その画像に関連付けられた最大データ量を掛け合わせることができる。画像全体の値ｎの合計は、通常、この例では２５６を超えないことが期待される。
いくつかの例では、これはサブセクションのサイズから直接導き出すことができる。他の例では、値（例えばｎ／２５６ｔｈ、ここではｎは１から２５６の間）を各サブセクション（例えばパラメータまたはヘッダ・データ）に関連付け、その画像に関連付けられた最大データ量を掛け合わせることができる。画像全体の値ｎの合計は、通常、この例では２５６を超えないことが期待される。
【0128】
他のいくつかの例では、ＭＣＲは、いわゆる符号化プロファイルによって定義することができる。いくつかの例では、本発明の装置は、一組の符号化プロファイルから選択された符号化プロファイルに従って動作可能であり、各符号化プロファイルは、符号化されるべき画像データおよび／または出力データストリームに少なくとも一組の制約を定義し、この場合、画像データ符号化装置は、そのピクチャの他のサブセクションに適用される符号化プロファイルとは無関係に、ピクチャの各サブセクションにそれぞれの符号化プロファイルを適用するように構成される。
【0129】
符号化プロファイルは、符号化および／または復号化に関連する特徴のセットまたはアンサンブルを定義することができる。通常、エンコードプロファイルは、特定のタイプのデータ、たとえば、ＨＤ（１９２０×１０８０画素画像など）や４Ｋ（３８４０×２１６０画像など）での使用を目的としている場合がある。しかし、少なくともほとんどの場合、例えば、４ＫプロファイルがＨＤ画像のサブセクションに使用されること、またはその逆のことを防ぐものは何もない。
プロファイルおよび／またはＭＣＲは、単に独立していてもよいし、互いに異なっていてもよい。サブセクションごとに異なるプロファイルを使用することにより、各サブピクチャの要件を、最終的に使用される可能性のあるエンコーディングプロファイル／レベル／階層の集合に対して、個別に、かつ正確に設定することが可能になる。これは、タイルの数やカラムなどの特徴に制約があるため、現在のピクチャ全体で線形に使用されないため、サブピクセルが表すピクセルの割合を調べるだけでは導出できないことが原因である可能性がある。
プロファイルおよび／またはＭＣＲは、単に独立していてもよいし、互いに異なっていてもよい。サブセクションごとに異なるプロファイルを使用することにより、各サブピクチャの要件を、最終的に使用される可能性のあるエンコーディングプロファイル／レベル／階層の集合に対して、個別に、かつ正確に設定することが可能になる。これは、タイルの数やカラムなどの特徴に制約があるため、現在のピクチャ全体で線形に使用されないため、サブピクセルが表すピクセルの割合を調べるだけでは導出できないことが原因である可能性がある。
【0130】
図２４は、画像の一連のサブセクションのためのそれぞれのデータ２４１０を含むデータ信号２４００を概略的に示しており、それぞれは、上述したように、関連するそれぞれのＭＣＲおよび／または符号化プロファイルを有する。
【0131】
図２５は、一方法を示す模式的なフローチャートであり、この方法は、
ピクチャシーケンスの１つ以上のピクチャを表す画像データを（ステップ２５００で）圧縮符号化するステップを含み、
各ピクチャは、ピクチャのそれぞれのサブサブセクションを表す２つ以上の出力データ部を含み、各サブセクションは、そのピクチャおよびピクチャシーケンス内の他のサブセクションとは無関係に復号化および再構成可能である。
ここで、前記圧縮符号化するステップは、一連の符号化プロファイルから選択された符号化プロファイルに従って動作可能であり、
各符号化プロファイルは、符号化されるべき画像データ及び／又は出力データストリームに対する一連の制約を少なくとも定義し、
ここで、圧縮符号化ステップは、そのピクチャの他のサブセクションに適用される符号化プロファイルとは無関係に、ピクチャの各サブセクションにそれぞれの符号化プロファイルを適用することを含む。
ピクチャシーケンスの１つ以上のピクチャを表す画像データを（ステップ２５００で）圧縮符号化するステップを含み、
各ピクチャは、ピクチャのそれぞれのサブサブセクションを表す２つ以上の出力データ部を含み、各サブセクションは、そのピクチャおよびピクチャシーケンス内の他のサブセクションとは無関係に復号化および再構成可能である。
ここで、前記圧縮符号化するステップは、一連の符号化プロファイルから選択された符号化プロファイルに従って動作可能であり、
各符号化プロファイルは、符号化されるべき画像データ及び／又は出力データストリームに対する一連の制約を少なくとも定義し、
ここで、圧縮符号化ステップは、そのピクチャの他のサブセクションに適用される符号化プロファイルとは無関係に、ピクチャの各サブセクションにそれぞれの符号化プロファイルを適用することを含む。
【0132】
図２５の特徴に従って動作する図７の装置は、画像データ符号化装置の一例を提供し、この装置は、
ピクチャシーケンスの１つ以上のピクチャを表す圧縮画像データを生成するために圧縮符号化を適用する画像データエンコーダを具備し、
各ピクチャは、２つ以上のサブセクションを表す出力データ部を備え、
サブセクションは、そのピクチャまたはそのピクチャシーケンスの他のサブセクションとは無関係に、復号化および再構成可能であり、
この装置は、一連の符号化プロファイルから選択された符号化プロファイルに従って動作可能であり、各符号化プロファイルは、符号化されるべき画像データ及び／又は出力データストリームに対する少なくとも一連の制約を定義し、
画像データ符号化装置は、そのピクチャの他のサブセクションに適用される符号化プロファイルとは無関係に、ピクチャの各サブセクションにそれぞれの符号化プロファイルを適用するように構成される。
ピクチャシーケンスの１つ以上のピクチャを表す圧縮画像データを生成するために圧縮符号化を適用する画像データエンコーダを具備し、
各ピクチャは、２つ以上のサブセクションを表す出力データ部を備え、
サブセクションは、そのピクチャまたはそのピクチャシーケンスの他のサブセクションとは無関係に、復号化および再構成可能であり、
この装置は、一連の符号化プロファイルから選択された符号化プロファイルに従って動作可能であり、各符号化プロファイルは、符号化されるべき画像データ及び／又は出力データストリームに対する少なくとも一連の制約を定義し、
画像データ符号化装置は、そのピクチャの他のサブセクションに適用される符号化プロファイルとは無関係に、ピクチャの各サブセクションにそれぞれの符号化プロファイルを適用するように構成される。
【0133】
（符号化例１－プロファイル定義を修正する）
Ａ．４．２ プロファイル固有のレベル制限
変数MinCrは、MinCrBase * MinCrScaleFactor ÷ HbrFactor に設定される。
サブピクチャインデックスｊの場合、変数SubPicSizelnSamplesY[j] は、(subpic_width_minus1[j]＋１） * (subpic_height_minus1[j] + 1) に等しく設定される。
そして、SubPictureFraction [j] は、SubPicSizelnSamplesY [j] ÷ PicSizelnSamplesY に設定される。
Ａ．４．２ プロファイル固有のレベル制限
変数MinCrは、MinCrBase * MinCrScaleFactor ÷ HbrFactor に設定される。
サブピクチャインデックスｊの場合、変数SubPicSizelnSamplesY[j] は、(subpic_width_minus1[j]＋１） * (subpic_height_minus1[j] + 1) に等しく設定される。
そして、SubPictureFraction [j] は、SubPicSizelnSamplesY [j] ÷ PicSizelnSamplesY に設定される。
【0134】
各サブピクチャjに対するアクセスユニット０のNumByteslnNalUnit変数の合計は、ピクチャ0のSubPicSizelnSamplesYの値に対する、FormatCapabilityFactor * (Max(SubPicSizelnSamplesY[j],fR * MaxLumaSr * SubPictureFraction[j]) + MaxLumaSr * (AuCpbRemovalTime[0] - AuNominalRemovalTirne[0]) * SubPictureFraction[j])÷MinCr以下であるべきである。
ここで、MaxLumaSr及びFormatCapabilityFactoryはそれぞれ、ピクチャ０に適用される表A.2及び表A.3において規定された値である。
ここで、MaxLumaSr及びFormatCapabilityFactoryはそれぞれ、ピクチャ０に適用される表A.2及び表A.3において規定された値である。
【0135】
各サブピクチャiに対するアクセスユニットn（nは０より大きい）用のNumByteslnNalUnit変数の合計は、FormatCapabilityFactor * MaxLumaSr * (AuCpbRemovalTime[n] - AuCpbRemovalTime[n-1]) * SubPictureFraction[j] ÷ MinC以下であるべきである。
ここで、MaxLumaSr およびFormatCapabilityFactor はそれぞれ、ピクチャnに適用される表A.2及び表A.3において規定された値である。
ここで、MaxLumaSr およびFormatCapabilityFactor はそれぞれ、ピクチャnに適用される表A.2及び表A.3において規定された値である。
【0136】
ここで留意すべきは、MaxLumaSr=Maximum luma sample rateである。FormatCapabilityFactorは、MaxLumaSrを未加工のビットレートに変換する。AuCpbRemovalTime[n]-AuCpbRemovalTime[n-1])は、このビットレートをフレームのビット数に変換するタイムスケールを指定する。
【0137】
（符号化例２－ＳＥＩセマンティクス）
Ｄ．３．８ サブピクチャレベル情報ＳＥＩメッセージセマンティクス
包括的にjのj番目のサブピクチャを０からsps_num_subpics_minus1までの範囲で抽出し、general_tier_flagが０であり、レベルが包括的に０からnum_ref_level_minus1までの範囲のｉに対して、ref_level_idc[i]に等しいプロファイルに準拠した結果のビットストリームが、付録Ｃで規定されているように、各ビットストリーム適合テストの以下の制約に従うことは、ビットストリーム適合の要件である。
・Ceil(256 * SubPicSizeY[j] ÷ RefLevelFraction[i][j])は、MaxLumaPs以下であるべきである。ここで、MaxLumaPsは、表Ａ．１において規定されている。
・Ceil(256 * (subpic_width_minus1 [j] + 1) ÷ RefLevelFraction[i][j])の値は、Sqrt(MaxLumaPs * 8)以下であるべきである。
・Ceil(256 * (subpic_height_minus1[j] + 1) ÷ RefLevelFraction[i][j])の値は、Sqrt(MaxLumaPs * 8)以下であるべきである。
・SubPicNumTileCols[j]の値は、MaxTileCols以下であるべきであり、SubPicNumTileRows[j]の値は、MaxTileRows以下であるべきである。ここで、MaxTileColsおよびMaxTileRowsは表Ａ．１において規定されている。
・j番目のサブピクチャに対応するアクセスユニット０のNumByteslnNalUnit変数の合計は、ピクチャ０のSubPicSizelnSamplesYの値に対するFormatCapabilityFactor * (Max(SubPicSizeY[i],fR * MaxLumaSr * Ref Level Fractionf[i][j] ÷256) + MaxLumaSr * (AuCpbRemovalTimef[0] - AuNominalRemovalTime[0]) * RefLevelFraction[i][j]) ÷(256 * MinCr)以下であるべきである。
ここで、MaxLumaSr及びFormatCapabilityFactorはそれぞれ、level_ref_level_idc[i]でピクチャ０に適用され、表Ａ．２及び表Ａ．３で規定されており、MinCrはＡ．４．２に示すように導出される。
・ｊ番目のサブピクチャに対応するアクセスユニットｎ（ｎは０より大きい）に対するNumByteslnNalUnit変数の合計は、FormatCapabilitvFactor * MaxLumaSr * (AuCpbRemovalTime[n] - AuCpbRemovalTime[n-1]) * RefLevelFraction[i][j] ÷(256 * MinCr)以下である必要がある。
ここで、MaxLumaSr及びFormatCapabilitvFactorはそれぞれ、level_ref_level_idcf[i]において画像ｎに適用される表Ａ．２及び表Ａ．３に指定された値であり、MinCrは、Ａ．４．２に示されるように導出される。
Ｄ．３．８ サブピクチャレベル情報ＳＥＩメッセージセマンティクス
包括的にjのj番目のサブピクチャを０からsps_num_subpics_minus1までの範囲で抽出し、general_tier_flagが０であり、レベルが包括的に０からnum_ref_level_minus1までの範囲のｉに対して、ref_level_idc[i]に等しいプロファイルに準拠した結果のビットストリームが、付録Ｃで規定されているように、各ビットストリーム適合テストの以下の制約に従うことは、ビットストリーム適合の要件である。
・Ceil(256 * SubPicSizeY[j] ÷ RefLevelFraction[i][j])は、MaxLumaPs以下であるべきである。ここで、MaxLumaPsは、表Ａ．１において規定されている。
・Ceil(256 * (subpic_width_minus1 [j] + 1) ÷ RefLevelFraction[i][j])の値は、Sqrt(MaxLumaPs * 8)以下であるべきである。
・Ceil(256 * (subpic_height_minus1[j] + 1) ÷ RefLevelFraction[i][j])の値は、Sqrt(MaxLumaPs * 8)以下であるべきである。
・SubPicNumTileCols[j]の値は、MaxTileCols以下であるべきであり、SubPicNumTileRows[j]の値は、MaxTileRows以下であるべきである。ここで、MaxTileColsおよびMaxTileRowsは表Ａ．１において規定されている。
・j番目のサブピクチャに対応するアクセスユニット０のNumByteslnNalUnit変数の合計は、ピクチャ０のSubPicSizelnSamplesYの値に対するFormatCapabilityFactor * (Max(SubPicSizeY[i],fR * MaxLumaSr * Ref Level Fractionf[i][j] ÷256) + MaxLumaSr * (AuCpbRemovalTimef[0] - AuNominalRemovalTime[0]) * RefLevelFraction[i][j]) ÷(256 * MinCr)以下であるべきである。
ここで、MaxLumaSr及びFormatCapabilityFactorはそれぞれ、level_ref_level_idc[i]でピクチャ０に適用され、表Ａ．２及び表Ａ．３で規定されており、MinCrはＡ．４．２に示すように導出される。
・ｊ番目のサブピクチャに対応するアクセスユニットｎ（ｎは０より大きい）に対するNumByteslnNalUnit変数の合計は、FormatCapabilitvFactor * MaxLumaSr * (AuCpbRemovalTime[n] - AuCpbRemovalTime[n-1]) * RefLevelFraction[i][j] ÷(256 * MinCr)以下である必要がある。
ここで、MaxLumaSr及びFormatCapabilitvFactorはそれぞれ、level_ref_level_idcf[i]において画像ｎに適用される表Ａ．２及び表Ａ．３に指定された値であり、MinCrは、Ａ．４．２に示されるように導出される。
【0138】
いずれの場合も、本開示の実施形態は、コンピュータソフトウェアによって表され、コンピュータによって実行されると、コンピュータは、それぞれの方法を実行し、そのようなコンピュータソフトウェアを記憶する機械読み取り可能な非一時的記憶媒体によって実行される。
符号化方法の場合、本開示の実施形態は、それぞれの方法に従って生成された符号化データを含むデータ信号によって表される。
符号化方法の場合、本開示の実施形態は、それぞれの方法に従って生成された符号化データを含むデータ信号によって表される。
【0139】
本開示の実施形態が、少なくとも部分的に、ソフトウェア制御型のデータ処理装置によって実装されるものとして説明されている限り、光ディスク、磁気ディスク、半導体メモリなど、そのようなソフトウェアを搬送する非一時的な機械可読媒体も、本開示の一実施形態を表すと考えられることが理解される。
同様に、上述の方法に従って生成された符号化データを含むデータ信号（非一時的機械可読媒体上に具体化されているか否かにかかわらず）も、本開示の実施形態を表すものと考えられる。
同様に、そのようなデータ信号を復号化するように構成されたデコーダは、本開示の一実施形態を表す。
同様に、上述の方法に従って生成された符号化データを含むデータ信号（非一時的機械可読媒体上に具体化されているか否かにかかわらず）も、本開示の実施形態を表すものと考えられる。
同様に、そのようなデータ信号を復号化するように構成されたデコーダは、本開示の一実施形態を表す。
【0140】
上記の教示に照らして、本開示の多数の修正および変動が可能であることは明らかであろう。したがって、付記された条項の範囲内で、技術は、本明細書に具体的に記載されている以外の方法で実施可能であることが理解されるべきである。
【0141】
各態様及び特徴は、以下の番号付き条項の集合によって定義される。
（１）符号化された二値化シンボルを生成するために、第１の、コンテキスト適応二値算術符号化（ＣＡＢＡＣ）、符号化システム、または、第２の、バイパス、符号化システムによって符号化されるべき画像データを表すデータ項目を選択的に符号化するエントロピーエンコーダを具備し、
前記画像データは、１つ以上のピクチャを表し、各々のピクチャは、
（ｉ）各ネットワークアブストラクションレイヤ（ＮＡＬ）部内の１つ以上のスライスと、
（ｉｉ）ピクチャ領域のそれぞれの水平方向の境界および垂直境界を定義し、それぞれのＮＡＬユニット内にカプセル化されるように制約されないゼロ個以上のタイルと、
を表す出力データ部を備え、
ピクチャの各スライスは、同じピクチャの他のスライスとは無関係に復号化可能であり、前記タイルは、同じピクチャの他のタイルとは無関係に復号化可能であり、
前記エントロピーエンコーダは、その出力データ部のバイト単位のサイズに対する任意の個々の出力データ部によって表現され得る２値化シンボルの数に対する上限を定義する制約に従う出力データストリームを生成するように構成され、
前記エントロピーエンコーダは、前記制約を満たすために、その出力データ部のバイト単位のサイズを増加するように、スライスを表す各出力データ部およびタイルを表す各出力データ部に前記制約を適用し、前記制約を満たさない各出力データ部にパディングデータを提供するように構成される
画像データ符号化装置。
（２）（１）に記載の画像データ符号化装置であって、
前記第２の符号化システムは、固定された５０％確率コンテキストモデルを使用する二値算術符号化システムである
画像データ符号化装置。
（３）（１）または（２）に記載の画像データ符号化装置であって、
前記制約は、
N <= K1 * B + (K2 * CU)
ここで、N＝前記出力データ部の２値化シンボル数、
K1は定数、
B＝前記出力データ部のエンコードされたバイト数、
K2は、前記画像データ符号化装置によって採用される最小サイズ符号化単位の特性に依存する変数であり、
CU＝最小サイズの符号化単位数で表される前記出力データ部で表される前記ピクチャ、スライスまたはタイルのサイズである
ように定義される
画像データ符号化装置。
（４）（１）～（３）のいずれか１つに記載の画像データ符号化装置であって、
電流出力データ部の符号化に対して所定の段階で、前記制約が前記電流出力データ部によって満たされるかどうかを検出するように構成された検出器と、
挿入されるパディングデータを含む前記出力データ部が前記制約を満たすように、前記電流出力データ部に十分なパディングデータを生成し、挿入するように構成されたパディングデータ生成器と
をさらに備える
画像データ符号化装置。
（５）（４）に記載の画像データ符号化装置であって、
前記所定の段階は、前記電流出力データ部を符号化する端部である
画像データ符号化装置。
（６）（１）～（５）のいずれか１つに記載の画像データ復号化装置を具備する、ビデオ記憶装置、キャプチャ装置、送受信装置。
（７）符号化された二値化シンボルを生成するために、第１の、コンテキスト適応二値算術符号化（ＣＡＢＡＣ）、符号化システム、または、第２の、バイパス、符号化システムによって符号化されるべき画像データを表すデータ項目を選択的に符号化するステップを含み、
前記画像データは、１つ以上のピクチャを表し、各々のピクチャは、
（ｉ）各ネットワークアブストラクションレイヤ（ＮＡＬ）部内の１つ以上のスライスと、
（ｉｉ）ピクチャ領域のそれぞれの水平方向の境界および垂直境界を定義し、それぞれのＮＡＬユニット内にカプセル化されるように制約されないゼロ個以上のタイルと、
を含み、
ピクチャの各スライスは、同じピクチャの他のスライスとは無関係に復号化可能であり、前記タイルは、同じピクチャの他のタイルとは無関係に復号化可能であり、
その出力データ部のバイト単位のサイズに対する任意の個々の出力データ部によって表現され得る２値化シンボルの数に対する上限を定義する制約に従う出力データストリームを生成し、
前記制約を満たすために、その出力データ部のバイト単位のサイズを増加するように、スライスを表す各出力データ部およびタイルを表す各出力データ部に前記制約を適用し、前記制約を満たさない各出力データ部にパディングデータを提供する
画像データ符号化方法。
（８）コンピュータによって実行されるときに、前記コンピュータに、（７）に記載の方法を実行させるコンピュータソフトウェア。
（９）（８）に記載のコンピュータソフトウェアを記憶する、機械読み取り可能な非一時的記憶媒体。
（１０）（７）に記載の方法に従って生成された符号化データを含むデータ信号。
（１１）（１０）に記載のデータ信号を復号化するように構成された画像データデコーダ。
（１）符号化された二値化シンボルを生成するために、第１の、コンテキスト適応二値算術符号化（ＣＡＢＡＣ）、符号化システム、または、第２の、バイパス、符号化システムによって符号化されるべき画像データを表すデータ項目を選択的に符号化するエントロピーエンコーダを具備し、
前記画像データは、１つ以上のピクチャを表し、各々のピクチャは、
（ｉ）各ネットワークアブストラクションレイヤ（ＮＡＬ）部内の１つ以上のスライスと、
（ｉｉ）ピクチャ領域のそれぞれの水平方向の境界および垂直境界を定義し、それぞれのＮＡＬユニット内にカプセル化されるように制約されないゼロ個以上のタイルと、
を表す出力データ部を備え、
ピクチャの各スライスは、同じピクチャの他のスライスとは無関係に復号化可能であり、前記タイルは、同じピクチャの他のタイルとは無関係に復号化可能であり、
前記エントロピーエンコーダは、その出力データ部のバイト単位のサイズに対する任意の個々の出力データ部によって表現され得る２値化シンボルの数に対する上限を定義する制約に従う出力データストリームを生成するように構成され、
前記エントロピーエンコーダは、前記制約を満たすために、その出力データ部のバイト単位のサイズを増加するように、スライスを表す各出力データ部およびタイルを表す各出力データ部に前記制約を適用し、前記制約を満たさない各出力データ部にパディングデータを提供するように構成される
画像データ符号化装置。
（２）（１）に記載の画像データ符号化装置であって、
前記第２の符号化システムは、固定された５０％確率コンテキストモデルを使用する二値算術符号化システムである
画像データ符号化装置。
（３）（１）または（２）に記載の画像データ符号化装置であって、
前記制約は、
N <= K1 * B + (K2 * CU)
ここで、N＝前記出力データ部の２値化シンボル数、
K1は定数、
B＝前記出力データ部のエンコードされたバイト数、
K2は、前記画像データ符号化装置によって採用される最小サイズ符号化単位の特性に依存する変数であり、
CU＝最小サイズの符号化単位数で表される前記出力データ部で表される前記ピクチャ、スライスまたはタイルのサイズである
ように定義される
画像データ符号化装置。
（４）（１）～（３）のいずれか１つに記載の画像データ符号化装置であって、
電流出力データ部の符号化に対して所定の段階で、前記制約が前記電流出力データ部によって満たされるかどうかを検出するように構成された検出器と、
挿入されるパディングデータを含む前記出力データ部が前記制約を満たすように、前記電流出力データ部に十分なパディングデータを生成し、挿入するように構成されたパディングデータ生成器と
をさらに備える
画像データ符号化装置。
（５）（４）に記載の画像データ符号化装置であって、
前記所定の段階は、前記電流出力データ部を符号化する端部である
画像データ符号化装置。
（６）（１）～（５）のいずれか１つに記載の画像データ復号化装置を具備する、ビデオ記憶装置、キャプチャ装置、送受信装置。
（７）符号化された二値化シンボルを生成するために、第１の、コンテキスト適応二値算術符号化（ＣＡＢＡＣ）、符号化システム、または、第２の、バイパス、符号化システムによって符号化されるべき画像データを表すデータ項目を選択的に符号化するステップを含み、
前記画像データは、１つ以上のピクチャを表し、各々のピクチャは、
（ｉ）各ネットワークアブストラクションレイヤ（ＮＡＬ）部内の１つ以上のスライスと、
（ｉｉ）ピクチャ領域のそれぞれの水平方向の境界および垂直境界を定義し、それぞれのＮＡＬユニット内にカプセル化されるように制約されないゼロ個以上のタイルと、
を含み、
ピクチャの各スライスは、同じピクチャの他のスライスとは無関係に復号化可能であり、前記タイルは、同じピクチャの他のタイルとは無関係に復号化可能であり、
その出力データ部のバイト単位のサイズに対する任意の個々の出力データ部によって表現され得る２値化シンボルの数に対する上限を定義する制約に従う出力データストリームを生成し、
前記制約を満たすために、その出力データ部のバイト単位のサイズを増加するように、スライスを表す各出力データ部およびタイルを表す各出力データ部に前記制約を適用し、前記制約を満たさない各出力データ部にパディングデータを提供する
画像データ符号化方法。
（８）コンピュータによって実行されるときに、前記コンピュータに、（７）に記載の方法を実行させるコンピュータソフトウェア。
（９）（８）に記載のコンピュータソフトウェアを記憶する、機械読み取り可能な非一時的記憶媒体。
（１０）（７）に記載の方法に従って生成された符号化データを含むデータ信号。
（１１）（１０）に記載のデータ信号を復号化するように構成された画像データデコーダ。
【0142】
さらなる各態様及び特徴が、以下の番号付き条項の集合によって定義される。
（１）符号化された二値化シンボルを生成するために、第１の、コンテキスト適応二値算術符号化（ＣＡＢＡＣ）、符号化システム、または、第２の、バイパス、符号化システムによって符号化されるべき画像データを表すデータ項目を選択的に符号化するためのエントロピーエンコーダを具備し、
画像データは、ピクチャシーケンスの１つ以上のピクチャを表し、各ピクチャは、ピクチャのそれぞれのサブセクションを表す２つ以上の出力データ部を含み、
各サブセクションは、そのピクチャ及びピクチャシーケンスにおける他のサブセクションとは独立して復号可能であり、再構成可能であり、
前記エントロピーエンコーダは、制約を満たすために、前記制約を満たさない各出力データ部に対して、その出力データ部のバイト単位のサイズを増加するように、前記制約を各出力データ部に適用し、パディングデータを提供するように構成される、その出力データ部のバイト単位のサイズに対する任意の個々の出力データ部によって表現される、２値化シンボルの数に対する上限を定義する前記制約に従って、出力データストリームを生成するように構成される
画像データ符号化装置。
（２）（１）に記載の画像データ符号化装置であって、
前記第２の符号化システムは、固定された５０％確率コンテキストモデルを使用する二値算術符号化システムである
画像データ符号化装置。
（３）（１）または（２）に記載の画像データ符号化装置であって、
前記制約は、
N <= K1 * B + (K2 * CU)
ここで、N＝前記出力データ部の２値化シンボル数、
K1は定数、
B＝前記出力データ部のエンコードされたバイト数、
K2は、前記画像データ符号化装置によって採用される最小サイズ符号化単位の特性に依存する変数であり、
CU＝最小サイズの符号化単位数で表される前記出力データ部で表される前記サブセクションのサイズである
ように定義される
画像データ符号化装置。
（４）（１）～（３）のいずれか１つに記載の画像データ符号化装置であって、
電流出力データ部の符号化に対して所定の段階で、前記制約が前記電流出力データ部によって満たされるかどうかを検出するように構成された検出器と、
挿入されるパディングデータを含む前記出力データ部が前記制約を満たすように、前記電流出力データ部に十分なパディングデータを生成し、挿入するように構成されたパディングデータ生成器と
をさらに備える
画像データ符号化装置。
（５）（４）に記載の画像データ符号化装置であって、
前記所定の段階は、前記電流出力データ部を符号化する端部である
画像データ符号化装置。
（６）（１）～（５）のいずれか１つに記載の画像データ符号化装置であって、
前記サブセクションは、サブピクチャ、スライス及びタイルから構成されるリストからのサブセクションをそれぞれ表す
画像データ符号化装置。
（７）（１）～（６）のいずれか１つに記載の画像データ符号化装置であって、
(i)サブピクチャは、前記ピクチャの一領域を表し、
(ii)スライスは、ピクチャ、サブピクチャ、またはタイルのラスタ順序における一部分を表し、それぞれのネットワーク抽象化層(NAL)ユニット内にカプセル化されるように制約され、
(iii)タイルは、ピクチャ、サブピクチャ、またはスライスのグリッド配置におけるそれぞれの水平および垂直境界を定義する一部分を表し、それぞれのNALユニット内にカプセル化されるように制約されない
画像データ符号化装置。
（８）（１）～（７）のいずれか１つに記載の画像データ符号化装置であって、
各サブセクションは、それぞれの最小圧縮比に従う
画像データ符号化装置。
（９）（１）～（８）のいずれか１つに記載の画像データ符号化装置であって、
前記画像データ符号化装置は、一組の符号化プロファイルから選択された符号化プロファイルに従って動作可能であり、
各符号化プロファイルは、前記符号化されるべき画像データおよび／または前記出力データストリームに少なくとも一組の制約を定義し、この場合、前記画像データ符号化装置は、そのピクチャの他のサブセクションに適用される前記符号化プロファイルとは無関係に、ピクチャの各サブセクションにそれぞれの符号化プロファイルを適用するように構成される
画像データ符号化装置。
（１０）（９）に記載の画像データ符号化装置であって、
サブセクション用の前記符号化プロファイルは、そのサブセクションに関連するサブセクション・ヘッダ・データによって定義される
画像データ符号化装置。
（１１）（１）～（１０）のいずれか１つに記載の画像データ復号化装置を具備する、ビデオ記憶装置、キャプチャ装置、送受信装置。
（１２）ピクチャシーケンスの１つ以上のピクチャを表す圧縮画像データを生成するために圧縮符号化を適用する画像データエンコーダを具備する画像データ符号化装置であって、
各ピクチャは、２つ以上のサブセクションを表す出力データ部を備え、
前記サブセクションは、そのピクチャまたはそのピクチャシーケンスの他のサブセクションとは無関係に、復号化および再構成可能であり、
前記画像データ符号化装置は、一連の符号化プロファイルから選択された符号化プロファイルに従って動作可能であり、各符号化プロファイルは、符号化されるべき画像データ及び／又は出力データストリームに対する少なくとも一連の制約を定義し、
前記画像データ符号化装置は、そのピクチャの他のサブセクションに適用される符号化プロファイルとは無関係に、ピクチャの各サブセクションにそれぞれの符号化プロファイルを適用するように構成される
画像データ符号化装置。
（１３）（１２）に記載の画像データ符号化装置であって、
前記符号化プロファイルは、少なくとも最小の圧縮率を定義し、
前記画像データエンコーダは、各サブセクションに適用可能なそれぞれの最小の圧縮率に従って、前記圧縮画像データを生成するように構成される
画像データ符号化装置。
（１４）（１２）または（１３）に記載の画像データ復号化装置を具備する、ビデオ記憶装置、キャプチャ装置、送受信装置。
（１５）符号化された二値化シンボルを生成するために、第１の、コンテキスト適応二値算術符号化（ＣＡＢＡＣ）、符号化システム、または、第２の、バイパス、符号化システムによって符号化されるべき画像データを表すデータ項目を選択的に符号化するステップと、
出力データストリームを生成するステップと、
制約を満たすために、その出力データ部のバイト単位のサイズを増加するように、前記制約を満たさない各出力データ部にパディングデータを提供するステップと
を含み、
前記画像データは、ピクチャシーケンスの１つ以上のピクチャを表し、各ピクチャは、ピクチャのそれぞれのサブセクションを表す２つ以上の出力データ部を含み、
各サブセクションは、そのピクチャ及びピクチャシーケンスにおける他のサブセクションとは独立して復号可能であり、再構成可能であり、
上記生成するステップは、その出力データ部のバイト単位のサイズに対する任意の個々の出力データ部によって表現され得る二値化シンボルの数に対する上限を定義する前記制約の対象となり、上記生成するステップは、各出力データ部に前記制約を適用することを含む
画像データ符号化方法。
（１６）コンピュータによって実行されるときに、前記コンピュータに、（１５）に記載の方法を実行させるコンピュータソフトウェア。
（１７）（１６）に記載のコンピュータソフトウェアを記憶する、機械読み取り可能な非一時的記憶媒体。
（１８）（１５）に記載の方法に従って生成された符号化データを含むデータ信号。
（１９）（１８）に記載のデータ信号を復号化するように構成された画像データデコーダ。
（２０）ピクチャシーケンスの１つ以上のピクチャを表す画像データを圧縮符号化するステップを含み、
各ピクチャは、前記ピクチャのそれぞれのサブサブセクションを表す２つ以上の出力データ部を含み、各サブセクションは、そのピクチャおよびピクチャシーケンス内の他のサブセクションとは無関係に復号化および再構成可能であり、
前記圧縮符号化するステップは、一連の符号化プロファイルから選択された符号化プロファイルに従って動作可能であり、
各符号化プロファイルは、符号化されるべき画像データ及び／又は出力データストリームに対する一連の制約を少なくとも定義し、
前記圧縮符号化するステップは、そのピクチャの他のサブセクションに適用される前記符号化プロファイルとは無関係に、ピクチャの各サブセクションにそれぞれの符号化プロファイルを適用することを含む
画像データ符号化方法。
（２１）コンピュータによって実行されるときに、前記コンピュータに、（２０）に記載の方法を実行させるコンピュータソフトウェア。
（２２）（２１）に記載のコンピュータソフトウェアを記憶する、機械読み取り可能な非一時的記憶媒体。
（２３）（２０）に記載の方法に従って生成された符号化データを含むデータ信号。
（２４）画像の一連のサブセクション用のそれぞれのデータを含み、
各々のデータが、関連するそれぞれの最小の圧縮比および/または符号化プロファイルを有する
データ信号。
（２５）（２３）または（２４）に記載のデータ信号を復号化するように構成された画像データデコーダ。
（１）符号化された二値化シンボルを生成するために、第１の、コンテキスト適応二値算術符号化（ＣＡＢＡＣ）、符号化システム、または、第２の、バイパス、符号化システムによって符号化されるべき画像データを表すデータ項目を選択的に符号化するためのエントロピーエンコーダを具備し、
画像データは、ピクチャシーケンスの１つ以上のピクチャを表し、各ピクチャは、ピクチャのそれぞれのサブセクションを表す２つ以上の出力データ部を含み、
各サブセクションは、そのピクチャ及びピクチャシーケンスにおける他のサブセクションとは独立して復号可能であり、再構成可能であり、
前記エントロピーエンコーダは、制約を満たすために、前記制約を満たさない各出力データ部に対して、その出力データ部のバイト単位のサイズを増加するように、前記制約を各出力データ部に適用し、パディングデータを提供するように構成される、その出力データ部のバイト単位のサイズに対する任意の個々の出力データ部によって表現される、２値化シンボルの数に対する上限を定義する前記制約に従って、出力データストリームを生成するように構成される
画像データ符号化装置。
（２）（１）に記載の画像データ符号化装置であって、
前記第２の符号化システムは、固定された５０％確率コンテキストモデルを使用する二値算術符号化システムである
画像データ符号化装置。
（３）（１）または（２）に記載の画像データ符号化装置であって、
前記制約は、
N <= K1 * B + (K2 * CU)
ここで、N＝前記出力データ部の２値化シンボル数、
K1は定数、
B＝前記出力データ部のエンコードされたバイト数、
K2は、前記画像データ符号化装置によって採用される最小サイズ符号化単位の特性に依存する変数であり、
CU＝最小サイズの符号化単位数で表される前記出力データ部で表される前記サブセクションのサイズである
ように定義される
画像データ符号化装置。
（４）（１）～（３）のいずれか１つに記載の画像データ符号化装置であって、
電流出力データ部の符号化に対して所定の段階で、前記制約が前記電流出力データ部によって満たされるかどうかを検出するように構成された検出器と、
挿入されるパディングデータを含む前記出力データ部が前記制約を満たすように、前記電流出力データ部に十分なパディングデータを生成し、挿入するように構成されたパディングデータ生成器と
をさらに備える
画像データ符号化装置。
（５）（４）に記載の画像データ符号化装置であって、
前記所定の段階は、前記電流出力データ部を符号化する端部である
画像データ符号化装置。
（６）（１）～（５）のいずれか１つに記載の画像データ符号化装置であって、
前記サブセクションは、サブピクチャ、スライス及びタイルから構成されるリストからのサブセクションをそれぞれ表す
画像データ符号化装置。
（７）（１）～（６）のいずれか１つに記載の画像データ符号化装置であって、
(i)サブピクチャは、前記ピクチャの一領域を表し、
(ii)スライスは、ピクチャ、サブピクチャ、またはタイルのラスタ順序における一部分を表し、それぞれのネットワーク抽象化層(NAL)ユニット内にカプセル化されるように制約され、
(iii)タイルは、ピクチャ、サブピクチャ、またはスライスのグリッド配置におけるそれぞれの水平および垂直境界を定義する一部分を表し、それぞれのNALユニット内にカプセル化されるように制約されない
画像データ符号化装置。
（８）（１）～（７）のいずれか１つに記載の画像データ符号化装置であって、
各サブセクションは、それぞれの最小圧縮比に従う
画像データ符号化装置。
（９）（１）～（８）のいずれか１つに記載の画像データ符号化装置であって、
前記画像データ符号化装置は、一組の符号化プロファイルから選択された符号化プロファイルに従って動作可能であり、
各符号化プロファイルは、前記符号化されるべき画像データおよび／または前記出力データストリームに少なくとも一組の制約を定義し、この場合、前記画像データ符号化装置は、そのピクチャの他のサブセクションに適用される前記符号化プロファイルとは無関係に、ピクチャの各サブセクションにそれぞれの符号化プロファイルを適用するように構成される
画像データ符号化装置。
（１０）（９）に記載の画像データ符号化装置であって、
サブセクション用の前記符号化プロファイルは、そのサブセクションに関連するサブセクション・ヘッダ・データによって定義される
画像データ符号化装置。
（１１）（１）～（１０）のいずれか１つに記載の画像データ復号化装置を具備する、ビデオ記憶装置、キャプチャ装置、送受信装置。
（１２）ピクチャシーケンスの１つ以上のピクチャを表す圧縮画像データを生成するために圧縮符号化を適用する画像データエンコーダを具備する画像データ符号化装置であって、
各ピクチャは、２つ以上のサブセクションを表す出力データ部を備え、
前記サブセクションは、そのピクチャまたはそのピクチャシーケンスの他のサブセクションとは無関係に、復号化および再構成可能であり、
前記画像データ符号化装置は、一連の符号化プロファイルから選択された符号化プロファイルに従って動作可能であり、各符号化プロファイルは、符号化されるべき画像データ及び／又は出力データストリームに対する少なくとも一連の制約を定義し、
前記画像データ符号化装置は、そのピクチャの他のサブセクションに適用される符号化プロファイルとは無関係に、ピクチャの各サブセクションにそれぞれの符号化プロファイルを適用するように構成される
画像データ符号化装置。
（１３）（１２）に記載の画像データ符号化装置であって、
前記符号化プロファイルは、少なくとも最小の圧縮率を定義し、
前記画像データエンコーダは、各サブセクションに適用可能なそれぞれの最小の圧縮率に従って、前記圧縮画像データを生成するように構成される
画像データ符号化装置。
（１４）（１２）または（１３）に記載の画像データ復号化装置を具備する、ビデオ記憶装置、キャプチャ装置、送受信装置。
（１５）符号化された二値化シンボルを生成するために、第１の、コンテキスト適応二値算術符号化（ＣＡＢＡＣ）、符号化システム、または、第２の、バイパス、符号化システムによって符号化されるべき画像データを表すデータ項目を選択的に符号化するステップと、
出力データストリームを生成するステップと、
制約を満たすために、その出力データ部のバイト単位のサイズを増加するように、前記制約を満たさない各出力データ部にパディングデータを提供するステップと
を含み、
前記画像データは、ピクチャシーケンスの１つ以上のピクチャを表し、各ピクチャは、ピクチャのそれぞれのサブセクションを表す２つ以上の出力データ部を含み、
各サブセクションは、そのピクチャ及びピクチャシーケンスにおける他のサブセクションとは独立して復号可能であり、再構成可能であり、
上記生成するステップは、その出力データ部のバイト単位のサイズに対する任意の個々の出力データ部によって表現され得る二値化シンボルの数に対する上限を定義する前記制約の対象となり、上記生成するステップは、各出力データ部に前記制約を適用することを含む
画像データ符号化方法。
（１６）コンピュータによって実行されるときに、前記コンピュータに、（１５）に記載の方法を実行させるコンピュータソフトウェア。
（１７）（１６）に記載のコンピュータソフトウェアを記憶する、機械読み取り可能な非一時的記憶媒体。
（１８）（１５）に記載の方法に従って生成された符号化データを含むデータ信号。
（１９）（１８）に記載のデータ信号を復号化するように構成された画像データデコーダ。
（２０）ピクチャシーケンスの１つ以上のピクチャを表す画像データを圧縮符号化するステップを含み、
各ピクチャは、前記ピクチャのそれぞれのサブサブセクションを表す２つ以上の出力データ部を含み、各サブセクションは、そのピクチャおよびピクチャシーケンス内の他のサブセクションとは無関係に復号化および再構成可能であり、
前記圧縮符号化するステップは、一連の符号化プロファイルから選択された符号化プロファイルに従って動作可能であり、
各符号化プロファイルは、符号化されるべき画像データ及び／又は出力データストリームに対する一連の制約を少なくとも定義し、
前記圧縮符号化するステップは、そのピクチャの他のサブセクションに適用される前記符号化プロファイルとは無関係に、ピクチャの各サブセクションにそれぞれの符号化プロファイルを適用することを含む
画像データ符号化方法。
（２１）コンピュータによって実行されるときに、前記コンピュータに、（２０）に記載の方法を実行させるコンピュータソフトウェア。
（２２）（２１）に記載のコンピュータソフトウェアを記憶する、機械読み取り可能な非一時的記憶媒体。
（２３）（２０）に記載の方法に従って生成された符号化データを含むデータ信号。
（２４）画像の一連のサブセクション用のそれぞれのデータを含み、
各々のデータが、関連するそれぞれの最小の圧縮比および/または符号化プロファイルを有する
データ信号。
（２５）（２３）または（２４）に記載のデータ信号を復号化するように構成された画像データデコーダ。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【国際調査報告】