IP Force 特許公報掲載プロジェクト 2022.1.31 β版

ホーム > 特許ランキング > シャープ株式会社

このエントリーをはてなブックマークに追加

知財求人 - 知財ポータルサイト「IP Force」

▶ シャープ株式会社の特許一覧

<>
  • 特開-動画像符号化装置、復号装置 図1
  • 特開-動画像符号化装置、復号装置 図2
  • 特開-動画像符号化装置、復号装置 図3
  • 特開-動画像符号化装置、復号装置 図4
  • 特開-動画像符号化装置、復号装置 図5
  • 特開-動画像符号化装置、復号装置 図6
  • 特開-動画像符号化装置、復号装置 図7
  • 特開-動画像符号化装置、復号装置 図8
  • 特開-動画像符号化装置、復号装置 図9
  • 特開-動画像符号化装置、復号装置 図10
  • 特開-動画像符号化装置、復号装置 図11
  • 特開-動画像符号化装置、復号装置 図12
  • 特開-動画像符号化装置、復号装置 図13
  • 特開-動画像符号化装置、復号装置 図14
  • 特開-動画像符号化装置、復号装置 図15
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024117366
(43)【公開日】2024-08-29
(54)【発明の名称】動画像符号化装置、復号装置
(51)【国際特許分類】
   H04N 19/70 20140101AFI20240822BHJP
   H04N 19/85 20140101ALI20240822BHJP
【ＦＩ】
H04N19/70
H04N19/85
【審査請求】未請求
【請求項の数】4
【出願形態】ＯＬ
(21)【出願番号】P 2023023430
(22)【出願日】2023-02-17
【国等の委託研究の成果に係る記載事項】（出願人による申告）令和４年度、国立研究開発法人情報通信研究機構、「Ｂｅｙｏｎｄ ５Ｇ研究開発促進事業（一般型）／日米豪国際連携を通じた超カバレッジＢｅｙｏｎｄ ５Ｇ無線通信・映像符号化標準化技術の研究開発」、産業技術力強化法第１７条の適用を受ける特許出願
(71)【出願人】
【識別番号】000005049
【氏名又は名称】シャープ株式会社
(74)【代理人】
【識別番号】100161207
【弁理士】
【氏名又は名称】西澤 和純
(74)【代理人】
【識別番号】100129115
【弁理士】
【氏名又は名称】三木 雅夫
(74)【代理人】
【識別番号】100133569
【弁理士】
【氏名又は名称】野村 進
(74)【代理人】
【識別番号】100131473
【弁理士】
【氏名又は名称】覚田 功二
(72)【発明者】
【氏名】中條 健
(72)【発明者】
【氏名】猪飼 知宏
(72)【発明者】
【氏名】八杉 将伸
(72)【発明者】
【氏名】青野 友子
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159LA00
5C159LB15
5C159RC11
5C159UA11
(57)【要約】
【課題】動画像符号化、復号方式は、伝送レートが低い場合、符号化歪によって画質が劣化するが、ポストフィルタ処理によって画質を改善することが可能である。しかし、ポストフィルタヒント情報として、相互相関行列を定義する場合に、行列の各要素の値が小さくなりすぎて精度に問題が生じるという課題がある。
【解決手段】本発明の一態様に係る動画像復号装置は、符号化データを復号して復号画像を生成する画像復号装置と、前記復号画像にポストフィルタ処理を行うポストフィルタ処理装置と、前記ポストフィルタ処理装置で用いる補助拡張情報を復号する補助拡張情報復号装置を有し、前記補助拡張情報復号装置では、復号画像の画素ビット長によらない一定のビット精度の復号画像と原画画像の相互相関行列情報を復号することを特徴とする。
【選択図】図1
【特許請求の範囲】
【請求項1】
符号化データを復号して復号画像を生成する画像復号装置と、
前記復号画像にポストフィルタ処理を行うポストフィルタ処理装置と、
前記ポストフィルタ処理装置で用いる補助拡張情報を復号する補助拡張情報復号装置を有し、
前記補助拡張情報復号装置では、復号画像の画素ビット長によらない一定のビット精度の復号画像と原画画像の相互相関行列情報を復号することを特徴とする動画像復号装置。
【請求項2】
入力画像を符号化する画像符号化装置と、
ポストフィルタ処理のための補助拡張情報を生成する補助拡張情報生成装置と、
前記補助拡張情報を符号化する補助拡張符号化装置を有し、
前記補助拡張情報生成装置では、復号画像の画素ビット長によらない一定のビット精度の局部復号画像と原画画像の相互相関行列情報を生成し、
前記相互相関情報を符号化する補助拡張情報符号化装置を有することを特徴とする動画像符号化装置。
【請求項3】
符号化データを復号して復号画像を生成する画像復号装置と、
前記復号画像にポストフィルタ処理を行うポストフィルタ処理装置と、
前記ポストフィルタ処理装置で用いる補助拡張情報を復号する補助拡張情報復号装置を有し、
前記ポストフィルタ処理装置では、4:2:2フォーマット復号画像の色差画素のアップサンプリング処理を行う時に、
前記補助拡張情報復号装置で、出力フォーマットのためのフラグ情報を復号しないことを特徴とするとする動画像復号装置。
【請求項4】
入力画像を符号化する画像符号化装置と、
ポストフィルタ処理のための補助拡張情報を生成する補助拡張情報生成装置と、
前記補助拡張情報を符号化する補助拡張符号化装置を有し、
前記、補助拡張生成装置では、4:2:2フォーマット復号画像の色差画素のアップサンプリング処理のための補助拡張情報を生成し、
前記補助拡張情報符号化装置では、出力フォーマットのためのフラグ情報を符号化しないことを特徴とするとする動画像符号化装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、動画像符号化装置、復号装置に関する。
【背景技術】
【0002】
動画像を効率的に伝送または記録するために、動画像を符号化することによって符号化データを生成する動画像符号化装置、および、当該符号化データを復号することによって復号画像を生成する動画像復号装置が用いられている。
【0003】
具体的な動画像符号化方式としては、例えば、H.264/AVCやH.265/HEVC（High-Efficiency Video Coding）方式などが挙げられる。
【0004】
このような動画像符号化方式においては、動画像を構成する画像（ピクチャ）は、画像を分割することにより得られるスライス、スライスを分割することにより得られる符号化ツリーユニット（CTU：Coding Tree Unit）、符号化ツリーユニットを分割することで得られる符号化単位（符号化ユニット（Coding Unit：CU）と呼ばれることもある）、及び、符号化単位を分割することより得られる変換ユニット（TU：Transform Unit）からなる階層構造により管理され、CU毎に符号化／復号される。
【0005】
また、このような動画像符号化方式においては、通常、入力画像を符号化／復号することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像を入力画像（原画像）から減算して得られる予測誤差（「差分画像」または「残差画像」と呼ぶこともある）が符号化される。予測画像の生成方法としては、画面間予測（インター予測）、および、画面内予測（イントラ予測）が挙げられる。
【0006】
また、近年の動画像符号化及び復号の技術として非特許文献１が挙げられる。非特許文献１においては、画像の性質や、表示方法、タイミングなどを符号化データと同時に伝送するための補助拡張情報SEI（Supplemental Enhancement Information）messageが規定されている。そして、ポストフィルタとして利用されるニューラルネットワークフィルタのトポロジーとパラメータをランダムアクセス可能な単位で伝送するSEIが開示されている。また、ポストフィルタ処理を行うかをピクチャ単位で伝送するSEIが開示されている。
【0007】
非特許文献１においては、改善方法として、ニューラルネットワークの入力テンソルが整数値の場合にビット長を輝度と色差で別々に定義する方法が記載されている。
【0008】
また、非特許文献１においては、ポストフィルタ処理のためのヒント情報を伝送するSEIも開示されている。
【先行技術文献】
【非特許文献】
【0009】
【非特許文献1】Improvements under consideration for neural network post filter SEI messages, JVET-AC2032, 2023-02-01.
【発明の概要】
【発明が解決しようとする課題】
【0010】
非特許文献１で開示されている方法では、ポストフィルタヒント情報として、相互相関行列を定義する場合に、行列の各要素の値が小さくなりすぎて精度に問題が生じるという課題があった。
【0011】
また、非特許文献で開示されている方法では、色差のアップサンプリング処理を行う場合に、入力が4:2:2フォーマットの場合、色差のアップサンプリングは、必ず4:4:4フォーマットになるため、フラグ情報が冗長になるという課題があった。
【課題を解決するための手段】
【0012】
本発明の一態様に係る動画像復号装置は、符号化データを復号して復号画像を生成する画像復号装置と、前記復号画像にポストフィルタ処理を行うポストフィルタ処理装置と、前記ポストフィルタ処理装置で用いる補助拡張情報を復号する補助拡張情報復号装置を有し、前記補助拡張情報復号装置では、復号画像の画素ビット長によらない一定のビット精度の復号画像と原画画像の相互相関行列情報を復号することを特徴とする。
【0013】
また、本発明の一態様に係る動画像符号化装置は、入力画像を符号化する画像符号化装置と、ポストフィルタ処理のための補助拡張情報を生成する補助拡張情報生成装置と、前記補助拡張情報を符号化する補助拡張符号化装置を有し、前記補助拡張情報生成装置では、復号画像の画素ビット長によらない一定のビット精度の局部復号画像と原画画像の相互相関行列情報を生成し、前記相互相関情報を符号化する補助拡張情報符号化装置を有することを特徴とする。
【0014】
本発明の一態様に係る動画像復号装置は、符号化データを復号して復号画像を生成する画像復号装置と、前記復号画像にポストフィルタ処理を行うポストフィルタ処理装置と、前記ポストフィルタ処理装置で用いる補助拡張情報を復号する補助拡張情報復号装置を有し、前記ポストフィルタ処理装置では、4:2:2フォーマット復号画像の色差画素のアップサンプリング処理を行う時に、前記補助拡張情報復号装置で、出力フォーマットのためのフラグ情報を復号しないことを特徴とする。
【0015】
本発明の一態様に係る動画像符号化装置は、入力画像を符号化する画像符号化装置と、ポストフィルタ処理のための補助拡張情報を生成する補助拡張情報生成装置と、前記補助拡張情報を符号化する補助拡張符号化装置を有し、前記、補助拡張生成装置では、4:2:2フォーマット復号画像の色差画素のアップサンプリング処理のための補助拡張情報を生成し、前記補助拡張情報符号化装置では、出力フォーマットのためのフラグ情報を符号化しないことを特徴とする。
【発明の効果】
【0016】
このような構成にすることで、非特許文献で開示されている方法では、ポストフィルタヒント情報として、相互相関行列を定義する場合に、行列の各要素の値が小さくなりすぎて精度に問題が生じるという課題を解決できる。
【0017】
また、非特許文献で開示されている方法では、色差のアップサンプリング処理を行う場合に、入力が4:2:2フォーマットの場合、色差のアップサンプリングは、必ず4:4:4フォーマットになるため、フラグ情報が冗長になるという課題を解決できる。
【図面の簡単な説明】
【0018】
【図1】本実施形態に係る動画像伝送システムの構成を示す概略図である。
【図2】符号化データの階層構造を示す図である。
【図3】PU単位での符号化データの階層構造を示す図である。
【図4】画像復号装置の構成を示す概略図である。
【図5】画像復号装置の概略的動作を説明するフローチャートである。
【図6】画像符号化装置の構成を示すブロック図である。
【図7】ニューラルネットワークポストフィルタ特性(NNPFC)SEIのシンタックスを示す図である。
【図8】ニューラルネットワークポストフィルタアクティベーション(NNPFA)SEIのシンタクスを示す図である。
【図9】ポストフィルタヒントSEIのシンタクスを示す図である。
【図10】非特許文献の相互相関行列を求める式を示す図である。
【図11】本実施の形態における相互相関行列を求める式を示す図である。
【図12】本実施の形態における別の相互相関行列を求める式を示す図である。
【図13】SEIメッセージのコンテナであるSEIペイロードのシンタクスを示す図である。
【図14】ポストフィルタ処理装置61の処理のフローチャートを示す図である。
【図15】NNC符号化装置・復号装置について示す図である。
【発明を実施するための形態】
【0019】
（第１の実施形態）
以下、図面を参照しながら本発明の実施形態について説明する。
【0020】
図1は、本実施に係る別の動画像伝送システムの構成を示す概略図である。
【0021】
動画像伝送システム1は、画像を符号化した符号化データを伝送し、伝送された符号化データを復号し表示を行うシステムである。動画像伝送システム1は、動画像符号化装置10とネットワーク21と動画像復号装置30と画像表示装置41からなる。
【0022】
動画像符号化装置10は、画像符号化装置（画像符号化部）11、補助拡張情報作成装置（補助拡張情報作成部）71、補助拡張情報符号化装置（補助拡張情報符号化部）81、プレフィルタ処理装置（プレフィルタ処理部）1001から構成される。
【0023】
動画像符号化装置10は、入力動画像T1をプレフィルタ処理装置51でプレフィルタ処理画像T2を作成し、画像符号化装置11で画像の圧縮、符号化を行うとともに、入力動画像T1と画像符号化装置11の局部復号画像T3を解析して、ポストフィルタ処理61に入力するための補助拡張情報を補助拡張情報作成装置51で生成し、補助拡張上方符号化装置81で符号化し、符号化データTeを生成し、ネットワーク21に送出する。
【0024】
動画像復号装置30は、画像復号装置（画像復号部）31、補助拡張情報復号装置（補助拡張情報復号部）91、ポストフィルタ処理装置（ホストフィルタ処理部）61から構成される。
【0025】
動画像復号装置30は、ネットワーク21より受信した符号化データTeを画像復号装置31と補助拡張情報復号装置91で復号し、ポストフィルタ処理装置61で復号画像Td1に対して補助拡張情報を用いて、ポストフィルタ処理を行い、ポストフィルタ復号画像Td2を画像表示装置41に出力する。
【0026】
なお、ポストフィルタ処理装置61は、補助拡張情報に用いてポストフィルタ処理を行わず、復号画像Td1をそのまま出力してもよい。
【0027】
画像表示装置41は、ポストフィルタ処理装置1002から出力されたポストフィルタ画像Td2の全部または一部を表示する。画像表示装置41は、例えば、液晶ディスプレイ、有機EL（Electro-luminescence）ディスプレイ等の表示デバイスを備える。ディスプレイの形態としては、据え置き、モバイル、HMD等が挙げられる。また、画像復号装置31が高い処理能力を有する場合には、画質の高い画像を表示し、より低い処理能力しか有しない場合には、高い処理能力、表示能力を必要としない画像を表示する。
【0028】
ネットワーク21は、符号化された補助拡張情報及び符号化データTeを画像復号装置31に伝送する。符号化された補助拡張情報の一部または全部は、補助拡張情報SEIとして、符号化データTeに含められてもよい。ネットワーク21は、インターネット（Internet）、広域ネットワーク（WAN:Wide Area Network）、小規模ネットワーク（LAN:Local Area Network）またはこれらの組み合わせである。ネットワーク21は、必ずしも双方向の通信網に限らず、地上デジタル放送、衛星放送等の放送波を伝送する一方向の通信網であっても良い。また、ネットワーク21は、DVD（Digital Versatile Disc:登録商標）、BD（Blue-ray Disc:登録商標）等の符号化データTeを記録した記憶媒体で代替されても良い。
【0029】
具体的な実施の形態の一例としては、プレフィルタ処理では、入力画像を縮小して、補助拡張情報としては、ポストフィルタ処理ではニューラルネットワークに基づく超解像処理によって復号画像を拡大するためのニューラルネットワーク処理のための補助拡張情報を符号化、復号してもよい。
【0030】
具体的な実施の形態の別の一例としては、プレフィルタ処理では、特に処理を行わず、補助拡張情報としては、ポストフィルタ処理ではニューラルネットワークに基づく画像復元処理によって復号画像を入力動画像に復元するためのニューラルネットワーク処理のための補助拡張情報を符号化、復号してもよい。
【0031】
このような構成において、効率的に補助拡張情報を符号化、復号することが可能とする枠組みを提供する。
【0032】
＜演算子＞
本明細書で用いる演算子を以下に記載する。
【0033】
>>は右ビットシフト、<<は左ビットシフト、&はビットワイズAND、|はビットワイズOR、|=はOR代入演算子であり、||は論理和を示す。
【0034】
x ? y : zは、xが真（0以外）の場合にy、xが偽（0）の場合にzをとる３項演算子である。
【0035】
Clip3(a,b,c)は、cをa以上b以下の値にクリップする関数であり、c<aの場合にはaを返し、c>bの場合にはbを返し、その他の場合にはcを返す関数である（ただし、a<=b）。
【0036】
abs(a)はaの絶対値を返す関数である。
【0037】
Int(a)はaの整数値を返す関数である。
【0038】
Floor(a)はa以下の最大の整数を返す関数である。
【0039】
ceil(a)はa以上の最小の整数を返す関数である。
【0040】
a/dはdによるaの除算（小数点以下切り捨て）を表す。
【0041】
a÷d、及び、d分のaはdによるaの除算（ラウンド切り捨てなし）を表す。
【0042】
（符号化データTeの構造）
本実施形態に係る画像符号化装置11および画像復号装置31の詳細な説明に先立って、画像符号化装置11によって生成され、画像復号装置31によって復号される符号化データTeのデータ構造について図2、図3を用いて説明する。
【0043】
符号化データTeは、図2で示される複数のCVS(Coded Video Sequence)とEoB(End of Bitstream) NAL unitから構成されるビットストリームである。CVSは複数のAU(Access Unit)とEoS(End of Sequence) NAL unitから構成される。CVS先頭のAUはCVSS(Coded Video Sequence Start) AUと呼ぶ。CVSをレイヤ毎に分割した単位をCLVS(Coded Layer Video Sequence)と呼ぶ。AUは、同一出力時刻の一つもしくは複数のレイヤのPU(Picture Unit)からなる。もし、Multilayerの符号化方式を採用しない場合は、AUは、一つのPUからなる。PUは、複数のNALユニットから構成される1つの復号ピクチャの符号化データの単位である。CLVSは、同一レイヤのPUから構成されていて、CLVS先頭のPUは、CLVSS(Coded Layer Video Sequence Start) PUと呼ぶ。CLVSS PUは、ランダムアクセス可能なIRAP(Intra Random Access Pictures)やGDR(Gradual Decoder Refresh Picture)からなるPUに限定される。NALユニットは、NAL unit headerとRBSP(Raw Byte Sequence Payload)データから構成されている。NAL unit headerは、2ビットの0データに続いて、レイヤ値を示す6ビットのnuh_layer_idと、NALユニットタイプを示す5ビットのnuh_unit_typeとTemporal ID値に1プラスされた値の3ビットのnuh_temporal_id_plus1から構成される。
【0044】
図3は、PU単位での符号化データTeにおけるデータの階層構造を示す図である。符号化データTeは、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。図3には、シーケンスSEQを規定する符号化ビデオシーケンス、ピクチャPICTを規定する符号化ピクチャ、スライスSを規定する符号化スライス、スライスデータを規定する符号化スライスデータ、符号化スライスデータに含まれる符号化ツリーユニット、符号化ツリーユニットに含まれる符号化ユニットを示す図が示されている。
【0045】
符号化ビデオシーケンスでは、処理対象のシーケンスSEQを復号するために画像復号装置31が参照するデータの集合が規定されている。シーケンスSEQは、図3に示すように、ビデオパラメータセットVPS（Video Parameter Set）、シーケンスパラメータセットSPS（Sequence Parameter Set）、ピクチャパラメータセットPPS（Picture Parameter Set）、Adaptation Parameter Set(APS)、ピクチャPICT、及び、補助拡張情報SEI（Supplemental Enhancement Information）を含んでいる。
【0046】
ビデオパラメータセットVPSでは、複数のレイヤから構成されている動画像において、複数の動画像に共通する符号化パラメータの集合および動画像に含まれる複数のレイヤおよび個々のレイヤに関連する符号化パラメータの集合が規定されている。
【0047】
シーケンスパラメータセットSPSでは、対象シーケンスを復号するために画像復号装置31が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの幅や高さが規定される。なお、SPSは複数存在してもよい。その場合、PPSから複数のSPSの何れかを選択する。
【0048】
ここで、シーケンスパラメータセットSPSには以下のシンタックス要素が含まれる。
【0049】
・pic_width_max_in_luma_samples：単一のシーケンスにおける画像のうち、最大の幅を有する画像の幅を、輝度ブロック単位で指定するシンタックス要素である。また、当該シンタックス要素の値は、0ではなく、且つMax(8, MinCbSizeY)の整数倍であることが要求される。ここで、MinCbSizeYは、輝度ブロックの最小サイズによって定まる値である。
【0050】
・pic_height_max_in_luma_samples：単一のシーケンスにおける画像のうち、最大の高さを有する画像の高さを、輝度ブロック単位で指定するシンタックス要素である。また、当該シンタックス要素の値は、0ではなく、且つMax(8, MinCbSizeY)の整数倍であることが要求される。
【0051】
ピクチャパラメータセットPPSでは、対象シーケンス内の各ピクチャを復号するために画像復号装置31が参照する符号化パラメータの集合が規定されている。なお、PPSは複数存在してもよい。その場合、対象シーケンス内の各ピクチャから複数のPPSの何れかを選択する。
【0052】
ここで、ピクチャパラメータセットPPSには以下のシンタックス要素が含まれる。
【0053】
・pps_pic_width_in_luma_samples：対象ピクチャの幅を指定するシンタックス要素である。当該シンタックス要素の値は、0ではなく、Max(8, MinCbSizeY)の整数倍であり、且つsps_pic_width_max_in_luma_samples以下の値であることが要求される。後述のInpPicWidthInLumaSamplesはpps_pic_width_in_luma_samplesに等しくセットされる。
【0054】
・pps_pic_height_in_luma_samples：対象ピクチャの高さを指定するシンタックス要素である。当該シンタックス要素の値は、0ではなく、Max(8, MinCbSizeY)の整数倍であり、且つsps_pic_height_max_in_luma_samples以下の値であることが要求される。後述のInpPicHeightInLumaSamplesはpps_pic_height_in_luma_samplesに等しくセットされる。
【0055】
・pps_conformance_window_flag：コンフォーマンス（クロッピング）ウィンドウオフセットパラメータが続いて通知されるか否かを示すフラグであって、コンフォーマンスウィンドウを表示する場所を示すフラグである。このフラグが1である場合、当該パラメータが通知され、0である場合、コンフォーマンスウインドウオフセットパラメータが存在しないことを示す。
【0056】
・sps_chroma_format_idは色差フォーマットを示すパラメータである。後述のChromaFormatIdcはsps_chroma_format_idに等しくセットされる。
【0057】
・pps_init_qp_minus26は、PPSで参照されるスライスの量子化パラメータSliceQpYを導出するための情報である。
【0058】
（符号化ピクチャ）
符号化ピクチャでは、処理対象のピクチャPICTを復号するために画像復号装置31が参照するデータの集合が規定されている。ピクチャPICTは、図3に示すように、ピクチャヘッダPH、スライス0～スライスNS-1を含む（NSはピクチャPICTに含まれるスライスの総数）。
【0059】
（符号化スライス）
符号化スライスでは、処理対象のスライスSを復号するために画像復号装置31が参照するデータの集合が規定されている。スライスは、図3に示すように、スライスヘッダ、および、スライスデータを含んでいる。
【0060】
スライスヘッダには、対象スライスの復号方法を決定するために画像復号装置31が参照する符号化パラメータ群が含まれる。スライスタイプを指定するスライスタイプ指定情報（slice_type）は、スライスヘッダに含まれる符号化パラメータの一例である。
【0061】
スライスタイプ指定情報により指定可能なスライスタイプとしては、（１）符号化の際にイントラ予測のみを用いるＩスライス、（２）符号化の際に単予測(L0予測)、または、イントラ予測を用いるＰスライス、（３）符号化の際に単予測(L0予測或いはL1予測)、双予測、または、イントラ予測を用いるＢスライスなどが挙げられる。なお、インター予測は、単予測、双予測に限定されず、より多くの参照ピクチャを用いて予測画像を生成してもよい。以下、P、Bスライスと呼ぶ場合には、インター予測を用いることができるブロックを含むスライスを指す。
【0062】
なお、スライスヘッダは、ピクチャパラメータセットPPSへの参照（pic_parameter_set_id）を含んでいても良い。
【0063】
（符号化スライスデータ）
符号化スライスデータでは、処理対象のスライスデータを復号するために画像復号装置31が参照するデータの集合が規定されている。スライスデータは、図3の符号化スライスヘッダに示すように、CTUを含んでいる。CTUは、スライスを構成する固定サイズ（例えば64x64）のブロックであり、最大符号化単位（LCU:Largest Coding Unit）と呼ぶこともある。
【0064】
（符号化ツリーユニット）
図3には、処理対象のCTUを復号するために画像復号装置31が参照するデータの集合が規定されている。CTUは、再帰的な４分木分割（QT（Quad Tree）分割）、２分木分割（BT（Binary Tree）分割）あるいは３分木分割（TT（Ternary Tree）分割）により、符号化処理の基本的な単位である符号化ユニットCUに分割される。再帰的な４分木分割により得られる木構造のノードのことを符号化ノード（Coding Node）と称する。４分木、２分木、及び３分木の中間ノードは、符号化ノードであり、CTU自身も最上位の符号化ノードとして規定される。
【0065】
（符号化ユニット）
図3は、処理対象の符号化ユニットを復号するために画像復号装置31が参照するデータの集合が規定されている。具体的には、CUは、CUヘッダCUH、予測パラメータ、変換パラメータ、量子化変換係数等から構成される。CUヘッダでは予測モード等が規定される。
【0066】
予測処理は、CU単位で行われる場合と、CUをさらに分割したサブCU単位で行われる場合がある。
【0067】
予測の種類（予測モード）は、イントラ予測と、インター予測の２つがある。イントラ予測は、同一ピクチャ内の予測であり、インター予測は、互いに異なるピクチャ間（例えば、表示時刻間、レイヤ画像間）で行われる予測処理を指す。
【0068】
変換・量子化処理はCU単位で行われるが、量子化変換係数は4x4等のサブブロック単位でエントロピー符号化してもよい。
【0069】
なお、本明細書中「ＸＸであるか否かを示すフラグ」と記す場合、フラグが０以外（たとえば１）をＸＸである場合、０をＸＸではない場合とし、論理否定、論理積などでは１を真、０を偽と扱う（以下同様）。但し、実際の装置や方法では真値、偽値として他の値を用いることもできる。
【0070】
（画像復号装置の構成）
本実施形態に係る画像復号装置31（図4）の構成について説明する。
【0071】
画像復号装置31は、エントロピー復号部301、パラメータ復号部（予測画像復号装置）302、ループフィルタ305、参照ピクチャメモリ306、予測パラメータメモリ307、予測画像生成部（予測画像生成装置）308、逆量子化・逆変換部311、及び加算部312、予測パラメータ導出部320を含んで構成される。なお、後述の画像符号化装置11に合わせ、画像復号装置31にループフィルタ305が含まれない構成もある。
【0072】
パラメータ復号部302は、さらに、ヘッダ復号部3020、CT情報復号部3021、及びCU復号部3022（予測モード復号部）を備えており、CU復号部3022はさらにTU復号部3024を備えている。これらを総称して復号モジュールと呼んでもよい。ヘッダ復号部3020は、符号化データからVPS、SPS、PPS、APSなどのパラメータセット情報、スライスヘッダ（スライス情報）を復号する。CT情報復号部3021は、符号化データからCTを復号する。CU復号部3022は符号化データからCUを復号する。TU復号部3024は、符号化データからQP更新情報（量子化補正値）と量子化予測誤差（residual_coding）を復号する。
【0073】
予測画像生成部308は、インター予測画像生成部309及びイントラ予測画像生成部310を含んで構成される。
【0074】
エントロピー復号部301は、外部から入力された符号化データTeに対してエントロピー復号を行って、個々の符号（シンタックス要素）を復号する。
【0075】
エントロピー復号部301は、復号した符号をパラメータ復号部302に出力する。どの符号を復号するかの制御は、パラメータ復号部302の指示に基づいて行われる。
【0076】
（基本フロー）
図5は、画像復号装置31の概略的動作を説明するフローチャートである。
【0077】
（S1100：パラメータセット情報復号）ヘッダ復号部3020は、符号化データからVPS、SPS、PPSなどのパラメータセット情報を復号する。
【0078】
（S1200：スライス情報復号）ヘッダ復号部3020は、符号化データからスライスヘッダ（スライス情報）を復号する。
【0079】
以下、画像復号装置31は、対象ピクチャに含まれる各CTUについて、S1300からS5000の処理を繰り返すことにより各CTUの復号画像を導出する。
【0080】
（S1300：CTU情報復号）CT情報復号部3021は、符号化データからCTUを復号する。
【0081】
（S1400：CT情報復号）CT情報復号部3021は、符号化データからCTを復号する。
【0082】
（S1500：CU復号）CU復号部3022はS1510、S1520を実施して、符号化データからCUを復号する。
【0083】
（S1510：CU情報復号）CU復号部3022は、符号化データからCU情報、予測情報等を復号する。
【0084】
（S1520：TU情報復号）TU復号部3024は、符号化データからQP更新情報と量子化予測誤差等を復号する。なお、QP更新情報は、量子化パラメータQPの予測値である量子化パラメータ予測値qPpredからの差分値である。
【0085】
（S2000：予測画像生成）予測画像生成部308は、対象CUに含まれる各ブロックについて、予測情報に基づいて予測画像を生成する。
【0086】
（S3000：逆量子化・逆変換）逆量子化・逆変換部311は、対象CUに含まれる各TUについて、逆量子化・逆変換処理を実行する。
【0087】
（S4000：復号画像生成）加算部312は、予測画像生成部308より供給される予測画像と、逆量子化・逆変換部311より供給される予測誤差とを加算することによって、対象CUの復号画像を生成する。
【0088】
（S5000：ループフィルタ）ループフィルタ305は、復号画像にデブロッキングフィルタ、SAO、ALFなどのループフィルタをかけ、復号画像を生成する。
【0089】
（ニューラルネットワークポストフィルタ特性(NNPFC)SEI
図7は、非特許文献のニューラルネットワークポストフィルタ特性(NNPFC)SEIメッセージのシンタクスの概略を示している。補助拡張情報復号装置91は、図7に示すシンタックス要素（例nnpfc_auxiliary_inp_idc、nnpfc_inp_order_idc、nnpfc_inp_format_idcなど）を復号する。NNPFC SEIメッセージは、ポストフィルタ処理として適用するニューラルネットワークを指定する。特定のピクチャに対する特定のポストフィルタ処理の適用は、ニューラルネットワークポストフィルタアクティベーションSEIメッセージ（図8）によって示される。
【0090】
このSEIメッセージを適用するには、次の変数の定義が必要である。
【0091】
・画像復号装置31が復号したピクチャの輝度画素単位の幅InpPicWidthInLumaSamplesと高さInpPicHeightInLumaSamples。
【0092】
・ポストフィルタ処理の入力として使用される0からnumInputPics-1までの範囲のidxを持つピクチャ輝度画素配列CroppedYPic[idx]及び色差画素配列CroppedCbPic[idx]及びCroppedCrPic[idx]。
【0093】
・輝度画素配列の画素ビット深度BitDepthY。
【0094】
・色差画素配列の画素ビット長BitDepthC。
【0095】
・ピクチャの色差フォーマットChromaFormatIdcで示される色差フォーマットを示す変数SubWidthCとSubHeightC。4:2:0の時は、変数SubWidthCとSubHeightCはともに2であり、4:2:2の時は、変数SubWidthCが2で変数SubHeightCが1であり、4:4:4の時は、変数SubWidthCとSubHeightCは、ともに1である。
【0096】
nnpfc_auxiliary_inp_idcは、ニューラルネットワークポストフィルタの入力テンソルに補助入力データが存在することを示す。値が1に等しい場合、0から1までの範囲の実数である強度制御値StrengthControlVal（強度制御情報）を補助入力データとして入力する。なお、実数は小数点数や浮動小数点数でもよい。強度制御値は、量子化パラメータのように、復号画像を生成する過程で得られる値であってもよい。
【0097】
nnpfc_purposeは、処理の目的を示す。nnpfc_purposeの値が0の場合、アプリケーションによって決定されるように使用される場合がある。
【0098】
nnnpfc_purpose > 0でかつ、(nnpfc_purpose & 0x01)の値が0の場合、一般的な視覚的品質の改善が目的ではないことを示す。(nnpfc_purpose & 0x01)の値が0でない場合、一般的なビジュアル品質の向上が目的であることを示す。
【0099】
nnnpfc_purpose > 0でかつ、(nnpfc_purpose & 0x02)の値が0の場合、色差のアップサンプリング(4:2:0フォーマットから4:2:2または4:4:4フォーマット、または4:2:2フォーマットから 4:4:4フォーマット)の処理がないことを示す。(nnpfc_purpose & 0x02)の値が0でない場合、色差アップサンプリングの処理があることを示す。
【0100】
nnnpfc_purpose > 0かつ、(nnpfc_purpose & 0x04)の値が0の場合、解像度のアップサンプリング(ピクチャの幅または高さの増加)の処理がないことを示す。(nnpfc_purpose & 0x04)の値が0でない場合、解像度アップサンプリングの処理があることを示す。
【0101】
nnnpfc_purpose > 0かつ、(nnpfc_purpose & 0x08)の値が0の場合、ピクチャレートアップサンプリングの処理がないことを示す。(nnpfc_purpose & 0x08)の値が0でない場合、ピクチャーレートアップサンプリングの処理があることを示す。
【0102】
nnnpfc_purpose > 0かつ、(nnpfc_purpose & 0x10)の値が0の場合、画素ビット長の拡大(輝度の画素ビット長または色差の画素ビット長の増加)の処理がないことを示す。(nnpfc_purpose & 0x10)の値が0でない場合、画素ビット長の拡大の処理があることを示す。
【0103】
nnnpfc_purpose > 0かつ、(nnpfc_purpose & 0x20)の値が0の場合、カラー化(4:0:0 フォーマットから4:2:0、4:2:2、または4:4:4フォーマット)の処理がないことを示す。(nnpfc_purpose & 0x20)の値が0でない場合、カラー化の処理を行うことを示す。
【0104】
なお、ChromaFormatIdcが3の場合、(nnpfc_purpose & 0x02)の値は0でなければならない。また、ChromaFormatIdcまたは(nnpfc_purpose & 0x02)の値が0でない場合、(nnpfc_purpose & 0x20)は0でなければならない。
【0105】
nnpfc_idは、ポストフィルタ処理を識別するために使用できる識別番号を示す。
【0106】
NNPFC SEIメッセージが、現在のCLVS内で特定のnnpfc_id値を持つ、復号順で最初のNNPFC SEIメッセージである場合、以下が適用される。
【0107】
・このSEIメッセージが、基本のポストフィルタ処理であることを示す。
【0108】
・このSEIメッセージが、現在のCLVSの最後まで、現在の復号されたピクチャと、現在のレイヤのすべての後続の復号されたピクチャに関係する。NNPFC SEIメッセージが、現在のCLVSで、復号順で前のNNPFC SEIメッセージの繰り返しである場合、後続のセマンティクスには、このSEIメッセージが現在のCLVS内で同じ内容を持つ唯一のNNPFC SEIメッセージであるかのように適用される。
【0109】
NNPFC SEIメッセージが、現在のCLVS内で特定のnnpfc_id値を持つ、復号順で最初のNNPFC SEIメッセージでない場合、以下が適用される。
【0110】
・このSEIメッセージは、同じnnpfc_id値を使用する、復号順で以前の基本のポストフィルタに関連する更新であることを示す。
【0111】
・このSEIメッセージは、現在のCLVSの終わりまで、または現在のレイヤ内の特定のnnpfc_id値を持つ次のNNPFC SEIメッセージまで、現在の復号されたピクチャと、現在のレイヤのすべての後続の復号されたピクチャに関係する。
【0112】
nnpfc_mode_idcが0の場合は、このSEIメッセージに、ポストフィルタ処理を指定するISO/IEC 15938-17ビットストリームが含まれているか、または、このSEIメッセージが同じnnpfc_id値を持つ基本のポスト処理フィルタに関連する更新であることを示す。
【0113】
nnpfc_mode_idcが1の場合は、nnpfc_id値に関連付けられたポストフィルタ処理は、nnpfc_uriによって示されるURIによって識別されるニューラルネットワークであることを示す。
【0114】
nnpfc_reserved_zero_bit_aは0を示す。
【0115】
nnpfc_tag_uriは、IETF RFC4151で指定されているシンタクスとセマンティクスを持つタグURIを含む。基本のポストフィルタ処理として使用されるニューラルネットワークに関する形式と関連情報、または同じnnpfc_id値が指定されたポストフィルタ処理に関連する更新のために使用される。なお、nnpfc_tag_uriは、登録機関を必要とせずに、nnpfc_uriによって指定されたニューラルネットワークデータの形式を一意に識別することを可能とする。nnpfc_tag_uriが「tag:iso.org,2023:15938-17」の場合は、nnpfc_uriによって識別されるニューラルネットワークのデータがISO/IEC 15938-17に準拠していてNNC(Neural Network Coding)で符号化されていることを示す。
【0116】
nnpfc_uriは、IETF Internet Standard 66で指定されているシンタクスとセマンティクスを持つURIを含み、ポストフィルタ処理として使用されるニューラルネットワーク、または同じnnpfc_id値を持つポストフィルタ処理に関連する更新として使用される。
【0117】
nnpfc_property_present_flagの値が1の場合は、フィルタの目的、入力フォーマット、出力フォーマット、および複雑さに関連する構文要素が存在することを示す。nnpfc_property_present_flagの値が0の場合は、フィルタの目的、入力フォーマット、出力フォーマット、および複雑さに関連する構文要素が存在しないことを示す。このSEIメッセージが、復号順で、現在のCLVS内で特定のnnpfc_id値を持つ最初のNNPFC SEIメッセージである場合、nnpfc_property_present_flagの値は1でなければならない。
【0118】
nnpfc_out_sub_c_flagは、(nnpfc_purpose & 0x02)の値が0でない場合、変数outSubWidthCおよびoutSubHeightCの値を示す。nnpfc_out_sub_c_flagの値が1の場合、outSubWidthCの値は1で、outSubHeightCの値が1、つまり4:4:4フォーマットであることを示す。nnpfc_out_sub_c_flagの値が0の場合は、outSubWidthCの値が2で、outSubHeightCの値が1、つまり4:2:2フォーマットであることを示す。ChromaFormatIdcの値が2の場合、かつ、nnpfc_out_sub_c_flagが存在する場合、nnpfc_out_sub_c_flagの値は1でなければならない。
【0119】
非特許文献１では、入力が4:2:2フォーマットの場合、色差のアップサンプリングは、必ず4:4:4フォーマットになるため、フラグ情報が冗長になるという問題があった。具体的には、ChromaFormatIdcの値が2でかつ、(nnpfc_purpose & 0x02)の値が0でない場合、かならず、nnpfc_out_sub_c_flagの値は1でなければならないため、nnpfc_out_sub_c_flagのビットが冗長であるという問題があった。
【0120】
そこで、本実施の形態では、nnpfc_out_sub_c_flagは、シンタクスとして、(nnpfc_purpose & 0x02)の値が0でない場合、かつ、ChromaFormatIdcの値が1の場合、変数outSubWidthCおよびoutSubHeightCの値を示すこととする。
【0121】
このようなシンタクスにすることにより、ChromaFormatIdcの値が2の場合、冗長なフラグの情報を送ることがなくなり、冗長性を削減できる。
【0122】
別の方法としては、nnpfc_out_sub_c_flagは、シンタクスとして、(nnpfc_purpose & 0x02)の値が0でない場合、かつ、SubHeightCの値が2の場合、変数outSubWidthCおよびoutSubHeightCの値を示すこととするとしてもよい。
【0123】
また、別の方法としては、セマンティクスとして、ChromaFormatIdcの値が2でかつ、(nnpfc_purpose & 0x02)の値が0でない場合、シンタクスとして、nnpfc_out_sub_c_flagは送らずに、outSubWidthCの値は1で、outSubHeightCの値が1、つまり4:4:4フォーマットであると規定する。
【0124】
本実施の形態によれば、ChromaFormatIdcの値が2の場合、冗長なフラグの情報を送ることがなくなり、冗長性を削減できる。
【0125】
nnpfc_out_colour_format_idcは、nnpfc_purpose & 0x20の値が0でない場合、出力の色差フォーマットを指定し、その結果、変数outSubWidthC及びoutSubHeightCの値を指定する。
【0126】
nnpfc_out_colour_format_idcの値が1の場合は、NNPF出力の色フォーマットが 4:2:0であり、outSubWidthCとoutSubHeightCの値が両方とも2であることを示す。
【0127】
nnpfc_out_colour_format_idcの値が2の場合は、NNPF出力の色フォーマットが 4:2:2であり、outSubWidthCの値が2で、outSubHeightCの値が1であることを示す。
【0128】
nnpfc_out_colour_format_idcの値が3の場合は、NNPF出力の色フォーマットが 4:4:4であり、outSubWidthCとoutSubHeightCの値が両方とも1であることを示す。
【0129】
nnpfc_out_colour_format_idcの値0にはならないとする。
【0130】
nnpfc_purpose & 0x02およびnnpfc_purpose & 0x20の値が両方とも0の場合、outSubWidthCおよびoutSubHeightCの値は、それぞれSubWidthCおよびSubHeightCに等しくならなければならない。
【0131】
nnpfc_inp_order_idcは、入力テンソルの形式であり、復号画像の画素配列をポストフィルタ処理への入力として順序付けする方法を示す。0以上3以下の範囲のnnpfc_inp_order_idcのセマンティクスは、nnpfc_inp_order_idcの値毎の入力テンソルinputTensorを導出するプロセスを指定する。
【0132】
nnpfc_inp_order_idcの値が0の場合、もしnnpfc_auxiliary_inp_idcの値が0ならば、各入力画像の入力テンソルに1つの輝度行列が存在し、チャネル数は1である。そうでなければ（nnpfc_auxiliary_inp_idcの値が1）、1つの輝度行列と1つの補助入力行列が存在し、チャネル数は2である。
【0133】
nnpfc_inp_order_idcの値が1の場合、もしnnpfc_auxiliary_inp_idcの値が0ならば入力テンソルに2つの色差行列が存在し、チャネルの数は2である。そうでなければ（nnpfc_auxiliary_inp_idcの値が1）、2つの色差行列と1つの補助入力行列が存在し、チャネル数は3である。
【0134】
nnpfc_inp_order_idcの値が2の場合、もしnnpfc_auxiliary_inp_idcの値が0ならば、1つの輝度行列と2つの色行列が入力テンソルに存在し、チャネル数は3である。そうでなければ（nnpfc_auxiliary_inp_idcの値が1）、1つの輝度行列、2つの色差行列および1つの補助入力行列が存在し、チャネル数は4である。
【0135】
nnpfc_inp_order_idcの値が3の場合、もしnnpfc_auxiliary_inp_idcの値が0ならば、4つの輝度行列と2つの色差行列が入力テンソルに存在し、チャネル数は6である。そうでなければ（nnpfc_auxiliary_inp_idcの値が1）、4つの輝度行列、2つの色差行列、および1つの補助入力行列が存在し、チャネル数は7である。このnnpfc_inp_order_idcは、入力フォーマットが4:2:0の場合にのみ使用できる。
【0136】
nnpfc_auxiliary_inp_idcの値が0より大きい場合は、補助入力データが入力テンソルに存在することを示す。nnpfc_auxiliary_inp_idcの値が0の場合は、補助入力データが入力テンソルに存在しないことを示す。nnpfc_auxiliary_inp_idcの値が1の場合、変数strengthControlScaledValは次のように導出される。
【0137】
if(nnpfc_inp_format_idc == 1)
strengthControlScaledVal = Floor(StrengthControlVal * ((1 << inpTensorBitDepthY)-1))
else
strengthControlScaledVal = StrengthControlVal
非特許文献１においては、ポストフィルタ処理のニューラルネットワークに入力する画素値が符号なし整数の場合の輝度の画素値のビット長inpTensorBitDepthY、色差の画素値のビット長inpTensorBitDepthCと独立に定義されている。そのため、inputTensorの値が整数値の場合、変数strengthControlScaledValの定義が不明確という問題があった。
【0138】
そこで、補助拡張情報復号装置91は、入力テンソルの形式nnpfc_inp_order_idcに応じて、StrengthControlValの導出に輝度のビットデプスを用いるか、色差のビットデプスを用いるかを変更してもよい。具体的には、（nnpfc_inp_order_idc==0 || nnpfc_inp_order_idc==2 || nnpfc_inp_order_idc==3）の条件が真の場合は、輝度の画素ビット長を用いて導出してもよい（輝度優先構成）。そうでない場合、StrengthControlValの導出に色差のビットデプスを用いて導出してもよい。
【0139】
if (nnpfc_inp_format_idc==1) {
if (nnpfc_inp_order_idc==0 || nnpfc_inp_order_idc==2 || nnpfc_inp_order_idc==3)
strengthControlScaledVal=Floor(StrengthControlVal*((1 << inpTensorBitDepthY)-1))
else if (nnpfc_inp_order_idc == 1)
strengthControlScaledVal=Floor(StrengthControlVal*((1 << inpTensorBitDepthC)-1))
}
別の方法としては、（nnpfc_inp_order_idc==1）の条件が真の場合は、色差の画素ビット長を用いて導出してもよい（色差優先構成）。そうでない場合、StrengthControlValの導出に輝度のビットデプスを用いて導出してもよい。
【0140】
if (nnpfc_inp_format_idc==1) {
if (nnpfc_inp_order_idc==1)
strengthControlScaledVal=Floor(StrengthControlVal*((1 << inpTensorBitDepthC)-1))
else
strengthControlScaledVal=Floor(StrengthControlVal*((1 << inpTensorBitDepthY)-1))
}
なお、変数strengthControlScaledValは、補助入力行列の入力として、入力テンソルの１チャンネルとして入力される。
【0141】
（ニューラルネットワークポストフィルタアクティベーション(NNPFA)SEI）
図8は、ニューラルネットワークポストフィルタアクティベーション(NNPFA)SEIメッセージのシンタクスを示している。ニューラルネットワークポストフィルタアクティベーションNNPFA SEIメッセージは、一連のピクチャのポストフィルタ処理のために、nnpfa_target_idによって識別される対象ニューラルネットワークポストフィルタ処理の適用をアクティブ化または非アクティブ化する。
【0142】
nnpfa_target_idは、対象とするピクチャのニューラルネットワークポストフィルタ処理を示す。これは、現在のピクチャに対して、nnpfa_target_idと等しいnnpfc_idを持つ1つ以上のNNPFC SEIメッセージを特定する。
【0143】
次の条件の一方または両方が真でない限り、nnpfa_target_idの特定の値を持つNNPFA SEIメッセージは現在のPUに存在してはならない。
【0144】
・現在のCLVS内に、復号順で現在のPUに先行するPUに存在するnnpfa_target_idの特定の値に等しいnnpfc_idを持つNNPFC SEIメッセージがある。
【0145】
・現在のPUのnnpfa_target_idの特定の値と等しいnnpfc_idを持つNNPFC SEIメッセージがある。
【0146】
PUにnnpfc_idの特定の値を持つNNPFC SEIメッセージと、nnpfc_idの特定の値に等しいnnpfa_target_idを持つNNPFA SEIメッセージの両方が含まれる場合、NNPFC SEIメッセージは復号順でNNPFA SEIメッセージに先行するものとする。
【0147】
nnpfa_cancel_flagが1の場合は、現在のSEIメッセージと同じnnpfa_target_idを持つ以前のNNPFA SEIメッセージによって設定された対象ニューラルネットワークポストフィルタ処理の継続性がキャンセルされることを示す。つまり、対象とするニューラルネットワークポストフィルタ処理は実行されない。
【0148】
現在のSEIメッセージと同じnnpfa_target_idを持ち、nnpfa_cancel_flagが0の場合は、別のNNPFA SEIメッセージによってアクティブ化されない限り、対象とするニューラルネットワークポストフィルタ処理使われない。nnpfa_cancel_flagが0の場合は、nnpfa_persistence_flagが続くことを示す。
【0149】
nnpfa_persistence_flagは、現在のレイヤの対象ニューラル ネットワークポストフィルタ処理が表示出力順序で継続することを示す。
【0150】
nnpfa_persistence_flagが0の場合は、対象とするニューラルネットワークポストフィルタ処理が、現在のピクチャのみのポストフィルタ処理に適用されることを示す。
【0151】
nnpfa_persistence_flagが1の場合は、次の条件の1つ以上がtrueになるまで、対象となるニューラルネットワークポストフィルタ処理を、現在の画像と現在のレイヤの後続のすべてのピクチャにポストフィルタ処理に適用することを示す。
【0152】
・現在のレイヤの新しいCLVSが開始。
【0153】
・ビットストリームが終了。
【0154】
・現在のSEIメッセージと同じnnpfa_target_idを持ち、1に等しいnnpfa_cancel_flagを持つNNPFA SEIメッセージに関連付けられた現在のレイヤの画像は、表示出力順序で現在の画像の後に出力される。
【0155】
なお、ニューラルネットワークポストフィルタ処理は、現在のSEIメッセージと同じnnpfa_target_idを持ち、およびnnpfa_cancel_flagが1の場合、NNPFA SEIメッセージに関連付けられた現在のレイヤの後続のピクチャには適用されない。
【0156】
また、補助拡張情報作成装置71、補助拡張情報符号化装置81及び補助拡張情報復号装置91で汎用ネットワークパラメータを共通に保持してもよい。補助拡張情報作成装置71では、ニューラルネットワークポストフィルタ特性SEIなどの枠組みを用いて、共通に保持している汎用ネットワークを部分的に更新するネットワークパラメータを補助拡張情報として作成する。そして、補助拡張情報符号化装置81で符号化し、補助拡張情報復号装置91で復号してもよい。このような構成にすることで、補助拡張情報の符号量を削減し、入力画像Tに応じた補助拡張情報を作成、符号化、復号できる。
【0157】
また、ネットワークパラメータの伝送フォーマットとして、複数のフォーマットに対応するために、フォーマットを示すパラメータ（識別子）を送付してもよい。また、識別子に続く実際の補助拡張情報については、バイト列で伝送してもよい。
【0158】
補助拡張情報復号装置91で復号したネットワークパラメータの補助拡張情報は、ポストフィルタ処理装置61に入力する。
【0159】
ポストフィルタ処理装置61では、復号した補助拡張情報（ニューラルネットワークポストフィルタ特性SEI、ニューラルネットワークポストフィルタアクティベーションSEI）を用いて、ニューラルネットワークを用いたポスト画像処理を行い、復号動画像Tdを復元する。
【0160】
補助拡張情報符号化装置81では、図7、図8のシンタックス表に基づいて、補助拡張情報を符号化する。補助拡張情報は、補助拡張情報SEIとして符号化され、画像符号化装置11の出力する符号化データTeに多重化されてネットワーク21に出力される。
【0161】
補助拡張情報復号装置91は、符号化データTeから、図7、図8のシンタックス表に基づいて補助拡張情報を復号し、復号結果をポストフィルタ処理装置61と画像認識装置51に送る。補助拡張情報復号装置91は補助拡張情報SEIとして符号化された補助拡張情報を復号する。
【0162】
ポストフィルタ処理装置61は、復号動画像Tdと補助拡張情報を用いて復号動画像Tdにポスト画像処理を行い、ポスト画像処理Toを生成する。
【0163】
また、補助拡張情報作成装置71、補助拡張情報符号化装置81及び補助拡張情報復号装置91で汎用ネットワークパラメータを共通に保持してもよい。補助拡張情報作成装置71では、共通に保持している汎用ネットワークを部分的に更新するネットワークパラメータを補助拡張情報として作成し、補助拡張情報符号化装置81で符号化し、補助拡張情報復号装置91で復号してもよい。このような構成にすることで、補助拡張情報の符号量を削減し、入力画像Tに応じた補助拡張情報を作成、符号化、復号できる。
【0164】
また、ネットワークパラメータの伝送フォーマットとして、複数のフォーマットに対応するために、フォーマットを示すパラメータ（識別子）を送付してもよい。また、識別子に続く実際の補助拡張情報については、バイト列で伝送してもよい。
【0165】
補助拡張情報復号装置91で復号したネットワークパラメータの補助拡張情報は、ポストフィルタ処理装置61に入力する。
【0166】
なお、本実施の形態の一例では、SEIでのシンタックスを示したが、SEIに限定されず、SPS、PPS、APS、スライスヘッダなどのシンタックスを用いてもよい。
【0167】
本実施の形態では、このような構成において、伝送レートが低い場合でも、画質を改善し、予測構造によらず、効率的に補助拡張情報を符号化、復号することが可能な方式を提供する。
【0168】
（ポストフィルタヒントSEI）
図9は、非特許文献に記載されているポストフィルタヒントSEIのシンタクスを示している。このSEIメッセージは、ポストフィルタの係数、またはポストフィルタの設計のための相関情報を提供する。ピクチャが復号されて出力された後、ピクチャのポスト処理を行い、画質を向上することが可能になる。
【0169】
ポストフィルタヒントSEIメッセージを使うためには以下の変数を定義する。
【0170】
・出力される輝度画素の復号画像の幅の値の変数CroppedWidthと高さの値の変数CroppedHeight。
【0171】
・ChromaFormatIdcは色差フォーマットを示す変数で、値0がモノクロ、値1が4:2:0フォーマット、値2が4:2:2フィーマット、値3が4:4:4フォーマットを示す。
【0172】
・出力される復号画像の輝度画素の画素ビット長を示す変数BitDepthY。
【0173】
・出力される復号画像の色差画素の画素ビット長を示す変数BitDepthC。
【0174】
・出力される復号画像の画像のcIdx番目のコンポーネントの画素配列CroppedSampleArray[cIdx]、cIdxの値が0の場合、輝度Yのコンポーネントを示し、cIdxの値が1の場合、色差Cbのコンポーネントを示し、cIdxの値が2の場合、色差Crのコンポーネントを示す。
【0175】
・変数SubWidthCとSubHeightCは、ChromaFormatIdcの値によって導出される。ChromaFormatIdcの値が0の場合、つまりモノクロの場合は、SubWidthCとSubHeightCの値は両方とも0である。ChromaFormatIdcの値が1の場合、つまり4:2:0フォーマットの場合、SubWidthCとSubHeightCの値は両方とも2である。ChromaFormatIdcの値が2の場合、つまり4:2:2フォーマットの場合、SubWidthCの値は2でSubHeightCの値は1である。ChromaFormatIdcの値が3の場合、つまり4:4:4フォーマットの場合、SubWidthCとSubHeightCの値は両方とも1である。
【0176】
filter_hint_cancel_flagが1の場合は、SEIメッセージが、現在のレイヤーに適用される出力順序で前のポストフィルタヒントSEIメッセージの継続性をキャンセルすることを示す。
【0177】
filter_hint_cancel_flagが0の場合は、ポストフィルタヒント情報が続くことを示す。
【0178】
filter_hint_persistence_flagは、現在のレイヤーのポストフィルタヒントSEIメッセージの継続性を指定する。
【0179】
filter_hint_persistence_flagが0の場合は、ポストフィルタヒントSEIが現在の復号された画像のみに適用されることを示す。
【0180】
filter_hint_persistence_flagが1の場合は、ポストフィルタSEIメッセージが現在の復号されたピクチャに適用され、次の条件の1つ以上が真になるまで、出力順序で現在のレイヤのすべての後続の画像に対して持続することを示す。
【0181】
・現在の階層の新しいCLVSが開始する。
【0182】
・ビットストリームが終了する。
【0183】
・ポストフィルタヒントSEIメッセージに関連付けられたAUの現在の階層のピクチャは、出力順序で現在のピクチャに続く出力である。
【0184】
filter_hint_size_yは、フィルタ係数または相関配列の垂直方向のサイズを指定する。filter_hint_size_yの値は、1から15までの範囲である。
【0185】
filter_hint_size_xは、フィルタ係数または相関配列の水平方向のサイズを指定する。 filter_hint_size_xの値は、1から15までの範囲である。
【0186】
filter_hint_typeは、送信されたポストフィルタヒントの形式を識別する。filter_hint_typeの値が0の場合は、フィルタ係数は、2次元FIRフィルタであることを示す。filter_hint_typeの値が1の場合は、フィルタ係数は、1次元FIRフィルタであることを示す。filter_hint_typeの値が2の場合は、相互相関行列であることを示す。filter_hint_typeの値は、0から2の範囲内である必要がある。filter_hint_typeの値が3の場合は、将来の使用のために予約されている。filter_hint_typeが3の場合は、ポストフィルタヒントSEIメッセージを無視するものとする。
【0187】
filter_hint_chroma_coeff_present_flagの値が1の場合は、色差のフィルタ係数が存在することを示す。filter_hint_chroma_coeff_present_flagの値が0の場合は、色差のフィルタ係数が存在しないことを示す。
【0188】
filter_hint_value[cIdx][cy][cx]は、16ビット精度で元の信号と復号された信号の間のフィルタ係数または相互相関行列の要素を示す。filter_hint_value[cIdx][cy][cx]の値は、マイナス2の31乗プラス1から2の31乗プラス1までの範囲である。cIdxはコンポーネントを表し、cIdxの値が0の場合は輝度画素、1の場合は色差画素のCb、2の場合は色差画素Crに対する要素であることを示す。cyは垂直方向のカウンタを表し、cxは水平方向のカウンタを表す。filter_hint_typeの値に応じて、以下が適用される。
【0189】
filter_hint_typeの値が0の場合、filter_hint_size_y*filter_hint_size_xのサイズの2次元有限インパルス応答(FIR)フィルタの係数が伝送される。
【0190】
filter_hint_typeの値が1の場合、2つの1次元FIRフィルタのフィルタ係数が伝送される。この場合、filter_hint_size_yの値は2でなくてはならない。インデックスcyの値が0の場合は、水平フィルタのフィルタ係数であることを示し、cyの値が1の場合は垂直フィルタのフィルタ係数を示す。フィルタリング処理では、最初に水平フィルタが適用され、その結果が垂直フィルタによってフィルタリング処理される。
【0191】
filter_hint_typeの値が2の場合は、伝送されたヒント情報は、元の信号sと復号された信号s'の間の相互相関行列であることを示す。なお、cIdxによって識別される、filter_hint_size_y*filter_hint_size_xのサイズを持つ関連するコンポーネントの正規化された相互相関行列は、図10で示される式で定義される。
【0192】
ここで、sは元の画像のコンポーネントcIdxの画素の配列を表し、s'はCroppedSampleArray[cIdx]を表す。hは、cIdxの値が0の場合はCroppedHeightの値で、cIdxの値が0より大きい場合はCroppedHeight/SubHeightCの値である。wは、cIdxの値が0の場合はCroppedWeightの値で、cIdxの値が0より大きい場合はCroppedWidth/SubWidthCの値である。
【0193】
bitDepthは、cIdxの値が0の場合はBitDepthYの値とし、cIdxの値が0より大きい場合はBitDepthCの値とする。
【0194】
cIdxが0より大きい場合、OffsetYは(filter_hint_size_y>>1)であり、OffsetXは(filter_hint_size_x>>1)であり、0<=cy<filter_hint_size_y及び0<=cx<filter_hint_size_xである。
【0195】
なお、補助拡張情報復号装置91は、元の信号と復号された信号の相互相関行列、及び復号された信号の自己相関行列から、ウィーナフィルタを導出可能である。
【0196】
非特許文献１において、filter_hint_typeの値が0もしくは1の場合には、フィルタ係数そのものをfilter_hint_valueで伝送するが、フィルタ後画像の画素ビット長が不明確であるという問題があった。
【0197】
そこで、filter_hint_typeの値が0もしくは1の場合にはfilter_hint_value[m][n]のm=0..h-1, n=0..w-1に対する合計値filtSumを用いて、フィルタ後画像の画素ビット長は下の式で導出する。
【0198】
filtSum = bitDepth+Ceil(Log2(filtSum))
非特許文献１において、filter_hint_typeの値が2の場合の相互相関行列を定義する図10の式では、相互相関行列の値を、2の(8+bitDepth)乗マイナス1の値を2乗した値と画素数の積で除算して正規化する。そのため、行列の各要素の値が非常に小さい値になってしまうという問題があった。
【0199】
また、画面の端の部分の処理が考慮されておらず、復号画像s'の画面外をアクセスしてしまう定義式になっているという問題があった。
【0200】
そこで、本実施の形態においては、図11(a)で示される式のように、2の(8+bitDepth)乗マイナス1の値を2乗した値の代わりに、4の(bitDepth-8)乗という値を用いる。これによって、画素ビット長によらず行列の各要素の値を16ビット精度に抑えることができる。あるいは、図11(b)で示される式のように、除算の代わりに、(2*bitDepth-16)ビットの右シフトを行う演算を用いてもよい。
【0201】
行列の各要素の値を32ビット精度にする場合では、bitDepthに関係する値の除算を無くす方法、つまり、画素数h*wのみの正規化する式であってもよい。
【0202】
また、画面内の画素のみをアクセスするようにクリッピング処理を追加している。Clip3(0,h-1,m+cy-OffsetY)では、画面上端未満及び下端より大きい画素位置は、各々、画面上端の画素位置、画面下端の画素位置に置き換えられる（パディング処理が行われる）。同様に、Clip3(0,w-1,n+cx-OffsetX)では、画面左端未満及び右端より大きい画素位置は、各々、画面左端の画素位置、画面右端の画素位置に置き換えられる（パディング処理が行われる）。
【0203】
別の方法としては、図12の式のように、クリッピング処理の代わりに、復号画像s'の画面内のみで相互相関行列を求めてもよい。この場合、mを0からh-1でなく、(filter_hint_size_y>>1)からh-1-(filter_hint_size_y>>1)、nを0からw-1でなく、(filter_hint_size_x>>1)からw-1-(filter_hint_size_x>>1)とする。従って、計算で用いられる画素数は、(h-2*(filter_hint_size_y>>1))*(w-2*(filter_hint_size_x>>1))になる。
【0204】
また、画面端の画素がそのまま画面外にも延長されていると仮定するようなクリッピング処理以外にも、いくつかの方法がある。例えば、画面端から鏡面状に画素が延長されると仮定するreflection paddingであってもよい。反対側の画面端の画素と連続していると仮定するwrap-around paddingであってもよい。固定の値、例えば画素ビット長BitDepthに対して(1<<(BitDepth-1))という値でパディングするfixed paddingであってもよい。0の値をパディングする方法でもよい。
【0205】
〔応用例〕
上述した動画像符号化装置10及び動画像復号装置30は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用することができる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像（CGおよびGUIを含む）であってもよい。
【0206】
（SEIペイロード）
図13は、SEIメッセージのコンテナであるSEIペイロードのシンタクスを示す図である。
【0207】
nal_unit_typeがPREFIX_SEI_NUTの時に呼び出される。PREFIX_SEI_NUTは、スライスデータよりも前に位置するSEIであることを示している。
【0208】
payloadTypeが210の時、ニューラルネットワークポストフィルタ特性SEIが呼び出される。
【0209】
payloadTypeが211の時、ニューラルネットワークポストフィルタアクティベーションSEIが呼び出される。
【0210】
（SEIの復号とポストフィルタ処理）
ヘッダ復号部3020は、SEIメッセージのコンテナであるSEIペイロードを読み込み、ニューラルネットワークポストフィルタ特性SEIメッセージを復号する。例えば、ヘッダ復号部3020は、nnpfc_id、nnpfc_mode_idc、nnpfc_formatting_and_purpose_flag、nnpfc_purpose、nnpfc_reserved_zero_bit_a、nnpfc_uri_tag[i]、nnpfc_uri[i]、nnpfc_reserved_zero_bit_b、nnpfc_payload_byte[i]を復号する。
【0211】
図14は、ポストフィルタ処理装置61の処理のフローチャートを示す図である。ポストフィルタ処理装置61は、上記SEIメッセージのパラメータに従って以下の処理を行う。
【0212】
S6001：SEIから処理量と精度を読み込む。
【0213】
S6002：ポストの処理量が処理可能な複雑度を超える場合には終了する。超えない場合にはS6003へ進む。
【0214】
S6003：ポストフィルタ処理装置61が処理可能な精度を超える場合には終了する。超えない場合にはS6004へ進む。
【0215】
S6004：SEIからネットワークモデルを特定し、ポストフィルタ処理装置61のトポロジーを設定する。
【0216】
S6005：SEIの更新情報からネットワークモデルのパラメータを導出する。
【0217】
S6006：導出されたネットワークモデルのパラメータをポストフィルタ処理装置61に読み込む。
【0218】
S6007：ポストフィルタ処理装置61のフィルタ処理を実行し、外部に出力する。
【0219】
ただし、復号処理における輝度サンプルや色差サンプルの構築にSEIは必ずしも必要とされない。
【0220】
(ポストフィルタ処理装置61の詳細)
NNフィルタ部は入力画像inputTensorと入力パラメータ(例えば、QP、bSなど)を用いて、ニューラルネットワークモデルによるフィルタ処理を行う。入力画像は、コンポーネントごとの画像であってもよいし、複数コンポーネントをそれぞれチャネルとして持つ画像であってもよい。また、入力パラメータは画像と異なるチャネルに割り当ててもよい。
【0221】
NNフィルタ部は、以下の処理を繰り返し適用してもよい。
【0222】
NNフィルタ部は、inputTensorにカーネルk[m][i][j]を畳み込み演算(conv,convolution)し、biasを加算した出力画像outputTensorを導出する。ここで、nn=0..n-1、xx=0..width-1、yy=0..height-1であり、Σは各々mm、i、jに対する総和を表す。
【0223】
outputTensor[nn][xx][yy]=ΣΣΣ(k[mm][i][j]*inputTensor[mm][xx+i-of][yy+j-of]+bias[nn])
1x1 Convの場合、Σは、各々mm=0..m-1、i=0、j=0の総和を表す。このとき、of=0を設定する。3x3 Convの場合、Σは各々mm=0..m-1、i=0..2、j=0..2の総和を表す。このとき、of=1を設定する。nはoutSamplesのチャネル数、mはinputTensorのチャネル数、widthはinputTensorとoutputTensorの幅、heightはinputTensorとoutputTensorの高さである。ofは、inputTensorとoutputTensorのサイズを同一にするために、inputTensorの周囲に設けるパディング領域のサイズである。以下、NNフィルタ部の出力が画像ではなく値（補正値）の場合には、outputTensorの代わりにcorrNNで出力を表わす。
【0224】
なお、CWH形式のinputTensor、outputTensorではなくCHW形式のinputTensor、outputTensorで記述すると以下の処理と等価である。
【0225】
outputTensor[nn][yy][xx]=ΣΣΣ(k[mm][i][j]*inputTensor[mm][yy+j-of][xx+i-of]+bias[nn])
また、Depth wise Convと呼ばれる以下の式で示す処理を行ってもよい。ここで、nn=0..n-1、xx=0..width-1、yy=0..height-1であり、Σは各々i、jに対する総和を表す。nはoutputTensorとinputTensorのチャネル数、widthはinputTensorとoutputTensorの幅、heightはinputTensorとoutputTensorの高さである。
【0226】
outputTensor[nn][xx][yy]=ΣΣ(k[nn][i][j]*inputTensor[nn][xx+i-of][yy+j-of]+bias[nn])
またActivateと呼ばれる非線形処理、たとえばReLUを用いてもよい。
【0227】
ReLU(x) = x >= 0 ? x : 0
また以下の式に示すleakyReLUを用いてもよい。
【0228】
leakyReLU(x) = x >= 0 ? x : a * x
ここでaは所定の値、例えば0.1や0.125である。また整数演算を行うために上記の全てのk、bias、aの値を整数として、convの後に右シフトを行ってもよい。
【0229】
ReLUでは0未満の値に対しては常に0、それ以上の値に対しては入力値がそのまま出力される。一方、leakyReLUでは、0未満の値に対して、aで設定された勾配で線形処理が行われる。ReLUでは0未満の値に対する勾配が消失するため、学習が進みにくくなる場合がある。leakyReLUでは0未満の値に対する勾配が残され、上記問題が起こりにくくなる。また、上記leakyReLU(x)のうち、aの値をパラメータ化して用いるPReLUを用いてもよい。
【0230】
(NNC)
Neural Network Coding(NNC)は、ニューラルネットワーク(NN)を効率的に圧縮するための国際標準規格ISO/IEC15938-17である。学習済みのNNの圧縮を行うことで、NNを保存や伝送を行う際の効率化が可能となる。
【0231】
以下にNNCの符号化・復号処理の概要について説明する。
【0232】
図15は、NNCの符号化装置・復号装置について示す図である。
【0233】
NN符号化装置801は、前処理部8011、量子化部8012、エントロピー符号化部8013を有する。NN符号化装置801は、圧縮前のNNモデルOを入力し、量子化部8012にてNNモデルOの量子化を行い、量子化モデルQを求める。NN符号化装置801は、量子化前に、前処理部8011にて枝刈り（プルーニング）やスパース化などのパラメータ削減手法を繰り返し適用してもよい。その後、エントロピー符号化部8013にて、量子化モデルQにエントロピー符号化を適用し、NNモデルの保存、伝送のためのビットストリームSを求める。
【0234】
NN復号装置802は、エントロピー復号部8021、パラメータ復元部8022、後処理部8023を有する。NN復号装置802は、始めに伝送されたビットストリームSを入力し、エントロピー復号部8021にて、Sのエントロピー復号を行い、中間モデルRQを求める。NNモデルの動作環境がRQで使用された量子化表現を用いた推論をサポートしている場合、RQを出力し、推論に使用してもよい。そうでない場合、パラメータ復元部8022にてRQのパラメータを元の表現に復元し、中間モデルRPを求める。使用する疎なテンソル表現がNNモデルの動作環境で処理できる場合、RPを出力し、推論に使用してもよい。そうでない場合、NNモデルOと異なるテンソル、または構造表現を含まない再構成NNモデルRを求め、出力する。
【0235】
NNC規格には、整数、浮動小数点など、特定のNNパラメータの数値表現に対する復号手法が存在する。
【0236】
復号手法NNR_PT_INTは、整数値のパラメータからなるモデルを復号する。復号手法NNR_PT_FLOATは、NNR_PT_INTを拡張し、量子化ステップサイズdeltaを追加する。このdeltaに上記整数値を乗算し、スケーリングされた整数を生成する。deltaは、整数の量子化パラメータqpとdeltaの粒度パラメータqp_densityから、以下のように導き出される。
【0237】
mul = 2^(qp_density) + (qp & (2^(qp_density)-1))
delta = mul * 2^((qp >> qp_density)-qp_density)
(学習済みNNのフォーマット)
学習済みNNの表現は、層のサイズや層間の接続などのトポロジー表現と、重みやバイアスなどのパラメータ表現の2つの要素からなる。
【0238】
トポロジー表現は、TensorFlow（登録商標）やPyTorch（登録商標）などのネイティブフォーマットでカバーされているが、相互運用性向上のため、Open Neural Network Exchange Format(ONNX、登録商標)、Neural Network Exchange Format(NNEF)などの交換フォーマットが存在する。
【0239】
また、NNC規格では、圧縮されたパラメータテンソルを含むNNCビットストリームの一部として、トポロジー情報nnr_topology_unit_payloadを伝送する。これにより、交換フォーマットだけでなく、ネイティブフォーマットで表現されたトポロジー情報との相互運用を実現する。
【0240】
（画像符号化装置の構成）
次に、本実施形態に係る画像符号化装置11の構成について説明する。図6は、本実施形態に係る画像符号化装置11の構成を示すブロック図である。画像符号化装置11は、予測画像生成部101、減算部102、変換・量子化部103、逆量子化・逆変換部105、加算部106、ループフィルタ107、予測パラメータメモリ（予測パラメータ記憶部、フレームメモリ）108、参照ピクチャメモリ（参照画像記憶部、フレームメモリ）109、符号化パラメータ決定部110、パラメータ符号化部111、予測パラメータ導出部120、エントロピー符号化部104を含んで構成される。
【0241】
予測画像生成部101はCU毎に予測画像を生成する。
【0242】
減算部102は、予測画像生成部101から入力されたブロックの予測画像の画素値を、画像Ｔの画素値から減算して予測誤差を生成する。減算部102は予測誤差を変換・量子化部103に出力する。
【0243】
変換・量子化部103は、減算部102から入力された予測誤差に対し、周波数変換によって変換係数を算出し、量子化によって量子化変換係数を導出する。変換・量子化部103は、量子化変換係数をパラメータ符号化部111及び逆量子化・逆変換部105に出力する。
【0244】
逆量子化・逆変換部105は、画像復号装置31における逆量子化・逆変換部311（図6）と同じであり、説明を省略する。算出した予測誤差は加算部106に出力される。
【0245】
パラメータ符号化部111は、ヘッダ符号化部1110、CT情報符号化部1111、CU符号化部1112（予測モード符号化部）を備えている。CU符号化部1112はさらにTU符号化部1114を備えている。以下、各モジュールの概略動作を説明する。
【0246】
ヘッダ符号化部1110はヘッダ情報、分割情報、予測情報、量子化変換係数等のパラメータの符号化処理を行う。
【0247】
CT情報符号化部1111は、QT、MT（BT、TT）分割情報等を符号化する。
【0248】
CU符号化部1112はCU情報、予測情報、分割情報等を符号化する。
【0249】
TU符号化部1114は、TUに予測誤差が含まれている場合に、QP更新情報と量子化予測誤差を符号化する。
【0250】
CT情報符号化部1111、CU符号化部1112は、インター予測パラメータ、量子化変換係数等のシンタックス要素をパラメータ符号化部111に供給する。
【0251】
エントロピー符号化部104には、パラメータ符号化部111から量子化変換係数と符号化パラメータが入力される。エントロピー符号化部104はこれらをエントロピー符号化して符号化データTeを生成し、出力する。
【0252】
予測パラメータ導出部120は、符号化パラメータ決定部110から入力されたパラメータからインター予測パラメータ及びイントラ予測パラメータを導出する。導出されたインター予測パラメータ及びイントラ予測パラメータは、パラメータ符号化部111に出力される。
【0253】
加算部106は、予測画像生成部101から入力された予測ブロックの画素値と逆量子化・逆変換部105から入力された予測誤差を画素毎に加算して復号画像を生成する。加算部106は生成した復号画像を参照ピクチャメモリ109に記憶する。
【0254】
ループフィルタ107は加算部106が生成した復号画像に対し、デブロッキングフィルタ、SAO、ALFを施す。なお、ループフィルタ107は、必ずしも上記３種類のフィルタを含まなくてもよく、例えばデブロッキングフィルタのみの構成であってもよい。
【0255】
予測パラメータメモリ108は、符号化パラメータ決定部110が生成した予測パラメータを、対象ピクチャ及びCU毎に予め定めた位置に記憶する。
【0256】
参照ピクチャメモリ109は、ループフィルタ107が生成した復号画像を対象ピクチャ及びCU毎に予め定めた位置に記憶する。
【0257】
符号化パラメータ決定部110は、符号化パラメータの複数のセットのうち、１つのセットを選択する。符号化パラメータとは、上述したQT、BTあるいはTT分割情報、予測パラメータ、あるいはこれらに関連して生成される符号化の対象となるパラメータである。予測画像生成部101は、これらの符号化パラメータを用いて予測画像を生成する。
【0258】
なお、上述した実施形態における画像符号化装置11、画像復号装置31の一部、例えば、エントロピー復号部301、パラメータ復号部302、ループフィルタ305、予測画像生成部308、逆量子化・逆変換部311、加算部312、予測パラメータ導出部320、予測画像生成部101、減算部102、変換・量子化部103、エントロピー符号化部104、逆量子化・逆変換部105、ループフィルタ107、符号化パラメータ決定部110、パラメータ符号化部111、予測パラメータ導出部120をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、画像符号化装置11、画像復号装置31のいずれかに内蔵されたコンピュータシステムであって、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【0259】
また、上述した実施形態における画像符号化装置11、画像復号装置31の一部、または全部を、LSI（Large Scale Integration）等の集積回路として実現しても良い。画像符号化装置11、画像復号装置31の各機能ブロックは個別にプロセッサ化しても良いし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
【0260】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【0261】
本実施の形態を図1に基づいて説明すると、動画像復号装置30は、符号化データを復号して復号画像を生成する画像復号装置31と、前記復号画像にポストフィルタ処理を行うポストフィルタ処理装置61と、前記ポストフィルタ処理装置で用いる補助拡張情報を復号する補助拡張情報復号装置91を有し、前記補助拡張情報復号装置91では、復号画像の画素ビット長によらない一定のビット精度の復号画像と原画画像の相互相関行列情報を復号することを特徴とする。
【0262】
動画像符号化装置10は、入力画像を符号化する画像符号化装置11と、ポストフィルタ処理のための補助拡張情報を生成する補助拡張情報生成装置71と、前記補助拡張情報を符号化する補助拡張符号化装置81を有し、前記補助拡張情報生成装置71では、復号画像の画素ビット長によらない一定のビット精度の局部復号画像と原画画像の相互相関行列情報を生成し、前記相互相関情報を符号化する補助拡張情報符号化装置81を有することを特徴とする。
【0263】
本実施の形態を図1に基づいて説明すると、動画像復号装置30は、符号化データを復号して復号画像を生成する画像復号装置31と、前記復号画像にポストフィルタ処理を行うポストフィルタ処理装置61と、前記ポストフィルタ処理装置61で用いる補助拡張情報を復号する補助拡張情報復号装置91を有し、前記ポストフィルタ処理装置61では、4:2:2フォーマット復号画像の色差画素のアップサンプリング処理を行う時に、前記補助拡張情報復号装置91で、出力フォーマットのためのフラグ情報を復号しないことを特徴とする。
【0264】
動画像符号化装置10は、入力画像を符号化する画像符号化装置11と、ポストフィルタ処理のための補助拡張情報を生成する補助拡張情報生成装置71と、前記補助拡張情報を符号化する補助拡張符号化装置81を有し、前記、補助拡張生成装置71では、4:2:2フォーマット復号画像の色差画素のアップサンプリング処理のための補助拡張情報を生成し、前記補助拡張情報符号化装置81では、出力フォーマットのためのフラグ情報を符号化しないことを特徴とする。
【0265】
本発明の実施形態は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【0266】
本発明の実施形態は、画像データが符号化された符号化データを復号する動画像復号装置、および、画像データが符号化された符号化データを生成する動画像符号化装置に好適に適用することができる。また、動画像符号化装置によって生成され、動画像復号装置によって参照される符号化データのデータ構造に好適に適用することができる。
【符号の説明】
【0267】
1 動画像伝送システム
30 動画像復号装置
31 画像復号装置
301 エントロピー復号部
302 パラメータ復号部
305、107 ループフィルタ
306、109 参照ピクチャメモリ
307、108 予測パラメータメモリ
308、101 予測画像生成部
311、105 逆量子化・逆変換部
312、106 加算部
320 予測パラメータ導出部
10 動画像符号化装置
11 画像符号化装置
102 減算部
103 変換・量子化部
104 エントロピー符号化部
110 符号化パラメータ決定部
111 パラメータ符号化部
120 予測パラメータ導出部
41 画像表示装置
51 プレフィルタ処理装置
61 ポストフィルタ処理装置
71 補助拡張情報作成装置
81 補助拡張情報符号化装置
91 補助拡張情報復号装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
Copyright © 2010-2025 Science Impact Inc. All Rights Reserved.