知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024103192
(43)【公開日】2024-08-01
(54)【発明の名称】動画像符号化装置、復号装置
(51)【国際特許分類】
H04N 19/85 20140101AFI20240725BHJP
H04N 19/70 20140101ALI20240725BHJP
【ＦＩ】
H04N19/85
H04N19/70
【審査請求】未請求
【請求項の数】4
【出願形態】ＯＬ
(21)【出願番号】P 2023007390
(22)【出願日】2023-01-20
【国等の委託研究の成果に係る記載事項】（出願人による申告）令和４年度、国立研究開発法人情報通信研究機構、「Ｂｅｙｏｎｄ ５Ｇ研究開発促進事業（一般型）／日米豪国際連携を通じた超カバレッジＢｅｙｏｎｄ ５Ｇ無線通信・映像符号化標準化技術の研究開発」、産業技術力強化法第１７条の適用を受ける特許出願
(71)【出願人】
【識別番号】000005049
【氏名又は名称】シャープ株式会社
(74)【代理人】
【識別番号】100161207
【弁理士】
【氏名又は名称】西澤 和純
(74)【代理人】
【識別番号】100129115
【弁理士】
【氏名又は名称】三木 雅夫
(74)【代理人】
【識別番号】100133569
【弁理士】
【氏名又は名称】野村 進
(74)【代理人】
【識別番号】100131473
【弁理士】
【氏名又は名称】覚田 功二
(72)【発明者】
【氏名】中條 健
(72)【発明者】
【氏名】猪飼 知宏
(72)【発明者】
【氏名】八杉 将伸
(72)【発明者】
【氏名】青野 友子
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159MA04
5C159MA05
5C159MC11
5C159ME01
5C159PP04
5C159PP16
5C159RC11
5C159UA02
5C159UA05
5C159UA11
(57)【要約】 （修正有）
【課題】ポストフィルタ処理を行うための強度制御値を定義する動画像符号化装置及び復号装置を提供する。
【解決手段】動画像伝送システム１において、動画像復号装置３０は、符号化データＴｅを復号して復号画像を生成する画像復号装置３１と、復号画像Ｔｄ１にポストフィルタ処理を行い、ポストフィルタ復号画像Ｔｄ２を画像表示装置４１に出力するポストフィルタ処理装置６１と、を有する。ポストフィルタ処理装置は、ポストフィルタ処理に入力する復号画像の輝度と色差の入力形式に応じて、復号画像を生成する過程で得られる強度制御値を変換してポストフィルタ処理を行う。
【選択図】図１
【解決手段】動画像伝送システム１において、動画像復号装置３０は、符号化データＴｅを復号して復号画像を生成する画像復号装置３１と、復号画像Ｔｄ１にポストフィルタ処理を行い、ポストフィルタ復号画像Ｔｄ２を画像表示装置４１に出力するポストフィルタ処理装置６１と、を有する。ポストフィルタ処理装置は、ポストフィルタ処理に入力する復号画像の輝度と色差の入力形式に応じて、復号画像を生成する過程で得られる強度制御値を変換してポストフィルタ処理を行う。
【選択図】図１
【特許請求の範囲】
【請求項1】
符号化データを復号して復号画像を生成する画像復号装置と、
前記復号画像にポストフィルタ処理を行うポストフィルタ処理装置を有し、
前記ポストフィルタ処理に入力する復号画像の輝度と色差の入力形式に応じて、前記復号画像を生成する過程で得られる強度制御値を変換してポストフィルタ処理を行うことを特徴とする動画像復号装置。
前記復号画像にポストフィルタ処理を行うポストフィルタ処理装置を有し、
前記ポストフィルタ処理に入力する復号画像の輝度と色差の入力形式に応じて、前記復号画像を生成する過程で得られる強度制御値を変換してポストフィルタ処理を行うことを特徴とする動画像復号装置。
【請求項2】
輝度と色差とで独立の強度制御値を生成し、
整数か実数かを示す入力形式を示す情報と輝度ビットデプスと色差ビットデプスを符号化データから復号し、前記情報が整数の場合、輝度ビットデプスと色差ビットデプス用いて前記強度制御値を変換してポストフィルタ処理を行うことを特徴とする請求項1に記載の動画像復号装置。
整数か実数かを示す入力形式を示す情報と輝度ビットデプスと色差ビットデプスを符号化データから復号し、前記情報が整数の場合、輝度ビットデプスと色差ビットデプス用いて前記強度制御値を変換してポストフィルタ処理を行うことを特徴とする請求項1に記載の動画像復号装置。
【請求項3】
輝度と色差とで独立の強度制御値を生成し、
前記ポストフィルタ処理に入力する復号画像の輝度と色差の入力形式に応じて、前記強度制御値を変換してポストフィルタ処理を行うことを特徴とする請求項1に記載の動画像復号装置。
前記ポストフィルタ処理に入力する復号画像の輝度と色差の入力形式に応じて、前記強度制御値を変換してポストフィルタ処理を行うことを特徴とする請求項1に記載の動画像復号装置。
【請求項4】
入力画像を符号化する画像符号化装置と、
ポストフィルタ処理に入力する、画像符号化装置から出力された輝度と色差の局所復号画像の入力形式と、復号画像を生成する過程で得られる強度制御値の入力形式を決定する情報を生成する補助拡張情報生成装置と、
前記補助拡張情報を符号化する補助拡張情報符号化装置を有することを特徴とする動画像符号化装置。
ポストフィルタ処理に入力する、画像符号化装置から出力された輝度と色差の局所復号画像の入力形式と、復号画像を生成する過程で得られる強度制御値の入力形式を決定する情報を生成する補助拡張情報生成装置と、
前記補助拡張情報を符号化する補助拡張情報符号化装置を有することを特徴とする動画像符号化装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、動画像符号化装置、復号装置に関する。
【背景技術】
【0002】
動画像を効率的に伝送または記録するために、動画像を符号化することによって符号化データを生成する動画像符号化装置、および、当該符号化データを復号することによって復号画像を生成する動画像復号装置が用いられている。
【0003】
具体的な動画像符号化方式としては、例えば、H.264/AVCやH.265/HEVC（High-Efficiency Video Coding）方式などが挙げられる。
【0004】
このような動画像符号化方式においては、動画像を構成する画像（ピクチャ）は、画像を分割することにより得られるスライス、スライスを分割することにより得られる符号化ツリーユニット（CTU：Coding Tree Unit）、符号化ツリーユニットを分割することで得られる符号化単位（符号化ユニット（Coding Unit：CU）と呼ばれることもある）、及び、符号化単位を分割することより得られる変換ユニット（TU：Transform Unit）からなる階層構造により管理され、CU毎に符号化／復号される。
【0005】
また、このような動画像符号化方式においては、通常、入力画像を符号化／復号することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像を入力画像（原画像）から減算して得られる予測誤差（「差分画像」または「残差画像」と呼ぶこともある）が符号化される。予測画像の生成方法としては、画面間予測（インター予測）、および、画面内予測（イントラ予測）が挙げられる。
【0006】
また、近年の動画像符号化及び復号の技術として非特許文献１が挙げられる。非特許文献1においては、画像の性質や、表示方法、タイミングなどを符号化データと同時に伝送するための補助拡張情報SEI（Supplemental Enhancement Information）messageが規定されて、ポストフィルタとして利用されるニューラルネットワークフィルタのトポロジーとパラメータをランダムアクセス可能な単位で伝送するSEIが開示されている。また、ポストフィルタ処理を行うかをピクチャ単位で伝送するSEIが開示されている。
【0007】
非特許文献2においては、非特許文献1を改善する方法として、ニューラルネットワークの入力テンソルが整数値の場合にビット長を輝度と色差で別々に定義する方法が記載されている。
【先行技術文献】
【非特許文献】
【0008】
【非特許文献1】Text of ISO/IEC 23002-7:202x (2nd Ed.) DAM1 Additional SEI messages, Nov. 2022.
【非特許文献2】AHG9: Comments on Neural-network Post-filter Characteristics SEI Message, JVET-AC0061, Jan. 2023.
【発明の概要】
【発明が解決しようとする課題】
【0009】
非特許文献1で開示されている方法では、ポストフィルタ処理の入力テンソルの入力値の形式で整数値を用いる場合に、入力テンソルに入力する強度制御値StrengthControlValの値がは復号情報から得られる0から1の間の実数値としてのみ定義され、符号なし整数での処理ができないという課題があった。
【0010】
また、非特許文献2で開示されている方法では、ポストフィルタ処理の入力テンソルの入力値の形式で整数値を用いる場合に、輝度と色差で独立にビット長が定義されている。しかし、非特許文献1と同じく、StrengthControlValは実数値のままであり、輝度と色差で異なる入力テンソルの精度にStrengthControlValの値を適用する方法がないという課題があった。
【課題を解決するための手段】
【0011】
本発明の一態様に係る動画像復号装置は、符号化データを復号して復号画像を生成する画像復号装置と、前記復号画像にポストフィルタ処理を行うポストフィルタ処理装置を有し、前記復号画像を生成する過程で得られる強度制御値を、前記ポストフィルタ処理に入力する復号画像の輝度と色差の入力形式に応じて、強度制御値を変換してポストフィルタ処理を行うことを特徴とする。
【0012】
また、前記動画像復号装置において、輝度と色差とで独立の強度制御値を生成し、整数か実数かを示す入力形式を示す情報と輝度ビットデプスと色差ビットデプスを符号化データから復号し、前記情報が整数の場合には、輝度ビットデプスと色差ビットデプスを用いて前記強度制御値を変換してポストフィルタ処理を行うことを特徴とする。
【0013】
また、前記動画像復号装置において、輝度と色差とで独立の強度制御値を生成し、前記ポストフィルタ処理に入力する復号画像の輝度と色差の入力形式に応じて、強度制御値を変換してポストフィルタ処理を行うことを特徴とする。
【0014】
本発明の一態様に係る動画像符号化装置は、入力画像を符号化する画像符号化装置と、ポストフィルタ処理に入力する輝度と色差の復号画像の入力形式と、画像符号化装置から出力された局部復号画像を生成する過程で得られる強度制御値の入力形式を決定する情報を生成する補助拡張情報生成装置と、前記補助拡張情報を符号化する補助拡張情報符号化装置を有することを特徴とする。
【発明の効果】
【0015】
このような構成にすることで、ポストフィルタ処理の入力する強度制御値を定義する方法がないという課題を解決できる。
【図面の簡単な説明】
【0016】
【図1】本実施形態に係る動画像伝送システムの構成を示す概略図である。
【図2】符号化データの階層構造を示す図である。
【図3】PU単位での符号化データの階層構造を示す図である。
【図4】画像復号装置の構成を示す概略図である。
【図5】画像復号装置の概略的動作を説明するフローチャートである。
【図6】画像符号化装置の構成を示すブロック図である。
【図7】本実施形態の補助拡張情報を規定するニューラルネットワークポストフィルタ特性(NNPFC)SEIのシンタックス表の構成例を示す図である。
【図8】ニューラルネットワークポストフィルタアクティベーション(NNPFA)SEIのシンタクスを示す図である。
【図9】SEIメッセージのコンテナであるSEIペイロードのシンタクスを示す図である。
【図10】ポストフィルタ処理装置61の処理のフローチャートを示す図である。
【図11】NNC符号化装置・復号装置について示す図である。
【発明を実施するための形態】
【0017】
（第１の実施形態）
以下、図面を参照しながら本発明の実施形態について説明する。
以下、図面を参照しながら本発明の実施形態について説明する。
【0018】
図1は、本実施に係る別の動画像伝送システムの構成を示す概略図である。
【0019】
動画像伝送システム1は、画像を符号化した符号化データを伝送し、伝送された符号化データを復号し表示を行うシステムである。動画像伝送システム1は、動画像符号化装置10とネットワーク21と動画像復号装置30と画像表示装置41からなる。
【0020】
動画像符号化装置10は、画像符号化装置（画像符号化部）11、補助拡張情報作成装置（補助拡張情報作成部）71、補助拡張情報符号化装置（補助拡張情報符号化部）81、プレフィルタ処理装置（プレフィルタ処理部）1001から構成される。
【0021】
動画像符号化装置10は、入力動画像T1をプレフィルタ処理装置51でプレフィルタ処理画像T2を作成し、画像符号化装置11で画像の圧縮、符号化を行うとともに、入力動画像T1と画像符号化装置11の局部復号画像T3を解析して、ポストフィルタ処理61に入力するための補助拡張情報を補助拡張情報作成装置51で生成し、補助拡張上方符号化装置81で符号化し、符号化データTeを生成し、ネットワーク21に送出する。
【0022】
動画像復号装置30は、画像復号装置（画像復号部）31、補助拡張情報復号装置（補助拡張情報復号部）91、ポストフィルタ処理装置（ホストフィルタ処理部）61から構成される。
【0023】
動画像復号装置30は、ネットワーク21より受信した符号化データTeを画像復号装置31と補助拡張情報復号装置91で復号し、ポストフィルタ処理装置61で復号画像Td1に対して補助拡張情報を用いて、ポストフィルタ処理を行い、ポストフィルタ復号画像Td2を画像表示装置41に出力する。
【0024】
なお、ポストフィルタ処理装置61は、補助拡張情報に用いてポストフィルタ処理を行わず、復号画像Td1をそのまま出力してもよい。
【0025】
画像表示装置41は、ポストフィルタ処理装置1002から出力されたポストフィルタ画像Td2の全部または一部を表示する。画像表示装置41は、例えば、液晶ディスプレイ、有機EL（Electro-luminescence）ディスプレイ等の表示デバイスを備える。ディスプレイの形態としては、据え置き、モバイル、HMD等が挙げられる。また、画像復号装置31が高い処理能力を有する場合には、画質の高い画像を表示し、より低い処理能力しか有しない場合には、高い処理能力、表示能力を必要としない画像を表示する。
【0026】
ネットワーク21は、符号化された補助拡張情報及び符号化データTeを画像復号装置31に伝送する。符号化された補助拡張情報の一部または全部は、補助拡張情報SEIとして、符号化データTeに含められてもよい。ネットワーク21は、インターネット（Internet）、広域ネットワーク（WAN:Wide Area Network）、小規模ネットワーク（LAN:Local Area Network）またはこれらの組み合わせである。ネットワーク21は、必ずしも双方向の通信網に限らず、地上デジタル放送、衛星放送等の放送波を伝送する一方向の通信網であっても良い。また、ネットワーク21は、DVD（Digital Versatile Disc:登録商標）、BD（Blue-ray Disc:登録商標）等の符号化データTeを記録した記憶媒体で代替されても良い。
【0027】
具体的な実施の形態の一例としては、プレフィルタ処理では、入力画像を縮小して、補助拡張情報としては、ポストフィルタ処理ではニューラルネットワークに基づく超解像処理によって復号画像を拡大するためのニューラルネットワーク処理のための補助拡張情報を符号化、復号してもよい。
【0028】
具体的な実施の形態の別の一例としては、プレフィルタ処理では、特に処理を行わず、補助拡張情報としては、ポストフィルタ処理ではニューラルネットワークに基づく画像復元処理によって復号画像を入力動画像に復元するためのニューラルネットワーク処理のための補助拡張情報を符号化、復号してもよい。
【0029】
このような構成において、効率的に補助拡張情報を符号化、復号することが可能とする枠組みを提供する。
【0030】
＜演算子＞
本明細書で用いる演算子を以下に記載する。
本明細書で用いる演算子を以下に記載する。
【0031】
>>は右ビットシフト、<<は左ビットシフト、&はビットワイズAND、|はビットワイズOR、|=はOR代入演算子であり、||は論理和を示す。
【0032】
x ? y : zは、xが真（0以外）の場合にy、xが偽（0）の場合にzをとる３項演算子である。
【0033】
Clip3(a,b,c)は、cをa以上b以下の値にクリップする関数であり、c<aの場合にはaを返し、c>bの場合にはbを返し、その他の場合にはcを返す関数である（ただし、a<=b）。
【0034】
abs(a)はaの絶対値を返す関数である。
【0035】
Int(a)はaの整数値を返す関数である。
【0036】
floor(a)はa以下の最大の整数を返す関数である。
【0037】
ceil(a)はa以上の最小の整数を返す関数である。
【0038】
a/dはdによるaの除算（小数点以下切り捨て）を表す。
【0039】
（符号化データTeの構造）
本実施形態に係る画像符号化装置11および画像復号装置31の詳細な説明に先立って、画像符号化装置11によって生成され、画像復号装置31によって復号される符号化データTeのデータ構造について図2、図3を用いて説明する。
本実施形態に係る画像符号化装置11および画像復号装置31の詳細な説明に先立って、画像符号化装置11によって生成され、画像復号装置31によって復号される符号化データTeのデータ構造について図2、図3を用いて説明する。
【0040】
符号化データTeは、図2で示される複数のCVS(Coded Video Sequence)とEoB(End of Bitstream) NAL unitから構成されるビットストリームである。CVSは複数のAU(Access Unit)とEoS(End of Sequence) NAL unitから構成される。CVS先頭のAUはCVSS(Coded Video Sequence Start) AUと呼ぶ。CVSをレイヤ毎に分割した単位をCLVS(Coded Layer Video Sequence)と呼ぶ。AUは、同一出力時刻の一つもしくは複数のレイヤのPU(Picture Unit)からなる。もし、Multilayerの符号化方式を採用しない場合は、AUは、一つのPUからなる。PUは、複数のNALユニットから構成される1つの復号ピクチャの符号化データの単位である。CLVSは、同一レイヤのPUから構成されていて、CLVS先頭のPUは、CLVSS(Coded Layer Video Sequence Start) PUと呼ぶ。CLVSS PUは、ランダムアクセス可能なIRAP(Intra Random Access Pictures)やGDR(Gradual Decoder Refresh Picture)からなるPUに限定される。NALユニットは、NAL unit headerとRBSP(Raw Byte Sequence Payload)データから構成されている。NAL unit headerは、2ビットの0データに続いて、レイヤ値を示す6ビットのnuh_layer_idと、NALユニットタイプを示す5ビットのnuh_unit_typeとTemporal ID値に1プラスされた値の3ビットのnuh_temporal_id_plus1から構成される。
【0041】
図3は、PU単位での符号化データTeにおけるデータの階層構造を示す図である。符号化データTeは、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。図3には、シーケンスSEQを規定する符号化ビデオシーケンス、ピクチャPICTを規定する符号化ピクチャ、スライスSを規定する符号化スライス、スライスデータを規定する符号化スライスデータ、符号化スライスデータに含まれる符号化ツリーユニット、符号化ツリーユニットに含まれる符号化ユニットを示す図が示されている。
【0042】
符号化ビデオシーケンスでは、処理対象のシーケンスSEQを復号するために画像復号装置31が参照するデータの集合が規定されている。シーケンスSEQは、図3に示すように、ビデオパラメータセットVPS（Video Parameter Set）、シーケンスパラメータセットSPS（Sequence Parameter Set）、ピクチャパラメータセットPPS（Picture Parameter Set）、Adaptation Parameter Set(APS)、ピクチャPICT、及び、補助拡張情報SEI（Supplemental Enhancement Information）を含んでいる。
【0043】
ビデオパラメータセットVPSでは、複数のレイヤから構成されている動画像において、複数の動画像に共通する符号化パラメータの集合および動画像に含まれる複数のレイヤおよび個々のレイヤに関連する符号化パラメータの集合が規定されている。
【0044】
シーケンスパラメータセットSPSでは、対象シーケンスを復号するために画像復号装置31が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの幅や高さが規定される。なお、SPSは複数存在してもよい。その場合、PPSから複数のSPSの何れかを選択する。
【0045】
ここで、シーケンスパラメータセットSPSには以下のシンタックス要素が含まれる。
・pic_width_max_in_luma_samples：単一のシーケンスにおける画像のうち、最大の幅を有する画像の幅を、輝度ブロック単位で指定するシンタックス要素である。また、当該シンタックス要素の値は、0ではなく、且つMax(8, MinCbSizeY)の整数倍であることが要求される。ここで、MinCbSizeYは、輝度ブロックの最小サイズによって定まる値である。
・pic_height_max_in_luma_samples：単一のシーケンスにおける画像のうち、最大の高さを有する画像の高さを、輝度ブロック単位で指定するシンタックス要素である。また、当該シンタックス要素の値は、0ではなく、且つMax(8, MinCbSizeY)の整数倍であることが要求される。
・pic_width_max_in_luma_samples：単一のシーケンスにおける画像のうち、最大の幅を有する画像の幅を、輝度ブロック単位で指定するシンタックス要素である。また、当該シンタックス要素の値は、0ではなく、且つMax(8, MinCbSizeY)の整数倍であることが要求される。ここで、MinCbSizeYは、輝度ブロックの最小サイズによって定まる値である。
・pic_height_max_in_luma_samples：単一のシーケンスにおける画像のうち、最大の高さを有する画像の高さを、輝度ブロック単位で指定するシンタックス要素である。また、当該シンタックス要素の値は、0ではなく、且つMax(8, MinCbSizeY)の整数倍であることが要求される。
【0046】
ピクチャパラメータセットPPSでは、対象シーケンス内の各ピクチャを復号するために画像復号装置31が参照する符号化パラメータの集合が規定されている。なお、PPSは複数存在してもよい。その場合、対象シーケンス内の各ピクチャから複数のPPSの何れかを選択する。
【0047】
ここで、ピクチャパラメータセットPPSには以下のシンタックス要素が含まれる。
・pps_pic_width_in_luma_samples：対象ピクチャの幅を指定するシンタックス要素である。当該シンタックス要素の値は、0ではなく、Max(8, MinCbSizeY)の整数倍であり、且つsps_pic_width_max_in_luma_samples以下の値であることが要求される。後述のInpPicWidthInLumaSamplesはpps_pic_width_in_luma_samplesに等しくセットされる。
・pps_pic_height_in_luma_samples：対象ピクチャの高さを指定するシンタックス要素である。当該シンタックス要素の値は、0ではなく、Max(8, MinCbSizeY)の整数倍であり、且つsps_pic_height_max_in_luma_samples以下の値であることが要求される。後述のInpPicHeightInLumaSamplesはpps_pic_height_in_luma_samplesに等しくセットされる。
・pps_conformance_window_flag：コンフォーマンス（クロッピング）ウィンドウオフセットパラメータが続いて通知されるか否かを示すフラグであって、コンフォーマンスウィンドウを表示する場所を示すフラグである。このフラグが1である場合、当該パラメータが通知され、0である場合、コンフォーマンスウインドウオフセットパラメータが存在しないことを示す。
・sps_chroma_format_idは色差フォーマットを示すパラメータである。後述のChromaFormatIdcはsps_chroma_format_idに等しくセットされる。
・pps_init_qp_minus26は、PPSで参照されるスライスの量子化パラメータSliceQpYを導出するための情報である。
・pps_pic_width_in_luma_samples：対象ピクチャの幅を指定するシンタックス要素である。当該シンタックス要素の値は、0ではなく、Max(8, MinCbSizeY)の整数倍であり、且つsps_pic_width_max_in_luma_samples以下の値であることが要求される。後述のInpPicWidthInLumaSamplesはpps_pic_width_in_luma_samplesに等しくセットされる。
・pps_pic_height_in_luma_samples：対象ピクチャの高さを指定するシンタックス要素である。当該シンタックス要素の値は、0ではなく、Max(8, MinCbSizeY)の整数倍であり、且つsps_pic_height_max_in_luma_samples以下の値であることが要求される。後述のInpPicHeightInLumaSamplesはpps_pic_height_in_luma_samplesに等しくセットされる。
・pps_conformance_window_flag：コンフォーマンス（クロッピング）ウィンドウオフセットパラメータが続いて通知されるか否かを示すフラグであって、コンフォーマンスウィンドウを表示する場所を示すフラグである。このフラグが1である場合、当該パラメータが通知され、0である場合、コンフォーマンスウインドウオフセットパラメータが存在しないことを示す。
・sps_chroma_format_idは色差フォーマットを示すパラメータである。後述のChromaFormatIdcはsps_chroma_format_idに等しくセットされる。
・pps_init_qp_minus26は、PPSで参照されるスライスの量子化パラメータSliceQpYを導出するための情報である。
【0048】
（符号化ピクチャ）
符号化ピクチャでは、処理対象のピクチャPICTを復号するために画像復号装置31が参照するデータの集合が規定されている。ピクチャPICTは、図3に示すように、ピクチャヘッダPH、スライス0～スライスNS-1を含む（NSはピクチャPICTに含まれるスライスの総数）。
符号化ピクチャでは、処理対象のピクチャPICTを復号するために画像復号装置31が参照するデータの集合が規定されている。ピクチャPICTは、図3に示すように、ピクチャヘッダPH、スライス0～スライスNS-1を含む（NSはピクチャPICTに含まれるスライスの総数）。
【0049】
（符号化スライス）
符号化スライスでは、処理対象のスライスSを復号するために画像復号装置31が参照するデータの集合が規定されている。スライスは、図3に示すように、スライスヘッダ、および、スライスデータを含んでいる。
符号化スライスでは、処理対象のスライスSを復号するために画像復号装置31が参照するデータの集合が規定されている。スライスは、図3に示すように、スライスヘッダ、および、スライスデータを含んでいる。
【0050】
スライスヘッダには、対象スライスの復号方法を決定するために画像復号装置31が参照する符号化パラメータ群が含まれる。スライスタイプを指定するスライスタイプ指定情報（slice_type）は、スライスヘッダに含まれる符号化パラメータの一例である。
【0051】
スライスタイプ指定情報により指定可能なスライスタイプとしては、（１）符号化の際にイントラ予測のみを用いるＩスライス、（２）符号化の際に単予測(L0予測)、または、イントラ予測を用いるＰスライス、（３）符号化の際に単予測(L0予測或いはL1予測)、双予測、または、イントラ予測を用いるＢスライスなどが挙げられる。なお、インター予測は、単予測、双予測に限定されず、より多くの参照ピクチャを用いて予測画像を生成してもよい。以下、P、Bスライスと呼ぶ場合には、インター予測を用いることができるブロックを含むスライスを指す。
【0052】
なお、スライスヘッダは、ピクチャパラメータセットPPSへの参照（pic_parameter_set_id）を含んでいても良い。
【0053】
（符号化スライスデータ）
符号化スライスデータでは、処理対象のスライスデータを復号するために画像復号装置31が参照するデータの集合が規定されている。スライスデータは、図3の符号化スライスヘッダに示すように、CTUを含んでいる。CTUは、スライスを構成する固定サイズ（例えば64x64）のブロックであり、最大符号化単位（LCU:Largest Coding Unit）と呼ぶこともある。
符号化スライスデータでは、処理対象のスライスデータを復号するために画像復号装置31が参照するデータの集合が規定されている。スライスデータは、図3の符号化スライスヘッダに示すように、CTUを含んでいる。CTUは、スライスを構成する固定サイズ（例えば64x64）のブロックであり、最大符号化単位（LCU:Largest Coding Unit）と呼ぶこともある。
【0054】
（符号化ツリーユニット）
図3には、処理対象のCTUを復号するために画像復号装置31が参照するデータの集合が規定されている。CTUは、再帰的な４分木分割（QT（Quad Tree）分割）、２分木分割（BT（Binary Tree）分割）あるいは３分木分割（TT（Ternary Tree）分割）により、符号化処理の基本的な単位である符号化ユニットCUに分割される。再帰的な４分木分割により得られる木構造のノードのことを符号化ノード（Coding Node）と称する。４分木、２分木、及び３分木の中間ノードは、符号化ノードであり、CTU自身も最上位の符号化ノードとして規定される。
図3には、処理対象のCTUを復号するために画像復号装置31が参照するデータの集合が規定されている。CTUは、再帰的な４分木分割（QT（Quad Tree）分割）、２分木分割（BT（Binary Tree）分割）あるいは３分木分割（TT（Ternary Tree）分割）により、符号化処理の基本的な単位である符号化ユニットCUに分割される。再帰的な４分木分割により得られる木構造のノードのことを符号化ノード（Coding Node）と称する。４分木、２分木、及び３分木の中間ノードは、符号化ノードであり、CTU自身も最上位の符号化ノードとして規定される。
【0055】
（符号化ユニット）
図3は、処理対象の符号化ユニットを復号するために画像復号装置31が参照するデータの集合が規定されている。具体的には、CUは、CUヘッダCUH、予測パラメータ、変換パラメータ、量子化変換係数等から構成される。CUヘッダでは予測モード等が規定される。
図3は、処理対象の符号化ユニットを復号するために画像復号装置31が参照するデータの集合が規定されている。具体的には、CUは、CUヘッダCUH、予測パラメータ、変換パラメータ、量子化変換係数等から構成される。CUヘッダでは予測モード等が規定される。
【0056】
予測処理は、CU単位で行われる場合と、CUをさらに分割したサブCU単位で行われる場合がある。
【0057】
予測の種類（予測モード）は、イントラ予測と、インター予測の２つがある。イントラ予測は、同一ピクチャ内の予測であり、インター予測は、互いに異なるピクチャ間（例えば、表示時刻間、レイヤ画像間）で行われる予測処理を指す。
【0058】
変換・量子化処理はCU単位で行われるが、量子化変換係数は4x4等のサブブロック単位でエントロピー符号化してもよい。
【0059】
なお、本明細書中「ＸＸであるか否かを示すフラグ」と記す場合、フラグが０以外（たとえば１）をＸＸである場合、０をＸＸではない場合とし、論理否定、論理積などでは１を真、０を偽と扱う（以下同様）。但し、実際の装置や方法では真値、偽値として他の値を用いることもできる。
【0060】
（画像復号装置の構成）
本実施形態に係る画像復号装置31（図4）の構成について説明する。
本実施形態に係る画像復号装置31（図4）の構成について説明する。
【0061】
画像復号装置31は、エントロピー復号部301、パラメータ復号部（予測画像復号装置）302、ループフィルタ305、参照ピクチャメモリ306、予測パラメータメモリ307、予測画像生成部（予測画像生成装置）308、逆量子化・逆変換部311、及び加算部312、予測パラメータ導出部320を含んで構成される。なお、後述の画像符号化装置11に合わせ、画像復号装置31にループフィルタ305が含まれない構成もある。
【0062】
パラメータ復号部302は、さらに、ヘッダ復号部3020、CT情報復号部3021、及びCU復号部3022（予測モード復号部）を備えており、CU復号部3022はさらにTU復号部3024を備えている。これらを総称して復号モジュールと呼んでもよい。ヘッダ復号部3020は、符号化データからVPS、SPS、PPS、APSなどのパラメータセット情報、スライスヘッダ（スライス情報）を復号する。CT情報復号部3021は、符号化データからCTを復号する。CU復号部3022は符号化データからCUを復号する。TU復号部3024は、符号化データからQP更新情報（量子化補正値）と量子化予測誤差（residual_coding）を復号する。
【0063】
予測画像生成部308は、インター予測画像生成部309及びイントラ予測画像生成部310を含んで構成される。
【0064】
エントロピー復号部301は、外部から入力された符号化データTeに対してエントロピー復号を行って、個々の符号（シンタックス要素）を復号する。
【0065】
エントロピー復号部301は、復号した符号をパラメータ復号部302に出力する。どの符号を復号するかの制御は、パラメータ復号部302の指示に基づいて行われる。
【0066】
（基本フロー）
図5は、画像復号装置31の概略的動作を説明するフローチャートである。
図5は、画像復号装置31の概略的動作を説明するフローチャートである。
【0067】
（S1100：パラメータセット情報復号）ヘッダ復号部3020は、符号化データからVPS、SPS、PPSなどのパラメータセット情報を復号する。
【0068】
（S1200：スライス情報復号）ヘッダ復号部3020は、符号化データからスライスヘッダ（スライス情報）を復号する。
【0069】
以下、画像復号装置31は、対象ピクチャに含まれる各CTUについて、S1300からS5000の処理を繰り返すことにより各CTUの復号画像を導出する。
【0070】
（S1300：CTU情報復号）CT情報復号部3021は、符号化データからCTUを復号する。
【0071】
（S1400：CT情報復号）CT情報復号部3021は、符号化データからCTを復号する。
【0072】
（S1500：CU復号）CU復号部3022はS1510、S1520を実施して、符号化データからCUを復号する。
【0073】
（S1510：CU情報復号）CU復号部3022は、符号化データからCU情報、予測情報等を復号する。
【0074】
（S1520：TU情報復号）TU復号部3024は、符号化データからQP更新情報と量子化予測誤差等を復号する。なお、QP更新情報は、量子化パラメータQPの予測値である量子化パラメータ予測値qPpredからの差分値である。
【0075】
（S2000：予測画像生成）予測画像生成部308は、対象CUに含まれる各ブロックについて、予測情報に基づいて予測画像を生成する。
【0076】
（S3000：逆量子化・逆変換）逆量子化・逆変換部311は、対象CUに含まれる各TUについて、逆量子化・逆変換処理を実行する。
【0077】
（S4000：復号画像生成）加算部312は、予測画像生成部308より供給される予測画像と、逆量子化・逆変換部311より供給される予測誤差とを加算することによって、対象CUの復号画像を生成する。
【0078】
（S5000：ループフィルタ）ループフィルタ305は、復号画像にデブロッキングフィルタ、SAO、ALFなどのループフィルタをかけ、復号画像を生成する。
【0079】
非特許文献1では、ポストフィルタ処理の入力テンソルの入力値の形式で整数値を用いる場合に、入力テンソルに入力する強度制御値StrengthControlValの値が復号情報から得られる0から1の間の実数値としてのみ定義され、符号なし整数での処理ができないという課題があった。
【0080】
また、非特許文献2では、ポストフィルタ処理の入力テンソルの入力値の形式で整数値を用いる場合に、輝度と色差で独立にビット長が定義されている。しかし、非特許文献1と同じく、StrengthControlValは実数値のままであり、輝度と色差で異なる入力テンソルの精度にStrengthControlValの値を適用する方法がないという課題があった。
【0081】
本実施の形態では、ポストフィルタ処理の入力する強度制御値を定義する方法がないという課題を解決できる。
【0082】
（ニューラルネットワークポストフィルタ特性(NNPFC)SEI
図7は、非特許文献2のニューラルネットワークポストフィルタ特性(NNPFC)SEIメッセージのシンタクスの概略を示している。補助拡張情報復号装置91は、図7に示すシンタックス要素（例nnpfc_auxiliary_inp_idc、nnpfc_inp_order_idc、nnpfc_inp_format_idcなど）を復号する。NNPFC SEIメッセージは、ポストフィルタ処理として適用するニューラルネットワークを指定する。特定のピクチャに対する特定のポストフィルタ処理の適用は、ニューラルネットワークポストフィルタアクティベーションSEIメッセージ（図8）によって示される。
図7は、非特許文献2のニューラルネットワークポストフィルタ特性(NNPFC)SEIメッセージのシンタクスの概略を示している。補助拡張情報復号装置91は、図7に示すシンタックス要素（例nnpfc_auxiliary_inp_idc、nnpfc_inp_order_idc、nnpfc_inp_format_idcなど）を復号する。NNPFC SEIメッセージは、ポストフィルタ処理として適用するニューラルネットワークを指定する。特定のピクチャに対する特定のポストフィルタ処理の適用は、ニューラルネットワークポストフィルタアクティベーションSEIメッセージ（図8）によって示される。
【0083】
このSEIメッセージを適用するには、次の変数の定義が必要である。
・画像復号装置31が復号したピクチャの輝度画素単位の幅InpPicWidthInLumaSamplesと高さInpPicHeightInLumaSamples
・輝度画素配列CroppedYPic[idx]及び色差画素配列CroppedCbPic[idx]及びCroppedCrPic[idx]、ポストフィルタ処理の入力として使用される0からnumInputPics-1までの範囲のidxを持つピクチャ
・輝度画素配列の画素ビット深度BitDepthY
・色差画素配列の画素ビット長BitDepthC
・ピクチャの色差フォーマットChromaFormatIdcで示される色差フォーマットを示す変数SubWidthCとSubHeightC。4:2:0の時は、変数SubWidthCとSubHeightCは、ともに2であり、4:2:2の時は、変数SubWidthCが2で変数SubHeightCが1であり、4:4:4の時は、変数SubWidthCとSubHeightCは、ともに1である。
・nnpfc_auxiliary_inp_idcは、ニューラルネットワークポストフィルタの入力テンソルに補助入力データが存在することを示す。値が1に等しい場合、0から1までの範囲の実数である強度制御値StrengthControlVal（強度制御情報）を補助入力データとして入力する。なお、実数は小数点数や浮動小数点数でもよい。強度制御値は、量子化パラメータのように、復号画像を生成する過程で得られる値であってもよい。
・画像復号装置31が復号したピクチャの輝度画素単位の幅InpPicWidthInLumaSamplesと高さInpPicHeightInLumaSamples
・輝度画素配列CroppedYPic[idx]及び色差画素配列CroppedCbPic[idx]及びCroppedCrPic[idx]、ポストフィルタ処理の入力として使用される0からnumInputPics-1までの範囲のidxを持つピクチャ
・輝度画素配列の画素ビット深度BitDepthY
・色差画素配列の画素ビット長BitDepthC
・ピクチャの色差フォーマットChromaFormatIdcで示される色差フォーマットを示す変数SubWidthCとSubHeightC。4:2:0の時は、変数SubWidthCとSubHeightCは、ともに2であり、4:2:2の時は、変数SubWidthCが2で変数SubHeightCが1であり、4:4:4の時は、変数SubWidthCとSubHeightCは、ともに1である。
・nnpfc_auxiliary_inp_idcは、ニューラルネットワークポストフィルタの入力テンソルに補助入力データが存在することを示す。値が1に等しい場合、0から1までの範囲の実数である強度制御値StrengthControlVal（強度制御情報）を補助入力データとして入力する。なお、実数は小数点数や浮動小数点数でもよい。強度制御値は、量子化パラメータのように、復号画像を生成する過程で得られる値であってもよい。
【0084】
nnpfc_idは、ポストフィルタ処理を識別するために使用できる識別番号を示す。
【0085】
NNPFC SEIメッセージが、現在のCLVS内で特定のnnpfc_id値を持つ、復号順で最初のNNPFC SEIメッセージである場合、以下が適用される。
・このSEIメッセージが、基本のポストフィルタ処理であることを示す。
・このSEIメッセージが、現在のCLVSの最後まで、現在の復号されたピクチャと、現在のレイヤのすべての後続の復号されたピクチャに関係する。NNPFC SEIメッセージが、現在のCLVSで、復号順で前のNNPFC SEIメッセージの繰り返しである場合、後続のセマンティクスには、このSEIメッセージが現在のCLVS内で同じ内容を持つ唯一のNNPFC SEIメッセージであるかのように適用される。
・このSEIメッセージが、基本のポストフィルタ処理であることを示す。
・このSEIメッセージが、現在のCLVSの最後まで、現在の復号されたピクチャと、現在のレイヤのすべての後続の復号されたピクチャに関係する。NNPFC SEIメッセージが、現在のCLVSで、復号順で前のNNPFC SEIメッセージの繰り返しである場合、後続のセマンティクスには、このSEIメッセージが現在のCLVS内で同じ内容を持つ唯一のNNPFC SEIメッセージであるかのように適用される。
【0086】
NNPFC SEIメッセージが、現在のCLVS内で特定のnnpfc_id値を持つ、復号順で最初のNNPFC SEIメッセージでない場合、以下が適用される。
・このSEIメッセージは、同じnnpfc_id値を使用する、復号順で以前の基本のポストフィルタに関連する更新であることを示す。
・このSEIメッセージは、現在のCLVSの終わりまで、または現在のレイヤ内の特定のnnpfc_id値を持つ次のNNPFC SEIメッセージまで、現在の復号されたピクチャと、現在のレイヤのすべての後続の復号されたピクチャに関係する。
・このSEIメッセージは、同じnnpfc_id値を使用する、復号順で以前の基本のポストフィルタに関連する更新であることを示す。
・このSEIメッセージは、現在のCLVSの終わりまで、または現在のレイヤ内の特定のnnpfc_id値を持つ次のNNPFC SEIメッセージまで、現在の復号されたピクチャと、現在のレイヤのすべての後続の復号されたピクチャに関係する。
【0087】
nnpfc_mode_idcが0の場合は、このSEIメッセージに、ポストフィルタ処理を指定するISO/IEC 15938-17ビットストリームが含まれているか、または、このSEIメッセージが同じnnpfc_id値を持つ基本のポスト処理フィルタに関連する更新であることを示す。
【0088】
nnpfc_mode_idcが1の場合は、nnpfc_id値に関連付けられたポストフィルタ処理は、nnpfc_uriによって示されるURIによって識別されるニューラルネットワークであることを示す。
【0089】
nnpfc_reserved_zero_bit_aは、0を示す。
【0090】
nnpfc_tag_uriは、IETF RFC4151で指定されているシンタクスとセマンティクスを持つタグURIを含む。基本のポストフィルタ処理として使用されるニューラルネットワークに関する形式と関連情報、または同じnnpfc_id値が指定されたポストフィルタ処理に関連する更新のために使用される。なお、nnpfc_tag_uriは、登録機関を必要とせずに、nnpfc_uriによって指定されたニューラルネットワークデータの形式を一意に識別することを可能とする。nnpfc_tag_uriが「tag:iso.org,2023:15938-17」の場合は、nnpfc_uriによって識別されるニューラルネットワークのデータがISO/IEC 15938-17に準拠していてNNC(Neural Network Coding)で符号化されていることを示す。
【0091】
nnpfc_uriは、IETF Internet Standard 66で指定されているシンタクスとセマンティクスを持つURIを含み、ポストフィルタ処理として使用されるニューラル ネットワーク、または同じnnpfc_id値を持つポストフィルタ処理に関連する更新として使用される。
【0092】
nnpfc_formatting_and_purpose_flagが1の場合、フィルタの目的、入力フォーマット、出力フォーマット、および複雑さに関連する構文要素が存在することを示す。nnpfc_formatting_and_purpose_flagが0の場合は、フィルタの目的、入力フォーマット、出力フォーマット、および複雑さに関連するシンタクス要素が存在しないことを示す。
【0093】
このSEIメッセージが、現在のCLVS内で特定のnnpfc_id値を持つ、復号順で最初のNNPFC SEIメッセージである場合、nnpfc_formatting_and_purpose_flagは1に等しいものとする。このSEIメッセージが復号順で最初のNNPFC SEIメッセージでない場合、または、現在のCLVS内に特定のnnpfc_id値がある場合、nnpfc_formatting_and_purpose_flagの値は0である必要がある。
【0094】
nnpfc_purposeはポストフィルタ処理の目的を示す。nnpfc_purposeの値は、1の場合、画質改善を示す。2の場合、4:2:0色差フォーマットから4:2:2または4:4:4への色差のアップサンプリング、または4:2:2色差フォーマットから4:4:4の色差アップサンプリングを示す。3の場合は、色差フォーマットを変更せずにトリミングされた復号出力画像の幅または高さを増やすことを示す。4の場合は、復号出力画像の幅または高さを増やし、色差フォーマットをアップサンプリングすることを示す。5の場合は、ピクチャーレートアップサンプリングを示す。
【0095】
nnpfc_inp_order_idcは、入力テンソルの形式であり、復号画像の画素配列をポストフィルタ処理への入力として順序付けする方法を示す。0以上3以下の範囲のnnpfc_inp_order_idcのセマンティクスは、nnpfc_inp_order_idcの値毎の入力テンソルinputTensorを導出するプロセスを指定する。また、垂直画素座標cTopと水平画素座標cLeftから、入力テンソルに含まれる画素のパッチの左上の画素位置を指定する。inpPatchHeightとinpPatchWidthはパッチの高さと幅を示す。復号画像の色差形式が4:2:0でない場合、nnpfc_inp_order_idcの値を3にすることはできない。overlapSizeはパッチがオーバーラップする画素数である。
【0096】
もし、nnpfc_inp_order_idcの値が0の場合、入力テンソルには輝度行列のみが存在するため、チャンネル数は1である。入力テンソルを導出するためのプロセスDeriveInputTensors（）は以下の通りである。
【0097】
for(yP=-overlapSize;yP<inpPatchHeight+overlapSize;yP++)
for(xP=-overlapSize;xP<inpPatchWidth+overlapSize;xP++){
inpVal=InpY(InpSampleVal(cTop+yP,cLeft+xP,InpPicHeightInLumaSamples,
InpPicWidthInLumaSamples,CroppedYPic))
if(nnpfc_component_last_flag==0)
inputTensor[0][0][yP+overlapSize][xP+overlapSize]=inpVal
else
inputTensor[0][yP+overlapSize][xP+overlapSize][0]=inpVal
}
if(nnpfc_auxiliary_inp_idc == 1) {
if( !nnpfc_component_last_flag )
inputTensor[0][2][yP+overlapSize][xP+overlapSize]=StrengthControlVal
else
inputTensor[0][yP+overlapSize][xP+overlapSize][2]=StrengthControlVal
}
ここで、StrengthControlValは下記のように輝度由来の変数StrengthControlValYであってもよい。
for(xP=-overlapSize;xP<inpPatchWidth+overlapSize;xP++){
inpVal=InpY(InpSampleVal(cTop+yP,cLeft+xP,InpPicHeightInLumaSamples,
InpPicWidthInLumaSamples,CroppedYPic))
if(nnpfc_component_last_flag==0)
inputTensor[0][0][yP+overlapSize][xP+overlapSize]=inpVal
else
inputTensor[0][yP+overlapSize][xP+overlapSize][0]=inpVal
}
if(nnpfc_auxiliary_inp_idc == 1) {
if( !nnpfc_component_last_flag )
inputTensor[0][2][yP+overlapSize][xP+overlapSize]=StrengthControlVal
else
inputTensor[0][yP+overlapSize][xP+overlapSize][2]=StrengthControlVal
}
ここで、StrengthControlValは下記のように輝度由来の変数StrengthControlValYであってもよい。
【0098】
if(nnpfc_auxiliary_inp_idc == 1) {
if( !nnpfc_component_last_flag )
inputTensor[0][1][yP+overlapSize][xP+overlapSize]=StrengthControlValY
else
inputTensor[0][yP+overlapSize][xP+overlapSize][1]=StrengthControlValY
}
もし、nnpfc_inp_order_idcの値が1の場合、色差行列のみが入力テンソルに存在するため、チャンネル数は2である。入力テンソルを導出するためのプロセスDeriveInputTensors（）は以下の通りである。
if( !nnpfc_component_last_flag )
inputTensor[0][1][yP+overlapSize][xP+overlapSize]=StrengthControlValY
else
inputTensor[0][yP+overlapSize][xP+overlapSize][1]=StrengthControlValY
}
もし、nnpfc_inp_order_idcの値が1の場合、色差行列のみが入力テンソルに存在するため、チャンネル数は2である。入力テンソルを導出するためのプロセスDeriveInputTensors（）は以下の通りである。
【0099】
for(yP=-overlapSize;yP<inpPatchHeight+overlapSize;yP++)
for(xP=-overlapSize;xP<inpPatchWidth+overlapSize;xP++){
inpCbVal=InpC(InpSampleVal(cTop+yP,cLeft+xP,
InpPicHeightInLumaSamples/SubHeightC,
InpPicWidthInLumaSamples/SubWidthC,CroppedCbPic))
inpCrVal=InpC(InpSampleVal(cTop+yP,cLeft+xP,
InpPicHeightInLumaSamples/SubHeightC,
InpPicWidthInLumaSamples/SubWidthC,CroppedCrPic))
if(nnpfc_component_last_flag==0){
inputTensor[0][0][yP+overlapSize][xP+overlapSize]=inpCbVal
inputTensor[0][1][yP+overlapSize][xP+overlapSize]=inpCrVal
}else{
inputTensor[0][yP+overlapSize][xP+overlapSize][0]=inpCbVal
inputTensor[0][yP+overlapSize][xP+overlapSize][1]=inpCrVal
}
}
if(nnpfc_auxiliary_inp_idc == 1) {
if( !nnpfc_component_last_flag )
inputTensor[0][2][yP+overlapSize][xP+overlapSize]=StrengthControlVal
else
inputTensor[0][yP+overlapSize][xP+overlapSize][2]=StrengthControlVal
}
非特許文献1及び非特許文献2においては、強度制御値StrengthControlValは、輝度、色差では区別されていないが、一般に、輝度と色差では画像信号の性質が異なる。
for(xP=-overlapSize;xP<inpPatchWidth+overlapSize;xP++){
inpCbVal=InpC(InpSampleVal(cTop+yP,cLeft+xP,
InpPicHeightInLumaSamples/SubHeightC,
InpPicWidthInLumaSamples/SubWidthC,CroppedCbPic))
inpCrVal=InpC(InpSampleVal(cTop+yP,cLeft+xP,
InpPicHeightInLumaSamples/SubHeightC,
InpPicWidthInLumaSamples/SubWidthC,CroppedCrPic))
if(nnpfc_component_last_flag==0){
inputTensor[0][0][yP+overlapSize][xP+overlapSize]=inpCbVal
inputTensor[0][1][yP+overlapSize][xP+overlapSize]=inpCrVal
}else{
inputTensor[0][yP+overlapSize][xP+overlapSize][0]=inpCbVal
inputTensor[0][yP+overlapSize][xP+overlapSize][1]=inpCrVal
}
}
if(nnpfc_auxiliary_inp_idc == 1) {
if( !nnpfc_component_last_flag )
inputTensor[0][2][yP+overlapSize][xP+overlapSize]=StrengthControlVal
else
inputTensor[0][yP+overlapSize][xP+overlapSize][2]=StrengthControlVal
}
非特許文献1及び非特許文献2においては、強度制御値StrengthControlValは、輝度、色差では区別されていないが、一般に、輝度と色差では画像信号の性質が異なる。
【0100】
そこで、本実施の形態においては、強度制御値を輝度、色差で分けて用いる方法を示す。具体的には、StrengthControlValは下記のように色差由来の変数StrengthControlValCであってもよい。
【0101】
if(nnpfc_auxiliary_inp_idc == 1) {
if( !nnpfc_component_last_flag )
inputTensor[0][2][yP+overlapSize][xP+overlapSize]=StrengthControlValC
else
inputTensor[0][yP+overlapSize][xP+overlapSize][2]=StrengthControlValC
}
もし、nnpfc_inp_order_idcの値が2の場合、輝度行列と色差行列両方が入力テンソルに存在するため、チャンネル数は3である。入力テンソルを導出するためのプロセスDeriveInputTensors（）は以下の通りである。
if( !nnpfc_component_last_flag )
inputTensor[0][2][yP+overlapSize][xP+overlapSize]=StrengthControlValC
else
inputTensor[0][yP+overlapSize][xP+overlapSize][2]=StrengthControlValC
}
もし、nnpfc_inp_order_idcの値が2の場合、輝度行列と色差行列両方が入力テンソルに存在するため、チャンネル数は3である。入力テンソルを導出するためのプロセスDeriveInputTensors（）は以下の通りである。
【0102】
for(yP=-overlapSize;yP<inpPatchHeight+overlapSize;yP++)
for(xP=-overlapSize;xP<inpPatchWidth+overlapSize;xP++){
yY=cTop+yP
xY=cLeft+xP
yC=yY/SubHeightC
xC=xY/SubWidthC
inpYVal=InpY(InpSampleVal(yY,xY,InpPicHeightInLumaSamples,
InpPicWidthInLumaSamples,CroppedYPic))
inpCbVal=InpC(InpSampleVal(yC,xC,InpPicHeightInLumaSamples/SubHeightC,
InpPicWidthInLumaSamples/SubWidthC,CroppedCbPic))
inpCrVal=InpC(InpSampleVal(yC,xC,InpPicHeightInLumaSamples/SubHeightC,
InpPicWidthInLumaSamples/SubWidthC,CroppedCrPic))
if(nnpfc_component_last_flag==0){
inputTensor[0][0][yP+overlapSize][xP+overlapSize]=inpYVal
inputTensor[0][1][yP+overlapSize][xP+overlapSize]=inpCbVal
inputTensor[0][2][yP+overlapSize][xP+overlapSize]=inpCrVal
} else {
inputTensor[0][yP+overlapSize][xP+overlapSize][0]=inpYVal
inputTensor[0][yP+overlapSize][xP+overlapSize][1]=inpCbVal
inputTensor[0][yP+overlapSize][xP+overlapSize][2]=inpCrVal
}
}
if(nnpfc_auxiliary_inp_idc == 1) {
if( !nnpfc_component_last_flag )
inputTensor[0][3][yP+overlapSize][xP+overlapSize]=StrengthControlVal
else
inputTensor[0][yP+overlapSize][xP+overlapSize][3]=StrengthControlVal
}
ここで、StrengthControlValは下記のように輝度由来の変数StrengthControlValYであってもよい。
for(xP=-overlapSize;xP<inpPatchWidth+overlapSize;xP++){
yY=cTop+yP
xY=cLeft+xP
yC=yY/SubHeightC
xC=xY/SubWidthC
inpYVal=InpY(InpSampleVal(yY,xY,InpPicHeightInLumaSamples,
InpPicWidthInLumaSamples,CroppedYPic))
inpCbVal=InpC(InpSampleVal(yC,xC,InpPicHeightInLumaSamples/SubHeightC,
InpPicWidthInLumaSamples/SubWidthC,CroppedCbPic))
inpCrVal=InpC(InpSampleVal(yC,xC,InpPicHeightInLumaSamples/SubHeightC,
InpPicWidthInLumaSamples/SubWidthC,CroppedCrPic))
if(nnpfc_component_last_flag==0){
inputTensor[0][0][yP+overlapSize][xP+overlapSize]=inpYVal
inputTensor[0][1][yP+overlapSize][xP+overlapSize]=inpCbVal
inputTensor[0][2][yP+overlapSize][xP+overlapSize]=inpCrVal
} else {
inputTensor[0][yP+overlapSize][xP+overlapSize][0]=inpYVal
inputTensor[0][yP+overlapSize][xP+overlapSize][1]=inpCbVal
inputTensor[0][yP+overlapSize][xP+overlapSize][2]=inpCrVal
}
}
if(nnpfc_auxiliary_inp_idc == 1) {
if( !nnpfc_component_last_flag )
inputTensor[0][3][yP+overlapSize][xP+overlapSize]=StrengthControlVal
else
inputTensor[0][yP+overlapSize][xP+overlapSize][3]=StrengthControlVal
}
ここで、StrengthControlValは下記のように輝度由来の変数StrengthControlValYであってもよい。
【0103】
if(nnpfc_auxiliary_inp_idc == 1) {
if( !nnpfc_component_last_flag )
inputTensor[0][3][yP+overlapSize][xP+overlapSize]=StrengthControlValY
else
inputTensor[0][yP+overlapSize][xP+overlapSize][3]=StrengthControlValY
}
なお、さらにnnpfc_auxiliary_inp_idcに応じて複数の値を入力してもよい。nnpfc_auxiliary_inp_idcが輝度と色差の両方を入力することを示す値(==2)の場合、輝度と色差で異なる値StrengthControlValY、StrengthControlValCを入力してもよい（独立パラメータ構成）。
if( !nnpfc_component_last_flag )
inputTensor[0][3][yP+overlapSize][xP+overlapSize]=StrengthControlValY
else
inputTensor[0][yP+overlapSize][xP+overlapSize][3]=StrengthControlValY
}
なお、さらにnnpfc_auxiliary_inp_idcに応じて複数の値を入力してもよい。nnpfc_auxiliary_inp_idcが輝度と色差の両方を入力することを示す値(==2)の場合、輝度と色差で異なる値StrengthControlValY、StrengthControlValCを入力してもよい（独立パラメータ構成）。
【0104】
if(nnpfc_auxiliary_inp_idc == 2) {
if( !nnpfc_component_last_flag )
inputTensor[0][3][yP+overlapSize][xP+overlapSize]=StrengthControlValY
inputTensor[0][4][yP+overlapSize][xP+overlapSize]=StrengthControlValC
else
inputTensor[0][yP+overlapSize][xP+overlapSize][3]=StrengthControlValY
inputTensor[0][yP+overlapSize][xP+overlapSize][4]=StrengthControlValC
}
もし、nnpfc_inp_order_idcの値が3の場合、入力テンソルには4つの輝度行列、2つの色差行列、および量子化パラメータ行列が存在するため、チャンネル数は7である。輝度チャネルは、インターリーブ方式で導出される。このnnpfc_inp_order_idcは、色差形式が4:2:0の場合にのみ使用できる。入力テンソルを導出するためのプロセスDeriveInputTensors（）は以下の通りである。
if( !nnpfc_component_last_flag )
inputTensor[0][3][yP+overlapSize][xP+overlapSize]=StrengthControlValY
inputTensor[0][4][yP+overlapSize][xP+overlapSize]=StrengthControlValC
else
inputTensor[0][yP+overlapSize][xP+overlapSize][3]=StrengthControlValY
inputTensor[0][yP+overlapSize][xP+overlapSize][4]=StrengthControlValC
}
もし、nnpfc_inp_order_idcの値が3の場合、入力テンソルには4つの輝度行列、2つの色差行列、および量子化パラメータ行列が存在するため、チャンネル数は7である。輝度チャネルは、インターリーブ方式で導出される。このnnpfc_inp_order_idcは、色差形式が4:2:0の場合にのみ使用できる。入力テンソルを導出するためのプロセスDeriveInputTensors（）は以下の通りである。
【0105】
for(yP=-overlapSize;yP<inpPatchHeight+overlapSize;yP++)
for(xP=-overlapSize;xP<inpPatchWidth+overlapSize;xP++){
yTL=cTop+yP*2
xTL=cLeft+xP*2
yBR=yTL+1
xBR=xTL+1
yC=cTop/2+yP
xC=cLeft/2+xP
inpTLVal=InpY(InpSampleVal(yTL,xTL,InpPicHeightInLumaSamples,
InpPicWidthInLumaSamples,CroppedYPic))
inpTRVal=InpY(InpSampleVal(yTL,xBR,InpPicHeightInLumaSamples,
InpPicWidthInLumaSamples,CroppedYPic))
inpBLVal=InpY(InpSampleVal(yBR,xTL,InpPicHeightInLumaSamples,
InpPicWidthInLumaSamples,CroppedYPic))
inpBRVal=InpY(InpSampleVal(yBR,xBR,InpPicHeightInLumaSamples,
InpPicWidthInLumaSamples,CroppedYPic))
inpCbVal=InpC(InpSampleVal(yC,xC,InpPicHeightInLumaSamples/2,
InpPicWidthInLumaSamples/2,CroppedCbPic))
inpCrVal=InpC(InpSampleVal(yC,xC,InpPicHeightInLumaSamples/2,
InpPicWidthInLumaSamples/2,CroppedCrPic))
if(nnpfc_component_last_flag==0){
inputTensor[0][0][yP+overlapSize][xP+overlapSize]=inpTLVal
inputTensor[0][1][yP+overlapSize][xP+overlapSize]=inpTRVal
inputTensor[0][2][yP+overlapSize][xP+overlapSize]=inpBLVal
inputTensor[0][3][yP+overlapSize][xP+overlapSize]=inpBRVal
inputTensor[0][4][yP+overlapSize][xP+overlapSize]=inpCbVal
inputTensor[0][5][yP+overlapSize][xP+overlapSize]=inpCrVal
}else{
inputTensor[0][yP+overlapSize][xP+overlapSize][0]=inpTLVal
inputTensor[0][yP+overlapSize][xP+overlapSize][1]=inpTRVal
inputTensor[0][yP+overlapSize][xP+overlapSize][2]=inpBLVal
inputTensor[0][yP+overlapSize][xP+overlapSize][3]=inpBRVal
inputTensor[0][yP+overlapSize][xP+overlapSize][4]=inpCbVal
inputTensor[0][yP+overlapSize][xP+overlapSize][5]=inpCrVal
}
}
if(nnpfc_auxiliary_inp_idc == 1) {
if( !nnpfc_component_last_flag )
inputTensor[0][6][yP+overlapSize][xP+overlapSize]=StrengthControlVal
else
inputTensor[0][yP+overlapSize][xP+overlapSize][6]=StrengthControlVal
}
ここで、StrengthControlValは下記のように輝度由来の変数StrengthControlValYであってもよい。
for(xP=-overlapSize;xP<inpPatchWidth+overlapSize;xP++){
yTL=cTop+yP*2
xTL=cLeft+xP*2
yBR=yTL+1
xBR=xTL+1
yC=cTop/2+yP
xC=cLeft/2+xP
inpTLVal=InpY(InpSampleVal(yTL,xTL,InpPicHeightInLumaSamples,
InpPicWidthInLumaSamples,CroppedYPic))
inpTRVal=InpY(InpSampleVal(yTL,xBR,InpPicHeightInLumaSamples,
InpPicWidthInLumaSamples,CroppedYPic))
inpBLVal=InpY(InpSampleVal(yBR,xTL,InpPicHeightInLumaSamples,
InpPicWidthInLumaSamples,CroppedYPic))
inpBRVal=InpY(InpSampleVal(yBR,xBR,InpPicHeightInLumaSamples,
InpPicWidthInLumaSamples,CroppedYPic))
inpCbVal=InpC(InpSampleVal(yC,xC,InpPicHeightInLumaSamples/2,
InpPicWidthInLumaSamples/2,CroppedCbPic))
inpCrVal=InpC(InpSampleVal(yC,xC,InpPicHeightInLumaSamples/2,
InpPicWidthInLumaSamples/2,CroppedCrPic))
if(nnpfc_component_last_flag==0){
inputTensor[0][0][yP+overlapSize][xP+overlapSize]=inpTLVal
inputTensor[0][1][yP+overlapSize][xP+overlapSize]=inpTRVal
inputTensor[0][2][yP+overlapSize][xP+overlapSize]=inpBLVal
inputTensor[0][3][yP+overlapSize][xP+overlapSize]=inpBRVal
inputTensor[0][4][yP+overlapSize][xP+overlapSize]=inpCbVal
inputTensor[0][5][yP+overlapSize][xP+overlapSize]=inpCrVal
}else{
inputTensor[0][yP+overlapSize][xP+overlapSize][0]=inpTLVal
inputTensor[0][yP+overlapSize][xP+overlapSize][1]=inpTRVal
inputTensor[0][yP+overlapSize][xP+overlapSize][2]=inpBLVal
inputTensor[0][yP+overlapSize][xP+overlapSize][3]=inpBRVal
inputTensor[0][yP+overlapSize][xP+overlapSize][4]=inpCbVal
inputTensor[0][yP+overlapSize][xP+overlapSize][5]=inpCrVal
}
}
if(nnpfc_auxiliary_inp_idc == 1) {
if( !nnpfc_component_last_flag )
inputTensor[0][6][yP+overlapSize][xP+overlapSize]=StrengthControlVal
else
inputTensor[0][yP+overlapSize][xP+overlapSize][6]=StrengthControlVal
}
ここで、StrengthControlValは下記のように輝度由来の変数StrengthControlValYであってもよい。
【0106】
if(nnpfc_auxiliary_inp_idc == 1) {
if( !nnpfc_component_last_flag )
inputTensor[0][6][yP+overlapSize][xP+overlapSize]=StrengthControlValY
else
inputTensor[0][yP+overlapSize][xP+overlapSize][6]=StrengthControlValY
}
なお、さらにnnpfc_auxiliary_inp_idcに応じて複数の値を入力してもよい。nnpfc_auxiliary_inp_idcが輝度と色差の両方を入力することを示す値(==3)の場合、輝度と色差で異なる値StrengthControlValY、StrengthControlValCを入力してもよい。
if( !nnpfc_component_last_flag )
inputTensor[0][6][yP+overlapSize][xP+overlapSize]=StrengthControlValY
else
inputTensor[0][yP+overlapSize][xP+overlapSize][6]=StrengthControlValY
}
なお、さらにnnpfc_auxiliary_inp_idcに応じて複数の値を入力してもよい。nnpfc_auxiliary_inp_idcが輝度と色差の両方を入力することを示す値(==3)の場合、輝度と色差で異なる値StrengthControlValY、StrengthControlValCを入力してもよい。
【0107】
if(nnpfc_auxiliary_inp_idc == 2) {
if( !nnpfc_component_last_flag )
inputTensor[0][6][yP+overlapSize][xP+overlapSize]=StrengthControlValY
inputTensor[0][7][yP+overlapSize][xP+overlapSize]=StrengthControlValC
else
inputTensor[0][yP+overlapSize][xP+overlapSize][6]=StrengthControlValY
inputTensor[0][yP+overlapSize][xP+overlapSize][7]=StrengthControlValC
}
nnpfc_inp_format_idcは、ポストフィルタ処理のニューラルネットワークの入力テンソルの入力値の種類（入力値の精度）を示す。nnpfc_inp_format_idcが0の場合、入力値は実数であることを示し、nnpfc_inp_format_idcが1の場合、入力値は符号なし整数であることを示す。
if( !nnpfc_component_last_flag )
inputTensor[0][6][yP+overlapSize][xP+overlapSize]=StrengthControlValY
inputTensor[0][7][yP+overlapSize][xP+overlapSize]=StrengthControlValC
else
inputTensor[0][yP+overlapSize][xP+overlapSize][6]=StrengthControlValY
inputTensor[0][yP+overlapSize][xP+overlapSize][7]=StrengthControlValC
}
nnpfc_inp_format_idcは、ポストフィルタ処理のニューラルネットワークの入力テンソルの入力値の種類（入力値の精度）を示す。nnpfc_inp_format_idcが0の場合、入力値は実数であることを示し、nnpfc_inp_format_idcが1の場合、入力値は符号なし整数であることを示す。
【0108】
nnpfc_inp_format_idcの値が0の場合、関数InpYおよびInpCは次のように導出する。
【0109】
InpY(x)=x÷((1<<BitDepthY)-1)
InpC(x)=x÷((1<<BitDepthC)-1)
nnpfc_inp_sample_idcの値が1の場合、関数InpYおよびInpCは次のように導出する。
InpC(x)=x÷((1<<BitDepthC)-1)
nnpfc_inp_sample_idcの値が1の場合、関数InpYおよびInpCは次のように導出する。
【0110】
shift=BitDepthY-inpTensorBitDepthY
if(inpTensorBitDepthY>=BitDepthY)
InpY(x)=x<<(inpTensorBitDepthY-BitDepthY)
else
InpY(x)=Clip3(0,(1<<inpTensorBitDepthY)-1,(x+(1<<(shift-1)))>>shift)
shift=BitDepthC-inpTensorBitDepthY
if(inpTensorBitDepthC>=BitDepthC)
InpC(x)=x<<(inpTensorBitDepthC-BitDepthC)
else
InpC(x)=Clip3(0,(1<<inpTensorBitDepthC)-1,(x+(1<<(shift-1)))>>shift)
もし、nnpfc_inp_format_idcが1の場合は、非特許文献2においては、nnpfc_inp_tensor_luma_bitdepth_minus8、nnpfc_inp_tensor_chroma_bitdepth_minus8を符号化、復号する。nnpfc_inp_tensor_luma_bitdepth_minus8、nnpfc_inp_tensor_chroma_bitdepth_minus8に8を加算した値は、ポストフィルタ処理のニューラルネットワークに入力する画素値が符号なし整数の場合の輝度の画素値のビット長inpTensorBitDepthY、色差の画素値のビット長inpTensorBitDepthCである。そして、以下のような式で導出される。
if(inpTensorBitDepthY>=BitDepthY)
InpY(x)=x<<(inpTensorBitDepthY-BitDepthY)
else
InpY(x)=Clip3(0,(1<<inpTensorBitDepthY)-1,(x+(1<<(shift-1)))>>shift)
shift=BitDepthC-inpTensorBitDepthY
if(inpTensorBitDepthC>=BitDepthC)
InpC(x)=x<<(inpTensorBitDepthC-BitDepthC)
else
InpC(x)=Clip3(0,(1<<inpTensorBitDepthC)-1,(x+(1<<(shift-1)))>>shift)
もし、nnpfc_inp_format_idcが1の場合は、非特許文献2においては、nnpfc_inp_tensor_luma_bitdepth_minus8、nnpfc_inp_tensor_chroma_bitdepth_minus8を符号化、復号する。nnpfc_inp_tensor_luma_bitdepth_minus8、nnpfc_inp_tensor_chroma_bitdepth_minus8に8を加算した値は、ポストフィルタ処理のニューラルネットワークに入力する画素値が符号なし整数の場合の輝度の画素値のビット長inpTensorBitDepthY、色差の画素値のビット長inpTensorBitDepthCである。そして、以下のような式で導出される。
【0111】
inpTensorBitDepthY = nnpfc_inp_tensor_luma_bitdepth_minus8 + 8
inpTensorBitDepthC = nnpfc_inp_tensor_chroma_bitdepth_minus8 + 8
StrengthControlValは0から1の間の実数値であり、HEVC、VVCなどの符号化データの画質を制御するシンタックス値（例えば量子化パラメータ）から導出される値であり、画像復号装置31が復号した値を用いてもよい。入力テンソルの入力値の形式に整数が指定されている場合（nnpfc_inp_format_idcが0の場合）、符号化データから復号したStrengthControlValをそのまま用いる。
inpTensorBitDepthC = nnpfc_inp_tensor_chroma_bitdepth_minus8 + 8
StrengthControlValは0から1の間の実数値であり、HEVC、VVCなどの符号化データの画質を制御するシンタックス値（例えば量子化パラメータ）から導出される値であり、画像復号装置31が復号した値を用いてもよい。入力テンソルの入力値の形式に整数が指定されている場合（nnpfc_inp_format_idcが0の場合）、符号化データから復号したStrengthControlValをそのまま用いる。
【0112】
非特許文献1及び非特許文献2において入力テンソルの入力値の形式に整数が指定されている場合（nnpfc_inp_format_idcが1の場合）、整数値のStrengthControlValが定義されていないという問題があった。
【0113】
そこで、入力テンソルの入力値の形式に整数が指定されている場合（nnpfc_inp_format_idcが1の場合）、StrengthControlValを以下のように輝度のビットデプスを用いて導出してもよい。
【0114】
StrengthControlVal=floor(StrengthControlVal*((1 << inpTensorBitDepthY)-1))
なお、上式は更新前後に同じ変数名を用いているが別の変数名を用いてもよい。
なお、上式は更新前後に同じ変数名を用いているが別の変数名を用いてもよい。
【0115】
このような導出を行うことにより、nnpfc_inp_format_idcが1の場合でも、強度制御値を符号なし整数値でのニューラルネットワークによるポストフィルタ処理が実現できる。
【0116】
また、別の解決策としては、画像復号装置31から得られる強度値StrengthControlValInDecoderにより、以下のように変換してもよい。
【0117】
if (nnpfc_inp_format_idc == 0)
StrengthControlVal= StrengthControlValInDecoder
else if (nnpfc_inp_format_idc == 1)
StrengthControlVal
=floor(StrengthControlValInDecoder*((1 << inpTensorBitDepthY)-1)
なお、StrengthControlVal（StrengthControlValInDecoder）は画像復号装置31において、符号化データから得られる量子化パラメータの値を0から1の間の実数に正規化して設定してもよい。例えば以下のように導出してもよい。
StrengthControlVal= StrengthControlValInDecoder
else if (nnpfc_inp_format_idc == 1)
StrengthControlVal
=floor(StrengthControlValInDecoder*((1 << inpTensorBitDepthY)-1)
なお、StrengthControlVal（StrengthControlValInDecoder）は画像復号装置31において、符号化データから得られる量子化パラメータの値を0から1の間の実数に正規化して設定してもよい。例えば以下のように導出してもよい。
【0118】
StrengthControlVal = 対象ピクチャの先頭スライスのSliceQpY ÷ NormQP
さらに値の範囲が0..1となるように明示的にクリップ処理をしてもよい。
さらに値の範囲が0..1となるように明示的にクリップ処理をしてもよい。
【0119】
StrengthControlVal = Clip3(0.0, 1.0, 対象ピクチャの先頭スライスのSliceQpY ÷ NormQP)
これは以下のように記載しても同じである。
これは以下のように記載しても同じである。
【0120】
StrengthControlVal = Clip3(0, 1, 対象ピクチャの先頭スライスのSliceQpY ÷ NormQP)
なお、SliceQpYは、符号化データから復号されるスライス先頭での量子化パラメータの値であり、負の値の場合は0に設定する。NormQPは正規化のための値であり、量子化パラメータの最大値あるいは最大値プラス１である。例えば、H.266/VVCの場合には、量子化パラメータの最大値は63であることから、NormQPの値は63あるいは64とする。H.264/AVC、H.265/HEVCの場合は、量子化パラメータの最大値は51であることから、NormQPの値は51あるいは52としてもよい。
なお、SliceQpYは、符号化データから復号されるスライス先頭での量子化パラメータの値であり、負の値の場合は0に設定する。NormQPは正規化のための値であり、量子化パラメータの最大値あるいは最大値プラス１である。例えば、H.266/VVCの場合には、量子化パラメータの最大値は63であることから、NormQPの値は63あるいは64とする。H.264/AVC、H.265/HEVCの場合は、量子化パラメータの最大値は51であることから、NormQPの値は51あるいは52としてもよい。
【0121】
別の実施の形態としては、最大値を輝度の画素ビット長と仮定して、StrengthControlValInDecoder = SliceQpYとした上で、関数InpYを用いて以下で導出してもよい。
【0122】
StrengthControlVal = InpY(StrengthControlValInDecoder)
nnpfc_reserved_zero_bit_bは0とし、nnpfc_payload_byte[i]は、ISO/IEC 15938-17に準拠して、NNCで符号化されているビットストリームのi番目のバイトとする。
nnpfc_reserved_zero_bit_bは0とし、nnpfc_payload_byte[i]は、ISO/IEC 15938-17に準拠して、NNCで符号化されているビットストリームのi番目のバイトとする。
【0123】
非特許文献2おいては、ポストフィルタ処理のニューラルネットワークに入力する画素値が符号なし整数の場合の輝度の画素値のビット長inpTensorBitDepthY、色差の画素値のビット長inpTensorBitDepthCと独立に定義されている。そのため、整数値のStrengthControlValの定義が不明確という問題があった。
【0124】
そこで、補助拡張情報復号装置91は、入力テンソルの形式nnpfc_inp_order_idcに応じて、StrengthControlValの導出に輝度のビットデプスを用いるか、色差のビットデプスを用いるかを変更してもよい。具体的には、輝度を入力テンソルに入力し色差を入力しない場合(例、nnpfc_inp_order_idc==0)には、輝度のビットデプスを用い、色差を入力テンソルに入力し輝度を入力しない場合(例、nnpfc_inp_order_idc==1)には、色差のビットデプスを用いてもよい。具体的には以下の式で導出してもよい。
【0125】
if (nnpfc_inp_format_idc==1) {
if (nnpfc_inp_order_idc == 0)
StrengthControlVal=floor(StrengthControlVal*((1 << inpTensorBitDepthY)-1))
else if (nnpfc_inp_order_idc == 1)
StrengthControlVal=floor(StrengthControlVal*((1 << inpTensorBitDepthC)-1))
}
さらに輝度と色差の両方を入力する場合（nnpfc_inp_order_idc == 2 || nnpfc_inp_order_idc == 3）には、輝度のビットデプスを用いて導出してもよい（輝度優先構成）。
if (nnpfc_inp_order_idc == 0)
StrengthControlVal=floor(StrengthControlVal*((1 << inpTensorBitDepthY)-1))
else if (nnpfc_inp_order_idc == 1)
StrengthControlVal=floor(StrengthControlVal*((1 << inpTensorBitDepthC)-1))
}
さらに輝度と色差の両方を入力する場合（nnpfc_inp_order_idc == 2 || nnpfc_inp_order_idc == 3）には、輝度のビットデプスを用いて導出してもよい（輝度優先構成）。
【0126】
if (nnpfc_inp_format_idc==1) {
if (nnpfc_inp_order_idc == 0 || nnpfc_inp_order_idc == 2 || nnpfc_inp_order_idc == 3)
StrengthControlVal=floor(StrengthControlVal*((1 << inpTensorBitDepthY)-1))
otherwise (nnpfc_inp_order_idc == 1)
StrengthControlVal=floor(StrengthControlVal*((1 << inpTensorBitDepthC)-1))
}
上記のように整数か実数かを示す入力形式を示す情報nnfc_inp_format_idcと輝度ビットデプスと色差ビットデプスを符号化データから復号し、前記情報が整数の場合、輝度ビットデプスと色差ビットデプスを用いて前記強度制御値を変換してポストフィルタ処理を行ってもよい。
if (nnpfc_inp_order_idc == 0 || nnpfc_inp_order_idc == 2 || nnpfc_inp_order_idc == 3)
StrengthControlVal=floor(StrengthControlVal*((1 << inpTensorBitDepthY)-1))
otherwise (nnpfc_inp_order_idc == 1)
StrengthControlVal=floor(StrengthControlVal*((1 << inpTensorBitDepthC)-1))
}
上記のように整数か実数かを示す入力形式を示す情報nnfc_inp_format_idcと輝度ビットデプスと色差ビットデプスを符号化データから復号し、前記情報が整数の場合、輝度ビットデプスと色差ビットデプスを用いて前記強度制御値を変換してポストフィルタ処理を行ってもよい。
【0127】
（独立パラメータ構成）
別の構成として、輝度と色差ごとに個別のStrengthControlValY、StrengthControlValCを画像復号装置31で導出して、それをnnpfc_inp_order_idcの値に応じて入力テンソルに入力してもよい。
別の構成として、輝度と色差ごとに個別のStrengthControlValY、StrengthControlValCを画像復号装置31で導出して、それをnnpfc_inp_order_idcの値に応じて入力テンソルに入力してもよい。
【0128】
例えば、画像復号装置31において、以下の値のように、符号化データから得られる輝度の量子化パラメータSliceQpY、色差の量子化パラメータSliceQpCの値を0から1の間の実数に正規化して設定してもよい。
【0129】
StrengthControlValY = 対象ピクチャの先頭スライスのSliceQpY ÷ NormQP
StrengthControlValC = Min(対象ピクチャの先頭スライスのSliceQpC ÷ NormQP, 1.0)
さらに、具体的には輝度と色差で別々にビットデプスinpTensorBitDepthY、inpTensorBitDepthCから導出してもよい。
StrengthControlValC = Min(対象ピクチャの先頭スライスのSliceQpC ÷ NormQP, 1.0)
さらに、具体的には輝度と色差で別々にビットデプスinpTensorBitDepthY、inpTensorBitDepthCから導出してもよい。
【0130】
if (nnpfc_inp_format_idc==1) {
StrengthControlValY=floor(StrengthControlValY*((1 << inpTensorBitDepthY)-1)
StrengthControlValC=floor(StrengthControlValC*((1 << inpTensorBitDepthC)-1)
StrengthControlValY=floor(StrengthControlValY*((1 << inpTensorBitDepthY)-1)
StrengthControlValC=floor(StrengthControlValC*((1 << inpTensorBitDepthC)-1)
【0131】
（小数、整数パラメータ構成）
別の構成として、整数と実数の強度制御値StrengthControlValFloat、StrengthControlValIntを導出して、それをnnpfc_inp_format_idcの値に応じて入力テンソルに入力してもよい。
別の構成として、整数と実数の強度制御値StrengthControlValFloat、StrengthControlValIntを導出して、それをnnpfc_inp_format_idcの値に応じて入力テンソルに入力してもよい。
【0132】
例えば、画像復号装置31において、以下の値のように、符号化データから得られる輝度の量子化パラメータSliceQpY、色差の量子化パラメータSliceQpCの値を0から1の間の実数に正規化して設定してもよい。
【0133】
StrengthControlValFloat = 対象ピクチャの先頭スライスのSliceQpY ÷ NormQP
StrengthControlValInt = 対象ピクチャの先頭スライスのSliceQpY
例えば以下のように設定してもよい。
StrengthControlValInt = 対象ピクチャの先頭スライスのSliceQpY
例えば以下のように設定してもよい。
【0134】
if(nnpfc_auxiliary_inp_idc == 1) {
if( !nnpfc_component_last_flag )
inputTensor[0][1][yP+overlapSize][xP+overlapSize]= nnpfc_inp_format_idc==0 ? StrengthControlValFloat : StrengthControlValInt
else
inputTensor[0][yP+overlapSize][xP+overlapSize][1]=StrengthControlValY
if( !nnpfc_component_last_flag )
inputTensor[0][1][yP+overlapSize][xP+overlapSize]= nnpfc_inp_format_idc==0 ? StrengthControlValFloat : StrengthControlValInt
else
inputTensor[0][yP+overlapSize][xP+overlapSize][1]=StrengthControlValY
【0135】
（ニューラルネットワークポストフィルタアクティベーション(NNPFA)SEI）
図8は、ニューラルネットワークポストフィルタアクティベーション(NNPFA)SEIメッセージのシンタクスを示している。ニューラルネットワークポストフィルタアクティベーションNNPFA SEIメッセージは、一連のピクチャのポストフィルタ処理のために、nnpfa_target_idによって識別される対象ニューラルネットワークポストフィルタ処理の適用をアクティブ化または非アクティブ化する。
図8は、ニューラルネットワークポストフィルタアクティベーション(NNPFA)SEIメッセージのシンタクスを示している。ニューラルネットワークポストフィルタアクティベーションNNPFA SEIメッセージは、一連のピクチャのポストフィルタ処理のために、nnpfa_target_idによって識別される対象ニューラルネットワークポストフィルタ処理の適用をアクティブ化または非アクティブ化する。
【0136】
nnpfa_target_idは、対象とするピクチャのニューラルネットワークポストフィルタ処理を示す。これは、現在のピクチャに対して、nnpfa_target_idと等しいnnpfc_idを持つ1つ以上のNNPFC SEIメッセージを特定する。
【0137】
次の条件の一方または両方が真でない限り、nnpfa_target_idの特定の値を持つNNPFA SEIメッセージは現在のPUに存在してはならない。
・現在のCLVS内に、復号順で現在のPUに先行するPUに存在するnnpfa_target_idの特定の値に等しいnnpfc_idを持つNNPFC SEIメッセージがある。
・現在のPUのnnpfa_target_idの特定の値と等しいnnpfc_idを持つNNPFC SEIメッセージがある。
・現在のCLVS内に、復号順で現在のPUに先行するPUに存在するnnpfa_target_idの特定の値に等しいnnpfc_idを持つNNPFC SEIメッセージがある。
・現在のPUのnnpfa_target_idの特定の値と等しいnnpfc_idを持つNNPFC SEIメッセージがある。
【0138】
PUにnnpfc_idの特定の値を持つNNPFC SEIメッセージと、nnpfc_idの特定の値に等しいnnpfa_target_idを持つNNPFA SEIメッセージの両方が含まれる場合、NNPFC SEIメッセージは復号順でNNPFA SEIメッセージに先行するものとする。
【0139】
nnpfa_cancel_flagが1の場合は、現在のSEIメッセージと同じnnpfa_target_idを持つ以前のNNPFA SEIメッセージによって設定された対象ニューラルネットワークポストフィルタ処理の継続性がキャンセルされることを示す。つまり、対象とするニューラルネットワークポストフィルタ処理は実行されない。
【0140】
現在のSEIメッセージと同じnnpfa_target_idとnnpfa_cancel_flagが0の場合は、別のNNPFA SEIメッセージによってアクティブ化されない限り、使われない。nnpfa_cancel_flagが0の場合は、nnpfa_persistence_flagが続くことを示す。
【0141】
nnpfa_persistence_flagは、現在のレイヤの対象ニューラル ネットワークポストフィルタ処理が表示出力順序で継続することを示す。
【0142】
nnpfa_persistence_flagが0の場合は、対象とするニューラルネットワークポストフィルタ処理が、現在のピクチャのみのポストフィルタ処理に適用されることを示す。
【0143】
nnpfa_persistence_flagが1の場合は、次の条件の1つ以上がtrueになるまで、対象となるニューラルネットワークポストフィルタ処理を、現在の画像と現在のレイヤの後続のすべてのピクチャにポストフィルタ処理に適用することを示す。
・現在のレイヤの新しいCLVSが開始
・ビットストリームが終了
・現在のSEIメッセージと同じnnpfa_target_idと1に等しいnnpfa_cancel_flagを持つNNPFA SEIメッセージに関連付けられた現在のレイヤの画像は、表示出力順序で現在の画像の後に出力される。
・現在のレイヤの新しいCLVSが開始
・ビットストリームが終了
・現在のSEIメッセージと同じnnpfa_target_idと1に等しいnnpfa_cancel_flagを持つNNPFA SEIメッセージに関連付けられた現在のレイヤの画像は、表示出力順序で現在の画像の後に出力される。
【0144】
なお、ニューラルネットワークポストフィルタ処理は、現在のSEIメッセージと同じnnpfa_target_idおよびnnpfa_cancel_flagが1の場合、NNPFA SEIメッセージに関連付けられた現在のレイヤの後続のピクチャには適用されない。
【0145】
また、補助拡張情報作成装置71、補助拡張情報符号化装置81及び補助拡張情報復号装置91で汎用ネットワークパラメータを共通に保持してもよい。補助拡張情報作成装置71では、ニューラルネットワークポストフィルタ特性SEIなどの枠組みを用いて、共通に保持している汎用ネットワークを部分的に更新するネットワークパラメータを補助拡張情報として作成する。そして、補助拡張情報符号化装置81で符号化し、補助拡張情報復号装置91で復号してもよい。このような構成にすることで、補助拡張情報の符号量を削減し、入力画像Tに応じた補助拡張情報を作成、符号化、復号できる。
【0146】
また、ネットワークパラメータの伝送フォーマットとして、複数のフォーマットに対応するために、フォーマットを示すパラメータ（識別子）を送付してもよい。また、識別子に続く実際の補助拡張情報については、バイト列で伝送してもよい。
【0147】
補助拡張情報復号装置91で復号したネットワークパラメータの補助拡張情報は、ポストフィルタ処理装置61に入力する。
【0148】
ポストフィルタ処理装置61では、復号した補助拡張情報（ニューラルネットワークポストフィルタ特性SEI、ニューラルネットワークポストフィルタアクティベーションSEI）を用いて、ニューラルネットワークを用いたポスト画像処理を行い、復号動画像Tdを復元する。
【0149】
補助拡張情報符号化装置81では、図7、図8のシンタックス表に基づいて、補助拡張情報を符号化する。補助拡張情報は、補助拡張情報SEIとして符号化され、画像符号化装置11の出力する符号化データTeに多重化されてネットワーク21に出力される。
【0150】
補助拡張情報復号装置91は、符号化データTeから、図7、図8のシンタックス表に基づいて補助拡張情報を復号し、復号結果をポストフィルタ処理装置61と画像認識装置51に送る。補助拡張情報復号装置91は補助拡張情報SEIとして符号化された補助拡張情報を復号する。
【0151】
ポストフィルタ処理装置61は、復号動画像Tdと補助拡張情報を用いて復号動画像Tdにポスト画像処理を行い、ポスト画像処理Toを生成する。
【0152】
また、補助拡張情報作成装置71、補助拡張情報符号化装置81及び補助拡張情報復号装置91で汎用ネットワークパラメータを共通に保持してもよい。補助拡張情報作成装置71では、共通に保持している汎用ネットワークを部分的に更新するネットワークパラメータを補助拡張情報として作成し、補助拡張情報符号化装置81で符号化し、補助拡張情報復号装置91で復号してもよい。このような構成にすることで、補助拡張情報の符号量を削減し、入力画像Tに応じた補助拡張情報を作成、符号化、復号できる。
【0153】
また、ネットワークパラメータの伝送フォーマットとして、複数のフォーマットに対応するために、フォーマットを示すパラメータ（識別子）を送付してもよい。また、識別子に続く実際の補助拡張情報については、バイト列で伝送してもよい。
【0154】
補助拡張情報復号装置91で復号したネットワークパラメータの補助拡張情報は、ポストフィルタ処理装置61に入力する。
【0155】
なお、本実施の形態の一例では、SEIでのシンタックスを示したが、SEIに限定されず、SPS、PPS、APS、スライスヘッダなどのシンタックスを用いてもよい。
【0156】
本実施の形態では、このような構成において、伝送レートが低い場合でも、画質を改善し、予測構造によらず、効率的に補助拡張情報を符号化、復号することが可能な方式を提供する。
【0157】
〔応用例〕
上述した動画像符号化装置10及び動画像復号装置30は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用することができる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像（CGおよびGUIを含む）であってもよい。
上述した動画像符号化装置10及び動画像復号装置30は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用することができる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像（CGおよびGUIを含む）であってもよい。
【0158】
（SEIペイロード） 図9は、SEIメッセージのコンテナであるSEIペイロードのシンタクスを示す図である。
【0159】
nal_unit_typeがPREFIX_SEI_NUTの時に呼び出される。PREFIX_SEI_NUTは、スライスデータよりも前に位置するSEIであることを示している。
【0160】
payloadTypeが210の時、ニューラルネットワークポストフィルタ特性SEIが呼び出される。
【0161】
payloadTypeが211の時、ニューラルネットワークポストフィルタアクティベーションSEIが呼び出される。
【0162】
（SEIの復号とポストフィルタ処理）
ヘッダ復号部3020は、SEIメッセージのコンテナであるSEIペイロードを読み込み、ニューラルネットワークポストフィルタ特性SEIメッセージを復号する。例えば、ヘッダ復号部3020は、nnpfc_id、nnpfc_mode_idc、nnpfc_formatting_and_purpose_flag、nnpfc_purpose、nnpfc_reserved_zero_bit_a、nnpfc_uri_tag[i]、nnpfc_uri[i]、nnpfc_reserved_zero_bit_b、nnpfc_payload_byte[i]を復号する。
ヘッダ復号部3020は、SEIメッセージのコンテナであるSEIペイロードを読み込み、ニューラルネットワークポストフィルタ特性SEIメッセージを復号する。例えば、ヘッダ復号部3020は、nnpfc_id、nnpfc_mode_idc、nnpfc_formatting_and_purpose_flag、nnpfc_purpose、nnpfc_reserved_zero_bit_a、nnpfc_uri_tag[i]、nnpfc_uri[i]、nnpfc_reserved_zero_bit_b、nnpfc_payload_byte[i]を復号する。
【0163】
図10は、ポストフィルタ処理装置61の処理のフローチャートを示す図である。ポストフィルタ処理装置61は、上記SEIメッセージのパラメータに従って以下の処理を行う。
【0164】
S6001：SEIから処理量と精度を読み込む。
【0165】
S6002：ポストの処理量が処理可能な複雑度を超える場合には終了する。超えない場合にはS6003へ進む。
【0166】
S6003：ポストフィルタ処理装置61が処理可能な精度を超える場合には終了する。超えない場合にはS6004へ進む。
【0167】
S6004：SEIからネットワークモデルを特定し、ポストフィルタ処理装置61のトポロジーを設定する。
【0168】
S6005：SEIの更新情報からネットワークモデルのパラメータを導出する。
【0169】
S6006：導出されたネットワークモデルのパラメータをポストフィルタ処理装置61に読み込む。
【0170】
S6007：ポストフィルタ処理装置61のフィルタ処理を実行し、外部に出力する。
【0171】
ただし、復号処理における輝度サンプルや色差サンプルの構築にSEIは必ずしも必要とされない。
【0172】
(ポストフィルタ処理装置61の詳細)
NNフィルタ部は入力画像inputTensorと入力パラメータ(例えば、QP、bSなど)を用いて、ニューラルネットワークモデルによるフィルタ処理を行う。入力画像は、コンポーネントごとの画像であってもよいし、複数コンポーネントをそれぞれチャネルとして持つ画像であってもよい。また、入力パラメータは画像と異なるチャネルに割り当ててもよい。
NNフィルタ部は入力画像inputTensorと入力パラメータ(例えば、QP、bSなど)を用いて、ニューラルネットワークモデルによるフィルタ処理を行う。入力画像は、コンポーネントごとの画像であってもよいし、複数コンポーネントをそれぞれチャネルとして持つ画像であってもよい。また、入力パラメータは画像と異なるチャネルに割り当ててもよい。
【0173】
NNフィルタ部は、以下の処理を繰り返し適用してもよい。
【0174】
NNフィルタ部は、inputTensorにカーネルk[m][i][j]を畳み込み演算(conv,convolution)し、biasを加算した出力画像outputTensorを導出する。ここで、nn=0..n-1、xx=0..width-1、yy=0..height-1であり、Σは各々mm、i、jに対する総和を表す。
【0175】
outputTensor[nn][xx][yy]=ΣΣΣ(k[mm][i][j]*inputTensor[mm][xx+i-of][yy+j-of]+bias[nn])
1x1 Convの場合、Σは、各々mm=0..m-1、i=0、j=0の総和を表す。このとき、of=0を設定する。3x3 Convの場合、Σは各々mm=0..m-1、i=0..2、j=0..2の総和を表す。このとき、of=1を設定する。nはoutSamplesのチャネル数、mはinputTensorのチャネル数、widthはinputTensorとoutputTensorの幅、heightはinputTensorとoutputTensorの高さである。ofは、inputTensorとoutputTensorのサイズを同一にするために、inputTensorの周囲に設けるパディング領域のサイズである。以下、NNフィルタ部の出力が画像ではなく値（補正値）の場合には、outputTensorの代わりにcorrNNで出力を表わす。
1x1 Convの場合、Σは、各々mm=0..m-1、i=0、j=0の総和を表す。このとき、of=0を設定する。3x3 Convの場合、Σは各々mm=0..m-1、i=0..2、j=0..2の総和を表す。このとき、of=1を設定する。nはoutSamplesのチャネル数、mはinputTensorのチャネル数、widthはinputTensorとoutputTensorの幅、heightはinputTensorとoutputTensorの高さである。ofは、inputTensorとoutputTensorのサイズを同一にするために、inputTensorの周囲に設けるパディング領域のサイズである。以下、NNフィルタ部の出力が画像ではなく値（補正値）の場合には、outputTensorの代わりにcorrNNで出力を表わす。
【0176】
なお、CWH形式のinputTensor、outputTensorではなくCHW形式のinputTensor、outputTensorで記述すると以下の処理と等価である。
【0177】
outputTensor[nn][yy][xx]=ΣΣΣ(k[mm][i][j]*inputTensor[mm][yy+j-of][xx+i-of]+bias[nn])
また、Depth wise Convと呼ばれる以下の式で示す処理を行ってもよい。ここで、nn=0..n-1、xx=0..width-1、yy=0..height-1であり、Σは各々i、jに対する総和を表す。nはoutputTensorとinputTensorのチャネル数、widthはinputTensorとoutputTensorの幅、heightはinputTensorとoutputTensorの高さである。
また、Depth wise Convと呼ばれる以下の式で示す処理を行ってもよい。ここで、nn=0..n-1、xx=0..width-1、yy=0..height-1であり、Σは各々i、jに対する総和を表す。nはoutputTensorとinputTensorのチャネル数、widthはinputTensorとoutputTensorの幅、heightはinputTensorとoutputTensorの高さである。
【0178】
outputTensor[nn][xx][yy]=ΣΣ(k[nn][i][j]*inputTensor[nn][xx+i-of][yy+j-of]+bias[nn])
またActivateと呼ばれる非線形処理、たとえばReLUを用いてもよい。
ReLU(x) = x >= 0 ? x : 0
また以下の式に示すleakyReLUを用いてもよい。
またActivateと呼ばれる非線形処理、たとえばReLUを用いてもよい。
ReLU(x) = x >= 0 ? x : 0
また以下の式に示すleakyReLUを用いてもよい。
【0179】
leakyReLU(x) = x >= 0 ? x : a * x
ここでaは所定の値、例えば0.1や0.125である。また整数演算を行うために上記の全てのk、bias、aの値を整数として、convの後に右シフトを行ってもよい。
ここでaは所定の値、例えば0.1や0.125である。また整数演算を行うために上記の全てのk、bias、aの値を整数として、convの後に右シフトを行ってもよい。
【0180】
ReLUでは0未満の値に対しては常に0、それ以上の値に対しては入力値がそのまま出力される。一方、leakyReLUでは、0未満の値に対して、aで設定された勾配で線形処理が行われる。ReLUでは0未満の値に対する勾配が消失するため、学習が進みにくくなる場合がある。leakyReLUでは0未満の値に対する勾配が残され、上記問題が起こりにくくなる。また、上記leakyReLU(x)のうち、aの値をパラメータ化して用いるPReLUを用いてもよい。
【0181】
(NNC)
Neural Network Coding(NNC)は、ニューラルネットワーク(NN)を効率的に圧縮するための国際標準規格ISO/IEC15938-17である。学習済みのNNの圧縮を行うことで、NNを保存や伝送を行う際の効率化が可能となる。
Neural Network Coding(NNC)は、ニューラルネットワーク(NN)を効率的に圧縮するための国際標準規格ISO/IEC15938-17である。学習済みのNNの圧縮を行うことで、NNを保存や伝送を行う際の効率化が可能となる。
【0182】
以下にNNCの符号化・復号処理の概要について説明する。
【0183】
図11は、NNCの符号化装置・復号装置について示す図である。
【0184】
NN符号化装置801は、前処理部8011、量子化部8012、エントロピー符号化部8013を有する。NN符号化装置801は、圧縮前のNNモデルOを入力し、量子化部8012にてNNモデルOの量子化を行い、量子化モデルQを求める。NN符号化装置801は、量子化前に、前処理部8011にて枝刈り（プルーニング）やスパース化などのパラメータ削減手法を繰り返し適用してもよい。その後、エントロピー符号化部8013にて、量子化モデルQにエントロピー符号化を適用し、NNモデルの保存、伝送のためのビットストリームSを求める。
【0185】
NN復号装置802は、エントロピー復号部8021、パラメータ復元部8022、後処理部8023を有する。NN復号装置802は、始めに伝送されたビットストリームSを入力し、エントロピー復号部8021にて、Sのエントロピー復号を行い、中間モデルRQを求める。NNモデルの動作環境がRQで使用された量子化表現を用いた推論をサポートしている場合、RQを出力し、推論に使用してもよい。そうでない場合、パラメータ復元部8022にてRQのパラメータを元の表現に復元し、中間モデルRPを求める。使用する疎なテンソル表現がNNモデルの動作環境で処理できる場合、RPを出力し、推論に使用してもよい。そうでない場合、NNモデルOと異なるテンソル、または構造表現を含まない再構成NNモデルRを求め、出力する。
【0186】
NNC規格には、整数、浮動小数点など、特定のNNパラメータの数値表現に対する復号手法が存在する。
【0187】
復号手法NNR_PT_INTは、整数値のパラメータからなるモデルを復号する。復号手法NNR_PT_FLOATは、NNR_PT_INTを拡張し、量子化ステップサイズdeltaを追加する。このdeltaに上記整数値を乗算し、スケーリングされた整数を生成する。deltaは、整数の量子化パラメータqpとdeltaの粒度パラメータqp_densityから、以下のように導き出される。
【0188】
mul = 2^(qp_density) + (qp & (2^(qp_density)-1))
delta = mul * 2^((qp >> qp_density)-qp_density)
(学習済みNNのフォーマット)
学習済みNNの表現は、層のサイズや層間の接続などのトポロジー表現と、重みやバイアスなどのパラメータ表現の2つの要素からなる。
delta = mul * 2^((qp >> qp_density)-qp_density)
(学習済みNNのフォーマット)
学習済みNNの表現は、層のサイズや層間の接続などのトポロジー表現と、重みやバイアスなどのパラメータ表現の2つの要素からなる。
【0189】
トポロジー表現は、TensorFlow（登録商標）やPyTorch（登録商標）などのネイティブフォーマットでカバーされているが、相互運用性向上のため、Open Neural Network Exchange Format(ONNX、登録商標)、Neural Network Exchange Format(NNEF)などの交換フォーマットが存在する。
【0190】
また、NNC規格では、圧縮されたパラメータテンソルを含むNNCビットストリームの一部として、トポロジー情報nnr_topology_unit_payloadを伝送する。これにより、交換フォーマットだけでなく、ネイティブフォーマットで表現されたトポロジー情報との相互運用を実現する。
【0191】
（画像符号化装置の構成）
次に、本実施形態に係る画像符号化装置11の構成について説明する。図6は、本実施形態に係る画像符号化装置11の構成を示すブロック図である。画像符号化装置11は、予測画像生成部101、減算部102、変換・量子化部103、逆量子化・逆変換部105、加算部106、ループフィルタ107、予測パラメータメモリ（予測パラメータ記憶部、フレームメモリ）108、参照ピクチャメモリ（参照画像記憶部、フレームメモリ）109、符号化パラメータ決定部110、パラメータ符号化部111、予測パラメータ導出部120、エントロピー符号化部104を含んで構成される。
次に、本実施形態に係る画像符号化装置11の構成について説明する。図6は、本実施形態に係る画像符号化装置11の構成を示すブロック図である。画像符号化装置11は、予測画像生成部101、減算部102、変換・量子化部103、逆量子化・逆変換部105、加算部106、ループフィルタ107、予測パラメータメモリ（予測パラメータ記憶部、フレームメモリ）108、参照ピクチャメモリ（参照画像記憶部、フレームメモリ）109、符号化パラメータ決定部110、パラメータ符号化部111、予測パラメータ導出部120、エントロピー符号化部104を含んで構成される。
【0192】
予測画像生成部101はCU毎に予測画像を生成する。
【0193】
減算部102は、予測画像生成部101から入力されたブロックの予測画像の画素値を、画像Ｔの画素値から減算して予測誤差を生成する。減算部102は予測誤差を変換・量子化部103に出力する。
【0194】
変換・量子化部103は、減算部102から入力された予測誤差に対し、周波数変換によって変換係数を算出し、量子化によって量子化変換係数を導出する。変換・量子化部103は、量子化変換係数をパラメータ符号化部111及び逆量子化・逆変換部105に出力する。
【0195】
逆量子化・逆変換部105は、画像復号装置31における逆量子化・逆変換部311（図6）と同じであり、説明を省略する。算出した予測誤差は加算部106に出力される。
【0196】
パラメータ符号化部111は、ヘッダ符号化部1110、CT情報符号化部1111、CU符号化部1112（予測モード符号化部）を備えている。CU符号化部1112はさらにTU符号化部1114を備えている。以下、各モジュールの概略動作を説明する。
【0197】
ヘッダ符号化部1110はヘッダ情報、分割情報、予測情報、量子化変換係数等のパラメータの符号化処理を行う。
【0198】
CT情報符号化部1111は、QT、MT（BT、TT）分割情報等を符号化する。
【0199】
CU符号化部1112はCU情報、予測情報、分割情報等を符号化する。
【0200】
TU符号化部1114は、TUに予測誤差が含まれている場合に、QP更新情報と量子化予測誤差を符号化する。
【0201】
CT情報符号化部1111、CU符号化部1112は、インター予測パラメータ、量子化変換係数等のシンタックス要素をパラメータ符号化部111に供給する。
【0202】
エントロピー符号化部104には、パラメータ符号化部111から量子化変換係数と符号化パラメータが入力される。エントロピー符号化部104はこれらをエントロピー符号化して符号化データTeを生成し、出力する。
【0203】
予測パラメータ導出部120は、符号化パラメータ決定部110から入力されたパラメータからインター予測パラメータ及びイントラ予測パラメータを導出する。導出されたインター予測パラメータ及びイントラ予測パラメータは、パラメータ符号化部111に出力される。
【0204】
加算部106は、予測画像生成部101から入力された予測ブロックの画素値と逆量子化・逆変換部105から入力された予測誤差を画素毎に加算して復号画像を生成する。加算部106は生成した復号画像を参照ピクチャメモリ109に記憶する。
【0205】
ループフィルタ107は加算部106が生成した復号画像に対し、デブロッキングフィルタ、SAO、ALFを施す。なお、ループフィルタ107は、必ずしも上記３種類のフィルタを含まなくてもよく、例えばデブロッキングフィルタのみの構成であってもよい。
【0206】
予測パラメータメモリ108は、符号化パラメータ決定部110が生成した予測パラメータを、対象ピクチャ及びCU毎に予め定めた位置に記憶する。
【0207】
参照ピクチャメモリ109は、ループフィルタ107が生成した復号画像を対象ピクチャ及びCU毎に予め定めた位置に記憶する。
【0208】
符号化パラメータ決定部110は、符号化パラメータの複数のセットのうち、１つのセットを選択する。符号化パラメータとは、上述したQT、BTあるいはTT分割情報、予測パラメータ、あるいはこれらに関連して生成される符号化の対象となるパラメータである。予測画像生成部101は、これらの符号化パラメータを用いて予測画像を生成する。
【0209】
なお、上述した実施形態における画像符号化装置11、画像復号装置31の一部、例えば、エントロピー復号部301、パラメータ復号部302、ループフィルタ305、予測画像生成部308、逆量子化・逆変換部311、加算部312、予測パラメータ導出部320、予測画像生成部101、減算部102、変換・量子化部103、エントロピー符号化部104、逆量子化・逆変換部105、ループフィルタ107、符号化パラメータ決定部110、パラメータ符号化部111、予測パラメータ導出部120をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、画像符号化装置11、画像復号装置31のいずれかに内蔵されたコンピュータシステムであって、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【0210】
また、上述した実施形態における画像符号化装置11、画像復号装置31の一部、または全部を、LSI（Large Scale Integration）等の集積回路として実現しても良い。画像符号化装置11、画像復号装置31の各機能ブロックは個別にプロセッサ化しても良いし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
【0211】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【0212】
本実施の形態を図1に基づいて説明すると、動画像符号化装置10は、入力画像を符号化する画像符号化装置11と、ポストフィルタ処理に入力する輝度と色差の復号画像の入力形式と、復号画像を生成する過程で得られる強度制御値の入力形式を決定する情報を生成する補助拡張情報生成装置71と、前記補助拡張情報を符号化する補助拡張情報符号化装置81を有することを特徴とする。
【0213】
動画像復号装置30は、符号化データから画像を復号する画像復号装置31と、画像復号装置31で復号した画像に対して、復号画像にポストフィルタ処理を行うポストフィルタ処理装置61とを備え、ポストフィルタ処理装置61では、画像復号装置31で復号画像を生成する過程で得られる強度制御値を、補助拡張情報復号装置91で復号したポストフィルタ処理に入力する復号画像の輝度と色差の入力形式に応じて、強度制御値を変換してポストフィルタ処理を行うことを特徴とする。
【0214】
本発明の実施形態は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【0215】
本発明の実施形態は、画像データが符号化された符号化データを復号する動画像復号装置、および、画像データが符号化された符号化データを生成する動画像符号化装置に好適に適用することができる。また、動画像符号化装置によって生成され、動画像復号装置によって参照される符号化データのデータ構造に好適に適用することができる。
【符号の説明】
【0216】
1 動画像伝送システム
30 動画像復号装置
31 画像復号装置
301 エントロピー復号部
302 パラメータ復号部
305、107 ループフィルタ
306、109 参照ピクチャメモリ
307、108 予測パラメータメモリ
308、101 予測画像生成部
311、105 逆量子化・逆変換部
312、106 加算部
320 予測パラメータ導出部
10 動画像符号化装置
11 画像符号化装置
102 減算部
103 変換・量子化部
104 エントロピー符号化部
110 符号化パラメータ決定部
111 パラメータ符号化部
120 予測パラメータ導出部
41 画像表示装置
51 プレフィルタ処理装置
61 ポストフィルタ処理装置
71 補助拡張情報作成装置
81 補助拡張情報符号化装置
91 補助拡張情報復号装置
30 動画像復号装置
31 画像復号装置
301 エントロピー復号部
302 パラメータ復号部
305、107 ループフィルタ
306、109 参照ピクチャメモリ
307、108 予測パラメータメモリ
308、101 予測画像生成部
311、105 逆量子化・逆変換部
312、106 加算部
320 予測パラメータ導出部
10 動画像符号化装置
11 画像符号化装置
102 減算部
103 変換・量子化部
104 エントロピー符号化部
110 符号化パラメータ決定部
111 パラメータ符号化部
120 予測パラメータ導出部
41 画像表示装置
51 プレフィルタ処理装置
61 ポストフィルタ処理装置
71 補助拡張情報作成装置
81 補助拡張情報符号化装置
91 補助拡張情報復号装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】