知財求人 - 知財ポータルサイト「IP Force」
特開2024-175083画像復号装置、画像符号化装置、画像復号方法及び画像符号化方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024175083
(43)【公開日】2024-12-17
(54)【発明の名称】画像復号装置、画像符号化装置、画像復号方法及び画像符号化方法
(51)【国際特許分類】
H04N 19/85 20140101AFI20241210BHJP
H04N 19/463 20140101ALI20241210BHJP
【ＦＩ】
H04N19/85
H04N19/463
【審査請求】有
【請求項の数】4
【出願形態】ＯＬ
(21)【出願番号】P 2024161428
(22)【出願日】2024-09-18
(62)【分割の表示】P 2023208718の分割
【原出願日】2022-01-14
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＴＥＮＳＯＲＦＬＯＷ
(71)【出願人】
【識別番号】000005049
【氏名又は名称】シャープ株式会社
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】八杉 将伸
(72)【発明者】
【氏名】高田 圭一郎
(72)【発明者】
【氏名】猪飼 知宏
(72)【発明者】
【氏名】中條 健
(72)【発明者】
【氏名】青野 友子
(57)【要約】 （修正有）
【課題】ニューラルネットワークフィルタを用いたポストフィルタの処理能力を持っているかの判断を容易にする動画像復号装置及び動画像符号化装置を提供する。
【解決手段】動画像伝送システムの動画像復号装置３０において、符号化データから画像を復号する画像復号装置は、フィルタ処理用のフィルタ強度及びビットデプスを導出するヘッダ復号部と、ニューラルネットワーク（ＮＮ）モデルの入力テンソルの形式を指定する入力画像情報を導出するＮＮフィルタ部を含むループフィルタとを備え、ＮＮフィルタ部は、入力画像情報に基づいて、画像を用いて入力テンソルの一部を導出し、入力テンソルに別の一部に付加情報を設定し、入力テンソルを用いてＮＮのフィルタ処理を実施することで出力テンソルを導出し、出力テンソルからフィルタ後の画像を導出し、付加情報を、フィルタ強度とビットデプスを用いて導出する。
【選択図】図１
【解決手段】動画像伝送システムの動画像復号装置３０において、符号化データから画像を復号する画像復号装置は、フィルタ処理用のフィルタ強度及びビットデプスを導出するヘッダ復号部と、ニューラルネットワーク（ＮＮ）モデルの入力テンソルの形式を指定する入力画像情報を導出するＮＮフィルタ部を含むループフィルタとを備え、ＮＮフィルタ部は、入力画像情報に基づいて、画像を用いて入力テンソルの一部を導出し、入力テンソルに別の一部に付加情報を設定し、入力テンソルを用いてＮＮのフィルタ処理を実施することで出力テンソルを導出し、出力テンソルからフィルタ後の画像を導出し、付加情報を、フィルタ強度とビットデプスを用いて導出する。
【選択図】図１
【特許請求の範囲】
【請求項1】
符号化データから画像を復号する画像復号装置であって、
フィルタ処理用のフィルタ強度およびビットデプスを導出するヘッダ復号部と、
ニューラルネットワークモデルの入力テンソルの形式を指定する入力画像情報を導出するニューラルネットワークフィルタ部とを備え、
前記ニューラルネットワークフィルタ部は、前記入力画像情報に基づいて、画像を用いて前記入力テンソルの一部を導出し、前記入力テンソルに別の一部に付加情報を設定し、前記入力テンソルを用いてニューラルネットワークのフィルタ処理を実施することで出力テンソルを導出し、前記出力テンソルからフィルタ後の画像を導出し、
前記付加情報は、前記フィルタ強度と前記ビットデプスを用いて導出されることを特徴とする画像復号装置。
フィルタ処理用のフィルタ強度およびビットデプスを導出するヘッダ復号部と、
ニューラルネットワークモデルの入力テンソルの形式を指定する入力画像情報を導出するニューラルネットワークフィルタ部とを備え、
前記ニューラルネットワークフィルタ部は、前記入力画像情報に基づいて、画像を用いて前記入力テンソルの一部を導出し、前記入力テンソルに別の一部に付加情報を設定し、前記入力テンソルを用いてニューラルネットワークのフィルタ処理を実施することで出力テンソルを導出し、前記出力テンソルからフィルタ後の画像を導出し、
前記付加情報は、前記フィルタ強度と前記ビットデプスを用いて導出されることを特徴とする画像復号装置。
【請求項2】
画像を符号化する画像符号化装置であって、
フィルタ処理用のフィルタ強度およびビットデプスを導出するヘッダ符号化部と、
ニューラルネットワークモデルの入力テンソルの形式を指定する入力画像情報を導出するニューラルネットワークフィルタ部とを備え、
前記ニューラルネットワークフィルタ部は、前記入力画像情報に基づいて、画像を用いて前記入力テンソルの一部を導出し、前記入力テンソルに別の一部に付加情報を設定し、前記入力テンソルを用いてニューラルネットワークのフィルタ処理を実施することで出力テンソルを導出し、前記出力テンソルからフィルタ後の画像を導出し、
前記付加情報は、前記フィルタ強度と前記ビットデプスを用いて導出されることを特徴とする画像符号化装置。
フィルタ処理用のフィルタ強度およびビットデプスを導出するヘッダ符号化部と、
ニューラルネットワークモデルの入力テンソルの形式を指定する入力画像情報を導出するニューラルネットワークフィルタ部とを備え、
前記ニューラルネットワークフィルタ部は、前記入力画像情報に基づいて、画像を用いて前記入力テンソルの一部を導出し、前記入力テンソルに別の一部に付加情報を設定し、前記入力テンソルを用いてニューラルネットワークのフィルタ処理を実施することで出力テンソルを導出し、前記出力テンソルからフィルタ後の画像を導出し、
前記付加情報は、前記フィルタ強度と前記ビットデプスを用いて導出されることを特徴とする画像符号化装置。
【請求項3】
符号化データから画像を復号する画像復号方法であって、
フィルタ処理用のフィルタ強度およびビットデプスを導出し、
ニューラルネットワークモデルの入力テンソルの形式を指定する入力画像情報を導出し、
前記入力画像情報に基づいて、画像を用いて前記入力テンソルの一部を導出し、
前記入力テンソルに別の一部に付加情報を設定し、
前記入力テンソルを用いてニューラルネットワークのフィルタ処理を実施することで出力テンソルを導出し、
前記出力テンソルからフィルタ後の画像を導出することを特徴とする画像復号方法。
フィルタ処理用のフィルタ強度およびビットデプスを導出し、
ニューラルネットワークモデルの入力テンソルの形式を指定する入力画像情報を導出し、
前記入力画像情報に基づいて、画像を用いて前記入力テンソルの一部を導出し、
前記入力テンソルに別の一部に付加情報を設定し、
前記入力テンソルを用いてニューラルネットワークのフィルタ処理を実施することで出力テンソルを導出し、
前記出力テンソルからフィルタ後の画像を導出することを特徴とする画像復号方法。
【請求項4】
画像を符号化する画像符号化方法であって、
フィルタ処理用のフィルタ強度およびビットデプスを導出し、
ニューラルネットワークモデルの入力テンソルの形式を指定する入力画像情報を導出し、
前記入力画像情報に基づいて、画像を用いて前記入力テンソルの一部を導出し、
前記入力テンソルに別の一部に付加情報を設定し、
前記入力テンソルを用いてニューラルネットワークのフィルタ処理を実施することで出力テンソルを導出し、
前記出力テンソルからフィルタ後の画像を導出し、
前記付加情報は、前記フィルタ強度と前記ビットデプスを用いて導出されることを特徴とする画像符号化方法。
フィルタ処理用のフィルタ強度およびビットデプスを導出し、
ニューラルネットワークモデルの入力テンソルの形式を指定する入力画像情報を導出し、
前記入力画像情報に基づいて、画像を用いて前記入力テンソルの一部を導出し、
前記入力テンソルに別の一部に付加情報を設定し、
前記入力テンソルを用いてニューラルネットワークのフィルタ処理を実施することで出力テンソルを導出し、
前記出力テンソルからフィルタ後の画像を導出し、
前記付加情報は、前記フィルタ強度と前記ビットデプスを用いて導出されることを特徴とする画像符号化方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、画像復号装置、画像符号化装置、画像復号方法及び画像符号化方法に関する。
【背景技術】
【0002】
動画像を効率的に伝送または記録するために、動画像を符号化することによって符号化データを生成する動画像符号化装置、および、当該符号化データを復号することによって復号画像を生成する動画像復号装置が用いられている。
【0003】
具体的な動画像符号化方式としては、例えば、H.264/AVCやH.265/HEVC（High-Efficiency Video Coding）方式などが挙げられる。
【0004】
このような動画像符号化方式においては、動画像を構成する画像（ピクチャ）は、画像を分割することにより得られるスライス、スライスを分割することにより得られる符号化ツリーユニット（CTU：Coding Tree Unit）、符号化ツリーユニットを分割することで得
られる符号化単位（符号化ユニット（Coding Unit：CU）と呼ばれることもある）、及び
、符号化単位を分割することより得られる変換ユニット（TU：Transform Unit）からなる階層構造により管理され、CU毎に符号化／復号される。
られる符号化単位（符号化ユニット（Coding Unit：CU）と呼ばれることもある）、及び
、符号化単位を分割することより得られる変換ユニット（TU：Transform Unit）からなる階層構造により管理され、CU毎に符号化／復号される。
【0005】
また、このような動画像符号化方式においては、通常、入力画像を符号化／復号することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像を入力画像（原画像）から減算して得られる予測誤差（「差分画像」または「残差画像」と呼ぶこともある）が符号化される。予測画像の生成方法としては、画面間予測（インター予測）、および、画面内予測（イントラ予測）が挙げられる。
【0006】
また、近年の動画像符号化及び復号の技術として非特許文献１が挙げられる。
【0007】
H.274には、画像の性質や、表示方法、タイミングなどを符号化データと同時に伝送す
るための付加拡張情報SEIが規定されている。
るための付加拡張情報SEIが規定されている。
【0008】
非特許文献１及び非特許文献２、非特許文献３においては、ポストフィルタとして利用されるニューラルネットワークフィルタのトポロジーとパラメータを伝送するSEIを、明
示的に規定する方法と、間接的に参照情報として規定する方法が開示されている。
示的に規定する方法と、間接的に参照情報として規定する方法が開示されている。
【先行技術文献】
【非特許文献】
【0009】
【非特許文献1】B. Choi, Z. Li, W. Wang, W. Jiang, X. Xu, S. Wenger and S. Liu,“AHG9/AHG11: SEI messages for carriage of neural network information for post-filtering,” JVET-V0091
【非特許文献2】M. M. Hannuksela, E. B. Aksu, F. Cricri, H. R. Tavakoli and M. Santamaria, "AHG9: On post-filter SEI", JVET-X0112
【非特許文献3】M. M. Hannuksela, M. Santamaria, F. Cricri, E. B. Aksu and H. R. Tavakoli, "AHG9: On post-filter SEI", JVET-Y0115
【発明の概要】
【発明が解決しようとする課題】
【0010】
しかしながら、非特許文献１、非特許文献２ともにポストフィルタ処理の入力と出力が
明示的に定義されていないという課題がある。
明示的に定義されていないという課題がある。
【0011】
非特許文献２では、出力の色空間と色差サブサンプリングが指定されておらず、どのような出力が得られるかを付加情報から特定できないという課題がある。
【0012】
非特許文献１、非特許文献２では、ニューラルネットワークのトポロジーから、入力と出力のテンソルの型を解析可能であるが、テンソルのチャネルと色成分（色コンポーネント）の関係が特定できない。例えば、輝度チャネルと色差チャネルを入力テンソルにどのように設定するか、処理後の出力テンソルをどのような色空間として出力されるかが定義できていない。従って、処理を特定し実行することができないという課題がある。また4:
0:0、4:2:0、4:2:2、4:4:4の色差サブサンプリングにより画像の輝度成分と色差成分の
幅
、高さが異なるが、どのように処理して入力テンソルを導出するかが特定できない。また、色差サブサンプリングに応じて出力テンソルからどのように画像を生成するかが特定できない。
0:0、4:2:0、4:2:2、4:4:4の色差サブサンプリングにより画像の輝度成分と色差成分の
幅
、高さが異なるが、どのように処理して入力テンソルを導出するかが特定できない。また、色差サブサンプリングに応じて出力テンソルからどのように画像を生成するかが特定できない。
【0013】
非特許文献３では、入出力が4:2:0の色差サブサンプリング、入力テンソルが10チャネ
ル、出力テンソルが6チャネルの場合に限り、テンソルのチャネルと色コンポーネントの
関係を定めている。しかし、これ以外の形式は処理を実行できないという課題がある。また、付加情報の入力を必要としないモデルに対応できないという課題もある。
ル、出力テンソルが6チャネルの場合に限り、テンソルのチャネルと色コンポーネントの
関係を定めている。しかし、これ以外の形式は処理を実行できないという課題がある。また、付加情報の入力を必要としないモデルに対応できないという課題もある。
【課題を解決するための手段】
【0014】
本発明の一態様に係る画像復号装置は、符号化データから画像を復号する画像復号装置であって、フィルタ処理用のフィルタ強度およびビットデプスを導出するヘッダ復号部と、ニューラルネットワークモデルの入力テンソルの形式を指定する入力画像情報を導出するニューラルネットワークフィルタ部とを備え、前記ニューラルネットワークフィルタ部は、前記入力画像情報に基づいて、画像を用いて前記入力テンソルの一部を導出し、前記入力テンソルに別の一部に付加情報を設定し、前記入力テンソルを用いてニューラルネットワークのフィルタ処理を実施することで出力テンソルを導出し、前記出力テンソルからフィルタ後の画像を導出し、前記付加情報は、前記フィルタ強度と前記ビットデプスを用いて導出されることを特徴とする。
【0015】
本発明の一態様に係る画像符号化装置は、画像を符号化する画像符号化装置であって、フィルタ処理用のフィルタ強度およびビットデプスを導出するヘッダ符号化部と、ニューラルネットワークモデルの入力テンソルの形式を指定する入力画像情報を導出するニューラルネットワークフィルタ部とを備え、前記ニューラルネットワークフィルタ部は、前記入力画像情報に基づいて、画像を用いて前記入力テンソルの一部を導出し、前記入力テンソルに別の一部に付加情報を設定し、前記入力テンソルを用いてニューラルネットワークのフィルタ処理を実施することで出力テンソルを導出し、前記出力テンソルからフィルタ後の画像を導出し、前記付加情報は、前記フィルタ強度と前記ビットデプスを用いて導出されることを特徴とする。
【0016】
本発明の一態様に係る画像復号方法、符号化データから画像を復号する画像復号方法であって、フィルタ処理用のフィルタ強度およびビットデプスを導出し、ニューラルネットワークモデルの入力テンソルの形式を指定する入力画像情報を導出し、前記入力画像情報に基づいて、画像を用いて前記入力テンソルの一部を導出し、前記入力テンソルに別の一部に付加情報を設定し、前記入力テンソルを用いてニューラルネットワークのフィルタ処理を実施することで出力テンソルを導出し、前記出力テンソルからフィルタ後の画像を導出することを特徴とする。
【0017】
本発明の一態様に係る画像符号化方法は、画像を符号化する画像符号化装置であって、フィルタ処理用のフィルタ強度およびビットデプスを導出し、ニューラルネットワークモデルの入力テンソルの形式を指定する入力画像情報を導出し、前記入力画像情報に基づいて、画像を用いて前記入力テンソルの一部を導出し、前記入力テンソルに別の一部に付加情報を設定し、前記入力テンソルを用いてニューラルネットワークのフィルタ処理を実施することで出力テンソルを導出し、前記出力テンソルからフィルタ後の画像を導出し、前記付加情報は、前記フィルタ強度と前記ビットデプスを用いて導出されることを特徴とする。
【発明の効果】
【0018】
このような構成にすることで、URIで指定されたニューラルネットワークモデルを解析
することなく、NNフィルタで指定されるニューラルネットワークモデルの複雑度を参照することを可能とする。これによって、動画像復号装置がニューラルネットワークフィルタを用いたポストフィルタの処理能力を持っているかの判断を容易にする効果がある。
することなく、NNフィルタで指定されるニューラルネットワークモデルの複雑度を参照することを可能とする。これによって、動画像復号装置がニューラルネットワークフィルタを用いたポストフィルタの処理能力を持っているかの判断を容易にする効果がある。
【図面の簡単な説明】
【0019】
【図1】本実施形態に係る動画像伝送システムの構成を示す概略図である。
【図2】符号化データの階層構造を示す図である。
【図3】本実施形態に係る動画像伝送システムにおいて処理の対象となる画像の概念図である。
【図4】参照ピクチャおよび参照ピクチャリストの一例を示す概念図である。
【図5】画像復号装置の構成を示す概略図である。
【図6】画像復号装置の概略的動作を説明するフローチャートである。
【図7】画像符号化装置の構成を示すブロック図である。
【図8】インター予測パラメータ符号化部の構成を示す概略図である。
【図9】本実施形態におけるNNフィルタSEIのシンタックス表の構成を示す図である。
【図10】ニューラルネットワークモデルのパラメータ型を、数値型とビット幅に分けて記述した場合のNNフィルタSEIのシンタックス表の構成を示す図である。
【図11】ニューラルネットワークモデルのパラメータ型のビット幅を対数表現で記述した場合のNNフィルタSEIのシンタックス表の構成を示す図である。
【図12】NNフィルタ部611の処理のフローチャートを示す図である。
【図13】ポストフィルタ目的SEIのシンタックス表の構成を示す図である。
【図14】NNフィルタ部611のニューラルネットワークの構成を示す図である。
【図15】NNRの符号化装置・復号装置について示す図である。
【図16】NNフィルタSEIのシンタックス例を示す図である。
【図17】NNフィルタで定義される入力データ形式を示す表である。
【図18】NNフィルタで定義される出力データ形式を示す表である。
【図19】復号画像からNNフィルタで定義される入力データ形式への変換方法を示す表である。
【図20】NNフィルタで定義される出力データ形式から出力画像への変換方法を示す表である。
【図21】NNフィルタSEIのシンタックス例を示す図である。
【図22】入力テンソルの次元数（入力チャネル数）と変換方法の関係、出力テンソルの次元数（出力チャネル数）と変換方法を示す図である。
【発明を実施するための形態】
【0020】
（第１の実施形態）
以下、図面を参照しながら本発明の実施形態について説明する。
以下、図面を参照しながら本発明の実施形態について説明する。
【0021】
図1は、本実施形態に係る動画像伝送システムの構成を示す概略図である。
【0022】
動画像伝送システム1は、解像度が変換された異なる解像度の画像を符号化した符号化
データを伝送し、伝送された符号化データを復号し画像を元の解像度に逆変換して表示するシステムである。動画像伝送システム1は、動画像符号化装置10とネットワーク21と動
画像復号装置30と画像表示装置41からなる。
データを伝送し、伝送された符号化データを復号し画像を元の解像度に逆変換して表示するシステムである。動画像伝送システム1は、動画像符号化装置10とネットワーク21と動
画像復号装置30と画像表示装置41からなる。
【0023】
動画像符号化装置10は、解像度変換装置（解像度変換部）51、画像符号化装置（画像符号化部）11、逆変換情報作成装置（逆変換情報作成部）71、逆変換情報符号化装置（逆変換情報符号化部）81から構成される。
【0024】
動画像復号装置30は、画像復号装置（画像復号部）31、解像度逆変換装置（解像度逆変換部）61、及び逆変換情報復号装置（逆変換情報復号部）91から構成される。
【0025】
解像度変換装置51は、動画像に含まれる画像Tの解像度を変換し、異なる解像度の画像
を含む可変解像度動画像T2を、画像符号化装置11に供給する。また、解像度変換装置51は、画像の解像度変換の有無を示す逆変換情報を画像符号化装置11に供給する。当該情報が解像度変換を示す場合、動画像符号化装置10は、後述する解像度変換情報ref_pic_resampling_enabled_flagを１に設定し、符号化データTeのシーケンスパラメータセットSPS（Sequence Parameter Set）に含ませて符号化する。
を含む可変解像度動画像T2を、画像符号化装置11に供給する。また、解像度変換装置51は、画像の解像度変換の有無を示す逆変換情報を画像符号化装置11に供給する。当該情報が解像度変換を示す場合、動画像符号化装置10は、後述する解像度変換情報ref_pic_resampling_enabled_flagを１に設定し、符号化データTeのシーケンスパラメータセットSPS（Sequence Parameter Set）に含ませて符号化する。
【0026】
逆変換情報作成装置71は、動画像に含まれる画像T1に基づいて、逆変換情報を作成する。逆変換情報は、解像度変換前の入力画像T1と解像度変換及び符号化、復号後の画像Td1
との関係性から導出もしくは選択される。付加情報は何を選択するかを示す情報である。
との関係性から導出もしくは選択される。付加情報は何を選択するかを示す情報である。
【0027】
逆変換情報符号化装置81には逆変換情報が入力される。逆変換情報符号化装置81は、逆変換情報を符号化して符号化された逆変換情報を生成し、ネットワーク21に送る。
【0028】
画像符号化装置11には可変解像度画像T2が入力される。画像符号化装置11は、RPR（Reference Picture Resampling）の枠組みを用いて、PPS単位で入力画像の画像サイズ情報を符号化し、画像復号装置31に送る。
【0029】
図１において、逆変換情報符号化装置81は画像符号化装置11とつながれていないが、逆変換情報符号化装置81と画像符号化装置11とは、適宜必要な情報を通信してもよい。
【0030】
ネットワーク21は、符号化された逆変換情報及び符号化データTeを画像復号装置31に伝送する。符号化された逆変換情報の一部または全部は、付加拡張情報SEIとして、符号化
データTeに含められてもよい。ネットワーク21は、インターネット（Internet）、広域ネットワーク（WAN:Wide Area Network）、小規模ネットワーク（LAN:Local Area Network
）またはこれらの組み合わせである。ネットワーク21は、必ずしも双方向の通信網に限らず、地上デジタル放送、衛星放送等の放送波を伝送する一方向の通信網であっても良い。また、ネットワーク21は、DVD（Digital Versatile Disc:登録商標）、BD（Blue-ray Disc:登録商標）等の符号化データTeを記録した記憶媒体で代替されても良い。
データTeに含められてもよい。ネットワーク21は、インターネット（Internet）、広域ネットワーク（WAN:Wide Area Network）、小規模ネットワーク（LAN:Local Area Network
）またはこれらの組み合わせである。ネットワーク21は、必ずしも双方向の通信網に限らず、地上デジタル放送、衛星放送等の放送波を伝送する一方向の通信網であっても良い。また、ネットワーク21は、DVD（Digital Versatile Disc:登録商標）、BD（Blue-ray Disc:登録商標）等の符号化データTeを記録した記憶媒体で代替されても良い。
【0031】
画像復号装置31は、ネットワーク21が伝送した符号化データTeのそれぞれを復号し、可変解像度復号画像Td1を生成して解像度逆変換装置61に供給する。
【0032】
逆変換情報復号装置91は、ネットワーク21が伝送した符号化された逆変換情報を復号して逆変換情報を生成して解像度逆変換装置61に供給する。
【0033】
図１において、逆変換情報復号装置91は、画像復号装置31とは別に図示されているが、逆変換情報復号装置91は、画像復号装置31に含まれてもよい。例えば、逆変換情報復号装置91は、画像復号装置31の各機能部とは別に画像復号装置31に含まれてもよい。また、図１において、画像復号装置31とつながれていないが、逆変換情報復号装置91と画像復号装置31とは、適宜必要な情報を通信してもよい。
【0034】
解像度逆変換装置61は、解像度変換情報が解像度変換を示す場合、符号化データに含まれる画像サイズ情報に基づいて、ニューラルネットワークを用いた超解像処理を介して、解像度変換された画像を逆変換することによって、オリジナルサイズの復号画像を生成する。
【0035】
画像表示装置41は、解像度逆変換装置61から入力された１または複数の復号画像Td2の
全部または一部を表示する。画像表示装置41は、例えば、液晶ディスプレイ、有機ＥＬ（Electro-luminescence）ディスプレイ等の表示デバイスを備える。ディスプレイの形態としては、据え置き、モバイル、HMD等が挙げられる。また、画像復号装置31が高い処理能
力を有する場合には、画質の高い画像を表示し、より低い処理能力しか有しない場合には、高い処理能力、表示能力を必要としない画像を表示する。
全部または一部を表示する。画像表示装置41は、例えば、液晶ディスプレイ、有機ＥＬ（Electro-luminescence）ディスプレイ等の表示デバイスを備える。ディスプレイの形態としては、据え置き、モバイル、HMD等が挙げられる。また、画像復号装置31が高い処理能
力を有する場合には、画質の高い画像を表示し、より低い処理能力しか有しない場合には、高い処理能力、表示能力を必要としない画像を表示する。
【0036】
図3は、図１に示す動画像伝送システムにおいて処理の対象となる画像の概念図であっ
て、時間の経過に伴う、当該画像の解像度の変化を示す図である。ただし、図3において
は、画像が符号化されているか否かを区別していない。図3は、動画像伝送システムの処
理過程において、解像度を低下させて画像復号装置31に画像を伝送する例を示している。図3に示すように、通常、解像度変換装置51は、伝送される情報の情報量を少なくするた
めに画像の解像度を低下させる変換を行う。
て、時間の経過に伴う、当該画像の解像度の変化を示す図である。ただし、図3において
は、画像が符号化されているか否かを区別していない。図3は、動画像伝送システムの処
理過程において、解像度を低下させて画像復号装置31に画像を伝送する例を示している。図3に示すように、通常、解像度変換装置51は、伝送される情報の情報量を少なくするた
めに画像の解像度を低下させる変換を行う。
【0037】
＜演算子＞
本明細書で用いる演算子を以下に記載する。
本明細書で用いる演算子を以下に記載する。
【0038】
>>は右ビットシフト、<<は左ビットシフト、&はビットワイズAND、|はビットワイズOR
、|=はOR代入演算子であり、||は論理和を示す。
、|=はOR代入演算子であり、||は論理和を示す。
【0039】
x ? y : zは、xが真（0以外）の場合にy、xが偽（0）の場合にzをとる３項演算子であ
る。
る。
【0040】
Clip3(a,b,c)は、cをa以上b以下の値にクリップする関数であり、c<aの場合にはaを返
し、c>bの場合にはbを返し、その他の場合にはcを返す関数である（ただし、a<=b）。
し、c>bの場合にはbを返し、その他の場合にはcを返す関数である（ただし、a<=b）。
【0041】
abs(a)はaの絶対値を返す関数である。
【0042】
Int(a)はaの整数値を返す関数である。
【0043】
floor(a)はa以下の最大の整数を返す関数である。
【0044】
ceil(a)はa以上の最小の整数を返す関数である。
【0045】
a/dはdによるaの除算（小数点以下切り捨て）を表す。
【0046】
a^bはpower(a,b)を表す。a=2の場合1<<bと等しい。
【0047】
＜符号化データTeの構造＞
本実施形態に係る画像符号化装置11および画像復号装置31の詳細な説明に先立って、画像符号化装置11によって生成され、画像復号装置31によって復号される符号化データTeのデータ構造について説明する。
本実施形態に係る画像符号化装置11および画像復号装置31の詳細な説明に先立って、画像符号化装置11によって生成され、画像復号装置31によって復号される符号化データTeのデータ構造について説明する。
【0048】
図2は、符号化データTeにおけるデータの階層構造を示す図である。符号化データTeは
、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。図2には
、シーケンスSEQを既定する符号化ビデオシーケンス、ピクチャPICTを規定する符号化ピ
クチャ、スライスSを規定する符号化スライス、スライスデータを規定する符号化スライ
スデータ、符号化スライスデータに含まれる符号化ツリーユニット、符号化ツリーユニットに含まれる符号化ユニットを示す図が示されている。
、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。図2には
、シーケンスSEQを既定する符号化ビデオシーケンス、ピクチャPICTを規定する符号化ピ
クチャ、スライスSを規定する符号化スライス、スライスデータを規定する符号化スライ
スデータ、符号化スライスデータに含まれる符号化ツリーユニット、符号化ツリーユニットに含まれる符号化ユニットを示す図が示されている。
【0049】
（符号化ビデオシーケンス）
符号化ビデオシーケンスでは、処理対象のシーケンスSEQを復号するために画像復号装
置31が参照するデータの集合が規定されている。シーケンスSEQは、図2に示すように、ビデオパラメータセットVPS（Video Parameter Set）、シーケンスパラメータセットSPS（Sequence Parameter Set）、ピクチャパラメータセットPPS（Picture Parameter Set）、Adaptation Parameter Set(APS)、ピクチャPICT、及び、付加拡張情報SEI（Supplemental Enhancement Information）を含んでいる。
符号化ビデオシーケンスでは、処理対象のシーケンスSEQを復号するために画像復号装
置31が参照するデータの集合が規定されている。シーケンスSEQは、図2に示すように、ビデオパラメータセットVPS（Video Parameter Set）、シーケンスパラメータセットSPS（Sequence Parameter Set）、ピクチャパラメータセットPPS（Picture Parameter Set）、Adaptation Parameter Set(APS)、ピクチャPICT、及び、付加拡張情報SEI（Supplemental Enhancement Information）を含んでいる。
【0050】
ビデオパラメータセットVPSでは、複数のレイヤから構成されている動画像において、
複数の動画像に共通する符号化パラメータの集合および動画像に含まれる複数のレイヤおよび個々のレイヤに関連する符号化パラメータの集合が規定されている。
複数の動画像に共通する符号化パラメータの集合および動画像に含まれる複数のレイヤおよび個々のレイヤに関連する符号化パラメータの集合が規定されている。
【0051】
シーケンスパラメータセットSPSでは、対象シーケンスを復号するために画像復号装置31が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの幅や高さが
規定される。なお、SPSは複数存在してもよい。その場合、PPSから複数のSPSの何れかを
選択する。
規定される。なお、SPSは複数存在してもよい。その場合、PPSから複数のSPSの何れかを
選択する。
【0052】
ここで、シーケンスパラメータセットSPSには以下のシンタックス要素が含まれる。
・ref_pic_resampling_enabled_flag：対象SPSを参照する単一のシーケンスに含まれる各画像を復号する場合に、解像度を可変とする機能（リサンプリング：resampling）を用いるか否かを規定するフラグである。別の側面から言えば、当該フラグは、予測画像の生成において参照される参照ピクチャのサイズが、単一のシーケンスが示す各画像間において変化することを示すフラグである。当該フラグの値が1である場合、上記リサンプリング
が適用され、0である場合、適用されない。
・pic_width_max_in_luma_samples：単一のシーケンスにおける画像のうち、最大の幅を
有する画像の幅を、輝度ブロック単位で指定するシンタックス要素である。また、当該シンタックス要素の値は、0ではなく、且つMax(8, MinCbSizeY)の整数倍であることが要求
される。ここで、MinCbSizeYは、輝度ブロックの最小サイズによって定まる値である。
・pic_height_max_in_luma_samples：単一のシーケンスにおける画像のうち、最大の高さを有する画像の高さを、輝度ブロック単位で指定するシンタックス要素である。また、当該シンタックス要素の値は、0ではなく、且つMax(8, MinCbSizeY)の整数倍であることが
要求される。
・sps_temporal_mvp_enabled_flag：対象シーケンスを復号する場合において、時間動き
ベクトル予測を用いるか否かを規定するフラグである。当該フラグの値が1であれば時間
動きベクトル予測が用いられ、値が0であれば時間動きベクトル予測は用いられない。ま
た、当該フラグを規定することにより、異なる解像度の参照ピクチャを参照する場合等に、参照する座標位置がずれてしまうことを防ぐことができる。
・ref_pic_resampling_enabled_flag：対象SPSを参照する単一のシーケンスに含まれる各画像を復号する場合に、解像度を可変とする機能（リサンプリング：resampling）を用いるか否かを規定するフラグである。別の側面から言えば、当該フラグは、予測画像の生成において参照される参照ピクチャのサイズが、単一のシーケンスが示す各画像間において変化することを示すフラグである。当該フラグの値が1である場合、上記リサンプリング
が適用され、0である場合、適用されない。
・pic_width_max_in_luma_samples：単一のシーケンスにおける画像のうち、最大の幅を
有する画像の幅を、輝度ブロック単位で指定するシンタックス要素である。また、当該シンタックス要素の値は、0ではなく、且つMax(8, MinCbSizeY)の整数倍であることが要求
される。ここで、MinCbSizeYは、輝度ブロックの最小サイズによって定まる値である。
・pic_height_max_in_luma_samples：単一のシーケンスにおける画像のうち、最大の高さを有する画像の高さを、輝度ブロック単位で指定するシンタックス要素である。また、当該シンタックス要素の値は、0ではなく、且つMax(8, MinCbSizeY)の整数倍であることが
要求される。
・sps_temporal_mvp_enabled_flag：対象シーケンスを復号する場合において、時間動き
ベクトル予測を用いるか否かを規定するフラグである。当該フラグの値が1であれば時間
動きベクトル予測が用いられ、値が0であれば時間動きベクトル予測は用いられない。ま
た、当該フラグを規定することにより、異なる解像度の参照ピクチャを参照する場合等に、参照する座標位置がずれてしまうことを防ぐことができる。
【0053】
ピクチャパラメータセットPPSでは、対象シーケンス内の各ピクチャを復号するために
画像復号装置31が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの復号に用いられる量子化幅の基準値（pic_init_qp_minus26）や重み付き予測の適用を
示すフラグ（weighted_pred_flag）が含まれる。なお、PPSは複数存在してもよい。その
場合、対象シーケンス内の各ピクチャから複数のPPSの何れかを選択する。
画像復号装置31が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの復号に用いられる量子化幅の基準値（pic_init_qp_minus26）や重み付き予測の適用を
示すフラグ（weighted_pred_flag）が含まれる。なお、PPSは複数存在してもよい。その
場合、対象シーケンス内の各ピクチャから複数のPPSの何れかを選択する。
【0054】
ここで、ピクチャパラメータセットPPSには以下のシンタックス要素が含まれる。
・pic_width_in_luma_samples：対象ピクチャの幅を指定するシンタックス要素である。
当該シンタックス要素の値は、0ではなく、Max(8, MinCbSizeY)の整数倍であり、且つpic_width_max_in_luma_samples以下の値であることが要求される。・pic_height_in_luma_samples：対象ピクチャの高さを指定するシンタックス要素である。当該シンタックス要素の値は、0ではなく、Max(8, MinCbSizeY)の整数倍であり、且つpic_height_max_in_luma_samples以下の値であることが要求される。
・conformance_window_flag：コンフォーマンス（クロッピング）ウィンドウオフセット
パラメータが続いて通知されるか否かを示すフラグであって、コンフォーマンスウィンドウを表示する場所を示すフラグである。このフラグが1である場合、当該パラメータが通
知され、0である場合、コンフォーマンスウインドウオフセットパラメータが存在しない
ことを示す。
・conf_win_left_offset、conf_win_right_offset、conf_win_top_offset、conf_win_bottom_offset：出力用のピクチャ座標で指定される矩形領域に関して、復号処理で出力されるピクチャの左、右、上、下位置を指定するためのオフセット値である。また、conformance_window_flagの値が0である場合、conf_win_left_offset、conf_win_right_offset、conf_win_top_offset、conf_win_bottom_offsetの値は0であるものと推定される。
・scaling_window_flag：スケーリングウインドウオフセットパラメータが対象PPSに存在するか否かを示すフラグであって、出力される画像サイズの規定に関するフラグである。このフラグが1である場合、当該パラメータがPPSに存在することを示しており、このフラグが0である場合、当該パラメータがPPSに存在しないことを示している。また、ref_pic_resampling_enabled_flagの値が0である場合、scaling_window_flagの値も0であることが要求される。
・scaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset、scaling_win_bottom_offset：スケーリング比率計算のために画像サイズに適用されるオフセットを、それぞれ、対象ピクチャの左、右、上、下位置について輝度サンプル単位で指定するシンタックス要素である。また、scaling_window_flagの値が0である場合、scaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset、scaling_win_bottom_offsetの値は0であるものと推定される。また、scaling_win_left_offset + scaling_win_right_offsetの値はpic_width_in_luma_samples未満であること、及びscaling_win_top_offset + scaling_win_bottom_offsetの値はpic_height_in_luma_samples未満であることが要求される。
・pic_width_in_luma_samples：対象ピクチャの幅を指定するシンタックス要素である。
当該シンタックス要素の値は、0ではなく、Max(8, MinCbSizeY)の整数倍であり、且つpic_width_max_in_luma_samples以下の値であることが要求される。・pic_height_in_luma_samples：対象ピクチャの高さを指定するシンタックス要素である。当該シンタックス要素の値は、0ではなく、Max(8, MinCbSizeY)の整数倍であり、且つpic_height_max_in_luma_samples以下の値であることが要求される。
・conformance_window_flag：コンフォーマンス（クロッピング）ウィンドウオフセット
パラメータが続いて通知されるか否かを示すフラグであって、コンフォーマンスウィンドウを表示する場所を示すフラグである。このフラグが1である場合、当該パラメータが通
知され、0である場合、コンフォーマンスウインドウオフセットパラメータが存在しない
ことを示す。
・conf_win_left_offset、conf_win_right_offset、conf_win_top_offset、conf_win_bottom_offset：出力用のピクチャ座標で指定される矩形領域に関して、復号処理で出力されるピクチャの左、右、上、下位置を指定するためのオフセット値である。また、conformance_window_flagの値が0である場合、conf_win_left_offset、conf_win_right_offset、conf_win_top_offset、conf_win_bottom_offsetの値は0であるものと推定される。
・scaling_window_flag：スケーリングウインドウオフセットパラメータが対象PPSに存在するか否かを示すフラグであって、出力される画像サイズの規定に関するフラグである。このフラグが1である場合、当該パラメータがPPSに存在することを示しており、このフラグが0である場合、当該パラメータがPPSに存在しないことを示している。また、ref_pic_resampling_enabled_flagの値が0である場合、scaling_window_flagの値も0であることが要求される。
・scaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset、scaling_win_bottom_offset：スケーリング比率計算のために画像サイズに適用されるオフセットを、それぞれ、対象ピクチャの左、右、上、下位置について輝度サンプル単位で指定するシンタックス要素である。また、scaling_window_flagの値が0である場合、scaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset、scaling_win_bottom_offsetの値は0であるものと推定される。また、scaling_win_left_offset + scaling_win_right_offsetの値はpic_width_in_luma_samples未満であること、及びscaling_win_top_offset + scaling_win_bottom_offsetの値はpic_height_in_luma_samples未満であることが要求される。
【0055】
出力用ピクチャの幅PicOutputWidthLと高さPicOutputHeightLは以下で導出される。
【0056】
PicOutputWidthL = pic_width_in_luma_samples - (scaling_win_right_offset + scaling_win_left_offset)
PicOutputHeightL = pic_height_in_pic_size_units - (scaling_win_bottom_offset +scaling_win_top_offset)
（サブピクチャ）
ピクチャは、さらに矩形のサブピクチャに分割されていてもよい。サブピクチャのサイズはCTUの倍数であってもよい。サブピクチャは縦横に整数個連続するタイルの集合で定
義される。つまり、ピクチャは矩形のタイルに分割され、矩形のタイルの集合としてサブピクチャを定義する。サブピクチャの左上タイルのIDと右下タイルのIDを用いてサブピクチャを定義してもよい。また、スライスヘッダにはサブピクチャのIDを示すsh_subpic_id
を含んでもよい。
PicOutputHeightL = pic_height_in_pic_size_units - (scaling_win_bottom_offset +scaling_win_top_offset)
（サブピクチャ）
ピクチャは、さらに矩形のサブピクチャに分割されていてもよい。サブピクチャのサイズはCTUの倍数であってもよい。サブピクチャは縦横に整数個連続するタイルの集合で定
義される。つまり、ピクチャは矩形のタイルに分割され、矩形のタイルの集合としてサブピクチャを定義する。サブピクチャの左上タイルのIDと右下タイルのIDを用いてサブピクチャを定義してもよい。また、スライスヘッダにはサブピクチャのIDを示すsh_subpic_id
を含んでもよい。
【0057】
（符号化ピクチャ）
符号化ピクチャでは、処理対象のピクチャPICTを復号するために画像復号装置31が参照するデータの集合が規定されている。ピクチャPICTは、図2に示すように、ピクチャヘッ
ダPH、スライス0～スライスNS-1を含む（NSはピクチャPICTに含まれるスライスの総数）
。
符号化ピクチャでは、処理対象のピクチャPICTを復号するために画像復号装置31が参照するデータの集合が規定されている。ピクチャPICTは、図2に示すように、ピクチャヘッ
ダPH、スライス0～スライスNS-1を含む（NSはピクチャPICTに含まれるスライスの総数）
。
【0058】
以下、スライス0～スライスNS-1のそれぞれを区別する必要が無い場合、符号の添え字
を省略して記述することがある。また、以下に説明する符号化データTeに含まれるデータであって、添え字を付している他のデータについても同様である。
を省略して記述することがある。また、以下に説明する符号化データTeに含まれるデータであって、添え字を付している他のデータについても同様である。
【0059】
ピクチャヘッダには、以下のシンタックス要素が含まれる。
・pic_temporal_mvp_enabled_flag：当該ピクチャヘッダに関連付けられたスライスのイ
ンター予測に時間動きベクトル予測を用いるか否かを規定するフラグである。当該フラグの値が0である場合、当該ピクチャヘッダに関連付けられたスライスのシンタックス要素
は、そのスライスの復号において時間動きベクトル予測が用いられないように制限される。当該フラグの値が1である場合、当該ピクチャヘッダに関連付けられたスライスの復号
に時間動きベクトル予測が用いられることを示している。また、当該フラグが規定されていない場合、値が0であるものと推定される。
・pic_temporal_mvp_enabled_flag：当該ピクチャヘッダに関連付けられたスライスのイ
ンター予測に時間動きベクトル予測を用いるか否かを規定するフラグである。当該フラグの値が0である場合、当該ピクチャヘッダに関連付けられたスライスのシンタックス要素
は、そのスライスの復号において時間動きベクトル予測が用いられないように制限される。当該フラグの値が1である場合、当該ピクチャヘッダに関連付けられたスライスの復号
に時間動きベクトル予測が用いられることを示している。また、当該フラグが規定されていない場合、値が0であるものと推定される。
【0060】
（符号化スライス）
符号化スライスでは、処理対象のスライスSを復号するために画像復号装置31が参照す
るデータの集合が規定されている。スライスは、図2に示すように、スライスヘッダ、お
よび、スライスデータを含んでいる。
符号化スライスでは、処理対象のスライスSを復号するために画像復号装置31が参照す
るデータの集合が規定されている。スライスは、図2に示すように、スライスヘッダ、お
よび、スライスデータを含んでいる。
【0061】
スライスヘッダには、対象スライスの復号方法を決定するために画像復号装置31が参照する符号化パラメータ群が含まれる。スライスタイプを指定するスライスタイプ指定情報（slice_type）は、スライスヘッダに含まれる符号化パラメータの一例である。
【0062】
スライスタイプ指定情報により指定可能なスライスタイプとしては、（１）符号化の際にイントラ予測のみを用いるＩスライス、（２）符号化の際に単予測(L0予測)、または、イントラ予測を用いるＰスライス、（３）符号化の際に単予測(L0予測或いはL1予測)、双予測、または、イントラ予測を用いるＢスライスなどが挙げられる。なお、インター予測は、単予測、双予測に限定されず、より多くの参照ピクチャを用いて予測画像を生成してもよい。以下、P、Bスライスと呼ぶ場合には、インター予測を用いることができるブロックを含むスライスを指す。
【0063】
なお、スライスヘッダは、ピクチャパラメータセットPPSへの参照（pic_parameter_set_id）を含んでいても良い。
【0064】
（符号化スライスデータ）
符号化スライスデータでは、処理対象のスライスデータを復号するために画像復号装置31が参照するデータの集合が規定されている。スライスデータは、図2の符号化スライス
ヘッダに示すように、CTUを含んでいる。CTUは、スライスを構成する固定サイズ（例えば64x64）のブロックであり、最大符号化単位（LCU:Largest Coding Unit）と呼ぶこともある。
符号化スライスデータでは、処理対象のスライスデータを復号するために画像復号装置31が参照するデータの集合が規定されている。スライスデータは、図2の符号化スライス
ヘッダに示すように、CTUを含んでいる。CTUは、スライスを構成する固定サイズ（例えば64x64）のブロックであり、最大符号化単位（LCU:Largest Coding Unit）と呼ぶこともある。
【0065】
（符号化ツリーユニット）
図2には、処理対象のCTUを復号するために画像復号装置31が参照するデータの集合が規
定されている。CTUは、再帰的な４分木分割（QT（Quad Tree）分割）、２分木分割（BT（Binary Tree）分割）あるいは３分木分割（TT（Ternary Tree）分割）により、符号化処
理の基本的な単位である符号化ユニットCUに分割される。BT分割とTT分割を合わせてマルチツリー分割（MT（Multi Tree）分割）と呼ぶ。再帰的な４分木分割により得られる木構造のノードのことを符号化ノード（Coding Node）と称する。４分木、２分木、及び３分
木の中間ノードは、符号化ノードであり、CTU自身も最上位の符号化ノードとして規定さ
れる。
図2には、処理対象のCTUを復号するために画像復号装置31が参照するデータの集合が規
定されている。CTUは、再帰的な４分木分割（QT（Quad Tree）分割）、２分木分割（BT（Binary Tree）分割）あるいは３分木分割（TT（Ternary Tree）分割）により、符号化処
理の基本的な単位である符号化ユニットCUに分割される。BT分割とTT分割を合わせてマルチツリー分割（MT（Multi Tree）分割）と呼ぶ。再帰的な４分木分割により得られる木構造のノードのことを符号化ノード（Coding Node）と称する。４分木、２分木、及び３分
木の中間ノードは、符号化ノードであり、CTU自身も最上位の符号化ノードとして規定さ
れる。
【0066】
CTは、CT情報として、CT分割を行うか否かを示すCU分割フラグ(split_cu_flag)、QT分
割を行うか否かを示すQT分割フラグ（qt_split_cu_flag）、MT分割の分割方向を示すMT分割方向（mtt_split_cu_vertical_flag）、MT分割の分割タイプを示すMT分割タイプ（mtt_split_cu_binary_flag）を含む。split_cu_flag、qt_split_cu_flag、mtt_split_cu_vertical_flag、mtt_split_cu_binary_flagは符号化ノード毎に伝送される。
割を行うか否かを示すQT分割フラグ（qt_split_cu_flag）、MT分割の分割方向を示すMT分割方向（mtt_split_cu_vertical_flag）、MT分割の分割タイプを示すMT分割タイプ（mtt_split_cu_binary_flag）を含む。split_cu_flag、qt_split_cu_flag、mtt_split_cu_vertical_flag、mtt_split_cu_binary_flagは符号化ノード毎に伝送される。
【0067】
輝度と色差で異なるツリーを用いても良い。ツリーの種別をtreeTypeで示す。例えば、輝度(Y, cIdx=0)と色差(Cb/Cr, cIdx=1,2)で共通のツリーを用いる場合、共通単一ツリーをtreeType=SINGLE_TREEで示す。輝度と色差で異なる２つのツリー（DUALツリー）を用いる場合、輝度のツリーをtreeType=DUAL_TREE_LUMA、色差のツリーをtreeType=DUAL_TREE_CHROMAで示す。
【0068】
（符号化ユニット）
図2は、処理対象の符号化ユニットを復号するために画像復号装置31が参照するデータ
の集合が規定されている。具体的には、CUは、CUヘッダCUH、予測パラメータ、変換パラ
メータ、量子化変換係数等から構成される。CUヘッダでは予測モード等が規定される。
図2は、処理対象の符号化ユニットを復号するために画像復号装置31が参照するデータ
の集合が規定されている。具体的には、CUは、CUヘッダCUH、予測パラメータ、変換パラ
メータ、量子化変換係数等から構成される。CUヘッダでは予測モード等が規定される。
【0069】
予測処理は、CU単位で行われる場合と、CUをさらに分割したサブCU単位で行われる場合がある。CUとサブCUのサイズが等しい場合には、CU中のサブCUは１つである。CUがサブCUのサイズよりも大きい場合、CUはサブCUに分割される。たとえばCUが8x8、サブCUが4x4の場合、CUは水平２分割、垂直２分割からなる、４つのサブCUに分割される。
【0070】
予測の種類（予測モード）は、イントラ予測と、インター予測の２つがある。イントラ予測は、同一ピクチャ内の予測であり、インター予測は、互いに異なるピクチャ間（例えば、表示時刻間、レイヤ画像間）で行われる予測処理を指す。
【0071】
変換・量子化処理はCU単位で行われるが、量子化変換係数は4x4等のサブブロック単位
でエントロピー符号化してもよい。
でエントロピー符号化してもよい。
【0072】
（予測パラメータ）
予測画像は、ブロックに付随する予測パラメータによって導出される。予測パラメータには、イントラ予測とインター予測の予測パラメータがある。
予測画像は、ブロックに付随する予測パラメータによって導出される。予測パラメータには、イントラ予測とインター予測の予測パラメータがある。
【0073】
以下、インター予測の予測パラメータについて説明する。インター予測パラメータは、予測リスト利用フラグpredFlagL0とpredFlagL1、参照ピクチャインデックスrefIdxL0とrefIdxL1、動きベクトルmvL0とmvL1から構成される。predFlagL0、predFlagL1は、参照ピクチャリスト（L0リスト、L1リスト）が用いられるか否かを示すフラグであり、値が１の場合に対応する参照ピクチャリストが用いられる。なお、本明細書中「ＸＸであるか否かを示すフラグ」と記す場合、フラグが０以外（たとえば１）をＸＸである場合、０をＸＸではない場合とし、論理否定、論理積などでは１を真、０を偽と扱う（以下同様）。但し、実際の装置や方法では真値、偽値として他の値を用いることもできる。
【0074】
インター予測パラメータを導出するためのシンタックス要素には、例えば、マージモードで用いるアフィンフラグaffine_flag、マージフラグmerge_flag、マージインデックスmerge_idx、MMVDフラグmmvd_flag、AMVPモードで用いる参照ピクチャを選択するためのイ
ンター予測識別子inter_pred_idc、参照ピクチャインデックスrefIdxLX、動きベクトルを導出するための予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLX、動きベクト
ル精度モードamvr_modeがある。
ンター予測識別子inter_pred_idc、参照ピクチャインデックスrefIdxLX、動きベクトルを導出するための予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLX、動きベクト
ル精度モードamvr_modeがある。
【0075】
（参照ピクチャリスト）
参照ピクチャリストは、参照ピクチャメモリ306に記憶された参照ピクチャからなるリ
ストである。図4は、参照ピクチャおよび参照ピクチャリストの一例を示す概念図である
。図4の参照ピクチャの一例を示す概念図において、矩形はピクチャ、矢印はピクチャの
参照関係、横軸は時間、矩形中のI、P、Bは各々イントラピクチャ、単予測ピクチャ、双
予測ピクチャ、矩形中の数字は復号順を示す。図に示すように、ピクチャの復号順は、I0、P1、B2、B3、B4であり、表示順は、I0、B3、B2、B4、P1である。図4には、ピクチャB3
（対象ピクチャ）の参照ピクチャリストの例を示されている。参照ピクチャリストは、参照ピクチャの候補を表すリストであり、１つのピクチャ（スライス）が１つ以上の参照ピクチャリストを有してもよい。図の例では、対象ピクチャB3は、L0リストRefPicList0お
よびL1リストRefPicList1の２つの参照ピクチャリストを持つ。個々のCUでは、参照ピク
チャリストRefPicListX（X=0または1）中のどのピクチャを実際に参照するかをrefIdxLX
で指定する。図は、refIdxL0=2、refIdxL1=0の例である。なお、LXは、L0予測とL1予測を区別しない場合に用いられる記述方法であり、以降では、LXをL0、L1に置き換えることでL0リストに対するパラメータとL1リストに対するパラメータを区別する。
参照ピクチャリストは、参照ピクチャメモリ306に記憶された参照ピクチャからなるリ
ストである。図4は、参照ピクチャおよび参照ピクチャリストの一例を示す概念図である
。図4の参照ピクチャの一例を示す概念図において、矩形はピクチャ、矢印はピクチャの
参照関係、横軸は時間、矩形中のI、P、Bは各々イントラピクチャ、単予測ピクチャ、双
予測ピクチャ、矩形中の数字は復号順を示す。図に示すように、ピクチャの復号順は、I0、P1、B2、B3、B4であり、表示順は、I0、B3、B2、B4、P1である。図4には、ピクチャB3
（対象ピクチャ）の参照ピクチャリストの例を示されている。参照ピクチャリストは、参照ピクチャの候補を表すリストであり、１つのピクチャ（スライス）が１つ以上の参照ピクチャリストを有してもよい。図の例では、対象ピクチャB3は、L0リストRefPicList0お
よびL1リストRefPicList1の２つの参照ピクチャリストを持つ。個々のCUでは、参照ピク
チャリストRefPicListX（X=0または1）中のどのピクチャを実際に参照するかをrefIdxLX
で指定する。図は、refIdxL0=2、refIdxL1=0の例である。なお、LXは、L0予測とL1予測を区別しない場合に用いられる記述方法であり、以降では、LXをL0、L1に置き換えることでL0リストに対するパラメータとL1リストに対するパラメータを区別する。
【0076】
（マージ予測とAMVP予測）
予測パラメータの復号（符号化）方法には、マージ予測（merge）モードとAMVP（Advanced Motion Vector Prediction、適応動きベクトル予測）モードがあり、merge_flagは、これらを識別するためのフラグである。マージ予測モードは、予測リスト利用フラグpredFlagLX、参照ピクチャインデックスrefIdxLX、動きベクトルmvLXを符号化データに含めずに、既に処理した近傍ブロックの予測パラメータ等から導出するモードである。AMVPモードは、inter_pred_idc、refIdxLX、mvLXを符号化データに含めるモードである。なお、mvLXは、予測ベクトルmvpLXを識別するmvp_LX_idxと差分ベクトルmvdLXとして符号化される。また、マージ予測モードの他に、アフィン予測モード、MMVD予測モードがあってもよい。
予測パラメータの復号（符号化）方法には、マージ予測（merge）モードとAMVP（Advanced Motion Vector Prediction、適応動きベクトル予測）モードがあり、merge_flagは、これらを識別するためのフラグである。マージ予測モードは、予測リスト利用フラグpredFlagLX、参照ピクチャインデックスrefIdxLX、動きベクトルmvLXを符号化データに含めずに、既に処理した近傍ブロックの予測パラメータ等から導出するモードである。AMVPモードは、inter_pred_idc、refIdxLX、mvLXを符号化データに含めるモードである。なお、mvLXは、予測ベクトルmvpLXを識別するmvp_LX_idxと差分ベクトルmvdLXとして符号化される。また、マージ予測モードの他に、アフィン予測モード、MMVD予測モードがあってもよい。
【0077】
inter_pred_idcは、参照ピクチャの種類および数を示す値であり、PRED_L0、PRED_L1、PRED_BIの何れかの値をとる。PRED_L0、PRED_L1は、各々L0リスト、L1リストで管理され
た１枚の参照ピクチャを用いる単予測を示す。PRED_BIはL0リストとL1リストで管理され
た２枚の参照ピクチャを用いる双予測を示す。
た１枚の参照ピクチャを用いる単予測を示す。PRED_BIはL0リストとL1リストで管理され
た２枚の参照ピクチャを用いる双予測を示す。
【0078】
merge_idxは、処理が完了したブロックから導出される予測パラメータ候補（マージ候
補）のうち、いずれの予測パラメータを対象ブロックの予測パラメータとして用いるかを示すインデックスである。
補）のうち、いずれの予測パラメータを対象ブロックの予測パラメータとして用いるかを示すインデックスである。
【0079】
（動きベクトル）
mvLXは、異なる２つのピクチャ上のブロック間のシフト量を示す。mvLXに関する予測ベクトル、差分ベクトルを、それぞれmvpLX、mvdLXと呼ぶ。
mvLXは、異なる２つのピクチャ上のブロック間のシフト量を示す。mvLXに関する予測ベクトル、差分ベクトルを、それぞれmvpLX、mvdLXと呼ぶ。
【0080】
（インター予測識別子inter_pred_idcと予測リスト利用フラグpredFlagLX）
inter_pred_idcと、predFlagL0、predFlagL1の関係は以下のとおりであり、相互に変換可能である：
inter_pred_idc = (predFlagL1<<１）+predFlagL0
predFlagL0 = inter_pred_idc & 1
predFlagL1 = inter_pred_idc >> 1
なお、インター予測パラメータは、予測リスト利用フラグを用いても良いし、インター予測識別子を用いてもよい。また、予測リスト利用フラグを用いた判定は、インター予測識別子を用いた判定に置き替えてもよい。逆に、インター予測識別子を用いた判定は、予測リスト利用フラグを用いた判定に置き替えてもよい。
inter_pred_idcと、predFlagL0、predFlagL1の関係は以下のとおりであり、相互に変換可能である：
inter_pred_idc = (predFlagL1<<１）+predFlagL0
predFlagL0 = inter_pred_idc & 1
predFlagL1 = inter_pred_idc >> 1
なお、インター予測パラメータは、予測リスト利用フラグを用いても良いし、インター予測識別子を用いてもよい。また、予測リスト利用フラグを用いた判定は、インター予測識別子を用いた判定に置き替えてもよい。逆に、インター予測識別子を用いた判定は、予測リスト利用フラグを用いた判定に置き替えてもよい。
【0081】
（画像復号装置の構成）
本実施形態に係る画像復号装置31（図5）の構成について説明する。
本実施形態に係る画像復号装置31（図5）の構成について説明する。
【0082】
画像復号装置31は、エントロピー復号部301、パラメータ復号部（予測画像復号装置）302、ループフィルタ305、参照ピクチャメモリ306、予測パラメータメモリ307、予測画像
生成部（予測画像生成装置）308、逆量子化・逆変換部311、及び加算部312、予測パラメ
ータ導出部320を含んで構成される。なお、後述の画像符号化装置11に合わせ、画像復号
装置31にループフィルタ305が含まれない構成もある。
生成部（予測画像生成装置）308、逆量子化・逆変換部311、及び加算部312、予測パラメ
ータ導出部320を含んで構成される。なお、後述の画像符号化装置11に合わせ、画像復号
装置31にループフィルタ305が含まれない構成もある。
【0083】
パラメータ復号部302は、さらに、ヘッダ復号部3020、CT情報復号部3021、及びCU復号
部3022（予測モード復号部）を備えており、CU復号部3022はさらにTU復号部3024を備えている。これらを総称して復号モジュールと呼んでもよい。ヘッダ復号部3020は、符号化データからVPS、SPS、PPS、APSなどのパラメータセット情報、スライスヘッダ（スライス情報）を復号する。CT情報復号部3021は、符号化データからCTを復号する。CU復号部3022は符号化データからCUを復号する。TU復号部3024は、TUに予測誤差が含まれている場合に、符号化データからQP更新情報（量子化補正値）と量子化予測誤差（residual_coding）を
復号する。
部3022（予測モード復号部）を備えており、CU復号部3022はさらにTU復号部3024を備えている。これらを総称して復号モジュールと呼んでもよい。ヘッダ復号部3020は、符号化データからVPS、SPS、PPS、APSなどのパラメータセット情報、スライスヘッダ（スライス情報）を復号する。CT情報復号部3021は、符号化データからCTを復号する。CU復号部3022は符号化データからCUを復号する。TU復号部3024は、TUに予測誤差が含まれている場合に、符号化データからQP更新情報（量子化補正値）と量子化予測誤差（residual_coding）を
復号する。
【0084】
TU復号部3024は、スキップモード以外(skip_mode==0)の場合に、符号化データからQP更新情報と量子化予測誤差を復号する。より具体的には、TU復号部3024は、skip_mode==0の場合に、対象ブロックに量子化予測誤差が含まれているか否かを示すフラグcu_cbpを復号し、cu_cbpが1の場合に量子化予測誤差を復号する。cu_cbpが符号化データに存在しない
場合は0と導出する。
場合は0と導出する。
【0085】
TU復号部3024は、符号化データから変換基底を示すインデックスmts_idxを復号する。
また、TU復号部3024は、符号化データからセカンダリ変換の利用及び変換基底を示すインデックスstIdxを復号する。stIdxは0の場合にセカンダリ変換の非適用を示し、1の場合にセカンダリ変換基底のセット（ペア）のうち一方の変換を示し、2の場合に上記ペアのう
ち他方の変換を示す。
また、TU復号部3024は、符号化データからセカンダリ変換の利用及び変換基底を示すインデックスstIdxを復号する。stIdxは0の場合にセカンダリ変換の非適用を示し、1の場合にセカンダリ変換基底のセット（ペア）のうち一方の変換を示し、2の場合に上記ペアのう
ち他方の変換を示す。
【0086】
予測画像生成部308は、インター予測画像生成部309及びイントラ予測画像生成部310を
含んで構成される。
含んで構成される。
【0087】
予測パラメータ導出部320は、インター予測パラメータ導出部303及びイントラ予測パラメータ導出部304を含んで構成される。
【0088】
エントロピー復号部301は、外部から入力された符号化データTeに対してエントロピー
復号を行って、個々の符号（シンタックス要素）を復号する。エントロピー符号化には、シンタックス要素の種類や周囲の状況に応じて適応的に選択したコンテキスト（確率モデル）を用いてシンタックス要素を可変長符号化する方式と、あらかじめ定められた表、あるいは計算式を用いてシンタックス要素を可変長符号化する方式がある。前者のCABAC（Context Adaptive Binary Arithmetic Coding）は、コンテキストのCABAC状態（優勢シン
ボルの種別(0 or 1)と確率を指定する確率状態インデックスpStateIdx）をメモリに格納
する。エントロピー復号部301は、セグメント（タイル、CTU行、スライス）の先頭で全てのCABAC状態を初期化する。エントロピー復号部301は、シンタックス要素をバイナリ列（Bin String）に変換し、Bin Stringの各ビットを復号する。コンテキストを用いる場合には、シンタックス要素の各ビットに対してコンテキストインデックスctxIncを導出し、コンテキストを用いてビットを復号し、用いたコンテキストのCABAC状態を更新する。コン
テキストを用いないビットは、等確率(EP, bypass)で復号され、ctxInc導出やCABAC状態
は省略される。復号されたシンタックス要素には、予測画像を生成するための予測情報および、差分画像を生成するための予測誤差などがある。
復号を行って、個々の符号（シンタックス要素）を復号する。エントロピー符号化には、シンタックス要素の種類や周囲の状況に応じて適応的に選択したコンテキスト（確率モデル）を用いてシンタックス要素を可変長符号化する方式と、あらかじめ定められた表、あるいは計算式を用いてシンタックス要素を可変長符号化する方式がある。前者のCABAC（Context Adaptive Binary Arithmetic Coding）は、コンテキストのCABAC状態（優勢シン
ボルの種別(0 or 1)と確率を指定する確率状態インデックスpStateIdx）をメモリに格納
する。エントロピー復号部301は、セグメント（タイル、CTU行、スライス）の先頭で全てのCABAC状態を初期化する。エントロピー復号部301は、シンタックス要素をバイナリ列（Bin String）に変換し、Bin Stringの各ビットを復号する。コンテキストを用いる場合には、シンタックス要素の各ビットに対してコンテキストインデックスctxIncを導出し、コンテキストを用いてビットを復号し、用いたコンテキストのCABAC状態を更新する。コン
テキストを用いないビットは、等確率(EP, bypass)で復号され、ctxInc導出やCABAC状態
は省略される。復号されたシンタックス要素には、予測画像を生成するための予測情報および、差分画像を生成するための予測誤差などがある。
【0089】
エントロピー復号部301は、復号した符号をパラメータ復号部302に出力する。復号した符号とは、例えば、予測モードpredMode、merge_flag、merge_idx、inter_pred_idc、refIdxLX、mvp_LX_idx、mvdLX、amvr_mode等である。どの符号を復号するかの制御は、パラ
メータ復号部302の指示に基づいて行われる。
メータ復号部302の指示に基づいて行われる。
【0090】
（基本フロー）
図6は、画像復号装置31の概略的動作を説明するフローチャートである。
図6は、画像復号装置31の概略的動作を説明するフローチャートである。
【0091】
（S1100：パラメータセット情報復号）ヘッダ復号部3020は、符号化データからVPS、SPS、PPSなどのパラメータセット情報を復号する。
【0092】
（S1200：スライス情報復号）ヘッダ復号部3020は、符号化データからスライスヘッダ
（スライス情報）を復号する。
（スライス情報）を復号する。
【0093】
以下、画像復号装置31は、対象ピクチャに含まれる各CTUについて、S1300からS5000の
処理を繰り返すことにより各CTUの復号画像を導出する。
処理を繰り返すことにより各CTUの復号画像を導出する。
【0094】
（S1300：CTU情報復号）CT情報復号部3021は、符号化データからCTUを復号する。
【0095】
（S1400：CT情報復号）CT情報復号部3021は、符号化データからCTを復号する。
【0096】
（S1500：CU復号）CU復号部3022はS1510、S1520を実施して、符号化データからCUを復
号する。
号する。
【0097】
（S1510：CU情報復号）CU復号部3022は、符号化データからCU情報、予測情報、TU分割
フラグsplit_transform_flag、CU残差フラグcbf_cb、cbf_cr、cbf_luma等を復号する。
フラグsplit_transform_flag、CU残差フラグcbf_cb、cbf_cr、cbf_luma等を復号する。
【0098】
（S1520：TU情報復号）TU復号部3024は、TUに予測誤差が含まれている場合に、符号化
データからQP更新情報と量子化予測誤差、変換インデックスmts_idxを復号する。なお、QP更新情報は、量子化パラメータQPの予測値である量子化パラメータ予測値qPpredからの
差分値である。
データからQP更新情報と量子化予測誤差、変換インデックスmts_idxを復号する。なお、QP更新情報は、量子化パラメータQPの予測値である量子化パラメータ予測値qPpredからの
差分値である。
【0099】
（S2000：予測画像生成）予測画像生成部308は、対象CUに含まれる各ブロックについて、予測情報に基づいて予測画像を生成する。
【0100】
（S3000：逆量子化・逆変換）逆量子化・逆変換部311は、対象CUに含まれる各TUについて、逆量子化・逆変換処理を実行する。
【0101】
（S4000：復号画像生成）加算部312は、予測画像生成部308より供給される予測画像と
、逆量子化・逆変換部311より供給される予測誤差とを加算することによって、対象CUの
復号画像を生成する。
、逆量子化・逆変換部311より供給される予測誤差とを加算することによって、対象CUの
復号画像を生成する。
【0102】
（S5000：ループフィルタ）ループフィルタ305は、復号画像にデブロッキングフィルタ、SAO、ALFなどのループフィルタをかけ、復号画像を生成する。
【0103】
（インター予測パラメータ導出部の構成）
インター予測パラメータ導出部303（動きベクトル導出装置）は、パラメータ復号部302から入力されたシンタックス要素に基づいて、予測パラメータメモリ307に記憶された予
測パラメータを参照してインター予測パラメータを導出する。また、インター予測パラメータをインター予測画像生成部309、予測パラメータメモリ307に出力する。インター予測パラメータ導出部303及びその内部の要素であるAMVP予測パラメータ導出部3032、マージ
予測パラメータ導出部3036、アフィン予測部30372、MMVD予測部30373、GPM部30377、DMVR部30537、MV加算部3038は、画像符号化装置、画像復号装置で共通する手段であるので、
これらを総称して動きベクトル導出部（動きベクトル導出装置）と称してもよい。
インター予測パラメータ導出部303（動きベクトル導出装置）は、パラメータ復号部302から入力されたシンタックス要素に基づいて、予測パラメータメモリ307に記憶された予
測パラメータを参照してインター予測パラメータを導出する。また、インター予測パラメータをインター予測画像生成部309、予測パラメータメモリ307に出力する。インター予測パラメータ導出部303及びその内部の要素であるAMVP予測パラメータ導出部3032、マージ
予測パラメータ導出部3036、アフィン予測部30372、MMVD予測部30373、GPM部30377、DMVR部30537、MV加算部3038は、画像符号化装置、画像復号装置で共通する手段であるので、
これらを総称して動きベクトル導出部（動きベクトル導出装置）と称してもよい。
【0104】
ヘッダ復号部3020及びヘッダ符号化部1110の備えるスケールパラメータ導出部30378は
、参照ピクチャの水平方向のスケーリング比RefPicScale[i][j][0]、および、参照ピクチャの垂直方向のスケーリング比RefPicScale[i][j][1]、及び、参照ピクチャがスケーリングされているか否かを示すRefPicIsScaled[i][j]を導出する。ここで、iは参照ピクチャ
リストがL0リスト（i=0）かL1リスト（i=1）であるかを示し、ｊをL0参照ピクチャリストあるいはL1参照ピクチャリストの値（参照ピクチャ）として、次のように導出する：
RefPicScale[i][j][0] =
((fRefWidth << 14)+(PicOutputWidthL >> 1)) / PicOutputWidthL
RefPicScale[i][j][1] =
((fRefHeight << 14)+(PicOutputHeightL >> 1)) / PicOutputHeightL
RefPicIsScaled[i][j] =
(RefPicScale[i][j][0] != (1<<14)) || (RefPicScale[i][j][1] != (1<<14))
ここで、変数PicOutputWidthLは、符号化ピクチャが参照される時に水平方向のスケー
リング比を計算する時の値であり、符号化ピクチャの輝度の水平方向の画素数から左右のオフセット値を引いたものが用いられる。変数PicOutputHeightLは、符号化ピクチャが参照される時に垂直方向のスケーリング比を計算する時の値であり、符号化ピクチャの輝度の垂直方向の画素数から上下のオフセット値を引いたものが用いられる。変数fRefWidth
は、リストiの参照リスト値ｊのPicOutputWidthLの値とし、変数fRefHightは、リストiの参照ピクチャリスト値ｊのPicOutputHeightLの値とする。
、参照ピクチャの水平方向のスケーリング比RefPicScale[i][j][0]、および、参照ピクチャの垂直方向のスケーリング比RefPicScale[i][j][1]、及び、参照ピクチャがスケーリングされているか否かを示すRefPicIsScaled[i][j]を導出する。ここで、iは参照ピクチャ
リストがL0リスト（i=0）かL1リスト（i=1）であるかを示し、ｊをL0参照ピクチャリストあるいはL1参照ピクチャリストの値（参照ピクチャ）として、次のように導出する：
RefPicScale[i][j][0] =
((fRefWidth << 14)+(PicOutputWidthL >> 1)) / PicOutputWidthL
RefPicScale[i][j][1] =
((fRefHeight << 14)+(PicOutputHeightL >> 1)) / PicOutputHeightL
RefPicIsScaled[i][j] =
(RefPicScale[i][j][0] != (1<<14)) || (RefPicScale[i][j][1] != (1<<14))
ここで、変数PicOutputWidthLは、符号化ピクチャが参照される時に水平方向のスケー
リング比を計算する時の値であり、符号化ピクチャの輝度の水平方向の画素数から左右のオフセット値を引いたものが用いられる。変数PicOutputHeightLは、符号化ピクチャが参照される時に垂直方向のスケーリング比を計算する時の値であり、符号化ピクチャの輝度の垂直方向の画素数から上下のオフセット値を引いたものが用いられる。変数fRefWidth
は、リストiの参照リスト値ｊのPicOutputWidthLの値とし、変数fRefHightは、リストiの参照ピクチャリスト値ｊのPicOutputHeightLの値とする。
【0105】
（MV加算部）
MV加算部3038は、AMVP予測パラメータ導出部3032から入力されたmvpLXと復号したmvdLXを加算してmvLXを算出する。加算部3038は、算出したmvLXをインター予測画像生成部309
および予測パラメータメモリ307に出力する：
mvLX[0] = mvpLX[0]+mvdLX[0]
mvLX[1] = mvpLX[1]+mvdLX[1]
ループフィルタ305は、符号化ループ内に設けたフィルタで、ブロック歪やリンギング
歪を除去し、画質を改善するフィルタである。ループフィルタ305は、加算部312が生成したCUの復号画像に対し、デブロッキングフィルタ、サンプル適応オフセット（SAO）、適
応ループフィルタ（ALF）等のフィルタを施す。
MV加算部3038は、AMVP予測パラメータ導出部3032から入力されたmvpLXと復号したmvdLXを加算してmvLXを算出する。加算部3038は、算出したmvLXをインター予測画像生成部309
および予測パラメータメモリ307に出力する：
mvLX[0] = mvpLX[0]+mvdLX[0]
mvLX[1] = mvpLX[1]+mvdLX[1]
ループフィルタ305は、符号化ループ内に設けたフィルタで、ブロック歪やリンギング
歪を除去し、画質を改善するフィルタである。ループフィルタ305は、加算部312が生成したCUの復号画像に対し、デブロッキングフィルタ、サンプル適応オフセット（SAO）、適
応ループフィルタ（ALF）等のフィルタを施す。
【0106】
DF部601は、画素や境界、線分単位でデブロッキングフィルタの強度bSを導出するbS導
出部602、ブロックノイズを低減するためにデブロッキングフィルタ処理を行うDFフィル
タ部602から構成される。
出部602、ブロックノイズを低減するためにデブロッキングフィルタ処理を行うDFフィル
タ部602から構成される。
【0107】
DF部601は、NN処理（NNフィルタ部601の処理）前の入力画像resPictureに、パーティション分割境界、予測ブロックの境界、変換ブロックの境界があるかを示すエッジ度edgeIdcとデブロッキングフィルタの最大フィルタ長maxFilterLengthを導出する。さらに、edgeIdcと変換ブロックの境界、符号化パラメータから、デブロッキングフィルタの強度bSを
導出する。符号化パラメータは、例えば予測モードCuPredMode、BDPCM予測モードintra_bdpcm_luma_flag、IBC予測モードであるかを示すフラグ、動きベクトル、参照ピクチャ、
変換ブロックに非０係数が存在するかを示すフラグtu_y_coded_flag、tu_u_coded_flagなどである。edgeIdcとbSは0,1,2の値をとってもよいし、それ以外の値でもよい。
導出する。符号化パラメータは、例えば予測モードCuPredMode、BDPCM予測モードintra_bdpcm_luma_flag、IBC予測モードであるかを示すフラグ、動きベクトル、参照ピクチャ、
変換ブロックに非０係数が存在するかを示すフラグtu_y_coded_flag、tu_u_coded_flagなどである。edgeIdcとbSは0,1,2の値をとってもよいし、それ以外の値でもよい。
【0108】
参照ピクチャメモリ306は、CUの復号画像を、対象ピクチャ及び対象CU毎に予め定めた
位置に記憶する。
位置に記憶する。
【0109】
予測パラメータメモリ307は、CTUあるいはCU毎に予め定めた位置に予測パラメータを記憶する。具体的には、予測パラメータメモリ307は、パラメータ復号部302が復号したパラメータ及び予測パラメータ導出部320が導出したパラメータ等を記憶する。
【0110】
予測画像生成部308には予測パラメータ導出部320が導出したパラメータが入力される。また、予測画像生成部308は、参照ピクチャメモリ306から参照ピクチャを読み出す。予測画像生成部308は、predModeが示す予測モードで、パラメータと参照ピクチャ（参照ピク
チャブロック）を用いてブロックもしくはサブブロックの予測画像を生成する。ここで、参照ピクチャブロックとは、参照ピクチャ上の画素の集合（通常矩形であるのでブロックと呼ぶ）であり、予測画像を生成するために参照する領域である。
チャブロック）を用いてブロックもしくはサブブロックの予測画像を生成する。ここで、参照ピクチャブロックとは、参照ピクチャ上の画素の集合（通常矩形であるのでブロックと呼ぶ）であり、予測画像を生成するために参照する領域である。
【0111】
predModeがインター予測モードを示す場合、インター予測画像生成部309は、インター
予測パラメータ導出部303から入力されたインター予測パラメータと参照ピクチャを用い
てインター予測によりブロックもしくはサブブロックの予測画像を生成する。
予測パラメータ導出部303から入力されたインター予測パラメータと参照ピクチャを用い
てインター予測によりブロックもしくはサブブロックの予測画像を生成する。
【0112】
（動き補償）
動き補償部3091（補間画像生成部3091）は、インター予測パラメータ導出部303から入
力された、インター予測パラメータ（predFlagLX、refIdxLX、mvLX）に基づいて、参照ピクチャメモリ306から参照ブロックを読み出すことによって補間画像（動き補償画像）を
生成する。参照ブロックは、refIdxLXで指定された参照ピクチャRefPicLX上で、対象ブロックの位置からmvLXシフトした位置のブロックである。ここで、mvLXが整数精度でない場合には、動き補償フィルタと呼ばれる小数位置の画素を生成するためのフィルタを施して、補間画像を生成する。
動き補償部3091（補間画像生成部3091）は、インター予測パラメータ導出部303から入
力された、インター予測パラメータ（predFlagLX、refIdxLX、mvLX）に基づいて、参照ピクチャメモリ306から参照ブロックを読み出すことによって補間画像（動き補償画像）を
生成する。参照ブロックは、refIdxLXで指定された参照ピクチャRefPicLX上で、対象ブロックの位置からmvLXシフトした位置のブロックである。ここで、mvLXが整数精度でない場合には、動き補償フィルタと呼ばれる小数位置の画素を生成するためのフィルタを施して、補間画像を生成する。
【0113】
動き補償部3091は、まず、予測ブロック内座標(x,y)に対応する整数位置(xInt,yInt)および位相(xFrac,yFrac)を以下の式で導出する：
xInt = xPb+(mvLX[0]>>(log2(MVPREC)))+x
xFrac = mvLX[0]&(MVPREC-1)
yInt = yPb+(mvLX[1]>>(log2(MVPREC)))+y
yFrac = mvLX[1]&(MVPREC-1)
ここで、(xPb,yPb)は、bW*bHサイズのブロックの左上座標、x=0…bW-1、y=0…bH-1であり、MVPRECは、mvLXの精度（1/MVPREC画素精度）を示す。例えばMVPREC=16である。
xInt = xPb+(mvLX[0]>>(log2(MVPREC)))+x
xFrac = mvLX[0]&(MVPREC-1)
yInt = yPb+(mvLX[1]>>(log2(MVPREC)))+y
yFrac = mvLX[1]&(MVPREC-1)
ここで、(xPb,yPb)は、bW*bHサイズのブロックの左上座標、x=0…bW-1、y=0…bH-1であり、MVPRECは、mvLXの精度（1/MVPREC画素精度）を示す。例えばMVPREC=16である。
【0114】
動き補償部3091は、参照ピクチャrefImgに補間フィルタを用いて水平補間処理を行うことで、一時的画像temp[][]を導出する。以下のΣはk=0..NTAP-1のkに関する和、shift1は値のレンジを調整する正規化パラメータ、offset1=1<<(shift1-1)である：
temp[x][y] = (ΣmcFilter[xFrac][k]*refImg[xInt+k-NTAP/2+1][yInt]+offset1)>>shift1
続いて、動き補償部3091は、一時的画像temp[][]を垂直補間処理により、補間画像Pred
[][]を導出する。以下のΣはk=0..NTAP-1のkに関する和、shift2は値のレンジを調整す
る
正規化パラメータ、offset2=1<<(shift2-1)である：
Pred[x][y] = (ΣmcFilter[yFrac][k]*temp[x][y+k-NTAP/2+1]+offset2)>>shift2
なお、双予測の場合、上記のPred[][]をL0リスト、L1リスト毎に導出し（補間画像PredL0[][]とPredL1[][]と呼ぶ）、PredL0[][]とPredL1[][]から補間画像Pred[][]を生成する。
temp[x][y] = (ΣmcFilter[xFrac][k]*refImg[xInt+k-NTAP/2+1][yInt]+offset1)>>shift1
続いて、動き補償部3091は、一時的画像temp[][]を垂直補間処理により、補間画像Pred
[][]を導出する。以下のΣはk=0..NTAP-1のkに関する和、shift2は値のレンジを調整す
る
正規化パラメータ、offset2=1<<(shift2-1)である：
Pred[x][y] = (ΣmcFilter[yFrac][k]*temp[x][y+k-NTAP/2+1]+offset2)>>shift2
なお、双予測の場合、上記のPred[][]をL0リスト、L1リスト毎に導出し（補間画像PredL0[][]とPredL1[][]と呼ぶ）、PredL0[][]とPredL1[][]から補間画像Pred[][]を生成する。
【0115】
なお、動き補償部3091は、スケールパラメータ導出部30378で導出された参照ピクチャ
の水平方向のスケーリング比RefPicScale[i][j][0]、および、参照ピクチャの垂直方向のスケーリング比RefPicScale[i][j][1]に応じて、補間画像をスケーリングする機能を有している。
の水平方向のスケーリング比RefPicScale[i][j][0]、および、参照ピクチャの垂直方向のスケーリング比RefPicScale[i][j][1]に応じて、補間画像をスケーリングする機能を有している。
【0116】
イントラ予測画像生成部310は、predModeがイントラ予測モードを示す場合、イントラ
予測パラメータ導出部304から入力されたイントラ予測パラメータと参照ピクチャメモリ306から読み出した参照画素を用いてイントラ予測を行う。
予測パラメータ導出部304から入力されたイントラ予測パラメータと参照ピクチャメモリ306から読み出した参照画素を用いてイントラ予測を行う。
【0117】
逆量子化・逆変換部311（残差復号部）は、パラメータ復号部302から入力された量子化変換係数を逆量子化して変換係数を求める。
【0118】
逆量子化・逆変換部311は、エントロピー復号部301から入力された量子化変換係数qd[]
[]をスケーリング部31111によりスケーリング（逆量子化）して変換係数d[][]を求める
。
[]をスケーリング部31111によりスケーリング（逆量子化）して変換係数d[][]を求める
。
【0119】
スケーリング部31111は、パラメータ復号部302において導出された量子化パラメータおよびスケーリングファクタを用いて、TU復号部が復号した変換係数に対して係数単位の重みを用いてスケーリングする。
【0120】
ここで量子化パラメータqPは、対象変換係数の色コンポーネントcIdxと、ジョイント色差残差符号化フラグtu_joint_cbcr_flagを用いて以下で導出する。
【0121】
qP = qPY (cIdx==0)
qP = qPCb (cIdx==1 && tu_joint_cbcr_flag==0)
qP = qPCr (cIdx==2 && tu_joint_cbcr_flag==0)
qP = qPCbCr (tu_joint_cbcr_flag!=0)
スケーリング部31111は、対象TUのサイズ(nTbW,nTbH)からサイズあるいは形状に関わる値rectNonTsFlagを導出する。
qP = qPCb (cIdx==1 && tu_joint_cbcr_flag==0)
qP = qPCr (cIdx==2 && tu_joint_cbcr_flag==0)
qP = qPCbCr (tu_joint_cbcr_flag!=0)
スケーリング部31111は、対象TUのサイズ(nTbW,nTbH)からサイズあるいは形状に関わる値rectNonTsFlagを導出する。
【0122】
rectNonTsFlag = (((Log2(nTbW)+Log2(nTbH)) & 1)==1 && transform_skip_flag[xTbY]
[yTbY]==0)
transform_skip_flagは変換をスキップするか否かを示すフラグである。
[yTbY]==0)
transform_skip_flagは変換をスキップするか否かを示すフラグである。
【0123】
スケーリング部31111は、スケーリングリスト復号部3026（図示せず）において導出さ
れたScalingFactor[][]を用いて次の処理を行う。
れたScalingFactor[][]を用いて次の処理を行う。
【0124】
スケーリング部31111は、スケーリングリストが有効でない場合（scaling_list_enabled_flag==0）、もしくは、変換スキップを用いる場合(transform_skip_flag==1)の場合に
、m[x][y]=16を設定する。つまり、一様量子化を行う。scaling_list_enabled_flagはス
ケーリングリストが有効か否かを示すフラグである。
、m[x][y]=16を設定する。つまり、一様量子化を行う。scaling_list_enabled_flagはス
ケーリングリストが有効か否かを示すフラグである。
【0125】
それ以外の場合（つまり、scaling_list_enabled_flag==1かつtransform_skip_flag==0の場合）、スケーリング部31111はスケーリングリストを用いる。ここではm[][]を下記のようにセットする。
【0126】
m[x][y] = ScalingFactor[Log2(nTbW)][Log2(nTbH)][matrixId][x][y]
ここで、matrixIdは、対象TUの予測モード(CuPredMode)、色コンポーネントインデックス(cIdx)、非分離変換の適用有無(lfnst_idx)により設定される。
ここで、matrixIdは、対象TUの予測モード(CuPredMode)、色コンポーネントインデックス(cIdx)、非分離変換の適用有無(lfnst_idx)により設定される。
【0127】
スケーリング部31111はスケーリングファクタls[x][y]をsh_dep_quant_used_flagが１
の場合に以下の式で導出する。
の場合に以下の式で導出する。
【0128】
ls[x][y] = (m[x][y]*quantScale[rectNonTsFlag][(qP+1)%6]) << ((qP+1)/6)
それ以外の場合（sh_dep_quant_used_flag=0）、以下の式で導出してもよい。
それ以外の場合（sh_dep_quant_used_flag=0）、以下の式で導出してもよい。
【0129】
ls[x][y] = (m[x][y]*quantScale[rectNonTsFlag][qP%6]) << (qP/6)
ここでquantScale[] = {{ 40, 45, 51, 57, 64, 72 }, {57, 64, 72, 80, 90, 102 }｝である。sh_dep_quant_used_flagは、依存量子化を行う場合に１、行わない場合に０とするフラグである。quantScaleの値はx (x=0..6)の値により以下の式で導出する。
ここでquantScale[] = {{ 40, 45, 51, 57, 64, 72 }, {57, 64, 72, 80, 90, 102 }｝である。sh_dep_quant_used_flagは、依存量子化を行う場合に１、行わない場合に０とするフラグである。quantScaleの値はx (x=0..6)の値により以下の式で導出する。
【0130】
quantScale[x] = RoundInt(2^(6/(x-qsoffset)))
qsoffset = rectNonTsFlag==0 ? 4 : 2
qPの値が４の場合、quantScaleは64である。ここでRoundIntはラウンド用定数（例えば0.
5）を加算した上で小数点以下を切り捨てし整数化する関数である。
qsoffset = rectNonTsFlag==0 ? 4 : 2
qPの値が４の場合、quantScaleは64である。ここでRoundIntはラウンド用定数（例えば0.
5）を加算した上で小数点以下を切り捨てし整数化する関数である。
【0131】
スケーリング部31111は、スケーリングファクタls[][]と復号された変換係数TransCoeffLevelの積からdnc[][]を導出することにより、逆量子化を行う。
【0132】
dnc[x][y] = (TransCoeffLevel[xTbY][yTbY][cIdx][x][y]*ls[x][y]+bdOffset1) >> bdShift1
ここでbdOffset1 = 1<<(bdShift1-1)
最後に、スケーリング部31111は、逆量子化された変換係数をクリッピングしd[x][y]を導出する。
ここでbdOffset1 = 1<<(bdShift1-1)
最後に、スケーリング部31111は、逆量子化された変換係数をクリッピングしd[x][y]を導出する。
【0133】
d[x][y] = Clip3(CoeffMin, CoeffMax, dnc[x][y]) (式CLIP-1)
CoeffMin、CoeffMaxはクリッピングの最小値と最大値であり、以下の式により導出する。
CoeffMin、CoeffMaxはクリッピングの最小値と最大値であり、以下の式により導出する。
【0134】
CoeffMin = -(1 << log2TransformRange)
CoeffMax = (1 << log2TransformRange) - 1
ここで、log2TransformRangeは後述する方法で導出された変換係数の範囲を示す値である。
CoeffMax = (1 << log2TransformRange) - 1
ここで、log2TransformRangeは後述する方法で導出された変換係数の範囲を示す値である。
【0135】
d[x][y]は、逆コア変換部31123もしくは逆非分離変換部31121に伝送される。逆非分離
変換部31121は、逆量子化の後、コア変換の前に、変換係数d[][]に対して逆非分離変換を適用する。
変換部31121は、逆量子化の後、コア変換の前に、変換係数d[][]に対して逆非分離変換を適用する。
【0136】
加算部312は、予測画像生成部308から入力されたブロックの予測画像と逆量子化・逆変換部311から入力された予測誤差を画素毎に加算して、ブロックの復号画像を生成する。
加算部312はブロックの復号画像を参照ピクチャメモリ306に記憶し、また、ループフィルタ305に出力する。
加算部312はブロックの復号画像を参照ピクチャメモリ306に記憶し、また、ループフィルタ305に出力する。
【0137】
逆量子化・逆変換部311は、パラメータ復号部302から入力された量子化変換係数を逆量子化して変換係数を求める。
【0138】
加算部312は、予測画像生成部308から入力されたブロックの予測画像と逆量子化・逆変換部311から入力された予測誤差を画素毎に加算して、ブロックの復号画像を生成する。
加算部312はブロックの復号画像を参照ピクチャメモリ306に記憶し、また、ループフィルタ305に出力する。
加算部312はブロックの復号画像を参照ピクチャメモリ306に記憶し、また、ループフィルタ305に出力する。
【0139】
（NNフィルタ部611の構成例）
図14は、ニューラルネットワークフィルタ部（NNフィルタ部611）を用いた補間フィル
タ、ループフィルタ、ポストフィルタの構成例を示す図である。以下ではポストフィルタの例を説明するが、補間フィルタやループフィルタでもよい。
図14は、ニューラルネットワークフィルタ部（NNフィルタ部611）を用いた補間フィル
タ、ループフィルタ、ポストフィルタの構成例を示す図である。以下ではポストフィルタの例を説明するが、補間フィルタやループフィルタでもよい。
【0140】
動画像復号装置後の後処理部61は、NNフィルタ部611を備える。NNフィルタ部611は、参照ピクチャメモリ306の画像を出力する際に、フィルタ処理を行い外部に出力する。出力
画像は、表示、ファイル書き出し、再エンコード（トランスコード）、伝送などをしてもよい。NNフィルタ部611は、入力画像に対して、ニューラルネットワークモデルによるフ
ィルタ処理を行う手段である。同時に、等倍もしくは有理数倍の縮小・拡大を行ってもよい。
画像は、表示、ファイル書き出し、再エンコード（トランスコード）、伝送などをしてもよい。NNフィルタ部611は、入力画像に対して、ニューラルネットワークモデルによるフ
ィルタ処理を行う手段である。同時に、等倍もしくは有理数倍の縮小・拡大を行ってもよい。
【0141】
ここで、ニューラルネットワークモデル（以下、NNモデル）とは、ニューラルネットワークの要素および結合関係（トポロジー）と、ニューラルネットワークのパラメータ（重み、バイアス）を意味する。なお、トポロジーを固定して、ニューラルネットワークモデルはパラメータのみを切り替えても良い。
【0142】
(NNフィルタ部611の詳細)
NNフィルタ部は入力画像inSamplesと入力パラメータ(例えば、QP、bSなど)を用いて、
ニューラルネットワークモデルによるフィルタ処理を行う。入力画像は、コンポーネントごとの画像であってもよいし、複数コンポーネントをそれぞれチャネルとして持つ画像であってもよい。また、入力パラメータは画像と異なるチャネルに割り当ててもよい。
NNフィルタ部は入力画像inSamplesと入力パラメータ(例えば、QP、bSなど)を用いて、
ニューラルネットワークモデルによるフィルタ処理を行う。入力画像は、コンポーネントごとの画像であってもよいし、複数コンポーネントをそれぞれチャネルとして持つ画像であってもよい。また、入力パラメータは画像と異なるチャネルに割り当ててもよい。
【0143】
NNフィルタ部は、以下の処理を繰り返し適用してもよい。
【0144】
NNフィルタ部は、inSamplesにカーネルk[m][i][j]を畳み込み演算(conv,convolution)
し、biasを加算した出力画像outSamplesを導出する。ここで、nn=0..n-1、xx=0..width-1、yy=0..height-1である。
し、biasを加算した出力画像outSamplesを導出する。ここで、nn=0..n-1、xx=0..width-1、yy=0..height-1である。
【0145】
outSamples[nn][xx][yy]=ΣΣΣ(k[mm][i][j]*inSamples[mm][xx+i-of][yy+j-of]+bias
[nn])
1x1 Convの場合、Σは、各々mm=0..m-1、i=0、j=0の総和を表す。このとき、of=0を設定
する。3x3 Convの場合、Σは各々mm=0..m-1、i=0..2、j=0..2の総和を表す。このとき、of=1を設定する。nはoutSamplesのチャネル数、mはinSamplesのチャネル数、widthはinSamplesとoutSamplesの幅、heightはinSamplesとoutSamplesの高さである。ofは、inSamplesとoutSamplesのサイズを同一にするために、inSamplesの周囲に設けるパディング領域の
サイズである。以下、NNフィルタ部の出力が画像ではなく値（補正値）の場合には、outSamplesの代わりにcorrNNで出力を表わす。
[nn])
1x1 Convの場合、Σは、各々mm=0..m-1、i=0、j=0の総和を表す。このとき、of=0を設定
する。3x3 Convの場合、Σは各々mm=0..m-1、i=0..2、j=0..2の総和を表す。このとき、of=1を設定する。nはoutSamplesのチャネル数、mはinSamplesのチャネル数、widthはinSamplesとoutSamplesの幅、heightはinSamplesとoutSamplesの高さである。ofは、inSamplesとoutSamplesのサイズを同一にするために、inSamplesの周囲に設けるパディング領域の
サイズである。以下、NNフィルタ部の出力が画像ではなく値（補正値）の場合には、outSamplesの代わりにcorrNNで出力を表わす。
【0146】
なお、CWH形式のinSamples、outSamplesではなくCHW形式のinTensor、outTensorで記述すると以下の処理と等価である。
【0147】
outTensor[nn][yy][xx]=ΣΣΣ(k[mm][i][j]*inTensor[mm][yy+j-of][xx+i-of]+bias[nn])
また、Depth wise Convと呼ばれる以下の式で示す処理を行ってもよい。ここで、nn=0..n-1、xx=0..width-1、yy=0..height-1である。
また、Depth wise Convと呼ばれる以下の式で示す処理を行ってもよい。ここで、nn=0..n-1、xx=0..width-1、yy=0..height-1である。
【0148】
outSamples[nn][xx][yy]=ΣΣ(k[nn][i][j]*inSamples[nn][xx+i-of][yy+j-of]+bias[nn])
Σは各々i、jに対する総和を表す。nはoutSamplesとinSamplesのチャネル数、widthはinSamplesとoutSamplesの幅、heightはinSamplesとoutSamplesの高さである。
Σは各々i、jに対する総和を表す。nはoutSamplesとinSamplesのチャネル数、widthはinSamplesとoutSamplesの幅、heightはinSamplesとoutSamplesの高さである。
【0149】
またActivateと呼ばれる非線形処理、たとえばReLUを用いてもよい。
ReLU(x) = x >= 0 ? x : 0
また以下の式に示すleakyReLUを用いてもよい。
ReLU(x) = x >= 0 ? x : 0
また以下の式に示すleakyReLUを用いてもよい。
【0150】
leakyReLU(x) = x >= 0 ? x : a * x
ここでaは所定の値、例えば0.1や0.125である。また整数演算を行うために上記の全てのk、bias、aの値を整数として、convの後に右シフトを行ってもよい。
ここでaは所定の値、例えば0.1や0.125である。また整数演算を行うために上記の全てのk、bias、aの値を整数として、convの後に右シフトを行ってもよい。
【0151】
ReLUでは0未満の値に対しては常に0、それ以上の値に対しては入力値がそのまま出力される。一方、leakyReLUでは、0未満の値に対して、aで設定された勾配で線形処理が行わ
れる。ReLUでは0未満の値に対する勾配が消失するため、学習が進みにくくなる場合があ
る。leakyReLUでは0未満の値に対する勾配が残され、上記問題が起こりにくくなる。また、上記leakyReLU(x)のうち、aの値をパラメータ化して用いるPReLUを用いてもよい。
れる。ReLUでは0未満の値に対する勾配が消失するため、学習が進みにくくなる場合があ
る。leakyReLUでは0未満の値に対する勾配が残され、上記問題が起こりにくくなる。また、上記leakyReLU(x)のうち、aの値をパラメータ化して用いるPReLUを用いてもよい。
【0152】
（ニューラルネットワークモデル複雑度参照のためのSEI）
図9は、本実施形態のNNフィルタSEIのシンタックス表の構成を示す図である。本SEIは
、ニューラルネットワークモデル複雑度の情報を含む。
・nnrpf_id: NNフィルタの識別番号である。
・nnrpf_mode_idc: NNフィルタに使用するニューラルネットワークモデルの指定方法を示すモードのインデックスである。値が0の場合は、nnrpf_idに関連付けられるNNフィルタ
が、このSEIメッセージで指定されていないことを示す。値が1の場合は、nnrpf_idに関連付けられるNNフィルタが所定のURI（Uniform Resource Identifier）で識別されるニューラルネットワークモデルであることを示す。URIは、ロジカルもしくは物理的なリソース
を示す識別用の文字列である。なおURIの示す場所に実際のデータが存在する必要はなく
、文字列がリソースを特定できればよい。値が2の場合は、nnrpf_idに関連付けられるNN
フィルタが、このSEIメッセージに含まれるISO/IEC 15938-17ビットストリームで表され
るニューラルネットワークモデルであることを示す。値が3の場合は、nnrpf_idに関連付
けられるNNフィルタが、前の復号で使用したNNフィルタSEIメッセージで識別され、このSEIメッセージに含まれるISO/IEC 15938-17ビットストリームで更新されるニューラルネットワークモデルであることを示す。
・nnrpf_persistence_flag: 現在の階層に対するこのSEIメッセージの持続性を指定する
フラグである。値が0の場合は、このSEIメッセージは現在の復号されたピクチャにのみ適用されることを示す。値が1の場合は、現在の復号されたピクチャと、その後続のピクチ
ャに、出力順で適用されることを示す。
・nnrpf_uri[i]: NNフィルタとして使用するニューラルネットワークモデルの参照先URI
を格納する文字列である。iはNULLを終端とするUTF-8文字列のiバイト目である。nnrpf_mode_idc==1の場合、ヘッダ符号化部1110およびヘッダ復号部3020はNNフィルタとして使用するニューラルネットワークモデルを示すURIであるnnrpf_uriを復号する。nnrpf_uriの
示す文字列に対応するニューラルネットワークモデルを動画像符号化装置もしくは動画像
復号装置の備えるメモリから読み出すか、外部からネットワーク経由で読み出す。
・nnrpf_payload_byte[i]: ISO/IEC 15938-17に準拠したビットストリームのiバイト目を示す。
図9は、本実施形態のNNフィルタSEIのシンタックス表の構成を示す図である。本SEIは
、ニューラルネットワークモデル複雑度の情報を含む。
・nnrpf_id: NNフィルタの識別番号である。
・nnrpf_mode_idc: NNフィルタに使用するニューラルネットワークモデルの指定方法を示すモードのインデックスである。値が0の場合は、nnrpf_idに関連付けられるNNフィルタ
が、このSEIメッセージで指定されていないことを示す。値が1の場合は、nnrpf_idに関連付けられるNNフィルタが所定のURI（Uniform Resource Identifier）で識別されるニューラルネットワークモデルであることを示す。URIは、ロジカルもしくは物理的なリソース
を示す識別用の文字列である。なおURIの示す場所に実際のデータが存在する必要はなく
、文字列がリソースを特定できればよい。値が2の場合は、nnrpf_idに関連付けられるNN
フィルタが、このSEIメッセージに含まれるISO/IEC 15938-17ビットストリームで表され
るニューラルネットワークモデルであることを示す。値が3の場合は、nnrpf_idに関連付
けられるNNフィルタが、前の復号で使用したNNフィルタSEIメッセージで識別され、このSEIメッセージに含まれるISO/IEC 15938-17ビットストリームで更新されるニューラルネットワークモデルであることを示す。
・nnrpf_persistence_flag: 現在の階層に対するこのSEIメッセージの持続性を指定する
フラグである。値が0の場合は、このSEIメッセージは現在の復号されたピクチャにのみ適用されることを示す。値が1の場合は、現在の復号されたピクチャと、その後続のピクチ
ャに、出力順で適用されることを示す。
・nnrpf_uri[i]: NNフィルタとして使用するニューラルネットワークモデルの参照先URI
を格納する文字列である。iはNULLを終端とするUTF-8文字列のiバイト目である。nnrpf_mode_idc==1の場合、ヘッダ符号化部1110およびヘッダ復号部3020はNNフィルタとして使用するニューラルネットワークモデルを示すURIであるnnrpf_uriを復号する。nnrpf_uriの
示す文字列に対応するニューラルネットワークモデルを動画像符号化装置もしくは動画像
復号装置の備えるメモリから読み出すか、外部からネットワーク経由で読み出す。
・nnrpf_payload_byte[i]: ISO/IEC 15938-17に準拠したビットストリームのiバイト目を示す。
【0153】
NNフィルタSEIは、ニューラルネットワークモデル複雑度情報（ネットワークモデル複
雑度情報）として以下のシンタックス要素を含む。
・nnrpf_parameter_type_idc: NNモデルのパラメータに含まれる変数型を示すインデックスである。値が0の場合、NNモデルは整数型のみを使用する。値が1の場合、NNモデルは、浮動小数点型か、或いは整数型を使用する。
・nnrpf_num_parameters_idc: ポストフィルタで使用するNNモデルのパラメータ数を示すインデックスである。値が0の場合、NNモデルのパラメータ数を定義しないことを示す。
値が0でない場合、nnrpf_num_parameters_idcを用いて以下の処理を行い、NNモデルのパ
ラメータ数を導出する。
雑度情報）として以下のシンタックス要素を含む。
・nnrpf_parameter_type_idc: NNモデルのパラメータに含まれる変数型を示すインデックスである。値が0の場合、NNモデルは整数型のみを使用する。値が1の場合、NNモデルは、浮動小数点型か、或いは整数型を使用する。
・nnrpf_num_parameters_idc: ポストフィルタで使用するNNモデルのパラメータ数を示すインデックスである。値が0の場合、NNモデルのパラメータ数を定義しないことを示す。
値が0でない場合、nnrpf_num_parameters_idcを用いて以下の処理を行い、NNモデルのパ
ラメータ数を導出する。
【0154】
ヘッダ符号化部1110およびヘッダ復号部3020は、nnrpf_num_parameters_idcに基づいて、NNモデルのパラメータ数の最大値MaxNNParametersを以下のように導出し、ネットワー
クモデル複雑度情報を符号化・復号してもよい。
クモデル複雑度情報を符号化・復号してもよい。
【0155】
MaxNNParameters = (UNITPARAM << nnrpf_num_parameters_idc) - 1
ここでUNITPARAMは所定の定数であり、UNITPARAM=2048=2^11でもよい。
なお、シフト演算は指数と同値であり、以下でもよい。
ここでUNITPARAMは所定の定数であり、UNITPARAM=2048=2^11でもよい。
なお、シフト演算は指数と同値であり、以下でもよい。
【0156】
MaxNNParameters = 2 ^(nnrpf_num_parameters_idc+11) - 1
また、パラメータ数の単位は、2倍単位ではなく、以下のように2倍単位と1.5倍単位を組
み合わせてもよい。
また、パラメータ数の単位は、2倍単位ではなく、以下のように2倍単位と1.5倍単位を組
み合わせてもよい。
【0157】
MaxNNParameters = (nnrpf_num_parameters_idc & 1) ? (UNITPARAM2 << nnrpf_num_parameters_idc)-1 : (UNITPARAM << nnrpf_num_parameters_idc)-1
ここでUNITPARAM2はUNITPARAM*1.5となる所定の定数であってもよい。例えば、UNITPARAM=2048の場合、UNITPARAM2=3072である。
また、以下でもよい。
ここでUNITPARAM2はUNITPARAM*1.5となる所定の定数であってもよい。例えば、UNITPARAM=2048の場合、UNITPARAM2=3072である。
また、以下でもよい。
【0158】
MaxNNParameters = (nnrpf_num_parameters_idc & 1) : 2^(nnrpf_num_parameters_idc+11)*1.5-1 : 2^(nnrpf_num_parameters_idc+11)-1
すなわち、ヘッダ符号化部1110ではnnrpf_num_parameter_idcの値は、実際のNNモデルの
パラメータ数がMaxNNParameters以下となるような値を設定する。ヘッダ復号部3020は、
上記のように設定された符号化データを復号する。
すなわち、ヘッダ符号化部1110ではnnrpf_num_parameter_idcの値は、実際のNNモデルの
パラメータ数がMaxNNParameters以下となるような値を設定する。ヘッダ復号部3020は、
上記のように設定された符号化データを復号する。
【0159】
なお、MaxNNParametersの導出に線形の表現を用いてもよい。
【0160】
MaxNNParameters = (UNITPARAM * nnrpf_num_parameters_idc) -1
このとき、UNITPARAM=10000であってもよい。UNITPARAMは1000以上の値が好ましく、また10の倍数が好ましい。
・nnrpf_num_kmac_operations_idc: ポストフィルタの処理に必要なオペレーション数の
規模を示す値である。ヘッダ符号化部1110およびヘッダ復号部3020は、nnrpf_num_kmac_operations_idcに基づいてMaxNNOperationsを以下のように求める。MaxNNOperationsはポ
ストフィルタの処理に必要なオペレーション数の最大値である。
このとき、UNITPARAM=10000であってもよい。UNITPARAMは1000以上の値が好ましく、また10の倍数が好ましい。
・nnrpf_num_kmac_operations_idc: ポストフィルタの処理に必要なオペレーション数の
規模を示す値である。ヘッダ符号化部1110およびヘッダ復号部3020は、nnrpf_num_kmac_operations_idcに基づいてMaxNNOperationsを以下のように求める。MaxNNOperationsはポ
ストフィルタの処理に必要なオペレーション数の最大値である。
【0161】
MaxNNOperations = nnrpf_num_kmac_operations_idc * 1000 * pictureWidth * pictureHeight
ここで、pictureWidth, pictureHeightは、ポストフィルタに入力されるピクチャの幅、
高さである。
ここで、pictureWidth, pictureHeightは、ポストフィルタに入力されるピクチャの幅、
高さである。
【0162】
すなわち、動画像符号化装置は、nnrpf_num_kmac_operations_idcの値を、ポストフィ
ルタの処理に必要なオペレーション数に応じて設定する。
ルタの処理に必要なオペレーション数に応じて設定する。
【0163】
上記では、所定の定数を単位として定義される処理量に関わるネットワークモデル複雑度情報のシンタックスを伝送もしくは符号化もしくは復号することにより、簡潔に複雑度の伝送が可能であるという効果を奏する。さらに10の倍数を利用すると人間にも理解しやすい値となる効果がある。また1000以上の値にすれば、少ない区分数でモデルの規模を好適に表現することを可能とし、効率的に伝送できる。
【0164】
つまり、上記ネットワークモデル複雑度情報を示すシンタックスはパラメータ数もしくはオペレーション数の上限を示し、上記パラメータ数もしくはオペレーション数は、２の指数乗を単位として定義される。あるいは、上記パラメータ数もしくはオペレーション数は、２の指数乗もしくは２の指数乗の１．５倍を単位として定義されてもよい。また、上記パラメータ数もしくはオペレーション数は、１０の倍数を単位として定義されてもよい。
【0165】
上記ではさらに、シフト表現もしくは指数表現によって定義される処理量に関わるネットワークモデル複雑度情報のシンタックスを伝送もしくは符号化もしくは復号することにより、より短い符号で効率的に複雑度の伝送が可能であるという効果を奏する。
・nnrpf_alignment_zero_bit: バイトアライメントのためのビットである。ヘッダ符号化部1110およびヘッダ復号部3020は、ビット位置がバイト境界に到達するまで１ビットずつ符号"0"を符号化、復号する。
・nnrpf_alignment_zero_bit: バイトアライメントのためのビットである。ヘッダ符号化部1110およびヘッダ復号部3020は、ビット位置がバイト境界に到達するまで１ビットずつ符号"0"を符号化、復号する。
【0166】
nnrpf_operation_type_idc: ポストフィルタのNNモデルで使用される要素の制限もしくはトポロジーの制限を示すインデックスである。インデックスの値によって、例えば、以下のように処理を行ってもよい。
【0167】
値が3の場合、前記要素もしくはトポロジーは以下に制限される。カーネルの最大サイ
ズは5x5、最大チャネル数は32、活性化関数にleaky ReLU、或いはReLUのみ使用可能、分
岐の最大レベルは3(スキップコネクションを除く)。
ズは5x5、最大チャネル数は32、活性化関数にleaky ReLU、或いはReLUのみ使用可能、分
岐の最大レベルは3(スキップコネクションを除く)。
【0168】
値が2の場合、上記の制限に加えて、活性化関数でのleaky Reluの使用を禁止、スキッ
プコネクション以外の分岐を禁止(例えば、U-Netやグループ化畳み込みを行わない)。
プコネクション以外の分岐を禁止(例えば、U-Netやグループ化畳み込みを行わない)。
【0169】
値が1の場合、さらに上記の制限に加えて、空間からチャネルへの写像(例えば、Pixel Shuffler)を禁止、全体平均プーリングを禁止。
【0170】
値が0の場合、前記要素もしくはトポロジーは制限されない。
＜別の構成例１＞
ネットワークモデル複雑度情報を示すパラメータnnrpf_parameter_type_idcは以下のように定義されてもよい。
・nnrpf_parameter_type_idc: ニューラルネットワークモデルのパラメータ型を示すインデックスである。例えば、パラメータの値に応じて以下のようにパラメータ型を決めてもよい。値が0の場合、8bit符号なし整数型、値が1の場合、16bit符号なし整数型、値が2の場合、32bit符号なし整数型、値が3の場合、16bit浮動小数点型(bfloat16)、値が4の場合、16bit浮動小数点型(半精度)、値が5の場合、32bit浮動小数点型(単精度)と定義する。
＜別の構成例２＞
図10は、ネットワークモデル複雑度情報を備えるNNフィルタSEIのシンタックス表の構
成を示す図である。この例では、ニューラルネットワークモデルのパラメータ型を、数値型とビット幅に分けて定義する。
＜別の構成例１＞
ネットワークモデル複雑度情報を示すパラメータnnrpf_parameter_type_idcは以下のように定義されてもよい。
・nnrpf_parameter_type_idc: ニューラルネットワークモデルのパラメータ型を示すインデックスである。例えば、パラメータの値に応じて以下のようにパラメータ型を決めてもよい。値が0の場合、8bit符号なし整数型、値が1の場合、16bit符号なし整数型、値が2の場合、32bit符号なし整数型、値が3の場合、16bit浮動小数点型(bfloat16)、値が4の場合、16bit浮動小数点型(半精度)、値が5の場合、32bit浮動小数点型(単精度)と定義する。
＜別の構成例２＞
図10は、ネットワークモデル複雑度情報を備えるNNフィルタSEIのシンタックス表の構
成を示す図である。この例では、ニューラルネットワークモデルのパラメータ型を、数値型とビット幅に分けて定義する。
【0171】
この構成例では、図9のSEIのうち、以下のシンタックス情報の定義を変更する。
・nnrpf_parameter_type_idc: ニューラルネットワークモデルの数値型を示すインデックスである。例えば、パラメータの値に応じて以下のように数値型を決めてもよい。
値が0の場合、整数型、値が1の場合、浮動小数点型と定義する。
・nnrpf_parameter_type_idc: ニューラルネットワークモデルの数値型を示すインデックスである。例えば、パラメータの値に応じて以下のように数値型を決めてもよい。
値が0の場合、整数型、値が1の場合、浮動小数点型と定義する。
【0172】
また、図9のSEIのシンタックスに加えて、以下のシンタックス情報を含む。・nnrpf_parameter_bit_width_idc: ニューラルネットワークモデルのビット幅を示すイ
ンデックスである。例えば、パラメータの値に応じて以下のようにビット幅を決めてもよい。
値が0の場合、8bit、値が1の場合、16bit、値が2の場合、32bitと定義する。
＜別の構成例３＞
図11は、ネットワークモデル複雑度情報を備えるNNフィルタSEIのシンタックス表の構
成を示す図である。ここでは、ニューラルネットワークモデルのパラメータ型のビット幅を対数表現で定義する。
ンデックスである。例えば、パラメータの値に応じて以下のようにビット幅を決めてもよい。
値が0の場合、8bit、値が1の場合、16bit、値が2の場合、32bitと定義する。
＜別の構成例３＞
図11は、ネットワークモデル複雑度情報を備えるNNフィルタSEIのシンタックス表の構
成を示す図である。ここでは、ニューラルネットワークモデルのパラメータ型のビット幅を対数表現で定義する。
【0173】
この構成例では、nnrpf_parameter_bit_width_idcに代えて、以下のシンタックス情報
を含む。
・nnrpf_log2_parameter_bit_width_minus3: ニューラルネットワークモデルのパラメー
タのビット幅を2の対数表現で示した値である。nnrpf_log2_parameter_bit_width_minus3に基づいて、パラメータのビット幅parameterBitWidthを以下のように求める。
parameterBitWidth = 1 << ( nnrpf_log2_parameter _bit_width_minus3 + 3 )
（SEIの復号とポストフィルタ処理）
ヘッダ復号部3020は、図9～11で規定されたSEIメッセージから、ネットワークモデル複雑度情報を復号する。SEIは復号や表示などに関連する処理の付加情報である。
を含む。
・nnrpf_log2_parameter_bit_width_minus3: ニューラルネットワークモデルのパラメー
タのビット幅を2の対数表現で示した値である。nnrpf_log2_parameter_bit_width_minus3に基づいて、パラメータのビット幅parameterBitWidthを以下のように求める。
parameterBitWidth = 1 << ( nnrpf_log2_parameter _bit_width_minus3 + 3 )
（SEIの復号とポストフィルタ処理）
ヘッダ復号部3020は、図9～11で規定されたSEIメッセージから、ネットワークモデル複雑度情報を復号する。SEIは復号や表示などに関連する処理の付加情報である。
【0174】
図12は、NNフィルタ部611の処理のフローチャートを示す図である。NNフィルタ部611は、上記SEIメッセージのパラメータに従って以下の処理を行う。
S6001：SEIのネットワークモデル複雑度情報から処理量と精度を読み込む。
S6002：NNフィルタ部611が処理可能な複雑度を超える場合には終了する。超えない場合にはS6003へ進む。
S6003：NNフィルタ部611が処理可能な精度を超える場合には終了する。超えない場合にはS6004へ進む。
S6004：SEIからネットワークモデルを特定し、NNフィルタ部611のトポロジーを設定する
。
S6005：SEIの更新情報からネットワークモデルのパラメータを導出する。
S6006：導出されたネットワークモデルのパラメータをNNフィルタ部611に読み込む。
S6007：NNフィルタ部611のフィルタ処理を実行し、外部に出力する。
ただし、復号処理における輝度サンプルや色差サンプルの構築にSEIは必ずしも必要とさ
れない。
S6001：SEIのネットワークモデル複雑度情報から処理量と精度を読み込む。
S6002：NNフィルタ部611が処理可能な複雑度を超える場合には終了する。超えない場合にはS6003へ進む。
S6003：NNフィルタ部611が処理可能な精度を超える場合には終了する。超えない場合にはS6004へ進む。
S6004：SEIからネットワークモデルを特定し、NNフィルタ部611のトポロジーを設定する
。
S6005：SEIの更新情報からネットワークモデルのパラメータを導出する。
S6006：導出されたネットワークモデルのパラメータをNNフィルタ部611に読み込む。
S6007：NNフィルタ部611のフィルタ処理を実行し、外部に出力する。
ただし、復号処理における輝度サンプルや色差サンプルの構築にSEIは必ずしも必要とさ
れない。
【0175】
（ニューラルネットワークモデルデータ形式参照のためのSEI）
図16は、本実施形態のNNフィルタSEIのシンタックス表の別の構成を示す図である。本SEIは、ニューラルネットワークモデル（NNモデル）データ形式の情報を含む。既に説明したニューラルネットワークモデル複雑度の情報を含むSEIと同じシンタックス要素は、説
明を省略する
・nnrpf_input_format_idc: 入力テンソル識別パラメータ。NNフィルタで用いられるNN
モデルの入力データ（入力テンソル）の形式を示す。ヘッダ復号部3020は、図17に示すように、nnrpf_input_format_idcの値に基づいて入力データの形式（チャネル数（NumInChannels）、データフォーマット）を導出する。
図16は、本実施形態のNNフィルタSEIのシンタックス表の別の構成を示す図である。本SEIは、ニューラルネットワークモデル（NNモデル）データ形式の情報を含む。既に説明したニューラルネットワークモデル複雑度の情報を含むSEIと同じシンタックス要素は、説
明を省略する
・nnrpf_input_format_idc: 入力テンソル識別パラメータ。NNフィルタで用いられるNN
モデルの入力データ（入力テンソル）の形式を示す。ヘッダ復号部3020は、図17に示すように、nnrpf_input_format_idcの値に基づいて入力データの形式（チャネル数（NumInChannels）、データフォーマット）を導出する。
【0176】
nnrpf_input_format_idc==0の場合、入力データの形式は1チャネル（輝度）の3次元デ
ータ(3Dテンソル)である。復号画像の輝度チャネルが、NNフィルタの入力データとして用いられることを示す。なお、本実施例において前記3次元データの3つの次元は(C,H,W)の
順序と定義するが、次元の順序はこれに限らない。たとえば、（H,W,C）の順で格納する
構成にしてもよい。また、この場合はチャネル数が1つであるため、2次元データ(H,W)と
してもよい。
ータ(3Dテンソル)である。復号画像の輝度チャネルが、NNフィルタの入力データとして用いられることを示す。なお、本実施例において前記3次元データの3つの次元は(C,H,W)の
順序と定義するが、次元の順序はこれに限らない。たとえば、（H,W,C）の順で格納する
構成にしてもよい。また、この場合はチャネル数が1つであるため、2次元データ(H,W)と
してもよい。
【0177】
nnrpf_input_format_idc==1の場合、入力データの形式は2チャネル（色差）の3次元デ
ータ(3Dテンソル)である。復号画像の2つの色差チャネル(UおよびV)が、NNフィルタの入
力データとして用いられることを示す。
ータ(3Dテンソル)である。復号画像の2つの色差チャネル(UおよびV)が、NNフィルタの入
力データとして用いられることを示す。
【0178】
nnrpf_input_format_idc==2の場合、入力データの形式は3チャネル（輝度および2つの
色差）の3次元データ(3Dテンソル)である。復号画像の輝度および2つの色差チャネルが、4:4:4形式でNNフィルタへの入力データとして用いられることを示す。
色差）の3次元データ(3Dテンソル)である。復号画像の輝度および2つの色差チャネルが、4:4:4形式でNNフィルタへの入力データとして用いられることを示す。
【0179】
nnrpf_input_format_idc==3の場合、入力データの形式は6チャネル（4つの輝度および2つの色差）の3次元データ(3Dテンソル)である。4:2:0形式の復号画像の輝度チャネルから導出される4チャネルおよび2つの色差チャネルが、NNフィルタの入力データとして用いられることを示す。
【0180】
・nnrpf_output_format_idc: 出力テンソル識別パラメータ。NNフィルタで用いられるNNモデルの出力データ（NN出力データ、出力テンソル）の形式を示す。ヘッダ復号部3020
は、図18に示すように、nnrpf_output_format_idcの値に基づいて出力データの形式（チ
ャネル数（NumOutChannels）、データフォーマット）を導出する。
は、図18に示すように、nnrpf_output_format_idcの値に基づいて出力データの形式（チ
ャネル数（NumOutChannels）、データフォーマット）を導出する。
【0181】
nnrpf_output_format_idc==0の場合、NN出力データの形式は1チャネル（輝度）の3次元データ(3Dテンソル)である。NNフィルタの出力データは、出力画像の輝度チャネルとして用いられることを示す。
【0182】
nnrpf_output_format_idc==1の場合、NN出力データの形式は2チャネル（色差）の3次元データ(3Dテンソル)である。NNフィルタの出力データは、出力画像の2つの色差チャネル(UおよびV)として用いられることを示す。
【0183】
nnrpf_output_format_idc==2の場合、NN出力データの形式は3チャネル（輝度および2つの色差）の3次元データ(3Dテンソル)である。NNフィルタの出力データは、出力画像の輝
度および2つの色差チャネルとして4:4:4形式で用いられることを示す。
度および2つの色差チャネルとして4:4:4形式で用いられることを示す。
【0184】
nnrpf_output_format_idc==3の場合、NN出力データの形式は6チャネル（4つの輝度および2つの色差）の3次元データ(3Dテンソル)である。NNフィルタの出力データは、6チャネ
ルのうち4チャネルを統合して導出される1つの輝度チャネルおよび2つの色差チャネルと
して4:2:0形式で用いられることを示す。
ルのうち4チャネルを統合して導出される1つの輝度チャネルおよび2つの色差チャネルと
して4:2:0形式で用いられることを示す。
【0185】
（ポストフィルタSEIの処理）
ヘッダ符号化部1110、ヘッダ復号部3020は、ポストフィルタSEIの処理において、画像
復号装置のシンタックス値、変数を、フィルタ処理用の変数に設定してもよい。
PicWidthInLumaSamples = pps_pic_width_in_luma_samples
PicHeightInLumaSamples = pps_pic_height_in_luma_samples
ChromaFormatIdc = sps_chroma_format_idc
BitDepthY= BitDepthC = BitDepth
ComponentSample[cIdx]は復号画像のcIdx番目の復号済み画素値を格納した2次元配列である。
ここで、pps_pic_width_in_luma_samples、pps_pic_height_in_luma_samples、sps_chroma_format_idcは、画像幅、高さ、色コンポーネントのサブサンプリングを示すシンタックス値、BitDepthは画像のビットデプスである。
ヘッダ符号化部1110、ヘッダ復号部3020は、ポストフィルタSEIの処理において、画像
復号装置のシンタックス値、変数を、フィルタ処理用の変数に設定してもよい。
PicWidthInLumaSamples = pps_pic_width_in_luma_samples
PicHeightInLumaSamples = pps_pic_height_in_luma_samples
ChromaFormatIdc = sps_chroma_format_idc
BitDepthY= BitDepthC = BitDepth
ComponentSample[cIdx]は復号画像のcIdx番目の復号済み画素値を格納した2次元配列である。
ここで、pps_pic_width_in_luma_samples、pps_pic_height_in_luma_samples、sps_chroma_format_idcは、画像幅、高さ、色コンポーネントのサブサンプリングを示すシンタックス値、BitDepthは画像のビットデプスである。
【0186】
ヘッダ符号化部1110、ヘッダ復号部3020は、ChromaFormatIdcに応じて以下の変数を導
出する。
SubWidthC = 1, SubHeghtC = 1 (ChromaFormatIdc == 0)
SubWidthC = 2, SubHeghtC = 2 (ChromaFormatIdc == 1)
SubWidthC = 2, SubHeghtC = 1 (ChromaFormatIdc == 2)
SubWidthC = 1, SubHeghtC = 1 (ChromaFormatIdc == 3)
ヘッダ符号化部1110、ヘッダ復号部3020はフィルタ対象の輝度画像の幅、高さ、色差画像の幅、高さを以下の変数で導出する。
LumaWidth = PicWidthInLumaSamples
LumaHeight = PicHeightInLumaSamples
ChromaWidth = PicWidthInLumaSamples / SubWidthC
ChromaHeight = PicHeightInLumaSamples / SubHeithtC
SW = SubWidthC
SH = SubHeightC
SubWidthC(=SW)、SubHeightC(=SH)は色コンポーネントのサブサンプリングを示す。ここ
では、輝度に対する色差の解像度の比を表わす変数である。
出する。
SubWidthC = 1, SubHeghtC = 1 (ChromaFormatIdc == 0)
SubWidthC = 2, SubHeghtC = 2 (ChromaFormatIdc == 1)
SubWidthC = 2, SubHeghtC = 1 (ChromaFormatIdc == 2)
SubWidthC = 1, SubHeghtC = 1 (ChromaFormatIdc == 3)
ヘッダ符号化部1110、ヘッダ復号部3020はフィルタ対象の輝度画像の幅、高さ、色差画像の幅、高さを以下の変数で導出する。
LumaWidth = PicWidthInLumaSamples
LumaHeight = PicHeightInLumaSamples
ChromaWidth = PicWidthInLumaSamples / SubWidthC
ChromaHeight = PicHeightInLumaSamples / SubHeithtC
SW = SubWidthC
SH = SubHeightC
SubWidthC(=SW)、SubHeightC(=SH)は色コンポーネントのサブサンプリングを示す。ここ
では、輝度に対する色差の解像度の比を表わす変数である。
【0187】
また、ヘッダ符号化部1110、ヘッダ復号部3020は、以下のように比率を示すスケール値に応じて出力画像幅outWidthと高さoutHeightを導出してもよい。
outLumaWidth = LumaWidth * scale
outLumaHeight = LumaHeight * scale
outChromaWidth = LumaWidth * scale / outSW
outChromaHeight = LumaHeight * scale / outSH
outSW、outSHは出力画像の色差サブサンプリング値である。
outLumaWidth = LumaWidth * scale
outLumaHeight = LumaHeight * scale
outChromaWidth = LumaWidth * scale / outSW
outChromaHeight = LumaHeight * scale / outSH
outSW、outSHは出力画像の色差サブサンプリング値である。
【0188】
（ポストフィルタのNN入力データへの変換）
NNフィルタ部611は、NNフィルタに画像データを入力するにあたり、nnrpf_input_format_idcの値に基づき、図19および以下に示すように復号画像を3次元配列であるNN入力データinputTensor[][][]に変換する。
以下、x,yは輝度画素の座標を表す。例えばComponentSampleにおいてxとyの範囲はそれぞれx=0..LumaWidth-1, y=LumaHeight-1である。cx,cyは色差画素の座標を表し、cxとcyの
範囲はそれぞれcx=0..ChromaWidth-1, cy=ChromaHeight-1である。以下のNNフィルタ部611は、この範囲を処理する。
nnrpf_input_format_idcが0（pfp_component_idc==0）の場合、NNフィルタ部611はinputTensorを以下で導出する。
NNフィルタ部611は、NNフィルタに画像データを入力するにあたり、nnrpf_input_format_idcの値に基づき、図19および以下に示すように復号画像を3次元配列であるNN入力データinputTensor[][][]に変換する。
以下、x,yは輝度画素の座標を表す。例えばComponentSampleにおいてxとyの範囲はそれぞれx=0..LumaWidth-1, y=LumaHeight-1である。cx,cyは色差画素の座標を表し、cxとcyの
範囲はそれぞれcx=0..ChromaWidth-1, cy=ChromaHeight-1である。以下のNNフィルタ部611は、この範囲を処理する。
nnrpf_input_format_idcが0（pfp_component_idc==0）の場合、NNフィルタ部611はinputTensorを以下で導出する。
【0189】
inputTensor[0][y][x] = ComponentSample[0][x][y]
nnrpf_input_format_idcが1（pfp_component_idc==1）の場合、inputTensorを以下で導出する：
inputTensor[0][cy][cx] = ComponentSample[1][cx][cy]
inputTensor[1][cy][cx] = ComponentSample[2][cx][cy]
また以下でもよい：
inputTensor[0][y/SH][x/SW] = ComponentSample[1][x/SW][y/SH]
inputTensor[1][y/SH][x/SW] = ComponentSample[2][x/SW][y/SH]
nnrpf_input_format_idcが2（pfp_component_idc==2）の場合、inputTensorを以下で導出する：
inputTensor[0][y][x] = ComponentSample[0][x][y]
ChromaOffset = 1<<(BitDepthC-1)
inputTensor[1][y][x]
= ChromaFormatIdc==0 ? ChromaOffset : ComponentSample[1][x/SW][y/SH]
inputTensor[2][y][x] = ChromaFormatIdc==0 ? ChromaOffset : ComponentSample
[2][x/SW][y/SH]
nnrpf_input_format_idcが3の場合は、inputTensorは以下で導出する：
inputTensor[0][cy][cx] = ComponentSample[0][cx*2 ][cy*2 ]
inputTensor[1][cy][cx] = ComponentSample[0][cx*2+1][cy*2 ]
inputTensor[2][cy][cx] = ComponentSample[0][cx*2 ][cy*2+1]
inputTensor[3][cy][cx] = ComponentSample[0][cx*2+1][cy*2+1]
ChromaOffset = 1<<(BitDepthC-1)
inputTensor[4][cy][cx]
= ChromaFormatIdc==0 ? ChromaOffset : ComponentSample[1][cx][cy]
inputTensor[5][cy][cx]
= ChromaFormatIdc==0 ? ChromaOffset : ComponentSample[2][cx][cy]
ChromaFormatIdcが0の場合、ComponentSampleは輝度チャネルのみの画像である。このと
き、NNフィルタ部611はinputTensorの色差データ部分にビット深度から導出される定数ChromaOffsetを設定してもよい。ChromaOffsetは0など他の値でもよい。あるいは、括弧内
で示したように、後述のpfp_component_idcに応じてNN入力データを導出してもよい。
nnrpf_input_format_idcが1（pfp_component_idc==1）の場合、inputTensorを以下で導出する：
inputTensor[0][cy][cx] = ComponentSample[1][cx][cy]
inputTensor[1][cy][cx] = ComponentSample[2][cx][cy]
また以下でもよい：
inputTensor[0][y/SH][x/SW] = ComponentSample[1][x/SW][y/SH]
inputTensor[1][y/SH][x/SW] = ComponentSample[2][x/SW][y/SH]
nnrpf_input_format_idcが2（pfp_component_idc==2）の場合、inputTensorを以下で導出する：
inputTensor[0][y][x] = ComponentSample[0][x][y]
ChromaOffset = 1<<(BitDepthC-1)
inputTensor[1][y][x]
= ChromaFormatIdc==0 ? ChromaOffset : ComponentSample[1][x/SW][y/SH]
inputTensor[2][y][x] = ChromaFormatIdc==0 ? ChromaOffset : ComponentSample
[2][x/SW][y/SH]
nnrpf_input_format_idcが3の場合は、inputTensorは以下で導出する：
inputTensor[0][cy][cx] = ComponentSample[0][cx*2 ][cy*2 ]
inputTensor[1][cy][cx] = ComponentSample[0][cx*2+1][cy*2 ]
inputTensor[2][cy][cx] = ComponentSample[0][cx*2 ][cy*2+1]
inputTensor[3][cy][cx] = ComponentSample[0][cx*2+1][cy*2+1]
ChromaOffset = 1<<(BitDepthC-1)
inputTensor[4][cy][cx]
= ChromaFormatIdc==0 ? ChromaOffset : ComponentSample[1][cx][cy]
inputTensor[5][cy][cx]
= ChromaFormatIdc==0 ? ChromaOffset : ComponentSample[2][cx][cy]
ChromaFormatIdcが0の場合、ComponentSampleは輝度チャネルのみの画像である。このと
き、NNフィルタ部611はinputTensorの色差データ部分にビット深度から導出される定数ChromaOffsetを設定してもよい。ChromaOffsetは0など他の値でもよい。あるいは、括弧内
で示したように、後述のpfp_component_idcに応じてNN入力データを導出してもよい。
【0190】
図22は、テンソルのチャネル数と変換処理の関係を示す図である。
【0191】
さらに、NNフィルタ部611は入力テンソルのチャネル数NumInChannels（numTensors）に応じて以下のようにNN入力データを導出してもよい。
NumInChannels==1の場合、inputTensorを以下で導出する。
NumInChannels==1の場合、inputTensorを以下で導出する。
【0192】
inputTensor[0][y][x] = ComponentSample[0][x][y]
NumInChannels==2の場合、inputTensorを以下で導出する。
NumInChannels==2の場合、inputTensorを以下で導出する。
【0193】
inputTensor[0][cy][cx] = ComponentSample[1][cx][cy]
inputTensor[1][cy][cx] = ComponentSample[2][cx][cy]
また以下でもよい：
inputTensor[0][y/SH][x/SW] = ComponentSample[1][x/SW][y/SH]
inputTensor[1][y/SH][x/SW] = ComponentSample[2][x/SW][y/SH]
NumInChannels==3の場合、inputTensorを以下で導出する。
inputTensor[1][cy][cx] = ComponentSample[2][cx][cy]
また以下でもよい：
inputTensor[0][y/SH][x/SW] = ComponentSample[1][x/SW][y/SH]
inputTensor[1][y/SH][x/SW] = ComponentSample[2][x/SW][y/SH]
NumInChannels==3の場合、inputTensorを以下で導出する。
【0194】
inputTensor[0][y][x] = ComponentSample[0][x][y]
ChromaOffset = 1<<(BitDepthC-1)
inputTensor[1][y][x]
= ChromaFormatIdc==0 ? ChromaOffset : ComponentSample[1][x/SW][y/SH]
inputTensor[2][y][x]
= ChromaFormatIdc==0 ? ChromaOffset : ComponentSample[2][x/SW][y/SH]
NumInChannels==6の場合は、inputTensorを以下で導出する。
ChromaOffset = 1<<(BitDepthC-1)
inputTensor[1][y][x]
= ChromaFormatIdc==0 ? ChromaOffset : ComponentSample[1][x/SW][y/SH]
inputTensor[2][y][x]
= ChromaFormatIdc==0 ? ChromaOffset : ComponentSample[2][x/SW][y/SH]
NumInChannels==6の場合は、inputTensorを以下で導出する。
【0195】
inputTensor[0][cy][cx] = ComponentSample[0][cx*2 ][cy*2 ]
inputTensor[1][cy][cx] = ComponentSample[0][cx*2+1][cy*2 ]
inputTensor[2][cy][cx] = ComponentSample[0][cx*2 ][cy*2+1]
inputTensor[3][cy][cx] = ComponentSample[0][cx*2+1][cy*2+1]
ChromaOffset = 1<<(BitDepthC-1)
inputTensor[4][cy][cx]
= ChromaFormatIdc==0 ? ChromaOffset : ComponentSample[1][cx][cy]
inputTensor[5][cy][cx]
= ChromaFormatIdc==0 ? ChromaOffset : ComponentSample[2][cx][cy]
上記のように、予測画像を復号する予測画像導出部と、残差を復号する残差復号部を備える動画像復号装置であって、ニューラルネットワークモデルの入力テンソルと出力テンソルのチャネル数を指定するパラメータから、入力テンソルを導出、もしくは、出力テンソルから画像を導出することにより、入力テンソルを確実に簡易に導出できるという効果を奏する。
inputTensor[1][cy][cx] = ComponentSample[0][cx*2+1][cy*2 ]
inputTensor[2][cy][cx] = ComponentSample[0][cx*2 ][cy*2+1]
inputTensor[3][cy][cx] = ComponentSample[0][cx*2+1][cy*2+1]
ChromaOffset = 1<<(BitDepthC-1)
inputTensor[4][cy][cx]
= ChromaFormatIdc==0 ? ChromaOffset : ComponentSample[1][cx][cy]
inputTensor[5][cy][cx]
= ChromaFormatIdc==0 ? ChromaOffset : ComponentSample[2][cx][cy]
上記のように、予測画像を復号する予測画像導出部と、残差を復号する残差復号部を備える動画像復号装置であって、ニューラルネットワークモデルの入力テンソルと出力テンソルのチャネル数を指定するパラメータから、入力テンソルを導出、もしくは、出力テンソルから画像を導出することにより、入力テンソルを確実に簡易に導出できるという効果を奏する。
【0196】
NNフィルタ部611は、1チャネルの輝度画像を、画素位置に応じて4チャネルに分離して
入力データへと変換する。また、NNフィルタ部611は、以下で導出してもよい。以下では
、4:2:0、4:2:2、4:4:4の違いを、色差サブサンプリングを示す変数で吸収するため、色
差サンプルの違いによらずに処理できる：
inputTensor[0][cy][cx] = ComponentSample[0][cx*2 ][cy*2 ]
inputTensor[1][cy][cx] = ComponentSample[0][cx*2+1][cy*2 ]
inputTensor[2][cy][cx] = ComponentSample[0][cx*2 ][cy*2+1]
inputTensor[3][cy][cx] = ComponentSample[0][cx*2+1][cy*2+1]
ChromaOffset = 1<<(BitDepthC-1)
inputTensor[4][cy][cx] =
ChromaFormatIdc==0 ? ChromaOffset : ComponentSample[1][cx*2/SW][cy*2/SH]
inputTensor[5][cy][cx] =
ChromaFormatIdc==0 ? ChromaOffset : ComponentSample[2][cx*2/SW][cy*2/SH]
また、cx = x/2、cy = y/2であるので、NNフィルタ部611は、上述のx, yの範囲に対し
て以下で導出してもよい：
inputTensor[0][y/2][x/2] = ComponentSample[0][x/2*2 ][y/2*2 ]
inputTensor[1][y/2][x/2] = ComponentSample[0][x/2*2+1][y/2*2 ]
inputTensor[2][y/2][x/2] = ComponentSample[0][x/2*2 ][y/2*2+1]
inputTensor[3][y/2][x/2] = ComponentSample[0][x/2*2+1][y/2*2+1]
ChromaOffset = 1<<(BitDepthC-1)
inputTensor[4][y/2][x/2] =
ChromaFormatIdc==0 ? ChromaOffset : ComponentSample[1][x/SW][y/SH]
inputTensor[5][y/2][x/2] =
ChromaFormatIdc==0 ? ChromaOffset : ComponentSample[2][x/SW][y/SH]
（ポストフィルタのNN出力データからの変換）
NNフィルタ部611は、nnrpf_output_format_idcの値に基づき、NNフィルタの出力データである3次元配列のNN出力データoutputTensor[][][]から出力画像outSamplesを導出する
。具体的には、NNフィルタ部611は、図20および以下に示すように、nnrpf_output_format_idcの値と出力画像の色差サブサンプリング値outSW、outSHに基づき、以下のように、画像を導出する。なお、outSW、outSHは、符号化データから復号したOutputChromaFormatIdcに基づいて導出される値を用いる。以下、x,yは出力画像の輝度画素の座標を表す。例えばoutputTensorにおいてxとyの範囲はそれぞれx = 0..outLumaWidth-1, y = outLumaHeight-1 である。cx,cyは出力画像の色差画素の座標を表し、cxとcyの範囲はそれぞれcx = 0..outChromaWidth-1, cy = 0..outChromaHeight-1である。以下のNNフィルタ部611は、この範囲を処理する。outSamplesL、outSamplesCb、outSamplesCrはそれぞれ出力画像の輝
度チャネル、色差(Cb)チャネル、色差(Cr)チャネルを表す。
入力データへと変換する。また、NNフィルタ部611は、以下で導出してもよい。以下では
、4:2:0、4:2:2、4:4:4の違いを、色差サブサンプリングを示す変数で吸収するため、色
差サンプルの違いによらずに処理できる：
inputTensor[0][cy][cx] = ComponentSample[0][cx*2 ][cy*2 ]
inputTensor[1][cy][cx] = ComponentSample[0][cx*2+1][cy*2 ]
inputTensor[2][cy][cx] = ComponentSample[0][cx*2 ][cy*2+1]
inputTensor[3][cy][cx] = ComponentSample[0][cx*2+1][cy*2+1]
ChromaOffset = 1<<(BitDepthC-1)
inputTensor[4][cy][cx] =
ChromaFormatIdc==0 ? ChromaOffset : ComponentSample[1][cx*2/SW][cy*2/SH]
inputTensor[5][cy][cx] =
ChromaFormatIdc==0 ? ChromaOffset : ComponentSample[2][cx*2/SW][cy*2/SH]
また、cx = x/2、cy = y/2であるので、NNフィルタ部611は、上述のx, yの範囲に対し
て以下で導出してもよい：
inputTensor[0][y/2][x/2] = ComponentSample[0][x/2*2 ][y/2*2 ]
inputTensor[1][y/2][x/2] = ComponentSample[0][x/2*2+1][y/2*2 ]
inputTensor[2][y/2][x/2] = ComponentSample[0][x/2*2 ][y/2*2+1]
inputTensor[3][y/2][x/2] = ComponentSample[0][x/2*2+1][y/2*2+1]
ChromaOffset = 1<<(BitDepthC-1)
inputTensor[4][y/2][x/2] =
ChromaFormatIdc==0 ? ChromaOffset : ComponentSample[1][x/SW][y/SH]
inputTensor[5][y/2][x/2] =
ChromaFormatIdc==0 ? ChromaOffset : ComponentSample[2][x/SW][y/SH]
（ポストフィルタのNN出力データからの変換）
NNフィルタ部611は、nnrpf_output_format_idcの値に基づき、NNフィルタの出力データである3次元配列のNN出力データoutputTensor[][][]から出力画像outSamplesを導出する
。具体的には、NNフィルタ部611は、図20および以下に示すように、nnrpf_output_format_idcの値と出力画像の色差サブサンプリング値outSW、outSHに基づき、以下のように、画像を導出する。なお、outSW、outSHは、符号化データから復号したOutputChromaFormatIdcに基づいて導出される値を用いる。以下、x,yは出力画像の輝度画素の座標を表す。例えばoutputTensorにおいてxとyの範囲はそれぞれx = 0..outLumaWidth-1, y = outLumaHeight-1 である。cx,cyは出力画像の色差画素の座標を表し、cxとcyの範囲はそれぞれcx = 0..outChromaWidth-1, cy = 0..outChromaHeight-1である。以下のNNフィルタ部611は、この範囲を処理する。outSamplesL、outSamplesCb、outSamplesCrはそれぞれ出力画像の輝
度チャネル、色差(Cb)チャネル、色差(Cr)チャネルを表す。
【0197】
nnrpf_output_format_idcが0の場合、NNフィルタ部611はoutSamplesLを以下で導出する。
【0198】
outSamplesL[x][y] = outputTensor[0][y][x]
nnrpf_output_format_idcが1の場合、outSamplesCb、outSamplesCrを以下で導出する。
nnrpf_output_format_idcが1の場合、outSamplesCb、outSamplesCrを以下で導出する。
【0199】
outSamplesCb[cx][cy] = outputTensor[0][cy][cx]
outSamplesCr[cx][cy] = outputTensor[1][cy][cx]nnrpf_output_format_idcが2の場合、outSamplesL、outSamplesCb、outSamplesCを以下で導出する。
outSamplesCr[cx][cy] = outputTensor[1][cy][cx]nnrpf_output_format_idcが2の場合、outSamplesL、outSamplesCb、outSamplesCを以下で導出する。
【0200】
outSamplesL[x][y] = outputTensor[0][y][x]
outSamplesCb[x/outSW][y/outSH] = outputTensor[1][y][x]
outSamplesCr[x/outSW][y/outSH] = outputTensor[2][y][x]
またはoutSamplesCb、outSamplesCrを以下で導出してもよい。
outSamplesCb[x/outSW][y/outSH] = outputTensor[1][y][x]
outSamplesCr[x/outSW][y/outSH] = outputTensor[2][y][x]
またはoutSamplesCb、outSamplesCrを以下で導出してもよい。
【0201】
outSamplesCb[cx][cy] = outputTensor[1][cy*outSH][cx*outSW]
outSamplesCr[cx][cy] = outputTensor[2][cy*outSH][cx*outSW]
nnrpf_output_format_idcが3の場合は、outSamplesLを以下で導出する：
outSamplesL[x/2*2 ][y/2*2 ] = outputTensor[0][y/2][x/2]
outSamplesL[x/2*2+1][y/2*2 ] = outputTensor[1][y/2][x/2]
outSamplesL[x/2*2 ][y/2*2+1] = outputTensor[2][y/2][x/2]
outSamplesL[x/2*2+1][y/2*2+1] = outputTensor[3][y/2][x/2]
またはoutSamplesLを以下で導出してもよい：
outSamplesL[cx*2 ][cy*2 ] = outputTensor[0][cy][cx]
outSamplesL[cx*2+1][cy*2 ] = outputTensor[1][cy][cx]
outSamplesL[cx*2 ][cy*2+1] = outputTensor[2][cy][cx]
outSamplesL[cx*2+1][cy*2+1] = outputTensor[3][cy][cx]
さらにnnrpf_output_format_idcが3の場合、出力画像が4:2:0形式（出力画像のChromaFormatIdcが1, SW=SH=2）であれば、outSamplesCb、outSamplesCrを以下で導出する：
outSamplesCb[cx][cy] = outputTensor[4][cy][cx]
outSamplesCr[cx][cy] = outputTensor[5][cy][cx]
あるいは、出力画像が4:2:2形式（出力画像のChromaFormatIdcが2, SW=2, SH=1）であれ
ば、outSamplesCb, outSamplesCrを以下で導出する：
outSamplesCb[cx][cy/2*2 ] = outputTensor[4][cy][cx]
outSamplesCb[cx][cy/2*2+1] = outputTensor[4][cy][cx]
outSamplesCr[cx][cy/2*2 ] = outputTensor[5][cy][cx]
outSamplesCr[cx][cy/2*2+1] = outputTensor[5][cy][cx]
あるいは、出力画像が4:4:4形式（出力画像のChromaFormatIdcが3, SW=SH=1）であれば、outSamplesCb, outSamplesCrを以下で導出する：
outSamplesCb[cx/2*2 ][cy/2*2 ] = outputTensor[4][cy][cx]
outSamplesCb[cx/2*2+1][cy/2*2+1] = outputTensor[4][cy][cx]
outSamplesCr[cx/2*2 ][cy/2*2 ] = outputTensor[5][cy][cx]
outSamplesCr[cx/2*2+1][cy/2*2+1] = outputTensor[5][cy][cx]
あるいは、以下のように導出してもよい：
for (j=0; j<outSH; j++)
for (i=0; i<outSW; i++)
outSamplesCb[cx/outSW*outSW+i][cy/outSH*outSH+j] = outputTensor[4][cy][cx]
outSamplesCr[cx/outSW*outSW+i][cy/outSH*outSH+j] = outputTensor[5][cy][cx]ま
た、YUV4:2:0形式の場合にはcx = x/2、cy = y/2であるので、NNフィルタ部611はoutSamplesL、outSamplesCb、outSamplesCrを以下で導出してもよい：
outSamplesL[x/2*2 ][y/2*2 ] = outputTensor[0][y/2][x/2]
outSamplesL[x/2*2+1][y/2*2 ] = outputTensor[1][y/2][x/2]
outSamplesL[x/2*2 ][y/2*2+1] = outputTensor[2][y/2][x/2]
outSamplesL[x/2*2+1][y/2*2+1] = outputTensor[3][y/2][x/2]
outSamplesCb[x/outSW][y/outSH] = outputTensor[4][y/2][x/2]
outSamplesCr[x/outSW][y/outSH] = outputTensor[5][y/2][x/2]
なお、outSW、outSHを入力データの色差サンプリングと同じに設定し処理してもよい。
outSamplesCr[cx][cy] = outputTensor[2][cy*outSH][cx*outSW]
nnrpf_output_format_idcが3の場合は、outSamplesLを以下で導出する：
outSamplesL[x/2*2 ][y/2*2 ] = outputTensor[0][y/2][x/2]
outSamplesL[x/2*2+1][y/2*2 ] = outputTensor[1][y/2][x/2]
outSamplesL[x/2*2 ][y/2*2+1] = outputTensor[2][y/2][x/2]
outSamplesL[x/2*2+1][y/2*2+1] = outputTensor[3][y/2][x/2]
またはoutSamplesLを以下で導出してもよい：
outSamplesL[cx*2 ][cy*2 ] = outputTensor[0][cy][cx]
outSamplesL[cx*2+1][cy*2 ] = outputTensor[1][cy][cx]
outSamplesL[cx*2 ][cy*2+1] = outputTensor[2][cy][cx]
outSamplesL[cx*2+1][cy*2+1] = outputTensor[3][cy][cx]
さらにnnrpf_output_format_idcが3の場合、出力画像が4:2:0形式（出力画像のChromaFormatIdcが1, SW=SH=2）であれば、outSamplesCb、outSamplesCrを以下で導出する：
outSamplesCb[cx][cy] = outputTensor[4][cy][cx]
outSamplesCr[cx][cy] = outputTensor[5][cy][cx]
あるいは、出力画像が4:2:2形式（出力画像のChromaFormatIdcが2, SW=2, SH=1）であれ
ば、outSamplesCb, outSamplesCrを以下で導出する：
outSamplesCb[cx][cy/2*2 ] = outputTensor[4][cy][cx]
outSamplesCb[cx][cy/2*2+1] = outputTensor[4][cy][cx]
outSamplesCr[cx][cy/2*2 ] = outputTensor[5][cy][cx]
outSamplesCr[cx][cy/2*2+1] = outputTensor[5][cy][cx]
あるいは、出力画像が4:4:4形式（出力画像のChromaFormatIdcが3, SW=SH=1）であれば、outSamplesCb, outSamplesCrを以下で導出する：
outSamplesCb[cx/2*2 ][cy/2*2 ] = outputTensor[4][cy][cx]
outSamplesCb[cx/2*2+1][cy/2*2+1] = outputTensor[4][cy][cx]
outSamplesCr[cx/2*2 ][cy/2*2 ] = outputTensor[5][cy][cx]
outSamplesCr[cx/2*2+1][cy/2*2+1] = outputTensor[5][cy][cx]
あるいは、以下のように導出してもよい：
for (j=0; j<outSH; j++)
for (i=0; i<outSW; i++)
outSamplesCb[cx/outSW*outSW+i][cy/outSH*outSH+j] = outputTensor[4][cy][cx]
outSamplesCr[cx/outSW*outSW+i][cy/outSH*outSH+j] = outputTensor[5][cy][cx]ま
た、YUV4:2:0形式の場合にはcx = x/2、cy = y/2であるので、NNフィルタ部611はoutSamplesL、outSamplesCb、outSamplesCrを以下で導出してもよい：
outSamplesL[x/2*2 ][y/2*2 ] = outputTensor[0][y/2][x/2]
outSamplesL[x/2*2+1][y/2*2 ] = outputTensor[1][y/2][x/2]
outSamplesL[x/2*2 ][y/2*2+1] = outputTensor[2][y/2][x/2]
outSamplesL[x/2*2+1][y/2*2+1] = outputTensor[3][y/2][x/2]
outSamplesCb[x/outSW][y/outSH] = outputTensor[4][y/2][x/2]
outSamplesCr[x/outSW][y/outSH] = outputTensor[5][y/2][x/2]
なお、outSW、outSHを入力データの色差サンプリングと同じに設定し処理してもよい。
【0202】
【0203】
さらに以下で示すように、NNフィルタ部611は出力テンソルのチャネル数NumOutChannels（numTensors）に応じて以下のようにNN入力データを導出してもよい。
【0204】
NumOutChannelsが1の場合、outSamplesLを以下で導出する。
【0205】
outSamplesL[x][y] = outputTensor[0][y][x]
NumOutChannelsが2の場合、outSamplesCb、outSamplesCrを以下で導出する。
NumOutChannelsが2の場合、outSamplesCb、outSamplesCrを以下で導出する。
【0206】
outSamplesCb[cx][cy] = outputTensor[0][cy][cx]
outSamplesCr[cx][cy] = outputTensor[1][cy][cx]
NumOutChannelsが3の場合、outSamplesL、outSamplesCb、outSamplesCrを以下で導出する。
outSamplesCr[cx][cy] = outputTensor[1][cy][cx]
NumOutChannelsが3の場合、outSamplesL、outSamplesCb、outSamplesCrを以下で導出する。
【0207】
outSamplesL[x][y] = outputTensor[0][y][x]
outSamplesCb[x/outSW][y/outSH] = outputTensor[1][y][x]
outSamplesCr[x/outSW][y/outSH] = outputTensor[2][y][x]
またはoutSamplesCb、outSamplesCrを以下で導出してもよい。
outSamplesCb[x/outSW][y/outSH] = outputTensor[1][y][x]
outSamplesCr[x/outSW][y/outSH] = outputTensor[2][y][x]
またはoutSamplesCb、outSamplesCrを以下で導出してもよい。
【0208】
outSamplesCb[cx][cy] = outputTensor[1][cy*outSH][cx*outSW]
outSamplesCr[cx][cy] = outputTensor[2][cy*outSH][cx*outSW]
NumOutChannelsが6の場合、outSamplesLとoutSamplesCb、outSamplesCrを以下で導出する。
outSamplesCr[cx][cy] = outputTensor[2][cy*outSH][cx*outSW]
NumOutChannelsが6の場合、outSamplesLとoutSamplesCb、outSamplesCrを以下で導出する。
【0209】
outSamplesL[x/2*2 ][y/2*2 ] = outputTensor[0][y/2][x/2]
outSamplesL[x/2*2+1][y/2*2 ] = outputTensor[1][y/2][x/2]
outSamplesL[x/2*2 ][y/2*2+1] = outputTensor[2][y/2][x/2]
outSamplesL[x/2*2+1][y/2*2+1] = outputTensor[3][y/2][x/2]
outSamplesCb[x/outSW][y/outSH] = outputTensor[4][y/2][x/2]
outSamplesCr[x/outSW][y/outSH] = outputTensor[5][y/2][x/2]
＜第２の実施形態＞
図21は、NNフィルタSEIのシンタックス表の別の実施形態を示す図である。この実施形
態では、非特許文献３におけるシンタックス要素nnrpf_io_idcに加えて、シンタックス要素nnrpf_additional_input_idcを用いる。これにより、入出力の種類が増えて組み合わせが増加しても変換方法を柔軟に特定できるという効果を奏する。なお、第１の実施形態と同じ部分の説明は省略する。
outSamplesL[x/2*2+1][y/2*2 ] = outputTensor[1][y/2][x/2]
outSamplesL[x/2*2 ][y/2*2+1] = outputTensor[2][y/2][x/2]
outSamplesL[x/2*2+1][y/2*2+1] = outputTensor[3][y/2][x/2]
outSamplesCb[x/outSW][y/outSH] = outputTensor[4][y/2][x/2]
outSamplesCr[x/outSW][y/outSH] = outputTensor[5][y/2][x/2]
＜第２の実施形態＞
図21は、NNフィルタSEIのシンタックス表の別の実施形態を示す図である。この実施形
態では、非特許文献３におけるシンタックス要素nnrpf_io_idcに加えて、シンタックス要素nnrpf_additional_input_idcを用いる。これにより、入出力の種類が増えて組み合わせが増加しても変換方法を柔軟に特定できるという効果を奏する。なお、第１の実施形態と同じ部分の説明は省略する。
【0210】
ヘッダ復号部3020は、図21に示すようにnnrpf_mode_idcが1または2である場合（当該SEIが、新規のポストフィルタのデータであることを示す）に、入出力画像情報nnrpf_io_idcおよび追加入力情報nnrpf_additional_info_idcを復号する。
【0211】
ヘッダ復号部3020は、nnrpf_io_idcの値に基づいて以下のようにモデルの入力テンソルおよび出力テンソルの形式を導出する。
nnrpf_io_idc==0の場合：numInChannels = numOutChannels = 1
nnrpf_io_idc==1の場合：numInChannels = numOutChannels = 2
nnrpf_io_idc==2の場合：numInChannels = numOutChannels = 3
nnrpf_io_idc==3の場合：numInChannels = numOutChannels = 4
nnrpf_io_idc==4の場合：numInChannels = numOutChannels = 6
なお、本実施形態では、numInChannelsとnumOutChannelsの値が等しくなるように導出
するが、nnrpf_io_idcとnumInChannlesおよびnumOutChannelsの対応付けはこれに限らず
、他の組み合わせを用いても構わない。また、nnrpf_io_idcを用いず、チャネル数を直接復号するようにしてもよい。また、numInChannels、numOutChannelsを区別せずに同じ変
数numInOutChannels, numTensorsを用いて変換処理を行ってもよい。
nnrpf_io_idc==0の場合：numInChannels = numOutChannels = 1
nnrpf_io_idc==1の場合：numInChannels = numOutChannels = 2
nnrpf_io_idc==2の場合：numInChannels = numOutChannels = 3
nnrpf_io_idc==3の場合：numInChannels = numOutChannels = 4
nnrpf_io_idc==4の場合：numInChannels = numOutChannels = 6
なお、本実施形態では、numInChannelsとnumOutChannelsの値が等しくなるように導出
するが、nnrpf_io_idcとnumInChannlesおよびnumOutChannelsの対応付けはこれに限らず
、他の組み合わせを用いても構わない。また、nnrpf_io_idcを用いず、チャネル数を直接復号するようにしてもよい。また、numInChannels、numOutChannelsを区別せずに同じ変
数numInOutChannels, numTensorsを用いて変換処理を行ってもよい。
【0212】
さらに、ヘッダ復号部3020は、nnrpf_additional_info_idcの値に基づいて、入出力に
共通な画像コンポーネント以外の入力チャネルの使用を示す変数useSliceQPY、usebSY、usebSCの値を導出する。それぞれ、SliceQPY、bSY、bSCbとbSCrを追加の入力チャネルとして用いるか否かを示すフラグである。本実施形態においては、一つのフラグusebSCで、bSCbとbSCrの両方を制御する。なお、SliceQPYは、ある座標の属するスライスにおける輝度用量子化パラメータである。bSY、bSCb、bSCRは、それぞれ復号画像の輝度、色差(Cb,Cr)チャネルにおいて、ある座標におけるデブロッキングフィルタの強度(block strength)の値を格納する配列である。nnrpf_additional_info_idcからの上記フラグの導出は、例え
ば次のようにする。
nnrpf_additional_info_idc==0の場合：useSliceQPY = 0, usebSY = 0, usebSC = 0
nnrpf_additional_info_idc==1の場合：useSliceQPY = 1, usebSY = 0, usebSC = 0
nnrpf_additional_info_idc==2の場合：useSliceQPY = 0, usebSY = 1, usebSC = 0
nnrpf_additional_info_idc==3の場合：useSliceQPY = 1, usebSY = 1, usebSC = 0
nnrpf_additional_info_idc==4の場合：useSliceQPY = 0, usebSY = 0, usebSC = 1
nnrpf_additional_info_idc==5の場合：useSliceQPY = 1, usebSY = 0, usebSC = 1
nnrpf_additional_info_idc==6の場合：useSliceQPY = 0, usebSY = 1, usebSC = 1
nnrpf_additional_info_idc==7の場合：useSliceQPY = 1, usebSY = 1, usebSC = 1
なお、nnrpf_additional_info_idcとuseSliceQPY、usebSY、usebSCの対応付けはこれに限らず、他の組み合わせを用いても構わない。
共通な画像コンポーネント以外の入力チャネルの使用を示す変数useSliceQPY、usebSY、usebSCの値を導出する。それぞれ、SliceQPY、bSY、bSCbとbSCrを追加の入力チャネルとして用いるか否かを示すフラグである。本実施形態においては、一つのフラグusebSCで、bSCbとbSCrの両方を制御する。なお、SliceQPYは、ある座標の属するスライスにおける輝度用量子化パラメータである。bSY、bSCb、bSCRは、それぞれ復号画像の輝度、色差(Cb,Cr)チャネルにおいて、ある座標におけるデブロッキングフィルタの強度(block strength)の値を格納する配列である。nnrpf_additional_info_idcからの上記フラグの導出は、例え
ば次のようにする。
nnrpf_additional_info_idc==0の場合：useSliceQPY = 0, usebSY = 0, usebSC = 0
nnrpf_additional_info_idc==1の場合：useSliceQPY = 1, usebSY = 0, usebSC = 0
nnrpf_additional_info_idc==2の場合：useSliceQPY = 0, usebSY = 1, usebSC = 0
nnrpf_additional_info_idc==3の場合：useSliceQPY = 1, usebSY = 1, usebSC = 0
nnrpf_additional_info_idc==4の場合：useSliceQPY = 0, usebSY = 0, usebSC = 1
nnrpf_additional_info_idc==5の場合：useSliceQPY = 1, usebSY = 0, usebSC = 1
nnrpf_additional_info_idc==6の場合：useSliceQPY = 0, usebSY = 1, usebSC = 1
nnrpf_additional_info_idc==7の場合：useSliceQPY = 1, usebSY = 1, usebSC = 1
なお、nnrpf_additional_info_idcとuseSliceQPY、usebSY、usebSCの対応付けはこれに限らず、他の組み合わせを用いても構わない。
【0213】
または、次のように、nnrpf_additional_indo_idcの各ビットを各フラグに対応させ、
演算により導出してもよい。
useSliceQPY = nnrpf_additional_info_idc & 1
usebSY = (nnrpf_additional_info_idc >> 1) & 1
usebSC = (nnrpf_additional_info_idc >> 2) & 1
または、ヘッダ復号部3020は、nnrpf_additional_indo_idcを符号化せず、フラグuseSliceQPY、usebSY、usebSCを符号化データから復号してもよい。
演算により導出してもよい。
useSliceQPY = nnrpf_additional_info_idc & 1
usebSY = (nnrpf_additional_info_idc >> 1) & 1
usebSC = (nnrpf_additional_info_idc >> 2) & 1
または、ヘッダ復号部3020は、nnrpf_additional_indo_idcを符号化せず、フラグuseSliceQPY、usebSY、usebSCを符号化データから復号してもよい。
【0214】
なお、フラグの種類は上記に限らず、他の情報についても同様にフラグを導出してよい。例えば、色差のスライス量子化パラメータSliceQPCや、参照画像、予測画像、符号化ブロック単位のQP値を用いてもよい。
【0215】
ヘッダ復号部3020はさらに、当該SEIで指定されるモデルの処理単位（パッチ）のイズ
（水平および垂直方向の画素数）-1を示すnnrpf_patch_size_minus1を復号する。このと
き、パッチのサイズを表す変数patchSizeは、次の式で導出される。
patchSize = nnrpf_patch_size_minus1 + 1
さらに、ヘッダ復号部3020は、nnrpf_overlapを復号する。nnrpf_overlapは、パッチに隣接し、パッチとともにモデルに入力される領域の幅を示す。つまり、モデルに入力されるテンソルの高さｘ幅のサイズは、
(nnrpf_overlap*2+patchSize) x (nnrpf_overlap*2+patchSize)
画素である。
（水平および垂直方向の画素数）-1を示すnnrpf_patch_size_minus1を復号する。このと
き、パッチのサイズを表す変数patchSizeは、次の式で導出される。
patchSize = nnrpf_patch_size_minus1 + 1
さらに、ヘッダ復号部3020は、nnrpf_overlapを復号する。nnrpf_overlapは、パッチに隣接し、パッチとともにモデルに入力される領域の幅を示す。つまり、モデルに入力されるテンソルの高さｘ幅のサイズは、
(nnrpf_overlap*2+patchSize) x (nnrpf_overlap*2+patchSize)
画素である。
【0216】
(NNフィルタ部611の詳細の別の例)
本実施形態におけるNNフィルタ部611は、STEP1：画像ComponentSampleから入力テンソ
ルinputTensorへの変換、STEP2：inputTensorにニューラルネットワークのフィルタ処理postProcessingFilterを適用しoutputTensorを出力、STEP3：導出したoutputTensorから画像を導出、の3ステップを行う。
本実施形態におけるNNフィルタ部611は、STEP1：画像ComponentSampleから入力テンソ
ルinputTensorへの変換、STEP2：inputTensorにニューラルネットワークのフィルタ処理postProcessingFilterを適用しoutputTensorを出力、STEP3：導出したoutputTensorから画像を導出、の3ステップを行う。
【0217】
SliceQPYは、ある座標の属するスライスにおける輝度用量子化パラメータqPである。bSY、bSCb、bsCRは、それぞれ復号画像の輝度、色差(Cb,Cr)チャネルにおいて、ある座標におけるデブロッキングフィルタの強度(block Strength, bS)の値を保存する配列である。bSは、デブロッキングフィルタ処理において、ブロックの予測モード、動きベクトル、画素値の差分値などから導出される値であってもよい。
【0218】
（疑似コード）
NNフィルタ部611は、画像の左上座標から所定のパッチサイズ単位でSTEP1、STEP2、STEP3の処理を行ってもよい。次の疑似コードは、パッチ単位での処理の概要である。
for(cTop=0; cTop<PicHeightInLumaSamples; cTop+=patchSize*rH) {
for(cLeft=0; cLeft<PicWidthInLumaSamples; cLeft+=patchSize*rW) {
＜STEP1:画像および付加情報の入力テンソルへの変換＞
＜STEP2:フィルタ処理の適用＞
＜STEP3:出力テンソルの画像への変換＞
}
}
ここで、rHおよびrWは、色差サブサンプリングに係るループ変数のインクリメント量を定める変数である。また、rHおよびrWは、テンソルのパッチの画像上でのサイズを導出するための、縦および横方向の倍率である。
NNフィルタ部611は、画像の左上座標から所定のパッチサイズ単位でSTEP1、STEP2、STEP3の処理を行ってもよい。次の疑似コードは、パッチ単位での処理の概要である。
for(cTop=0; cTop<PicHeightInLumaSamples; cTop+=patchSize*rH) {
for(cLeft=0; cLeft<PicWidthInLumaSamples; cLeft+=patchSize*rW) {
＜STEP1:画像および付加情報の入力テンソルへの変換＞
＜STEP2:フィルタ処理の適用＞
＜STEP3:出力テンソルの画像への変換＞
}
}
ここで、rHおよびrWは、色差サブサンプリングに係るループ変数のインクリメント量を定める変数である。また、rHおよびrWは、テンソルのパッチの画像上でのサイズを導出するための、縦および横方向の倍率である。
【0219】
NNフィルタ部611は、色差サブサンプリングを用いて以下のように導出してもよい。
rH = SH
rW = SW
もしくは、NNフィルタ部611は、テンソルの入力チャネル数を用いて以下のように導出
してもよい。
rH = numInChannles==6 ? 2 : 1
rW = (numInChannles==4 || numInChannels==6) ? 2 : 1
もしくは、NNフィルタ部611は、テンソル内部の色差サブサンプリングと、入力画像の
色差サブサンプリングを用いて、例えば以下の式でrWとrHを導出してもよい。
rH = numInChannels==2 ? SH : numInChannles==6 ? 2 : 1
rW = numInChannels==2 ? SW : (numInChannles==4 || numInChannels==6) ? 2 : 1
rH,rWは、パッチサイズ(高さｘ幅)patchSize x patchSizeのテンソルが、入力の輝度画像上（幅ｘ高さ）ではpatchSize*rW x patchSize*rHの領域に対応することを示す。
以下では、STEP1からSTEP3での処理例を説明する。
rH = SH
rW = SW
もしくは、NNフィルタ部611は、テンソルの入力チャネル数を用いて以下のように導出
してもよい。
rH = numInChannles==6 ? 2 : 1
rW = (numInChannles==4 || numInChannels==6) ? 2 : 1
もしくは、NNフィルタ部611は、テンソル内部の色差サブサンプリングと、入力画像の
色差サブサンプリングを用いて、例えば以下の式でrWとrHを導出してもよい。
rH = numInChannels==2 ? SH : numInChannles==6 ? 2 : 1
rW = numInChannels==2 ? SW : (numInChannles==4 || numInChannels==6) ? 2 : 1
rH,rWは、パッチサイズ(高さｘ幅)patchSize x patchSizeのテンソルが、入力の輝度画像上（幅ｘ高さ）ではpatchSize*rW x patchSize*rHの領域に対応することを示す。
以下では、STEP1からSTEP3での処理例を説明する。
【0220】
（STEP1）
NNフィルタ部611は、オーバーラップを含むパッチを導出する。オーバーラップ部分を
含めれば、入力データのサイズは縦横 patchSize+nnrpf_overlap*2 x patchSize+nnrpf_overlap*2 画素である。NNフィルタ部611は、入力テンソルにおけるオーバーラップを含む1パッチの各要素を、次の擬似コードのように導出する。
NNフィルタ部611は、オーバーラップを含むパッチを導出する。オーバーラップ部分を
含めれば、入力データのサイズは縦横 patchSize+nnrpf_overlap*2 x patchSize+nnrpf_overlap*2 画素である。NNフィルタ部611は、入力テンソルにおけるオーバーラップを含む1パッチの各要素を、次の擬似コードのように導出する。
【0221】
for (yP= -nnrpf_overlap; yP<patchSize+nnprf_overlap; yP++) {
for (xP= -nnrpf_overlap; xP<patchSize+nnprf_overlap; xP++) {
yP1 = yP+nnrpf_overlap
xP1 = xP+nnrpf_overlap
yT = Clip3(0, PicHeightInLumaSamples-1, cTop+yP*rH)
yL = Clip3(0, PicWidthInLumaSamples-1, cLeft+xP*rW)
yB = Clip3(0, PicHeightInLumaSamples-1, yT+rH-1)
xR = Clip3(0, PicWidthInLumaSamples-1, yL+rW-1)
cy = yT/SH
cx = yL/SW
＜入力テンソルの導出：入力画像の変換＞
＜入力テンソルの導出：付加情報の変換＞
}
}
yPおよびxPは、テンソルの高さ方向(H)と幅方向(W)のループ変数である。yP1およびxP1は、オーバーラップ領域を含む入力テンソルの要素を参照するためにオーバーラップの大きさだけオフセットされた添字である。yT,yL,yB,xRは、処理対象のパッチにおけるyPおよ
びxPに対応する、輝度コンポーネント上の座標値である。cy,cxは、処理対象のパッチに
おけるyPおよびxPに対応する、入力画像の色差コンポーネント上の座標値である。これらの変数は、以下に説明する各処理の途中で必要に応じて導出してもよい。
次に、入力画像の変換処理について説明する。
for (xP= -nnrpf_overlap; xP<patchSize+nnprf_overlap; xP++) {
yP1 = yP+nnrpf_overlap
xP1 = xP+nnrpf_overlap
yT = Clip3(0, PicHeightInLumaSamples-1, cTop+yP*rH)
yL = Clip3(0, PicWidthInLumaSamples-1, cLeft+xP*rW)
yB = Clip3(0, PicHeightInLumaSamples-1, yT+rH-1)
xR = Clip3(0, PicWidthInLumaSamples-1, yL+rW-1)
cy = yT/SH
cx = yL/SW
＜入力テンソルの導出：入力画像の変換＞
＜入力テンソルの導出：付加情報の変換＞
}
}
yPおよびxPは、テンソルの高さ方向(H)と幅方向(W)のループ変数である。yP1およびxP1は、オーバーラップ領域を含む入力テンソルの要素を参照するためにオーバーラップの大きさだけオフセットされた添字である。yT,yL,yB,xRは、処理対象のパッチにおけるyPおよ
びxPに対応する、輝度コンポーネント上の座標値である。cy,cxは、処理対象のパッチに
おけるyPおよびxPに対応する、入力画像の色差コンポーネント上の座標値である。これらの変数は、以下に説明する各処理の途中で必要に応じて導出してもよい。
次に、入力画像の変換処理について説明する。
【0222】
（入力画像の変換）
STEP1のループ内でNNフィルタ部611は、次の疑似コードに示すように、numInChannels
の値に応じて入力画像を変換し、テンソルの座標yP,xPに対応する各チャネルの値を導出
する：
if (numInChannels==1) {
inputTensor[0][yP1][xP1] = ComponentSamples[0][yT][yL]
ch_pos = 1
}
else if (numInChannels==2) {
inputTensor[0][yP1][xP1]
= ChromaFormatIdc==0 ? ChromaOffset : ComponentSamples[1][cx][cy]
inputTensor[1][yP1][xP1]
= ChromaFormatIdc==0 ? ChromaOffset : ComponentSamples[2][cx][cy]
ch_pos = 2
}
else if (numInChannels==3) {
inputTensor[0][yP1][xP1] = ComponentSamples[0][yT][yL]
inputTensor[1][yP1][xP1]
= ChromaFormatIdc==0 ? ChromaOffset : ComponentSamples[1][cx][cy]
inputTensor[2][yP1][xP1]
= ChromaFormatIdc==0 ? ChromaOffset : ComponentSamples[2][cx][cy]
ch_pos = 3
}
else if (numInChannels==4) {
inputTensor[0][yP1][xP1] = ComponentSamples[0][yL][yT]
inputTensor[1][yP1][xP1] = ComponentSamples[0][yL][yB]
inputTensor[2][yP1][xP1]
= ChromaFormatIdc==0 ? ChromaOffset : ComponentSamples[1][cx][cy]
inputTensor[3][yP1][xP1]
= ChromaFormatIdc==0 ? ChromaOffset : ComponentSamples[2][cx][cy]
ch_pos = 4
}
else if (numInChannels==6) {
inputTensor[0][yP1][xP1] = ComponentSamples[0][yL][yT]
inputTensor[1][yP1][xP1] = ComponentSamples[0][xR][yT]
inputTensor[2][yP1][xP1] = ComponentSamples[0][yL][yB]
inputTensor[3][yP1][xP1] = ComponentSamples[0][xR][yB]
inputTensor[4][yP1][xP1]
= ChromaFormatIdc==0 ? ChromaOffset : ComponentSamples[1][cx][cy]
inputTensor[5][yP1][xP1]
= ChromaFormatIdc==0 ? ChromaOffset : ComponentSamples[2][cx][cy]
ch_pos = 6
}
上記において、ch_pos = numInChannelsで導出してもよい。
STEP1のループ内でNNフィルタ部611は、次の疑似コードに示すように、numInChannels
の値に応じて入力画像を変換し、テンソルの座標yP,xPに対応する各チャネルの値を導出
する：
if (numInChannels==1) {
inputTensor[0][yP1][xP1] = ComponentSamples[0][yT][yL]
ch_pos = 1
}
else if (numInChannels==2) {
inputTensor[0][yP1][xP1]
= ChromaFormatIdc==0 ? ChromaOffset : ComponentSamples[1][cx][cy]
inputTensor[1][yP1][xP1]
= ChromaFormatIdc==0 ? ChromaOffset : ComponentSamples[2][cx][cy]
ch_pos = 2
}
else if (numInChannels==3) {
inputTensor[0][yP1][xP1] = ComponentSamples[0][yT][yL]
inputTensor[1][yP1][xP1]
= ChromaFormatIdc==0 ? ChromaOffset : ComponentSamples[1][cx][cy]
inputTensor[2][yP1][xP1]
= ChromaFormatIdc==0 ? ChromaOffset : ComponentSamples[2][cx][cy]
ch_pos = 3
}
else if (numInChannels==4) {
inputTensor[0][yP1][xP1] = ComponentSamples[0][yL][yT]
inputTensor[1][yP1][xP1] = ComponentSamples[0][yL][yB]
inputTensor[2][yP1][xP1]
= ChromaFormatIdc==0 ? ChromaOffset : ComponentSamples[1][cx][cy]
inputTensor[3][yP1][xP1]
= ChromaFormatIdc==0 ? ChromaOffset : ComponentSamples[2][cx][cy]
ch_pos = 4
}
else if (numInChannels==6) {
inputTensor[0][yP1][xP1] = ComponentSamples[0][yL][yT]
inputTensor[1][yP1][xP1] = ComponentSamples[0][xR][yT]
inputTensor[2][yP1][xP1] = ComponentSamples[0][yL][yB]
inputTensor[3][yP1][xP1] = ComponentSamples[0][xR][yB]
inputTensor[4][yP1][xP1]
= ChromaFormatIdc==0 ? ChromaOffset : ComponentSamples[1][cx][cy]
inputTensor[5][yP1][xP1]
= ChromaFormatIdc==0 ? ChromaOffset : ComponentSamples[2][cx][cy]
ch_pos = 6
}
上記において、ch_pos = numInChannelsで導出してもよい。
【0223】
numInChannels==1の場合には、復号画像の輝度コンポーネントから入力テンソルの1チ
ャネルの画像データを導出する。
ャネルの画像データを導出する。
【0224】
numInChannels==2の場合には、復号画像の2つの色差コンポーネントから入力テンソル
の2チャネルの画像データを導出する。
の2チャネルの画像データを導出する。
【0225】
numInChannels==3の場合には、復号画像の輝度コンポーネントおよび色差コンポーネントから、3チャネルで表される4:4:4形式画像データを導出し、入力テンソルに設定する。
【0226】
numInChannels==4の場合には、復号画像の輝度コンポーネントおよび色差コンポーネントから、2チャネルの輝度画像と2チャネルの色差画像で表される4:2:2形式画像データを
導出し、入力テンソルに設定する。
導出し、入力テンソルに設定する。
【0227】
numInChannels==6の場合には、復号画像の輝度コンポーネントおよび色差コンポーネントから、4チャネルの輝度画像と2チャネルの色差画像で表される4:2:0形式画像データを
導出し、入力テンソルに設定する。
導出し、入力テンソルに設定する。
【0228】
いずれの場合も、復号画像が色差コンポーネントを持たない（ChromaFormatIdc==0）場合には、NNフィルタ部611は色差チャネルにChromaOffsetを設定する。
また、ch_posは、入力テンソルにおいて次に使用可能なチャネルを示す添字である。入力テンソルにデータを追加する場合には、ch_posの値以降のチャネルを用いるとよい。
また、ch_posは、入力テンソルにおいて次に使用可能なチャネルを示す添字である。入力テンソルにデータを追加する場合には、ch_posの値以降のチャネルを用いるとよい。
【0229】
（付加情報の導出）
次に、NNフィルタ部611は追加入力情報（フラグ）に基づいてinputTensorに付加情報を追加する。たとえば、useSliceQPYが真であれば、inputTensorの次のチャネル(inputTensor[ch_pos])に、SliceQPYの値を設定する。なお、チャネルに値を設定した場合、ch_pos
の値を使用したチャネル数に応じて増加させる。次に、usebSYが真であれば、inputTenso
rの次のチャネルに、パッチの領域に対応する位置のbSYの値を設定する。さらに、usebSCが真で復号画像が色差コンポーネントを持っていれば、inputTensorの次のチャネルに、
パッチの領域に対応する位置のbSCbおよびbSCrの値を設定する。このとき、NNフィルタ部611は、SliceQPY、bSY、bSCb、bSCrの値をそのまま設定してもよいし、変換を施した値を設定してもよい。以下に、付加情報のチャネルの導出例を示す：
if (useSliceQPY) {
inputTensor[ch_pos][yP1][xP1] = 2^((SliceQPY-42)/6)
ch_pos += 1
}
if (usebSY) {
inputTensor[ch_pos][yP1][xP1] = Clip3(0,(1<<BitDepthY)-1, bSY[yL][yT]<
<(BitDepthY-2))
ch_pos += 1
}
if (usebSC && InputChromaFormatIdc!=0) {
inputTensor[ch_pos][yP1][xP1] = Clip3(0, (1<<BitDepthC)-1, bSCb[cx][cy] << (BitDepthC-2))
ch_pos += 1
inputTensor[ch_pos][yP1][xP1] = Clip3(0, (1<<BitDepthC)-1, bSCr[cx][cy] << (BitDepthC-2))
ch_pos += 1
}
上記以外の付加情報として、NNフィルタ部611が入力画像とは異なる第２の画像を入力
テンソルに追加する例を示す。以下の例は、フラグuseRefPicYを用いて参照画像refPicY
のチャネルを追加する場合の処理である：
if (useRefPicY) {
inputTensor[ch_pos][yP1][xP1] = refPicY[yL][yT]
ch_pos += 1
}
フラグuseRefPicYはuseSliceQPYなど他の付加情報のフラグと同様に、nnrpf_additional_info_idcから導出してもよいし、符号化データから復号してもよい。
また、参照画像以外にも、1フレーム分の予測画像predPicYのチャネルを追加する場合も
同様である：
if (usePredPicY) {
inputTensor[ch_pos][yP1][xP1] = predPicY[yL][yT]
ch_pos += 1
}
なお、付加情報のポストフィルタへの与え方は上記に限らない。inputTensorとは別のパ
ラメータとして導出してポストフィルタ処理に入力してもよい。
次に、NNフィルタ部611は追加入力情報（フラグ）に基づいてinputTensorに付加情報を追加する。たとえば、useSliceQPYが真であれば、inputTensorの次のチャネル(inputTensor[ch_pos])に、SliceQPYの値を設定する。なお、チャネルに値を設定した場合、ch_pos
の値を使用したチャネル数に応じて増加させる。次に、usebSYが真であれば、inputTenso
rの次のチャネルに、パッチの領域に対応する位置のbSYの値を設定する。さらに、usebSCが真で復号画像が色差コンポーネントを持っていれば、inputTensorの次のチャネルに、
パッチの領域に対応する位置のbSCbおよびbSCrの値を設定する。このとき、NNフィルタ部611は、SliceQPY、bSY、bSCb、bSCrの値をそのまま設定してもよいし、変換を施した値を設定してもよい。以下に、付加情報のチャネルの導出例を示す：
if (useSliceQPY) {
inputTensor[ch_pos][yP1][xP1] = 2^((SliceQPY-42)/6)
ch_pos += 1
}
if (usebSY) {
inputTensor[ch_pos][yP1][xP1] = Clip3(0,(1<<BitDepthY)-1, bSY[yL][yT]<
<(BitDepthY-2))
ch_pos += 1
}
if (usebSC && InputChromaFormatIdc!=0) {
inputTensor[ch_pos][yP1][xP1] = Clip3(0, (1<<BitDepthC)-1, bSCb[cx][cy] << (BitDepthC-2))
ch_pos += 1
inputTensor[ch_pos][yP1][xP1] = Clip3(0, (1<<BitDepthC)-1, bSCr[cx][cy] << (BitDepthC-2))
ch_pos += 1
}
上記以外の付加情報として、NNフィルタ部611が入力画像とは異なる第２の画像を入力
テンソルに追加する例を示す。以下の例は、フラグuseRefPicYを用いて参照画像refPicY
のチャネルを追加する場合の処理である：
if (useRefPicY) {
inputTensor[ch_pos][yP1][xP1] = refPicY[yL][yT]
ch_pos += 1
}
フラグuseRefPicYはuseSliceQPYなど他の付加情報のフラグと同様に、nnrpf_additional_info_idcから導出してもよいし、符号化データから復号してもよい。
また、参照画像以外にも、1フレーム分の予測画像predPicYのチャネルを追加する場合も
同様である：
if (usePredPicY) {
inputTensor[ch_pos][yP1][xP1] = predPicY[yL][yT]
ch_pos += 1
}
なお、付加情報のポストフィルタへの与え方は上記に限らない。inputTensorとは別のパ
ラメータとして導出してポストフィルタ処理に入力してもよい。
【0230】
（STEP2）
STEP2では、NNフィルタ部611は、導出したinputTensorを入力としてポストフィルタ処
理を実行し、フィルタ処理の結果である出力テンソルoutputTensorを取得する：
outputTensor = postProcessingFilter(inputTensor)
本実施形態においては、出力テンソルoutputTensorの高さ方向(H)×幅方向(W)のサイズは、patchSize x patchSizeであり、オーバーラップ領域は含まないものとする。ただし、
これに限らず、オーバーラップ領域を含む出力テンソルをpatchSize x patchSizeのサイ
ズにクロップして用いても構わない。
STEP2では、NNフィルタ部611は、導出したinputTensorを入力としてポストフィルタ処
理を実行し、フィルタ処理の結果である出力テンソルoutputTensorを取得する：
outputTensor = postProcessingFilter(inputTensor)
本実施形態においては、出力テンソルoutputTensorの高さ方向(H)×幅方向(W)のサイズは、patchSize x patchSizeであり、オーバーラップ領域は含まないものとする。ただし、
これに限らず、オーバーラップ領域を含む出力テンソルをpatchSize x patchSizeのサイ
ズにクロップして用いても構わない。
【0231】
（STEP3）
STEP3では、NNフィルタ部611は、出力テンソルoutputTensorから画像データを導出する。NNフィルタ部611は、出力画像のコンポーネントoutSamplesL、outSamplesCb、outSamplesCrの各画素値を、出力テンソルoutputTensorのデータから導出する。このとき、次の擬似コードで示すように、出力テンソルのチャネル数(データ形式)と出力画像の色差サブサンプリングに基づいて画像データの導出を行う。以下に示す擬似コードは、STEP3の処理
例である：
for(yP=0, ySrc=cTop; yP<patchSize; yP++, ySrc+=rH)
for(xP=0, xSrc=cLeft; xP<patchSize; xP++, xSrc+=rW) {
if (numOutChannels==1) { // rW=1, rH=1
if (pfp_component_idc!=1) {
outSamplesL[xSrc][ySrc] = outputTensor[0][yP][xP]
} else {
outSamplesL[xSrc][ySrc] = ComponentSamples[0][xSrc][ySrc]
}
if (OutputChromaFormatIdc!=0 && pfp_component_idc!=0) {
cyOut = ySrc/outSH
cxOut = xSrc/outSW
outSamplesCb[cxOut][cyOut] = ComponentSamples[1][ySrc/SH][xSrc/SW]
outSamplesCr[cxOut][cyOut] = ComponentSamples[2][ySrc/SH][xSrc/SW]
}
}
else if (numOutChannels==2) { // rW=SW,rH=SH
for (dy=0; dy<rH, dy++) {
for (dx=0; dx<rW, dx++) {
outSamplesL[ySrc+dy][xSrc+dx] = ComponentSamples[0][ySrc+dy][xSrc+dx]
if (OutputChromaFormatIdc!=0) {
cyOut = (ySrc+dy)/outSH
cxOut = (xSrc+dx)/outSW
if (pfp_component_idc!=0) {
outSamplesCb[cxOut][cyOut] = outputTensor[0][yP][xP]
outSamplesCr[cxOut][cyOut] = outputTensor[1][yP][xP]
} else {
outSamplesCb[cxOut][cyOut] = ComponentSamples[1][(ySrc+dy)/SH]
[ (xSrc+dx)/SW ]
outSamplesCr[cxOut][cyOut] = ComponentSamples[2][(ySrc+dy)/SH]
[ (xSrc+dx)/SW ]
}
}
}
}
}
else if (numOutChannels==3) { // rW=1, rH=1
if (pfp_component_idc!=1) {
outSamplesL[xSrc][ySrc] = outputTensor[0][yP][xP]
} else {
outSamplesL[xSrc][ySrc] = ComponentSamples[0][xSrc][ySrc]
}
if (OutputChromaFormatIdc!=0) {
cyOut = ySrc/outSH
cxOut = xSrc/outSW
if (pfp_component_idc!=0) {
outSamplesCb[cxOut][cyOut] = outputTensor[1][yP][xP]
outSamplesCr[cxOut][cyOut] = outputTensor[2][yP][xP]
} else {
outSamplesCb[cxOut][cyOut] = ComponentSamples[1][xSrc/SW][ySrc/SH]
outSamplesCr[cxOut][cyOut] = ComponentSamples[2][xSrc/SW][ySrc/SH]
}
}
}
else if (numOutChannels==4) { // rW=2, rH=1
if (pfp_component_idc!=1) {
outSamplesL[xSrc ][ ySrc ] = outputTensor[0][yP][xP]
outSamplesL[xSrc+1][ ySrc ] = outputTensor[1][yP][xP]
} else {
outSamplesL[xSrc ][ ySrc ] = ComponentSamples[0][xSrc ][ ySrc ]
outSamplesL[xSrc+1][ ySrc ] = ComponentSamples[0][xSrc+1][ ySrc ]
}
if (OutputChromaFormatIdc!=0) {
for (dx=0; dx<rW; dx++) {
cyOut = (ySrc+dy)/outSH
cxOut = (xSrc+dx)/outSW
if (pfp_component_idc!=0) {
outSamplesCb[cxOut][cyOut] = outputTensor[2][yP][xP]
outSamplesCr[cxOut][cyOut] = outputTensor[3][yP][xP]
} else {
outSamplesCb[cxOut][cyOut] = ComponentSamples[1][(xSrc+dx)/SW] [
(ySrc+dy)/SH]
outSamplesCr[cxOut][cyOut] = ComponentSamples[2][(xSrc+dx)/SW] [
(ySrc+dy)/SH]
}
}
}
}
else if (numOutChannels==6) { // rW=2, rH=2
if (pfp_component_idc!=1) {
outSamplesL[xSrc ][ySrc ] = outputTensor[0][yP][xP]
outSamplesL[xSrc+1][ySrc ] = outputTensor[1][yP][xP]
outSamplesL[xSrc ][ySrc+1] = outputTensor[2][yP][xP]
outSamplesL[xSrc+1][ySrc+1] = outputTensor[3][yP][xP]
} else {
outSamplesL[xSrc ][ySrc ] = ComponentSamples[0][xSrc ][ySrc ]
outSamplesL[xSrc+1][ySrc ] = ComponentSamples[0][xSrc+1][ySrc ]
outSamplesL[xSrc ][ySrc+1] = ComponentSamples[0][xSrc ][ySrc+1]
outSamplesL[xSrc+1][ySrc+1] = ComponentSamples[0][xSrc+1][ySrc+1]
}
if (OutputChromaFormatIdc!=0) {
for (dy=0; dy<rH; dy++) {
for (dx=0; dx<rW; dx++) {
cyOut = (ySrc+dy)/outSH
cxOut = (xSrc+dx)/outSW
if (pfp_component_idc!=0) {
outSamplesCb[cxOut][cyOut] = outputTensor[4][yP][xP]
outSamplesCr[cxOut][cyOut] = outputTensor[5][yP][xP]
} else {
outSamplesCb[cxOut][cyOut] = ComponentSamples[1][(xSrc+dx)/SW]
[(ySrc+dy)/SH]
outSamplesCr[cxOut][cyOut] = ComponentSamples[2][(xSrc+dx)/SW]
[(ySrc+dy)/SH]
}
}
}
}
}
}
}
numOutChannelsが1の場合、NNフィルタ部611はoutputTensorの1チャネルを用いて出力
画像の輝度コンポーネントを導出する。出力画像が色差コンポーネントを含む場合、NNフィルタ部611は入力画像の色差コンポーネントをコピーして用いる。
STEP3では、NNフィルタ部611は、出力テンソルoutputTensorから画像データを導出する。NNフィルタ部611は、出力画像のコンポーネントoutSamplesL、outSamplesCb、outSamplesCrの各画素値を、出力テンソルoutputTensorのデータから導出する。このとき、次の擬似コードで示すように、出力テンソルのチャネル数(データ形式)と出力画像の色差サブサンプリングに基づいて画像データの導出を行う。以下に示す擬似コードは、STEP3の処理
例である：
for(yP=0, ySrc=cTop; yP<patchSize; yP++, ySrc+=rH)
for(xP=0, xSrc=cLeft; xP<patchSize; xP++, xSrc+=rW) {
if (numOutChannels==1) { // rW=1, rH=1
if (pfp_component_idc!=1) {
outSamplesL[xSrc][ySrc] = outputTensor[0][yP][xP]
} else {
outSamplesL[xSrc][ySrc] = ComponentSamples[0][xSrc][ySrc]
}
if (OutputChromaFormatIdc!=0 && pfp_component_idc!=0) {
cyOut = ySrc/outSH
cxOut = xSrc/outSW
outSamplesCb[cxOut][cyOut] = ComponentSamples[1][ySrc/SH][xSrc/SW]
outSamplesCr[cxOut][cyOut] = ComponentSamples[2][ySrc/SH][xSrc/SW]
}
}
else if (numOutChannels==2) { // rW=SW,rH=SH
for (dy=0; dy<rH, dy++) {
for (dx=0; dx<rW, dx++) {
outSamplesL[ySrc+dy][xSrc+dx] = ComponentSamples[0][ySrc+dy][xSrc+dx]
if (OutputChromaFormatIdc!=0) {
cyOut = (ySrc+dy)/outSH
cxOut = (xSrc+dx)/outSW
if (pfp_component_idc!=0) {
outSamplesCb[cxOut][cyOut] = outputTensor[0][yP][xP]
outSamplesCr[cxOut][cyOut] = outputTensor[1][yP][xP]
} else {
outSamplesCb[cxOut][cyOut] = ComponentSamples[1][(ySrc+dy)/SH]
[ (xSrc+dx)/SW ]
outSamplesCr[cxOut][cyOut] = ComponentSamples[2][(ySrc+dy)/SH]
[ (xSrc+dx)/SW ]
}
}
}
}
}
else if (numOutChannels==3) { // rW=1, rH=1
if (pfp_component_idc!=1) {
outSamplesL[xSrc][ySrc] = outputTensor[0][yP][xP]
} else {
outSamplesL[xSrc][ySrc] = ComponentSamples[0][xSrc][ySrc]
}
if (OutputChromaFormatIdc!=0) {
cyOut = ySrc/outSH
cxOut = xSrc/outSW
if (pfp_component_idc!=0) {
outSamplesCb[cxOut][cyOut] = outputTensor[1][yP][xP]
outSamplesCr[cxOut][cyOut] = outputTensor[2][yP][xP]
} else {
outSamplesCb[cxOut][cyOut] = ComponentSamples[1][xSrc/SW][ySrc/SH]
outSamplesCr[cxOut][cyOut] = ComponentSamples[2][xSrc/SW][ySrc/SH]
}
}
}
else if (numOutChannels==4) { // rW=2, rH=1
if (pfp_component_idc!=1) {
outSamplesL[xSrc ][ ySrc ] = outputTensor[0][yP][xP]
outSamplesL[xSrc+1][ ySrc ] = outputTensor[1][yP][xP]
} else {
outSamplesL[xSrc ][ ySrc ] = ComponentSamples[0][xSrc ][ ySrc ]
outSamplesL[xSrc+1][ ySrc ] = ComponentSamples[0][xSrc+1][ ySrc ]
}
if (OutputChromaFormatIdc!=0) {
for (dx=0; dx<rW; dx++) {
cyOut = (ySrc+dy)/outSH
cxOut = (xSrc+dx)/outSW
if (pfp_component_idc!=0) {
outSamplesCb[cxOut][cyOut] = outputTensor[2][yP][xP]
outSamplesCr[cxOut][cyOut] = outputTensor[3][yP][xP]
} else {
outSamplesCb[cxOut][cyOut] = ComponentSamples[1][(xSrc+dx)/SW] [
(ySrc+dy)/SH]
outSamplesCr[cxOut][cyOut] = ComponentSamples[2][(xSrc+dx)/SW] [
(ySrc+dy)/SH]
}
}
}
}
else if (numOutChannels==6) { // rW=2, rH=2
if (pfp_component_idc!=1) {
outSamplesL[xSrc ][ySrc ] = outputTensor[0][yP][xP]
outSamplesL[xSrc+1][ySrc ] = outputTensor[1][yP][xP]
outSamplesL[xSrc ][ySrc+1] = outputTensor[2][yP][xP]
outSamplesL[xSrc+1][ySrc+1] = outputTensor[3][yP][xP]
} else {
outSamplesL[xSrc ][ySrc ] = ComponentSamples[0][xSrc ][ySrc ]
outSamplesL[xSrc+1][ySrc ] = ComponentSamples[0][xSrc+1][ySrc ]
outSamplesL[xSrc ][ySrc+1] = ComponentSamples[0][xSrc ][ySrc+1]
outSamplesL[xSrc+1][ySrc+1] = ComponentSamples[0][xSrc+1][ySrc+1]
}
if (OutputChromaFormatIdc!=0) {
for (dy=0; dy<rH; dy++) {
for (dx=0; dx<rW; dx++) {
cyOut = (ySrc+dy)/outSH
cxOut = (xSrc+dx)/outSW
if (pfp_component_idc!=0) {
outSamplesCb[cxOut][cyOut] = outputTensor[4][yP][xP]
outSamplesCr[cxOut][cyOut] = outputTensor[5][yP][xP]
} else {
outSamplesCb[cxOut][cyOut] = ComponentSamples[1][(xSrc+dx)/SW]
[(ySrc+dy)/SH]
outSamplesCr[cxOut][cyOut] = ComponentSamples[2][(xSrc+dx)/SW]
[(ySrc+dy)/SH]
}
}
}
}
}
}
}
numOutChannelsが1の場合、NNフィルタ部611はoutputTensorの1チャネルを用いて出力
画像の輝度コンポーネントを導出する。出力画像が色差コンポーネントを含む場合、NNフィルタ部611は入力画像の色差コンポーネントをコピーして用いる。
【0232】
numOutChannelsが2の場合、NNフィルタ部611はoutputTensorの2チャネルを用いて出力
画像の2つの色差コンポーネントを導出する。また、NNフィルタ部611は、入力画像の輝度コンポーネントを出力画像の輝度コンポーネントとして用いる。
画像の2つの色差コンポーネントを導出する。また、NNフィルタ部611は、入力画像の輝度コンポーネントを出力画像の輝度コンポーネントとして用いる。
【0233】
numOutChannelsが3の場合、NNフィルタ部611はoutputTensorを出力画像の輝度コンポーネントと2つの色差コンポーネントを導出する。
【0234】
numOutChannelsが4の場合、NNフィルタ部611は、outputTensorのある2チャネルを用い
て出力画像の輝度コンポーネントを導出し、他の2チャネルを用いて2つの色差コンポーネントを導出する。
て出力画像の輝度コンポーネントを導出し、他の2チャネルを用いて2つの色差コンポーネントを導出する。
【0235】
numOutChannelsが6の場合、NNフィルタ部611は、outputTensorのある4チャネルを用い
て出力画像の輝度コンポーネントを導出し、他の2チャネルを用いて2つの色差コンポーネントを導出する。
て出力画像の輝度コンポーネントを導出し、他の2チャネルを用いて2つの色差コンポーネントを導出する。
【0236】
numOutChannelsがいずれの場合も、出力画像が色差コンポーネントを持たない場合は出力テンソルの色差チャネルは処理しない。また、numOutChannelsが2以上で色差チャネル
を含む場合、出力画像の色差サブサンプリングから導出される値outSH、outSWを用いて、出力画像の色差コンポーネント形式に適合するよう変換する。numOutChannelsが2の場合
には、入力画像の色差サブサンプリングから導出される値SH(SubHightC)、SW(SubWidthC)も参照し、出力画像の色差コンポーネント形式に適合するよう変換する。
を含む場合、出力画像の色差サブサンプリングから導出される値outSH、outSWを用いて、出力画像の色差コンポーネント形式に適合するよう変換する。numOutChannelsが2の場合
には、入力画像の色差サブサンプリングから導出される値SH(SubHightC)、SW(SubWidthC)も参照し、出力画像の色差コンポーネント形式に適合するよう変換する。
【0237】
さらに、numOutChannelsが2以外でpfp_component_idcが1である場合には、出力画像の
輝度コンポーネントを出力テンソルによって更新せず入力画像の輝度コンポーネントを用いる。同様にnumOutChannelsが1以外でpfp_component_idcが0である場合には、出力画像
の色差コンポーネントを出力テンソルによって更新せず入力画像の色差コンポーネントを用いる。
輝度コンポーネントを出力テンソルによって更新せず入力画像の輝度コンポーネントを用いる。同様にnumOutChannelsが1以外でpfp_component_idcが0である場合には、出力画像
の色差コンポーネントを出力テンソルによって更新せず入力画像の色差コンポーネントを用いる。
【0238】
このように、NNフィルタ部611は、出力テンソルのチャネル数と出力画像の色差サブサ
ンプリングに基づいて、出力画像の各コンポーネントの画素値を導出する。NNフィルタ部
611は、yP、xPで表される出力テンソルの1画素に対応する出力画像上のrW*rH画素を導出
する。これは上記疑似コード中のnumOutChannelsが2または6の場合のようにループ(dy,dx)で処理してもよいし、他の場合のようにループを省略あるいは展開してもよい。あるい
は、常にdy、dxともに2回ずつループするようにしてもよい。
ンプリングに基づいて、出力画像の各コンポーネントの画素値を導出する。NNフィルタ部
611は、yP、xPで表される出力テンソルの1画素に対応する出力画像上のrW*rH画素を導出
する。これは上記疑似コード中のnumOutChannelsが2または6の場合のようにループ(dy,dx)で処理してもよいし、他の場合のようにループを省略あるいは展開してもよい。あるい
は、常にdy、dxともに2回ずつループするようにしてもよい。
【0239】
また、上記の例では、NNフィルタ部611が出力画像の同じ色差座標について複数回の導
出を行うことがありえるが、座標が重複する場合には2回目以降の導出は省略しても構わ
ない。
出を行うことがありえるが、座標が重複する場合には2回目以降の導出は省略しても構わ
ない。
【0240】
さらに、上記の例ではcTop、cLeftは画像上の座標値としてそれぞれpatchSize*rH、patchSize*rWずつインクリメントするように構成したが、これに限らない。入力画像の色差
サブサンプリングを用いてそれぞれpatchSize*SH、patchSize*SWずつインクリメントするようなループとして構成してもよいし、常に1あるいは2ずつインクリメントするようなループとしてもよい。同様にySrc、xSrcは画像上の座標値として、それぞれrH、rWずつインクリメントするように構成したが、これに限らない。入力画像の色差サブサンプリングを用いてそれぞれSH、SWずつインクリメントするようなループや、出力画像の色差サブサンプリングを用いてそれぞれoutSH、outSWずつインクリメントするようなループとして構成してもよいし、常に1ずつインクリメントするようなループとしてもよい。
サブサンプリングを用いてそれぞれpatchSize*SH、patchSize*SWずつインクリメントするようなループとして構成してもよいし、常に1あるいは2ずつインクリメントするようなループとしてもよい。同様にySrc、xSrcは画像上の座標値として、それぞれrH、rWずつインクリメントするように構成したが、これに限らない。入力画像の色差サブサンプリングを用いてそれぞれSH、SWずつインクリメントするようなループや、出力画像の色差サブサンプリングを用いてそれぞれoutSH、outSWずつインクリメントするようなループとして構成してもよいし、常に1ずつインクリメントするようなループとしてもよい。
【0241】
上記のように予測画像を復号する予測画像導出部と、残差を復号する残差復号部を備える動画像復号装置であって、ニューラルネットワークモデルの入出力テンソルのチャネル数を指定する入出力画像情報と、追加入力情報を復号し、上記入出力画像情報を用いて第１の画像から入力テンソルの一部を導出し、さらに、上記追加入力情報を用いて、第１のとは別の第２の画像もしくは、上記予測画像導出もしくは残差の復号に関わる符号化情報を用いて上記入力テンソルの別の一部を導出することによって、入力画像の性質や特徴をより詳細にニューラルネットワークモデルに伝達しフィルタリング効果を高められるという効果を奏する。
【0242】
さらに上記のように色差サブサンプリングのパラメータを用いてループ変数の加算値を変更して、ラスタスキャン状にループ処理を行い、上記ループ内で、画像から入力テンソルを導出し、入力テンソルに対して深層学習フィルタを適用して、出力テンソルを導出することによって、異なる色サンプリングの場合にも同一の処理で入力テンソルを導出できるという効果を奏する。
【0243】
（まとめ）
本願は、ニューラルネットワークモデルの入力テンソルのチャネルと色コンポーネントとの対応関係を指定する入力テンソル識別パラメータを含む符号化データを復号する構成でもよい。
本願は、ニューラルネットワークモデルの入力テンソルのチャネルと色コンポーネントとの対応関係を指定する入力テンソル識別パラメータを含む符号化データを復号する構成でもよい。
【0244】
また本願は、入力テンソル識別パラメータと入力画像の色差サブサンプリングに応じて、入力画像から入力テンソルを導出する関係式が定義される構成でもよい。
【0245】
また本願の入力テンソル識別パラメータは、１チャネル、２チャネル、３チャネル、６チャネルのいずれかを指定することを含む構成でもよい。
【0246】
また本願は、入力テンソル識別パラメータに応じて、入力画像から入力テンソルを導出する手段を含む構成でもよい。
【0247】
本願は、ニューラルネットワークモデルの出力テンソルのチャネルと色コンポーネントとの対応関係を指定する出力テンソル識別パラメータを含む符号化データを復号する構成
でもよい。
でもよい。
【0248】
本願は、出力テンソル識別パラメータと出力画像の色差サブサンプリングに応じて、出力テンソルから出力画像を導出する関係式が定義される構成でもよい。
【0249】
本願の出力テンソル識別パラメータは、１チャネル、２チャネル、３チャネル、６チャネルのいずれかを指定することを含むことを構成でもよい。
【0250】
本願は、出力テンソル識別パラメータに応じて、出力テンソルから出力画像を導出する手段を含むことを構成でもよい。
【0251】
このように本SEIはNNフィルタへの入力データ形式およびNNフィルタの出力データ形式
の情報を含む。これにより、復号画像をNNフィルタの入力データに適切に変換する方法や、NNフィルタの出力データを出力画像に適切に変換する方法を、モデルの読み込みおよび解析をすることなく容易に選択できるという効果を奏する。
の情報を含む。これにより、復号画像をNNフィルタの入力データに適切に変換する方法や、NNフィルタの出力データを出力画像に適切に変換する方法を、モデルの読み込みおよび解析をすることなく容易に選択できるという効果を奏する。
【0252】
（入力テンソル識別パラメータ、出力テンソルパラメータを導出する構成）
なお、NNフィルタ部611は入力テンソル識別パラメータ、出力テンソル識別パラメータ
を付加データから復号するのではなく、符号化データから復号、もしくは、URIなどによ
り識別されたNNモデルのトポロジーから導出してよい。
なお、NNフィルタ部611は入力テンソル識別パラメータ、出力テンソル識別パラメータ
を付加データから復号するのではなく、符号化データから復号、もしくは、URIなどによ
り識別されたNNモデルのトポロジーから導出してよい。
【0253】
NNフィルタ部611は、NNモデルの入力データinputTensorのチャネル数NumInChannelsに
応じて以下のようにnnrpf_input_format_idcを導出する。
1チャネルの場合、nnrpf_input_format_idc=0
2チャネルの場合、nnrpf_input_format_idc=1
3チャネルの場合、nnrpf_input_format_idc=2
6チャネルの場合、nnrpf_input_format_idc=3
NNフィルタ部611は、NNモデルの出力データoutputTensorのチャネル数NumOutChannels
に応じて以下のようにnnrpf_output_format_idcを導出する。
1チャネルの場合、nnrpf_output_format_idc=0
2チャネルの場合、nnrpf_output_format_idc=1
3チャネルの場合、nnrpf_output_format_idc=2
6チャネルの場合、nnrpf_output_format_idc=3
上記の構成によれば、NNフィルタ部611は、符号化データで伝送もしくは指定されたNN
モデルの入力データ、出力データの次元数を解析し、その解析結果（入力テンソル識別パラメータ、出力テンソル識別パラメータ）に応じて、入力画像から入力テンソルへの変換、出力テンソルから出力画像への変換を行う。これにより、NNモデル自体では指定されていない色コンポーネントとチャネルとの関係を特定し、NN入力データを準備し、NN出力データから出力画像を得ることができる効果がある。なお、本SEIに前記ニューラルネット
ワークモデル複雑度の情報を含めてもよい。
応じて以下のようにnnrpf_input_format_idcを導出する。
1チャネルの場合、nnrpf_input_format_idc=0
2チャネルの場合、nnrpf_input_format_idc=1
3チャネルの場合、nnrpf_input_format_idc=2
6チャネルの場合、nnrpf_input_format_idc=3
NNフィルタ部611は、NNモデルの出力データoutputTensorのチャネル数NumOutChannels
に応じて以下のようにnnrpf_output_format_idcを導出する。
1チャネルの場合、nnrpf_output_format_idc=0
2チャネルの場合、nnrpf_output_format_idc=1
3チャネルの場合、nnrpf_output_format_idc=2
6チャネルの場合、nnrpf_output_format_idc=3
上記の構成によれば、NNフィルタ部611は、符号化データで伝送もしくは指定されたNN
モデルの入力データ、出力データの次元数を解析し、その解析結果（入力テンソル識別パラメータ、出力テンソル識別パラメータ）に応じて、入力画像から入力テンソルへの変換、出力テンソルから出力画像への変換を行う。これにより、NNモデル自体では指定されていない色コンポーネントとチャネルとの関係を特定し、NN入力データを準備し、NN出力データから出力画像を得ることができる効果がある。なお、本SEIに前記ニューラルネット
ワークモデル複雑度の情報を含めてもよい。
【0254】
（画像符号化装置の構成）
次に、本実施形態に係る画像符号化装置11の構成について説明する。図7は、本実施形
態に係る画像符号化装置11の構成を示すブロック図である。画像符号化装置11は、予測画像生成部101、減算部102、変換・量子化部103、逆量子化・逆変換部105、加算部106、ル
ープフィルタ107、予測パラメータメモリ（予測パラメータ記憶部、フレームメモリ）108、参照ピクチャメモリ（参照画像記憶部、フレームメモリ）109、符号化パラメータ決定
部110、パラメータ符号化部111、予測パラメータ導出部120、エントロピー符号化部104を含んで構成される。
次に、本実施形態に係る画像符号化装置11の構成について説明する。図7は、本実施形
態に係る画像符号化装置11の構成を示すブロック図である。画像符号化装置11は、予測画像生成部101、減算部102、変換・量子化部103、逆量子化・逆変換部105、加算部106、ル
ープフィルタ107、予測パラメータメモリ（予測パラメータ記憶部、フレームメモリ）108、参照ピクチャメモリ（参照画像記憶部、フレームメモリ）109、符号化パラメータ決定
部110、パラメータ符号化部111、予測パラメータ導出部120、エントロピー符号化部104を含んで構成される。
【0255】
予測画像生成部101はCU毎に予測画像を生成する。予測画像生成部101は既に説明したインター予測画像生成部309とイントラ予測画像生成部310を含んでおり、説明を省略する。
【0256】
減算部102は、予測画像生成部101から入力されたブロックの予測画像の画素値を、画像Ｔの画素値から減算して予測誤差を生成する。減算部102は予測誤差を変換・量子化部103に出力する。
【0257】
変換・量子化部103は、減算部102から入力された予測誤差に対し、周波数変換によって変換係数を算出し、量子化によって量子化変換係数を導出する。変換・量子化部103は、
量子化変換係数をパラメータ符号化部111及び逆量子化・逆変換部105に出力する。
量子化変換係数をパラメータ符号化部111及び逆量子化・逆変換部105に出力する。
【0258】
逆量子化・逆変換部105は、画像復号装置31における逆量子化・逆変換部311（図5）と
同じであり、説明を省略する。算出した予測誤差は加算部106に出力される。
同じであり、説明を省略する。算出した予測誤差は加算部106に出力される。
【0259】
パラメータ符号化部111は、ヘッダ符号化部1110、CT情報符号化部1111、CU符号化部1112（予測モード符号化部）を備えている。CU符号化部1112はさらにTU符号化部1114を備え
ている。以下、各モジュールの概略動作を説明する。
ている。以下、各モジュールの概略動作を説明する。
【0260】
ヘッダ符号化部1110はヘッダ情報、分割情報、予測情報、量子化変換係数等のパラメータの符号化処理を行う。
【0261】
CT情報符号化部1111は、QT、MT（BT、TT）分割情報等を符号化する。
【0262】
CU符号化部1112はCU情報、予測情報、分割情報等を符号化する。
【0263】
TU符号化部1114は、TUに予測誤差が含まれている場合に、QP更新情報と量子化予測誤差を符号化する。
【0264】
CT情報符号化部1111、CU符号化部1112は、インター予測パラメータ（predMode、merge_flag、merge_idx、inter_pred_idc、refIdxLX、mvp_LX_idx、mvdLX）、イントラ予測パラメータ（intra_luma_mpm_flag、intra_luma_mpm_idx、intra_luma_mpm_reminder、intra_chroma_pred_mode）、量子化変換係数等のシンタックス要素をパラメータ符号化部111に
供給する。
供給する。
【0265】
エントロピー符号化部104には、パラメータ符号化部111から量子化変換係数と符号化パラメータ（分割情報、予測パラメータ）が入力される。エントロピー符号化部104はこれ
らをエントロピー符号化して符号化データTeを生成し、出力する。
らをエントロピー符号化して符号化データTeを生成し、出力する。
【0266】
予測パラメータ導出部120は、インター予測パラメータ符号化部112、イントラ予測パラメータ符号化部113を含む手段であり、符号化パラメータ決定部110から入力されたパラメータからイントラ予測パラメータ及びイントラ予測パラメータを導出する。導出されたイントラ予測パラメータ及びイントラ予測パラメータは、パラメータ符号化部111に出力さ
れる。
れる。
【0267】
（インター予測パラメータ符号化部の構成）
インター予測パラメータ符号化部112は図8に示すように、パラメータ符号化制御部1121、インター予測パラメータ導出部303を含んで構成される。インター予測パラメータ導出
部303は画像復号装置と共通の構成である。パラメータ符号化制御部1121は、マージイン
デックス導出部11211とベクトル候補インデックス導出部11212を含む。
インター予測パラメータ符号化部112は図8に示すように、パラメータ符号化制御部1121、インター予測パラメータ導出部303を含んで構成される。インター予測パラメータ導出
部303は画像復号装置と共通の構成である。パラメータ符号化制御部1121は、マージイン
デックス導出部11211とベクトル候補インデックス導出部11212を含む。
【0268】
マージインデックス導出部11211は、マージ候補等を導出し、インター予測パラメータ
導出部303に出力する。ベクトル候補インデックス導出部11212は予測ベクトル候補等を導出し、インター予測パラメータ導出部303とパラメータ符号化部111に出力する。
導出部303に出力する。ベクトル候補インデックス導出部11212は予測ベクトル候補等を導出し、インター予測パラメータ導出部303とパラメータ符号化部111に出力する。
【0269】
（イントラ予測パラメータ符号化部113の構成）
イントラ予測パラメータ符号化部113は、パラメータ符号化制御部1131とイントラ予測
パラメータ導出部304を備える。イントラ予測パラメータ導出部304は画像復号装置と共通の構成である。
イントラ予測パラメータ符号化部113は、パラメータ符号化制御部1131とイントラ予測
パラメータ導出部304を備える。イントラ予測パラメータ導出部304は画像復号装置と共通の構成である。
【0270】
パラメータ符号化制御部1131はIntraPredModeYおよびIntraPredModeCを導出する。さらにmpmCandList[]を参照してintra_luma_mpm_flagを決定する。これらの予測パラメータをイントラ予測パラメータ導出部304とパラメータ符号化部111に出力する。
【0271】
ただし、画像復号装置と異なり、インター予測パラメータ導出部303、イントラ予測パ
ラメータ導出部304への入力は符号化パラメータ決定部110、予測パラメータメモリ108で
あり、パラメータ符号化部111に出力する。
ラメータ導出部304への入力は符号化パラメータ決定部110、予測パラメータメモリ108で
あり、パラメータ符号化部111に出力する。
【0272】
加算部106は、予測画像生成部101から入力された予測ブロックの画素値と逆量子化・逆変換部105から入力された予測誤差を画素毎に加算して復号画像を生成する。加算部106は生成した復号画像を参照ピクチャメモリ109に記憶する。
【0273】
ループフィルタ107は加算部106が生成した復号画像に対し、デブロッキングフィルタ、SAO、ALFを施す。なお、ループフィルタ107は、必ずしも上記３種類のフィルタを含まな
くてもよく、例えばデブロッキングフィルタのみの構成であってもよい。
くてもよく、例えばデブロッキングフィルタのみの構成であってもよい。
【0274】
予測パラメータメモリ108は、符号化パラメータ決定部110が生成した予測パラメータを、対象ピクチャ及びCU毎に予め定めた位置に記憶する。
【0275】
参照ピクチャメモリ109は、ループフィルタ107が生成した復号画像を対象ピクチャ及びCU毎に予め定めた位置に記憶する。
【0276】
符号化パラメータ決定部110は、符号化パラメータの複数のセットのうち、１つのセッ
トを選択する。符号化パラメータとは、上述したQT、BTあるいはTT分割情報、予測パラメータ、あるいはこれらに関連して生成される符号化の対象となるパラメータである。予測画像生成部101は、これらの符号化パラメータを用いて予測画像を生成する。
トを選択する。符号化パラメータとは、上述したQT、BTあるいはTT分割情報、予測パラメータ、あるいはこれらに関連して生成される符号化の対象となるパラメータである。予測画像生成部101は、これらの符号化パラメータを用いて予測画像を生成する。
【0277】
符号化パラメータ決定部110は、複数のセットの各々について情報量の大きさと符号化
誤差を示すRDコスト値を算出する。RDコスト値は、例えば、符号量と二乗誤差に係数λを乗じた値との和である。符号量は、量子化誤差と符号化パラメータをエントロピー符号化して得られる符号化データTeの情報量である。二乗誤差は、減算部102において算出され
た予測誤差の二乗和である。係数λは、予め設定されたゼロよりも大きい実数である。符号化パラメータ決定部110は、算出したコスト値が最小となる符号化パラメータのセット
を選択する。符号化パラメータ決定部110は決定した符号化パラメータをパラメータ符号
化部111と予測パラメータ導出部120に出力する。
誤差を示すRDコスト値を算出する。RDコスト値は、例えば、符号量と二乗誤差に係数λを乗じた値との和である。符号量は、量子化誤差と符号化パラメータをエントロピー符号化して得られる符号化データTeの情報量である。二乗誤差は、減算部102において算出され
た予測誤差の二乗和である。係数λは、予め設定されたゼロよりも大きい実数である。符号化パラメータ決定部110は、算出したコスト値が最小となる符号化パラメータのセット
を選択する。符号化パラメータ決定部110は決定した符号化パラメータをパラメータ符号
化部111と予測パラメータ導出部120に出力する。
【0278】
なお、上述した実施形態における画像符号化装置11、画像復号装置31の一部、例えば、エントロピー復号部301、パラメータ復号部302、ループフィルタ305、予測画像生成部308、逆量子化・逆変換部311、加算部312、予測パラメータ導出部320、予測画像生成部101、減算部102、変換・量子化部103、エントロピー符号化部104、逆量子化・逆変換部105、ループフィルタ107、符号化パラメータ決定部110、パラメータ符号化部111、予測パラメー
タ導出部120をコンピュータで実現するようにしても良い。その場合、この制御機能を実
現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、画像符号化装置11、画像復号装置31のいずれかに内蔵されたコンピュータシステムであって、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシ
ステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
タ導出部120をコンピュータで実現するようにしても良い。その場合、この制御機能を実
現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、画像符号化装置11、画像復号装置31のいずれかに内蔵されたコンピュータシステムであって、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシ
ステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【0279】
また、上述した実施形態における画像符号化装置11、画像復号装置31の一部、または全部を、LSI（Large Scale Integration）等の集積回路として実現しても良い。画像符号化装置11、画像復号装置31の各機能ブロックは個別にプロセッサ化しても良いし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
【0280】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【0281】
(NNR)
Neural Network Coding and Representation(NNR)は、ニューラルネットワーク(NN)を
効率的に圧縮するための国際標準規格である。学習済みのNNの圧縮を行うことで、NNを保存や伝送を行う際の効率化が可能となる。
Neural Network Coding and Representation(NNR)は、ニューラルネットワーク(NN)を
効率的に圧縮するための国際標準規格である。学習済みのNNの圧縮を行うことで、NNを保存や伝送を行う際の効率化が可能となる。
【0282】
以下にNNRの符号化・復号処理の概要について説明する。
【0283】
図15は、NNRの符号化装置・復号装置について示す図である。
【0284】
NN符号化装置801は、前処理部8011、量子化部8012、エントロピー符号化部8013を有す
る。NN符号化装置801は、圧縮前のNNモデルOを入力し、量子化部8012にてNNモデルOの量
子化を行い、量子化モデルQを求める。NN符号化装置801は、量子化前に、前処理部8011にて枝刈り（プルーニング）やスパース化などのパラメータ削減手法を繰り返し適用してもよい。その後、エントロピー符号化部8013にて、量子化モデルQにエントロピー符号化を
適用し、NNモデルの保存、伝送のためのビットストリームSを求める。
る。NN符号化装置801は、圧縮前のNNモデルOを入力し、量子化部8012にてNNモデルOの量
子化を行い、量子化モデルQを求める。NN符号化装置801は、量子化前に、前処理部8011にて枝刈り（プルーニング）やスパース化などのパラメータ削減手法を繰り返し適用してもよい。その後、エントロピー符号化部8013にて、量子化モデルQにエントロピー符号化を
適用し、NNモデルの保存、伝送のためのビットストリームSを求める。
【0285】
NN復号装置802は、エントロピー復号部8021、パラメータ復元部8022、後処理部8023を
有する。NN復号装置802は、始めに伝送されたビットストリームSを入力し、エントロピー復号部8021にて、Sのエントロピー復号を行い、中間モデルRQを求める。NNモデルの動作
環境がRQで使用された量子化表現を用いた推論をサポートしている場合、RQを出力し、推論に使用してもよい。そうでない場合、パラメータ復元部8022にてRQのパラメータを元の表現に復元し、中間モデルRPを求める。使用する疎なテンソル表現がNNモデルの動作環境
で処理できる場合、RPを出力し、推論に使用してもよい。そうでない場合、NNモデルOと
異なるテンソル、または構造表現を含まない再構成NNモデルRを求め、出力する。
有する。NN復号装置802は、始めに伝送されたビットストリームSを入力し、エントロピー復号部8021にて、Sのエントロピー復号を行い、中間モデルRQを求める。NNモデルの動作
環境がRQで使用された量子化表現を用いた推論をサポートしている場合、RQを出力し、推論に使用してもよい。そうでない場合、パラメータ復元部8022にてRQのパラメータを元の表現に復元し、中間モデルRPを求める。使用する疎なテンソル表現がNNモデルの動作環境
で処理できる場合、RPを出力し、推論に使用してもよい。そうでない場合、NNモデルOと
異なるテンソル、または構造表現を含まない再構成NNモデルRを求め、出力する。
【0286】
NNR規格には、整数、浮動小数点など、特定のNNパラメータの数値表現に対する復号手
法が存在する。
法が存在する。
【0287】
復号手法NNR_PT_INTは、整数値のパラメータからなるモデルを復号する。復号手法NNR_PT_FLOATは、NNR_PT_INTを拡張し、量子化ステップサイズdeltaを追加する。このdeltaに上記整数値を乗算し、スケーリングされた整数を生成する。deltaは、整数の量子化パラ
メータqpとdeltaの粒度パラメータqp_densityから、以下のように導き出される。
メータqpとdeltaの粒度パラメータqp_densityから、以下のように導き出される。
【0288】
mul = 2^(qp_density) + (qp & (2^(qp_density)-1))
delta = mul * 2^((qp >> qp_density)-qp_density)
(学習済みNNのフォーマット)
学習済みNNの表現は、層のサイズや層間の接続などのトポロジー表現と、重みやバイアスなどのパラメータ表現の2つの要素からなる。
delta = mul * 2^((qp >> qp_density)-qp_density)
(学習済みNNのフォーマット)
学習済みNNの表現は、層のサイズや層間の接続などのトポロジー表現と、重みやバイアスなどのパラメータ表現の2つの要素からなる。
【0289】
トポロジー表現は、TensorflowやPyTorchなどのネイティブフォーマットでカバーされ
ているが、相互運用性向上のため、Open Neural Network Exchange Format(ONNX)、Neural Network Exchange Format(NNEF)などの交換フォーマットが存在する。
ているが、相互運用性向上のため、Open Neural Network Exchange Format(ONNX)、Neural Network Exchange Format(NNEF)などの交換フォーマットが存在する。
【0290】
また、NNR規格では、圧縮されたパラメータテンソルを含むNNRビットストリームの一部として、トポロジー情報nnr_topology_unit_payloadを伝送する。これにより、交換フォ
ーマットだけでなく、ネイティブフォーマットで表現されたトポロジー情報との相互運用を実現する。
ーマットだけでなく、ネイティブフォーマットで表現されたトポロジー情報との相互運用を実現する。
【0291】
（ポストフィルタ目的SEI）
ポストフィルタ目的SEIは、ポストフィルタ処理の目的を示し、ポストフィルタ処理の
目的に応じた入出力の情報を記述する。図13は、このSEIのシンタックスの例を示してい
る。
ポストフィルタ目的SEIは、ポストフィルタ処理の目的を示し、ポストフィルタ処理の
目的に応じた入出力の情報を記述する。図13は、このSEIのシンタックスの例を示してい
る。
【0292】
まず、このSEIの入力として、入力画像のInputChromaFormatIdc (ChromaFormatIdc)を
定義する。この値には、符号化データのsps_chroma_format_idcの値が代入される。
定義する。この値には、符号化データのsps_chroma_format_idcの値が代入される。
【0293】
pfp_idの値は、他のメカニズムで指定されたポストフィルタ処理の識別番号を示す。本実施の形態では、NNフィルタSEIと紐付けられる。このSEIメッセージは、現在の階層において、新しいCLVS(Coded Layer Video Sequence)が開始されるか、ビットストリームが終了するまで、現在の復号画像と後続のすべての復号画像に出力順に適用される。
【0294】
pfp_idには、ポストフィルタ処理を識別するために使用される識別番号が含まれる。識別番号は、0から2^20-1の値をとるものとし、2^20から2^21-1の値は将来のために予約す
る。
る。
【0295】
pfp_purposeは、pfp_idによって識別されるポストフィルタ処理の目的を示す。pfp_purposeの値は、0から2^32-2の範囲である。それ以外のpfp_purposeの値は、将来の指定のために予約する。尚、付加情報の復号器は、pfp_purposeの予約値を含むpost_filter_purpose SEIメッセージを無視する。
【0296】
pfp_purposeの値0は、視覚的な品質の向上を示す。つまり、画像の解像度変換を伴わない画像復元処理を行うポストフィルタ処理が適用されることを意味する。
【0297】
pfp_purposeの値1は、トリミングされた出力画像の幅または高さを指定する。つまり画像の解像度の変換を伴うポストフィルタ処理が適用されることを意味する。
【0298】
pfp_purposeの値が1の場合、pfp_pic_width_in_luma_samplesとpfp_pic_height_in_luma_samplesというシンタックス要素が存在する。
【0299】
pfp_pic_width_in_luma_samplesは、トリミングされた出力画像にpfp_idで識別される
ポスト処理フィルタを適用した結果の画像の、輝度画素配列の幅を指定する。
ポスト処理フィルタを適用した結果の画像の、輝度画素配列の幅を指定する。
【0300】
pfp_pic_height_in_luma_samplesは、トリミングされた出力画像にpfp_idで識別されるポスト処理フィルタを適用した結果の画像の輝度画素配列の高さを指定する。
【0301】
非特許文献１及び非特許文献2の例では、色差フォーマット変換に伴う解像度変換及び
逆変換の情報をうまく記述することができなかった。本実施の形態では、入出力の情報を明確化することで、上記の課題を解決する。
逆変換の情報をうまく記述することができなかった。本実施の形態では、入出力の情報を明確化することで、上記の課題を解決する。
【0302】
pfp_purposeの値が2の場合は、ポストフィルタ処理が適用される色コンポーネントと、出力画像の色差フォーマットの情報を示すシンタックス要素が存在する。つまり、色差フォーマット変換に関するポストフィルタ処理が適用されることを意味する。
【0303】
pfp_purposeの値が2の場合、シンタックス要素pfp_component_idcと、pfp_output_diff_chroma_format_idcが存在する。
【0304】
pfp_component_idcは、ポストフィルタ処理を適用する色コンポーネントを指定する。
【0305】
pfp_component_idcの値0は、輝度コンポーネントのみにポストフィルタ処理を適用することを示す。
【0306】
pfp_component_idcの値1は、2つの色差コンポーネントにポストフィルタ処理を適用す
ることを示す。
ることを示す。
【0307】
pfp_component_idcの値2は、3つの全ての色コンポーネントにポストフィルタ処理を適
用することを示す。
用することを示す。
【0308】
シンタックス要素pfp_component_idcが存在しない場合は、pfp_component_idcの値は2
として推定する。
として推定する。
【0309】
pfp_output_diff_chroma_format_idcは、フィルタ更新情報であり、ポストフィルタ処
理が出力する色差フォーマットの識別値と入力の色差フォーマットの識別値の差分値を示す。尚、pfp_output_diff_chroma_format_idcの値は、0から2の範囲の値でなければなら
ない。そして、ポストフィルタ処理の出力する色差フォーマットの識別値である変数OutputChromaFormatIdcは、次のように導出される。
理が出力する色差フォーマットの識別値と入力の色差フォーマットの識別値の差分値を示す。尚、pfp_output_diff_chroma_format_idcの値は、0から2の範囲の値でなければなら
ない。そして、ポストフィルタ処理の出力する色差フォーマットの識別値である変数OutputChromaFormatIdcは、次のように導出される。
【0310】
OutputChromaFormatIdc = InputChromaFormatIdc + pfp_output_diff_chroma_format_idc
ここで、InputChromaFormatIdcは、符号化データのSPSで記述されている
sps_chroma_format_idcの値で、復号画像の色差フォーマットの識別値である。値0がモノクロ(4:0:0)で、値1が4:2:0で、値2が4:2:2で、値3が4:4:4を示している。ポストフィル
タ処理の出力する色差フォーマットの識別値である変数OutputChromaFormatIdcは、Input
ChromaFormatIdcと同様に、値0がモノクロ(4:0:0)で、値1が4:2:0で、値2が4:2:2で、値3が4:4:4を示す。
ここで、InputChromaFormatIdcは、符号化データのSPSで記述されている
sps_chroma_format_idcの値で、復号画像の色差フォーマットの識別値である。値0がモノクロ(4:0:0)で、値1が4:2:0で、値2が4:2:2で、値3が4:4:4を示している。ポストフィル
タ処理の出力する色差フォーマットの識別値である変数OutputChromaFormatIdcは、Input
ChromaFormatIdcと同様に、値0がモノクロ(4:0:0)で、値1が4:2:0で、値2が4:2:2で、値3が4:4:4を示す。
【0311】
なお、本実施の形態では、OutputChromaFormatIdcを導出するために、出力する色差フ
ォーマットの識別値と入力の色差フォーマットの識別値の差分値を用いて、OutputChromaFormatIdcの値がInputChromaFormatIdcの値と同じか、それ以上になるように設定したが
、差分値を用いずに、直接OutputChromaFormatIdcをシンタクス要素としてもよい。この
場合、OutputChromaFormatIdcの値は、InputChromaFormatIdcの値と独立に定義すること
ができるという利点がある。この場合、シンタクス要素OutputChromaFormatIdcが存在し
ない場合は、InputChromaFormatIdcの値と同じと推定する。
ォーマットの識別値と入力の色差フォーマットの識別値の差分値を用いて、OutputChromaFormatIdcの値がInputChromaFormatIdcの値と同じか、それ以上になるように設定したが
、差分値を用いずに、直接OutputChromaFormatIdcをシンタクス要素としてもよい。この
場合、OutputChromaFormatIdcの値は、InputChromaFormatIdcの値と独立に定義すること
ができるという利点がある。この場合、シンタクス要素OutputChromaFormatIdcが存在し
ない場合は、InputChromaFormatIdcの値と同じと推定する。
【0312】
NNフィルタ部611は、更新情報php_output_diff_chroma_format_idcが符号化データ中に存在しない場合にはphp_output_diff_chroma_format_idcを0と推定する。これにより、NNフィルタ部611は、php_output_diff_chroma_format_idcが符号化データ中に存在しない場合には、以下のように設定してもよい。
OutputChromaFormatIdc = ChromaFormatIdc
上記のように予測画像を復号する予測画像導出部と、残差を復号する残差復号部を備える動画像復号装置であって、上記ヘッダ復号部3020は、フィルタ更新情報がない場合には、色差サブサンプリングに関する出力の色差フォーマットを入力の色差フォーマットで推定することにより、フィルタ更新情報が指定されない場合にも的確なフィルタ処理による更新が可能という効果を奏する。
OutputChromaFormatIdc = ChromaFormatIdc
上記のように予測画像を復号する予測画像導出部と、残差を復号する残差復号部を備える動画像復号装置であって、上記ヘッダ復号部3020は、フィルタ更新情報がない場合には、色差サブサンプリングに関する出力の色差フォーマットを入力の色差フォーマットで推定することにより、フィルタ更新情報が指定されない場合にも的確なフィルタ処理による更新が可能という効果を奏する。
【0313】
NNフィルタ部611は、出力画像の色差サブサンプリングを示す変数を以下のように導出
する。
する。
【0314】
outSubWidthC = outSW = 1, outSubHeightC = outSH = 1 (OutputChromaFormatIdc == 0)
outSubWidthC = outSW = 2, outSubHeightC = outSH = 2 (OutputChromaFormatIdc == 1)
outSubWidthC = outSW = 2, outSubHeightC = outSH = 1 (OutputChromaFormatIdc == 2)
outSubWidthC = outSW = 1, outSubHeightC = outSH = 1 (OutputChromaFormatIdc == 3)
このように、色差フォーマット変換のポストフィルタ処理の入力コンポーネントと出力フォーマットを定義することで、色差フォーマット変換のポストフィルタ処理の入出力のデータを明確化できる。
outSubWidthC = outSW = 2, outSubHeightC = outSH = 2 (OutputChromaFormatIdc == 1)
outSubWidthC = outSW = 2, outSubHeightC = outSH = 1 (OutputChromaFormatIdc == 2)
outSubWidthC = outSW = 1, outSubHeightC = outSH = 1 (OutputChromaFormatIdc == 3)
このように、色差フォーマット変換のポストフィルタ処理の入力コンポーネントと出力フォーマットを定義することで、色差フォーマット変換のポストフィルタ処理の入出力のデータを明確化できる。
【0315】
尚、上記のポストフィルタ処理を適用する色コンポーネントを指定するpfp_component_idcは輝度と色差を区別したが、単にコンポーネント数を示すようにしてもよい。具体的
には、次のようなセマンティクスにしてもよい。
には、次のようなセマンティクスにしてもよい。
【0316】
pfp_component_idcの値0は、1つのコンポーネントのポストフィルタ処理を適用するこ
とを示す。
とを示す。
【0317】
pfp_component_idcの値1は、2つのコンポーネントにポストフィルタ処理を適用するこ
とを示す。
とを示す。
【0318】
pfp_component_idcの値2は、3つの全てのコンポーネントにポストフィルタ処理を適用
することを示す。
することを示す。
【0319】
NNフィルタ部611は、pfp_component_idcに応じて、NNモデルを切り替えてもよい。
【0320】
pfp_component_idc==0の場合：NNフィルタ部611は、１チャネルの３次元テンソルから
１チャネルの３次元テンソルを導出するNNモデルを選択し、フィルタ処理を行う。
１チャネルの３次元テンソルを導出するNNモデルを選択し、フィルタ処理を行う。
【0321】
pfp_component_idc==1の場合：NNフィルタ部611は、2チャネルの３次元テンソルから2
チャネルの３次元テンソルを導出するNNモデルを選択し、フィルタ処理を行う。
チャネルの３次元テンソルを導出するNNモデルを選択し、フィルタ処理を行う。
【0322】
pfp_component_idc==2の場合：NNフィルタ部611は、3チャネルの３次元テンソルから3
チャネルの３次元テンソルを導出するNNモデルを選択し、フィルタ処理を行う。
チャネルの３次元テンソルを導出するNNモデルを選択し、フィルタ処理を行う。
【0323】
以上により、適用する色コンポーネントに応じて適切なNNモデルを選択するため処理量を削減する効果がある。
【0324】
NNフィルタ部611は、pfp_component_idcに応じて、1コンポーネントなら1チャネル、2
コンポーネントなら2チャネル、3コンポーネントなら3チャネルのNNモデルとなるようにnnrpf_input_format_idcを次のように導出してもよい。
nnrpf_input_format_idc = 0 (pfp_component_idc==0)
nnrpf_input_format_idc = 1 (pfp_component_idc==1)
nnrpf_input_format_idc = 2 (pfp_component_idc==2)
つまり、nnrpf_input_format_idc = pfp_component_idc
別の例としてNNフィルタ部611は、pfp_component_idcに応じて、1コンポーネントなら1チャネル、2コンポーネントなら2チャネル、3コンポーネントなら6チャネルのNNモデルとなるようにnnrpf_input_format_idcを次のように導出してもよい。
nnrpf_input_format_idc = 0 (pfp_component_idc==0)
nnrpf_input_format_idc = 1 (pfp_component_idc==1)
nnrpf_input_format_idc = 3 (pfp_component_idc==2)
つまり、nnrpf_input_format_idc = pfp_component_idc < 2 ? pfp_component_idc : 3
以上により、適用する色コンポーネントに応じて適切なNNモデルのテンソル形式を選択して処理を行うことができるという効果がある。
コンポーネントなら2チャネル、3コンポーネントなら3チャネルのNNモデルとなるようにnnrpf_input_format_idcを次のように導出してもよい。
nnrpf_input_format_idc = 0 (pfp_component_idc==0)
nnrpf_input_format_idc = 1 (pfp_component_idc==1)
nnrpf_input_format_idc = 2 (pfp_component_idc==2)
つまり、nnrpf_input_format_idc = pfp_component_idc
別の例としてNNフィルタ部611は、pfp_component_idcに応じて、1コンポーネントなら1チャネル、2コンポーネントなら2チャネル、3コンポーネントなら6チャネルのNNモデルとなるようにnnrpf_input_format_idcを次のように導出してもよい。
nnrpf_input_format_idc = 0 (pfp_component_idc==0)
nnrpf_input_format_idc = 1 (pfp_component_idc==1)
nnrpf_input_format_idc = 3 (pfp_component_idc==2)
つまり、nnrpf_input_format_idc = pfp_component_idc < 2 ? pfp_component_idc : 3
以上により、適用する色コンポーネントに応じて適切なNNモデルのテンソル形式を選択して処理を行うことができるという効果がある。
【0325】
NNフィルタ部611は、上述のようにpfp_component_idcに応じて、直接inputTensorを導
出してもよい。あるいは、NNフィルタ部611は、pfp_component_idcに応じて、入力画像ComponentSampleの値と、NN出力データoutTensorの値を切り替えて以下の処理で出力画像を導出してもよい。
pfp_component_idc==0の場合
outSamplesL[x][y] = outTensor[0][y][x]
outSamplesCb[x*2/outSW][y*2/outSH] = ComponentSample[1][x*2/SW][y*2/SH]
outSamplesCr[x*2/outSW][y*2/outSH] = ComponentSample[2][x*2/SW][y*2/SH]
pfp_component_idc==1の場合
outSamplesL[x][y] = ComponentSample[0][x][y]
outSamplesCb[x*2/outSW][y*2/outSH] = outTensor [0][x*2/SW][y*2/SH]
outSamplesCr[x*2/outSW][y*2/outSH] = outTensor [1][x*2/SW][y*2/SH]
pfp_component_idc==2の場合
outSamplesL[x][y] = outTensor[0][x][y]
outSamplesCb[x*2/outSW][y*2/outSH] = outTensor[1][x*2/SW][y*2/SH]
outSamplesCr[x*2/outSW][y*2/outSH] = outTensor[2][x*2/SW][y*2/SH]
また、上記の例では、ポストフィルタ処理の出力する色差フォーマットの識別値を入力の色差フォーマットの識別値との差分値で示したが、シンタックス要素で直接記述してもよい。
出してもよい。あるいは、NNフィルタ部611は、pfp_component_idcに応じて、入力画像ComponentSampleの値と、NN出力データoutTensorの値を切り替えて以下の処理で出力画像を導出してもよい。
pfp_component_idc==0の場合
outSamplesL[x][y] = outTensor[0][y][x]
outSamplesCb[x*2/outSW][y*2/outSH] = ComponentSample[1][x*2/SW][y*2/SH]
outSamplesCr[x*2/outSW][y*2/outSH] = ComponentSample[2][x*2/SW][y*2/SH]
pfp_component_idc==1の場合
outSamplesL[x][y] = ComponentSample[0][x][y]
outSamplesCb[x*2/outSW][y*2/outSH] = outTensor [0][x*2/SW][y*2/SH]
outSamplesCr[x*2/outSW][y*2/outSH] = outTensor [1][x*2/SW][y*2/SH]
pfp_component_idc==2の場合
outSamplesL[x][y] = outTensor[0][x][y]
outSamplesCb[x*2/outSW][y*2/outSH] = outTensor[1][x*2/SW][y*2/SH]
outSamplesCr[x*2/outSW][y*2/outSH] = outTensor[2][x*2/SW][y*2/SH]
また、上記の例では、ポストフィルタ処理の出力する色差フォーマットの識別値を入力の色差フォーマットの識別値との差分値で示したが、シンタックス要素で直接記述してもよい。
【0326】
本実施の形態では、NNポストフィルタSEIと独立にポストフィルタ目的SEIを定義して、ポストフィルタ処理の入出力を定義したが、NNポストフィルタSEIに同様のシンタックス
を定義してもよく、同様に課題を解決することができる。
を定義してもよく、同様に課題を解決することができる。
【0327】
本実施の形態を図1に基づいて説明すると、画像を符号化した符号化データを復号する
画像復号装置と、前記画像復号装置で復号した画像の解像度を変換する解像度逆変換装置を有し、前記解像度逆変換装置に入力する色コンポーネント情報と出力する色差フォーマット情報を復号する逆変換情報復号装置を有することを特徴とする動画像復号装置である。
画像復号装置と、前記画像復号装置で復号した画像の解像度を変換する解像度逆変換装置を有し、前記解像度逆変換装置に入力する色コンポーネント情報と出力する色差フォーマット情報を復号する逆変換情報復号装置を有することを特徴とする動画像復号装置である。
【0328】
また、画像を符号化する画像符号化装置と、符号化した画像の解像度を変換する解像度逆変換装置に入力する色コンポーネント情報と出力する色差フォーマット情報を符号化する逆変換情報符号化装置を有することを特徴とする動画像符号化装置である。
【0329】
本発明の一態様に係る動画像復号装置は、予測画像を復号する予測画像導出部と、残差を復号する残差復号部を備える動画像復号装置であって、
ニューラルネットワークモデルの入力テンソルと出力テンソルのチャネル数を指定するパラメータから、入力テンソルを導出、もしくは、出力テンソルから画像を導出することを特徴とする。
ニューラルネットワークモデルの入力テンソルと出力テンソルのチャネル数を指定するパラメータから、入力テンソルを導出、もしくは、出力テンソルから画像を導出することを特徴とする。
【0330】
予測画像を復号する予測画像導出部と、残差を復号する残差復号部を備える動画像復号装置であって、
ニューラルネットワークモデルの入出力テンソルのチャネル数を指定する入出力画像情報と、追加入力情報を復号し、上記入出力画像情報を用いて第１の画像から入力テンソルの一部を導出し、さらに、上記追加入力情報を用いて、第１のとは別の第２の画像もしくは、上記予測画像導出もしくは残差の復号に関わる符号化情報を用いて上記入力テンソルの別の一部を導出することを特徴とする。
ニューラルネットワークモデルの入出力テンソルのチャネル数を指定する入出力画像情報と、追加入力情報を復号し、上記入出力画像情報を用いて第１の画像から入力テンソルの一部を導出し、さらに、上記追加入力情報を用いて、第１のとは別の第２の画像もしくは、上記予測画像導出もしくは残差の復号に関わる符号化情報を用いて上記入力テンソルの別の一部を導出することを特徴とする。
【0331】
色差サブサンプリングのパラメータを用いてループ変数の加算値を変更して、ラスタスキャン上にループ処理を行い、上記ループ内で、画像から入力テンソルを導出し、入力テンソルに対して深層学習フィルタを適用して、出力テンソルを導出することを特徴とする。
【0332】
予測画像を復号する予測画像導出部と、残差を復号する残差復号部を備える動画像復号装置であって、上記ヘッダ部は、フィルタ更新情報がない場合には、色差サブサンプリングに関する出力の色差フォーマットを入力の色差フォーマットで推定することを特徴とする。
【0333】
本発明の一態様に係る動画像符号化装置は、予測画像を復号する予測画像導出部と、残差を復号する残差符号化部を備える動画像符号化装置であって、
ニューラルネットワークモデルの入力テンソルと出力テンソルのチャネル数を指定するパラメータから、入力テンソルを導出、もしくは、出力テンソルから画像を導出することを特徴とする。
ニューラルネットワークモデルの入力テンソルと出力テンソルのチャネル数を指定するパラメータから、入力テンソルを導出、もしくは、出力テンソルから画像を導出することを特徴とする。
【0334】
本発明の実施形態は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【0335】
本発明の実施形態は、画像データが符号化された符号化データを復号する動画像復号装置、および、画像データが符号化された符号化データを生成する動画像符号化装置に好適に適用することができる。また、動画像符号化装置によって生成され、動画像復号装置によって参照される符号化データのデータ構造に好適に適用することができる。
【符号の説明】
【0336】
1 動画像伝送システム
30 動画像復号装置
31 画像復号装置
301 エントロピー復号部
302 パラメータ復号部
303 インター予測パラメータ導出部
304 イントラ予測パラメータ導出部
305、107 ループフィルタ
306、109 参照ピクチャメモリ
307、108 予測パラメータメモリ
308、101 予測画像生成部
309 インター予測画像生成部
310 イントラ予測画像生成部
311、105 逆量子化・逆変換部
312、106 加算部
320 予測パラメータ導出部
10 動画像符号化装置
11 画像符号化装置
102 減算部
103 変換・量子化部
104 エントロピー符号化部
110 符号化パラメータ決定部
111 パラメータ符号化部
112 インター予測パラメータ符号化部
113 イントラ予測パラメータ符号化部
120 予測パラメータ導出部
71 逆変換情報作成装置
81 逆変換情報符号化装置
91 逆変換情報復号装置
611 NNフィルタ部
30 動画像復号装置
31 画像復号装置
301 エントロピー復号部
302 パラメータ復号部
303 インター予測パラメータ導出部
304 イントラ予測パラメータ導出部
305、107 ループフィルタ
306、109 参照ピクチャメモリ
307、108 予測パラメータメモリ
308、101 予測画像生成部
309 インター予測画像生成部
310 イントラ予測画像生成部
311、105 逆量子化・逆変換部
312、106 加算部
320 予測パラメータ導出部
10 動画像符号化装置
11 画像符号化装置
102 減算部
103 変換・量子化部
104 エントロピー符号化部
110 符号化パラメータ決定部
111 パラメータ符号化部
112 インター予測パラメータ符号化部
113 イントラ予測パラメータ符号化部
120 予測パラメータ導出部
71 逆変換情報作成装置
81 逆変換情報符号化装置
91 逆変換情報復号装置
611 NNフィルタ部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】