知財求人 - 知財ポータルサイト「IP Force」
特許7476631画像コーディング方法及び装置並びに画像デコーディング方法及び装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-22
(45)【発行日】2024-05-01
(54)【発明の名称】画像コーディング方法及び装置並びに画像デコーディング方法及び装置
(51)【国際特許分類】
H04N 19/90 20140101AFI20240423BHJP
【ＦＩ】
H04N19/90
【請求項の数】
10
(21)【出願番号】P 2020068869
(22)【出願日】2020-04-07
(65)【公開番号】P2020191077
(43)【公開日】2020-11-26
【審査請求日】2023-01-12
(31)【優先権主張番号】201910429351.7
(32)【優先日】2019-05-22
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】周 静
(72)【発明者】
【氏名】中川 章
(72)【発明者】
【氏名】温 思寒
(72)【発明者】
【氏名】タヌ・ジミン
【審査官】岩井 健二
(56)【参考文献】
【文献】国際公開第２０２１／１５５８３２（ＷＯ，Ａ１）
【文献】国際公開第２０２０／２６１３１４（ＷＯ，Ａ１）
【文献】特開２０２０－１９１６３１（ＪＰ，Ａ）
【文献】特開２０２０－１９１６３０（ＪＰ，Ａ）
【文献】特開２０１９－０７９５１４（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １９／００ － １９／９８
(57)【特許請求の範囲】
【請求項1】
画像コーディング装置であって、畳み込みニューラルネットワークを用いて処理待ちの画像データに対して特徴抽出を行い、前記画像データの特徴マップを生成する畳み込みニューラルネットワークコーダ；
前記特徴マップに対して量子化を行い、離散的な特徴マップを生成する量子化器；
前記離散的な特徴マップに対して前処理を行って前処理データを生成し、前記前処理データのデータ量が前記離散的な特徴マップのデータ量よりも小さい前処理器；
前記前処理データに基づいて前記離散的な特徴マップにおけるコーディング待ちデータの確率を計算する確率推定器；及び
前記コーディング待ちデータの確率に基づいて前記コーディング待ちデータに対してエントロピーコーディングを行うエントロピーコーダを含む、画像コーディング装置。
【請求項2】
請求項1に記載の画像コーディング装置であって、前記前処理器は、前記離散的な特徴マップにおける一部のデータを前処理データとして選択し、前記前処理データは、現在の前記コーディング待ちデータを中心とする、所定範囲内の複数のデータを含む、画像コーディング装置。
【請求項3】
請求項2に記載の画像コーディング装置であって、前記確率推定器は、マスク畳み込み層を含み、前記マスク畳み込み層は、前記前処理データに対して畳み込み演算を行い、前記所定範囲は、前記マスク畳み込み層のスケールに対応する、画像コーディング装置。
【請求項4】
請求項3に記載の画像コーディング装置であって、前記マスク畳み込み層の数が1つである場合、前記所定範囲は、前記マスク畳み込み層のスケールに等しく、前記マスク畳み込み層の数が複数である場合、前記所定範囲は、複数の前記マスク畳み込み層の最大スケールに等しく、又は、前記所定範囲は、各前記マスク畳み込み層のスケールに等しい、画像コーディング装置。
【請求項5】
請求項1に記載の画像コーディング装置であって、フラッグデータを生成し、前記フラッグデータが、前記離散的な特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられるフラッグデータ生成器をさらに含み、
前記エントロピーコーダは、さらに、前記フラッグデータに基づいて、前記離散的な特徴マップにおける前記コーディング待ちデータに対してエントロピーコーディングを行う、画像コーディング装置。
【請求項6】
請求項5に記載の画像コーディング装置であって、前記エントロピーコーダは、前記フラッグデータにより、前記離散的な特徴マップにおける或るチャネルのデータがすべてゼロであると指示するときに、前記離散的な特徴マップにおける該チャネルの前記コーディング待ちデータに対してエントロピーコーディングを行わず、前記フラッグデータにより、前記離散的な特徴マップにおける或るチャネルのデータがすべてゼロでないと指示するときに、前記コーディング待ちデータの確率に基づいて該チャネルの前記コーディング待ちデータに対してエントロピーコーディングを行う、画像コーディング装置。
【請求項7】
画像コーディング装置であって、畳み込みニューラルネットワークを用いて処理待ちの画像データに対して特徴抽出を行い、前記画像データの特徴マップを生成する畳み込みニューラルネットワークコーダ；
前記特徴マップに対して量子化を行い、離散的な特徴マップを生成する量子化器；
前記離散的な特徴マップにおけるコーディング待ちデータの確率を計算する確率推定器；
フラッグデータを生成し、前記フラッグデータが、前記離散的な特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられるフラッグデータ生成器；及び
前記フラッグデータ及び前記コーディング待ちデータの確率に基づいて前記コーディング待ちデータに対してエントロピーコーディングを行うエントロピーコーダを含む、画像コーディング装置。
【請求項8】
請求項7に記載の画像コーディング装置であって、前記エントロピーコーダは、前記フラッグデータにより、前記離散的な特徴マップにおける或るチャネルのデータがすべてゼロであると指示するときに、前記離散的な特徴マップにおける該チャネルの前記コーディング待ちデータに対してエントロピーコーディングを行わず、前記フラッグデータにより、前記離散的な特徴マップにおける或るチャネルのデータがすべてゼロでないと指示するときに、前記コーディング待ちデータの確率に基づいて該チャネルの前記コーディング待ちデータに対してエントロピーコーディングを行う、画像コーディング装置。
【請求項9】
画像デコーディング装置であって、現在のデコーディング待ちデータの確率を推定する確率推定器；
フラッグデータ及び前記デコーディング待ちデータの確率に基づいて前記デコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得し、前記フラッグデータが、前記特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられるエントロピーデコーダ；及び
前記特徴マップに対して再構成を行い、画像データを生成する畳み込みニューラルネットワークデコーダを含む、画像デコーディング装置。
【請求項10】
請求項9に記載の画像デコーディング装置であって、前記エントロピーデコーダは、前記フラッグデータにより、前記特徴マップにおける或るチャネルのデータがすべてゼロであると指示する場合、該チャネルについてすべてゼロの特徴マップを生成し、前記フラッグデータにより、前記特徴マップにおける或るチャネルのデータがすべてゼロでないと指示する場合、前記デコーディング待ちデータの確率に基づいて、該チャネルの前記デコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを得る、画像デコーディング装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理分野に関する。
【背景技術】
【0002】
コンピュータ技術の発展に伴い、画像の応用が広くなっている。画像ファイルを効率よく記憶又は伝送するために、画像ファイルに対して画像コーディング（画像圧縮）を行う必要がある。画像コーディングは、コードレートと圧縮歪みの度合いとのトレードオフと見なすことができる。
【0003】
シャノンの情報源コーディング定理によれば、データ圧縮の理論限界が情報量（エントロピー）である。言い換えると、画像データのエントロピーを正確に推定ことができれば、比較的少ないビット又は比較的小さいコードレートを用いて画像データを表すことができ、これにより、レートとディストーションとのバランスを取ることができる。
【0004】
画像データのエントロピーを計算するために、まず、コーディング待ちデータの確率を確定する必要がある。しかし、通常の場合、コーディング待ちデータの確率が既知でないので、コーディング待ちデータの確率を推定する必要がある。コーディング待ちデータの確率を正確に推定することができれば、比較的少ないビット又は比較的小さいコードレートを用いて画像データを表すことができ、これにより、画像データのコーディング効率を向上させることができる。
【発明の概要】
【発明が解決しようとする課題】
【0005】
現在のところ、自己回帰先験的（Autoregressive Priors）方法により、良い確率推定を行うことができる。例えば、自己回帰モデル（Autoregressive Model）及び階層的先験モデル（Hierarchical Prior Model）を有するエントロピーモデルを用いて確率推定を行うことができる。
【0006】
しかし、発明者が次のようなことを発見した。即ち、自己回帰モデルが著しい計算オーバーヘッドを要するので、画像データに対してコーディング（coding）／デコーディング（decoding）を行うときに、比較的大きいレイテンシが生じる恐れがある。また、エントロピーモデルに基づいて計算された確率を用いて画像に対してコーディング／デコーディングを行うときに、コーダ及びデコーダの効率も、画像データをコーディング／デコーディングする時間長に影響を与える重要なファクターの１つである。
【0007】
本発明の実施例は、画像コーディング／デコーディングの時間長を短縮することができる画像コーディング方法及び装置並びに画像デコーディング方法及び装置を提供する。
【課題を解決するための手段】
【0008】
本発明の実施例の第一側面によれば、画像コーディング方法が提供され、該方法は、
畳み込みニューラルネットワークを用いて、処理待ちの画像データに対して特徴抽出を行い、前記画像データの特徴マップを生成し；
前記特徴マップに対して量子化を行い、離散的な特徴マップを生成し；
前記離散的な特徴マップに対して前処理を行い、前処理データを生成し、前記前処理データのデータ量が前記離散的な特徴マップのデータ量よりも小さく；
前記前処理データに基づいて前記離散的な特徴マップにおけるコーディング待ちデータの確率を計算し；及び
前記コーディング待ちデータの確率に基づいて前記コーディング待ちデータに対してエントロピーコーディングを行うことを含む。
畳み込みニューラルネットワークを用いて、処理待ちの画像データに対して特徴抽出を行い、前記画像データの特徴マップを生成し；
前記特徴マップに対して量子化を行い、離散的な特徴マップを生成し；
前記離散的な特徴マップに対して前処理を行い、前処理データを生成し、前記前処理データのデータ量が前記離散的な特徴マップのデータ量よりも小さく；
前記前処理データに基づいて前記離散的な特徴マップにおけるコーディング待ちデータの確率を計算し；及び
前記コーディング待ちデータの確率に基づいて前記コーディング待ちデータに対してエントロピーコーディングを行うことを含む。
【0009】
本発明の実施例の第二側面によれば、画像デコーディング方法が提供され、該方法は、
デコーディング済みデータに対して前処理を行い、前処理データを生成し、前記前処理データのデータ量が前記デコーディング済みデータのデータ量よりも小さく；
前記前処理データに基づいて現在のデコーディング待ちデータの確率を計算し；
前記確率に基づいて前記デコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得し；及び
前記特徴マップに対して再構成を行い、画像データを生成することを含む。
デコーディング済みデータに対して前処理を行い、前処理データを生成し、前記前処理データのデータ量が前記デコーディング済みデータのデータ量よりも小さく；
前記前処理データに基づいて現在のデコーディング待ちデータの確率を計算し；
前記確率に基づいて前記デコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得し；及び
前記特徴マップに対して再構成を行い、画像データを生成することを含む。
【0010】
本発明の実施例の第三側面によれば、画像コーディング方法が提供され、該方法は、
畳み込みニューラルネットワークを用いて、処理待ちの画像データに対して特徴抽出を行い、前記画像データの特徴マップを生成し；
前記特徴マップに対して量子化を行い、離散的な特徴マップを生成し；
前記離散的な特徴マップにおけるコーディング待ちデータの確率を計算し；
フラッグデータを生成し、前記フラッグデータが、前記離散的な特徴マップにおける各チャネルデータがすべてゼロであるかを指示するために用いられ；及び
前記フラッグデータ及び前記コーディング待ちデータの確率に基づいて、前記コーディング待ちデータに対してエントロピーコーディングを行うことを含む。
畳み込みニューラルネットワークを用いて、処理待ちの画像データに対して特徴抽出を行い、前記画像データの特徴マップを生成し；
前記特徴マップに対して量子化を行い、離散的な特徴マップを生成し；
前記離散的な特徴マップにおけるコーディング待ちデータの確率を計算し；
フラッグデータを生成し、前記フラッグデータが、前記離散的な特徴マップにおける各チャネルデータがすべてゼロであるかを指示するために用いられ；及び
前記フラッグデータ及び前記コーディング待ちデータの確率に基づいて、前記コーディング待ちデータに対してエントロピーコーディングを行うことを含む。
【0011】
本発明の実施例の第四側面によれば、画像デコーディング方法が提供され、該方法は、
現在のデコーディング待ちデータの確率を推定し；
フラッグデータ及び前記デコーディング待ちデータの確率に基づいて前記デコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得し、そのうち、前記フラッグデータが、前記特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられ；及び
前記特徴マップに対して再構成を行い、画像データを生成することを含む。
現在のデコーディング待ちデータの確率を推定し；
フラッグデータ及び前記デコーディング待ちデータの確率に基づいて前記デコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得し、そのうち、前記フラッグデータが、前記特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられ；及び
前記特徴マップに対して再構成を行い、画像データを生成することを含む。
【0012】
本発明の実施例の第五側面によれば、画像コーディング装置が提供され、該装置は、
畳み込みニューラルネットワークコーダであって、畳み込みニューラルネットワークを用いて、処理待ちの画像データに対して特徴抽出を行い、前記画像データの特徴マップを生成するもの；
量子化器であって、前記特徴マップに対して量子化を行い、離散的な特徴マップを生成するもの；
前処理器であって、前記離散的な特徴マップに対して前処理を行い、前処理データを生成し、前記前処理データのデータ量が前記離散的な特徴マップのデータ量よりも小さいもの；
確率推定器であって、前記前処理データに基づいて前記離散的な特徴マップにおけるコーディング待ちデータの確率を計算するもの；及び
エントロピーコーダであって、前記コーディング待ちデータの確率に基づいて前記コーディング待ちデータに対してエントロピーコーディングを行うものを含む。
畳み込みニューラルネットワークコーダであって、畳み込みニューラルネットワークを用いて、処理待ちの画像データに対して特徴抽出を行い、前記画像データの特徴マップを生成するもの；
量子化器であって、前記特徴マップに対して量子化を行い、離散的な特徴マップを生成するもの；
前処理器であって、前記離散的な特徴マップに対して前処理を行い、前処理データを生成し、前記前処理データのデータ量が前記離散的な特徴マップのデータ量よりも小さいもの；
確率推定器であって、前記前処理データに基づいて前記離散的な特徴マップにおけるコーディング待ちデータの確率を計算するもの；及び
エントロピーコーダであって、前記コーディング待ちデータの確率に基づいて前記コーディング待ちデータに対してエントロピーコーディングを行うものを含む。
【0013】
本発明の実施例の第六側面によれば、画像デコーディング装置が提供され、該装置は、
前処理器であって、デコーディング済みデータに対して前処理を行い、前処理データを生成し、前記前処理データのデータ量が前記デコーディング済みデータのデータ量よりも小さいもの；
確率推定器であって、前記前処理データに基づいて現在のデコーディング待ちデータの確率を計算するもの；
エントロピーデコーダであって、前記確率に基づいて前記デコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得するもの；及び
畳み込みニューラルネットワークデコーダであって、前記特徴マップに対して再構成を行い、画像データを生成するものを含む。
前処理器であって、デコーディング済みデータに対して前処理を行い、前処理データを生成し、前記前処理データのデータ量が前記デコーディング済みデータのデータ量よりも小さいもの；
確率推定器であって、前記前処理データに基づいて現在のデコーディング待ちデータの確率を計算するもの；
エントロピーデコーダであって、前記確率に基づいて前記デコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得するもの；及び
畳み込みニューラルネットワークデコーダであって、前記特徴マップに対して再構成を行い、画像データを生成するものを含む。
【0014】
本発明の実施例の第七側面によれば、画像コーディング装置が提供され、該装置は、
畳み込みニューラルネットワークコーダであって、畳み込みニューラルネットワークを用いて、処理待ちの画像データに対して特徴抽出を行い、前記画像データの特徴マップを生成するもの；
量子化器であって、前記特徴マップに対して量子化を行い、離散的な特徴マップを生成するもの；
確率推定器であって、前記離散的な特徴マップにおけるコーディング待ちデータの確率を計算するもの；
フラッグデータ生成器であって、フラッグデータを生成し、前記フラッグデータが、前記離散的な特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられるもの；及び
エントロピーコーダであって、前記フラッグデータ及び前記コーディング待ちデータの確率に基づいて前記コーディング待ちデータに対してエントロピーコーディングを行うものを含む。
畳み込みニューラルネットワークコーダであって、畳み込みニューラルネットワークを用いて、処理待ちの画像データに対して特徴抽出を行い、前記画像データの特徴マップを生成するもの；
量子化器であって、前記特徴マップに対して量子化を行い、離散的な特徴マップを生成するもの；
確率推定器であって、前記離散的な特徴マップにおけるコーディング待ちデータの確率を計算するもの；
フラッグデータ生成器であって、フラッグデータを生成し、前記フラッグデータが、前記離散的な特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられるもの；及び
エントロピーコーダであって、前記フラッグデータ及び前記コーディング待ちデータの確率に基づいて前記コーディング待ちデータに対してエントロピーコーディングを行うものを含む。
【0015】
本発明の実施例の第八側面によれば、画像デコーディング装置が提供され、該装置は、
確率推定器であって、現在のデコーディング待ちデータの確率を推定するもの；
エントロピーデコーダであって、フラッグデータ及び前記デコーディング待ちデータの確率に基づいて前記デコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得し、そのうち、前記フラッグデータが、前記特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられるもの；及び
畳み込みニューラルネットワークデコーダであって、前記特徴マップに対して再構成を行い、画像データを生成するものを含む。
確率推定器であって、現在のデコーディング待ちデータの確率を推定するもの；
エントロピーデコーダであって、フラッグデータ及び前記デコーディング待ちデータの確率に基づいて前記デコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得し、そのうち、前記フラッグデータが、前記特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられるもの；及び
畳み込みニューラルネットワークデコーダであって、前記特徴マップに対して再構成を行い、画像データを生成するものを含む。
【0016】
本発明の実施例の有益な効果の１つは、画像コーディング／デコーディングの時間長を短縮することができるということにある。
【図面の簡単な説明】
【0017】
【図1】本発明の実施例における画像コーディング方法のフローチャートである。
【図2】本発明の実施例における前処理データを示す図である。
【図3A】本発明の実施例におけるマスク畳み込み層を示す図である。
【図3B】本発明の実施例における他のマスク畳み込み層を示す図である。
【図3C】本発明の実施例における他のマスク畳み込み層を示す図である。
【図4】本発明の実施例における画像コーディング方法の他のフローチャートである。
【図5】本発明の実施例における画像コーディング装置の構成を示す図である。
【図6】本発明の実施例における画像デコーディング方法のフローチャートである。
【図7】本発明の実施例における画像デコーディング方法の他のフローチャートである。
【図8】本発明の実施例における画像デコーディング装置の構成を示す図である。
【図9】本発明の実施例における画像コーディング方法のフローチャートである。
【図10】本発明の実施例における画像デコーディング方法のフローチャートである。
【図11】本発明の実施例における画像コーディング装置の構成を示す図である。
【図12】本発明の実施例における画像デコーディング装置の構成を示す図である。
【図13】本発明の実施例における画像コーディング装置の構成を示す図である。
【図14】本発明の実施例における画像デコーディング装置の構成を示す図である。
【図15】本発明の実施例における電子機器の構成を示す図である。
【発明を実施するための形態】
【0018】
以下、添付した図面を参照しながら、本発明を実施するための好適な実施例を詳しく説明する。
【0019】
なお、本発明の実施例では、畳み込みニューラルネットワーク（CNN、Convolutional Neural Network）を例として説明するが、本発明は、これに限られない。また、CNNの基本概念及び内容については、関連技術を参照することができる。
【0020】
【0021】
101：畳み込みニューラルネットワークを用いて、処理待ちの画像データに対して特徴抽出を行い、画像データの特徴マップを生成し；
102：特徴マップに対して量子化を行い、離散的な特徴マップを生成し；
103：離散的な特徴マップに対して前処理を行い、前処理データを生成し、該前処理データのデータ量が離散的な特徴マップのデータ量よりも小さく；
104：前処理データに基づいて離散的な特徴マップにおけるコーディング待ちデータの確率を計算し；
105：コーディング待ちデータの確率に基づいてコーディング待ちデータに対してエントロピーコーディングを行う。
102：特徴マップに対して量子化を行い、離散的な特徴マップを生成し；
103：離散的な特徴マップに対して前処理を行い、前処理データを生成し、該前処理データのデータ量が離散的な特徴マップのデータ量よりも小さく；
104：前処理データに基づいて離散的な特徴マップにおけるコーディング待ちデータの確率を計算し；
105：コーディング待ちデータの確率に基づいてコーディング待ちデータに対してエントロピーコーディングを行う。
【0022】
本発明の実施例では、離散的な特徴マップに対して前処理を行い、データ量が比較的小さい前処理データを生成し、そして、前処理データに基づいてコーディング待ちデータの確率を形成することで、確率を計算する時間を短縮することができ、これにより、画像コーディングの時間長を短縮することができる。
【0023】
１つ又は複数の実施例では、ステップ101において、畳み込みニューラルネットワークは、畳み込み計算を含み且つ深度構成を有するフィードフォワードニューラルネットワーク（Feedforward Neural Networks）であり、ディープラーニング（deep learning）の代表的なアルゴリズムの１つである。畳み込みニューラルネットワークを用いて、処理待ちの画像データに対して特徴抽出を行うことで、該画像データに対応する特徴マップを得ることができる。
【0024】
１つ又は複数の実施例では、ステップ102において、畳み込みニューラルネットワークにより得られた特徴マップは、アナログデータの形式である。該アナログデータの形式の特徴マップに対して量子化を行うことで、離散的な形式の特徴マップを取得することができ、該離散的な形式の特徴マップは、コーディング待ちデータである。１つ又は複数の実施例では、任意の量子化方法を採用して特徴マップの量子化を行っても良いが、本発明の実施例では、これについて限定しない。
【0025】
１つ又は複数の実施例では、ステップ103において、任意の１つの方法で、離散的な特徴マップに基づいて、データ量が離散的な特徴マップよりも小さい前処理データを生成することができる。例えば、離散的な特徴マップから一部のデータを前処理データとして選択しても良く、例えば、前処理データは、現在のコーディング待ちデータを中心とする、所定範囲内の複数のデータを含んでも良い。
【0026】
前処理データに離散的な特徴マップのうち一部のみのデータが含まれるので、前処理データのデータ量は、離散的な特徴マップのデータ量よりも小さい。これにより、前処理データに基づいて確率推定を行うときに、確率推定の計算量を減少させ、確率推定の効率を向上させることができる。
【0027】
１つ又は複数の実施例では、ステップ104において、任意の１つの確率モデルの計算を行っても良く、例えば、ガウス確率モデル、ラプラス確率モデルなどを採用しても良い。ガウス確率モデルを例とすれば、ガウス分布の平均値や分散、標準偏差を推定することにより、ガウス確率モデルを得ることができる。
【0028】
１つ又は複数の実施例では、ステップ104において、任意の１つの方法で、離散的な特徴マップにおけるコーディング待ちデータに対して確率推定を行うことができる。例えば、自己回帰モデル及び階層的先験モデルを有するエントロピーモデルを用いて確率推定を行っても良い。そのうち、自己回帰モデルは、離散的な特徴マップにおけるコーディング待ちデータの順序に従って逐点（point by point）で推定することができ、そのうち、推定されるコーディング待ちデータの確率は、該コーディング待ちデータの前のコーディング済みデータの情報に依存する。
【0029】
該自己回帰モデルは、任意の形式であっても良く、例えば、該自己回帰モデルは、マスク畳み込み層を有しても良く、該マスク畳み込み層は、前処理データに対して畳み込み処理を行う。そのうち、マスク畳み込み層は、コーディング待ちデータを中心とする複数のデータに対して畳み込み運算を行うために用いられ、コーディング待ちデータの前のコーディング済みデータの重み（weight）を1とし、コーディング待ちデータの後の未コーディングデータの重みを0とすることができる。そのうち、該自己回帰モデルは、１つ又は複数のマスク畳み込み層を有しても良く、複数のマスク畳み込み層を有する場合、該複数のマスク畳み込み層のスケールは、同じであっても良く、異なっても良い。なお、本発明の実施例は、これに限定されず、他の形式の自己回帰モデルを用いて確率推定を行っても良い。
【0030】
１つ又は複数の実施例では、マスク畳み込み層を用いて離散的な特徴マップにおけるコーディング待ちデータの確率を計算するときに、マスク畳み込み層のスケールに基づいて前処理データに対応する所定範囲を確定する。
【0031】
例えば、１つの実施例では、マスク畳み込み層の個数が1個であり、マスク畳み込み層のスケールがn*nである場合（nは、0よりも大きい整数である）、離散的な特徴マップにおける、現在のコーディング待ちデータを中心とする、範囲がn*n以上であり且つ離散的な特徴マップのサイズよりも小さいデータを前処理データとしても良い。１つの実施例では、離散的な特徴マップにおける、現在のコーディング待ちデータを中心とする、n*nの範囲内のデータのみを前処理データとしても良い。
【0032】
前処理データのサイズがマスク畳み込み層のスケール以上であるから、マスク畳み込み層のパフォーマンスに影響せず、確率推定の正確性にも影響しない。また、マスク畳み込み層が前処理データのみに対して畳み込み処理を行い、且つ、前処理データのサイズが離散的な特徴マップのサイズよりも小さいので、マスク畳み込み層の計算時間長を短縮することができる。
【0033】
また、例えば、もう１つの実施例では、マスク畳み込み層の個数が複数個であり、マスク畳み込み層のスケールが同じであり、すべて、m*mである場合、前処理データのサイズの設定方式は、マスク畳み込み層の個数が1個であるときの方式を参照することができ、例えば、離散的な特徴マップにおける、現在のコーディング待ちデータを中心とする、範囲がm*m以上であり且つ離散的な特徴マップのサイズよりも小さいデータを前処理データとしても良い。
【0034】
また、例えば、もう１つの実施例では、マスク畳み込み層の個数が複数個であり、マスク畳み込み層のスケールが異なる場合、例えば、離散的な特徴マップにおける、現在のコーディング待ちデータを中心とする、範囲がa*a以上であり且つ離散的な特徴マップのサイズより小さいデータを前処理データとしても良く、そのうち、a*aは、該複数のマスク畳み込み層のうちの最大マスク畳み込み層のスケールである。或いは、各マスク畳み込み層についてそれぞれ異なる所定範囲のデータを前処理データとして選択しても良く、そのうち、各マスク畳み込み層についてそれぞれ前処理データを選択する方式は、マスク畳み込み層の個数が1個であるときの方式を参照することができる。
【0035】
図2は、本発明の実施例における前処理データを示す図である。説明の便宜のため、図2は、例示的に15*10の特徴マップを採用している。なお、理解すべきは、特徴マップは、他のサイズのものであっても良く、本発明の実施例は、これについて限定しない。
【0036】
図2に示すように、該特徴マップでは、各矩形が１つの離散的なコーディング待ちデータを表し、点線矩形がコーディング済みデータに対応し、矩形Dが現在の、確率を推定する必要のあるコーディング待ちデータに対応し、図中の矢印により示される方向で逐一でコーディング待ちデータに対して確率推定を行う。
【0037】
図3A-図3Cは、本発明の実施例におけるマスク畳み込み層を示す図である。図3A-図3Cに示すように、マルチスケールコンテキストモデルにおいて3個の異なるスケールのマスク畳み込み層が使用されても良く、そのうち、マスク畳み込み層のスケールは、それぞれ、3*3、5*5及び7*7であっても良い。
【0038】
例えば、図3Aに示す3*3のマスク畳み込み層が図2中の矩形Aに対応し、図3Bに示す5*5のマスク畳み込み層が図2中の矩形Bに対応し、図3Cに示す7*7のマスク畳み込み層が図2中の矩形Cに対応し、図3A中の矩形301、図3B中の矩形302、及び図3C中の矩形303が図2中の矩形D、即ち、現在のコーディング待ちデータに対応する。
【0039】
図2及び図3A-図3Cに示すように、推定されるコーディング待ちデータの確率が該コーディング待ちデータの前のコーディング済みデータの情報に依存するから、該コーディング待ちデータの前のコーディング済みデータの重みを1とし、該コーディング待ちデータの後の未コーディングデータの重みを0とし、そして、公式1に基づいて、推定されるコーディング待ちデータの確率を計算することができる。
【数1】
【0040】
そのうち、
（外１）
は、推定されるコーディング待ちデータの確率であり、
（外２）
は、データ
（外３）
のその前のデータ
（外４）
に対しての条件付き確率であり、mは、その前のデータの個数であり、それは、マスク畳み込み層のスケールと関係があり、例えば、マスク畳み込み層のスケールが3*3であるときに、m=4であり、マスク畳み込み層のスケールが5*5であるときに、m=12であり、マスク畳み込み層のスケールが7*7であるときに、m=24である。
（外１）
（外２）
（外３）
（外４）
【0041】
マスク畳み込み層の個数が3個であり、スケールがそれぞれ3*3、5*5及び7*7である場合、図2に示すように、離散的な特徴マップにおける、現在のコーディング待ちデータDを中心とする7*7の範囲内のデータを前処理データ（ボックスC内のデータに対応する）とし、3*3のマスク畳み込み層、5*5のマスク畳み込み層及び7*7のマスク畳み込み層は、すべて、サイズが7*7である前処理データにおいて畳み込み運算を行うことができる。この場合、現在のコーディング待ちデータDの確率を計算するときに、マスク畳み込み層の数量にも関わらず、１回のみのトリミングを行うことで前処理データを生成することができる。
【0042】
或いは、図2に示すように、各マスク畳み込み層のためにそれぞれ前処理データを生成しても良い。例えば、離散的な特徴マップにおける、現在のコーディング待ちデータDを中心とする3*3の範囲内のデータを第一前処理データとし（ボックスA内のデータに対応する）、現在のコーディング待ちデータDを中心とする5*5の範囲内のデータを第二前処理データとし（ボックスB内のデータに対応する）、現在のコーディング待ちデータDを中心とする7*7の範囲内のデータを第三前処理データとし（ボックスC内のデータに対応する）、3*3のマスク畳み込み層は、第一前処理データにおいて畳み込み運算を行い、5*5のマスク畳み込み層は、第二前処理データにおいて畳み込み運算を行い、7*7のマスク畳み込み層は、第三前処理データにおいて畳み込み運算を行うこともできる。
【0043】
１つ又は複数の実施例では、ステップ105では、エントロピーコーディング即ちコーディング過程において、エントロピー原理に従っていずれの情報も失わない方式でエンコーディングを行う。エントロピーコーディングを行うときに、各コーディング待ちデータの出現確率が正確であればあるほど、少ないビットで該コーディング待ちデータを表すことができる。ステップ105では、任意のエントロピーコーディング、例えば、Shannonコーディング、Huffmanコーディング、算術コーディング（arithmetic coding）などを採用しても良い。
【0044】
【0045】
401：畳み込みニューラルネットワークを用いて、処理待ちの画像データに対して特徴抽出を行い、画像データの特徴マップを生成し；
402 ：特徴マップに対して量子化を行い、離散的な特徴マップを生成し；
403：離散的な特徴マップに対して前処理を行い、前処理データを生成し、前処理データのデータ量が離散的な特徴マップのデータ量よりも小さく；
404：フラッグデータを生成し、フラッグデータが、離散的な特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられ；
405：前処理データに基づいて離散的な特徴マップにおけるコーディング待ちデータの確率を計算し；
406：フラッグデータ及びコーディング待ちデータの確率に基づいて、離散的な特徴マップにおけるコーディング待ちデータに対してエントロピーコーディングを行う。
402 ：特徴マップに対して量子化を行い、離散的な特徴マップを生成し；
403：離散的な特徴マップに対して前処理を行い、前処理データを生成し、前処理データのデータ量が離散的な特徴マップのデータ量よりも小さく；
404：フラッグデータを生成し、フラッグデータが、離散的な特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられ；
405：前処理データに基づいて離散的な特徴マップにおけるコーディング待ちデータの確率を計算し；
406：フラッグデータ及びコーディング待ちデータの確率に基づいて、離散的な特徴マップにおけるコーディング待ちデータに対してエントロピーコーディングを行う。
【0046】
本発明の実施例では、離散的な特徴マップにおける各チャネル（channel）のデータがすべてゼロであるかを指示するためのフラッグデータを生成することで、該フラッグデータに基づいて、コーディング待ちデータに対してエントロピーコーディングを行うことで、確率を計算する時間をさらに短縮することができ、これにより、画像コーディングの時間長を短縮することができる。
【0047】
１つ又は複数の実施例では、ステップ401、402、403、405が、それぞれ、ステップ101-104に対応しても良いから、これらの内容がここに合併され、詳細な説明が省略される。
【0048】
１つ又は複数の実施例では、ステップ404において、任意の１つの方式で、離散的な特徴マップにおける或るチャネルのデータがすべてゼロであるかを判断することができる。例えば、ステップ401でh*w*channelの特徴マップが生成されているとし、そのうち、channelは、特徴マップの個数、即ち、チャネル数を示し、h*wは、シングルチャネルの特徴マップのサイズを示す。第i個目のチャネルに係る特徴マップが全ゼロ特徴マップであるかを判断するときに（iは、0よりも大きく且つc以下の整数である）、該特徴マップにおけるh*w個のデータの絶対値の和を求めても良く、結果がゼロであるときに、該第i個目のチャネルに係る特徴マップは、全ゼロ特徴マップである。或いは、第i個目のチャネルに係る特徴マップが全ゼロ特徴マップであるかを判断するときに、順に、該特徴マップにおけるh*w個のデータがゼロであるかを判断しても良く、h*w個のデータがすべてゼロであるときに、該第i個目のチャネルに係る特徴マップは、全ゼロ特徴マップである。なお、本発明の実施例は、これに限られず、他の方式で特徴マップが全ゼロ特徴マップであるかを判断しても良い。
【0049】
１つ又は複数の実施例では、任意の１つの方式で各チャネルの特徴マップが全ゼロ特徴マップであるかを指示しても良い。例えば、バイナリビットの方式で、特徴マップがすべてゼロであるときに、該特徴マップに対応するビットの位置を0とし、特徴マップがすべてゼロでないときに、該特徴マップに対応するビットの位置を1としても良い。これにより、比較的少ないビット数で、該チャネル特徴マップが全ゼロ特徴マップであるかを表すことができる。
【0050】
１つ又は複数の実施例では、ステップ406において、フラッグデータ及びコーディング待ちデータの確率に基づいて離散的な特徴マップにおけるコーディング待ちデータに対してエントロピーコーディングを行うときに、例えば、フラッグデータにより、離散的な特徴マップにおける或るチャネルのデータがすべてゼロであることを指示するときに、離散的な特徴マップにおける該チャネルのコーディング待ちデータに対してエントロピーコーディングを行わず、フラッグデータにより、離散的な特徴マップにおける或るチャネルのデータがすべてゼロでないことを指示するときに、該チャネルのコーディング待ちデータの確率に基づいて、コーディング待ちデータに対してエントロピーコーディングを行う。
【0051】
例えば、以下の表１に示す疑似コードを参照してフラッグデータを生成し、そして、該フラッグデータ及びコーディング待ちデータの確率に基づいてコーディングを行うことができる。
【表1】
【0052】
１つ又は複数の実施例では、ステップ405において、前処理データに基づいて離散的な特徴マップにおけるコーディング待ちデータの確率を計算しても良く、また、ステップ404において生成されるフラッグデータに基づいて離散的な特徴マップにおけるコーディング待ちデータの確率を計算しても良い。
【0053】
例えば、フラッグデータにより、離散的な特徴マップにおける或るチャネルのデータがすべてゼロであることを指示するときに、離散的な特徴マップにおける該チャネルのコーディング待ちデータの確率を計算しない。フラッグデータにより、離散的な特徴マップにおける或るチャネルのデータがすべてゼロでないことを指示するときに、前処理データに基づいて離散的な特徴マップにおける該チャネルのコーディング待ちデータの確率を計算する。これにより、画像コーディングの時間長をさらに短縮することができる。
【0054】
【0055】
図5に示すように、まず、畳み込みニューラルネットワークコーダを用いて、処理待ちの画像データに対して特徴抽出を行い、該画像データの潜在表現y（即ち、特徴マップ）を取得し；量子化器を用いて、潜在表現yに対して量子化を行い、離散的な潜在表現
（外５）
（即ち、コーディング待ちデータ）を取得し；該離散的な潜在表現
（外６）
が前処理器を経て、離散的な潜在表現
（外７）
における、現在のコーディング待ちデータを中心とする7*7の範囲内のデータが選択され、選択されたデータが前処理データ
（外８）
とされ；該前処理データ
（外９）
がそれぞれ3*3の畳み込みカーネル、5*5の畳み込みカーネル及び7*7の畳み込みカーネルを経て、畳み込み運算後の結果c1、c2及びc3が取得され；階層的先験モデルが潜在表現yに基づいて結果c4を生成し；畳み込み運算後の結果c1、c2、c3及びc4に基づいて、エントロピーパラメータモジュールにより、コーディング待ちデータの確率モデルを計算し、ガウス分布を例とすると、確率モデルは、ガウス分布の平均値μ及び標準偏差σを含み、これにより、コーディング待ちデータの確率
（外１０）
を取得し；フラッグデータ生成器により、離散的な潜在表現
（外１１）
が各チャネル上ですべてゼロであるかを指示するためのフラッグデータflagを生成し、そして、算術コーダが確率
（外１２）
及びフラッグデータflagに基づいて、離散的な潜在表現
（外１３）
に対してエントロピーコーディングを行い、画像データを表すコードストリームb1を生成する。
（外５）
（外６）
（外７）
（外８）
（外９）
（外１０）
（外１１）
（外１２）
（外１３）
【0056】
１つ又は複数の実施例では、フラッグデータflag及び画像データを表すコードストリームb1は、ネットワーク伝送又は記憶のために用いられても良い。デコーダ側では、フラッグデータflagに基づいてコードストリームb1に対して対応するデコーディングを行うことで、画像データを再構成することができる。
【0057】
なお、以上、図1又は図4は、本発明の実施例を例示的に説明するためのものに過ぎず、本発明は、これに限られない。例えば、適切に各ステップ間の実行順序を調整したり、幾つかのステップを増減したりしても良い。言い換えると、当業者は、図1又は図4の記載に限られず、上述の内容に対して適切に変更や変形などを行っても良い。
【0058】
離散的な特徴マップに対して前処理を行い、データ量が比較的小さい前処理データを生成し、そして、前処理データに基づいてコーディング待ちデータの確率を計算することで、確率を計算する時間を短縮することができ、これにより、画像コーディングの時間長を短縮することができる。
【0059】
【0060】
601：デコーディング済みデータに対して前処理を行い、前処理データを生成し、前処理データのデータ量がデコーディング済みデータのデータ量よりも小さく；
602：前処理データに基づいて、現在のデコーディング待ちデータの確率を計算し；
603：確率に基づいてデコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得し；
604：畳み込みニューラルネットワークを用いて、特徴マップを再構成し、画像データを生成する。
602：前処理データに基づいて、現在のデコーディング待ちデータの確率を計算し；
603：確率に基づいてデコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得し；
604：畳み込みニューラルネットワークを用いて、特徴マップを再構成し、画像データを生成する。
【0061】
本発明の実施例では、デコーディング済みデータに対して前処理を行い、データ量が比較的小さい前処理データを生成し、そして、前処理データに基づいてデコーディング待ちデータの確率を計算することで、確率を計算する時間を短縮することができ、これにより、画像デコーディングの時間長を短縮することができる。
【0062】
１つ又は複数の実施例では、ステップ601では、任意の１つの方式で、デコーディング済みデータに基づいて、データ量がデコーディング済みデータよりも小さい前処理データを生成しても良い。例えば、デコーディング済みデータから一部のデータを前処理データとして選択しても良く、例えば、前処理データは、現在のデコーディング待ちデータを中心とする、所定範囲内の複数のデータを含んでも良い。前処理データがデコーディング済みデータにおける一部のみのデータを含むので、前処理データのデータ量は、コーディング済みデータのデータ量よりも小さい。これにより、前処理データに基づいて確率推定を行うときに、確率推定の計算量を減少させ、確率推定の効率を向上させることができる。
【0063】
１つ又は複数の実施例では、ステップ602において、任意の１つの確率モデルの計算を行っても良く、例えば、ガウス確率モデル、ラプラス確率モデルなどを採用しても良い。ガウス確率モデルを例とすると、ガウス分布の平均値や分散、標準偏差を推定することで、ガウス確率モデルを得ることができる。
【0064】
１つ又は複数の実施例では、ステップ602において、任意の１つの方式でデコーディング待ちデータに対して確率推定を行っても良い。例えば、自己回帰モデル及び階層的先験モデルを有するエントロピーモデルを採用して確率推定を行っても良い。そのうち、自己回帰モデルは、デコーディング待ちデータの順序に従って逐点で推定しても良い。また、推定されるデコーディング待ちデータの確率は、該デコーディング待ちデータの前のデコーディング済みデータの情報に依存する。
【0065】
該自己回帰モデルは、任意の形式であっても良く、例えば、該自己回帰モデルは、マスク畳み込み層を有しても良く、該マスク畳み込み層は、前処理データに対して畳み込み処理を行う。そのうち、マスク畳み込み層は、現在のデコーディング待ちデータを中心とする複数のデータに対して畳み込み運算を行うために用いられ、デコーディング待ちデータの前のデコーディング済みデータの重みを1とし、デコーディング待ちデータの後の未デコーディングデータの重みを0とすることができる。そのうち、該自己回帰モデルは、１つ又は複数のマスク畳み込み層を有しても良く、複数のマスク畳み込み層を有する場合、該複数のマスク畳み込み層のスケールは、同じであっても良く、異なっても良い。なお、本発明は、これに限られず、他の形式の自己回帰モデルを採用して確率推定を行っても良い。
【0066】
１つ又は複数の実施例では、マスク畳み込み層を用いてデコーディング待ちデータの確率を計算するときに、マスク畳み込み層のスケールに基づいて、前処理データに対応する所定範囲を確定することができる。例えば、マスク畳み込み層の個数が1個である場合、所定範囲は、マスク畳み込み層のスケールに等しくても良い。マスク畳み込み層の個数が複数個である場合、所定範囲は、複数のマスク畳み込み層の最大スケールに等しくても良く、又は、所定範囲は、各マスク畳み込み層のスケールに等しくても良い。具体的な方式は、第一側面の実施例に記載のようであるため、その内容がここに合併され、ここでは、その詳しい説明を省略する。
【0067】
１つ又は複数の実施例では、ステップ603において、任意の１つのエントロピーデコーディング、例えば、Shannonコーディング、Huffmanコーディング、算術コーディング（arithmetic coding）などに対応するデコーディングを採用しても良い。
【0068】
１つ又は複数の実施例では、ステップ604において、畳み込みニューラルネットワークは、畳み込み計算を含み且つ深度構成を有するフィードフォワードニューラルネットワーク（Feedforward Neural Networks）であり、ディープラーニング（deep learning）の代表的なアルゴリズムの１つである。畳み込みニューラルネットワークを用いて、特徴マップを再構成することで、画像データを再構成することができる。
【0069】
【0070】
701：デコーディング済みデータに対して前処理を行い、前処理データを生成し、前処理データのデータ量がデコーディング済みデータのデータ量よりも小さく；
702：前処理データに基づいて、現在のデコーディング待ちデータの確率を計算し；
703：フラッグデータ及びデコーディング待ちデータの確率に基づいて、デコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得し、そのうち、フラッグデータが、特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられ；
704：畳み込みニューラルネットワークを用いて、特徴マップを再構成し、画像データを生成する。
702：前処理データに基づいて、現在のデコーディング待ちデータの確率を計算し；
703：フラッグデータ及びデコーディング待ちデータの確率に基づいて、デコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得し、そのうち、フラッグデータが、特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられ；
704：畳み込みニューラルネットワークを用いて、特徴マップを再構成し、画像データを生成する。
【0071】
１つ又は複数の実施例では、ステップ701、702、704がそれぞれステップ401、402、404に対応しても良く、それらの内容がここに合併され、詳しい説明が省略される。
【0072】
１つ又は複数の実施例では、ステップ703において、フラッグデータが任意の形式のデータであっても良く、即ち、任意の１つの方式で、或るチャネルの特徴マップが全ゼロ特徴マップであるかを指示することができる。例えば、バイナリビットの方式で、ビットが0であるときに、対応する特徴マップがすべてゼロであることを示し、ビットが1であるときに、対応する特徴マップがすべてゼロでないことを示しても良い。これにより、比較的少ないビット数で、該特徴マップが全ゼロ特徴マップであるかを表すことができる。
【0073】
１つ又は複数の実施例では、ステップ703において、フラッグデータ及びデコーディング待ちデータの確率に基づいてデコーディング待ちデータに対してエントロピーデコーディングを行うときに、例えば、フラッグデータにより、特徴マップにおける或るチャネルのデータがすべてゼロであることを示すときに、該チャネルについてすべてゼロの特徴マップを生成する。フラッグデータにより、特徴マップにおける或るチャネルのデータがすべてゼロでないことを示す場合、該チャネルのデコーディング待ちデータの確率に基づいて、デコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得する。
【0074】
１つ又は複数の実施例では、ステップ702において、前処理データに基づいてデコーディング待ちデータの確率を計算しても良く、フラッグデータに基づいてデコーディング待ちデータの確率を計算しても良い。例えば、フラッグデータにより、特徴マップにおける或るチャネルのデータがすべてゼロであることを示すときに、該チャネルのデコーディング待ちデータの確率を計算しない。フラッグデータにより、特徴マップにおける或るチャネルのデータがすべてゼロでないことを示すときに、前処理データに基づいて該チャネルのデコーディング待ちデータの確率を計算する。これにより、画像デコーディングの時間長をさらに短縮することができる。
【0075】
【0076】
図8に示すように、まず、算術デコーダにより、画像データを表すコードストリームb1に対してエントロピーデコーディングを行い、離散的な潜在表現
（外１４）
（即ち、特徴マップ）を取得し、その後、畳み込みニューラルネットワークデコーダにより、潜在表現
（外１５）
に対してデコーディングを行い、画像データを再構成する。
（外１４）
（外１５）
【0077】
そのうち、算術デコーダを用いてエントロピーデコーディングを行うときに、現在の潜在表現
（外１６）
の確率、及び、現在の処理の特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するためのフラッグデータflagを使用する必要があり、そのうち、該確率は、次のような方式で計算されても良く、即ち、離散的な潜在表現
（外１７）
が前処理器を経て、離散的な潜在表現
（外１８）
における、現在のデコーディング待ちデータを中心とする7*7の範囲内のデータが選択され、選択されたデータが前処理データ
（外１９）
とされ；該前処理データ
（外２０）
がそれぞれ3*3の畳み込みカーネル、5*5の畳み込みカーネル及び7*7の畳み込みカーネルを経て、畳み込み運算後の結果c1、c2及びc3が取得され；階層的先験モデルが生成結果c4を計算し；畳み込み運算後の結果c1、c2、c3及びc4に基づいて、エントロピーパラメータモジュールにより、デコーディング待ちデータの確率モデルを計算し、ガウス分布を例とすれば、確率モデルは、ガウス分布の平均値μ及び標準偏差σを含み、これにより、コーディング待ちデータの確率
（外２１）
を取得し；算術デコーダが確率
（外２２）
及びフラッグデータflagに基づいて、コードストリームb1に対してエントロピーデコーディングを行い、潜在表現
（外２３）
（特徴マップ）を生成し、そして、畳み込みニューラルネットワークデコーダにより、潜在表現
（外２４）
に対してデコーディングを行い、画像データを再構成する。
（外１６）
（外１７）
（外１８）
（外１９）
（外２０）
（外２１）
（外２２）
（外２３）
（外２４）
【0078】
なお、以上、図6又は図7は、本発明の実施例を例示的に説明するためのものに過ぎず、本発明は、これに限られない。例えば、各ステップ間の実行順序を適切に変更したり、幾つかのステップを増減したりしても良い。言い換えれば、当業者は、図6又は図7の記載に限られず、上述の内容に対して適切に変更や変形などを行っても良い。
【0079】
デコーディング済みデータに対して前処理を行い、データ量が比較的小さい前処理データを生成し、そして、前処理データに基づいてデコーディング待ちデータの確率を計算することで、確率を計算する時間を短縮することができ、これにより、画像デコーディングの時間長を短縮することができる。
【0080】
【0081】
901：畳み込みニューラルネットワークを用いて、処理待ちの画像データに対して特徴抽出を行い、画像データの特徴マップを生成し；
902：特徴マップに対して量子化を行い、離散的な特徴マップを生成し；
903：前記離散的な特徴マップにおけるコーディング待ちデータの確率を計算し；
904：フラッグデータを生成し、フラッグデータが、離散的な特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられ；
905：フラッグデータ及びコーディング待ちデータの確率に基づいてコーディング待ちデータに対してエントロピーコーディングを行う。
902：特徴マップに対して量子化を行い、離散的な特徴マップを生成し；
903：前記離散的な特徴マップにおけるコーディング待ちデータの確率を計算し；
904：フラッグデータを生成し、フラッグデータが、離散的な特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられ；
905：フラッグデータ及びコーディング待ちデータの確率に基づいてコーディング待ちデータに対してエントロピーコーディングを行う。
【0082】
本発明の実施例では、離散的な特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するためのフラッグデータを生成し、該フラッグデータに基づいてコーディング待ちデータに対してエントロピーコーディングを行うことで、画像コーディングの時間長を短縮することができる。
【0083】
１つ又は複数の実施例では、ステップ901、902が第一側面の実施例におけるステップ101、102に対応しても良く、それらの内容がここに合併され、詳しい説明が省略される。
【0084】
１つ又は複数の実施例では、ステップ903において、離散的な特徴マップにおける全部のデータに基づいてコーディング待ちデータの確率を計算しても良く、又は、第一側面の実施例に記載のように、離散的な特徴マップにおける一部のみのデータに基づいてコーディング待ちデータの確率を計算しても良く、その内容がここに合併され、詳細な説明が省略される。
【0085】
１つ又は複数の実施例では、ステップ904、905が第一側面の実施例におけるステップ404、406に対応しても良く、その内容がここに合併され、詳しい説明が省略される。
【0086】
１つ又は複数の実施例では、ステップ905において、フラッグデータ及びコーディング待ちデータの確率に基づいて離散的な特徴マップにおける或るチャネルのコーディング待ちデータに対してエントロピーコーディングを行うときに、例えば、フラッグデータにより、離散的な特徴マップにおける或るチャネルのデータがすべてゼロであることを指示するときに、離散的な特徴マップにおける該チャネルのコーディング待ちデータに対してエントロピーコーディングを行わない。フラッグデータにより、離散的な特徴マップにおける或るチャネルのデータがすべてゼロでないときに、該チャネルコーディング待ちデータの確率に基づいてコーディング待ちデータに対してエントロピーコーディングを行う。
【0087】
１つ又は複数の実施例では、ステップ905において、ステップ904で生成されているフラッグデータに基づいて、離散的な特徴マップにおけるコーディング待ちデータの確率を計算する。例えば、フラッグデータにより、離散的な特徴マップにおける或るチャネルのデータがすべてゼロであることを指示するときに、離散的な特徴マップにおける該チャネルのコーディング待ちデータの確率を計算しない。フラッグデータにより、離散的な特徴マップにおける或るチャネルのデータがすべてゼロでないことを指示するときに、前処理データに基づいて離散的な特徴マップにおける該チャネルコーディング待ちデータの確率を計算する。これにより、画像コーディングの時間長をさらに短縮することができる。
【0088】
なお、以上、図9は、例示的に本発明の実施例を説明するためのものに過ぎず、本発明は、これに限られない。例えば、各ステップ間の実行順序を適切に調整したり、幾つかのステップを増減したりしても良い。言い換えると、当業者は、図9の記載に限られず、上述の内容に対して適切に変更や変形などを行っても良い。
【0089】
離散的な特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するためのフラッグデータを生成し、該フラッグデータに基づいてコーディング待ちデータに対してエントロピーコーディングを行うことで、画像コーディングの時間長を短縮することができる。
【0090】
＜第四側面の実施例＞
本発明の実施例は、画像デコーディング方法を提供し、図10は、本発明の実施例における画像デコーディング方法のフローチャートであり、図10に示すように、該方法は、以下のステップを含む。
本発明の実施例は、画像デコーディング方法を提供し、図10は、本発明の実施例における画像デコーディング方法のフローチャートであり、図10に示すように、該方法は、以下のステップを含む。
【0091】
1001：現在のデコーディング待ちデータの確率を推定し；
1002：フラッグデータ及びデコーディング待ちデータの確率に基づいてデコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得し、そのうち、フラッグデータが、特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられ；
1003：畳み込みニューラルネットワークを用いて特徴マップを再構成し、画像データを生成する。
1002：フラッグデータ及びデコーディング待ちデータの確率に基づいてデコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得し、そのうち、フラッグデータが、特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられ；
1003：畳み込みニューラルネットワークを用いて特徴マップを再構成し、画像データを生成する。
【0092】
本発明の実施例では、離散的な特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するためのフラッグデータに基づいて、デコーディング待ちデータに対してエントロピーデコーディングを行うことで、画像デコーディングの時間長を短縮することができる。
【0093】
１つ又は複数の実施例では、ステップ1001において、全部のデコーディング済みデータに基づいて現在のデコーディング待ちデータの確率を計算しても良く、又は、第二側面の実施例に記載のように、一部のみのデコーディング済みデータに基づいて現在のデコーディング待ちデータの確率を計算しても良く、その内容がここに合併され、詳しい説明が省略される。
【0094】
１つ又は複数の実施例では、ステップ1002、1003が第二側面の実施例におけるステップ703、704に対応し、その内容がここに合併され、詳細な説明が省略される。
【0095】
１つ又は複数の実施例では、ステップ1002において、フラッグデータ及びデコーディング待ちデータの確率に基づいてデコーディング待ちデータに対してエントロピーデコーディングを行うときに、例えば、フラッグデータにより、特徴マップにおける或るチャネルのデータがすべてゼロであることを指示するときに、該チャネルについてすべてゼロの特徴マップを生成する。フラッグデータにより、特徴マップにおける或るチャネルのデータがすべてゼロでないことを指示する場合、該チャネルデコーディング待ちデータの確率に基づいてデコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得する。
【0096】
１つ又は複数の実施例では、ステップ1001において、フラッグデータに基づいてデコーディング待ちデータの確率を計算しても良い。例えば、フラッグデータにより、特徴マップにおける或るチャネルのデータがすべてゼロであることを指示するときに、該チャネルに係るデコーディング待ちデータの確率を計算しない。フラッグデータにより、特徴マップにおける或るチャネルのデータがすべてゼロでないことを指示するときに、前処理データに基づいて該チャネル上デコーディング待ちデータの確率を計算する。これにより、画像デコーディングの時間長をさらに短縮することができる。
【0097】
なお、以上、図10は、本発明の実施例について例示的に説明するためのものに過ぎず、本発明は、これに限られない。例えば、各ステップ間の実行順序を適切に調整したり、幾つかのステップを増減したりしても良い。言い換えると、当業者は、図10の記載に限られず、上述の内容に対して適切に変更や変形などを行っても良い。
【0098】
離散的な特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するためのフラッグデータに基づいてデコーディング待ちデータに対してエントロピーデコーディングを行うことで、画像デコーディングの時間長を短縮することができる。
【0099】
＜第五側面の実施例＞
本発明の実施例は、画像コーディング装置を提供する。該装置が問題を解決する原理が第一側面の実施例における方法に類似したので、その具体的な実施は、第一側面の実施例における方法の実施を参照することができ、内容が同じである重複説明は、省略される。
本発明の実施例は、画像コーディング装置を提供する。該装置が問題を解決する原理が第一側面の実施例における方法に類似したので、その具体的な実施は、第一側面の実施例における方法の実施を参照することができ、内容が同じである重複説明は、省略される。
【0100】
【0101】
畳み込みニューラルネットワークコーダ1101：畳み込みニューラルネットワークを用いて、処理待ちの画像データに対して特徴抽出を行い、画像データの特徴マップを生成し；
量子化器1102：特徴マップに対して量子化を行い、離散的な特徴マップを生成し；
前処理器1103：離散的な特徴マップに対して前処理を行い、前処理データを生成し、前処理データのデータ量が離散的な特徴マップのデータ量よりも小さく；
確率推定器1104：前処理データに基づいて離散的な特徴マップにおけるコーディング待ちデータの確率を計算し；
エントロピーコーダ1105：コーディング待ちデータの確率に基づいてコーディング待ちデータに対してエントロピーコーディングを行う。
量子化器1102：特徴マップに対して量子化を行い、離散的な特徴マップを生成し；
前処理器1103：離散的な特徴マップに対して前処理を行い、前処理データを生成し、前処理データのデータ量が離散的な特徴マップのデータ量よりも小さく；
確率推定器1104：前処理データに基づいて離散的な特徴マップにおけるコーディング待ちデータの確率を計算し；
エントロピーコーダ1105：コーディング待ちデータの確率に基づいてコーディング待ちデータに対してエントロピーコーディングを行う。
【0102】
１つ又は複数の実施例では、畳み込みニューラルネットワークコーダ1101、量子化器1102、前処理器1103、確率推定器1104、及びエントロピーコーダ1105の実施について第一側面の実施例におけるステップ101-105を参照することができ、ここでは、その詳しい説明を省略する。
【0103】
１つ又は複数の実施例では、前処理器1103は、離散的な特徴マップにおける一部のデータを前処理データとして選択しても良く、そのうち、前処理データは、現在のコーディング待ちデータを中心とする、所定範囲内の複数のデータを含む。
【0104】
１つ又は複数の実施例では、確率推定器1104は、マスク畳み込み層を含み、マスク畳み込み層は、前処理データに対して畳み込み運算を行い、所定範囲は、マスク畳み込み層のスケールに対応する。
【0105】
１つ又は複数の実施例では、マスク畳み込み層の個数が1個である場合、所定範囲は、マスク畳み込み層のスケールに等しい。マスク畳み込み層の個数が複数個である場合、所定範囲は、複数のマスク畳み込み層の最大スケールに等しく、又は、所定範囲は、各マスク畳み込み層のスケールに等しい。
【0106】
１つ又は複数の実施例では、図11に示すように、画像コーディング装置1100は、さらに以下のものを含んでも良い。
【0107】
フラッグデータ生成器1106：フラッグデータを生成し、フラッグデータが、離散的な特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられる。
【0108】
エントロピーコーダ1105は、さらに、フラッグデータに基づいて、離散的な特徴マップにおけるコーディング待ちデータに対してエントロピーコーディングを行う。
【0109】
１つ又は複数の実施例では、前記エントロピーコーダ1105は、フラッグデータにより、離散的な特徴マップにおける或るチャネルのデータがすべてゼロであることを指示するときに、離散的な特徴マップにおける該チャネルのコーディング待ちデータに対してエントロピーコーディングを行わず、フラッグデータにより、離散的な特徴マップにおける或るチャネルのデータがすべてゼロでないことを指示するときに、コーディング待ちデータの確率に基づいて該チャネル上のコーディング待ちデータに対してエントロピーコーディングを行う。
【0110】
１つ又は複数の実施例では、フラッグデータ生成器1106及びエントロピーコーダ1105の実施について第一側面の実施例におけるステップ404、406を参照することができ、ここでは、その詳しい説明を省略する。
【0111】
１つ又は複数の実施例では、確率推定器1104は、さらに、フラッグデータ生成器生成のフラッグデータに基づいて、離散的な特徴マップにおけるコーディング待ちデータの確率を計算する。例えば、フラッグデータにより、離散的な特徴マップにおける或るチャネルのデータがすべてゼロであることを指示するときに、離散的な特徴マップにおける該チャネルのコーディング待ちデータの確率を計算しない。フラッグデータにより、離散的な特徴マップにおける或るチャネルのデータがすべてゼロでないことを指示するときに、前処理データに基づいて離散的な特徴マップにおける該チャネルに係るコーディング待ちデータの確率を計算する。これにより、画像コーディングの時間長をさらに短縮することができる。
【0112】
離散的な特徴マップに対して前処理を行い、データ量が比較的小さい前処理データを生成し、そして、前処理データに基づいてコーディング待ちデータの確率を形成することで、確率を計算する時間を短縮することができ、これにより、画像コーディングの時間長を短縮することができる。
【0113】
＜第六側面の実施例＞
本発明の実施例は、画像デコーディング装置を提供する。該装置が問題を解決する原理が第二側面の実施例における方法に類似したので、その具体的な実施は、第二側面の実施例における方法の実施を参照することができ、内容が同じである重複説明は、省略される。
本発明の実施例は、画像デコーディング装置を提供する。該装置が問題を解決する原理が第二側面の実施例における方法に類似したので、その具体的な実施は、第二側面の実施例における方法の実施を参照することができ、内容が同じである重複説明は、省略される。
【0114】
【0115】
前処理器1201：デコーディング済みデータに対して前処理を行い、前処理データを生成し、前処理データのデータ量がデコーディング済みデータのデータ量よりも小さく；
確率推定器1202：前処理データに基づいて、現在のデコーディング待ちデータの確率を計算し；
エントロピーデコーダ1203：確率に基づいてデコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得し；
畳み込みニューラルネットワークデコーダ1204：特徴マップに対して再構成を行い、画像データを生成する。
確率推定器1202：前処理データに基づいて、現在のデコーディング待ちデータの確率を計算し；
エントロピーデコーダ1203：確率に基づいてデコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得し；
畳み込みニューラルネットワークデコーダ1204：特徴マップに対して再構成を行い、画像データを生成する。
【0116】
１つ又は複数の実施例では、前処理器1201、確率推定器1202、エントロピーデコーダ1203、及び畳み込みニューラルネットワークデコーダ1204の実施について第二側面の実施例におけるステップ601-604を参照することができ、ここでは、詳しい説明を省略する。
【0117】
１つ又は複数の実施例では、前処理器1201は、デコーディング済みデータにおける一部のデータを前処理データとして選択し、そのうち、前処理データは、現在のデコーディング待ちデータを中心とする、所定範囲内の複数のデータを含む。
【0118】
１つ又は複数の実施例では、確率推定器1202は、マスク畳み込み層を含み、マスク畳み込み層は、前処理データに対して畳み込み運算を行い、所定範囲は、マスク畳み込み層のスケールに対応する。
【0119】
１つ又は複数の実施例では、マスク畳み込み層の個数が1個である場合、所定範囲は、マスク畳み込み層のスケールに等しく、マスク畳み込み層の個数が複数個である場合、所定範囲は、複数のマスク畳み込み層の最大スケールに等しく、又は、所定範囲は、各マスク畳み込み層のスケールに等しい。
【0120】
１つ又は複数の実施例では、エントロピーデコーダ1203は、さらにフラッグデータに基づいてデコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得し、そのうち、フラッグデータは、特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられる。
【0121】
１つ又は複数の実施例では、エントロピーデコーダ1203は、フラッグデータにより、特徴マップにおける或るチャネルのデータがすべてゼロであることを指示するときに、該チャネル上ですべてゼロの特徴マップを生成し、フラッグデータにより、特徴マップにおける或るチャネルのデータがすべてゼロでないことを指示する場合、デコーディング待ちデータの確率に基づいて該チャネル上のデコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得する。
【0122】
１つ又は複数の実施例では、エントロピーデコーダ1203の実施は、第二側面の実施例におけるステップ703を参照することができ、ここでは、その詳しい説明を省略する。
【0123】
１つ又は複数の実施例では、確率推定器1202は、さらに、フラッグデータに基づいて、デコーディング待ちデータの確率を計算することができる。例えば、フラッグデータにより、特徴マップにおける或るチャネルのデータがすべてゼロであることを指示するときに、該チャネルのデコーディング待ちデータの確率を計算しない。フラッグデータにより、特徴マップにおける或るチャネルデータがすべてゼロでないことを指示するときに、前処理データに基づいて該チャネルのデコーディング待ちデータの確率を計算する。これにより、画像デコーディングの時間長をさらに短縮することができる。
【0124】
デコーディング済みデータに対して前処理を行い、データ量が比較的小さい前処理データを生成し、そして、前処理データに基づいてデコーディング待ちデータの確率を計算し、これにより、確率を計算する時間を短縮し、画像デコーディングの時間長を短縮することができる。
【0125】
＜第七側面の実施例＞
本発明の実施例は、画像コーディング装置を提供する。該装置が問題を解決する原理が第三側面の実施例における方法に類似したから、その具体的な実施は、第三側面の実施例における方法の実施を参照することができ、内容が同じである重複説明は、省略される。
本発明の実施例は、画像コーディング装置を提供する。該装置が問題を解決する原理が第三側面の実施例における方法に類似したから、その具体的な実施は、第三側面の実施例における方法の実施を参照することができ、内容が同じである重複説明は、省略される。
【0126】
【0127】
畳み込みニューラルネットワークコーダ1301：畳み込みニューラルネットワークを用いて、処理待ちの画像データに対して特徴抽出を行い、画像データの特徴マップを生成し；
量子化器1302：特徴マップに対して量子化を行い、離散的な特徴マップを生成し；
確率推定器1303：離散的な特徴マップにおけるコーディング待ちデータの確率を計算し；
フラッグデータ生成器1304：フラッグデータを生成し、フラッグデータは、離散的な特徴マップにおける或るチャネルのデータがすべてゼロであるかを指示するために用いられ；
エントロピーコーダ1305：フラッグデータ及びコーディング待ちデータの確率に基づいてコーディング待ちデータに対してエントロピーコーディングを行う。
量子化器1302：特徴マップに対して量子化を行い、離散的な特徴マップを生成し；
確率推定器1303：離散的な特徴マップにおけるコーディング待ちデータの確率を計算し；
フラッグデータ生成器1304：フラッグデータを生成し、フラッグデータは、離散的な特徴マップにおける或るチャネルのデータがすべてゼロであるかを指示するために用いられ；
エントロピーコーダ1305：フラッグデータ及びコーディング待ちデータの確率に基づいてコーディング待ちデータに対してエントロピーコーディングを行う。
【0128】
１つ又は複数の実施例では、畳み込みニューラルネットワークコーダ1301、量子化器1302、確率推定器1303、フラッグデータ生成器1304、及びエントロピーコーダ1305の実施は、第三側面の実施例におけるステップ901-905を参照することができ、ここでは、その詳しい説明を省略する。
【0129】
１つ又は複数の実施例では、エントロピーコーダ1305は、フラッグデータにより、離散的な特徴マップにおける或るチャネルのデータがすべてゼロであることを指示するときに、離散的な特徴マップにおける該チャネルのコーディング待ちデータに対してエントロピーコーディングを行わず、フラッグデータにより、離散的な特徴マップにおける或るチャネルのデータがすべてゼロでないことを指示するときに、コーディング待ちデータの確率に基づいて該チャネルのコーディング待ちデータに対してエントロピーコーディングを行う。
【0130】
１つ又は複数の実施例では、確率推定器1303は、さらに、フラッグデータ生成器1304生成のフラッグデータに基づいて、離散的な特徴マップにおけるコーディング待ちデータの確率を計算する。例えば、フラッグデータにより、離散的な特徴マップにおける或るチャネルのデータがすべてゼロであることを指示するときに、離散的な特徴マップにおける該チャネルのコーディング待ちデータの確率を計算しない。フラッグデータにより、離散的な特徴マップにおける或るチャネルのデータがすべてゼロでないことを指示するときに、前処理データに基づいて離散的な特徴マップにおける該チャネルのコーディング待ちデータの確率を計算する。これにより、画像コーディングの時間長をさらに短縮することができる。
【0131】
離散的な特徴マップにおける各チャネル上のデータがすべてゼロであるかを指示するためのフラッグデータを生成し、該フラッグデータに基づいてコーディング待ちデータに対してエントロピーコーディングを行うことで、画像コーディングの時間長を短縮することができる。
【0132】
＜第八側面の実施例＞
本発明の実施例は、画像デコーディング装置を提供する。該装置が問題を解決する原理が第四側面の実施例における方法に類似したので、その具体的な実施は、第四側面の実施例における方法の実施を参照することができ、内容が同じである重複説明は、省略される。
本発明の実施例は、画像デコーディング装置を提供する。該装置が問題を解決する原理が第四側面の実施例における方法に類似したので、その具体的な実施は、第四側面の実施例における方法の実施を参照することができ、内容が同じである重複説明は、省略される。
【0133】
【0134】
確率推定器1401：現在のデコーディング待ちデータの確率を推定し；
エントロピーデコーダ1402：フラッグデータ及びデコーディング待ちデータの確率に基づいてデコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得し、そのうち、フラッグデータは、特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられ；
畳み込みニューラルネットワークデコーダ1403：特徴マップに対して再構成を行い、画像データを生成する。
エントロピーデコーダ1402：フラッグデータ及びデコーディング待ちデータの確率に基づいてデコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得し、そのうち、フラッグデータは、特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられ；
畳み込みニューラルネットワークデコーダ1403：特徴マップに対して再構成を行い、画像データを生成する。
【0135】
１つ又は複数の実施例では、確率推定器1401、エントロピーデコーダ1402、及び畳み込みニューラルネットワークデコーダ1403の実施は、第四側面の実施例におけるステップ1001-1003を参照することができ、ここでは、その詳しい説明を省略する。
【0136】
１つ又は複数の実施例では、エントロピーデコーダ1402は、フラッグデータにより、或るチャネル特徴マップにおけるデータがすべてゼロであることを指示する場合、該チャネル上ですべてゼロの特徴マップを生成し、フラッグデータにより、或るチャネル特徴マップにおけるデータがすべてゼロでないことを指示する場合、デコーディング待ちデータの確率に基づいて該チャネルにおけるデコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを得る。
【0137】
１つ又は複数の実施例では、確率推定器1401は、フラッグデータに基づいて、デコーディング待ちデータの確率を計算する。例えば、フラッグデータにより、特徴マップにおける該チャネルのデータがすべてゼロであることを指示するときに、該チャネルデコーディング待ちデータの確率を計算しない。フラッグデータにより、特徴マップにおける該チャネルのデータがすべてゼロでないことを指示するときに、前処理データに基づいて該チャネルのデコーディング待ちデータの確率を計算する。これにより、画像デコーディングの時間長をさらに短縮することができる。
【0138】
離散的な特徴マップにおける各チャネル上のデータがすべてゼロであるかを指示するためのフラッグデータに基づいてデコーディング待ちデータに対してエントロピーデコーディングを行うことで、画像デコーディングの時間長を短縮することができる。
【0139】
＜第九側面の実施例＞
本発明の実施例は、さらに、電子機器を提供し、それは、第五側面の実施例に記載の画像コーディング装置を含み、又は、第六側面の実施例に記載の画像デコーディング装置を含み、又は、第七側面の実施例に記載の画像コーディング装置を含み、又は、第八側面の実施例に記載の画像デコーディング装置を含み、それらの内容がここに合併される。該電子機器は、例えば、コンピュータ、サーバー、ワークステーション、ラップトップコンピュータ、スマートフォンなどであっても良いが、本発明の実施例は、これに限られない。
本発明の実施例は、さらに、電子機器を提供し、それは、第五側面の実施例に記載の画像コーディング装置を含み、又は、第六側面の実施例に記載の画像デコーディング装置を含み、又は、第七側面の実施例に記載の画像コーディング装置を含み、又は、第八側面の実施例に記載の画像デコーディング装置を含み、それらの内容がここに合併される。該電子機器は、例えば、コンピュータ、サーバー、ワークステーション、ラップトップコンピュータ、スマートフォンなどであっても良いが、本発明の実施例は、これに限られない。
【0140】
図15は、本発明の実施例における電子機器の構成を示す図である。図15に示すように、電子機器1500は、処理器（例えば、中央処理装置CPU）1510及び記憶器1520を含んでも良く、記憶器1520は、中央処理器1510に接続される。そのうち、該記憶器1520は、各種のデータを記憶することができ、また、情報処理用のプログラムをさらに記憶することができ、且つ処理器1510の制御下で該プログラムを実行することができる。
【0141】
１つの実施例では、画像コーディング装置1100又は画像デコーディング装置1200又は画像コーディング装置1300又は画像デコーディング装置1400の機能が処理器1510に集積されても良い。そのうち、処理器1510は、次のように構成されても良く、即ち、第一側面の実施例に記載の画像コーディング方法、又は、第二側面の実施例に記載の画像デコーディング方法、又は、第三側面の実施例に記載の画像コーディング方法、又は、第四側面の実施例に記載の画像デコーディング方法を実現する。
【0142】
もう１つの実施例では、画像コーディング装置1100又は画像デコーディング装置1200又は画像コーディング装置1300又は画像デコーディング装置1400が処理器1510と別々で構成されても良く、例えば、画像コーディング装置1100又は画像デコーディング装置1200又は画像コーディング装置1300又は画像デコーディング装置1400が、処理器1510に接続されるチップとして構成され、処理器1510の制御により画像コーディング装置1100又は画像デコーディング装置1200又は画像コーディング装置1300又は画像デコーディング装置1400の機能を実現しても良い。
【0143】
例えば、処理器1510は、次のような制御を行うように構成されても良く、即ち、畳み込みニューラルネットワークを用いて、処理待ちの画像データに対して特徴抽出を行い、前記画像データの特徴マップを生成し；前記特徴マップに対して量子化を行い、離散的な特徴マップを生成し；前記離散的な特徴マップに対して前処理を行い、前処理データを生成し、前記前処理データのデータ量が前記離散的な特徴マップのデータ量よりも小さく；前記前処理データに基づいて前記離散的な特徴マップにおけるコーディング待ちデータの確率を計算し；前記コーディング待ちデータの確率に基づいて前記コーディング待ちデータに対してエントロピーコーディングを行う。
【0144】
或いは、例えば、処理器1510は、次のような制御を行うように構成されても良く、即ち、デコーディング済みデータに対して前処理を行い、前処理データを生成し、前記前処理データのデータ量が前記デコーディング済みデータのデータ量よりも小さく；前記前処理データに基づいて現在のデコーディング待ちデータの確率を計算し；前記確率に基づいて前記デコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得し；及び、畳み込みニューラルネットワークを用いて、前記特徴マップに対して再構成を行い、画像データを生成する。
【0145】
或いは、例えば、処理器1510は、次のような制御を行うように構成されても良く、即ち、畳み込みニューラルネットワークを用いて、処理待ちの画像データに対して特徴抽出を行い、前記画像データの特徴マップを生成し；前記特徴マップに対して量子化を行い、離散的な特徴マップを生成し；前記離散的な特徴マップにおけるコーディング待ちデータの確率を計算し；フラッグデータを生成し、前記フラッグデータが、前記離散的な特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられ；前記フラッグデータ及び前記コーディング待ちデータの確率に基づいて前記コーディング待ちデータに対してエントロピーコーディングを行う。
【0146】
或いは、例えば、処理器1510は、次のような制御を行うように構成されても良く、即ち、現在のデコーディング待ちデータの確率を推定し；フラッグデータ及び前記デコーディング待ちデータの確率に基づいて前記デコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得し、そのうち、前記フラッグデータが、前記特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられ；畳み込みニューラルネットワークを用いて、前記特徴マップに対して再構成を行い、画像データを生成する。
【0147】
該処理器1510の具体的な実施は、第一側面乃至第四側面の実施例を参照することができ、ここでは、詳細な説明を割愛する。
【0148】
また、図15に示すように、電子機器1500は、さらに、送受信ユニッ1530などを含んでも良く、そのうち、これらの部品の機能は、従来技術に類似したので、ここでは、その詳しい説明を省略する。なお、電子機器1500は、図15に示す全部の部品を含む必要がなく、また、電子機器1500は、さらに図15に無い部品を含んでも良く、これについては、従来技術を参照することができる。
【0149】
本発明の実施例は、さらに、コンピュータ可読プログラムを提供し、そのうち、画像コーディング装置中で該プログラムを実行するときに、該プログラムは、コンピュータに、該画像コーディング装置中で第一側面又は第三側面の実施例における画像コーディング方法を実行させる。
【0150】
本発明の実施例は、さらに、コンピュータ可読プログラムを記憶した記憶媒体を提供し、そのうち、該コンピュータ可読プログラムは、コンピュータに、画像コーディング装置中で第一側面又は第三側面の実施例における画像コーディング方法を実行させる。
【0151】
本発明の実施例は、さらに、コンピュータ可読プログラムを提供し、そのうち、画像デコーディング装置中で該プログラムを実行するときに、該プログラムは、コンピュータに、該画像デコーディング装置中で第二側面又は第四側面の実施例における画像デコーディング方法を実行させる。
【0152】
本発明の実施例は、さらに、コンピュータ可読プログラムを記憶した記憶媒体を提供し、そのうち、該コンピュータ可読プログラムは、コンピュータに、画像デコーディング装置中で第二側面又は第四側面の実施例における画像デコーディング方法を実行させる。
【0153】
また、本発明の実施例による装置、方法などは、ソフトウェアにより実現されても良く、ハードェアにより実現されてもよく、ハードェア及びソフトウェアの組み合わせにより実現されても良い。本発明は、このようなコンピュータ可読プログラムにも関し、即ち、前記プログラムは、ロジック部品により実行される時に、前記ロジック部品に、上述の装置又は構成要素を実現させることができ、又は、前記ロジック部品に、上述の方法又はそのステップを実現させることができる。さらに、本発明は、上述のプログラムを記憶した記憶媒体、例えば、ハードディスク、磁気ディスク、光ディスク、DVD、フレッシュメモリなどにも関する。
【0154】
また、以上の実施例などに関して、更に次のように付記を開示する。
【0155】
（付記1）
画像コーディング方法であって、
畳み込みニューラルネットワークを用いて、処理待ちの画像データに対して特徴抽出を行い、前記画像データの特徴マップを生成し；
前記特徴マップに対して量子化を行い、離散的な特徴マップを生成し；
前記離散的な特徴マップに対して前処理を行い、前処理データを生成し、前記前処理データのデータ量が前記離散的な特徴マップのデータ量よりも小さく；
前記前処理データに基づいて前記離散的な特徴マップにおけるコーディング待ちデータの確率を計算し；及び
前記コーディング待ちデータの確率に基づいて前記コーディング待ちデータに対してエントロピーコーディングを行うことを含む、方法。
画像コーディング方法であって、
畳み込みニューラルネットワークを用いて、処理待ちの画像データに対して特徴抽出を行い、前記画像データの特徴マップを生成し；
前記特徴マップに対して量子化を行い、離散的な特徴マップを生成し；
前記離散的な特徴マップに対して前処理を行い、前処理データを生成し、前記前処理データのデータ量が前記離散的な特徴マップのデータ量よりも小さく；
前記前処理データに基づいて前記離散的な特徴マップにおけるコーディング待ちデータの確率を計算し；及び
前記コーディング待ちデータの確率に基づいて前記コーディング待ちデータに対してエントロピーコーディングを行うことを含む、方法。
【0156】
（付記2）
付記1に記載の画像コーディング方法であって、
前記離散的な特徴マップにおける一部のデータを前処理データとして選択し、そのうち、前記前処理データは、現在の前記コーディング待ちデータを中心とする、所定範囲内の複数のデータを含む、方法。
付記1に記載の画像コーディング方法であって、
前記離散的な特徴マップにおける一部のデータを前処理データとして選択し、そのうち、前記前処理データは、現在の前記コーディング待ちデータを中心とする、所定範囲内の複数のデータを含む、方法。
【0157】
（付記3）
付記2に記載の画像コーディング方法であて、
マスク畳み込み層を用いて、前記離散的な特徴マップにおけるコーディング待ちデータの確率を計算するときに、前記所定範囲は、前記マスク畳み込み層のスケールに対応する、方法。
付記2に記載の画像コーディング方法であて、
マスク畳み込み層を用いて、前記離散的な特徴マップにおけるコーディング待ちデータの確率を計算するときに、前記所定範囲は、前記マスク畳み込み層のスケールに対応する、方法。
【0158】
（付記4）
付記3に記載の画像コーディング方法であって、
前記マスク畳み込み層の個数が1個である場合、前記所定範囲は、前記マスク畳み込み層のスケールに等しく、前記マスク畳み込み層の個数が複数個である場合、前記所定範囲は、複数の前記マスク畳み込み層の最大スケールに等しく、又は、前記所定範囲は、各前記マスク畳み込み層のスケールに等しい、方法。
付記3に記載の画像コーディング方法であって、
前記マスク畳み込み層の個数が1個である場合、前記所定範囲は、前記マスク畳み込み層のスケールに等しく、前記マスク畳み込み層の個数が複数個である場合、前記所定範囲は、複数の前記マスク畳み込み層の最大スケールに等しく、又は、前記所定範囲は、各前記マスク畳み込み層のスケールに等しい、方法。
【0159】
（付記5）
付記1に記載の画像コーディング方法であって、さらに、
フラッグデータを生成し、前記フラッグデータが、前記離散的な特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられ；及び
前記フラッグデータ及び前記コーディング待ちデータの確率に基づいて前記離散的な特徴マップにおける前記コーディング待ちデータに対してエントロピーコーディングを行うことを含む、方法。
付記1に記載の画像コーディング方法であって、さらに、
フラッグデータを生成し、前記フラッグデータが、前記離散的な特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられ；及び
前記フラッグデータ及び前記コーディング待ちデータの確率に基づいて前記離散的な特徴マップにおける前記コーディング待ちデータに対してエントロピーコーディングを行うことを含む、方法。
【0160】
（付記6）
付記5に記載の画像コーディング方法であって、
前記フラッグデータにより、前記離散的な特徴マップにおける或るチャネルのデータがすべてゼロであると指示するときに、前記離散的な特徴マップにおける該チャネルの前記コーディング待ちデータに対してエントロピーコーディングを行わず、前記フラッグデータにより、前記離散的な特徴マップにおける或るチャネルのデータがすべてゼロでないと指示するときに、前記コーディング待ちデータの確率に基づいて前記該チャネル上コーディング待ちデータに対してエントロピーコーディングを行う、方法。
付記5に記載の画像コーディング方法であって、
前記フラッグデータにより、前記離散的な特徴マップにおける或るチャネルのデータがすべてゼロであると指示するときに、前記離散的な特徴マップにおける該チャネルの前記コーディング待ちデータに対してエントロピーコーディングを行わず、前記フラッグデータにより、前記離散的な特徴マップにおける或るチャネルのデータがすべてゼロでないと指示するときに、前記コーディング待ちデータの確率に基づいて前記該チャネル上コーディング待ちデータに対してエントロピーコーディングを行う、方法。
【0161】
（付記7）
画像デコーディング方法であって、
デコーディング済みデータに対して前処理を行い、前処理データを生成し、前記前処理データのデータ量が前記デコーディング済みデータのデータ量よりも小さく；
前記前処理データに基づいて現在のデコーディング待ちデータの確率を計算し；
前記確率に基づいて前記デコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得し；及び
前記特徴マップに対して再構成を行い、画像データを生成することを含む、方法。
画像デコーディング方法であって、
デコーディング済みデータに対して前処理を行い、前処理データを生成し、前記前処理データのデータ量が前記デコーディング済みデータのデータ量よりも小さく；
前記前処理データに基づいて現在のデコーディング待ちデータの確率を計算し；
前記確率に基づいて前記デコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得し；及び
前記特徴マップに対して再構成を行い、画像データを生成することを含む、方法。
【0162】
（付記8）
付記7に記載の画像デコーディング方法であって、
前記デコーディング済みデータにおける一部のデータを前処理データとして選択し、そのうち、前記前処理データは、現在の前記デコーディング待ちデータを中心とする、所定範囲内の複数のデータを含む、方法。
付記7に記載の画像デコーディング方法であって、
前記デコーディング済みデータにおける一部のデータを前処理データとして選択し、そのうち、前記前処理データは、現在の前記デコーディング待ちデータを中心とする、所定範囲内の複数のデータを含む、方法。
【0163】
（付記9）
付記8に記載の画像デコーディング方法であって、
マスク畳み込み層を用いて前記デコーディング待ちデータの確率を計算するときに、前記所定範囲は、前記マスク畳み込み層のスケールに対応する、方法。
付記8に記載の画像デコーディング方法であって、
マスク畳み込み層を用いて前記デコーディング待ちデータの確率を計算するときに、前記所定範囲は、前記マスク畳み込み層のスケールに対応する、方法。
【0164】
（付記10）
付記9に記載の画像デコーディング方法であって、
前記マスク畳み込み層の個数が1個である場合、前記所定範囲は、前記マスク畳み込み層のスケールに等しく、前記マスク畳み込み層の個数が複数個である場合、前記所定範囲は、複数の前記マスク畳み込み層の最大スケールに等しく、又は、前記所定範囲は、各前記マスク畳み込み層のスケールに等しい、方法。
付記9に記載の画像デコーディング方法であって、
前記マスク畳み込み層の個数が1個である場合、前記所定範囲は、前記マスク畳み込み層のスケールに等しく、前記マスク畳み込み層の個数が複数個である場合、前記所定範囲は、複数の前記マスク畳み込み層の最大スケールに等しく、又は、前記所定範囲は、各前記マスク畳み込み層のスケールに等しい、方法。
【0165】
（付記11）
付記7に記載の画像デコーディング方法であって、
前記前記確率に基づいて前記デコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得することは、具体的に、
フラッグデータ及び前記デコーディング待ちデータの確率に基づいて前記デコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得することを含み、
前記フラッグデータは、前記特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられる、方法。
付記7に記載の画像デコーディング方法であって、
前記前記確率に基づいて前記デコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得することは、具体的に、
フラッグデータ及び前記デコーディング待ちデータの確率に基づいて前記デコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得することを含み、
前記フラッグデータは、前記特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられる、方法。
【0166】
（付記12）
付記11に記載の画像デコーディング方法であって、
前記フラッグデータにより、前記特徴マップにおける或るチャネルのデータがすべてゼロであると指示するときに、該チャネル上ですべてゼロの特徴マップを生成し、前記フラッグデータにより、前記特徴マップにおける或るチャネルのデータがすべてゼロでないと指示する場合、前記デコーディング待ちデータの確率に基づいて該チャネルの前記デコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを得る、方法。
付記11に記載の画像デコーディング方法であって、
前記フラッグデータにより、前記特徴マップにおける或るチャネルのデータがすべてゼロであると指示するときに、該チャネル上ですべてゼロの特徴マップを生成し、前記フラッグデータにより、前記特徴マップにおける或るチャネルのデータがすべてゼロでないと指示する場合、前記デコーディング待ちデータの確率に基づいて該チャネルの前記デコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを得る、方法。
【0167】
（付記13）
画像コーディング方法であって、
畳み込みニューラルネットワークを用いて、処理待ちの画像データに対して特徴抽出を行い、前記画像データの特徴マップを生成し；
前記特徴マップに対して量子化を行い、離散的な特徴マップを生成し；
前記離散的な特徴マップにおけるコーディング待ちデータの確率を計算し；
フラッグデータを生成し、前記フラッグデータが、前記離散的な特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられ；及び
前記フラッグデータ及び前記コーディング待ちデータの確率に基づいて前記コーディング待ちデータに対してエントロピーコーディングを行うことを含む、方法。
画像コーディング方法であって、
畳み込みニューラルネットワークを用いて、処理待ちの画像データに対して特徴抽出を行い、前記画像データの特徴マップを生成し；
前記特徴マップに対して量子化を行い、離散的な特徴マップを生成し；
前記離散的な特徴マップにおけるコーディング待ちデータの確率を計算し；
フラッグデータを生成し、前記フラッグデータが、前記離散的な特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられ；及び
前記フラッグデータ及び前記コーディング待ちデータの確率に基づいて前記コーディング待ちデータに対してエントロピーコーディングを行うことを含む、方法。
【0168】
（付記14）
付記13に記載の画像コーディング方法であって、
前記フラッグデータにより、前記離散的な特徴マップにおける或るチャネルのデータがすべてゼロであると指示するときに、前記離散的な特徴マップにおける該チャネルの前記コーディング待ちデータに対してエントロピーコーディングを行わず、前記フラッグデータにより、前記離散的な特徴マップにおける或るチャネルのデータがすべてゼロでないと指示するときに、前記該チャネルコーディング待ちデータの確率に基づいて該チャネルの前記コーディング待ちデータに対してエントロピーコーディングを行う、方法。
付記13に記載の画像コーディング方法であって、
前記フラッグデータにより、前記離散的な特徴マップにおける或るチャネルのデータがすべてゼロであると指示するときに、前記離散的な特徴マップにおける該チャネルの前記コーディング待ちデータに対してエントロピーコーディングを行わず、前記フラッグデータにより、前記離散的な特徴マップにおける或るチャネルのデータがすべてゼロでないと指示するときに、前記該チャネルコーディング待ちデータの確率に基づいて該チャネルの前記コーディング待ちデータに対してエントロピーコーディングを行う、方法。
【0169】
（付記15）
画像デコーディング方法であって、
現在のデコーディング待ちデータの確率を推定し；
フラッグデータ及び前記デコーディング待ちデータの確率に基づいて前記デコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得し、そのうち、前記フラッグデータが、前記特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられ；及び
前記特徴マップに対して再構成を行い、画像データを生成することを含む、方法。
画像デコーディング方法であって、
現在のデコーディング待ちデータの確率を推定し；
フラッグデータ及び前記デコーディング待ちデータの確率に基づいて前記デコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得し、そのうち、前記フラッグデータが、前記特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられ；及び
前記特徴マップに対して再構成を行い、画像データを生成することを含む、方法。
【0170】
（付記16）
付記15に記載の画像デコーディング方法であって、
前記フラッグデータにより、前記特徴マップにおける或るチャネルのデータがすべてゼロであると指示する場合、該チャネル上ですべてゼロの特徴マップを生成し、前記フラッグデータにより、前記特徴マップにおける或るチャネルのデータがすべてゼロでないと指示する場合、前記デコーディング待ちデータの確率に基づいて該チャネルの前記デコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを得る、方法。
付記15に記載の画像デコーディング方法であって、
前記フラッグデータにより、前記特徴マップにおける或るチャネルのデータがすべてゼロであると指示する場合、該チャネル上ですべてゼロの特徴マップを生成し、前記フラッグデータにより、前記特徴マップにおける或るチャネルのデータがすべてゼロでないと指示する場合、前記デコーディング待ちデータの確率に基づいて該チャネルの前記デコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを得る、方法。
【0171】
（付記17）
画像コーディング装置であって、
畳み込みニューラルネットワークコーダであって、畳み込みニューラルネットワークを用いて、処理待ちの画像データに対して特徴抽出を行い、前記画像データの特徴マップを生成するもの；
量子化器であって、前記特徴マップに対して量子化を行い、離散的な特徴マップを生成するもの；
前処理器であって、前記離散的な特徴マップに対して前処理を行い、前処理データを生成し、前記前処理データのデータ量が前記離散的な特徴マップのデータ量よりも小さいもの；
確率推定器であって、前記前処理データに基づいて前記離散的な特徴マップにおけるコーディング待ちデータの確率を計算するもの；及び
エントロピーコーダであって、前記コーディング待ちデータの確率に基づいて前記コーディング待ちデータに対してエントロピーコーディングを行うものを含む、装置。
画像コーディング装置であって、
畳み込みニューラルネットワークコーダであって、畳み込みニューラルネットワークを用いて、処理待ちの画像データに対して特徴抽出を行い、前記画像データの特徴マップを生成するもの；
量子化器であって、前記特徴マップに対して量子化を行い、離散的な特徴マップを生成するもの；
前処理器であって、前記離散的な特徴マップに対して前処理を行い、前処理データを生成し、前記前処理データのデータ量が前記離散的な特徴マップのデータ量よりも小さいもの；
確率推定器であって、前記前処理データに基づいて前記離散的な特徴マップにおけるコーディング待ちデータの確率を計算するもの；及び
エントロピーコーダであって、前記コーディング待ちデータの確率に基づいて前記コーディング待ちデータに対してエントロピーコーディングを行うものを含む、装置。
【0172】
（付記18）
付記17に記載の画像コーディング装置であって、
前記前処理器は、前記離散的な特徴マップにおける一部のデータを前処理データとして選択し、そのうち、前記前処理データは、現在の前記コーディング待ちデータを中心とする、所定範囲内の複数のデータを含む、装置。
付記17に記載の画像コーディング装置であって、
前記前処理器は、前記離散的な特徴マップにおける一部のデータを前処理データとして選択し、そのうち、前記前処理データは、現在の前記コーディング待ちデータを中心とする、所定範囲内の複数のデータを含む、装置。
【0173】
（付記19）
付記18に記載の画像コーディング装置であって、
前記確率推定器は、マスク畳み込み層を含み、前記マスク畳み込み層は、前記前処理データに対して畳み込み運算を行い、前記所定範囲は、前記マスク畳み込み層のスケールに対応する、装置。
付記18に記載の画像コーディング装置であって、
前記確率推定器は、マスク畳み込み層を含み、前記マスク畳み込み層は、前記前処理データに対して畳み込み運算を行い、前記所定範囲は、前記マスク畳み込み層のスケールに対応する、装置。
【0174】
(付記20）
付記19に記載の画像コーディング装置であって、
前記マスク畳み込み層の個数が1個である場合、前記所定範囲は、前記マスク畳み込み層のスケールに等しく、前記マスク畳み込み層の個数が複数個である場合、前記所定範囲は、複数の前記マスク畳み込み層の最大スケールに等しく、又は、前記所定範囲は、各前記マスク畳み込み層のスケールに等しい、装置。
付記19に記載の画像コーディング装置であって、
前記マスク畳み込み層の個数が1個である場合、前記所定範囲は、前記マスク畳み込み層のスケールに等しく、前記マスク畳み込み層の個数が複数個である場合、前記所定範囲は、複数の前記マスク畳み込み層の最大スケールに等しく、又は、前記所定範囲は、各前記マスク畳み込み層のスケールに等しい、装置。
【0175】
（付記21）
付記17に記載の画像コーディング装置であって、さらに、
フラッグデータ生成器であって、フラッグデータを生成し、前記フラッグデータが、前記離散的な特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられるものを含み、
前記エントロピーコーダは、さらに、前記フラッグデータに基づいて、前記離散的な特徴マップにおける前記コーディング待ちデータに対してエントロピーコーディングを行う、装置。
付記17に記載の画像コーディング装置であって、さらに、
フラッグデータ生成器であって、フラッグデータを生成し、前記フラッグデータが、前記離散的な特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられるものを含み、
前記エントロピーコーダは、さらに、前記フラッグデータに基づいて、前記離散的な特徴マップにおける前記コーディング待ちデータに対してエントロピーコーディングを行う、装置。
【0176】
（付記22）
付記21に記載の画像コーディング装置であって、
前記エントロピーコーダは、前記フラッグデータにより、前記離散的な特徴マップにおける或るチャネルのデータがすべてゼロであると指示するときに、前記離散的な特徴マップにおける該チャネルの前記コーディング待ちデータに対してエントロピーコーディングを行わず、前記フラッグデータにより、前記離散的な特徴マップにおける或るチャネルのデータがすべてゼロでないと指示するときに、前記コーディング待ちデータの確率に基づいて該チャネルの前記コーディング待ちデータに対してエントロピーコーディングを行う、装置。
付記21に記載の画像コーディング装置であって、
前記エントロピーコーダは、前記フラッグデータにより、前記離散的な特徴マップにおける或るチャネルのデータがすべてゼロであると指示するときに、前記離散的な特徴マップにおける該チャネルの前記コーディング待ちデータに対してエントロピーコーディングを行わず、前記フラッグデータにより、前記離散的な特徴マップにおける或るチャネルのデータがすべてゼロでないと指示するときに、前記コーディング待ちデータの確率に基づいて該チャネルの前記コーディング待ちデータに対してエントロピーコーディングを行う、装置。
【0177】
（付記23）
画像デコーディング装置であって、
前処理器であって、デコーディング済みデータに対して前処理を行い、前処理データを生成し、前記前処理データのデータ量が前記デコーディング済みデータのデータ量よりも小さいもの；
確率推定器であって、前記前処理データに基づいて現在のデコーディング待ちデータの確率を計算するもの；
エントロピーデコーダであって、前記確率に基づいて前記デコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得するもの；及び
畳み込みニューラルネットワークデコーダであって、前記特徴マップに対して再構成を行い、画像データを生成するものを含む、装置。
画像デコーディング装置であって、
前処理器であって、デコーディング済みデータに対して前処理を行い、前処理データを生成し、前記前処理データのデータ量が前記デコーディング済みデータのデータ量よりも小さいもの；
確率推定器であって、前記前処理データに基づいて現在のデコーディング待ちデータの確率を計算するもの；
エントロピーデコーダであって、前記確率に基づいて前記デコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得するもの；及び
畳み込みニューラルネットワークデコーダであって、前記特徴マップに対して再構成を行い、画像データを生成するものを含む、装置。
【0178】
（付記24）
付記23に記載の画像デコーディング装置であって、
前記前処理器は、前記デコーディング済みデータにおける一部のデータを前処理データとして選択し、そのうち、前記前処理データは、現在の前記デコーディング待ちデータを中心とする、所定範囲内の複数のデータを含む、装置。
付記23に記載の画像デコーディング装置であって、
前記前処理器は、前記デコーディング済みデータにおける一部のデータを前処理データとして選択し、そのうち、前記前処理データは、現在の前記デコーディング待ちデータを中心とする、所定範囲内の複数のデータを含む、装置。
【0179】
（付記25）
付記24に記載の画像デコーディング装置であって、
前記確率推定器は、マスク畳み込み層を含み、前記マスク畳み込み層は、前記前処理データに対して畳み込み運算を行い、前記所定範囲は、前記マスク畳み込み層のスケールに対応する、装置。
付記24に記載の画像デコーディング装置であって、
前記確率推定器は、マスク畳み込み層を含み、前記マスク畳み込み層は、前記前処理データに対して畳み込み運算を行い、前記所定範囲は、前記マスク畳み込み層のスケールに対応する、装置。
【0180】
（付記26）
付記25に記載の画像デコーディング装置であって、
前記マスク畳み込み層の個数が1個である場合、前記所定範囲は、前記マスク畳み込み層のスケールに等しく、前記マスク畳み込み層の個数が複数個である場合、前記所定範囲は、複数の前記マスク畳み込み層の最大スケールに等しく、又は、前記所定範囲は、各前記マスク畳み込み層のスケールに等しい、装置。
付記25に記載の画像デコーディング装置であって、
前記マスク畳み込み層の個数が1個である場合、前記所定範囲は、前記マスク畳み込み層のスケールに等しく、前記マスク畳み込み層の個数が複数個である場合、前記所定範囲は、複数の前記マスク畳み込み層の最大スケールに等しく、又は、前記所定範囲は、各前記マスク畳み込み層のスケールに等しい、装置。
【0181】
（付記27）
付記23に記載の画像デコーディング装置であって、
前記エントロピーデコーダは、さらに、フラッグデータに基づいて、前記デコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得し、そのうち、前記フラッグデータは、前記特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられる、装置。
付記23に記載の画像デコーディング装置であって、
前記エントロピーデコーダは、さらに、フラッグデータに基づいて、前記デコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得し、そのうち、前記フラッグデータは、前記特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられる、装置。
【0182】
（付記28）
付記27に記載の画像デコーディング装置であって、
前記エントロピーデコーダは、前記フラッグデータにより、前記特徴マップにおける或るチャネルのデータがすべてゼロであると指示するときに、該チャネル上ですべてゼロの特徴マップを生成し、前記フラッグデータにより、前記特徴マップにおける或るチャネルのデータがすべてゼロでないと指示する場合、前記デコーディング待ちデータの確率に基づいて該チャネルの前記デコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得する、装置。
付記27に記載の画像デコーディング装置であって、
前記エントロピーデコーダは、前記フラッグデータにより、前記特徴マップにおける或るチャネルのデータがすべてゼロであると指示するときに、該チャネル上ですべてゼロの特徴マップを生成し、前記フラッグデータにより、前記特徴マップにおける或るチャネルのデータがすべてゼロでないと指示する場合、前記デコーディング待ちデータの確率に基づいて該チャネルの前記デコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得する、装置。
【0183】
（付記29）
画像コーディング装置であって、
畳み込みニューラルネットワークコーダであって、畳み込みニューラルネットワークを用いて処理待ちの画像データに対して特徴抽出を行い、前記画像データの特徴マップを生成するもの；
量子化器であって、前記特徴マップに対して量子化を行い、離散的な特徴マップを生成するもの；
確率推定器であって、前記離散的な特徴マップにおけるコーディング待ちデータの確率を計算するもの；
フラッグデータ生成器であって、フラッグデータを生成し、前記フラッグデータが、前記離散的な特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられるもの；及び
エントロピーコーダであって、前記フラッグデータ及び前記コーディング待ちデータの確率に基づいて前記コーディング待ちデータに対してエントロピーコーディングを行うものを含む、装置。
画像コーディング装置であって、
畳み込みニューラルネットワークコーダであって、畳み込みニューラルネットワークを用いて処理待ちの画像データに対して特徴抽出を行い、前記画像データの特徴マップを生成するもの；
量子化器であって、前記特徴マップに対して量子化を行い、離散的な特徴マップを生成するもの；
確率推定器であって、前記離散的な特徴マップにおけるコーディング待ちデータの確率を計算するもの；
フラッグデータ生成器であって、フラッグデータを生成し、前記フラッグデータが、前記離散的な特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられるもの；及び
エントロピーコーダであって、前記フラッグデータ及び前記コーディング待ちデータの確率に基づいて前記コーディング待ちデータに対してエントロピーコーディングを行うものを含む、装置。
【0184】
（付記30）
付記29に記載の画像コーディング装置であって、
前記エントロピーコーダは、前記フラッグデータにより、前記離散的な特徴マップにおける或るチャネルのデータがすべてゼロであると指示するときに、前記離散的な特徴マップにおける該チャネルの前記コーディング待ちデータに対してエントロピーコーディングを行わず、前記フラッグデータにより、前記離散的な特徴マップにおける或るチャネルのデータがすべてゼロでないと指示するときに前記コーディング待ちデータの確率に基づいて該チャネルの前記コーディング待ちデータに対してエントロピーコーディングを行う、装置。
付記29に記載の画像コーディング装置であって、
前記エントロピーコーダは、前記フラッグデータにより、前記離散的な特徴マップにおける或るチャネルのデータがすべてゼロであると指示するときに、前記離散的な特徴マップにおける該チャネルの前記コーディング待ちデータに対してエントロピーコーディングを行わず、前記フラッグデータにより、前記離散的な特徴マップにおける或るチャネルのデータがすべてゼロでないと指示するときに前記コーディング待ちデータの確率に基づいて該チャネルの前記コーディング待ちデータに対してエントロピーコーディングを行う、装置。
【0185】
（付記31）
画像デコーディング装置であって、
確率推定器であって、現在のデコーディング待ちデータの確率を推定するもの；
エントロピーデコーダであって、フラッグデータ及び前記デコーディング待ちデータの確率に基づいて前記デコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得し、そのうち、前記フラッグデータが、前記特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられるもの；及び
畳み込みニューラルネットワークデコーダであって、前記特徴マップに対して再構成を行い、画像データを生成するものを含む、装置。
画像デコーディング装置であって、
確率推定器であって、現在のデコーディング待ちデータの確率を推定するもの；
エントロピーデコーダであって、フラッグデータ及び前記デコーディング待ちデータの確率に基づいて前記デコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得し、そのうち、前記フラッグデータが、前記特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられるもの；及び
畳み込みニューラルネットワークデコーダであって、前記特徴マップに対して再構成を行い、画像データを生成するものを含む、装置。
【0186】
（付記32）
付記31に記載の画像デコーディング装置であって、
前記エントロピーデコーダは、前記フラッグデータにより、前記特徴マップにおける或るチャネルのデータがすべてゼロであると指示する場合、該チャネル上ですべてゼロの特徴マップを生成し、前記フラッグデータにより、前記特徴マップにおける或るチャネルのデータがすべてゼロでないと指示する場合、前記デコーディング待ちデータの確率に基づいて、該チャネルの前記デコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを得る、装置。
付記31に記載の画像デコーディング装置であって、
前記エントロピーデコーダは、前記フラッグデータにより、前記特徴マップにおける或るチャネルのデータがすべてゼロであると指示する場合、該チャネル上ですべてゼロの特徴マップを生成し、前記フラッグデータにより、前記特徴マップにおける或るチャネルのデータがすべてゼロでないと指示する場合、前記デコーディング待ちデータの確率に基づいて、該チャネルの前記デコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを得る、装置。
【0187】
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。
【図1】
【図2】
【図3A】
【図3B】
【図3C】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】