特許 7185467 画像復号装置、画像符号化装置、画像処理システム及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-29

(45)【発行日】2022-12-07

(54)【発明の名称】画像復号装置、画像符号化装置、画像処理システム及びプログラム

(51)【国際特許分類】

   H04N 19/105 20140101AFI20221130BHJP

   H04N 19/182 20140101ALI20221130BHJP

   H04N 19/196 20140101ALI20221130BHJP

【ＦＩ】

H04N19/105

H04N19/182

H04N19/196

【請求項の数】 7

(21)【出願番号】P 2018184928

(22)【出願日】2018-09-28

(65)【公開番号】P2020057840

(43)【公開日】2020-04-09

【審査請求日】2020-08-11

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】110001564

【氏名又は名称】フェリシテ弁理士法人

(74)【代理人】

【識別番号】110001106

【氏名又は名称】弁理士法人キュリーズ

(72)【発明者】

【氏名】海野 恭平

(72)【発明者】

【氏名】内藤 整

【審査官】鉢呂 健

(56)【参考文献】

【文献】特表２０１７－５２１９０７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１５／０１４６９７５（ＵＳ，Ａ１）

【文献】墨 龍 et al.，事例探索と予測を併用した確率モデリングによる静止画像の可逆符号化 Lossless Coding of Still Images Based on Probability Modeling by Example Search and Prediction，２０１６年電子情報通信学会総合大会講演論文集，一般社団法人電子情報通信学会，2016年03月01日，情報・システム講演論文集2, D-11-46，p. 46

【文献】根本 倖次 et al.，事例探索と確率モデルの最適化に基づく動画像の可逆符号化 Lossless Coding of Video Signals Based on Example Search and Probability Model Optimization，２０１８年映像情報メディア学会年次大会講演予稿集，日本，一般社団法人映像情報メディア学会，2018年08月15日，31B-4

【文献】根本 倖次 et al.，フレーム間の事例探索に基づいた動画像の可逆符号化 Lossless Video Coding Based on Inter-Frame Example Search，２０１８年電子情報通信学会総合大会講演論文集，一般社団法人電子情報通信学会，2018年03月06日，情報・システム講演論文集2，p. 11

【文献】柴崎 俊亮 et al.，複数の予測器出力に連動する多峰性確率モデルによる画像の可逆符号化 Lossless Image Coding Using Multi-Peaked Probability Models Driven by Local Predictors，２０１１年画像符号化シンポジウム 第２６回シンポジウム資料，電子情報通信学会画像工学研究専門委員会，2011年10月26日，P-2.03，pp. 25-26

【文献】SUMI, Toru et al.，Lossless Image Coding Based on Probability Modeling Using Template Matching and Linear Prediction，IEICE TRANS. FUNDAMENTALS，The Institute of Electronics, Information and Communication Engineers，2017年11月01日，Vol. E100-A, No.11，pp. 2351-2354

【文献】MATSUDA, Ichiro et al.，A Lossless Image Coding Method Based on Probability Model Optimization，2018 26th European Signal Processing Conference (EUSIPCO)，IEEE，2018年12月03日，pp. 151-155，ISBN: 978-90-827970-1-5

【文献】MATSUDA, Ichiro et al.，LOSSLESS CODING OF COLOR IMAGES USING BLOCK-ADAPTIVE INTER-COLOR PREDICTION，2007 IEEE International Conference on Image Processing，IEEE，2007年11月12日，pp. II 329-332

【文献】WEINLICH, Andreas et al.，Probability Distribution Estimation for Autoregressive Pixel-Predictive Image Coding，IEEE TRANSACTIONS ON IMAGE PROCESSING，Vol. 25, No. 3，IEEE，2016年01月27日，pp. 1382-1395

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００－１９／９８

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

復号済み画素を用いて第１単峰性確率分布及び第２単峰性確率分布を生成し、前記第１単峰性確率分布及び前記第２単峰性確率分布に基づいて多峰性確率分布を生成する確率分布処理部と、
前記多峰性確率分布を用いて、エントロピー復号処理を実行する復号部と、を備え、
前記確率分布処理部は、
前記復号済み画素の中から第１探索範囲を設定し、
前記第１探索範囲に含まれる全ての画素を１つずつ第１参照画素として設定し、
対象画素に隣接する画素によって構成される対象テンプレートに含まれる各画素の値と前記第１参照画素に隣接する画素によって構成される参照テンプレートに含まれる各画素の値とを比較することによって、所定条件を満たす第１参照画素を事例参照画素として特定し、
前記事例参照画素のマッチングコストに基づいて、前記第１単峰性確率分布を生成し、
前記確率分布処理部は、
前記復号済み画素の中から第２探索範囲を設定し、
前記第２探索範囲に含まれる全ての画素を１つずつ第２参照画素として設定し、
前記第２参照画素の値を正解データとして、前記第２参照画素に隣接する複数の画素によって構成される複数種類の形状の近隣画素群に含まれる画素の値から前記第２参照画素の値を予測する複数の予測方法を特定し、
前記近隣画素群に含まれる画素の値から予測される予測値と前記第２参照画素の値との誤差に基づいて、前記複数の予測方法の回帰誤差を算出し、
前記複数の予測方法の回帰誤差に基づいて、前記第２単峰性確率分布を生成し、
前記第１単峰性確率分布及び前記第２単峰性確率分布は、入力画像の各画素値の確率分布である、
画像復号装置。

【請求項2】

前記確率分布処理部は、２種類以上の色信号を用いることによって、前記第１単峰性確率分布及び前記第２単峰性確率分布を生成する、請求項１に記載の画像復号装置。

【請求項3】

前記確率分布処理部は、時刻が異なる２以上のフレームを用いることによって、前記第１単峰性確率分布及び前記第２単峰性確率分布を生成する、請求項１又は２に記載の画像復号装置。

【請求項4】

符号化済み画素を用いて第１単峰性確率分布及び第２単峰性確率分布を生成し、前記第１単峰性確率分布及び前記第２単峰性確率分布に基づいて多峰性確率分布を生成する確率分布処理部と、
前記多峰性確率分布を用いて、エントロピー符号化処理を実行する符号化部と、を備え、
前記確率分布処理部は、
前記符号化済み画素の中から第１探索範囲を設定し、
前記第１探索範囲に含まれる全ての画素を１つずつ第１参照画素として設定し、
対象画素に隣接する画素によって構成される対象テンプレートに含まれる各画素の値と前記第１参照画素に隣接する画素によって構成される参照テンプレートに含まれる各画素の値とを比較することによって、所定条件を満たす第１参照画素を事例参照画素として特定し、
前記事例参照画素のマッチングコストに基づいて、前記第１単峰性確率分布を生成し、
前記確率分布処理部は、
前記符号化済み画素の中から第２探索範囲を設定し、
前記第２探索範囲に含まれる全ての画素を１つずつ第２参照画素として設定し、
前記第２参照画素の値を正解データとして、前記第２参照画素に隣接する複数の画素によって構成される複数種類の形状の近隣画素群に含まれる画素の値から前記第２参照画素の値を予測する複数の予測方法を特定し、
前記近隣画素群に含まれる画素の値から予測される予測値と前記第２参照画素の値との誤差に基づいて、前記複数の予測方法の回帰誤差を算出し、
前記複数の予測方法の回帰誤差に基づいて、前記第２単峰性確率分布を生成し、
前記第１単峰性確率分布及び前記第２単峰性確率分布は、入力画像の各画素値の確率分布である、画像符号化装置。

【請求項5】

画像符号化装置及び画像復号装置を備える画像処理システムであって、
前記画像符号化装置は、
符号化済み画素を用いて第１単峰性確率分布及び第２単峰性確率分布を生成し、前記第１単峰性確率分布及び前記第２単峰性確率分布に基づいて多峰性確率分布を生成する確率分布処理部と、
前記多峰性確率分布を用いて、エントロピー符号化処理を実行する符号化部と、を備え、
前記画像復号装置は、
復号済み画素を用いて前記第１単峰性確率分布及び前記第２単峰性確率分布を生成し、前記第１単峰性確率分布及び前記第２単峰性確率分布に基づいて前記多峰性確率分布を生成する確率分布処理部と、
前記多峰性確率分布を用いて、エントロピー復号処理を実行する復号部と、を備え、
前記確率分布処理部は、
前記復号済み画素の中から第１探索範囲を設定し、
前記第１探索範囲に含まれる全ての画素を１つずつ第１参照画素として設定し、
対象画素に隣接する画素によって構成される対象テンプレートに含まれる各画素の値と前記第１参照画素に隣接する画素によって構成される参照テンプレートに含まれる各画素の値とを比較することによって、所定条件を満たす第１参照画素を事例参照画素として特定し、
前記事例参照画素のマッチングコストに基づいて、前記第１単峰性確率分布を生成し、
前記確率分布処理部は、
前記復号済み画素の中から第２探索範囲を設定し、
前記第２探索範囲に含まれる全ての画素を１つずつ第２参照画素として設定し、
前記第２参照画素の値を正解データとして、前記第２参照画素に隣接する複数の画素によって構成される複数種類の形状の近隣画素群に含まれる画素の値から前記第２参照画素の値を予測する複数の予測方法を特定し、
前記近隣画素群に含まれる画素の値から予測される予測値と前記第２参照画素の値との誤差に基づいて、前記複数の予測方法の回帰誤差を算出し、
前記複数の予測方法の回帰誤差に基づいて、前記第２単峰性確率分布を生成し、
前記第１単峰性確率分布及び前記第２単峰性確率分布は、入力画像の各画素値の確率分布である、画像処理システム。

【請求項6】

プログラムであって、コンピュータに、
復号済み画素を用いて第１単峰性確率分布及び第２単峰性確率分布を生成し、前記第１単峰性確率分布及び前記第２単峰性確率分布に基づいて多峰性確率分布を生成するステップＡと、
前記多峰性確率分布を用いて、エントロピー復号処理を実行するステップＢと、を実行させ、
前記ステップＡにおいて、
前記復号済み画素の中から第１探索範囲を設定し、
前記第１探索範囲に含まれる全ての画素を１つずつ第１参照画素として設定し、
対象画素に隣接する画素によって構成される対象テンプレートに含まれる各画素の値と前記第１参照画素に隣接する画素によって構成される参照テンプレートに含まれる各画素の値とを比較することによって、所定条件を満たす第１参照画素を事例参照画素として特定し、
前記事例参照画素のマッチングコストに基づいて、前記第１単峰性確率分布を生成し、
前記ステップＡにおいて、
前記復号済み画素の中から第２探索範囲を設定し、
前記第２探索範囲に含まれる全ての画素を１つずつ第２参照画素として設定し、
前記第２参照画素の値を正解データとして、前記第２参照画素に隣接する複数の画素によって構成される複数種類の形状の近隣画素群に含まれる画素の値から前記第２参照画素の値を予測する複数の予測方法を特定し、
前記近隣画素群に含まれる画素の値から予測される予測値と前記第２参照画素の値との誤差に基づいて、前記複数の予測方法の回帰誤差を算出し、
前記複数の予測方法の回帰誤差に基づいて、前記第２単峰性確率分布を生成し、
前記第１単峰性確率分布及び前記第２単峰性確率分布は、入力画像の各画素値の確率分布である、プログラム。

【請求項7】

プログラムであって、コンピュータに、
符号化済み画素を用いて第１単峰性確率分布及び第２単峰性確率分布を生成し、前記第１単峰性確率分布及び前記第２単峰性確率分布に基づいて多峰性確率分布を生成するステップＡと、
前記多峰性確率分布を用いて、エントロピー符号化処理を実行するステップＢと、を実行させ、
前記ステップＡにおいて、
前記符号化済み画素の中から第１探索範囲を設定し、
前記第１探索範囲に含まれる全ての画素を１つずつ第１参照画素として設定し、
対象画素に隣接する画素によって構成される対象テンプレートに含まれる各画素の値と前記第１参照画素に隣接する画素によって構成される参照テンプレートに含まれる各画素の値とを比較することによって、所定条件を満たす第１参照画素を事例参照画素として特定し、
前記事例参照画素のマッチングコストに基づいて、前記第１単峰性確率分布を生成し、
前記ステップＡにおいて、
前記符号化済み画素の中から第２探索範囲を設定し、
前記第２探索範囲に含まれる全ての画素を１つずつ第２参照画素として設定し、
前記第２参照画素の値を正解データとして、前記第２参照画素に隣接する複数の画素によって構成される複数種類の形状の近隣画素群に含まれる画素の値から前記第２参照画素の値を予測する複数の予測方法を特定し、
前記近隣画素群に含まれる画素の値から予測される予測値と前記第２参照画素の値との誤差に基づいて、前記複数の予測方法の回帰誤差を算出し、
前記複数の予測方法の回帰誤差に基づいて、前記第２単峰性確率分布を生成し、
前記第１単峰性確率分布及び前記第２単峰性確率分布は、入力画像の各画素値の確率分布である、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像復号装置、画像符号化装置、画像処理システム及びプログラムに関する。

【背景技術】

【0002】

従来、イントラ予測（フレーム内予測）又はインター予測（フレーム間予測）によって生成される予測信号と入力画像信号との差分である予測残差信号を生成し、予測残差信号の変換処理及び量子化処理を行う技術（例えば、ＨＥＶＣ；Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）が提案されている。このような技術では、予測残差信号の出現確率として単一のピークを有する単峰性確率分布を用いてエントロピー符号化処理を行う技術が提案されている。

【0003】

これに対して、非特許文献１では、画像データの符号化において、画素値の確率分布を直接推定してエントロピー符号化を行う手法が開示されている。前記確率分布は、単一のピーク値を持つ単峰性確率分布を、画素ごとに複数種類用意して合成することにより推定している。各単峰性確率分布のピークの位置は、符号化対象画像の符号化済み領域を用いた複数のテンプレートマッチング結果と、符号化済み近傍画素値から算出した複数の予測値を用いている。

【先行技術文献】

【非特許文献】

【0004】

【文献】T.Sumi, Y. Inamura, Y. Kameda, T. Ishikawa, I. Matsuda and S. Itoh, “Lossless Image Coding Based on Probability Modeling Using Template Matching and Linear Prediction,” IEICE Trans. on Fundamentals, Vol.E100-A, No.11, pp.2351-2354, Nov. 2017

【発明の概要】

【発明が解決しようとする課題】

【0005】

非特許文献１では、符号化済み近傍画素値から予測値を算出する方法は、画像によらず常に同じ予測式を用いる。しかし、一般に画像の絵柄（＝入力信号のパタン）によって最適な予測方法、予測式は異なるため、エントロピー符号化処理の符号化効率について改善の余地がある。

【0006】

そこで、本発明は、上述した課題を解決するためになされたものであり、エントロピー符号化処理の符号化効率を向上することを可能とする画像復号装置、画像符号化装置、画像処理システム及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

第１の特徴に係る画像復号装置は、復号済み画素を用いて２以上の単峰性確率分布を生成し、前記２以上の単峰性確率分布のうち少なくとも一つは適応的な予測に基づいて生成し、前記２以上の単峰性確率分布に基づいて多峰性確率分布を生成する確率分布処理部と、前記多峰性確率分布を用いて、エントロピー復号処理を実行する復号部と、を備える。

【0008】

第２の特徴に係る画像符号化装置は、符号化済み画素を用いて２以上の単峰性確率分布を生成し、前記２以上の単峰性確率分布のうち少なくとも一つは適応的な予測に基づいて生成し、前記２以上の単峰性確率分布に基づいて多峰性確率分布を生成する確率分布処理部と、前記多峰性確率分布を用いて、エントロピー符号化処理を実行する符号化部と、を備える。

【0009】

第３の特徴に係る画像処理システムは、画像符号化装置及び画像復号装置を備える。前記画像符号化装置は、符号化済み画素を用いて２以上の単峰性確率分布を生成し、前記２以上の単峰性確率分布のうち少なくとも一つは適応的な予測に基づいて生成し、前記２以上の単峰性確率分布に基づいて多峰性確率分布を生成する確率分布処理部と、前記多峰性確率分布を用いて、エントロピー符号化処理を実行する符号化部と、を備える。前記画像復号装置は、復号済み画素を用いて２以上の単峰性確率分布を生成し、前記２以上の単峰性確率分布のうち少なくとも一つは適応的な予測に基づいて生成し、前記２以上の単峰性確率分布に基づいて多峰性確率分布を生成する確率分布処理部と、前記多峰性確率分布を用いて、エントロピー復号処理を実行する復号部と、を備える。

【0010】

第４の特徴に係るプログラムは、コンピュータに、復号済み画素を用いて２以上の単峰性確率分布を生成し、前記２以上の単峰性確率分布のうち少なくとも一つは適応的な予測に基づいて生成し、前記２以上の単峰性確率分布に基づいて多峰性確率分布を生成するステップと、前記多峰性確率分布を用いて、エントロピー復号処理を実行するステップと、を実行させる。

【0011】

第５の特徴に係るプログラムは、コンピュータに、符号化済み画素を用いて２以上の単峰性確率分布を生成し、前記２以上の単峰性確率分布のうち少なくとも一つは適応的な予測に基づいて生成し、前記２以上の単峰性確率分布に基づいて多峰性確率分布を生成するステップと、前記多峰性確率分布を用いて、エントロピー符号化処理を実行するステップと、を実行させる。

【発明の効果】

【0012】

一態様によれば、エントロピー符号化処理の符号化効率を向上することを可能とする画像復号装置、画像符号化装置、画像処理システム及びプログラムを提供することができる。

【図面の簡単な説明】

【0013】

【図1】図１は、実施形態に係る画像処理システム１０を示す図である。

【図2】図２は、実施形態に係る画像符号化装置１００を示す図である。

【図3】図３は、実施形態に係るラスタスキャンについて説明するための図である。

【図4】図４は、実施形態に係る第１方法を説明するための図である。

【図5】図５は、実施形態に係る第２方法を説明するための図である。

【図6】図６は、実施形態に係る画像復号装置２００を示す図である。

【図7】図７は、変更例１について説明するための図である。

【図8】図８は、変更例２について説明するための図である。

【図9】図９は、変更例２について説明するための図である。

【図10】図１０は、変更例４について説明するための図である。

【図11】図１１は、変更例５について説明するための図である。

【発明を実施するための形態】

【0014】

以下において、実施形態について図面を参照しながら説明する。なお、以下の図面の記載において、同一又は類似の部分には、同一又は類似の符号を付している。

【0015】

但し、図面は模式的なものであり、各寸法の比率などは現実のものとは異なる場合があることに留意すべきである。従って、具体的な寸法などは以下の説明を参酌して判断すべきである。また、図面相互間においても互いの寸法の関係又は比率が異なる部分が含まれている場合があることは勿論である。

【0016】

［開示の概要］
開示の概要に係る画像復号装置は、復号済み画素を用いて２以上の単峰性確率分布を生成し、前記２以上の単峰性確率分布のうち少なくとも一つは適応的な予測に基づいて生成し、前記２以上の単峰性確率分布に基づいて多峰性確率分布を生成する確率分布処理部と、前記多峰性確率分布を用いて、エントロピー復号処理を実行する復号部と、を備える。

【0017】

開示の概要では、エントロピー復号処理で用いる確率分布が多峰性確率分布であり、エントロピー符号化処理で用いる確率分布として多峰性確率分布を用いることが前提となっている。さらには、多峰性確立分布の生成に用いる２以上の単峰性確率分布のうち少なくとも一つは適応的な予測に基づいて生成される。このような構成によれば、様々な画像の絵柄（＝入力信号のパタン）に応じた確率分布が用いられるため、エントロピー符号化処理の符号化効率を向上することができる。

【0018】

開示の概要に係る画像符号化装置は、符号化済み画素を用いて２以上の単峰性確率分布を生成し、前記２以上の単峰性確率分布のうち少なくとも一つは適応的な予測に基づいて生成し、前記２以上の単峰性確率分布に基づいて多峰性確率分布を生成する確率分布処理部と、前記多峰性確率分布を用いて、エントロピー符号化処理を実行する符号化部と、を備える。

【0019】

開示の概要では、エントロピー符号化処理で用いる確率分布として多峰性確率分布が用いられる。さらには、多峰性確立分布の生成に用いる２以上の単峰性確率分布のうち少なくとも一つは適応的な予測に基づいて生成される。このような構成によれば、様々な画像の絵柄（＝入力信号のパタン）に応じた確率分布が用いられるため、エントロピー符号化処理の符号化効率を向上することができる。

【0020】

開示の概要としては、上述した画像復号装置の動作に係る画像復号方法が提供されてもよく、上述した画像符号化装置の動作に係る画像符号化方法が提供されてもよい。開示の概要としては、上述した画像復号装置及び画像符号化装置を有する画像処理システムが提供されてもよい。開示の概要としては、上述した画像復号装置の動作に係るプログラムが提供されてもよく、上述した画像符号化装置の動作に係るプログラムが提供されてもよい。

【0021】

［実施形態］
（画像処理システム）
以下において、実施形態に係る画像処理システムについて説明する。図１は、実施形態に係る実施形態に係る画像処理システム１０を示す図である。

【0022】

図１に示すように、画像処理システム１０は、画像符号化装置１００及び画像復号装置２００を有する。画像符号化装置１００は、入力画像信号を符号化することによって符号化データを生成する。画像復号装置２００は、符号化データを復号することによって出力画像信号を生成する。符号化データは、画像符号化装置１００から画像復号装置２００に対して伝送路を介して送信されてもよい。符号化データは、記憶媒体に格納された上で、画像符号化装置１００から画像復号装置２００に提供されてもよい。

【0023】

（画像符号化装置）
以下において、実施形態に係る画像符号化装置について説明する。図２は、実施形態に係る画像符号化装置１００を示す図である。

【0024】

図２に示すように、画像符号化装置１００は、符号化部１４０と、確率分布生成部１７０と、を有する。

【0025】

符号化部１４０は、入力画像（画素値）を画素ごとに符号化し、符号化データを出力する。符号化処理は、後述する確率分布生成部１７０によって生成される確率分布に基づいて異なる長さの符号を割り当てるエントロピー符号化処理である。符号化部１４０は、図３に示すように、フレームの左上の画素からラスタスキャン順に対象画素のエントロピー符号化処理を行う。

【0026】

符号化部１４０は、画素値に加えて、復号処理で用いる制御データを符号化する。制御データは、符号化ブロックサイズ、予測ブロックサイズ、変換ブロックサイズなどのサイズデータを含んでもよい。

【0027】

確率分布生成部１７０は、エントロピー符号化処理で用いる確率分布を生成する。具体的には、確率分布生成部１７０は、符号化済み画素を用いて２以上の単峰性確率分布を生成し、２以上の単峰性確率分布のうち少なくとも一つは適応的な予測に基づいて生成し、前記２以上の単峰性確率分布に基づいて多峰性確率分布を生成する。多峰性確率分布とは、複数のピークを含む確率分布である。多峰性確率分布の生成方法の詳細は以下に示す通りである。

【0028】

第１に、確率分布生成部１７０は、図４に示すように、符号化済み画素群４０１の中から第１探索範囲４０２を設定する。第１探索範囲４０２は、符号化済み画素群４０１に含まれていればよい。

【0029】

続いて、確率分布生成部１７０は、第１探索範囲４０２に含まれる全ての画素を１つずつ参照画素６０１として設定し、対象テンプレート５０２に含まれる画素の値と参照テンプレート６０２に含まれる画素の値とを比較することによって、対象テンプレート５０２に対するマッチングコストが所定条件を満たす参照画素６０１（以下、事例参照画素）を特定する。例えば、確率分布生成部１７０は、対象テンプレート５０２に含まれる画素の値と参照テンプレート６０２Ａ、６０２Ｂ、６０２Ｃに含まれる画素の値とを比較することによって、参照画素６０１Ａ、６０１Ｂ、６０１Ｃのマッチングコストが算出される。

【0030】

対象テンプレート５０２は、対象画素５０１の位置に応じて定められる画素によって構成される。対象テンプレート５０２は、対象画素５０１に隣接する画素によって構成されてもよい。参照テンプレート６０２は、参照画素6０１の位置に応じて定められる画素によって構成される。参照テンプレート６０２は、参照画素６０１に隣接する画素によって構成されてもよい。対象テンプレート５０２の形状は、参照テンプレート６０２の形状と同じである。

【0031】

ここで、マッチングコストは、対象テンプレート５０２に含まれる各画素の値と参照テンプレート６０２に含まれる各画素の値との絶対値誤差の平均値であってもよい。所定条件は、マッチングコストが小さい順に所定数の参照画素６０１を事例参照画素として特定する条件であってもよい。所定条件は、マッチングコストが所定閾値よりも小さい参照画素を事例参照画素として特定する条件であってもよい。

【0032】

図４に示す方ケースによれば、事例参照画素のマッチングコストが事例参照画素の値の確からしさを表しているため、確率分布生成部１７０は、図４に示す方法（以下、第１方法）によって単峰性確率分布を生成することができる。

【0033】

第２に、確率分布生成部１７０は、図５に示すように、符号化済み画素群４０１の中から第２探索範囲４０３を設定する。第２探索範囲４０３は、符号化済み画素群４０１に含まれていればよい。第２探索範囲４０３は、第１探索範囲４０２よりも小さくてもよく、第１探索範囲４０２よりも大きくてもよい。

【0034】

続いて、確率分布生成部１７０は、第２探索範囲４０３に含まれる全ての画素を１つずつ参照画素７０１として設定し、参照画素７０１の値を正解データとして、隣接画素群７０２に含まれる画素の値から参照画素７０１の値を予測する予測方法（予測式）を特定する。さらに、確率分布生成部１７０は、隣接画素群７０２に含まれる画素の値から予測される予測値と参照画素７０１の値との誤差に基づいて、予測方法の回帰誤差を算出する。例えば、近隣画素群７０２Ａ、７０２Ｂ、７０２Ｃなどに含まれる画素の値から予測される予測値と参照画素７０１Ａ、７０１Ｂ、７０１Ｃなどとの誤差に基づいて、予測方法の回帰誤差が算出される。

【0035】

近隣画素群７０２は、参照画素７０１の位置に応じて定められる画素によって構成される。近隣画素群７０２は、参照画素７０１に隣接する画素によって構成されてもよい。但し、近隣画素群７０２の形状は、対象画素８０１に適用する確率分布の特定に用いる近隣画素群８０２の形状と同じである。

【0036】

ここで、予測方法の特定とは、線形予測によって参照画素７０１の値を予測する場合には、確率分布生成部１７０は、最小二乗法又は重み付き最小二乗法に基づいて、線形予測の重み付けパラメータを算出することである。但し、予測方法の特定方法は、これに限定されるものではなく、ガウス過程回帰やニューラルネットワークによって予測方法が特定されてもよい。

【0037】

図５に示すケースによれば、予測方法の回帰誤差が近隣画素群８０２に含まれる画素の値から予測方法を用いて予測される対象画素８０１の値の確からしさを表しているため、確率分布生成部１７０は、図５に示す方法（以下、第２方法）によって単峰性確率分布を生成することができる。ここで、第２方法は、適応的な予測を用いる方法であり、第２方法によって生成される単峰性確率分布は、適応的な予測に基づいて生成される単峰性確率分布の一例である。

【0038】

第３に、確率分布生成部１７０は、図４に示す第１方法及び図５に示す第２方法によって２つの単峰性確率分布を生成し、２つの単峰性確率分布に基づいて多峰性確率分布を生成する。２つの単峰性確率分布の合成は、事例参照画素のマッチングコスト及び予測方法の回帰誤差を用いた正規化によって実現可能である。

【0039】

（画像復号装置）
以下において、実施形態に係る画像復号装置について説明する。図６は、実施形態に係る画像復号装置２００を示す図である。

【0040】

図６に示すように、画像復号装置２００は、復号部２１０と、確率分布生成部２７０と、を有する。

【0041】

復号部２１０は、画像符号化装置１００によって生成される符号化データを復号し、画素値を復号する。復号部２１０は、出力画像（画素値）を出力する。例えば、復号処理は、符号化部１４０で行われるエントロピー符号化処理とは逆の手順のエントロピー復号処理である。エントロピー復号処理においては、後述する確率分布生成部２７０によって生成される確率分布が用いられる。

【0042】

復号部２１０は、符号化データの復号処理によって制御データを取得してもよい。上述したように、制御データは、符号化ブロックサイズ、予測ブロックサイズ、変換ブロックサイズなどのサイズデータを含んでもよい。制御データは、第２成分の予測サンプルの生成に用いる入力ソースを示す情報要素を含んでもよい。

【0043】

確率分布生成部２７０は、エントロピー復号処理で用いる確率分布を生成する。具体的には、確率分布生成部２７０は、確率分布生成部１７０と同様の手順で、復号済み画素を用いて２以上の単峰性確率分布を生成し、２以上の単峰性確率分布のうち少なくとも一つは適応的な予測に基づいて生成し、２以上の単峰性確率分布に基づいて多峰性確率分布を生成する。

【0044】

上述したように、実施形態では、確率分布処理部（確率分布生成部１７０及び確率分布生成部２７０）は、２種類以上の探索範囲（第１探索範囲４０２及び第２探索範囲４０３）を用いることによって、２以上の単峰性確率分布を生成してもよい。

【0045】

（作用及び効果）
実施形態に係る画像符号化装置１００及び画像復号装置２００では、エントロピー符号化処理及びエントロピー復号処理で用いる確率分布が多峰性確率分布であるため、様々な画像（＝入力信号のパタン）に応じた確率分布を用いることができ、エントロピー符号化処理の符号化効率を向上することができる。

【0046】

［変更例１］
以下において、実施形態の変更例１について説明する。以下においては、実施形態に対する相違点について主として説明する。

【0047】

上述した実施形態では、図５に示す第２方法において近隣画素群７０２の形状が１種類であるケースを例示した。これに対して、変更例１では、近隣画素群７０２の形状が２種類以上であるケースを例示する。

【0048】

具体的には、図７に示すように、図５に示す第２方法において、Ｐ（ここでは、１０）種類の近隣画素群７０２の形状が用いられる。すなわち、Ｐ種類の予測方法（予測式）が特定される。ここで、図４に示す第１方法によってＥ個の事例参照画素が特定されるケースにおいて、多峰性確率分布は以下の手順で生成される。なお、各略号の意味は以下に示す通りである。

【0049】

ｍ：１≦Ｅ＋Ｐの整数
ｖ：画素の値
Ｖm：単峰性確率分布のピークを構成する画素の値（但し、ｍ≦Ｅである場合には、事例参照画素の値、Ｅ＜ｍ≦Ｐである場合に、予測方法によって予測された予測値）
ｄｍ：単峰性確率分布の確からしさを表す値（但し、ｍ≦Ｅである場合には、事例参照画素のマッチングコスト、Ｅ＜ｍ≦Ｐである場合に、予測方法の回帰誤差）
ｕｍ：局所的な確率分布の推定精度を反映するパラメータ（例えば、ｍ≦Ｅである場合には、対象テンプレート５０２に含まれる画素のエントロピーの平均値、Ｅ＜ｍ≦Ｐである場合に、近隣画素群８０２に含まれる画素のエントロピーの平均値）
ａ_０、ａ_１、ａ_２、ａ_３：所定パラメータ

【0050】

このような前提下において、式（１）～数（３）に基づいて、単峰性確率分布（ｇ_ｍ（ｖ））が算出される。

【0051】

【数1】

【0052】

続いて、式（４）に基づいて、単峰性確率分布（ｇ_ｍ（ｖ））が合成される。

【0053】

【数2】

【0054】

最後に、式（５）に基づいて、画素の値が取り得る範囲（ここでは、８ビット（０～２５５）を例示）で式（４）に示すＰ（ｖ）が正規化される。

【0055】

【数3】

【0056】

なお、対象テンプレート５０２又は近隣画素群８０２に含まれる画素がｖ（ｐｎ）である場合に、画素のエントロピーは、－ｌｏｇ２（Ｐｒ（ｖ（ｐｎ）））に基づいて算出できる。このようなケースにおいて、Ｐｒ（ｖ）は対象画素毎に算出される多峰性確率分布である。

【0057】

上述したように、変更例１では、確率分布処理部（確率分布生成部１７０及び確率分布生成部２７０）は、２種類以上の形状を有する隣接画素群を用いて２種類以上の予測方法を特定することによって、２以上の単峰性確率分布を生成してもよい。

【0058】

［変更例２］
以下において、実施形態の変更例２について説明する。以下においては、実施形態に対する相違点について主として説明する。

【0059】

変更例２では、単峰性確率分布を合成して多峰性確率分布を生成するイメージについて説明する。例えば、図８に示すように、３種類の単峰性確率分布が生成される場合において、図９に示す多峰性確率分布が生成される。

【0060】

ここで、単峰性確率分布及び多峰性確率分布は、連続関数であるため、縦軸は確率密度で表されている。従って、画素の値（整数）の確率は、画素の値を中心として±０．５の確率密度の積分によって近似される。

【0061】

［変更例３］
以下において、実施形態の変更例３について説明する。以下においては、変更例１に対する相違点について主として説明する。

【0062】

変更例３では、上述した所定パラメータａ_０、ａ_１、ａ_２、ａ_３の最適化について説明する。所定パラメータａ_０、ａ_１、ａ_２、ａ_３は、上述した式（２）、（３）で示したように偏微分可能な値であるため、図３に示すＮ×Ｎのブロック毎に数（５）の和が最小化されるように最適化されてもよい。例えば、最適化は、勾配法などを用いて行われてもよい。このような所定パラメータは、画像符号化装置１００から画像復号装置２００に送信されてもよい。

【0063】

［変更例４］
以下において、実施形態の変更例４について説明する。以下においては、実施形態に対する相違点について主として説明する。

【0064】

変更例４では、確率分布処理部（確率分布生成部１７０及び確率分布生成部２７０）は、２種類以上の色信号を用いることによって、２以上の単峰性確率分布を生成する。２以上の色信号は、符号化対象の色信号を含んでもよい。

【0065】

例えば、図１０に示すように、Ｒ信号及びＧ信号が符号化済みである場合に、Ｂ信号の符号化を行うケースについて考える。

【0066】

このようなケースにおいて、確率分布生成部は、Ｒ信号及びＧ信号の少なくともいずれか１以上の色信号を用いて生成される単峰性確率分布（又は多峰性確率分布）をＢ信号の符号化で用いてもよい。ここで、Ｂ信号の第１探索範囲４０２は、符号化済み画素４０１に限られるが、Ｒ信号及びＧ信号の第１探索範囲４０２は、対象画素を中心として１８０°回転した範囲まで拡張されてもよい。

【0067】

図１０では、Ｒ信号及びＧ信号の全てが符号化済みである逐次処理を例示しているが、変更例４はこれに限定されるものではない。Ｒ信号、Ｇ信号及びＢ信号は並列処理で符号化されてもよい。このようなケースにおいて、Ｒ信号及びＧ信号の第１探索範囲４０２は、Ｂ信号の第１探索範囲４０２と同じ範囲である。処理方法が逐次処理であるか並列処理であるかを示す情報は、画像符号化装置１００から画像復号装置２００に送信されてもよい。

【0068】

図１０では、第１探索範囲４０２（すなわち、図４に示す第１方法）について例示しているが、変更例４はこれに限定されるものではない。変更例４は、第２探索範囲４０３（すなわち、図５に示す第２方法）に適用されてもよい。

【0069】

変更例４において、２以上の単峰性確率分布の生成で参照される２以上の色信号の組合せは任意に選択されてもよい。例えば、Ｒ信号の符号化において、Ｇ信号及びＢ信号のいずれか１以上の色信号を用いて生成される単峰性確率分布（又は多峰性確率分布）が用いられてもよい。同様に、Ｇ信号の符号化において、Ｒ信号及びＢ信号のいずれか１以上の色信号を用いて生成される単峰性確率分布（又は多峰性確率分布）が用いられてもよい。このような組合せは、画像符号化装置１００から画像復号装置２００に送信されてもよい。

【0070】

ここでは、符号化について説明したが、復号でも同様の処理を適用することができる。

【0071】

［変更例５］
以下において、実施形態の変更例５について説明する。以下においては、実施形態に対する相違点について主として説明する。

【0072】

変更例５では、確率分布処理部（確率分布生成部１７０及び確率分布生成部２７０）は、時刻が異なる２以上のフレームを用いることによって、２以上の単峰性確率分布を生成する。２以上のフレームは、符号化対象のフレームを含んでもよい。

【0073】

例えば、図１１に示すように、時刻ｔ－１のフレームが符号化済みである場合に、時刻ｔのフレームの符号化を行うケースについて考える。

【0074】

このようなケースにおいて、確率分布生成部は、時刻ｔ－１のフレームを用いて生成される単峰性確率分布（又は多峰性確率分布）を時刻ｔのフレームの符号化で用いてもよい。ここで、時刻ｔのフレームの第１探索範囲４０２は、符号化済み画素４０１に限られるが、時刻ｔ－１のフレームの第１探索範囲４０２は、対象画素を中心として１８０°回転した範囲まで拡張されてもよい。

【0075】

図１１では、第１探索範囲４０２（すなわち、図４に示す第１方法）について例示しているが、変更例４はこれに限定されるものではない。変更例５は、第２探索範囲４０３（すなわち、図５に示す第２方法）に適用されてもよい。

【0076】

ここでは、符号化について説明したが、復号でも同様の処理を適用することができる。

【0077】

［変更例６］
以下において、実施形態の変更例６について説明する。以下においては、実施形態に対する相違点について主として説明する。

【0078】

変更例６においては、例えば、８ビットで表される値（０～２５５）が所定量子化ステップで量子化されるケースについて説明する。このようなケースでは、所定量子化ステップに基づいて、対象画素の値に対応する確率分布が調整される。例えば、所定量子化ステップが２であり、対象画素の値が０である場合には、０の確率及び１の確率の和が対象画素の確率として用いられる。

【0079】

このようなケースにおいても、多峰性確率分布の生成方法は、上述した実施形態と同様である。

【0080】

［その他の実施形態］
本発明は上述した実施形態によって説明したが、この開示の一部をなす論述及び図面は、この発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。

【0081】

実施形態で説明したように、予測方法の特定方法としては、線形予測の重み付けパラメータを算出することであってもよく、ガウス過程回帰やニューラルネットワークによって特定されてもよい。従って、確率分布処理部（確率分布生成部１７０及び確率分布生成部２７０）は、２種類以上の特定方法によって２種類以上の予測方法を特定することによって、２以上の単峰性確率分布を生成してもよい。

【0082】

実施形態、変更例１－６の中から選択された２つは、多峰性確率分布を生成する観点で組み合わせることが可能である。

【0083】

実施形態では特に触れていないが、画像符号化装置１００は、従来の画像符号化装置と同様に、インター予測（フレーム間予測）によって予測信号を生成するインター予測部、イントラ予測（フレーム内予測）によって予測信号を生成するイントラ予測部、予測残差信号の変換処理や量子化処理を行う変換・量子化部、変換・量子化部から出力される信号の逆変換処理や逆量子化処理を行う逆変換・量子化部、フィルタ処理を実行するインループフィルタ処理部などを有していてもよい。

【0084】

実施形態では特に触れていないが、画像復号装置１００は、従来の画像復号装置と同様に、復号部２１０から出力される信号の逆変換処理や逆量子化処理を行う逆変換・量子化部、インター予測（フレーム間予測）によって予測信号を生成するインター予測部、イントラ予測（フレーム内予測）によって予測信号を生成するイントラ予測部、フィルタ処理を実行するインループフィルタ処理部などを有していてもよい。

【0085】

実施形態では特に触れていないが、画素の値は、画素値そのものであってもよく、係数レベルであってもよく、量子化後の値であってもよい。

【0086】

実施形態では特に触れていないが、画像符号化装置１００及び画像復号装置２００が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。また、プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記録媒体であってもよい。

【0087】

或いは、画像符号化装置１００及び画像復号装置２００が行う各処理を実行するためのプログラムを記憶するメモリ及びメモリに記憶されたプログラムを実行するプロセッサによって構成されるチップが提供されてもよい。

【符号の説明】

【0088】

１０…画像処理システム、１００…画像符号化装置、１４０…符号化部、１７０…確率分布生成部、２００…画像復号装置、２１０…復号部、２７０…確率分布生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】