特開 2022-129769 画像処理システム、画像エンコーダ、画像デコーダ、画像処理方法及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022129769

(43)【公開日】2022-09-06

(54)【発明の名称】画像処理システム、画像エンコーダ、画像デコーダ、画像処理方法及び画像処理プログラム

(51)【国際特許分類】

   H04N 1/64 20060101AFI20220830BHJP

   H04N 19/176 20140101ALI20220830BHJP

   H04N 19/119 20140101ALI20220830BHJP

   H04N 19/136 20140101ALI20220830BHJP

   G06T 9/00 20060101ALI20220830BHJP

【ＦＩ】

H04N1/64

H04N19/176

H04N19/119

H04N19/136

G06T9/00 200

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2021028581

(22)【出願日】2021-02-25

(71)【出願人】

【識別番号】520168055

【氏名又は名称】ａｖａｔａｒｉｎ株式会社

(71)【出願人】

【識別番号】503359821

【氏名又は名称】国立研究開発法人理化学研究所

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】深堀 昂

(72)【発明者】

【氏名】梶谷 ケビン

(72)【発明者】

【氏名】筒 雅博

(72)【発明者】

【氏名】フェルナンド チャリス ラサンサ

(72)【発明者】

【氏名】孫 哲

(72)【発明者】

【氏名】吉澤 信

(72)【発明者】

【氏名】道川 隆士

(72)【発明者】

【氏名】横田 秀夫

(72)【発明者】

【氏名】野田 茂穂

【テーマコード（参考）】

5B057

5C159

5C178

【Ｆターム（参考）】

5B057CA01

5B057CA08

5B057CA12

5B057CA16

5B057CB01

5B057CB08

5B057CB12

5B057CB16

5B057CC03

5B057CG02

5B057DB02

5B057DB06

5B057DB09

5B057DC06

5B057DC40

5C159LC09

5C159MD02

5C159PP14

5C159TA11

5C159TB08

5C159TC02

5C159TC31

5C159TD05

5C159TD17

5C159UA02

5C159UA05

5C178AC10

5C178AC12

5C178BC02

5C178BC41

5C178CC55

5C178DC79

5C178EC64

5C178EC66

5C178EC67

5C178GC06

(57)【要約】

【課題】色の劣化を抑制するように画像をエンコード又はデコードする画像処理システム等を提供する。
【解決手段】画像エンコーダは、画像を単色画像に変換する変換部と、画像を複数のブロックに分割する分割部と、複数のブロックそれぞれについて、ブロックの代表色及びブロックの代表画素位置を決定する決定部と、単色画像、複数のブロックに関する代表色及び複数のブロックに関する代表画素位置をそれぞれ符号化する符号化部と、を含み、画像デコーダは、符号化された単色画像、符号化された代表色及び符号化された代表画素位置を復号する復号部と、復号された単色画像、復号された代表画素及び復号された代表画素位置に基づいて、復号された単色画像に色付けし、出力画像を生成する生成部と、を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

画像エンコーダ及び画像デコーダを備える画像処理システムであって、
前記画像エンコーダは、
画像を単色画像に変換する変換部と、
前記画像を複数のブロックに分割する分割部と、
前記複数のブロックそれぞれについて、前記ブロックの代表色及び前記ブロックの代表画素位置を決定する決定部と、
前記単色画像、前記複数のブロックに関する前記代表色及び前記複数のブロックに関する前記代表画素位置をそれぞれ符号化する符号化部と、を含み、
前記画像デコーダは、
符号化された前記単色画像、符号化された前記代表色及び符号化された前記代表画素位置を復号する復号部と、
復号された単色画像、復号された代表色及び復号された代表画素位置に基づいて、前記復号された単色画像に色付けし、出力画像を生成する生成部と、を含む、
画像処理システム。

【請求項2】

前記生成部は、学習済みモデルを含み、
前記学習済みモデルは、単色画像、１又は複数の画素位置及び前記１又は複数の画素位置の色を入力とし、前記単色画像の変換元であるカラー画像を推測するように学習されている、
請求項１に記載の画像処理システム。

【請求項3】

前記分割部は、前記画像に含まれる画素の類似性に基づいて前記画像を前記複数のブロックに分割する、
請求項１又は２に記載の画像処理システム。

【請求項4】

前記分割部は、前記画像に含まれる画素の類似性に基づいてスーパーピクセルを算出し、前記スーパーピクセルによって前記画像を前記複数のブロックに分割する、
請求項１から３のいずれか一項に記載の画像処理システム。

【請求項5】

前記決定部は、前記スーパーピクセルに属する複数の画素の色の平均によって前記代表色を決定し、前記スーパーピクセルの中心又は重心によって前記代表画素位置を決定する、
請求項４に記載の画像処理システム。

【請求項6】

前記符号化部は、
前記単色画像に基づいて、前記単色画像の顕著性マップ及び勾配強度マップを算出する第１算出部と、
前記顕著性マップ及び前記勾配強度マップに基づいて重要度マップを算出する第２算出部と、
前記重要度マップに対してディザリング処理を行い、前記ディザリング処理された前記重要度マップに基づいてサンプリング画素を算出する第３算出部と、を含み、
前記サンプリング画素に基づいて前記単色画像を符号化し、単色画像符号化データを出力する、
請求項１から５のいずれか一項に記載の画像処理システム。

【請求項7】

前記復号部は、
復号した前記単色画像符号化データに基づいて、前記単色画像を復元する復元部を含む、
請求項６に記載の画像処理システム。

【請求項8】

画像を単色画像に変換する変換部と、
前記画像を複数のブロックに分割する分割部と、
前記複数のブロックそれぞれについて、前記ブロックの代表色及び前記ブロックの代表画素位置を決定する決定部と、
前記単色画像、前記複数のブロックに関する前記代表色及び前記複数のブロックに関する前記代表画素位置をそれぞれ符号化する符号化部と、
を備える画像エンコーダ。

【請求項9】

符号化された単色画像、符号化された代表色及び符号化された代表画素位置を復号する復号部と、
復号された単色画像、復号された代表画素及び復号された代表画素位置に基づいて、前記復号された単色画像に色付けし、出力画像を生成する画像生成部と、
を備える画像デコーダ。

【請求項10】

画像エンコーダによって、
画像を単色画像に変換することと、
前記画像を複数のブロックに分割することと、
前記複数のブロックそれぞれについて、前記ブロックの代表色及び前記ブロックの代表画素位置を決定することと、
前記単色画像、前記複数のブロックに関する前記代表色及び前記複数のブロックに関する前記代表画素位置をそれぞれ符号化することと、を実行し、
画像デコーダによって、
符号化された前記単色画像、符号化された前記代表色及び符号化された前記代表画素位置を復号することと、
復号された単色画像、復号された代表画素及び復号された代表画素位置に基づいて、前記復号された単色画像に色付けし、出力画像を生成することと、を実行する、
画像処理方法。

【請求項11】

画像エンコーダに、
画像を単色画像に変換することと、
前記画像を複数のブロックに分割することと、
前記複数のブロックそれぞれについて、前記ブロックの代表色及び前記ブロックの代表画素位置を決定することと、
前記単色画像、前記複数のブロックに関する前記代表色及び前記複数のブロックに関する前記代表画素位置をそれぞれ符号化することと、を実行させ、
画像デコーダに、
符号化された前記単色画像、符号化された前記代表色及び符号化された前記代表画素位置を復号することと、
復号された単色画像、復号された代表画素及び復号された代表画素位置に基づいて、前記復号された単色画像に色付けし、出力画像を生成することと、を実行させる、
画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理システム、画像エンコーダ、画像デコーダ、画像処理方法及び画像処理プログラムに関する。

【背景技術】

【0002】

画像又は動画を記憶媒体に保存したり、インターネット等の通信ネットワークを介して転送したりする場合に、画像又は動画をエンコードしてデータ容量を圧縮し、読み取りの際にデコードして元の画像又は動画を再現する技術が用いられている。例えば、ＩＳＯ／ＩＥＣ（International Organization for Standardization/International Electrotechnical Commission）による標準規格として、ＭＰＥＧ規格(Ｈ．２６５／ＨＥＶＣ)が知られている。ＨＥＶＣでは、４Ｋ（３８４０×２１６０画素）画像や、８Ｋ（７６８０×４３２０画素）画像に対する符号化方式などを規定している。

【0003】

符号化技術の例として、下記特許文献１には、入力された画像データを既定サイズの画像ブロックに分割し、各画像ブロックについて複数の代表色を決定し、各画像ブロックについて決定された代表色の中から、参照代表色の数が増えるように（すなわち、固有代表色のバリエーションが増えるように）、固有代表色及び参照代表色の組合せを決定し、決定された固有代表色及び参照代表色の組合せを、既定の符号化方式に応じて補正する画像処理装置が記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００７－０８８６８７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

画像を複数のブロックに分割し、ブロック毎に複数の代表色を決定して、ブロック内の各ピクセルの色を複数の代表色のいずれかに置き換えた上でエンコードする方法が用いられる場合があるが、このようなデータをデコードすると、色の劣化が生じてしまう場合がある。

【0006】

そこで、本発明は、色の劣化を抑制するように画像をエンコード及びデコードする画像処理システム、画像エンコーダ、画像デコーダ、画像処理方法及び画像処理プログラムを提供する。

【課題を解決するための手段】

【0007】

本発明の一態様に係る画像処理システムは、画像エンコーダ及び画像デコーダを備える画像処理システムであって、画像エンコーダは、画像を単色画像に変換する変換部と、画像を複数のブロックに分割する分割部と、複数のブロックそれぞれについて、ブロックの代表色及びブロックの代表画素位置を決定する決定部と、単色画像、複数のブロックに関する代表色及び複数のブロックに関する代表画素位置をそれぞれ符号化する符号化部と、を含み、画像デコーダは、符号化された単色画像、符号化された代表色及び符号化された代表画素位置を復号する復号部と、復号された単色画像、復号された代表色及び復号された代表画素位置に基づいて、復号された単色画像に色付けし、出力画像を生成する生成部と、を含む。

【0008】

この態様によれば、単色画像と、ブロックの代表色及び代表画素位置とを符号化することで、色に関する情報量を圧縮して画像をエンコードすることができる。また、復号された単色画像、復号された代表画素及び復号された代表画素位置に基づいて、復号された単色画像に色付けすることで、色の劣化を抑制するように画像をデコードすることができる。

【0009】

上記態様において、生成部は、学習済みモデルを含み、学習済みモデルは、単色画像、１又は複数の画素位置及び１又は複数の画素位置の色を入力とし、単色画像の変換元であるカラー画像を推測するように学習されていてもよい。

【0010】

この態様によれば、
学習済みモデルを用いて単色画像に色付けすることで、色の劣化が抑制された出力画像を生成することができる。

【0011】

上記態様において、分割部は、画像に含まれる画素の類似性に基づいて画像を複数のブロックに分割してもよい。

【0012】

この態様によれば、画像を特定の形状のブロックに分割する場合よりも圧縮率を向上させ、出力画像における色の再現性を向上させることができる。

【0013】

上記態様において、分割部は、画像に含まれる画素の類似性に基づいてスーパーピクセルを算出し、スーパーピクセルによって画像を複数のブロックに分割してもよい。

【0014】

この態様によれば、画像を特定の形状のブロックに分割する場合よりも圧縮率を向上させ、出力画像における色の再現性を向上させることができる。

【0015】

上記態様において、決定部は、スーパーピクセルに属する複数の画素の色の平均によって代表色を決定し、スーパーピクセルの中心又は重心によって代表画素位置を決定してもよい。

【0016】

この態様によれば、出力画像における色の再現性をより向上させることができる。

【0017】

上記態様において、符号化部は、単色画像に基づいて、単色画像の顕著性マップ及び勾配強度マップを算出する第１算出部と、顕著性マップ及び勾配強度マップに基づいて重要度マップを算出する第２算出部と、重要度マップに対してディザリング処理を行い、ディザリング処理された重要度マップに基づいてサンプリング画素を算出する第３算出部と、を含み、サンプリング画素に基づいて単色画像を符号化し、単色画像符号化データを出力してもよい。

【0018】

この態様によれば、重要度マップに基づいてサンプリング画素を算出することで、人の知覚にとって重要な画素をサンプリングし、画像の劣化が知覚されづらいように単色画像の圧縮率を向上させることができる。

【0019】

上記態様において、復号部は、復号した単色画像符号化データに基づいて、単色画像を復元する復元部を含んでもよい。

【0020】

この態様によれば、サンプリング画素からサンプリング前の画像を復元することで、圧縮率を向上させつつ単色画像を再現することができる。

【0021】

本発明の他の態様に係る画像エンコーダは、画像を単色画像に変換する変換部と、画像を複数のブロックに分割する分割部と、複数のブロックそれぞれについて、ブロックの代表色及びブロックの代表画素位置を決定する決定部と、単色画像、複数のブロックに関する代表色及び複数のブロックに関する代表画素位置をそれぞれ符号化する符号化部と、を備える。

【0022】

この態様によれば、単色画像と、ブロックの代表色及び代表画素位置とを符号化することで、色に関する情報量を圧縮して画像をエンコードすることができる。

【0023】

本発明の他の態様に係る画像デコーダは、符号化された単色画像、符号化された代表色及び符号化された代表画素位置を復号する復号部と、復号された単色画像、復号された代表画素及び復号された代表画素位置に基づいて、復号された単色画像に色付けし、出力画像を生成する画像生成部と、を備える。

【0024】

この態様によれば、復号された単色画像、復号された代表画素及び復号された代表画素位置に基づいて、復号された単色画像に色付けすることで、色の劣化を抑制するように画像をデコードすることができる。

【0025】

本発明の他の態様に係る画像処理方法は、画像エンコーダによって、画像を単色画像に変換することと、画像を複数のブロックに分割することと、複数のブロックそれぞれについて、ブロックの代表色及びブロックの代表画素位置を決定することと、単色画像、複数のブロックに関する代表色及び複数のブロックに関する代表画素位置をそれぞれ符号化することと、を実行し、画像デコーダによって、符号化された単色画像、符号化された代表色及び符号化された代表画素位置を復号することと、復号された単色画像、復号された代表画素及び復号された代表画素位置に基づいて、復号された単色画像に色付けし、出力画像を生成することと、を実行する。

【0026】

この態様によれば、単色画像と、ブロックの代表色及び代表画素位置とを符号化することで、色に関する情報量を圧縮して画像をエンコードすることができる。また、復号された単色画像、復号された代表画素及び復号された代表画素位置に基づいて、復号された単色画像に色付けすることで、色の劣化を抑制するように画像をデコードすることができる。

【0027】

本発明の他の態様に係る画像処理プログラムは、画像エンコーダに、画像を単色画像に変換することと、画像を複数のブロックに分割することと、複数のブロックそれぞれについて、ブロックの代表色及びブロックの代表画素位置を決定することと、単色画像、複数のブロックに関する代表色及び複数のブロックに関する代表画素位置をそれぞれ符号化することと、を実行させ、画像デコーダに、符号化された単色画像、符号化された代表色及び符号化された代表画素位置を復号することと、復号された単色画像、復号された代表画素及び復号された代表画素位置に基づいて、復号された単色画像に色付けし、出力画像を生成することと、を実行させる。

【0028】

この態様によれば、単色画像と、ブロックの代表色及び代表画素位置とを符号化することで、色に関する情報量を圧縮して画像をエンコードすることができる。また、復号された単色画像、復号された代表画素及び復号された代表画素位置に基づいて、復号された単色画像に色付けすることで、色の劣化を抑制するように画像をデコードすることができる。

【発明の効果】

【0029】

本発明によれば、色の劣化を抑制するように画像をエンコード及びデコードする画像処理システム、画像エンコーダ、画像デコーダ、画像処理方法及び画像処理プログラムを提供することができる。

【図面の簡単な説明】

【0030】

【図1】本発明の実施形態に係る画像処理システムの機能ブロックを示す図である。

【図2】本実施形態に係る画像エンコーダの物理的構成を示す図である。

【図3】本実施形態に係る画像エンコーダにより算出される複数のブロックの一例を示す図である。

【図4】本実施形態に係る画像エンコーダにより決定される複数のブロックの代表画素位置の一例を示す図である。

【図5】本実施形態に係る画像エンコーダにより実行される画像の符号化処理のフローチャートである。

【図6】本実施形態に係る画像エンコーダにより実行される単色画像の符号化処理のフローチャートである。

【図7】本実施形態に係る画像デコーダにより実行される画像の復号処理のフローチャートである。

【図8】本実施形態に係る画像デコーダにより実行される単色画像の復号処理のフローチャートである。

【発明を実施するための形態】

【0031】

添付図面を参照して、本発明の実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。

【0032】

図１は、本発明の実施形態に係る画像処理システム１００の機能ブロックを示す図である。画像処理システム１００は、画像エンコーダ１０及び画像デコーダ２０を備える。画像エンコーダ１０は、変換部１１、分割部１２、決定部１３及び符号化部１４を有する。画像デコーダ２０は、復号部２１及び生成部２２を有する。

【0033】

変換部１１は、画像を単色画像に変換する。変換部１１は、例えば、画像をグレースケール画像に変換する。なお、単色画像は、画素の値が輝度に関する１次元の値である画像であればよく、白黒画像に限られない。

【0034】

分割部１２は、画像を複数のブロックに分割する。分割部１２は、例えば、画像を正方形状の複数のブロックに分割してよい。この場合、全てのブロックの形状が同一となるため、後続の処理を比較的高速に行うことができる。

【0035】

分割部１２は、画像に含まれる画素の類似性に基づいて画像を複数のブロックに分割してもよい。より具体的には、分割部１２は、画像に含まれる画素の類似性に基づいてスーパーピクセルを算出し、スーパーピクセルによって画像を複数のブロックに分割してよい。スーパーピクセルを算出するアルゴリズムとしては、例えば、単純線形反復クラスタリング（Simple Linear Iterative Clustering）を用いることができるが、これに限定されず、他のアルゴリズムを用いることもできる。画素の類似性に基づいて画像を複数のブロックに分割することで、画像を特定の形状のブロックに分割する場合よりも圧縮率を向上させ、出力画像における色の再現性を向上させることができる。

【0036】

決定部１３は、複数のブロックそれぞれについて、ブロックの代表色及びブロックの代表画素位置を決定する。複数のブロックが正方形状である場合、ブロックの代表画素位置は、ブロックの中心であってよい。この場合、各ブロックの代表画素位置が等間隔で並ぶため、比較的高速に代表画素位置を決定することができる。また、複数のブロックが正方形状である場合、ブロックの代表色は、ブロックに属する複数の画素の色の平均であってよい。

【0037】

スーパーピクセルによって画像を複数のブロックに分割する場合、決定部１３は、スーパーピクセルに属する複数の画素の色の平均によって代表色を決定し、スーパーピクセルの中心又は重心によって代表画素位置を決定してよい。スーパーピクセルを用いることで、色の類似する画素をひとまとまりのブロックとすることができるため、画像を特定の形状のブロックに分割する場合よりも出力画像における色の再現性をより向上させることができる。

【0038】

符号化部１４は、単色画像、複数のブロックに関する代表色及び複数のブロックに関する代表画素位置をそれぞれ符号化する。符号化部１４は、単色画像について、例えば、第１行第２列の画素値が１０である場合、その値を００１ ００２ ０１０と表し、ハフマン符号等の方法で符号化してよい。また、符号化部１４は、代表色及び代表画素位置について、例えば、代表画素位置が第１行第３列であり、代表色のＲＧＢ値が（２０，０，１０）である場合、その値を００１ ００３ ０２０ ０００ ０１０と表し、ハフマン符号等の方法で符号化してよい。

【0039】

符号化部１４は、単色画像を直接符号化するのではなく、第１算出部１４ａ、第２算出部１４ｂ及び第３算出部１４ｃによるサンプリングを行った後に符号化してもよい。

【0040】

第１算出部１４ａは、単色画像に基づいて、単色画像の顕著性マップ及び勾配強度マップを算出する。顕著性マップは、入力画像における領域ごとの目立ちやすさ、すなわち、視覚における顕著さの空間分布を示す。顕著性マップは、入力画像中の点や領域に対して人間が瞬間的に注目する度合い、すなわち、顕著性の高さを数値化した顕著性値を算出することにより生成することができる。例えば、目の網膜にある網膜神経節細胞の中に受容野と呼ばれる領域があり、この受容野に光による刺激を受けると、その情報が脳に伝達される。受容野は、中央にある円形の部分とその周辺領域との２つで構成されている。このような受容野における仕組みを利用し、中央と周辺領域との刺激により信号が強くなる箇所（注意を引く場所）を数値化するようなモデルを顕著性マップとして用いることができる。具体的には、入力画像からピラミッド画像を作成し、ガウシアンフィルタにより特徴を抽出することにより、顕著性マップを生成する手法が知られている。また、ＣＮＮ（Convolutional Neural Network）の出力が入力の摂動に対してどのように変化するか解析することで顕著性マップを生成する手法が知られている。

【0041】

勾配強度マップは、入力画像の各画素の勾配強度値（すなわち、画素の輝度の差）の空間分布を示す。例えば、ｘ方向及びｙ方向を、互いに直交する二方向とし、ある画素のｘ方向の勾配強度値をＥｘとし、ｙ方向の勾配強度値をＥｙとすると、その勾配強度値Ｅは、Ｅｘ及びＥｙの二乗和の平方根として算出される。

【0042】

第２算出部１４ｂは、顕著性マップ及び勾配強度マップに基づいて重要度マップを算出する。重要度マップは、入力画像の各画素の重要度値の空間分布を示す。例えば、入力画像がｌ行ｗ列の画素値の行列Ｉとして表されるものとし、入力画像の顕著性マップがｌ行ｗ列の顕著性値の行列Ｓとして表されるものとし、入力画像の勾配強度マップがｌ行ｗ列の勾配強度値の行列Ｇとして表されるものとし、入力画像の重要度マップがｌ行ｗ列の重要度値の行列ＩＭとして表されるものとする。行列Ｉのｉ行ｊ列目の要素Ｉ（ｉ，ｊ）は、ｉ行ｊ列目の画素の値を示す。行列Ｓのｉ行ｊ列目の要素Ｓ（ｉ，ｊ）は、ｉ行ｊ列目の画素の顕著性値を示す。行列Ｇのｉ行ｊ列目の要素Ｇ（ｉ，ｊ）は、ｉ行ｊ列目の画素の勾配強度値を示す。行列ＩＭのｉ行ｊ列目の要素ＩＭ（ｉ，ｊ）は、ｉ行ｊ列目の画素の重要度値を示す。但し、１≦ｉ≦ｌ、且つ、１≦ｊ≦ｗである。

【0043】

第２算出部１４ｂは、例えば、以下に示す（１）式～（３）式のうちいずれかの式により、ＩＭ（ｉ，ｊ）を算出してもよい。

【0044】

ＩＭ（ｉ，ｊ）＝｛Ｓ（ｉ，ｊ）＋Ｇ（ｉ，ｊ）｝ⁿ／２ⁿ …（１）

【0045】

ＩＭ（ｉ，ｊ）＝｛Ｓ（ｉ，ｊ）｝ⁿ （Ｓ（ｉ，ｊ）＞Ｇ（ｉ，ｊ）のとき）
ＩＭ（ｉ，ｊ）＝｛Ｇ（ｉ，ｊ）｝ⁿ （Ｇ（ｉ，ｊ）＞Ｓ（ｉ，ｊ）のとき）…（２）

【0046】

ＩＭ（ｉ，ｊ）＝α｛Ｓ（ｉ，ｊ）｝ⁿ¹＋（１－α）｛Ｇ（ｉ，ｊ）｝ⁿ² …（３）

【0047】

ただし、０＜ｎ＜１、０＜ｎ１＜１、０＜ｎ２＜１、及び０＜α＜１の関係を満たすものとする。

【0048】

第３算出部１４ｃは、重要度マップに対してディザリング処理を行い、ディザリング処理された重要度マップに基づいてサンプリング画素を算出する。ディザリング処理は、例えば、誤差拡散法により行ってよい。

【0049】

符号化部１４は、サンプリング画素に基づいて単色画像を符号化し、単色画像符号化データを出力する。例えば、サンプリング画素が第１行第４列の画素であり、その画素値が５０である場合、その値を００１ ００４ ０５０と表し、ハフマン符号等の方法で符号化してよい。

【0050】

このように、重要度マップに基づいてサンプリング画素を算出することで、人の知覚にとって重要な画素をサンプリングし、画像の劣化が知覚されづらいように単色画像の圧縮率を向上させることができる。

【0051】

画像デコーダ２０の復号部２１は、符号化された単色画像、符号化された代表色及び符号化された代表画素位置を復号する。重要度マップに基づいて単色画像をサンプリングした上で符号化する場合、復号部２１は、復号した単色画像符号化データに基づいて、単色画像を復元する復元部２１ａを含んでよい。復元部２１ａは、例えば、低次元多様体モデルに基づく方法により、復号した単色画像符号化データに基づいて、単色画像を復元してよい。サンプリング画素からサンプリング前の画像を復元することで、圧縮率を向上させつつ単色画像を再現することができる。なお、低次元多模体モデルに基づく方法に言及した文献として、例えば、Yokota T, Hontani H, Zhao Q, et al. Manifold Modeling in Embedded Space: An Interpretable Alternative to Deep Image Prior. IEEE Transactions on Neural Networks and Learning Systems, 2020などがある。

【0052】

生成部２２は、復号された単色画像、復号された代表画素及び復号された代表画素位置に基づいて、復号された単色画像に色付けし、出力画像を生成する。生成部２２は、学習済みモデル２２ａを含んでよい。ここで、学習済みモデル２２ａは、単色画像、１又は複数の画素位置及び１又は複数の画素位置の色を入力とし、単色画像の変換元であるカラー画像を推測するように学習されている。学習済みモデル２２ａは、例えば、Richard Zhang, Jun-Yan Zhu, Phillip Isola, Xinyang Geng, Angela S. Lin, Tianhe Yu, Alexei A. Efros, "Real-Time User-Guided Image Colorization with Learned Deep Priors", arXiv:1705.02999, 2017に記載されているニューラルネットワークモデルを任意の画像データセットを用いて学習したモデルであってよい。このように、画像デコーダ２０側で単色画像に色付けを行うことで、代表色及び代表画素位置のデータ容量をより圧縮しつつ、色の劣化が抑制された出力画像を得ることができる。

【0053】

本実施形態に係る画像エンコーダ１０によれば、単色画像と、ブロックの代表色及び代表画素位置とを符号化することで、色に関する情報量を圧縮して画像をエンコードすることができる。また、本実施形態に係る画像デコーダ２０によれば、復号された単色画像、復号された代表画素及び復号された代表画素位置に基づいて、復号された単色画像に色付けすることで、色の劣化を抑制するように画像をデコードすることができる。

【0054】

図２は、本実施形態に係る画像エンコーダ１０の物理的構成を示す図である。同図では画像エンコーダ１０の物理的構成を示しているが、画像デコーダ２０の物理的構成は、画像エンコーダ１０の物理的構成と同様である。画像エンコーダ１０は、演算部に相当するＣＰＵ（Central Processing Unit）１０ａと、記憶部に相当するＲＡＭ（Random Access Memory）１０ｂと、記憶部に相当するＲＯＭ（Read Only Memory）１０ｃと、通信部１０ｄと、入力部１０ｅと、表示部１０ｆと、を有する。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。なお、本例では画像エンコーダ１０が一台のコンピュータで構成される場合について説明するが、画像エンコーダ１０は、複数のコンピュータが組み合わされて実現されてもよい。また、図２で示す構成は一例であり、画像エンコーダ１０はこれら以外の構成を有してもよいし、これらの構成のうち一部を有さなくてもよい。また、画像エンコーダ１０と画像デコーダ２０は同一のコンピュータであってもよい。

【0055】

ＣＰＵ１０ａは、ＲＡＭ１０ｂ又はＲＯＭ１０ｃに記憶されたプログラムの実行に関する制御やデータの演算、加工を行う。ＣＰＵ１０ａは、画像を符号化するプログラム（画像エンコードプログラム）を実行する。画像デコーダ２０の場合、ＣＰＵは、データを復号するプログラム（画像デコードプログラム）を実行する。ＣＰＵ１０ａは、入力部１０ｅや通信部１０ｄから種々のデータを受け取り、データの演算結果を表示部１０ｆに表示したり、ＲＡＭ１０ｂに格納したりする。

【0056】

ＲＡＭ１０ｂは、記憶部のうちデータの書き換えが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＡＭ１０ｂは、ＣＰＵ１０ａが実行するプログラム、エンコード対象となる画像といったデータを記憶してよい。画像デコーダ２０の場合、ＲＡＭは、単色画像に色付けを行う学習済みモデルをさらに記憶していてよい。なお、これらは例示であって、ＲＡＭ１０ｂには、これら以外のデータが記憶されていてもよいし、これらの一部が記憶されていなくてもよい。

【0057】

ＲＯＭ１０ｃは、記憶部のうちデータの読み出しが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＯＭ１０ｃは、例えば画像エンコードプログラムや画像デコードプログラム、書き換えが行われないデータを記憶してよい。

【0058】

通信部１０ｄは、画像エンコーダ１０を他の機器に接続するインターフェースである。通信部１０ｄは、インターネット等の通信ネットワーク３０に接続されてよい。

【0059】

入力部１０ｅは、ユーザからデータの入力を受け付けるものであり、例えば、キーボード及びタッチパネルを含んでよい。

【0060】

表示部１０ｆは、ＣＰＵ１０ａによる演算結果を視覚的に表示するものであり、例えば、ＬＣＤ（Liquid Crystal Display）により構成されてよい。表示部１０ｆは、入力画像を表示したり、デコードにより得られた出力画像を表示したりしてよい。

【0061】

画像エンコードプログラム及び画像デコードプログラムは、ＲＡＭ１０ｂやＲＯＭ１０ｃ等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部１０ｄにより接続される通信ネットワーク３０を介して提供されてもよい。画像エンコーダ１０では、ＣＰＵ１０ａが画像エンコードプログラムを実行することにより、図１を用いて説明した様々な動作が実現される。また、画像デコーダ２０では、ＣＰＵが画像デコードプログラムを実行することにより、図１を用いて説明した様々な動作が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、画像エンコーダ１０及び画像デコーダ２０は、ＣＰＵ１０ａとＲＡＭ１０ｂやＲＯＭ１０ｃが一体化したＬＳＩ（Large-Scale Integration）を備えていてもよいし、ＧＰＵ（Graphical Processing Unit）を備えていてもよい。

【0062】

図３は、本実施形態に係る画像エンコーダ１０により算出される複数のブロックＢの一例を示す図である。同図では、入力画像Ｐ１及び分割された画像Ｐ２を示している。画像エンコーダ１０は、入力画像Ｐ１に含まれる画素の類似性に基づいてスーパーピクセルを算出し、スーパーピクセルによって入力画像Ｐ１を複数のブロックＢに分割する。分割された画像Ｐ２は、ブロックＢの境界線を含む。

【0063】

分割された画像Ｐ２が示しているように、スーパーピクセルを用いることで、各ブロックＢに含まれる画素は、類似する色を含むようになる。このため、ブロックＢの平均色を代表色とすることで、ブロックＢに含まれる複数の画素の色をよく近似することができる。

【0064】

図４は、本実施形態に係る画像エンコーダ１０により決定される複数のブロックＢの代表画素位置Ｂｐの一例を示す図である。同図では、分割された画像Ｐ２及び代表画素位置Ｂｐが付加された画像Ｐ３を示している。画像エンコーダ１０は、スーパーピクセルの中心又は重心によって代表画素位置を決定する。

【0065】

画像デコーダ２０は、復号された単色画像、復号された代表色及び復号された代表画素位置に基づいて、復号された単色画像に色付けする。この際、代表画素位置がブロックＢの中心又は重心であることで、ブロックＢに含まれる画素の色を適切に教示することができ、色の劣化を抑制するように画像をデコードすることができる。

【0066】

図５は、本実施形態に係る画像エンコーダ１０により実行される画像の符号化処理のフローチャートである。画像エンコーダ１０は、単色画像圧縮処理（Ｓ１０）を行う。単色画像圧縮処理（Ｓ１０）の詳細については、次図を用いて詳細に説明する。なお、単色画像圧縮処理（Ｓ１０）は、以下に説明する処理Ｓ１１及びＳ１２を終えた後に実行してもよいし、処理Ｓ１１及びＳ１２と並列に実行されてもよい。単色画像圧縮処理（Ｓ１０）を実行することで、単色画像符号化データが出力される。

【0067】

画像エンコーダ１０は、画像のスーパーピクセルを算出し、スーパーピクセルによって画像を複数のブロックに分割する（Ｓ１１）。そして、画像エンコーダ１０は、スーパーピクセルに含まれる画素に基づいて、ブロックの代表色及び代表画素位置を決定する（Ｓ１２）。

【0068】

その後、画像エンコーダ１０は、複数のブロックに関する代表色及び代表画素位置を符号化する（Ｓ１３）。単色画像符号化データと、代表色及び代表画素位置を符号化したデータとは、通信ネットワークを介して他の装置に送信されてもよいし、記憶装置に記憶されてもよい。

【0069】

図６は、本実施形態に係る画像エンコーダ１０により実行される単色画像の符号化処理のフローチャートである。同図では、図５に示した単色画像圧縮処理（Ｓ１０）の詳細を示している。

【0070】

画像エンコーダ１０は、画像を単色画像に変換する（Ｓ１０１）。また、画像エンコーダ１０は、単色画像に基づいて、顕著性マップ及び勾配強度マップを算出する（Ｓ１０２）。

【0071】

さらに、画像エンコーダ１０は、顕著性マップ及び勾配強度マップに基づいて重要度マップを算出する（Ｓ１０３）。その後、画像エンコーダ１０は、重要度マップに対してディザリング処理を行い、ディザリング処理された重要度マップに基づいてサンプリング画素を算出する（Ｓ１０４）。

【0072】

画像エンコーダ１０は、サンプリング画素に基づいて単色画像を符号化し、単色画像符号化データを出力する（Ｓ１０５）。

【0073】

図７は、本実施形態に係る画像デコーダ２０により実行される画像の復号処理のフローチャートである。画像デコーダ２０は、単色画像符号化データ復号処理を行う（Ｓ２０）。単色画像符号化データ復号処理（Ｓ２０）の詳細については、次図を用いて詳細に説明する。なお、単色画像符号化データ復号処理（Ｓ２０）は、以下に説明する処理Ｓ２１を終えた後に実行してもよいし、処理Ｓ２１と並列に実行されてもよい。単色画像符号化データ復号処理（Ｓ２０）を実行することで、復号された単色画像が出力される。

【0074】

画像デコーダ２０は、符号化された代表色及び符号化された代表画素位置を復号する（Ｓ２１）。

【0075】

そして、画像デコーダ２０は、学習済みモデルによって、復号された単色画像、復号された代表画素及び復号された代表画素位置に基づいて、復号された単色画像に色付けし、出力画像を生成する（Ｓ２２）。

【0076】

図８は、本実施形態に係る画像デコーダ２０により実行される単色画像の復号処理のフローチャートである。同図では、図７に示した単色画像符号化データ復号処理（Ｓ２０）の詳細を示している。

【0077】

画像デコーダ２０は、単色画像符号化データを復号し（Ｓ２０１）、復号した単色画像符号化データに基づいて、単色画像を復元する（Ｓ２０２）。

【0078】

以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。

【符号の説明】

【0079】

１０…画像エンコーダ、１０ａ…ＣＰＵ、１０ｂ…ＲＡＭ、１０ｃ…ＲＯＭ、１０ｄ…通信部、１０ｅ…入力部、１０ｆ…表示部、１１…変換部、１２…分割部、１３…決定部、１４…符号化部、１４ａ…第１算出部、１４ｂ…第２算出部、１４ｃ…第３算出部、２０…画像デコーダ、２１…復号部、２１ａ…復元部、２２…生成部、２２ａ…学習済みモデル、３０…通信ネットワーク、１００…画像処理システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】