特開 2022-20138 画像処理装置、画像処理方法、画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022020138

(43)【公開日】2022-02-01

(54)【発明の名称】画像処理装置、画像処理方法、画像処理プログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20220125BHJP

   G06T 7/00 20170101ALI20220125BHJP

【ＦＩ】

G06N20/00

G06T7/00 350B

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2020123468

(22)【出願日】2020-07-20

(71)【出願人】

【識別番号】502324066

【氏名又は名称】株式会社デンソーアイティーラボラトリ

(74)【代理人】

【識別番号】100106149

【弁理士】

【氏名又は名称】矢作 和行

(74)【代理人】

【識別番号】100121991

【弁理士】

【氏名又は名称】野々部 泰平

(74)【代理人】

【識別番号】100145595

【弁理士】

【氏名又は名称】久保 貴則

(72)【発明者】

【氏名】吉田 悠一

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096JA03

5L096JA11

5L096KA04

5L096KA07

(57)【要約】

【課題】高圧縮性と高復元性とを両立させる画像処理装置の提供。
【解決手段】画像データＸを処理する画像処理装置１は、画像データＸをエンコーダモデルへ入力することにより、画像データＸの偏りを特徴づける潜在表現データを、画像データＸと潜在表現データとの１：１制約下において生成するエンコーダ部１００と、潜在表現データを量子化することにより、量子化データを生成する量子化部１１０と、量子化データに関する情報エントロピーを取得するエントロピー取得部１３０と、情報エントロピーを最小化するように、エンコーダモデルを学習する学習部１６０とを、備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

画像データ（Ｘ）を処理する画像処理装置（１）であって、
前記画像データをエンコーダモデル（Ｍ_ｅ）へ入力することにより、前記画像データの偏りを特徴づける潜在表現データ（Ｚ）を、前記画像データと前記潜在表現データとの１：１制約下において生成するエンコーダ部（１００）と、
前記潜在表現データを量子化することにより、量子化データ（Ｚ＾）を生成する量子化部（１１０）と、
前記量子化データに関する情報エントロピー（Ｌ_Ｈ）を取得するエントロピー取得部（１３０）と、
前記情報エントロピーを最小化するように、前記エンコーダモデルを学習する学習部（１６０）とを、備える画像処理装置。

【請求項2】

前記エンコーダモデルは、直交行列表現される重み行列（Ｗ_ｅ）を、パラメータとして含み、
前記エンコーダ部は、前記画像データをベクトル表現した画像ベクトルに前記重み行列を乗算することにより、当該画像ベクトルを前記潜在表現データへ変換する請求項１に記載の画像処理装置。

【請求項3】

前記量子化部は、量子化テーブル（Ｔ）に基づくことにより前記潜在表現データを前記量子化データへ変換し、
前記学習部は、前記量子化データと前記潜在表現データとの差分である量子化誤差（Δ）を最小化するように、前記量子化テーブルを学習する請求項１又は２に記載の画像処理装置。

【請求項4】

前記量子化データをデコーダモデル（Ｍ_ｄ）へ入力することにより、前記量子化データを前記画像データに復号するデコーダ部（１２０）を、さらに備える請求項１～３のいずれか一項に記載の画像処理装置。

【請求項5】

前記学習部は、復号された前記画像データと元の前記画像データとの差分である再構成誤差（δ）を最小化するように、前記デコーダモデルを学習する請求項４に記載の画像処理装置。

【請求項6】

画像データ（Ｘ）を処理する画像処理方法であって、
前記画像データをエンコーダモデル（Ｍ_ｅ）へ入力することにより、前記画像データの偏りを特徴づける潜在表現データ（Ｚ）を、前記画像データと前記潜在表現データとの１：１制約下において生成するエンコード工程（Ｓ１０１）と、
前記潜在表現データを量子化することにより、量子化データ（Ｚ＾）を生成する量子化工程（Ｓ１０２）と、
前記量子化データに関する情報エントロピー（Ｌ_Ｈ）を取得するエントロピー取得工程（Ｓ１０４）と、
前記情報エントロピーを最小化するように、前記エンコーダモデルを学習する学習工程（Ｓ１０７）とを、含む画像処理方法。

【請求項7】

前記エンコーダモデルは、直交行列表現される重み行列（Ｗ_ｅ）を、パラメータとして含み、
前記エンコード工程は、前記画像データをベクトル表現した画像ベクトルに前記重み行列を乗算することにより、当該画像ベクトルを前記潜在表現データへ変換する請求項６に記載の画像処理方法。

【請求項8】

前記量子化工程は、量子化テーブル（Ｔ）に基づくことにより前記潜在表現データを前記量子化データへ変換し、
前記学習工程は、前記量子化データと前記潜在表現データとの差分である量子化誤差（Δ）を最小化するように、前記量子化テーブルを学習する請求項６又は７に記載の画像処理方法。

【請求項9】

前記量子化データをデコーダモデル（Ｍ_ｄ）へ入力することにより、前記量子化データを前記画像データに復号するデコード工程（Ｓ１０３）を、さらに含む請求項６～８のいずれか一項に記載の画像処理方法。

【請求項10】

前記学習工程は、復号された前記画像データと元の前記画像データとの差分である再構成誤差（δ）を最小化するように、前記デコーダモデルを学習する請求項９に記載の画像処理方法。

【請求項11】

画像データ（Ｘ）を処理するためにプロセッサに実行させる命令を含む画像処理プログラムであって、
前記命令は、
前記画像データをエンコーダモデル（Ｍ_ｅ）へ入力させることにより、前記画像データの偏りを特徴づける潜在表現データ（Ｚ）を、前記画像データと前記潜在表現データとの１：１制約下において生成させるエンコード工程（Ｓ１０１）と、
前記潜在表現データを量子化させることにより、量子化データ（Ｚ＾）を生成させる量子化工程（Ｓ１０２）と、
前記量子化データに関する情報エントロピー（Ｌ_Ｈ）を取得させるエントロピー取得工程（Ｓ１０４）と、
前記情報エントロピーを最小化させるように、前記エンコーダモデルを学習させる学習工程（Ｓ１０７）とを、含む画像処理プログラム。

【請求項12】

前記エンコーダモデルは、直交行列表現される重み行列（Ｗ_ｅ）を、パラメータとして含み、
前記エンコード工程は、前記画像データをベクトル表現した画像ベクトルに前記重み行列を乗算させることにより、当該画像ベクトルを前記潜在表現データへ変換させる請求項１１に記載の画像処理プログラム。

【請求項13】

前記量子化工程は、量子化テーブル（Ｔ）に基づくことにより前記潜在表現データを前記量子化データへ変換させ、
前記学習工程は、前記量子化データと前記潜在表現データとの差分である量子化誤差（Δ）を最小化させるように、前記量子化テーブルを学習させる請求項１１又は１２に記載の画像処理プログラム。

【請求項14】

前記量子化データをデコーダモデル（Ｍ_ｄ）へ入力させることにより、前記量子化データを前記画像データに復号させるデコード工程（Ｓ１０３）を、さらに含む請求項１１～１３のいずれか一項に記載の画像処理プログラム。

【請求項15】

前記学習工程は、復号された前記画像データと元の前記画像データとの差分である再構成誤差（δ）を最小化させるように、前記デコーダモデルを学習させる請求項１４に記載の画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理技術に関する。

【背景技術】

【0002】

従来、車両の自動運転又は生産設備での外観検査等における画像処理技術では、機械学習が活用されるようになってきている。こうした画像処理技術での機械学習において、学習性能の向上及び評価に重要な因子の一つが、機器学習に必要な画像データの数である。例えば生産設備での外観検査の場合、正常と異常とを含む多種類の画像データセットを用いて学習を行なった方が当然、豊富な異常を検出可能となる。これは、学習モデルの評価時にも、同様のことが言える。加えて、ニューラルネットワーク等の学習モデルでは、演算能力の向上に伴ってパラメータの数が増大傾向にあることで、機器学習に必要な画像データの数も増大傾向にある。

【0003】

画像処理技術では、このような技術動向の影響を受けて、画像データを管理する管理コストの増大が、顕在化してきている。一般的に画像は、PNG又はJPEG等の如き画像圧縮アルゴリズムを利用して圧縮される．この場合に、機械学習に必要な画像データを記憶するデータベースのサイズは、当該学習データの数に応じて線形に増加する。そのため、データベースの圧縮が急務となっているのである。

【0004】

そこで近年、機械学習の中でも特に深層学習を活用して画像データを圧縮する手法が、盛んに研究されるようになっている。そうした研究手法の多くは、深層学習の概念を利用して画像データを次元の低い潜在空間へと写像し、当該潜在空間中のベクトルを圧縮した結果として出力している。この場合の深層学習時には、大きな圧縮効果により高効率での記憶が可能となるように、潜在空間へ写像するための学習モデルを、画像データを使って学習することになる（例えば非特許文献１）。

【先行技術文献】

【非特許文献】

【0005】

【非特許文献1】Agustsson, E., Mentzer, F., Tschannen, M., Cavigelli,L., Timofte, R., Benini, L. and Gool, L. V.: Soft-to-Hard Vector Quantization for End-to-End Learning Compressible Representations, Advances in Neural Information Processing Systems 30 (Guyon, I., Luxburg, U. V., Bengio, S., Wallach, H., Fergus, R., Vishwanathan, S. and Garnett, R., eds.), Curran Associates, Inc., pp. 1141-1151 (2017).

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかし、深層学習による画像データの圧縮手法には、大きな課題がある。それは、学習データとして含まれない画像データを圧縮した場合の、挙動である。具体的には、この手法で圧縮してしまうと、画像データの復号時に予期しない結果を生む懸念がある。その結果とは例えば、人の顔が写る画像データを圧縮するように学習モデルを学習した場合、当該圧縮後に復号された画像データに写るのは、人の顔ではあるものの、よく見ると、元の画像データとは別人の顔が復元されてしまうのである。

【0007】

これは深層学習による圧縮手法では、圧縮率を高めるために元の画像データを次元の低い潜在空間へと写像していることに、起因する。そのため、潜在空間によっては特徴を捉え切れない未学習の画像データが入力されると、予期しない結果を生む可能性が高くなる。さらに深層学習による圧縮手法では、潜在空間自体の次元が過度に低いと、学習データと似た構図乃至は同一種類のターゲットが写る画像データであっても、潜在空間に写像した画像データと元の画像データとが１対１には対応しない。このことによっても、元の画像データにおける特徴が大きく喪失してしまう問題は、起こり得るのである。

【0008】

本開示の課題は、高圧縮性と高復元性とを両立させる画像処理装置を、提供することにある。本開示の別の課題は、高圧縮性と高復元性とを両立させる画像処理方法を、提供することにある。本開示のさらに別の課題は、高圧縮性と高復元性とを両立させる画像処理プログラムを、提供することにある。

【課題を解決するための手段】

【0009】

以下、課題を解決するための本開示の技術的手段について、説明する。尚、特許請求の範囲及び本欄に記載された括弧内の符号は、後に詳述する実施形態に記載された具体的手段との対応関係を示すものであり、本開示の技術的範囲を限定するものではない。

【0010】

本開示の第一態様は、
画像データ（Ｘ）を処理する画像処理装置（１）であって、
画像データをエンコーダモデル（Ｍ_ｅ）へ入力することにより、画像データの偏りを特徴づける潜在表現データ（Ｚ）を、画像データと潜在表現データとの１：１制約下において生成するエンコーダ部（１００）と、
潜在表現データを量子化することにより、量子化データ（Ｚ＾）を生成する量子化部（１１０）と、
量子化データに関する情報エントロピー（Ｌ_Ｈ）を取得するエントロピー取得部（１３０）と、
情報エントロピーを最小化するように、エンコーダモデルを学習する学習部（１６０）とを、備える。

【0011】

本開示の第二態様は、
画像データ（Ｘ）を処理する画像処理方法であって、
画像データをエンコーダモデル（Ｍ_ｅ）へ入力することにより、画像データの偏りを特徴づける潜在表現データ（Ｚ）を、画像データと潜在表現データとの１：１制約下において生成するエンコード工程（Ｓ１０１）と、
潜在表現データを量子化することにより、量子化データ（Ｚ＾）を生成する量子化工程（Ｓ１０２）と、
量子化データに関する情報エントロピー（Ｌ_Ｈ）を取得するエントロピー取得工程（Ｓ１０４）と、
情報エントロピーを最小化するように、エンコーダモデルを学習する学習工程（Ｓ１０７）とを、含む。

【0012】

本開示の第三態様は、
画像データ（Ｘ）を処理するためにプロセッサに実行させる命令を含む画像処理プログラムであって、
命令は、
画像データをエンコーダモデル（Ｍ_ｅ）へ入力させることにより、画像データの偏りを特徴づける潜在表現データ（Ｚ）を、画像データと潜在表現データとの１：１制約下において生成させるエンコード工程（Ｓ１０１）と、
潜在表現データを量子化させることにより、量子化データ（Ｚ＾）を生成させる量子化工程（Ｓ１０２）と、
量子化データに関する情報エントロピー（Ｌ_Ｈ）を取得させるエントロピー取得工程（Ｓ１０４）と、
情報エントロピーを最小化させるように、エンコーダモデルを学習させる学習工程（Ｓ１０７）とを、含む。

【0013】

本開示の第一～第三態様によると、画像データのエンコーダモデルへの入力により、画像データの偏りを特徴づける潜在表現データが、それら画像データと潜在表現データとの１：１制約下において生成される。その結果、画像データの潜在空間への写像となる潜在表現データには、可逆性が担保され得る。故に、潜在表現データから量子化データへの量子化に伴う圧縮では特徴喪失の抑制された画像データを、復号に際して復元することができる。しかも第一～第三態様によると、そうした量子化データに関する情報エントロピーを最小化するように、エンコーダモデルが学習されるので、当該学習済モデルを通して写像された潜在表現データは、量子化に伴って圧縮され易くなる。これらのことから、高圧縮性と高復元性とを両立させることが可能である。

【図面の簡単な説明】

【0014】

【図1】一実施形態による画像処理装置の全体構成を示すブロック図である。

【図2】一実施形態による画像処理装置の詳細構成を示すブロック図である。

【図3】一実施形態によるエンコーダ部を説明するための模式図である。

【図4】一実施形態による量子化部を説明するための模式図である。

【図5】一実施形態によるデコーダ部を説明するための模式図である。

【図6】一実施形態による画像処理装置のうち学習部のさらに詳細構成を示すブロク図である。

【図7】一実施形態による画像処理方法を示すフローチャートである。

【図8】変形例による画像処理装置の詳細構成を示すブロック図である。

【図9】変形例による画像処理方法を示すフローチャートである。

【発明を実施するための形態】

【0015】

以下、一実施形態を図面に基づき説明する。

【0016】

図１に示す一実施形態の画像処理装置１は、撮像装置２と共に、例えば車両又は生産設備等に設置される。撮像装置２は、例えば車両の外界領域又は生産設備の外観検査領域等である対象領域を、撮影する。撮像装置２は、撮影した対象領域の写る画像データＸを、生成して出力する。

【0017】

画像処理装置１は、少なくとも一つの専用コンピュータを含んで構成される。画像処理装置１を構成する専用コンピュータは、メモリ１０とプロセッサ１２とを、少なくとも一つずつ備えている。メモリ１０は、コンピュータにより読み取り可能なプログラム又はデータ等を非一時的に記憶する、例えば半導体メモリ、磁気媒体、及び光学媒体等のうち、少なくとも一種類の非遷移的実体的記憶媒体（non-transitory tangible storage medium）である。プロセッサ１２は、例えばＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、及びＲＩＳＣ（Reduced Instruction Set Computer）－ＣＰＵ等のうち、少なくとも一種類をコアとして含む。

【0018】

プロセッサ１２は、メモリ１０に記憶された画像処理プログラムに含まれる複数の命令を、実行する。これにより画像処理装置１は、撮像装置２から出力された画像データＸを処理するための機能ブロックとして、複数の機能部を構築する。このように画像処理装置１では、メモリ１０に記憶された画像処理プログラムが複数命令をプロセッサ１２に実行させることで、複数機能部が構築される。画像処理装置１において構築される複数機能部には、図２に示すように、エンコーダ部１００、量子化部１１０、デコーダ部１２０、エントロピー取得部１３０、量子化誤差取得部１４０、再構成誤差取得部１５０、及び学習部１６０が含まれる。

【0019】

エンコーダ部１００は、図３に示すように画像データＸをエンコーダモデルＭ_ｅへ入力することで、潜在表現データＺを生成する。具体的にエンコーダ部１００は、撮像装置２から出力されてメモリ１０のデータベース領域に記憶されている画像データＸを、取得する。エンコーダ部１００では、潜在空間への写像元となる画像データＸとしての画素毎の輝度値を、ベクトルにより表現した画像ベクトルが、エンコーダモデルＭ_ｅへと入力される。一方でエンコーダ部１００では、画像データＸの潜在空間への写像となる潜在表現データＺとして、画像データＸの偏りを特徴づける当該潜在空間の潜在表現ベクトルが、エンコーダモデルＭ_ｅを通して出力される。これら画像データＸと潜在表現データＺとはいずれも、同一次元数Ｄの実数によりベクトル表現される。

【0020】

図３に示すエンコーダモデルＭ_ｅは、例えばディープニューラルネットワーク等を主体に構成された、深層学習モデルである。エンコーダモデルＭ_ｅは、画像データＸを潜在表現データＺとの１：１制約下において生成するように、例えばLeakyReLU又はSigmoid等の活性化関数Ｆ_ｅを、全結合層と共に用いて構築される。即ちエンコーダモデルＭ_ｅは、Ｚ＝Ｆ_ｅ（Ｘ）且つＸ＝Ｆ_ｅ ^－１（Ｚ）の可逆性を、画像データＸと潜在表現データＺとの間に与える。こうした１：１の可逆性制約を与えるためにエンコーダモデルＭ_ｅは、逆行列の存在する正定値行列の中でも特に、Ｄ行Ｄ列の直交行列によって表現される重み行列Ｗ_ｅを、活性化関数Ｆ_ｅのパラメータとして含む。そこでエンコーダ部１００は、エンコーダモデルＭ_ｅへ入力された画像データＸの画像ベクトルに重み行列Ｗ_ｅを乗算する活性化関数Ｆ_ｅを通して、当該画像ベクトルを潜在表現データＺへと変換する。

【0021】

図２に示す量子化部１１０は、エンコーダ部１００による潜在表現データＺを量子化することで、量子化データＺ＾を生成する。具体的に量子化部１１０では、図４に示すような量子化テーブルＴに基づくことで、潜在表現データＺが量子化データＺ＾へと変換される。この量子化テーブルＴは、Ｊ個のセントロイドＣ＝（Ｃ_１，…，Ｃ_Ｊ）を、パラメータとして含む。そこで量子化部１１０は、潜在表現データＺをＭ組且つ各組次元数Ｄ／ＭのサブベクトルＺ’へと分割し、次の式１によるソフト割当処理を当該サブベクトルＺ’毎に実行する。ここで式１のsoftmax演算子は、次元数Ｊのソフト割当結果である量子化用割当データφ（Ｚ’）に関して、Ｌ１ノルム|| ||_１が次の式２を満たすように演算する、活性化関数を表す。式１の|| ||_２は、サブベクトルＺ’とｊ番目のセントロイド値Ｃｊとの差のＬ２ノルムである。式１のσは、ソフト割当の硬度を表す、０より大きなパラメータである。

【数1】

【数2】

【0022】

量子化部１１０は、こうした量子化用割当データφ（Ｚ’）とセントロイドＣとを用いた次の式３により、潜在表現データＺのサブベクトルＺ’毎に対するソフト量子化結果Ｑ（Ｚ’）を演算する。ここで式３のＣｊは、セントロイドＣを構成するＪ個の値のうち、ｊ番目の値を表す。式３のφｊ（Ｚ’）は、量子化用割当データφ（Ｚ’）を構成するＪ個のデータ値のうち、ｊ番目の値を表す。

【数3】

【0023】

量子化部１１０はさらに、各組のサブベクトルＺ’に対するソフト量子化結果Ｑ（Ｚ’）を用いた式４により、潜在表現データＺ自体に対するソフト量子化結果としての量子化データＺ＾を演算する。これにより量子化データＺ＾は、潜在表現データＺと同一次元数Ｄの実数によりベクトル表現される。ここで式４のconcat演算子は、複数のベクトルを一つのベクトルに結合するように演算する、結合関数を表す。式４のＺ’^（１），…，Ｚ’^（Ｍ）は、Ｍ組それぞれのサブベクトルＺ’を表す。

【数4】

【0024】

このような量子化部１１０では、量子化データＺ＾よりも低次元となる量子化用割当データφ（Ｚ’）が、メモリ１０のデータベース領域に記憶される。これによりメモリ１０には、画像データＸよりも圧縮された量子化用割当データφ（Ｚ’）が、量子化部１１０の機能により記憶される。

【0025】

図２に示すデコーダ部１２０は、量子化部１１０による量子化データＺ＾を図５に示すようにデコーダモデルＭ_ｄへ入力することで、同データＺ＾を画像データＸに復号する。具体的にデコーダ部１２０は、量子化データＺ＾としてベクトル表現された量子化ベクトルが、デコーダモデルＭ_ｄへと入力される。また一方でデコーダ部１２０では、元の画像データＸ（以下、元画像データＸとも言う）を復元した復号画像データＸ＾が、出力される。

【0026】

ここでデコーダ部１２０のデコーダモデルＭ_ｄは、例えばディープニューラルネットワーク等を主体に構成された、深層学習モデルである。デコーダモデルＭ_ｄは、パラメータとして含んだＤ行Ｄ列の重み行列Ｗ_ｄに対するＬ２正則化の制約下において、次元数Ｄの復号画像データＸ＾を生成するように、例えばSigmoid等の活性化関数Ｆ_ｄを、エンコーダモデルＭ_ｅと同等な全結合層と共に用いて構築される。

【0027】

図２に示すエントロピー取得部１３０は、量子化部１１０による量子化データＺ＾に関しての情報エントロピーＬ_Ｈを、取得する。具体的にエントロピー取得部１３０は、学習データとなるＮ個の潜在表現データＺから推定して正規化したヒストグラムｐ_ｊと、量子化部１１０による量子化用割当データφ（Ｚ’）から推定したヒストグラムｑ_ｊに基づき、情報エントロピーＬ_Ｈを演算する。このときヒストグラムｑ_ｊは、次の式５により表されることから、情報エントロピーＬ_Ｈは、次の式６を用いて演算される。ここで式５，６のＺ’_ｎ ^（ｍ）は、Ｎ個の潜在表現データＺに関するＭ組のサブベクトルＺ’のうち、ｎ番目のデータＺに関するｍ組目のサブベクトルＺ’を表す。

【数5】

【数6】

【0028】

量子化誤差取得部１４０は、量子化部１１０による量子化データＺ＾と、エンコーダ部１００による潜在表現データＺとの、差分を量子化誤差Δとして取得する。具体的に量子化誤差取得部１４０は、次の式７により量子化誤差Δを演算する。

【数7】

【0029】

再構成誤差取得部１５０は、デコーダ部１２０による復号画像データＸ＾と、メモリ１０のデータベース領域において対応する元画像データＸとの、差分を再構成誤差δとして取得する。具体的に再構成誤差取得部１５０は、量子化部１１０による量子化を伴わないと仮定した場合の再構成誤差δを、次の式８により演算する。

【数8】

【0030】

学習部１６０は、エンコーダ部１００のエンコーダモデルＭ_ｅと量子化部１１０の量子化テーブルＴとデコーダ部１２０のデコーダモデルＭ_ｄとを、学習する。そのために学習部１６０は、図６に示すモデル学習部１６１、テーブル学習部１６２、及び全体学習部１６３の三層のサブ機能ブロックにより、三段階の学習を実行する。

【0031】

モデル学習部１６１は、再構成誤差取得部１５０による再構成誤差δを含んだコスト関数Ｌ_Ｒを、次の式９により定義する。そこでモデル学習部１６１は、このコスト関数Ｌ_Ｒの最適化として、量子化を伴わない場合の再構成誤差δを最小化するように、エンコーダモデルＭ_ｅの重み行列Ｗ_ｅとデコーダモデルＭ_ｄの重み行列Ｗ_ｄとを学習する。ここで式９のＸ＾_ｎは、学習データとなるＮ個の復号画像データＸ＾のうち、ｎ番目のデータＸ^を表す。式９のＸ_ｎは、学習データとなるＮ個の元画像データＸのうち、ｎ番目のデータＸを表す。これらのことから式９のδ_ｎは、ｎ番目のデータＸ＾，Ｘ間での再構成誤差δを意味する。式９のｗは、エンコーダモデルＭ_ｅの重み行列Ｗ_ｅとデコーダモデルＭ_ｄの重み行列Ｗ_ｄとを結合してベクトル化した、ベクトル変数である。式９のλ，γは、ハイパーパラメータである。

【数9】

【0032】

ここで特に式９のＲ（Ｗ_ｅ）は、エンコーダモデルＭ_ｅの全結合層において可逆性を担保するため、次の式１０により表される直交正則化を同モデルＭ_ｅの重み行列Ｗ_ｅに対して適用するように演算される、サブコスト関数となる。ここで式１０の|| ||_Ｆは、フロベニウスノルムである。式１０のＩは、Ｄ行Ｄ列の単位行列である。式１０のＷ_ｅ ^Ｔは、重み行列Ｗ_ｅの転置行列である。

【数10】

【0033】

テーブル学習部１６２は、量子化誤差取得部１４０による量子化誤差Δを含んだコスト関数Ｌ_Ｑを、次の式１１により定義する。そこでテーブル学習部１６２は、このコスト関数Ｌ_Ｑの最適化として、エンコーダモデルＭ_ｅの重み行列Ｗ_ｅをモデル学習部１６１での学習値に固定且つ硬度σを定数とした場合の量子化誤差Δを最小化するように、量子化テーブルＴのセントロイドＣを学習する。このときテーブル学習部１６２は、量子化を伴う学習のため、例えばStraight Through Estimator等を用いる。ここで式１１のＺ＾_ｎは、学習データとなるＮ個の量子化データＺ＾のうち、ｎ番目のデータＺ＾を表す。式１１のＺ_ｎは、学習データとなるＮ個の潜在表現データＺのうち、ｎ番目のデータＺを表す。これらのことから式１１のΔ_ｎは、ｎ番目のデータＺ＾，Ｚ間での量子化誤差Δを意味する。

【数11】

【0034】

全体学習部１６３は、エントロピー取得部１３０による情報エントロピーＬ_Ｈとテーブル学習部１６２によるコスト関数Ｌ_Ｒとを線形結合したコスト関数Ｌを、次の式１２により定義する。そこで全体学習部１６３は、このコスト関数Ｌの最適化として、量子化を伴う場合の再構成誤差δと情報エントロピーＬ_Ｈとを最小化するように、エンコーダモデルＭ_ｅの重み行列Ｗ_ｅとデコーダモデルＭ_ｄの重み行列Ｗ_ｄと量子化テーブルＴのセントロイドＣとを再度学習する。このとき全体学習部１６３は、量子化を伴う学習のため、例えばStraight Through Estimator等を用いる。ここで式１２のβは、ハイパーパラメータである。

【数12】

【0035】

ここまで説明した各機能部１００，１１０，１２０，１３０，１４０，１５０，１６０の共同により、画像処理装置１が画像データＸを処理する画像処理方法のフローを、図７に従って以下に説明する。尚、本フローにおける各「Ｓ」は、画像処理プログラムに含まれた複数命令によって実行される複数ステップを、それぞれ意味する。

【0036】

Ｓ１０１においてエンコーダ部１００は、撮像装置２により生成されたＮ個の画像データＸをそれぞれ個別にエンコーダモデルＭ_ｅへ入力することで、Ｎ個の潜在表現データＺを生成する。

【0037】

Ｓ１０２において量子化部１１０は、Ｓ１０１により生成されたＮ個の潜在表現データＺをそれぞれ個別に量子化することで、Ｎ個の量子化データＺ＾を生成する。このとき量子化部１１０は、各量子化データＺ＾に個別に対応する量子化用割当データφ（Ｚ’）を、メモリ１０に記憶する。

【0038】

Ｓ１０３においてデコーダ部１２０は、Ｓ１０２により生成されたＮ個の量子化データＺ＾をそれぞれ個別にデコーダモデルＭ_ｄへ入力することで、それら各データＺ＾から個別に復号された復号画像データＸ＾を生成する。

【0039】

Ｓ１０４においてエントロピー取得部１３０は、Ｓ１０２により生成されたＮ個の量子化データＺ＾に関する情報エントロピーＬ_Ｈを、取得する。Ｓ１０５において量子化誤差取得部１４０は、Ｓ１０２により生成されたＮ個の量子化データＺ＾と、Ｓ１０１により生成されたＮ個の潜在表現データＺとの、それぞれの差分である量子化誤差Δを取得する。Ｓ１０６において再構成誤差取得部１５０は、Ｓ１０３により生成されたＮ個の復号画像データＸ＾と、対応するＮ個の元画像データＸとの、それぞれの差分である再構成誤差δを取得する。尚、これらＳ１０４，１０５，Ｓ１０６の実行順については、図７に示す順から任意に入れ替えられてもよいし、少なくとも一つずつが実質同時であってもよい。

【0040】

Ｓ１０７において学習部１６０は、各モデルＭ_ｅ，Ｍ_ｄ及び量子化テーブルＴを学習する。このときモデル学習部１６１は、Ｓ１０６により取得の再構成誤差δを最小化するように、各モデルＭ_ｅ，Ｍ_ｄを学習する。続いてテーブル学習部１６２は、Ｓ１０２により取得の量子化誤差Δを最小化するように、量子化テーブルＴを学習する。さらに全体学習部１６３は、Ｓ１０４により取得の情報エントロピーＬ_Ｈと、Ｓ１０６により取得の再構成誤差δとを、共に最小化するように、各モデルＭ_ｅ，Ｍ_ｄ及び量子化テーブルＴを学習する。

【0041】

このように本実施形態では、Ｓ１０１がエンコード工程に相当し、Ｓ１０２が量子化工程に相当し、Ｓ１０３がデコード工程に相当する。また本実施形態では、Ｓ１０４がエントロピー取得工程に相当し、Ｓ１０７が学習工程に相当する。

【0042】

（作用効果）
以上説明した本実施形態の作用効果を、以下に説明する。

【0043】

本実施形態によると、画像データＸのエンコーダモデルＭ_ｅへの入力により、画像データＸの偏りを特徴づける潜在表現データＺが、それら画像データＸと潜在表現データＺとの１：１制約下において生成される。その結果、画像データＸの潜在空間への写像となる潜在表現データＺには、可逆性が担保され得る。故に、潜在表現データＺから量子化データＺ＾への量子化に伴う圧縮では特徴喪失の抑制される画像データを、復号に際して復元することができる。しかも本実施形態によると、そうした量子化データＺ＾に関する情報エントロピーＬ_Ｈを最小化するように、エンコーダモデルＭ_ｅが学習されるので、当該学習済のモデルＭ_ｅを通して写像された潜在表現データＺは、当該学習後の量子化により圧縮され易くなる。これらのことから、高圧縮性と高復元性とを両立させることが可能である。

【0044】

本実施形態によると、画像データＸをベクトル表現した画像ベクトルには、直交行列表現される重み行列Ｗ_ｅが乗算されることで、当該画像ベクトルが潜在表現データＺへと変換される。これにより、画像データＸの潜在空間への写像となる潜在表現データＺには、シンプルな重み付き演算によって１：１制約が付与されることで、可逆性が担保され得る。故に、高復元性に必要な写像演算処理を、高速化することが可能となる。

【0045】

本実施形態によると、潜在表現データＺの量子化データＺ＾への変換に利用される量子化テーブルＴは、量子化データＺ＾と潜在表現データＺとの差分である、量子化誤差Δを最小化するように学習される。これによれば、学習済の量子化テーブルＴに基づく量子化データＺ＾には、量子化誤差Δに起因する特徴喪失等の量子化不良が生じ難くなる。故に、高圧縮性と共に両立する高復元性の信頼度を、高めることが可能となる。

【0046】

本実施形態によると、量子化データＺ＾のデコーダモデルＭ_ｄへの入力により、同データＺ＾が画像データＸへと復号される。これによれば、潜在表現データＺから量子化データＺ＾への量子化に伴う高圧縮化に拘らず、特徴の復元性が高い画像データＸを、デコーダモデルＭ_ｄを通して適正に復号することが可能となる。

【0047】

本実施形態によると、量子化データＺ＾から画像データＸへの復号に利用されるデコーダモデルＭ_ｄは、復号された画像データＸとなる復号画像データＸ＾と、元の画像データＸとの差分である、再構成誤差δを最小化するように学習される。これによれば、学習済のデーコーダモデルＭ_ｄを通して復元された画像データＸには、再構成誤差δに起因する特徴喪失等の復原不良が生じ難くなる。故に、高圧縮性と共に両立する高復元性の信頼度を、高めることが可能となる。

【0048】

（他の実施形態）
以上、一実施形態について説明したが、本開示は、当該実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態に適用することができる。

【0049】

変形例において画像処理装置１を構成する専用コンピュータは、例えば車両又は生産設備等との間において通信可能な、少なくとも一つの外部センターコンピュータであってもよい。変形例において画像処理装置１を構成する専用コンピュータは、デジタル回路及びアナログ回路のうち、少なくとも一方をプロセッサとして含んでいてもよい。ここでデジタル回路とは、例えばＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、ＳＯＣ（System on a Chip）、ＰＧＡ（Programmable Gate Array）、及びＣＰＬＤ（Complex Programmable Logic Device）等のうち、少なくとも一種類である。またこうしたデジタル回路は、プログラムを格納したメモリを、有していてもよい。

【0050】

図８，９に示すように変形例では、デコーダ部１２０及びそれによるＳ１０３が省かれていてもよい。この変形例では、再構成誤差取得部１５０及びそれによるＳ１０６において、再構成誤差δを演算する式８のｗを構成する重み行列Ｗ_ｄが、Ｄ行Ｄ列の単位行列に置換されるとよい。

【符号の説明】

【0051】

１：画像処理装置、１００：エンコーダ部、１１０：量子化部、１２０：デコーダ部、１３０：エントロピー取得部、１４０：量子化誤差取得部、１５０：再構成誤差取得部、１６０：学習部、１６１：モデル学習部、１６２：テーブル学習部、１６３：全体学習部、Ｃ：セントロイド、Ｌ_Ｈ：情報エントロピー、Ｍ_ｄ：デコーダモデル、Ｍ_ｅ：エンコーダモデル、Ｔ：量子化テーブル、Ｗ_ｄ，Ｗ_ｅ：重み行列、Ｘ：画像データ・元画像データ、Ｘ＾：復号画像データ、Ｚ：潜在表現データ、Ｚ＾：量子化データ、Δ：量子化誤差、δ：再構成誤差

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】