特許 7525048 情報処理システム、符号化装置、復号装置、モデル学習装置、情報処理方法、符号化方法、復号方法、モデル学習方法、および、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-22

(45)【発行日】2024-07-30

(54)【発明の名称】情報処理システム、符号化装置、復号装置、モデル学習装置、情報処理方法、符号化方法、復号方法、モデル学習方法、および、プログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20240723BHJP

【ＦＩ】

G06N20/00

【請求項の数】 12

(21)【出願番号】P 2023504908

(86)(22)【出願日】2021-03-09

(86)【国際出願番号】 JP2021009205

(87)【国際公開番号】W WO2022190195

(87)【国際公開日】2022-09-15

【審査請求日】2023-09-01

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100181135

【弁理士】

【氏名又は名称】橋本 隆史

(72)【発明者】

【氏名】バイエ フロリアン

(72)【発明者】

【氏名】逸身 勇人

(72)【発明者】

【氏名】篠原 悠介

(72)【発明者】

【氏名】ヴィタル チャルヴィ

(72)【発明者】

【氏名】二瓶 浩一

(72)【発明者】

【氏名】岩井 孝法

【審査官】千葉 久博

(56)【参考文献】

【文献】米国特許出願公開第２０１９／０２９７３２９（ＵＳ，Ａ１）

【文献】中国特許出願公開第１１１３６８９７２（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

第１機械学習モデルを用いて入力値に対応する所定の値域における量子化値の第１確率分布を定める第１分布推定手段と、
前記第１確率分布を用いて前記量子化値を標本化して第１標本値を定める第１標本化手段と、
第２機械学習モデルを用いて前記第１標本値に対応する第２確率分布を定める第２分布推定手段と、
前記第２確率分布を用いて前記値域における量子化値を標本化して第２標本値を定める第２標本化手段と、を備える
情報処理システム。

【請求項2】

複数個の前記第１標本値を含む第１標本値系列をエントロピー符号化して符号系列を生成するエントロピー符号化手段と、
前記符号系列をエントロピー復号して複数個の前記第２標本値を含む第２標本値系列を生成するエントロピー復号手段と、を備える
請求項１に記載の情報処理システム。

【請求項3】

前記第１標本化手段は、前記第１確率分布で示される確率に従い、第１疑似乱数を用いて、前記値域のいずれかの量子化値を、前記第１標本値として定め、
前記第２標本化手段は、前記第２確率分布で示される確率に従い、第２疑似乱数を用いて、前記値域のいずれかの量子化値を、前記第２標本値として定める
請求項１または請求項２に記載の情報処理システム。

【請求項4】

前記第１確率分布に基づく前記第１標本値の情報量に基づく第１因子と、前記入力値と前記第２標本値の差に基づく第２因子と、を合成した損失関数がより小さくなるように前記第１機械学習モデルのパラメータセットと、前記第２機械学習モデルのパラメータセットとを定めるモデル学習手段、を備える
請求項１から請求項３のいずれか一項に記載の情報処理システム。

【請求項5】

機械学習モデルを用いて入力値に対応する所定の値域における量子化値の確率分布を定める分布推定手段と、
前記確率分布を用いて前記量子化値を標本化して標本値を定める標本化手段と、
複数個の前記標本値を含む標本値系列をエントロピー符号化して符号系列を生成するエントロピー符号化手段と、を備える
符号化装置。

【請求項6】

符号系列をエントロピー復号して複数個の標本値を含む標本値系列を生成するエントロピー復号手段と、
機械学習モデルを用いて前記標本値に対応する確率分布を定める分布推定手段と、
前記確率分布を用いて所定の値域における量子化値を標本化して標本値を定める標本化手段と、を備える
復号装置。

【請求項7】

第１標本値の情報量に基づく第１因子と、入力値と第２標本値の差に基づく第２因子と、を合成した損失関数がより小さくなるように第１機械学習モデルのパラメータと第２機械学習モデルのパラメータを定めるモデル学習手段を備え、
前記第１標本値は、第１確率分布を用いて所定の値域における量子化値を標本化して定まり、
前記第２標本値は、第２確率分布を用いて前記値域における量子化値を標本化して定まり、
前記第１機械学習モデルは、前記入力値に対応する所定の値域における量子化値の前記第１確率分布を定めるために用いられ、
前記第２機械学習モデルは、前記第１標本値に対応する前記第２確率分布を定めるために用いられる
モデル学習装置。

【請求項8】

コンピュータに、
請求項１から請求項４のいずれか一項の情報処理システム、または、請求項５から請求項７のいずれか一項に記載の装置として機能させるためのプログラム。

【請求項9】

情報処理システムにおける情報処理方法であって、
第１機械学習モデルを用いて入力値に対応する所定の値域における量子化値の第１確率分布を定める第１分布推定ステップと、
前記第１確率分布を用いて前記量子化値を標本化して第１標本値を定める第１標本化ステップと、
第２機械学習モデルを用いて前記第１標本値に対応する第２確率分布を定める第２分布推定ステップと、
前記第２確率分布を用いて前記値域における量子化値を標本化して第２標本値を定める第２標本化ステップと、を有する
情報処理方法。

【請求項10】

符号化装置における符号化方法であって、
機械学習モデルを用いて入力値に対応する所定の値域における量子化値の確率分布を定める第１ステップと、
前記確率分布を用いて前記量子化値を標本化して標本値を定める第２ステップと、
複数個の前記標本値を含む標本値系列をエントロピー符号化して符号系列を生成する第３ステップと、を有する
符号化方法。

【請求項11】

復号装置における復号方法であって、
符号系列をエントロピー復号して複数個の標本値を含む標本値系列を生成する第１ステップと、
機械学習モデルを用いて前記標本値に対応する確率分布を定める第２ステップと、
前記確率分布を用いて所定の値域における量子化値を標本化して標本値を定める第３ステップと、を有する
復号方法。

【請求項12】

モデル学習装置におけるモデル学習方法であって、
第１標本値の情報量に基づく第１因子と、入力値と第２標本値の差に基づく第２因子と、を合成した損失関数がより小さくなるように第１機械学習モデルのパラメータセットと第２機械学習モデルのパラメータセットを定めるステップを有し、
前記第１標本値は、第１確率分布を用いて所定の値域における量子化値を標本化して定まり、
前記第２標本値は、第２確率分布を用いて前記値域における量子化値を標本化して定まり、
前記第１機械学習モデルは、前記入力値に対応する所定の値域における量子化値の前記第１確率分布を定めるために用いられ、
前記第２機械学習モデルは、前記第１標本値に対応する前記第２確率分布を定めるために用いられる
モデル学習方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム、符号化装置、復号装置、モデル学習装置、情報処理方法、符号化方法、復号方法、モデル学習方法、および、プログラムに関する。

【背景技術】

【0002】

非特許文献１には、オートエンコーダを用いた非可逆画像圧縮（lossy image compression）について記載されている。当該オートエンコーダは、符号化器（encoder）と復号器（decoder）を備える。符号化器に画像データが入力され、符号化器から出力される符号系列が復号器に入力される。復号器は、符号系列に基づいて再構成画像データを出力する。符号化器と復号器は、それぞれ畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を用い、特徴量空間における確率モデルとして構成される。符号系列をなす個々の符号が量子化された特徴量を表現する。確率モデルの特性は、画像特徴量の確率分布を与えるためのパラメータで表される。符号系列のビットレート（bit rate）は確率分布に依存する。当該オートエンコーダのパラメータセットは、情報量に依存する損失関数（loss function）が最小化されるように更新される。

【先行技術文献】

【非特許文献】

【0003】

【文献】L. Theis, W. Shi, A. Cunningham, and F. Huszar, “Lossy Image Compression with Compressive Autoencoders”, International Conference on Learning Representations, 2017 (ICLR 2017), April 23-25, 2017

【発明の概要】

【発明が解決しようとする課題】

【0004】

機械学習モデルのパラメータセットの学習では、損失関数のパラメータセットの更新量を算出する際、画像特徴量による微分値が用いられることがある。しかしながら、非特許文献１に記載のオートエンコーダでは、画像特徴量が量子化される。量子化後の画像特徴量である量子化画像特徴量では損失関数が微分不可能となる。そこで、量子化前の画像特徴量に対する量子化画像特徴量の微分値を１と仮定していた。そのため、学習により得られるパラメータセットは、最適解に収束するとは限られない。このことは、再構成画像データに示される再構成画像の品質が劣化する原因となっていた。他方、再構成画像の使用目的によっては、ある損失関数のもとで要求される品質が得られれば、もとの画像の忠実な再現までは要求されないこともある。

【0005】

本発明は、上記の課題を解決する情報処理システム、符号化装置、復号装置、モデル学習装置、情報処理方法、符号化方法、復号方法、モデル学習方法、および、プログラムを提供することを一つの目的とする。

【課題を解決するための手段】

【0006】

第１の態様によれば、情報処理システムは、第１機械学習モデルを用いて入力値に対応する所定の値域における量子化値の第１確率分布を定める第１分布推定手段と、前記第１確率分布を用いて前記量子化値を標本化して第１標本値を定める第１標本化手段と、第２機械学習モデルを用いて前記第１標本値に対応する第２確率分布を定める第２分布推定手段と、前記第２確率分布を用いて前記値域における量子化値を標本化して第２標本値を定める第２標本化手段と、を備える。

【0007】

第２の態様によれば、符号化装置は、機械学習モデルを用いて入力値に対応する所定の値域における量子化値の確率分布を定める分布推定手段と、前記確率分布を用いて前記量子化値を標本化して標本値を定める標本化手段と、複数個の前記標本値を含む標本値系列をエントロピー符号化して符号系列を生成するエントロピー符号化手段と、を備える。

【0008】

第３の態様によれば、復号装置は、符号系列をエントロピー復号して複数個の標本値を含む標本値系列を生成するエントロピー復号手段と、機械学習モデルを用いて前記標本値に対応する確率分布を定める分布推定手段と、前記確率分布を用いて所定の値域における量子化値を標本化して標本値を定める標本化手段と、を備える。

【0009】

第４の態様によれば、モデル学習装置は、第１標本値の情報量に基づく第１因子と、入力値と第２標本値の差に基づく第２因子と、を合成した損失関数がより小さくなるように第１機械学習モデルのパラメータと第２機械学習モデルのパラメータを定めるモデル学習手段を備え、前記第１標本値は、第１確率分布を用いて所定の値域における量子化値を標本化して定まり、前記第２標本値は、第２確率分布を用いて前記値域における量子化値を標本化して定まり、前記第１機械学習モデルは、前記入力値に対応する所定の値域における量子化値の前記第１確率分布を定めるために用いられ、前記第２機械学習モデルは、前記第１標本値に対応する前記第２確率分布を定めるために用いられる。

【0010】

第５の態様によれば、情報処理システムにおける情報処理方法は、第１機械学習モデルを用いて入力値に対応する所定の値域における量子化値の第１確率分布を定める第１分布推定ステップと、前記第１確率分布を用いて前記量子化値を標本化して第１標本値を定める第１標本化ステップと、第２機械学習モデルを用いて前記第１標本値に対応する第２確率分布を定める第２分布推定ステップと、前記第２確率分布を用いて前記値域における量子化値を標本化して第２標本値を定める第２標本化ステップと、を有する。

【0011】

第６の態様によれば、符号化装置における符号化方法は、機械学習モデルを用いて入力値に対応する所定の値域における量子化値の確率分布を定める第１ステップと、前記確率分布を用いて前記量子化値を標本化して標本値を定める第２ステップと、複数個の前記標本値を含む標本値系列をエントロピー符号化して符号系列を生成する第３ステップと、を有する。

【0012】

第７の態様によれば、復号装置における復号方法は、符号系列をエントロピー復号して複数個の標本値を含む標本値系列を生成する第１ステップと、機械学習モデルを用いて前記標本値に対応する確率分布を定める第２ステップと、前記確率分布を用いて所定の値域における量子化値を標本化して標本値を定める第３ステップと、を有する。

【0013】

第８の態様によれば、モデル学習装置におけるモデル学習方法であって、第１標本値の情報量に基づく第１因子と、入力値と第２標本値の差に基づく第２因子と、を合成した損失関数がより小さくなるように第１機械学習モデルのパラメータセットと第２機械学習モデルのパラメータセットを定めるステップを有し、前記第１標本値は、第１確率分布を用いて所定の値域における量子化値を標本化して定まり、前記第２標本値は、第２確率分布を用いて前記値域における量子化値を標本化して定まり、前記第１機械学習モデルは、前記入力値に対応する所定の値域における量子化値の前記第１確率分布を定めるために用いられ、前記第２機械学習モデルは、前記第１標本値に対応する前記第２確率分布を定めるために用いられる。

【発明の効果】

【0014】

上記の態様によれば、第１機械学習モデルと第２機械学習モデルについて、所定の損失関数のもとで、より適切なモデルパラメータを取得することができる。そのため、出力値とする第２標本値の再現性を確保することができる。

【図面の簡単な説明】

【0015】

【図1】第１構成例に係る情報処理システムを示す概略ブロック図である。

【図2】第２構成例に係る情報処理システムを示す概略ブロック図である。

【図3】第３構成例に係る情報処理システムを示す概略ブロック図である。

【図4】逆方向演算部の構成例を示す概略ブロック図である。

【図5】第４構成例に係る情報処理システムを示す概略ブロック図である。

【図6】第５構成例に係る情報処理システムを示す概略ブロック図である。

【図7】第６構成例に係る情報処理システムを示す概略ブロック図である。

【図8】圧縮順方向処理部の構成例を示す概略ブロック図である。

【図9】圧縮逆方向処理部の構成例を示す概略ブロック図である。

【図10】ハードウェア構成例を示す概略ブロック図である。

【図11】ニューラルネットワークの例を示す図である。

【図12】第１構成例に係る情報処理方法の例を示すフローチャートである。

【図13】第２構成例に係る情報処理方法の例を示すフローチャートである。

【図14】第３構成例に係る情報処理方法の例を示すフローチャートである。

【図15】第４構成例に係る情報処理方法の例を示すフローチャートである。

【図16】第５構成例に係る情報処理方法の例を示すフローチャートである。

【図17】第６構成例に係る情報処理方法の例を示すフローチャートである。

【図18】情報処理システムの最小構成例を示す概略ブロック図である。

【図19】符号化装置の最小構成例を示す概略ブロック図である。

【図20】復号装置の最小構成例を示す概略ブロック図である。

【図21】モデル学習装置の最小構成例を示す概略ブロック図である。

【発明を実施するための形態】

【0016】

以下、図面を参照して本発明の実施形態について説明する。
＜第１実施形態＞
まず、第１実施形態について説明する。図１は、第１構成例に係る情報処理システム１ａを示す概略ブロック図である。情報処理システム１ａは、第１標本値生成部１０ａと第２標本値生成部２０ａを含んで構成される。

【0017】

第１標本値生成部１０ａは、入力される入力値１０２に対する標本値（sampled value）を第１標本値として生成する。入力値１０２は、量子化対象（quantization target）とする各１個のスカラー値である。第１標本値は、入力値１０２に対応する１個の量子化値（quantized value）である。第１標本値生成部１０ａは、第１分布推定部１０６と第１標本化部１０８を含んで構成される。

【0018】

第１分布推定部１０６は、所定の第１機械学習モデルを用いて入力値１０２に対応する量子化値の確率分布（probability distribution）を第１確率分布として推定する。第１分布推定部１０６は、推定した第１確率分布を第１標本化部１０８に出力する。第１分布推定部１０６には、パラメータセット１０４のうち、第１機械学習モデルの演算に用いられるパラメータ群を予め設定しておく。本願では、機械学習モデルの演算に用いられるパラメータ群を、「モデルパラメータ（model parameters）」または「パラメータセット（parameter set）」と呼ぶことがある。

【0019】

第１分布推定部１０６は、第１機械学習モデルに基づいてパラメータセットθ，φを用いて、入力値zに対応する離散確率分布（discrete probability distribution）を第１確率分布として算出する。第１確率分布は、所定の値域（range）に含まれる個々の量子化値（quantized value）の確率をもって表される。量子化値は、標本値の候補（candidate）となる。第１機械学習モデルは、例えば、量子化値ｎごとに、量子化値ｎの事前確率（prior probability）と量子化値ｎを条件とする入力値ｚの条件付き確率（conditional probability）との積を正規化した確率を含む確率分布を第１確率分布として定める混合モデル（mixture model）である。正規化は、値域内の量子化値ｎごとの積の総和で除算して実現される。より具体的には、第１分布推定部１０６は、入力値ｚに対応する量子化値ｎの確率ｐ（ｎ｜ｚ，θ，φ）を式（１）に示す事後確率（posterior distribution）として算出することができる。

【0020】

【数1】

【0021】

ｐ（ｎ，φ）、ｐ（ｍ，φ）は、それぞれ量子化値ｎ、ｍの事前確率を示す。但し、ｐ（ｎ，φ）、ｐ（ｍ，φ）は、それぞれパラメータセットφのもとでの所定の連続関数を用いて算出される。ｐ（ｚ｜ｎ，θ）、ｐ（ｚ｜ｍ，θ）は、それぞれ量子化値ｎ，ｍが得られることを条件とする入力値ｚの条件付き確率を示す。但し、条件付き確率ｐ（ｚ｜ｎ，θ）、ｐ（ｚ｜ｍ，θ）は、それぞれパラメータセットφのもとで事前確率ｐ（ｎ，φ）、ｐ（ｍ，φ）とは独立な連続関数を用いて算出される。即ち、式（１）は、事前確率（ｎ，φ）と条件付き確率ｐ（ｚ｜ｎ，θ）の積である頻度を、値域内の量子化値ｍの頻度の総和で正規化して、量子化値ｎの確率ｐ（ｎ｜ｚ，θ，φ）が得られることを示す。記憶部１２０には、それぞれパラメータセットφ、θを用いて算出した条件付き確率ｐ（ｚ｜ｎ，θ）、ｐ（ｚ｜ｍ，θ）、事前確率ｐ（ｎ，φ）、ｐ（ｍ，φ）を、予め記憶しておいてもよい。

【0022】

第１分布推定部１０６は、例えば、条件付き確率ｐ（ｚ｜ｎ，θ）、事前確率ｐ（ｎ，φ）等を混合ガウスモデル（ＧＭＭ：Gaussian Mixture Model）を用いて算出することができる。混合ガウスモデルは、所定数の正規分布（normal distribution, Gaussian function）を基底関数（basic function）とし、連続確率分布（continuous probability distribution）をこれらの基底関数の線形結合（linear combination）として表す数理モデルである。従って、パラメータセットθ、φには、それぞれ個々の正規分布のパラメータである重み係数（weight）、平均値（mean）および分散（variance）が含まれる。これらのパラメータは、いずれも実数値（real number）で表現される。従って、条件付き確率ｐ（ｚ｜ｎ，θ）、事前確率ｐ（ｎ，φ）、ならびに、これらを用いて定まる量子化値ごとの確率は、上記のパラメータに対して微分可能（differentiable）となる。なお、第１標本値やその候補である個々の量子化値は、必ずしも整数値である必要はない。個々の量子化値は、それぞれ異なる符号であってもよい。

【0023】

第１標本化部１０８は、第１分布推定部１０６から入力される第１確率分布に従って、設定された値域から１つの量子化値を標本化し（sampling）、標本化された量子化値を第１標本値として定める。第１標本化部１０８は、定めた第１標本値を第２標本値生成部２０ａに出力する。

【0024】

より具体的には、第１標本化部１０８は、第１確率分布で示される量子化値ごとに与えられた確率で、疑似乱数（pseudo random number）を用いて１個の量子化値を選択する。

【0025】

第２標本値生成部２０ａは、入力される第１標本値に対応する１個の量子化値として第２標本値として生成する。第２標本値生成部２０ａは、第２分布推定部１１４と第２標本化部１１６を含んで構成される。

【0026】

第２分布推定部１１４は、所定の第２機械学習モデルを用いて、第１標本値に対応する確率分布を第２確率分布として推定する。但し、推定される第２確率分布は、所定の値域における値の出現確率を示す連続分布である。第２分布推定部１１４は、推定した第２確率分布の情報を第２標本化部１１６に出力する。第２確率分布の情報には、例えば、第２確率分布のパラメータが含まれればよい。第２分布推定部１１４には、パラメータセット１０４のうち、第２機械学習モデルの演算に用いられるパラメータ群を予め設定しておく。第２機械学習モデルは、第１機械学習モデルと同様の数理モデルであってもよいし、異なっていてもよい。第２確率分布もGaussianを用いて表現することができる。その場合、第２確率分布のパラメータは、平均値、および分散となる。

【0027】

第２標本化部１１６は、第２分布推定部１１４から入力される第２確率分布の情報に従って、設定された値域から１つの量子化値を標本化し、標本化された量子化値を第２標本値として定める。つまり、第２標本化部１１６は、値域内のいずれかの実数を第２確率分布で与えられる確率で疑似乱数を用いて選択し、選択した実数を量子化して第２標本値を定める。第２標本化部１１６は、定めた第２標本値を出力値１１８として出力する。出力値１１８の出力先は、第２標本化部１１６を収容する機器の機能部もしくは記憶部であってもよいし、当該機器とは別個の外部機器であってもよい。

【0028】

なお、第１標本値生成部１０ａと第２標本値生成部２０ａは、それぞれ単一の標本値生成装置として構成されてもよい。その場合、第１標本値生成部１０ａと第２標本値生成部２０ａは、各種のデータを送受信可能に送受信可能に接続されてもよいし、第１標本値生成部１０ａが出力した第１標本値が一時的または永続的に記憶媒体に記憶されてもよい。第１標本値は、第２標本値生成部２０ａにより記憶媒体から読み取り可能とされてもよい。

【0029】

図１２は、第１構成例に係る情報処理方法の例を示すフローチャートである。
（ステップＳ１０２）第１分布推定部１０６は、第１機械学習モデルを用いて入力値１０２に基づいて量子化値の第１確率分布を推定する。
（ステップＳ１０４）第１標本化部１０８は、第１確率分布を用いて設定された値域から１つの量子化値を標本化し、標本化した量子化値を第１標本値として定める。
（ステップＳ１０６）第２分布推定部１１４は、第２機械学習モデルを用いて、第１標本値に基づいて第２確率分布を定める。
（ステップＳ１０８）第２標本化部１１６は、第２確率分布を用いて、設定された値域から１つの量子化値を標本化し、標本化した量子化値を第２標本値として定め、出力値１１８として出力する。その後、図１２に示す処理を終了する。

【0030】

従って、情報処理システム１ａは、入力値１０２に対する量子化値を出力値１１８として取得するための量子化器（quantizer）として機能する。また、第２標本値は、入力値１０２から得られた符号である第１標本値と対応付けられるとは限らない。即ち、情報処理システム１ａは、入力値１０２に対応する出力値１１８を非決定的（non-deterministically）に定めることができる。ここで「非決定的」とは、ある規範（standard）において、ある程度の拘束（constraint）をもって処理結果（出力結果）が得られることを表すとも言える（本願において以下同様）。
モデル学習の対象は、第１機械学習モデルと第２機械学習モデルのそれぞれパラメータセットとなる。後述するように、それぞれのパラメータセットは、値域における確率値を定めるための連続関数の実数値であるパラメータを含むため、損失関数は、これらのパラメータに対する微分が可能となる。そのため、これらのパラメータセットは、少なくとも入力値１０２と出力値１１８に基づいて定まる損失関数のもとで最適化することができる。よって、出力値１１８とする第２標本値の入力値１０２からの乖離が抑制されるので、その再現性が確保される。

【0031】

次に、第２構成例に係る情報処理システム１ｂについて説明する。以下の説明は、上記の構成例との差異点を主とする。上記の構成例と共通の機能、構成については、特に断らない限り、その説明を援用する。
図２は、第２構成例に係る情報処理システム１ｂを示す概略ブロック図である。情報処理システム１ｂは、符号化装置１０ｂと復号装置２０ｂを含んで構成される。

【0032】

符号化装置１０ｂは、複数の入力値１０２を含んで構成される入力系列（input sequence）を符号化し、符号系列(code sequence)を生成する。符号系列は、ビットストリーム（bit-stream）と呼ばれることもある。符号化装置１０ｂは、生成した符号系列を復号装置２０ｂに出力する。符号化装置１０ｂは、第１分布推定部１０６、第１標本化部１０８、およびエントロピー符号化部１１０を含んで構成される。

【0033】

第１分布推定部１０６は、入力系列をなす各1個の入力値を選択し、選択した入力値に対して量子化値の第１確率分布を推定する。個々の入力値は、その順序で入力系列から選択される。
第１標本化部１０８は、第１確率分布を用いて定めた第１標本値をエントロピー符号化部１１０に出力する。

【0034】

エントロピー符号化部１１０は、第１標本化部１０８から入力される第１標本値をその順序で集積し、所定の個数（本願では、サンプル数（number of samples）と呼ぶことがある。サンプル数は、２以上の予め設定された整数）の第１標本値を含むデータ系列（data sequence）を形成する。エントロピー符号化部１１０は、形成されたデータ系列に対して公知のエントロピー符号化（entropy encoding）を行い、符号系列を生成する。エントロピー符号化部１１０は、生成した符号系列を復号装置２０ｂに出力する。エントロピー符号化部１１０は、エントロピー符号化法として、例えば、算術符号化（arithmetic coding）、非対称数系（asymmetric numeral system）、ハフマン符号化（Huffman coding）など、いずれの方式を用いてもよい。

【0035】

復号装置２０ｂは、符号系列を復号し（復号化し）、複数の出力値１１８を含んで構成される出力系列（output sequence）を生成する。復号装置２０ｂは、エントロピー復号部１１２、第２分布推定部１１４、および第２標本化部１１６を含んで構成される。

【0036】

エントロピー復号部１１２は、エントロピー符号化部１１０から入力される符号系列に対してエントロピー復号を行い、データ系列を復元する。エントロピー復号部１１２は、エントロピー復号法として、入力される符号系列の生成に用いられたエントロピー符号化法に対応する復号法を用いればよい。エントロピー復号部１１２は、復元したデータ系列を第２分布推定部１１４に出力する。

【0037】

第２分布推定部１１４には、エントロピー復号部１１２からデータ系列が入力される。第２分布推定部１１４は、入力されたデータ系列をなす各1個の第１標本値を選択し、第２機械学習モデルを用いて、選択した第１標本値に基づいて量子化値の第２確率分布を定める。個々の第１標本値は、その順序でデータブロックから選択される。

【0038】

図１３は、第２構成例に係る情報処理方法の例を示すフローチャートである。図１４に示す処理は、図１３に示す処理に対して、さらにステップＳ１２２、Ｓ１２４の処理を有する。
ステップＳ１０２において、第１分布推定部１０６は、入力系列をなす各1個の入力値を処理対象として選択する。ステップＳ１０２、Ｓ１０４の処理が所定のサンプル数に相当する回数繰り返された後、ステップＳ１２２の処理に進む。

【0039】

（ステップＳ１２２）エントロピー符号化部１１０は、サンプル数の第１標本値が得られる順序で集積してデータ系列を形成する。エントロピー符号化部１１０は、形成したデータ系列に対してエントロピー符号化を行って符号系列を生成する。
（ステップＳ１２４）エントロピー復号部１１２は、生成された符号系列に対してエントロピー復号を行い、第１標本値を含むデータ系列を復元する。その後、ステップＳ１０６の処理に進む。
ステップＳ１０６において、第２分布推定部１１４は、復元されたデータ系列をなす1個の第１標本値を処理対象として選択する。ステップＳ１０６、Ｓ１０８の処理が所定のサンプル数に相当する回数繰り返された後、図１３に示す処理が終了する。

【0040】

従って、情報処理システム１ｂでは、非決定的な量子化がデータ圧縮に応用される。符号化装置１０ｂによれば、入力系列よりも情報量が圧縮された符号系列が得られる。復号装置２０ｂによれば、入力系列が量子化された出力系列が符号系列から再構成される。そのため、エントロピー符号化によるデータ圧縮を伴っても出力値の再現性が確保される。

【0041】

次に、第３構成例に係る情報処理システム１ｃについて説明する。以下の説明では、上記の構成例との差異点を主とする。上記の構成例と共通の機能、構成については、特に断らない限り、その説明を援用する。
図３は、第３構成例に係る情報処理システム１ｃを示す概略ブロック図である。情報処理システム１ｃは、モデル学習部３０ｃを含んで構成される。情報処理システム１ｃは、単一のモデル学習装置として実現されてもよい。

【0042】

モデル学習部３０ｃは、教師あり学習（supervised learning）を行って、第１機械学習モデルと第２機械学習モデルのそれぞれのパラメータセットを定めることができる。モデル学習部３０ｃは、既知の入力値１０２を複数個含んで構成される訓練データ（training data）を取得する。訓練データは、教師データ（supervised data）とも呼ばれる。モデル学習部３０ｃは、個々の入力値１０２に対して算出される推定値と目標値との差の大きさと、データサイズ１２４とにより定まる損失関数（loss function）が訓練データ全体として減少するように（最適化, optimization）第１機械学習モデルと第２機械学習モデルのそれぞれのパラメータセットを再帰的に（recursively）更新する（モデル学習）。本実施形態では、モデル学習部３０ｃは、個々の入力値１０２に対する目標値として、その入力値１０２を用いることができる。入力値１０２と目標値は、それぞれ説明変数（explanatory variable）と目的変数（objective variable）に相当する。

【0043】

損失関数は、入力値から算出される推定値と目標値との差の大きさを示す第１因子とデータサイズ１２４を示す第２因子を合成した関数である。第１因子は、歪（distortion）とも呼ばれる。データサイズ１２４は、入力値を標本化した第１標本値の情報量を示す。
モデル学習部３０ｃは、その値が収束するまでパラメータセットの更新を繰り返す。モデル学習部３０ｃは、例えば、更新前後の損失関数の変化量が、所定の変化量の閾値以下になったか否かに基づいて収束したか否かを判定することができる。モデル学習部３０ｃは、収束したか否かの判定を行わずに、パラメータセットの更新を予め設定された回数分繰り返してもよい。

【0044】

なお、本願では、「最適化」とは、絶対的に最適なパラメータセットを求めることに限らず、できるだけ適切なパラメータセットを探索するという意味を含む。そのため、最適化に係る処理において、損失関数が一時的に増加することもありうる。モデル学習部３０ｃには、パラメータセットの更新において、最適化を実現するための手法として勾配法（gradient method）が適用可能である。勾配法は、次の（１）－（３）のステップを繰り返す手法である。
（１）損失関数のパラメータセットに対する勾配を計算する、（２）損失関数をより低減させるようにパラメータセットの変化量を定める、（３）定めた変化量を用いてパラメータセットを更新する。
勾配法には、最急降下法（steepest descent）、確率的勾配降下法（stochastic gradient descent）、などの手法が含まれる。それぞれの手法に適合するようにパラメータセットの更新量を算出するための処理手順が変形されてもよい。なお、モデル学習部３０ｃは、教師なし学習（unsupervised learning）を行って、第１機械学習モデルと第２機械学習モデルのそれぞれのパラメータセットを定めてもよい。

【0045】

モデル学習部３０ｃは、量子化部３２ｃ、損失関数演算部３６ｃ、量子化勾配演算部３８ｃ、パラメータ更新部３９ｃ、および記憶部１２０を含んで構成される。記憶部１２０は、ＲＡＭ（Random Access Memory）などの揮発性記憶媒体（volatile memory medium）とＲＯＭ（Read-Only Memory）などの不揮発性記憶媒体（non-volatile memory medium）を含んで構成される。記憶部１２０には、モデル学習部３０ｃにおいて用いられる、もしくは、モデル学習部３０ｃで生成される各種のデータ、などを記憶する。記憶されるデータには、一連の演算の過程で算出される中間値、訓練データ、その時点において設定されたパラメータセット１０４などが含まれる。

【0046】

量子化部３２ｃは、入力値１０２を量子化し、量子化により得られる量子化値を出力値１１８として出力するとともに、第１標本値のデータサイズ１２４を推定する。
量子化部３２ｃは、第１分布推定部１０６、順方向演算部３４ｃ、およびデータサイズ推定部１２２を含んで構成される。順方向演算部３４ｃは、第１標本化部１０８、第２分布推定部１１４、および第２標本化部１１６を含んで構成する。順方向演算（forward pass calculation）とは、一連の量子化処理と共通のステップを、その順序で実行する演算、処理、または、それらの組み合わせを意味する。

【0047】

第１分布推定部１０６は、推定した第１確率分布をデータサイズ推定部１２２に出力し、記憶部１２０に記憶する。
データサイズ推定部１２２は、第１分布推定部１０６から入力された第１確率分布と量子化値ごとの事前確率に基づいて第１標本値のデータサイズ１２４の期待値として算出する。本願では、データサイズ１２４の期待値を、単に「データサイズ」または「データサイズ１２４」と呼ぶことがある。データサイズ推定部１２２にも第１分布推定部１０６、第２分布推定部１１４と同様に、量子化値ｎごとの事前分布ｐ（ｎ，ρ）を予め設定しておいてもよい。データサイズ推定部１２２は、例えば、第１確率分布ｗ（ｎ）と事前分布ｐ（ｎ，ρ）との相互エントロピー（cross entropy）－Σ_ｎｗ（ｎ）ｌｏｇ（ｐ（ｎ，ρ））をデータサイズ１２４（単位：ビット数）として算出することができる。第１確率分布ｗ（ｎ）は、上記の確率分布ｐ（ｎ｜ｚ，θ，φ）に相当する。データサイズ推定部１２２は、推定したデータサイズ１２４を記憶部１２０に記憶する。

【0048】

損失関数演算部３６ｃは、損失関数（loss function）の導関数(derivative)を勾配（gradient）として算出する。損失関数は、上記のように第１因子と第２因子とを合成した関数値を与える。第１因子は、例えば、平均二乗誤差、絶対値和、などのいずれであってもよい。第２因子は、データサイズ自体、またはデータサイズの増加に対して単調に（monotonically）増加する関数であればよい。第１因子と第２因子との合成は、第１因子の増加に伴い損失関数が単調に増加し、第２因子の増加に伴い損失関数が単調に増加する演算であればよい。第１因子と第２因子の合成は、例えば、単純和、各成分に対する予め定めた重み係数を用いた加重和などのいずれであってもよい。

【0049】

損失関数演算部３６ｃは、その時点で最新の入力値１０２、出力値１１８、およびデータサイズ１２４から予め定めた計算式に従って、損失関数の出力値１１８での偏微分（partial differential）である導関数（derivative）を出力値勾配（gradient with respect to output value）１４２として算出する。また、損失関数演算部３６ｃは、入力値１０２、出力値１１８、およびデータサイズ１２４から所定の他の計算式に従って、損失関数のデータサイズ１２４の導関数をデータサイズ勾配（gradient with respect to data size）１４４として算出する。損失関数演算部３６ｃは、算出した出力値勾配１４２とデータサイズ勾配１４４を量子化勾配演算部３８ｃに出力する。

【0050】

量子化勾配演算部３８ｃは、損失関数演算部３６ｃから入力される出力値勾配１４２とデータサイズ勾配１４４から入力値勾配１３２とパラメータ勾配１３４を算出する。量子化勾配演算部３８ｃは、逆方向演算部１３０、データサイズ勾配演算部１３６、加算部１３７、および、分布勾配演算部１３８を含んで構成される。

【0051】

逆方向演算部１３０は、損失関数演算部３６ｃから入力される出力値勾配１４２から一次第１確率分布勾配と一次パラメータ勾配を算出し、算出した一次第１確率分布勾配を加算部１３７に出力する。一次第１確率分布勾配は、第１確率分布を構成する量子化値ごとの確率で損失関数を偏微分して得られる導関数を要素として有する。「一次」等は、他のステップで算出される「パラメータ勾配」と区別するために付された語である。一次パラメータ勾配は、パラメータセット１０４を構成する個々のパラメータで損失関数を偏微分して得られる導関数を要素として有する。逆方向演算部１３０は、算出した一次パラメータ勾配をパラメータ勾配１３４の一部としてパラメータ更新部３９ｃに出力する。後述するように、逆方向演算部１３０は、出力値１１８と第１確率分布を用いて一次確率分布勾配１３４ａを算出し、算出した一次確率分布勾配１３４ａを加算部１３７に出力する。逆方向演算部１３０の構成例については、後述する。

【0052】

データサイズ勾配演算部１３６は、損失関数演算部３６ｃから入力されるデータサイズ勾配１４４から二次パラメータ勾配と二次第１確率分布勾配を逆方向演算部１３０とは別個に算出し、算出した二次第１確率分布勾配を加算部１３７に出力する。データサイズ勾配演算部１３６は、算出した二次パラメータ勾配をパラメータ勾配１３４の一部としてパラメータ更新部３９ｃに出力する。なお、第１確率分布はデータサイズ推定部１２２への入力である点で、データサイズ勾配演算部１３６での演算順序は、データサイズ推定部１２２での演算順序と逆となる。

【0053】

加算部１３７は、逆方向演算部１３０とデータサイズ勾配演算部１３６のそれぞれから入力される一次第１確率分布勾配と二次第１確率分布勾配を要素ごとに加算し、加算により得られる加算値を含む三次第１確率分布勾配を分布勾配演算部１３８に出力する。

【0054】

分布勾配演算部１３８は、加算部１３７から入力される三次第１確率分布勾配を用いて、損失関数の第１機械学習モデルのパラメータセットに対する勾配を三次パラメータ勾配として計算し、計算した三次パラメータ勾配をパラメータ勾配１３４の一部として出力する。分布勾配演算部１３８は、入力される三次第１確率分布勾配について入力値１０２に対する勾配を入力値勾配１３２として計算し、計算した入力値勾配１３２をパラメータ更新部３９ｃに出力する。

【0055】

パラメータ更新部３９ｃは、量子化勾配演算部３８ｃから入力されるパラメータ勾配１３４に基づいてパラメータセット１０４の更新量を定め、定めたパラメータの更新量をその時点におけるパラメータセット１０４に加算して新たなパラメータセット１０４を算出する。パラメータ更新部３９ｃは、一次パラメータ勾配、二次パラメータ勾配、および三次パラメータ勾配に基づいて、それぞれ対応するパラメータセットの更新量を算出することができる。

【0056】

パラメータ更新部３９ｃは、算出したパラメータセット１０４を更新後のパラメータセット１０４として記憶部１２０に記憶する。更新後のパラメータセット１０４のうち第１機械学習モデルのパラメータセットと第２機械学習モデルのパラメータセットは、それぞれ第１分布推定部１０６および第２分布推定部１１４に設定される。
なお、本構成例では、入力値勾配１３２はパラメータセット１０４の更新量の計算に用いられない。そのため、モデル学習部３０ｃにおいて入力値勾配１３２を算出するための処理または構成が省略されてもよい。

【0057】

図１４は、第３構成例に係る情報処理方法の例を示すフローチャートである。図１４に示す処理は、第１機械学習モデルと第２機械学習モデルのそれぞれのパラメータセットを算出するためのモデル学習処理である。当該処理は、図１２に示す処理に対して、さらにステップＳ１３０－Ｓ１４４の処理を有する。図１４に示す処理は、１回のパラメータセットの更新に係る処理である。モデル学習では、通例、図１４に示す処理が複数回繰り返される。

【0058】

（ステップＳ１３０）データサイズ推定部１２２は、第１確率分布と量子化値ごとの事前確率に基づいて第１標本値のデータサイズ１２４の期待値を算出する。
（ステップＳ１３２）損失関数演算部３６ｃは、最新の入力値１０２、出力値１１８、およびデータサイズ１２４から出力値勾配１４２とデータサイズ勾配１４４を算出する。

【0059】

（ステップＳ１３４）逆方向演算部１３０は、出力値勾配１４２から一次第１確率分布勾配と一次パラメータ勾配を算出する。逆方向演算部１３０は、一次パラメータ勾配をパラメータ勾配１３４の一部としてパラメータ更新部３９ｃに出力する。
（ステップＳ１３６）データサイズ勾配演算部１３６は、データサイズ勾配１４４から二次第１確率分布勾配と二次パラメータ勾配を算出する。データサイズ勾配演算部１３６は、二次パラメータ勾配をパラメータ勾配１３４の一部としてパラメータ更新部３９ｃに出力する。
（ステップＳ１３８）加算部１３７は、一次第１確率分布勾配と二次第１確率分布勾配を加算して三次第１確率分布勾配を算出する。

【0060】

（ステップＳ１４０）分布勾配演算部１３８は、第１確率分布勾配を用いて、三次パラメータ勾配と入力値勾配１３２を算出する。
（ステップＳ１４２）分布勾配演算部１３８は、三次パラメータ勾配と入力値勾配１３２をパラメータ更新部３９ｃに出力する。
（ステップＳ１４４）パラメータ更新部３９ｃは、パラメータ勾配１３４（一次－三次パラメータ勾配を含む）に基づいて、パラメータセット１０４の更新量を計算し、計算した更新量をその時点のパラメータセット１０４に加算して、当該パラメータセット１０４を更新する。モデル学習部３０ｃは、損失関数またはパラメータセット１０４の変化量が所定の閾値以下に収束するまで図１４の処理を繰り返し、その後、図１４の処理を終了する。

【0061】

なお、図１４に示す処理において、ステップＳ１０２の処理の後、ステップＳ１３０の処理が開始されうる。ステップＳ１３０の処理は、ステップＳ１０４、Ｓ１０６およびＳ１０８と並列でもよいし、ステップＳ１０８の終了後であってもよい。

【0062】

図３に戻り、逆方向演算部１３０の構成例について説明する。逆方向演算部１３０は、分布関数演算部１４８、累積密度関数勾配演算部１５０、除算部１５２、乗算部１５４、および反転部１５６を含んで構成される。

【0063】

分布関数演算部１４８は、記憶部１２０に記憶された出力値１１８と第１確率分布を読み出し、読み出した出力値１１８と第１確率分布ｗ_ｎから式（２）に示す関係を用いて出力値１１８に係る確率分布関数ｐ（ｚ’）を定める。上記のように出力値１１８は、第２標本値に相当する。

【0064】

【数2】

【0065】

式（２）において、ｚ’は、出力値１１８を示す。ｗ_ｎは、第１確率分布を示す。第１確率分布ｗ_ｎは、上記の量子化値ｎごとの確率ｐ（ｎ｜ｚ，θ，φ）に相当する。ｎは、値域内の量子化値を示す。即ち、式（２）は、予め定めた出力値ｚ’の条件付き確率ｐ（ｚ’｜ｎ，θ）の確率ｗ_ｎを重みとする加重和を確率分布関数ｐ（ｚ’）として算出できることを示す。条件付き確率ｐ（ｚ’｜ｎ，θ）は、上記の、量子化値nを与えた場合の第２確率分布に相当する。式（２）において、θは、第２分布推定部のパラメータセットを示す。
分布関数演算部１４８は、定めた確率分布関数ｐ（ｚ’）を除算部１５２に出力する。

【0066】

累積密度関数勾配演算部１５０は、記憶部１２０に記憶された出力値ｚ’と第１確率分布を読み出し、読み出した出力値ｚ’と第１確率分布ｗ_ｎから、出力値ｚ’の確率分布関数ｐ（ｚ’）の累積密度関数ＣＤＦ Ｃ（ｚ’）の確率分布勾配と、そのＣＤＦのパラメータ勾配を算出する。ＣＤＦ Ｃ（ｚ’）の確率分布勾配は、ＣＤＦ Ｃ（ｚ’）をなす累積確率を、その量子化値ｎの確率ｗ_ｎで偏微分した導関数を要素として含むベクトルである。ＣＤＦ Ｃ（ｚ’）のパラメータ勾配は、ＣＤＦ Ｃ（ｚ’）をなす累積確率のパラメータセット１０４の各パラメータで偏微分した導関数を要素として含むベクトルである。累積密度関数勾配演算部１５０は、算出したＣＤＦの確率分布勾配とＣＤＦのパラメータ勾配を、それぞれ累積密度関数確率分布勾配と累積密度関数パラメータ勾配として除算部１５２に出力する。

【0067】

除算部１５２は、累積密度関数勾配演算部１５０から入力された累積密度関数確率分布勾配の行列要素を、分布関数演算部１４８から入力される確率分布関数ｐ（ｚ’）で、除算することにより正規化された除算値を算出する。除算部１５２は、算出された除算値を要素として含む正規化累積密度関数確率分布勾配を乗算部１５４に出力する。
除算部１５２は、累積密度関数勾配演算部１５０から入力された累積密度関数パラメータ勾配のベクトル要素を、分布関数演算部１４８から入力される確率分布関数ｐ（ｚ’）で除算することにより正規化された除算値を算出する。除算部１５２は、算出された除算値を要素として含む正規化累積密度関数パラメータ勾配を乗算部１５４に出力する。

【0068】

乗算部１５４には、損失関数演算部３６ｃから出力値勾配１４２が入力され、除算部１５２から正規化累積密度関数確率分布勾配と正規化累積密度関数パラメータ勾配が入力される。乗算部１５４は、出力値勾配１４２に累積密度関数確率分布勾配を乗算して第１乗算値ベクトルを算出する。乗算部１５４は、出力値勾配１４２に累積密度関数パラメータ勾配を乗算して第２乗算値ベクトルを算出する。乗算部１５４は、算出した第１乗算値ベクトルと第２乗算値ベクトルを反転部１５６に出力する。

【0069】

反転部１５６は、乗算部１５４から入力された第１乗算値ベクトルと第２乗算値ベクトルの極性（正負，polarity）を反転し（negate）、極性を反転した第１乗算値ベクトルを一次確率分布勾配１３４ａとして加算部１３７へ出力する。一次確率分布勾配１３４ａは、累積密度関数Ｃ（ｚ’）の逆関数Ｃ（ｚ’）^－１の第１確率分布ｗ_ｎに対する勾配に相当する。反転部１５６が極性を反転した第２乗算値ベクトルは一次パラメータ勾配に相当する。反転部１５６は、一次パラメータ勾配をパラメータ勾配１３４の一部としてパラメータ更新部３９ｃに出力する。

【0070】

図１５は、逆方向演算の例を示すフローチャートである。図１５の処理の全体は、ステップＳ１３４（図１４）の処理に相当する。
（ステップＳ１５２）分布関数演算部１４８は、出力値１１８と第１確率分布から出力値１１８に係る確率分布関数、つまり、第２確率分布関数を定める。
（ステップＳ１５４）累積密度関数勾配演算部１５０は、出力値１１８と第１確率分布から出力値１１８に係る累積密度関数確率分布勾配と累積密度関数パラメータ勾配を算出する。

【0071】

（ステップＳ１５６）除算部１５２は、累積密度関数確率分布勾配と累積密度関数パラメータ勾配を確率分布関数で正規化して累積正規化密度関数確率分布勾配と正規化累積密度関数パラメータ勾配を算出する。
（ステップＳ１５８）乗算部１５４は、出力値勾配１４２に正規化密度関数確率分布勾配と正規化累積密度関数パラメータ勾配をそれぞれ乗算して第１乗算値ベクトルと第２乗算値ベクトルを算出する。
（ステップＳ１６０）反転部１５６は、第１乗算値ベクトルと第２乗算値ベクトルの極性を反転し、それぞれ確率分布勾配１３４ａ、一次パラメータ勾配として定める。その後、図１５の処理を終了する。

【0072】

ここで、逆方向演算部１３０において算出される一次確率分布勾配１３４ａ ∂Ｌ／∂ｗ_ｎについて検討する。確率分布勾配１３４ａ ∂Ｌ／∂ｗ_ｎは、式（３）に示すように、出力値勾配∂Ｌ／∂ｚ’と出力値ｚ’の確率密度ｗ_ｎの導関数∂ｚ’／∂ｗ_ｎの積となる。式（３）において、Ｌは損失関数を示す。但し、式（３）に示す一次確率分布勾配１３４ａでは、データサイズが一定であることを前提としている。

【0073】

【数3】

【0074】

パラメータ勾配１３４ ∂Ｌ／∂θは、式（４）に示すように、出力値勾配∂Ｌ／∂ｚ’と出力値ｚ’のパラメータθの導関数∂ｚ’／∂θの積となる。

【0075】

【数4】

【0076】

従って、逆方向演算部１３０によれば、出力値ｚ’の第１確率分布ｗ_ｎについての勾配（以下、「出力値確率分布勾配」）∂ｚ’／∂ｗ_ｎは、式（５）に示すように、除算部１５２において、累積密度関数確率分布勾配∂Ｃ（ｚ’）／∂ｗ_ｎを確率密度関数ｐ（ｚ’）で正規化して算出される正規化累積密度関数確率分布勾配の符号を反転して得られる。式中の「／」は割り算を表す記号である（以下、同様）。

【0077】

【数5】

【0078】

次に、パラメータセットθの更新に用いられるパラメータ勾配について検討する。本構成例では、出力値ｚ’のパラメータセットθについての勾配（以下、「出力値パラメータ勾配」）∂ｚ’／∂θは、式（６）に示すように、累積密度関数パラメータ勾配∂Ｃ（ｚ’）／∂θを確率密度関数ｐ（ｚ’）で正規化して算出される正規化累積密度関数パラメータ勾配の符号を反転して得られる。

【0079】

【数6】

【0080】

式（５）、（６）は、以下のように導出することができる。上記のように、出力値ｚ’は、入力値ｚに対して、第１分布推定部１０６、第１標本化部１０８、第２分布推定部１１４、および第２標本化部１１６の処理を経て得られる。出力値ｚ’は、式（２）に示す連続分布ｐ(z’)を用いて標本化して得られる。他方、標本化は、一様乱数を用いてなされる（uniform random sample）ため、パラメータセットθ、第１確率分布ｗ_ｎとは独立となる。ここで、標本化関数をｕ(θ, ｗ_ｎ)（Ｃ（ｚ’）に相当）と表すと、標本化関数ｕ(θ, ｗ_ｎ)のパラメータ勾配∂ｕ(θ, ｗ_ｎ)／∂θも、標本化関数ｕ(θ, ｗ_ｎ)の確率密度勾配∂ｕ(θ, ｗ_ｎ)／∂ｗ_ｎもゼロとなる。
よって、連鎖律（chain rule）によれば、式（７）に示す関係が成立する。

【0081】

【数7】

【0082】

また、式（７）において、パラメータセットθを第１確率分布ｗ_ｎに代えても、式（８）に示す関係が成立する。

【0083】

【数8】

【0084】

但し、式（７）、（８）において、Ｃ^－１（ｕ）は、累積密度関数Ｃ（ｚ’）の逆関数である。逆関数Ｃ^－１（ｕ）の値は、出力値１１８ ｚ’に相当する。そして、逆関数Ｃ^－１（ｕ）の確率分布ｗ_ｎに対する勾配∂Ｃ^－１（ｕ）／∂ｗ_ｎと、パラメータセットに対する勾配∂Ｃ^－１（ｕ）／∂θは、それぞれ出力値ｚ’の確率分布ｗ_ｎに対する勾配∂ｚ’／∂ｗ_ｎと、出力値ｚ’のパラメータセットθに対する勾配∂ｚ’／∂θに相当する。また、勾配∂Ｃ(z’)／∂ｚ’は、ｐ（ｚ’）に相当する。よって、式（７）、（８）から、式（５）、（６）をそれぞれ導くことができる。

【0085】

なお、勾配∂Ｃ^－１（ｕ）／∂ｗ_ｎ、∂Ｃ^－１（ｕ）／∂θは、それぞれ確率分布勾配、パラメータ勾配に相当する。このことは、第２分布推定部１１４にかかるパラメータθに対して損失関数が微分可能であることを示す。つまり、本構成例に係るモデル学習によれば、第２分布推定部１１４にかかるパラメータθが損失関数を基準として数理的に算出可能であることを示す。ここで、モデル学習において陽に（explicitly）Ｃ^－１（ｕ）を計算せずとも、勾配∂Ｃ^－１（ｕ）／∂ｗ_ｎ、∂Ｃ^－１（ｕ）／∂θを計算できる。そのため、本構成例によれば、簡素な演算により損失関数Ｌを基準とするモデル学習を実現することができる。

【0086】

＜第２実施形態＞
次に、第２実施形態について説明する。第４構成例に係る情報処理システム１ｄについて説明する。以下の説明は、上記の構成例との差異点を主とする。上記の構成例と共通の機能、構成については、特に断らない限り、その説明を援用する。図５は、第４構成例に係る情報処理システム１ｄを示す概略ブロック図である。情報処理システム１ｄは、データ圧縮部１０ｄとデータ再構成部２０ｄを含んで構成される。

【0087】

データ圧縮部１０ｄは、入力データ１５８で伝達される特性を示す第１特性値を解析し、第１特性値を含む１個または複数の入力値１０２のそれぞれに対して第１標本値を定める。データ再構成部２０ｄは、定められた第１標本値から第２標本値を定める。データ再構成部２０ｄは、１個または複数の定めた第２標本値を含む第２特性値が表す特性を伝達する出力データを生成する。

【0088】

入力データ１５８は、画像データ、音声データ、気象データ、などの物理的な特性を示すデータであってもよいし、経済指標データ、価格データ、などの人為的な情報を示すデータであってもよい。入力データ１５８は、複数のサンプル値を含んで構成され、圧縮してその特性が表現される特性値から不可逆に再構成されることが許容されるデータであればよい。また、伝達される特性とは、その時間的変化、空間的変化、統計的性質など、個々の入力データをなす複数サンプル全体の特徴を意味する。

【0089】

データ圧縮部１０ｄは、特性解析部１６２、第１分布推定部１０６、および第１標本化部１０８を含んで構成される。

【0090】

特性解析部１６２は、入力される入力データ１５８の特性を所定の解析モデルを用いて解析し、その特性を示す第１特性値を定める。特性解析部１６２は、定めた第１特性値を第１分布推定部１０６に出力する。入力データ１５８が、画素ごとの信号値を示す画像データである場合には、特性解析部１６２は、例えば、画像特徴量を第１特性値として解析する。解析モデルは、予め定めた種類の特性値を算出するための数理モデルであってもよいし、ニューラルネットワークなどの機械学習モデルであってもよい。解析対象とする画像特徴量は、例えば、輝度勾配、エッジ分布、などの特定の種類の画像特徴量であってもよいし、ニューラルネットワークを構成する階層（layer）のうち、所定の階層に含まれる節点（node）ごとの出力値であってもよい。本願では、特性解析部１６２が用いる機械学習モデルを、「第３機械学習モデル」と呼ぶことで、他の機械学習モデルと区別する。

【0091】

第１分布推定部１０６は、第１特性値に含まれる１個または複数の要素値について、個々の要素値を入力値とし、第１の構成例と同様に1個の入力値ごとに量子化値の第１確率分布を推定する。

【0092】

データ再構成部２０ｄは、第２分布推定部１１４、第２標本化部１１６、データ生成部１６４を含んで構成される。データ生成部１６４は、第２標本化部１１６から入力される１個または複数の第２標本値を要素として含む第２特性値に対して、所定の生成モデルを用いて第２特性値で示される特性を有する再構成データを出力データ１９０として生成する。データ生成部１６４による第２特性値から出力データ１９０の生成は、入力データ１５８から第１特性値への解析との逆処理に相当する。生成モデルは、予め定めた種類の特性値で示される特性を有するデータを生成するための数理モデルであってもよいし、ニューラルネットワークなどの機械学習モデルであってもよい。本願では、データ生成部１６４が用いる機械学習モデルを、「第４機械学習モデル」と呼ぶことで、他の機械学習モデルと区別する。

【0093】

図１６は、第４構成例に係る情報処理方法の例を示すフローチャートである。図１６に示す処理は、図１２に示す処理に対して、さらにステップＳ２０２、Ｓ２０４の処理を有する。
（ステップＳ２０２）特性解析部１６２は、入力データ１５８の特性を解析し、その特性を示す第１特性値を定める。その後、第１特性値を示す入力値の個数に相当する回数、ステップＳ１０２、Ｓ１０４、Ｓ１０６、および、Ｓ１０８の処理を繰り返し、その後、ステップＳ２０４の処理に進む。
（ステップＳ２０４）データ生成部１６４は、ステップＳ１０８の処理により定められた所定の個数の第２標本値を第２特性値として特定し、特定した第２特性値で示される特性を有する再構成データを出力データ１９０として生成する。
その後、図１６の処理を終了する。

【0094】

上記のように、情報処理システム１ａで実現される非決定的量子化が特性解析部１６２とデータ生成部１６４を備えた情報処理システム１ｄに応用される。特性解析部１６２は、入力データ１５８の特性を示す第１特性値を定める。第１特性値は、第１分布推定部１０６への入力値として用いられる。そのため、入力データ１５８の第１特性値への変換によるデータ圧縮を行いながら、入力データ１５８の特性を極力失わずに出力データ１９０が再構成される。

【0095】

次に、第５構成例に係る情報処理システム１ｅについて説明する。以下の説明は、上記の構成例との差異点を主とする。上記の構成例と共通の機能、構成については、特に断らない限り、その説明を援用する。図６は、第５構成例に係る情報処理システム１ｅを示す概略ブロック図である。情報処理システム１ｅは、符号化装置１０ｅと復号装置２０ｅを含んで構成される。

【0096】

符号化装置１０ｅは、入力データ１５８を符号化し、符号系列を生成する。符号化装置１０ｅは、生成した符号系列を復号装置２０ｅに出力する。符号化装置１０ｅは、特性解析部１６２、第１分布推定部１０６、第１標本化部１０８、およびエントロピー符号化部１１０を含んで構成される。
第１標本化部１０８は、第２構成例と同様に、第１確率分布を用いて定めた第１標本値をエントロピー符号化部１１０に出力する。
エントロピー符号化部１１０は、第２構成例と同様に、第１標本化部１０８から入力される第１標本値を集積してなるデータ系列に対してエントロピー符号化を行って符号系列を生成する。エントロピー符号化部１１０は、生成した符号系列を復号装置２０ｅに出力する。

【0097】

復号装置２０ｂは、符号系列を復号し、出力データ１９０を生成する。復号装置２０ｂは、エントロピー復号部１１２、第２分布推定部１１４、第２標本化部１１６、およびデータ生成部１６４を含んで構成される。

【0098】

エントロピー復号部１１２は、第２構成例と同様に、エントロピー符号化部１１０から入力される符号系列に対してエントロピー復号を行ってデータ系列を復元する。エントロピー復号部１１２は、復元したデータ系列を第２分布推定部１１４に出力する。
第２分布推定部１１４は、第２構成例と同様に、エントロピー復号部１１２から入力されるデータ系列をなす各１個の第１標本値に基づいて量子化値の第２確率分布を定める。

【0099】

図１７は、第５構成例に係る情報処理方法の例を示すフローチャートである。図１７に示す処理は、図１６に示す処理に対して、さらにステップＳ１２２、Ｓ１２４の処理を有する。図１７に示すステップＳ１２２、Ｓ１２４の処理は、図１３に示すステップＳ１２２、Ｓ１２４の処理とそれぞれ同様であるため、その説明を援用する。

【0100】

次に、第３機械学習モデル、第４機械学習モデルとして用いられるニューラルネットワークの例について説明する。
図１１は、ニューラルネットワークの一種であるＣＮＮ（Convolutional Neural Network）の構成例を示す。ＣＮＮは、１層の入力層（input layer）、複数の中間層（intermediate layer, hidden layer）および１層の出力層（output layer）を備える。図１１に例示されるＣＮＮは、入力層Ｉｌ、Ｌ層（Ｌは、２以上の整数）の中間層Ｍｌ－１～Ｍｌ－Ｌ、および出力層Ｏｌを備える。各層は、それぞれ所定数の節点（ノード（node））を備える。複数の中間層には少なくとも１層の畳み込み層と１層のプーリング層が含まれる。

【0101】

入力層Ｉｌの各節点は、自部に入力される入力値を次の層の少なくとも１つの節点に出力する。特性解析部１６２では、入力データ１５８を構成する個々のサンプル値が、そのサンプル値に対応する節点に入力される。データ生成部１６４では、第２特性値を構成する個々の第２標本値が、その第２標本値に対応する節点に入力される。

【0102】

出力層Ｏｌの各節点は、直前の層の少なくとも１つの節点から入力される入力値を外部に出力する。特性解析部１６２では、第１特性値を構成する個々の第１標本値が、その第１標本値に対応する節点から出力される。データ生成部１６４では、出力データ１９０を構成する個々のサンプル値が、そのサンプル値に対応する節点から出力される。

【0103】

畳み込み層（convolution layer）には、カーネル数（number of kernels）が予め設定される。カーネル数とは、それぞれ入力値に対する処理（例えば、演算）に用いるカーネルの個数に相当する。カーネル数は、通例、入力値の個数よりも少ない。カーネルとは、一度に１つの出力値を算出するための処理単位を指す。ある層において算出される出力値は、次の層への入力値として用いられる。カーネルは、フィルタとも呼ばれる。カーネルサイズ（kernel size）とは、カーネルにおける一回の処理に用いられる入力値の数を示す。カーネルサイズは、通例、２以上の整数となる。

【0104】

畳み込み層は、複数の節点のそれぞれに直前の層から入力される入力値に対してカーネルごとに畳み込み演算を行って畳み込み値（convolved value）を算出し、算出した畳み込み値とバイアス値（bias）を加算して補正値（corrected value）を算出する層である。畳み込み層は、算出した補正値に対する所定の活性化関数(activation function)の関数値を算出し、算出した出力値を次の層に出力する。なお、畳み込み層の各節点には直前の層から１個または複数の入力値が入力され、各節点における畳み込み値の算出のために、それぞれの入力値に対して独立な畳み込み係数が用いられる。畳み込み係数、バイアス値および活性化関数のパラメータは、１セットのモデルパラメータの一部となる。

【0105】

活性化関数として、例えば、正規化線形ユニット（rectified linear unit）、シグモイド関数（sigmoid function）などが利用できる。正規化線形ユニットは、所定の閾値（例えば、０）以下の入力値に対する出力値として、その閾値に定め、所定の閾値を超える入力値をそのまま出力する関数である。従って、この閾値は１セットのモデルパラメータの一部となりうる。また、畳み込み層については、直前の層の節点からの入力値の参照の要否、次の層の節点への出力値の出力の要否も、１セットのモデルパラメータの一部となりうる。

【0106】

プーリング層（pooling layer）は、直前の層の複数の節点からそれぞれ入力される入力値から１つの代表値を定め、定めた代表値を出力値として次の層に出力する節点を有する層である。代表値は、例えば、最大値、平均値、最頻値など複数の入力値を統計的に代表する値が用いられる。プーリング層にはストライド（stride）を予め設定しておく。ストライドとは、１つの節点に対して入力値を参照する直前の層の相互に隣接する節点の範囲を示す。そのため、プーリング層は、直前の層からの入力値を、より低い次元に縮約（ダウンサンプリング, down-sampling）して出力値を次の層に提供する層とみなすこともできる。

【0107】

上記のように、第５構成例では、さらにエントロピー符号化部１１０とエントロピー復号部１１２を備えた情報処理システム１ｅにおいて、非決定的量子化を実現できる。符号化装置１０ｂによれば、入力系列よりも情報量が圧縮された符号系列が得られる。復号装置２０ｂによれば、入力系列が量子化された出力系列が符号系列から再構成される。そのため、さらにデータ圧縮を伴っても入力データ１５８の特性が極力失われずに出力データ１９０が再構成される。

【0108】

次に、第６構成例に係る情報処理システム１ｆについて説明する。以下の説明では、上記の構成例との差異点を主とする。上記の構成例と共通の機能、構成については、特に断らない限り、その説明を援用する。
図７は、第６構成例に係る情報処理システム１ｆを示す概略ブロック図である。情報処理システム１ｆは、モデル学習部３０ｆを含んで構成される。

【0109】

モデル学習部３０ｆは、既知の入力データ１５８を含むデータ対を複数個含んで構成される訓練データを取得する。モデル学習部３０ｃは、個々のデータ対の入力データ１５８に対して算出される推定値である出力データ１９０と目標値である入力データ１５８との差の大きさを示す第１因子とデータサイズを示す第２因子とを合成した損失関数が訓練データ全体として減少するように第１機械学習モデルと第２機械学習モデルの他、第３機械学習モデルと第４機械学習モデルのそれぞれのパラメータセットを再帰的に更新する。

【0110】

モデル学習部３０ｆは、圧縮順方向処理部１６０、圧縮逆方向処理部１８０、パラメータ更新部３９ｆ、および記憶部１２０を含んで構成される。情報処理システム１ｆは、モデル学習部３０ｆを備える単一のモデル学習装置として実現されてもよい。

【0111】

圧縮順方向処理部１６０は、入力データ１５８に対して、その時点で設定されているパラメータセット１０４の設定のもとで機械学習モデルを用いて生成される出力データ１９０と入力データ１５８を圧縮して得られるデータ系列の情報量を定める。圧縮順方向処理部１６０は、入力データ１５８と出力データ１９０の差の大きさを示す第１因子と定めた情報量を示す第２因子に基づいて損失関数１６８を算出する（圧縮順方向処理）。

【0112】

圧縮逆方向処理部１８０は、その時点で得られたパラメータセット１０４の設定のもとでパラメータ勾配１３４を算出する（圧縮逆方向処理）。
パラメータ更新部３９ｆは、算出したパラメータ勾配１３４を用いてパラメータセット１０４を更新する（パラメータ更新）。

【0113】

モデル学習部３０ｆは、圧縮順方向処理、圧縮逆方向処理、およびパラメータ更新の処理をパラメータセット１０４が収束するまで繰り返してもよいし、所定の回数繰り返してもよい。パラメータ更新部３９ｆは、更新前後の損失関数１６８の差分の大きさが、所定の大きさの閾値になったか否かに基づいてパラメータセット１０４が収束したか否かを判定することができる。

【0114】

次に、圧縮順方向処理部１６０の構成例について説明する。図８は、圧縮順方向処理部１６０の構成例を示す概略ブロック図である。圧縮順方向処理部１６０は、特性解析部１６２、量子化部３２ｆ、データ生成部１６４、再構成残差演算部１７２、および、加重演算部１７４を含んで構成される。

【0115】

量子化部３２ｆは、量子化部３２ｃ（図３）と同様に、特性解析部１６２から入力される第１特性値に含まれる要素のそれぞれを入力値とし、個々の入力値ごとに第２標本値を定め、定めた第２標本値をデータ生成部１６４に出力する。量子化部３２ｆは、量子化部３２ｃと同様に、個々の入力値ごとに第１標本値のデータサイズの期待値を定め、定めたデータサイズの期待値を加重演算部１７４に出力する。量子化部３２ｆが実行する処理の具体例については、量子化部３２ｃの説明を援用する。

【0116】

再構成残差演算部１７２は、自部に入力される入力データ１５８とデータ生成部１６４から入力される出力データ１９０の差の大きさを示す指標値を再構成残差として算出する。本構成例では、再構成残差は、上記の第１因子に相当する。再構成残差演算部１７２は、再構成残差の指標値として、例えば、平均二乗誤差（ＭＳＥ：Mean Squared Error）を算出する。平均二乗誤差は、入力データ１５８の個々のサンプル値から出力データ１９０の対応するサンプルのサンプル値を差し引いて得られる差分の二乗値のサンプル間の平均値に相当する。再構成残差演算部１７２は、算出した再構成残差（reconstruction error）を加重演算部１７４に出力する。

【0117】

加重演算部１７４は、再構成残差演算部１７２から入力される再構成残差と量子化部３２ｆから入力されるデータサイズに基づいて損失関数１６８を算出する。加重演算部１７４は、入力データ１５８の個々のサンプル値に対応する第１標本値のデータサイズの総和をデータ系列のデータサイズとして定める。本構成例では、このデータサイズが上記の第２因子に相当する。加重演算部１７４は、再構成残差とデータ系列のデータサイズの加重和（weighted sum）を損失関数１６８として算出する。加重演算部１７４は、再構成残差とデータサイズのそれぞれに、所定の重み係数を乗じて得られた乗算値の和を損失関数１６８として算出する。加重演算部１７４は、算出した損失関数１６８を記憶部１２０に記憶する。

【0118】

次に、圧縮逆方向処理部１８０の構成例について説明する。図９は、圧縮逆方向処理部１８０の構成例を示す概略ブロック図である。圧縮逆方向処理部１８０は、特性解析勾配演算部１８２、量子化勾配演算部３８ｆ、データ生成勾配演算部１８４、再構成残差勾配演算部１８６、および、重み勾配演算部１８８を含んで構成される。

【0119】

重み勾配演算部１８８は、入力データ１５８、入力データ１５８に基づいて得られる再構成データである出力データ１９０、および第１標本値のデータサイズから、それぞれ所定の計算式を用いてデータサイズ勾配と再構成残差勾配を算出する。再構成残差勾配とは、損失関数を再構成残差で偏微分して得られる導関数である。再構成残差勾配は、入力データ１５８と出力データ１９０を用いて算出される。データサイズ勾配は、第１標本値のデータサイズの期待値を用いて算出される。重み勾配演算部１８８は、データサイズ勾配を量子化勾配演算部３８ｆに出力し、再構成残差勾配を再構成残差勾配演算部１８６に出力する。

【0120】

再構成残差勾配演算部１８６は、出力データ１９０を構成する個々のサンプル値と再構成残差との所定の関係のもとで、重み勾配演算部１８８から入力される再構成残差勾配から出力サンプル値勾配を算出する。出力サンプル値勾配は、個々のサンプル値で損失関数を偏微分して得られる導関数を要素とするベクトルである。出力サンプル値勾配は、再構成残差勾配に再構成残差をサンプル値で偏微分した導関数を乗じて算出される。再構成残差勾配演算部１８６は、算出した出力サンプル値勾配をデータ生成勾配演算部１８４に出力する。

【0121】

データ生成勾配演算部１８４は、第４機械学習モデルで規定される第２標本値と出力データ１９０を構成する個々のサンプル値との所定の関係のもとで、再構成残差勾配演算部１８６から入力される出力サンプル値勾配から第２標本値勾配を算出する。第２標本値勾配は、出力サンプル値勾配に出力データ１９０のサンプル値を第２標本値で偏微分した導関数を乗じて算出される。データ生成勾配演算部１８４は、算出した第２標本値勾配を量子化勾配演算部３８ｆに出力する。

【0122】

また、データ生成勾配演算部１８４は、第４機械学習モデルで規定される個々のパラメータと出力データ１９０を構成する個々のサンプル値との所定の関係のもとで、出力サンプル値勾配から第４パラメータ勾配を算出する。第４パラメータ勾配は、第４機械学習モデルの個々のパラメータで損失関数を偏微分して得られる導関数を要素して含むベクトルである。第４パラメータ勾配は、出力サンプル値勾配に第４機械学習モデルの個々のパラメータで偏微分して得られる導関数を乗じて算出される。データ生成勾配演算部１８４は、算出した第４パラメータ勾配を記憶部１２０に記憶する。

【0123】

量子化勾配演算部３８ｆは、重み勾配演算部１８８から入力されるデータサイズ勾配とデータ生成勾配演算部１８４から入力される第２標本値勾配に基づいて入力値勾配とパラメータ勾配を算出する。量子化勾配演算部３８ｆは、算出した入力値勾配を第１特性値勾配として特性解析勾配演算部１８２に出力する。量子化勾配演算部３８ｆが実行する処理の具体例については、量子化勾配演算部３８ｃ（図３）の説明を援用する。

【0124】

量子化勾配演算部３８ｆが算出するパラメータ勾配は、第１機械学習モデルのパラメータセットに更新に用いられる第１パラメータ勾配と、第２機械学習モデルのパラメータセットの更新に第２パラメータ勾配を含む。第１パラメータ勾配、第２パラメータ勾配は、それぞれ第１機械学習モデル、第２機械学習モデルの個々のパラメータで損失関数を偏微分して得られる導関数を要素として含むベクトルである。量子化勾配演算部３８ｆは、算出した第１パラメータ勾配と第２パラメータ勾配を記憶部１２０に記憶する。

【0125】

特性解析勾配演算部１８２は、第３機械学習モデルで規定される個々のパラメータと第１特性値との所定の関係のもとで、量子化勾配演算部３８ｆから入力される第１特性値勾配から第３パラメータ勾配を算出する。第３パラメータ勾配は、第３機械学習モデルの個々のパラメータで損失関数を偏微分して得られる導関数を要素として含むベクトルである。第３パラメータ勾配は、第１特性値勾配に、第１特性値を第３機械学習モデルの個々のパラメータで偏微分した導関数を乗じて算出される。データ生成勾配演算部１８４は、算出した第４パラメータ勾配を記憶部１２０に記憶する。

【0126】

パラメータ更新部３９ｆは、パラメータ更新において、記憶部１２０から新たに記憶された第１パラメータ勾配ないし第４パラメータ勾配を読み取り、読み取った第１パラメータ勾配ないし第４パラメータ勾配を第１機械学習モデルないし第４機械学習モデルのそれぞれのパラメータセットの更新に用いる。パラメータ更新部３９ｆは、個々の機械学習モデルのパラメータ勾配に、それぞれ所定の比例係数を乗じて、その機械学習モデルのパラメータセットの更新量を算出することができる。パラメータ更新部３９ｆは、機械学習モデルごとに算出した更新量と現時点のパラメータセットを加算して得られる新たなパラメータセットを記憶部１２０に記憶する。

【0127】

上記のように、本構成例によれば、再構成残差とデータサイズを、それぞれ第１因子と第２因子として含む損失関数に基づいて、第１機械学習モデルと第２機械学習モデルに加え、第３機械学習モデルと第４機械学習モデルのそれぞれのパラメータセットを連立して定めることができる。第３構成例と同様に第１機械学習モデルと第２機械学習モデルのそれぞれのパラメータセットに対して損失関数は微分可能である。そのため、これらのパラメータセットをモデル学習において規範とする損失関数に忠実に更新することができる。よって、第１機械学習モデルと第２機械学習モデルのそれぞれのパラメータセットに起因する誤差が回避または緩和されるため、第３機械学習モデルと第４機械学習モデルのそれぞれのパラメータセットもモデル学習において最適化することができる。従って、非決定的量子化が適用されるデータ系列のデータサイズの圧縮による低減と出力データ１９０に生ずる再構成誤差の低減を両立することができる。

【0128】

なお、上記の構成例は、その一部を変形して実現されてもよいし、組み合わせて構成されてもよい。
例えば、上記の説明では、第１機械学習モデルのモデルパラメータと第２機械学習モデルのモデルパラメータが独立である場合を主にしたが、これには限られない。第２機械学習モデルのモデルパラメータは、第１機械学習モデルのモデルパラメータと共通であってもよい。その場合には、第２機械学習モデルのモデルパラメータを更新するための処理が省略されてもよい。

【0129】

第１標本化部１０８と第２標本化部１１６には、第１標本化部１０８と第２標本化部１１６には、共通の疑似乱数生成方式を用いて乱数値を生成する生成器が備わっていればよい。それぞれの生成器には、その疑似乱数生成方式を用いて乱数を生成するための共通のパラメータ（以下、「乱数生成パラメータ」と呼ぶ）が設定されていてもよい。また、第１標本化部１０８と第２標本化部１１６が、それぞれ別個の機器において実現される場合には、乱数生成パラメータを共有するためのパラメータ交換処理（図示せず）を実行してもよい。

【0130】

パラメータ交換処理は、例えば、ステップＳ３０２－Ｓ３１０を有する。
（ステップＳ３０２）第１標本化部１０８と第２標本化部１１６の一方（以下、「一方」と呼ぶ）は、その他方（以下、「他方」と呼ぶ）に接続確認信号を送信する。
（ステップＳ３０４）他方は、一方から接続確認信号を受信するとき、その応答としてパラメータ要求信号を一方に送信する。
（ステップＳ３０６）一方は、他方からパラメータ要求信号を受信するとき、その応答として、自部に設定されている乱数生成パラメータを他方に送信する。
（ステップＳ３０８）他方は、一方から乱数生成パラメータを受信するとき、その乱数生成パラメータを自部に設定する。その後、他方は、パラメータ設定完了情報を一方に送信する。
（ステップＳ３１０）一方が、他方からパラメータ設定完了情報を受信するとき、パラメータ交換処理を終了する。

【0131】

第１標本化部１０８と第２標本化部１１６のそれぞれを実現する機器同士が通信を開始する場合、通信開始時に一方の機器から他方の機器に送信されるメッセージに、一方に設定されている乱数生成パラメータを含めてもよい。その場合、他方は、一方の機器から受信されるメッセージから乱数生成パラメータを読み取り、読み取った乱数生成パラメータを自部に設定すればよい。

【0132】

第１標本値生成部１０ａと第２標本値生成部２０ａは、それらが一体化された量子化器として構成されてもよい。
情報処理システム１ａ、１ｂ、それらの一部である第１標本値生成部１０ａ、第２標本値生成部２０ａ、符号化装置１０ｂ、復号装置２０ｂ、またはそれらの組み合わせてなる装置は、それぞれ本構成例に係るモデル学習部３０ｃを備えてもよい。
情報処理システム１ｃ、１ｄ、それらの一部であるデータ圧縮部１０ｄ、データ再構成部２０ｄ、符号化装置１０ｅ、復号装置２０ｅ、またはそれらの組み合わせてなる装置（機器）は、それぞれ本構成例に係るモデル学習部３０ｆを備えてもよい。

【0133】

なお、上記の説明では、第１機械学習モデル、第２機械学習モデルが、それぞれＧＭＭに基づく場合を主としたが、それには限られない。第１機械学習モデル、第２機械学習モデルは、実数であるパラメータを用いて連続確率密度分布を表現できる数理モデルに基づくものであればよい。第１機械学習モデル、第２機械学習モデルは、例えば、ニューラルネットワーク、などであってもよい。

【0134】

第３機械学習モデル、第４機械学習モデルが、それぞれＣＮＮである場合を例にしたが、それには限られない。第３機械学習モデル、第４機械学習モデルは、ＣＮＮ以外のニューラルネットワーク、例えば、ＲＮＮ、確率的ニューラルネットワークであってもよい。また、第３機械学習モデル、第４機械学習モデルは、ニューラルネットワーク以外の機械学習モデル、例えば、ベイジアンネットワーク、ランダムフォレスト、などであってもよい。

【0135】

（最小構成）
次に、上記の実施形態の最小構成について説明する。図１８は、本願の情報処理システム１ｘの最小構成例を示す概略ブロック図である。情報処理システム１ｘは、第１機械学習モデルを用いて入力値に対応する所定の値域における量子化値の第１確率分布を定める第１分布推定部１０６を備える。情報処理システム１ａは、第１確率分布を用いて量子化値を標本化して第１標本値を定める第１標本化部１０８を備える。情報処理システム１ｘは、第２機械学習モデルを用いて第１標本値に対応する第２確率分布を定める第２分布推定部１１４を備える。情報処理システム１ｘは、第２確率分布を用いて前記値域における量子化値を標本化して第２標本値を定める第２標本化部１１６を備える。

【0136】

図１９は、本願の符号化装置１０ｘの最小構成例を示す概略ブロック図である。符号化装置１０ｘは、機械学習モデルを用いて入力値に対応する所定の値域における量子化値の確率分布を定める分布推定部１０６を備える。符号化装置１０ｘは、確率分布を用いて量子化値を標本化して標本値を定める標本化部１０８を備える。符号化装置１０ｂは、複数個の前記標本値を含む標本値系列をエントロピー符号化して符号系列を生成するエントロピー符号化部１１０を備える。分布推定部１０６と標本化部１０８は、それぞれ第１分布推定部１０６と第１標本化部１０８と同様の構成を有する。

【0137】

図２０は、本願の復号装置２０ｘの最小構成例を示す概略ブロック図である。復号装置２０ｘは、符号系列をエントロピー復号して複数個の標本値を含む標本値系列を生成するエントロピー復号部１１２を備える。復号装置２０ｘは、機械学習モデルを用いて標本値に対応する確率分布を定める分布推定部１１４を備える。復号装置２０ｘは、確率分布を用いて所定の値域における量子化値を標本化して標本値を定める標本化部１１６を備える。分布推定部１１４と標本化部１１６は、それぞれ第２分布推定部１１４と第２標本化部１１６と同様の構成を備える。

【0138】

図２１は、本願のモデル学習装置３０ｘの最小構成例を示す概略ブロック図である。モデル学習装置３０ｘは、第１標本値の情報量に基づく第１因子と、入力値と第２標本値の差に基づく第２因子と、を合成した損失関数がより小さくなるように第１機械学習モデルのパラメータと第２機械学習モデルのパラメータを定めるモデル学習部３０ｃを備える。第１標本値は、第１確率分布を用いて所定の値域における量子化値を標本化して定まる。第２標本値は、第２確率分布を用いて前記値域における量子化値を標本化して定まり、第１機械学習モデルは、入力値に対応する所定の値域における量子化値の第１確率分布を定めるために用いられ、第２機械学習モデルは、第１標本値に対応する第２確率分布を定めるために用いられる。

【0139】

これらの構成によれば、入力値１０２に対応する出力値１１８を非決定的に定めることができる。第１機械学習モデルと第２機械学習モデルのそれぞれのパラメータセットは、入力値に対応する量子化値の第１確率分布や、第１標本値に対応する第２確率分布を定義する連続関数のパラメータであるとともに実数値であるため、出力値で微分可能となる。そのため、所定の損失関数のもとで、これらのパラメータセットを最適化することができる。よって、出力値の入力値からの乖離が抑制されるので、その再現性が確保される。

【0140】

なお、上記の各態様の機器（装置）は、専用の部材を含むハードウェアで実現されてもよいし、汎用の部材を含むコンピュータとして構成されてもよい。図１０に例示されるコンピュータ５０は、プロセッサ５２、ドライブ部５６、入出力部５８、ＲＯＭ６２、およびＲＡＭ６４を含んで構成される。

【0141】

プロセッサ５２は、個々の機器の機能を発揮させるための処理や、その機器を構成する各部の機能を制御する。プロセッサ５２は、例えば、ＣＰＵ（Central Processing Unit）である。
ドライブ部５６は、記憶媒体５４を着脱可能とし、記憶媒体５４に記憶されている各種のデータを読み取り、または、各種のデータを記憶媒体５４に記憶する。ドライブ部５６は、例えば、半導体ドライブ（ＳＳＤ：solid state drive）である。記憶媒体５４は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリなどの記憶媒体である。

【0142】

入出力部５８は、他の機器との間で無線または有線で各種のデータを入力または出力する。入出力部５８は、他の機器と通信ネットワークを経由して、各種のデータを入出力可能に接続してもよい。入出力部５８は、例えば、入出力インタフェース、通信インタフェースなどのいずれか、または、それらの組合せのいずれであってもよい。

【0143】

ＲＯＭ（Read Only Memory）６２は、個々の機器の各部が実行する各種の処理を指示する命令が記述されたプログラム、その実行のためのパラメータなどの各種のデータ、各部により取得された各種のデータを永続的に記憶する記憶媒体である。なお、本願では、プログラムに記述された命令で指示される処理を実行することを、「プログラムを実行する」、「プログラムの実行」などと呼ぶことがある。
ＲＡＭ６４は、主にプロセッサ５２の作業領域として用いられる記憶媒体である。プロセッサ５２は、その起動に応じてＲＯＭ６２に記憶されたプログラムとパラメータをＲＡＭ６４に記録する。そして、プロセッサ５２は、その実行により得られた演算結果、取得したデータなどをＲＡＭ６４に一時的に記録する。

【0144】

なお、上記の機器は、それぞれ、その内部にコンピュータシステムを備えてもよい。例えば、上記のプロセッサ５２は、コンピュータシステムの構成要素となりうる。上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記憶媒体に記憶され、このプログラムをコンピュータが読み出して実行することによって、それらの処理が行われる。コンピュータシステムは、ＯＳ（Operation System）、デバイスドライバ、ユーティリティプログラムなどのソフトウェアや周辺機器等のハードウェアを含むものとする。図１０に示すハードウェアは、かかるハードウェアの例示である。また、「コンピュータ読み取り可能な記憶媒体」とは、磁気ディスク、光磁気ディスク、ＲＯＭ、ＲＡＭ、半導体メモリ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに、コンピュータ読み取り可能な記憶媒体、とは、インターネット等のネットワークや電話回線等の通信回線を用いてプログラムを送信する場合に用いる通信線など、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリなど、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【0145】

また、上記の機器の一部、または全部を、ＬＳＩ（Large Scale Integration）等の集積回路として実現してもよい。上記の機器の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

【0146】

なお、上記の実施形態は、次に示すように実現されてもよい。
（付記１）第１機械学習モデルを用いて入力値に対応する所定の値域における量子化値の第１確率分布を定める第１分布推定手段と、前記第１確率分布を用いて前記量子化値を標本化して第１標本値を定める第１標本化手段と、第２機械学習モデルを用いて前記第１標本値に対応する第２確率分布を定める第２分布推定手段と、前記第２確率分布を用いて前記値域における量子化値を標本化して第２標本値を定める第２標本化手段と、を備える情報処理システム。

【0147】

（付記２）付記１の情報処理システムであって、複数個の前記第１標本値を含む第１標本値系列をエントロピー符号化して符号系列を生成するエントロピー符号化手段と、前記符号系列をエントロピー復号して複数個の前記第２標本値を含む第２標本値系列を生成するエントロピー復号手段と、を備える。

【0148】

（付記３）付記１または付記２の情報処理システムであって、前記第１標本化手段は、前記第１確率分布で示される確率に従い、第１疑似乱数を用いて、前記値域のいずれかの量子化値を、前記第１標本値として定め、前記第２標本化手段は、前記第２確率分布で示される確率に従い、第２疑似乱数を用いて、前記値域のいずれかの量子化値を、前記第２標本値として定める。

【0149】

（付記４）付記１から付記３のいずれかの情報処理システムであって、前記第１確率分布に基づく前記第１標本値の情報量に基づく第１因子と、前記入力値と前記第２標本値の差に基づく第２因子と、を合成した損失関数がより小さくなるように前記第１機械学習モデルのパラメータセットと、前記第２機械学習モデルのパラメータセットとを定めるモデル学習手段、を備える。

【0150】

（付記５）付記１から付記４のいずれかの情報処理システムであって、前記第１機械学習モデルは、前記第１確率分布として、前記量子化値ごとに、当該量子化値の事前確率である第１事前確率と当該量子化値を条件とする前記入力値の条件付き確率である第１条件付き確率との積を正規化した確率を含む確率分布を定め、前記第２機械学習モデルは、前記第２確率分布として、前記量子化値ごとに、当該量子化値の事前確率である第２事前確率と当該量子化値を条件とする前記第１標本値の条件付き確率である第２条件付き確率との積を正規化した確率を含む確率分布を定め、前記第１事前確率、前記第１条件付き確率、前記第２事前確率、および前記第２条件付き確率は、それぞれ連続確率密度関数で表される。

【0151】

（付記６）付記１から付記５のいずれかの情報処理システムであって、第３機械学習モデルを用いて入力データを解析して前記入力データで伝達される特性を表す第１特性値を定める特性解析手段と、第４機械学習モデルを用いて第２特性値が表す特性を伝達する出力データを生成するデータ生成手段と、を備え、前記第１特性値は１以上の前記入力値を含み、前記第２特性値は１以上の前記第２標本値を含む。

【0152】

（付記７）付記６の情報処理システムであって、前記第１確率分布に基づく前記第１標本値の情報量に基づく第１因子と、前記入力値と前記第２標本値の差に基づく第２因子と、を合成した損失関数値がより小さくなるように前記第１機械学習モデルのパラメータセットと、前記第２機械学習モデルのパラメータセットと、前記第３機械学習モデルのパラメータセットと、前記第４機械学習モデルのパラメータセットを定めるモデル学習手段を備える。

【0153】

（付記８）付記６または付記７の情報処理システムであって、前記第３機械学習モデルと前記第４機械学習モデルは、それぞれニューラルネットワークである。

【0154】

（付記９）機械学習モデルを用いて入力値に対応する所定の値域における量子化値の確率分布を定める分布推定手段と、前記確率分布を用いて前記量子化値を標本化して標本値を定める標本化手段と、複数個の前記標本値を含む標本値系列をエントロピー符号化して符号系列を生成するエントロピー符号化手段と、を備える符号化装置。

【0155】

（付記１０）符号系列をエントロピー復号して複数個の標本値を含む標本値系列を生成するエントロピー復号手段と、機械学習モデルを用いて前記標本値に対応する確率分布を定める分布推定手段と、前記確率分布を用いて所定の値域における量子化値を標本化して標本値を定める標本化手段と、を備える復号装置。

【0156】

（付記１１）第１標本値の情報量に基づく第１因子と、入力値と第２標本値の差に基づく第２因子と、を合成した損失関数がより小さくなるように第１機械学習モデルのパラメータと第２機械学習モデルのパラメータを定めるモデル学習手段を備え、前記第１標本値は、第１確率分布を用いて所定の値域における量子化値を標本化して定まり、前記第２標本値は、第２確率分布を用いて前記値域における量子化値を標本化して定まり、前記第１機械学習モデルは、前記入力値に対応する所定の値域における量子化値の前記第１確率分布を定めるために用いられ、前記第２機械学習モデルは、前記第１標本値に対応する前記第２確率分布を定めるために用いられるモデル学習装置。

【0157】

（付記１２）
コンピュータに、付記１から付記８のいずれかの情報処理システム、または付記９から付記１１のいずれかの装置として機能させるためのプログラムを記憶した記憶媒体。

【0158】

（付記１３）
情報処理システムにおける情報処理方法であって、第１機械学習モデルを用いて入力値に対応する所定の値域における量子化値の第１確率分布を定める第１分布推定ステップと、前記第１確率分布を用いて前記量子化値を標本化して第１標本値を定める第１標本化ステップと、第２機械学習モデルを用いて前記第１標本値に対応する第２確率分布を定める第２分布推定ステップと、前記第２確率分布を用いて前記値域における量子化値を標本化して第２標本値を定める第２標本化ステップと、を有する情報処理方法。

【0159】

（付記１４）符号化装置における符号化方法であって、機械学習モデルを用いて入力値に対応する所定の値域における量子化値の確率分布を定める第１ステップと、前記確率分布を用いて前記量子化値を標本化して標本値を定める第２ステップと、複数個の前記標本値を含む標本値系列をエントロピー符号化して符号系列を生成する第３ステップと、を有する符号化方法。

【0160】

（付記１５）復号装置における復号方法であって、符号系列をエントロピー復号して複数個の標本値を含む標本値系列を生成する第１ステップと、機械学習モデルを用いて前記標本値に対応する確率分布を定める第２ステップと、前記確率分布を用いて所定の値域における量子化値を標本化して標本値を定める第３ステップと、を有する復号方法。

【0161】

（付記１６）モデル学習装置におけるモデル学習方法であって、第１標本値の情報量に基づく第１因子と、入力値と第２標本値の差に基づく第２因子と、を合成した損失関数がより小さくなるように第１機械学習モデルのパラメータセットと第２機械学習モデルのパラメータセットを定めるステップを有し、前記第１標本値は、第１確率分布を用いて所定の値域における量子化値を標本化して定まり、前記第２標本値は、第２確率分布を用いて前記値域における量子化値を標本化して定まり、前記第１機械学習モデルは、前記入力値に対応する所定の値域における量子化値の前記第１確率分布を定めるために用いられ、前記第２機械学習モデルは、前記第１標本値に対応する前記第２確率分布を定めるために用いられるモデル学習方法。

【0162】

以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態及びその変形例に限定されることはない。本発明の主旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。
また、本発明は前述した説明によって限定されることはなく、添付の特許請求の範囲によってのみ限定される。

【産業上の利用可能性】

【0163】

上記各態様の情報処理システム、符号化装置、復号装置、モデル学習装置、符号化方法、復号方法、モデル学習方法、およびプログラムによれば、入力値に対応する出力値を非決定的に定めることができる。第１機械学習モデルと第２機械学習モデルのそれぞれのパラメータセットは、入力値に対応する量子化値の第１確率分布や、第１標本値に対応する第２確率分布を定義する連続関数のパラメータであるとともに実数値であるため、出力値で微分可能となる。そのため、所定の損失関数のもとで、これらのパラメータセット最適化することができる。よって、出力値の入力値からの乖離が抑制されるので、その再現性が確保される。

【符号の説明】

【0164】

１ａ、１ｂ、１ｃ、１ｄ、１ｅ、１ｆ、１ｘ…情報処理システム、１０ａ…第１標本値生成部（第１標本値生成手段）、１０ｂ、１０ｅ、１０ｘ…符号化装置、１０ｄ…データ圧縮部（データ圧縮手段）、２０ａ…第２標本値生成部（第２標本値生成手段）、２０ｂ、２０ｅ、２０ｘ…復号装置、２０ｄ…データ再構成部（データ再構成手段）、３０ｃ、３０ｆ…モデル学習部（モデル学習手段）、３０ｘ…モデル学習装置、３２ｃ…量子化部（量子化手段）、３６ｃ…損失関数演算部（損失関数演算手段）、３８ｃ、３８ｆ…量子化勾配演算部（量子化勾配演算手段）、３９ｃ、３９ｆ…パラメータ更新部（パラメータ更新手段）、５２…プロセッサ、５４…記憶媒体、５６…ドライブ部、５８…入出力部、６２…ＲＯＭ、６４…ＲＡＭ、１０６…第１分布推定部、１０８…第１標本化部（第１標本化手段）、１１０…エントロピー符号化部（エントロピー符号化手段）、１１２…エントロピー復号部（エントロピー復号手段）、１１４…第２分布推定部（第２分布推定手段）、１１６…第２標本化部（第２標本化手段）、１２０…記憶部（記憶手段）、１２２…データサイズ推定部（データサイズ推定手段）、１３０…逆方向演算部（逆方向演算手段）、１３６…データサイズ勾配演算部（データサイズ勾配演算手段）、１３７…加算部（加算手段）、１３８…分布勾配演算部（分布勾配演算手段）、１４８…分布関数演算部（分散関数演算手段）、１５０…累積密度関数勾配演算部（累積密度関数勾配演算手段）、１６０…圧縮順方向処理部（圧縮順方向処理手段）、１６２…特性解析部（特性解析手段）、１６４…データ生成部（データ生成手段）、１７２…再構成残差演算部（再構成残差演算手段）、１７４…加重演算部（加重演算手段）、１８０…圧縮逆方向処理部（圧縮逆方向処理手段）、１８２…特性解析勾配演算部（特性解析勾配演算手段）、１８４…データ生成勾配演算部（データ生成勾配演算手段）、１８６…再構成残差勾配演算部（再構成残差勾配演算手段）、１８８…重み勾配演算部（重み勾配演算手段）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】