7587187 符号化復号装置、符号化復号方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-12

(45)【発行日】2024-11-20

(54)【発明の名称】符号化復号装置、符号化復号方法及びプログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20241113BHJP

   G06N 3/0455 20230101ALI20241113BHJP

【ＦＩ】

G06N20/00

G06N3/0455

【請求項の数】 6

(21)【出願番号】P 2023520630

(86)(22)【出願日】2021-05-11

(86)【国際出願番号】 JP2021017893

(87)【国際公開番号】W WO2022239114

(87)【国際公開日】2022-11-17

【審査請求日】2023-08-25

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】110001634

【氏名又は名称】弁理士法人志賀国際特許事務所

(72)【発明者】

【氏名】工藤 忍

(72)【発明者】

【氏名】谷田 隆一

(72)【発明者】

【氏名】木全 英明

【審査官】渡辺 順哉

(56)【参考文献】

【文献】国際公開第２０２０／２３０１８８（ＷＯ，Ａ１）

【文献】特開２０２０－１４９３１１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

(57)【特許請求の範囲】

【請求項1】

入力データを符号化特徴ベクトルに変換する符号化部と、
前記符号化特徴ベクトルの要素である符号化特徴ごとの量子化精度を、符号化符号量に応じて導出する量子化精度導出部と、
前記符号化特徴ベクトルに対して量子化処理を前記量子化精度に基づいて実行することによって、前記符号化符号量を目標とする量子化符号量のサイズの量子化符号化特徴ベクトルを生成する量子化部と、
前記量子化符号化特徴ベクトルに対して二値化処理を実行することによって、符号化データを生成する二値化部と、
前記符号化データに応じた所定データに対して復号処理を実行する復号部と、
復号符号量のサイズの二値化データを前記符号化データから抽出し、抽出された前記二値化データの形式を前記量子化符号化特徴ベクトルの形式に前記量子化精度に基づいて整形することによって、整形復号用データを生成する抽出整形部と、
前記整形復号用データに対して逆二値化処理を実行することによって、逆二値化復号用データを生成する逆二値化部と
を備え、
前記復号部は、前記逆二値化復号用データに対して前記復号処理を前記復号符号量に基づいて実行することによって、前記逆二値化復号用データを復号データに変換する、
符号化復号装置。

【請求項2】

前記入力データに対する前記復号データの誤差である再構成誤差を導出する再構成誤差導出部と、
前記符号化符号量と前記量子化精度の総和である前記量子化符号量との差である符号量誤差を導出し、前記再構成誤差と前記符号量誤差とに基づいて目的関数を導出し、前記入力データを前記符号化特徴ベクトルに変換する符号化処理に用いられるパラメータと前記復号処理に用いられるパラメータと前記量子化精度の導出に用いられるパラメータとのうちの少なくとも一つを、前記目的関数に基づいて更新する最適化部とを更に備える、
請求項１に記載の符号化復号装置。

【請求項3】

前記二値化部は、前記量子化精度の範囲外の二値化データを、前記符号化データから削除し、
前記抽出整形部は、前記符号化データから削除された二値化データを、前記整形復号用データにおいて前記量子化精度に基づいて所定値で補完する、
請求項１又は請求項２に記載の符号化復号装置。

【請求項4】

前記抽出整形部は、前記量子化精度の範囲内の二値化データを、抽出された前記二値化データから取得し、前記量子化精度の範囲内の二値化データの形式を整形することによって、前記整形復号用データを生成する、
請求項１又は請求項２に記載の符号化復号装置。

【請求項5】

符号化復号装置が実行する符号化復号方法であって、
入力データを符号化特徴ベクトルに変換する符号化ステップと、
前記符号化特徴ベクトルの要素である符号化特徴ごとの量子化精度を、符号化符号量に応じて導出する量子化精度導出ステップと、
前記符号化特徴ベクトルに対して量子化処理を前記量子化精度に基づいて実行することによって、前記符号化符号量を目標とする量子化符号量のサイズの量子化符号化特徴ベクトルを生成する量子化ステップと、
前記量子化符号化特徴ベクトルに対して二値化処理を実行することによって、符号化データを生成する二値化ステップと、
前記符号化データに応じた所定データに対して復号処理を実行する復号ステップと、
復号符号量のサイズの二値化データを前記符号化データから抽出し、抽出された前記二値化データの形式を前記量子化符号化特徴ベクトルの形式に前記量子化精度に基づいて整形することによって、整形復号用データを生成する抽出整形ステップと、
前記整形復号用データに対して逆二値化処理を実行することによって、逆二値化復号用データを生成する逆二値化ステップと
を含み、
前記復号ステップは、前記逆二値化復号用データに対して前記復号処理を前記復号符号量に基づいて実行することによって、前記逆二値化復号用データを復号データに変換することを含む、
符号化復号方法。

【請求項6】

請求項１から請求項４のいずれか一項に記載の符号化復号装置としてコンピュータを機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、符号化復号装置、符号化復号方法及びプログラムに関する。

【背景技術】

【0002】

機械学習されたニューラルネットワークを用いて入力データを圧縮する装置（符号化復号装置）が知られている（非特許文献１参照）。図８は、符号化復号装置１０の構成例を示す図である。符号化復号装置１０は、符号化部１１と、量子化部１２と、二値化部１３と、復号部１４とを、ニューラルネットワークを用いるオートエンコーダの各機能部として備える。

【0003】

符号化部１１は、入力データを、Ｎ個（Ｎは１以上の整数）の符号化特徴を要素とするベクトル（以下「符号化特徴ベクトル」という。）に変換する。量子化部１２は、量子化精度を要素とするベクトル（以下「量子化精度ベクトル」という。）に基づいて、符号化特徴ベクトルに対して量子化処理を実行する。ここで、符号化特徴（符号化特徴ベクトルの要素）ごとに、固定の量子化精度が定められている。

【0004】

二値化部１３は、量子化された符号化特徴ベクトル（以下「量子化符号化特徴ベクトル」という。）に対して二値化処理を実行することによって、二値化された量子化符号化特徴ベクトル（以下「符号化データ」という。）を生成する。復号部１４は、符号化データに対して復号処理を実行することによって、復号データを生成する。

【先行技術文献】

【非特許文献】

【0005】

【文献】Eirikur Agustsson, et al. ,"Generative Adversarial Networks for Extreme Learned Image Compression," ICCV2019.

【発明の概要】

【発明が解決しようとする課題】

【0006】

符号化復号装置は、所定符号量のサイズの符号化データを生成する。この所定符号量とは、符号化特徴の個数「Ｎ」と量子化精度との乗算結果の符号量である。しかしながら、このような符号化復号装置では、入力データを符号化データから復元する精度を向上させることができないという問題がある。

【0007】

上記事情に鑑み、本発明は、入力データを符号化データから復元する精度を向上させることが可能である符号化復号装置、符号化復号方法及びプログラムを提供することを目的としている。

【課題を解決するための手段】

【0008】

本発明の一態様は、入力データを符号化特徴ベクトルに変換する符号化部と、前記符号化特徴ベクトルの要素である符号化特徴ごとの量子化精度を、符号化符号量に応じて導出する量子化精度導出部と、前記符号化特徴ベクトルに対して量子化処理を前記量子化精度に基づいて実行することによって、前記符号化符号量を目標とする量子化符号量のサイズの量子化符号化特徴ベクトルを生成する量子化部と、前記量子化符号化特徴ベクトルに対して二値化処理を実行することによって、符号化データを生成する二値化部と、前記符号化データに応じた所定データに対して復号処理を実行する復号部とを備える符号化復号装置である。

【0009】

本発明の一態様は、符号化復号装置が実行する符号化復号方法であって、入力データを符号化特徴ベクトルに変換する符号化ステップと、前記符号化特徴ベクトルの要素である符号化特徴ごとの量子化精度を、符号化符号量に応じて導出する量子化精度導出ステップと、前記符号化特徴ベクトルに対して量子化処理を前記量子化精度に基づいて実行することによって、前記符号化符号量を目標とする量子化符号量のサイズの量子化符号化特徴ベクトルを生成する量子化ステップと、前記量子化符号化特徴ベクトルに対して二値化処理を実行することによって、符号化データを生成する二値化ステップと、前記符号化データに応じた所定データに対して復号処理を実行する復号ステップとを含む符号化復号方法である。

【0010】

本発明の一態様は、上記の符号化復号装置としてコンピュータを機能させるためのプログラムである。

【発明の効果】

【0011】

本発明により、入力データを符号化データから復元する精度を向上させることが可能である。

【図面の簡単な説明】

【0012】

【図1】第１実施形態における、符号化復号装置の構成例を示す図である。

【図2】第１実施形態における、符号化復号装置の動作例を示すフローチャートである。

【図3】第１実施形態における、圧縮率とピーク信号対雑音比との関係例を示す図である。

【図4】第１実施形態における、レート制御の例を示す図である。

【図5】第２実施形態における、符号化復号装置の構成例を示す図である。

【図6】第２実施形態における、スケーラブル復号の例を示す図である。

【図7】各実施形態における、符号化復号装置のハードウェア構成例を示す図である。

【図8】符号化復号装置の構成例を示す図である。

【発明を実施するための形態】

【0013】

本発明の実施形態について、図面を参照して詳細に説明する。
（第１実施形態）
図１は、符号化復号装置１ａの構成例を示す図である。符号化復号装置１ａは、入力データに対して符号化処理（データ圧縮処理）を実行し、符号化データに対して復号処理を実行するシステムである。

【0014】

符号化復号装置１ａは、オートエンコーダ２と、学習装置３とを備える。オートエンコーダ２は、符号化部２０と、量子化部２１と、二値化部２２と、抽出整形部２３ａと、逆二値化部２４と、復号部２５とを備える。学習装置３は、再構成誤差導出部３０と、量子化精度導出部３１と、符号量導出部３２と、符号量誤差導出部３３と、最適化部３４とを備える。

【0015】

まず、オートエンコーダ２の概要を説明する。
符号化部２０は、符号化処理を実行するためのニューラルネットワーク（以下「符号化ニューラルネットワーク」という。）を有する。復号部２５は、復号処理を実行するためのニューラルネットワーク（以下「復号ニューラルネットワーク」という。）を有する。量子化精度導出部３１は、量子化精度ベクトルを導出するためのニューラルネットワーク（以下「量子化ニューラルネットワーク」という。）を有する。符号化ニューラルネットワークと復号ニューラルネットワークと量子化ニューラルネットワークとのそれぞれは、学習対象（最適化対象）のニューラルネットワークである。

【0016】

オートエンコーダ２は、符号化ニューラルネットワークを用いる符号化処理（データ圧縮処理）を入力データに対して実行することによって、入力データを符号化特徴ベクトルに変換する。

【0017】

以下では、符号化特徴ベクトルの要素（符号化特徴）ごとに、量子化精度ベクトルの要素（量子化精度）が対応付けられている。量子化精度は、１個以上の符号化特徴の符号量（以下「符号化符号量」という。）（圧縮率）に応じて、学習装置３によって適応的に更新される。

【0018】

オートエンコーダ２は、量子化精度ベクトルに基づいて、符号化特徴ベクトルに対して量子化処理を実行する。オートエンコーダ２は、量子化処理によって、符号化特徴ベクトルを量子化符号化特徴ベクトルに変換する。オートエンコーダ２は、量子化符号化特徴ベクトルに対して二値化処理を実行することによって、符号化データを生成する。二値化処理において、オートエンコーダ２は、量子化精度の範囲外の二値化データを、符号化データから削除する。

【0019】

以下、符号化データから抽出される二値化データの符号量を「復号符号量」という。第１実施形態では、符号化符号量と復号符号量とは等しい。オートエンコーダ２は、復号符号量のサイズの二値化データを、符号化データから抽出する。オートエンコーダ２は、復号符号量のサイズの二値化データに対して整形処理を実行する。ここで、オートエンコーダ２は、抽出された二値化データの形式を量子化符号化特徴ベクトルの形式に整形することによって、整形された形式の復号用データ（整形復号用データ）を生成する。ここで、オートエンコーダ２は、符号化データから削除された二値化データを、整形された形式の復号用データにおいて所定値（例えば、０）で補完する。

【0020】

オートエンコーダ２は、整形された形式の復号用データに対して逆二値化処理を実行することによって、逆二値化復号用データを生成する。オートエンコーダ２は、復号ニューラルネットワークを用いる復号処理を逆二値化復号用データに対して実行することによって、復号データを生成する。

【0021】

次に、オートエンコーダ２の詳細を説明する。
符号化部２０は、符号化符号量と入力データとを、例えば情報処理装置（不図示）から取得する。符号化部２０は、入力データを、符号化符号量に基づいて、符号化特徴ベクトルに変換する。量子化部２１は、符号化符号量を目標とする量子化符号量のサイズの量子化符号化特徴ベクトルとして、シグモイド関数と量子化精度ベクトルとを用いる整数丸め処理の結果を、符号化特徴ベクトルの要素ごとに導出する。量子化符号量は、量子化精度ベクトルにおける要素の総和である。二値化部２２は、量子化精度ベクトルに基づいて、量子化符号化特徴ベクトルに対して二値化処理を実行することによって、符号化データを生成する。ここで、二値化部２２は、量子化精度の範囲外の二値化データを量子化精度ベクトルから削除することによって、符号化データを生成する。

【0022】

抽出整形部２３ａは、復号符号量のサイズの二値化データを、取得された符号化データから抽出する。抽出整形部２３ａは、量子化精度ベクトルに基づいて、取得された符号化データから抽出された二値化データの形式を、量子化符号化特徴ベクトルの形式に整形する。ここで、抽出整形部２３ａは、量子化精度の範囲外の二値化データを、復号用データにおいて量子化精度に基づいて所定値で補完する。これによって、抽出整形部２３ａは、整形された形式の復号用データを生成する。

【0023】

逆二値化部２４は、整形された形式の復号用データに対して逆二値化処理を実行することによって、逆二値化復号用データを生成する。復号部２５は、逆二値化復号用データに対して、復号符号量に基づいて復号処理を実行する。これによって、復号部２５は、逆二値化復号用データを復号データに変換する。

【0024】

次に、学習装置３の概要を説明する。
学習装置３は、学習処理（機械学習）を実行する装置である。学習装置３は、入力データと復号データとの間の差分（ベクトル間の距離）を導出する。入力データと復号データとの間の差分は、例えば、平均二乗誤差を用いて表される。学習装置３は、量子化精度ベクトルにおける要素の総和である量子化符号量と符号化符号量（圧縮率）との差分を導出する。学習装置３は、各差分に基づいて、目的関数を生成する。

【0025】

学習装置３は、入力データと復号データとの間の差分が小さくなるように（目的関数の値が小さくなるように）、符号化部２０の符号化ニューラルネットワークのパラメータと、復号部２５の復号ニューラルネットワークのパラメータと、量子化精度導出部３１の量子化ニューラルネットワークのパラメータとのうちの少なくとも一つを更新する。このようにして、学習装置３は、量子化精度ベクトルの要素（量子化精度）を、符号化符号量に応じて適応的に更新する。

【0026】

学習装置３（最適化装置）は、符号化ニューラルネットワークの更新後のパラメータを、符号化部２０に出力する。学習装置３は、復号ニューラルネットワークの更新後のパラメータを、復号部２５に出力する。学習装置３は、量子化ニューラルネットワークの更新後のパラメータを、量子化精度導出部３１に出力する。

【0027】

次に、学習装置３の詳細を説明する。
再構成誤差導出部３０は、入力データに対する復号データの誤差である再構成誤差を導出する。量子化精度導出部３１は、符号化符号量に応じて量子化精度ベクトルを導出する。ここで、量子化精度導出部３１は、符号化符号量に対して量子化ニューラルネットワークを用いて、量子化精度ベクトルを導出する。量子化ニューラルネットワークのパラメータは、最適化部３４によって更新される。

【0028】

符号量導出部３２は、量子化精度ベクトルにおける「Ｎ」個の要素の総和である量子化符号量［ｂｉｔ］を導出する。符号量誤差導出部３３は、符号化符号量に対する量子化符号量の誤差である符号量誤差（符号化符号量と量子化符号量との差）を導出する。

【0029】

最適化部３４は、再構成誤差と符号量誤差とに基づいて、目的関数を導出する。最適化部３４は、目的関数に対して最適化処理を実行する。最適化部３４は、最小化された目的関数に対して例えば誤差逆伝播法を実行することによって、符号化部２０の符号化ニューラルネットワークのパラメータと、復号部２５の復号ニューラルネットワークのパラメータと、量子化精度導出部３１の量子化ニューラルネットワークのパラメータとのうちの少なくとも一つを更新する。

【0030】

次に、符号化復号装置１ａの動作例を説明する。
図２は、符号化復号装置１ａの動作例を示すフローチャートである。符号化部２０は、符号化符号量「Ｒ_ｅｎｃ」と入力データ「ｘ」とを、例えば情報処理装置（不図示）から取得する。符号化部２０は、入力データ「ｘ」を、符号化特徴ベクトル「ｚ＝［ｚ_１，…，ｚ_Ｎ］」に変換する。符号化特徴「ｚ_ｎ」の値は、符号化対象の特徴量を表す（ステップＳ１０１）。

【0031】

量子化精度導出部３１は、符号化符号量「Ｒ_ｅｎｃ」を、例えば情報処理装置（不図示）から取得する。量子化精度導出部３１は、符号化符号量「Ｒ_ｅｎｃ」に対して量子化ニューラルネットワークを用いて、量子化精度ベクトル「Ｂ＝［Ｂ_１，…，Ｂ_Ｎ］」を導出する。ここで、量子化精度ベクトルの要素「Ｂ_ｎ」の値は、例えば、０以上６４以下の整数である（ステップＳ１０２）。

【0032】

このように、要素「Ｂ_ｎ」の値は０でもよい。量子化精度導出部３１が量子化精度を符号化符号量に応じて変更することによって、符号化データに含まれる量子化符号化特徴の個数「Ｎ」を制御することができる。

【0033】

量子化部２１は、符号化特徴ベクトル「ｚ」を、符号化部２０から取得する。量子化部２１は、量子化精度ベクトル「Ｂ」を、量子化精度導出部３１から取得する。量子化部２１は、符号化符号量を目標とする量子化符号量のサイズの量子化符号化特徴ベクトル「ｚ^ｑ＝［ｚ_１ ^ｑ，…，ｚ_Ｎ ^ｑ］」として、シグモイド関数「ｓｉｇｍｏｉｄ（ｚ_ｎ）」と量子化精度ベクトル「Ｂ」とを用いる整数丸め処理「Ｑ」の結果「ｚ_ｎ ^ｑ＝Ｑ（ｓｉｇｍｏｉｄ（ｚ_ｎ）（２^Ｂｎ－１））」を、符号化特徴ベクトルの要素「ｚ_ｎ」ごとに導出する（ステップＳ１０３）。

【0034】

二値化部２２は、量子化符号化特徴ベクトル「ｚ^ｑ」を、量子化部２１から取得する。二値化部２２は、量子化精度ベクトルを、量子化精度導出部３１から取得する。二値化部２２は、量子化精度ベクトルに基づいて、量子化符号化特徴ベクトルに対して二値化処理を実行することによって、符号化データ「ｚ^ｅｎｃ」を生成する。ここで、二値化部２２は、量子化精度の範囲外の二値化データを、符号化データ「ｚ^ｅｎｃ」から削除する（ステップＳ１０４）。

【0035】

抽出整形部２３ａは、復号符号量「Ｒ_ｄｅｃ」を、例えば情報処理装置（不図示）から取得する。抽出整形部２３ａは、符号化データ「ｚ^ｅｎｃ」を、二値化部２２から取得する。抽出整形部２３ａは、復号符号量「Ｒ_ｄｅｃ」のサイズの二値化データを、取得された符号化データ「ｚ^ｅｎｃ」から抽出する（ステップＳ１０５）。

【0036】

抽出整形部２３ａは、量子化精度ベクトル「Ｂ」を、量子化精度導出部３１から取得する。抽出整形部２３ａは、量子化精度ベクトル「Ｂ」に基づいて、取得された符号化データ「ｚ^ｅｎｃ」から抽出された二値化データの形式を、量子化符号化特徴ベクトル「ｚ^ｑ」の形式に整形する。ここで、抽出整形部２３ａは、量子化精度の範囲外の二値化データを、復号用データにおいて所定値（例えば、０）で補完する。これによって、抽出整形部２３ａは、整形された形式の復号用データ「ｚ^ｄｅｃ」を生成する（ステップＳ１０６）。

【0037】

以下では、数式において文字の上に付されている記号は、その文字の直前に記載される。例えば、数式において文字「ｚ^ｑ」の上に付されている記号「＾」は、「＾ｚ^ｑ」のように文字「ｚ^ｑ」の直前に記載される。

【0038】

逆二値化部２４は、整形された形式の復号用データ「ｚ^ｄｅｃ」に対して逆二値化処理を実行することによって、逆二値化復号用データ「＾ｚ^ｑ」を生成する（ステップＳ１０７）。復号部２５は、逆二値化復号用データ「＾ｚ^ｑ」に対して、復号符号量「Ｒ_ｄｅｃ」に基づいて復号処理を実行する。これによって、復号部２５は、逆二値化復号用データ「＾ｚ^ｑ」を、復号データ「＾ｘ」に変換する（ステップＳ１０８）。

【0039】

再構成誤差導出部３０は、入力データを、例えば情報処理装置（不図示）から取得する。再構成誤差導出部３０は、復号データ（再構成データ）を、復号部２５から取得する。再構成誤差導出部３０は、入力データ「ｘ」に対する復号データ「＾ｘ」の誤差である再構成誤差「Ｌ_ｒｅｃ＝ｄ（ｘ，＾ｘ）」を導出する。関数「ｄ」は、ベクトル間の距離を導出するための任意の関数であり、例えば、平均二乗誤差の和、又は、バイナリクロスエントロピ（Binary Cross Entropy）である（ステップＳ１０９）。

【0040】

符号量導出部３２は、量子化精度ベクトル「Ｂ」を、量子化精度導出部３１から取得する。符号量導出部３２は、量子化精度ベクトルにおける「Ｎ」個の要素「Ｂ_ｎ」の総和である量子化符号量「Ｒ＝ΣＢ_ｎ」［ｂｉｔ］を導出する（ステップＳ１１０）。

【0041】

符号量誤差導出部３３は、符号化符号量「Ｒ_ｅｎｃ」を取得する。符号量誤差導出部３３は、量子化符号量「Ｒ＝ΣＢ_ｎ」を、量子化精度導出部３１から取得する。符号量誤差導出部３３は、符号化符号量「Ｒ_ｅｎｃ」に対する量子化符号量「Ｒ＝ΣＢ_ｎ」の誤差である符号量誤差「Ｌ_ｒａｔｅ＝ｄ（Ｒ_ｅｎｃ，Ｒ）」を導出する（ステップＳ１１１）。

【0042】

最適化部３４は、再構成誤差「Ｌ_ｒｅｃ」と符号量誤差「Ｌ_ｒａｔｅ」とに基づいて、目的関数「Ｌ＝Ｌ_ｒｅｃ＋λＬ_ｒａｔｅ」を導出する。重み「λ」は、任意の値である（ステップＳ１１２）。

【0043】

最適化部３４は、目的関数「Ｌ」に対して最適化処理を実行する。すなわち、最適化部３４は、目的関数「Ｌ」の最小化問題を、例えば勾配法を実行することによって解く（ステップＳ１１３）。

【0044】

最適化部３４は、最小化された目的関数「Ｌ」に対して例えば誤差逆伝播法を実行することによって、符号化部２０の符号化ニューラルネットワークのパラメータと、復号部２５の復号ニューラルネットワークのパラメータと、量子化精度導出部３１の量子化ニューラルネットワークのパラメータとのうちの少なくとも一つを更新する。

【0045】

最適化部３４は、符号化ニューラルネットワークの更新後のパラメータを、符号化部２０に出力する。最適化部３４は、量子化ニューラルネットワークの更新後のパラメータを、量子化精度導出部３１に出力する。最適化部３４は、復号ニューラルネットワークの更新後のパラメータを、復号部２５に出力する（ステップＳ１１４）。

【0046】

最適化部３４は、所定条件に基づいて、図２に示された処理を終了するか否かを判定する。例えば、最適化部３４は、図２に示された処理を所定回数以上実行するという所定条件が成立した場合、処理を終了する。例えば、最適化部３４は、目的関数「Ｌ」の値が所定値以下になったという所定条件が成立した場合、処理を終了する（ステップＳ１１５）。

【0047】

処理を継続すると判定された場合（ステップＳ１１５：ＮＯ）、最適化部３４は、ステップＳ１０１に処理を戻す。処理を終了すると判定された場合（ステップＳ１１５：ＹＥＳ）、最適化部３４は、図２に示された処理を終了する。

【0048】

以上のように、符号化部２０は、入力データを符号化特徴ベクトルに変換する。量子化精度導出部３１は、符号化特徴ベクトルの要素である符号化特徴ごとの量子化精度を、符号化符号量に応じて導出する。量子化部２１は、符号化特徴ベクトルに対して量子化処理を量子化精度に基づいて実行することによって、符号化符号量を目標とする量子化符号量のサイズの量子化符号化特徴ベクトルを生成する。二値化部２２は、量子化符号化特徴ベクトルに対して二値化処理を実行することによって、符号化データを生成する。復号部２５は、符号化データに応じた所定データに対して復号処理を実行する。

【0049】

抽出整形部２３ａは、復号符号量のサイズの二値化データを、符号化データから抽出する。抽出整形部２３ａは、抽出された二値化データの形式を量子化精度に基づいて整形することによって、整形復号用データを生成する。逆二値化部２４は、整形復号用データに対して逆二値化処理を実行することによって、逆二値化復号用データを生成する。復号部２５は、逆二値化復号用データ（所定データ）に対して復号処理を復号符号量に基づいて実行することによって、逆二値化復号用データを復号データに変換する。

【0050】

最適化部３４は、入力データを符号化特徴ベクトルに変換する符号化処理に用いられるパラメータと、復号処理に用いられるパラメータと、量子化精度の導出に用いられるパラメータとのうちの少なくとも一つを、目的関数に基づいて更新する。

【0051】

このように、符号化特徴の個数「Ｎ」と量子化精度「Ｂ_ｎ」とがそれぞれ固定されておらず、符号化符号量（圧縮率）に応じて、量子化精度「Ｂ_ｎ」が導出される。量子化精度「Ｂ_ｎ」に応じて符号化特徴の個数「Ｎ」が定まるので、符号化符号量に応じた最適な表現（符号化特徴の個数と量子化精度との組み合わせ）で、入力データが符号化される。これによって、入力データを符号化データから復元する精度を向上させることが可能である。

【0052】

図３は、圧縮率（符号量）とピーク信号対雑音比との関係例を示す図である。図３は、一例として地震波データに関する圧縮率とピーク信号対雑音比との関係例を示す。横軸は、圧縮率（compression rate）を示す。縦軸は、ピーク信号対雑音比（Peak Signal-to-Noise Ratio : PSNR）［ｄＢ］を示す。

【0053】

図３に示された「１ｂｉｔ」と「２ｂｉｔ」と「３ｂｉｔ」と「４ｂｉｔ」と「８ｂｉｔ」は、各固定の量子化精度を示す。「１ｂｉｔ」と「２ｂｉｔ」と「３ｂｉｔ」と「４ｂｉｔ」と「８ｂｉｔ」との各グラフは、従来のオートエンコーダに関する各グラフである。従来のオートエンコーダの各グラフでは、全ての符号化特徴について、符号化特徴に対応付けられた量子化精度は、一律にＸ［ｂｉｔ］である。従来のオートエンコーダに関する各グラフでは、符号化特徴の個数ごとに、点がプロットされている。

【0054】

これに対して、図３に示された「ＡｄａｐｔｉｖｅＢｉｔｓ」は、適応的に変更された量子化精度（符号化符号量に応じた量子化精度）を示す。「ＡｄａｐｔｉｖｅＢｉｔｓ」のグラフは、符号化復号装置１ａに関するグラフである。符号化復号装置１ａに関するグラフでは、符号化符号量ごとに、点がプロットされている。このように、符号化復号装置１ａでは、入力データを符号化データから復元する精度（ピーク信号対雑音比）を向上させることが可能である。

【0055】

次に、二値化部２２及び抽出整形部２３ａの詳細を説明する。
図４は、レート制御の例を示す図である。図４では、量子化符号化特徴ベクトル２１０は、一例として、要素２１１－１から要素２１１－５までの各量子化符号化特徴を含む。

【0056】

二値化部２２は、量子化符号化特徴ベクトル２１０を、量子化部２１から取得する。二値化部２２は、量子化符号化特徴ベクトル２１０に対して二値化処理を実行することによって、二値化データを含む符号化データ２２０を生成する。

【0057】

二値化部２２は、量子化精度ベクトル３１０を、量子化精度導出部３１から取得する。図４では、量子化精度ベクトル３１０は、一例として、「［２，１，４，３，０］」である。二値化部２２は、各要素２１１の二値化データを含む符号化データ２２０を、二値化部２２から取得する。

【0058】

要素２１１－１の二値化データ「…００１０」に対応付けられた量子化精度は、量子化精度ベクトル３１０における「２」である。要素２１１－２の二値化データ「…００００」に対応付けられた量子化精度は、量子化精度ベクトル３１０における「１」である。要素２１１－３の二値化データ「…０１０１」に対応付けられた量子化精度は、量子化精度ベクトル３１０における「４」である。要素２１１－４の二値化データ「…０１１１」に対応付けられた量子化精度は、量子化精度ベクトル３１０における「３」である。要素２１１－５の二値化データ「…００００」に対応付けられた量子化精度は、量子化精度ベクトル３１０における「０」である。

【0059】

二値化部２２は、量子化精度の範囲外（図４において破線で表された矩形枠外）の二値化データを、符号化データ２２０から削除する。これによって、二値化部２２は、量子化精度ベクトル３１０を用いて指定された量子化符号量のサイズの符号化データ２２０を生成する。

【0060】

ここで、二値化部２２は、全ての要素２１１の二値化データに対してスキャンを実行する。二値化部２２は、二値化データの上位ビットから下位ビットへの順で、全ての要素２１１の二値化データに対してスキャンを実行する。また、二値化部２２は、例えば、要素２１１－１から要素２１１－５への順で、全ての要素２１１の二値化データに対してスキャンを実行する。図４における符号化データ２２０内に示された一点鎖線の各矢印は、このようなスキャンの順序を表す。

【0061】

要素２１１－１から要素２１１－５への順のスキャンによって、二値化部２２は、各量子化精度の範囲内で最も上位ビットの「０」を、二値化データから取得する。二値化部２２は、各量子化精度の範囲内で下位側の上位ビットの「１」及び「１」を、二値化データから取得する。二値化部２２は、各量子化精度の範囲内で更に下位側の上位ビットの「１」、「０」及び「１」を、二値化データから取得する。二値化部２２は、各量子化精度の範囲内で最も下位ビットの「０」、「０」、「１」及び「１」を、二値化データから取得する。

【0062】

図４では、要素２１１－５の二値化データ「…００００」に対応付けられた量子化精度が「０」である。したがって、要素２１１－５の二値化データは、量子化精度の範囲外である。このためスキャンにおいて、二値化部２２は、要素２１１－５の二値化データ「…００００」を取得しない。このようにして、二値化部２２は、量子化精度が「０」である要素２１１－５の二値化データ「…００００」を、符号化データ２２０から削除する。

【0063】

二値化部２２は、取得された各二値化データ（「０」、「１１」、「１０１」、「００１１」）を、二値化データの取得順に結合することによって、レート制御された符号化データ２２０を生成する。図４では、レート制御された符号化データ２２０は、「０１１１０１００１１」となる。

【0064】

符号化特徴の二値化データのうちで、量子化精度の範囲外の二値化データが、レート制御として、符号化データから削除される。図４では、破線で表された各矩形枠内の二値化データのみが、符号化データ２２０として、抽出整形部２３ａに送信される。

【0065】

抽出整形部２３ａは、符号化データ２２０を、二値化部２２から取得する。抽出整形部２３ａは、量子化精度ベクトル３１０を、量子化精度導出部３１から取得する。抽出整形部２３ａは、復号符号量のサイズの二値化データを、符号化データ２２０から抽出する。

【0066】

抽出整形部２３ａは、レート制御された符号化データ２２０から抽出された二値化データに対して整形処理を実行する。ここで、抽出整形部２３ａは、抽出された二値化データの形式を、量子化符号化特徴ベクトルの形式に整形することによって、整形された形式の復号用データ（整形復号用データ）を生成する。

【0067】

抽出整形部２３ａは、レート制御された符号化データ２２０から削除された二値化データの位置を、量子化精度ベクトル３１０を用いて特定する。抽出整形部２３ａは、レート制御された符号化データ２２０から削除された二値化データを、整形された形式の復号用データにおいて所定値（例えば、０）で補完する。

【0068】

以上のように、二値化部２２は、量子化精度ベクトル３１０に基づいて、量子化精度の範囲外の二値化データを、符号化データ２２０から削除する。抽出整形部２３ａは、符号化データ２２０から削除された二値化データのビット位置を、量子化精度に基づいて特定する。抽出整形部２３ａは、符号化データ２２０から削除された二値化データの位置を、整形復号用データにおいて所定値（例えば、０）で補完する。

【0069】

このように、入力データを符号化データから復元する精度を向上させることが可能である。符号化復号装置１ｂが符号化符号量（圧縮率）ごとに用意されなくても、レート制御を符号化復号装置１ｂが実行することが可能である。

【0070】

（第２実施形態）
第２実施形態では、スケーラブル復号を符号化復号装置が実行する点が、第１実施形態との差分である。スケーラブル復号とは、符号化符号量以下の任意の符号量の復号データ（入力データの再構成データ）を符号化データから復号することである。第２実施形態では、第１実施形態との差分を中心に説明する。

【0071】

図５は、符号化復号装置１ｂの構成例を示す図である。符号化復号装置１ｂは、入力データに対して符号化処理（データ圧縮処理）を実行し、符号化データに対して復号処理を実行するシステムである。復号処理において、符号化復号装置１ｂは、符号化データから抽出された復号用データに対してスケーラブル復号を実行する。

【0072】

符号化復号装置１ｂは、オートエンコーダ２と、学習装置３とを備える。オートエンコーダ２は、符号化部２０と、量子化部２１と、二値化部２２と、抽出整形部２３ｂと、逆二値化部２４と、復号部２５とを備える。学習装置３は、再構成誤差導出部３０と、量子化精度導出部３１と、符号量導出部３２と、符号量誤差導出部３３と、最適化部３４とを備える。

【0073】

図６は、スケーラブル復号の例を示す図である。抽出整形部２３ｂは、量子化精度ベクトル３１０を、量子化精度導出部３１から取得する。図６では、量子化精度ベクトル３１０は、一例として、「［２，１，４，３，０］」である。すなわち、この例では、量子化符号量「Ｒ」＝１０ｂｉｔである。

【0074】

抽出整形部２３ｂは、復号符号量「Ｒ_ｄｅｃ」を、例えば情報処理装置（不図示）から取得する。第２実施形態では、復号符号量「Ｒ_ｄｅｃ」は、量子化符号量「Ｒ」以下である。抽出整形部２３ｂは、符号化データ２２０を、二値化部２２から取得する。抽出整形部２３ｂは、量子化精度ベクトル３１０を用いて指定された復号符号量のサイズの二値化データを、符号化データ２２０から抽出する。

【0075】

抽出整形部２３ｂは、符号化データ２２０から抽出された二値化データに対して整形処理を実行する。ここで、抽出整形部２３ｂは、抽出された二値化データの形式を、量子化符号化特徴ベクトルの形式に整形することによって、整形された形式の復号用データ２３０を生成する。

【0076】

図６では、逆二値化復号用データ２４０は、一例として、要素２４１－１から要素２４１－５までの各逆二値化データを含む。

【0077】

要素２４１－１の二値化データ「…００１０」に対応付けられた量子化精度は、量子化精度ベクトル３１０における「２」である。要素２４１－２の二値化データ「…００００」に対応付けられた量子化精度は、量子化精度ベクトル３１０における「１」である。要素２４１－３の二値化データ「…０１０１」（スケーラブル復号では、「…０１００」）に対応付けられた量子化精度は、量子化精度ベクトル３１０における「４」である。要素２４１－４の二値化データ「…０１１１」（スケーラブル復号では、「…０１１０」）に対応付けられた量子化精度は、量子化精度ベクトル３１０における「３」である。要素２４１－５の二値化データ「…００００」に対応付けられた量子化精度は、量子化精度ベクトル３１０における「０」である。

【0078】

抽出整形部２３ｂは、量子化精度の範囲外（図６において破線で表された矩形枠外）の二値化データを、整形された形式の復号用データ２３０から削除する。これによって、抽出整形部２３ｂは、量子化精度ベクトル３１０を用いて指定された復号符号量のサイズの復号用データ２３０を生成する。

【0079】

ここで、抽出整形部２３ｂは、全ての要素２４１の二値化データに対してスキャンを実行する。抽出整形部２３ｂは、二値化データの上位ビットから下位ビットへの順で、全ての要素２４１の二値化データに対してスキャンを実行する。また、抽出整形部２３ｂは、例えば、要素２４１－１から要素２４１－５への順で、全ての要素２４１の二値化データに対してスキャンを実行する。図６における復号用データ２３０内に示された一点鎖線の各矢印は、このようなスキャンの順序を表す。抽出整形部２３ｂは、復号符号量「Ｒ_ｄｅｃ」のサイズ分の要素を取得する。抽出整形部２３ｂは、取得されない残りの要素を、所定値（例えば０）とする。

【0080】

第２実施形態では、復号符号量「Ｒ_ｄｅｃ」は、一例として８ｂｉｔである。要素２４１－１から要素２４１－５への順のスキャンによって、抽出整形部２３ｂは、各量子化精度の範囲内で最も上位ビットの「０」を、二値化データから取得する。抽出整形部２３ｂは、各量子化精度の範囲内で下位側の上位ビットの「１」及び「１」を、二値化データから取得する。抽出整形部２３ｂは、各量子化精度の範囲内で更に下位側の上位ビットの「１」、「０」及び「１」を、二値化データから取得する。抽出整形部２３ｂは、各量子化精度の範囲内で最も下位ビットの「０」及び「０」を、二値化データから取得する。この時点で、復号符号量「Ｒ_ｄｅｃ」の８ビット分の二値化データが抽出されている。このため、抽出整形部２３ｂは、量子化精度の範囲内における残りの二値化データを、取得せずに、所定値（例えば０）とする。図６では、抽出整形部２３ｂは、量子化精度の範囲内における残りの二値化データの各値「１」を、図６において実線の矩形で各値が囲まれているように各値「０」とする。

【0081】

図６では、要素２４１－５の二値化データ「…００００」に対応付けられた量子化精度が「０」である。したがって、要素２４１－５の二値化データは、量子化精度の範囲外である。このためスキャンにおいて、抽出整形部２３ｂは、要素２４１－５の二値化データ「…００００」を取得しない。このようにして、抽出整形部２３ｂは、量子化精度が「０」である要素２４１－５の二値化データ「…００００」を、復号用データ２３０から削除する。

【0082】

抽出整形部２３ｂは、取得された各二値化データ（「０」、「１１」、「１０１」、「００００」）を、二値化データの取得順に結合することによって、量子化精度ベクトル３１０を用いて指定された復号符号量のサイズの復号用データ２３０を生成する。図６では、復号符号量のサイズの復号用データ２３０は、「０１１１０１００００」となる。このようにして、図６において破線で表された各矩形枠内の二値化データのみが、復号符号量のサイズの復号用データ２３０として、逆二値化部２４に送信される。

【0083】

逆二値化部２４は、復号符号量のサイズの復号用データ２３０を、抽出整形部２３ｂから取得する。逆二値化部２４は、復号符号量のサイズの復号用データ２３０に対して、逆二値化処理を実行することによって、逆二値化復号用データ２４０を生成する。

【0084】

以上のように、抽出整形部２３ｂは、量子化精度の範囲内の二値化データを、抽出された二値化データから取得する。抽出整形部２３ｂは、量子化精度の範囲内の二値化データの形式を整形することによって、整形された形式の復号用データ２３０（整形復号用データ）を生成する。ここで、抽出整形部２３ｂは、復号符号量のサイズの二値化データを、量子化精度の範囲内の二値化データから抽出することによって、整形された形式の復号用データ２３０を生成する。

【0085】

これによって、入力データを符号化データから復元する精度を向上させることが可能である。符号化復号装置１ｂが符号化符号量（圧縮率）ごとに用意されなくても、スケーラブル復号を符号化復号装置１ｂが実行することが可能である。

【0086】

（ハードウェア構成例）
図７は、各実施形態における、符号化復号装置１（符号化装置）（復号装置）（データ圧縮装置）のハードウェア構成例を示す図である。符号化復号装置１は、上記の符号化復号装置１ａと、上記の符号化復号装置１ｂとのそれぞれに対応する。符号化復号装置１の各機能部のうちの一部又は全部は、ＣＰＵ（Central Processing Unit）等のプロセッサ１００が、不揮発性の記録媒体（非一時的な記録媒体）を有する記憶装置１０１とメモリ１０２とに記憶されたプログラムを実行することにより、ソフトウェアとして実現される。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置などの非一時的な記録媒体である。

【0087】

符号化復号装置１の各機能部の一部又は全部は、例えば、ＬＳＩ（Large Scale Integrated circuit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）又はＦＰＧＡ（Field Programmable Gate Array）等を用いた電子回路（electronic circuit又はcircuitry）を含むハードウェアを用いて実現されてもよい。

【0088】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【産業上の利用可能性】

【0089】

本発明は、所定のデータ処理を実行する装置に適用可能である。

【符号の説明】

【0090】

１ａ，１ｂ…符号化復号装置、１０…符号化復号装置、１１…符号化部、１２…量子化部、１３…二値化部、１４…復号部、２０…符号化部、２１…量子化部、２２…二値化部、２３ａ，２３ｂ…抽出整形部、２４…逆二値化部、２５…復号部、３０…再構成誤差導出部、３１…量子化精度導出部、３２…符号量導出部、３３…符号量誤差導出部、３４…最適化部、１００…プロセッサ、１０１…記憶装置、１０２…メモリ、２１０…量子化符号化特徴ベクトル、２１１…要素、２２０…符号化データ、２３０…復号用データ、２４０…逆二値化復号用データ、２４１…要素、３１０…量子化精度ベクトル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】