特開 2022-187683 データ圧縮伸長システム、及びその方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022187683

(43)【公開日】2022-12-20

(54)【発明の名称】データ圧縮伸長システム、及びその方法

(51)【国際特許分類】

   H03M 7/30 20060101AFI20221213BHJP

   H03M 7/40 20060101ALI20221213BHJP

   H04N 1/64 20060101ALI20221213BHJP

   G06T 9/00 20060101ALI20221213BHJP

   H04N 19/436 20140101ALI20221213BHJP

【ＦＩ】

H03M7/30 Z

H03M7/40

H04N1/64

G06T9/00 200

H04N19/436

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2021095805

(22)【出願日】2021-06-08

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110002365

【氏名又は名称】特許業務法人サンネクスト国際特許事務所

(72)【発明者】

【氏名】圷 弘明

(72)【発明者】

【氏名】成子 貴洋

(72)【発明者】

【氏名】鈴木 彬史

【テーマコード（参考）】

5B057

5C159

5C178

5J064

【Ｆターム（参考）】

5B057CA01

5B057CA08

5B057CA12

5B057CB01

5B057CB08

5B057CB12

5B057CC02

5B057CG03

5B057DA17

5B057DB02

5B057DB06

5B057DB09

5B057DC36

5C159KK13

5C159MD02

5C159ME01

5C159UA02

5C159UA05

5C178AC10

5C178BC21

5C178CC55

5C178DC79

5C178EC51

5J064BA09

5J064BC02

5J064BD03

(57)【要約】

【課題】高い圧縮率と高速な処理速度を両立する。
【解決手段】複数処理を並列実行する並列処理デバイスを有するデータ圧縮伸長システムにおいて、並列処理デバイスは、元データを所定単位で複数のデータへ分割する。そして、並列処理デバイスは、複数のデータに対して所定モデルを用いた符号化処理を並列実行して複数の符号化データを生成する。そして、並列処理デバイスは、複数の符号化データから元データの圧縮データを作成する。
【選択図】図１

【特許請求の範囲】

【請求項1】

複数処理を並列実行する並列処理デバイスを有するデータ圧縮伸長システムであって、
前記並列処理デバイスは、
元データを所定単位で複数のデータへ分割し、
前記複数のデータに対して所定モデルを用いた符号化処理を並列実行して複数の符号化データを生成し、
前記複数の符号化データから前記元データの圧縮データを作成する
ことを特徴とするデータ圧縮伸長システム。

【請求項2】

請求項１に記載のデータ圧縮伸長システムであって、
前記複数の符号化データと前記圧縮データとの対応関係の情報を該圧縮データと共に記録する
ことを特徴とするデータ圧縮伸長システム。

【請求項3】

請求項１に記載のデータ圧縮伸長システムであって、
前記並列処理デバイスは、
前記元データに対してフィルタ処理を実行して特徴量マップを作成する第１のエンコーダフィルタと、
前記第１のエンコーダフィルタによって作成された前記特徴量マップを前記所定単位で分割した複数の特徴量マップを作成する分割器と、
前記分割器によって作成された前記分割した複数の特徴量マップに対してフィルタ処理を実行する第２のエンコーダフィルタと、
前記分割した複数の特徴量マップのエントロピーを予測するエントロピー見積器と、
前記エントロピーの予測結果に基づいて前記分割した複数の特徴量マップに対して前記所定モデルを用いたエントロピー符号化処理を並列実行して前記複数の符号化データを生成し、該複数の符号化データから前記圧縮データを作成するエントロピー符号化器と、
を有する圧縮器をニューラルネットワーク上で構成した
ことを特徴とするデータ圧縮伸長システム。

【請求項4】

請求項１に記載のデータ圧縮伸長システムであって、
前記並列処理デバイスは、
前記圧縮データを前記複数の符号化データへ展開し、
展開後の前記複数の符号化データに対して前記所定モデルを用いた復号処理を並列実行して複数の復号データを生成し、
前記複数の復号データを結合して前記圧縮データの伸長データを作成する
ことを特徴とするデータ圧縮伸長システム。

【請求項5】

請求項４に記載のデータ圧縮伸長システムであって、
前記圧縮データと共に記録された前記複数の符号化データと前記圧縮データとの対応関係の情報に基づいて前記圧縮データを前記複数の符号化データへ展開する
ことを特徴とするデータ圧縮伸長システム。

【請求項6】

請求項３に記載のデータ圧縮伸長システムであって、
前記並列処理デバイスは、
前記エントロピー見積器と、
前記圧縮データを前記複数の符号化データへ展開し、前記エントロピーの予測結果に基づいて前記複数の符号化データに対して前記所定モデルを用いたエントロピー復号処理を並列実行して前記複数の復号データを生成するエントロピー復号器と、
前記複数の復号データに対してフィルタ処理を実行する第２のデコーダフィルタと、
前記第２のデコーダフィルタによってフィルタ処理された前記複数の復号データを結合して特徴量マップを作成する結合器と、
前記結合器によって作成された前記特徴量マップに対してフィルタ処理を実行して前記圧縮データの伸長データを作成する第１のデコーダフィルタと、
を有する伸長器をニューラルネットワーク上で構成した
ことを特徴とするデータ圧縮伸長システム。

【請求項7】

請求項３に記載のデータ圧縮伸長システムであって、
前記エントロピー符号化器は、
ＡＮＳ（Asymmetric Numeral Systems）における複数の所定の判定処理をテンソルの要素の積和演算に置き換えることで並列実行可能とするTensor ＡＮＳを用いて構成された
ことを特徴とするデータ圧縮伸長システム。

【請求項8】

請求項６に記載のデータ圧縮伸長システムであって、
前記エントロピー復号器は、
前記分割した複数の特徴量マップと、前記圧縮データと共に記録された前記複数の符号化データと前記圧縮データとの対応関係の情報からテンソルを構成し、該テンソルに基づいて前記複数の符号化データに対して前記エントロピー復号処理を並列実行する
ことを特徴とするデータ圧縮伸長システム。

【請求項9】

請求項３に記載のデータ圧縮伸長システムであって、
前記エントロピー見積器は、
前記分割した複数の特徴量マップにおける推定対象のピクセルの並び方向に対する垂直方向のピクセルのみに基づいて該推定対象のピクセルのエントロピーを予測することで、各推定対象のピクセルのエントロピーの予測処理を並列実行する
ことを特徴とするデータ圧縮伸長システム。

【請求項10】

請求項６に記載のデータ圧縮伸長システムであって、
前記分割した複数の特徴量マップ、及び、前記エントロピー見積器によって予測された該分割した複数の特徴量マップのエントロピーを表す各予測確率の順序をランダムに変更するシャッフラーと、
前記シャッフラーによって変更された前記分割した複数の特徴量マップの順序を変更前へ戻すアンシャッフラーと、を有し、
前記エントロピー見積器は、前記分割した複数の特徴量マップのエントロピーを超事前分布によって予測し、
前記エントロピー符号化器は、前記シャッフラーによって順序が変更された前記分割した複数の特徴量マップ及び前記予測確率に基づいて前記複数の符号化データを作成し、
前記エントロピー復号器は、前記シャッフラーによって順序が変更された前記予測確率に基づいて前記複数の復号データを生成し、
前記アンシャッフラーは、前記複数の復号データの順序を変更前に戻す
ことを特徴とするデータ圧縮伸長システム。

【請求項11】

請求項４に記載のデータ圧縮伸長システムであって、
前記並列処理デバイスは、
前記元データが複数のチャネルを含む場合に、該複数のチャネルを分離し、前記符号化処理及び前記復号処理を分離した各チャネルで独立して実行し、あるチャネルの前記符号化処理又は前記復号処理による情報を他のチャネルの前記符号化処理又は前記復号処理における補助情報として用いる
ことを特徴とするデータ圧縮伸長システム。

【請求項12】

請求項１１に記載のデータ圧縮伸長システムであって、
前記並列処理デバイスは、
前記複数のチャネルのデータサイズが異なる場合に、前記元データうちのあるデータサイズが所定より小さいチャネルの前記符号化処理及び前記復号処理を他のチャネルよりも先行して実行し、該符号化処理又は該復号処理による情報を、該他のチャネルの前記符号化処理又は前記復号処理における補助情報として用いる
ことを特徴とするデータ圧縮伸長システム。

【請求項13】

請求項３に記載のデータ圧縮伸長システムであって、
前記エントロピー見積器は、４次元のニューラルネットワークの前記エントロピーを予測する際に、前記４次元のうちのある２次元について第１の２次元のニューラルネットワークのカーネルを用い、前記４次元のうちの残りの２次元について第２の２次元のニューラルネットワークのカーネルを用いる
ことを特徴とするデータ圧縮伸長システム。

【請求項14】

複数処理を並列実行する並列処理デバイスを有するデータ圧縮伸長システムが実行するデータ圧縮伸長方法であって、
前記並列処理デバイスが、
元データを所定単位で複数のデータへ分割し、
前記複数のデータに対して所定モデルを用いた符号化処理を並列実行して複数の符号化データを生成し、
前記複数の符号化データから前記元データの圧縮データを作成する
各処理を含むことを特徴とするデータ圧縮伸長方法。

【請求項15】

請求項１４に記載のデータ圧縮伸長方法であって、
前記並列処理デバイスが、
前記圧縮データを前記複数の符号化データへ展開し、
展開後の前記複数の符号化データに対して前記所定モデルを用いた復号処理を並列実行して複数の復号データを生成し、
前記複数の復号データを結合して前記圧縮データの伸長データを作成する
各処理をさらに含むことを特徴とするデータ圧縮伸長方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、概して、データの圧縮伸長システム、例えば、圧縮伸長処理に関する。

【背景技術】

【0002】

データの圧縮伸長を行うストレージシステムとして、例えば特許文献１に開示の技術がある。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－９５９１３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

産業界の生産性向上に向け、ＩｏＴ（Internet of things）に対する期待が高まっており、ＩｏＴデータ（例えば、種々のデバイスから取得されるデータ）は増加し続けている。例えば、ＩｏＴ機器の生成する多次元のデータ（例えば画像、動画など）は膨大であり、膨大な多次元データを高効率に転送及び蓄積することが求められると考えられ、データ圧縮技術はその解決に向けたアプローチの一つである。

【0005】

データ圧縮技術において、ニューラルネットなどの高度なモデルを利用することにより、高い圧縮率を実現することが期待できるが、圧縮又は伸長の処理速度が低下する懸念があった。高い圧縮率と高速な処理速度の両立が課題である。

【0006】

以上のような課題は、ＩｏＴ以外の分野についてもあり得る。

【課題を解決するための手段】

【0007】

並列処理デバイスにおいて、データ圧縮伸長に関し、ニューラルネットワークなどの高度なモデルを用いて圧縮伸長処理を実行し、符号化処理前にデータを所定の単位で分割し、符号化処理を並列実行して処理する。

【発明の効果】

【0008】

高い圧縮率と高速な処理速度を両立することができる。

【図面の簡単な説明】

【0009】

【図1】実施形態１に係るデータ圧縮伸長システムの構成例を示す図。

【図2】実施形態１に係る圧縮器及び伸長器の構成例を示す図。

【図3】圧縮器によって圧縮された圧縮データのデータ構造例を示す図。

【図4】ＦＭタイリングを説明するための図。

【図5】実施形態１に係る圧縮処理例を示すフローチャート。

【図6】量子化処理（推論時）の詳細例を示すフローチャート。

【図7】量子化処理（学習時）例を示すフローチャート。

【図8】エントロピー符号化処理の詳細を示すフローチャート。

【図9】エントロピーエスティメータ処理の一例の概要を示す図。

【図10】ＣＤＦ作成処理のアルゴリズム例を示す図。

【図11】エントロピーエンコーダステップ処理のアルゴリズム例を示す図。

【図12】圧縮データ作成処理の一例の概要を示す図。

【図13】実施形態１に係る伸長処理例を示すフローチャート。

【図14】エントロピー復号処理の詳細例を示すフローチャート。

【図15】エントロピーデコーダステップ処理のアルゴリズム例を示す図。

【図16】実施形態２に係るエントロピーエスティメータ並びに関連する圧縮器及び伸長器の一部の構成例を示す図。

【図17】実施形態３に係るデータ圧縮伸長システムの構成例を示す図。

【図18】実施形態３に係る圧縮処理例を示す図。

【図19】実施形態３に係るエントロピーエスティメータの処理例を説明するための図。

【発明を実施するための形態】

【0010】

以下の説明では、「インターフェース装置」は、一つ以上の通信インターフェースデバイスでよい。一つ以上の通信インターフェースデバイスは、一つ以上の同種の通信インターフェースデバイス（例えば一つ以上のＮＩＣ（Network Interface Card））であってもよい。または二つ以上の異種の通信インターフェースデバイス（例えばＮＩＣとＨＢＡ（Host Bus Adapter））であってもよい。

【0011】

また、以下の説明では、「メモリ」は、一つ以上のメモリデバイスであり、典型的には主記憶デバイスでよい。メモリにおける少なくとも一つのメモリデバイスは、揮発性メモリデバイスであってもよいし不揮発性メモリデバイスであってもよい。

【0012】

また、以下の説明では、「永続記憶装置」は、一つ以上の永続記憶デバイスである。永続記憶デバイスは、典型的には、不揮発性の記憶デバイス（例えば補助記憶デバイス）であり、具体的には、例えば、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）である。

【0013】

また、以下の説明では、「記憶装置」は、永続記憶装置のような物理的な記憶装置でもよいし、物理的な記憶装置に関連付けられた論理的な記憶装置でもよい。

【0014】

また、以下の説明では、「プロセッサ」は、一つ以上のプロセッサデバイスである。少なくとも一つのプロセッサデバイスは、典型的には、ＣＰＵ（Central Processing Unit）のようなマイクロプロセッサデバイスでよい。少なくとも一つのプロセッサデバイスは、シングルコアでもよいしマルチコアでもよい。少なくとも一つのプロセッサデバイスは、プロセッサコアでもよい。

【0015】

また、以下の説明では、「並列処理デバイス」は、並列処理が可能なデバイスの一例である。並列処理デバイスは、複数の物理的な又は仮想的なコアを有するＣＰＵにより実現されてもよいが、典型的には、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）又はＧＰＵ（Graphics Processing Unit）のようなハードウェア回路でよい。

【0016】

また、以下、「ｘｘｘテーブル」といった表現にて、入力に対して出力が得られる情報を説明することがあるが、当該情報は、どのような構造のデータでもよいし、入力に対する出力を発生するニューラルネットワークのような学習モデルでもよい。従って、「ｘｘｘテーブル」を「ｘｘｘ情報」と言うことができる。また、以下の説明において、各テーブルの構成は一例であり、一つのテーブルは、二つ以上のテーブルに分割されてもよいし、二つ以上のテーブルの全部又は一部が一つのテーブルであってもよい。

【0017】

また、以下、圧縮器又は伸長器の構成要素としての機能（具体的には、例えば、エンコーダフィルタ、ＦＭ（Feature Map）タイラ、ＦＭアンタイラ、エントロピーエンコーダ、エントロピーデコーダ、クオンタイザ及びエントロピーエスティメータ）を説明する。それらの機能は、本実施形態では、並列処理デバイスによって実現されるが、一部の機能が、コンピュータプログラムがプロセッサによって実行されることで実現されてもよい。各機能の説明は一例であり、複数の機能が一つの機能にまとめられたり、一つの機能が複数の機能に分割されたりしてもよい。

【0018】

また、以下の説明では、「データセット」は、アプリケーションプログラムのようなプログラムから見た１つの論理的な電子データの塊であり、例えば、レコード、ファイル、キーバリューペア及びタプルのうちのいずれでもよい。

【0019】

また、以下の説明では、同種の要素を区別しないで説明する場合には、参照符号のうちの共通部分を使用し、同種の要素を区別する場合は、参照符号を使用することがある。例えば、計算機を区別しない場合には、「計算機１０１」と言い、計算機１０１を区別する場合には、「計算機１０１Ｃ」、「計算機１０１Ｄ」のように言うことがある。また、一つ又は複数の計算機１０１を含んだシステムを「計算機システム」と言うことができる。「計算機」は、オンプレミス型のような物理的な計算機でもよい。または「計算機」は、クラウド型の計算機（例えば、複数種類の計算資源（例えば、プロセッサやメモリ）を有するシステム上に実現される装置）でもよい。または「計算機」は、モバイル型の装置（例えば、スマートフォンやラップトップ型のパーソナルコンピュータ）でもよい。

【0020】

以下、本発明の幾つかの実施形態を説明する。なお、以下のいずれの実施形態においても、非可逆圧縮の構成を取ってもよいし、例えば、フィルタやクオンタイザを用いない、または可逆的なフィルタを用いることなどにより、可逆圧縮の構成を取ってもよい。

【0021】

以下の実施形態では、本発明の計算機をストレージ装置に適用した場合を示すが、これに限らず、永続記憶装置を省略して通信装置等のデータを送受信する装置に適用することも可能である。

【0022】

［実施形態１］
図１は、実施形態１に係るデータ圧縮伸長システムＳの構成例を示す図である。

【0023】

データ圧縮伸長システムＳは、計算機１０１Ｃ及び１０１Ｄを含んで構成される。計算機１０１Ｃと計算機１０１Ｄは、ネットワーク１５０（例えば、インターネット、ＷＡＮ（Wide Area Network）、又はＬＡＮ（Local Area Network））を介して通信する。計算機１０１は、例えばストレージ装置である。計算機１０１Ｃは圧縮器７０を有し、計算機１０１Ｄは伸長器７１を有する。一つの計算機１０１が圧縮器７０及び伸長器７１の両方を有し、データの圧縮及び伸長を一つの計算機１０１内で完結させてもよい。

【0024】

計算機１０１Ｃ及び１０１Ｄのハードウェア構成は同じでも異なっていてもよい。本実施形態では、説明を簡単にするため、計算機１０１Ｃ及び１０１Ｄのハードウェア構成は同じである。計算機１０１のハードウェア構成を、計算機１０１Ｃを例に取り説明する。

【0025】

計算機１０１Ｃは、インターフェースデバイス５Ｃ１及び５Ｃ２（インターフェース装置の一例）、永続記憶装置５４Ｃ、メモリ５２Ｃ、プロセッサ５３Ｃ、並列処理デバイス６１Ｃ、及び、それらを接続する内部バス１０Ｃを備える。インターフェースデバイス５Ｃ１及び５Ｃ２、永続記憶装置５４Ｃ、メモリ５２Ｃ、並列処理デバイス６１Ｃは、例えば内部バス１０Ｃを介して、プロセッサ５３Ｃに通信可能に接続される。

【0026】

インターフェースデバイス５Ｃ１は、ネットワーク１５０に接続される。インターフェースデバイス５Ｃ２は、入力装置４０に接続される。入力装置４０は、計算機１０１Ｃにデータを入力する。入力装置４０は、センサデバイス（例えば、光学的カメラや重力センサ）でもよいし、可搬型の記憶媒体でもよいし、他の計算機でもよい。

【0027】

並列処理デバイス６１Ｃには、入力装置４０からインターフェースデバイス５Ｃ２経由で入力された圧縮対象のデータが、プロセッサ５３Ｃ経由又は非経由で、入力される。並列処理デバイス６１Ｃは、メモリ６３Ｃと複数のコア６２Ｃとを有する。並列処理デバイス６１Ｃが圧縮器７０として実現される。圧縮器７０（並列処理デバイス６１Ｃ）は、圧縮対象のデータを並列に圧縮する。これにより、圧縮対象のデータを高速に圧縮することができる。圧縮されたデータが、並列処理デバイス６１Ｃから出力され、プロセッサ５３Ｃ経由又は非経由で永続記憶装置５４Ｃに格納される。

【0028】

メモリ５２Ｃには、プロセッサ５３Ｃにより実行されるコンピュータプログラム、及び、プロセッサ５３Ｃにより入出力されるデータが記憶される。

【0029】

プロセッサ５３Ｃは、メモリ５２Ｃからプログラムを読み出し実行することで計算機１０１Ｃが行う処理の少なくとも一部を実行する。例えば、プロセッサ５３Ｃは、永続記憶装置５４Ｃに格納されている圧縮データ（圧縮されたデータ）を、永続記憶装置５４Ｃから読み出し、当該圧縮データをインターフェースデバイス５Ｃ１経由で計算機１０１Ｄに送信する。

【0030】

計算機１０１Ｄと計算機１０１Ｃの相違点は、例えば次の通りである。計算機１０１Ｄには、インターフェースデバイス５Ｄ２にユーザ端末８０（例えば、パーソナルコンピュータやスマートフォン）が接続される。計算機１０１Ｄでは、圧縮データが、インターフェースデバイス５Ｄ１経由で受信され、永続記憶装置５４Ｄ及び／又はメモリ５２Ｄに格納された上で（或いは、永続記憶装置５４Ｄに格納されること無く）、並列処理デバイス６１Ｄに入力される。並列処理デバイス６１Ｄが伸長器７１として実現される。伸長器７１（並列処理デバイス６１Ｄ）は、圧縮データを並列に伸長する。これにより、圧縮データを高速に伸長することができる。伸長されたデータが、インターフェースデバイス５Ｄ２経由でユーザ端末８０に送信される。

【0031】

圧縮対象のデータの種類は問わないでよい。本実施形態では、圧縮対象のデータは、画像（静止画）を表す画像データである。画像データは、Ｎ次元（Ｎは１以上の整数）のテンソルデータの一例である。圧縮対象の画像データが圧縮器７０に入力される。圧縮器７０に入力された画像データを「元画像データ」と言うことがある。圧縮器７０が、元画像データを非可逆圧縮し、伸長器７１が、非可逆圧縮された画像データを伸長する。

【0032】

なお例えば、計算機１０１Ｃ及び１０１Ｄが通信装置である場合には、永続記憶装置５４、５４Ｄを省略可能である。この場合、入力装置４０を介して計算機１０１Ｃへ入力された元画像データは、圧縮器７０での圧縮後に計算機１０１Ｄへ送信される。計算機１０１Ｄは、計算機１０１Ｃから受信した圧縮データを伸長器７１で伸長後にユーザ端末８０へ出力する。

【0033】

図２は、実施形態１に係る圧縮器７０及び伸長器７１の構成例を示す図である。

【0034】

圧縮器７０は、第１エンコーダフィルタ２０１、ＦＭ（Feature Map）タイラ２０２、第２エンコーダフィルタ２０３、クオンタイザ２０４、エントロピーエンコーダ２０５、及びエントロピーエスティメータ２１０を備える。これらの構成要素は、並列処理デバイス６１Ｃ上に実現される。エントロピーエスティメータ２１０は、異なるエントロピーエスティメータであっても、同一の分布の種類、mean、及びscaleのパラメータを与えることで同一のモデルを構成し、同一シンボルに対して同一の予測確率を出力できる。

【0035】

伸長器７１は、第１デコーダフィルタ２１１、ＦＭアンタイラ２１２、第２デコーダフィルタ２１３、エントロピーデコーダ２１５、及びエントロピーエスティメータ２１０を備える。これらの構成要素は、並列処理デバイス６１Ｄ上に実現される。

【0036】

並列処理デバイス６１では、メモリ６３に記憶されたデータが分割され、複数のコア６２によってテンソル演算が実行される。これにより、圧縮処理（及び伸長処理）が高速化する。

【0037】

第１エンコーダフィルタ２０１、第２エンコーダフィルタ２０３、エントロピーエンコーダ２０５、エントロピーエスティメータ２１０、第１デコーダフィルタ２１１、第２デコーダフィルタ２１３、及びエントロピーデコーダ２１５の各々は、本実施形態では、CNN（畳み込みニューラルネットワーク）を含んで構成される。具体的には、例えば、Residual Blockを含んだ多層のネットワークより構成する。例えば、第１エンコーダフィルタ２０１や第２エンコーダフィルタ２０３は、縦横方向に縮小する方向のネットワークとし、第１デコーダフィルタ２１１、第２デコーダフィルタ２１３は、縦横方向に拡大する方向のネットワークとしてもよい。

【0038】

第１エンコーダフィルタ２０１、第２エンコーダフィルタ２０３、エントロピーエンコーダ２０５、エントロピーエスティメータ２１０、第１デコーダフィルタ２１１、第２デコーダフィルタ２１３、及びエントロピーデコーダ２１５エントロピーの少なくとも一つは、単純なCNN以外の機械学習モデル（典型的には深層学習ベースのモデル）、例えば、GMM（Gaussian Mixture Models）、HMM（Hidden Markov Model）、SCFG（Stochastic Context-Free Grammar）、GAN（Generative Adversarial Nets）、VAE（Variational Auto Encoder）、Flowなどの可逆的な生成モデル、又は遺伝的プログラミングでもよい。また、モデルの情報量削減のためにMimic Model等のモデル圧縮が適用されてもよい。また、DCT（Discrete Cosine Transform）やWavelet変換など、圧縮処理で一般的に用いられる処理を用いてもよい。さらには、Optical Flowなどによる予測処理を用いてもよい。

【0039】

図３は、圧縮器７０によって圧縮された圧縮データ３００のデータ構造例を示す図である。図３に示す各値は一例である。

【0040】

圧縮器７０へ入力される圧縮前の画像データ及び伸長器７１から出力される伸長後の画像データ、第１エンコーダフィルタ２０１、第２エンコーダフィルタ２０３、エントロピーエスティメータ２１０、第１デコーダフィルタ２１１、第２デコーダフィルタ２１３が入出力するデータは、本実施形態では、四次元のテンソルデータとして一般化される。テンソルデータの各次元は、バッチ、チャネル数、高さ（縦幅）、および幅（横幅）で構成される。

【0041】

「元画像の高さＨ」は、元画像の高さ（縦幅）を意味する。「元画像の幅Ｗ」は、元画像の幅（横幅）を意味する。「ＦＭのバッチ数Ｂ」は、第２エンコーダフィルタ２０３が出力しその後クオンタイザ２０４によって処理された量子化後の特徴マップ（ＦＭ（Feature Map））の並列数を意味し、自然数である。Ｂ＝１は、並列なしを意味する。「ＦＭのチャネル数Ｃ_３」は、量子化後の特徴マップのチャネルの数を意味する。ここで、圧縮器７０へ入力される圧縮前の画像データ及び伸長器７１から出力される伸長後の画像データに関しては、例えば、ＲＧＢ画像の場合、バッチ数１、チャネル数３(Ｃ_１と表記)、高さＨ、及び幅Ｗである。

【0042】

圧縮器７０は、元画像データを符号化して、図３に示すような「元画像の高さ（Ｈ）」「元画像の幅（Ｗ）」「ＦＭのバッチ数（Ｂ）」「ＦＭのチャネル数（Ｃ_３）」「分割縦数（Ｄｈ）」「分割横数（Ｄｗ）」「分割高さ（Ｔｈ）」「分割幅（Ｔｗ）」のコンフィグ情報と、「マップ情報」と、「符号化データ」と、「元画像の付帯情報」とが対応付けて記録された圧縮データ３００を生成する。

【0043】

このうち「元画像の高さ（Ｈ）」、「元画像の幅（Ｗ）」、及び「元画像の付帯情報」は、元画像データから引き継がれる情報である。また「ＦＭのバッチ数（Ｂ）」、「ＦＭのチャネル数（Ｃ_３）」、「分割縦数（Ｄｈ）」、「分割横数（Ｄｗ）」、「分割高さ（Ｔｈ）」、及び「分割幅（Ｔｗ）」は、ＦＭタイラ２０２によって付与される情報である。

【0044】

「マップ情報」は、「符号化データ」のストリーム数（Ｒ個＝Ｂ×Ｃ）だけ存在し、圧縮データ内での「符号化データ」の各ストリームの位置及びデータ長を表す情報（Ｎ次のベクトル）である。「符号化データ」は、Ｒ個のエントロピー符号化データの各ストリームの未使用部分を除いて結合した長さＭのバイナリデータである。

【0045】

本実施形態によれば、圧縮器７０のフィルタが第１エンコーダフィルタ２０１（前段のエンコーダフィルタ）と第２エンコーダフィルタ２０３（後段のエンコーダフィルタ）とに分かれており、第１エンコーダフィルタ２０１及び第２エンコーダフィルタ２０３の間にＦＭタイラ２０２が存在する。

【0046】

図４を参照しつつ、ＦＭタイラ２０２によって実行されるＦＭタイリングについて説明する。図４は、ＦＭタイリングを説明するための図である。

【0047】

第１エンコーダフィルタ２０１に、四次元テンソルの元画像データが入力される。第１エンコーダフィルタ２０１は、チャネル数＝Ｃ_１個の第１エンコーダフィルタ処理前画像をメモリ６３Ｃに用意する。「Ｃ_１個の第１エンコーダフィルタ処理前画像」は、元画像データが表すＣ_１個のチャネル画像（Ｃ_１個の元画像）でもよい。または「Ｃ_１個の第１エンコーダフィルタ処理前画像」は、図４の（ａ）に示すように、元画像データのＣ_１個のチャネル画像にそれぞれパディング処理が施された結果としてのＣ_１個の画像（それぞれが所定の高さと幅を持ったＣ_１個の画像）でもよい。パディング処理では、例えば、分割高さＴｈ、分割幅Ｔｗ、分割縦数Ｄｈ、分割横数Ｄｗ（すなわちＦＭのバッチ数Ｂ＝Ｄｈ×Ｄｗ）の場合に、元画像のサイズが分割高さＴｈ×分割幅Ｔｗの倍数となるように、元画像に対してデータのパディングが行われる。以降パディング後の画像のサイズを、縦をＨ１、横をＷ１とする。

【0048】

図４の（ｂ）では、第１エンコーダフィルタ２０１は、Ｃ_１個の第１エンコーダフィルタ処理前画像を表す画像データに対して第１エンコーダフィルタ処理を行う。具体的には第１エンコーダフィルタ２０１は、Ｃ_１個の第１エンコーダフィルタ処理前画像を表す画像データを入力とし、当該画像データの次元及びバッチ数を変えずに、図４の（ｃ）に示すＣ_２個の第１エンコーダフィルタ処理後画像を表す特徴量マップ（第１ＦＭ）を出力する。つまり、Ｃ_１個の第１エンコーダフィルタ処理前画像を表す画像データは、第１エンコーダフィルタ２０１のCNNによりＣ_２個の第１エンコーダフィルタ処理後テンソルを表すＦＭに変換される。典型的には、Ｃ_２は、Ｃ_１より大きく、第１ＦＭの高さＨ_２及び幅Ｗ_２は、第１エンコーダフィルタ処理前画像の高さＨ_１及び幅Ｗ_１より小さい。例えば図４では、第１エンコーダフィルタ処理前画像の次元が１×Ｃ_１×Ｈ_１×Ｗ_１であり第１ＦＭの次元は、１×Ｃ_２×（Ｈ_１／２）×（Ｗ_１／２）である。

【0049】

第１ＦＭがＦＭタイラ２０２に入力される。ＦＭタイラ２０２は、入力された画像データの次元を変えずに、当該画像データが表すＣ_２個の第１エンコーダフィルタ処理後画像の各々を、分割縦数Ｄｈ及び分割横数Ｄｗ（すなわちＦＭのバッチ数Ｂ＝Ｄｈ×Ｄｗ）に従って、バッチ方向に分割する。つまり、Ｃ_２個の第１エンコーダフィルタ処理後テンソルの各々が、Ｂ個の画像にタイル状に分割される（例えばＢは２以上の整数）。従って、ＦＭタイラ２０２から出力されるＦＭ（タイル後ＦＭ）は、図４の（ｄ）に示すように、次元はＢ×Ｃ_２×（Ｔｈ／２）×（Ｔｗ／２）となる。

【0050】

図４の（ｅ）では、第２エンコーダフィルタ２０３は、タイル後ＦＭの第２エンコーダフィルタ処理を行う。具体的には第２エンコーダフィルタ２０３は、ＦＭタイラ２０２から出力されたタイル後ＦＭを入力とし、当該データが表すＣ_２個のテンソルのセットに対し、バッチ数Ｂ個の第２エンコーダフィルタ処理を複数個のコア６２Ｃにより並列に行う。第２エンコーダフィルタ処理の結果としてのデータ（分割した複数の特徴量マップ）が、第２エンコーダフィルタ２０３から出力される。以降、クオンタイザ２０４、エントロピーエンコーダ２０５、エントロピーエスティメータ２１０、エントロピーデコーダ２１５、及び第２デコーダフィルタ２１３において、Ｂ個のバッチの処理が複数個のコア６２Ｃによって並列に行われる。また、この例ではバッチ数は１枚の元画像から分割するように記載しているが、のちほど図５で示すように、複数の画像からタイルを集めてさらに多くのバッチで処理して、並列度を向上してもよい。

【0051】

第２エンコーダフィルタ２０３から出力されたデータが、クオンタイザ２０４に入力される。図４の（ｆ）では、クオンタイザ２０４は、当該データの量子化された特徴量マップ（ＦＭ（Feature Map））を生成する。クオンタイザ２０４が、例えば当該データに浮動小数点があれば、整数化することで、データを削減する。このようにして、量子化された特徴量マップが生成される。つまり、クオンタイザ２０４から出力されたデータは、例えば整数値の配列データである。また、以降の説明では、本実施形態における量子化された特徴量マップの４次元テンソルデータの形状を、[Ｂ×Ｃ_３×Ｈ_３×Ｗ_３]で表現する。例えば、Ｃ_３＝３２、Ｈ_３＝Ｔｈ／１６で、Ｗ_３＝Ｔｗ／１６などでもよい。Ｃ_３は要求されるビットレートなどに応じて、Ｃ_３＝６４，Ｃ_３＝１２８と増加させてもよいし、減少させてもよい。

【0052】

クオンタイザ２０４から出力されたデータ（量子化された特徴量マップ）は、エントロピーエスティメータ２１０に入力される。エントロピーエスティメータ２１０は、特徴量マップを用いて、自己回帰モデル等による予測や、その他の確率予測のために保存された情報、またはそれらを併用し、圧縮・伸長のデータ単位である各シンボルの確率分布ｆを予測し、確率分布ｆの累積分布関数ＣＤＦ（Cumulative Distribution Function）を算出する。確率分布ｆ及び累積分布関数ＣＤＦを予測確率（ＣＤＦ，ｆ）と呼ぶ。

【0053】

エントロピーエンコーダ２０５は、各シンボルの予測確率と、当該特徴量マップから直接算出した正解の各シンボルの出現確率とを基に、クロスエントロピーなどの確率を比較する関数を算出する。シンボルの予測確率と実際のシンボルの出現確率とのクロスエントロピーがエントロピーエンコーダ２０５による符号化の情報量になる。このため、エントロピーエスティメータ２１０の予測精度が圧縮率に影響する。

【0054】

クオンタイザ２０４から出力されたデータと、エントロピーエスティメータ２１０から出力されたデータが、エントロピーエンコーダ２０５に入力される。エントロピーエンコーダ２０５が、入力された特徴量マップに基づくシンボルと、エントロピーエスティメータ２１０からの予測確率とを基に、シンボルを符号化する。符号化されたデータ（ビットストリームデータ）の未使用部分を除いて結合したデータが、圧縮データ３００として出力される。出力された圧縮データ３００は、並列処理デバイス６１Ｃからプロセッサ５３Ｃに出力される。圧縮データ３００は、プロセッサ５３Ｃにより永続記憶装置５４Ｃに格納されてもよいし、計算機１０１Ｄに転送されプロセッサ５３Ｄにより永続記憶装置５４Ｄに格納されてもよい。

【0055】

元画像データの圧縮とは逆の流れで伸長が行われる。すなわち、エントロピーエンコーダ２０５から出力された圧縮データ３００と、エントロピーエスティメータ２１０から出力された予測確率とが、エントロピーデコーダ２１５に入力される。エントロピーデコーダ２１５は、圧縮データ３００と予測確率とを基に、ストリーム数Ｒ＝（Ｂ×Ｃ_３）の複数の復号データを出力する。復号データはエントロピーエスティメータ２１０にも入力され、シンボルの予測に使用される。これは、本実施形態で後述するSimple Lined Causal CNNでは、所定単位（分割縦数Ｄｈ×分割横数Ｄｗ×ＦＭのチャネル数Ｃ_３×量子化された特徴量マップの横幅Ｗ_３）のシンボル群ごとに復号のイテレーションが行なわれるが、エントロピーエスティメータ２１０が、前回復号化されたシンボル群を入力として、今回のシンボル群の予測確率を逐次的に生成するためである。

【0056】

エントロピーデコーダ２１５によって復号された複数の復号データは、第２デコーダフィルタ２１３に入力される。第２デコーダフィルタ２１３は、複数の復号データに対して第２デコーダフィルタ処理を行う。具体的には、第２デコーダフィルタ２１３は、エントロピーデコーダ２１５から出力された複数の復号データのサイズ（Ｂ×Ｃ_３×Ｈ_３×Ｗ_３）のテンソルを入力とし、バッチ数Ｂのフィルタリング（第２デコーダフィルタ処理）を複数個のコア６２Ｃにより並列に実行し、サイズ（Ｂ×Ｃ_２×（Ｔｈ／２）×（Ｔｗ／２））のテンソルに変換する。

【0057】

ＦＭアンタイラ２１２は、当該テンソルデータを、分割縦数Ｄｈ及び分割横数Ｄｗ（すなわちＦＭのバッチ数Ｂ＝Ｄｈ×Ｄｗ）に従って、タイル状になっていたデータのバッチ次元を統合する。つまり、Ｃ_２個の第２のデコード後テンソルの各々について、Ｂ個のバッチごとのタイル状になっているテンソルを一枚に統合する。従って、ＦＭアンタイラ２１２から出力されるテンソルデータのサイズは、例えば１×Ｃ_２×Ｈ_２×Ｗ_２となる。これを以降アンタイル後ＦＭと呼ぶ。

【0058】

第１デコーダフィルタ２１１は、アンタイル後ＦＭに対して、第１デコーダフィルタ処理を行う。具体的には、第１デコーダフィルタ２１１は、アンタイル後ＦＭを入力とし、第１デコーダフィルタ２１１によりＣ_１個の第１デコーダフィルタ処理後画像を表す出力画像データに変換され出力される。

【0059】

本実施形態では、第１エンコーダフィルタ２０１にて第１エンコーダフィルタ処理を実施後にＦＭタイラ２０２にてバッチ分割を実施することから、画像をバッチに分割後に圧縮処理を実施する従来技術と比較して、ニューラルネットワークのレセプティブフィールドを完全分離することがない。よって、バッチの分割箇所のアーティファクトを低減する効果が期待できる。

【0060】

本実施形態では、タイリングのサイズ（分割幅）を固定のサイズとして処理を実施しているが、何種類かの分割幅を設け、入力画像の領域ごとの特性に応じて、分割幅を変更し、分割幅の種類ごとに処理を並列化することで、最適化してもよい。その場合は、分割幅を画像の領域に対応付けて、圧縮データに記録する。

【0061】

図５は、実施形態１に係る圧縮処理例を示すフローチャートである。以下、計算機１０１Ｃが圧縮処理を行う例を説明するが、計算機１０１Ｄも圧縮器７０を備えることで、同様に圧縮処理を行うことができる。圧縮処理は、プロセッサ５３Ｃ、並列処理デバイス６１Ｃ、及び並列処理デバイス６１Ｃ上に実現された圧縮器７０によって、例えば圧縮対象のデータが計算機１０１Ｃへ入力されたことを契機として実行される。

【0062】

先ずステップＳ１０１では、プロセッサ５３Ｃは、圧縮対象の全ての画像を処理したか否かを判定する。プロセッサ５３Ｃは、圧縮対象の全ての画像を処理した場合（ステップＳ１０１ＹＥＳ）に本圧縮処理を終了し、圧縮対象の全ての画像を処理していない場合（ステップＳ１０１ＮＯ）にステップＳ１０２へ処理を移す。

【0063】

ステップＳ１０２では、プロセッサ５３Ｃは、次の圧縮対象の画像データを取得し、並列処理デバイス６１Ｃのメモリ６３Ｃに格納する。次にステップＳ１０３では、並列処理デバイス６１Ｃのコア６２Ｃは、メモリ６３Ｃに格納された圧縮対象の画像データに対してパディング処理（図４参照）を施す。パディング処理は省略可能である。

【0064】

次にステップＳ１０４では、第１エンコーダフィルタ２０１は、メモリ６３Ｃに格納された圧縮対象の画像データに対して第１エンコーダフィルタ処理を実施し、ＦＭを生成する。次にステップＳ１０５では、ＦＭタイラ２０２は、ステップＳ１０４で生成されたＦＭを予め決められたＦＭのバッチ数Ｂ（分割縦数Ｄｈ×分割横数Ｄｗ）のタイル（分割高さＴｈ、分割幅Ｔｗ）へ分割するＦＭタイリングを実施し、生成したタイル（分割した複数の特徴量マップ）を圧縮器７０内のキューに格納する。

【0065】

次にステップＳ１０６では、プロセッサ５３Ｃは、所定閾値以上のタイルがキュー上に存在する、又は、圧縮対象の全ての画像を処理した、の何れかであるか否かを判定する。プロセッサ５３Ｃは、所定閾値以上のタイルがキュー上に存在する、又は、圧縮対象の全ての画像を処理した、の何れかである場合（ステップＳ１０６ＹＥＳ）にステップＳ１０７へ処理を移し、所定閾値以上のタイルがキュー上に存在しない、及び、圧縮対象の全ての画像を処理していない場合（ステップＳ１０６ＮＯ）にステップＳ１０１へ処理を戻す。

【0066】

以降ステップＳ１０７～Ｓ１１１は、バッチ数Ｂｍ×チャネル数Ｃをデータストリームに関する最大並列数として並列処理される。

【0067】

ステップＳ１０７では、第２エンコーダフィルタ２０３は、キューからタイルを取り出して前述の所定閾値に基づいたバッチ数Ｂｍのバッチを作成する。ここでは、複数の入力画像の処理がバッチとしてまとめられ並列に処理を実行されうる。次にステップＳ１０８では、第２エンコーダフィルタ２０３は、ステップＳ１０７で作成したバッチに対して第２エンコーダフィルタ処理を施す。次にステップＳ１０９では、クオンタイザ２０４は、ステップＳ１０８で第２エンコーダフィルタ処理が施されたバッチに対して量子化処理（推論時）を実施する。ステップＳ１０９の詳細は、図６を参照して後述する。

【0068】

次にステップＳ１１０では、エントロピーエンコーダ２０５は、ステップＳ１１０で量子化処理を実施したバッチに対してエントロピー符号化処理を実施する。ステップＳ１１０の詳細は、図８を参照して後述する。

【0069】

次にステップＳ１１１では、エントロピーエンコーダ２０５は、圧縮データ作成処理を実行する。圧縮データ作成処理の詳細は、図１２を参照して後述する。ステップＳ１１１が終了すると、プロセッサ５３Ｃは、ステップＳ１０６へ処理を戻す。

【0070】

図６は、図５のステップＳ１０９の量子化処理（推論時）の詳細例を示すフローチャートである。一般にクオンタイザは、値を単純にラウンド処理するのみでは、出力結果の値の範囲が不定になる。出力結果の値の範囲が不定であると、後段のエントロピーエスティメータ２１０においてテンソル演算によるＣＤＦ算出が困難になる。そこで、クオンタイザ２０４は、その出力を一例として－１５～１６の所定範囲の３２シンボルに制限するようにclampする。

【0071】

先ずステップＳ１０９ａでは、クオンタイザ２０４は、ＦＭの値を例えば－１５～１６の所定範囲にclampする。次にステップＳ１０９ｂでは、クオンタイザ２０４は、ＦＭの値をラウンド処理する。

【0072】

図７は、量子化処理（学習時）例を示すフローチャートである。クオンタイザ２０４は、圧縮器７０のモデルの学習段階から、その出力を例えば－１５～１６の所定範囲の３２シンボルに制限するようにclampする。学習時のclampの所定範囲と、推論時のclampの所定範囲は、同一である。

【0073】

先ずステップＳ２０１では、並列処理デバイス６１Ｃのコア６２Ｃは、学習対象のＦＭの値を例えば－１５～１６の所定範囲にclampする。次にステップＳ２０２では、コア６２Ｃは、－０．５～０．５の乱数を生成する。次にステップＳ２０３では、コア６２Ｃは、ステップＳ２０２で生成した乱数を学習対象のＦＭの値に加算する。

【0074】

図８は、図５のステップＳ１１０のエントロピー符号化処理の詳細例を示すフローチャートである。エントロピー符号化処理では、複数の画像を入力とし、処理対象のタイルをキューイングすることで、小さなサイズの画像でも所定の多重度で実行できるようにし、また大きな画像でも所定の単位で処理ができるようになる。

【0075】

先ずステップＳ１１０ａでは、エントロピーエスティメータ２１０は、エントロピーエスティメータ処理を実行する。エントロピーエスティメータ処理の詳細は、図９を参照して後述する。次にステップＳ１１０ｂでは、エントロピーエスティメータ２１０は、ＣＤＦ作成処理を実行する。ＣＤＦ作成処理の詳細は、図１０を参照して後述する。

【0076】

次にステップＳ１１０ｃでは、エントロピーエンコーダ２０５は、エントロピーエンコーダステップ処理を実行する。エントロピーエンコーダステップ処理の詳細は、図１１を参照して後述する。また、本実施形態は後述するTensor ＡＮＳを用いるため、図１４に示すエントロピー復号処理とは逆の順番でエンコードしていく。そのために、ステップＳ１１０ａ，Ｓ１１０ｂでは、図１４に示す逐次的なデコード処理とは異なり、あらかじめエンコード対象のＣＤＦを、まとめて計算しておく。

【0077】

次にステップＳ１１０ｄでは、エントロピーエンコーダ２０５は、全てのシンボルをエンコード済みか否かを判定する。エントロピーエンコーダ２０５は、全てのシンボルをエンコード済みの場合（ステップＳ１１０ｄＹＥＳ）にステップＳ１１０ｅへ処理を移し、全てのシンボルをエンコード済みでない場合（ステップＳ１１０ｄＮＯ）にステップＳ１１０ｃへ処理を戻す。処理を戻したステップＳ１１０ｃでは、エントロピーエンコーダ２０５は、次のシンボル群を選択してエントロピーエンコーダステップ処理を実行する。

【0078】

ステップＳ１１０ｅでは、エントロピーエンコーダ２０５は、キューに残存しているデータを再ノーマライズする再ノーマライズ処理を所定回数だけ実行する。

【0079】

図９は、図８のステップＳ１１０ａのエントロピーエスティメータ処理の一例の概要を示す図である。図９では、Simple Lined Causal CNNを用いた本実施形態のエントロピーエスティメータ処理と、Pixel CNNを用いた従来手法との比較を示す。本実施形態では、符号化のためのCNNによるエントロピー予測を、CNNカーネルの重みを適切に決定することで、水平方向で並列実行できるようにして計算の冗長性を排除し、高速処理を実現する。

【0080】

図９の（ａ）に示すように、従来手法によるエントロピーエスティメータ処理（Pixel CNN）では、CNNカーネルの中で推定対象のピクセルの縦方向（垂直方向）と横方向（水平方向）のそれぞれで隣接するピクセルの重みを予測に用い、前回予測結果を今回予測に用いることから、１処理ずつ予測のイテレーションを繰り返す必要がある。

【0081】

一方、図９の（ｂ）に示すように、本実施形態によるエントロピーエスティメータ処理（Simple Lined Causal CNN）では、CNNカーネルのサイズを例えば１×３など、垂直方向のサイズを１で構成し、CNNカーネルへのテンソル入力時に、特に上部に一列、所定の与えられた初期値（例えばゼロ）の挿入処理を実施することにより、１段垂直下方向に入力テンソルをずらした上で入力することで、推定対象のピクセルの上部のピクセルに限定して予測に用いることが出来る。すなわち推定対象のピクセルの並び方向に対する垂直方向のピクセルのみに基づいて推定対象のピクセルのエントロピーを予測する。これにより、横方向の予測の依存性をなくし、前回予測結果を必要とせず今回予測を行うので、一括して処理を実施できる。つまり、デコード時に、量子化された特徴量マップについて、［Ｂｍ×Ｃ_３×１×Ｗ_３］の予測を同時に実行できる。したがって、デコード時の予測に必要なイテレーションの繰り返し回数は、Ｈ_３回のみに出来る。一方、エンコード時は、量子化された特徴量マップ全体で同時に処理可能である。さらに、無効パラメータを必要としないため、Pixel CNNと比較し、本来不要なゼロ乗算処理や加算処理を削減できる。

【0082】

また従来技術では、複数の階層を用いてコンテクスト予測器を生成していた。しかし、本実施形態では、利用する2D CNNカーネルを１層とし、コンテクスト予測器を単純化して構成できる。

【0083】

図１０は、図８のステップＳ１１０ｂのＣＤＦ作成処理のアルゴリズム例を示す図である。本アルゴリズムは、エントロピーエスティメータ処理の出力結果である確率分布のパラメータを入力とし、シンボルごとの累積分布関数ＣＤＦと、シンボルごとの予測確率ｆを計算する。本明細書では、Python（登録商標）ライクの表記でアルゴリズム例を記載している。

【0084】

シンボルごとの予測確率ｆは、本来は連続関数であるが、エントロピー符号化のために、整数表現に直す必要がある。予測確率ｆの整数表現化とは、デノミネータ係数ｄが与えられたときに、１以上の整数値で、その合計がｄ（通常の確率表現では１に相当）となるように、各シンボルの予測確率を生成することである。また、累積分布関数ＣＤＦは、ｆを累積表現にしたものである。

【0085】

本実施形態では、エントロピーエスティメータ処理の出力結果をパラメータとして、所定のシンボル予測のための確率分布関数を用いて確率分布を求める。シンボル予測のための確率分布関数として、例えばガウス分布を用いる。ただし、ガウス分布に限定されず、ロジスティクス分布等の他の確率分布関数を用いることができる。ガウス分布の場合には、平均がパラメータmeanに、分散がパラメータscaleにそれぞれ該当する。ロジスティック分布の場合には、位置がパラメータmeanに、尺度がパラメータscaleにそれぞれ該当する。また、分布のパラメータの一部のみにエントロピーエスティメータ処理の出力結果を用いてもよい。例えば、ガウス分布の場合、例えばmeanは定数（例えば０）に固定し、scaleのみにエントロピーエスティメータ処理の出力結果を使用することで、処理を単純化して高速化を図ってもよい。例えば、本実施形態では、meanとscaleの２種類のパラメータを利用すると想定し、エントロピーエスティメータ処理の出力結果のテンソルの形状は、[Ｂｍ×(２＊Ｃ_３)×Ｈ_３×Ｗ_３]となり、予測確率ｆおよび累積分布関数ＣＤＦの形状は、シンボルの総数をＳとすると、[Ｂｍ×Ｃ_３×Ｈ_３×Ｗ_３×Ｓ]の５次元となる。

【0086】

図１０におけるsymbolnumは、シンボルの総数Ｓで、例えばシンボルの取りうる値が－１５～１６の整数の場合、symbolnum＝３２となる。また、calc_cdfは、例えばガウス分布のmeanとscaleのパラメータ２種類のテンソルを入力として、入力したパラメータの確率分布の確率変数の値が－∞から０の位置までの累積確率を算出する関数である。ガウス分布の場合は、例えば、誤差関数を使って算出することが可能である。

【0087】

図１０の１行目の処理では、パラメータmeanの値のバリエーションをsymbolnum個だけ予め用意しておき、各パラメータmeanについて並列処理でｆを計算することにより、４行目に示すようにテンソル演算を用いたＣＤＦの多重計算が可能になる。

【0088】

図１０の２行目では、symbolnum個のパラメータmeanの値のバリエーションごとにｆの整数値を算出する。ここで、確率の最小値が１であるため、最後に１を加算する。

【0089】

図１０の３行目では、symbolnum個のfの合計値をdとするため、最後のシンボルの確率を、デノミネータ係数ｄから、最後の１つ前のシンボルまでのｆの合計を減算することで算出する。

【0090】

図１０の４行目では、matmul（行列演算）により、ＣＤＦを算出する。ここで使用する行列matrixは、symbolnum×symbolnumの狭義上三角行列であり、これにより、ｆからＣＤＦをテンソル演算により並列に生成できる。

【0091】

図１０の５行目では、生成したｆ及びＣＤＦを出力する。

【0092】

図１１は、図８のステップＳ１１０ｃのエントロピーエンコーダステップ処理のアルゴリズム例を示す図である。本実施形態では、テンソル演算によりＡＮＳ（Asymmetric Numeral Systems）を実装する、Tensor ＡＮＳを用いる。図１１中のｄは、図１０と同様にデノミネータ係数、Ｌは最大符号長、ｋは繰り返し回数、ｎは正規化係数である。また、以降、テンソルを表す変数を説明する。変数名のあとのカッコは、本実施形態におけるテンソルの形状を表す。図１１の１行目の引数ｘ［Ｂｍ×Ｃ_３］はエンコード中の状態変数、s［Ｂｍ×Ｃ_３］は対象のシンボル、f［Ｂｍ×Ｃ_３×Ｓ］はシンボルごとのエントロピーエスティメータ２１０による予測確率、ＣＤＦ［Ｂｍ×Ｃ_３×Ｓ］はシンボルごとの累積確率密度分布、enc［Ｂ_ｍ×Ｃ_３×Ｎ］はエンコード対象のデータストリーム、p［Ｂｍ×Ｃ_３］はポインタ（エンコード処理の現在位置、及び有効なデータ量）を表す。encの定義におけるＮは、データストリームの長さであり、十分長いものとする。データストリームの一要素はlog₂(n)＊Ｎビットであり、それが最大Ｎ個で構成される。例えば、Ｎ＝Ｈ_３×Ｗ_３としてもよい。ＡＮＳでは、一般に、符号計算の効率化のため、状態変数ｘの上限値が定められており、データストリームに所定のサイズ（正規化係数ｎについてlog₂(n)ビット）のデータを書き込み、ｘから取り除くことで、ｘの値の範囲を、（ｎ＊Ｌ）＞ｘ≧Ｌとなるように、制御する。その処理を一般に、renormalizeと呼ぶ。アルゴリズム中のｘ_ｕ［Ｂｍ×Ｃ_３］は、その制御におけるｘの上限値であり、ｎ＊（Ｌ／ｄ）＊ｆ［ｓ］により算出できる。

【0093】

図１１の１行目は、２～５行目をｋ回繰り返すことを示す。

【0094】

従来技術では、renormalize対象判定のため条件分岐を必要とする。一方、本実施形態の提案手法（Tensor ＡＮＳ）では、図１１の２行目に示すように、renormalize対象かどうかを、clampにより生成した存在可否値existを用いることで判別する。そして図１１の３行目に示すように、ｐの更新をexistとの単純な和で処理できる。そして、また図１１の４行目に示すように、存在可否値existと、状態ｘを正規化係数ｎで除算した際の剰余との積から、renormalizeの実行要否を含めた処理を、テンソル上の要素ごとの積和演算で処理できるようにした。それにより、renormalize対象判定のための条件分岐を不要として、テンソル演算で高速多重処理を可能とした。具体的には、Tensor ＡＮＳでは、Ｂｍ×Ｃ_３個のデータストリームを同時並行的に処理が可能であり、前述したＦＭタイラなどにより、並列度を各段に向上させることができ、処理の高速化が可能である。

【0095】

なおここでのclampとは、対象値を０～１の範囲に制限する処理であり、具体的には、０未満の値は０となり、１より大きい値は１に変換される。特に本実施形態の提案手法で用いる範囲では、値は整数となるため、clampの結果は０又は１となる。

【0096】

以上の手法により、renormalizeのための条件分岐を不要として、テンソル演算上でエントロピー符号化の高速多重実行を可能とした。

【0097】

また図１１の４行目のencに対するインデックスとしてｐを指定しているが、その実装として、scatter_addを使用できる。scatter_addは、インデックスを指定して所定のテンソルを加算したテンソルを作成する処理である。

【0098】

また、ｆやＣＤＦなど、他のインデックスによるアクセスの方法としては、gatherを使用できる。gatherは、インデックスを指定して使用し、指定したインデックスのテンソルを収集したテンソルを作成する処理である。これらの処理もＢｍ×Ｃ_３個のデータストリームを並列で処理可能である。また、その他の方法としては、これらのインデックスのone-hot-vectorを作成し、要素ごとに積演算と総和を計算する処理により、テンソル演算可能とすることも可能である。

【0099】

与えられた確率ｙから、ＣＤＦに基づき対応するシンボルをサーチするsymbol処理については、clampを用いて、ＣＤＦからｙを減算した値の値域を０から1に制限したうえで、総和を算出することにより、シンボル（ＣＤＦのインデックス）を計算した。

【0100】

以上のように、すべてのオペレーションをテンソル演算で実装することにより、バッチやチャネルなどの次元において、演算の多重化を実現できる。

【0101】

図１２は、図５のステップＳ１１１の圧縮データ作成処理の一例の概要を示す図である。

【0102】

例えば図１１に示すエントロピーエンコーダステップ処理において得られたテンソルデータencに含まれる未使用部分データｃ１～ｃｍを前詰めし符号化部分データｂ１～ｂｍ（圧縮済みタイル）を繋げて符号化データ（圧縮データ）とする。また各符号化部分データｂ１～ｂｍのそれぞれの長さｐをマップ情報とする（図３参照）。

【0103】

なお符号化データの復号時は、マップ情報から各符号化データの符号化部分データｂ１～ｂｍを取り出し、未使用部分データｃ１～ｃｍを付加してテンソルデータencを得る。

【0104】

図１３は、実施形態１に係る伸長処理例を示すフローチャートである。以下、計算機１０１Ｄが伸長処理を行う例を説明するが、計算機１０１Ｃも同様に伸長器７１を備えることで伸長処理を行うことができる。伸長処理は、プロセッサ５３Ｄ、並列処理デバイス６１Ｄ、及び並列処理デバイス６１Ｄ上に実現された伸長器７１によって、例えば伸長対象データが計算機１０１Ｄへ入力されたことを契機として実行される。

【0105】

先ずステップＳ３０１では、プロセッサ５３Ｄは、伸長対象の全ての圧縮データを処理したか否かを判定する。プロセッサ５３Ｄは、伸長対象の全ての圧縮データを処理した場合（ステップＳ３０１ＹＥＳ）に本伸長処理を終了し、伸長対象の全ての圧縮データを処理していない場合（ステップＳ３０１ＮＯ）にステップＳ３０２へ処理を移す。

【0106】

ステップＳ３０２では、プロセッサ５３Ｄは、次の伸長対象の圧縮データを取得し、並列処理デバイス６１Ｄのメモリ６３Ｄに格納する。次にステップＳ３０３では、並列処理デバイス６１Ｄのコア６２Ｄは、メモリ６３Ｄに格納された伸長対象の圧縮データをマップ情報をもとに展開して圧縮済みタイル（符号化されたバッチ）に分解する。この処理は、図１２に示した圧縮データ作成処理の逆の処理である。

【0107】

次にステップＳ３０４では、プロセッサ５３Ｄは、ステップＳ３０４で得られた圧縮済みタイルを、伸長器７１内のキューに追加する。

【0108】

次にステップＳ３０５では、プロセッサ５３Ｄは、所定閾値以上の圧縮済みタイルがキュー上に存在する、又は、伸長対象の全ての画像を処理した、の何れかであるか否かを判定する。プロセッサ５３Ｄは、所定閾値以上の圧縮済みタイルがキュー上に存在する、又は、伸長対象の全ての画像を処理した、の何れかである場合（ステップＳ３０５ＹＥＳ）にステップＳ３０６へ処理を移し、所定閾値以上の圧縮済みタイルがキュー上に存在しない、及び、伸長対象の全ての画像を処理していない場合（ステップＳ３０５ＮＯ）にステップＳ３１０へ処理を移す。

【0109】

以降ステップＳ３０６～Ｓ３０９は、バッチ数Ｂｍ×チャネル数Ｃだけデータストリームに関して並列処理される。

【0110】

ステップＳ３０６では、エントロピーデコーダ２１５は、キューから圧縮済みタイルを取り出して前述の所定閾値に基づいたバッチ数Ｂｍのバッチを作成する。ここでも、圧縮処理時と同様に、複数の入力画像のデータを同時に処理しうる。次にステップＳ３０７では、エントロピーデコーダ２１５は、ステップＳ３０６で作成したバッチに対してエントロピー復号処理を実施する。ステップＳ３０７の詳細は、図１４を参照して後述する。

【0111】

次にステップＳ３０８では、第２デコーダフィルタ２１３は、ステップＳ３０８でエントロピー復号処理を施したバッチに対して第２デコーダフィルタ処理を実施する。第２デコーダフィルタ処理は、量子化された特徴量マップを入力とし、第２デコーダフィルタ処理を複数個のコア６２Ｄにより並列に行う。

【0112】

次にステップＳ３０９では、ＦＭアンタイラ２１２は、ステップＳ３０９での伸長済みタイルをタイルキュー（タイルのためのキュー）に格納する。

【0113】

次にステップＳ３１０では、ＦＭアンタイラ２１２は、タイルキューに１枚分の画像の分割データが全て揃ったか否かを判定する。ＦＭアンタイラ２１２は、タイルキューに１枚分の画像の分割データが全て揃っている場合（ステップＳ３１０ＹＥＳ）にステップＳ３１１へ処理を移し、全てが揃っていない場合（ステップＳ３１０ＮＯ）にステップＳ３０５へ処理を戻す。

【0114】

ステップＳ３１１では、ＦＭアンタイラ２１２は、タイルキューから１枚分の伸長済みタイルを取り出し、ＦＭを結合する（ＦＭアンタイリング）。次にステップＳ３１２では、第１デコーダフィルタ２１１は、ステップＳ３１１でＦＭアンタイリングを実施して分割前の状態に復原されたテンソルデータに対して第１デコーダフィルタ処理を実施した画像データを得る。次にステップＳ３１３では、並列処理デバイス６１Ｄのコア６２Ｄは、圧縮前の元画像データに対してパディング処理が施されている場合には、ステップＳ３１２の第１デコーダフィルタ処理で得られた画像データからパディング除去を実施する。

【0115】

次にステップＳ３１４では、並列処理デバイス６１Ｄのコア６２Ｄは、伸長済みの画像データを生成して出力する。並列処理デバイス６１Ｄのコア６２Ｄは、ステップＳ３１４が終了すると、ステップＳ３１０へ処理を戻す。

【0116】

図１４は、エントロピー復号処理の詳細例を示すフローチャートである。

【0117】

先ずステップＳ３０７ａでは、エントロピーデコーダ２１５は、エンコード済みデータを引数ｘ（図１１で示したものと同様）に初期化するために、エンコード時の再ノーマライズを所定回数実行する。

【0118】

次にステップＳ３０７ｂでは、エントロピーエスティメータ２１０は、エントロピーエスティメータ処理を実行する。ステップＳ３０７ｂのエントロピーエスティメータ処理は、図８のステップＳ１１０ａ及び図９と同様の処理である。

【0119】

次にステップＳ３０７ｃでは、エントロピーエスティメータ２１０は、ＣＤＦ作成処理を実行する。ステップＳ３０７ｃのＣＤＦ作成処理は、図８のステップＳ１１０ｂ及び図１０と同様の処理である。

【0120】

次にステップＳ３０７ｄでは、エントロピーデコーダ２１５は、エントロピーデコーダステップ処理を実行する。エントロピーデコーダ処理の詳細は、図１５を参照して後述する。

【0121】

次にステップＳ３０７ｅでは、エントロピーデコーダ２１５は、エントロピーエスティメータ２１０の予測単位でデコード済みか否かを判定する。エントロピーデコーダ２１５は、エントロピーエスティメータ２１０の予測単位でデコード済みの場合（ステップＳ３０７ｅ）にステップＳ３０７ｆへ処理を移し、エントロピーエスティメータ２１０の予測単位でデコード済みでない場合（ステップＳ３０７ｅＮＯ）に次のシンボル群のデコードを実行すべくステップＳ３０７ｄへ処理を戻す。本実施形態では、図９に示すように、エントロピーエスティメータ２１０の予測単位が１列ずつで並列処理されるので、ステップＳ３０７ｄ及びＳ３０７ｅのループが繰り返される。

【0122】

ステップＳ３０７ｆでは、エントロピーデコーダ２１５は、全てのシンボルをデコード済みか否かを判定する。エントロピーデコーダ２１５は、デコード済みの場合（ステップＳ３０７ｆＹＥＳ）に図１３のステップＳ３０８へ処理を移し、デコード済みでない場合（ステップＳ３０７ｆＮＯ）に次の予測単位の予測を実行すべくステップＳ３０７ｂへ処理を戻す。

【0123】

図１５は、図１４のステップＳ３０７ｄのエントロピーデコーダステップ処理のアルゴリズム例を示す図である。

【0124】

図１５の１行目は、２～４行目をｋ回繰り返すことを示す。図１５の２行目のfillは、エンコード時のアルゴリズムと同様に、renormalize処理を実施する必要かどうかを表す変数であり、これを活用してテンソル演算のみで実装できるようにした。また、２行目のclamp(ｐ)は、ｐがゼロの場合にも、再度renormalize処理を実施することを防ぐための処理であり、これにより不当なrenormalize処理やｐがマイナスに更新されてしまうことを抑止する。以上のようにして、エンコード時と同様に、すべてのオペレーションをテンソル演算で実装することにより、バッチやチャネルなどの次元において、演算の多重化を実現できる。また、すべてのオペレーションがテンソル演算で実装されているため、特別な並列処理デバイスに特化したプログラミングは必要なく、tensor演算を実装した機械学習のミドルウェア上に、容易に実装することが可能であり、並列処理デバイスにおいて効果的に並列性を容易に引き出すことが出来る。

【0125】

また、本実施形態での提案手法は、高速性を得るために、パラメータであるデノミネータ係数ｄと正規化係数ｎと最大符号長Ｌの調整が重要である。これらの値が最大のケースの影響を受けてrenormalizeの回数ｋが多くなると、それによって計算量が増加するためである。一般にｋは、ｋ＝ceil(log(ｄ)/log(ｎ))により算出できる。例えば、ｄ＝２^１２、ｎ＝２^８、Ｌ＝２^１６が圧縮率への影響が少なく、renormalizeの回数ｋも削減できる。この場合、renormalizeのフローは、ｋ＝２回実行すれば十分であるため、処理速度への影響は少ない。

【0126】

また、本実施形態においては、第一のエンコーダフィルタ、第二のエンコーダフィルタ、第一のデコーダフィルタ、第二のエンコーダフィルタ、エントロピーエスティメータなどにおいて、CNNを用いてもよいが、その学習においては、エントロピーエスティメータの出力するパラメータによって計算する確率分布と、エンコーダの出力するＦＭの値との交差エントロピーを算出することで、微分可能な形で理論的な平均ビットレートを算出し、またエンコーダの入力画像とデコーダの出力画像のディストーション（例えば、ＰＳＮＲ、またはＭＳ－ＳＳＩＭ、その他、微分可能な形で実装される画質指標でもよい）を算出し、前記平均ビットレートと前記ディストーションを、ラグランジュオプティマイザーなどにより両者のトレードオフをエンドツーエンドで最適化する学習を実行することができる。また、その学習においては、タイルの境界のアーティファクトを低減するため、タイルに対応する元データの大きさ（タイルの分割幅）よりも大きな画像データを学習データとして用いることが望ましい。

【0127】

また、本実施形態においては、積和演算量の多い第一のエンコーダフィルタ、第二のエンコーダフィルタ、第一のデコーダフィルタ、第二のエンコーダフィルタについて、精度は低いが高速な演算（例えば半精度浮動小数点による演算）により実装し、積和演算量の少ないエントロピーエスティメータについては、高精度な演算により実装することで、効率的に処理するようにしてもよい。

【0128】

［実施形態２］
実施形態２を説明する。その際、実施形態１との相違点を主に説明し、実施形態１との共通点については説明を省略又は簡略する。

【0129】

図１６は、実施形態２に係るエントロピーエスティメータ２１０Ｂ並びに関連する圧縮器７０Ｂ及び伸長器７１Ｂの一部の構成例を示す図である。圧縮器７０Ｂ及び伸長器７１Ｂは、実施形態１の圧縮器７０及び伸長器７１と比較してエントロピーエスティメータ２１０に代えてエントロピーエスティメータ２１０Ｂを備える。また圧縮器７０Ｂは、実施形態１の圧縮器７０と比較して、クオンタイザ２０４とエントロピーエンコーダ２０５との間にシャッフラー８０１Ｂ１を、エントロピーエスティメータ２１０Ｂとエントロピーエンコーダ２０５及びエントロピーデコーダ２１５との間にシャッフラー８０１Ｂ２をそれぞれ備える。シャッフラー８０１Ｂ１とシャッフラー８０１Ｂ２は同一でもよい。

【0130】

また伸長器７１Ｂは、エントロピーデコーダ２１５と第２デコーダフィルタ２１３の間にアンシャッフラー８０２Ｂを備える。

【0131】

エントロピーエスティメータ２１０Ｂは、エンコーダフィルタ２０１Ｂ、クオンタイザ２０４Ｂ、エントロピーエンコーダ２０５Ｂ、エントロピーエスティメータ２１０Ｂ１、エントロピーデコーダ２１５Ｂ、及びデコーダフィルタ２１１Ｂを備える。

【0132】

エンコーダフィルタ２０１Ｂは、図９のLined Causal CNNとは異なり、クオンタイザ２０４から入力された量子化されたＦＭ（入力ＦＭ）に対する予測確率（ＣＤＦ，ｆ）を超事前分布によって予測する。

【0133】

エンコーダフィルタ２０１Ｂは、入力ＦＭに対してエンコーダフィルタリング処理を実施する。クオンタイザ２０４Ｂは、クオンタイザ２０４と同様に、エンコーダフィルタ２０１Ｂによってエンコーダフィルタリング処理が実施されたＦＭの量子化を実施する。エントロピーエスティメータ２１０Ｂ１は、クオンタイザ２０４Ｂによって量子化されたＦＭを入力として予測確率（ＣＤＦ，ｆ）を予測する。エントロピーエスティメータ２１０Ｂ１は、図９の（ｂ）に示したLined causal CNNのコンテキストモデル、あるいは単純な静的な確率分布を用いて予測確率（ＣＤＦ，ｆ）を予測する。

【0134】

エントロピーエンコーダ２０５Ｂは、クオンタイザ２０４Ｂによって量子化されたＦＭから直接算出した正解の各シンボルの出現確率と、エントロピーエスティメータ２１０Ｃによって予測された予測確率（ＣＤＦ，ｆ）とに基づくクロスエントロピー等の符号化情報を得る。エントロピーエンコーダ２０５Ｂは、この符号化情報を超事前分布圧縮データ３００Ｂとして出力する。

【0135】

エントロピーデコーダ２１５Ｂは、エントロピーエスティメータ２１０Ｂ１からの予測確率（ＣＤＦ，ｆ）を入力として、超事前分布圧縮データ３００Ｂに対してエントロピーデコーダ処理を実施し、復号データを得る。前回の復号対象のシンボルの復号データは、今回の復号対象のシンボルの予測確率（ＣＤＦ，ｆ）の推定のために、エントロピーエスティメータ２１０Ｂ１へ入力される。

【0136】

デコーダフィルタ２１１Ｂは、エントロピーデコーダ２１５Ｂによる復号データに対してデコーダフィルタリング処理を実施し、入力ＦＭに対応する予測確率（ＣＤＦ，ｆ）を出力する。

【0137】

シャッフラー８０１Ｂ１及び８０１Ｂ２は、入力ＦＭと、入力ＦＭに対応する予測確率（ＣＤＦ，ｆ）とを、同じ順序となるようにそれぞれランダムにシャッフルする。シャッフルの方法は、再現可能な方法であれば、何れでもよい。また、予測確率（ＣＤＦ，ｆ）を基にビンパッキングのような方法で順序を変更してもよい。

【0138】

エントロピーエンコーダ２０５は、シャッフラー８０１Ｂ１及び８０１Ｂ２によって変更されたＦＭ及び予測確率の順序で、量子化されたＦＭに対してエントロピーエンコーダ処理を実施し、圧縮データ３００を生成する。エントロピーデコーダ２１５は、シャッフラー８０１Ｂ２によって変更された予測確率の順序で、圧縮データ３００を復号し、復号データを生成する。

【0139】

アンシャッフラー８０２Ｂは、エントロピーデコーダ２１５によって復号された復号データのシンボルの順序を、シャッフラー８０１Ｂ１及び８０１Ｂ２によるシャッフル前の順序へ戻す。

【0140】

このように、超事前分布を生成する手法を利用する場合、複数のシンボルの予測確率を一度に得るため、ランダムなシャッフルによって、分割単位である各バッチの平均エントロピーを均一化でき、マップ情報の情報量としてのオーバーヘッドを削減できる。

【0141】

また例えば、圧縮・伸長のニューラルネットワークのトレーニング時にＦＭに対して、所定量のdropoutを実施することで、多少のＦＭの値の誤差に対してロバストなモデルを学習できる。これにより、マップ情報として全ストリームのポインタｐの平均値のみ保持するようにして、平均値以上の位置にあるデータを所定の値としたＦＭを生成することで、データの復号を可能とし、マップ情報のデータ容量を非常に小さくすることも可能である。

【0142】

［実施形態３］
実施形態３を説明する。その際、実施形態１との相違点を主に説明し、実施形態１との共通点については説明を省略又は簡略する。実施形態３では、ＪＰＥＧフォーマットの画像データを取り扱う場合を説明する。

【0143】

図１７は、実施形態３に係る圧縮器７０Ｃ及び伸長器７１Ｃの構成例を示す図である。圧縮器７０Ｃは、実施形態１に係る圧縮器７０と比較して第１エンコーダフィルタ２０１に代えてHuffman復号化／テンソル化２０１Ｃを備える。また伸長器７１Ｃは、実施形態１に係る伸長器７１と比較して第１デコーダフィルタ２１１に代えてZigzag化／Huffman符号化２１１Ｃを備える。また圧縮器７０Ｃ及び伸長器７１Ｃは、実施形態１に係る圧縮器７０及び伸長器７１と比較してエントロピーエスティメータ２１０に代えてエントロピーエスティメータ２１０Ｃを備える。

【0144】

Huffman復号化／テンソル化２０１Ｃは、ＪＰＥＧフォーマットの画像データを離散コサイン逆変換（ＤＣＴ）の直前までHuffman復号化し、復号データとしてＤＣＴの次元（図１７の例では８ｘ８）を有するテンソルデータを得る。本実施形態では、テンソルデータは６次元であり、バッチ、チャネル、ＤＣＴ高さ、ＤＣＴ幅、高さ、幅の６次元を持つ。そしてHuffman復号化／テンソル化２０１Ｃは、テンソルデータを、分割高さ（Ｔｈ）×分割幅（Ｔｗ）の倍数になるようにパディングする。図１７の例では、入力画像として、２５６ピクセルを、Ｔｈ及びＴｗのサイズとしている。

【0145】

ＦＭタイラ２０２は、パディング済みのテンソルデータのバッチの次元を拡張する。図１７の例では、入力されたサイズ（１×３×８×８×Ｈ_２×Ｗ_２）のＦＭに対して、ＦＭタイラ２０２は、タイル状に縦横方向を分割し、バッチの次元とすることで、サイズ（（（Ｈ_２／３２）×（Ｗ_２／３２））×３×８×８×３２×３２）のＦＭを出力する。

【0146】

第２エンコーダフィルタ２０３Ｃは、4次元の構造を処理するため、例えば4D CNNカーネルや2D＋2DのCNNカーネルを用いてもよい。クオンタイザ２０４は、実施形態１と同様である。第２エンコーダフィルタ２０３Ｃおよびクオンタイザ２０４は、ＰＮＧなどの可逆圧縮フォーマットの場合は、省略される。

【0147】

エントロピーエスティメータ２１０Ｃは、四次元の構造をエントロピー推定するので、4D CNNカーネルを用いるが、2D＋2DのCNNカーネルであってもよい。また、クロマフォーマットが４：４：４以外の場合は、ＹＣｂＣｒのそれぞれでテンソルのサイズが異なる。そこで、異なるサイズのチャネルは分割し、分割したそれぞれのチャネルで符号化処理し、それらのチャネル間で相互に情報をやり取りし、例えば一方の復元結果を他方の復号化時の補助情報として使用する。例えば相対的にデータが小さい輝度成分Ｙのチャネルのデータの符号化処理及び復号処理を、相対的にデータが大きい青色差Ｃｂ及び赤色差Ｃｒのチャネルよりも先行して実行し、輝度成分Ｙのチャネルのデータの符号化処理又は復号処理による情報を、青色差Ｃｂ及び赤色差Ｃｒのチャネルの符号化処理又は復号処理における補助情報として用いることで、圧縮を効率化できる。

【0148】

エントロピーエンコーダ２０５、エントロピーデコーダ２１５は、実施形態１と同様である。第２デコーダフィルタ２１３Ｃは、４次元の構造を処理するため、例えば4D CNNカーネルや2D＋2DのCNNカーネルを用いてもよい。第２デコーダフィルタ２１３Ｃは、ＰＮＧなどの可逆圧縮フォーマットの場合は、省略される。ＦＭアンタイラ２１２は、上述したＦＭタイラ２０２と逆の処理を実施する。Zigzag化／Huffman符号化２１１Ｃは、入力データをZigzag化し、Huffman符号化することで、ＪＰＥＧ画像フォーマットを出力する。

【0149】

なお圧縮対象ファイルがＰＮＧ等の可逆フォーマットの場合は、“８×８”のＤＣＴ単位が存在しないので、2D CNNカーネルで処理する。また“８×８”のＤＣＴ単位を、別の次元として設けずに、チャネル次元に結合してもよい。

【0150】

図１８は、実施形態３に係る圧縮処理例を示す図である。図１８では、クロマフォーマット４：２：０、高さＨ_１＝５１２ピクセル、幅Ｗ_１＝７６８ピクセルのＪＰＥＧフォーマット画像データ４００を入力画像とし、分割高さ＝分割幅＝２５６ピクセルでタイリングする例を示す。

【0151】

実施形態３に係る圧縮処理では、輝度成分Ｙのチャネルと、青色差Ｃｂ及び赤色差Ｃｒのチャネルに分けて圧縮処理を行う。

【0152】

先ずステップＳ４０１では、Huffman復号化／テンソル化２０１Ｃは、ＪＰＥＧフォーマット画像データ４００を離散コサイン逆変換（ＤＣＴ）の直前までHuffman復号化し、輝度成分Ｙのチャネルと、青色差Ｃｂ及び赤色差Ｃｒのチャネルに分けてテンソル化する。ステップＳ４０１によって、次数＝１×１×（８×８）×（Ｈ_１／８）×（Ｗ_１／８）の輝度成分Ｙのチャネルの特徴量マップＦＭ（Ｙ）４０１ａが得られる。またステップＳ４０１によって、次数＝１×２×（８×８）×（Ｈ_１／１６）×（Ｗ_１／１６）の青色差Ｃｂ及び赤色差Ｃｒのチャネルの特徴量マップＦＭ（ＣｂＣｒ）４０１ｂが得られる。特徴量マップＦＭ（Ｙ）及びＦＭ（ＣｂＣｒ）は、ＤＣＴ単位の（８×８）の次元を持つ。

【0153】

次にステップＳ４０２では、Huffman復号化／テンソル化２０１Ｃは、５番目と６番目の次元（特徴量マップＦＭ（Ｙ）の場合は（Ｈ_１／８）と（Ｗ_１／８）が、特徴量マップＦＭ（ＣｂＣｒ）の場合は（Ｈ_１／１６）と（Ｗ_１／１６）がＪＰＥＧブロックサイズであるタイリングサイズ１６（分割高さＴｈ＝分割幅Ｔｗ）で割り切れるように、特徴量マップＦＭ（Ｙ）及びＦＭ（ＣｂＣｒ）をそれぞれパディングする。ステップＳ４０２によって、次数＝１×１×（８×８）×（Ｈ_２／８）×（Ｗ_２／８）の輝度成分Ｙのチャネルの特徴量マップＦＭ（Ｙ）４０２ａが得られる。またステップＳ４０１によって、次数＝１×２×（８×８）×（Ｈ_２／１６）×（Ｗ_２／１６）の青色差Ｃｂ及び赤色差Ｃｒのチャネルの特徴量マップＦＭ（ＣｂＣｒ）４０２ｂが得られる。

【0154】

次にステップＳ４０３では、ＦＭタイラ２０２は、バッチの次元（ＦＭのバッチ数Ｂ＝６）へタイリングし、次数＝６×１×（８×８）×３２×３２の輝度成分Ｙのチャネルの特徴量マップＦＭ（Ｙ）４０３ａと、次数＝６×２×（８×８）×１６×１６の青色差Ｃｂ及び赤色差Ｃｒのチャネルの特徴量マップＦＭ（ＣｂＣｒ）４０３ｂを得る。

【0155】

なおＪＰＥＧフォーマット画像データ４００を非可逆圧縮する場合には、図１７に示すように、特徴量マップＦＭ（Ｙ）４０３ａ及び特徴量マップＦＭ（ＣｂＣｒ）４０３ｂに対して、第２エンコーダフィルタ２０３での第２エンコーダフィルタ処理、及び、クオンタイザ２０４でのクオンタイズ処理を実施してもよい。

【0156】

次にステップＳ４０４では、エントロピーエンコーダ２０５は、特徴量マップＦＭ（ＣｂＣｒ）４０３ｂをエントロピー符号化し、データストリーム４０４ｂを作成する。

【0157】

次にステップＳ４０５では、エントロピーエンコーダ２０５は、特徴量マップＦＭ（ＣｂＣｒ）４０３ｂをエントロピー符号化した際の５番目と６番目の次元を例えば２倍にアップサンプリングして、特徴量マップＦＭ（Ｙ）４０３ａをエントロピー符号化する際の補助情報を作成する。

【0158】

次にステップＳ４０６では、エントロピーエンコーダ２０５は、ステップＳ４０５で作成された補助情報を用いて特徴量マップＦＭ（Ｙ）４０３ａをエントロピー符号化し、データストリーム４０６ａを作成する。

【0159】

特徴量マップＦＭ（ＣｂＣｒ）４０３ｂは、特徴量マップＦＭ（Ｙ）４０３ａよりもデータサイズが小さいので、特徴量マップＦＭ（Ｙ）４０３ａよりも先にエントロピー符号化し、その符号化情報を補助情報として特徴量マップＦＭ（Ｙ）４０３ａのエントロピー符号化に用いることで、特徴量マップＦＭ（Ｙ）４０３ａの圧縮率を向上させることができる。データサイズが小さい特徴量マップＦＭ（ＣｂＣｒ）４０３ｂの符号化を先に行い速やかに符号化を完了させておくことで、他のチャネルの特徴量マップ（Ｙ）４０３ａの符号化の際に速やかに補助情報を利用できる。

【0160】

次にステップＳ４０７では、エントロピーエンコーダ２０５は、エントロピーエスティメータ２１０Ｃからの予測確率（ＣＤＦ，ｆ）を基に圧縮データ作成処理を実施し、データストリーム４０６ａと４０４ｂから圧縮データ３００Ｃを作成する。

【0161】

なお図１８では、チャネルごとの符号化処理のみを例に説明したが、これに限らない。すなわち、相対的にデータが小さいチャネルのデータの符号化処理及び復号処理を、相対的にデータが大きいチャネルよりも先行して実行し、先行実施したチャネルのデータの符号化処理又は復号処理による情報を、他のチャネルの符号化処理又は復号処理における補助情報として用いてもよい。

【0162】

図１９は、実施形態３に係るエントロピーエスティメータ２１０Ｃの処理例を説明するための図である。

【0163】

エントロピーエスティメータ２１０Ｃは、処理速度向上のため、4D（四次元）Convolutionニューラルネットワーク処理を、４次元のうちのある２次元について第１の２次元のニューラルネットワークのカーネルを用いて2D Convolution処理を実施する。その後、残りの２次元について第２のニューラルネットワークのカーネルを用いて2D Convolution処理を実行する。

【0164】

例えば入力テンソルの次元がＢ×Ｃ×８×８×３２×３２の場合、先ず、エントロピーエスティメータ２１０Ｃは、第３次元及び第４次元のＤＣＴ次元（８×８）について、例えばカーネルサイズを３×３×１×１として、2D CNN処理Ｓ２１０Ｃ１を実施する。次にエントロピーエスティメータ２１０Ｃは、第５次元及び第６次元の空間次元（３２×３２）について、例えばカーネルサイズを１×１×３×３として、2D CNN処理Ｓ２１０Ｃ２を実施する。このようにして、エントロピーエスティメータ２１０Ｃは、次元Ｂ×Ｃ×８×８×３２×３２の入力テンソルを入力として、チャネルごとにmean及びscaleの２パラメータを持つ次元Ｂ×（Ｃ＊２）×８×８×３２×３２のパラメータのテンソルを出力する。

【0165】

このように、エントロピーエスティメータ２１０Ｃは、4D（四次元）Convolution処理を２つの2D Convolution処理に分けて段階的に実行することで、エントロピー予測の処理速度を向上させることができる。

【0166】

なお本発明は、上述の実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、かかる構成の削除に限らず、構成の置き換えや追加も可能である。また発明の趣旨を逸脱せず矛盾しない範囲で一方の実施形態の一部又は全部の構成及び処理を、他の実施形態に組合せてもよい。

【0167】

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、本発明は、実施例の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記録媒体をコンピュータに提供し、そのコンピュータが備えるプロセッサが記録媒体に格納されたプログラムコードを読み出す。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記録媒体は本発明を構成することになる。このようなプログラムコードを供給するための記録媒体としては、例えば、フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ハードディスク、ＳＳＤ（Solid State Drive）、光ディスク、光磁気ディスク、ＣＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。本実施例に記載の機能を実現するプログラムコードは、あらゆるプログラム言語又はスクリプト言語で実装できる。

【0168】

上述の実施例において、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。

【符号の説明】

【0169】

Ｓ：データ圧縮伸長システム、１０１，１０１Ｃ，１０１Ｄ：計算機、６１Ｃ，６１Ｄ：並列処理デバイス、７０，７０Ｂ，７０Ｃ：圧縮器、７１，７１Ｂ，７１Ｃ：伸長器、２０１：第１エンコーダフィルタ、２０１Ｃ：Huffman復号化／テンソル化、２０２：ＦＭタイラ（結合器）、２０３：第２エンコーダフィルタ、２０４：クオンタイザ、２０５：エントロピーエンコーダ（符号化器）、２１０，２１０Ｂ，２１０Ｂ１,２１０Ｃ：エントロピーエスティメータ（見積器）、２１１：第１デコーダフィルタ、２１１Ｃ：Zigzag化／Huffman符号化、２１１：第１デコーダフィルタ、２１２：ＦＭアンタイラ（結合器）、２１３：第２デコーダフィルタ、２１５：エントロピーデコーダ（復号器）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】