(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024049115
(43)【公開日】2024-04-09
(54)【発明の名称】エンコーダ、データ処理方法、データ処理プログラム、データ処理システム、及びデコーダ
(51)【国際特許分類】
H03M 7/30 20060101AFI20240402BHJP
H04N 19/63 20140101ALI20240402BHJP
H03M 7/40 20060101ALI20240402BHJP
【FI】
H03M7/30 Z
H04N19/63
H03M7/40
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2022155380
(22)【出願日】2022-09-28
(71)【出願人】
【識別番号】398034168
【氏名又は名称】株式会社アクセル
(74)【代理人】
【識別番号】110000279
【氏名又は名称】弁理士法人ウィルフォート国際特許事務所
(72)【発明者】
【氏名】小島 悠貴
【テーマコード(参考)】
5C159
5J064
【Fターム(参考)】
5C159MA41
5J064BA09
5J064BB03
5J064BC05
5J064BC11
5J064BC16
5J064BC25
(57)【要約】
【課題】処理対象データの圧縮率を向上できるようにする。
【解決手段】エンコーダ10において、処理対象データを複数の部分周波帯域に分割するサブバンド分割部12と、少なくとも一部の部分周波帯域について、部分周波帯域の要素に基づく圧縮対象要素に含まれる複数の符号化対象シンボルを、直前のシンボルのエネルギーに基づいて、複数のカテゴリに分割する符号化制御部15と、複数の部分周波帯域の要素に基づく圧縮対象要素に含まれる符号化対象シンボルを符号化する複数の符号化器を有する符号化部16と、を有し、符号化器の少なくとも1つは、1つのカテゴリに含まれる圧縮対象要素の符号化対象シンボルと、カテゴリと関連が強い部分周波帯域の圧縮対象要素の符号化対象シンボルとを共通の符号を用いて符号化する共通符号化器であるように構成する。
【選択図】
図4
【特許請求の範囲】
【請求項1】
所定の処理対象データを圧縮するエンコーダであって、
処理対象データを複数の部分周波帯域に分割する周波帯域分割部と、
少なくとも一部の部分周波帯域について、前記部分周波帯域の要素に基づく圧縮対象要素に含まれる複数の符号化対象シンボルを、前記符号化対象シンボルの直前のシンボルのエネルギーに基づいて、複数のカテゴリに分割するカテゴリ分割部と、
前記複数の部分周波帯域の要素に基づく圧縮対象要素に含まれる符号化対象シンボルを符号化する複数の符号化器を有する符号化部と、を有し、
前記符号化器の少なくとも1つは、1つの前記カテゴリに含まれる圧縮対象要素の符号化対象シンボルと、前記カテゴリと関連が強い部分周波帯域の圧縮対象要素の符号化対象シンボルとを共通の符号を用いて符号化する共通符号化器である
エンコーダ。
【請求項2】
少なくとも1つの前記共通符号化器は、
前記1つの前記カテゴリに含まれる圧縮対象要素の符号化対象シンボルと、前記カテゴリと隣接する部分周波帯域のカテゴリの圧縮対象要素の符号化対象シンボルとを共通の符号を用いて符号化する共通符号化器を含む
請求項1に記載のエンコーダ。
【請求項3】
前記複数の符号化器は、
前記共通符号化器により符号化がされない前記カテゴリのそれぞれの圧縮対象要素の符号化対象シンボルを符号化するカテゴリ用符号化器と、を含む
請求項1に記載のエンコーダ。
【請求項4】
前記複数の符号化器は、
前記共通符号化器を含まない第1構成と、少なくとも一つの前記共通符号化器を含む第2構成と、を構成可能であり、
前記第1構成により、所定の判定用データを符号化したデータと、前記第1構成の前記複数の符号化器の符号帳を生成可能な付加情報とを含む第1圧縮データについてのデータ量と、前記第2構成により、所定の判定用データを符号化したデータと、前記第2構成の前記複数の符号化器の符号帳を生成可能な付加情報とを含む第2圧縮データのデータ量と、に基づいて、前記第1構成と、前記第2構成とのいずれの構成の圧縮率が高いかを判定する判定部をさらに含み、
前記符号化部は、前記判定部により圧縮率が高いと判定された構成により、前記処理対象データについての符号化を行う
請求項3に記載のエンコーダ。
【請求項5】
所定の処理対象データを圧縮するエンコーダによるデータ処理方法であって、
処理対象データを複数の部分周波帯域に分割し、
少なくとも一部の部分周波帯域について、前記部分周波帯域の要素に基づく圧縮対象要素に含まれる複数の符号化対象シンボルを、前記符号化対象シンボルの直前のシンボルの持つエネルギーに基づいて、複数のカテゴリに分割し、
複数の符号化器により前記複数の部分周波帯域の要素に基づく圧縮対象要素の符号化対象シンボルを符号化し、
前記符号化器の少なくとも1つは、1つの前記カテゴリに含まれる圧縮対象要素の符号化対象シンボルと、前記カテゴリと関連が強い部分周波帯域の圧縮対象要素の符号化対象シンボルとを共通の符号を用いて符号化する共通符号化器である
データ処理方法。
【請求項6】
所定の処理対象データを圧縮するエンコーダを構成するコンピュータに実行させるデータ処理プログラムであって、
前記コンピュータを、
処理対象データを複数の部分周波帯域に分割する周波帯域分割部と、
少なくとも一部の部分周波帯域について、前記部分周波帯域の要素に基づく圧縮対象要素に含まれる複数の符号化対象シンボルを、前記符号化対象シンボルの直前のシンボルの持つエネルギーに基づいて、複数のカテゴリに分割するカテゴリ分割部と、
前記複数の部分周波帯域の少なくとも一部の要素に基づく圧縮対象要素の符号化対象シンボルを符号化する複数の符号化器を有する符号化部と、して構成させ、
前記符号化器の少なくとも1つは、1つの前記カテゴリに含まれる圧縮対象要素の符号化対象シンボルと、前記カテゴリと関連が強い部分周波帯域の符号化対象シンボルとを共通の符号を用いて符号化する共通符号化器である
データ処理プログラム。
【請求項7】
所定の処理対象データを圧縮するエンコーダと、前記エンコーダにより圧縮されたデータをデコードするデコーダとを含むデータ処理システムであって、
前記エンコーダは、
処理対象データを複数の部分周波帯域に分割する周波帯域分割部と、
少なくとも一部の部分周波帯域について、前記部分周波帯域の要素に基づく圧縮対象要素に含まれる複数の符号化対象シンボルを、前記符号化対象シンボルの直前のシンボルの持つエネルギーに基づいて、複数のカテゴリに分割するカテゴリ分割部と、
前記複数の部分周波帯域の少なくとも一部の要素に基づく圧縮対象要素の符号化対象シンボルを符号化する複数の符号化器を有する符号化部と、
前記符号化された符号化対象シンボルを含む符号化データと、前記複数の符号化器に符号化による符号を特定可能な符号帳を生成可能な付加情報とを含む圧縮データを前記デコーダに送信するデータ送信部と、
を有し、
前記符号化器の少なくとも1つは、1つの前記カテゴリに含まれる圧縮対象要素の符号化対象シンボルと、前記カテゴリと隣接する部分周波帯域の圧縮対象要素の符号化対象シンボルとを共通の符号を用いて符号化する共通符号化器であり、
前記デコーダは、
前記圧縮データを受信するデータ受信部と、
前記圧縮データに含まれる前記付加情報に基づいて、前記符号化された符号化対象シンボルを復号する複数の復号器を有する復号部と、
前記復号部により復号された前記部分周波帯域の符号化対象シンボルに基づいて、前記処理対象データを再現する再現部と、
を有し、
前記復号器の少なくとも1つは、前記共通符号化器により符号化された符号化対象シンボルを復号する共通復号器である
データ処理システム。
【請求項8】
圧縮されたデータをデコードするデコーダであって、
処理対象データの符号化データと、符号化による符号を特定可能な符号帳を生成可能な付加情報とを含む圧縮データを受信するデータ受信部と、
前記付加情報に基づいて、前記符号化された符号化対象シンボルを復号する複数の復号器を有する復号部と、
前記復号部により復号された前記部分周波帯域の圧縮対象要素の符号化対象シンボルに基づいて、前記処理対象データを再現する再現部と、
を有し、
前記復号器の少なくとも1つは、前記処理対象データの少なくとも一部の部分周波帯域について、前記符号化対象シンボルの直前のシンボルの持つエネルギーに基づいて、分割された複数のカテゴリの中の1つのカテゴリに含まれる符号化対象シンボルと、前記カテゴリと関連の強い部分周波帯域の圧縮対象要素の符号化対象シンボルとが共通の符号を用いて符号化された符号化データに対して復号する共通復号器である
デコーダ。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えば、音声データや画像データ等の処理対象データの符号化技術に関する。
【背景技術】
【0002】
従来、画像や音声のデータを圧縮する技術として、予測あるいは周波数分解などの数理モデル化によって得られる情報を符号化対象シンボルとし、符号化対象シンボルに対してエントロピ符号化(最小冗長符号化)によりできるだけ短い符号を割り当てる複合方式の圧縮技術が知られている。
【0003】
また、画像や音声のデータの圧縮技術の一要素技術としてマルコフモデル圧縮が知られている。マルコフモデル圧縮は、入力系列において前後のシンボル間の相関関係を利用したモデル化である。すなわち、特定のシンボル列の次に出現するシンボルの確率を定義し、先行するシンボル列の要素数をモデルの次数とする。このため、1次マルコフモデル圧縮は、シンボルごとに出現確率分布を持ち、複数の符号化器及び復号器によって実装される。
【0004】
例えば、非特許文献1には、エントロピ符号としてカノニカルハフマン符号および算術符号を用いた1次マルコフモデル圧縮により少ない符号量でテキストデータや画像データを符号化できることが開示されている。
【0005】
また、画像や音声のデータの圧縮技術の他の要素技術として階層型サブバンド分割及びそれを利用した符号化方式である階層型サブバンド符号化が知られている。サブバンド符号化は、信号をいくつかの帯域にサブバンド分割してから、それぞれを量子化してエントロピ符号化する方式である。サブバンド分割は周波数分解を利用したモデル化の一種である。特に画像や音声のデータをサブバンド分割する場合、低周波帯域のエネルギーが大きくなる等の理由で、分割によって得られた低周波帯域側信号に対しサブバンド分割を再帰的に繰り返す階層型サブバンド分割が用いられることがある。
【0006】
例えば、特許文献1には、階層的にサブバンド分割を利用した階層型サブバンド符号化に基づいて、演算量が少なく画像の圧縮・伸張を行える技術が開示されている。特許文献1では、サブバンド分割にはアダマール変換が利用されている。
【0007】
また、非特許文献2には、JPEG2000において、周波数変換に階層型サブバンド分割(離散ウェーブレット変換)が採用されていることが開示されている。
【先行技術文献】
【特許文献】
【0008】
【非特許文献】
【0009】
【非特許文献1】種村昌之、徳永隆治、“半静的符号に基づく一次マルコフ圧縮の符号化効率改善、”電子情報通信学会論文誌(A),vol.J-88-A,No.12,pp.1552-1559(2005)
【非特許文献2】C. Christopoulos, A. Skodras, and T. Ebrahimi. The jpeg2000 still image coding system: an overview. IEEE Transactions on Consumer Electronics, Vol.46, No.4, pp.1103-1127,2000
【発明の概要】
【発明が解決しようとする課題】
【0010】
符号化処理において、半静的符号を用いた場合、符号帳を記述するための付加情報が必要となる。殊に半静的符号を利用するマルコフモデル圧縮においては、複数の符号化器や復号器で構成されるため、付加情報が膨大になってしまう問題がある。
【0011】
また、階層的サブバンド符号化を行う場合にはバンド毎に異なる統計的性質を持つ時空間系列データが生成される。統計的性質のかけ離れたデータ列を符号化対象シンボルとして単一のマルコフモデル圧縮器を用いると適切な符号割り当てが行えずに符号化効率が劣化する問題がある。一方、バンド毎に異なるマルコフモデル圧縮器を用いると、バンド毎に符号化器や復号器を備える必要があり、さらなる付加情報の膨大化を招き符号化効率が劣化するという問題がある。
【0012】
本発明は、上記事情に鑑みなされたものであり、その目的は、画像データや音声データ等の圧縮対象データの圧縮率を向上することのできる技術を提供することにある。
【課題を解決するための手段】
【0013】
上記目的を達成するため、一観点に係るエンコーダは、所定の処理対象データを圧縮するエンコーダであって、処理対象データを複数の部分周波帯域に分割する周波帯域分割部と、少なくとも一部の部分周波帯域について、前記部分周波帯域の要素に基づく圧縮対象要素に含まれる複数の符号化対象シンボルを、前記符号化対象シンボルの直前のシンボルのエネルギーに基づいて、複数のカテゴリに分割するカテゴリ分割部と、前記複数の部分周波帯域の要素に基づく圧縮対象要素に含まれる符号化対象シンボルを符号化する複数の符号化器を有する符号化部と、を有し、前記符号化器の少なくとも1つは、1つの前記カテゴリに含まれる圧縮対象要素の符号化対象シンボルと、前記カテゴリと関連が強い部分周波帯域の圧縮対象要素の符号化対象シンボルとを共通の符号を用いて符号化する共通符号化器である。
【発明の効果】
【0014】
本発明によれば、圧縮対象データの圧縮率を向上することができる。
【図面の簡単な説明】
【0015】
【
図1】
図1は、実施形態の概要に係るサブバンド分割の概要を説明する図である。
【
図2】
図2は、実施形態の概要に係る第1符号化処理を説明する図である。
【
図3】
図3は、実施形態の概要に係る第2符号化処理を説明する図である。
【
図4】
図4は、一実施形態に係る画像処理システムの全体構成図である。
【
図5】
図5は、一実施形態に係るサブバンド分割部の構成図である。
【
図6】
図6は、一実施形態に係る部分サブバンド分割部の構成図である。
【
図7】
図7は、一実施形態に係る予測残差処理部の構成図である。
【
図8】
図8は、一実施形態に係る一の階層の部分予測残差処理部の構成図である。
【
図9】
図9は、一実施形態に係る他の階層の部分予測残差処理部の構成図である。
【
図10】
図10は、一実施形態に係る帯域及びカテゴリの分割の一例を説明する図である。
【
図11】
図11は、一実施形態に係る帯域及びカテゴリの分割の他の例を説明する図である。
【
図12】
図12は、一実施形態に係る符号化部の第1構成例を説明する図である。
【
図13】
図13は、一実施形態に係る符号化部の第2構成例を説明する図である。
【
図14】
図14は、一実施形態に係る復号部の第1構成例を説明する図である。
【
図15】
図15は、一実施形態に係る復号部の第2構成例を説明する図である。
【
図17】
図17は、一実施形態に係る一の部分再現部の構成図である。
【
図18】
図18は、一実施形態に係る他の部分再現部の構成図である。
【
図19】
図19は、一実施形態に係るエンコード処理のフローチャートである。
【
図20】
図20は、一実施形態に係るデコード処理のフローチャートである。
【
図21】
図21は、一実施形態に係るコンピュータ装置の構成図である。
【発明を実施するための形態】
【0016】
実施形態について、図面を参照して説明する。なお、以下に説明する実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている諸要素及びその組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0017】
まず、実施形態に係る概要について説明する。
図1は、実施形態の概要に係るサブバンド分割の概要を説明する図である。
【0018】
本実施形態においては、エントロピ符号化を行う符号化器を周波数帯の異なるデータで共通化するようにしている。これによると、適切な符号割り当てを行いつつ、復号に必要な付加情報の膨大化を抑えることで符号化効率(圧縮効率)を高めることができる。
【0019】
ここで、自然な画像や音声のデータ(信号)には以下のような性質がある。(1)小さなエネルギーを持つ信号の時空間的に近い位置にある信号は小さな信号が存在しやすい。(2)大きなエネルギーを持つ信号の時空間的に近い位置にある信号は大きな信号が存在しやすい。(3)低周波帯域より高周波帯域のエネルギーが小さい。
【0020】
この性質を考慮し、(1)低周波帯域にある小さな信号に時空間的に近い位置にある信号を符号化する符号化器を共通化し、(2)高周波帯域の信号もしくは、高周波帯域にある大きな信号に時空間的に近い位置にある信号を符号化する符号化器を共通化する。
【0021】
本実施形態に係るデータ処理システム200は、圧縮処理の対象のデータ(処理対象データ)を入力する対象データ入力部201と、処理対象データに対して階層型サブバンド分割を行って複数の帯域のデータに分割するサブバンド分割部202とを含む。
【0022】
サブバンド分割部202は、各帯域に分割する複数のフィルタ211と、フィルタ211により分割された帯域におけるサンプリング間隔を調整してデータを間引く間引き処理部212とを含む。ここで、
図1に示すように、隣接する2つの帯域における低周波側の帯域を帯域Aとし、高周波数側の帯域Bとし、以下の符号化を行う符号化処理の説明を行う。
【0023】
符号化処理では、帯域A、Bに数理モデル化や量子化を行ってその信号を記述する符号化対象シンボル列を定める。符号化対象シンボル列が定まったら、帯域Aのシンボルを少なくとも2つにカテゴリ分ける。ここでは次に小さな信号の出現が一番期待できるシンボル、換言すれば、直前のシンボルが小さなエネルギーを持つ1以上の符号化対象シンボルを含むカテゴリをL、次に大きな信号の出現が一番期待できるシンボル、換言すれば、直前のシンボルが大きなエネルギーを持つ1以上の符号化対象シンボルを含むカテゴリをHとする。
【0024】
次いで、データ処理システム200は、それぞれのカテゴリに属するシンボルが出現した次に各符号化対象シンボルが出現する回数を数えて符号帳を作成する。
【0025】
図2は、実施形態の概要に係る第1符号化処理を説明する図である。
【0026】
符号帳220は、帯域220aと、カテゴリ220bと、シンボル220cと、出現回数220dとのカラムを含む。帯域220aには、分割された各サブバンドの帯域名が格納される。カテゴリ220bには、各サブバンドの帯域において分割されたカテゴリが格納される。シンボル220cには、カテゴリに属するシンボルの次に出現する可能性のある各符号化対象シンボルが格納される。出現回数220dには、行におけるカテゴリ220bのシンボルの次にシンボル220cの符号化対象シンボルが出現する回数(出現回数)が格納される。この符号帳220に基づいて、各符号化対象シンボルを符号化する符号語を決定することができる。なお、出現回数から符号語を作成する技術は公知であるので説明は省略する。
【0027】
ここで、データ処理システム200は、各帯域のカテゴリごとに、エントロピ符号化を行う符号化器を割り当てて、ぞれぞれの符号化器によりそのカテゴリのシンボル列を符号語に基づいて符号化する。次いで、データ処理システム200は、符号化器によって符号化された符号化データに対して、符号語を特定するための付加情報を付与した圧縮データを作成し、デコーダに送信する。なお、付加情報は、
図2に示すように、算術符号を用いる場合には、出現回数であり、例えば、カノニカルハフマン符号を用いる場合には、各シンボルの符号長である。
【0028】
また、データ処理システム200は、
図3に示す符号帳を作成してもよい。
【0029】
図3は、実施形態の概要に係る第2符号化処理を説明する図である。
【0030】
符号帳230は、帯域230aと、カテゴリ230bと、シンボル230cと、出現回数230dとのカラムを含む。各カラムは、符号帳220の同名のカラムと同じである。符号帳230においては、帯域AのLカテゴリのシンボルの次に各符号化対象シンボルが出現した回数を、帯域Aと関連性が強い、隣接する帯域BのHカテゴリのシンボルの次に各符号化対象シンボルが出現した回数と合算している。
【0031】
この場合には、データ処理システム200は、複数の帯域のカテゴリについての出現回数を合算した複数のカテゴリ(帯域BのHカテゴリ及び帯域AのLカテゴリのシンボル)に対しては、一つの符号化器(共通符号化器)により符号語に基づいて符号化する。なお、合算していないカテゴリについては、各帯域のカテゴリごとに、符号化器を割り当てて符号化する。次いで、データ処理システム200は、符号化器によって符号化された符号化データに対して、符号語を特定するための付加情報を付与した圧縮データを作成し、デコーダに送信する。なお、付加情報は、
図3に示すように、算術符号を用いる場合には、出現回数であり、例えば、カノニカルハフマン符号を用いる場合には、各シンボルの符号長である。この第2符号化処理においては、必要とする符号化器数を低減することができ、付加情報のデータ量を低減することができるので、デコーダに送信する圧縮データの圧縮率を向上することができる。
【0032】
なお、データ処理システム200のデコーダ側では、付加情報を利用して符号帳を作成することができ、これにより符合化器で用いられた符号語の割り当てを特定することができる。デコーダでは、特定された符号語の割り当て則に基づいて、圧縮データの符号化データの符号列からシンボル列を復号する。
【0033】
次に、一実施形態に係る画像処理システムについて詳細に説明する。
【0034】
図4は、一実施形態に係る画像処理システムの全体構成図である。
【0035】
画像処理システム1は、データ処理システムの一例であり、エンコーダ10と、デコーダ30とを備える。エンコーダ10とデコーダ30とは、ネットワーク50を介して接続されている。ネットワーク50は、例えば、Local Area Netowork(LAN)や、Wide Area Network(WAN)等である。
【0036】
エンコーダ10は、対象データ入力部11と、周波帯域分割部の一例としてのサブバンド分割部12と、予測残差処理部14と、カテゴリ分割部及び判定部の一例としての符号化制御部15と、符号化部16と、データ送信部の一例としての圧縮データ出力部18と、を有する。
【0037】
対象データ入力部11は、圧縮対象の画像(処理対象データ)を入力する。対象画像は、例えば、静止画像であってもよく、動画像の1フレームの画像であってもよい。対象画像は、エンコーダ10内の補助記憶装置106(
図21参照)から取得するようにしてもよく、或いは、図示しない撮像装置から取得するようにしてもよい。
【0038】
サブバンド分割部12は、処理対象データに対して階層型サブバンド分割を行って複数の帯域のデータに分割する。
【0039】
図5は、一実施形態に係るサブバンド分割部の構成図である。
【0040】
サブバンド分割部12は、複数の部分サブバンド分割部12-n(12-0,12-1,12-2,12-3)を含む。
【0041】
部分サブバンド分割部12-nは、入力データδnを入力して、αn+1、βn+1、γn+1、δn+1を出力する。
【0042】
ここで、αn+1は、入力データδnについての横方向高周波帯域データであり、βn+1は、入力データδnについての縦方向高周波帯域データであり、γn+1は、入力データδnについての斜方向高周波帯域データであり、δn+1は、入力データδnについての低周波帯域データである。また、δ0は、対象データ入力部11が入力した処理対象データである。
【0043】
図6は、一実施形態に係る部分サブバンド分割部の構成図である。
【0044】
部分サブバンド分割部12-nは、縦方向ローパスフィルタ(h縦)121と、縦方向間引部(2↓縦)122と、横方向ローパスフィルタ(h横)123と、横方向間引部(2↓横)124と、横方向ハイパスフィルタ(g横)125と、横方向間引部126と、縦方向ハイパスフィルタ(g縦)129と、縦方向間引部130と、横方向ローパスフィルタ131と、横方向間引部132と、横方向ハイパスフィルタ133と、横方向間引部134と、を含む。
【0045】
縦方向ローパスフィルタ121は、入力データδnについての縦方向にローパスフィルタをかける処理を行う。具体的には、縦方向ローパスフィルタ121は、入力データδnに対して、式(1)に示す関数h[x]による畳み込み処理を行う。
【0046】
【0047】
ここで、入力データδnの縦方向の座標mに対する値(データ値)をS[m]とすると、座標mにおける畳み込み処理により得られる結果(s*h)[m]は、式(2)に示すようになる。
【0048】
【0049】
この畳み込み処理では、入力データに対して、隣り合う座標のデータ値の和に関する値が算出される。この算出結果は、入力データにおける低周波成分に相当する。
【0050】
縦方向ハイパスフィルタ129は、入力データδnについての縦方向にハイパスフィルタをかける処理を行う。具体的には、縦方向ハイパスフィルタ129は、入力データδnに対して、式(3)に示す関数g[x]による畳み込み処理を行う。ここで、関数h及び関数gとして、Haar wavelet基底を用いると、アダマール変換と呼ばれる。
【0051】
【0052】
ここで、入力データδnの縦方向の座標mに対するデータ値をS[m]とすると、座標mにおける畳み込み処理により得られる結果(s*g)[m]は、式(4)に示すようになる。
【0053】
【0054】
この畳み込み処理では、入力データに対して、隣り合う座標のデータ値の差に関する値が算出される。この算出結果は、入力データにおける高周波成分に相当する。
【0055】
縦方向間引部122,130は、入力されるデータに対して縦方向に2:1の間引き処理、すなわち、縦方向の2つのデータ値を1つのデータ値に間引く処理を行う。
【0056】
横方向ローパスフィルタ123,131は、入力されるデータについての横方向にローパスフィルタをかける処理を行う。横方向ローパスフィルタ123,131による処理は、縦方向ローパスフィルタ121の縦方向の処理を、横方向の処理に変えたものである。
【0057】
横方向ハイパスフィルタ125,133は、入力されるデータについての横方向にハイパスフィルタをかける処理を行う。横方向ハイパスフィルタ125,133による処理は、縦方向ハイパスフィルタ129の縦方向の処理を、横方向の処理に変えたものである。
【0058】
横方向間引部124,126,132,134は、入力されるデータに対して横方向に2:1の間引き処理、すなわち、横方向の2つのデータ値を1つのデータ値に間引く処理を行う。
【0059】
部分サブバンド分割部12-nでは、入力データδnが、縦方向ローパスフィルタ121、縦方向間引部122、横方向ローパスフィルタ123、及び横方向間引部124を介して、低周波帯域データδn+1に変換されて出力される。また、部分サブバンド分割部12-nでは、入力データδnが、縦方向ローパスフィルタ121、縦方向間引部122、横方向ハイパスフィルタ125、及び横方向間引部126を介して、横方向高周波帯域データαn+1に変換されて出力される。また、部分サブバンド分割部12-nでは、入力データδnが、縦方向ハイパスフィルタ129、縦方向間引部130、横方向ローパスフィルタ131、及び横方向間引部132を介して、縦方向高周波帯域データβn+1に変換されて出力される。また、部分サブバンド分割部12-nでは、入力データδnは、縦方向ハイパスフィルタ129、縦方向間引部130、横方向ハイパスフィルタ133、及び横方向間引部134を介して、斜方向高周波帯域データγn+1に変換されて出力される。部分サブバンド分割部12-nでは、例えば、入力データδnを640×640の2次元データすると、横方向高周波帯域データαn+1、縦方向高周波帯域データβn+1、斜方向高周波帯域データγn+1は、320×320の2次元データとなる。
【0060】
図4の説明に戻り、予測残差処理部14は、各帯域のデータについての予測値との差分(予測残差:圧縮対象要素)を算出する予測残差処理を行う。
【0061】
図7は、一実施形態に係る予測残差処理部の構成図である。
【0062】
予測残差処理部14は、部分予測残差処理部14-4と、部分予測残差処理部14-3と、部分予測残差処理部14-2と、部分予測残差処理部14-1と、を含む。
【0063】
部分予測残差処理部14-4は、{α4,β4,γ4,δ4}を入力とし、{α・
4,β・
4,γ・
4}と,δ・
4と、δ’3と、を出力する。部分予測残差処理部14-3は、{α3,β3,γ3}とδ’3とを入力とし、{α・
3,β・
3,γ・
3}とδ’2と、を出力する。部分予測残差処理部14-2は、{α2,β2,γ2}とδ’2とを入力とし、{α・
2,β・
2,γ・
2}とδ’1と、を出力する。部分予測残差処理部14-1は、{α1,β1,γ1}とδ’1とを入力とし、{α・
1,β・
1,γ・
1}を出力する。
【0064】
ここで、{α・
n,β・
n,γ・
n,δ・
n}は、{αn,βn,γn,δn}についての予測残差を量子化したものである。δ’nは、デコーダにおけるδnの再現値である。
【0065】
予測残差処理部14は、{α・
1,β・
1,γ・
1},{α・
2,β・
2,γ・
2},{α・
3,β・
3,γ・
3}, {α・
4,β・
4,γ・
4},δ・
4を出力することとなる。
【0066】
図8は、一実施形態に係る一の階層の部分予測残差処理部の構成図である。
【0067】
部分予測残差処理部14-4は、DPCM(差分パルス符号変調)エンコーダ141と、ACP(交流成分予測)部142と、演算部143と、量子化部144と、逆量子化部145と、演算部146と、ACP部147と、部分サブバンド合成部148と、を含む。
【0068】
DPCMエンコーダ141は、差分パルス符号変調処理を実行可能であり、δ4を入力して、デコーダでの再現値δ’4と、予測残差δ・
4を出力する。
【0069】
ACP部142,147は、再現値δ’4を入力し、交流成分予測により、{α~
4,β~
4,γ~
4}を算出する。{α~
4,β~
4,γ~
4}は、交流成分予測で予測された{α4,β4,γ4}についての予測値である。交流成分予測としては、特許文献1に開示された交流成分予測を用いることができる。なお、ACP部142,147は、δ4を入力し、このδ4から交流成分予測により、{α~
4,β~
4,γ~
4}を算出してもよい。
【0070】
演算部143は、{α4,β4,γ4}から予測値{α~
4,β~
4,γ~
4}を減算することにより、予測残差を算出する。
【0071】
量子化部144は、演算部143で算出された予測残差に対して量子化を行い、{α・
4,β・
4,γ・
4}を出力する。逆量子化部145は、{α・
4,β・
4,γ・
4}に対して逆量子化を行って出力する。
【0072】
演算部146は、逆量子化部145による逆量子化の結果に対して、予測値{α~
4,β~
4,γ~
4}を加算することにより、再現値{α’4,β’4,γ’4}を算出する。
【0073】
部分サブバンド合成部148は、再現値δ’4と再現値{α’4,β’4,γ’4}とを入力して、部分サブバンド分割部12-nにおけるサブバンド分割処理の逆変換を行って、再現値δ’3を出力する。
【0074】
図9は、一実施形態に係る他の階層の部分予測残差処理部の構成図である。
【0075】
部分予測残差処理部14-n(ここでは、nは、1~3の整数)は、ACP(交流成分予測)部142と、演算部143と、量子化部144と、逆量子化部145と、演算部146と、ACP部147と、部分サブバンド合成部148と、を含む。なお、部分予測残差処理部14-nでは、下位の部分予測残差処理部14-n+1からデコーダでの再現値δ’nを取得できるので、DPCMエンコーダ141を備えていない。
【0076】
ACP部142,147は、再現値δ’nを入力し、交流成分予測により、{α~
n,β~
n,γ~
n}を算出する。{α~
n,β~
n,γ~
n}は、交流成分予測で予測された{αn,βn,γn}についての予測値である。交流成分予測としては、特許文献1に開示された交流成分予測を用いることができる。
【0077】
演算部143は、{αn,βn,γn}から予測値{α~
n,β~
n,γ~
n}を減算することにより、予測残差を算出する。
【0078】
量子化部144は、演算部143で算出された予測残差に対して量子化を行い、{α・
n,β・
n,γ・
n}を出力する。逆量子化部145は、{α・
n,β・
n,γ・
n}に対して逆量子化を行って出力する。
【0079】
演算部146は、逆量子化部145による逆量子化の結果に対して、予測値{α~
n,β~
n,γ~
n}を加算することにより、{α’n,β’n,γ’n}を算出する。
【0080】
部分サブバンド合成部148は、再現値δ’nと再現値{α’n,β’n,γ’n}とを入力して、部分サブバンド分割部12-nにおけるサブバンド分割処理の逆変換を行って、再現値δ’n-1を出力する。
【0081】
符号化制御部15は、符号化部16における処理を制御することにより、予測残差処理部14で出力された、量子化済みの予測残差{α・
1,β・
1,γ・
1},{α・
2,β・
2,γ・
2},{α・
3,β・
3,γ・
3},{α・
4,β・
4,γ・
4},δ・
4を符号化する処理の制御を行う。ここで、符号化制御部15は、δ・
4については、公知の技術、例えば、非特許文献1の1次マルコフ圧縮を用いて符号化させるように符号化部16を制御してもよい。また、本実施形態では、符号化制御部15は、{α・
1,β・
1,γ・
1},{α・
2,β・
2,γ・
2},{α・
3,β・
3,γ・
3}, {α・
4,β・
4,γ・
4}については、正負符号を除いた値(絶対値)を符号化対象シンボルとし、それぞれの正負符号を示す情報を公知の技術で符号化させるように符号化部16を制御するようにしている。
【0082】
符号化制御部15は、{α・
1,β・
1,γ・
1},{α・
2,β・
2,γ・
2},{α・
3,β・
3,γ・
3}, {α・
4,β・
4,γ・
4}については、階層の違うサブブロックをそれぞれ別の部分周波帯域として扱っている。本実施形態では、{α・
1,β・
1,γ・
1}を帯域1とし、{α・
2,β・
2,γ・
2}を帯域2とし、{α・
3,β・
3,γ・
3}を帯域3とし、{α・
4,β・
4,γ・
4}を帯域4とする。
【0083】
符号化制御部15は、各データを記述する符号化対象シンボル列を定める。符号化制御部15は、高周波帯域は情報が少ないため、帯域1については、符号化対象シンボルの直前のシンボルのエネルギーに応じたカテゴリ分割をしない。また、符号化制御部15は、帯域2~4については、符号化対象シンボルの直前のシンボルのエネルギー(例えば、シンボルに対応する振幅の絶対値)により複数のカテゴリに分割している。本実施形態では、例えば、直前のシンボルのエネルギーの値が所定の閾値θ以下である場合に、カテゴリLとし、直前のシンボルのエネルギーの値が閾値θよりも大きい場合には、カテゴリHとする。なお、カテゴリを分割する閾値θは、帯域ごとに異なっていてもよい。
【0084】
次いで、符号化制御部15は、符号化対象シンボルの直前にそれぞれのカテゴリに属するシンボルが出現した回数を数えて符号帳150を作成する。
【0085】
図10は、一実施形態に係る帯域及びカテゴリの分割の一例を説明する図である。
【0086】
符号帳150は、帯域150aと、カテゴリ150bと、シンボル150cと、出現回数150dとのカラムを含む。帯域150aには、分割された各サブバンドの帯域名が格納される。カテゴリ150bには、各サブバンドの帯域において分割されたカテゴリが格納される。シンボル150cには、カテゴリに属するシンボルの次に出現する可能性の或る各符号化対象シンボルが格納される。出現回数150dには、行におけるカテゴリ150bのシンボルの次にシンボル150cの符号化対象シンボルが出現する回数(出現回数N)が格納される。なお、カテゴリ150bの出現回数Nの添え字は、カテゴリの種類(L又はH)を示し、カッコ内の第1パラメータは、帯域の番号を示し、第2パラメータは、シンボルを示している。この符号帳150に基づいて、各符号化対象シンボルを符号化する符号語を決定することができる。
【0087】
符号化制御部15は、カテゴリ分割されていない帯域1に対して、一つの符号化器が割り当てられ、帯域2~4の各カテゴリのそれぞれに対して、一つの符号化器が割り当てられる構成(第1構成)となるように、符号化部16に7台の符号化器を割り当てて、第1構成の符号化部16により、対象のシンボル列を符号語に基づいて符号化させる。また、符号化制御部15は、第1構成における符号化を行った場合の符号化データと、符号語を特定するための付加情報とを含む圧縮データ(第1圧縮データ)のサイズを特定する。
【0088】
また、符号化制御部15は、一の帯域又はそのカテゴリと、関連の強い帯域(隣接する帯域、又は階層が隣接する帯域)又はそのカテゴリとを一つにまとめて符号化器を共通化する場合を想定した符号帳151を作成する。
【0089】
図11は、一実施形態に係る帯域及びカテゴリの分割の他の例を説明する図である。
【0090】
符号帳151は、帯域151aと、カテゴリ151bと、シンボル151cと、出現回数151dとのカラムを含む。各カラムは、符号帳150の同名のカラムと同じである。符号帳151においては、帯域1における各符号化対象シンボルが出現した回数と、帯域2のLカテゴリにおける同じ符号化対象シンボルが出現した回数とが合算され、帯域2のHカテゴリにおける各符号化対象シンボルが出現した回数と帯域3のLカテゴリにおける同じ符号化対象シンボルが出現した回数とが合算され、帯域3のHカテゴリにおける各符号化対象シンボルが出現した回数と帯域4のLカテゴリにおける同じ符号化対象シンボルが出現した回数とが合算され、帯域4のHカテゴリについては、そのカテゴリのみの回数となっている。この符号帳151(特に出現回数)に基づいて、各符号化対象シンボルを符号化する符号語を決定することができる。
【0091】
この符号帳151の場合には、符号化制御部15は、帯域1と帯域2のLカテゴリに対して、一つの符号化器(共通符号化器)が割り当てられ、帯域2のHカテゴリと帯域3のLカテゴリに対して一つの符号化器が割り当てられ、帯域3のHカテゴリと帯域4のLカテゴリに対して一つの符号化器が割り当てられ、帯域4のHカテゴリに対して一つの符号化器が割り当てられる構成(第2構成)となるように、符号化部16に4台の符号化器を割り当てて、第2構成の符号化部により、対象のシンボル列を符号語に基づいて符号化させる。また、符号化制御部15は、第2構成における符号化を行った場合の符号化データと、符号語を特定するための付加情報とを含む圧縮データ(第2圧縮データ)のサイズを特定する。第2構成においては、符号化器の数を第1構成よりも低減できるので、付加情報のデータ量を低減することができる。
【0092】
符号化制御部15は、第1構成による第1圧縮データと、第2構成による第2圧縮データとのいずれの圧縮率が高いか(例えば、データ量が少ないか)を判定し、圧縮率が高い方の構成による圧縮データをデコーダ30に送信するように、圧縮データ出力部18を制御する。
【0093】
符号化部16は、符号化制御部15による制御に従って、予測差分を符号化する処理を行う。符号化部16は、δ・
4については、公知の技術、例えば、非特許文献1の1次マルコフ圧縮を用いて符号化させる。また、本実施形態では、符号化部16は、符号化対象シンボルのそれぞれの正負符号を示す情報を公知の技術で符号化させる。また、符号化部16は、付加情報を公知の技術で符号化してもよい。
【0094】
また、符号化部16は、{α・
1,β・
1,γ・
1},{α・
2,β・
2,γ・
2},{α・
3,β・
3,γ・
3},{α・
4,β・
4,γ・
4}については、符号化制御部15による制御に従って、第1構成及び/又は第2構成により予測差分を符号化する処理を行う。
【0095】
図12は、一実施形態に係る符号化部の第1構成例を説明する図である。
【0096】
符号化部16は、{α・
1,α・
2,α・
3,α・
4}についての符号化をする符号化部16-1-αと、{β・
1,β・
2,β・
3,β・
4}についての符号化をする符号化部16-1-βと、{γ・
1,γ・
2,γ・
3,γ・
4}についての符号化をする符号化部16-1-γとを含む。
【0097】
符号化部16-1-αは、分岐部160a~160cと、符号化器161a~161gとを含む。なお、符号化部16-1-β、符号化部16-1-γは、符号化部16-1-αと同様な構成であり、
図12中のαをβ,γに置き換えたものに相当する。
【0098】
符号化器161a(符号化器E11)は、帯域1の予測残差α・
1を入力して、符号化処理を行って符号化データE11(α・
1)を生成して出力する。なお、符号化器161a~161gにおける符号化における符号語は、符号帳150の出現回数に基づいて決定されている。
【0099】
分岐部160aは、α・
2を入力して、Lカテゴリに対応する符号化対象シンボルα・
2Lを符号化器161bに入力し、Hカテゴリに対応する符号化対象シンボルα・
2Hを符号化器161cに入力する。
【0100】
符号化器161b(符号化器E12)は、帯域2のLカテゴリの符号化対象シンボルα・
2Lを入力して、符号化することにより符号化データE12(α・
2L)を生成して出力する。
【0101】
符号化器161c(符号化器E13)は、帯域2のHカテゴリの符号化対象シンボルα・
2Hを入力して、符号化することにより符号化データE13(α・
2H)を生成して出力する。
【0102】
分岐部160bは、α・
3を入力して、Lカテゴリに対応する符号化対象シンボルα・
3Lを符号化器161dに入力し、Hカテゴリに対応する符号化対象シンボルα・
3Hを符号化器161eに入力する。
【0103】
符号化器161d(符号化器E14)は、帯域3のLカテゴリの符号化対象シンボルα・
3Lを入力して、符号化することにより符号化データE14(α・
3L)を生成して出力する。
【0104】
符号化器161e(符号化器E15)は、帯域3のHカテゴリの符号化対象シンボルα・
3Hを入力して、符号化することにより符号化データE15(α・
3H)を生成して出力する。
【0105】
分岐部160cは、α・
4を入力して、Lカテゴリに対応する符号化対象シンボルα・
4Lを符号化器161fに入力し、Hカテゴリに対応する符号化対象シンボルα・
4Hを符号化器161gに入力する。
【0106】
符号化器161f(符号化器E16)は、帯域4のLカテゴリの符号化対象シンボルα・
4Lを入力して、符号化することにより符号化データE16(α・
4L)を生成して出力する。
【0107】
符号化器161g(符号化器E17)は、帯域4のHカテゴリの符号化対象シンボルα・
4Hを入力して、符号化することにより符号化データE17(α・
4H)を生成して出力する。
【0108】
図13は、一実施形態に係る符号化部の第2構成例を説明する図である。
【0109】
符号化部16は、{α・
1,α・
2,α・
3,α・
4}についての符号化をする符号化部16-2-αと、{β・
1,β・
2,β・
3,β・
4}についての符号化をする符号化部16-2-βと、{γ・
1,γ・
2,γ・
3,γ・
4}についての符号化をする符号化部16-2-γとを含む。
【0110】
符号化部16-2-αは、分岐部162a~162cと、符号化器163a~163dとを含む。なお、符号化部16-2-β、符号化部16-2-γは、符号化部16-2-αと同様な構成であり、
図13中のαをβ,γに置き換えたものに相当する。
【0111】
分岐部162aは、α・
2を入力して、Lカテゴリに対応する符号化対象シンボルα・
2Lを符号化器163aに入力し、Hカテゴリに対応する符号化対象シンボルα・
2Hを符号化器163bに入力する。
【0112】
符号化器163a(符号化器E21)は、共通符号化器の一例であり、帯域1の予測残差α・
1を入力して、符号化処理を行って符号化データE21(α・
1)を生成して出力し、帯域2のLカテゴリの符号化対象シンボルα・
2Lを入力して、符号化することにより符号化データE21(α・
2L)を生成して出力する。なお、符号化器163a~163dにおける符号化における符号語は、符号帳151の出現回数に基づいて決定されている。
【0113】
分岐部162bは、α・
3を入力して、Lカテゴリに対応する符号化対象シンボルα・
3Lを符号化器163bに入力し、Hカテゴリに対応する符号化対象シンボルα・
3Hを符号化器163cに入力する。
【0114】
符号化器163b(符号化器E22)は、共通符号化器の一例であり、帯域2のHカテゴリに対応する符号化対象シンボルα・
2Hを入力して、符号化処理を行って符号化データE22(α・
2H)を生成して出力し、帯域3のLカテゴリの符号化対象シンボルα・
3Lを入力して、符号化することにより符号化データE22(α・
3L)を生成して出力する。なお、符号化器163aから出力される符号化データE21(α・
2L)と、符号化器163bから出力される符号化データE22(α・
2H)と、は生成順に従って連結される。
【0115】
分岐部162cは、α・
4を入力して、Lカテゴリに対応する符号化対象シンボルα・
4Lを符号化器163cに入力し、Hカテゴリに対応する符号化対象シンボルα・
4Hを符号化器163dに入力する。
【0116】
符号化器163c(符号化器E23)は、共通符号化器の一例であり、帯域3のHカテゴリに対応する符号化対象シンボルα・
3Hを入力して、符号化処理を行って符号化データE23(α・
3H)を生成して出力し、帯域4のLカテゴリの符号化対象シンボルα・
4Lを入力して、符号化することにより符号化データE23(α・
4L)を生成して出力する。なお、符号化器163bから出力される符号化データE22(α・
3L)と、符号化器163cから出力される符号化データE23(α・
3H)と、は生成順に従って連結される。
【0117】
符号化器163d(符号化器E24)は、カテゴリ用符号化器の一例であり、帯域4のHカテゴリに対応する符号化対象シンボルα・
4Hを入力して、符号化処理を行って符号化データE24(α・
4H)を生成して出力する。なお、符号化器163cから出力される符号化データE23(α・
4L)と、符号化器163dから出力される符号化データE24(α・
4H)と、は生成順に従って連結される。
【0118】
図4の説明に戻り、圧縮データ出力部18は、符号化制御部15による制御に従って、第1構成による第1圧縮データと、第2構成による第2圧縮データとのうちの圧縮率が高い方の圧縮データをデコーダ30に送信する。ここで、本実施形態では、圧縮データは、{α
・
1,β
・
1,γ
・
1},{α
・
2,β
・
2,γ
・
2},{α
・
3,β
・
3,γ
・
3},及び{α
・
4,β
・
4,γ
・
4}を符号化した符号化データと、δ
・
4を符号化した符号化データと、符号化対象シンボルの正負符号を示す正負符号データと、符号化に使用した構成に対応する符号帳を作成するための付加情報又はその付加情報を圧縮したデータと、圧縮率が高い圧縮データを作成した構成を特定する情報(構成特定情報)とを含む。
【0119】
デコーダ30は、データ受信部の一例としての圧縮データ入力部31と、復号制御部32と、復号部33と、再現部34と、画像表示部35と、を有する。
【0120】
圧縮データ入力部31は、ネットワーク50を介してエンコーダ10から送信される圧縮データを入力する。
【0121】
復号制御部32は、復号部33における処理を制御することにより、エンコーダ10で符号化された符号化データの復号処理をして、量子化済みの予測残差{α・
1,β・
1,γ・
1},{α・
2,β・
2,γ・
2},{α・
3,β・
3,γ・
3},{α・
4,β・
4,γ・
4},δ・
4を生成する制御を行う。復号制御部32は、圧縮データに含まれる構成特定情報により特定される符号化部の構成を特定し、その構成に対応する復号器を復号部33に割り当てて、復号処理を実行させる。
【0122】
復号制御部32は、付加情報に基づいて、{α・
1,β・
1,γ・
1},{α・
2,β・
2,γ・
2},{α・
3,β・
3,γ・
3},{α・
4,β・
4,γ・
4},の復号に用いるための符号帳150又は151を生成する。これにより、復号制御部32は、圧縮データに含まれる符号化データの符号語とシンボルとの対応関係を特定することができ、この対応関係に従って復号部33の復号器が動作するように制御する。
【0123】
復号制御部32は、エンコーダ10におけるδ・
4の符号化に対応する復号処理によりδ・
4を復号する処理を制御する。また、復号制御部32は、エンコーダ10における正負符号の符号化に対応する復号処理により正負符号を復号する処理を制御する。
【0124】
復号部33は、復号制御部32による制御に従った構成により符号化データを復号する処理を行う。
【0125】
図14は、一実施形態に係る復号部の第1構成例を説明する図である。この構成例は、符号化部16が第1構成である場合に符号化された符号データを復号する構成である。
【0126】
復号部33は、符号化データを{α・
1,α・
2,α・
3,α・
4}に復号する復号部33-1-αと、符号化データを{β・
1,β・
2,β・
3,β・
4}に復号する復号部33-1-βと、符号化データを{γ・
1,γ・
2,γ・
3,γ・
4}に復号する復号部33-1-γとを含む。
【0127】
復号部33-1-αは、分岐部330a~330cと、復号器331a~331gとを含む。なお、復号部33-1-β、復号部33-1-γは、復号部33-1-αと同様な構成であり、
図14中のαをβ,γに置き換えたものに相当する。
【0128】
復号器331a(復号器D11)は、符号化データE11(α・
1)を入力して、復号処理を行ってα・
1を生成して出力する。なお、復号器331a~331gにおける符号化データにおける符号語は、符号帳150の出現回数に基づいて決定することができる。
【0129】
分岐部330aは、E12(α・
2L)及びE13(α・
2H)を入力して、E12(α・
2L)を復号器331bに入力し、E13(α・
2H)を復号器331cに入力する。なお、E12(α・
2L)又はE13(α・
2H)であるかは、復号器331b又は331cにおいて直前に復号されたシンボルにより特定することができる。
【0130】
復号器331b(復号器D12)は、E12(α・
2L)を入力して、復号することにより、α・
2Lを生成して出力する。
【0131】
復号器331c(復号器D13)は、E13(α・
2H)を入力して、復号することにより、α・
2Hを生成して出力する。なお、復号器331bから出力されるα・
2Lと、復号器331cから出力されるα・
2Hと、は生成順に従って連結されることにより、α・
2となる。
【0132】
分岐部330bは、E14(α・
3L)及びE15(α・
3H)を入力して、E14(α・
3L)を復号器331dに入力し、E15(α・
3H)を復号器331eに入力する。
【0133】
復号器331d(復号器D14)は、E14(α・
3L)を入力して、復号することにより、α・
3Lを生成して出力する。
【0134】
復号器331e(復号器D15)は、E15(α・
3H)を入力して、復号することにより、α・
3Hを生成して出力する。なお、復号器331dから出力されるα・
3Lと、復号器331eから出力されるα・
3Hと、は生成順に従って連結されることにより、α・
3となる。
【0135】
分岐部330cは、E16(α・
4L)及びE17(α・
4H)を入力して、E16(α・
4L)を復号器331fに入力し、E17(α・
4H)を復号器331gに入力する。
【0136】
復号器331f(復号器D16)は、E16(α・
4L)を入力して、復号することにより、α・
4Lを生成して出力する。
【0137】
復号器331g(復号器D17)は、E17(α・
4H)を入力して、復号することにより、α・
4Hを生成して出力する。なお、復号器331fから出力されるα・
4Lと、復号器331gから出力されるα・
4Hと、は生成順に従って連結されることにより、α・
4となる。
【0138】
図15は、一実施形態に係る復号部の第2構成例を説明する図である。この構成例は、符号化部16が第2構成である場合に符号化された符号データを復号する構成である。
【0139】
復号部33は、符号化データを{α・
1,α・
2,α・
3,α・
4}に復号する復号部33-2-αと、符号化データを{β・
1,β・
2,β・
3,β・
4}に復号する復号部33-2-βと、符号化データを{γ・
1,γ・
2,γ・
3,γ・
4}に復号する復号部33-2-γとを含む。
【0140】
復号部33-2-αは、分岐部332a~332cと、復号器333a~333dとを含む。ここで、復号器333a~333cは、共通復号器である。なお、復号部33-2-β、復号部33-2-γは、復号部33-2-αと同様な構成であり、
図15中のαをβ,γに置き換えたものに相当する。
【0141】
分岐部332aは、E21(α・
2L)及びE22(α・
2H)を入力して、E21(α・
2L)を復号器333aに入力し、E22(α・
2H)を復号器333bに入力する。なお、E21(α・
2L)又はE22(α・
2H)であるかは、復号器333a又は333bにおいて直前に復号されたシンボルにより特定することができる。
【0142】
復号器333a(復号器D21)は、E21(α・
1)を入力して、復号処理を行ってα・
1を生成して出力し、E21(α・
2L)を入力して、復号処理を行ってα・
2Lを生成して出力する。なお、復号器333a~333dにおける符号化データにおける符号語は、符号帳151の出現回数に基づいて決定することができる。
【0143】
分岐部332bは、E22(α・
3L)及びE23(α・
3H)を入力して、E22(α・
3L)を復号器333bに入力し、E23(α・
3H)を復号器333cに入力する。
【0144】
復号器333b(復号器D22)は、E22(α・
2H)を入力して、復号処理を行ってα・
2Hを生成して出力し、E22(α・
3L)を入力して、復号処理を行ってα・
3Lを生成して出力する。なお、復号器333aから出力されるα・
2Lと、復号器333bから出力されるα・
2Hと、は生成順に従って連結されることにより、α・
2となる。
【0145】
分岐部332cは、E23(α・
4L)及びE24(α・
4H)を入力して、E23(α・
4L)を復号器333cに入力し、E24(α・
4H)を復号器333dに入力する。
【0146】
復号器333c(復号器D23)は、E23(α・
3H)を入力して、復号処理を行ってα・
3Hを生成して出力し、E23(α・
4L)を入力して、復号処理を行ってα・
4Lを生成して出力する。なお、復号器333bから出力されるα・
3Lと、復号器333cから出力されるα・
3Hと、は生成順に従って連結されることにより、α・
3となる。
【0147】
復号器333d(復号器D24)は、E24(α・
4H)を入力して、復号処理を行ってα・
4Hを生成して出力する。なお、復号器333cから出力されるα・
4Lと、復号器333dから出力されるα・
4Hと、は生成順に従って連結されることにより、α・
4となる。
【0148】
再現部34は、復号部33で復号された、量子化済みの予測残差{α・
1,β・
1,γ・
1},{α・
2,β・
2,γ・
2},{α・
3,β・
3,γ・
3},{α・
4,β・
4,γ・
4},δ・
4により処理対象データδ’0を再現する処理を行う。
【0149】
【0150】
再現部34は、部分再現部34-4と、部分再現部34-3と、部分再現部34-2と、部分再現部34-1と、を含む。
【0151】
部分再現部34-4は、{α・
4,β・
4,γ・
4,δ・
4}を入力とし、再現値δ’3を出力する。部分再現部34-3は、{α・
3,β・
3,γ・
3}とδ’3とを入力とし、再現値δ’2を出力する。部分再現部34-2は、{α・
2,β・
2,γ・
2}とδ’2とを入力とし、再現値δ’1を出力する。部分再現部34-1は、{α・
1,β・
1,γ・
1}とδ’1とを入力とし、δ’0を出力する。
【0152】
図17は、一実施形態に係る一の部分再現部の構成図である。
図17は、部分再現部34-4の構成図である。
【0153】
部分再現部34-4は、DPCMエンコーダ341と、ACP(交流成分予測)部342と、逆量子化部343と、演算部344と、部分サブバンド合成部345と、を含む。
【0154】
DPCMエンコーダ341は、差分パルス符号変調処理を実行可能であり、δ・
4を入力して、再現値δ’4を出力する。
【0155】
ACP部342は、再現値δ’4を入力し、交流成分予測により、{α~
4,β~
4,γ~
4}を算出する。{α~
4,β~
4,γ~
4}は、交流成分予測で予測された{α4,β4,γ4}についての予測値である。
【0156】
逆量子化部343は、{α・
4,β・
4,γ・
4}に対して逆量子化を行って出力する。
【0157】
演算部344は、逆量子化部343による逆量子化の結果に対して、予測値{α~
4,β~
4,γ~
4}を加算することにより、再現値{α’4,β’4,γ’4}を算出する。
【0158】
部分サブバンド合成部345は、再現値{α’4,β’4,γ’4}と再現値δ’4とを入力して、サブバンド分割処理の逆変換を行って、再現値δ’3を出力する。
【0159】
図18は、一実施形態に係る他の部分再現部の構成図である。
図18は、部分再現部34-n(ここでのnは、1~3)の構成図である。
【0160】
部分再現部34-nは、ACP部342と、逆量子化部343と、演算部344と、部分サブバンド合成部345と、を含む。なお、部分再現部34-nでは、下位の部分再現部34-n+1から再現値δ’nを取得できるので、DPCMエンコーダ341を備えていない。
【0161】
ACP部342は、再現値δ’nを入力し、交流成分予測により、{α~
n,β~
n,γ~
n}を算出する。{α~
n,β~
n,γ~
n}は、交流成分予測で予測された{αn,βn,γn}についての予測値である。
【0162】
逆量子化部343は、{α・
n,β・
n,γ・
n}に対して逆量子化を行って出力する。
【0163】
演算部344は、逆量子化部343による逆量子化の結果に対して、予測値{α~
n,β~
n,γ~
n}を加算することにより、再現値{α’n,β’n,γ’n}を算出する。
【0164】
部分サブバンド合成部345は、再現値{α’n,β’n,γ’n}と再現値δ’nとを入力して、サブバンド分割処理の逆変換を行って、再現値δ’n-1を出力する。例えば、部分再現部34-1の部分サブバンド合成部345は、処理対象データについての再現値δ’0を出力することとなる。
【0165】
図4の説明に戻り、画像表示部35は、再現部34により再現された処理対象データδ’
0に基づいて画像を表示する。
【0166】
次に、画像処理システム1における処理動作について説明する。
【0167】
まず、エンコーダ10によるエンコード処理について説明する。
【0168】
図19は、一実施形態に係るエンコード処理のフローチャートである。
【0169】
エンコード処理においては、まず、対象データ入力部11が、エンコード対象の画像(処理対象データ)を入力し、サブバンド分割部12が、処理対象データについて階層的にサブバンド分割を行う(ステップS11)。
【0170】
次いで、予測残差処理部14は、サブバンド分割後の各データ{α1,β1,γ1},{α2,β2,γ2},{α3,β3,γ3}, {α4,β4,γ4},δ4についての予測差分{α・
1,β・
1,γ・
1},{α・
2,β・
2,γ・
2},{α・
3,β・
3,γ・
3}, {α・
4,β・
4,γ・
4},δ・
4を出力する(ステップS12)。
【0171】
次いで、符号化制御部15は、各データを記述する符号化対象シンボル列を定め、少なくとも一つの帯域について、符号化対象シンボルの直前のシンボルのエネルギーにより複数のカテゴリに分割する。本実施形態では、帯域2~4についてカテゴリの分割を行う。次いで、符号化制御部15は、符号化対象シンボルの直前にそれぞれのカテゴリに属するシンボルが出現した回数を数えて符号帳150を作成する。次いで、符号化制御部15は、符号帳150に基づいて、カテゴリ分割されていない帯域1に対して、一つの符号化器が割り当てられ、帯域2~4の各カテゴリのそれぞれに対して、一つの符号化器が割り当てられる構成(第1構成)となるように、符号化部16の7台の符号化器を割り当てる(ステップS13)。
【0172】
次いで、符号化制御部15は、第1構成の符号化部16により、符号化対象シンボル列を符号語に基づいて符号化させ、第1構成における符号化を行った場合の符号化データと、符号語を特定するための付加情報とを含む圧縮データ(第1圧縮データ)のサイズを特定する。(ステップS14)。
【0173】
次いで、符号化制御部15は、一の帯域又はそのカテゴリと、関連の強い帯域(例えば、隣接する帯域、又は階層が直上又は直下の帯域)又はその帯域のカテゴリとを一つにまとめて符号化器を共通化する場合を想定した符号帳151を作成する。次いで、符号化制御部15は、符号帳151に基づいて、帯域1と帯域2のLカテゴリに対して、一つの符号化器(共通符号化器)が割り当てられ、帯域2のHカテゴリと帯域3のLカテゴリに対して一つの符号化器が割り当てられ、帯域3のHカテゴリと帯域4のLカテゴリに対して一つの符号化器が割り当てられ、帯域4のHカテゴリに対して一つの符号化器が割り当てられる構成(第2構成)となるように、符号化部16の符号化器を割り当てる(ステップS15)。
【0174】
次いで、符号化制御部15は、第2構成の符号化部16により、符号化対象シンボル列を符号語に基づいて符号化させ、第2構成における符号化を行った場合の符号化データと、符号語を特定するための付加情報とを含む圧縮データ(第2圧縮データ)のサイズを特定する。(ステップS16)。
【0175】
次いで、符号化制御部15は、第1構成による第1圧縮データと、第2構成による第2圧縮データとのいずれの圧縮率が高いかを判定する(ステップS17)。
【0176】
この結果、第1圧縮データの方の圧縮率が高い場合(ステップS17:第1構成)には、符号化制御部15は、第1圧縮データを圧縮データ出力部18によりデコーダ30に送信させる(ステップS18)。なお、第1圧縮データには、処理対象データの復号に必要な他の情報(例えば、δ・
4を符号化した符号化データ、符号化対象シンボルの正負符号の符号化データ、符号化を行った第1構成を特定可能な情報(構成特定情報)等)を含んでいる。
【0177】
一方、第2圧縮データの方の圧縮率が高い場合(ステップS17:第2構成)には、符号化制御部15は、第2圧縮データを圧縮データ出力部18によりデコーダ30に送信させる(ステップS19)。なお、第2圧縮データには、処理対象データの復号に必要な他の情報(例えば、δ・
4を符号化した符号化データ、符号化対象シンボルの符号化データ、符号化を行った第2構成を特定可能な情報(構成特定情報)等)を含んでいる。
【0178】
このエンコード処理では、圧縮率の高い圧縮データを送信するようにしており、デコーダ30に送信する圧縮データの圧縮効率を向上することができる。
【0179】
次に、デコーダ30によるデコード処理について説明する。
【0180】
図20は、一実施形態に係るデコード処理のフローチャートである。
【0181】
圧縮データ入力部31は、ネットワーク50を介してエンコーダ10から送信される圧縮データを入力する(ステップS31)。
【0182】
次いで、復号制御部32は、圧縮データ入力部31が入力した圧縮データが第1構成と第2構成のいずれの構成による圧縮データであるかを判定する(ステップS32)。
【0183】
この結果、圧縮データが第1構成による第1圧縮データである場合(ステップS32:第1構成)には、復号制御部32は、付加情報に基づいて符号帳150を生成し、復号部33を第1構成の符号化部16による符号化に対応する復号を実行可能な復号器の構成(第1構成)となるように構成する(ステップS33)。
【0184】
一方、圧縮データが第2構成による第2圧縮データである場合(ステップS32:第2構成)には、復号制御部32は、付加情報に基づいて符号帳151を生成し、復号部33を第2構成の符号化部16による符号化に対応する復号を実行可能な復号器の構成(第2構成)となるように構成する(ステップS34)。
【0185】
次いで、復号制御部32は、構成した復号部33により、圧縮データに含まれる符号化データの復号を行う(ステップS35)。これにより、復号部33によって、量子化済みの予測残差{α・
1,β・
1,γ・
1},{α・
2,β・
2,γ・
2},{α・
3,β・
3,γ・
3},{α・
4,β・
4,γ・
4},δ・
4が出力される。
【0186】
次いで、再現部34は、量子化済みの予測残差{α・
1,β・
1,γ・
1},{α・
2,β・
2,γ・
2},{α・
3,β・
3,γ・
3},{α・
4,β・
4,γ・
4},δ・
4により処理対象データδ’0を再現する処理を行う(ステップS36)。
【0187】
次いで、画像表示部35は、再現部34により再現された処理対象データδ’0に基づいて画像を表示する(ステップS37)。
【0188】
上記したデコード処理によると、エンコーダ10で作成された圧縮データに基づいて、適切に画像を表示することができる。
【0189】
上記したエンコーダ10及びデコーダ30は、それぞれコンピュータ装置により構成することができる。
【0190】
図21は、一実施形態に係るコンピュータ装置の構成図である。なお、本実施形態では、エンコーダ10及びデコーダ30は、別々のコンピュータ装置で構成されているが、これらコンピュータ装置は、同様な構成を有するものとすることができる。したがって、以下の説明では、便宜的に
図21に示すコンピュータ装置を用いて、エンコーダ10及びデコーダ30を構成するコンピュータ装置について説明することとする。
【0191】
コンピュータ装置100は、例えば、Central Processin Unit(CPU)101と、メインメモリ102と、Graphics Processing Unit(GPU)103と、リーダライタ104と、通信インターフェース(通信I/F)105と、補助記憶装置106と、入出力インターフェース(入出力I/F)107と、表示装置108と、入力装置109とを備える。CPU101、メインメモリ102、GPU103、リーダライタ104、通信I/F105、補助記憶装置106、入出力I/F107、及び表示装置108は、バス110を介して接続されている。エンコーダ10と、デコーダ30とは、それぞれコンピュータ装置100に記載の構成要素の一部または全てを適宜選択して構成される。
【0192】
エンコーダ10を構成するコンピュータ装置100において、CPU101は、補助記憶装置106に格納されたデータ処理プログラムを実行することにより、例えば、対象データ入力部11、サブバンド分割部12、予測残差処理部14、符号化制御部15、符号化部16、及び圧縮データ出力部18を構成する。
【0193】
デコーダ30を構成するコンピュータ装置100において、CPU101は、補助記憶装置106に格納されたデータ処理プログラムを実行することにより、例えば、圧縮データ入力部31、復号制御部32、復号部33、再現部34、及び画像表示部35を構成する。
【0194】
メインメモリ102は、例えば、RAM、ROM等であり、CPU101に実行されるプログラム(データ処理プログラム等)や、各種情報を記憶する。補助記憶装置106は、例えば、Hard DISK Drive(HDD)、Solid State Drive(SSD)等の非一時的記憶デバイス(不揮発性記憶デバイス)であり、CPU101で実行されるプログラムや、各種情報を記憶する。
【0195】
GPU103は、例えば、画像処理等の特定の処理の実行に適しているプロセッサであり、例えば、並列的に行われる処理の実行に適している。本実施形態では、GPU103は、CPU101の指示に従って所定の処理を実行する。
【0196】
リーダライタ104は、記録媒体111を着脱可能であり、記録媒体111からのデータの読み出し、及び記録媒体111へのデータの書き込みを行う。記録媒体111としては、例えば、SDメモリーカード、FD(フロッピーディスク:登録商標)、CD、DVD、BD(登録商標)、フラッシュメモリ等の非一時的記録媒体(不揮発性記録媒体)がある。本実施形態においては、記録媒体111に、データ処理プログラムを格納しておき、リーダライタ104により、これを読み出して、利用するようにしてもよい。また、エンコーダ10を構成するコンピュータ装置100において、記録媒体111に、処理対象の画像データを格納しておき、リーダライタ104により、これを読み出して使用するようにしてもよい。また、エンコーダ10を構成するコンピュータ装置100において、リーダライタ104により、圧縮データを記録媒体111に格納するようにしてもよい。また、デコーダ30を構成するコンピュータ装置100において、リーダライタ104により、記録媒体111から圧縮データを読み出して利用するようにしてもよい。
【0197】
通信I/F105は、ネットワーク50に接続されており、ネットワーク50に接続された他の装置との間でのデータの送受信を行う。
【0198】
入出力I/F107は、例えば、マウス、キーボード等の入力装置109と接続されている。エンコーダ10を構成するコンピュータ装置100において、入出力I/F107は、入力装置109を用いた、エンコーダ10のユーザによる操作入力を受け付ける。また、デコーダ30を構成するコンピュータ装置100において、入出力I/F107は、入力装置109を用いた、デコーダ30のユーザによる操作入力を受け付ける。
【0199】
表示装置108は、例えば、液晶ディスプレイ等のディスプレイ装置であり、各種情報を表示出力する。表示装置108は、例えば、デコーダ30において、画像表示部35による画像の表示に使用される。
【0200】
なお、本発明は、上述の実施形態及び変形例に限定されるものではなく、本発明の趣旨を逸脱しない範囲で、適宜変形して実施することが可能である。
【0201】
例えば、上記実施形態では、符号化部16を、第1構成と第2構成とのそれぞれの構成とし、それぞれの構成を用いた場合における圧縮データのデータ量に基づいて、いずれの構成の圧縮率が高いかを判定して、判定した構成により符号化したデータをデコーダ30に送信するようにしていたが、本発明はこれに限られず、例えば、第2構成による符号化のほうが、圧縮率が高い傾向が想定されるような処理対象データを処理する場合には、常に第2構成により符号化を行うようにしてもよい。
【0202】
また、上記実施形態では、デコーダ30に実際に送信する対象となる処理対象データに対して、符号化部16を第1構成と第2構成とのそれぞれの構成とした場合の圧縮データのデータ量に基づいて圧縮率が高いか否かを判定するようにしていたが、本発明はこれに限られず、例えば、予め処理対象データに類似する判定用データを用意しておき、この判定用データを用いて、符号化部16を第1構成と第2構成とのそれぞれの構成とした場合における圧縮データのデータ量に基づいて、いずれの構成の圧縮率が高いかを判定しておき、送信対象の処理対象データについて、判定された結果の構成により、符号化を行うようにしてもよい。
【0203】
また、上記実施形態では、コンピュータ装置100がエンコーダ10又はデコーダ30のいずれか一方を備えている例を示していた。本発明はこれに限られず、コンピュータ装置100内にエンコーダ10とデコーダ30との両方を備えるようにしてもよい。
【符号の説明】
【0204】
1…データ処理システム、10…エンコーダ、11…対象データ入力部、12…サブバンド分割部、14…予測残差処理部、15…符号化制御部、16…符号化部、18…圧縮データ出力部、30…デコーダ、31…圧縮データ入力部、32…復号制御部、33…復号部、34…再現部、35…画像表示部、50…ネットワーク、100…コンピュータ装置、101…CPU、102…メインメモリ、108…表示装置、111…記録媒体、161a~161g,163a~163d…符号化器、331a~331g,333a~333d…復号器